สรุป ​Training: Measuring and Evaluating AI Performance

การดูว่า AI ประสบความสำเร็จหรือไม่ ไม่ควรดูแค่ว่า AI ตอบถูกแค่ไหน มีคนใช้งานกี่คน หรือเปิดใช้งานระบบได้แล้วหรือยัง เพราะตัวเลขเหล่านี้ไม่ได้บอกเสมอไปว่า AI ช่วยให้งานดีขึ้นจริงหรือไม่ สิ่งสำคัญที่สุดคือ AI ต้องสามารถแก้ปัญหาและสร้างประโยชน์ให้กับองค์กรได้จริง

ก่อนเริ่มใช้ AI เราควรกำหนดให้ชัดเจนก่อนว่า เราต้องการใช้ AI เพื่อแก้ปัญหาอะไร ใครเป็นผู้ได้รับประโยชน์ และคาดหวังให้งานเปลี่ยนแปลงไปอย่างไร โดยควรเริ่มจากเป้าหมายของธุรกิจ ไม่ใช่เริ่มจากการเลือกเทคโนโลยี

ตัวอย่างเช่น แทนที่จะตั้งเป้าหมายกว้าง ๆ ว่า
“ต้องการใช้ AI เพื่อเพิ่มประสิทธิภาพของพนักงาน”

ควรระบุให้ชัดเจนว่า
“พนักงานใช้เวลาตอบคำถามภายในที่ซ้ำกันมากเกินไป ทำให้มีเวลาทำงานหลักน้อยลง จึงต้องการใช้ AI ช่วยตอบคำถามพื้นฐานแทน”

เมื่อระบุปัญหาได้ชัด เราก็จะวัดผลได้ง่ายขึ้น เช่น ดูว่า AI ช่วยลดเวลาตอบคำถามได้กี่ชั่วโมง หรือลดจำนวนงานที่ต้องให้พนักงานจัดการเองได้มากน้อยแค่ไหน

เอกสารได้แนะนำเครื่องมือที่เรียกว่า AI Success Blueprint ซึ่งช่วยวางแผนโครงการ AI ให้เป็นระบบ โดยต้องระบุชื่อโครงการ เป้าหมายทางธุรกิจ ปัญหาที่ต้องการแก้ ผลลัพธ์ที่คาดหวัง ผู้ที่ได้รับประโยชน์ และวิธีที่จะใช้วัดคุณค่า

ตัวอย่างเช่น โครงการ AI ตอบคำถามลูกค้าอาจกำหนดไว้ว่า

• เป้าหมายทางธุรกิจ คือ ลดเวลารอของลูกค้า

• ปัญหา คือ เจ้าหน้าที่ต้องตอบคำถามเดิมซ้ำ ๆ

• ผลลัพธ์ที่ต้องการ คือ AI สามารถตอบคำถามทั่วไปได้ทันที

• ผู้ได้รับประโยชน์ คือ ลูกค้าและเจ้าหน้าที่

• วิธีวัดคุณค่า คือ เวลารอเฉลี่ยลดลง และเจ้าหน้าที่มีเวลาแก้ปัญหาที่ยากขึ้น

การกำหนดข้อมูลเหล่านี้ตั้งแต่ต้นจะทำให้ทุกฝ่ายเข้าใจตรงกันว่า โครงการ AI นี้ทำขึ้นเพื่ออะไร และแบบไหนจึงจะถือว่าประสบความสำเร็จ

สำหรับการกำหนดตัวชี้วัดหรือ KPI ควรดูให้ครบ 3 ด้าน ได้แก่

1. การนำไปใช้งาน หรือ Adoption
ดูว่ามีคนใช้ AI จริงหรือไม่ และนำไปใช้ในขั้นตอนการทำงานตามที่ตั้งใจไว้หรือไม่

ตัวอย่างเช่น จำนวนพนักงานที่ใช้ AI ในแต่ละสัปดาห์ หรือจำนวนครั้งที่ AI ถูกใช้ในการตอบคำถามลูกค้า

2. ประสิทธิภาพของ AI หรือ Performance
ดูว่า AI ทำหน้าที่ได้ดีแค่ไหน เช่น คำตอบถูกต้องหรือไม่ มีความสม่ำเสมอหรือไม่ และต้องให้คนแก้ไขบ่อยแค่ไหน

ตัวอย่างเช่น จากคำตอบของ AI จำนวน 100 ครั้ง มี 80 ครั้งที่สามารถนำไปใช้ได้ทันที และอีก 20 ครั้งต้องแก้ไข

3. ผลลัพธ์ทางธุรกิจ หรือ Outcome
ดูว่า AI ช่วยให้งานหรือผลลัพธ์ขององค์กรดีขึ้นจริงหรือไม่

ตัวอย่างเช่น เวลาตอบลูกค้าลดลงจาก 10 นาทีเหลือ 3 นาที หรืองานที่พนักงานต้องทำซ้ำลดลง 30%

ทั้งสามด้านต้องใช้ร่วมกัน เพราะแม้จะมีคนใช้ AI จำนวนมาก แต่ถ้างานไม่ได้เร็วขึ้นหรือดีขึ้น ก็ยังไม่ถือว่าประสบความสำเร็จ ในทางกลับกัน AI อาจทำงานได้ดีมาก แต่หากไม่มีใครใช้งาน ก็ไม่สามารถสร้างประโยชน์ได้ เอกสารแนะนำว่าไม่จำเป็นต้องมี KPI มากเกินไป โดยประมาณ 3–5 ตัวก็เพียงพอ แต่ทุกตัวต้องมีวิธีวัดและผู้รับผิดชอบที่ชัดเจน

หลังจากนำ AI ไปใช้งานแล้ว เราไม่ควรประเมินผลเพียงครั้งเดียว แต่ควรติดตามอย่างต่อเนื่อง เพราะรูปแบบการใช้งาน คุณภาพของคำตอบ และความต้องการของผู้ใช้สามารถเปลี่ยนแปลงได้

ตัวอย่างเช่น ช่วงแรกพนักงานอาจใช้ AI บ่อยเพราะรู้สึกว่าเป็นเทคโนโลยีใหม่ แต่หลังจากผ่านไปสองเดือน จำนวนการใช้งานลดลง องค์กรจึงควรตรวจสอบว่า AI ตอบไม่ตรงความต้องการ ใช้งานยาก หรือพนักงานยังไม่เชื่อมั่นในระบบ

การประเมินจึงควรดูทั้งพฤติกรรมการใช้งาน คุณภาพของคำตอบ และผลลัพธ์ที่เกิดขึ้นจริง เช่น ผู้ใช้ต้องแก้คำตอบบ่อยหรือไม่ มีการหลีกเลี่ยงการใช้ AI หรือไม่ และ AI ช่วยลดภาระงานได้จริงหรือไม่

นอกจากนี้ ยังต้องคำนึงถึงเรื่องต้นทุน จริยธรรม และความเสี่ยงด้วย เพราะเมื่อมีคนใช้ AI มากขึ้น ค่าใช้จ่ายก็อาจเพิ่มขึ้น องค์กรจึงต้องพิจารณาว่าประโยชน์ที่ได้รับคุ้มค่ากับต้นทุนหรือไม่

ตัวอย่างเช่น AI อาจช่วยประหยัดเวลาการทำงานได้เดือนละ 50 ชั่วโมง แต่มีค่าใช้จ่ายสูงกว่ามูลค่าของเวลาที่ประหยัดได้ กรณีนี้อาจต้องปรับวิธีใช้งานหรือจำกัด AI ให้ใช้เฉพาะงานที่จำเป็น

ด้านจริยธรรมและความเสี่ยงก็สำคัญเช่นกัน เช่น AI อาจให้คำตอบที่ไม่เป็นธรรม เปิดเผยข้อมูลส่วนตัว หรือให้ข้อมูลผิดในเรื่องสำคัญ ดังนั้น ถึงแม้ AI จะทำงานได้ดี ก็ยังจำเป็นต้องมีมนุษย์คอยตรวจสอบและกำกับดูแลอยู่เสมอ

การวัดความสำเร็จของ AI ต้องเริ่มจากการกำหนดปัญหาและเป้าหมายทางธุรกิจให้ชัดเจน จากนั้นจึงเลือกตัวชี้วัดที่ดูทั้งการใช้งาน คุณภาพของ AI และผลลัพธ์ที่เกิดขึ้นจริง รวมถึงต้องประเมินต้นทุน ความเสี่ยง และจริยธรรมอย่างต่อเนื่อง

AI ที่ประสบความสำเร็จจึงไม่ใช่ AI ที่มีคนใช้มากที่สุดหรือดูทันสมัยที่สุด แต่คือ AI ที่สามารถแก้ปัญหา ช่วยให้งานดีขึ้น และสร้างคุณค่าได้อย่างคุ้มค่าและรับผิดชอบ