AI ช่วยงานวิจัยได้มาก แต่ความเร็วที่เพิ่มขึ้นต้องมาพร้อมระบบตรวจคุณภาพที่ชัดเจน ทีมวิจัยจึงควรมีเช็กลิสต์กลางก่อนนำ AI เข้าสู่ workflow จริง
สิ่งที่ต้องตรวจทุกครั้ง
- แหล่งข้อมูลที่ AI ใช้อ้างอิงตรวจย้อนกลับได้หรือไม่
- ผลลัพธ์สอดคล้องกับคำถามวิจัยและระเบียบวิธีหรือไม่
- มีมนุษย์รับผิดชอบการตีความและการตัดสินใจขั้นสุดท้ายหรือไม่
- เก็บ prompt, input, output และเหตุผลการแก้ไขไว้พอสำหรับ audit หรือไม่
วิธีใช้ในทีมไทย
เริ่มจาก workflow เล็ก เช่น literature screening หรือสรุปเอกสาร แล้วกำหนดจุดตรวจคุณภาพก่อนขยายไปงานที่เสี่ยงกว่า เช็กลิสต์ที่ดีไม่ควรเป็นเอกสารเพิ่มภาระ แต่ควรอยู่ในเครื่องมือที่ทีมใช้ทุกวัน
ข้อควรระวัง
อย่าใช้ AI เพื่อแทนที่การพิจารณาทางระเบียบวิธี และอย่าใส่ข้อมูลส่วนบุคคลหรือข้อมูลอ่อนไหวลงในระบบที่ยังไม่ได้ประเมินความเสี่ยง
เช็กลิสต์ควรอยู่ใน workflow ไม่ใช่แยกเป็นไฟล์
เช็กลิสต์ที่ถูกใช้จริงต้องอยู่ใกล้จุดทำงาน เช่น ตอนนำเอกสารเข้า ตอนให้ AI สรุป ตอนตรวจผลลัพธ์ หรือตอนอนุมัติรายงาน หากเช็กลิสต์อยู่เป็นเอกสารแยก ทีมมักเปิดดูเฉพาะช่วงเริ่มต้น แล้วค่อยๆ หายไปจากการทำงานประจำ
วิธีที่ดีกว่าคือฝังจุดตรวจไว้ในขั้นตอน เช่น ก่อนสรุปวรรณกรรมต้องมี source list, ก่อนใช้ output ต้องมี human review, ก่อนนำข้อมูลอ่อนไหวเข้าเครื่องมือต้องมี risk check และก่อนเผยแพร่ต้องมีหลักฐานย้อนกลับไปยังข้อมูลต้นทาง
หมวดตรวจคุณภาพที่ควรมี
- Data: ข้อมูลมาจากไหน มีสิทธิ์ใช้หรือไม่ มีข้อมูลอ่อนไหวหรือไม่
- Method: ผลลัพธ์สอดคล้องกับระเบียบวิธีหรือไม่
- Evidence: ข้ออ้างสำคัญย้อนกลับไปแหล่งจริงได้หรือไม่
- Bias: มีมุมมองใดถูกละเลยหรือถูกสรุปเกินจริงหรือไม่
- Accountability: ใครเป็นผู้ตรวจและอนุมัติขั้นสุดท้าย
- Retention: prompt, output และการแก้ไขถูกเก็บอย่างเป็นระบบหรือไม่
ใช้คะแนนความเสี่ยงช่วยจัดลำดับ
ไม่ใช่งานทุกชิ้นต้องตรวจเข้มเท่ากัน ทีมอาจแบ่งงานเป็น low, medium และ high risk งาน low risk เช่น สรุปร่างเอกสารภายใน ตรวจเบื้องต้นได้เร็ว งาน high risk เช่น ข้อเสนอเชิงนโยบาย งานที่มีข้อมูลส่วนบุคคล หรือผลลัพธ์ที่กระทบผู้รับบริการ ต้องมีการตรวจทานหลายชั้น
สัญญาณว่าเช็กลิสต์เริ่มได้ผล
ทีมใช้ AI ได้เร็วขึ้นโดยยังอธิบายที่มาของผลลัพธ์ได้, reviewer เห็นหลักฐานง่ายขึ้น, ข้อผิดพลาดซ้ำลดลง, และการตัดสินใจสำคัญไม่ผูกกับ output ของระบบเพียงอย่างเดียว