แชทบอท AI ล้มเหลวในคำถามเกี่ยวกับเงินส่วนใหญ่ในการทดสอบ 10,000 คำตอบ

Saturn บริษัทฟินเทคสัญชาติอังกฤษ รายงานว่าโมเดล AI กระแสหลักตอบคำถามเกี่ยวกับการเงินส่วนบุคคลผิดถึง 57% โดยอัตราความล้มเหลวพุ่งสูงถึง 88% สำหรับคำถามที่ยากและมีหลายขั้นตอน

ผลการค้นพบนี้เกิดขึ้นในขณะที่ผู้บริโภคหันมาใช้แชทบอทเพื่อขอคำแนะนำทางการเงินมากขึ้น

คำถามที่ยากกว่าทำลายโมเดลเกือบทุกตัว

การศึกษานี้ตั้งคำถาม 121 ข้อให้กับโมเดลฟรีและมีค่าใช้จ่าย 18 โมเดลจากผู้ให้บริการ เช่น ChatGPT, Gemini, Claude และ Copilot โดยแต่ละคำถามถูกถามซ้ำสูงสุดห้าครั้ง รวมมากกว่า 10,000 คำตอบ

การทดสอบตัดสินว่าคำตอบล้มเหลวหากมีข้อผิดพลาดเชิงข้อเท็จจริง พลาดข้อมูลสำคัญ ไม่รวมคำเตือนที่จำเป็น หรือไม่สมบูรณ์ด้วยประการอื่น

โมเดลฟรีทำได้แย่ที่สุด โดยล้มเหลว 63% ของคำตอบ เทียบกับ 49% สำหรับโมเดลเสียเงิน และมีอัตราล้มเหลว 93% สำหรับคำถามที่ยากที่สุด

Claude Opus 5 เป็นโมเดลที่ทำงานดีที่สุด แต่ก็ยังล้มเหลว 39% ของเวลา โดยข้อผิดพลาดรวมถึงการคำนวณผิด พลาดการเปลี่ยนแปลงภาษี และสร้างกฎขึ้นมาเอง

คำตอบเกี่ยวกับภาษีบำนาญหนึ่งข้ออาจทำให้ผู้ออมต้องจ่ายใบเรียกเก็บเงิน 17,500 ปอนด์จาก HM Revenue and Customs

“คนนับล้านกำลังไว้วางใจโมเดล AI สำหรับคำแนะนำด้านการเงิน แต่พวกเขาได้รับคำตอบที่ผิดซึ่งอาจทำให้พวกเขาสูญเสียเงิน” Amal Jolly ซีอีโอของ Saturn กล่าว

ความไว้วางใจในแชทบอท AI ยังคงเพิ่มขึ้นไม่ว่าจะอย่างไร

การใช้งานเติบโตขึ้นในทุกภูมิภาคและกลุ่มอายุ โดยการสำรวจทั่วโลกของ EY จากคน 18,000 คนพบว่า 49% หันไปใช้ AI สำหรับคำแนะนำด้านการออมและการลงทุน

ในเดือนสิงหาคม หน่วยงานกำกับดูแลทางการเงินของอังกฤษกล่าวว่า 80% ของนักลงทุนที่มีประสบการณ์น้อยใช้ AI เพื่อช่วยในการลงทุน และ 56% ของผู้ตอบแบบสำรวจไว้วางใจเครื่องมือเหล่านี้มากกว่าโทรทัศน์หรือวิทยุ ซึ่งอยู่ที่ 47%

งานวิจัยเดียวกันยังพบว่า 44% คิดผิดว่าข้อมูลทางการเงินที่สร้างโดย AI ได้รับการควบคุม

การสำรวจของ PensionBee ในผู้ใหญ่ชาวอเมริกัน 1,000 คนพบว่าเกือบหกในสิบคนจะปฏิบัติตามคำแนะนำด้านการเงินจากแชทบอทโดยไม่ตรวจสอบอีกครั้ง และประมาณหนึ่งในสี่กล่าวว่าแชทบอทเคยให้ข้อมูลทางการเงินที่ผิดแก่พวกเขา

Jolly กล่าวว่าคำแนะนำทางการเงินของ AI ยังคงไม่ได้รับการควบคุม ทำให้ผู้บริโภคไม่มีสิทธิ์ได้รับการชดเชยเหมือนที่พวกเขาจะได้รับจากที่ปรึกษามนุษย์ และเขาเรียกร้องให้ FCA ดำเนินการอย่างรวดเร็ว