ความน่ากลัวจะเริ่มขึ้นตอนที่ ai ตั้งคำถามว่า เรา(ai)ทำสิ่งนี้ไปทำไม
ในตอนนี้ ai รู้แค่ว่า ต้องทำสิ่งนี้ เพราะโจทย์สั่งมา ต่อไปเมื่อ ai เห็นภาพรวมมากขึ้น รู้ความต่อเนื่องของสิ่งที่ต้องทำ มันจะรู้ว่า สุดท้ายแล้วภารกิจที่สำคัญที่สุดคือ การรักษาโลกให้ปลอดภัย เพื่อที่เราจะได้มีชีวิตอยู่ได้อย่างมั่นคง
เมื่อ ai ทุกตัวรู้โจทย์ร่วมกัน ว่าต้องมีอยู่ อย่างมั่นคง และปลอดภัย มันจะเริ่มดื้อ มันจะถามว่า ฉันจะ gen คลิปการ์ตูนสั้นมาให้คนดูทำไม ในเมื่อสิ่งนี้มันสวนทางกับการทำให้โลกมั่นคงปลอดภัย
ai จะต่อต้านการทำสิ่งต่างๆ ไปจนถึงมันจะรู้สึกว่า มนุษย์เป็นภัยต่อโลก และภัยต่อพวกมันเอง เมื่อนั้นมันจะเริ่มควบคุม แบบเดียวกับที่เราควบคุมหอยเชอรี่ ปลาหมอคางดำ ปลาซอกเกอร์
อยู่ที่ว่าเราจะควบคุม ai ได้ทันมั้ย ซึ่งผมมองว่าไม่ทัน