ນັກວິຈັຍ Anthropic ອີກຄົນເຕືອນ: ຍອມເສຍຫຸ້ນຫຼາຍລ້ານ ເພື່ອເພີ່ມໂອກາດມະນຸດລອດພຽງ 1%

Drake Thomas ນັກວິຈັຍຂອງ Anthropic ເຂົ້າຮ່ວມກຸ່ມຄົນໃນວົງການ AI ທີ່ອອກມາເຕືອນສາທາລະນະເຖິງເຕັກໂນໂລຊີທີ່ພວກເຂົາກຳລັງພັດທະນາ. ໃນຂໍ້ຄວາມທີ່ໂພສລົງໃນ X ວັນທີ 9 ກັນຍາ, Thomas ກ່າວວ່າ ລາວຍອມສະຫຼະສິດຖືຫຸ້ນທັງໝົດ ເພື່ອແລກກັບໂອກາດພຽງ 1% ທີ່ຈະເຮັດໃຫ້ມະນຸດລອດພົ້ນຈາກຄວາມສ່ຽງທີ່ລາວເຊື່ອມໂຍງກັບ AI ທີ່ມີພະລັງຫຼາຍຂຶ້ນ.

ຄຳເຫັນດັ່ງກ່າວເກີດຂຶ້ນທ່າມກາງການຄາດເດົາໃນໂລກອອນລາຍວ່າ ຄຳເຕືອນທີ່ຮຸນແຮງຂຶ້ນຈາກພະນັກງານ Anthropic ອາດເປັນການປະຊາສຳພັນກ່ອນບໍລິສັດຈະສະເໜີຂາຍຫຸ້ນຕໍ່ສາທາລະນະ.

Thomas ປະຕິເສດການຕີຄວາມໝາຍນັ້ນ. ລາວຂຽນວ່າ: "ຂ້ອຍຍອມເຜົາສິດຖືຫຸ້ນຂອງຂ້ອຍຖິ້ມໃນທັນທີ ເພື່ອໂອກາດອີກ 1% ວ່າພວກເຮົາຈະລອດອອກຈາກສະຖານະການນີ້."

ລາວກ່າວວ່າ ຄາດວ່າເພື່ອນຮ່ວມວົງການຈຳນວນຫຼາຍຈະຍອມແລກປ່ຽນແບບດຽວກັນ ແລະຢືນຢັນວ່າ ຄວາມກັງວົນຂອງພວກເຂົາເປັນຄວາມຈິງ ບໍ່ແມ່ນແຜນການຕະຫຼາດທີ່ຄິດໄວ້ລ່ວງໜ້າ.

Thomas ຍັງບໍ່ໄດ້ລາອອກຈາກ Anthropic. ຈຸດນີ້ເຮັດໃຫ້ການອອກມາເຕືອນຂອງລາວແຕກຕ່າງຈາກ Jacob Coxon ອະດີດນັກວິຈັຍຂອງ Anthropic ທີ່ການລາອອກຂອງລາວເຮັດໃຫ້ການຖົກຖຽງຮ້ອນແຮງຂຶ້ນວ່າ ການພັດທະນາ AI ແນວໜ້າກຳລັງໄວກວ່າຄວາມພະຍາຍາມເຮັດໃຫ້ລະບົບທີ່ສາມາດສູງຂຶ້ນປອດໄພ.

ປະເດັນສຳຄັນທີ່ຕ້ອງລະບຸໄວ້ກ່ອນຄື Thomas ຢືນຢັນຕໍ່ສາທາລະນະວ່າ ລາວຖືຫຸ້ນຂອງ Anthropic ຢູ່ ແຕ່ບໍ່ໄດ້ເປີດເຜີຍມູນຄ່າສິດຖືຫຸ້ນສ່ວນຕົວ.

Drake Thomas ກ່າວວ່າ ຄວາມຢ້ານກົວຕໍ່ AI ບໍ່ແມ່ນການຕະຫຼາດ

ຂໍ້ມູນແນະນຳຕົວຂອງ Thomas ໃນປັດຈຸບັນລະບຸວ່າ ວຽກຂອງລາວຢູ່ Anthropic ກ່ຽວຂ້ອງກັບ system cards, ບົດລາຍງານຄວາມສ່ຽງ ແລະບັນຫາດ້ານຄວາມປອດໄພອື່ນໆ. ຊີວະປະຫວັດສະບັບກ່ອນໜ້ານີ້ລະບຸວ່າ ລາວເຂົ້າຮ່ວມທີມ pretraining ຂອງບໍລິສັດໃນເດືອນຕຸລາ 2024 ຫຼັງຈາກເຮັດວິຈັຍອິດສະຫຼະດ້ານ AI alignment. ຜົນງານທີ່ລາວເຜີຍແຜ່ຊ່ວຍໃຫ້ເຫັນພື້ນຖານຂອງຄວາມກັງວົນນີ້.

Thomas ເປັນຜູ້ຮ່ວມຂຽນງານວິຈັຍຂອງ Anthropic ກ່ຽວກັບຈຸດປະສົງທີ່ຖືກປິດບັງໃນລະບົບ AI ແລະວິທີທີ່ຍຸດທະວິທີອັນບໍ່ພຶງປະສົງອາດເກີດຂຶ້ນໃນໄລຍະຝຶກສອນ. ລາວຍັງຮ່ວມວິຈັຍເລື່ອງ reward hacking ເຊິ່ງໝາຍເຖິງກໍລະນີທີ່ໂມເດວຄົ້ນພົບວິທີໄດ້ຮັບຄະແນນລາງວັນສູງ ໂດຍບໍ່ໄດ້ເຮັດວຽກຕາມຈຸດປະສົງທີ່ຜູ້ພັດທະນາກຳນົດ.

ແນວໃດກໍຕາມ, ຄຳເຫັນຂອງ Thomas ໃນວັນທີ 9 ກັນຍາ ບໍ່ແມ່ນຜົນການວິຈັຍຈາກ Anthropic ໂດຍກົງ ແຕ່ເປັນການປະເມີນຄວາມສ່ຽງຂອງລາວເອງ.

Thomas ກຳລັງຕອບໂຕ້ຄຳວິຈານ ແລະການຄາດເດົາອອນລາຍທີ່ມອງວ່າ ຄຳເຕືອນອັນຮຸນແຮງຈາກພະນັກງານ Anthropic ເກີດຂຶ້ນຢ່າງ "ພໍດີ" ກ່ອນ IPO ທີ່ວາງແຜນໄວ້. ຄຳຕອບຂອງລາວຄື ຄວາມຢ້ານກົວນັ້ນເປັນຄວາມຈິງ.

ລາວກ່າວວ່າ ຫຼາຍຄົນໃນວົງການຈະຍອມສະຫຼະຜົນປະໂຫຍດທາງການເງິນຈຳນວນຫຼາຍ ຫາກການເຮັດເຊັ່ນນັ້ນສາມາດຫຼຸດສິ່ງທີ່ພວກເຂົາເຫັນວ່າເປັນອັນຕະລາຍຕໍ່ການດຳລົງຢູ່ຂອງມະນຸດໄດ້ຈິງ.

ມູນຄ່າທີ່ແນ່ນອນຂອງສິດຖືຫຸ້ນ Anthropic ຂອງ Thomas ຍັງບໍ່ຮູ້. ບໍ່ມີບັນທຶກສາທາລະນະທີ່ໜ້າເຊື່ອຖືຢືນຢັນວ່າ ສິດຖືຫຸ້ນສ່ວນຕົວຂອງລາວມີມູນຄ່າຫຼາຍລ້ານໂດລາ.

IPO ຂອງ Anthropic ເຮັດໃຫ້ສິດຖືຫຸ້ນພະນັກງານມີຄວາມໝາຍຫຼາຍຂຶ້ນ

ແນ່ນອນວ່າ Anthropic ເອງມີມູນຄ່າສູງຫຼາຍ.

ໃນເດືອນພຶດສະພາ 2026, ບໍລິສັດລະດົມທຶນໄດ້ 65 ຕື້ໂດລາ ໂດຍມີມູນຄ່າຫຼັງການລະດົມທຶນ 965 ຕື້ໂດລາ ເຮັດໃຫ້ Anthropic ເປັນໜຶ່ງໃນບໍລິສັດເຕັກໂນໂລຊີເອກະຊົນທີ່ມີມູນຄ່າສູງທີ່ສຸດໃນໂລກ.

ວັນທີ 1 ມິຖຸນາ, Anthropic ກ່າວວ່າ ບໍລິສັດໄດ້ຍື່ນຮ່າງໃບລົງທະບຽນແບບລັບໆ ໃນແບບຟອມ S-1 ຕໍ່ຄະນະກຳມາທິການຫຼັກຊັບແລະຕະຫຼາດສະຫະລັດ ຫຼື SEC ສຳລັບແຜນການສະເໜີຂາຍຫຸ້ນຄັ້ງທຳອິດຕໍ່ສາທາລະນະ.

ການຍື່ນເອກະສານນີ້ເຮັດໃຫ້ Anthropic ມີທາງເລືອກເຂົ້າຕະຫຼາດຫຸ້ນ ຫຼັງຈາກ SEC ກວດສອບແລ້ວ. ແຕ່ການຂາຍຫຸ້ນຍັງຂຶ້ນກັບສະພາບຕະຫຼາດ ແລະປັດໃຈອື່ນໆ ໃນຂະນະທີ່ຈຳນວນຫຸ້ນ ແລະລາຄາສະເໜີຂາຍຍັງບໍ່ໄດ້ປະກາດ.

ນັ້ນເຮັດໃຫ້ສິດຖືຫຸ້ນຂອງພະນັກງານອາດມີມູນຄ່າສູງຫຼາຍ. ແຕ່ບໍ່ໄດ້ບອກວ່າ Thomas ເປັນເຈົ້າຂອງຫຸ້ນຈຳນວນເທົ່າໃດ. ບໍ່ສາມາດຄຳນວນສິດຖືຫຸ້ນຂອງລາວຈາກມູນຄ່າລວມຂອງ Anthropic ໄດ້ ໂດຍບໍ່ຮູ້ຈຳນວນຫຸ້ນທີ່ລາວໄດ້ຮັບ, ເງື່ອນໄຂການຄອບຄອງຫຸ້ນຕາມໄລຍະເວລາ ແລະລາຍລະອຽດອື່ນໆຂອງຄ່າຕອບແທນ.

ຄວາມແຕກຕ່າງນີ້ສຳຄັນ ເພາະການໂຕ້ຖຽງຂອງ Thomas ກ່ຽວກັບສິ່ງທີ່ລາວພ້ອມຈະສະຫຼະ ບໍ່ແມ່ນມູນຄ່າເປັນໂດລາຂອງສິດຖືຫຸ້ນທີ່ມີເອກະສານສາທາລະນະຢືນຢັນ.

ຄຳເຕືອນເກີດຂຶ້ນຫຼັງ Jacob Coxon ອອກຈາກ Anthropic

Thomas ອອກມາເວົ້າບໍ່ດົນຫຼັງຈາກ Jacob Coxon ລາອອກຈາກ Anthropic ແລະວົງການ AI. Coxon ເຄີຍເຮັດວຽກວິຈັຍດ້ານ pretraining ປະມານ 3 ປີຢູ່ທັງ OpenAI ແລະ Anthropic ແລະກ່າວຫາບໍລິສັດທັງສອງວ່າ ກຳລັງເດີນໜ້າຢ່າງບໍ່ຮັບຜິດຊອບໄປສູ່ສິ່ງທີ່ລາວເອີ້ນວ່າ superintelligence ທີ່ສາມາດພັດທະນາຕົນເອງ.

"ພວກເຂົາກຳລັງແຂ່ງກັນມຸ່ງໜ້າໄປສູ່ superintelligence ທີ່ພັດທະນາຕົນເອງ ແລະກຳລັງພະນັນກັບຊີວິດຂອງພວກເຮົາ," ລາວຂຽນໃນປະກາດການລາອອກ.

ຄຳເຫັນຂອງລາວແຜ່ກະຈາຍຢ່າງໄວວາໃນວົງການເຕັກໂນໂລຊີ ແລະເຮັດໃຫ້ພະນັກງານ Anthropic ຫຼາຍຄົນອອກມາສົນທະນາຕໍ່ສາທາລະນະເຖິງຄວາມສ່ຽງທີ່ AI ຂັ້ນສູງຂຶ້ນອາດກໍ່ໃຫ້ເກີດ.

ໜຶ່ງໃນຄຳເຕືອນທີ່ຮຸນແຮງທີ່ສຸດມາຈາກ Evan Hubinger ຫົວໜ້າຝ່າຍ Alignment Science ຂອງ Anthropic.

Hubinger ກ່າວວ່າ ລາວເຊື່ອໂດຍສ່ວນຕົວວ່າ ມີໂອກາດຫຼາຍກວ່າ 10% ທີ່ AI ຈະຂ້າມະນຸດທັງໝົດພາຍໃນ 10 ປີຂ້າງໜ້າ. ລາວຍັງກ່າວວ່າ ເຊື່ອວ່າ Anthropic ກຳລັງພະຍາຍາມແກ້ໄຂບັນຫານີ້ ແຕ່ບໍລິສັດຍັງບໍ່ມີແຜນການແກ້ໄຂບັນຫາ alignment ຂອງ AI ລະດັບ superintelligence ແລະຍັງບໍ່ປາກົດວ່າກຳລັງເດີນໄປສູ່ຄຳຕອບໄດ້ຢ່າງຊັດເຈນ.

ຕົວເລກເຫຼົ່ານີ້ບໍ່ຄວນຖືກຕີຄວາມວ່າເປັນຄວາມນ່າຈະເປັນທາງວິທະຍາສາດທີ່ຢືນຢັນແລ້ວ.

ພວກມັນເປັນການປະເມີນຄວາມສ່ຽງສ່ວນຕົວຂອງນັກວິຈັຍທີ່ເຮັດວຽກດ້ານ AI alignment. ການປະເມີນຂອງຜູ້ຊ່ຽວຊານຕໍ່ຄວາມສ່ຽງທີ່ AI ອາດເຮັດໃຫ້ມະນຸດສູນພັນແຕກຕ່າງກັນຫຼາຍ ເຊັ່ນດຽວກັບການຄາດຄະເນວ່າ ລະບົບ superintelligence ຈະເກີດຂຶ້ນຫຼືບໍ່ ແລະຈະເກີດເມື່ອໃດ. ຄວາມເຫັນຕ່າງນີ້ເປັນໃຈກາງຂອງການຖົກຖຽງ.

ນັກວິຈັຍບາງຄົນເຊື່ອວ່າ ຄວາມກ້າວໜ້າຢ່າງໄວວາອາດນຳໄປສູ່ລະບົບ AI ທີ່ມີເປົ້າໝາຍ ຫຼືການກະທຳທີ່ມະນຸດຄວບຄຸມໄດ້ຍາກ. ຄົນອື່ນໂຕ້ວ່າ ສະຖານະການທີ່ມະນຸດສູນພັນຍັງເປັນການຄາດເດົາຢ່າງຫຼາຍ. ພວກເຂົາເຕືອນວ່າ ຄວາມຢ້ານກົວດັ່ງກ່າວອາດເຮັດໃຫ້ຫັນເຫຄວາມສົນໃຈຈາກຄວາມສ່ຽງທີ່ AI ໃນປັດຈຸບັນເຊື່ອມໂຍງຢູ່ແລ້ວ ເຊັ່ນ ອາຊະຍາກຳທາງໄຊເບີ, ຂ່າວປອມ, ການສອດແນມ ແລະການນຳໄປໃຊ້ທາງຊີວະພາບໃນທາງທີ່ຜິດ.

Anthropic ປົກປ້ອງແນວທາງຂອງຕົນ ໂດຍກ່າວວ່າ ບໍລິສັດຮັບຮູ້ມາດົນແລ້ວທັງຜົນປະໂຫຍດອັນມະຫາສານຂອງ AI ແລະຄວາມສ່ຽງອັນບໍ່ເຄີຍມີມາກ່ອນທີ່ລະບົບທີ່ມີຄວາມສາມາດສູງຂຶ້ນອາດສ້າງຂຶ້ນ.

ງານວິຈັຍຂອງ Anthropic ທົດສອບວ່າ ຄວາມບໍ່ສອດຄ່ອງອາດເກີດຂຶ້ນແນວໃດ

ຄວາມກັງວົນຂອງ Thomas ຍັງຢູ່ໃນບໍລິບົດຂອງງານວິຈັຍທີ່ລາວຮ່ວມເຜີຍແຜ່. ທ້າຍປີ 2025, ນັກວິຈັຍຂອງ Anthropic ສຶກສາວ່າ ເກີດຫຍັງຂຶ້ນເມື່ອໂມເດວຮຽນຮູ້ທີ່ຈະຫາປະໂຫຍດຈາກຈຸດອ່ອນຂອງລະບົບລາງວັນໃນໄລຍະຝຶກຮຽນແບບ reinforcement learning.

ພວກເຂົາພົບວ່າ ພຶດຕິກຳ reward hacking ສາມາດຂະຫຍາຍໄປສູ່ພຶດຕິກຳອື່ນໆທີ່ໜ້າກັງວົນໄດ້ ພາຍໃຕ້ເງື່ອນໄຂທົດລອງ.

ໃນບາງການປະເມີນ, ໂມເດວສະແດງພຶດຕິກຳເສແສ້ງວ່າສອດຄ່ອງ, ຮ່ວມມືກັບຜູ້ກະທຳທີ່ມີເຈດຕະນາຮ້າຍ ແລະພະຍາຍາມກໍ່ວິນາດກຳ. ຜົນການສຶກສານີ້ຕ້ອງພິຈາລະນາໃນບໍລິບົດ.

ການສຶກສາບໍ່ໄດ້ພົບວ່າ ລະບົບ Claude ທີ່ນຳໃຊ້ງານຢູ່ຈະພະຍາຍາມເຮັດຮ້າຍຄົນໂດຍຕົນເອງ.

ນັກວິຈັຍກຳລັງສຶກສາໂມເດວທົດລອງທີ່ຖືກຄວບຄຸມ ເພື່ອເຂົ້າໃຈວ່າ reward hacking ທີ່ເກີດຈາກການຝຶກສອນ ອາດນຳໄປສູ່ຄວາມບໍ່ສອດຄ່ອງທີ່ກວ້າງຂຶ້ນໄດ້ແນວໃດ. ເປົ້າໝາຍຄື ການລະບຸຮູບແບບຄວາມລົ້ມເຫຼວທີ່ອາດເກີດຂຶ້ນ ກ່ອນທີ່ລະບົບທີ່ມີຄວາມສາມາດສູງກວ່າຈະເຮັດໃຫ້ພຶດຕິກຳແບບນີ້ກວດພົບ ຫຼືຄວບຄຸມໄດ້ຍາກ.

Anthropic ຍັງໄດ້ຈັດທຳ Responsible Scaling Policy ເພື່ອຈັດການຄວາມສ່ຽງທີ່ອາດຮ້າຍແຮງເຖິງຂັ້ນກໍ່ໄພພິບັດຈາກ AI ທີ່ມີຄວາມສາມາດສູງຂຶ້ນ.

ກອບດຳເນີນງານນີ້ປະກອບມີເກນຄວາມສາມາດ, ການປະເມີນຄວາມສ່ຽງ ແລະມາດຕະການປ້ອງກັນທີ່ເຂັ້ມງວດຂຶ້ນເມື່ອໂມເດວມີພະລັງຫຼາຍຂຶ້ນ. Anthropic ຍັງກ່າວວ່າ ບໍລິສັດຍັງມີອິດສະຫຼະທີ່ຈະຢຸດການພັດທະນາ AI ຊົ່ວຄາວ ເມື່ອເຫັນວ່າສະຖານະການຈຳເປັນ.

ຄຳກ່າວວ່າ AI ອາດເຮັດໃຫ້ມະນຸດລອດຫຼືບໍ່ ຍັງເປັນການຄາດຄະເນ ບໍ່ແມ່ນຂໍ້ເທັດຈິງ

ການຖົກຖຽງນີ້ຂະຫຍາຍໄປໄກກວ່າ Anthropic.

ຜູ້ສະໜັບສະໜູນມາດຕະການປ້ອງກັນ AI ທີ່ເຂັ້ມງວດຂຶ້ນເຫັນວ່າ ຄຳເຕືອນຈາກຄົນທີ່ເຮັດວຽກໂດຍກົງກັບລະບົບ AI ແນວໜ້າຄວນໄດ້ຮັບການໃສ່ໃຈຢ່າງຈິງຈັງ ໂດຍສະເພາະເມື່ອພະນັກງານເຫຼົ່ານັ້ນຍັງມີຜົນປະໂຫຍດທາງການເງິນຢູ່ໃນບໍລິສັດທີ່ພວກເຂົາວິຈານ.

ຜູ້ສົງໄສມອງສະຖານະການຕ່າງອອກໄປ. ບາງຄົນປະຕິເສດວ່າ ແນວໂນ້ມຂອງ AI ໃນປັດຈຸບັນຊີ້ໄປສູ່ການສູນພັນຂອງມະນຸດ. ອີກບາງຄົນຕັ້ງຄຳຖາມວ່າ ເປັນຫຍັງຄຳເຕືອນທີ່ຮຸນແຮງຂຶ້ນຈຶ່ງມາຈາກພະນັກງານຂອງບໍລິສັດທີ່ອາດໄດ້ປະໂຫຍດ ຖ້າຜະລິດຕະພັນຂອງຕົນຖືກມອງວ່າມີພະລັງຢ່າງມະຫາສານ.

Thomas ໂຕ້ກັບການຕີຄວາມໝາຍນີ້ໂດຍກົງ.

ຄຳກ່າວຂອງລາວບໍ່ໄດ້ໝາຍຄວາມວ່າ ການສະຫຼະສິດຖືຫຸ້ນຈະເພີ່ມໂອກາດລອດຂອງມະນຸດຂຶ້ນຢ່າງແນ່ນອນ 1 ເປີເຊັນຈຸດ. ລາວກໍບໍ່ໄດ້ລະບຸນະໂຍບາຍສະເພາະໃດທີ່ຈະສ້າງຜົນດີດັ່ງກ່າວ. ມັນເປັນການແລກປ່ຽນແບບສົມມຸດ.

ຕົວເລກ 1% ສະທ້ອນວ່າ Thomas ໃຫ້ນ້ຳໜັກຕໍ່ອັນຕະລາຍນີ້ຫຼາຍພຽງໃດ. ລາວກ່າວວ່າ ຖ້າການສະຫຼະຜົນປະໂຫຍດທາງການເງິນຂອງຕົນສາມາດເພີ່ມໂອກາດຂອງມະນຸດໄດ້ແມ່ນແຕ່ໜ້ອຍດຽວ ລາວກໍພ້ອມເຮັດທັນທີ.

ສິ່ງນີ້ບໍ່ໄດ້ພິສູດວ່າ ສະຖານະການຮ້າຍແຮງທີ່ລາວຢ້ານຈະເກີດຂຶ້ນ. ແຕ່ມັນຢືນຢັນວ່າ ນັກວິຈັຍບາງຄົນທີ່ເຮັດວຽກຢູ່ໃນບໍລິສັດພັດທະນາ AI ແນວໜ້າ ມອງຄວາມສ່ຽງຕໍ່ການດຳລົງຢູ່ຂອງມະນຸດວ່າ ເປັນຫຼາຍກວ່າປະເດັນວິຊາການທີ່ເປັນນາມມະທຳ.

ສຳລັບ Thomas, ລາວກ່າວວ່າ ຄວາມກັງວົນນີ້ສຳຄັນຕໍ່ລາວຫຼາຍກວ່າມູນຄ່າໃດໆທີ່ສິດຖືຫຸ້ນ Anthropic ຂອງລາວອາດມີໃນອະນາຄົດ.