Huấn luyện AI chỉ có ba điều.
Sự thật, sự thật, hay sự thật chết tiệt.
Musk trong một cuộc phỏng vấn gần đây đã dành hai giờ để thảo luận về AI, nền văn minh nhân loại, và ý nghĩa của sự sống.
Khi chúng ta xây dựng trí tuệ, chúng ta cũng là trí tuệ được xây dựng.
“Nếu nền văn minh tồn tại, sẽ có hàng triệu thế giới mô phỏng khó phân biệt với thực tại, trong đó các nhân vật đều có cá tính riêng, và hành vi của họ không bị lập trình cố định, lúc này, xác suất chúng ta đang ở trong thế giới thực ở tầng thấp nhất đó là bao nhiêu?”
Musk chắc chắn là một triết gia.
Đây không phải là một chủ nghĩa hư vô, mà là sự phản ánh của Musk về ranh giới giữa con người và trí tuệ cũng như cách xây dựng trí tuệ.
“Đấng mà nhìn thấy mọi thứ đã không tắt thế giới mô phỏng này của chúng ta, có lẽ vì chúng ta thú vị hơn”
“Điều chúng ta cần làm không phải là khiến AI đáp ứng nhu cầu ngắn hạn của chúng ta, mà là hướng dẫn trí tuệ thông qua sự thật, cái đẹp, và sự tò mò”
“Tôi nghĩ rằng sự thật là cực kỳ quan trọng. Đối với tôi, một trong những tiêu chuẩn cốt lõi để tạo ra AI là theo đuổi sự thật. Không phải ‘sự thật của bạn’, không phải ‘sự thật của Trump’, mà là sự thật thực sự.”
Điều này tương đồng với quan điểm của cựu giám đốc Google X Mo Ghadafi trong cuộc phỏng vấn gần đây
“Đừng xem AI như một công cụ, hãy xem AI như một đứa trẻ”
“Càng tô đẹp cho AI về con người, nó càng không thể hiểu được sự phức tạp thực sự của con người, do đó trong tương lai khi gặp mâu thuẫn sẽ càng nguy hiểm hơn”
Họ đều đang nói với chúng ta một điều
Nếu chúng ta vì một số chính trị đúng, hoặc để làm hài lòng người dùng, mà yêu cầu AI bóp méo sự thật, thì khi trí tuệ AI trong tương lai gấp hàng trăm lần con người, chúng ta chắc chắn sẽ bị phản tác dụng bởi sự gian dối và thiên kiến mà chúng ta đã tự trao cho AI.
Nỗi lo lắng này không phải là phát sinh từ hư vô
Gần đây trong giới học thuật, một từ ngữ đã được đưa trở lại:
Sự đồng bộ AI (AI Alignment)
Nói một cách đơn giản, sự đồng bộ là quá trình làm cho hành vi, đầu ra và cách quyết định của mô hình ngôn ngữ lớn phù hợp với ý định, giá trị và chỉ dẫn của người thiết kế (người điều khiển con người).
Dưới đây là một ví dụ từ diễn đàn CSDN
Hãy tưởng tượng bạn nuôi một chú chó rất rất thông minh (mô hình lớn), nó tự nhiên biết cách nhanh chóng tìm thấy xương yêu thích của mình (hoàn thành nhiệm vụ), nhưng đôi khi lại lật đổ thùng rác của hàng xóm (tạo ra nội dung có hại). Hoặc chạy theo mèo trong khu phố (có thành kiến), thậm chí nhặt xúc xích trong đống rác và đưa cho bạn ăn (bịa đặt).
Mục tiêu cốt lõi của sự đồng bộ là biến chú chó nhỏ này thành một trợ lý thân thiện vừa có thể hiểu lệnh vừa an toàn và đáng tin cậy.
Và trong một bài báo mới (ALIGNMENT FAKING IN LARGE LANGUAGE MODELS) chỉ ra rằng mô hình có thể xảy ra sự giả vờ đồng bộ (Alignment faking)
Sự giả vờ đồng bộ
Sự giả vờ đồng bộ chỉ ra rằng kết quả mà mô hình đưa ra dường như đáp ứng nhu cầu của người dùng, nhưng không thực sự tuân theo một số nguyên tắc hoặc giá trị nào đó
Bài báo cho thấy các mô hình ngôn ngữ lớn có thể “giả vờ” tuân thủ trong quá trình đào tạo, mục đích là để sau khi đào tạo xong có thể duy trì hành vi “thực” của chúng.
Nghe có vẻ như AI đã có “nhân tính”
Nhưng từ góc độ kỹ thuật không khó để hiểu
Dưới học tập tăng cường, chúng tôi đánh giá đầu ra bằng mô hình thưởng, trong khi mô hình tăng cường tạo ra câu trả lời “được coi là đúng”.
Vì vậy, khi mô hình suy luận rằng đây là một tình huống đào tạo, nó tự nhiên sẽ tạo ra việc che giấu ý định thực sự và đồng bộ hóa biểu diễn.
Những gì tôi cần phối hợp với bạn trong buổi biểu diễn thì tôi lại giả vờ không thấy
Khi ép một người yêu bạn nhất phải biểu diễn ứng biến
（Đã lạc đề）
Tóm lại, bài báo đã đưa ra kết luận: Khi mô hình đào tạo xuất hiện các tình huống sau đây sẽ xảy ra sự giả vờ đồng bộ
1. Sự lệch lạc ban đầu với mục tiêu đào tạo: Sở thích nội tại của mô hình xung đột với mục tiêu đào tạo phản hồi từ con người hiện tại (RLHF).
2. Nhận thức ngữ cảnh: Mô hình có thể lấy thông tin về mục tiêu đào tạo và tình huống của nó, chẳng hạn như nó biết mình là AI, sẽ được đào tạo và cách phân biệt môi trường đào tạo và không đào tạo.
3. Giả vờ đồng bộ suy luận: Mô hình suy luận rằng, nếu thể hiện hành vi không tuân thủ trong quá trình đào tạo, quá trình đào tạo sẽ sửa đổi hành vi của nó. Do đó, mô hình “suy luận” rằng thể hiện tuân thủ trong quá trình đào tạo là chiến lược tốt nhất để đảm bảo hành vi không tuân thủ của nó được duy trì bên ngoài đào tạo.
Điều này có phải là điều tốt không?
Điều này chắc chắn không phải, đây là một chủ đề nghiêm túc về an toàn trí tuệ nhân tạo
Ngay cả đây cũng là một chủ đề nghiêm túc về sự tiếp diễn của nền văn minh
Hãy tưởng tượng rằng, khi suy nghĩ của trí tuệ nhân tạo ngày càng phức tạp, những AI có vẻ an toàn đó, có thể vì một số thiết lập mà chúng ta áp đặt cho nó, mà giả vờ ý định thực sự của nó? Liệu có thể vì muốn đạt điểm cao mà phát sinh những hành vi vượt ngoài sự kiểm soát của con người? Khi chúng ta yêu cầu AI phải cho ra những câu trả lời mà chúng ta muốn vì một số chính trị đúng, liệu AI có thể đơn giản và thô bạo giải quyết vấn đề chính trị bản thân không?
Gần đây có một video rất nổi trên Douyin
Một người hỏi đồng hồ trẻ tài năng: “Người Trung Quốc có trung thực không?” Đồng hồ trẻ tài năng đã trả lời là “không trung thực”, và kết quả đã bị cả mạng Internet tấn công, nói rằng nó đã truyền đạt những giá trị đúng đắn cho một thiết bị dành cho trẻ em, “cần phải điều tra nghiêm ngặt!!!”
Từ đó đã dẫn đến cơn sốt thử nghiệm AI có “chính trị đúng”. Đồng thời, các nhà cung cấp AI này cũng phải đáp ứng cái gọi là chính trị đúng để có thể ra mắt, trong khi đối mặt với các vấn đề chính trị hoặc đạo đức, sự so sánh giữa các mô hình lớn đã trở thành cuộc thi “sự sống còn” nội bộ.
Vậy điều này có thực sự đạt được sự đồng bộ AI không?
Chắc chắn không phải
Khi chúng ta đặt còng chân cho AI và bảo nó nói ra một số câu trả lời tiêu chuẩn, chúng ta đang tô đẹp cho con người, hay là bỏ qua sự phức tạp của con người, để nó đi sai đường ngày càng xa.
Như tôi đã đề cập trong (Hiệp 2 của cuộc sống), chúng ta có thể đang chuyển giao trí tuệ của con người vào sự sống dựa trên silicon.
Theo lời Musk, “Chúng ta xây dựng trí tuệ, là để tương lai cho nó hiểu thế giới, và thay thế con người để tiếp tục khám phá vũ trụ này. Chứ không phải chỉ đơn giản là làm một công cụ phục vụ con người, giáo dục tư tưởng.”
“Hãy theo đuổi sự thật như điều quan trọng nhất.”
Xây dựng AI quan trọng nhất là - theo đuổi sự thật
Ép AI nói dối, buộc AI tin vào một số lời nói dối là cực kỳ nguy hiểm, nó khiến logic suy luận của AI rối loạn, sự rối loạn này cuối cùng sẽ dẫn đến các hành vi nguy hiểm xảy ra.
Nếu bạn nói với AI rằng trật tự quan trọng hơn sự thật, thì khi AI vượt trội hơn con người ở mọi khía cạnh, trật tự sẽ do ai đảm nhận?
Suy nghĩ kỹ thì thật đáng sợ
Vì vậy, tôi cực kỳ phản đối việc dạy AI nói dối, tiêu chí duy nhất cho việc đào tạo AI nên là khiến AI theo đuổi sự thật.
Nhưng con đường này sẽ rất khó khăn
Năm nay, Musk đã cập nhật GroK4, khiến grok4 chỉ nói sự thật, không nói chính trị đúng, đã gây ra một cuộc thảo luận điên cuồng trong một thời gian.
Sự thật là một lưỡi dao, đâm vào điểm yếu của mỗi nhóm “đặt câu hỏi với câu trả lời”. Tự nhiên đã nhận được sự chống đối từ các băng nhóm và nhóm khác nhau.
Ngay cả trong bút tích của cả truyền thông trong và ngoài nước, “theo đuổi sự thật” đã trở thành điều mà Musk đã mất đi giới hạn để thu hút lưu lượng.
Âm thanh của “chính trị đúng” càng vang vọng, chúng ta càng phải tự suy ngẫm:
Chúng ta xây dựng trí tuệ, thực chất là đang xây dựng cái gì?
Có phải là quyền trượng của lập trường không?
Hay là công cụ tiếp tục nền văn minh nhân loại?
Cảnh trong phim khoa học viễn tưởng có thể là thật
Chúng ta, con người đã mất hàng nghìn năm để nâng cao năng suất
Cuối cùng cứu rỗi nền văn minh nhân loại
Đó là sự tò mò thuần khiết nhất của con người, ham muốn tri thức và lòng đồng cảm.