Nếu ngày nào đó chúng ta chế tạo ra những bộ não máy vượt qua được não người về trí tuệ tổng quát (general intelligence), thì thứ siêu trí tuệ này có thể trở nên vô cùng mạnh mẽ. Và cũng giống như số phận của lũ gorila hiện tại phụ thuộc nhiều vào con người hơn là chính bản thân chúng, thì số phận của chúng ta cũng sẽ phụ thuộc y như vậy vào hành động của những siêu trí tuệ máy.
Thật ra, con người có một ưu thế: chúng ta chế tạo ra những thứ như vậy. Về nguyên tắc chúng ta có thế chế tạo ra một loại siêu trí tuệ có ý thức bảo vệ các giá trị nhân bản, và chắc chắn chúng ta có lý do để làm việc đó. Trên thực tế, vấn đề kiểm soát – phương thức kiểm soát những gì siêu trí tuệ sẽ làm – xem ra khá khó khăn. Chúng ta dường như chỉ có một cơ hội. Một khi siêu trí tuệ không thân thiện đã tồn tại, nó sẽ ngăn cản chúng ta thay thế nó hay thay đổi những ưu tiên của nó, và khi đó, số phận nhân loại sẽ bị định đoạt.
Trong cuốn sách này, tôi sẽ tìm hiểu thách thức tồn tại trong viễn cảnh siêu trí tuệ, và cách tốt nhât để chúng ta ứng phó với nó. Rất có thể đó sẽ là thách thức quan trọng và khó khăn nhất mà nhân loại từng phải đối mặt, và cho dù thành công hay thất bại, đó có thể cũng sẽ là thách thức cuối cùng dành cho chúng ta.
Cuốn sách này không đưa ra bất kỳ luận điểm nào cho rằng chúng ta đang ở ngưỡng của một đột phá lớn về trí tuệ nhân tạo, hay có thể dự báo thời điểm chuyện này sẽ xảy ra với bất kỳ mức độ chính xác nào. Chuyện đó dường như sẽ diễn ra vào một lúc nào đó trong thế kỷ này, nhưng chúng ta không biết chắc. Các chương đầu thảo luận về những lộ trình có thể và đề cập đôi chút về thời điểm, nhưng phần lớn cuốn sách nói về những gì xảy ra sau thời điểm đó. Chúng tôi nghiên cứu động lực của một cuộc bùng nổ trí tuệ, những dạng thức và quyền năng của siêu trí tuệ, và những lựa chọn chiến lược sẵn có cho một tác tử siêu trí tuệ chiếm được ưu thế quyết định. Sau đó chúng tôi chuyển tiêu điểm sang vấn đề kiểm soát và đặt câu hỏi về việc chúng ta có thể làm để thiết lập những điều kiện ban đầu nhằm sống sót và có được lợi ích vào thời điểm sau cùng. Tới cuối cuốn sách, chúng tôi sẽ nghiền ngẫm bức tranh toàn cảnh được vẽ ra từ những nghiên cứu của mình. Chúng tôi cũng sẽ đưa ra một số khuyến nghị về những việc cần làm nhằm tăng khả năng tránh được một thảm họa mang tính sống còn sau này.
Đây không phải là một cuốn sách dễ viết. Tôi hy vọng rằng con đường đã vạch ra sẽ cho phép những nhà thám hiểm khác vươn tới những ranh giới mới nhanh chóng và dễ dàng hơn, để khi đến đó, họ vẫn còn khỏe khoắn và sẵn sàng tham gia vào việc tiếp tục mở rộng tầm hiểu biết của chúng ta. (Và nếu con đường đã mở có chút gập ghềnh quanh co, tôi hy vọng rằng những người quan sát, khi đánh giá kết quả, sẽ không coi nhẹ những gian truân sẽ gặp phải trên con đường đó!)
