Phân tích nguồn gốc các khả năng của GPT-3 - 123winclub

Đây là số thứ 15 của Tuần Báo Thập Nguyệt, tiêu đề được lấy cảm hứng từ bài viết đầu tiên. Tổng quát mà nói, tuần này tôi đã đọc khá nhiều nội dung liên quan đến trí tuệ nhân tạo và lịch sử công nghệ, trong đó có một vài bài viết cũ, con số sau tiêu đề là năm xuất bản.

Hai số gần đây đều xoay quanh các chủ đề cụ thể, tôi rút ra hai nhận xét:

1. Cần chủ động tìm kiếm thông tin, từ đó có thể phát hiện những nội dung cũ nhưng vẫn giữ nguyên giá trị.
2. Có thể tìm thấy sự kết nối giữa các bài viết khác nhau, ghép nối các kiến thức và quan điểm lại với nhau.

Cảm giác này thật tuyệt vời.

Trí Tuệ Nhân Tạo và Lịch Sử Công Nghệ

Phần này gồm 5 nội dung, ngoài podcast của Mộc Diệu là nội dung mới nhất, bốn bài còn lại đều được xuất bản trước năm 2019, bài sớm nhất vào năm 1999.

Cách Để Ngừng Lo Lắng và Học Cách Yêu mến Internet - Douglas Adams / 1999 Ý chính của bài viết đã được thể hiện rõ ràng qua tiêu đề: ngừng lo lắng và học cách yêu mến internet. Rất phù hợp để đọc lại trong thời điểm AI hiện tại.

Trích dẫn một đoạn như sau:

1. Những điều tồn tại khi bạn sinh ra, bạn sẽ coi là nhà cái uy tín bk8vie bình thường.
2. Từ khi sinh ra đến trước tuổi 30, những phát minh mới sẽ khiến bạn hào hứng, nếu may mắn, có thể trở thành nghề nghiệp của bạn.
3. Bất kỳ phát minh nào xuất hiện sau tuổi 30 đều vi phạm quy luật tự nhiên, là kẻ hủy diệt nền văn minh, cho đến khi phát minh đó tồn tại hơn 10 năm, lúc đó bạn sẽ nhận ra nó không đáng sợ đến vậy.

Từ góc độ khả năng thích nghi của con người, điều này làm tôi nhớ đến một câu danh ngôn của Romain Rolland: “Hầu hết mọi người đều chết ở tuổi hai mươi hoặc ba mươi, họ chỉ trở thành cái bóng của chính mình, phần đời còn lại chỉ là sự sao chép hàng ngày.”

Ngoài ra, hiện tại giá của ChatGPT không hề rẻ, hiệu suất cũng chỉ ở mức trung bình, ứng dụng thực tế thì chưa nhiều. Tất cả những điều này giống hệt như internet ban đầu, tương lai dịch vụ AI sẽ trở nên vô cùng mạnh mẽ, dễ tiếp cận và giá cả phải chăng.

[Podcast] Thời Đại Điên Cuồng của AI, Con Người Còn Giá Trị Gì? - Mộc Diệu và cộng sự

Lịch Sử Trí Tuệ Nhân Tạo - Rockwell Anyoha / 2017 Ví dụ:

v.v…

Cuộc Chiến Phản biện của Cha đẻ Trí Tuệ Nhân Tạo Hinton - sayonly / 2018 Bài viết đề cập đến ba điểm bị nghi ngờ về mạng nơ-ron:

1. Thiếu lý thuyết: hộp đen, không thể giải thích.
2. Không thể suy luận: ChatGPT bây giờ đã xuất hiện khả năng CoT (Chain of Thought).
3. Không đúng về mặt sinh học: NN sử dụng BP, trong khi sự thay đổi trọng số kết nối giữa các nơ-ron não dựa trên STDP.

Hai điểm đầu tiên tôi đã gặp trong nhiều bài viết, điểm thứ ba thì lần đầu tiên nghe, rất kỹ thuật.

Khi thảo luận về nghi ngờ “thiếu lý thuyết”, tác giả so sánh mối quan hệ giữa toán học và vật lý. Trong lịch sử, lâu dài toán học luôn đi trước vật lý, nhưng đến thời hiện đại, vật lý lại đi trước toán học, một số nghiên cứu vật lý thúc đẩy sự tiến bộ của toán học mới.

Liệu nghiên cứu về mạng nơ-ron không làm được điều tương tự?

Về thành công của mạng nơ-ron, có một giả thuyết cực đoan: trí tuệ của con người, khả năng cơ bản không phải là lý tính (khả năng suy luận), mà là bắt chước.

Bài Học Đắng - Rich Sutton / 2019 Về trí tuệ nhân tạo, từng có cuộc tranh cãi về lộ trình: thêm kiến thức quy tắc của con người vào hệ thống vs đạt được trí tuệ hoàn toàn bằng thống kê và tính toán.

Quan điểm cốt lõi của bài viết là, cần rút kinh nghiệm từ lịch sử, việc thêm kiến thức quy tắc của con người vào AI có vẻ hiệu quả trong ngắn hạn, nhưng về lâu dài, khi sức mạnh tính toán được cải thiện, những kiến thức quy tắc của con người thêm vào trở nên không đáng kể.

Phân Tích Kỹ Thuật Mô Hình GPT

Hai bài viết này cũng có thể coi là lịch sử, là chi tiết kỹ thuật của ChatGPT.

Phân tích nguồn gốc các khả năng của GPT-3.5 - Phụ Diêu GPT-3 được công bố vào tháng 6 năm 2020, ChatGPT được công bố vào cuối tháng 11 năm 2022, giữa hai thời điểm này có hơn hai năm. Bài viết này sử dụng thông tin công khai để tổng hợp và suy đoán công việc của OpenAI trong hai năm này, quá trình GPT-3 dần dần biến đổi thành ChatGPT gây ấn tượng mạnh.

Hiểu sâu về khả năng nổi bật của mô hình ngôn ngữ - Phụ Diêu Bài viết giới thiệu về khả năng nổi bật (dịch phổ biến khác là khả năng bùng nổ).

Bài viết có đề cập rằng, ChatGPT không gắn kèm dữ liệu kiến thức bên ngoài, tất cả kiến thức đều tồn tại trong mô hình, và trong mô hình, chính là 175 tỷ tham số. Nghĩa là, kiến thức thế giới được lưu trữ ẩn trong 175 tỷ tham số của mô hình lớn này, điều này rất giống với cách kiến thức của con người được lưu trữ ẩn trong các nơ-ron (ở mức trừu tượng).

Xem Chơi

Lời Khuyên Cho Các Nhà Phê Bình Trẻ - keo nha cai bet88 Matt Zoller Seitz / 2014 Nếu viết phê bình phim:

v.v…

Quả táo đã cắn dở có thể mang đi không? - Neverland Một thực hành thú vị, Neverland đã xuất toàn bộ dữ liệu từ dịch vụ Apple và lưu trữ chúng, đồng thời nghiên cứu về các dữ liệu mà Apple thu thập.

Công Cụ Tài Nguyên

Một thử nghiệm lọc RSS miễn phí cục bộ: NetNewsWire - UNTAG Tôi đang sử dụng NetNewsWire làm công cụ đọc RSS chính, vừa có nhu cầu lọc bài viết, tôi tìm thấy bài viết này, nó sử dụng AppleScript để đáp ứng nhu cầu lọc bài viết, đánh dấu các bài viết chứa từ khóa cụ thể thành đã đọc, gián tiếp thực hiện chức năng lọc.

Mã code trong bài nếu sử dụng trực tiếp có thể báo lỗi, cần chỉnh sửa phù hợp với các nguồn đăng ký của bạn. Tôi vẫn đang nghiên cứu, chưa xây dựng được khả năng lọc hoàn chỉnh.