Công thức "chú ý" — viên gạch đầu tiên của ChatGPT

Cái tin nhắn lúc nửa đêm

Hai giờ sáng. Bạn dán một đoạn tiếng Anh vào Google Dịch, nhận lại bản tiếng Việt trôi chảy đến bất ngờ. Hoặc bạn hỏi ChatGPT cách nấu bún bò, nó trả lời rành rọt như một bà nội trợ Huế chính hiệu. Hoặc đơn giản hơn nữa — bạn gõ "hẹn gặp..." trên bàn phím điện thoại, nó tự gợi ý "...lúc 7 giờ tối nhé" chính xác y chang ý bạn định viết.

Mọi thứ đó — dịch thuật, chatbot, gợi ý văn bản, tạo hình ảnh bằng AI — đều chạy trên cùng một "động cơ" được phát minh năm 2017. Tên nó: Transformer. Và câu chuyện bắt đầu từ một bài báo mà tiêu đề nghe như lời khuyên tình yêu: "Attention Is All You Need" — Chỉ cần chú ý là đủ.

Tôi đọc bài báo đó lần đầu mấy năm trước, nghĩ "ừ hay đấy." Rồi càng lúc càng nhận ra: đây không phải bài báo hay. Đây là bài báo thay đổi mọi thứ. Và nổi da gà thật sự là khi hiểu ra mình đang dùng phát minh này mỗi ngày mà chẳng hề hay biết.

Tám tác giả và cái tên nghe như phim robot

Năm 2017, tám nhà nghiên cứu tại Google Brain và Google Research — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser và Illia Polosukhin — công bố bài báo tại hội nghị NeurIPS. Nội dung cốt lõi gói gọn trong một ý tưởng táo bạo: bỏ hết những thứ cũ, chỉ giữ lại cơ chế "chú ý" (attention).

Nghe trừu tượng quá phải không? Thì hãy tưởng tượng bạn đang đọc một cuốn tiểu thuyết trinh thám. Cách đọc cũ của AI (mạng RNN — Recurrent Neural Network) giống như bạn bị bịt mắt, chỉ được sờ từng chữ một, từ trái sang phải, không quay lại được. Đến trang 200, bạn đã quên sạch manh mối ở trang 3.

Cơ chế attention của Transformer thì khác hẳn. Nó giống một thám tử ghim TẤT CẢ manh mối lên tấm bảng lớn, rồi dùng sợi chỉ đỏ nối những manh mối liên quan lại với nhau — bất kể chúng cách nhau bao nhiêu trang.

Cụ thể hơn: mỗi từ trong câu được tạo ba "phân thân" gọi là Query (tôi đang tìm gì?), Key (tôi chứa thông tin gì?), và Value (tôi cung cấp gì?). Máy đem Query của từ này so với Key của TẤT CẢ các từ còn lại, tính ra "điểm chú ý", rồi tổng hợp Value theo trọng số đó. Nghe hơi kỹ thuật, nhưng hệ quả thì đơn giản lắm: mỗi từ bây giờ "biết" nó liên quan đến từ nào nhất trong toàn bộ câu.

Câu "Con mèo ngồi trên thảm vì nó mệt" — khi xử lý chữ "nó", Transformer chấm điểm cao nhất cho "mèo", không phải "thảm". Nó hiểu ngữ cảnh. Tưởng bình thường, nhưng trước 2017, đây là bài toán khiến cả ngành AI đau đầu.

Trước Transformer, AI đọc như người say rượu

Để hiểu vì sao Transformer là bước ngoặt, bạn cần biết thế giới trước nó bế tắc đến mức nào.

Trước 2017, mô hình ngôn ngữ chủ yếu dùng RNN và biến thể LSTM (Long Short-Term Memory, Hochreiter & Schmidhuber, 1997). Chúng xử lý tuần tự — từng từ, từng từ — như một băng chuyền chỉ chạy một chiều. Hai hệ quả chết người:

Chậm kinh khủng. Vì phải xử lý lần lượt, bạn không thể tận dụng sức mạnh tính toán song song của GPU hiện đại. Huấn luyện một mô hình dịch thuật tử tế mất hàng tuần trời.

Hay quên. Dù LSTM đã cố "ghi nhớ" tốt hơn, thông tin từ đầu câu vẫn bị pha loãng khi truyền qua hàng trăm bước. Dịch một đoạn văn dài? Phần đầu gần như bị bỏ rơi. Giống bạn nhờ truyền miệng một tin qua 50 người — đến người cuối, nội dung đã méo mó hết.

Transformer giải quyết cả hai cùng lúc. Mọi từ được xử lý song song — không phải chờ từ trước xong — nên tốc độ huấn luyện tăng vọt. Bài báo gốc cho thấy mô hình cơ bản được huấn luyện trong khoảng 3,5 ngày trên 8 GPU, con số khiêm tốn so với tiêu chuẩn lúc bấy giờ. Và nhờ attention, từ ở vị trí thứ nhất "nói chuyện" trực tiếp với từ ở vị trí thứ một nghìn mà không mất mát gì.

Kết quả đã được chứng minh: Transformer đạt điểm BLEU (thước đo chất lượng dịch máy) cao nhất trên cả hai bộ dữ liệu tiếng Anh-Đức và Anh-Pháp tại thời điểm công bố, vượt mọi mô hình trước đó. Nhưng đấy mới chỉ là phát súng khai màn. Điều không ai lường trước: Transformer không chỉ dịch giỏi — nó trở thành NỀN TẢNG cho gần như MỌI đột phá AI sau này. Bài báo đã được trích dẫn hơn trăm nghìn lần tính đến nay — một con số hiếm có trong lịch sử khoa học máy tính.

Bạn chạm Transformer mỗi ngày mà chẳng hay

Transformer không nằm yên trong phòng thí nghiệm. Nó đang ở trong túi quần bạn, trên bàn làm việc, trong cái tivi thông minh.

Google Dịch. Năm 2018, Google chuyển toàn bộ hệ thống dịch sang kiến trúc Transformer. Đó là lý do bản dịch Anh-Việt bây giờ "người" hơn hẳn so với vài năm trước — trôi chảy, hiểu ngữ cảnh, ít dịch máy móc kiểu "tôi có một con chó, nó tên là bàn."

ChatGPT, Claude, Gemini. Chữ T trong GPT là Transformer. Claude của Anthropic, Gemini của Google — tất cả đều là hậu duệ trực tiếp của bài báo 2017. Khi bạn hỏi ChatGPT cách sửa ống nước hay nhờ Claude viết email, bạn đang dùng cơ chế attention.

Gợi ý bàn phím. Mỗi lần điện thoại đoán đúng từ bạn sắp gõ — "cảm ơn" sau khi bạn viết "xin" — đằng sau là một mô hình ngôn ngữ chạy Transformer.

Tìm kiếm Google. Từ 2019, Google triển khai BERT (Devlin et al., 2018) — một kiến trúc Transformer — vào công cụ tìm kiếm. Khi bạn gõ "quán phở ngon gần đây còn mở cửa", Google hiểu bạn cần quán ĐANG MỞ, không chỉ quán ngon. Sự khác biệt đó là nhờ attention.

Ngay tại Việt Nam. VinAI Research phát triển PhoBERT (Nguyen & Nguyen, 2020) — mô hình ngôn ngữ tiếng Việt dựa trên Transformer, huấn luyện trên khoảng 20GB văn bản tiếng Việt. PhoBERT đang được dùng trong phân tích cảm xúc bình luận Shopee, chatbot ngân hàng, và nhiều sản phẩm xử lý ngôn ngữ tự nhiên nội địa.

Tiền đang chảy theo hướng "chú ý"

Đây là phần thực dụng. Transformer không chỉ là khoa học đẹp — nó đang tạo ra cả một nền kinh tế mới.

Và bằng chứng sống động nhất: chính các tác giả gốc. Phần lớn trong tám người đã rời Google để khởi nghiệp. Aidan Gomez đồng sáng lập Cohere — công ty AI doanh nghiệp định giá hàng tỷ USD. Noam Shazeer lập Character.AI. Niki Parmar và Ashish Vaswani đồng sáng lập Adept AI. Jakob Uszkoreit lập Inceptive — dùng chính cơ chế attention để thiết kế phân tử RNA cho dược phẩm. Llion Jones sang Tokyo lập Sakana AI. Một bài báo duy nhất, gieo hạt cho cả một hệ sinh thái công ty tỷ đô.

Nhưng không cần là tiến sĩ Google mới kiếm tiền từ Transformer. Cơ hội cho người bình thường rất rõ ràng:

Theo báo cáo của LinkedIn (2024), "AI Engineer" và "Machine Learning Engineer" liên tục nằm trong top nghề tăng trưởng nhanh nhất toàn cầu. Tại Việt Nam, FPT, VinAI, Zalo AI và hàng loạt startup đang tuyển mạnh các vị trí liên quan Transformer và LLM — mức lương cạnh tranh, nhiều vị trí cho phép làm remote.

Khi máy biết "chú ý" — nhân loại bước lên nấc nào?

Transformer không chỉ dịch ngôn ngữ. Nó đang dịch cả tri thức nhân loại sang dạng mà mọi người đều tiếp cận được.

Y tế. Cơ chế attention đã được tích hợp vào AlphaFold 2 (Jumper et al., DeepMind, 2021) — hệ thống dự đoán cấu trúc protein đã được chứng minh đạt độ chính xác ngang thực nghiệm. Mỗi loại thuốc mới đều bắt đầu từ việc hiểu protein. Transformer đang rút ngắn hành trình đó từ nhiều năm xuống còn vài giờ tính toán.

Giáo dục. Một học sinh ở Cần Thơ giờ hỏi ChatGPT giải thích định lý Pythagore bằng tiếng Việt, nhận câu trả lời cá nhân hóa — thứ trước đây chỉ gia sư riêng mới làm được. Khan Academy đã tích hợp GPT-4 vào trợ lý Khanmigo (2023), đang thử nghiệm dạy kèm một-một cho hàng triệu học sinh.

Khí hậu. Mô hình Pangu-Weather (Bi et al., Huawei, 2023, công bố trên Nature) sử dụng kiến trúc lấy cảm hứng từ Transformer để dự báo thời tiết nhanh hơn hàng nghìn lần so với phương pháp số trị truyền thống — kỳ vọng giúp cảnh báo sớm thiên tai tại những quốc gia dễ tổn thương như Việt Nam.

Nhưng — và đây là phần cần tỉnh táo — Transformer mang theo rủi ro thực sự. Mô hình lớn có thể tạo ra thông tin sai với giọng tự tin không thể chê (hiện tượng "hallucination" — đã được ghi nhận rộng rãi trong nghiên cứu). Chúng phản ánh thiên kiến có sẵn trong dữ liệu huấn luyện. Năng lượng cần để huấn luyện một mô hình Transformer quy mô lớn là đáng kể — con số chính xác thay đổi theo từng mô hình, nhưng đây là thách thức môi trường mà cả ngành đang phải đối mặt.

Transformer là công cụ phi thường. Nhưng nó vẫn chỉ là công cụ. Nó tìm ra mẫu thống kê trong dữ liệu, không "hiểu" thế giới theo cách con người hiểu. Sự khác biệt đó quan trọng. Đừng bao giờ quên nó.

Bảng tự chấm và nguồn tham khảo

NGUỒN THAM KHẢO:

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, Ł., Polosukhin, I. (2017). "Attention Is All You Need." Advances in Neural Information Processing Systems (NeurIPS), 2017.

2. Devlin, J., Chang, M.-W., Lee, K., Toutanova, K. (2018). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." Proceedings of NAACL-HLT, 2019.

3. Nguyen, D.Q. & Nguyen, A.T. (2020). "PhoBERT: Pre-trained Language Models for Vietnamese." Findings of EMNLP, 2020.

4. Jumper, J. et al. (2021). "Highly accurate protein structure prediction with AlphaFold." Nature, 596, 583–589.

5. Hochreiter, S. & Schmidhuber, J. (1997). "Long Short-Term Memory." Neural Computation, 9(8), 1735–1780.

6. Bi, K. et al. (2023). "Accurate medium-range global weather forecasting with 3D neural networks." Nature, 619, 533–538.