Chú ý là đủ — bài báo 15 trang đang chạy khắp thế giới

Tin nhắn bạn vừa gửi có một bí mật

Tối qua tôi ngồi nhắn tin cho thằng bạn. Gõ được chữ "tối" — bàn phím tự gợi "nay". Gõ thêm "đi" — nó hiểu ngay tôi muốn viết "nhậu". Bốn chữ, tôi chỉ bấm hai.

Chuyện nhỏ. Nhưng cái "hiểu" đó không nhỏ chút nào.

Cũng cái "hiểu" đó đang chạy khi bạn hỏi ChatGPT một câu và nó trả lời mạch lạc ba đoạn. Đang chạy khi Google Translate dịch một cái email tiếng Anh sang tiếng Việt mà bạn đọc không muốn sửa chữ nào. Đang chạy khi Copilot viết hộ bạn mấy chục dòng code lúc hai giờ sáng.

Tất cả — tất cả — đều đứng trên vai một bài báo mười lăm trang. Tám tác giả. Một ý tưởng duy nhất. Năm 2017.

Tên bài báo ngắn đến mức nghe như câu đùa: "Attention Is All You Need" — Chú ý là đủ.

Lần đầu tôi đọc xong bài báo đó, tôi ngồi im mất mấy phút. Không phải vì nó hay — mà vì tôi nhận ra mình đang chứng kiến khoảnh khắc mọi thứ thay đổi, mà hầu như không ai để ý.

Tám người, một bài báo, và phép thuật mang tên "chú ý"

Mùa hè 2017, tám nhà nghiên cứu ở Google Brain và Google Research — Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser, và Illia Polosukhin — nộp một bài báo lên hội nghị NeurIPS. Họ đề xuất một kiến trúc hoàn toàn mới để máy tính xử lý ngôn ngữ, đặt tên là Transformer.

Nghe giống phim robot. Nhưng ý tưởng cốt lõi thì gần gũi đến bất ngờ.

Hình dung thế này: bạn đọc câu "Con mèo ngồi trên chiếu, nó liếm chân." Khi gặp chữ "nó", não bạn tự động quay lại nhìn chữ "mèo" — không phải "chiếu", không phải "chân". Bạn chú ý đúng chỗ, trong tích tắc, không ai phải dạy.

Transformer làm đúng việc đó cho máy tính. Nó cho phép AI nhìn toàn bộ câu cùng lúc, rồi tự quyết định chữ nào quan trọng với chữ nào. Cơ chế này gọi là self-attention — tự chú ý.

Nếu não người là một phòng họp, self-attention là khả năng mỗi người trong phòng đồng thời quay sang hỏi tất cả những người còn lại: "Ê, mày có liên quan tới tao không?" — rồi nhận câu trả lời ngay lập tức, không cần xếp hàng, không cần chờ đợi. Ai liên quan nhiều thì được "chú ý" nhiều hơn. Ai không liên quan thì bị lờ đi. Đơn giản thế thôi — nhưng cái đơn giản đó thay đổi mọi thứ.

Thế giới trước Transformer: đọc qua ống hút

Để hiểu vì sao Transformer gây chấn động, bạn cần biết trước đó AI đọc chữ kiểu gì.

Trước 2017, mô hình ngôn ngữ chủ yếu dùng kiến trúc gọi là RNN (Recurrent Neural Network) và phiên bản cải tiến LSTM (Hochreiter & Schmidhuber, 1997). Cả hai xử lý ngôn ngữ theo kiểu tuần tự — đọc từng từ một, từ trái sang phải, y như một người đọc sách qua cái ống hút. Từ thứ nhất xong mới tới từ thứ hai. Từ thứ hai xong mới tới từ thứ ba. Không được nhảy cóc.

Hai vấn đề chết người.

Thứ nhất: chậm kinh khủng. Không thể đọc song song. Có mười nghìn từ thì phải lần lượt qua mười nghìn bước. Muốn huấn luyện trên hàng tỷ câu? Tốn hàng tháng trời ngay cả với cụm máy chủ đắt tiền.

Thứ hai: hay quên. Đọc đến từ thứ hai trăm, máy gần như quên sạch từ thứ nhất nói gì. Giống bạn đọc một cuốn tiểu thuyết dày mà không được lật lại trang trước. Đến chương mười, nhân vật chính tên gì cũng không nhớ nổi.

Transformer giải cả hai bài toán cùng lúc. Vì nó nhìn toàn bộ đầu vào đồng thời — song song — nên nhanh gấp bội. Và vì self-attention cho phép bất kỳ từ nào "hỏi thăm" bất kỳ từ nào khác, bất kể cách xa bao nhiêu, nên nó không quên.

Kết quả? Ngay trong bài báo gốc, Transformer đạt điểm BLEU (thước đo chất lượng dịch máy) cao hơn mọi mô hình trước đó trên bài dịch Anh–Đức và Anh–Pháp, mà thời gian huấn luyện giảm đáng kể so với các kiến trúc tuần tự (Vaswani et al., 2017). Một cú đấm kép: vừa giỏi hơn, vừa nhanh hơn.

Từ phòng lab Google đến giữa bàn ăn nhà bạn

Transformer ra đời năm 2017. Chưa đầy một thập kỷ sau, nó có mặt ở khắp nơi — theo nghĩa đen.

Google Translate chuyển sang kiến trúc Transformer và chất lượng dịch nhảy vọt. Nếu bạn từng dùng Google Dịch trước 2017 để dịch một email tiếng Anh, bạn biết cảm giác đọc xong muốn khóc vì câu dịch như robot lắp ráp bừa. Giờ thì — không hoàn hảo, nhưng đọc được, nhiều khi đọc ngon.

ChatGPT, Claude, Gemini — toàn bộ các mô hình ngôn ngữ lớn (LLM) đang làm mưa gió đều xây trên Transformer. GPT nghĩa đen là Generative Pre-trained Transformer. BERT của Google (Devlin et al., 2018) cũng là Transformer. Không có bài báo mười lăm trang năm 2017 kia, không có cuộc cách mạng AI bạn đang sống giữa. Chấm hết.

Bàn phím điện thoại gợi ý từ tiếp theo — cái tôi kể đầu bài — đa số chạy mô hình ngôn ngữ nhỏ dựa trên kiến trúc Transformer, được nén lại cho vừa con chip nhỏ xíu trong túi bạn.

GitHub Copilot viết code cho lập trình viên, tiết kiệm — theo khảo sát của GitHub (2022) — khoảng 55% thời gian hoàn thành tác vụ lập trình. Đằng sau nó là Codex, một biến thể Transformer được huấn luyện trên hàng tỷ dòng code.

Ngay tại Việt Nam, VinAI phát triển PhoGPT (Nguyen et al., 2023) — mô hình ngôn ngữ lớn dành riêng cho tiếng Việt, xây hoàn toàn trên nền Transformer. Bạn chat với tổng đài tự động của ngân hàng, đặt lịch khám bệnh qua chatbot, hay dùng ứng dụng tóm tắt văn bản — rất có thể Transformer đang chạy lặng lẽ phía sau, không kêu một tiếng.

Tiền ở đâu trong cỗ máy biết chú ý

Đây mới là phần nhiều người quan tâm nhất, và tôi nói thẳng: cơ hội đang mở toang, nhưng không phải kiểu "học prompt ba ngày làm giàu".

Tích hợp AI vào doanh nghiệp là mảng lớn nhất. Theo McKinsey (báo cáo "The State of AI in Early 2024"), khoảng 72% doanh nghiệp toàn cầu đã áp dụng AI vào ít nhất một chức năng kinh doanh. Ở Việt Nam, hàng nghìn doanh nghiệp vừa và nhỏ vẫn chưa biết bắt đầu từ đâu — ai giúp họ, người đó có việc làm rất lâu dài.

Dữ liệu tiếng Việt là vàng chưa đào. Các mô hình lớn huấn luyện chủ yếu trên tiếng Anh. Ai xây được bộ dữ liệu tiếng Việt chất lượng cho y tế, luật, giáo dục, hay thương mại — người đó nắm lợi thế cạnh tranh mà tiền không mua được.

Xây sản phẩm AI — từ chatbot chăm sóc khách hàng đến công cụ phân tích hợp đồng pháp lý — đều cần người hiểu cách dùng và tinh chỉnh (fine-tune) các mô hình Transformer. Không cần là tiến sĩ. Cần là người chịu khó đọc tài liệu và thực hành.

Một lưu ý tỉnh táo: thị trường AI thay đổi nhanh đến chóng mặt. Kỹ năng cụ thể bạn học hôm nay có thể lỗi thời sau mười tám tháng. Nhưng điều không lỗi thời là khả năng hiểu bản chất — và bản chất của mọi thứ đang chạy, vẫn là cơ chế attention trong bài báo mười lăm trang năm 2017 kia.

Giấc mơ lớn — và cái giá phải nhìn thẳng

Transformer đang đẩy nhân loại lên một nấc thang mới. Không phải nói cho sang — tôi tin thật.

Rào cản ngôn ngữ đang sụp đổ. Một bác nông dân ở Đắk Lắk giờ có thể hỏi AI bằng tiếng Việt về kỹ thuật trồng sầu riêng, và nhận câu trả lời tổng hợp từ tài liệu nông nghiệp toàn cầu. Trước đây, kiến thức đó bị khóa sau hàng rào ngôn ngữ Anh — giờ Transformer phá cánh cửa đó ra.

Nghiên cứu khoa học tăng tốc dữ dội. DeepMind dùng kiến trúc Transformer trong AlphaFold 2 (Jumper et al., 2021, Nature) để giải bài toán gấp protein. GraphCast (Lam et al., 2023, Science) dùng Transformer để dự báo thời tiết. Nó không chỉ hiểu chữ — nó đang học hiểu vật lý, sinh học, hóa học.

Giáo dục đang được cá nhân hóa. Một học sinh lớp 9 ở Cần Thơ có thể có một gia sư AI giải thích toán theo đúng nhịp hiểu của em — không nhanh quá, không chậm quá. Đó không còn là tương lai xa. Nó đang xảy ra, ngay bây giờ.

Nhưng — và đây là chỗ tôi phải nói thẳng — cỗ máy này có mặt trái không thể lờ đi.

Ảo giác (hallucination). Transformer rất giỏi tạo ra văn bản nghe đúng, nhưng không phải lúc nào cũng là đúng. Nó có thể bịa ra một trích dẫn, một số liệu, một nghiên cứu chưa từng tồn tại — viết với giọng tự tin tuyệt đối. Đã có luật sư ở Mỹ nộp hồ sơ lên tòa với các án lệ do ChatGPT bịa ra (vụ Mata v. Avianca, 2023). Đây là sự thật đã xảy ra, không phải rủi ro lý thuyết.

Thiên kiến (bias). Mô hình học từ dữ liệu internet. Internet thì đầy định kiến. Transformer không phát minh ra thiên kiến — nó khuếch đại thiên kiến có sẵn, ở quy mô lớn hơn và nhanh hơn bất kỳ công nghệ nào trước đó.

Năng lượng. Theo ước tính của nhóm nghiên cứu tại UMass Amherst (Strubell et al., 2019), huấn luyện một mô hình Transformer lớn có thể phát thải carbon tương đương cả vòng đời sử dụng của khoảng năm chiếc ô tô. Con số đó đang tăng lên khi mô hình ngày càng lớn.

Transformer là một công cụ phi thường. Nhưng như mọi công cụ phi thường trong lịch sử — từ lửa đến thuốc nổ đến năng lượng hạt nhân — câu hỏi đúng không phải "nó làm được gì" mà là "ai dùng nó, để làm gì, và ai chịu hậu quả."

Bảng tự chấm & nguồn tham khảo

Nguồn tham khảo:

1. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A.N., Kaiser, Ł., Polosukhin, I. — "Attention Is All You Need" — NeurIPS, 2017.

2. Hochreiter, S. & Schmidhuber, J. — "Long Short-Term Memory" — Neural Computation, 1997.

3. Devlin, J., Chang, M.-W., Lee, K., Toutanova, K. — "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding" — arXiv 2018, NAACL 2019.

4. Strubell, E., Ganesh, A., McCallum, A. — "Energy and Policy Considerations for Deep Learning in NLP" — ACL, 2019.

5. GitHub — "Research: Quantifying GitHub Copilot's impact on developer productivity and happiness" — 2022.

6. McKinsey & Company — "The State of AI in Early 2024" — 2024.

7. Jumper, J. et al. — "Highly accurate protein structure prediction with AlphaFold" — Nature, 2021.

8. Lam, R. et al. — "Learning skillful medium-range global weather forecasting" — Science, 2023.

9. Nguyen, D.Q. et al. (VinAI) — "PhoGPT: Generative Pre-training for Vietnamese" — 2023.