Tám năm trước, một thuật toán học máy đã học cách xác định một con mèo – và nó đã làm choáng váng cả thế giới. Một vài năm sau, AI có thể dịch chính xác các ngôn ngữ và hạ gục người chơi vô địch thế giới Go. Giờ đây, học máy đã bắt đầu nổi trội ở các trò chơi video nhiều người chơi phức tạp như Starcraft và Dota 2 và các trò chơi tinh tế như poker. AI, nó sẽ xuất hiện, đang cải thiện nhanh chóng. Nhưng nhanh như thế nào là nhanh, và những gì thúc đẩy tốc độ? Mặc dù chip máy tính tốt hơn là chìa khóa, tổ chức nghiên cứu AI OpenAI cho rằng chúng ta cũng nên đo lường tốc độ cải tiến của các thuật toán học máy thực tế. Trong một bài đăng trên blog và bài báo – được tác giả bởi Daniel Hernandez và Tom Brown của OpenAI và xuất bản trên arXiv, một kho lưu trữ mở cho các nghiên cứu trước khi in (hoặc chưa được đánh giá ngang hàng) – các nhà nghiên cứu cho biết họ đã bắt đầu theo dõi một biện pháp mới cho hiệu quả học máy (nghĩa là làm nhiều hơn với ít hơn). Sử dụng biện pháp này, họ cho thấy AI đã trở nên hiệu quả hơn với tốc độ xấu. Để định lượng tiến trình, các nhà nghiên cứu đã chọn một thuật toán nhận dạng hình ảnh chuẩn (AlexNet) từ năm 2012 và theo dõi xem các thuật toán mới hơn có sức mạnh tính toán như thế nào để phù hợp hoặc vượt quá điểm chuẩn. Họ đã tìm thấy hiệu quả thuật toán tăng gấp đôi sau mỗi 16 tháng, vượt xa Định luật Moore. Nhận dạng hình ảnh AI vào năm 2019 cần năng lực tính toán ít hơn 44 lần để đạt được hiệu suất như AlexNet. Mặc dù có ít điểm dữ liệu hơn, các tác giả đã tìm thấy tốc độ cải thiện nhanh hơn trong thời gian ngắn hơn trong các khả năng phổ biến khác như dịch thuật và chơi trò chơi. Thuật toán Transformer, chẳng hạn, mất ít hơn 61 lần sức mạnh tính toán để vượt qua thuật toán seq2seq khi dịch sang tiếng Anh sang tiếng Pháp ba năm sau đó. AlphaZero của DeepMind yêu cầu tính toán ít hơn tám lần để phù hợp với AlphaGoZero tại trò chơi cờ vây chỉ một năm sau đó. Và OpenaAI Five Rerun đã sử dụng sức mạnh tính toán ít hơn năm lần để vượt qua OpenAI Five đánh bại nhà vô địch thế giới tại Dota 2 chỉ ba tháng sau đó. Tại sao theo dõi hiệu quả thuật toán? Các tác giả nói rằng ba đầu vào thúc đẩy tiến trình học máy: sức mạnh tính toán có sẵn, dữ liệu và đổi mới thuật toán. Sức mạnh tính toán dễ theo dõi hơn, nhưng những cải tiến về thuật toán thì trơn hơn một chút. Có một loại định luật Moore trong thuật toán học không? Có lẽ. Nhưng vẫn chưa có đủ thông tin để nói, theo các tác giả. Công việc của họ chỉ bao gồm một vài điểm dữ liệu (biểu đồ Luật Moore ban đầu tương tự có một vài quan sát). Vì vậy, bất kỳ ngoại suy là hoàn toàn đầu cơ. Ngoài ra, bài viết tập trung vào một số ít các khả năng phổ biến và các chương trình hàng đầu. Không rõ liệu các xu hướng quan sát có thể được khái quát rộng rãi hơn. Điều đó nói rằng, các tác giả nói rằng biện pháp này thực sự có thể đánh giá thấp sự tiến bộ, một phần bởi vì nó che giấu bước nhảy vọt ban đầu từ không thực tế đến thực tế. Sức mạnh tính toán cần có để đạt được khả năng ban đầu của điểm chuẩn – giả sử, AlexNet trong nhận dạng hình ảnh – đối với các phương pháp tiếp cận trước đây sẽ lớn đến mức không thực tế. Hiệu quả đạt được về cơ bản đi từ 0 đến 1, sau đó, sẽ rất đáng kinh ngạc, nhưng không được tính ở đây. Các tác giả cũng chỉ ra các biện pháp hiện có khác để cải tiến thuật toán có thể hữu ích tùy thuộc vào những gì bạn muốn học. Nhìn chung, họ nói, theo dõi nhiều biện pháp – bao gồm cả các biện pháp trong phần cứng – có thể vẽ nên một bức tranh đầy đủ hơn về tiến trình và giúp xác định nơi mà nỗ lực và đầu tư trong tương lai sẽ hiệu quả nhất. Đáng chú ý là nghiên cứu tập trung vào các thuật toán học sâu, phương pháp tiếp cận AI thống trị tại thời điểm này. Việc học sâu có tiếp tục đạt được tiến bộ mạnh mẽ như vậy hay không là nguồn tranh luận trong cộng đồng AI. Một số nhà nghiên cứu hàng đầu của lĩnh vực đặt câu hỏi về tiềm năng lâu dài của việc học sâu để giải quyết những thách thức lớn nhất của lĩnh vực này. Trong một bài báo trước đó, OpenAI đã cho thấy các AI nắm bắt tiêu đề mới nhất đòi hỏi một sức mạnh tính toán khá sốc để đào tạo và các tài nguyên cần thiết đang tăng lên với tốc độ chóng mặt. Trong khi sự tăng trưởng về số lượng sức mạnh tính toán được sử dụng bởi các chương trình AI trước năm 2012 phần lớn theo dõi Định luật Moore, thì sức mạnh tính toán được sử dụng bởi các thuật toán học máy kể từ năm 2012 đã tăng nhanh gấp 7 lần so với Định luật Moore. Đây là lý do tại sao OpenAI quan tâm đến việc theo dõi tiến độ. Ví dụ, nếu các thuật toán học máy ngày càng đắt hơn để đào tạo, điều quan trọng là phải tăng tài trợ cho các nhà nghiên cứu học thuật để họ có thể theo kịp các nỗ lực riêng tư. Và nếu xu hướng hiệu quả chứng minh sự nhất quán, sẽ dễ dàng hơn để dự đoán chi phí trong tương lai và lên kế hoạch đầu tư phù hợp. Cho dù tiến bộ có tiếp tục không suy giảm, giống như Luật của Moore trong nhiều năm tới hoặc sớm chạm vào một bức tường vẫn được nhìn thấy. Nhưng như các tác giả viết, nếu những xu hướng này tiếp tục trong tương lai, AI sẽ còn mạnh hơn rất nhiều và có thể sớm hơn chúng ta nghĩ.