Build Microsoft đã tạo ra một siêu máy tính AI tùy chỉnh trong đám mây Azure cho OpenAI, được xếp hạng trong top 5 siêu máy tính mạnh nhất được biết đến công khai nhất trên Trái đất. Khủng bố được cho là chứa "hơn 285.000 lõi CPU và 10.000 GPU", với kết nối mạng lên tới 400Gbps cho mỗi máy chủ GPU. Nếu con thú này nằm trong top năm, điều đó có nghĩa là – đánh giá từ danh sách mới nhất của siêu máy tính được biết đến công khai nhất thế giới – nó nằm ở đâu đó giữa hệ thống Frontera 38.000 PFLOPS tại Đại học Texas và chú Sam 2.4. Hội nghị thượng đỉnh 200-PFLOPS lõi-triệu. Chúng tôi có cảm giác nó ở đâu đó quanh vị trí thứ năm và thứ tư, đó là TiaP-4 100 triệu lõi của Trung Quốc, nhưng chúng tôi chỉ đoán. Sự khoe khoang của Microsoft đã được thực hiện trong hội nghị Build hàng năm, một sự kiện tập trung vào nhà phát triển ảo diễn ra trong tuần này. Nghiên cứu AI rất chuyên sâu về tính toán và OpenAI cần rất nhiều tính toán để đào tạo các mô hình học máy khổng lồ từ các khối dữ liệu khổng lồ. Một số dự án đầy tham vọng nhất của nó bao gồm GPT-2, một hệ thống tạo văn bản có tới một tỷ tham số cần 256 lõi Google TPU3 để đào tạo nó trên 40GB văn bản được quét từ Reddit; và OpenAI Five, một bot có khả năng chơi Dota 2, cần hơn 128.000 lõi CPU và 256 GPU Nvidia P100 đến trường. "Khi chúng tôi đã học được nhiều hơn về những gì chúng tôi cần và giới hạn khác nhau của tất cả các thành phần tạo nên một siêu máy tính, chúng tôi thực sự có thể nói, 'Nếu chúng tôi có thể thiết kế hệ thống mơ ước của mình, nó sẽ trông như thế nào?" Giám đốc điều hành OpenAI Sam Altman nói. "Và sau đó Microsoft đã có thể xây dựng nó." Tuy nhiên, thật khó để biết được sự lộn xộn của cụm thực sự như thế nào, vì người khổng lồ Windows từ chối tiết lộ bất kỳ chi tiết kỹ thuật nào khác ngoài các con số trên. Khi được nhấn, một phát ngôn viên đã nói với Đăng ký: "Chúng tôi không thể cung cấp tốc độ xử lý điểm chuẩn của hệ thống, chỉ có điều nó sẽ được xếp hạng trong số năm máy tính hàng đầu trong danh sách TOP500 các siêu máy tính nhanh nhất thế giới", nói thêm rằng "không thông tin để chia sẻ về các loại [của chip] được sử dụng tại thời điểm này. " OpenAI cũng cho biết họ "không có thêm thông tin chi tiết nào để chia sẻ ngoài thời điểm đó". Cụm được lưu trữ Azure tùy chỉnh được phân bổ riêng cho OpenAI là khoản đầu tư 1 tỷ đô la của Microsoft vào phòng thí nghiệm nghiên cứu có trụ sở tại San Francisco. Năm ngoái, họ đã cam kết hỗ trợ các nỗ lực của OpenAI để xây dựng "một nền tảng phần cứng và phần mềm trong Microsoft Azure, sẽ mở rộng quy mô cho trí tuệ chung nhân tạo". Là một phần của thỏa thuận, OpenAI hứa sẽ biến MICROS ~ 1 thành "đối tác ưa thích" của mình nếu và khi nào họ quyết định thương mại hóa bất kỳ dự án máy học nào của mình. Microsoft cho biết sự hợp tác của họ với OpenAI là "bước đầu tiên hướng tới việc tạo ra thế hệ mô hình AI rất lớn tiếp theo và cơ sở hạ tầng cần thiết để đào tạo chúng thành nền tảng cho các tổ chức và nhà phát triển khác xây dựng." Gã khổng lồ Windows đặc biệt quan tâm đến các mô hình ngôn ngữ tự nhiên mà nó tin rằng sẽ cải thiện tìm kiếm, đồng thời tạo và tóm tắt văn bản. Đầu năm nay, họ đã xây dựng Microsoft Turing, mô hình ngôn ngữ lớn nhất thế giới với 17 tỷ thông số. Mô hình này đã được sử dụng để tăng cường phần mềm Bing, Office và Dynamics của Microsoft, siêu tập đoàn Mỹ cho biết. Bây giờ, nó đang lên kế hoạch mở nguồn các mô hình Microsoft Turing khác nhau cùng với hướng dẫn về cách đào tạo tất cả cho các tác vụ cụ thể trong nền tảng đám mây Azure của nó. "Điều thú vị về các mô hình này là bề rộng của những thứ chúng sẽ kích hoạt," Kevin Scott, Giám đốc kỹ thuật của Microsoft, nói. "Đây là về việc có thể thực hiện hàng trăm điều thú vị trong xử lý ngôn ngữ tự nhiên cùng một lúc và một trăm điều thú vị trong tầm nhìn máy tính và khi bạn bắt đầu thấy sự kết hợp của các lĩnh vực nhận thức này, bạn sẽ có những ứng dụng mới rất khó thậm chí tưởng tượng ngay bây giờ. " Các thông báo AI hào nhoáng khác từ Microsoft Build bao gồm các phiên bản cập nhật của DeepSpeed và ONNX Runtime. Deepspeed là một thư viện Python giúp tăng tốc quá trình đào tạo các mô hình máy học lớn trên nhiều nút tính toán. ONNX Runtime cũng tương tự, và nó linh hoạt hơn ở chỗ nó có thể tối ưu hóa các mô hình để đào tạo và suy luận cho một số khung công tác máy học. ®