Build Microsoft ได้สร้างซูเปอร์คอมพิวเตอร์ AI ที่กำหนดเองในคลาวด์ Azure สำหรับ OpenAI ซึ่งจัดอยู่ในห้าอันดับแรกที่รู้จักกันดีที่สุดในโลก มีการกล่าวว่า behemoth นั้นมี "คอร์ CPU มากกว่า 285,000 คอร์และ 10,000 GPU" พร้อมการเชื่อมต่อเครือข่ายสูงสุด 400Gbps สำหรับเซิร์ฟเวอร์ GPU แต่ละตัว ถ้าสัตว์ตัวนี้อยู่ในห้าอันดับแรกนั่นหมายถึง – ตัดสินจากรายชื่อซุปเปอร์คอมพิวเตอร์ที่มีชื่อเสียงมากที่สุดในโลก – มันอยู่ที่ไหนสักแห่งระหว่างระบบ Frontera 38-PFLOPS ที่มหาวิทยาลัยเท็กซัสและ 450 ของ Uncle Sam -million-core 200-PFLOPS Summit เรามีความรู้สึกว่ามันอยู่ที่ไหนสักแห่งรอบที่ห้าและสี่ซึ่งก็คือ 100PFLOPS Tianhe-2A ของจีนที่ 4.9 ล้านแกน แต่เราแค่คาดเดา คุยโม้ของ Microsoft ในระหว่างการประชุม Build ประจำปีซึ่งเป็นงานที่มุ่งเน้นนักพัฒนาเสมือนจริงในสัปดาห์นี้ การวิจัยของ AI นั้นมีการคำนวณอย่างเข้มข้นและ OpenAI ต้องการจำนวนมากในการคำนวณรูปแบบการเรียนรู้ด้วยเครื่องจักรขนาดใหญ่จากข้อมูลจำนวนมหาศาล บางโครงการที่มีความทะเยอทะยานที่สุด ได้แก่ GPT-2 ระบบสร้างข้อความที่มีพารามิเตอร์สูงถึงหนึ่งพันล้านพารามิเตอร์ที่ต้องใช้แกนประมวลผล Google TPU3 จำนวน 256 คอร์เพื่อฝึกอบรมในข้อความ 40GB ที่คัดลอกมาจาก Reddit และ OpenAI Five บอทที่สามารถเล่น Dota 2 ซึ่งต้องการคอร์ CPU มากกว่า 128,000 คอร์และ 256 Nvidia P100 GPUs ไปโรงเรียน “ เมื่อเราเรียนรู้มากขึ้นเกี่ยวกับสิ่งที่เราต้องการและข้อ จำกัด ที่แตกต่างกันของส่วนประกอบทั้งหมดที่ประกอบเป็นซูเปอร์คอมพิวเตอร์เราสามารถพูดได้ว่า 'ถ้าเราสามารถออกแบบระบบในฝันของเรามันจะเป็นอย่างไร?” Sam Altman CEO ของ OpenAI กล่าว "จากนั้น Microsoft ก็สามารถสร้างได้" เป็นเรื่องยากที่จะทราบว่าคลัสเตอร์นั้นแข็งแกร่งเพียงใดเนื่องจากยักษ์ใหญ่ของ Windows ปฏิเสธที่จะเปิดเผยรายละเอียดทางเทคนิคเพิ่มเติมนอกเหนือจากตัวเลขข้างต้น เมื่อกดโฆษกบอกทะเบียน: "เราไม่สามารถให้ความเร็วการประมวลผลมาตรฐานของระบบเพียงว่ามันจะติดอันดับหนึ่งในห้าอันดับแรกในรายการ TOP500 ของซูเปอร์คอมพิวเตอร์ที่เร็วที่สุดในโลก" เพิ่มว่ามันไม่มี " ข้อมูลที่จะแบ่งปันกับประเภท [ของชิป] ที่ใช้ในขณะนี้ " OpenAI ยังกล่าวอีกว่า "ไม่มีรายละเอียดเพิ่มเติมที่จะแชร์นอกเหนือจากนั้นในเวลานี้" คลัสเตอร์ที่โฮสต์ Azure แบบกำหนดเองที่จัดสรรเฉพาะสำหรับ OpenAI เป็นส่วนหนึ่งของการลงทุน $ 1 พันล้านของ Microsoft ในห้องปฏิบัติการวิจัยในซานฟรานซิสโก เมื่อปีที่แล้วได้ให้คำมั่นว่าจะสนับสนุนความพยายามของ OpenAI ในการสร้าง "แพลตฟอร์มฮาร์ดแวร์และซอฟต์แวร์ภายใน Microsoft Azure ซึ่งจะขยายไปสู่ปัญญาประดิษฐ์ทั่วไป" ในฐานะที่เป็นส่วนหนึ่งของข้อตกลง OpenAI สัญญาว่าจะทำให้ MICROS ~ 1 เป็น "คู่ค้าที่เป็นที่นิยม" ถ้าและเมื่อตัดสินใจที่จะทำโครงการทางการเรียนรู้ด้วยเครื่องจักร Microsoft กล่าวว่าการเป็นพันธมิตรกับ OpenAI เป็น "ก้าวแรกสู่การสร้างโมเดล AI ที่มีขนาดใหญ่มากและโครงสร้างพื้นฐานที่จำเป็นในการฝึกอบรมพวกเขาให้พร้อมใช้งานเป็นแพลตฟอร์มสำหรับองค์กรและนักพัฒนาอื่น ๆ เพื่อสร้างต่อไป" ยักษ์ใหญ่ของ Windows ให้ความสนใจเป็นพิเศษกับโมเดลภาษาธรรมชาติที่เชื่อว่าจะปรับปรุงการค้นหาและสร้างและสรุปข้อความ เมื่อต้นปีที่ผ่านมาได้สร้าง Microsoft Turing ซึ่งเป็นโมเดลภาษาที่ใหญ่ที่สุดในโลกด้วยพารามิเตอร์ที่สูงถึง 17 พันล้านพารามิเตอร์ โมเดลดังกล่าวถูกใช้เพื่อเพิ่มซอฟต์แวร์ Bing, Office และ Dynamics ของไมโครซอฟท์ US super-corp กล่าว ตอนนี้กำลังวางแผนที่จะเปิดแหล่งที่มาของรุ่นต่างๆของ Microsoft Turing พร้อมกับคำแนะนำเกี่ยวกับวิธีการฝึกอบรมทั้งหมดสำหรับงานเฉพาะในแพลตฟอร์มคลาวด์ Azure “ สิ่งที่น่าตื่นเต้นเกี่ยวกับโมเดลเหล่านี้คือความหลากหลายของสิ่งที่พวกเขากำลังจะเปิดใช้งาน” Kevin Scott หัวหน้าเจ้าหน้าที่ฝ่ายเทคนิคของ Microsoft กล่าว "นี่คือความสามารถในการทำสิ่งต่าง ๆ ที่น่าตื่นเต้นในการประมวลผลภาษาธรรมชาติในทันทีและร้อยสิ่งที่น่าตื่นเต้นในวิสัยทัศน์คอมพิวเตอร์และเมื่อคุณเริ่มเห็นการรวมกันของโดเมนการรับรู้เหล่านี้คุณจะต้องมีแอปพลิเคชันใหม่ที่ยาก แม้แต่ตอนนี้ก็จินตนาการได้ " การประกาศ AI แบบฉูดฉาดอื่น ๆ จาก Microsoft Build นั้น ได้แก่ DeepSpeed และ ONNX Runtime รุ่นที่ปรับปรุงแล้ว Deepspeed เป็นห้องสมุด Python ที่เร่งกระบวนการฝึกอบรมโมเดลการเรียนรู้ของเครื่องขนาดใหญ่ในหลาย ๆ โหนด ONNX Runtime คล้ายกันและมีความยืดหยุ่นมากกว่าในการที่มันสามารถปรับโมเดลสำหรับการฝึกอบรมและการอนุมานสำหรับกรอบการเรียนรู้ของเครื่องจำนวนมาก ®