แปดปีที่ผ่านมาอัลกอริทึมการเรียนรู้ของเครื่องเรียนรู้ที่จะระบุแมว – และมันทำให้โลกตกใจ ไม่กี่ปีต่อมา AI ก็สามารถแปลภาษาได้อย่างแม่นยำและกำจัดผู้เล่นระดับโลก Go ตอนนี้การเรียนรู้ของเครื่องได้เริ่มที่จะเก่งในวิดีโอเกมที่ซับซ้อนหลายคนเช่น Starcraft และ Dota 2 และเกมที่ละเอียดอ่อนเช่นโป๊กเกอร์ AI ก็จะปรากฏขึ้นกำลังปรับปรุงอย่างรวดเร็ว แต่ความเร็วจะเร็วแค่ไหนและอะไรคือแรงผลักดันของจังหวะ? ในขณะที่ชิปคอมพิวเตอร์ที่ดีขึ้นเป็นกุญแจสำคัญองค์กรวิจัย AI ของ OpenAI คิดว่าเราควรวัดจังหวะของการปรับปรุงอัลกอริทึมการเรียนรู้ของเครื่องจริงเช่นกัน ในบล็อกโพสต์และบทความ – เขียนโดย Danny Hernandez และ Tom Brown ของ OpenAI และตีพิมพ์ใน arXiv ซึ่งเป็นพื้นที่เก็บข้อมูลแบบเปิดสำหรับการศึกษาก่อนพิมพ์ มาตรการใหม่สำหรับประสิทธิภาพการเรียนรู้ของเครื่อง (นั่นคือทำได้มากขึ้นโดยใช้เวลาน้อยลง) การใช้มาตรการนี้พวกเขาแสดงให้เห็นว่า AI ได้รับประสิทธิภาพมากขึ้นในจังหวะที่ชั่วร้าย นักวิจัยได้เลือกอัลกอริธึมการจดจำภาพมาตรฐาน (AlexNet) จากปี 2555 และติดตามว่าอัลกอริธึมการคำนวณพลังงานรุ่นใหม่ใช้เพื่อจับคู่หรือเกินเกณฑ์มาตรฐาน พวกเขาพบว่าประสิทธิภาพอัลกอริทึมเพิ่มเป็นสองเท่าในทุก ๆ 16 เดือนซึ่งเหนือกว่ากฎของมัวร์ การรู้จำภาพ AI ในปี 2019 ต้องการพลังการประมวลผลน้อยลง 44 เท่าเพื่อให้ได้ประสิทธิภาพการทำงานที่เหมือนกับ AlexNet แม้ว่าจะมีจุดข้อมูลน้อยลง แต่ผู้เขียนพบว่าอัตราการปรับปรุงเร็วขึ้นในช่วงเวลาสั้น ๆ ในความสามารถที่ได้รับความนิยมอื่น ๆ เช่นการแปลและการเล่นเกม ยกตัวอย่างเช่นอัลกอริธึม Transformer ใช้พลังงานประมวลผลน้อยกว่า 61 เท่าเพื่อให้เกินอัลกอริธึม seq2seq ที่การแปลภาษาอังกฤษเป็นภาษาฝรั่งเศสในอีกสามปีต่อมา AlphaZero ของ DeepMind ต้องการการคำนวณน้อยกว่าแปดครั้งเพื่อให้ตรงกับ AlphaGoZero ในเกม Go เพียงหนึ่งปีต่อมา และ OpenaAI Five Rerun ใช้พลังการคำนวณน้อยกว่าถึงห้าเท่าเพื่อแซงหน้าแชมป์โลกระดับโลกอย่าง OpenAI Five ที่ Dota 2 เพียงสามเดือนต่อมา ทำไมต้องติดตามประสิทธิภาพอัลกอริทึม? ผู้เขียนบอกว่าสามปัจจัยขับเคลื่อนความก้าวหน้าในการเรียนรู้ของเครื่อง: พลังการประมวลผลที่มีอยู่ข้อมูลและนวัตกรรมอัลกอริทึม พลังในการคำนวณนั้นง่ายต่อการติดตาม แต่การปรับปรุงอัลกอริทึมนั้นลื่นกว่านิดหน่อย มีกฎของมัวร์แบบอัลกอริทึมในการเรียนรู้ของเครื่องหรือไม่? อาจจะ. แต่มีข้อมูลไม่เพียงพอที่จะพูดตามที่ผู้เขียน งานของพวกเขามีจุดข้อมูลเพียงไม่กี่จุด (ตารางกฎของมัวร์ดั้งเดิมก็มีข้อสังเกตเล็กน้อย) การคาดการณ์ใด ๆ จึงเป็นการเก็งกำไรอย่างหมดจด นอกจากนี้บทความยังมุ่งเน้นไปที่ความสามารถและโปรแกรมยอดนิยมจำนวนหนึ่ง ยังไม่ชัดเจนว่าแนวโน้มที่สังเกตได้สามารถทำให้เป็นแนวกว้างมากขึ้นได้อย่างไร ที่กล่าวว่าผู้เขียนบอกว่ามาตรการอาจประมาทความคืบหน้าจริง ๆ ส่วนหนึ่งเป็นเพราะมันซ่อนก้าวกระโดดครั้งแรกจากการทำไม่ได้ไปปฏิบัติ พลังการประมวลผลที่จะต้องใช้เพื่อให้บรรลุความสามารถเริ่มต้นของเกณฑ์มาตรฐาน – กล่าวคือ AlexNet ในการรับรู้ภาพ – สำหรับวิธีการก่อนหน้านี้จะมีขนาดใหญ่เท่าที่จะทำไม่ได้ ประสิทธิภาพที่เพิ่มขึ้นโดยทั่วไปจะไปจากศูนย์ถึงหนึ่งจากนั้นก็จะส่าย แต่ไม่ได้คิดที่นี่ ผู้เขียนชี้ให้เห็นว่ามาตรการอื่น ๆ ที่มีอยู่สำหรับการปรับปรุงอัลกอริทึมจะมีประโยชน์ขึ้นอยู่กับสิ่งที่คุณต้องการเรียนรู้ โดยรวมแล้วพวกเขาบอกว่าการติดตามมาตรการหลายอย่างรวมถึงมาตรการในฮาร์ดแวร์สามารถวาดภาพความคืบหน้าได้อย่างสมบูรณ์มากขึ้นและช่วยกำหนดว่าความพยายามและการลงทุนในอนาคตจะมีประสิทธิภาพมากที่สุด มันน่าสังเกตว่าการศึกษามุ่งเน้นไปที่อัลกอริทึมการเรียนรู้ลึกวิธีการที่โดดเด่นของ AI ในขณะนี้ การเรียนรู้ที่ลึกลงไปยังคงทำให้ความก้าวหน้าอย่างมากนั้นเป็นที่มาของการอภิปรายในชุมชน AI หรือไม่ นักวิจัยชั้นนำของภาคสนามบางคนถามถึงศักยภาพระยะยาวของการเรียนรู้อย่างลึกซึ้งในการแก้ปัญหาที่ท้าทายที่สุดของภาคสนาม ในบทความก่อนหน้านี้ OpenAI แสดงให้เห็นว่า AIs ที่พาดหัวพาดหัวครั้งล่าสุดนั้นต้องการพลังการประมวลผลที่น่าตกใจในการฝึกอบรมและทรัพยากรที่จำเป็นนั้นกำลังเติบโตอย่างรวดเร็ว ในขณะที่การเพิ่มขึ้นของจำนวนพลังในการคำนวณที่ใช้โดยโปรแกรม AI ก่อนปี 2012 ส่วนใหญ่ติดตามกฎของมัวร์ แต่พลังการคำนวณที่ใช้โดยอัลกอริทึมการเรียนรู้ของเครื่องตั้งแต่ปี 2012 นั้นเติบโตเร็วกว่ากฎของมัวร์เจ็ดเท่า นี่คือสาเหตุที่ OpenAI สนใจติดตามความคืบหน้า หากอัลกอริทึมการเรียนรู้ของเครื่องจักรเริ่มมีราคาแพงกว่าในการฝึกอบรมเช่นเป็นเรื่องสำคัญที่จะต้องเพิ่มเงินทุนให้กับนักวิจัยทางวิชาการเพื่อให้พวกเขาสามารถติดตามความพยายามส่วนตัวได้ และหากแนวโน้มประสิทธิภาพพิสูจน์ว่าสอดคล้องกันจะเป็นการง่ายกว่าที่จะคาดการณ์ต้นทุนในอนาคตและวางแผนการลงทุนตามนั้น ไม่ว่าจะเป็นความคืบหน้าอย่างต่อเนื่องคงที่กฎของมัวร์เป็นเวลาหลายปีที่จะมาถึงหรือในไม่ช้าก็ชนกำแพงที่จะเห็น แต่ตามที่ผู้เขียนเขียนหากแนวโน้มเหล่านี้ยังคงดำเนินต่อไปในอนาคต AI จะยังคงมีพลังมากขึ้นและอาจเร็วกว่าที่เราคิด