ความท้าทายในการเข้าใจโครงข่ายประสาทเทียมขนาดเล็ก: เมื่อแม้แต่โมเดล 432 พารามิเตอร์ก็ยังอธิบายไม่ได้

เหตุผลที่มา

1. 01.โมเดลเล็กๆ เหล่านี้ทำงานบนปัญหาที่ LLM ทำได้ง่าย ดังนั้นการเข้าใจโมเดลเหล่านี้จึงเป็นข้อกำหนดเบื้องต้นสำหรับการทำความเข้าใจ LLM
2. 02.การวิเคราะห์แบบ brute force ทำงานได้กับโมเดลที่เล็กมาก แต่จำนวนภูมิภาคเชิงเส้นเพิ่มขึ้นแบบเอ็กซ์โพเนนเชียลตามความลึก
3. 03.การค้นหาฟีเจอร์ช่วยให้เข้าใจส่วนหนึ่งของโมเดล แต่ยังไม่เพียงพอสำหรับการประเมินความแม่นยำแบบแข่งขันกับการสุ่มตัวอย่าง
4. 04.การใช้ความสมมาตรโดยประมาณช่วยลดต้นทุนการคำนวณและความประหลาดใจในคำอธิบาย

ตัวอย่าง

• โมเดล M₂,₂ หาตำแหน่งของเลขที่ใหญ่เป็นอันดับสองในลำดับ 2 ตัว ด้วยความแม่นยำเกือบ 100%
• โมเดล M₄,₃ มีความแม่นยำ 98.5% และสามารถสร้างโมเดลที่ดีกว่าด้วยมือได้ (99.99% ความแม่นยำ)
• โมเดล M₁₆,₁₀ พบว่ามีฟีเจอร์ leave-one-out-maximum ในเซลล์ประสาท แต่ยังไม่สามารถอธิบายได้อย่างสมบูรณ์
• การวิเคราะห์ surprise accounting ของโมเดลเล็กที่สุดใช้ประมาณ 40 บิต ซึ่งตรงกับจำนวนบิตที่ใช้ในการเพิ่มประสิทธิภาพ