Andrej Karpathy Open-Sources ‘Autoresearch’: A 630-Line Python Tool Letting AI Agents Run Autonomous ML Experiments on Single GPUs

Andrej Karpathy a libéré 'autoresearch', un outil Python minimal de 630 lignes permettant aux agents d'IA d'exécuter des expériences de machine learning de manière autonome sur une seule GPU NVIDIA. Le framework divise le travail entre le chercheur humain et l'agent d'IA, utilisant les commits git sur une branche de fonctionnalité pour suivre les progrès. L'agent modifie le script d'entraînement selon les instructions humaines et exécute des sessions d'entraînement de cinq minutes. L'évaluation repose sur les bits par byte (BPB) pour mesurer l'efficacité de compression du modèle; une meilleure performance est indiquée par un score BPB plus bas. Tobi Lutke, PDG de Shopify, a adapté ce framework pour améliorer un modèle plus petit, obtenant une amélioration de 19% des scores de validation par rapport aux méthodes manuelles traditionnelles. Karpathy a noté que les optimisations trouvées par l'agent ont été intégrées dans son cadre nanochat plus vaste, montrant la polyvalence de cet outil pour les systèmes à grande échelle.