Eρευνητές από το Στάνφορντ και το Πανεπιστήμιο της Ουάσιγκτον κατάφεραν να εκπαιδεύσουν ένα μοντέλο Tεχνητής Nοημοσύνης με λιγότερα από 50 δολάρια σε πιστώσεις υπολογιστικού νέφους, σύμφωνα με ένα νέο ερευνητικό έγγραφο που δημοσιεύθηκε την περασμένη Παρασκευή.
Το μοντέλο, γνωστό ως s1, επιδεικνύει παρόμοιες επιδόσεις με τα τελευταίας τεχνολογίας μοντέλα λόγου, όπως το o1 της OpenAI και το R1 της DeepSeek, σε δοκιμές που μετρούν τις μαθηματικές και προγραμματιστικές ικανότητες. Το μοντέλο s1 είναι διαθέσιμο στο GitHub, μαζί με τα δεδομένα και τον κώδικα που χρησιμοποιήθηκαν για την εκπαίδευσή του.
Η ομάδα πίσω από το s1 δήλωσε ότι ξεκίνησε με ένα βασικό μοντέλο της αγοράς και στη συνέχεια το προσάρμοσε μέσω της απόσταξης, μιας διαδικασίας που εξάγει τις “ικανότητες λόγου” από άλλο μοντέλο τεχνητής νοημοσύνης εκπαιδεύοντας με τις απαντήσεις του.
Οι ερευνητές ανέφεραν ότι το s1 είναι «απόσταγμα» ενός από τα μοντέλα λόγου της Google, του Gemini 2.0 Flash Thinking Experimental.
Για κάποιους, η ιδέα ότι μερικοί ερευνητές χωρίς εκατομμύρια δολάρια πίσω τους μπορούν ακόμα να καινοτομήσουν στον τομέα της Τεχνητής Νοημοσύνης είναι ενθουσιώδης. Ωστόσο, το s1 εγείρει πραγματικά ερωτήματα σχετικά με την εμπορευματοποίηση των μοντέλων ΑΙ.
Πού βρίσκεται η ασπίδα αν κάποιος μπορεί να αντιγράψει στενά ένα μοντέλο πολλών εκατομμυρίων δολαρίων με σχετικά χαμηλό κόστος;
Όπως είναι φυσικό, οι μεγάλες εταιρείες ΑΙ δεν είναι ευχαριστημένες. Η OpenAI έχει κατηγορήσει την DeepSeek ότι Harvesting δεδομένα από το API της με ακατάλληλο τρόπο για τις ανάγκες της απόσταξης μοντέλου.
Οι ερευνητές πίσω από το s1 προσπαθούσαν να βρουν την πιο απλή προσέγγιση για να επιτύχουν ισχυρές επιδόσεις λόγου και «κλίμακα κατά την απάντηση», ή να επιτρέψουν σε ένα μοντέλο Τεχνητής Νοημοσύνης να σκέφτεται περισσότερο πριν απαντήσει σε μια ερώτηση. Αυτές ήταν μερικές από τις ανακαλύψεις στο μοντέλο o1 της OpenAI, το οποίο η DeepSeek και άλλα εργαστήρια ΑΙ έχουν προσπαθήσει να αναπαραγάγουν μέσω διαφόρων τεχνικών.
Η έρευνα για το s1 προτείνει ότι τα μοντέλα λόγου μπορούν να αποσταλούν με ένα σχετικά μικρό σύνολο δεδομένων χρησιμοποιώντας μια διαδικασία που ονομάζεται εποπτική διόρθωση (SFT), όπου ένα μοντέλο τεχνητής νοημοσύνης λαμβάνει ρητές οδηγίες να μιμηθεί ορισμένες συμπεριφορές σε ένα σύνολο δεδομένων.
Η SFT τείνει να είναι φθηνότερη από τη μεγάλη κλίμακα μεθόδου ενίσχυσης που χρησιμοποίησε η DeepSeek για να εκπαιδεύσει τον ανταγωνιστή της OpenAI μοντέλου, το R1.
Η Google προσφέρει δωρεάν πρόσβαση στο Gemini 2.0 Flash Thinking Experimental, αν και με καθημερινά όρια, μέσω της πλατφόρμας Google AI Studio.
Ωστόσο, οι όροι της Google απαγορεύουν την αντίστροφη μηχανική των μοντέλων της για την ανάπτυξη υπηρεσιών που ανταγωνίζονται τις δικές της προσφορές τεχνητής νοημοσύνης. Έχουμε επικοινωνήσει με την Google για σχόλιο.
Το S1 βασίζεται σε ένα μικρό, έτοιμο μοντέλο τεχνητής νοημοσύνης από την κινέζικη εταιρεία Qwen, η οποία ανήκει στην Alibaba, το οποίο είναι διαθέσιμο για δωρεάν λήψη. Για να εκπαιδεύσουν το s1, οι ερευνητές δημιούργησαν ένα σύνολο δεδομένων με μόλις 1.000 προσεκτικά επιλεγμένες ερωτήσεις, σε συνδυασμό με απαντήσεις σε αυτές τις ερωτήσεις, καθώς και τη διαδικασία “σκέψης” πίσω από κάθε απάντηση από το Gemini 2.0 Flash Thinking Experimental της Google.
Μετά την εκπαίδευση του s1, που κράτησε λιγότερο από 30 λεπτά χρησιμοποιώντας 16 Nvidia H100 GPUs, το s1 πέτυχε ισχυρές επιδόσεις σε ορισμένα benchmarks της A.I., σύμφωνα με τους ερευνητές. Ο Niklas Muennighoff, ερευνητής στο Στάνφορντ που εργάστηκε στο έργο, δήλωσε στο TechCrunch ότι θα μπορούσε να ενοικιάσει την απαραίτητη υπολογιστική ισχύ σήμερα με περίπου 20 δολάρια.
Οι ερευνητές χρησιμοποίησαν μια έξυπνη τεχνική προκειμένου το s1 να επανεξετάσει το έργο του και να επεκτείνει τον χρόνο «σκέψης» του είπαν να περιμένει. Η προσθήκη της λέξης «περίμενε» κατά τη διάρκεια της λογικής του s1 βοήθησε το μοντέλο να φτάσει σε ελαφρώς πιο ακριβείς απαντήσεις, σύμφωνα με το έγγραφο.
Το 2025, οι Meta, Google και Microsoft σκοπεύουν να επενδύσουν εκατοντάδες δισεκατομμύρια δολάρια σε υποδομές τεχνητής νοημοσύνης, ένα μέρος από τα οποία θα κατευθυνθεί στην εκπαίδευση μοντέλων επόμενης γενιάς A.I.
Αυτή η επένδυση μπορεί να είναι ακόμα αναγκαία για να προωθήσει την καινοτομία της A.I. Η απόσταξη έχει αποδειχθεί μια καλή μέθοδος για την επαναδημιουργία οικονομικά των ικανοτήτων ενός μοντέλου ΑΙ, αλλά δεν δημιουργεί νέα μοντέλα ΑΙ που να είναι κατά πολύ καλύτερα από αυτά που είναι διαθέσιμα σήμερα.
