Ερευνητές κατάφεραν να δημιουργήσουν ένα χαμηλού κόστους μοντέλο συλλογιστικής Τεχνητής Νοημοσύνης που ανταγωνίζεται αυτό της OpenAI μέσα σε μόλις 26 λεπτά, όπως περιγράφεται σε μια μελέτη που δημοσιεύθηκε την περασμένη εβδομάδα. Το μοντέλο, που ονομάζεται s1, αναπτύχθηκε χρησιμοποιώντας ένα μικρό σύνολο δεδομένων 1.000 ερωτήσεων και με κόστος κάτω από 50 δολάρια.
Για να γίνει κάτι τέτοιο, οι ερευνητές του Stanford και του Πανεπιστημίου της Ουάσινγκτον χρησιμοποίησαν μια μέθοδο γνωστή ως απόσταξη (πιτρέπει σε μικρότερα μοντέλα να αντλούν πληροφορίες από τις απαντήσεις που παράγονται από μεγαλύτερα) για να βελτιώσουν το s1 χρησιμοποιώντας απαντήσεις από το μοντέλο συλλογιστικής AI της Google, το Gemini 2.0 Flash Thinking Experimental. Οι όροι χρήσης της Google σημειώνουν ότι δεν μπορείτε να χρησιμοποιήσετε το API του Gemini για να «αναπτύξετε μοντέλα που ανταγωνίζονται» τα μοντέλα AI της εταιρείας.
Οι ερευνητές βάσισαν το s1 στο Qwen2.5, ένα μοντέλο ανοιχτού κώδικα από το Alibaba Cloud. Αρχικά ξεκίνησαν με μια δεξαμενή 59.000 ερωτήσεων για να εκπαιδεύσουν το μοντέλο, αλλά διαπίστωσαν ότι το μεγαλύτερο σύνολο δεδομένων δεν προσέφερε «σημαντικά κέρδη» σε σχέση με ένα μειωμένο σύνολο μόλις 1.000 ερωτήσεων. Οι ερευνητές αναφέρουν ότι εκπαίδευσαν το μοντέλο χρησιμοποιώντας μόλις 16 Nvidia H100 GPU.
Το μοντέλο s1 χρησιμοποιεί επίσης μια τεχνική που ονομάζεται test-time scaling, επιτρέποντας στο μοντέλο να «σκέφτεται» για μεγαλύτερο χρονικό διάστημα πριν παράγει μια απάντηση. Όπως σημειώνεται στην εργασία, οι ερευνητές ανάγκασαν το μοντέλο να συνεχίσει να σκέφτεται προσθέτοντας την ένδειξη «Wait» στην απάντηση του μοντέλου. «Αυτό μπορεί να οδηγήσει το μοντέλο να ελέγξει δύο φορές την απάντησή του, διορθώνοντας συχνά λανθασμένα βήματα συλλογισμού».
Το μοντέλο συλλογιστικής o1 της OpenAI χρησιμοποιεί μια παρόμοια προσέγγιση, κάτι που η DeepSeek προσπάθησε να αναπαράγει με την κυκλοφορία του μοντέλου R1, το οποίο, όπως ισχυρίζεται, εκπαιδεύτηκε με ένα κλάσμα του κόστους. Η OpenAI κατηγόρησε έκτοτε την DeepSeek ότι αποστάζει πληροφορίες από τα μοντέλα της για να δημιουργήσει έναν ανταγωνιστή, παραβιάζοντας τους όρους παροχής υπηρεσιών της. Όσον αφορά το s1, οι ερευνητές ισχυρίζονται ότι το s1 «ξεπερνά το o1-preview σε ανταγωνιστικές ερωτήσεις μαθηματικών έως και κατά 27%».
Η εξάπλωση των μικρότερων και φθηνότερων AI μοντέλων απειλεί να ανατρέψει ολόκληρη τη βιομηχανία. Θα μπορούσαν να αποδείξουν ότι μεγάλες εταιρείες όπως η OpenAI, η Microsoft, η Meta και η Google δεν χρειάζεται να ξοδεύουν δισεκατομμύρια δολάρια για την εκπαίδευση της AI, ενώ παράλληλα να κατασκευάζουν τεράστια κέντρα δεδομένων γεμάτα με χιλιάδες GPUs της Nvidia.
[via]
Πηγή
