Το ChatGPT κατέκτησε τον κόσμο της τεχνολογίας όταν εμφανίστηκε κατά τους τελευταίους μήνες του 2022. Το λανσάρισμα ήταν αρκετά σημαντικό ώστε να ταρακουνήσει τα πράγματα στη Google, με αποτέλεσμα η εταιρεία να τρέξει για να προλάβει τις εξελίξεις προκειμένου να ενσωματώσει την δική της παραγωγική AI στη μηχανή αναζήτησης, με ορισμένα τραγελαφικά να συμβαίνουν στην πορεία. Αν και το ChatGPT δεν προτείνει να βάλετε κόλλα στην πίτσα σας, το chatbot που κάνει τα πάντα δεν είναι τέλειο και κατά περίπτωση μπορεί να κάνει λάθη.
Μία από τις εργασίες που μπορεί να αναλάβει το ChatGPT είναι να γράφει αποσπάσματα κώδικα αφού λάβει προτροπές από τον χρήστη. Ο OpenAI έχει εκπαιδεύσει ένα μοντέλο Τεχνητής Νοημοσύνης με βάση το GPT-4 που ονομάζεται CriticGPT για να βρίσκει λάθη στην έξοδο κώδικα που παρέχει το chatbot. Μπορεί να γράψει κριτικές που επισημαίνουν τις ανακρίβειες στις απαντήσεις του ChatGPT. Το μοντέλο χρησιμοποιείται εσωτερικά και ο OpenAI έχει δημοσιεύσει μια ερευνητική εργασία για να το περιγράψει λεπτομερώς.
Το CriticGPT προορίζεται να βοηθήσει τους ανθρώπους-εκπαιδευτές Τεχνητής Νοημοσύνης, των οποίων η δουλειά είναι να εκπαιδεύουν και να βελτιώνουν τις απαντήσεις του GPT-4 χρησιμοποιώντας μια τεχνική που ονομάζεται Ενισχυτική Μάθηση από Ανθρώπινη Ανατροφοδότηση (Reinforcement Learning from Human Feedback – RLHF). Περιλαμβάνει εκπαιδευτές AI που βαθμολογούν διαφορετικές απαντήσεις του ChatGPT μεταξύ τους.
Ωστόσο, τα πράγματα γίνονται όλο και πιο δύσκολα για τους εκπαιδευτές Τεχνητής Νοημοσύνης, καθώς το ChatGPT γίνεται όλο και πιο ακριβές και τα λάθη του όλο και πιο διακριτικά. “Αυτός είναι ένας θεμελιώδης περιορισμός του RLHF και μπορεί να καταστήσει ολοένα και πιο δύσκολη την ευθυγράμμιση των μοντέλων, καθώς αυτά γίνονται σταδιακά πιο ενημερωμένα από οποιοδήποτε άτομο που θα μπορούσε να παρέχει ανατροφοδότηση“, δήλωσε ο OpenAI.
Το CriticGPT μπαίνει στο παιχνίδι για να σώσει την κατάσταση, αλλά εξακολουθεί να είναι ένα μοντέλο τεχνητής νοημοσύνης και οι απαντήσεις του μπορεί να μην είναι πάντα σωστές. Είναι επίσης επιρρεπές σε προβλήματα της AI, ωστόσο, το μοντέλο μπορεί να βοηθήσει τους ανθρώπους να γίνουν καλύτεροι στην επισήμανση των λαθών από ό,τι όταν κάνουν τη δουλειά μόνοι τους.
Ο OpenAI δήλωσε ότι “ένας δεύτερος τυχαίος εκπαιδευτής προτίμησε τις κριτικές από την ομάδα Human+CriticGPT σε σχέση με εκείνες από ένα άτομο χωρίς βοήθεια σε ποσοστό άνω του 60% των περιπτώσεων“. Το CriticGPT εκπαιδεύτηκε επίσης χρησιμοποιώντας το RLHF και του ανατέθηκε να αναλύσει και να σχολιάσει έναν μεγάλο αριθμό εισροών που περιείχαν λάθη. Το μοντέλο έπρεπε να βρει λάθη που είχαν εισαχθεί σκόπιμα από ανθρώπους και “φυσικά” σφάλματα του ChatGPT που είχαν προηγουμένως εντοπιστεί από έναν εκπαιδευτή. Υπάρχουν μερικοί περιορισμοί που προσπαθεί προς το παρόν να εξαλείψει ο OpenAI.
Το CriticGPT εκπαιδεύτηκε χρησιμοποιώντας σύντομες απαντήσεις του ChatGPT και πρέπει να αναπτυχθούν νέες μέθοδοι που θα μπορούν να βοηθήσουν τους εκπαιδευτές να κατανοήσουν τις μεγάλες και πολύπλοκες εργασίες.
[via]
Πηγή
