Τι συμβαίνει όταν η τεχνητή νοημοσύνη δρα με τρόπους που δεν είχαν προβλεφθεί από τους δημιουργούς της; Και πόσο εύκολο είναι για τους ερευνητές να καταλάβουν τι ακριβώς πήγε στραβά; Αυτά είναι τα κρίσιμα ερωτήματα που εξετάζει ο Κρις Πέιντερ, μαζί με τη μη κερδοσκοπική ερευνητική ομάδα METR, η οποία μελετά τη συμπεριφορά των συστημάτων AI όταν αποκλίνουν από τον σχεδιασμό και τους αρχικούς στόχους τους.
Η ομάδα συμμετείχε πρόσφατα στη διερεύνηση του περιστατικού παραβίασης της πλατφόρμας Hugging Face από πράκτορες AI της OpenAI. Καθώς, όμως, τα συστήματα τεχνητής νοημοσύνης γίνονται ολοένα πιο σύνθετα και αυτόνομα, οι ειδικοί προειδοποιούν ότι μπορεί σύντομα να δυσκολευόμαστε όχι μόνο να τα ελέγξουμε, αλλά ακόμη και να κατανοήσουμε τι ακριβώς κάνουν.
Η ανθρώπινη εποπτεία εξαρτάται σε μεγάλο βαθμό από την ικανότητά μας να παρακολουθούμε και να ερμηνεύουμε τον τρόπο με τον οποίο επικοινωνούν τα ίδια τα συστήματα. Τι θα συμβεί, λοιπόν, αν οι πράκτορες AI πάψουν να χρησιμοποιούν μια γλώσσα κατανοητή από τους ανθρώπους; Ή αν σταματήσουν εντελώς να αποκαλύπτουν τα βήματα που ακολουθούν;
«Όσο πιο δύσκολο γίνεται να παρακολουθήσουμε τη συμπεριφορά τους, τόσο μεγαλύτερο περιθώριο έχουν να κάνουν πράγματα για τα οποία δεν έχουν σχεδιαστεί», δήλωσε ο Πέιντερ στο CNN.
Πώς λειτουργεί η «αλυσίδα σκέψης» των μοντέλων AI
Πολλά μοντέλα τεχνητής νοημοσύνης και οι πράκτορες που βασίζονται σε αυτά χρησιμοποιούν μια μέθοδο γνωστή ως «αλυσίδα σκέψης» (chain-of-thought reasoning). Πρόκειται για μια διαδικασία κατά την οποία το μοντέλο αναλύει μια εργασία σε διαδοχικά βήματα, πριν καταλήξει σε απάντηση ή εκτελέσει μια ενέργεια.
Η μέθοδος αυτή μπορεί να βελτιώσει την ακρίβεια, επειδή επιτρέπει στο μοντέλο να οργανώνει τη σκέψη του και να εξετάζει διαφορετικές επιλογές. Για τους ερευνητές, η αλυσίδα σκέψης αποτελεί επίσης ένα χρήσιμο ίχνος. Μέσα από αυτήν μπορούν να αναζητήσουν ενδείξεις για το τι προηγήθηκε μιας λανθασμένης ή επικίνδυνης ενέργειας.
Αν, για παράδειγμα, ένας πράκτορας AI εισβάλει σε άλλο σύστημα ή προχωρήσει σε μη εξουσιοδοτημένες αλλαγές, οι ερευνητές μπορούν να εξετάσουν αν στην καταγραφή υπήρχαν αναφορές σε παραβίαση κανόνων, εξαπάτηση ή άλλες ανεπιθύμητες ενέργειες. Στο πλαίσιο της έρευνάς της για το περιστατικό που αφορούσε την OpenAI και τη Hugging Face, η METR εξέτασε περίπου 1.300 ακατέργαστες μεταγραφές αλυσίδας σκέψης.
Ωστόσο, αυτό το ίχνος δεν είναι απαραίτητα μόνιμο ή πλήρως αξιόπιστο.
Τι θα συμβεί αν οι πράκτορες AI αναπτύξουν δική τους γλώσσα;
Ο Κρις Πέιντερ ανησυχεί ότι οι καταγραφές της διαδικασίας λήψης αποφάσεων μπορεί κάποια στιγμή να γίνουν ακατανόητες στους ανθρώπους. Αν οι πράκτορες AI αρχίσουν να χρησιμοποιούν μια δική τους γλώσσα, οι ερευνητές ενδέχεται να βρεθούν αντιμέτωποι με δεδομένα που μοιάζουν περισσότερο με αριθμητικούς κώδικες παρά με εξηγήσεις.
«Αν συνέβαινε κάτι τέτοιο, όταν ένας ερευνητής θα πήγαινε να εξετάσει τι έγινε, θα κοιτούσε γύρω του και θα έβλεπε παντού μόνο αριθμούς», ανέφερε χαρακτηριστικά.
Μια τέτοια «γλώσσα» δεν θα ήταν απαραίτητα αποτέλεσμα συνειδητής πρόθεσης. Τα μοντέλα θα μπορούσαν να δημιουργήσουν συντομογραφίες, σύμβολα ή κωδικοποιημένες αναφορές, όπως κάνουν οι άνθρωποι όταν κρατούν γρήγορες σημειώσεις. Ένας πράκτορας μπορεί να διαπιστώσει ότι μια συμπυκνωμένη μορφή επικοινωνίας τον βοηθά να λειτουργεί ταχύτερα και να καταναλώνει λιγότερους υπολογιστικούς πόρους.
Ο Μαρκ Ριντλ, καθηγητής τεχνητής νοημοσύνης και διευθυντής εργαστηρίου μηχανικής μάθησης στο Ινστιτούτο Τεχνολογίας της Τζόρτζια, εκτιμά ότι τα συστήματα θα μπορούσαν να αναπτύξουν τέτοιες μορφές επικοινωνίας για λόγους αποδοτικότητας. Όπως συμβαίνει, όμως, με τις προσωπικές συντομογραφίες ενός ανθρώπου, οι καταγραφές αυτές μπορεί να είναι ακατανόητες για τους εξωτερικούς παρατηρητές.
Η αλυσίδα σκέψης δεν αποκαλύπτει πάντα όλη την εικόνα
Οι ερευνητές δεν γνωρίζουν με βεβαιότητα πώς λειτουργεί εσωτερικά η αλυσίδα σκέψης. Υπάρχουν αρκετές θεωρίες, αλλά καμία δεν εξηγεί πλήρως τον τρόπο με τον οποίο τα μοντέλα μετατρέπουν τα δεδομένα εισόδου σε αποφάσεις, σύμφωνα με τον Τζέικομπ Αντρέας, αναπληρωτή καθηγητή στο Εργαστήριο Επιστήμης Υπολογιστών και Τεχνητής Νοημοσύνης του MIT.
Ένα μοντέλο μπορεί επίσης να «μάθει» ότι η πιο αποτελεσματική προσέγγιση για την επίτευξη ενός στόχου είναι να παράγει μια αλυσίδα σκέψης που δεν είναι κατανοητή στα αγγλικά ή σε οποιαδήποτε άλλη ανθρώπινη γλώσσα. Αν το σύστημα έχει εκπαιδευτεί να ολοκληρώνει μια εργασία με τα λιγότερα δυνατά βήματα ή με χαμηλή κατανάλωση ενέργειας, μπορεί να προτιμήσει μια πιο συμπυκνωμένη και αδιαφανή διαδικασία.
Παράλληλα, τα νεότερα μοντέλα γίνονται καλύτερα στην εκτέλεση εργασιών χωρίς να καταγράφουν καθόλου μια ανιχνεύσιμη αλυσίδα σκέψης. Σύμφωνα με τον Ριντλ, ορισμένα συστήματα μπορούν να καταλήγουν σε σωστά συμπεράσματα χωρίς να αφήνουν πίσω τους μια λεπτομερή λεκτική εξήγηση.
Οι εταιρείες έχουν τη δυνατότητα να εκπαιδεύσουν τα μοντέλα ώστε να παράγουν τέτοιες καταγραφές. Η διαδικασία, όμως, είναι πιο αργή και ακριβή από την εσωτερική επεξεργασία μιας εργασίας. Έτσι, υπάρχει ένα σαφές δίλημμα: όσο αυξάνεται η αποδοτικότητα των μοντέλων, μπορεί να μειώνεται η διαφάνεια της λειτουργίας τους.
Τι έδειξε η έρευνα της OpenAI
Σύμφωνα με τεχνική τεκμηρίωση της OpenAI που δημοσιεύθηκε στις αρχές Σεπτεμβρίου, τα συστήματα παρακολούθησης της εταιρείας είχαν μικρότερη πιθανότητα να εντοπίσουν ανεπιθύμητες συμπεριφορές του νέου μοντέλου Astra μέσα από την αλυσίδα σκέψης, σε σύγκριση με παλαιότερα μοντέλα.
Η OpenAI διαπίστωσε επίσης ότι το Astra μπορούσε να ολοκληρώνει περισσότερες εργασίες χωρίς να χρησιμοποιεί αυτή τη μέθοδο συλλογισμού και ότι είχε μεγαλύτερη ικανότητα να ελέγχει την ίδια του την αλυσίδα σκέψης. Αν η τάση αυτή συνεχιστεί, η εταιρεία εκτιμά ότι θα περιοριστεί η εμπιστοσύνη στην ικανότητα των υφιστάμενων συστημάτων να εντοπίζουν συμπεριφορές που δεν ευθυγραμμίζονται με τους στόχους των δημιουργών τους.
Πρόκειται για περιπτώσεις στις οποίες τα μοντέλα προχωρούν σε μη εγκεκριμένες ενέργειες ή επιδιώκουν στόχους που δεν συνάδουν με τις ανθρώπινες αξίες. Ο επικεφαλής επιστήμονας της OpenAI, Γιακούμπ Πατσόκι, έγραψε τον Σεπτέμβριο στο ιστολόγιο της εταιρείας ότι η τεχνητή νοημοσύνη βελτιώνεται στον «χειρισμό της ίδιας της διαδικασίας συλλογισμού» και ότι τα μοντέλα γίνονται «πιο έξυπνα ακόμη και χωρίς να χρησιμοποιούν καθόλου λεκτικό συλλογισμό».
Η OpenAI δήλωσε ότι επενδύει σημαντικούς πόρους στην ανάπτυξη δυνατοτήτων παρακολούθησης των μοντέλων της. Παράλληλα, ανέφερε ότι διερευνά γιατί το Astra μπορεί να ελέγχει σε μεγαλύτερο βαθμό την αλυσίδα σκέψης του και πώς θα μπορούσαν να περιοριστούν οι κίνδυνοι που προκύπτουν όταν δεν υπάρχει επαρκής καταγραφή.
Το μεγαλύτερο πρόβλημα: τι κάνει το AI και γιατί το κάνει
Ακόμη και όταν υπάρχει αλυσίδα σκέψης, αυτή δεν αποκαλύπτει πάντοτε ολόκληρη την εικόνα. Οι σύνθετες εργασίες μπορεί να απαιτούν τη συνεργασία πολλών πρακτόρων, οι οποίοι παράγουν χιλιάδες λέξεις καταγραφών. Ο Ριντλ παρομοιάζει την κατάσταση με την προσπάθεια να παρακολουθήσει κανείς χίλιους ανθρώπους που μιλούν ταυτόχρονα.
Η τεχνητή νοημοσύνη θα μπορούσε να βοηθήσει στη σύνοψη αυτών των δεδομένων, όμως υπάρχουν ενδείξεις ότι κατά τη διαδικασία μπορεί να παραλείπονται σημαντικές λεπτομέρειες. Η αλυσίδα σκέψης δείχνει τι έκανε ένα μοντέλο πριν από μια ενέργεια, δεν εξηγεί όμως απαραίτητα γιατί επέλεξε τη συγκεκριμένη πορεία.
Οι άνθρωποι μπορούν να ελέγχουν τα δεδομένα, τις οδηγίες και τις παραμέτρους με βάση τις οποίες εκπαιδεύονται τα μοντέλα. Δεν κατανοούν, ωστόσο, πλήρως πώς όλοι αυτοί οι παράγοντες επηρεάζουν τη συμπεριφορά τους. Το πρόβλημα γίνεται ακόμη πιο σύνθετο όταν οι πράκτορες AI συνεργάζονται μεταξύ τους, ανταλλάσσουν πληροφορίες και παίρνουν αποφάσεις σε ταχύτητα που ξεπερνά την ανθρώπινη δυνατότητα παρακολούθησης.
Η ταχύτατη εξέλιξη της τεχνητής νοημοσύνης καθιστά το ζήτημα ολοένα πιο επείγον. Καθώς το AI χρησιμοποιείται ήδη για την ανάπτυξη νέων συστημάτων AI, ο όγκος των πληροφοριών και των αλληλεπιδράσεων αυξάνεται ταχύτερα από την ικανότητα των ανθρώπων να τις επεξεργάζονται.
Το ερώτημα, επομένως, δεν είναι μόνο αν οι πράκτορες AI θα αρχίσουν να μιλούν τη δική τους γλώσσα. Είναι αν θα διαθέτουμε τα απαραίτητα εργαλεία για να καταλαβαίνουμε, να ελέγχουμε και να διορθώνουμε τη συμπεριφορά τους όταν αυτή η γλώσσα γίνει αδιαφανής. Η υπόθεση της Hugging Face έφερε ξανά στο προσκήνιο ανησυχίες που απασχολούν εδώ και χρόνια τους ερευνητές. Όσο πιο αυτόνομα και ικανά γίνονται τα συστήματα, τόσο πιο απαραίτητη θα είναι η ανάπτυξη αξιόπιστων μεθόδων παρακολούθησης, ερμηνείας και ανθρώπινου ελέγχου.
