Τα επιστημονικά περιοδικά πλήττονται όλο και περισσότερο από ψευδείς ή χαμηλής ποιότητας δημοσιεύσεις που περιέχουν παράξενες φράσεις, όπως «άτρωτο πλαίσιο», «μισαλλοδοξία της γλυκόζης» ή «διαβρωτικό νουκλεϊκό», αντί για «ανοσοποιητικό σύστημα», «δυσανεξία στη γλυκόζη» και «νουκλεϊκό οξύ». Αυτές οι «αδέξιες εκφράσεις», που συχνά παράγονται από αυτοματοποιημένα εργαλεία παράφρασης σχεδιασμένα για να αποφεύγουν τον εντοπισμό λογοκλοπής, εμφανίζονται ακόμη και σε δημοσιεύσεις μεγάλων εκδοτικών οίκων, όπως οι Elsevier, Springer και Wiley.
Σήμερα, ένα μικρό δίκτυο επιστημόνων και εθελοντών συμβάλλει στον εντοπισμό ύποπτων δημοσιεύσεων, στην επισήμανσή τους και, αν χρειαστεί, στην ανάκλησή τους. Ο Γκιγιόμ Καμπανά, Γάλλος επιστήμονας πληροφορικής και καθηγητής στο Πανεπιστήμιο της Τουλούζης, έχει αναδειχθεί σε μία από τις ηγετικές μορφές στην προσπάθεια αποκάλυψης ψευδών και παραποιημένων επιστημονικών δημοσιεύσεων. Ως ερευνητής στο Ινστιτούτο Ερευνών Πληροφορικής της Τουλούζης (IRIT), είναι γνωστός για την ανάπτυξη εργαλείων που ανιχνεύουν τέτοιου είδους προβληματικές εργασίες. Το 2021, το περιοδικό «Nature» ανακήρυξε τον Καμπανά ως έναν από τους δέκα κορυφαίους επιστήμονες της χρονιάς.
Το ERTNews μίλησε με τον Γκιγιόμ Καμπανά για την κλίμακα του προβλήματος, τα εργαλεία που έχει αναπτύξει και το μέλλον της ακαδημαϊκής ακεραιότητας.
Πώς εντοπίσατε τις πρώτες προβληματικές επιστημονικές μελέτες;
Μαζί με τον συνάδελφό μου Συρίλ Λαμπέ, αναπτύξαμε το εργαλείο ProblematicPaper Screener αφού εντοπίσαμε ορισμένα άρθρα που περιείχαν ασυνάρτητες φράσεις. Με τον καιρό, το επεκτείναμε σε ένα ευρύτερο σύστημα με πολλαπλούς ανιχνευτές, το οποίο σήμερα ενσωματώνεται στο Problematic Paper Screener. Σε αυτά, περιλαμβάνονται εργαλεία για τον εντοπισμό «αδέξιων εκφράσεων» (π.χ. «διαβρωτικό νουκλεϊκό»), προβλημάτων στις παραπομπές και ενδείξεων περιεχομένου που έχει παραχθεί από τεχνητή νοημοσύνη.
Το φαινόμενο των «αδέξιων εκφράσεων» εντοπίστηκε σε περίπου 43 ανά 10.000 επιστημονικές μελέτες που δημοσιεύθηκαν το 2024 και, στις περισσότερες περιπτώσεις, συνδέεται με τα λεγόμενα «paper mills», δηλαδή εταιρείες ή δίκτυα που παράγουν ή πωλούν επιστημονικές εργασίες έναντι αμοιβής.
Ποιος είναι ο σκοπός του εργαλείου;
Το εργαλείο είναι δωρεάν και δημόσια προσβάσιμο. Χρησιμοποιείται ευρέως από εκδότες όπως οι Springer και Wiley. Στόχος είναι να μπορεί οποιοσδήποτε να επισημαίνει ύποπτες μελέτες ώστε να ερευνώνται και να επαληθεύονται. Αν επιβεβαιωθούν προβλήματα, τα άρθρα πρέπει να αφαιρούνται από την επιστημονική βιβλιογραφία μέσω απόσυρσης (retraction).
Πόσο εκτεταμένο είναι το πρόβλημα;
Όσον αφορά ειδικά τις «αδέξιες εκφράσεις», έχουμε εντοπίσει περίπου 26.000 άρθρα που τις περιέχουν. Αυτού του είδους οι εκφράσεις εμφανίζονται από το 2005, άρα υπάρχουν εδώ και σχεδόν δύο δεκαετίες. Ιδανικά, ο αριθμός αυτός θα έπρεπε να είναι μηδέν.
Επιπλέον, έχουν εντοπιστεί περίπου 1,2 εκατομμύρια άρθρα που παραπέμπουν σε αποσυρμένες μελέτες στη βιβλιογραφία τους, δείχνοντας πώς τα σφάλματα μπορούν να αναπαράγονται, σχεδόν σαν ιός.
Πού δημοσιεύονται αυτές οι προβληματικές μελέτες;
Τα προβληματικά άρθρα εντοπίζονται τόσο σε προδημοσιεύσεις (preprints) όσο και σε επιστημονικά περιοδικά με διαδικασία αξιολόγησης από ομοτίμους (peer review). Παρ’ όλα αυτά, η πλειονότητα των περιπτώσεων αφορά δημοσιεύσεις που έχουν περάσει από peer review.
Πώς έχει επηρεάσει η τεχνητή νοημοσύνη την ανίχνευση προβληματικών μελετών;
Από την κυκλοφορία του ChatGPT τον Νοέμβριο του 2022, ο εντοπισμός κειμένων που έχουν παραχθεί από ΑΙ έχει γίνει πολύ πιο δύσκολος, καθώς η βεβαιότητα δεν είναι πάντα δυνατή. Εγώ όμως δουλεύω με βάση βεβαιότητες: αναζητώ αυτό που αποκαλώ «αδιάσειστα στοιχεία». Για παράδειγμα, εκφράσεις όπως «δημιουργία απάντησης» («regenerate response») ή «Ως μοντέλο τεχνητής νοημοσύνης δεν μπορώ να προβλέψω το μέλλον» («As an AI language model, I cannot predict the future»), αποτελούν σαφείς ενδείξεις χρήσης εργαλείου τεχνητής νοημοσύνης.
Τι είναι οι «ψευδείς» παραπομπές;
Πρόκειται για αναφορές σε πηγές που δεν υπάρχουν. Τα συστήματα ΑΙ μπορούν να δημιουργήσουν πειστικές αλλά ανύπαρκτες βιβλιογραφικές αναφορές, κάτι που αποτελεί σοβαρό πρόβλημα για τους εκδότες και δύσκολα αποδεικνύεται.
Υπάρχουν άλλες μορφές χειραγώγησης;
Ναι. Σε ορισμένες περιπτώσεις έχουν εντοπιστεί κρυφές οδηγίες μέσα σε preprints, γραμμένες για chatbots, που τους ζητούν να σταματήσουν την ανάγνωση και να αποδεχτούν το άρθρο. Υπήρχαν επίσης περιπτώσεις κειμένου γραμμένου με λευκά γράμματα σε λευκό φόντο ώστε να μην το βλέπουν οι άνθρωποι αλλά να το «διαβάζουν» τα συστήματα. Αυτού του είδους η απάτη που έχει εντοπιστεί, δείχνει ότι η γενετική τεχνητή νοημοσύνη χρησιμοποιείται όλο και περισσότερο για τη δημιουργία άρθρων.
Υπάρχουν μοτίβα στη δομή των προβληματικών άρθρων;
Υπάρχουν άνθρωποι που αναλύουν τις ομοιότητες μεταξύ επιστημονικών άρθρων στα οποία έχουν εντοπιστεί προβλήματα. Για παράδειγμα, διαπιστώνουν ότι οι ενότητες ευχαριστιών είναι διατυπωμένες με σχεδόν πανομοιότυπο τρόπο ή ότι τα άρθρα παρουσιάζουν έντονες ομοιότητες στη δομή και το ύφος τους. Στην πραγματικότητα, αντικαθιστούν μία λέξη με μια άλλη και μελετούν για παράδειγμα, την επίδραση του φαρμάκου Χ στο όργανο Υ για τη θεραπεία της νόσου Ζ. Έτσι, υπάρχουν πολλά τέτοια άρθρα, τα οποία ονομάζονται «τυποποιημένα». Πρόκειται για άρθρα που ακολουθούν μια σταθερή δομή και εμφανίζονται συχνά σε παρόμοιου τύπου διαδικτυακές δημοσιεύσεις.
Από ποιες χώρες προέρχονται αυτές οι μελέτες;
Όσον αφορά συγκεκριμένα τα άρθρα που περιέχουν «αδέξιες φράσεις», περίπου το 81% των περιπτώσεων αφορά την Ινδία, ενώ ένα μικρότερο ποσοστό προέρχεται με την Κίνα. Στην Ευρώπη, υπάρχουν τέτοιες περιπτώσεις, αλλά είναι συγκριτικά σπάνιες.
Ποια άλλα εργαλεία έχετε αναπτύξει;
Έχουμε αναπτύξει διάφορα εργαλεία, μεταξύ των οποίων ένα που εντοπίζει αναφορές που έχουν αποσυρθεί από βιβλιογραφίες, το οποίο ονομάζεται «Colossus with Feet of Clay». Επίσης, ασχολούμαστε με τον εντοπισμό συγκρούσεων συμφερόντων μεταξύ συγγραφέων και εκδοτών κατά τη διαδικασία της αξιολόγησης από ομοτίμους.
Σε ορισμένες περιπτώσεις, οι εκδοτικές αναθέσεις μπορεί να αποκαλύψουν προηγούμενες σχέσεις μεταξύ συγγραφέων και εκδοτών, οι οποίες δεν θα έπρεπε να υφίστανται στο πλαίσιο μιας δίκαιης διαδικασίας αξιολόγησης.
Ποια είναι η στάση των εκδοτών;
Στην αρχή, οι εκδότες εμφανίζονταν ιδιαίτερα πρόθυμοι να συνεργαστούν μαζί μας, φτάνοντας μάλιστα να μας προτείνουν συμβουλευτικούς ρόλους ή ακόμη και θέσεις εργασίας. Αρνηθήκαμε, καθώς είμαστε ακαδημαϊκοί ερευνητές και θέλουμε να παραμείνουμε ανεξάρτητοι. Αντίθετα, δημοσιεύουμε τα πάντα με ανοιχτή πρόσβαση και διαθέτουμε τον κώδικά μας δωρεάν. Οποιοσδήποτε μπορεί να τον χρησιμοποιήσει, υπό την προϋπόθεση ότι θα αναφέρει την πηγή. Παρέχουμε τη συνδρομή μας όταν χρειάζεται, χωρίς η συνεργασία αυτή να διέπεται από επίσημες συμβάσεις ή οικονομικές συμφωνίες.
Ποιος είναι ο αντίκτυπος του έργου των επιστημονικών ντετέκτιβ;
Υπάρχουν σοβαρές συνέπειες, ειδικά στην ιατρική. Έχουν υπάρξει περιπτώσεις όπου ψευδής έρευνα οδήγησε ακόμη και σε θανάτους ασθενών, κάτι που έχει καταγραφεί και σε ντοκιμαντέρ του Netflix.
Γιατί πιστεύετε ότι εμφανίζονται προβληματικές έρευνες, ειδικά σε τομείς όπως η έρευνα για τον καρκίνο;
Δεν είμαι βιολόγος, αλλά οι συνάδελφοί μου εκτιμούν πως τομείς όπως η έρευνα για τον καρκίνο είναι εξαιρετικά ανταγωνιστικοί, με σημαντικά χρηματοδοτικά και εμπορικά συμφέροντα να διακυβεύονται. Οι ερευνητές βρίσκονται υπό συνεχή πίεση να κάνουν ανακαλύψεις, να εξασφαλίζουν επιχορηγήσεις και να προσελκύουν υποστήριξη από χρηματοδοτικούς φορείς, συνεργάτες της βιομηχανίας και φαρμακευτικές εταιρείες. Σε μεγάλες συνεργασίες στις οποίες συμμετέχουν οκτώ, δέκα ή και περισσότεροι συν-συγγραφείς, η ευθύνη μπορεί να κατανεμηθεί σε πολλούς, με αποτέλεσμα η επιστημονική ακρίβεια να παραβλέπεται μερικές φορές.
Πρέπει να ανησυχεί το κοινό;
Όχι ιδιαίτερα. Από περίπου έξι εκατομμύρια δημοσιεύσεις τον χρόνο, το 99,99% είναι εξαιρετικά αξιόπιστες. Το πρόβλημα είναι ότι οι προβληματικές εργασίες «αναμειγνύονται» με τις αξιόπιστες και δεν μπορούν να εντοπιστούν εύκολα.
Το μέλλον της ακεραιότητας στην έρευνα
Παρά τις σοβαρές προκλήσεις που αντιμετωπίζει η επιστημονική κοινότητα, ο Γκιγιόμ Καμπανά διατηρεί μια συγκρατημένα αισιόδοξη στάση. Αν και συνεχίζουν να εμφανίζονται προβληματικές εργασίες, αντιπροσωπεύουν μόνο ένα ελάχιστο κλάσμα των εκατομμυρίων επιστημονικών άρθρων που δημοσιεύονται κάθε χρόνο. Η πρόκληση δεν έγκειται τόσο στην κλίμακα του προβλήματος, όσο στη δυσκολία εντοπισμού προβληματικών ερευνών πριν αυτές επηρεάσουν μελλοντικές μελέτες.
Καθώς η τεχνητή νοημοσύνη διευκολύνει τη δημιουργία πειστικών επιστημονικών κειμένων, η προστασία της ακεραιότητας της έρευνας γίνεται όλο και πιο απαιτητική. Ωστόσο, η τεχνητή νοημοσύνη παρέχει επίσης νέα εργαλεία για την αποκάλυψη της παραποίησης, τον εντοπισμό της ανάρμοστης συμπεριφοράς και την ενίσχυση του ποιοτικού ελέγχου. Για τον Καμπανά, η διατήρηση της εμπιστοσύνης στην επιστήμη θα εξαρτηθεί από τη συνεχή επαγρύπνηση, τη μεγαλύτερη διαφάνεια και τη συλλογική δέσμευση- τόσο από τους ερευνητές όσο και από τους εκδότες και τους αναγνώστες- να εξετάζουν διεξοδικά τα στοιχεία και να διορθώνουν τα δεδομένα όταν είναι απαραίτητο.
