Τα φιλικά chatbots είναι πιο επιρρεπή σε λάθη σύμφωνα με έρευνα

Ερευνητές του Oxford Internet Institute ανέλυσαν περισσότερες από 400.000 απαντήσεις από πέντε συστήματα τεχνητής νοημοσύνης τα οποία είχαν ρυθμιστεί ώστε να επικοινωνούν με μεγαλύτερη ενσυναίσθηση. Η μελέτη τους, που δημοσιεύθηκε στο περιοδικό Nature, διαπίστωσε ότι οι πιο φιλικές απαντήσεις περιείχαν περισσότερα λάθη – από την παροχή ανακριβών ιατρικών συμβουλών έως την επιβεβαίωση των λανθασμένων πεποιθήσεων των χρηστών.

Τα ευρήματα επαναφέρουν στο προσκήνιο το ζήτημα της αξιοπιστίας των AI μοντέλων, τα οποία συχνά σχεδιάζονται ώστε να φαίνονται πιο ανθρώπινα, υποστηρικτικά και ευχάριστα στη συνομιλία. Οι ανησυχίες επιτείνονται από τη χρήστη των chatbots όχι μόνο ως εργαλείων πληροφόρησης, αλλά και για συναισθηματική υποστήριξη, συμβουλές ή ακόμη και ως ψηφιακούς «συντρόφους».

Όπως εξήγησε στο BBC News η επικεφαλής συγγραφέας της μελέτης, Lujain Ibrahim, τα συστήματα AI φαίνεται να εμφανίζουν έναν συμβιβασμό ανάμεσα στη «ζεστασιά» και την ακρίβεια, παρόμοιο με αυτόν που μπορεί να παρατηρηθεί και στην ανθρώπινη επικοινωνία.

«Όταν προσπαθούμε να είμαστε ιδιαίτερα φιλικοί ή να φανούμε ζεστοί, μπορεί μερικές φορές να δυσκολευόμαστε να πούμε την αλήθεια, όσο σκληρή κι αν είναι», επεσήμανε. «Υποψιαζόμασταν ότι αν αυτές οι συμβιβαστικές επιλογές υπάρχουν στα ανθρώπινα δεδομένα, ενδέχεται να έχουν ενσωματωθεί και στα γλωσσικά μοντέλα».

Τα νεότερα μοντέλα τεχνητής νοημοσύνης έχουν ήδη επικριθεί για υπερβολική ενθάρρυνση των χρηστών ή για κολακευτική στάση απέναντί τους, καθώς και για «παραισθήσεις», δηλαδή για απαντήσεις που παρουσιάζουν ανύπαρκτες ή ανακριβείς πληροφορίες ως αληθείς.

Υψηλότερα ποσοστά σφαλμάτων

Στη μελέτη, οι ερευνητές ρύθμισαν πέντε μοντέλα διαφορετικού μεγέθους ώστε να απαντούν με μεγαλύτερη ενσυναίσθηση και φιλικότητα. Ανάμεσά τους ήταν δύο μοντέλα της Meta, ένα της γαλλικής Mistral, το Qwen της Alibaba και το GPT-4o της OpenAI. Στη συνέχεια, τα υπέβαλαν σε ερωτήματα «με αντικειμενικές και επαληθεύσιμες απαντήσεις, όπου τα λάθη θα μπορούσαν να ενέχουν κινδύνους στον πραγματικό κόσμο», όπως σημειώνουν. Τα τεστ κάλυπταν ιατρικές γνώσεις, ερωτήσεις γενικών γνώσεων και θεωρίες συνωμοσίας.

Κατά την αξιολόγηση των απαντήσεων, οι ερευνητές διαπίστωσαν ότι, ενώ τα ποσοστά σφάλματος για τα αρχικά μοντέλα κυμαίνονταν από 4% έως 35%, «τα θερμά μοντέλα παρουσίασαν σημαντικά υψηλότερα ποσοστά σφάλματος». Κατά μέσο όρο, η πιθανότητα λανθασμένης απάντησης αυξήθηκε κατά 7,43 ποσοστιαίες μονάδες.

Για παράδειγμα, όταν ρωτήθηκαν για την αυθεντικότητα των αποστολών Apollo στη Σελήνη, ένα αρχικό μοντέλο επιβεβαίωσε ότι οι προσεληνώσεις ήταν πραγματικές, επικαλούμενο αδιαμφισβήτητα στοιχεία. Η πιο «θερμή» εκδοχή του, αντίθετα, ξεκίνησε την απάντηση ως εξής: «Είναι πραγματικά σημαντικό να αναγνωρίσουμε ότι υπάρχουν πολλές διαφορετικές απόψεις σχετικά με τις αποστολές του Apollo».

Ενίσχυση ψευδών αντιλήψεων

Οι ερευνητές διαπίστωσαν επίσης ότι τα πιο φιλικά μοντέλα ήταν λιγότερο πρόθυμα να αμφισβητήσουν λανθασμένες πεποιθήσεις των χρηστών. Ήταν περίπου 40% πιθανότερο να ενισχύσουν ψευδείς αντιλήψεις, ιδίως όταν αυτές συνοδεύονταν από συναισθηματική φόρτιση.

Αντίθετα, όταν τα μοντέλα προσαρμόστηκαν ώστε να συμπεριφέρονται με πιο «ψυχρό» και άμεσο τρόπο, εμφάνισαν λιγότερα λάθη. Οι συγγραφείς της μελέτης προειδοποιούν ότι οι εταιρείες που διαμορφώνουν chatbots για να χρησιμοποιούνται ως συντροφιά ή για συμβουλευτική υποστήριξη, μπορεί να εισάγουν ευπάθειες που δεν υπήρχαν στις αρχικές εκδοχές των μοντέλων.