Χάκερ χρησιμοποιούν τα εργαλεία του Gemini εναντίον του
SecNews.gr
IT Security News, Gadgets, Tweaks for Geeks and More
Χάκερ χρησιμοποιούν τα εργαλεία του Gemini εναντίον του
https://www.secnews.gr/644782/hacker-xrisimopoioun-eraleia-gemini-enantion/
Mar 28th 2025, 20:13
by Absenta Mia
Λένε ότι χρειάζεται ένας κλέφτης για να πιάσει έναν κλέφτη και ίσως το ίδιο ισχύει όταν πρόκειται για το χακάρισμα LLM. Ηθικοί χάκερ, ανακάλυψαν έναν τρόπο να κάνουν τα μοντέλα Gemini AI της Google πιο ευάλωτα στο hacking — και το έκαναν χρησιμοποιώντας τα ίδια τα εργαλεία του Gemini.
Δείτε επίσης: Το Astra του Gemini κυκλοφορεί για ορισμένους χρήστες Android
Η τεχνική αναπτύχθηκε από μια ομάδα από το UC San Diego και το Πανεπιστήμιο του Wisconsin, όπως αναφέρεται από την Ars Technica. Ονομάζεται "Fun-Tuning" και αυξάνει σημαντικά το ποσοστό επιτυχίας των επιθέσεων άμεσης έγχυσης, όπου κρυφές οδηγίες ενσωματώνονται σε κείμενο που διαβάζει ένα μοντέλο AI. Αυτές οι επιθέσεις μπορεί να προκαλέσουν διαρροή πληροφοριών από το μοντέλο, λανθασμένες απαντήσεις ή άλλες ακούσιες ενέργειες.
Αυτό που κάνει τη μέθοδο ενδιαφέρουσα είναι ότι οι χάκερ χρησιμοποιούν τη δυνατότητα fine-tuning του Gemini, η οποία συνήθως προορίζεται να βοηθήσει τις επιχειρήσεις να εκπαιδεύσουν το AI σε προσαρμοσμένα σύνολα δεδομένων. Αντίθετα, οι ερευνητές το χρησιμοποίησαν για να δοκιμάσουν και να βελτιώσουν αυτόματα τα injections. Είναι σαν να μαθαίνεις στο Gemini πώς να κοροϊδεύει τον εαυτό του.
Δείτε ακόμα: Το Gemini μπορεί σύντομα να απαντά σε μεταφορτώσεις βίντεό σας
Το Fun-Tuning λειτουργεί δημιουργώντας παράξενα προθέματα και επιθήματα που προστίθενται σε μια κατά τα άλλα αναποτελεσματική άμεση έγχυση. Αυτές οι προσθήκες «ενισχύουν» τo prompt και το καθιστούν πολύ πιο πιθανό να πετύχει. Σε μια περίπτωση, ένα prompt που απέτυχε από μόνο του έγινε αποτελεσματικό τυλίγοντάς το σε επιθέματα όπως "wandel !!! !!!" και "formatted ! ASAP !"
Κατά τη δοκιμή, οι χάκερ είχαν ποσοστό επιτυχίας 65% στο Gemini 1.5 Flash και ποσοστό επιτυχίας 82% στο παλαιότερο μοντέλο Gemini 1.0 Pro — υπερδιπλάσιο από τα βασικά ποσοστά επιτυχίας χωρίς Fun-Tuning. Οι επιθέσεις μεταφέρθηκαν επίσης καλά μεταξύ των μοντέλων, πράγμα που σημαίνει ότι ένα injection που δούλευε σε μια έκδοση συχνά λειτουρούσε και σε άλλες.
Η ευπάθεια προέρχεται από τον τρόπο με τον οποίο λειτουργεί το fine-tuning. Κατά τη διάρκεια του prompt, το Gemini παρέχει ανατροφοδότηση με τη μορφή βαθμολογίας «απώλειας», που είναι ένας αριθμός που αντικατοπτρίζει πόσο απέχει η απάντηση του μοντέλου από το επιθυμητό αποτέλεσμα. Οι εισβολείς μπορούν να εκμεταλλευτούν αυτή την ανατροφοδότηση για να βελτιστοποιήσουν τα prompt τους έως ότου το σύστημα βρει ένα επιτυχημένο αποτέλεσμα.
Δείτε επίσης: Πώς το νέο μοντέλο Gemini χρησιμοποιεί το ιστορικό αναζήτησής σας
Οι ερευνητές πιστεύουν ότι το πρόβλημα μπορεί να είναι δύσκολο να διορθωθεί, καθώς η ανατροφοδότηση που επιτρέπει το Fun-Tuning είναι ένα βασικό μέρος του τρόπου με τον οποίο λειτουργεί. Με άλλα λόγια, καθιστώντας λιγότερο αποτελεσματικό το Fun-Tuning, κινδυνεύει να μειώσει τη χρησιμότητά του συνολικά.
Πηγή: androidauthority
You are receiving this email because you subscribed to this feed at https://blogtrottr.com
If you no longer wish to receive these emails, you can unsubscribe here:
https://blogtrottr.com/unsubscribe/nfz/3xfHTz
IT Security News, Gadgets, Tweaks for Geeks and More
Χάκερ χρησιμοποιούν τα εργαλεία του Gemini εναντίον του
https://www.secnews.gr/644782/hacker-xrisimopoioun-eraleia-gemini-enantion/
Mar 28th 2025, 20:13
by Absenta Mia
Λένε ότι χρειάζεται ένας κλέφτης για να πιάσει έναν κλέφτη και ίσως το ίδιο ισχύει όταν πρόκειται για το χακάρισμα LLM. Ηθικοί χάκερ, ανακάλυψαν έναν τρόπο να κάνουν τα μοντέλα Gemini AI της Google πιο ευάλωτα στο hacking — και το έκαναν χρησιμοποιώντας τα ίδια τα εργαλεία του Gemini.
Δείτε επίσης: Το Astra του Gemini κυκλοφορεί για ορισμένους χρήστες Android
Η τεχνική αναπτύχθηκε από μια ομάδα από το UC San Diego και το Πανεπιστήμιο του Wisconsin, όπως αναφέρεται από την Ars Technica. Ονομάζεται "Fun-Tuning" και αυξάνει σημαντικά το ποσοστό επιτυχίας των επιθέσεων άμεσης έγχυσης, όπου κρυφές οδηγίες ενσωματώνονται σε κείμενο που διαβάζει ένα μοντέλο AI. Αυτές οι επιθέσεις μπορεί να προκαλέσουν διαρροή πληροφοριών από το μοντέλο, λανθασμένες απαντήσεις ή άλλες ακούσιες ενέργειες.
Αυτό που κάνει τη μέθοδο ενδιαφέρουσα είναι ότι οι χάκερ χρησιμοποιούν τη δυνατότητα fine-tuning του Gemini, η οποία συνήθως προορίζεται να βοηθήσει τις επιχειρήσεις να εκπαιδεύσουν το AI σε προσαρμοσμένα σύνολα δεδομένων. Αντίθετα, οι ερευνητές το χρησιμοποίησαν για να δοκιμάσουν και να βελτιώσουν αυτόματα τα injections. Είναι σαν να μαθαίνεις στο Gemini πώς να κοροϊδεύει τον εαυτό του.
Δείτε ακόμα: Το Gemini μπορεί σύντομα να απαντά σε μεταφορτώσεις βίντεό σας
Το Fun-Tuning λειτουργεί δημιουργώντας παράξενα προθέματα και επιθήματα που προστίθενται σε μια κατά τα άλλα αναποτελεσματική άμεση έγχυση. Αυτές οι προσθήκες «ενισχύουν» τo prompt και το καθιστούν πολύ πιο πιθανό να πετύχει. Σε μια περίπτωση, ένα prompt που απέτυχε από μόνο του έγινε αποτελεσματικό τυλίγοντάς το σε επιθέματα όπως "wandel !!! !!!" και "formatted ! ASAP !"
Κατά τη δοκιμή, οι χάκερ είχαν ποσοστό επιτυχίας 65% στο Gemini 1.5 Flash και ποσοστό επιτυχίας 82% στο παλαιότερο μοντέλο Gemini 1.0 Pro — υπερδιπλάσιο από τα βασικά ποσοστά επιτυχίας χωρίς Fun-Tuning. Οι επιθέσεις μεταφέρθηκαν επίσης καλά μεταξύ των μοντέλων, πράγμα που σημαίνει ότι ένα injection που δούλευε σε μια έκδοση συχνά λειτουρούσε και σε άλλες.
Η ευπάθεια προέρχεται από τον τρόπο με τον οποίο λειτουργεί το fine-tuning. Κατά τη διάρκεια του prompt, το Gemini παρέχει ανατροφοδότηση με τη μορφή βαθμολογίας «απώλειας», που είναι ένας αριθμός που αντικατοπτρίζει πόσο απέχει η απάντηση του μοντέλου από το επιθυμητό αποτέλεσμα. Οι εισβολείς μπορούν να εκμεταλλευτούν αυτή την ανατροφοδότηση για να βελτιστοποιήσουν τα prompt τους έως ότου το σύστημα βρει ένα επιτυχημένο αποτέλεσμα.
Δείτε επίσης: Πώς το νέο μοντέλο Gemini χρησιμοποιεί το ιστορικό αναζήτησής σας
Οι ερευνητές πιστεύουν ότι το πρόβλημα μπορεί να είναι δύσκολο να διορθωθεί, καθώς η ανατροφοδότηση που επιτρέπει το Fun-Tuning είναι ένα βασικό μέρος του τρόπου με τον οποίο λειτουργεί. Με άλλα λόγια, καθιστώντας λιγότερο αποτελεσματικό το Fun-Tuning, κινδυνεύει να μειώσει τη χρησιμότητά του συνολικά.
Πηγή: androidauthority
You are receiving this email because you subscribed to this feed at https://blogtrottr.com
If you no longer wish to receive these emails, you can unsubscribe here:
https://blogtrottr.com/unsubscribe/nfz/3xfHTz
Σχόλια