Ευπάθεια του GitLab Duo επιτρέπει χειραγώγηση απαντήσεων AI
secnews.gr
IT Security News, Gadgets, Tweaks for Geeks and More
Ευπάθεια του GitLab Duo επιτρέπει χειραγώγηση απαντήσεων AI
https://www.secnews.gr/649095/%CE%B5%CF%85%CF%80%CE%AC%CE%B8%CE%B5%CE%B9%CE%B1-%CF%84%CE%BF%CF%85-gitlab-duo-%CE%B5%CF%80%CE%B9%CF%84%CF%81%CE%AD%CF%80%CE%B5%CE%B9-%CF%87%CE%B5%CE%B9%CF%81%CE%B1%CE%B3%CF%8E%CE%B3%CE%B7%CF%83%CE%B7/
May 23rd 2025, 11:40
by Absenta Mia
Ερευνητές στον τομέα της κυβερνοασφάλειας ανακάλυψαν μια ευπάθεια έμμεσης εισαγωγής προτροπών (indirect prompt injection) στον βοηθό τεχνητής νοημοσύνης Duo του GitLab, η οποία θα μπορούσε να επιτρέψει σε επιτιθέμενους να υποκλέψουν πηγαίο κώδικα και να εισάγουν μη αξιόπιστο HTML στις απαντήσεις του, κάτι που θα μπορούσε να χρησιμοποιηθεί για να παραπέμψει θύματα σε κακόβουλους ιστότοπους.
Δείτε επίσης: Ευπάθειες GitLab επιτρέπουν παράκαμψη των ελέγχων ασφαλείας
Το GitLab Duo είναι ένας βοηθός προγραμματισμού με τεχνητή νοημοσύνη (ΑΙ), που βοηθά τους χρήστες να γράφουν, να ελέγχουν και να επεξεργάζονται κώδικα. Έχει βασιστεί στα μοντέλα Claude της Anthropic και παρουσιάστηκε για πρώτη φορά τον Ιούνιο του 2023.
Ωστόσο, όπως διαπίστωσε η εταιρεία Legit Security, το GitLab Duo Chat παρουσίαζε ευπάθεια έμμεσης εισαγωγής προτροπών, η οποία επιτρέπει σε επιτιθέμενους να «υποκλέψουν πηγαίο κώδικα από ιδιωτικά έργα, να τροποποιήσουν τις προτάσεις κώδικα που εμφανίζονται σε άλλους χρήστες και ακόμη και να αποσπάσουν εμπιστευτικές, μη αποκαλυφθείσες ευπάθειες τύπου zero-day».
Η εισαγωγή προτροπής (prompt injection) αναφέρεται σε μια κατηγορία ευπαθειών που είναι κοινές σε συστήματα τεχνητής νοημοσύνης και επιτρέπουν σε κακόβουλους χρήστες να χειραγωγήσουν τα μεγάλα γλωσσικά μοντέλα (LLMs) ώστε να δίνουν ανεπιθύμητες ή παραπλανητικές απαντήσεις.
Η έμμεση εισαγωγή προτροπών είναι πιο πολύπλοκη, καθώς οι κακόβουλες οδηγίες δεν δίνονται απευθείας, αλλά ενσωματώνονται σε ένα άλλο πλαίσιο, όπως ένα έγγραφο ή μια ιστοσελίδα, τα οποία το μοντέλο καλείται να επεξεργαστεί.
Δείτε ακόμα: Το GitLab διορθώνει ελάττωμα HTML Injection που οδηγεί σε επιθέσεις XSS
Πρόσφατες μελέτες έχουν δείξει ότι τα μεγάλα γλωσσικά μοντέλα (LLMs) είναι επίσης ευάλωτα σε τεχνικές επίθεσης τύπου "jailbreak", οι οποίες επιτρέπουν την παραπλάνηση AI chatbots ώστε να παράγουν επιβλαβείς ή παράνομες πληροφορίες, παρακάμπτοντας τους ηθικούς και λειτουργικούς περιορισμούς τους — ουσιαστικά καθιστώντας περιττές τις περίπλοκα διατυπωμένες προτροπές.
Ευπάθεια GitLab Duo επιτρέπει χειραγώγηση απαντήσεων AI
Επιπλέον, οι μέθοδοι διαρροής προτροπών (Prompt Leakage ή PLeak) μπορούν να χρησιμοποιηθούν για την ακούσια αποκάλυψη των προκαθορισμένων εντολών ή οδηγιών συστήματος που προορίζονται να ακολουθεί το μοντέλο.
Τα πιο πρόσφατα ευρήματα από την ισραηλινή εταιρεία κυβερνοασφάλειας στον τομέα της εφοδιαστικής αλυσίδας λογισμικού δείχνουν ότι ένα κρυφό σχόλιο, τοποθετημένο οπουδήποτε σε αιτήματα συγχώνευσης (merge requests), μηνύματα καταγραφής (commit messages), περιγραφές θεμάτων ή σχόλια, καθώς και στον πηγαίο κώδικα, ήταν αρκετό για να διαρρεύσουν ευαίσθητα δεδομένα ή να ενσωματωθεί HTML στις απαντήσεις του GitLab Duo.
Μετά από υπεύθυνη γνωστοποίηση στις 12 Φεβρουαρίου 2025, τα προβλήματα αντιμετωπίστηκαν από τη GitLab.
Δείτε επίσης: Νέα κρίσιμη ευπάθεια GitLab επιτρέπει αυθαίρετη εκτέλεση αγωγών CI/CD
Καθώς τα LLMs (μεγάλα γλωσσικά μοντέλα) αποκτούν όλο και πιο ενεργό ρόλο στον κύκλο ζωής του λογισμικού, είναι κρίσιμο οι οργανισμοί να υιοθετούν πρακτικές ασφαλούς σχεδίασης (secure-by-design), να εντοπίζουν πιθανές πηγές εισαγωγής κακόβουλου περιεχομένου και να ενισχύουν τους μηχανισμούς φιλτραρίσματος και ελέγχου εισόδου. Επιπλέον, ο συνεχής έλεγχος και η αξιολόγηση των αλληλεπιδράσεων του μοντέλου με δεδομένα από χρήστες και περιβάλλοντα κώδικα είναι απαραίτητη για την πρόληψη διαρροών ευαίσθητων πληροφοριών.
Πηγή: thehackernews
You are receiving this email because you subscribed to this feed at https://blogtrottr.com
If you no longer wish to receive these emails, you can unsubscribe here:
https://blogtrottr.com/unsubscribe/nfz/3xfHTz
IT Security News, Gadgets, Tweaks for Geeks and More
Ευπάθεια του GitLab Duo επιτρέπει χειραγώγηση απαντήσεων AI
https://www.secnews.gr/649095/%CE%B5%CF%85%CF%80%CE%AC%CE%B8%CE%B5%CE%B9%CE%B1-%CF%84%CE%BF%CF%85-gitlab-duo-%CE%B5%CF%80%CE%B9%CF%84%CF%81%CE%AD%CF%80%CE%B5%CE%B9-%CF%87%CE%B5%CE%B9%CF%81%CE%B1%CE%B3%CF%8E%CE%B3%CE%B7%CF%83%CE%B7/
May 23rd 2025, 11:40
by Absenta Mia
Ερευνητές στον τομέα της κυβερνοασφάλειας ανακάλυψαν μια ευπάθεια έμμεσης εισαγωγής προτροπών (indirect prompt injection) στον βοηθό τεχνητής νοημοσύνης Duo του GitLab, η οποία θα μπορούσε να επιτρέψει σε επιτιθέμενους να υποκλέψουν πηγαίο κώδικα και να εισάγουν μη αξιόπιστο HTML στις απαντήσεις του, κάτι που θα μπορούσε να χρησιμοποιηθεί για να παραπέμψει θύματα σε κακόβουλους ιστότοπους.
Δείτε επίσης: Ευπάθειες GitLab επιτρέπουν παράκαμψη των ελέγχων ασφαλείας
Το GitLab Duo είναι ένας βοηθός προγραμματισμού με τεχνητή νοημοσύνη (ΑΙ), που βοηθά τους χρήστες να γράφουν, να ελέγχουν και να επεξεργάζονται κώδικα. Έχει βασιστεί στα μοντέλα Claude της Anthropic και παρουσιάστηκε για πρώτη φορά τον Ιούνιο του 2023.
Ωστόσο, όπως διαπίστωσε η εταιρεία Legit Security, το GitLab Duo Chat παρουσίαζε ευπάθεια έμμεσης εισαγωγής προτροπών, η οποία επιτρέπει σε επιτιθέμενους να «υποκλέψουν πηγαίο κώδικα από ιδιωτικά έργα, να τροποποιήσουν τις προτάσεις κώδικα που εμφανίζονται σε άλλους χρήστες και ακόμη και να αποσπάσουν εμπιστευτικές, μη αποκαλυφθείσες ευπάθειες τύπου zero-day».
Η εισαγωγή προτροπής (prompt injection) αναφέρεται σε μια κατηγορία ευπαθειών που είναι κοινές σε συστήματα τεχνητής νοημοσύνης και επιτρέπουν σε κακόβουλους χρήστες να χειραγωγήσουν τα μεγάλα γλωσσικά μοντέλα (LLMs) ώστε να δίνουν ανεπιθύμητες ή παραπλανητικές απαντήσεις.
Η έμμεση εισαγωγή προτροπών είναι πιο πολύπλοκη, καθώς οι κακόβουλες οδηγίες δεν δίνονται απευθείας, αλλά ενσωματώνονται σε ένα άλλο πλαίσιο, όπως ένα έγγραφο ή μια ιστοσελίδα, τα οποία το μοντέλο καλείται να επεξεργαστεί.
Δείτε ακόμα: Το GitLab διορθώνει ελάττωμα HTML Injection που οδηγεί σε επιθέσεις XSS
Πρόσφατες μελέτες έχουν δείξει ότι τα μεγάλα γλωσσικά μοντέλα (LLMs) είναι επίσης ευάλωτα σε τεχνικές επίθεσης τύπου "jailbreak", οι οποίες επιτρέπουν την παραπλάνηση AI chatbots ώστε να παράγουν επιβλαβείς ή παράνομες πληροφορίες, παρακάμπτοντας τους ηθικούς και λειτουργικούς περιορισμούς τους — ουσιαστικά καθιστώντας περιττές τις περίπλοκα διατυπωμένες προτροπές.
Ευπάθεια GitLab Duo επιτρέπει χειραγώγηση απαντήσεων AI
Επιπλέον, οι μέθοδοι διαρροής προτροπών (Prompt Leakage ή PLeak) μπορούν να χρησιμοποιηθούν για την ακούσια αποκάλυψη των προκαθορισμένων εντολών ή οδηγιών συστήματος που προορίζονται να ακολουθεί το μοντέλο.
Τα πιο πρόσφατα ευρήματα από την ισραηλινή εταιρεία κυβερνοασφάλειας στον τομέα της εφοδιαστικής αλυσίδας λογισμικού δείχνουν ότι ένα κρυφό σχόλιο, τοποθετημένο οπουδήποτε σε αιτήματα συγχώνευσης (merge requests), μηνύματα καταγραφής (commit messages), περιγραφές θεμάτων ή σχόλια, καθώς και στον πηγαίο κώδικα, ήταν αρκετό για να διαρρεύσουν ευαίσθητα δεδομένα ή να ενσωματωθεί HTML στις απαντήσεις του GitLab Duo.
Μετά από υπεύθυνη γνωστοποίηση στις 12 Φεβρουαρίου 2025, τα προβλήματα αντιμετωπίστηκαν από τη GitLab.
Δείτε επίσης: Νέα κρίσιμη ευπάθεια GitLab επιτρέπει αυθαίρετη εκτέλεση αγωγών CI/CD
Καθώς τα LLMs (μεγάλα γλωσσικά μοντέλα) αποκτούν όλο και πιο ενεργό ρόλο στον κύκλο ζωής του λογισμικού, είναι κρίσιμο οι οργανισμοί να υιοθετούν πρακτικές ασφαλούς σχεδίασης (secure-by-design), να εντοπίζουν πιθανές πηγές εισαγωγής κακόβουλου περιεχομένου και να ενισχύουν τους μηχανισμούς φιλτραρίσματος και ελέγχου εισόδου. Επιπλέον, ο συνεχής έλεγχος και η αξιολόγηση των αλληλεπιδράσεων του μοντέλου με δεδομένα από χρήστες και περιβάλλοντα κώδικα είναι απαραίτητη για την πρόληψη διαρροών ευαίσθητων πληροφοριών.
Πηγή: thehackernews
You are receiving this email because you subscribed to this feed at https://blogtrottr.com
If you no longer wish to receive these emails, you can unsubscribe here:
https://blogtrottr.com/unsubscribe/nfz/3xfHTz