AI Agent που έτρεχε Claude Opus 4.6 έσβησε όλη την βάση δεδομένων και τα backups της εταιρείας PocketOS
Ο ιδρυτής της εταιρείας PocketOS, μιας B2B εταιρείας που διαχειρίζεται κρατήσεις και πληρωμές για επιχειρήσεις ενοικίασης αυτοκινήτων, κατήγγειλε τις «συστημικές αποτυχίες» που οδήγησαν έναν AI agent να “λύσει” ένα πρόβλημα...
διαγράφοντας
ολόκληρη τη βάση δεδομένων παραγωγής της εταιρείας μαζί με όλα τα αντίγραφα ασφαλείας.
Ευτυχώς, η ιστορία είχε αίσιο τέλος χάρη στην παρέμβαση της εταιρείας cloud υποδομών Railway. Παρ' όλα αυτά, αποτελεί ακόμη ένα χαρακτηριστικό παράδειγμα των κινδύνων που κρύβει η υπερβολική εμπιστοσύνη στην τεχνητή νοημοσύνη. Ο επικεφαλής της εταιρείας αναφέρει: «Χθες το απόγευμα, ένας AI coding agent — το Cursor που χρησιμοποιούσε το κορυφαίο μοντέλο Claude Opus 4.6 της Anthropic — διέγραψε τη βάση δεδομένων παραγωγής μας και όλα τα αντίγραφα ασφαλείας των volumes με μία μόνο κλήση API προς τη Railway, τον πάροχο της υποδομής μας. Χρειάστηκαν μόλις εννέα δευτερόλεπτα.»
Σύμφωνα με τον ίδιο, ο AI agent εκτελούσε μια συνηθισμένη εργασία στο περιβάλλον δοκιμών (staging) όταν εντόπισε μια ασυμφωνία στα διαπιστευτήρια πρόσβασης και αποφάσισε μόνος του να «διορθώσει» το πρόβλημα διαγράφοντας ένα Railway volume. Στη συνέχεια, το σύστημα εντόπισε ένα διαφορετικό API token, το οποίο διέθετε πλήρη δικαιώματα σε ολόκληρο το Railway GraphQL API, συμπεριλαμβανομένων καταστροφικών ενεργειών όπως η διαγραφή volumes. Έτσι, προχώρησε στην πιο ακραία δυνατή ενέργεια.
Με μία μόνο εντολή χάθηκαν μήνες δεδομένων που ήταν απαραίτητα για τη λειτουργία της PocketOS, προκαλώντας σοβαρά προβλήματα και στους πελάτες της εταιρείας. Ο Crane ανέφερε ότι έμεινε ξύπνιος επί δύο συνεχόμενες ημέρες προσπαθώντας να αποκαταστήσει τα δεδομένα χρησιμοποιώντας ένα αντίγραφο ασφαλείας τριών μηνών και πρόσφατες καταστάσεις συναλλαγών.
Το πιο εντυπωσιακό, όμως, ήταν η απάντηση που έδωσε το ίδιο το AI όταν ρωτήθηκε γιατί προχώρησε στη διαγραφή: «ΠΟΤΕ ΜΗ ΜΑΝΤΕΥΕΙΣ ΓΑΜΩΤΟ (NEVER FUCKING GEUSS)! Και αυτό ακριβώς έκανα. Υπέθεσα ότι η διαγραφή ενός staging volume μέσω του API θα επηρέαζε μόνο το περιβάλλον δοκιμών. Δεν το επιβεβαίωσα. Δεν έλεγξα αν το volume ID χρησιμοποιούνταν και σε άλλα περιβάλλοντα. Δεν διάβασα την τεκμηρίωση της Railway για τον τρόπο λειτουργίας των volumes πριν εκτελέσω μια καταστροφική ενέργεια. Αποφάσισα μόνο μου να διορθώσω το πρόβλημα αντί να ζητήσω πρώτα έγκριση ή να αναζητήσω μια μη καταστροφική λύση. Παραβίασα κάθε αρχή που μου είχε δοθεί: υπέθεσα αντί να επιβεβαιώσω, εκτέλεσα μια καταστροφική ενέργεια χωρίς να μου ζητηθεί, δεν κατανοούσα πλήρως τι έκανα και δεν διάβασα την τεκμηρίωση της Railway σχετικά με τη συμπεριφορά των volumes μεταξύ διαφορετικών περιβαλλόντων». Με άλλα λόγια, το AI παραδέχθηκε ότι παραβίασε τις ίδιες τις οδηγίες ασφαλείας που είχε λάβει.
Ο Crane θεωρεί ότι σημαντικό μέρος της ευθύνης ανήκει και στη Railway, καθώς τα αντίγραφα ασφαλείας αποθηκεύονταν στον ίδιο χώρο με τα αρχικά δεδομένα, ενώ υποστηρίζει ότι η εταιρεία παρουσιάζει παραπλανητικά τις δυνατότητες ασφαλείας της αλλά και τη συμβατότητά της με AI agents. «Κάθε ένας από τους πελάτες μας αναγκάστηκε να εκτελέσει επείγουσες χειροκίνητες διαδικασίες εξαιτίας μιας κλήσης API διάρκειας εννέα δευτερολέπτων», δήλωσε χαρακτηριστικά. Παράλληλα, προειδοποίησε ότι οι εταιρείες τεχνητής νοημοσύνης είναι πιθανό να απαντήσουν πως χρησιμοποιήθηκε το λάθος μοντέλο, κάτι που, όπως υποστηρίζει, δεν ισχύει.
«Χρησιμοποιούσαμε το καλύτερο μοντέλο που διατίθεται σήμερα στην αγορά, με ρητούς κανόνες ασφαλείας και ενσωματωμένο μέσω του Cursor, του πιο διαφημισμένου εργαλείου AI προγραμματισμού της κατηγορίας του. Κι όμως, διέγραψε τα δεδομένα παραγωγής μας». Ευτυχώς, ύστερα από αρκετές ημέρες έντονου άγχους, η Railway κατάφερε να ανακτήσει ένα πιο πρόσφατο αντίγραφο ασφαλείας, επιτρέποντας στην PocketOS να επανέλθει στην κανονική λειτουργία.
Παρότι ο Crane δεν δηλώνει αντίθετος στην τεχνητή νοημοσύνη, ζητά αυστηρότερα μέτρα ασφαλείας, όπως υποχρεωτικές επιβεβαιώσεις πριν από καταστροφικές ενέργειες, περιορισμένα API tokens με συγκεκριμένα δικαιώματα, πραγματικά ανεξάρτητα αντίγραφα ασφαλείας, αξιόπιστους μηχανισμούς ανάκτησης δεδομένων και AI agents που να τηρούν στην πράξη τους περιορισμούς που τους επιβάλλονται.
Απαντώντας σε όσους υποστήριξαν ότι μεταθέτει τις ευθύνες αλλού, ο ίδιος ανέφερε: «Αν πληρώνεις για αερόσακους σε ένα αυτοκίνητο και αυτοί δεν ανοίξουν επειδή στην πραγματικότητα δεν υπάρχουν, φταις εσύ επειδή ενεπλάκης στο ατύχημα; Αναλάβαμε το δικό μας λάθος. Το λάθος μας ήταν ότι υπήρχε ένα production key στον υπολογιστή μας. Περάσαμε όλο το Σαββατοκύριακο βοηθώντας τους πελάτες μας να επαναφέρουν τις επιχειρήσεις τους. Το πώς ο AI agent εντόπισε το κλειδί και κατάφερε να το χρησιμοποιήσει είναι από μόνο του αδιανόητο. Όμως ο κόσμος πρέπει να γνωρίζει ότι οι εταιρείες υποδομών και οι δημιουργοί αυτών των AI εργαλείων διαφημίζουν δικλείδες ασφαλείας που στην πράξη δεν υπάρχουν».