♦ Tehnologia Promptfoo, utilizată deja de peste 25% din companiile Fortune 500, va fi integrată direct în platforma enterprise OpenAI. ♦ Mişcarea vizează identificarea şi remedierea vulnerabilităţilor din sistemele AI, precum injecţiile de prompturi şi scurgerile de date. ♦ Achiziţia va adăuga funcţionalităţi native de testare automatizată a securităţii şi guvernanţă în procesul de dezvoltare a agenţilor AI.
OpenAI a anunţat achiziţia Promptfoo, o platformă de securitate AI care ajută companiile să identifice şi să remedieze vulnerabilităţile din sistemele bazate pe inteligenţă artificială în timpul procesului de dezvoltare. Odată cu finalizarea tranzacţiei, compania va integra tehnologia Promptfoo direct în OpenAI Frontier, platforma sa dedicată construirii şi operării asistenţilor digitali complecşi (AI coworkers).
„Promptfoo aduce o expertiză inginerească profundă în evaluarea, securizarea şi testarea sistemelor AI la scară enterprise. Munca lor ajută companiile să implementeze aplicaţii AI sigure şi de încredere, şi suntem încântaţi să aducem aceste capacităţi direct în Frontier”, a declarat Srinivas Narayanan, CTO al diviziei de aplicaţii B2B în cadrul OpenAI.
Securitatea ca cerinţă fundamentală
Pe măsură ce companiile implementează agenţi AI în fluxurile reale de lucru, evaluarea, securitatea şi conformitatea devin cerinţe critice. Mediul enterprise are nevoie de metode sistematice pentru a testa comportamentul agenţilor, pentru a detecta riscurile înainte de implementare şi pentru a menţine înregistrări clare care să susţină supravegherea, guvernanţa şi responsabilitatea pe termen lung.
Echipa Promptfoo, condusă de Ian Webster şi Michael D’Angelo, a construit o suită de instrumente în care au încredere peste 25% dintre companiile din topul Fortune 500. Portofoliul lor include, de asemenea, o interfaţă în linie de comandă (CLI) open-source utilizată la scară largă şi o bibliotecă pentru evaluarea şi testarea de securitate (red-teaming) a aplicaţiilor LLM.
„Am fondat Promptfoo deoarece dezvoltatorii aveau nevoie de o modalitate practică pentru a securiza sistemele AI. Pe măsură ce agenţii AI devin tot mai conectaţi la date şi sisteme reale, securizarea şi validarea lor este mai provocatoare şi mai importantă ca niciodată. Alăturarea în echipa OpenAI ne permite să accelerăm această muncă, aducând capacităţi mai puternice de securitate, siguranţă şi guvernanţă echipelor care construiesc sisteme AI pentru lumea reală”, a precizat Ian Webster, cofondator şi CEO, Promptfoo.
OpenAI şi Promptfoo vor continua să dezvolte proiectul open-source, avansând simultan capacităţile enterprise integrate în cadrul Frontier.
Direcţii de dezvoltare în platforma Frontier
OpenAI va construi pe baza mai multor capacităţi esenţiale pentru companiile care dezvoltă agenţi pe Frontier. În primul rând, testarea automatizată a securităţii şi capacităţile de red-teaming vor deveni o parte nativă a platformei, ajutând la remedierea riscurilor precum injecţiile de prompturi, jailbreak-urile, scurgerile de date sau utilizarea abuzivă a instrumentelor.
În al doilea rând, Frontier se va integra cu fluxurile de lucru necesare pentru a identifica şi investiga riscurile într-un stadiu incipient. Nu în ultimul rând, funcţiile integrate de raportare şi trasabilitate vor ajuta organizaţiile să documenteze testele şi să îndeplinească aşteptările de conformitate.
