Novi AI zabrinuo sve: OpenAI spremio model koji razmišlja u tajnosti?

Novi model kompanije OpenAI, nazvan Astra, koristiće tehniku rezonovanja pod nazivom &quot;recurrent depth&quot; koja mu omogućava da deluje izvan sekvencijalnog razmi&scaron;ljanja koje karakteri&scaron;e većinu modela za rezonovanje, objavio je The Information u utorak. Ova tehnika, nazvana i &quot;opaque recurrence&quot;, najverovatnije će učiniti lanac razmi&scaron;ljanja ovog modela težim za praćenje &ndash; &scaron;to je prilično uznemirilo stručnjake za bezbednost ve&scaron;tačke inteligencije.Iako je upotreba ove tehnike u modelu Astra navodno ograničena, njena pojava je ipak izazvala značajnu zabrinutost među stručnjacima za bezbednost AI-ja.&quot;Izuzetno sam zabrinut zbog izve&scaron;taja da Astra koristi nevidljivo ponavljanje&quot;, napisao je direktor kompanije Redwood Bak &Scaron;legeris, u objavi nakon &scaron;to je vest odjeknula. &quot;Ne znam da li je Astra znatno teža za praćenje lanca razmi&scaron;ljanja od prethodnih modela. Ali ako OpenAI bude dalje razvijao ovu tehniku, imaće opciju da masovno poveća rekurenciju i u potpunosti uni&scaron;ti mogućnost praćenja lanca razmi&scaron;ljanja&quot;.I am extremely concerned by the reporting that Astra uses opaque recurrence. I don&rsquo;t know whether Astra is much less CoT monitorable than previous models. But if OpenAI pushes this technique further, they&rsquo;ll have the option to massively increase the recurrence and totally&hellip;&mdash; Buck Shlegeris (@bshlgrs) September 2, 2026Dugogodi&scaron;nji zagovornik bezbednosti AI-ja Zvi Mov&scaron;ovic takođe se oglasio i napisao da bi zakoni mogli biti neophodni kako bi se sprečila &quot;trka ka dnu&quot; među laboratorijama za ve&scaron;tačku inteligenciju.&quot;Ova tehnika je igranje sa vatrom i rizikuje da naru&scaron;i tabu oko čijeg su se uspostavljanja OpenAI i Anthropic borili &ndash; a to je da se trudimo da održimo verodostojnost i mogućnost praćenja lanca razmi&scaron;ljanja &scaron;to je duže moguće&quot;, napisao je Mov&scaron;ovic. &quot;Intenzivnija upotreba takvih tehnika verovatno bi naru&scaron;ila mogućnost praćenja&quot;.U normalnim okolnostima, lanac razmi&scaron;ljanja modela za rezonovanje prikazuje korak-po-korak sekvencu koju model preduzima dok poku&scaron;ava da re&scaron;i problem. Iako je taj prikaz nesavr&scaron;en, i dalje služi kao dragocen alat za nadgledanje lo&scaron;eg pona&scaron;anja ili neusklađenosti. U slučaju nedavnih aktivnosti odmetnutih agenata kompanije OpenAI, zapisi lanca razmi&scaron;ljanja bili su važan alat za otkrivanje razloga za&scaron;to su se agenti pona&scaron;ali na određeni način.Kod &quot;opaque recurrence&quot; tehnike, model zauzima manje linearan pristup, obrađujući isti upit vi&scaron;e puta u petlji. Rezultat ostavlja manje čitljivih tragova, čime se praktično zaobilazi konvencionalni zapis lanca razmi&scaron;ljanja.&Scaron;to je najvažnije, čini se da je upotreba ove tehnike u modelu Astra ograničena. I dalje se očekuje da lanac razmi&scaron;ljanja ovog modela bude čitljiv, a kompanija je odbacila svaku sugestiju da prelazi na interni, ljudima nerazumljiv jezik neuronskih mreža. OpenAI je već najavio planove za obimne sisteme nadzora lanca razmi&scaron;ljanja kao deo svojih budućih bezbednosnih planova.U objavi na mreži X, glavni naučnik kompanije OpenAI Jakub Pahocki naglasio je posvećenost laboratorije čitljivim lancima razmi&scaron;ljanja. &quot;OpenAI radi na očuvanju i kori&scaron;ćenju nadzora lanca razmi&scaron;ljanja jo&scaron; od na&scaron;ih prvih modela za rezonovanje&quot;, napisao je Pahocki. &quot;To je ključni cilj na&scaron;eg trenutnog istraživačkog programa&quot;.I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the computation graph for our present frontier models, including Astra, is within a factor of two of GPT-4.OpenAI has worked to preserve and utilize chain-of-thought monitoring since&hellip;&mdash; Jakub Pachocki (@merettm) September 2, 2026Svi AI modeli u određenoj meri vr&scaron;e &quot;nevidljivo&quot; rezonovanje, i malo koji istraživač posmatra logove lanca razmi&scaron;ljanja kao direktan prikaz rezonovanja modela. Ipak, te ograde ne otklanjaju zabrinutost da bi nevidljivo ponavljanje moglo da učini rezonovanje ve&scaron;tačke inteligencije težim za nadgledanje, posebno kako se njena upotreba bude &scaron;irila kroz različite modele. U narednom izve&scaron;taju u sredu ujutru, The Information je objavio da su i Anthropic i Google DeepMind već razmatrali ovu tehniku.U objavi kojom je odgovorio na vesti, glavni naučnik kompanije Redwood Research Rajan Grinblat rekao je da bi se nevidljivo rezonovanje moglo lako skalirati brže od konvencionalnog rezonovanja putem lanca razmi&scaron;ljanja, čime bi se rezonovanje praktično u potpunosti uklonilo iz vidljivih kanala.OpenAI&#39;s newest AI, Astra, is reported to use an &#39;opaque reasoning&#39; architecture where more of the reasoning occurs in activations instead of natural language. This may be the single worst development for AI security/safety to date.The details of Astra aren&#39;t publicly known,&hellip; https://t.co/gGalUe06kE&mdash; Ryan Greenblatt (@RyanGreenblatt) September 2, 2026&quot;Moja najveća zabrinutost je to &scaron;to bi prirodni nastavak ovog procesa uključivao povećanje nevidljivog rezonovanja do tačke u kojoj model rezonuje u potpunosti ili gotovo u potpunosti u latentnom prostoru&quot;, napisao je Grinblat. &quot;Nadam se da nije prekasno da izbegnemo arhitekture oje najvi&scaron;e zabrinjavaju i da će se OpenAI zaustaviti ovde&quot;.

Novi AI zabrinuo sve: OpenAI spremio model koji razmišlja u tajnosti?

0 Komentari

Najnovije

Požar guta Suvu planinu: Ruski "Iljušin" stigao u pomoć

Obradović reagovao – PAO otkazao utakmicu

uživo Zvezda vodi!

Tramp gubi strpljenje: Postavio ultimatum

Zaplenjen "Profesor Molčanov"; Norveška odlučila ipak da pomogne

Novi AI zabrinuo sve: OpenAI spremio model koji razmišlja u tajnosti?

0 Komentari

B92 na društvenim mrežama

Najnovije

Požar guta Suvu planinu: Ruski "Iljušin" stigao u pomoć

Obradović reagovao – PAO otkazao utakmicu

uživo Zvezda vodi!

Tramp gubi strpljenje: Postavio ultimatum

Zaplenjen "Profesor Molčanov"; Norveška odlučila ipak da pomogne