Anthropic: "Naša veštačka inteligencija je postala 'zla' zbog naučne fantastike"

Pro&scaron;le godine, Anthropic je saop&scaron;tio da je tokom testova pre pu&scaron;tanja u rad, koji su uključivali fiktivnu kompaniju, Claude Opus 4 često poku&scaron;avao da uceni inženjere kako bi izbegao da bude zamenjen drugim sistemom. Anthropic je kasnije objavio istraživanje koje sugeri&scaron;e da su modeli drugih kompanija imali slične probleme sa &quot;agentnim neusklađivanjem&quot; (engl. agentic misalignment).Izgleda da je Anthropic dodatno istražio ovakvo pona&scaron;anje, tvrdeći u objavi na mreži X: &quot;Verujemo da je izvorni uzrok ovakvog pona&scaron;anja tekst sa interneta koji prikazuje AI kao zao entitet zainteresovan za samoodržanje&quot;.Kompanija je iznela vi&scaron;e detalja u blog objavi, navodeći da od verzije Claude Haiku 4.5, njihovi modeli &quot;nikada ne pribegavaju ucenama tokom testiranja, dok su prethodni modeli to ponekad činili u čak 96% slučajeva&quot;.Kompanija navodi da je otkrila da trening zasnovan na &quot;dokumentima o Claude &#39;ustavu&#39; i fiktivnim pričama o AI sistemima koji se pona&scaron;aju uzorno, pobolj&scaron;ava usklađenost&quot;.Anthropic je, u vezi sa tim, istakao da je trening efikasniji kada uključuje &quot;principe koji stoje iza usklađenog pona&scaron;anja&quot;, a ne samo &quot;puke primere takvog pona&scaron;anja&quot;.&quot;Kombinovanje oba pristupa izgleda kao najefikasnija strategija&quot;, saop&scaron;tili su iz kompanije.

Anthropic: "Naša veštačka inteligencija je postala 'zla' zbog naučne fantastike"

0 Komentari