Apple je napravio alatku za AI slike
Istraživači kompanije Apple objavili su novi model koji korisnicima omogućava da jednostavnim jezikom opišu šta žele da promene na fotografiji bez dodirivanja softvera za uređivanje fotografija.
Model MGIE, na kojem je Apple radio sa Kalifornijskim univerzitetom u Santa Barbari, može da izrezuje, menja veličinu, okreće i dodaje filtere slikama kroz tekstualne upite.
MGIE, što je skraćenica od MLLM-Guided Image Editing, može se primeniti na jednostavne i složenije zadatke uređivanja slika kao što je modifikacija određenih objekata na fotografiji kako bi oni imali drugačiji oblik ili postali svetliji. Model kombinuje dve različite upotrebe multimodalnih jezičkih modela. Prvo, uči kako da tumači korisnička uputstva. Zatim „zamišlja“ kako bi uređivanje izgledalo (na primer, traženje plavijeg neba na fotografiji postaje povećanje osvetljenosti dela neba na slici).
Kada uređuju fotografiju pomoću MGIE, korisnici samo moraju da otkucaju šta žele da promene na slici. U radu je korišćen primer montaže slike feferone pice. Upisivanjem upita „učinite ga zdravijim“ dodajete prelive od povrća. Fotografija tigrova u Sahari izgleda mračno, ali nakon što je modelu rekao da „doda više kontrasta da bi simulirao više svetlosti“, slika izgleda svetlija.
„Umesto kratkih, ali dvosmislenih uputstava, MGIE izvodi eksplicitnu vizuelnu nameru i vodi do razumnog uređivanja slike. Sprovodimo opsežna istraživanja iz različitih aspekata uređivanja i demonstriramo da naš MGIE efikasno poboljšava performanse uz održavanje konkurentske efikasnosti. Takođe verujemo da okvir vođen MLLM može da doprinese budućim istraživanjima vizije i jezika“, rekli su istraživači u radu.
Apple je učinio MGIE dostupnim preko GitHub-a za preuzimanje, ali je takođe objavio veb demo na Hugging Face Spaces. Kompanija nije rekla šta su njeni planovi za model van istraživanja.
Neke platforme za generisanje slika, poput OpenAI-jevog DALL-E 3, mogu da obavljaju jednostavne zadatke uređivanja fotografija na slikama koje kreiraju putem unosa teksta. Kreator Photoshop-a Adobe, kojem se većina ljudi obraća za uređivanje slika, takođe ima svoj model za uređivanje AI. Njegov Firefly AI model pokreće generativno popunjavanje, koje dodaje generisanu pozadinu fotografijama.
Apple nije bio veliki igrač u generativnom AI prostoru, za razliku od Microsofta, Mete ili Google, ali izvršni direktor Apple Tim Cook je rekao da kompanija želi da doda više AI funkcija svojim uređajima ove godine. Apple-ovi istraživači su u decembru objavili okvir za mašinsko učenje otvorenog koda pod nazivom MLKS kako bi olakšali obuku AI modela na Apple Silicon čipovima.
Izvor: TheVerge
