În urmă cu câteva săptămâni, am fost într-un centru comercial când am observat o femeie care purta o geantă grozavă cu o curea asemănătoare cu frânghie. Întrucât sunt pe piață pentru un nou tote, am avut în vedere să o întreb de unde a primit-o. Dar înainte să pot face mișcare, ea a dispărut după un colț. Când am ajuns acasă, am încercat Googling punga. Dar nu sunt fashionista și am constatat că nu am vocabularul pentru a descrie ceea ce am văzut. „Geantă din piele cu curea de tragere” nu era corectă. Nici „poșeta cu mâner cu frânghie” și nici „geanta cu curea cu cordon”. În cele din urmă, am renunțat.
Acum, o nouă tehnologie își propune să ajute oamenii să caute lucruri pe care nu le pot descrie neapărat în cuvinte.
James Hays, un om de informatică al Institutului de Tehnologie din Georgia, a creat un program de calculator capabil să asorteze imagini desenate manual cu fotografii. În cele din urmă, acest lucru ar putea duce la un program care poate pieptana serviciile de căutare a imaginilor pe internet, cum ar fi Google Images, și poate găsi fotografii care se potrivesc cu exactitate cu desenele utilizatorilor.
„Scopul este de a putea relaționa sau potrivi fotografii și schițe în orice direcție, la fel ca un om poate”, spune Hays. „Un om poate vedea o schiță prost desenată și își poate da seama cu ce fotografie pare să se potrivească. Vrem să avem aceeași capacitate din punct de vedere computerizat. ”
Pentru a crea programul, Hays a angajat aproape 700 de lucrători de la Amazon Mechanical Turk, o piață de aglomerare care se potrivește lucrătorilor cu oameni care au nevoie de sarcini. Echipa sa a arătat lucrătorilor fotografii cu obiecte și animale obișnuite, cum ar fi veverițe, ceainice și banane, permițându-le să privească imaginea timp de două secunde. Muncitorul ar trage apoi obiectul din memorie. În cele din urmă, echipa a strâns peste 75.000 de schițe cu 12.500 de obiecte. Au numit aceasta „baza de date Sketchy”.
Programul a analizat apoi schițele și le-a asortat cu fotografia cu care seamănă cel mai mult. Tehnologia a identificat fotografia corectă, 37% din timp. Spre deosebire de oameni, au fost corecte aproximativ 54 la sută din timp. Deși 37 la sută poate să nu pară impresionant, este de fapt un salt pentru calculatoare.
„Oamenii sunt atât de uimitori de bine în viziune, recunoaștem imaginile fără efort”, spune Hays. „Este de fapt surprinzător de dificil din punct de vedere computerizat.”
Una dintre principalele provocări în îmbunătățirea programului este aceea că majoritatea oamenilor sunt artiști destul de răi. În timp ce Hays și echipa sa au scris într-o lucrare despre acest subiect, „Formele și scalele sunt denaturate. Părțile obiectului sunt caricaturizate (urechi mari pe un elefant), antropomorfizate (gura zâmbitoare pe un păianjen) sau simplificate (membre ale figurii de băț). "
Din punct de vedere istoric, cercetarea în ceea ce privește obținerea calculatoarelor pentru a recunoaște schițele s-a concentrat pe lucruri precum distribuția liniilor într-un desen, direcția în care intră liniile sau unde se află limitele desenului. Dar, deoarece oamenii atrag doar ceea ce este important pentru oameni (ochii, de exemplu, sunt întotdeauna incluși în schițe, chiar dacă sunt relativ mici), este important ca un computer să „învețe” cum schițele tind să fie similare și cum tind fii diferit de fotografii. Pentru aceasta, programul folosește două rețele separate, una care evaluează schițele, una care evaluează fotografiile. Prin analiza constantă a unui set de date mare, programul poate „învăța” în mod continuu.
Hays și echipa sa intenționează să continue îmbunătățirea programului prin adăugarea de date. Progresele învățării pe calculator ar trebui, de asemenea, să contribuie la îmbunătățirea ratelor de potrivire. În prezent, programul are o rată de potrivire destul de mare atunci când compară schițele cu bazele de date cu fotografii de pe internet, inclusiv Flickr, deși este dificil de cuantificat, spune Hays.
Pe lângă căutarea de imagini a genților de care am atât de mult nevoie, programul are o serie de utilizări potențiale mai puțin frivole. Poliția ar putea scana schițele suspecte și le poate compara cu o bază de date cu fotografii criminale. Programul ar putea fi folosit de oameni care vorbesc și scriu în orice limbă sau nu pot scrie deloc.
„Un obiectiv al înțelegerii schițelor este că sunt un limbaj oarecum universal”, spune Hays. „Nu este legat de o anumită limbă scrisă și nici măcar nu este legat de alfabetizare. [Un program ca acesta poate aduce] acces la informații fără limbaj scris. "
Programul ar putea fi folosit și artistic, pentru a crea scene fotorealiste din schițe. Întotdeauna îți închipui că trăiești într-un castel pe lună? Desenați-l, iar programul ar putea într-o bună zi să creeze o imagine foto pentru dvs. prin îmbinarea pieselor din alte imagini.
Informațiile adunate de Hays și echipa sa ar putea ajuta, de asemenea, să abordeze unele probleme de neuroștiință și psihologie, spune Hays.
„Aceste perechi de schițe-fotografii spun ceva despre percepția umană, despre ceea ce credem că este deosebit, ce părți ale imaginilor ne captează atenția”, spune Hays. „În unele moduri, această bază de date codează destul de bine acest lucru. S-ar putea să fie ceva înlăturat din asta, dacă vrei să spui ceva despre oamenii înșiși. ”
