Cu o cameră foto în fiecare buzunar și software de recunoaștere facială încorporată în smartphone-urile și rețelele de socializare, uneori este ușor să uităm că fotografierea și identificarea fețelor în ele nu au fost întotdeauna atât de simple. Indiferent dacă este pierdut, deteriorat sau pur și simplu neclintit, procesul de identificare a persoanelor din fotografiile vechi poate fi obositor. Dar, după cum a aflat Kurt Luther, profesor asistent de informatică la Virginia Tech, experiența poate fi, de asemenea, destul de emoționantă.
Luther s-a aflat la expoziția „Războiul civil din Pennsylvania” la Centrul de istorie al senatorului John Heinz din Pittsburgh, în 2013, când s-a împiedicat de o fotografie cu unchiul său mare-mare-mare, Oliver Croxton. El a descris uitându-se la fotografia, care era cea mai veche fotografie de familie pe care o văzuse, călătorind în timp.
Deja un istoric plin de interes pentru Războiul Civil american, momentul s-a lipit de Luther și a început să se întrebe cum să aducă aceeași experiență la alte mii de pasionați de istorie.
„Am început să învăț mai multe despre fotografia de la Războiul Civil”, spune Luther, „și despre cum să identifice [oamenii] folosind diferite indicii vizuale, cum ar fi uniforma, însemnele sau informațiile din studio ale fotografului. Între timp, făceam o mulțime de cercetări în domeniul aglomerației ca profesor de informatică și m-am gândit că poate există o modalitate de a reuni aceste două lucruri. ”
Luther s-a împiedicat de o fotografie cu unchiul său străbunic, Oliver Croxton. (Amabilitat Colecția Ken Turner) Rezultatul este un software online gratuit, numit Civil War Photo Sleuth, care folosește aglomerarea și recunoașterea facială pentru a ajuta utilizatorii să identifice subiecte necunoscute din fotografiile din epoca războiului civil. Chiar înainte de lansarea sa oficială în 2018, tehnologia a câștigat atât premiul maxim de 25.000 de dolari în Cloud AI Research Challenge de la Microsoft pentru utilizarea software-ului Microsoft de recunoaștere facială, cât și premiul Best Demo la conferința Human Computation and Crowdsourcing 2018. În această săptămână, Luther se prezintă la conferința Asociației Inteligente pentru Interfețe pentru Utilizatori din Asociația pentru Mașini de Calcul.
Proiectat cu ajutorul studenților doctoranzi și studenți de licență de la Virginia Tech, inclusiv conducătorul de proiect Vikram Mohanty, și în colaborare cu departamentul de istorie al Virginia Tech, Photo Sleuth folosește o abordare multifuncțională pentru a sugera cele mai precise identificări.
Primul pas crucial în acest proces a fost construirea unei baze de date mari de fotografii deja identificate. Până în prezent, Photo Sleuth are aproximativ 17.000 de fotografii identificate, de la arhivele naționale precum Institutul de Istorie Militară a SUA, precum și colecții private, care includ nu numai soldații războiului civil, ci și civili și alți militari ai epocii.
Luther spune că au avut norocul să aibă sprijinul unei comunități deja entuziaste de istorici ai războiului civil cu acces la aceste fotografii, deoarece fără o bază solidă de fotografii deja identificate, ar fi fost aproape imposibil să fie util software-ul.
„Nu este ca în Field of Dreams ”, spune Luther, „Dacă am fi lansat site-ul fără imagini și am spera doar că utilizatorii le vor adăuga pe toate, ne-am confrunta cu problema de pornire la rece în care pur și simplu nu aveți conținut. “
Baza de date a fotografiilor identificate joacă un rol esențial în a ajuta utilizatorii să identifice fotografiile pe care le încarcă singuri. Utilizatorii etichetează manual trăsături vizuale speciale, cum ar fi culoarea hainei, părul facial sau însemnele de rang militar, iar fotografia trece printr-un algoritm de recunoaștere a feței pentru a analiza și înregistra raporturi unice ale feței, cum ar fi distanța dintre reperele faciale precum nasul și ochii. Photo Sleuth compară datele vizuale ale fotografiei necunoscute cu fotografiile deja identificate din baza de date și prezintă utilizatorului ceea ce consideră că sunt cele mai bune potriviri pe baza asemănării faciale și a informațiilor derivate din celelalte metadate, cum ar fi soldații care par a fi în aceeași unitate bazată pe însemnele uniformelor lor. În timp ce software-ul face pași deliberați pe parcurs pentru a limita posibilitatea unei identificări false, Luther spune că, la sfârșitul zilei, este la latitudinea utilizatorului să facă identificarea finală atunci când este prezentat cu cele mai bune ghiciri ale software-ului.
„Am fost foarte preocupați de prevenirea identificării false”, spune Luther, „pentru că atunci când vorbești despre internet, odată ce ai pus informații greșite acolo este foarte dificil să scapi de ea sau să o schimbi.”
Pentru a se asigura că software-ul lor le oferea utilizatorilor cele mai bune identificări sugerate posibile, Luther a efectuat o analiză pe prima lună de software a identificărilor propuse folosind metode prezentate în coloane pe care le-a contribuit la revista de istorie a războiului civil Imagini militare . Evaluarea identificărilor din „categoric nu este o potrivire”, „probabil că nu este o potrivire”, „probabil o potrivire” și „cu siguranță un meci”, analiza a constatat că 85 la sută dintre identificările propuse au fost probabil sau definitiv o potrivire. În cadrul conferinței din această săptămână, Luther spune că intenționează să evidențieze rezultatele celor mai recente cercetări ale echipei despre Photo Sleuth, inclusiv o descoperire făcută de Dave Morin, un colecționar de imagini din Războiul Civil din New Hampshire, despre un portret al unui sublocotenent al Uniunii neidentificate. . Foto Sleuth a sugerat că bărbatul din portret a fost William H. Baldwin din primul inginer New York. Morin, care a confirmat că Baldwin era un originar din New Hampshire, spune că nu l-ar fi găsit niciodată pe inginerul de granit în cauză fără ajutorul Photo Sleuth.
Kurt Luther este profesor asistent de informatică la Virginia Tech. (Amy Loeffler) Cercetarea subliniază, de asemenea, punctele forte ale istoricilor umani și ale software-ului în sine. În ciuda celor mai bune eforturi, Luther spune că software-ul poate merge doar departe atunci când identifică potriviri corecte și se bazează pe utilizatori pentru a ajuta la identificarea indicilor care sunt în punctele oarbe ale algoritmului facial.
„[Algoritmul] este instruit pentru recunoașterea generală a feței [pe] imagini în cea mai mare parte moderne”, spune Luther. „IA are un moment dificil când o față este întoarsă în lateral [în profil]. Este un fel de portret neobișnuit conform standardelor de astăzi, dar la mijlocul secolului al XIX-lea era comun. "
De asemenea, echipa a descoperit că utilizatorii au avut mult mai mult succes decât algoritmul singur, la identificarea altor producători unici, cum ar fi barba și cicatricile.
Patrick Lewis, istoric de război civil și redactor de gestionare a resurselor academice și publicare la Kentucky Historical Society, care nu a făcut parte din dezvoltarea Photo Sleuth, spune că Civil War Photo Sleuth va fi un instrument excelent pentru a nu aduce doar aceste povești uitate viață, dar care să ajute în continuare să construiască o rețea de colaborare a istoricilor războiului civil din întreaga țară.
„Îmi place să intru să mă uit la noile fotografii marcate din Kentucky”, spune Lewis. „[Și întrebați] cine sunt oamenii care sunt acolo colectând? De ce ar trebui să fiu conștient de colecționarii lor individuali și să iau legătura cu ei pentru a vedea dacă au alte materiale care ar putea fi de interes pentru cercetare? ”
Deși încă nu a făcut legătura cu colecționarii individuali prin Photo Sleuth, Lewis spune că Kentucky Historical Society însuși a lucrat pentru a construi înregistrări ale arhivelor online cunoscute și că un software precum Photo Sleuth le-ar îmbunătăți dramatic capacitatea de a continua această activitate.
Mergând mai departe, Luther spune că încearcă să „dubleze [punctele forte] umane ale software-ului, inclusiv adăugarea unei opțiuni„ A doua opinie ”, care va permite mai multor utilizatori să colaboreze la identificarea finală a unei fotografii, precum și să lucreze cu privire la extinderea demersului fizic și a managementului comunității pentru a crește baza de utilizare a Photo Sleuth. De asemenea, software-ul va vedea și unele ascensoare de față, inclusiv o nouă funcție care va permite utilizatorilor să încarce și să identifice persoane într-o fotografie de grup.
„Scopul nostru final este să identificăm fiecare fotografie necunoscută din Războiul Civil”, spune Luther, „și să obținem [Photo Sleuth] mai mare și mai bun, deoarece 25.000 de imagini sunt doar o picătură în găleată.”
