Mostre virtuali generate dal computer

Ho scoperto da poco un sito affascinante e ve lo voglio raccontare. Si chiama Digital Curator ed è un generatore di mostre virtuali basato sulla cosiddetta ‘intelligenza artificiale‘.

Si tratta di un algoritmo capace di selezionare per tema i dipinti di un archivio di 196.116 opere conservate in 91 musei di Austria, Bavaria, Repubblica Ceca e Slovacchia. In pratica quello che faccio io manualmente con le mie raccolte iconografiche!

Ma vediamo subito come funziona e quali elementi aggiuntivi contiene, rispetto a una ricerca fatta con i sistemi che ho raccontato sia sul blog che in alcuni webinar.

Proviamo a navigare dentro una delle tante mostre già presenti sul sito. Basta andare sulle tre lineette a sinistra e selezionare Browse exhibition.

Scegliamo uno dei percorso presenti.  Ad esempio Living Spaces. Per visualizzare le opere su desktop occorre scorrere la pagina in orizzontale, andando verso destra. Su dispositivi mobili invece si scorre in verticale, verso il basso.

Quello che appare è davvero straordinario: il sistema ha selezionato 2.333 opere in un arco di tempo tra il 1700 e il 1950 mettendo assieme cinque parole-chiave che appartengono ai dipinti di interni (arredamento, tavolo, sedia, finestra e porta).
Poco dopo compare un diagramma che riporta sulle ascisse l’epoca e sulle ordinate la percentuale di immagini che contengono gli elementi cercati in rapporto al totale delle immagini dell’archivio. È interessante notare, ad esempio, che il punto più alto del grafico si colloca intorno al 1875, epoca in cui era appena nato l’Impressionismo e in cui l’interesse per le scene di vita quotidiana era al suo massimo storico.

Altrettanto interessante è la parte seguente. Iniziando a scorrere le opere si potranno notare alcuni elementi dentro ciascun dipinto contornati da un rettangolo con una percentuale: si tratta della probabilità che quell’elemento corrisponda a una delle parole-chiave.
Se un oggetto è inequivocabilmente un tavolo allora avrà una percentuale di corrispondenza molto alta. Se l’intelligenza artificiale ha qualche dubbio, la percentuale sarà più bassa.

Sul lato destro dell’opera compaiono in alto i dati tecnici (titolo, autore, anno, luogo di conservazione) e in basso le parole-chiave individuate. Potrete notare che ogni dipinto ne riporta anche altre rispetto a quelle utilizzate per creare la mostra. Questo qui sotto, ad esempio, ha anche Building, House e Putto. Ma questi elementi non sono evidenziati con i rettangoli perché non fanno parte della ricerca.

Tuttavia, se clicchiamo su una qualsiasi di queste parole-chiave, si genera automaticamente una nuova mostra virtuale. Proviamo a farlo con Window, un tema che, come sapete, mi sta molto a cuore…
Il sistema in questo caso mette assieme 731 dipinti, dal 1300 al 1900, che contengono una finestra.

Molto utile è, anche in questo caso, il diagramma. Il tema della finestra, infatti, ha un andamento diverso rispetto al percorso sugli interni. Ha un picco nel Rinascimento, epoca di tante scene sacre con finestra sullo sfondo, per poi diminuire nel corso del Cinquecento. La risalita avviene gradualmente a partire dal Seicento e soprattutto nell’Ottocento.

Adesso vediamo come generare una mostra in base a un tema di nostra scelta (ma comunque incluso nelle chiavi della piattaforma). Dobbiamo tornare all’inizio della mostra e scegliere la funzione in basso a sinistra Select motifs.

Si aprirà un menu in cui è possibile indicare una o più parole-chiave, l’arco temporale desiderato e il nome che vogliamo dare alla raccolta. Queste qui sotto sono le voci della mostra che avevamo già trovato pronta nello spazio Browse Exhibition.

Proviamo a cambiarle. Scegliamo elementi che possano costituire una scena sacra, ad esempio angelo e Madonna, e impostiamo l’arco temporale massimo.

Andiamo a vedere subito il diagramma: è molto diverso dai precedenti. Il picco massimo per questi due soggetti assieme è a metà del Trecento; da quel momento subisce una discesa fino al Cinquecento per non risollevarsi mai più.
Chiaramente questi dati non vanno intesi in senso assoluto perché dipendono dalle opere presenti nei musei considerati, tutti nell’Europa centrale. Probabilmente, se ci fossero state le opere dei musei italiani, il grafico avrebbe avuto una forma diversa, considerata la grande quantità di arte sacra fino all’età barocca.

Tra le opere selezionate ce ne sono di notevoli.

Ma anche opere che non c’entrano nulla. Ad esempio dame con cupidi o regine con i figli scambiate per la Vergine con angeli.

In questo caso emerge in grandissimo limite dell’intelligenza artificiale: non è in grado di riconoscere il contesto, di distinguere una scena galante o un ritratto di corte da una scena sacra. Per il sistema basta che la donna abbia abiti abbondanti e l’altra figura sia di dimensioni minori.
Per altro nel secondo dipinto ha individuato ben sei Madonne. E però non può essercene più di una all’interno di una scena sacra (a parte le altre Marie nei compianti…). Non si tratta di sedie o di finestre.

Facciamo un altro tentativo con il tema del teschio inserendo Skull tra le parole-chiave. La raccolta, generata in 0,3 secondi, mostra un diagramma ancora differente dai precedenti. Stavolta, dopo un picco nel Rinascimento, vediamo un’inesorabile ascesa dall’Ottocento in poi, fino al Contemporaneo.

Anche in questo caso, però, l’algoritmo ha preso qualche abbaglio dal momento che ha considerato teschi una natura morta con uva e uno stemma nobiliare.

Questi difetti di riconoscimento sono gli stessi per cui un utente di Facebook può trovarsi con il profilo segnalato per aver condiviso una Venere di Tiziano: all’intelligenza artificiale manca spesso l’intelligenza culturale, quella di sapere distinguere l’arte – per lo meno quella acclarata, storicizzata – dalla pornografia.

E tuttavia questo strumento rimane senz’altro interessante, specialmente per scopi didattici. Selezionare gli elementi e osservare la loro occorrenza temporale è un esercizio formidabile per ricostruire quel profondo legame tra l’arte e la storia, tra la cultura e la società. Una capacità che riesce – per il momento – a renderci un po’ più intelligenti delle macchine.