di Tom Athanasiou
tratto da Bad Attitude

Automatizzando l'esercito

Il 28 ottobre 1983, la Darpa (Defense advanced research projects agency) [Agenzia per i progetti di ricerca militare avanzata; N.d.T.] presenta la Strategic Computing Initiative (d'ora in poi Sci), lanciando un programma quinquennale da seicento milioni di dollari per imbrigliare l'Ia a scopi militari. Gli scopi immediati del programma sono "carri armati autonomi" (robot assassini) per l'esercito, un "pilota associato" per l'aviazione e "sistemi intelligenti di amministrazione del combattimento" per la marina. Se tutto andrà come da programma, questi strumenti saranno costruiti con la nuova tecnologia all'arseniuro di gallio che, a differenza del silicio, resiste alle radiazioni. Ottimi per condurre una guerra nucleare di lunga durata, mio caro.
E queste sono solo tre cime di un iceberg che si va espandendo. L'intelligenza meccanica, se mai funzionerà, permetterebbe ai militari di passare a sistemi autonomi e semi-autonomi, capaci di amministrare la velocità e la complessità sempre crescente della guerra "moderna". "Defense Electronics" ha recentemente citato David Kahn, direttore per le tecnologie di processo delle informazioni alla Darpa, il quale ha sostenuto che "fra cinque anni vedremo le forze armate richiedere a gran voce intelligenza artificiale."
In cima alla lista dei programmi militari destinati a beneficiare dall'Sci c'è il sistema, proposto da Reagan, di "Guerre stellari", un apparato di "difesa" di missili balistici che richiederebbe satelliti militari virtualmente autonomi altamente automatizzati, in grado di reagire con rapidità sufficiente a distruggere i missili sovietici durante la fase d'ascesa, prima del lancio delle testate multiple. Un sistema simile sarebbe equivalente a un lancio automatico in caso d'allarme; il suo uso costituirebbe atto di guerra.
E i militari sarebbero tanto stupidi da affidare a un computer il controllo? Riflettiamo su questo estratto dalla minuta di una seduta congressuale sul programma Guerre stellari, citato dal "Los Angeles Times" del 26 aprile 1984:

"Qualcuno ha detto al presidente che si trova al di fuori del processo

decisionale?" ha domandato il senatore Paul Tsongas.

"Di certo, non io." ha detto Kenworth (consigliere scientifico di

Reagan)

A quel punto, Tsongas esplode: "Forse dovremmo candidare R2-D2 [il robot

del film "Guerre Stellari"; N.d.T.] come presidente per il 1990.

Almeno sarebbe collegato tutto il tempo."

Il senatore Joseph Biden insisteva sull'argomento di possibili errori che

avrebbero potuto provocare i russi a scatenare un vero attacco. "Supponiamo che

il presidente stesso commetta un errore...," disse.

"Perché?" interrompe Cooper (capo della Darpa). "Possiamo avere la

tecnologia per non fargli commettere un errore del genere."

"Ok," dice Biden. "Mi ha convinto. Mi ha convinto che non la desidero alla

guida di questo programma."

Ma il suo rimpiazzo, se Cooper avesse perso la carica, sarebbe stato più che probabilmente un seguace della stessa religione. Credere nella perfettibilità della macchina intelligente è un articolo di fede comune nell'Ia. Non si tratta del realismo cocciuto di militari seri, costretti a mezzi estremi dalla dura realtà. Si tratta piuttosto della pericolosa fantasia di potenti sopraffatti dalle loro stesse mitologie, mitologie che crescono rigogliose dalla retorica super-arroventata della cultura dell'Ia.
Quella militare è una burocrazia come ogni altra, quindi non è sorprendente scoprire che i suoi planner di più alto livello soffrono della stessa ideologia ingegneristica di perfettibilità tecnica comune alla loro controparte civile. Allo stesso modo, possiamo attenderci resistenze nei confronti dell'automazione Ia da parte dei quadri intermedi militari. Se ne vedono già i primi segni. Gary Martins, specialista militare Ia, da un'intervista su "Defense Electronic" (gen.'83): "Macchine che sembrano minacciare l'autonomia e l'integrità dei comandanti non possono attendersi una facile accettazione; sarebbe disastroso introdurle d'ufficio. Dovremmo studiare come progettare sistemi di management militari che rafforzino, invece di minarla,lo status e la funzionalità dei propri utenti di medio livello."
Un'aspetto notevole di certe "interfacce utente": ogni volta che il sistema si riferisce alla propria base di conoscenze usa l'espressione "Mi hai insegnato che.." per avvertire l'operatore. Questo dispositivo è stato sviluppato per il sistema MYCIN, esperto in malattie infettive, per superare le resistenze da parte dei medici. Riappare inalterato in un sistema progettato per la gestione dei combattimenti tra corazzati in Europa. Un ottimo esempio di ciò che Harold Laski aveva in mente quando notò che "nella guerra moderna la fabbrica progettista è un'unità dell'esercito, e l'operaio può ritrovarsi in divisa senza neanche esserne consapevole."
Tecnologie inaffidabili e surdimensionate nel progetto, possono portare a seri problemi socio-economici se usate per i processi industriali. Ma queste tecnologie "barocche", integrate all'interno di sistemi di combattimento nucleare, risulterebbero assurdamente pericolose. Per questa ragione, i Computer professionals for social responsability [Professionisti informatici per la responsabilità sociale, N.d.T.] hanno rimarcato "i limiti d'affidabilità propri dei computer" nei loro attacchi alla Sci. Gli autori di "Strategic Computing, an assessment" sostengono che "per quanto riguarda le loro limitazioni di fondo, i sistemi d'intelligenza artificiale non sono diversi da altri sistemi informatici...La speranza che l'Ia riesca a fronteggiare l'incertezza è comprensibile, visto che non c'è dubbio sia più flessibile dei sistemi informatici tradizionali. E' comprensibile, ma è errata."
Sfortunatamente, tutti i segnali indicano che, data la sempre maggiore rapidità della guerra moderna, l'interazione tra le competizioni tecnologica e burocratica e la penetrazione dell'ideologia ingegneristica nei ranghi militari, possiamo attenderci una sempre maggior dipendenza del Pentagono dall'alta tecnologia, compresa l'intelligenza artificiale, quale "moltiplicatrice di forza e intelligenza." Il sistema di guida per missili da crociera TERCOM, per esempio, è basato direttamente sulle tecniche Ia di riconoscimento di modelli. Il risultato finale sarà un amalgama sensibilissimo, incredibilmente complesso e scarsamente testato di tecnologia informatica super pubblicizzata e arsenali termonucleari da olocausto globale. Sfortunatamente, le testate nucleari, a differenza dei sistemi all'interno dei quali saranno installate, funzioneranno sicuramente.
E l'intero programma militare di Ia è solo un sottocomparto di una spinta veramente massiccia verso l'informatica militare di tutti i tipi: uno studio del Congressional office of technology assessment ha accertato che nel 1983 il ministero della difesa ha rappresentato il 69 percento delle ricerche di base in ingegneria elettrica e il 54,8 percento della ricerca informatica. Il dominio del ministero era ancor più ampio nella ricerca applicata, per la quale finanziava il 90,5 percento di tutte le ricerche in ingegneria elettrica e l'86,7 percento di quella informatica.

Razionalizzazioni difensive

Ci sono molti liberali, anche di sinistra, nella comunità dell'Ia che si sono ribellati contro l'Sci. Perché? In parte, senz'altro per la Grande Menzogna della "difesa nazionale", ma vengono fornite anche altre ragioni:

Molti tra loro non credono che questa roba funzionerà.

Alcuni farebbero solo ricerca di base, che "sia utile anche per i civili."

Molti credono che i militari otterranno lo stesso qualasiasi cosa vogliano.

La maggioranza ha bisogno di lavorare.

La prima sembra strana per l'Ia, ma forse sono ingenuo. Consideriamo, però, la seconda. Bob Wilinsky, professore all'Università della California di Berkeley: "I soldi del ministero della difesa vengono in gusti diversi. Io ho dei fondi 6.1...pura ricerca. Arrivano fino al 6.13, che significa una commessa per bombe. Ora lo Strategic computing è listato come attività 6.2 (ricerca applicata), ma finirà che ci saranno persone nel mondo degli affari che diranno 'Ok, robot assassini, che ce ne frega,' e ci saranno altre persone nel ramo che dicono 'Ok, voglio fare una macchina Lisp che vada cento volte più veloce di quelle che abbiamo adesso. Non ne facciamo una speciale solo per i carri armati o roba del genere.' Così il lavoro tende a dividersi."
In realtà sembrerebbe più uno sforzo cooperativo. Gli scienziati liberali mettono il confine alla ricerca di base; non lavorano su carri armati, ma sono disposti ad aiutare per procurare quel che il fisico antimilitarista Bruno Vitale chiama "un ricco menu tecnologico", menu che viene immediatamente setacciato dagli uomini di ferro al Pentagono.
Gli scienziati antimilitaristi non hanno molta scelta. Possono limitarsi alla ricerca di base e anche cullarsi nell'illusione di non contribuire più alla macchina bellica. O possono aggrapparsi a quelle poche applicazioni socialmente utili: medicina assistita dall'Ia, ricerca astronautica, ecc. Qualsiasi cosa scelgano, non sfuggono alla ragnatela che lega gli scienziati ai militari. Il destino militare del programma Shuttle lo dimostra ampiamente. In un momento nel quale i militari sono arrivati a controllare così tanta parte delle risorse della società civile, l'unica maniera di sganciarsi, per un ricercatore, è abbandonare completamente il clero scientifico, e non è decisione facile.
Ma supponiamo, per amor di discussione, di non doverci preoccupare del militarismo, o della disoccupazione, o dell'automazione industriale. Saremmo liberi allora di tornare al nostro delirio tecnologico?
Sfortunatamente, c'è un altro problema che trova quasi nell'Ia la sua miglior metafora. Pensiamo alle immagini che evoca, allo sfuocarsi del confine tra macchina e umanità dal quale l'Ia deriva il suo potere evocativo. Pensiamo a noi stessi come macchine. O meglio, pensiamo alla società come macchina-fissa, rigida, programmata. Il problema è la burocrazia, la società programmata, lo stato computerizzato, "1984".
Naturalmente, non tutti sono preoccupati. La distopia di "1984" è bilanciata, nella mente della gente, dall'utopia di computer flessibili, decentrati e, ora, intelligenti. L'opinione non verificata che i PC porteranno automaticamente alla "democrazia elettronica" è così comune che è difficile attraversare la strada senza calpestarla. E la maggioranza degli scienziati informatici tendono a pensarla così, almeno in linea di principio. Bob Wilinsky, per esempio, crede che il vecchio incubo dello stato computerizzato sia radicato nella tecnologia arcaica, e che "man mano che i calcolatori divengono più intelligenti saremo in grado di avere una burocrazia più flessibile invece di una più rigida... "
"Utopici" può non essere il termine giusto per questi atteggiamenti. Gli utopisti avevano buone intenzioni ed erano generalmente impotenti; i portavoce del progresso, no. Scienziati come Wilinsky sono ben finanziati e citati spesso, e se l'Era dell'informazione ha un lato oscuro, è loro particolare responsabilità esporlo. E' attraverso loro che incontriamo queste nuove macchine, e le storie che scelgono di raccontarci coloreranno profondamento le nostre visioni del futuro. Il loro ottimismo è fin troppo conveniente; abbiamo diritto di pretendere un esame più accurato.

La società delle macchine

Immaginatevi in banca, frustrati, di fronte a una qualche regola o procedura. Una volta vi venga detto che "il computer non può farlo", probabilmente vi arrendereste. Quel che è successo è un cambiamento nel senso di chi sia responsabile per la procedura, per le decisioni, via da una persona o gruppo di persone che sono realmente responsabili in senso sociale e verso un oggetto inanimato nel quale sono state incarnate le loro decisioni. O come ha detto Emerson "le cose stanno in sella e cavalcano gli uomini."
Consideriamo adesso la burocrazia del futuro, nella quale i codici sono stati rimpiazzati da un sistema informatico integrato, uno al quale sia stato dato linguaggio. Terry Winograd, ricercatore di Ia cita da una lettera che ha ricevuto:
"Dal mio punto di vista, l'elaborazione del linguaggio naturale non è etica, per una ragione principale. Gioca sulla posizione centrale che il linguaggio detiene nel comportamento umano. Suggerisco che il profondo coinvolgimento di certe persone con l'ELIZA (un programma che imita un terapista Rogeriano) [vedi anche Levy, S. Hackers, ShaKe Edizioni, Milano 1996; N.d.T.] sia dovuto all'intensità con la quale la maggioranza delle persone reagisce al linguaggio in qualsiasi forma. Quando una persona riceve un'espressione linguistica in qualunque forma, reagisce come un cane agli odori. Siamo creature di linguaggio. Dal momento che è così, la mia sensazione è che lanciare come esca alla gente linee di caratteri, chiaramente intesi da interpretare come simboli, è un falso altrettanto grave quanto lo sarebbe il tentativo di vendermi della proprietà per la quale abbia falso titolo legale. In entrambi i casi c'è un tentativo d'incoraggiare qualcuno a credere che un qualcosa sia diverso da quel che in realtà è, e solo uno dei due nell'interazione è cosciente dell'inganno. Anzi per dirla in termini ancora più chiari: dal mio punto di vista, incoraggiare la gente a considerare righe di simboli generati da una macchina quali espressioni linguistiche, è criminale e dovrebbe essere trattato come attività criminosa."
La minaccia dello stato computerizzato viene vista normalmente quale minaccia all'individuo. Vista così, la minaccia è reale, ma resta gestibile. Ma la lettera di Winograd descrive un'immagine più profonda della minaccia. Non pensiamo alla vulnerabilità degli individui, ma invece a un passaggio definitivo del potere sociale dagli individui alle istituzioni. Il passaggio è iniziato molto tempo fa, con l'ascesa della gerarchia e della classe sociale. E' stato formalizzato con la fondazione dello stato capitalistico burocratico, e ora possiamo immaginare la sua apoteosi. La burocrazia è sempre stata vista come una società meccanica; presto la macchina potrebbe trovare la propria voce.
Siamo affascinati dall'intelligenza artificiale perché, come l'ingegneria genetica, è davvero una scienza prometeica. Come tale, rivela il lato mitico della scienza. Ed il mito, nella sua esplicitazione, rivela le atroci condizioni in cui versa l'istituzione della scienza. Mostrando svergognatamente le proprie pretese, l'intellighentsia artificiale scopre anche un'ingenuità interessata e un imbarazzante coinvolgimento col potere.
In superficie, il mito dell'Ia è basato sulla gioia della creazione, ma una lettura più approfondita la costringe ai margini. Il mito emerge finalmente quale uno di dominazione, nel quale ci svegliamo per scoprire che i nostri magnifici strumenti ci hanno costruito una "gabbia di ferro" e che siamo intrappolati.
La scienza è un'impresa difettosa. Ci ha donato immensi poteri sul mondo fisico, ma è ugualmente servile davanti al potere. Non desiderando alcun limite alla propria libertà di sognare, si ammanta di mito e ideologia, e ci consiglia di usare i suoi poteri inconsciamente. Non ci ha portato saggezza.
O forse la condizione della scienza riflette puramente la condizione dell'umanità. La chiusura mentale, l'arroganza, il servilismo di fronte al potere, sono tutte caratteristiche degli esseri umani, non delle macchine. E la scienza, dopo tutto, è solo uno strumento.
Molte persone, quando incontrano l'intelligenza artificiale, restano offese. Vedono il suo scopo come un insulto alla dignità umana, una dignità che percepiscono legata all'unicità umana. Difatti, l'intelligenza si trova in tutta la natura e non ci appartiene unicamente. Forse qualche giorno, se ci saremo ancora, scopriremo che può emergere tanto dai semiconduttori quanto dagli aminoacidi. Nel frattempo, faremmo meglio a cercare dignità da qualche altra parte. Riappropriarsi dei nostri strumenti e delle istituzioni che li formano, è un buon posto dal quale partire.