mercoledì, luglio 11, 2012

The Panzer is back again

Ok, ho aperto anche un altro blog, dopo aver dimenticato questo aperto per anni... ora li tengo tutti e due, anzi ne aprirò un'altro in cui spero di poter raccontare qualche storiella lavorativa... senza essere tracciato troppo... ;-)

venerdì, aprile 27, 2012

Riscoperto il blog

dopo 7 anni ho riscoperto di aver aperto il blog... mi ero scordato e avevo aperto di qui

giovedì, novembre 17, 2005

RETI NEURALI: appunti

Domanda: «Cosa si cerca di fare con le "Reti Neurali"?»
Risposta: Si tenta di riprodurre le attività elaborative cerebrali “copiando” l’architettura del cervello.

Di seguito ci sono alcuni appunti che devono servire da stimolo per approfondire i vari argomenti, per questo motivo la trattazione è volutamente lacunosa.

CARATTERISTICHE FONDAMENTALI DELLE RETI NEURALI ARTIFICIALI

1) elaborazione parallela (analogia biologica)
2) elaborazione distribuita
3) accesso alla memoria per contenuti e non per indirizzi (analogia biologica: "un odore mi ricorda qualche cosa")
4) apprendimento (allenamento)

STRUTTURA DEL MODELLO CONNESSIONISTA

A) proprietà delle celle
B) proprietà della rete (come fatta, # connessioni, # neuroni, peso neuroni)
C) dinamica
D) proprietà apprendimento


A) PROPRIETÀ CELLA

1) la “f” nello schema è chiamata FUNZIONE DI ATTIVAZIONE. Determina il tipo di risposta che il neurone è in grado di emettere, può essere: a gradino, lineare, sigmoide.

funzione a scalino
finzione lineare

sigmoide



Per le unità di input la funzione di attivazione (FdA) è la funzione Identità. Nel caso di reti multistrato la FdA è non lineare. In generale tutti i neuroni utilizzano la stessa FdA, ma questo non è obbligatorio.

2) Wij indica il valore del link. E’ un peso numerico che specifica l’influenza dell’elem. Uj sull’elem. Ui (Wij > 0 rinforzo Wij < 0 inibizione).

3) U0 indica il BIAS (valore soglia) se > BIAS (soglia) allora il neurone si attiva.

4) Ui e Uj sono attivazioni. L’attivazione di una cella va calcolata dalle attivazioni delle celle direttamente connesse. Si = (somma pesata); Ui = f (Si) segue nuova attivazione.





B) B. PROPRIETÀ DELLA RETE


CLASSIFICAZIONE

Esistono vari modi per classificare le RNA:

1) in base al tipo di apprendimento:
• supervisionato
• non supervisionato

2) in base all’architettura

• reti completamente connesse
• reti a più strati con connessione completa tra gli strati
• reti con connessioni miste

1) IN BASE AL TIPO DI APPRENDIMENTO (vedi anche più avanti):

Schema di apprendimento con supervisore
Apprendimento supervisionato


Schema di apprendimento senza supervisore

Apprendimento non supervisionato



2) IN BASE ALL’ARCHITETTURA


a) reti completamente connesse
b) reti a più strati con connessione completa tra gli strati
c) reti con connessioni miste



C. PROPRIETÀ DINAMICHE

• Un modello connessionista deve specificare l’istante quando ogni cella deve computare il proprio valore di attivazione e quando modificare il proprio output.

APPRENDIMENTO

• Nelle reti neurali l’apprendimento consiste nella modifica della forza delle connessioni tra celle elementari che permetta alla rete di eseguire la computazione desiderata.
• Il processo di apprendimento prevede 2 possibili regimi:
con pochi esempi la rete si comporta da memoria, senza ricorrere a nulla;
con molti esempi, la rete è in grado di generalizzare, ossia ricavare una regola che sia applicabile anche a nuovi casi.
• Come detto precedentemente le reti possono essere supervisionate e non supervisionate, ma entrambe le modalità si avvalgono dell’equazione:

Wi,j (t+1) = Wi,j (t) + Wi,j

La differenza sta nel modo in cui è calcolato il termine Wi,j.


Le regole di apprendimento : sono le regole secondo cui si variano i pesi di interconnessione in funzione di determinati parametri dell'attività della rete. Esempi di tali regole sono:
o La regola di Hebb : stabilisce che il peso venga variato di una quantità proporzionale al prodotto dei valori di attivazione dei neuroni connessi dal peso in questione, tendendo così a rinforzare i pesi più forti e ad indebolire quelli più deboli.
Se 2 neuroni collegati tra loro sono contemporaneamente attivi l’efficacia sinoptica della connessione viene accentuata:



Ma la rete neurale "NON DIMENTICA".

Esiste quindi un’evoluzione verso sistemi che permettono di dimenticare (considero sia il caso che i 2 neuroni siano entrambi attivi sia il caso che siano entrambi disattivi).
o La regola di Windraw–Haff : stabilisce che i pesi siano variati in una quantità proporzionale alla differenza tra i valori di uscita effettivi e i valori desiderati.
Il primo tipo non richiede supervisione mentre la seconda richiede un feed–back e quindi una supervisione. Tale feed–back è detto propriamente:
Tecnica della back–propagation (BP) : è una generalizzazione del perceptrone di Rosenblatt (1958) e della Adaptive Linear Element (Adaline) dovuta a Windraw e Haff (1960). La tecnica BP è stata sviluppata da Rumelhart–Hinton e Williams nel 1986 ed è, come già detto, una rete tipicamente usata in modo supervisionato, caratterizzata da un training by epock, una ottimizzazione di tipo a gradiente e una regola di apprendimento di tipo delta. Essa costituisce, secondo stime prudenziali, almeno il 50% delle applicazioni sviluppate e questo spiega perché è così importante. L'algoritmo di BP è suddiviso in tre fasi:
1. Feed Forward : é la fase di propagazione diretta del segnale dall'ingresso all'uscita, in cui noti gli ingressi e i pesi viene calcolata l'uscita della rete.
2. Error Back–Propagation : é la fase di retro–propagazione dell'errore dove l'errore calcolato dalla differenza tra l'uscita (calcolata al punto precedente) e il target viene trasmesso a tutti i neuroni della rete.
3. Wheight Update : é la fase di modifica dei pesi, resa possibile dalle informazioni ottenute nelle prime due fasi.
Dopo l’allenamento viene usata in feedforward.

ESEMPIO DI TRAINING DI UNA RETE SUPERVISIONATA:



La lettera A rappresentata con una matrice 7x5 deve essere portata in una rappresentazione di 5 bit. Insegno alla rete a reagire in un dato modo, dato rete neurale un certo stimolo. Fornisco input e output, la rete cambia i pesi ogni volta che cambio input-output.

ESEMPI DI RETI NEURALI:


• reti di Hopfield
• reti di Jordan
• reti di Elman
• multi-layer feed-forward back-propagation
• reti di Kohonen
• interactive-activation and competition
• adaptive resonance theory
• percettrone

RETE DI HOPFIELD



è utilizzata principalmente come memoria associativa o per problemi di ottimizzazione. E’ una rete che lavora operando una ricerca nello spazio delle soluzioni.
E’ totalmente connessa.

• Se si applica un pattern di input esterno, la rete tenderà a procedere verso un punto di stabilità.
• Lo stato di attivazione raggiunto rappresenta la risposta della rete.
• Aggiornamento sincrono o asincrono.
• Bacino di attrazione di un pattern.

La dinamica della rete di Hopfield descrivibile con una funzione di energia H



La convergenza verso stati stabili è garantita dal decrescere temporale dell’Energia nell’ intero sistema.


PERCETTRONE (di Rosenblatt)

Reti neurali con uno strato di connessioni unidirezionali dai nodi di input ai nodi di output.

APPRENDIMENTO DEL PERCETTRONE

• Se l’output è corretto lascia i pesi inalterati.
• Se l’output è 0 e dovrebbe essere 1, aumenta i pesi di una quantità.
• Se l’output è 1 e dovrebbe essere 0, diminuisci i pesi di una quantità.



RETI NEURO-FUZZY

Recentemente ha preso piede una sinergia, da molti ritenuta vincente, che unisce le reti neuronali e la logica fuzzy, in quanto i punti di forza dell'una riescono a compensare le debolezze dell'altro. Alcuni ricercatori stanno pensando di aggiungere algoritmi di tipo genetico. La rete neuronale in fase di apprendimento si comporta agli occhi dell'utente come una vera e propria scatola nera, di cui sono noti solo gli ingressi e da cui vendono estratte le uscite. In un sistema Fuzzy, invece, è possibile verificare per via diretta il suo funzionamento, in questo caso però l'insieme di regole deve venire generato in modo manuale. Da queste considerazioni si evince facilmente che un sistema ottimale dovrebbe possedere l'elasticità tipica della logica Fuzzy e la capacità di apprendimento caratteristica delle reti neuronali o degli algoritmi genetici. In tal modo sarebbe possibile ridurre i tempi di progettazione e pervenire, almeno in alcuni casi, alla realizzazione di sistemi più stabili


ESEMPI DI APPLICAZIONI DELLE RETI NEURALI

Oltre alla compressione dati che abbiamo descritto sopra (da matrice7x5 a vettore 5x1), abbiamo:
eliminazione del rumore, riconoscimento segnali sonori, macchina da scrivere fonetica, sistemi di controllo, analisi finanziarie, medicina, psicologia.

In generale i TASK da affrontare con le reti neurali presentano:

1) Assenza di algoritmo
2) Attività che l’uomo sa svolgere
3) Ricerca della soluzione per tentativi

(guida di notte con pioggia, riconoscimento volto)

giovedì, ottobre 27, 2005

Altre considerazioni

Come probabilmente già sapete, il nostro Presidente della Repubblica (persona di indubbia statura morale, rispettabilissima e di chiara esperienza e che annovero tra le migliori che calcano le scene politiche italiane) ha detto che la congiuntura è in lieve ripresa, è necessario avere fiducia...

Ma come si può avere ancora fiducia dopo che le speranze di ripresa sono costantemente affossate da riforme spesso incomprensibili, quando non tutti i cittadini riescono ad arrivare alla fine del mese con il loro stipendio, qundo sempre più spesso si trovano persone, principalmente anziani, che vanno a rovistare tra gli scarti del mercato? Sì, le speranze sono sempre tante, ma è amaro dover ammettere che è difficile vedere l'uscita del tunnel.

In cosa dovremmo avere fiducia? Nel "sistema"? Nell'economia? Negli esseri umani? Forse...
A me non piace essere pessimista, ma quando "si sbatte il muso" contro la dura realtà, quando cerchi di capire se sei l'unico a pensare certe cose e manca il confronto è difficile aver fiducia, speri sempre (mai demordere!), ma non sempre è facile... Non è facile aver fiducia negli altri, ci si può provare... sperando che non ti freghino.

Come mi è stato ricordato da una persona degna di rispetto, (magari non considerata è una mente eccelsa, ma sa ragionare e ragiona bene!) "chi va al mulino, s'infarina" cosa che, letta tra le righe, suona come "è necessario stare sempre in campana" perché quando ci si espone troppo poi si possono "pestare piedi" a persone che non hanno voglia di "mettersi in gioco", che perseguono alcuni obiettivi solo per prestigio personale o, peggio, per poter fare e disfare a proprio piacimento, a discapito degli altri.

Ultimamente mi sono un po' accanito (magari sbagliando) sul fatto che ci stiamo facendo scippare la cultura, la nostra capacità critica e, in fin dei conti, la nostra dignità di esseri senzienti da una massa di "anestesisti mediatici" che piano piano (così nessuno si lamenta) creano falsi bisogni, necessità fittizie proponendo pseudoapprofondimenti sull'unghia incarnita di Al Bano che non potrà essere assistito dalla Lecciso perché lo ha lasciato...

Ma siamo matti???

MA CHISSENEFREGA!

Perché, invece, non si parla del fatto che la soglia della povertà si è "alzata", che molte famiglie devono "tirare avanti" con un solo stipendio da 1000 euro al mese (e non è sufficente), che la produzione agricola viene pagata ad eurocent al kilogrammo e rivenduta a prezzi non raddoppiati, ma più che decuplicati e delle relative possibili soluzioni?

Forse perché la gente sta meglio nel vedere quattro deficenti nella casa del Grande Fratello, dove il problema più grosso è farsi vedere...

Quando ero piccolo alla domanda "cosa vuoi fare da grande?" si rispondeva l'astronauta, il medico, la ballerina, il pompiere etc... ora i bambini rispondono "voglio andare al Grande Fratello", "voglio fare la velina"...

C'è una grossa crisi di valori, perché non possiamo cercare di migliorare il mondo ritornando a pensare con le nostre teste e confrontandoci?

martedì, ottobre 25, 2005

Alcune considerazioni

L'ISTAT tira fuori dal cilindro una statistica in cui si afferma che l'italiano medio ha il primo figlio a 33 anni, non mi ricordo chi sbandiera ai 4 venti che in Italia, grazie alla Legge 30 (erroneamente chiamata Legge Biagi - riprende solo una piccola parte delle proposte del Professore assassinato -), è aumentata l'occupazione, ovviamente non viene spiegato che se una persona lavora con "contratto atipico", ogni rinnovo costitusce "un nuovo occupato" (lavori 1 anno nella stessa azienda come interinale, con 4 rinnovi trimestrali?
Bene risultano 4 posti di lavoro!!!) e la "ggente" si stupisce: "ma come? c'è lavoro, stiamo andando bene e ci si sposa sempre + tardi e non si fanno figli?"; nessuno (a parte gli interessati) si accorge che le aziende stanno licenziando e i rinnovi (dei contratti "temporanei") non arrivano.

Qualcuno potrebbe dire "hai accattato un posto temporaneo? cazzi tuoi!", ma non si rende conto che i posti di lavoro "stabile" (non fisso, stabile) non vengono + offerti, a meno che uno non sia un "brillante neolaureato 25enne in (fate voi: ingegneria, chimica, informatica...) con laurea quinquennale, con pregressa esperienza di almeno 5 anni in un'azienda del settore (decidete voi...)", perché "costano troppo", perché "ma se devo assumere uno che poi mi crea casino come faccio?", perché "con i tempi che corrono è necessario essere flessibili", perché "chi lavora è un costo", perché... PERCHÉ?

Ma dove stiamo andando?

Le notizie che arrivano da una parte sarebbero più che positive - siamo (quasi) in ripresa, tagliamo le tasse (sì, quelle allo "stato", che poi taglia i fondi/stanziamenti a regioni, provnce e comuni che in qualche modo devono aumentare la tassazione locale dirette/indiretta per poter "garantire i servizi") etc etc - se si rinuncia a riagionare con la propria testa: la coperta ha sempre le stesse dimensioni e se tiri da una parte, inevitabilmente scopri dall'altra.

Ci si accusa di essere di destra o di sinistra (anzi, di essere fascisti o comunisti) sull'onda di quanto fanno i "politici" a Roma senza accorgersi che, di destra o di sinistra (o, stando alle polemiche di questa settimana, "rock o lento"), a prenderlo in QUEL posto sono sempre i cittadini che vengono letteralmente inebetiti da una TV spazzatura piena di reality dove tutto è lecito (in Olanda ce n'è addirittura uno dove assumono roba pesante e fanno sesso estremo), finti programmi di approfondimento in cui i politici passano il tempo ad insultarsi e far casino, TG in cui le notizie + importanti sono i pettegolezzi su come ha scoreggiato la tal modella o come trombano i nuovi industriali.

MA DOVE STIAMO ANDANDO???

DOV'È LA NOSTRA CULTURA???

Franco