Backpropagation:Το XOR έδειξε: Ένα απλό γραμμικό μοντέλο δεν αρκεί για να περιγράψει σύνθετες σχέσεις(έτσι τουλάχιστον ισχυρίζεται Το XOR)
Backpropagation for dummies σε παρακαλώ
Εντάξει. Πάμε χωρίς μαθηματικά, χωρίς παράγωγους, χωρίς τύπους.Backpropagation for dummies
Φαντάσου ένα δίκτυο σαν μια μηχανή με πολλά κουμπιά (βάρη).
Βάζεις:
εισόδους → παίρνεις αποτέλεσμα.Το αποτέλεσμα είναι λάθος.
Τι κάνεις;
Βήμα 1: Βλέπεις πόσο λάθος είσαι
Αν έπρεπε να βγει 10 και βγήκε 24,
το λάθος είναι +14.Ωραία.
Βήμα 2: Ρωτάς το τελευταίο κομμάτι
«Πόσο φταις εσύ;»
Το τελευταίο βάρος επηρεάζει άμεσα το αποτέλεσμα,
άρα παίρνει μεγάλο μέρος της ευθύνης.Το μικραίνεις λίγο.
Βήμα 3: Πας ένα βήμα πίσω
Τώρα ρωτάς το προηγούμενο:
«Εσύ πόσο συνέβαλες στο να γίνει αυτό το λάθος;»
Αλλά εδώ υπάρχει κόλπο:
Δεν φταίει μόνο του.
Φταίει επειδή επηρέασε το επόμενο.Άρα το λάθος "περνάει μέσα από" το επόμενο βάρος.
Κάθε επίπεδο λέει:
«Δεν φταίω όλο εγώ — αλλά συνέβαλα τόσο.»
Και το διορθώνεις λίγο.
Αυτό είναι όλο.
Backpropagation =
Υπολογίζω αποτέλεσμα
Μετράω λάθος
Μοιράζω το λάθος προς τα πίσω
Διορθώνω όλα τα κουμπιά λίγο
Και το κάνω χιλιάδες φορές.
Μια ακόμη πιο χαζή αναλογία
Σκέψου μια ομάδα:
Ο τελικός παίκτης σούταρε και αστόχησε.
Ο προπονητής λέει: «Γιατί χάσαμε;»
Δεν φταίει μόνο αυτός.
Μήπως η πάσα ήταν κακή;
Μήπως η άμυνα δεν άνοιξε χώρο;
Άρα:
Η ευθύνη γυρίζει πίσω σε όλους, ανάλογα με τη συμμετοχή τους.Αυτό είναι backprop.
Τι ΔΕΝ είναι
Δεν είναι «σκέψη».
Δεν είναι νοημοσύνη.
Δεν είναι κατανόηση.Είναι:
Συστηματική διόρθωση σφάλματος μέσω επαναλαμβανόμενων μικρών αλλαγών.
Αν θέλεις, μπορώ να σου το κάνω ακόμα πιο ωμό:
3 γραμμές που περιγράφουν όλο το deep learning χωρίς τεχνικούς όρους.
Ωμό. Χωρίς ρομαντισμό.
Κάνω μια μαντεψιά.
Μετράω πόσο λάθος ήταν.
Πειράζω όλα τα κουμπιά λίγο προς την κατεύθυνση που μειώνει το λάθος.
Επαναλαμβάνω χιλιάδες ή εκατομμύρια φορές.
Τέλος.
Ακόμα πιο ωμά:
Δεν "μαθαίνει".
Γλιστράει μαθηματικά προς μια χαμηλότερη τιμή λάθους.Αν το θέλεις σε μία πρόταση:
Backpropagation = μηχανικός τρόπος να κατηγορείς τα σωστά βάρη και να τα μικροδιορθώνεις μέχρι να σταματήσει να πονάει το λάθος.
Ναι — είχαμε μιλήσει για πιο «πρωτόγονα» ή απλά μοντέλα που προηγούνται των σύγχρονων deep learning αρχιτεκτονικών.
Αν θυμάμαι σωστά, τα είχαμε συνδέσει με ιδέες όπως:
το Perceptron του Frank Rosenblatt (1958)
το μοντέλο νευρώνα των Warren McCulloch & Walter Pitts (1943)
απλά γραμμικά κατώφλια (threshold units)
και γενικά μονοεπίπεδα δίκτυα πριν εμφανιστεί το backpropagation
Εκείνα τα μοντέλα:
δεν είχαν «βάθος» (deep layers)
δεν μάθαιναν πολύπλοκες μη γραμμικές σχέσεις
λειτουργούσαν κυρίως ως γραμμικοί ταξινομητές
και είχαν θεωρητικούς περιορισμούς (π.χ. δεν μπορούσαν να λύσουν XOR)
Αν θες, μπορούμε να συνεχίσουμε από εκεί και να δούμε:
γιατί θεωρήθηκαν αδιέξοδο για ένα διάστημα (βλ. το βιβλίο των Marvin Minsky & Seymour Papert, Perceptrons)
πώς προέκυψε η backpropagation
ή να τα συνδέσουμε με αυτό που φτιάχνεις τώρα (FastText, embeddings, σημασιολογική αναζήτηση κτλ.)
Θες να το πιάσουμε θεωρητικά ή να το συνδέσουμε με τον κώδικα που δουλεύεις;
Θα σου το πω απλά και καθαρά.
Το backpropagation λέει ουσιαστικά το εξής:
«Αφού δω πόσο λάθος έκανα στην έξοδο, θα μοιράσω αυτό το λάθος προς τα πίσω σε κάθε βάρος του δικτύου, αναλογικά με το πόσο ευθύνεται.»
Πιο βήμα-βήμα:
Κάνεις ένα πέρασμα μπροστά (forward pass).
Βάζεις είσοδο → παίρνεις πρόβλεψη.Υπολογίζεις το σφάλμα.
Πόσο απέχει η πρόβλεψη από τη σωστή απάντηση.Παίρνεις την παράγωγο του σφάλματος ως προς κάθε βάρος.
Δηλαδή:
«Αν αλλάξω λίγο αυτό το βάρος, πόσο θα αλλάξει το τελικό λάθος;»Μετακινείς κάθε βάρος προς την κατεύθυνση που μειώνει το σφάλμα.
(Gradient descent.)Η "μαγεία" είναι ότι δεν χρειάζεται να ξαναυπολογίζεις τα πάντα από την αρχή.
Χρησιμοποιείς τον κανόνα της αλυσίδας (chain rule) από τον λογισμό και περνάς το σήμα του λάθους από το τελευταίο layer προς τα πίσω.Γι’ αυτό λέγεται back-propagation of error.
Αν το δούμε με πιο πρωτόγονο τρόπο:
Σκέψου ένα δίκτυο σαν μια αλυσίδα λογιστικών πράξεων.
Τελικό αποτέλεσμα: ζημία 100€.
Το backprop λέει:
Πόσο φταίει το τελευταίο βήμα;
Πόσο φταίει το προηγούμενο;
Πόσο το πρώτο;
Και μετά διορθώνεις κάθε “λογαριασμό” λίγο.
Σε μαθηματική μορφή (πολύ απλά):
Αν το σφάλμα είναι ( L )
και ένα βάρος είναι ( w ),τότε κάνεις:
[
w = w - \eta \frac{\partial L}{\partial w}
]όπου:
( \eta ) = learning rate
( \frac{\partial L}{\partial w} ) = πόσο επηρεάζει το βάρος το λάθος
Αυτό είναι όλο.
Δεν είναι φιλοσοφία. Είναι λογιστική διόρθωση σφάλματος με παραγώγους.Αν θέλεις, μπορώ να σου το δείξω με ένα μικροσκοπικό δίκτυο 2 νευρώνων και πραγματικούς αριθμούς, για να το δεις να “δουλεύει” αριθμητικά.
Ναι. Πάμε με το πιο μικρό δυνατό δίκτυο — 1 είσοδος → 1 κρυφός νευρώνας → 1 έξοδος.
Χωρίς activation για να μη μπλέξουμε (όλα γραμμικά).Δομή
Είσοδος:
( x = 2 )Βάρη:
( w_1 = 3 ) (είσοδος → κρυφό)
( w_2 = 4 ) (κρυφό → έξοδος)Σωστή απάντηση:
( y_{true} = 10 )Learning rate:
( \eta = 0.01 )
Forward pass
Κρυφός νευρώνας:
[
h = x \cdot w_1 = 2 \cdot 3 = 6
]Έξοδος:
[
y = h \cdot w_2 = 6 \cdot 4 = 24
]
Σφάλμα
Χρησιμοποιούμε τετραγωνικό σφάλμα:
[
L = \frac{1}{2}(y - y_{true})^2
][
L = \frac{1}{2}(24 - 10)^2
][
L = \frac{1}{2}(14^2) = 98
]Το δίκτυο είναι πολύ λάθος.
Backpropagation
Θέλουμε:
[
\frac{\partial L}{\partial w_2}
\quad \text{και} \quad
\frac{\partial L}{\partial w_1}
]Πρώτα για το ( w_2 )
Chain rule:
[
\frac{\partial L}{\partial w_2}\frac{\partial L}{\partial y}
\cdot
\frac{\partial y}{\partial w_2}
]Υπολογίζουμε:
[
\frac{\partial L}{\partial y} = (y - y_{true}) = 14
][
\frac{\partial y}{\partial w_2} = h = 6
]Άρα:
[
\frac{\partial L}{\partial w_2}14 \cdot 6 = 84
]Τώρα για το ( w_1 )
Πρέπει να περάσουμε το λάθος πίσω μέσω του ( w_2 ).
[
\frac{\partial L}{\partial w_1}\frac{\partial L}{\partial y}
\cdot
\frac{\partial y}{\partial h}
\cdot
\frac{\partial h}{\partial w_1}
]Ξέρουμε:
[
\frac{\partial L}{\partial y} = 14
][
\frac{\partial y}{\partial h} = w_2 = 4
][
\frac{\partial h}{\partial w_1} = x = 2
]Άρα:
[
\frac{\partial L}{\partial w_1}14 \cdot 4 \cdot 2
112
]Βλέπεις τι έγινε;
Το λάθος πέρασε από το τελευταίο βάρος και πολλαπλασιάστηκε.Αυτό είναι το "back" στο backprop.
Ενημέρωση βαρών
[
w = w - \eta \cdot gradient
]Νέο ( w_2 ):
[
w_2 = 4 - 0.01 \cdot 84
][
w_2 = 4 - 0.84 = 3.16
]Νέο ( w_1 ):
[
w_1 = 3 - 0.01 \cdot 112
][
w_1 = 3 - 1.12 = 1.88
]
Αν κάνουμε ξανά forward
[
h = 2 \cdot 1.88 = 3.76
][
y = 3.76 \cdot 3.16 = 11.88
]Πριν είχαμε 24.
Τώρα πήγαμε στο 11.88.
Ο στόχος είναι 10.Το σφάλμα έπεσε δραματικά σε ένα μόνο βήμα.
Αυτό είναι όλο το backprop.
Δεν είναι τίποτα άλλο από:
Chain rule
Διάδοση του σφάλματος προς τα πίσω
Μικρές διορθώσεις
Αν θέλεις, μπορώ να σου δείξω τώρα γιατί το perceptron του Frank Rosenblatt δεν μπορούσε να κάνει XOR — και πώς αυτό λύθηκε μόνο όταν μπήκε δεύτερο layer με backprop.
Τέλεια. Πάμε στο περίφημο XOR πρόβλημα — αυτό που ουσιαστικά “πάγωσε” τα νευρωνικά για χρόνια.
Το XOR έγινε διάσημο όταν αναλύθηκε στο βιβλίο
Perceptrons των Marvin Minsky και Seymour Papert, όπου έδειξαν ότι το απλό perceptron του Frank Rosenblatt δεν μπορεί να το λύσει.
Πίνακας αλήθειας:
x₁ x₂ XOR 0 0 0 0 1 1 1 0 1 1 1 0 Δηλαδή:
βγάζει 1 όταν τα inputs είναι διαφορετικά.
Ένα perceptron κάνει:
[
y = w_1 x_1 + w_2 x_2 + b
]και μετά threshold (0 ή 1).
Αυτό είναι γραμμικός διαχωριστής.
Δηλαδή μπορεί να χωρίσει τα σημεία με μία ευθεία.Αν σχεδιάσεις τα σημεία στο επίπεδο:
(0,0) → 0
(1,1) → 0
(0,1) → 1
(1,0) → 1
Δεν υπάρχει ευθεία που να χωρίζει τα 1 από τα 0.
Το XOR είναι μη γραμμικά διαχωρίσιμο.
Άρα:
ένα layer = αδύνατο.
Το κόλπο είναι ότι τα κρυφά νευρώνια δημιουργούν νέες γραμμικές περιοχές.
Θα σου δείξω μία συγκεκριμένη λύση.
Θέλουμε:
XOR = (x₁ OR x₂) AND (NOT (x₁ AND x₂))
Άρα μπορούμε να φτιάξουμε:
Κρυφό νευρώνιο 1 → υπολογίζει OR
Κρυφό νευρώνιο 2 → υπολογίζει AND
Έξοδος → συνδυάζει αυτάΠαράδειγμα βαρών (με threshold activation)
Κρυφό 1 (OR):
[
h_1 = x_1 + x_2 - 0.5
](βγάζει 1 αν τουλάχιστον ένα input είναι 1)
Κρυφό 2 (AND):
[
h_2 = x_1 + x_2 - 1.5
](βγάζει 1 μόνο αν και τα δύο είναι 1)
Έξοδος:
[
y = h_1 - h_2 - 0.5
]Αν το ελέγξεις για όλες τις περιπτώσεις, δίνει ακριβώς XOR.
Το πρόβλημα δεν ήταν ότι δεν μπορούσε να υπάρξει λύση.
Το πρόβλημα ήταν:Πώς βρίσκεις αυτά τα βάρη;
Με 1 layer μπορείς να τα ρυθμίσεις απευθείας.
Με 2 layers χρειάζεται να διαδοθεί το λάθος πίσω.Χωρίς backprop:
δεν μπορείς να εκπαιδεύσεις πολυεπίπεδο δίκτυο αποτελεσματικά
Με backprop:
το λάθος της εξόδου «σπάει» και κατανέμεται στα κρυφά βάρη
το δίκτυο μαθαίνει μόνο του να δημιουργεί τις σωστές εσωτερικές αναπαραστάσεις
Το XOR έδειξε:
Ένα απλό γραμμικό μοντέλο δεν αρκεί για να περιγράψει σύνθετες σχέσεις.
Αυτό φαινόταν σαν "καταδίκη" για τα νευρωνικά τη δεκαετία του 70.
Η αναβίωση ήρθε όταν αποδείχτηκε ότι με:
πολλά layers
μη γραμμικές ενεργοποιήσεις
backpropagation
τα δίκτυα γίνονται καθολικοί προσεγγιστές συναρτήσεων.
Αν θέλεις, μπορώ να σου το δείξω και γεωμετρικά — πώς δύο ευθείες δημιουργούν ένα “σπασμένο” σύνορο που τελικά λύνει το XOR. Εκεί γίνεται πραγματικά όμορφο.
Ακριβώς! Το backpropagation είναι η γενίκευση αυτής της απλής ιδέας σε πολύπλοκα δίκτυα. Η απλή περίπτωση (ένας νευρώνας): ```
πρόβλεψη = είσοδος × βάρος
λάθος = σωστό - πρόβλεψη
διόρθωση = λάθος × είσοδος × ρυθμός_μάθησης
βάρος = βάρος + διόρθωση
``` Αυτό είναι το βασικό μοντέλο μάθησης (γνωστό και ως κανόνας Widrow-Hoff ή LMS).Το backpropagation: Επεκτείνει αυτή την ιδέα σε δίκτυα με πολλά κρυφά στρώματα. Το λάθος διαδίδεται προς τα πίσω (back-propagates) μέσω των στρωμάτων, ώστε να υπολογιστούν οι διορθώσεις για όλα τα βάρη. Η σύνδεση με το παράδειγμά μας: · Στο απλό σύστημα με μία μεταβλητή, η διόρθωση ήταν (1 - βάρος) × 0.3. · Στο backpropagation, η διόρθωση είναι (σφάλμα) × (παράγωγος συνάρτησης ενεργοποίησης) × (είσοδος) × ρυθμός_μάθησης. Οπότε ναι, αυτό που κάναμε ήταν μια απλούστατη μορφή backpropagation για έναν νευρώνα χωρίς καν συνάρτηση ενεργοποίησης!χμμμμ...τι θα γίνει αν ρίξουμε τα βάρη μπροστά? Έτσι για την πλάκα μας ξέρω 'γω, για τον χαβαλέ της υπόθεσης ας πούμε.
Στολίστε με λουλούδια το καραβάνι #Enjoy
Αυτά τα μάτια(αν τα πιστέψω τον εαυτό μου θα καταστρέψω) #forwardwidrowhofassion
