Wypytaj.pl

zagadkowiec

Nauka gotowości Obliczenia dopaminy i asocjacyjne Nicola C. Byrom i Robin A. Murphy 3 Podsumowanie i zakres Teoria asocjacyjna traktuje życie psychiczne, bardzo ogólnie, jako zdominowane przez najprostsze mechanizmów: skojarzenie wychwytuje treść naszych mentalnych reprezentacji (doznania lub doświadczenia) z dodatkową ideą określającą powiązania asocjacyjne jak współpracownicy wchodzą w interakcje. Teoria asocjacyjna służy do opisania, z czego się uczymy nasze środowisko, ostatecznie umożliwiając naukowcom przewidywanie zachowań. To jest prawdopodobnie jeden z podstawowych celów psychologii. Istnieje kilka ograniczeń zachowania, które możemy chcieć zrozumieć, więc może to dotyczyć zrozumienia zbliżyć zachowanie szczura do wizualnych wskazówek związanych z jedzeniem lub człowiekiem uczenie się przesuwania błyszczącej, oświetlonej powierzchni tabletu. Procesy asocjacyjne zostały użyte do wyjaśnienia jawnego zachowania zwierząt laboratoryjnych i ludzi. Rozwój narzędzi do rejestracji i pomiaru mózgu pozwolił na rozszerzenie do podobnej analizy skorelowanego zachowania odpowiednich synaps i neuronów. Założenie jest takie, że nasze jawne zachowanie jest powiązane z „zachowaniem” naszych neuronów. Póki jeszcze jesteśmy na początku takiego zrozumienia, odkrycia powiązane do zachowania neuronów skorelowanych z uczeniem się i pamięcią Nagrody Nobla dla neuronaukowców. Arvid Carllson, Paul Greengard i Eric Kandel wygrali Nagroda Nobla w dziedzinie medycyny w 2000 r. za „odkrycia dotyczące transdukcji sygnału w układzie nerwowym ”. Te odkrycia dla psychologii były nie tyle ważne dla ich oświetlenia procesu biologicznego, ale dla korelacji tych procesów z jawnymi zachowaniami związanymi z uczeniem się i pamięcią. Ich uznanie jest równe chociaż luka między naszym zrozumieniem związku między sygnałami neuronowymi a zachowujący się organizm jest jeszcze w powijakach. W tym rozdziale dokonamy przeglądu rozwoju teorii asocjacyjnej i jej roli w interpretacji zachowania neuronów związane z dopaminą. Dopamina to od dawna interesujący neuroprzekaźnik dla psychologów, zarówno ze względu na jego związek z psychiką, jak i fizycznością objawy zaburzeń, takich jak choroba Parkinsona i schizofrenia oraz zaburzenia związane z podstawowymi systemami nagród (np. narkomania) i ostatnio w odniesieniu do uczenie się w postaci błędu przewidywania. 48 Nicola C. Byrom i Robin A. Murphy Błąd przewidywania jest podstawową koncepcją teorii uczenia się, która obejmuje niektóre z nich empiryczne warunki niezbędne do uczenia się w złożonych środowiskach gdzie można się dowiedzieć o wielu rzeczach. Powszechnie wiadomo, że mamy tendencję uczyć się na podstawie tego, jak wydarzenia rozwijają się w czasie i przestrzeni, na przykład w czasie a przestrzenna bliskość sprzyja kojarzeniu wydarzeń (Pavlov, 1927). Niektóre skojarzenia odzwierciedlają czasowy przepływ doświadczenia; zwierzę w laboratorium może dowiedzieć się, że a ton poprzedza dostarczenie jedzenia, a dowiadujemy się na przykład, że poprzedza wschód słońca śniadanie (zwykle), ponieważ tak właśnie się dzieje. Pojęcie błąd przewidywania odzwierciedla ideę, że początkowo ani szczur, ani człowiek nie spodziewać się pojawienia się pożywienia po tonie lub wschodzie słońca, a zatem dużym błąd przewidywania pojawia się, gdy dostarczana jest żywność. W tym rozdziale przyjrzymy się badaniom nad jawnym zachowaniem, które ukształtowało rozwój naszego rozumienia błąd prognozy i zapytaj, czy te badania mogą skierować przyszłe badania neuronalne korelaty uczenia się. W wielu przypadkach nasze przewidywania dotyczące tego, co będzie dalej, zależy od wielu różne możliwe skojarzenia i odpowiednio teoria asocjacyjna opisuje, jak to zrobić uczenie się zależy od wcześniejszych doświadczeń. Skojarzenia mogą odzwierciedlać zarówno bezpośrednie, jak i względne doświadczenie. Na przykład kilku czytelników może być zaznajomionych z następstwami alkoholu i niektóre nieco negatywne skojarzenia, które mogą się pojawić te doświadczenia. Możemy się dowiedzieć, że gin wywołuje u nas choroby, ale co ciekawe później spożycie ginu o smaku dżinu zamaskowanym dodatkiem toniku jest mało prawdopodobne podważać tę niechęć. Ogólnie rzecz biorąc, powiązania między a dana wskazówka i wynik, jeśli obecna jest inna wskazówka, która jest już silnie powiązana z takim wynikiem. Ten efekt nazywa się blokowaniem i zostanie omówiony w dalszej części rozdział. Skojarzenia mogą odzwierciedlać bezpośrednie doświadczenie lub, w przypadku naszych eksperymentów z koktajlami, są one określane przez relatywne doświadczenia. Efekty takie jak blokowanie, warunkowe hamowanie i super uczenie się, omówione w dalszej części rozdziału, były szeroko stosowane w badaniach jawnego zachowania i ich precyzji manipulowanie błędem przewidywania ukształtowało rozwój teorii asocjacyjnej w ciągu ostatnich 45 lat. W tym rozdziale rozważymy, jak te manipulacje błędem przewidywania mogą Byliśmy używane do generowania oczekiwań, kiedy neurony dopaminy mogą być aktywnym. Wszystkie rozdziały tego podręcznika odwołują się do prac Pawłowa (1927) jako twórca asocjacyjnej perspektywy uczenia się. Laureat Nagrody Nobla Nagrodą dla samego siebie, była nauka Pawłowa o nauce, która dostarczyła empirycznych podstaw co pozwoliłoby na ostateczne omówienie fizjologicznych konsekwencji doświadczenie skojarzeniowe i transdukcja sygnału. Charakteryzuje warunkowanie Pawłowa w jaki sposób podmiot laboratoryjny (np. szczur) uczy się reagować na wcześniej obojętny bodziec (CS) po sparowaniu z biologicznie istotnym bodźcem (np. pokarm; US). Pavlov był zainteresowany warunkami, które umożliwiły pojawienie się wcześniej neutralnego bodźca mają nowe właściwości kontrolujące zachowanie. Jako materialista założył to Pawłow istniała fizyczna instancja tego procesu w układzie nerwowym. W tym rozdziale przedstawiamy, co prawda specyficzne, spojrzenie na rozwój idei przewidywania-uczenia się błędów, wykorzystanie matematyki do opisać obliczenia wymagane do prognozowania przyszłych wydarzeń oraz w jaki sposób pomogło to w rozwoju zrozumienia zachowania Błędy przewidywania i dopamina 49 synaps, w szczególności rola neuroprzekaźnika dopaminy i dopaminy D2 receptory w śródmózgowiu (np. Schultz, 1998). Sprawdzamy, jak dochodzenie warunki niezbędne do rozwoju stowarzyszeń doprowadziły do ​​odkrycia, że związek czasowy między bodźcami jest niewystarczającym warunkiem uczenia się. Ta świadomość doprowadziła do zainteresowania warunkami niezbędnymi do względnej przewidywalności i pierwsze testy blokowania, które zilustrowały rolę błędu przewidywania w uczeniu się. Opisujemy, w jaki sposób pojęcie błędu przewidywania zostało włączone matematyczne modele uczenia skojarzonego i przyjrzyjmy się pokrótce szerokiemu zakresowi dokładne prognozy, które te modele wygenerowały, oraz jawne badania zachowanie, które je przetestowało. W końcowych częściach rozdziału rozważymy jak ta praca może wesprzeć przyszłe badania neuronalnych korelatów uczenia się. Teoria uczenia się asocjacyjnego dostarcza hipotez dotyczących tego, jak może przebiegać uczenie się, i możemy ocenić, czy dopaminę można postrzegać jako fizyczny marker asocjacyjne obliczenia do uczenia się. Stanowisko do przedstawienia jest takie, że nasze zrozumienie aktywności neuronów jako predyktorów jawnego zachowania wymaga formalna analiza tego, w jaki sposób uzyskuje się wiedzę o bodźcach, ponieważ wiele z naszych zachowań opiera się na wcześniejszych doświadczeniach. Teoria asocjacyjna dostarcza kontekstu, dla którego rozumieć aktywność neuronową. Warunki stowarzyszenia Wielokrotne łączenie w pary dwóch wydarzeń zachęca do ich skojarzenia, co jest tak prostym pomysłem wymaga niewielkiego wyjaśnienia. Eksperymentalna praca nad sparowanym skojarzeniem słów nauka potwierdziła zasadę, że doświadczenie z zachodnim żłobkiem dziecięcym rymy pozwalają słowu cukier odzyskać pamięć słowa przyprawa z powodu ich powtarzane parowanie (np. Ebbinghaus, 1885/1964). Ten pomysł był kluczowy dla wczesnych lat myśliciele psychologii, tacy jak James (1890/1950). Echo tego myślenia jest obecny w modelowaniu koneksjonistycznym opisanym w tym tomie, w którym oba istotne motywacyjnie, a zdarzenia i zdarzenia neutralne mogą być powiązane (patrz rozdziały 15 i 21). Asocjacyjna analiza uczenia się zwierząt boryka się również z dodatkowym wkładem, jaki biologicznie istotne bodźce wnoszą do zadania eksperymentalnego. w przeciwieństwie do słowa cukier i przyprawa dla słuchającego dziecka ludzkiego, połączenie dzwoniącego dzwonka i pożywienie dla głodnego szczura wiąże się z określonymi efektami, takimi jak jedzenie lub inne naturalne nagrody i karacze mają wpływ na proces uczenia się. Niektóre bodźce są satysfakcjonujące, używając Thorndike'a (1933) terminy (jedzenie, gdy jesteś głodny, woda, gdy jesteś spragniony), a inne niezadowolenie (np. ból) poprzez ich specyficzne konsekwencje biologiczne. Rozwinęli się Thorndike i Pavlov język techniczny do opisu tych relacji i zadawania pytań uczenie się skojarzeniowe, które nękało go od samego początku. Rób wzmocnienia, jako wyniki (O) sparowanych współpracowników, wzmacnia pamięć bodźców (S), które mają miejsce przed ich wystąpienie (S → O), czy też modyfikują lub wzmacniają reakcję, która ma miejsce w obecność bodźca (S → R; patrz rozdział 16)? Tak czy inaczej, wczesni badacze byli świadomi, że wzmacniacze były w stanie nadać bodziecowi nowe właściwości za pośrednictwem doświadczenie skojarzeniowe. Ponieważ zwierzęta zaczęły zachowywać się z tymi bodźcami w ten sposób 50 Nicola C. Byrom i Robin A. Murphy naśladował nagrodę lub karę, jeden oczywisty wniosek był taki, że skojarzenie umożliwia zastąpienie rzeczywistej obecności bodźców neutralnych wcześniej wzmacniacz; mógł stać się tzw. wzmocnieniem wtórnym lub substytutem wzmocnienie. Jeśli chodzi o eksperymenty Pawłowa, psy śliniły się przy dźwiękach uwarunkowany dzwonek, tak jak ślinił się doobecność pożywienia. Zastępowanie bodźców Praca badaczy, takich jak Pavlov, Thorndike i Guthrie, uznawała prostotę moc ciągłości uczenia się (przegląd w: Hilgard i Bower, 1966). Mimo że przyległość implikuje jednoczesną lub nakładającą się prezentację, co Paweł już zrobił wykazali, że warunkowanie opóźniające było skuteczniejszą procedurą warunkowania niż prezentacje symultaniczne, mimo że samo pojęcie ciągłości implikuje wyższość prezentacji symultanicznych (patrz Rescorla, 1980). Rozpoznał to czasowe parametry uczenia były kluczowe i przyjęto, że definiowanie parametry czasowe, które wspierały uczenie się, dawałyby wgląd w ideał parametry, na które odpowiedziała tkanka nerwowa. Każda demonstracja, że ​​konkretny ważne było czasowe ograniczenie uczenia się (np. warunkowanie 10-sekundowym CS była najskuteczniejsza, jeśli zakończyła się dostawą do USA z niewielkim lub żadnym śladem między 2) był postrzegany jako prawdopodobnie związany z ograniczeniami odpowiedzi nerwowej. Tak jak my zobacz, późniejsze badania wykazały, że siła opóźnienia lub prezentacji sekwencyjnej w warunkowaniu odzwierciedla samą naturę uczenia się asocjacyjnego; opóźnienia pozwalają na wskazówki przewidzieć, co się po nich stanie. Psycholog fizjologiczny (jak kiedyś nazywano neuronaukowców), Donald Hebb, uchwycił pojęcie czasowej ciągłości i jej związek z odpowiedziami neuronowymi przez sugerując, że neuronową podstawą takich czasowych oczekiwań było współwystępowanie aktywność w dwóch ośrodkach mózgu. Często powtarzana stymulacja powoduje wnikanie komórek mózg zaczął działać jako „zamknięty system”, który może pobudzać lub hamować inne podobne zespoły. Jednoczesna aktywność poszczególnych komórek przyczynia się do ułatwienia ścieżki między nimi (Hebb, 1949). W ten sposób powstały wczesne teorie Uwarunkowania Pawłowa jako wkład w uczenie się poprzez wzmacnianie ścieżek asocjacji i tym samym dopuszczając formę substytucji bodźca podobną do tej, którą zaproponował Pavlov (1927). Zastępowanie bodźców sugeruje, że dotyczy to warunkowania przede wszystkim pozwalając neutralnym wskazówkom być imitacją wzmacniaczy, a tym neutralnym zdarzenia mogą stać się zastępcami lub substytutami ważnych, biologicznie istotnych, wydarzenia. Hebb (1949) opis tworzenia tych zgromadzeń komórkowych lub engramów jest domniemany opis powiązań między neuronami lub reprezentacjami uformowany. Jeśli reprezentacje bodźca predykcyjnego lub CS (A) i USA (λ) są aktywnych w tym samym czasie, zmieni to powiązanie (ΔV) między nimi. V k A * A (3,1) Powiązania te powstają do tego stopnia, że ​​dwa zdarzenia są aktywne i modyfikowane przez parametr lub stałą (k) specyficzną dla bodźca, która odzwierciedla właściwości dwóch wskazówek lub ich unikalna asocjacyjność. Błędy przewidywania i dopamina 51 Jeśli skojarzenia odzwierciedlają uczenie się o ważnych konsekwencjach, to implikacja jest to, że te nowo utworzone stowarzyszenia mogą same wspierać nową naukę. Że oznacza to, że możesz nie potrzebować obecności fizycznego USA, jeśli CS jest w stanie aktywować wewnętrzna reprezentacja Stanów Zjednoczonych we własnym zakresie. Można się spodziewać, że sam CS będzie miał uprawnienia do wzmacniania innych odpowiedzi lub stowarzyszeń. Wydaje się prawdopodobne, że jako pożywienie można by użyć do wywołania reakcji zwierzęcia na wcześniej neutralny bodziec, jak gdyby to było jedzenie, nowo poznany bodziec mógł zrobić to samo. Badania nad uczeniem się nakreślają rodzaje warunków, które sprzyjały wtórnym właściwościom wzmacniającym nabyte przez wskazówkę podczas kondycjonowania (np. Grice, 1948). Każda z nich może przynieść dwie rzeczy inne myśli przez skojarzenie, ale wywołując te same zachowania, pojęcie Stowarzyszenie osiąga swoją behawiorystyczną lub empiryczną demonstrację. Zaprojektowane eksperymenty badanie granic skuteczności ciągłości czasowej wykazało niewystarczalność par jako warunek skutecznego warunkowania. Badacze w czasach Hebba byli w pełni świadomi idei neutralnych bodźców zdobywają swoje wzmacniające moce, jeśli przygotowywana jest korelacja między neutralnym bodźcem a wzmacniaczem, i że może być „bliska” i „spójna”. Plik eksperymenty mające na celu zbadanie warunków brzegowych zaangażowanych zbrojenia wtórnego pierwsze szkolenie szczurów, aby naciskały dźwignię, aby otrzymać pożywienie, co szczury zrobiły całkiem chętnie (Schoenfeld, Antonitis i Bersh, 1950). Następnie badacze jednocześnie prezentowali krótkie, pierwotnie neutralne światło (CS) za każdym razem, gdy szczury otrzymywały pokarm nagroda. Poprzez jednoczesne aktywowanie światła dokładnie w momencie, w którym zwierzę miało chwycił granulat i zaczął go jeść, spodziewano się, że przyjdzie światło kojarzyć się z jedzeniem, tak jak w eksperymentach Pawłowa. Zarówno światło, jak i jedzenie zostały wewnętrznie aktywowane w tym samym czasie i dlatego można oczekiwać, że utworzą stowarzyszenie. Jeśli tak, można oczekiwać, że zwierzę naciska dźwignię, aby zapalić światło. Zbrojenie wtórne z lever tłoczenie jest dość łatwe do wykonania pod pewne warunki (patrz na przykład Dwyer, Starns i Honey, 2009), ale dla Shoenfeld i wsp., Nie było absolutnie żadnego dowodu na takie przeniesienie wzmocnienia moce do światła. Naukowcy szczegółowo opisują swoją ścisłą kontrolę nad warunkami uczenie się, jak bodziec świetlny był zawsze obecny, gdy zwierzę zaczynało jeść i zakończono przed zakończeniem jedzenia i dokładnie upewnili się, że plik światło nigdy nie poprzedziło dostawy pelletu. Wszelkie prezentacje światła przed lub po jedzeniu można było uznać za warunki, które tak by się stało podważają skojarzenie, ponieważ światło byłoby aktywne w umyśle szczura bez jedzenie. Po sesji, w której wygaszono naciskanie dźwigni na żywność (tj sesja, w której naciśnięcie dźwigni nie było prezentowane z jedzeniem), zaprezentowano dwie sesje, w których dźwignia produkowała teraz nie jedzenie, ale światło. Pytanie brzmiało czy podczas tej sesji szczury zwiększyłyby nacisk, gdy pojawiło się światło krótko po każdym naciśnięciu dźwigni. Negatywne wyniki tych badań okazały się zagadkowe. Po tego typu Podczas treningu było niewiele dowodów na naciskanie dźwigni w celu uzyskania światła pomimo pozytywnego wyniku korelacja i parowanie między światłem a jedzeniem w fazie treningu. Eksperymentatorzy sugerowali, że być może awaria odzwierciedla ważną cechę tworzenie stowarzyszenia. Co ważne, dla rozwoju idei predykcji uznali, że zwykłe parowanie jest niewystarczające do dodatkowego wzmocnienia, nawet jeśli na podstawie wcześniejszych prac w ich laboratorium wystarczyło 52 Nicola C. Byrom i Robin A. Murphy Właściwości Pawłowa na światło. Poznanie relacji Pawłowa między CS a USA nie uczynił CS substytutem Stanów Zjednoczonych (Rozdział 2 porusza podobne pytanie dlaczego symultaniczna prezentacja nie jest lepszą drogą uczenia się łączenia wydarzeń, jeśli występowanie jest siłą napędową uczenia się). Odpowiedź na pytanie, dlaczego nauka nie jest po prostu zależne od par leży w antycypacyjnym charakterze wielu Pavlovian uwarunkowane odpowiedzi. Uczenie się skojarzone jest bardziej ogólnym zjawiskiem, ale jeśli ty mierzyć uczenie asocjacyjne za pomocą procedury warunkowania, a następnie odpowiedzi zwierzę uczy się pozwalać mu przewidywać lub oczekiwać (w kategoriach poznawczych) lub po prostu działać działanie przed wystąpieniem USA. Warunkowanie polega nie tyle na substytucji bodźców, chociaż istnieją na to dowody, ale raczej na nauce predykcyjnej relacji dotyczącej występowania Stanów Zjednoczonych. W poprzedniej sytuacji eksperymentalnej światło nie przewidziało wystąpienia w USA, ponieważ do czasu było światło przedstawiony, jedzenie było już konsumowane. Obecność relacji predykcyjnej została uznana za ważny warunek uczenia się. Przewidywanie i priorytet Ten problem dotyczący priorytetu występowania lub predykcyjności oraz zasad warunkowania pojawił się ponownie, gdy badacze badali to, co teraz oczywiste relacje czasowe i ich kontrolujący wpływ na reagowanie warunkowe. To okazało się, że sama relacja czasowa jest również niewystarczającym warunkiem uczenia się, jak sugerują eksperymenty, takie jak te opisane przez Schoenfelda i in. (1950). Nawet w sytuacjach z idealnymi relacjami czasowymi zwierzęta czasami się nie uczyły o wskazówkach. Ten nowy styl eksperymentu dał zwierzętom wiele wskazówek, każdy z nich który był niezależnie warunkowy, ale teraz w różnych pozycjach czasowych do wzajemnie. Egger i Miller (1962) zbadali, jak różne wskazówki mogą być ułożone, aby mieć pierwszeństwo w dostępie do systemu asocjacyjnego w zależności od ich predykcyjnej relacji. Eksperymenty obejmowały porównanie dwóch wskazówek, z których każda miała własny czasowy związek ze wzmacniaczem żywności. Wyniki pokazały, że była to niezawodność a wskazówka jako predyktor, to znaczy jej absolutna spójność jako predyktor i jej względna wartość, to warunkowało odpowiedź. Zinterpretowali wyniki jako sugestie że wskazówka musi być informacyjna, jeśli ma stać się uwarunkowanym wzmacniaczem, to znaczy jest muszą być niezawodne i niepotrzebne. Badali głodne samce szczurów i sprawdzali, jak dobrze nauczyliby się o CS który był prezentowany przed jedzeniem (USA) i sprawdzał, czy pojawiły się dwa sygnały, które się pojawiły przed Stanami Zjednoczonymi. Pavlov (1927) badał przypadek zasłonięcie, w którym dwie wskazówki były prezentowane jednocześnie (AB + ). Dowód na to jedna z dwóch jednocześnie prezentowanych wskazówek może przeszkadzać w nauce druga była w centrum debaty, która była istotna dla teorii selektywnej uwagi (patrz Mackintosh, 1975). Ale Egger i Miller nie testowali po prostu przypadku przyćmiony, ponieważ chociaż obie wskazówki zakończyły się wraz z pojawieniem się w USA, jedna z dwóch wskazówek C pojawiło się początkowo wcześniej niż CSlate (patrz rysunek 3.1A dla schematu). Ten design zadaje proste, ale ważne pytanie; Początkowo można było oczekiwać, że będzie to plik lepszy predyktor USA, ponieważ jest to najwcześniejszy sygnał i dlatego ma czasowy pierwszeństwo, ale CSlate można uznać za ważniejsze, ponieważ więcej doświadczeń CSlate ma miejsce w sąsiedztwie Stanów Zjednoczonych. Zgodnie z ich hipotezą CSlate Błędy przewidywania i dopamina 53 miał być zbędnym predyktorem i rzeczywiście uzyskał nad nim słabą kontrolę odpowiadanie. Wykazali również, że siła kontroli, jaką posiadał CSlate nadmierną liczbę odpowiedzi można zwiększyć, prezentując CSearly w niektórych próbach samych w programie wygaśnięcie. Grupa kontrolna otrzymała te same wskazówki w połączeniu z pożywieniem, ale z połową Wcześniej CSlate został przedstawiony bez CSlate lub US. W grupie kontrolnej CSlate teraz uzyskał odpowiedź warunkową, podczas gdy w grupie eksperymentalnej, warunkową odpowiedź została przejęta przez CSearly. Zgodnie z ich analizą tego projektu, priorytetem relacji CS był początkowo motywację do uczynienia go bardziej informacyjnym dla występowanie żywności. Pytanie, które postawiono w tej pracy, brzmiało zatem: Jakie były warunki względnej przewidywalności? Testy względnej przewidywalności pochodzą z eksperymentów zaprojektowanych w celu zestawienia przewidywalności dwóch wskazówek jako sygnału wyniku, w tym przypadku nie nagradzającego jedzenia, ale awersyjne porażenie prądem elektrycznym (schemat na rysunku 3.1B). W Kamin’s (1969) blokowanie eksperymentów, należy oczekiwać, że wcześniejszy trening z jedną wskazówką (CS1 → Shock) przed sparowaniem drugiej jednocześnie prezentowanej pamięci spowoduje, że druga pamięć stanie się zbędna (CS1 + , CS1 i CS2 + ). Te ważne eksperymenty pojawiają się w wielu rozdziałów tego tomu ze względu na ich ogólne znaczenie dla wielu zagadnień w uczenie się skojarzeniowe. Skutkiem blokowania było dalsze uszkodzenie ciągłości jako warunek do uczenia się asocjacyjnego, ponieważ chociaż CS2 ciągnie się z szokiem, nie udaje mu się (ZA) Egger i Miller, 1962 (B) Kamin, 1969 (DO) Kontrola eksperymentalna C Początkowo CSlate NAS CS1 CS2 NAS CS1 CS2 CS3 NAS Rysunek 3.1 Schemat projektu eksperymentów selektywnego uczenia się autorstwa (A) Eggera i Millera (1962), (B) Kamin (1969) i (C) Wagner i in. (1968). 54 Nicola C. Byrom i Robin A. Murphy zdobyć silne skojarzenie. Należy zauważyć, że wynik nie jest konsekwencją z CS1 przesłaniając CS2 na próbach złożonych, ponieważ w jednym z kontroli Kamin grup do blokowania, pierwsza faza obejmowała sygnał treningowy oddzielną wskazówkę (CS3 ). CS2 , w ta druga grupa kontrolna staje się względnie ważniejsza, a nie przez żadną własną zmianę absolutna trafność jako predyktora szoku, ale poprzez redukcję CS1 Względna ważność do szkolenie z CS3 . Jedną z interpretacji tego wyniku jest to, że przewidywalne Stany Zjednoczone mają zmniejszoną zdolność do inicjowania przetwarzania i kojarzenia (Rescorla i Wagner, 1972). Na alternatywna interpretacja jest taka, że ​​przewidywalność Stanów Zjednoczonych sprawia, że ​​nowa wskazówka jest zbędna, a ponieważ wskazówka nie jest skorelowana z żadną zmianą wzmocnienia, jest ignorowana (patrz Mackintosh, 1975). Inne podobne selektywne efekty uczenia się, takie jak CS – US uczenie się w sytuacjach awaryjnych (Murphy i Baker, 2004; Rescorla, 1968) i trafność względna efekt (Wagner, Logan, Haberlandt i Price, 1968; patrz Rysunek 3.1C) podano dalej wsparcie dla względnej przewidywalności jako przeszkody w uczeniu się. Na przykład Wagner i wsp. Wykazali za pomocą złożonych wskazówek, że uczenie się o częściowym wzmocnieniu (50%) wskazówka została określona przez ważność wskazówek, które zostały z nią sparowane, takie, że poznanie CS3 w grupie eksperymentalnej był znacznie niższy niż w grupie kontrolnej group, ponieważ CS1 i CS2 były doskonałymi predyktorami występowania i nieobecności w USA. Plik próby sformalizowania tych względnych relacji zaowocowały jedną z najczęściej cytowanych teorii warunkowania i asocjacji oraz, bardziej ogólnie, psychologii: Rescorla– Model Wagnera (patrz Rescorla i Wagner, 1972; Siegel i Allan, 1996). Błąd prognozy Model zaczyna się nieco niewinnie, sugerując, że skojarzenia są funkcja różnicy między wartością, która reprezentuje aktywność wytwarzaną przez USA i suma asocjacyjnych sił bodźców obecnych w tym badaniu. w przeciwieństwie do Funkcja multiplikatywna Hebba, wykorzystanie różnic, zapewnia prosty sposób przedstawienia stopniowo zwalniającej krzywej obserwowanej w badaniach nad uczeniem się. Uczenie się wiąże się z większymi zmianami na początku treningu i mniejszymi zmianami w trakcie nauki lub gdy różnica maleje. Wcześniejsze teorie skupiały się na scharakteryzowaniu zmiany w wyuczonym zachowaniu (np. Hull, 1950), podczas gdy Rescorla – Wagner model wykorzystał ten błąd predykcji do opisania zmian wewnętrznych, poznawczych oczekiwania dla USA. Teoria Rescorli i Wagnera (1972), bardziej formalnie, proponuje, że uczenie się jest proces, w którym wskazówka zostaje skojarzona z jej postcedentami lub równoczesnymi elementami. Uczenie się jest funkcją różnicy między poziomem aktywacji wywołanym przez stanowisko (np. USA), reprezentowane przez wartość dla tego US (λ) i wartość suma (Σ) aktywacji dla tego USA wyprodukowanych przez dowolnych współpracowników (ΣV). Początkowo, potencjalni współpracownicy nie mają siły asocjacyjnej (VA = 0), więc różnica jest duża (λ> V). Na pierwszym i kolejnych doświadczeniach zmiana siły asocjacyjnej lub ilość nauki, która narasta jako funkcja tej różnicy. Formalnie to rozbieżność oczekiwań można scharakteryzować jako różnicę między przewidywaniami wygenerowane przez bieżące wskazówki w danym scenariuszu uczenia (tutaj reprezentowane przez suma dwóch pamięci A i B) i aktualny stan USA (λ). V k A A V VB k V (3.2) Błędy prognozowania i dopamina 55 Jeśli różnica jest dodatnia (λ> VA +), to warunki wspierają akwizycję A stowarzyszenie z USA. Lewy górny panel tabeli 3.1 pokazuje, że początkowo jeśli Stany Zjednoczone jest przedstawiona, ale powiązanie nie istnieje (V = 0), a następnie duża prognoza (PE = 1) jest skonfigurowany i powinno nastąpić uczenie się. Po uzyskaniu silnego skojarzenia (V = 1), jeśli wynik występuje wtedy nie przewiduje się błędu prognozy (lewy dolny panel 3.1). Różnica może być również ujemna; negatywny błąd przewidywania jest obecny, jeśli po nastąpiło przejęcie, powiązany wynik jest usuwany (λ = 0). W tym przypadku Mówi się, że CS występuje w stanie wyginięcia, więc λ V, jeśli po negatywnych oczekiwaniach ze strony Stanów Zjednoczonych następuje brak Stanów Zjednoczonych. Model zapewnia również proste wyjaśnienie selektywnych efektów uczenia się. Na przykład zapoznanie się z pierwszą wskazówką (A + ) w wynikach procedury blokowania Kamin w silnym związku między tą wskazówką a wynikiem. W drugiej fazie, kiedy obie wskazówki są trenowane, B nie nabywa siły asocjacyjnej z powodu prognozy błąd jest bliski zeru [(λ - ΣV) = 0], a zatem Stany Zjednoczone są nieskuteczne we wzmacnianiu powiązania B. Model zapewnia wyjaśnienie interakcji między wskazówkami a selekcją zjawisko asocjacji przedstawione w tabeli 3.2 (Wagner i Rescorla, 1972). W każdym spośród tych selektywnych efektów uczenia się jest to błąd przewidywania generowany przez sumę wskazówki przedstawione na próbie, która określa warunki uczenia się. W nauce z wielokrotnych wskazówek, jest to suma oczekiwań w USA, która określa błąd przewidywania. Nadmierne oczekiwanie (Kremer, 1978; Li i McNally, 2014) pojawia się, gdy wskazują na to dwie wskazówki zostali przeszkoleni niezależnie i dlatego mają silne skojarzenia z USA przedstawiono razem oraz z USA (patrz Tabela 3.2). Ponieważ te dwie wskazówki przewidują więcej niż siła asocjacyjna, którą λ może wspierać, ustala się negatywny błąd prognozowania: λ (VA + + VB–)]. W tych przypadkach, ani obecność Stanów Zjednoczonych, ani wcześniejsze poznanie wskazówki nie decyduje o tym powstają skojarzenia, ale uczenie się zależy od kombinacji obecne wskazówki. Tabela 3.2 Wielkość błędu prognozowania jako funkcja asocjacji bodźca siła i obecność wyniku w eksperymencie z wieloma wskazówkami. Wynik Występuje (λ = 1) Brak (λ = 0) Siła asocjacyjna bodźca (wynik oczekiwanie) V = –1 Super-uczenie A + AX– | BX + PE = +2 Wygaśnięcie zahamowania A + AX– | X– PE = +1 V = 0 Zwolnienie z blokowania A + AX– | ABX + PE = +1 Ochrona przed wyginięciem A + AX– B + | BX - PE = 0 V = + 1 blokowanie A + | AB + PE = 0 Warunkowe hamowanie A + | TOPÓR- PE = –1 V = +2 Przewidywanie A + B + | AB + PE = –1 Wygaśnięcie super-uczenia się A + AX– | BX + | B- PE = –2 Błędy prognozowania i dopamina 57 Podobna sytuacja pojawia się w przypadku błędów prognoz spowodowanych nieobecnością Stanów Zjednoczonych. W obecności inhibitora (B– ), brak USA może skutkować brakiem zmian asocjacyjna siła uprzednio wytrenowanej wskazówki, A [0 = (VA + + VB–)], efekt znany jako ochrona przed wyginięciem (np. Murphy, Baker i Fouquet, 2001) lub nawet wzrost siły asocjacyjnej, jeśli siła hamująca jest silniejsza niż siła pobudzenia [0

https://logicznezagadki.pl