Thorndike i prawo efektu

Warunkowanie instrumentalne, nazywane też warunkowaniem sprawczym, pierwotnie było badane przez Edwarda L.Thorndike (1874–1949), który obserwował zachowanie kotów starających się wydostać ze sporządzanych przez niego skrzynek problemowych. Początkowo koty po raz pierwszy umieszczone w skrzynce problemowej potrzebowały dużo czasu na to, żeby z nich się wydostać. Później, gromadząc doświadczenie, nieadaptacyjne zachowania kotów nieprowadzące do satysfakcjonującego rezultatu były przejawiane coraz rzadziej, a częstość zachowań skutkujących pożądanym wynikiem zwiększała się i zwierzę potrzebowało coraz mniej czasu, żeby odnaleźć rozwiązanie. W prawie efektu Thorndike założył, że reakcja wzmocniona osiągnięciem pożądanych skutków podnosi prawdopodobieństwo ponownego wystąpienia tej reakcji w przyszłości, lecz zachowania prowadzące do niepożądanych konsekwencji zmniejszają prawdopodobieństwo pojawienie się takich zachowań w przyszłości. Precyzując, niektóre skutki wzmacniają reakcje, a niektóre je hamują/wygaszają.

Większość ludzkich działań jest zdeterminowana poprzez procedurę warunkowania sprawczego. Często warunkowanie sprawcze nie jest ukierunkowane bezpośrednio na to, żeby kogoś uwarunkować, lecz mimo to jednak zachodzi w sposób pośredni. Warunkowanie sprawcze to naturalna technika nauczania, która jest stosowana od tysięcy lat, aczkolwiek nie było szczegółowo badane przed eksperymentami Thorndike’a na początku XX wieku.

Skinner

Za twórcę procedur warunkowania instrumentalnego uważa się B.F. Skinnera. Twierdził on, że czynnikami najsilniej wpływającymi na zachowanie są konsekwencje, czyli to, co następuje bezpośrednio po zachowaniu. Nie był on jednak pierwszym psychologiem, który zwrócił uwagę na koncepcję nagród i kar. Swoją ideę Skinner zapożyczył od Edwarda Thorndike’a, który w swoich eksperymentach nad zwierzętami zwrócił uwagę na prawo efektu. Bazując na wynikach Thornidke’a, Skinner oczyścił je z subiektywnych i nienaukowych spekulacji na temat uczuć, zamiarów czy celów organizmu. Jako radykalny behawiorysta, Skinner odrzucił myślenie o tym, co dzieje się w psychice danego organizmu, ponieważ niemożliwe było sprawdzenie tego podczas obserwacji.

Technikę wzmacniania Skinner opracował przy użyciu „komory sprawczej”, zwanej również skrzynką Skinnera, w której znajdowała się dźwignia przy naciśnięciu której zwierzę otrzymywało pokarm. Jej główną zaletą była możliwość kontrolowania układu wzmocnień, czasu i częstości występowania, które to czynniki wywierają znaczny wpływ na zachowanie. Skonstruowana została również maszyna, która tworzyła wykresy raportowe. Wykresy te były głównymi danymi, z których Skinner i jego współpracownicy korzystali. Na podstawie owych wyników wyprowadzono wniosek, że proces wzmacniania można zoperacjonalizować jako jakąkolwiek procedurę, która dostarcza organizmowi wzmocnienia według szczegółowej i sprecyzowanej reguły. Istotę zjawiska wzmocnienia można określić w tym, że jakakolwiek reakcja, która zostanie wzmocniona, ma tendencję do powtarzania się. Natomiast reakcje, które nie zostały w żaden sposób wzmocnione mają tendencje do stopniowego zaniku reakcji, czyli wygaszania.

Inne pojęcia i procedury związane z warunkowaniem sprawczym

• Warunkowanie ucieczki – rodzaj uczenia się, w którym zastosowanie ma wzmocnienie negatywne. Jest to nauka reakcji organizmu, która powoduje ustanie działania bodźca awersyjnego. Dla przykładu: osoba uczy się otwierać parasol podczas burzy by uniknąć nieprzyjemnego bodźca, jakim jest deszcz.

• Warunkowanie unikania – drugi rodzaj uczenia się, w którym zastosowanie ma wzmocnienie negatywne. Jest to nauka reakcji przez organizm, która nastawiona jest na zapobieganie działania bodźca awersyjnego zanim się pojawi. Dla przykładu: samochód jest wyposażony w irytujący dźwięk przypominający o zapięciu pasów: by uniknąć dźwięku osoba uczy się je zapinać zanim pojawi się brzęczyk.

• Rozkłady wzmacniania – różne reguły podawania wzmocnienia sporadycznych. Występują w dwóch formach: rozkłady stosunkowe oraz rozkłady interwałowe.

1. Rozkłady stosunkowe

a) Rozkłady wzmacniania według stałych proporcji – wzmocnienie podaje się po wykonaniu przez osobę ustalonej liczby reakcji. Dla przykładu: można podawać wzmocnienie co 10 prawidłowo wykonanych reakcji.

b) Rozkłady wzmacniania według zmiennych proporcji – wzmocnienie podaje się po pierwszej reakcji, która pojawi się po zmiennej liczbie reakcji, której średnia jest z góry ustalona. Taki rozkład wzmocnień daje najlepsze rezultaty – najszybsze tempo reagowania oraz największą odporność na wygaszanie. Przykładem tutaj mogą być wzmocnienia dostarczane przez gry hazardowe.

2. Rozkłady interwałowe

a) Rozkłady wzmacniania o stałych odstępach czasowych – wzmocnienie podaje się po pierwszej reakcji, która się pojawi po upływie ustalonego czasu od poprzedniego wzmocnienia. Dla przykładu: wzmocnienie może być podawane co 10 minut, reakcje występujące między tym czasem nie są wzmacniane. Zwykle powoduje niskie tempo reagowania.

b) Rozkłady wzmacniania o zmiennych odstępach czasowych – wzmocnienie podaje się po pierwszej reakcji, która pojawi się po upływie z góry ustalonej przeciętnej długości czasu od poprzedniego wzmocnienia. Przykładowo, odstęp czasowy można ustalić 30 sekundowy, następnie 3 minutowy a potem 1 minutowy.

• Bodźce dyskryminacyjne – bodziec, który sygnalizuje wzmocnienie, oraz kiedy określone zachowanie przyniesie w rezultacie wzmocnienie pozytywne. Organizm uczy się w obecności jakich bodźców jego zachowanie będzie miało z danym prawdopodobieństwem określony wpływ na środowisko. Bodźce te sygnalizują warunki do pojawienia się, bądź nie danej reakcji. Przykładowo osoba nauczona reakcji na światło zielone oznaczające pozwolenie do jazdy, nie reaguje w ten sam sposób na każde światło, a jedynie na zielone.

• Generalizacja – zjawisko, polegające na rozszerzaniu reakcji powstałej w wyniku warunkowania, na inne bodźce podobne do bodźca dyskryminacyjnego. Przykładowo: reakcja została uwarunkowana w obecności zielonego światła i występuje zarówno przy świetle jasnozielonym, jak i ciemnozielonym.

Możliwe sposoby łączenia reakcji z czynnikami wzmacniającymi

Wzmocnienia ciągłe jest to typ rozkładu wzmocnień, w którym wzmacnianie są wszystkie poprawne reakcje. Użyteczny sposób na początku procesu uczenie się, ponieważ pojawiająca się nagroda za poprawną reakcję i jej brak za niepoprawną są informacją zwrotną. Znajduje on też zastosowanie w procesie kształtowania- technika uczenia się sprawczego, która prowadzi do pojawienia się nowych zachowań, poprzez wzmacnianie reakcji podobnych do reakcji pożądanej (np. nauka czytania w szkole). Negatywną stroną tego rozkładu jest fakt, że każde, jednorazowe nienagrodzenie pozytywnej reakcji prowadzi do interpretacji, że jest ona reakcją niepoprawną. Ponadto wraz z coraz większym nasyceniem organizmu nagrodami maleje ich moc sprawcza. Wzmocnienia sporadyczne zwane także wzmocnieniem częściowym jest to typ rozkładu wzmocnienia, w którym wzmacnianie są niektóre, lecz nie wszystkie reakcje poprawne; stosowany, gdy pożądana reakcja została już dobrze wyuczona. Taki rozkład wzmocnień jest najskuteczniejszym sposobem na podtrzymania wyuczonych wcześniej zachowań. Jego zaletą jest odporność na wygaszanie, czyli proces, w którym wyuczona reakcja zostaje osłabiona ze względu na brak wzmocnień. Wzmocnienie sporadyczne może przebiegać w dwóch głównych formach: w rozkładzie stosunkowym i w rozkładzie interwałowym. Rozkład stosunkowy to taki program, w którym nagroda pojawia się po jakiejś liczbie poprawnych reakcji. Można wyróżnić dwie subkategorie w obrębie tego konstrukt: rozkłady wzmocnień według stałych proporcji, gdzie wzmocnienie pojawia się po pewnej niezmiennej liczbie poprawnych reakcji oraz rozkłady wzmocnień według zmiennych proporcji, gdzie liczba reakcji potrzebnych do uzyskania wzmocnienia zmienia się z próby na próbę. Drugą możliwą formą są rozkłady interwałowe, gdzie pojawianie się wzmocnienia zależy od czasu, jaki upłynął od ostatniego wzmocnienia. Istnieją dwie formy takiego rozkładu. Pierwszą z nich są rozkłady wzmocnienia o stałych odstępach czasowych, gdzie nagroda pojawia się po upływie stałego czasu. Drugą zaś są rozkłady wzmocnienia o zmiennych odstępach czasowych, w których wzmocnienie pojawia się po pewnym czasie, który zmienia się z próby na próbę.

Uczenie się awersji do smaku

Przykładem silnie ewolucyjnego mechanizmu opartego na warunkowaniu unikania jest uczenie się awersji do smaku. W przypadku wystąpienia objawów zatrucia po spożyciu danego pokarmu, zwierzęta uczą się unikać tego konkretnego pożywienia. Awersja do smaku, w porównaniu do innych mechanizmów uczenia się, jest zjawiskiem szczególnym. Zostaje wyuczona w konsekwencji tylko jednorazowego kontaktu z bodźcem awersyjnym i wystąpienie jej możliwe jest nawet w przypadku długiej przerwy między spożyciem pokarmu a wystąpieniem objawów. Co więcej, jest oporna na wygaszanie.