Metoda Hellwiga, zwana również metodą optymalnego wyboru predyktant, metodą wskaźników pojemności informacji – formalna metoda doboru zmiennych objaśniających do modelu statystycznego (w szczególności modelu ekonometrycznego) stworzona w 1968 roku przez Zdzisława Hellwiga.

Zmienne, które wybieramy do modelu powinny być silnie skorelowane ze zmienną objaśnianą, a słabo skorelowane między sobą. Nie jest to jednak ścisłe kryterium doboru zmiennych, oprócz tego występuje kryterium liczbowe, tzw. pojemność integralna kombinacji nośników informacji. W tym przypadku nośnikami informacji są wszystkie zmienne objaśniające.

Liczba kombinacji

Jeżeli mamy ${\displaystyle m}$ potencjalnych zmiennych objaśniających, to liczba wszystkich kombinacji jest równa

${\displaystyle L=2^{m}-1.}$

Indywidualna pojemność nośników informacji

Dla wszystkich otrzymanych kombinacji definiujemy tzw. Indywidualną pojemność nośników informacji, która określona jest wzorem:

${\displaystyle h_{kj}={\frac {r_{j}^{2}}{1+\sum _{l=1,l\neq j}^{m_{k}}{|r_{lj}|}}},j=1,2,\dots ,m_{k},h_{kj}\in [0,1],}$

gdzie:

${\displaystyle k}$ – numer kombinacji ${\displaystyle (k=1,2,\dots ,2^{m}-1),}$

${\displaystyle m_{k}}$ – liczba zmiennych w ${\displaystyle k}$-tej kombinacji,

${\displaystyle j}$ – numer zmiennej w rozpatrywanej kombinacji,

${\displaystyle r_{j}}$ – współczynnik korelacji potencjalnej zmiennej objaśniającej o numerze j ze zmienną objaśnianą (element wektora ${\displaystyle R_{0}}$),

${\displaystyle r_{lj}}$ – współczynnik korelacji między ${\displaystyle l}$-tą i ${\displaystyle j}$-tą potencjalną zmienną objaśniającą (element macierzy ${\displaystyle R}$).

Wskaźnik ${\displaystyle h_{kj}}$ mierzy wielkość informacji jaką wnosi zmienna ${\displaystyle X_{j}}$ o zmiennej objaśnianej ${\displaystyle Y}$ w ${\displaystyle k}$-tej kombinacji. W związku z tym ${\displaystyle h_{kj}}$ wzrasta, jeżeli współczynnik korelacji ${\displaystyle r_{j}}$ wzrasta, a maleje im bardziej zmienna ${\displaystyle X_{j}}$ jest skorelowana z pozostałymi zmiennymi objaśniającymi.

Pojemność integralna kombinacji nośników informacji

Dopiero, gdy policzymy indywidualną pojemność nośników informacji dla wszystkich kombinacji, możemy obliczyć pojemność integralną kombinacji nośników informacji według wzoru:

${\displaystyle H_{k}=\sum _{j=1}^{m_{k}}{h_{kj}},k=1,2,\dots ,2^{m}-1,H_{k}\in [0,1],}$

gdzie:

${\displaystyle k}$ – numer kombinacji ${\displaystyle (k=1,2,\dots ,2_{m}-1),}$

${\displaystyle m_{k}}$ – liczba zmiennych w ${\displaystyle k}$-tej kombinacji,

${\displaystyle j}$ – numer zmiennej w rozpatrywanej kombinacji.

Pojemność integralna kombinacji nośników informacji dla ${\displaystyle k}$-tej kombinacji jest sumą indywidualnych pojemności nośników informacji, które wchodzą w skład tej kombinacji. Jest ona kryterium wyboru odpowiedniej kombinacji zmiennych objaśniających, a wybieramy tę kombinację, gdzie ${\displaystyle H_{k}}$ jest największa. Ze względu na znacząca liczbę kombinacji zmiennych, które należy porównać skonstruowana została metoda wykorzystująca kryterium Hellwiga w postaci zadania programowania binarnego, w którym licznik z kryterium Hellwiga jest funkcją celu, a mianownik jest podstawą do zbudowania warunków ograniczających.

Przykład

Dane są:

• zmienna endogeniczna ${\displaystyle Y,}$
• zbiór potencjalnych zmiennych objaśniających

${\displaystyle X=\{x_{1},\ x_{2},\ x_{3}\},}$

• wektor współczynników korelacji liniowej między zmiennymi egzogenicznymi i zmienną endogeniczną

${\displaystyle R_{0}={\begin{bmatrix}\ \ 0,4\\-0,9\\\ \ 0,6\end{bmatrix}},}$

• macierz współczynników korelacji między potencjalnymi zmiennymi objaśniającymi,

${\displaystyle R={\begin{bmatrix}1&0{,}2&-0{,}7\\0{,}2&1&0{,}5\\-0{,}7&0{,}5&1\end{bmatrix}}.}$

Liczba możliwych kombinacji zmiennych endogenicznych wynosi

${\displaystyle L=2^{3}-1=7.}$

• Kombinacje jednoelementowe:

${\displaystyle K_{1}=\{x_{1}\},}$

${\displaystyle K_{2}=\{x_{2}\},}$

${\displaystyle K_{3}=\{x_{3}\}.}$

• Kombinacje dwuelementowe:

${\displaystyle K_{4}=\{x_{1},\ x_{2}\},}$

${\displaystyle K_{5}=\{x_{1},\ x_{3}\},}$

${\displaystyle K_{6}=\{x_{2},\ x_{3}\}.}$

• Kombinacje trójelementowe:

${\displaystyle K_{7}=\{x_{1},\ x_{2},\ x_{3}\}.}$

Bibliografia

• A. Barczak, J. Biolik, Podstawy ekonometrii, Wydawnictwo AE Katowice, Katowice 2003, ISBN 83-87265-87-X.
• J. Dziechciarz, Ekonometria. Metody, przykłady, zadania, Wydawnictwo AE we Wrocławiu, Wrocław 2002, ISBN 83-7011-551-9.
• M. Rocki, Własność koincydencji i zmienne katalityczne w doborze zmiennych objaśniających za pomocą zadania programowania zerojedynkowego, „Przegląd Statystyczny” 1/2, Warszawa 2000, ISBN 83-7225-073-1.