Statystyka jest nauką, która zajmuje się szukaniem prawidłowości występujących w zjawiskach masowych i ich analizą. W teorii wnioskowania statystycznego oprócz zwykłego, powszechnie stosowanego oraz nauczanego podejścia zwanego klasycznym istnieje tzw. podejście bayesowskie. W ostatnich latach jego popularność znacznie wzrasta z uwagi na wiele zalet, którymi się wyróżnia w porównaniu z podejściem klasycznym [Congdon, 2007]. Niniejsza monografia składa się z dwóch głównych części: pierwszej, dotyczącej podstaw statystyki bayesowskiej, oraz drugiej, zawierającej estymację uogólnionych modeli liniowych, obejmujących szeroką grupę modeli w tym regresję liniową i regresję logistyczną. Część pierwsza, która została już opublikowana [Grzenda, 2012 b], stanowi podstawę do budowy modeli statystycznych zaprezentowanych w drugiej części niniejszej monografii. Zaletą niniejszego opracowania jest duża liczba przykładów zarówno analitycznych, jak i oszacowanych z wykorzystaniem programów SAS, WinBUGS oraz R. W ostatnim rozdziale pokazano przykłady praktycznego wykorzystania podejścia bayesowskiego w badaniach społeczno-ekonomicznych oraz demograficznych. Metody klasyczne są oparte wyłącznie na informacji zawartej w próbie losowej i uniemożliwiają wprowadzenie do procesu wnioskowania statystycznego dodatkowej informacji spoza próby. Jednak często informacja z próby nie jest jedyną wiedzą, jaką można wykorzystać w procesie wnioskowania statystycznego. Podejście bayesowskie [Gelman et al., 2000; Bernardo i Smith, 2004; Bolstad, 2007] daje możliwość uwzględnienia w badaniu informacji spoza próby. Mamy często taką dodatkową wiedzę a priori, którą warto wykorzystać w badaniu, np. z wcześniejszych analiz statystycznych. Wówczas otrzymane rezultaty mogą być dokładniejsze niż te uzyskane metodami klasycznymi, ale jeśli informacja a priori jest przypadkowa, wówczas otrzymane wyniki mogą być mało wiarygodne [Szreder, 1994]. Warto również podkreślić, że jeśli w podejściu bayesowskim wybierzemy nieinformacyjny rozkład a priori, to otrzymane wyniki będą analogiczne do tych uzyskanych metodami klasycznymi, jednak ich interpretacja będzie inna. W klasycznym modelu statystycznym wykorzystywane prawdopodobieństwa są miarą częstości, z jaką dane zjawisko występuje w długim ciągu powtórzeń w eksperymencie losowym, a zatem rozważane w modelowaniu wielkości są obiektywne. Zauważmy, że niektórych doświadczeń nie można powtórzyć przy tych samych warunkach, np. wyborów parlamentarnych czy prezydenckich, a w szczególności tych doświadczeń medycznych, w których badamy przeżycie. Ponadto w podejściu klasycznym parametry modelu są nieznanymi, ale określonymi stałymi. Natomiast w podejściu bayesowskim wykorzystuje się subiektywną interpretację prawdopodobieństwa, co oznacza, że jest ono traktowane jako stopień ufności lub przekonania o różnych wartościach szacowanego parametru [Bernardo i Smith, 2004; Bolstad, 2007]. Zatem w tym podejściu na zbiorze możliwych wartości parametru określa się rozkład wyrażający nasze wstępne przypuszczenia o nieznanym parametrze. W konsekwencji przyjmuje się, że szacowany parametr jest zmienną losową, w tym sensie, że różnym możliwym wartościom przypisuje się różne prawdopodobieństwa. Zatem przyjmując, że parametr jest zmienną losową, zakładamy też, że wiedzę na jego temat możemy opisać za pomocą rozkładu prawdopodobieństwa. Początkowy rozkład niezależny od wyników eksperymentu nazywamy rozkładem a priori, a mając już wiedzę na podstawie zaobserwowanego wyniku eksperymentu, wyznaczamy rozkład a posteriori. Łączenie subiektywnej wiedzy a priori i informacji pochodzącej z obserwowalnych danych, z wykorzystaniem twierdzenia Bayesa, stanowi podstawę metod bayesowskich. Twierdzenie Bayesa przekształca wiedzę posiadaną przed obserwacją oraz nową informację zawartą w empirycznych danych w prawdopodobieństwo a posteriori. W podejściu bayesowskim istotne jest to, aby rozkład a posteriori zawierał więcej informacji na temat szacowanych wielkości niż rozkład a priori. Wnioskowanie bayesowskie bazuje bowiem na rozkładach a posteriori otrzymanych na podstawie wzoru Bayesa. W przypadku bardziej skomplikowanych modeli wyznaczenie rozkładów a posteriori w sposób analityczny jest dość trudne, należy wówczas użyć metod symulacyjnych, do których zaliczamy metody Monte Carlo oparte na łańcuchach Markowa [np. Robert i Casella, 2004; Gamerman i Lopes, 2006]. Ponadto metody niebayesowskie mają pewne ograniczenia związane z wielkością próby, jaką dysponujemy w badaniu, ponieważ często wymagają wykorzystania twierdzeń granicznych. W przypadku podejścia bayesowskiego wnioskowanie dla małej i dużej próby wygląda analogicznie, dlatego że w przypadku małych prób w podejściu bayesowskim nie korzysta się z rozkładów granicznych.
Podsumowując: we wnioskowaniu bayesowskim można wyróżnić następujące kroki:
1. określenie modelu statystycznego zawierającego wiedzę a priori dotyczącą nieznanych parametrów modelu;
2. aktualizowanie wiedzy na temat nieznanych parametrów na podstawie dostępnych danych;
3. ocena dopasowania modelu i badanie jego wrażliwości na przyjęte założenia.
Niniejsza książka została napisana tak, aby w przystępny sposób przedstawić koncepcję metod statystycznych inną od powszechnie znanej. Zatem zakłada się, że czytelnik, który sięgnie po tę publikację, będzie dysponował elementarną wiedzą ze statystyki podstawowej dotyczącej estymacji punktowej, przedziałowej oraz weryfikacji hipotez. Niemniej jednak w celu usystematyzowania wiedzy i oznaczeń na początku zostały podane definicje podstawowych pojęć statystycznych wykorzystywanych w dalszej części monografii, aby czytelnik nie musiał sięgać do innych źródeł.Wnioskowanie statystyczne, w szczególności bayesowskie, wymaga znajomości teorii prawdopodobieństwa. Wybrane zagadnienia rachunku prawdopodobieństwa niezbędne w zrozumieniu statystyki bayesowskiej zostały omówione w pierwszym podrozdziale rozdziału pierwszego. W dalszej części tego rozdziału podajemy postać bayesowskiego modelu statystycznego oraz rozważamy pojęcie rozkładu a priori. Największą zaletą rozważanego podejścia jest bowiem możliwość uwzględnienia w badaniu dodatkowej informacji spoza próby. W rozdziale drugim przedstawiono metody symulacyjne wykorzystywane w modelowaniu bayesowskim, tj. metody Monte Carlo oparte na łańcuchach Markowa - MCMC. Podstawą metod MCMC jest generowanie ergodycznego łańcucha Markowa, który po upływie odpowiednio długiego czasu osiąga rozkład stacjonarny, zwany w podejściu bayesowskim rozkładem a posteriori. Rozdział ten został poświęcony podstawowym algorytmom metod MCMC, przedstawiono także algorytm Metropolisa, jego uogólnienie - algorytm Metropolisa-Hastingsa oraz próbnik Gibbsa. W rozdziale trzecim zostały omówione możliwości zastosowania twierdzenia Bayesa dla różnych typów rozkładów. Pierwszy podrozdział tego rozdziału dotyczy rozkładów skokowych. Rozważano rozkład dwumianowy przy ciągłych i dyskretnych rozkładach a priori oraz rozkład Poissona. W podrozdziale drugim uwagę skupiono głównie na rozkładzie normalnym, najczęściej wykorzystywanym we wnioskowaniu statystycznym. Kolejny rozdział poświęcono podstawowym formom wnioskowania statystycznego: estymacji punktowej, estymacji przedziałowej oraz weryfikacji hipotez statystycznych. W rozdziale tym porównuje się podejście klasyczne i bayesowskie ze wskazaniem istotnych różnic w ich stosowaniu. Ponadto przedstawiono szereg zalet wynikających ze stosowania podejścia bayesowskiego we wnioskowaniu statystycznym. Pokazano, że traktowanie szacowanych parametrów jako zmiennych losowych umożliwia otrzymanie większej wiedzy na ich temat. Wskazano na naturalną definicję przedziałów ufności w podejściu bayesowskim, zwanych w tym podejściu przedziałami największej wartości funkcji gęstości a posteriori. Pokazano, że przy weryfikacji hipotez istnieje możliwość przypisania rozważanym hipotezom określonych prawdopodobieństw. Podejście bayesowskie wymaga często wykorzystania pakietów komputerowych, zatem w tym rozdziale zostały również zaprezentowane przykłady zastosowań przedstawionych wcześniej zagadnień z wykorzystaniem programów SAS i WinBUGS. Przykłady zostały opisane szczegółowo, aby nawet osoby, które po raz pierwszy mają styczność z wykorzystanym oprogramowaniem, nie miały problemu z ich zrozumieniem. Rozdział piąty dotyczy bayesowskiej estymacji uogólnionych modeli liniowych. Przedstawiono w nim podstawy teoretyczne modelowania bayesowskiego oraz pokazano, w jaki sposób przeprowadza się estymację bayesowską uogólnionych modeli liniowych. Oszacowano szereg modeli regresji przy wyborze różnych rozkładów a priori. Zaprezentowano, w jaki sposób informacja a priori ze wcześniejszych badań wpływa na rozkłady a posteriori. Przykłady oparto na rzeczywistych danych dotyczących wybranych zagadnień społeczno-ekonomicznych oraz demograficznych. W estymacji wykorzystano programy SAS, WinBUGS i R.
[[[separator]]]
Statystyka jest nauką, która zajmuje się szukaniem prawidłowości występujących w zjawiskach masowych i ich analizą. W teorii wnioskowania statystycznego oprócz zwykłego, powszechnie stosowanego oraz nauczanego podejścia zwanego klasycznym istnieje tzw. podejście bayesowskie. W ostatnich latach jego popularność znacznie wzrasta z uwagi na wiele zalet, którymi się wyróżnia w porównaniu z podejściem klasycznym [Congdon, 2007]. Niniejsza monografia składa się z dwóch głównych części: pierwszej, dotyczącej podstaw statystyki bayesowskiej, oraz drugiej, zawierającej estymację uogólnionych modeli liniowych, obejmujących szeroką grupę modeli w tym regresję liniową i regresję logistyczną. Część pierwsza, która została już opublikowana [Grzenda, 2012 b], stanowi podstawę do budowy modeli statystycznych zaprezentowanych w drugiej części niniejszej monografii. Zaletą niniejszego opracowania jest duża liczba przykładów zarówno analitycznych, jak i oszacowanych z wykorzystaniem programów SAS, WinBUGS oraz R. W ostatnim rozdziale pokazano przykłady praktycznego wykorzystania podejścia bayesowskiego w badaniach społeczno-ekonomicznych oraz demograficznych. Metody klasyczne są oparte wyłącznie na informacji zawartej w próbie losowej i uniemożliwiają wprowadzenie do procesu wnioskowania statystycznego dodatkowej informacji spoza próby. Jednak często informacja z próby nie jest jedyną wiedzą, jaką można wykorzystać w procesie wnioskowania statystycznego. Podejście bayesowskie [Gelman et al., 2000; Bernardo i Smith, 2004; Bolstad, 2007] daje możliwość uwzględnienia w badaniu informacji spoza próby. Mamy często taką dodatkową wiedzę a priori, którą warto wykorzystać w badaniu, np. z wcześniejszych analiz statystycznych. Wówczas otrzymane rezultaty mogą być dokładniejsze niż te uzyskane metodami klasycznymi, ale jeśli informacja a priori jest przypadkowa, wówczas otrzymane wyniki mogą być mało wiarygodne [Szreder, 1994]. Warto również podkreślić, że jeśli w podejściu bayesowskim wybierzemy nieinformacyjny rozkład a priori, to otrzymane wyniki będą analogiczne do tych uzyskanych metodami klasycznymi, jednak ich interpretacja będzie inna. W klasycznym modelu statystycznym wykorzystywane prawdopodobieństwa są miarą częstości, z jaką dane zjawisko występuje w długim ciągu powtórzeń w eksperymencie losowym, a zatem rozważane w modelowaniu wielkości są obiektywne. Zauważmy, że niektórych doświadczeń nie można powtórzyć przy tych samych warunkach, np. wyborów parlamentarnych czy prezydenckich, a w szczególności tych doświadczeń medycznych, w których badamy przeżycie. Ponadto w podejściu klasycznym parametry modelu są nieznanymi, ale określonymi stałymi. Natomiast w podejściu bayesowskim wykorzystuje się subiektywną interpretację prawdopodobieństwa, co oznacza, że jest ono traktowane jako stopień ufności lub przekonania o różnych wartościach szacowanego parametru [Bernardo i Smith, 2004; Bolstad, 2007]. Zatem w tym podejściu na zbiorze możliwych wartości parametru określa się rozkład wyrażający nasze wstępne przypuszczenia o nieznanym parametrze. W konsekwencji przyjmuje się, że szacowany parametr jest zmienną losową, w tym sensie, że różnym możliwym wartościom przypisuje się różne prawdopodobieństwa. Zatem przyjmując, że parametr jest zmienną losową, zakładamy też, że wiedzę na jego temat możemy opisać za pomocą rozkładu prawdopodobieństwa. Początkowy rozkład niezależny od wyników eksperymentu nazywamy rozkładem a priori, a mając już wiedzę na podstawie zaobserwowanego wyniku eksperymentu, wyznaczamy rozkład a posteriori. Łączenie subiektywnej wiedzy a priori i informacji pochodzącej z obserwowalnych danych, z wykorzystaniem twierdzenia Bayesa, stanowi podstawę metod bayesowskich. Twierdzenie Bayesa przekształca wiedzę posiadaną przed obserwacją oraz nową informację zawartą w empirycznych danych w prawdopodobieństwo a posteriori. W podejściu bayesowskim istotne jest to, aby rozkład a posteriori zawierał więcej informacji na temat szacowanych wielkości niż rozkład a priori. Wnioskowanie bayesowskie bazuje bowiem na rozkładach a posteriori otrzymanych na podstawie wzoru Bayesa. W przypadku bardziej skomplikowanych modeli wyznaczenie rozkładów a posteriori w sposób analityczny jest dość trudne, należy wówczas użyć metod symulacyjnych, do których zaliczamy metody Monte Carlo oparte na łańcuchach Markowa [np. Robert i Casella, 2004; Gamerman i Lopes, 2006]. Ponadto metody niebayesowskie mają pewne ograniczenia związane z wielkością próby, jaką dysponujemy w badaniu, ponieważ często wymagają wykorzystania twierdzeń granicznych. W przypadku podejścia bayesowskiego wnioskowanie dla małej i dużej próby wygląda analogicznie, dlatego że w przypadku małych prób w podejściu bayesowskim nie korzysta się z rozkładów granicznych. Podsumowując: we wnioskowaniu bayesowskim można wyróżnić następujące kroki: 1. określenie modelu statystycznego zawierającego wiedzę a priori dotyczącą nieznanych parametrów modelu; 2. aktualizowanie wiedzy na temat nieznanych parametrów na podstawie dostępnych danych; 3. ocena dopasowania modelu i badanie jego wrażliwości na przyjęte założenia. Niniejsza książka została napisana tak, aby w przystępny sposób przedstawić koncepcję metod statystycznych inną od powszechnie znanej. Zatem zakłada się, że czytelnik, który sięgnie po tę publikację, będzie dysponował elementarną wiedzą ze statystyki podstawowej dotyczącej estymacji punktowej, przedziałowej oraz weryfikacji hipotez. Niemniej jednak w celu usystematyzowania wiedzy i oznaczeń na początku zostały podane definicje podstawowych pojęć statystycznych wykorzystywanych w dalszej części monografii, aby czytelnik nie musiał sięgać do innych źródeł.Wnioskowanie statystyczne, w szczególności bayesowskie, wymaga znajomości teorii prawdopodobieństwa. Wybrane zagadnienia rachunku prawdopodobieństwa niezbędne w zrozumieniu statystyki bayesowskiej zostały omówione w pierwszym podrozdziale rozdziału pierwszego. W dalszej części tego rozdziału podajemy postać bayesowskiego modelu statystycznego oraz rozważamy pojęcie rozkładu a priori. Największą zaletą rozważanego podejścia jest bowiem możliwość uwzględnienia w badaniu dodatkowej informacji spoza próby. W rozdziale drugim przedstawiono metody symulacyjne wykorzystywane w modelowaniu bayesowskim, tj. metody Monte Carlo oparte na łańcuchach Markowa - MCMC. Podstawą metod MCMC jest generowanie ergodycznego łańcucha Markowa, który po upływie odpowiednio długiego czasu osiąga rozkład stacjonarny, zwany w podejściu bayesowskim rozkładem a posteriori. Rozdział ten został poświęcony podstawowym algorytmom metod MCMC, przedstawiono także algorytm Metropolisa, jego uogólnienie - algorytm Metropolisa-Hastingsa oraz próbnik Gibbsa. W rozdziale trzecim zostały omówione możliwości zastosowania twierdzenia Bayesa dla różnych typów rozkładów. Pierwszy podrozdział tego rozdziału dotyczy rozkładów skokowych. Rozważano rozkład dwumianowy przy ciągłych i dyskretnych rozkładach a priori oraz rozkład Poissona. W podrozdziale drugim uwagę skupiono głównie na rozkładzie normalnym, najczęściej wykorzystywanym we wnioskowaniu statystycznym. Kolejny rozdział poświęcono podstawowym formom wnioskowania statystycznego: estymacji punktowej, estymacji przedziałowej oraz weryfikacji hipotez statystycznych. W rozdziale tym porównuje się podejście klasyczne i bayesowskie ze wskazaniem istotnych różnic w ich stosowaniu. Ponadto przedstawiono szereg zalet wynikających ze stosowania podejścia bayesowskiego we wnioskowaniu statystycznym. Pokazano, że traktowanie szacowanych parametrów jako zmiennych losowych umożliwia otrzymanie większej wiedzy na ich temat. Wskazano na naturalną definicję przedziałów ufności w podejściu bayesowskim, zwanych w tym podejściu przedziałami największej wartości funkcji gęstości a posteriori. Pokazano, że przy weryfikacji hipotez istnieje możliwość przypisania rozważanym hipotezom określonych prawdopodobieństw. Podejście bayesowskie wymaga często wykorzystania pakietów komputerowych, zatem w tym rozdziale zostały również zaprezentowane przykłady zastosowań przedstawionych wcześniej zagadnień z wykorzystaniem programów SAS i WinBUGS. Przykłady zostały opisane szczegółowo, aby nawet osoby, które po raz pierwszy mają styczność z wykorzystanym oprogramowaniem, nie miały problemu z ich zrozumieniem. Rozdział piąty dotyczy bayesowskiej estymacji uogólnionych modeli liniowych. Przedstawiono w nim podstawy teoretyczne modelowania bayesowskiego oraz pokazano, w jaki sposób przeprowadza się estymację bayesowską uogólnionych modeli liniowych. Oszacowano szereg modeli regresji przy wyborze różnych rozkładów a priori. Zaprezentowano, w jaki sposób informacja a priori ze wcześniejszych badań wpływa na rozkłady a posteriori. Przykłady oparto na rzeczywistych danych dotyczących wybranych zagadnień społeczno-ekonomicznych oraz demograficznych. W estymacji wykorzystano programy SAS, WinBUGS i R.
Statystyka jest nauką, która zajmuje się szukaniem prawidłowości występujących w zjawiskach masowych i ich analizą. W teorii wnioskowania statystycznego oprócz zwykłego, powszechnie stosowanego oraz nauczanego podejścia zwanego klasycznym istnieje tzw. podejście bayesowskie. W ostatnich latach jego popularność znacznie wzrasta z uwagi na wiele zalet, którymi się wyróżnia w porównaniu z podejściem klasycznym [Congdon, 2007]. Niniejsza monografia składa się z dwóch głównych części: pierwszej, dotyczącej podstaw statystyki bayesowskiej, oraz drugiej, zawierającej estymację uogólnionych modeli liniowych, obejmujących szeroką grupę modeli w tym regresję liniową i regresję logistyczną. Część pierwsza, która została już opublikowana [Grzenda, 2012 b], stanowi podstawę do budowy modeli statystycznych zaprezentowanych w drugiej części niniejszej monografii. Zaletą niniejszego opracowania jest duża liczba przykładów zarówno analitycznych, jak i oszacowanych z wykorzystaniem programów SAS, WinBUGS oraz R. W ostatnim rozdziale pokazano przykłady praktycznego wykorzystania podejścia bayesowskiego w badaniach społeczno-ekonomicznych oraz demograficznych. Metody klasyczne są oparte wyłącznie na informacji zawartej w próbie losowej i uniemożliwiają wprowadzenie do procesu wnioskowania statystycznego dodatkowej informacji spoza próby. Jednak często informacja z próby nie jest jedyną wiedzą, jaką można wykorzystać w procesie wnioskowania statystycznego. Podejście bayesowskie [Gelman et al., 2000; Bernardo i Smith, 2004; Bolstad, 2007] daje możliwość uwzględnienia w badaniu informacji spoza próby. Mamy często taką dodatkową wiedzę a priori, którą warto wykorzystać w badaniu, np. z wcześniejszych analiz statystycznych. Wówczas otrzymane rezultaty mogą być dokładniejsze niż te uzyskane metodami klasycznymi, ale jeśli informacja a priori jest przypadkowa, wówczas otrzymane wyniki mogą być mało wiarygodne [Szreder, 1994]. Warto również podkreślić, że jeśli w podejściu bayesowskim wybierzemy nieinformacyjny rozkład a priori, to otrzymane wyniki będą analogiczne do tych uzyskanych metodami klasycznymi, jednak ich interpretacja będzie inna. W klasycznym modelu statystycznym wykorzystywane prawdopodobieństwa są miarą częstości, z jaką dane zjawisko występuje w długim ciągu powtórzeń w eksperymencie losowym, a zatem rozważane w modelowaniu wielkości są obiektywne. Zauważmy, że niektórych doświadczeń nie można powtórzyć przy tych samych warunkach, np. wyborów parlamentarnych czy prezydenckich, a w szczególności tych doświadczeń medycznych, w których badamy przeżycie. Ponadto w podejściu klasycznym parametry modelu są nieznanymi, ale określonymi stałymi. Natomiast w podejściu bayesowskim wykorzystuje się subiektywną interpretację prawdopodobieństwa, co oznacza, że jest ono traktowane jako stopień ufności lub przekonania o różnych wartościach szacowanego parametru [Bernardo i Smith, 2004; Bolstad, 2007]. Zatem w tym podejściu na zbiorze możliwych wartości parametru określa się rozkład wyrażający nasze wstępne przypuszczenia o nieznanym parametrze. W konsekwencji przyjmuje się, że szacowany parametr jest zmienną losową, w tym sensie, że różnym możliwym wartościom przypisuje się różne prawdopodobieństwa. Zatem przyjmując, że parametr jest zmienną losową, zakładamy też, że wiedzę na jego temat możemy opisać za pomocą rozkładu prawdopodobieństwa. Początkowy rozkład niezależny od wyników eksperymentu nazywamy rozkładem a priori, a mając już wiedzę na podstawie zaobserwowanego wyniku eksperymentu, wyznaczamy rozkład a posteriori. Łączenie subiektywnej wiedzy a priori i informacji pochodzącej z obserwowalnych danych, z wykorzystaniem twierdzenia Bayesa, stanowi podstawę metod bayesowskich. Twierdzenie Bayesa przekształca wiedzę posiadaną przed obserwacją oraz nową informację zawartą w empirycznych danych w prawdopodobieństwo a posteriori. W podejściu bayesowskim istotne jest to, aby rozkład a posteriori zawierał więcej informacji na temat szacowanych wielkości niż rozkład a priori. Wnioskowanie bayesowskie bazuje bowiem na rozkładach a posteriori otrzymanych na podstawie wzoru Bayesa. W przypadku bardziej skomplikowanych modeli wyznaczenie rozkładów a posteriori w sposób analityczny jest dość trudne, należy wówczas użyć metod symulacyjnych, do których zaliczamy metody Monte Carlo oparte na łańcuchach Markowa [np. Robert i Casella, 2004; Gamerman i Lopes, 2006]. Ponadto metody niebayesowskie mają pewne ograniczenia związane z wielkością próby, jaką dysponujemy w badaniu, ponieważ często wymagają wykorzystania twierdzeń granicznych. W przypadku podejścia bayesowskiego wnioskowanie dla małej i dużej próby wygląda analogicznie, dlatego że w przypadku małych prób w podejściu bayesowskim nie korzysta się z rozkładów granicznych. Podsumowując: we wnioskowaniu bayesowskim można wyróżnić następujące kroki: 1. określenie modelu statystycznego zawierającego wiedzę a priori dotyczącą nieznanych parametrów modelu; 2. aktualizowanie wiedzy na temat nieznanych parametrów na podstawie dostępnych danych; 3. ocena dopasowania modelu i badanie jego wrażliwości na przyjęte założenia. Niniejsza książka została napisana tak, aby w przystępny sposób przedstawić koncepcję metod statystycznych inną od powszechnie znanej. Zatem zakłada się, że czytelnik, który sięgnie po tę publikację, będzie dysponował elementarną wiedzą ze statystyki podstawowej dotyczącej estymacji punktowej, przedziałowej oraz weryfikacji hipotez. Niemniej jednak w celu usystematyzowania wiedzy i oznaczeń na początku zostały podane definicje podstawowych pojęć statystycznych wykorzystywanych w dalszej części monografii, aby czytelnik nie musiał sięgać do innych źródeł.Wnioskowanie statystyczne, w szczególności bayesowskie, wymaga znajomości teorii prawdopodobieństwa. Wybrane zagadnienia rachunku prawdopodobieństwa niezbędne w zrozumieniu statystyki bayesowskiej zostały omówione w pierwszym podrozdziale rozdziału pierwszego. W dalszej części tego rozdziału podajemy postać bayesowskiego modelu statystycznego oraz rozważamy pojęcie rozkładu a priori. Największą zaletą rozważanego podejścia jest bowiem możliwość uwzględnienia w badaniu dodatkowej informacji spoza próby. W rozdziale drugim przedstawiono metody symulacyjne wykorzystywane w modelowaniu bayesowskim, tj. metody Monte Carlo oparte na łańcuchach Markowa - MCMC. Podstawą metod MCMC jest generowanie ergodycznego łańcucha Markowa, który po upływie odpowiednio długiego czasu osiąga rozkład stacjonarny, zwany w podejściu bayesowskim rozkładem a posteriori. Rozdział ten został poświęcony podstawowym algorytmom metod MCMC, przedstawiono także algorytm Metropolisa, jego uogólnienie - algorytm Metropolisa-Hastingsa oraz próbnik Gibbsa. W rozdziale trzecim zostały omówione możliwości zastosowania twierdzenia Bayesa dla różnych typów rozkładów. Pierwszy podrozdział tego rozdziału dotyczy rozkładów skokowych. Rozważano rozkład dwumianowy przy ciągłych i dyskretnych rozkładach a priori oraz rozkład Poissona. W podrozdziale drugim uwagę skupiono głównie na rozkładzie normalnym, najczęściej wykorzystywanym we wnioskowaniu statystycznym. Kolejny rozdział poświęcono podstawowym formom wnioskowania statystycznego: estymacji punktowej, estymacji przedziałowej oraz weryfikacji hipotez statystycznych. W rozdziale tym porównuje się podejście klasyczne i bayesowskie ze wskazaniem istotnych różnic w ich stosowaniu. Ponadto przedstawiono szereg zalet wynikających ze stosowania podejścia bayesowskiego we wnioskowaniu statystycznym. Pokazano, że traktowanie szacowanych parametrów jako zmiennych losowych umożliwia otrzymanie większej wiedzy na ich temat. Wskazano na naturalną definicję przedziałów ufności w podejściu bayesowskim, zwanych w tym podejściu przedziałami największej wartości funkcji gęstości a posteriori. Pokazano, że przy weryfikacji hipotez istnieje możliwość przypisania rozważanym hipotezom określonych prawdopodobieństw. Podejście bayesowskie wymaga często wykorzystania pakietów komputerowych, zatem w tym rozdziale zostały również zaprezentowane przykłady zastosowań przedstawionych wcześniej zagadnień z wykorzystaniem programów SAS i WinBUGS. Przykłady zostały opisane szczegółowo, aby nawet osoby, które po raz pierwszy mają styczność z wykorzystanym oprogramowaniem, nie miały problemu z ich zrozumieniem. Rozdział piąty dotyczy bayesowskiej estymacji uogólnionych modeli liniowych. Przedstawiono w nim podstawy teoretyczne modelowania bayesowskiego oraz pokazano, w jaki sposób przeprowadza się estymację bayesowską uogólnionych modeli liniowych. Oszacowano szereg modeli regresji przy wyborze różnych rozkładów a priori. Zaprezentowano, w jaki sposób informacja a priori ze wcześniejszych badań wpływa na rozkłady a posteriori. Przykłady oparto na rzeczywistych danych dotyczących wybranych zagadnień społeczno-ekonomicznych oraz demograficznych. W estymacji wykorzystano programy SAS, WinBUGS i R.
Opis
Wstęp
Spis treści
