\documentclass[11pt]{article}

\usepackage[english,polish]{babel}
\usepackage[T1]{fontenc}
\usepackage[cp1250]{inputenc}
\usepackage{amsmath}
\usepackage{amsfonts}
\usepackage{geometry}
\geometry{lmargin=2cm, rmargin=2cm, bottom=3cm, top=3cm}

\newcommand{\red}[1]{{\color{red}#1}}
\newcommand{\blu}[1]{{\color{blue}#1}}


%------------------------------------------------------------------------------
% SYMBOLE STANDARDOWE
%------------------------------------------------------------------------------
\DeclareMathSymbol{\leqslant}     {\mathrel}{AMSa}{"36}
\DeclareMathSymbol{\geqslant}     {\mathrel}{AMSa}{"3E}

\def\leq{\leqslant}
\def\geq{\geqslant}
 

\def\Rl{\mathbb{R}}
\def\Pr{\mathbb{P}}
\def\Ex{\mathbb{E}}
\def\Ind{\mathbb{I}}
\def\var{{\rm Var}}
\def\cov{{\rm Cov}}
\def\corr{{\rm corr}}
\def\t{{^\top}}
\def\e{{\rm e}}
\def\XX{{\mathbf X}}
\def\xx{{\mathbf x}}
\def\VV{{\mathbf V}}
\def\Zero{{\mathbf 0}}
\def\th{{\theta}}
\def\eps{{\varepsilon}}
\def\nor{{\rm N}}
\def\uni{{\rm U}}

\begin{document}
\selectlanguage{polish}
%------------------------------------------------------------------------------
\begin{center}
{\bf Egzamin: Statystyka Bayesowska}
\medskip

II termin, MIMUW, luty 2018.
\end{center}

%\date{}
%------------------------------------------------------------------

\begin{enumerate}
 \item Zakładamy, że znamy łączny rozkład zmiennych losowych $(X,Y)$,  przy tym $\Ex X^2<\infty$ i $\Ex Y^2<\infty$. 
 Poszukujemy takiej liniowej funkcji $\beta^* X$ (bez wyrazu wolnego), że $\Ex (Y-\beta^* X)^2=\min_\beta\Ex (Y-\beta X)^2$.
 \begin{enumerate}
  \item Znajdź ogólny wzór na optymalny współczynnik $\beta^*$. 
  \item Znajdź ogólny wzór na minimum BŚK $=\Ex (Y-\beta^* X)^2$. 
  \item Rozważmy model bayesowski: $X_1,\ldots,X_n|\th\sim_{\rm i.i.d.}\nor(\th,\sigma^2)$, rozkład \textit{a priori} parametru:  $\th\sim\nor(\mu,v^2)$. 
   Hiperparametry $\sigma^2, \mu,v^2$ są znane. Oblicz
  wspólczynnik $\beta^*$ liniowej funkcji $\beta^* \bar X$ bez wyrazu wolnego, najlepiej przybliżającej zmienną $\th$ w sensie BŚK.   
\textit{Wskazówka:} Warto posłużyć się zmiennymi $\eps_i=X_i-\th$ (podobnie jak na ćwiczeniach). 
 \end{enumerate}


 
%------------------------------------------------------------------

\item Obserwowane zmienne losowe $X_1,\ldots,X_n$ są, przy danej wartości parametru $\th$, warunkowo niezależne
 i każda z nich ma  rozkład prawdopodobieństwa (przesunięty wykładniczy) o gęstości
$$f(x|\th)=\e^{-(x-\th)}\Ind( x\geq \th).$$
 
Parametr $\th$ ma jednostajny rozkład \textit{a priori}, $\th\sim\uni(0,1)$, czyli $\pi(\th)=\Ind(0\leq \th\leq 1)$.
 \begin{enumerate}
 \item  Oblicz rozkład a posteriori $\th|X_1,\ldots,X_n$.
 \item Znajdź Bayesowski zbiór ufności (\textit{credible region}) na poziomie ufności $1-\alpha$ o najmniejszej mierze Lebesgue'a.
 \item Rozważamy zagadnienie testowania $H_0:\th=1$ przeciw $H_1:\th\sim \pi(\cdot)$. Oblicz czynnik Bayesa (BF).  
 \end{enumerate}

\textit{Wskazówka:} Możesz ograniczyć sie do rozważenia przypadku, gdy $\min(X_1,\ldots,X_n)>1$.

 %------------------------------------------------------------------
 \item Rozważamy następujący model klasyfikacji: obserwujemy wektor losowy $X$ w $\Rl^d$, który należy do jednej z dwóch klas, 
 $c=1$ lub $c=2$.
 Prawdopodobieństwa \textit{a priori} obu klas są równe, $1/2=\Pr(C=1)=\Pr(C=2)$. Rozkłady prawdopodobieństwa w obu klasach są
 normalne, z jednakowymi macierzami kowariancji, $X|c\sim\nor(\mu_c,V)$. Macierz $V$ jest znana i dodatnio określona.
 Rozważmy zadanie klasyfikacji z ,,zawieszaniem decyzji'', czyli poszukujemy reguły decyzyjnej $\delta:\Rl^d\to \{1,2,0\}$, która minimalizuje ryzyko 
 $r(\delta)=\Ex\ell(C,\delta(X))$ dla funkcji straty
 $$\ell(c,\delta(x))=\begin{cases}
                      1        &\text{ dla } c\not=\delta(x), \delta(x)\not=0 \text{ (błędna klasyfikacja)};\\
                      0        &\text{ dla } c=\delta(x) \text{ (poprawna  klasyfikacja)};\\
                      \lambda  &\text{ dla } \delta(x)=0 \text{ (zawieszanie decyzji)}.\\
 
                     \end{cases}$$
Zakładamy, że $\lambda<1/2$.
 \begin{enumerate}
  \item Znajdź optymalną (Bayesowską) regułę $\delta^*$.
  \item Podaj wzór na prawdopodobieństwo zawieszania decyzji $\Pr(\delta^*(X)=0)$ dla reguły Bayesowskiej,  w zależności od
  odległości Mahalanobisa $D(\mu_1,\mu_2)=\left((\mu_2-\mu_1)^\top V^{-1}(\mu_2-\mu_1)\right)^{1/2}$.
  \item Podaj wzór na ryzyko $r(\delta^*)$ dla reguły Bayesowskiej,  w zależności od
  odległości Mahalanobisa.
 \end{enumerate}
\underline{Wskazówki:} Na ćwiczeniach obliczaliśmy w tym modelu logarytm ilorazu szans, 
$$\log\frac{\Pr(C=2|x)}{\Pr(C=1|x)}=(\mu_2-\mu_1)^\top V^{-1}\left(x-\frac{1}{2}(\mu_1+\mu_2)\right).$$ 
Pamiętaj, że jeśli $X\sim\nor(\mu,V)$, to $b^\top(X-a)\sim\nor(b^\top(\mu-a),b^\top V b)$, dla $a,b\in\Rl^d$.
 
%-------------------------------------------------------------------------------------------------------------
\item  W urnie znajduje się $b$ białych kul i $c$ kul czerwonych. Losujemy kolejno, jedną 
po drugiej, bez zwracania $n$ kul.


\begin{enumerate}
 \item Oblicz prawdopodobieństwo, że pierwsza z wylosowanych kul była biała, jeśli wiadomo, że ostatnia, $n$-ta wylosowana kula 
       jest biała. 
 \item Oblicz $\cov(X_1,X_n)$, gdzie $X_i=\Ind(\text{biała kula w $i$-tym ciągnieniu})$.
 \item Odpowiedz na te same pytania, jeśli zamiast losowania bez zwracania rozpatrujemy schemat Polya:
       po wylosowaniu kolejnej kuli, zwacamy ją i dokładamy do urny jeszcze jedną kulę tego samego koloru.
\end{enumerate}

 
%-------------------------------------------------------------------------------------------------------------
\item  Niech $(X_0,X_1,\ldots,X_k)=X_{0:k}$ będzie łańcuchem Markowa na przestrzeni stanów $\{1,2\}$ o
macierzy przejścia 
$$P=\begin{pmatrix}1-\alpha &\alpha\\\alpha &1-\alpha\end{pmatrix}.$$
Zakładamy, że rozkład początkowy jest rozkładem stacjonarnym, $\Pr(X_0=1)=\Pr(X_0=2)=1/2$.
Ciąg $X_0,X_1,\ldots,X_k$ nie jest bezpośrednio obserwowany. Obserwujemy zmienne losowe
$Y_0,Y_1,\ldots,Y_k$ o wartościach w zbiorze $\{1,2\}$ takie, że $Y_i$ zależy tylko od $X_i$, przy czym
$$L(x,y)=\Pr(Y_i=y|X_i=x)=\begin{cases}
                      1-\eps &\text{ dla } y=x;\\
                      \eps &\text{ dla } y\not=x,\qquad\qquad x,y\in\{1,2\}.\\
                     \end{cases}$$ 
Interesuje nas rozkład a posteriori $\pi_{\rm post}(x_{0:k}|y_{0:k})=\Pr(X_{0:k}=x_{0:k}|y_{0:k})$ na przestrzeni $\{1,2\}^{k+1}$. 
       Konstruujemy próbnik Gibbsa zbieżny do rozkładu $\pi_{\rm post}(\cdot)$. W tym celu mamy 
       podać pełne rozkłady warunkowe $\pi_{\rm post}(x_i|x_{-i},y_{0:k})$, gdzie $x_{-i}=(x_0,\ldots,x_{i-1},x_{i+1},\ldots,x_k)$.
       (Możesz założyć, że $0<i<k$, bo ,,skrajne przypadki'' $i=0$ lub $i=k$ wymagają tylko dość oczywistych modyfikacji.)  
\begin{enumerate}
 \item  Oblicz $\Pr(X_{i}=2| X_{i-1}=2,X_{i+1}=2,Y_{i}=2)$.
  \item Oblicz $\Pr(X_{i}=2| X_{i-1}=1,X_{i+1}=2,Y_{i}=2)$.
  \item Oblicz $\Pr(X_{i}=2| X_{i-1}=1,X_{i+1}=2,Y_{i}=1)$.
\end{enumerate}
\underline{Uwaga:} Łączny rozkład prawdopodobieństwa $(X_{0:k},Y_{0:k})$ jest opisany wzorem
$$\Pr(X_{0:k}=x_{0:k},Y_{0:k}=y_{0:k})=\frac{1}{2}L(x_0,y_0)\prod_{i=1}^k P(x_{i-1},x_{i})L(x_i,y_i).$$ 
Mamy tu przykład ,,ukrytego modelu Markowa'' (HMM). Tę rodzinę modeli rozważaliśmy na zajęciach, 
ale rozwiązanie zadania jest całkowicie elementarne i nie wymaga znajomości tej partii materiału.

\end{enumerate}

\end{document}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

\item  (\textbf{5 pkt.}) Zakładamy, że zmienne losowe $X_1,\ldots,X_n,\ldots$ są warunkowo niezależne przy danym $\theta$ oraz
mają jednakowy rozkład normalny $N(\theta,\sigma^2)$.
Parametr $\theta$ ma \textit{a priori} rozkład normalny $N(\mu,v^2)$.

 \begin{enumerate}
 \item Oblicz rozkład \textit{a posteriori}  $\theta| X_1,\ldots,X_n$.
 \item Oblicz rozkład brzegowy zmiennej $X_1$. 
 \item Oblicz rozkład predykcyjny $X_{n+1}|X_1,\ldots,X_n$. 
 \item Oblicz rozkład brzegowy zmiennej $S_n=\sum_{i=1}^n X_i$.
 \item Oblicz rozkład brzegowy zmiennej $S_n/n$.
 \end{enumerate}

\textit{Wskazówka: } 
Użyj zmiennych losowych $Y_i=X_i-\theta$. Znajdź rozkład warunkowy $Y_i|\theta$ i zbadaj niezależność
zmiennych losowych $Y_1,\ldots,Y_n$ i $\theta$.   


 
%----------------------------------------------------------------------------------------

\end{enumerate}



 