連続確率分布
$[0,\omega]$の値をとる確率変数$X$があるとする． 累積分布関数$F:[0,\omega]\rightarrow[0,1]$は \begin{equation} F(x)=Prob[X\le x] \end{equation} この本を通して$F(x)$は狭義短調増加で連続微分可能であるとする．
$F$の微分は確率密度函数であり，小文字で$f\equiv F'$と書く． 仮定より,$f$は連続関数である． 加えて，全ての$x\in(0,\omega)$で$f(x)$は正の値だと仮定する． 区間$[0,\omega]$を分布の台という．
$X$が$F$に従って分布するとき，$X$の期待値は \begin{equation} E[X]=\int^\omega_0xf(x)dx \end{equation} である．任意の関数$\gamma:[0,\omega]\rightarrow \mathbb{R}$があるとき，$\gamma(X)$の期待値は \begin{equation} E[\gamma(X)]=\int^\omega_0\gamma(x)f(x)dx \end{equation} あるいは \begin{equation} E[\gamma(X)]=\int^\omega_0\gamma(x)dF(x) \end{equation} とかける．
$X$の$X<x$の元での条件付期待値は \begin{equation} E[X|X<x]=\frac{1}{F(x)}\int^x_0tf(t)dt \end{equation} である．そのため， \begin{equation} F(x)E[X|X<x]=\int^x_0tf(t)dt=xF(x)-\int_0^xF(t)dt \end{equation}
hazard rate
$[0,\omega]$を台に持つ分布関数を$F$とする． $F$のhazard rate関数$\lambda:[0,\omega)\rightarrow \mathbb{R}_+$は \begin{equation} \lambda(x)\equiv\frac{f(x)}{1-F(x)} \end{equation} と定義される．
これは$x$まで事象が発生せず，$x$になった時に初めて事象が起きる確率を表している． $x\rightarrow\omega$の時，$\lambda(x)\rightarrow\infty$となる．
\begin{equation} -\lambda(x)=\frac{d}{dx}\ln(1-F(x)) \end{equation} であるので， \begin{equation} F(x)=1-\exp\left(-\int_0^x\lambda(t)dt\right) \end{equation} とおくと， 全ての$x<\omega$に対して \begin{equation} \int_0^x\lambda(t)dt<\infty \end{equation} であり，かつ \begin{equation} \lim_{x\rightarrow\omega}\int_0^x\lambda(t)dt=\infty \end{equation} であるような任意の関数$\lambda:[0,\omega)\rightarrow\mathbb{R}_+$は何らかの分布の hazard rateである．
reverse hazard rate $\sigma: (0,\omega]\rightarrow\mathbb{R}_+$は \begin{equation} \sigma(x)\equiv\frac{f(x)}{F(x)} \end{equation} と定義される．
\begin{equation} \sigma(x)=\frac{d}{dx}\ln F(x) \end{equation} であるので， \begin{equation} F(x)=\exp\left(-\int_0^x\sigma(t)dt\right) \end{equation} とおくと 全ての$x>0$に対して \begin{equation} \int_x^\omega\sigma(t)dt<\infty \end{equation} であり，かつ \begin{equation} \lim_{x\rightarrow0}\int_x^\omega\sigma(t)dt=\infty \end{equation} であるような任意の関数$\sigma:(0,\omega]\rightarrow\mathbb{R}_+$は何らかの分布のreverse hazard rateである．
同時に分布する確率変数
確率変数$X\in[0,\omega_X]$, $Y\in[0,\omega_Y]$が全ての$x'< x''$，$y'< y''$に対して， \begin{equation} Prob[x'\le X\le x'' and y'\le Y\le y'']=\int_{y'}^{y''}\int_{x'}^{x''} f(x,y)dxdy \end{equation} である時，同時確率密度関数$f:[0,\omega_X]\times[0,\omega_Y]\rightarrow\mathbb{R}_+$を持つという． 確率変数$X$と$Y$は$f$に従って同時に分布するという． $f$は$(0,\omega_X)\times(o,\omega_Y)$で連続で正の値であるとする．
$X$の周辺分布は \begin{equation} f_X(x)=\int_0^{\omega_Y}f(x,y)dy \end{equation} であり，$Y$の周辺分布も同様に定義される．
確率変数$X$と$Y$が独立である時，かつその時のみ \begin{equation} f(x,y)=f_X(x)\times f_Y(y) \end{equation} である．
どんな$x>0$に対しても$X=x$が与えられた元での$Y$の条件付き確率密度函数は \begin{equation} f_Y(y|X=x)=\frac{f(x,y)}{f_X(x)} \end{equation} そして，どんな$x>0$に対しても$X=x$が与えられた元での$Y$の条件付き期待値は \begin{equation} E[Y|X=x]=\int_0^{\omega_Y}yf_Y(y|X=x)dy \end{equation} である．
これまでの定義を使って，期待収束法則(law of iterated expectation) \begin{equation} E_X[E_Y[Y|X]] = X_Y[Y] \end{equation} が成り立つ．