불확실성 속에서 어떤 사건이 일어날 가능성이 어느 정도인지를 수치화한 것
통계적 실험에서 모든 가능한 실험 결과들의 집합
Sample space의 부분집합으로서 관심의 대상이 되는 실험 결과들의 집합
Conditional probability
Event A가 주어졌을 때 event B가 일어날 확률
Random variable
일반 변수와는 달리 그 값이 결정(deterministic)되어 있지 않고 확률적으로(stochastic) 값을 취하는 변수로 Probability distribution에 의해 영향을 받음
Random variable이 취할 수 있는 각 값에 대응하는 확률을 나타낸 것
Joint probability distribution
두 개의 random variable의 관계를 설명해주는 distribution
Marginal probability distribution
둘 중 어느 하나의 random variable이 취할 수 있는 모든 값에 해당하는 joint probability distribution을 모두 더하면(또는 적분하면) 나머지 하나의 random variable에 대한 distribution이 남아 있게 된다. 이러한 의미에서 결합되어 있지 않은 상태의 각 random variable의 distribution을 joint probability distribution과 대비하여 marginal probability distribution이라고 한다.
Prior distribution & posterior distribution
- Prior: probability distribution that would express one's uncertainty about p before the "data" is taken into account
- Posterior: the conditional probability that is assigned after the relevant evidence is taken into account
Conjugate prior
Posterior distribution과 같은 분포족인 경우의 prior distribution을 conjugate prior(공액사전분포)라고 한다. 일반적으로 posterior density function p(θ|x)를 계산할 수 없을 경우가 많다. 그러나 prior distribution과 posterior distribution이 같은 분포족(distribution family)인 경우에는 계산이 매우 용이해질 수 있다.
Discrete probability distributions
Bernoulli 시행을 n번 독립적으로 반복했을 때의 random variable X가 따르는 분포
X ~ B(n,p) / E(X) = np, Var(X) = np(1-p)
일정 시간(공간) 동안에 발생된 사건의 수가 따르는 분포 (예, 어떤 지역에 하루 동안 발생한 교통사고의 수)
X ~ Pois(λ) / E(X) = λ, Var(X) = λ
Continuous probability distributions
통계 이론에서 가장 많이 사용되는 분포 중의 하나
X ~ N(μ,σ2) / E(X) = μ, Var(X) = σ2
자유도 r이 커질수록 standard normal distribution Z ~ N(0,1)에 가까워진다.
Z ~ N(0,1), V ~ χ2(r)
X ~ Exp(θ) / E(X) = θ, Var(X) = θ2
파라미터로 α > 0와 β > 0을 가진다.
X ~ Gamma(α,β) / E(X) = αβ, Var(X) = αβ2
파라미터가 α = n / 2, β = 2인 경우의 Gamma distribution
X ~ Gamma(n/2,2) / E(X) = n, Var(X) = 2n
X ~ Gamma(α,β)일 때 역수 1/X의 분포
X ~ IG(α,β) / E(X) = 1 / (α-1)β, Var(X) = 1 / (α-1)2(α-2)β2 (α > 2)
Inverse-chi-squared distribution
파라미터가 α = n / 2, β = 2일 때의 Inverse gamma distribution
X ~ IG(n/2,2)
It is defined on the interval [0, 1] parameterized by two positive shape parameters, denoted by α and β, that appear as exponents of the random variable and control the shape of the distribution.
The beta distribution has been applied to model the behavior of random variables limited to intervals of finite length in a wide variety of disciplines.
In Bayesian inference, the beta distribution is the conjugate prior probability distribution for the Bernoulli, binomial and geometric distributions. For example, the beta distribution can be used in Bayesian analysis to describe initial knowledge concerning probability of success such as the probability that a space vehicle will successfully complete a specified mission. The beta distribution is a suitable model for the random behavior of percentages and proportions.
X ~ Beta(α,β)
