Bayesian Neural Network¶

이 튜토리얼에서는 머신러닝 도구 제품군인 Turing과 Flux의 조합을 사용해 베이지안 신경망을 구현하는 방법을 보여드립니다. 분류 알고리즘을 구현하는 것을 목표로 Flux를 사용하여 신경망의 레이어를 지정하고 Turing을 사용하여 확률적 추론을 구현할 것입니다.

목표¶

아래 그림의 데이터 포인트를 분류한다.

여기서 우리의 목표는 베이지안 신경망을 사용하여 인공 데이터 세트의 포인트를 분류하는 것입니다. 아래 코드는 상자 모양의 패턴으로 배열된 데이터 포인트를 생성하고 작업할 데이터 세트의 그래프를 표시합니다.

데이터 포인트 및 레이블 생성¶

데이터포인트 생성:

 총 N개의 데이터 포인트를 4개의 구획으로 나눠서 생성한다.
 1,2,3,4 분면에 각각 20개의 데이터 포인트 생성

* 1사분면 :  0.5 < x < 5,    0.5 < y < 5    , 빨간점
* 3사분면 :   -5 < x < -0.5,  -5 < y < -0.5 , 빨간점
* 4사분면 :  0.5 < x < 5,     -5 < y < -0.5 , 파란점
* 2사분면 :   -5 < x < -0.5, 0.5 < y < 5    , 파란점

분류 카테고리 생성:

 빨간점 : 1
 파란점 : 0

Flex 신경망의 데이터는 Float32 이므로 기본 Float64를 Float32로 바꿔 주는것이 성능이 좋음 (GPU 사용하는 경우도 마찬가지)

Building a Neural Netrwork¶

다음 단계는 기존 신경망처럼 매개변수를 단일점이 아닌 분포로 표현하는 피드포워드 신경망을 정의하는 것입니다. 이를 위해 Flux의 신경망 기본 요소인 Dense를 사용하여 선형 계층(linear layer)을 정의하고 Chain을 통해 구성할 것입니다. 아래 그림과 같이 우리가 만든 네트워크 nn_initial에는 tanh 활성화가 있는 두 개의 숨겨진 레이어와 시그모이드(σ) 활성화가 있는 하나의 출력 레이어가 있습니다.

nn_initial은 함수처럼 작동하며 데이터를 입력으로 받아 예측을 출력할 수 있는 인스턴스입니다. 신경망 매개변수에 대한 분포를 정의하고 Flux의 destructure를 사용하여 매개변수를 parameters_initial로 추출합니다. destructure는 또한 (새로운) 매개변수를 받아 nn_initial과 아키텍처는 동일하지만 매개변수가 업데이트된 신경망 인스턴스를 반환할 수 있는 또 다른 함수 reconstruct를 반환합니다.

$ \text{parameters_initial} = [w^1_{11},w^1_{12},w^1_{13},…,w^1_{23},b^1_1,b^1_2,b^1_3,w^2_{11},w^2_{12},…,w^2_{32},b^2_1,b^2_2,w^3_{11},w^3_{21},b^3_1] $

Flux.destructure : 주어진 신경망의 모든 가중치($w$)와 편향($b$)을 추출하고, 이러한 가중치와 편향을 사용하여 원래의 신경망 구조로 재구성할 수 있는 결과를 반환

parameters_initial : 신경망의 초기 가중치와 편향을 담고 있는 배열

reconstruct : 이러한 가중치와 편향을 사용하여 원래의 신경망 구조로 재구성 할 수 있는 함수

Flux에서 데이터를 Float32를 기본적으로 취급하기 때문에 Float32로 바꿔 준다

신경망의 가중치와 편향(Parameters)에 대한 Bayesian 추론 모델 작성¶

아래의 확률적 모델 사양은 IID 정규 분포 확률 변수가 있는 parameters 변수를 생성합니다. parameters 벡터는 신경망의 모든 파라미터(가중치 및 편향)를 나타냅니다.

신경망의 parameters(즉 w,b) 각각이 정규분포를 이루는 확률변수로 보고 이들은 parameters의 각 값을 평균(μ)으로 하고 1/$\alpha$ 을 공분산행렬(covariance matrix:Σ)로 설정 한다.

사전분포 정의:

각 파라미터(w,b)는 파라미터값을 중심으로 정규분포를 이룬다고 가정

우도(Likelihood):

분류확률은 신경망에서 예측한 각 점에 대한 분류 확률로 베르누이 분포를 따름

이제 샘플을 호출하여 추론을 수행할 수 있습니다. 여기서는 NUTS 해밀턴 몬테카를로 샘플러를 사용합니다.

xs의 데이터 포멧을 column vector 포맷으로 바꿔야 함

신경망에 입력은 column vector

xs = 
80-element Vector{Vector{Float64}}:
 [3.109379540603596, 0.875480402444553]
 [2.3508235307743273, 2.8660804874110517]
 [4.874612371049609, 4.282884137652053]
 column vector 
 hcat(xs...) = 
 2×80 Matrix{Float64}:
 3.10938  2.35082  4.87461  0.56709  …  -3.2496   -1.42898  -4.15106
 0.87548  2.86608  4.28288  2.85777      1.12361   3.10967   4.59778 

이제 샘플링된 체인에서 매개변수 샘플을 세타(n_thread x n_sample x 20 크기, 여기서 n_thread x n_sample은 반복 횟수, 20은 매개변수 수)로 추출합니다. 이 샘플은 주로 모델의 분류기가 얼마나 좋은지 판단하는 데 사용됩니다.

sampling 결과 save & load¶

여러 sample에 있는 parameter들을 하나로 합치기¶

Prediction Visualization¶

MAP(Maximum a Posterior) 추정을 사용하여 가장 높은 로그 사후분포(posterior)를 제공한 가중치 집합을 사용하여 모집단을 분류할 수 있습니다.

위의 등고선 플롯은 MAP 메서드가 데이터를 분류하는 데 그리 나쁘지 않다는 것을 보여줍니다.

이제 예측을 시각화할 수 있습니다.

베이즈 신경망의 예측 분포¶

이 수식은 베이즈 신경망의 예측을 위한 것입니다.

$p(\tilde{x} | X,\alpha)$는 학습데이터 $X$와 하이퍼파라미터 $\alpha$가 주어 졌을 때 새로운 데이터 포인트$\tilde{x}$에 대한 예측 확률을 나타냅니다.

여기서 $p(\tilde{x} | \theta)$는 파라미터(가중치와 편향) $\theta$로 구성된신경망 모델을 통해 주어진 입력 $\tilde{x}$에 대한 예측을 나타 냅니다. 신경망은 파라미터 $\theta$를 사용하여 입력 데이터를 변환하며, 이를 통해 얻어진 출력을 $f_\theta(\tilde{x})$로 표현 할 수 있습니다. 따라서 $p(\tilde{x} | \theta)$와 $f_\theta(\tilde{x})$는 동일 하다고 볼 수 있습니다.

$p(\theta | X,\alpha)$는 학습데이터 $X$를 사용하여 베이즈 추론으로 얻은 파라미터 $\theta$의 사후분포 입니다.
이 예제에서 $X$는 데이터 포인트 xs와 타켓(또는 카테고리, 레이블) ts를 포함 합니다. 즉 $X = \{xs,ts\}$

위의 수식에서 $p(\tilde{x} | X,\alpha)$을 적분으로 직접 얻는것은 일반적으로 계산적으로 어렵거나 불가능 하기 때문에 근사적 방법을 사용하게 됩니다.

$\sum_{\theta \sim p(\theta | X,\alpha) } f_\theta(\tilde{x})$는 이러한 근사적 방법 중 하나입니다. 여기서는 $p(\theta | X,\alpha)$의 확률분포에서 샘플링된 특정한 $\theta$ 값들에 대해서만 $f_\theta(\tilde{x})$를 계산하여 평균을 취합니다. 이런 방식으로, 전체 $\theta$의 공간을 대신해서 특정한 샘플링된 $\theta$값들만을 사용하여 적분을 근사하게 됩니다.

이러한 근사 방식을 몬테카를로 적분(Monte Carlo integration)이라 불리며, 높은 차원의 적분 문제에 흔희 사용됩니다.

따라서 $p(\tilde{x} | X,\alpha)$에 대한 적분이 $\sum_{\theta \sim p(\theta | X,\alpha) } f_\theta(\tilde{x})$에 가깝다는 것은, 적분 값을 근사하기 위해 몬테카를로 방법을 사용한다는 것을 의미 합니다.

$\theta$의 사후 분포 $p(\theta | X,\alpha)$ 구하기¶

$p(\theta | X,\alpha) \propto p(X|\theta) p(\theta|\alpha)$

• $p(X | \theta)$ : 우도 (likelihood)
• $p(\theta|\alpha)$ : 파라미터 $\theta$의 사전분포

1. 사전분포(prior)¶

• 수식 : $p(\theta | \alpha)$

하이퍼파라미터 $\alpha$가 주어 졌을때 파라미터 $\theta$의 사전분포

• 코드:

parameters ~ MvNormal(Zeros(nparameters), I / α)

• 해당 코드는 신경망의 가중치와 편향에 대한 사전분포를 정규분포로 설정합니다. 여기서 $\alpha$는 정규분포의 공분산을 조절하는 하이퍼파라미터 입니다.
• $\alpha$ : 정규분포의 공분산 행렬의 정밀도를 결정하는 하이퍼 파라미터로서 값이 크면 사전분포의 분산이 작아져 파라미터의 값이 0 (또는 평균값) 주변에 더 집중되게 되며 반대로 값이 작으면 파라미터의 가능한 값의 범위가 넓어진다. 수식과 코드에서 $\alpha$는 동일한 개념을 나타내며, 베이지안 접근법에서 모델의 파라미터에 대한 사전 지식을 나타내는 정밀도(precision) 또는 불확실성(uncertainty)를 조절하는 역할을 합니다.

2. 신경망 예측 모델¶

파라미터 $\theta$가 주어 졌을 때 신경망의 예측 함수 : $f_{\theta}$

• 수식(1) : $f_{\theta}(X)$

• $X$ : 코드(1)에서 사용된 xs
• 아래 코드(1)에서 preds가 $f_{\theta}(X)$에 해당

• 코드(1): 수식(1)에 해당 하는 코드

nn = reconstruct(parameters)
preds = nn(xs)

• 수식(2) : $f_{\theta_i}(\tilde{x})$

• $\theta_i$ : 코드(2)에서 사용된 theta[i, :]
• $\tilde{x}$ : 코드(2)에서 사용된 x1, x2

• 코드(2): 수식(2)에 해당 하는 코드

nn_forward(x, theta) = reconstruct(theta)(x)
nn_forward([x1, x2], theta[i, :])

• 수식(3) : $\sum_{\theta \sim p(\theta | X,\alpha) } f_\theta(\tilde{x})$

• 코드(3): 수식(3)에 해당 하는 코드

function nn_predict(x, theta, num)
    return mean([nn_forward(x, theta[i, :])[1] for i in 1:10:num])
end;

3. 우도(Likelihood)¶

• 수식 : $p(X | \theta)$

• 파라미터(여기서는 신경망의 가중치와 편향) $\theta$가 주어졌을 때 새로운 데이터 포인트 $X$의 분포를 나타냅니다.
• $X$ = {xs,ts}
• $p(X | \theta) = p(\text{ts} | \text{xs}, \theta) = \prod_{i=1}^N p(t_i | x_i,\theta) = \prod_{i=1}^N \text{Bernoulli}(t_i;f_{\theta}(x_i))$
• 신경망의 출력인 preds와 실제 타켓(레이블)값 ts간의 관계는 Bernoulli분포를 사용하여 모델링 됩니다.
  즉 ts[i] ~ Bernoulli(preds[i])에서,
  $p(t_i | x_i,\theta) = \text{Bernoulli}(t_i;f_{\theta}(x_i))$
  에 해당 합니다.
  여기서 $t_i$ = ts[i], $x_i$=xs[i], $f_{\theta}(x_i)$ = pred[i]

-$f_{\theta}(x_i)$ = preds[i] = nn(xs[i]) = reconstruct(parameters)(xs[i])

• 이렇게 표현된 우도는 신경망의 예측이 얼마나 실제 타겟값과 일치 하는지 나타냅니다.

• 코드:

nn = reconstruct(parameters)
preds = nn(xs)
for i in 1:length(ts)
    ts[i] ~ Bernoulli(preds[i])
end

• 주어진 parameters (수식에서 $\theta$ 해당)를 사용하여 신경망을 재구성(reconstruct)하고,
• 이 신경망을 사용해 입력 데이터 xs에 대한 예측 preds를 생성합니다.

4. 사후분포(posterior)¶

• 수식: $p(\theta | X,\alpha)$

• 사후분포의 정확한 형태는 계산적으로 어려울 수 있기 때문에 종종 MCMC(Markov Chain Monte Carlo)와 같은 샘플링 기법을 사용하여 이 분포에서 샘플을 얻습니다. ch = sample(m, NUTS(), N)
• 사후분포에서 샘플링 : $\theta \sim p(\theta | X,\alpha)$, theta = MCMCChains.group(ch, :parameters).value
• 사후분포는 계산의 편의를 위해 log를 취한 log 사후분포로 계산 한다

• 코드:

## 사후분포를 계산하고 사후 분포에서 샘플링
## ch : 파라미터 샘플
ch = sample(m, NUTS(), N)
## 샘플에서 𝜃를 추출
theta = MCMCChains.group(ch, :parameters).value
## 샘플에서 로그 사후분포를 추출
lp = ch[:lp]

또는 여러개의 샘플 chain을 생성하고 하나로 합쳐서 𝜃와 로그 사후분포를 추출한다

ch = sample(m, NUTS(), MCMCThreads(),n_sample,n_thread)
theta,lp = let
    params = MCMCChains.group(ch, :parameters).value
    _,_,n = size(params)    
    theta = vcat([params[:,:,i] for i in 1:n]...)
    lps = MCMCChains.group(ch, :lp).value
    lp = vcat([lps[:,:,i] for i in 1:n]...)
    theta, lp
end

예측 함수 만들기¶

아래 수식에서 예측에 해당하는 $p(\tilde{x} | X,\alpha)$를 위한 $p(\theta | X,\alpha)$과 $f_{\theta}$ 를 전부 구했다. $ p(\tilde{x} | X,\alpha) = \int_\theta p(\tilde{x} | \theta) p(\theta | X,\alpha) \approx \sum_{\theta \sim p(\theta | X,\alpha) } f_{\theta}(\tilde{x}) $

• 수식 : $p(\tilde{x} | X,\alpha) \approx \sum_{\theta \sim p(\theta | X,\alpha) } f_{\theta}(\tilde{x})$

• $f_{\theta}(\tilde{x})$ = nn_forward(x, theta) = reconstruct(theta)(x)

• $\sum_{\theta \sim p(\theta | X,\alpha) } f_{\theta}(\tilde{x})$ = nn_predict(x, theta, num)

• 코드 :

nn_forward(x, theta) = reconstruct(theta)(x)
function nn_predict(x, theta, num)
    return mean([nn_forward(x, theta[i, :])[1] for i in 1:10:num])
end;

• nn_predict 함수는 MCMC 체인에서 도출된 가중치로 매개변수화된 네트워크에서 평균 예측값을 가져옵니다.

예측 예시¶

n_end = 1500
x1_range = collect(range(-6; stop=6, length=25))
x2_range = collect(range(-6; stop=6, length=25))
Z = [nn_predict([x1, x2], theta, n_end)[1] for x1 in x1_range, x2 in x2_range]

여기서 새로운 데이터 $\tilde{x}$는 x1_range와 x2_range로 표현

Z가 $p(\tilde{x} | X,\alpha)$에 해당

평균예측함수 : $p(\tilde{x} | X,\alpha) \approx \sum_{\theta \sim p(\theta | X,\alpha) } f_{\theta}(\tilde{x})$

다음으로, nn_predict 함수를 사용하여 x1 및 x2 좌표가 -6에서 6 사이의 범위인 지점 샘플에서 값을 예측합니다. 아래에서 볼 수 있듯이 여전히 데이터에 만족스럽게 잘 맞으며, 더 중요한 것은 신경망의 예측이 불확실한 부분, 즉 클러스터 경계 사이의 영역도 훨씬 쉽게 확인할 수 있다는 것입니다.

베이지안 신경망의 예측력이 샘플 간에 어떻게 변화했는지 알고 싶다고 가정해 보겠습니다. 이 경우 다음 그래프는 샘플 1에서 1,000까지의 네트워크 가중치에서 생성된 윤곽선 플롯의 애니메이션을 표시합니다.

ROC Curve¶

X 에 대한 ROC Curve¶