Bayesian Logistic Regression¶

Bayesian Logisitic Regression 기초 참조

이 예에서는 RDatasets 패키지에 있는 합성 데이터 집합을 사용하여 채무 불이행 가능성을 예측할 것입니다. 이 데이터 집합인 Defaults는 R의 ISLR 패키지에서 가져온 것으로, 대출자에 대한 정보를 포함합니다.

https://daviddalpiaz.github.io/r4sl/logistic-regression.html

https://www.bijenpatel.com/guide/islr/classification/

Data Cleaning & Setup¶

대부분의 머신 러닝 프로세스는 데이터를 정리하는 데 약간의 노력이 필요하며, 이 과정도 다르지 않습니다. "예" 또는 "아니오"로 표시되는 Default 및 Student 열을 1과 0으로 변환해야 합니다. 그 후에는 기존의 단어 기반 열을 제거할 것입니다.

학습용, 테스트용 데이터 분리
정리를 마친 후에는 데이터 집합을 학습 및 테스트 집합으로 나누고 데이터에서 레이블을 분리할 차례입니다. 데이터를 train과 test의 두 부분으로 분리합니다. at = 0.05 인수를 수정하여 더 높은 분할 비율(또는 더 낮은 비율)을 사용할 수 있습니다. 작은 샘플 크기로 베이지안 추론의 힘을 보여주기 위해 5%의 샘플만 사용하는 것을 강조했습니다.

정규화
각 열에서 평균을 빼고 표준 편차로 나누어 0을 중심으로 변수의 크기를 다시 조정해야 합니다. 이 단계가 없으면 튜링의 샘플러는 매개변수 추정치 검색을 시작할 위치를 찾는 데 어려움을 겪을 것입니다. 이를 위해 관찰을 손쉽게 섞고 계층화된 분할을 수행하여 대표적인 테스트 집합을 얻을 수 있는 MLDataUtils를 활용합니다.

rescale! function 설명
예) rescale!(trainset[!, feature]; obsdim=1)

첫 번째 인자: trainset[!, feature]는 trainset 데이터 프레임에서 feature 열(특징)을 나타냅니다. !는 모든 행을 선택하라는 의미입니다.

obsdim: 이 매개변수는 관찰치의 차원을 나타냅니다. 기본적으로, obsdim=1은 행을 관찰치로 취급하고 각 행마다 스케일링을 적용합니다. 반면, obsdim=2는 열을 관찰치로 취급하고 각 열마다 스케일링을 적용합니다.

rescale! 함수는 주어진 데이터를 인플레이스로 변경하며, 이는 원래의 데이터를 변경한다는 것을 의미합니다 (! 기호가 함수 이름의 끝에 붙어있기 때문에). 함수는 주어진 데이터를 0과 1 사이의 값으로 스케일링합니다.

rescale 함수는 zscore를 만들고 그 때 사용된 평균과 표준편차를 리턴한다. $$ \mu_{\text{trainset}} = mean(\text{trainset})\\ \sigma_{\text{trainset}}= std(\text{trainset})\\ zscore_{\text{trainset}} = \frac{\text{trainset} – \mu_{\text{trainset}}}{\sigma_{\text{trainset}}}\\ \;\\ \;\\ zscore_{\text{testset}} = \frac{\text{testset} – \mu_{\text{trainset}}}{\sigma_{\text{trainset}}} $$

중요사항

정규화 즉 zscore 계산시에 testset에 적용하는 평균과 표준편차는 trainset에서 사용한 평균과 표준편차를 사용해야 한다. 동일한 정규화 적용

Turing에 사용할 데이터 포멧으로 변경

Turing은 DataFrame포맷의 데이터가 아닌 Matrix 포맷의 데이터를 사용한다.

Model Declaration¶

마지막으로 모델을 정의할 수 있습니다.

logistic_regression은 네 개의 인수를 받습니다:

• x는 독립 변수 집합입니다;
• y는 예측하고자 하는 요소입니다;
• n은 우리가 가진 관찰 데이터의 수입니다.
• σ는 선험적 경험으로 가정하려는 표준 편차입니다.

모델 내에서 4개의 계수(intercept, student, balance, income)를 생성하고 사전분포로 각각 평균이 0이고 표준 편차가 σ인 정규분포를 따른다고 가정 . 이 네 가지 계수의 값을 찾아 주어진 y를 예측하고자 합니다.

for 블록은 로지스틱 함수인 변수 v를 생성합니다. 그런 다음 실제 레이블인 y[i]가 주어졌을 때 p를 계산하여 레이블이 y[i]일 확률을 계산한다.

• $\beta_0$ : intercept
• $\beta_1$ : student
• $\beta_2$ : balance
• $\beta_3$ : income
• $i$ : i번째 데이터
• $\hat{y}_i$ : i번째 데이터의 레이블이 $y_i$일 확률, p

$ z_i = \beta_0 + \beta_1 x_{i,1} + \beta_2 x_{i,2} + \beta_3 x_{i,3}\\ \hat{y}_i = \frac{1}{1+exp(-z_i)} $

Sampling¶

이제 샘플러를 실행할 수 있습니다. 이번에는 NUTS를 사용하여 사후분포에서 샘플링하겠습니다.

여러 체인을 실행했으므로 각 체인이 비슷한 지점을 중심으로 수렴하는지 확인하기 위해 스팟 체크를 수행할 수 있습니다.

code 설명

mean_params = mapreduce(hcat, mean(chains; append_chains=false)) do df
    return df[:, :mean]
end

chains에서 평균 파라미터 값을 추출하는 것으로 보입니다. 아래 코드의 각 부분에 대해 설명드리겠습니다.

1. mean(chain; append_chains=false):

• mean 함수는 chains 의 각 파라미터에 대한 평균 값을 계산합니다.
• append_chains=false 는 chains 에 여러 개의 연결된 체인이 있을 경우 이를 분리한 상태로 유지하라는 옵션입니다.

2. mapreduce(hcat, mean(chain; append_chains=false)):

• mapreduce 는 두 개의 함수와 하나의 컬렉션을 인수로 받아 작업을 수행합니다.
• 첫 번째 함수는 컬렉션의 각 요소에 적용되며, 두 번째 함수는 첫 번째 함수의 결과를 결합합니다.
• 여기서는 hcat 이 결합 함수로 사용되었는데, 이는 수평적으로 데이터를 결합하라는 의미입니다.

3. do df:

• do 문법은 Julia에서 익명 함수를 표현하는 데 사용됩니다. 이 구문은 mapreduce 의 첫 번째 함수에 대한 정의를 시작합니다.

4. return df[:, :mean]:

• 이 부분은 df 라는 이름의 데이터 프레임에서 mean 이라는 열만 추출하여 반환합니다.

결과적으로, mean_params 는 chains 의 각 파라미터에 대한 평균 값을 수평적으로 연결한 것입니다.

MCMCChains의 corner 함수를 사용하여 로지스틱 회귀의 다양한 매개변수 분포를 표시할 수 있습니다.