[sklearn] (11) - 오차 행렬 confusion_matrix()

 

오차행렬 confustion matrix

 

¶

• 오차행렬: 학습된 분류 모델이 예측을 수행하면서 얼마나 헷갈리고 있는지도 함께 보여주는 지표. 이진 분류의 예측 오류가 얼마인지와 더불어 어떤 유형의 예측 오류가 발생하는지 나타냄

• 예측 클래스와 실제 클래스의 값 유형에 따라 결정되는 TN, FP, FN, TP 형태로 오차 행렬의 4분면을 채움

• TN, FP, FN, TP는 Positive 결정값(1)과 Negative 결정값(0)의 결합에 따라 결정됨

• sklearn은 confusion_matrix()를 제공

 

 

 

앞에서 사용한 MyFakeClassifier의 예측 성능 지표를 오차행렬로 표현하기¶

 

In [1]:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.base import BaseEstimator
from sklearn.metrics import accuracy_score
import numpy as np
import pandas as pd

class MyFakeClassifier(BaseEstimator):
    def fit(self, X, y):
        pass
    def predict(self, X):
        return np.zeros( (len(X), 1), dtype=bool)
    
digits = load_digits()

y = (digits.target == 7).astype(int)
X_train, X_test, y_train, y_test = train_test_split( digits.data, y, random_state=11)

 

 

In [2]:

print('레이블 세트 크기:', y_test.shape)
print('테스트 세트 레이블 0과 1의 분포도')
print(pd.Series(y_test).value_counts())

fakeclf = MyFakeClassifier()
fakeclf.fit(X_train, y_train)
fakepred = fakeclf.predict(X_test)
print('모든 예측을 0으로 하여도 정확도는: {0:.3f}',format(accuracy_score(y_test, fakepred)))

 

 

레이블 세트 크기: (450,)
테스트 세트 레이블 0과 1의 분포도
0    405
1     45
dtype: int64
모든 예측을 0으로 하여도 정확도는: {0:.3f} 0.9

 

 

In [4]:

from sklearn.metrics import confusion_matrix

confusion_matrix(y_test, fakepred)

 

Out[4]:

array([[405,   0],
       [ 45,   0]], dtype=int64)

 

 

• 오차 행렬은 ndarray 형태임(TN은 [0,0]으로 405, FP는 [0,1]로 0, FN는 [1,0]으로 45, TP는 [1,1]로 0)

• TN은 전체 450건 데이터 중 무조건 Negative 0으로 예측해서 True가 된 결과, 405건

• FP는 Positive 1으로 예측한 건수가 없어서 0건

• FN은 Positive 1인 건수 45건을 Negative로 예측해서 False가 된 결과 45건

• TP는 Positive 1로 예측한 건수가 없어서 0건

• 이 값들을 조합해 Classifier의 성능을 예측할 수 있는 주요 지표인 정확도, 정밀도, 재현율 값을 알 수 있음

 

 

정확도 = 예측 결과와 실제 값이 동일한 건수/전체 데이터 수 = (TN + TP)/(TN + FP + FN + TP)

 

¶

• ex) 사기 예측 모델에서는 사기 행위가 Positive(양성)으로 1, 정상 행위가 Negative(음성)으로 0이 결정값으로 할당
• 불균형한 이진 분류 데이터셋에서는 Positive 데이터 건수가 매우 작기 때문에 데이터에 기반한 ML 알고리즘은 Negative로 예측 정확도가 높아지는 경향이 발생