04_데이터 전처리(정규화,로그변환, 스케일러, 원-핫 인코딩 )

 

01_선형회귀 모델을 위한 데이터 변환¶

 

 

RMSLE란??¶

• RMSLE 가 0이라면 (가능하냐고? ai와 pi가 모두 일치하면 이렇게 된다.), exp(RMSLE) 는 1이 되고, 예측과실제값의 평균비율을 1이다. 설명과 부합한다

MSE¶

MSE가 0에 가까울수록 추측한 값이 원본에 가까운 것이기 때문에 정확도가 높다고 할 수 있다.

평균 제곱근 오차(Root Mean Square Error; RMSE¶

• rmse는 낮을 수록 좋다 -> 이뜻은 다른 데이터들과의 오차가 적다는 뜻을 의미한다.
• 릿지와 리쏘는 둘다 목표는 수치를 비슷하게 만들어주는 것에 있기 때문이다.

 

 

 

 

02_로그 변환, 스케일러, 다항 특성 적용¶

 

 

 

 

회귀를 위한 데이터 변환 방법 -인코딩¶

 

 

• 선형 회귀의 데이터 인코딩은 일반적으로 레이블 인코딩이 아니라 원핫 인코딩을 적용합니다.

 

 

03_ 피처 데이터 변환에 따른 예측 성능 비교¶

 

 

• 타겟값은 비교적 정규화가 잘 되어 있다. 피처값만 정규화를 해주면 된다.

 

 

 

In [2]:

from sklearn.preprocessing import StandardScaler, MinMaxScaler, PolynomialFeatures

# method는 표준 정규 분포 변환(Standard), 최대값/최소값 정규화(MinMax), 로그변환(Log) 결정
# p_degree는 다향식 특성을 추가할 때 적용. p_degree는 2이상 부여하지 않음. 
def get_scaled_data(method='None', p_degree=None, input_data=None):
    if method == 'Standard':
        scaled_data = StandardScaler().fit_transform(input_data)
    elif method == 'MinMax':
        scaled_data = MinMaxScaler().fit_transform(input_data)
    elif method == 'Log':
        scaled_data = np.log1p(input_data)
    else:
        scaled_data = input_data

    if p_degree != None:
        scaled_data = PolynomialFeatures(degree=p_degree, 
                                         include_bias=False).fit_transform(scaled_data)
    
    return scaled_data