Perceptron McCulloch-Pitts Neuron Model 출력 Binary 수상 돌기에 도착한 여러 신호가 세포체에 합쳐짐 합쳐진 신호가 특정 값을 넘으면 축삭 돌기를 이용하여 출력 신호 전달 >> 몇 년 후 MCP Neural Model 기반의 Perceptron 등장 Perceptron 이진 분류에 적용 가능 Positive Class: +1 Negative Class: -1 선형적으로 구분 가능한 데이터에 대해 사용 (그렇지 않을 경우 Updqte가 멈추지 않음) 결정 함수 $$ \phi(z) = \phi(w^Tx) $$ z값이 Threshold $\tau$에 따라 Positive Negative 판별 학습 규칙 $w$를 0 또는 작은 값으로 랜덤 초기화 각 샘플 $x$에 대한 출력 ..
Resampling Methods training set에서 반복해서 sample을 뽑고, 그 sample에 반복해서 model을 refit하는 것 방법 Cross-Validation Bootstrap Cross-Validation 목적 test error 예상: model assessment (모델 평가) model selection (모델 선택) Validation Set Approach 무작위로 train set의 일부를 절반 잘라서 validation set (hold-out set)으로 사용 Validation set에 대한 error rate를 통해 test error rate를 추정함 문제 Validation set에 따라 결과가 다를 수 있음 Validation set의 크기가 클수록 tr..
Dimensionality Reduction 모델 경량화를 위해 사용 모델 제작이 쉽다, 관찰이 쉽다 등의 이점이 있음 Feature selection 원본 feature 유지 Best subset selection, Forward stepwise selection, Backward stepwise selection Feature extraction 기존 feature에서 transform이나 project를 통해 새로운 feature space를 얻음 curse of dimensionality 감소로 성능을 향상시킬 수 있음 Principal Component Analysis (PCA) Unsupervised Linear transformation technique for feature extracti..
Linear Model Selection and Regularization 목표 : Linear Moded에서 Least squares 이외에 성능을 향상시킬 수 있는 방법 고민 Prediction Accuracy ($n$ : observation 수 / $p$ variable 수) $n \gt\gt p$ : variance가 낮아 test set에 잘 동작 $n \lt p$ : overfitting이 발생할 수 있음 Model Interpretability 결과와 무관한 parameter 없애기 즉, parameter를 0으로 만들기 종류 Subset Selection : attribute 중 어떤 attribute를 쓸 것인가 Shrinkage : p개의 파라미터 이외는 0에 가깝게 정하기 Dimen..
Instance-Based Learning Nonparametric model 고정된 크기의 parameter set으로 데이터를 특징화할 수 없을 때 사용하는 모델 학습된 사례들을 기억하는 것으로, 시스템이 훈련 데이터를 기억함으로써 학습한다. 새로운 데이터가 들어오는 경우, 학습된 데이터(일부 또는 전체)와 새로운 데이터의 유사도를 측정하여, 입력된 새로운 데이터를 가장 유사도가 높은 기존 학습 데이터의 클래스로 분류한다. 새로운 데이터가 들어오기 전까지 계산을 미루기 때문에 'lazy' algorithm 이라고 부르기도 한다. Parametric model 고정된 크기의 parameter set을 데이터와 함께 추출한 모델 Model-based learning 데이터 셋에 적합한 모델을 사용하여 모..
