1. 나이브 베이즈 나이브 베이즈 알고리즘은 베이즈 정리를 기반으로 만들어진 통계적 분류 알고리즘이다. 클래스 라벨 Y가 주어지면 데이터의 특징 값들 하나하나가 각 클래스에 속할 특징 확률을 계산하는 조건부 확률 기반의 분류 방법이다. 간단하고 빠르며 노이즈를 잘 처리할 수 있다는 장점이 있지만 모든 특징이 동등하게 중요하고 독립이라는 가정이 잘못되는 경우가 자주 있어 나이브 베이즈를 사용할 수 없을 때가 많다는 단점이 있다. ​ ​ 2. 결정 트리 기본적인 작동 방식은 예/아니오 질문을 이어가며 학습하는 것이다. 규칙에 따라 분할되며 각각의 서브 트리(Sub Tree)를 생성한다. 계속되는 규칙에 따라 노드가 분할되며 최종적으로 리프 노드(Leaf Node)에서는 클래스 값을 가지게 된다. 계산이 복잡..

▶ 베이즈(Bayes) 정리 나이브 베이즈 분류를 설명하기 전에 먼저 베이즈 정리에 대해 설명하겠습니다. 베이즈 정리는 조건부 확률을 계산하는 방법 중 하나입니다. 조건부 확률 P(A|B)는 사건 B가 발생한 경우 A의 확률을 나타냅니다. P(B|A)를 쉽게 구할 수 있다면 위 식을 통해 P(A|B)도 구할 수 있습니다. 베이즈 정리는 P(A|B) 의 추정이 P(AnB)와 P(B)에 기반을 두어야 한다는 정리입니다. 베이즈 정리의 예제를 하나 살펴보겠습니다. 출처 - 전체 사건 중 비가 온 확률 P(비)=7/20, 비가 오지 않을 확률 P(~비)=1-7/20=13/20 - 그럼 맑은 날 일때 비가 오는 확률인 P(비 | 맑은날)은 얼마일까요? 위 식을 이용해 구할 수 있습니다. 이 값을 구하기 위해서는 ..

▶K-Means clustering(k - 평균 군집화)이란? 이 알고리즘은 널리 사용되는 비지도학습(unsupervised learning) 알고리즘입니다. 이 알고리즘에 대해 설명하기 전에 먼저 군집화(clustering)에 대해 설명하겠습니다. ​ ● 군집화(clustering)란? 지금까지 대부분의 포스팅에서는 레이벨이 있는 데이터로 분류하는 법을 설명했습니다. 그러나 실세계에서는 레이블이 없는 경우가 더 많습니다. 레이블이 없는 데이터를 가지고 데이터 안에서 패턴과 구조를 발견하는 것이 비지도 학습이고, 가장 대표적인 비지도학습 기술이 군집화입니다. 군집화가 사용되는 대표적인 분야로는 추천엔진, 검색엔진 등이 있습니다. 추천엔진에서는 사용자 경험을 개인화하기 위해 비슷한 제품끼리 묶는다던가, 검..

▶ 서포트 벡터 머신(Support Vector Machines, SVM)이란? 서포트 벡터 머신은 분류에 쓰이는 지도학습(supervised learning)모델 중 하나입니다. 학습을 통해 데이터를 분류하는 기준선인 결정 경계(decision boundary)를 알아냅니다. 이때 결정 경계는 속성의 차원에 따라 선이나 면이 될 수 있습니다. 위 그림을 보면 실선인 B1과 점선인 B2모두 동그라미 데이터와 네모 데이터를 무난하게 분류하고 있습니다. 두 데이터를 분류하는 선을 긋는 방법은 무수히 많을 것입니다. 하지만 가장 나은 결정 경계는 B1입니다. 그을 수 있는 선들중에서 가장 여유있게 분류를 해주고 있기 때문입니다. 위 그림에서 b11을 plus-plane, b12를 minus-plane이라고 하..