본 캠프 51일차 TIL

 

1. 이상 탐지의 정의

이상 탐지는 특이한 값이나 보기 드문 사건을 탐지하는 과정으로, 정상과 다른 데이터 패턴을 찾아내는 것이 목적입니다. 이를 통해 조기 경고를 보내고 근본 원인을 해결하는 데 사용됩니다.

2. Novelty와 Outlier

• Novelty는 이전에 본 적 없는 새로운 데이터로, 학습 데이터에 포함되지 않은 데이터를 탐지하는 것
• Outlier는 기존 데이터와 비교해 확연히 다른 데이터로, 학습 데이터 내에서 다르거나 벗어난 데이터를 제거하는 것

3. 방법론 차이

• Novelty Detection은 정상 데이터만으로 학습한 후 새로운 입력 데이터를 검사합니다.
• Outlier Detection은 정상 및 이상 데이터를 모두 학습하고, 학습 데이터 내에서 벗어난 데이터를 제거합니다.

4. 이상 탐지의 어려움

• 도메인 지식이 부족할 경우 정상과 이상 데이터를 명확히 구분하기 어려워질 수 있습니다.
• 데이터 불균형 문제로 인해, 이상 데이터가 매우 희귀한 경우 머신 러닝 모델의 성능이 저하될 수 있습니다.

5. 이상 탐지에서 사용하는 데이터

• 이상 탐지에는 다양한 종류의 데이터가 사용되며, 목표와 대상에 따라 단변량 또는 다변량 데이터, 시계열 데이터 등을 활용할 수 있습니다.