'개발 ·공부/AI ˙ ML˙BigData' 카테고리의 글 목록

개발 ·공부/AI ˙ ML˙BigData

[ML] RRCF(Robust Random Cut Forest) - 1 2022.01.11
[Matplotlib] 한글 폰트, 마이너스 깨지는 현상 해결 방법 2021.11.04
[빅데이터, 통계] 이상치 탐색 공부에 좋은 글 모음 (Update 2021.10.25) 2021.10.25
[Python 빅데이터 라이브러리] 공식 문서 모음 (Update 2021.10.13) 2021.10.13
[기술 통계학] 상자 수염 그림, 상자 그림(Box plot) (2022.1.18수정) 2021.10.13

[ML] RRCF(Robust Random Cut Forest) - 1

2022. 1. 11. 10:43

728x90

Amazon Sagemaker에서도 쓰이는 RRCF대해서 소개할까 한다.

RRCF 소개

RRCF 알고리즘은 스트리밍 데이터의 특이치를 검출하기 위한 앙상블 방법임
여러 기능 제공
- 스트리밍 데이터를 처리하도록 설계
- 고차원 데이터에서 우수한 성능 제공
- 관련 없는 차원의 영향 감소
- 특이치의 존재를 숨길 수 있는 중복 및 근접한 것을 정상적으로 처리§명확한 기본 통계적 의미를 갖는 이상 징후 점수 알고리즘이 특징
이상 징후 감지 방법 일부
- 단일 클래스 지원 벡터 머신(OC-SVM; One class Support Vector Machines)
- 강력한 공분산 추정
- LOF(Local Outlier Factor)
- 순환 신경망(RNN; Replicator Neural Network)
위의 방법에는 몇 가지의 문제를 야기하는데 그 문제를 해결하기 위해 Isolation Forest(IF) 알고리즘은 새로운 앙상블 방법을 제안함
IF 알고리즘은 특이치를 탐지하는데 있어 좋은 성능을 보여주지만, 몇 가지의 한계가 있음
- tree가 생성되면 Isolation tree에서 포인트를 삽입, 삭제 할 수 없기 때문에 스트리밍 데이터와 함께 사용하도록 설계되지 않음
- IF 알고리즘은 ＂부적절한 차원"에 민감하며, 이는 상대적으로 적은 정보를 제공하는 차원에서
  파티션이 낭비되는 경우가 많다는 것을 의미
- tree 깊이가 특이치를 감지하는 데 있어 경험적 성공을 보여주지만, 이 측정지표를 이상점수로
  사용하는 것에 대한 이론적 정당성은 거의 없음
RRCF 알고리즘은 이러한 한계를 극복하기 위해 고안 됨

알고리즘 동작 원리

RRCF 알고리즘은 여러 개의 랜덤 데이터 점들을 가져와 동일한 수의 점들로 잘라 tree를 만듬
Tree를 모두 결합하면 데이터 점들이 forest로 형성되고, 특정 데이터 점들이 이상치인지 확인할 수 있음
알고리즘 배치에 따라 점수 부여
주황색 점이 많은 점수를 얻음
원안에 있는 각 데이터 점의 점수가 이상치 값보다 작음

이상치 점수는 원에서 얼마나 멀리 떨어져 있는지에 따라 점수를 부여함
점수가 작을수록 정상이고 점수가 높을수록 이상치임
데이터 점들의 점수가 표준편차 3을 초과하는 경우 비정상적인 것으로 간주 함

점수 계산 방법

각 차원의 최솟값과 최댓값을 사용하여 데이터의 Bounding Box를 만듬
차원 중 하나를 선택하고 차원의 범위를 임의로 자름. 위 예에서는 x축을 절단 함
왼쪽과 오른쪽 모두에 대해 Bounding Box를 다시 만듬
각각 새로운 Bounding Box에서 무작위로 자름
Tree가 root에 가까이 있는 점이 있다면 그것들은 잘려 고립 되고, root에 가까울수록 점수가 높아짐
Tree의 모든 지점이 완전히 격리될 때까지 수행됨

참고 사이트

이상 탐지를 위한 Amazon SageMaker 의 Random Cut Forest 빌트인 알고리즘 | Amazon Web Services

Amazon SageMaker에서 새로운 빌트인 알고리즘으로 Random Cut Forest(RCF)를 사용하실 수 있습니다. RCF는 데이터셋에서 이상치(outlier)를 탐지하는 비지도 학습 알고리즘입니다. 이번 블로그에서는 이상 탐

aws.amazon.com

An Introduction to SageMaker Random Cut Forests — Amazon SageMaker Examples 1.0.0 documentation

This notebook was tested in Amazon SageMaker Studio on a ml.t3.medium instance with Python 3 (Data Science) kernel. Our first step is to setup our AWS credentials so that AWS SageMaker can store and access training data and model artifacts. We also need so

sagemaker-examples.readthedocs.io

Random Cut Forest — sagemaker 2.72.3 documentation

input_shape (dict) – Specifies the name and shape of the expected inputs for your trained model in json dictionary form, for example: {‘data’:[1,3,1024,1024]}, or {‘var1’: [1,1,28,28], ‘var2’:[1,1,28,28]}

sagemaker.readthedocs.io

RCF 작동 방식 - Amazon SageMaker

이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오.

docs.aws.amazon.com

[논문 리뷰] 실시간 이상 감지 모델 Robust Random Cut Forest (RRCF)

재야의 숨은 고수가 되고 싶은 초심자

hiddenbeginner.github.io

rrcf 🌲🌲🌲

🌲 Implementation of the Robust Random Cut Forest Algorithm for anomaly detection on streams

klabum.github.io

Robust Random Cut Forest (RRCF): A No Math Explanation

A few weeks ago my colleague, Christopher Sycalik, R&D Lead for Platform DXC Intelligence, and I had an opportunity to play with the AWS Kinesis Analytics algorithm Robust Random Cut Forrest (RRCF). RRCF provides anomaly detection on streaming data.

www.linkedin.com

RRCF 검색어로 쳐서 찾아보면 좋은 자료들 많음

https://medium.com

728x90

저작자표시 비영리 (새창열림)

'개발 ·공부 > AI ˙ ML˙BigData' 카테고리의 다른 글

[Matplotlib] 한글 폰트, 마이너스 깨지는 현상 해결 방법 (0)	2021.11.04
[빅데이터, 통계] 이상치 탐색 공부에 좋은 글 모음 (Update 2021.10.25) (0)	2021.10.25
[Python 빅데이터 라이브러리] 공식 문서 모음 (Update 2021.10.13) (0)	2021.10.13
[기술 통계학] 상자 수염 그림, 상자 그림(Box plot) (2022.1.18수정) (0)	2021.10.13

[Matplotlib] 한글 폰트, 마이너스 깨지는 현상 해결 방법

2021. 11. 4. 14:48

728x90

파이썬 라이브러리 Matplotlib로 데이터 시각화 할 때마다 한글들이 깨지는 현상들을 많이 볼거다.

물론 영어로 작성하면 이러한 오류는 나타나지 않을거지만.....

여튼 오늘은 한글깨짐 해결 방법을 올리고자 한다.

개발환경 - Jupyter Notebook

Matplotlib 한글 폰트 정보 조회

1. Matplotlib의 font_manager에 현재 사용할 수 있는 전체 폰트와 경로를 하나 하나씩 찾는 방법

import matplotlib.font_manager as fm
font_list = fm.findSystemFonts(fontpaths=None, fontext='ttf')
font_list[:]

2. 알고 있는 폰트를 입력해서 폰트의 여부를 확인 할 수 있는 방법

import matplotlib.font_manager as fm

font_name = 'Nanum'
[(f.name, f.name) for f in fm.fontManager.ttflist if f'{font_name}' in f.name]

2가지 방법 중 아무 방법이나 사용해서 폰트 여부를 확인해주며 됩니다.

Matplotlib 한글 적용

한글 적용은 import해서 불러와주기만 하면된다. 그리고 한글 폰트를 사용하게되면 마이너스 ( - )가 깨짐 현상도 일어나는데 그 마이너스에 관한 내용도 밑에 적어 두었다.

import matplotlib.pyplot as plt

# family에다가 자기가 쓸 폰트 이름을 적어준다.
# 폰트 설정
plt.rc('font', family='NanumGothicCoding')
# 마이너스 깨짐 현상
plt.rc('axes', unicode_minus=False)

728x90

저작자표시 비영리 (새창열림)

'개발 ·공부 > AI ˙ ML˙BigData' 카테고리의 다른 글

[ML] RRCF(Robust Random Cut Forest) - 1 (0)	2022.01.11
[빅데이터, 통계] 이상치 탐색 공부에 좋은 글 모음 (Update 2021.10.25) (0)	2021.10.25
[Python 빅데이터 라이브러리] 공식 문서 모음 (Update 2021.10.13) (0)	2021.10.13
[기술 통계학] 상자 수염 그림, 상자 그림(Box plot) (2022.1.18수정) (0)	2021.10.13

[빅데이터, 통계] 이상치 탐색 공부에 좋은 글 모음 (Update 2021.10.25)

2021. 10. 25. 16:30

728x90

찾아보면서 좋은 자료들 계속 업데이트 할 예정

HIRA OAK Repository: 이상치 탐색을 위한 통계적 방법

repository.hira.or.kr

728x90

저작자표시 비영리 (새창열림)

'개발 ·공부 > AI ˙ ML˙BigData' 카테고리의 다른 글

[ML] RRCF(Robust Random Cut Forest) - 1 (0)	2022.01.11
[Matplotlib] 한글 폰트, 마이너스 깨지는 현상 해결 방법 (0)	2021.11.04
[Python 빅데이터 라이브러리] 공식 문서 모음 (Update 2021.10.13) (0)	2021.10.13
[기술 통계학] 상자 수염 그림, 상자 그림(Box plot) (2022.1.18수정) (0)	2021.10.13

[Python 빅데이터 라이브러리] 공식 문서 모음 (Update 2021.10.13)

2021. 10. 13. 16:46

728x90

Seaborn : 통계 데이터 시각화

seaborn.boxplot — seaborn 0.11.2 documentation

Vectors of data represented as lists, numpy arrays, or pandas Series objects passed directly to the x, y, and/or hue parameters.

seaborn.pydata.org

Matplotlib : Python을 사용한 시각화

Matplotlib: Python plotting — Matplotlib 3.4.3 documentation

matplotlib.org

Pandas : 데이터 조작 및 분석

pandas documentation — pandas 1.3.3 documentation

The reference guide contains a detailed description of the pandas API. The reference describes how the methods work and which parameters can be used. It assumes that you have an understanding of the key concepts.

pandas.pydata.org

728x90

저작자표시 비영리 (새창열림)

'개발 ·공부 > AI ˙ ML˙BigData' 카테고리의 다른 글

[ML] RRCF(Robust Random Cut Forest) - 1 (0)	2022.01.11
[Matplotlib] 한글 폰트, 마이너스 깨지는 현상 해결 방법 (0)	2021.11.04
[빅데이터, 통계] 이상치 탐색 공부에 좋은 글 모음 (Update 2021.10.25) (0)	2021.10.25
[기술 통계학] 상자 수염 그림, 상자 그림(Box plot) (2022.1.18수정) (0)	2021.10.13

[기술 통계학] 상자 수염 그림, 상자 그림(Box plot) (2022.1.18수정)

2021. 10. 13. 13:57

728x90

설명

- '상자 수염 그림(box-and-whisker plot, box-and-whisker diagram)' 또는 상자 그림(Box plot) 또는 상자 차트(Box Chart)라고 불림

- 데이터의 최대, 최소, 중간값과 사분위 수 등을 효율적으로 가시화할 수 있는 차트

- 범주형 데이터 기준으로 수치형 데이터의 분포를 파악하는데 적합

- 데이터의 중심과 산포, 모양을 개략적으로 파악할 수 있음

- 이상치의 존재 여부를 파악할 때 사용

- 그룹간 평균과 산포 비교에 효과적

- 5개의 통계량과 자료의 평균값, 사분위수 범위를 쉽게 파악

- 자료 분포의 비대칭도를 파악 → 자료의 평균과 중앙값을 비교

- 그래프

25th percentile, Lower Quartile, 제 1사분위(Q1)
☞ 25%의 위치
☞ Q1 = (n+1) * 4번째 숫자의 값
중앙값(MEDIAN), 제 2사분위(Q2)
☞ 중앙값 50%의 위치
☞ 중앙 값은 짝수일 경우 2개가 될 수 도 있고, 그것의 평균이 중앙 값이 될 수 있음
☞ 홀수일 경우, 중앙 값은 1개가 됨
75th percentile, Upper quartile, 제 3사분위 (Q3)
☞ 75%의 위치
☞ Q3 = (n+1) * (3 / 4)번째 숫자의 값
박스(Box), IQR(Inter Quartile Range)
☞ 25%(Q1) ~ 75%(Q3) 까지 값들을 박스로 둘러 쌈
☞ Q3 - Q1의 값
수염(Whisker)
☞ 박스의 각 모서리 (Q1, Q3)로 부터 IQR의 1.5배 내에 있는 가장 멀리 떨어진 데이터 점까지 이어져 있는 것
☞ 박스의 상화좌우로 뻗어 나가는 선
☞ 최댓값 : 제 3사분위수 + (1.5 * IQR값) = 최댓값
☞ 최솟값 : 제 1사분위수 - (1.5 * IQR값) = 최솟값
Outlier(이상치), Extreme(극단치)
☞ 수염보다 바깥쪽에 위치한 데이터
☞ 이상치 : 수염의 최댓 · 최솟 값을 벗어난 데이터
박스길이의 1.5배
☞ 극단치 : 박스 길이의 3배
제 3 사분위수 + (3.0 * IQR값) 벗어난 데이터
제 1 사분위수 - (3.0 * IQR값) 벗어난 데이터

Python 코드

Jupyter Notebook 활용 했고, 자세한 내용들은 나중에 다시 추가 할 예정

세로

가로

여러개

특성 이용

참고 사이트

상자 수염 그림 - 위키백과, 우리 모두의 백과사전

기술 통계학에서 '상자 수염 그림'(box-and-whisker plot, box-and-whisker diagram) 또는 '상자 그림'(box plot, boxplot)은 수치적 자료를 표현하는 그래프이다. 이 그래프는 가공하지 않은 자료 그대로를 이용하

ko.wikipedia.org

Chapter 11. 차트를 멋지게 그려보자

이번 시간의 목차 1. 데이터 시각화가 꼭 필요할까? 2. 파이썬에서 데이터 시각화의 기본이 되는 맷플롯립 3. plot() 함수를 좀 더 다양하게 써 보자! 4. 막대 그래프를 그려 보자! 5. 산포도 그래프를

jiwoncho20213135python.tistory.com

교육통계 2.3. 박스플롯(Box Plot)과 산포도

5. 박스 플롯 (Box Plot) : 박스 모양의 그래프. 1) 가운데 박스는 전체 자료의 50%값. (하위 25%와 상위...

blog.naver.com

matplotlib.pyplot.boxplot — Matplotlib 3.4.3 documentation

Parameters: xArray or a sequence of vectors.The input data. notchbool, default: FalseWhether to draw a notched box plot (True), or a rectangular box plot (False). The notches represent the confidence interval (CI) around the median. The documentation for b

matplotlib.org

(파이썬-Matplotlib) 시각화 튜토리얼 - 박스플롯

강의 홍보 취준생을 위한 강의를 제작하였습니다. 본 블로그를 통해서 강의를 수강하신 분은 게시글 제목과 링크를 수강하여 인프런 메시지를 통해 보내주시기를 바랍니다. 스타벅스 아이스 아

dschloe.github.io

Boxplot 상자도표를 통한 이상치 탐지 - [데이터 전처리]

Boxplot란? 데이터의 분포를 한 눈에 볼 수 있게 시각화하여 이상치(Outlier)등을 탐지할 수 있는 시각화 도구. median - 중앙값 IQR - 25% ~ 75%에 해당한 부분 75th Percentile - 제 3사분위수 25th Percen..

yoon1seok.tistory.com

728x90

저작자표시 비영리 (새창열림)

'개발 ·공부 > AI ˙ ML˙BigData' 카테고리의 다른 글

[ML] RRCF(Robust Random Cut Forest) - 1 (0)	2022.01.11
[Matplotlib] 한글 폰트, 마이너스 깨지는 현상 해결 방법 (0)	2021.11.04
[빅데이터, 통계] 이상치 탐색 공부에 좋은 글 모음 (Update 2021.10.25) (0)	2021.10.25
[Python 빅데이터 라이브러리] 공식 문서 모음 (Update 2021.10.13) (0)	2021.10.13

PREV 이전 1 NEXT 다음

LUNA Dev 📁