Amazon Sagemaker์์๋ ์ฐ์ด๋ RRCF๋ํด์ ์๊ฐํ ๊น ํ๋ค.
RRCF ์๊ฐ
- RRCF ์๊ณ ๋ฆฌ์ฆ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ์ ํน์ด์น๋ฅผ ๊ฒ์ถํ๊ธฐ ์ํ ์์๋ธ ๋ฐฉ๋ฒ์
- ์ฌ๋ฌ ๊ธฐ๋ฅ ์ ๊ณต
- ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ๋ฅผ ์ฒ๋ฆฌํ๋๋ก ์ค๊ณ
- ๊ณ ์ฐจ์ ๋ฐ์ดํฐ์์ ์ฐ์ํ ์ฑ๋ฅ ์ ๊ณต
- ๊ด๋ จ ์๋ ์ฐจ์์ ์ํฅ ๊ฐ์
- ํน์ด์น์ ์กด์ฌ๋ฅผ ์จ๊ธธ ์ ์๋ ์ค๋ณต ๋ฐ ๊ทผ์ ํ ๊ฒ์ ์ ์์ ์ผ๋ก ์ฒ๋ฆฌ§๋ช ํํ ๊ธฐ๋ณธ ํต๊ณ์ ์๋ฏธ๋ฅผ ๊ฐ๋ ์ด์ ์งํ ์ ์ ์๊ณ ๋ฆฌ์ฆ์ด ํน์ง
-
์ด์ ์งํ ๊ฐ์ง ๋ฐฉ๋ฒ ์ผ๋ถ
-
๋จ์ผ ํด๋์ค ์ง์ ๋ฒกํฐ ๋จธ์ (OC-SVM; One class Support Vector Machines)
-
๊ฐ๋ ฅํ ๊ณต๋ถ์ฐ ์ถ์
-
LOF(Local Outlier Factor)
-
์ํ ์ ๊ฒฝ๋ง(RNN; Replicator Neural Network)
-
-
์์ ๋ฐฉ๋ฒ์๋ ๋ช ๊ฐ์ง์ ๋ฌธ์ ๋ฅผ ์ผ๊ธฐํ๋๋ฐ ๊ทธ ๋ฌธ์ ๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด Isolation Forest(IF) ์๊ณ ๋ฆฌ์ฆ์ ์๋ก์ด ์์๋ธ ๋ฐฉ๋ฒ์ ์ ์ํจ
-
IF ์๊ณ ๋ฆฌ์ฆ์ ํน์ด์น๋ฅผ ํ์งํ๋๋ฐ ์์ด ์ข์ ์ฑ๋ฅ์ ๋ณด์ฌ์ฃผ์ง๋ง, ๋ช ๊ฐ์ง์ ํ๊ณ๊ฐ ์์
-
tree๊ฐ ์์ฑ๋๋ฉด Isolation tree์์ ํฌ์ธํธ๋ฅผ ์ฝ์ , ์ญ์ ํ ์ ์๊ธฐ ๋๋ฌธ์ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ์ ํจ๊ป ์ฌ์ฉํ๋๋ก ์ค๊ณ๋์ง ์์
-
IF ์๊ณ ๋ฆฌ์ฆ์ ๏ผ๋ถ์ ์ ํ ์ฐจ์"์ ๋ฏผ๊ฐํ๋ฉฐ, ์ด๋ ์๋์ ์ผ๋ก ์ ์ ์ ๋ณด๋ฅผ ์ ๊ณตํ๋ ์ฐจ์์์
ํํฐ์ ์ด ๋ญ๋น๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค๋ ๊ฒ์ ์๋ฏธ -
tree ๊น์ด๊ฐ ํน์ด์น๋ฅผ ๊ฐ์งํ๋ ๋ฐ ์์ด ๊ฒฝํ์ ์ฑ๊ณต์ ๋ณด์ฌ์ฃผ์ง๋ง, ์ด ์ธก์ ์งํ๋ฅผ ์ด์์ ์๋ก
์ฌ์ฉํ๋ ๊ฒ์ ๋ํ ์ด๋ก ์ ์ ๋น์ฑ์ ๊ฑฐ์ ์์
-
-
RRCF ์๊ณ ๋ฆฌ์ฆ์ ์ด๋ฌํ ํ๊ณ๋ฅผ ๊ทน๋ณตํ๊ธฐ ์ํด ๊ณ ์ ๋จ
์๊ณ ๋ฆฌ์ฆ ๋์ ์๋ฆฌ
- RRCF ์๊ณ ๋ฆฌ์ฆ์ ์ฌ๋ฌ ๊ฐ์ ๋๋ค ๋ฐ์ดํฐ ์ ๋ค์ ๊ฐ์ ธ์ ๋์ผํ ์์ ์ ๋ค๋ก ์๋ผ tree๋ฅผ ๋ง๋ฌ
- Tree๋ฅผ ๋ชจ๋ ๊ฒฐํฉํ๋ฉด ๋ฐ์ดํฐ ์ ๋ค์ด forest๋ก ํ์ฑ๋๊ณ , ํน์ ๋ฐ์ดํฐ ์ ๋ค์ด ์ด์์น์ธ์ง ํ์ธํ ์ ์์
- ์๊ณ ๋ฆฌ์ฆ ๋ฐฐ์น์ ๋ฐ๋ผ ์ ์ ๋ถ์ฌ
- ์ฃผํฉ์ ์ ์ด ๋ง์ ์ ์๋ฅผ ์ป์
- ์์์ ์๋ ๊ฐ ๋ฐ์ดํฐ ์ ์ ์ ์๊ฐ ์ด์์น ๊ฐ๋ณด๋ค ์์
- ์ด์์น ์ ์๋ ์์์ ์ผ๋ง๋ ๋ฉ๋ฆฌ ๋จ์ด์ ธ ์๋์ง์ ๋ฐ๋ผ ์ ์๋ฅผ ๋ถ์ฌํจ
- ์ ์๊ฐ ์์์๋ก ์ ์์ด๊ณ ์ ์๊ฐ ๋์์๋ก ์ด์์น์
- ๋ฐ์ดํฐ ์ ๋ค์ ์ ์๊ฐ ํ์คํธ์ฐจ 3์ ์ด๊ณผํ๋ ๊ฒฝ์ฐ ๋น์ ์์ ์ธ ๊ฒ์ผ๋ก ๊ฐ์ฃผ ํจ
์ ์ ๊ณ์ฐ ๋ฐฉ๋ฒ
- ๊ฐ ์ฐจ์์ ์ต์๊ฐ๊ณผ ์ต๋๊ฐ์ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ์ Bounding Box๋ฅผ ๋ง๋ฌ
- ์ฐจ์ ์ค ํ๋๋ฅผ ์ ํํ๊ณ ์ฐจ์์ ๋ฒ์๋ฅผ ์์๋ก ์๋ฆ. ์ ์์์๋ x์ถ์ ์ ๋จ ํจ
- ์ผ์ชฝ๊ณผ ์ค๋ฅธ์ชฝ ๋ชจ๋์ ๋ํด Bounding Box๋ฅผ ๋ค์ ๋ง๋ฌ
- ๊ฐ๊ฐ ์๋ก์ด Bounding Box์์ ๋ฌด์์๋ก ์๋ฆ
- Tree๊ฐ root์ ๊ฐ๊น์ด ์๋ ์ ์ด ์๋ค๋ฉด ๊ทธ๊ฒ๋ค์ ์๋ ค ๊ณ ๋ฆฝ ๋๊ณ , root์ ๊ฐ๊น์ธ์๋ก ์ ์๊ฐ ๋์์ง
- Tree์ ๋ชจ๋ ์ง์ ์ด ์์ ํ ๊ฒฉ๋ฆฌ๋ ๋๊น์ง ์ํ๋จ
์ฐธ๊ณ ์ฌ์ดํธ
์ด์ ํ์ง๋ฅผ ์ํ Amazon SageMaker ์ Random Cut Forest ๋นํธ์ธ ์๊ณ ๋ฆฌ์ฆ | Amazon Web Services
Amazon SageMaker์์ ์๋ก์ด ๋นํธ์ธ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก Random Cut Forest(RCF)๋ฅผ ์ฌ์ฉํ์ค ์ ์์ต๋๋ค. RCF๋ ๋ฐ์ดํฐ์ ์์ ์ด์์น(outlier)๋ฅผ ํ์งํ๋ ๋น์ง๋ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ ๋๋ค. ์ด๋ฒ ๋ธ๋ก๊ทธ์์๋ ์ด์ ํ
aws.amazon.com
An Introduction to SageMaker Random Cut Forests — Amazon SageMaker Examples 1.0.0 documentation
This notebook was tested in Amazon SageMaker Studio on a ml.t3.medium instance with Python 3 (Data Science) kernel. Our first step is to setup our AWS credentials so that AWS SageMaker can store and access training data and model artifacts. We also need so
sagemaker-examples.readthedocs.io
Random Cut Forest — sagemaker 2.72.3 documentation
input_shape (dict) – Specifies the name and shape of the expected inputs for your trained model in json dictionary form, for example: {‘data’:[1,3,1024,1024]}, or {‘var1’: [1,1,28,28], ‘var2’:[1,1,28,28]}
sagemaker.readthedocs.io
RCF ์๋ ๋ฐฉ์ - Amazon SageMaker
์ด ํ์ด์ง์ ์์ ์ด ํ์ํ๋ค๋ ์ ์ ์๋ ค ์ฃผ์ ์ ๊ฐ์ฌํฉ๋๋ค. ์ค๋ง์์ผ ๋๋ ค ์ฃ์กํฉ๋๋ค. ์ ๊น ์๊ฐ์ ๋ด์ด ์ค๋ช ์๋ฅผ ํฅ์์ํฌ ์ ์๋ ๋ฐฉ๋ฒ์ ๋ํด ๋ง์ํด ์ฃผ์ญ์์ค.
docs.aws.amazon.com
[๋ ผ๋ฌธ ๋ฆฌ๋ทฐ] ์ค์๊ฐ ์ด์ ๊ฐ์ง ๋ชจ๋ธ Robust Random Cut Forest (RRCF)
์ฌ์ผ์ ์จ์ ๊ณ ์๊ฐ ๋๊ณ ์ถ์ ์ด์ฌ์
hiddenbeginner.github.io
rrcf ๐ฒ๐ฒ๐ฒ
๐ฒ Implementation of the Robust Random Cut Forest Algorithm for anomaly detection on streams
klabum.github.io
Robust Random Cut Forest (RRCF): A No Math Explanation
A few weeks ago my colleague, Christopher Sycalik, R&D Lead for Platform DXC Intelligence, and I had an opportunity to play with the AWS Kinesis Analytics algorithm Robust Random Cut Forrest (RRCF). RRCF provides anomaly detection on streaming data.
www.linkedin.com
RRCF ๊ฒ์์ด๋ก ์ณ์ ์ฐพ์๋ณด๋ฉด ์ข์ ์๋ฃ๋ค ๋ง์