Introduction 딥러닝에서는 학습을 시킬 수록 Gradient가 폭발하거나 사지하는 문제가 생기고, 특정 feature에 지나치게 쏠릴 수 있다는 문제점이 있다. 따라서 이를 적절히 해결을 해주어야 한다. 일단 데이터부터 정의해주자. >>> import numpy as np >>> np.random.randint(1, 9, (10,3)) array([[1, 7, 2], [7, 1, 7], [1, 3, 4], [6, 7, 3], [5, 2, 5], [8, 1, 7], [1, 8, 6], [7, 1, 2], [6, 4, 1], [2, 3, 1]]) 이걸 읽고 있을 정도라면 왜 미니배치가 필요한지는 알고 있어야 한다....
머신 러닝 워크플로우 수집 (Acquisition) 머신 러닝을 위해서는 기계에 학습시켜야 할 데이터가 필요하다. 가장 기본적이지만 가장 핵심적인 부분이기도 하다. 점검 및 탐색(Inspection and exploration) 통칭 EDA라고 한다. 독립 변수, 종속 변수, 변수 유형, 변수의 데이터 타입 등을 점검하는 것이다. 말인즉슨, matplotlib을 굉장히 열심히 사용하여야 한다는 뜻이기도 하다. 전처리 및 정제(Preprocessing and Cleaning) 문자 그대로 데이터 전처리이다. 결측치에 대한 imputing을 하는 것도 전처리이고, 토큰화, 정제, 정규화, 불용어 제거 등도 다 전처리이다....
ROC curve가 나오게 된 배경, 이유, 한계, 활용, 해석 1. 배경 ROC는 원래 2차 세계대전 당시 레이더를 조작하던 엔지니어들이 오경보확률과 적중확률을 매칭시키기 위해 개발하였다고 합니다. 레이더 운용자(Receiver Operator)가 쓴다고 하여 이름도 Receiver Operating Characteristics입니다. 그려보기 실제로 한 번 그려봅시다. Actual Predicted 1 0.9 1 0.8 1 0.7 1 0.6 1 0.55 1 0.54 1 0.53 0 0.52 0 0.51 0 0.505 0 0.504 0 0.503 0 0.502 AOC 곡선을 그릴 때에는 Threshold를 움직여가며 점을 찍습니다....