Batch Normalization

Introduction 딥러닝에서는 학습을 시킬 수록 Gradient가 폭발하거나 사지하는 문제가 생기고, 특정 feature에 지나치게 쏠릴 수 있다는 문제점이 있다. 따라서 이를 적절히 해결을 해주어야 한다. 일단 데이터부터 정의해주자. >>> import numpy as np >>> np.random.randint(1, 9, (10,3)) array([[1, 7, 2], [7, 1, 7], [1, 3, 4], [6, 7, 3], [5, 2, 5], [8, 1, 7], [1, 8, 6], [7, 1, 2], [6, 4, 1], [2, 3, 1]]) 이걸 읽고 있을 정도라면 왜 미니배치가 필요한지는 알고 있어야 한다....