grid search 썸네일형 리스트형 Chapter 9 Hyperparameter Optimization 우리는 지금까지 모델 구조에 대해서 이야기했다. 안에 들어가는 변수들에 대한 조정을 크게 다루지 않았다. 예를들어, Learning rate, Momentum rate, Dropout, Normalization, Number of layers, number of nodes에 대해서 말이다. 하지만 이 변수들을 효과적으로 setting하는 방법이 있을까? 현재는 없다고 알고 있다. 예시를 한번 들어보자. 우리가 3-layer perceptron을 만들었다고 하자. 그렇다면 다음의 hyperparameter들을 최적화해야 될 것이다. • Learning rate: 𝜂 • Momentum rate: 𝑟 • Dropout probability: 𝑝 • Number of nodes in the first hidd.. 더보기 이전 1 다음
