neural network 썸네일형 리스트형 Chapter 2-2 Neural Networks Chapter2 초기를 상기해보자. 우리는 Shallow Network와 Deep Network의 정의를 하고 넘어갔다. 이론적으로 Shallow Networks는 모든 기능을 모방할 수 있지만, 노드 수가 기하급수적으로 증가할 수 있다. 이런 기하급수적 노드의 폭발을 피하기 위해 Deep Network를 채택하고 있다. 하지만 Deep Network는 매우 강력한 힘을 가지고 있지만 많은 문제점들이 존재한다. 대표적인 예로는 어려운 최적화, Overfitting, Internal covariate shift가 있다. 많은 노드들이 사용이된다면 많은 항이 곱해지며 연산이 많아지게 된다. 그 여파로 인하여, 일부 값들이 작은 경우 기울기가 전체적으로 매우 작아며 반대로 일부 값들이 큰 경우 기울기가 전체적.. 더보기 Chapter 2-1 Neural Networks 간단하게 인공 신경망(Artificial Neural Network, ANN)의 탄생을 설명하고 넘어가도록하자. 우리의 뇌는 1011개의 뉴런들로 이루어져있다. 뉴런은 다음 그림과 같이 생겼다. 간단하게 이 뉴런의 구조를 Cell body, Dendrite, Axon으로 나눌수 있다. 뉴런은 해당 구조를 활용하여 정보전달을 하는데, 이는 아래의 그림과 같이 나타난다. Dendrite: 신경전달물질을 받음 Axon: 신경전달물질을 방출 Cell body: 신경전달물질저장 공간 이를 모방한 것이 ANN이다. ANN을 위의 방식으로 모방하면 다음 그림과 같이 모방이 가능할 것이다. 초기 모델들이 Sigmoid function을 사용하는 것과 해당 function을 바탕으로 XOR문제를 풀 수 있는 것은 너무 .. 더보기 이전 1 다음
