Activation Function과 Vanishing Gradient Problem Activation Function은 간단하게 어떤 Input 데이터가 들어왔을 때 값을 normalize하여 active할지 inactive할지를 결정하는 함수입니다. 이러한 Activation Function에는 여러가지 함수가 존재하며 2가지 범주로 Output Layer에서 사용하는 함수와 Hidden Layer에서 사용하는 함수가 있습니다. Linear 들어온 Input 데이터에 대해서 선형 연산된 값을 그대로 출력하는 함수입니다. Sigmoid 질문에 대한 답이 Yes일 확률을 계산하는 확률 분포함수이며 0~1 사이의 값을 출력합니다. 일반적으로 2개의 카테고리를 예측할 때 Output layer에서 사용하되..