Deep Learning/딥러닝4 소프트맥스(Softmax) 함수 소프트맥스 함수는 출력층에서 사용되는 함수이다. 이 외에도 항등 함수, 시그모이드 함수가 존재한다. 항등 함수의 경우 입력값이 그대로 출력되는 함수로 회귀 모델을 만들 때 사용한다. 소프트맥스 함수는 다중 클래스 분류 모델을 만들 때 사용한다. 결과를 확률로 해석할 수 있게 변환해주는 함수로 높은 확률을 가지는 class로 분류한다. 이는 결과값을 정규화시키는 것으로도 생각할 수 있다. $p_j = \frac{e^{z_j}}{\sum_{k=1}^{K} e^{z_j}}$ $j = 1,2, \dots ,K$ K는 클래스 수를 나타내며, $z_j$는 소프트맥스 함수의 입력값이다. $p_j$를 직관적으로 해석하면 $\frac{j번째 입력값}{입력값의 합}$으로 볼 수 있으며 따라서 확률 관점으로 볼 수 있다. .. 2021. 2. 25. 활성화 함수(Activation Function) ○ 활성화 함수 활성화 함수는 이전 층(layer)의 결과값을 변환하여 다른 층의 뉴런으로 신호를 전달하는 역할을 한다. 활성화 함수가 필요한 이유는 모델의 복잡도를 올리기 위함인데 앞서 다루었던 비선형 문제를 해결하는데 중요한 역할을 한다. 비선형 문제를 해결하기 위해 단층 퍼셉트론을 쌓는 방법을 이용했는데 은닉층(hidden layer)를 무작정 쌓기만 한다고 해서 비선형 문제를 해결할 수 있는 것은 아니다. 활성 함수를 사용하면 입력값에 대한 출력값이 비선형(nonlinear)적으로 나오므로 선형분류기를 비선형분류기로 만들 수 있다. 신경망에서는 활성화 함수로 비선형 함수만을 사용하게 되는데 선형 함수를 사용하면 신경망의 층을 깊게 쌓는 것에 의미가 없어지기 때문이다. 즉, 은닉층(hidden la.. 2021. 2. 24. 퍼셉트론(Perceptron)과 오차역전파(Backpropagation) 인공지능을 만들기 위해 구현된 딥러닝은 생명체와 신경계에 영감을 얻게 되었고, 그 결과 인간의 뇌가 학습하는 방식을 모방한 인공신경망(artificail neural network)의 구조로 개발되었다. 이에 대한 역사를 읽어보면 큰 틀을 볼 수 있으니 꼭 읽어보는 것을 추천드립니다 ! 😣 ○ 퍼셉트론 퍼셉트론은 1957년 프랭클린 로젠 블랫(Frank Rosenblatt)에 의해 개발되었으며, 여러 개의 뉴런(노드)(x1, x2, ...)에 가중치(w1, w2, ...)를 곱해서 합한 형태이다(가중치는 수동적으로 지정.) 이 값은 활성화함수(f)에 따라 다시 변환되어 신호가 '흐른다/안 흐른다'(1 or 0)라는 정보를 출력한다. 퍼셉트론은 인공신경망의 기원이 되는 수학적인 모델이며 "피드포워드(Fee.. 2021. 2. 18. 인공지능? 머신러닝? 딥러닝? 알파고와 함께 딥러닝, 머신러닝이 화두가 되면서 아마 많은 사람들이 알파고는 딥러닝 기술을 이용했다고 생각할 것입니다. 하지만, 강화학습 기술을 이용한 알파고는 대량의 과거 바둑 기보를 통해 학습하고 자기 자신과 경기를 하면서 학습했습니다. 그 결과, 알파고는 전세계적인 프로 바둑 기사들을 압승하며 전적 73승 1패라는 기록을 세웠고, 오해와 함께 딥러닝과 머신러닝이 다시 수면 위로 올라오게 되었습니다. 딥러닝은 새로 개발된 알고리즘이 아닌 오랜 역사가 있다는 것도 알고만 지나가도록 합시다. 😊 데이터 분야에 종사하는 사람으로서 새로운 트렌드에 민감할 수 밖에 없었고 언젠가는 공부해야 할 과제라고 생각했습니다. 마침 좋은 유튜브 강의가 있어 공부하다가 글로 끄적여 놓는 것이 나중에 다시 공부할 때 도움이.. 2021. 2. 16. 이전 1 다음
