cedis 님의 블로그

밑바닥부터 시작하는 딥러닝 1 - 출력층과 손실 함수신경망이 숫자를 출력했다고 해서 바로 학습이 되는 것은 아니다. 출력값을 문제에 맞게 해석해야 하고, 그 결과가 얼마나 틀렸는지도 수치로 평가해야 한다.이 글에서는 출력층의 소프트맥스와 손실 함수, 특히 교차 엔트로피 오차를 쉬운 채점 방식으로 정리한다.이번 글에서 잡을 것회귀 문제는 보통 항등 함수를 사용한다.분류 문제는 소프트맥스 함수로 출력을 확률처럼 해석한다.손실 함수는 신경망의 나쁨을 나타내는 벌점이다.교차 엔트로피는 정답 클래스에 준 확률을 중심으로 벌점을 계산한다.출력층은 문제 종류에 따라 달라진다문제예시출력층 함수출력 해석회귀몸무게 예측항등 함수숫자 자체분류숫자 0~9 분류소프트맥스각 클래스의 확률처럼 해석항등 함수는 입력을 그대로 내보낸..

밑바닥부터 시작하는 딥러닝 1 - 다차원 배열과 순전파뉴런이 몇 개 없을 때는 하나씩 계산해도 된다. 하지만 뉴런이 수십 개, 수백 개로 늘어나면 매번 식을 하나씩 쓰는 방식은 금방 무너진다.신경망에서 행렬 곱을 쓰는 이유는 복잡해 보이는 여러 뉴런의 계산을 하나의 배열 연산으로 묶기 위해서다.이번 글에서 잡을 것1차원 배열은 벡터, 2차원 배열은 행렬로 볼 수 있다.행렬 곱은 앞 행렬의 열 수와 뒤 행렬의 행 수가 맞아야 한다.신경망의 한 층 계산은 보통 `A = XW + B`로 정리된다.순전파는 입력에서 출력 방향으로 계산을 진행하는 과정이다.shape를 먼저 봐야 한다기호예시 shape뜻X(1, 2)입력 데이터 1개, 특징 2개W(2, 3)입력 2개를 다음 층 뉴런 3개로 연결B(3,)다음 층 뉴런..

밑바닥부터 시작하는 딥러닝 1 - 퍼셉트론에서 신경망으로퍼셉트론에서 신경망으로 넘어갈 때 책은 같은 계산을 여러 식으로 다시 쓴다. 처음 보면 같은 말을 반복하는 것처럼 보인다.하지만 이 분리는 중요하다. 입력에 가중치를 곱해 더하는 부분과, 그 결과를 최종 출력으로 바꾸는 부분을 분리해야 활성화 함수를 갈아끼울 수 있기 때문이다.이번 글에서 잡을 것`a = w1*x1 + w2*x2 + b`는 입력 신호를 모아 점수로 만드는 단계다.`y = h(a)`는 그 점수를 출력 신호로 바꾸는 단계다.퍼셉트론은 `h` 자리에 계단 함수를 쓴다.신경망은 `h` 자리에 시그모이드, ReLU 같은 비선형 함수를 쓴다.수식 분리는 부품을 나누는 일이다입력x1, x2→가중합a = wx + b→활성화y = h(a)→출력y가중..

밑바닥부터 시작하는 딥러닝 1 - 퍼셉트론 정리처음 퍼셉트론을 보면 AND, NAND, OR, XOR 같은 논리 게이트 이름이 먼저 나와서 디지털 논리 회로를 외워야 하는 것처럼 보인다. 하지만 이 장에서 더 중요한 것은 게이트 이름이 아니다. 핵심은 입력과 정답의 관계를 만족시키는 가중치와 편향을 고르는 과정이다.이번 글에서는 퍼셉트론 하나로 AND, NAND, OR 게이트를 만들고, 왜 XOR는 퍼셉트론 하나로 안 되는지, 그리고 여러 게이트를 조합하면 어떻게 XOR까지 만들 수 있는지 직접 따라간다.이번 글에서 잡을 것진리표를 암기 대상이 아니라, 퍼셉트론이 맞춰야 할 입력-정답 데이터로 본다.가중치와 편향이 입력 신호를 어떻게 판단 기준으로 바꾸는지 본다.AND, NAND, OR 게이트를 같은 코..