본문 바로가기

전체 글

 (22)
[CS231n 4강 정리] 역전파와 신경망 역전파(Backpropagation) 는 노드의 맨 오른쪽부터 시작해서 연쇄법칙(chain rule) 을 왼쪽으로 적용해 간다.$local gradient $: 해당 노드에 대한 미분값을 나타낸다.$upstream gradient$ : 연쇄법칙간에 앞선 노드의 기울기를 의미한다. 노드를 그룹으로 나누어서 연쇄법칙을 적용할 수 있다.sigmoid gate 를 미분할 경우 $(1-\sigma(x))\sigma(x)$ 인걸 알 수 있고 sigmoid gate의 출력값인 (1-0.73)*0.73 을 계산해보면 sigmoid gate 노드 그룹에 대한 미분값인 0.20이 나오는걸 확인할 수 있다. * 여러 노드와 연결되어 있는 하나의 노드를 가지고 있는 경우upstream gradient 의 값들을 합한다. * ..
[CS231n 3강 정리] 손실함수와 옵티마이저 [강의주소]https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk&index=1[강의자료]https://cs231n.github.io/[한국어자막]https://github.com/visionNoob/CS231N_17_KOR_SUB[비디오 다운로더]https://www.4kdownload.com/ko/products/videodownloader-1 - 3강 도입부에서는 Linear Classification에 대한 보충 설명이 나온다.- 선형대수학을 알고 있어야한다. (행렬연산방법, 백터공간에서의 선형변환 등 사전 지식이 필요하다.)- 미적분에 대해 알고있어야한다. (lossfunction 에서 역전파 과정에서..
[CS231n 2강 정리] 이미지 분류 Image Classfication을 한다고 하면 우선 입력 이미지를 받습니다. 예시로 고양이 이미지를 입력받고시스템에는 우리가 미리 정해놓은 카테고리 집합이 있습니다. 카테고리에는 가령 개, 고양이, 트럭, 비행기 등이 있을 수 있습니다. 이제! 컴퓨터가 할일은 이미지를 보고 어떤 카테고리에 속할지 고르는 것입니다. 엄청 쉬워보입니다.왜냐하면 사람의 시각체계는 이와 같은 시각인식 테스크에 고도화 되어 있기 때문입니다. 하지만 기계에게는 정말 어려운 일이죠 사람과 달리 컴퓨터에게 주어지는 건 아주 큰 격자 모양의 숫자 집합으로밖에 보이지 않습니다 (2번쨰 그림)그리고 각 픽셀은 3개의 숫자로 표현합니다 각각은 red, green, blue를 의미합니다. 다시말하자면 컴퓨터에게 주어진건 저 숫자 집합 뿐이..

티스토리툴바