Back-propagation (delta rule) Back-propagation in neural network (aka delta rule) The main intuition is to define a delta$$ \delta_k^l \equiv \frac{C}{z_k^l} $$and find a recursive backward rule$$ \delta^l_k = \sum_m ( \delta_m^{l+1} W_{mk}^{l+1} ) \sigma'(z^l_k). $$ The gradients w.r.t. the learning parameters can be computed from the deltas. Gradients of a convolution layer The gradients of a convolution operation can be c.. 더보기 Deconvolution and Checkerboard Artifacts I've recently found a great article related to deconvolution and checkerboard artifacts. https://distill.pub/2016/deconv-checkerboard/ 위의 사진들이 말하는 것은 밝은 영역을 만들 때 이상한 strange checkerboard pattern of artifiact를 만든다는 것이다. 이러한 이유가 생기는 이유에 대해서 알아보자. Deconvolution & Overlap 뉴럴넷을 이용해서 이미지를 만들 때, 많은 경우에 저해상도에서 고해상도를 만든다. 이는 네트워크가 rough image를 만들고, 그 중간을 채워넣는 방향으로 디테일을 만든다. 이를 위해서 많은 경우에 deconvolution을 사.. 더보기 기초 과학을 지원합시다. 이거 진짜 레알 팩트 반박 불가 문재인 정부가 걱정되는 것 중 하나이다. 더보기 CapsNet 그 유명한 Dynamic Routing Between Capsules 논문에 대한 설명이다 아이디어 자체는 간단하다. 어떤 하위 레이어의 값이 들어오면 이를 상위로 바로 올리는 것이 아니라 linear transform을 한 값들을 가지고 일종의 loopy belief propagation을 한다. 이를 위해서 하위 레이어의 값을 섞어주는 mixing parameter에 해당하는 routing parameter를 찾는다. 이 과정이 마치 factor graph에서 문제를 푸는 것과 비슷하다. 힌튼을 유명하게 만든 restricted Boltzmann machine의 contrastive divergence에 해당하는 Gibbs sampling과도 일맥상통하는 바가 있다고 본다. routing parame.. 더보기 이전 1 ··· 11 12 13 14 15 16 17 ··· 161 다음
