BPTT1 Extensions of RNN LM (Recurrent Neural Network) EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL,2011 http://www.fit.vutbr.cz/research/groups/speech/publi/2011/mikolov_icassp2011_5528.pdf Abstract 오리지널 RNN에서 몇가지 수정을 해서 더 좋은 성능을 냈다 이러한 개선으로 15배의 학습 속도 증가를 보였고, BPTT의 중요성을 보여줄것이다, 마지막에 파라미터의 양을 줄이는 가능성을 논의한다 이로인해 강력한 RNN 모델이 되었다 Introduction 기존의 언어학적인 통계학적인 모델이 주축을 이루고 있었는데 NN이 나오면서 이러한 모델들의 성과를 초과했다 NN 모델은 언어만이 아니라 다른 정보들도 학습을 한기에 저차원에서 단어.. 2017. 3. 24. 이전 1 다음
