lm2 Extensions of RNN LM (Recurrent Neural Network) EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL,2011 http://www.fit.vutbr.cz/research/groups/speech/publi/2011/mikolov_icassp2011_5528.pdf Abstract 오리지널 RNN에서 몇가지 수정을 해서 더 좋은 성능을 냈다 이러한 개선으로 15배의 학습 속도 증가를 보였고, BPTT의 중요성을 보여줄것이다, 마지막에 파라미터의 양을 줄이는 가능성을 논의한다 이로인해 강력한 RNN 모델이 되었다 Introduction 기존의 언어학적인 통계학적인 모델이 주축을 이루고 있었는데 NN이 나오면서 이러한 모델들의 성과를 초과했다 NN 모델은 언어만이 아니라 다른 정보들도 학습을 한기에 저차원에서 단어.. 2017. 3. 24. RNN LM (Recurrent neural network based language model) 언어모델에 사용된 RNN 관련 논문을 읽고 발로 요약정리한 내용입니다.흠. 좀 심하게 막장 요약이라서 올리기가 좀 그랬지만, 시간이 되면 정리해서 다시 올리겠습니다.^^혹시라도 관련해서 궁금하신 내용이 있으시면 댓글에 남겨주시면 겸사겸사 수정/정리하는 것으로 일단 하려고 합니다 Recurrent neural network based language model, 2010http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf AbstractLanguage model 기반의 RNN이 음성인식에서 perplexity가 50% 감소하는 결과를 보였다. 여러개의 RNN LMs를 사용했다. 1.Intro.. 2017. 3. 21. 이전 1 다음
