Machine Learning/Paper3 Retrieval Augmented Generation (RAG) and Beyond 우리가 흔히 사용하는 인공지능 모델인 '대규모 언어 모델(LLM)'에 외부 데이터를 더해서 성능을 높이는 기술이 요즘 많은 주목을 받고 있습니다. 특히, '검색-기반 생성(Retrieval-Augmented Generation, RAG)'이나 '미세 조정(fine-tuning)' 같은 방법이 많이 쓰이고 있어요. 하지만 이 방법들을 실제로 적용할 때는 여러 가지 어려움이 따라요.예를 들어, 어떤 데이터를 찾아야 하는지, 사용자가 진짜로 원하는 것이 무엇인지, 그리고 복잡한 문제를 풀 때 LLM이 가진 모든 능력을 제대로 활용하는 방법을 찾는 것이 쉽지 않다는 거죠.LLM의 성능이 떨어지는 이유는 두 가지로 설명할 수 있어요. 첫째, 모델이 문제의 핵심을 제대로 이해하지 못할 때 성능이 떨어집니다. 둘째,.. 2024. 10. 1. Extensions of RNN LM (Recurrent Neural Network) EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL,2011 http://www.fit.vutbr.cz/research/groups/speech/publi/2011/mikolov_icassp2011_5528.pdf Abstract 오리지널 RNN에서 몇가지 수정을 해서 더 좋은 성능을 냈다 이러한 개선으로 15배의 학습 속도 증가를 보였고, BPTT의 중요성을 보여줄것이다, 마지막에 파라미터의 양을 줄이는 가능성을 논의한다 이로인해 강력한 RNN 모델이 되었다 Introduction 기존의 언어학적인 통계학적인 모델이 주축을 이루고 있었는데 NN이 나오면서 이러한 모델들의 성과를 초과했다 NN 모델은 언어만이 아니라 다른 정보들도 학습을 한기에 저차원에서 단어.. 2017. 3. 24. RNN LM (Recurrent neural network based language model) 언어모델에 사용된 RNN 관련 논문을 읽고 발로 요약정리한 내용입니다.흠. 좀 심하게 막장 요약이라서 올리기가 좀 그랬지만, 시간이 되면 정리해서 다시 올리겠습니다.^^혹시라도 관련해서 궁금하신 내용이 있으시면 댓글에 남겨주시면 겸사겸사 수정/정리하는 것으로 일단 하려고 합니다 Recurrent neural network based language model, 2010http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf AbstractLanguage model 기반의 RNN이 음성인식에서 perplexity가 50% 감소하는 결과를 보였다. 여러개의 RNN LMs를 사용했다. 1.Intro.. 2017. 3. 21. 이전 1 다음
