본문 바로가기

분류 전체보기236

RL (강화학습) 기초 - 4. Markov Decision Processes (2) 3. Markov Decision Process 이전까지 살펴보았던 Markov reward process 에 의사결정에 대한 개념을 더 추가합니다. 이를 Markov decision process (MDP) 라고 합니다. 당연히 모든 state가 Markov 인 환경에서 이루어집니다. A 라고 하는 action이 가능한 집합을 표현하는 notation이 하나가 더 추가가 되었습니다. 이를 통해서 현재 상태 s 에서 a 라고 하는 action을 할 때 다음 상태 s' 로 가게 될 확률을 P 에 대한 내용으로 표현을 하게 됩니다. R 도 reward 에 대한 함수인데 마찬가지로 현재 상태 s 에서 a 라는 action을 할때 기대되어지는 보상을 표현하게 됩니다. 그외 나머지는 이전 내용과 동일하니까 생략합.. 2017. 8. 29.
RL (강화학습) 기초 - 3. Markov Decision Processes (1) 1. Markov Processes 이번에 다루게 될 MDP에 대해서 소개를 하면 RL, 강화학습에서 가장 중요한 핵심 이론이 됩니다. 이 강의에서는 전제조건으로 agent가 환경에서 발생되는 모든 정보를 볼 수 있다고 가정합니다. (fully observable) 설명을 하기 쉬운 환경이지만 실제로 우리가 살고 있는 환경은 그렇치 않죠. 우리는 아무리 노력을 해도 세상의 모든 뉴스를 다 보고 알수는 없기 때문입니다. 어떠한 현재 상태는 큰 프로세스가 진행이 되고 있는 과정 중에서 특정 시점이 될 것이고, 모든 환경을 다 볼 수 있기 때문에 완전히 특성들을 갖추고 있다고 볼 수 있겠습니다. Markov property에 대한 정의를 알아봅니다. agent가 environment에서 어떠한 action을 .. 2017. 8. 8.
ML 뉴스 모음 - 201707 1. AI 광고 알고리즘 [사이트 링크] 광고 알고리즘과 AI에 대한 설명이 잘되어 있습니다. 2. 퀀토피안 교육 [사이트 링크] 퀀트가 되기 위한 유용한 전략들과 프로그램 예제가 잘 정리되어 있습니다. 3. 미래 이벤트를 예측하기 [페북 링크] [깃허브 링크] 베이불 시간-이벤트 순환 신경망 (Weibull Time To Event Recurrent Neural Network)이벤트 발생 및 시간 예측에 대한 덜 어려운 기계 학습 프레임워크입니다.서버 모니터링부터 지진 발생 및 생산량 예측 등의 다양한 문제는 크게 보면 이벤트가 발생하는 시간을 예측하는 문제입니다. 2017. 7. 28.
RL (강화학습) 기초 - 2. Reinforcement Learning 소개 Deepmind에 David silver 교수님의 강의를 기반으로 하여 강화학습에 대한 이론적인 내용들을 하나씩 살펴 보겠습니다. 강의 영상과 자료들은 아래의 링크에서 볼 수 있습니다.http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 1. About RL 강화학습(RL)은 1979년도에 처음 시작했다고 서튼 교수님의 책에서 말씀하시고 계십니다. 어떻게 생각하면 오래된 것이고 또 다르게 보면 얼마 안된 분야라고도 할 수 있겠지만, 제 인생만큼 같이 발전되어온 분야라고 하니 더욱 관심이 가네요^^ 강화학습은 컴퓨터 사이언스 분야에서 머신러닝의 한 분야에서 사용되기도 하지만, 그 외에 다른 다양한 분양에서도 다른 이름으로 비슷하게 적용이 되고 있습니다. 엔.. 2017. 7. 19.
RL (강화학습) 기초 - 1. OpenAI의 Gym 설치 및 예제 돌려보기 강화학습을 이론적으로 공부를 하기 위해서는 보통 Sutton 교수님의 책으로 시작을 하는데 이 책의 내용이 수학적이고 어려운 내용들이 많이 있다보니 접근하기가 쉽지는 않는 것 같습니다. 이후에는 이러한 이론적인 내용들도 시간이 되면 차근차근 정리해 보도록 할 것인데요. 이번에시작은 가볍고 재미있게 할 수 있는 방법으로 해보려고 합니다. openAI 에서 간단한 게임들을 통해서 강화학습을 테스트 할 수 있는 Gym 이라는 환경을 제공하고 있습니다. Gym을 설치하고 간단한 예제를 돌려보면서 강화학습이란 것이 어떤 것인지 먼저 감을 잡아 볼 수 있을 것 같습니다. 제가 맥북에서 주로 작업을 하다 보니 우선은 Mac OS를 기준으로 해보겠습니다.(Windows 에서도 설치해보니 동일한 방식으로 설치가 잘 됩니.. 2017. 7. 12.
Machine Learning Resources - Lectures (ML 기본강좌) [머신러닝 입문 강좌]Andrew Ng's ML class https://class.coursera.org/ml-003/lectureML class wiki : https://share.coursera.org/wiki/index.php/ML:MainML1 class wiki : https://share.coursera.org/wiki/index.php/ML1:Mainnote : http://www.holehouse.org/mlclass/ [모두를 위한 머신러닝(한글)]김성훈 교수님 classhttp://hunkim.github.io/ml/ [머신러닝 입문 온라인북]Bengio textbookhttp://www.deeplearningbook.org/https://www.youtube.com/watch?v=.. 2017. 7. 11.
자유로운 가상환경에서 Pycharm 사용하기 (window, tensorflow, cpu/gpu) 이전 포스팅을 따라서 Anaconda와 tensorflow-gpu를 설치했다면, 로컬 가상환경에서 특정 환경을 생성하고 Pycharm에서 개발환경을 변경해가면서 개발 및 테스트를 해볼 수 있습니다. 이에 대한 문의도 주시고 계시고, 관련 포스팅이 없는거 같아서 올려보겠습니다. 이미지들은 클릭하면 확대됩니다. 처음 설치시 처음 설치하시는 분들은 아래 링크의 포스팅을 먼저 봐주세요 Window 에서 tensorflow-gpu 설치하기 Anaconda prompt를 실행 먼저 기본적인 설치가 되었다면 Anaconda prompt를 실행합니다. Anaconda 가상환경 목록 확인 실행하면 아래와 같이 콘솔 창이 열립니다. 현재 생성이 되어 있는 아나콘다 가상환경이 있는지 목록을 확인해 보기 위해서 아래 명령어를.. 2017. 4. 27.
ML 뉴스 모음 - 201704 1. 2017년초 스탠포드 강의 : cs224n [동영상 링크] 소쳐님의 NLP 훌륭한 강의가 통합되어 새롭게 버젼업이 되었습니다.다행히 이번에도 공개를 해주어서 메이져 강의를 유지할 수 있을 듯합니다^^ 2. 최신 논문들 보기 : Arixv Sanity [페북 페이지 링크] 이제 페북에서도 편히 즐감? 할 수 있게 되었습니다.그 덕분에 상대적인 압박은 더해지게 되었죠^^ 3. 새로운 플레폼 : pyTorch [사이트 링크] 대략적으로 살펴본 결과 훨씬 좋아보이고 평도 아직까지는 좋은것 같습니다텐서플로우를 대체할 수 있을까요?^^리쿤 교수님의 페북에서 활약이 대단하십니다하지만, 아직 베타라서 Linux와 Mac cpu만 지원합니다 4. 머신러닝 이미지처리의 주요변화 [사이트 링크] 컴퓨터 비젼의 영역에서.. 2017. 4. 12.
Extensions of RNN LM (Recurrent Neural Network) EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL,2011 http://www.fit.vutbr.cz/research/groups/speech/publi/2011/mikolov_icassp2011_5528.pdf Abstract 오리지널 RNN에서 몇가지 수정을 해서 더 좋은 성능을 냈다 이러한 개선으로 15배의 학습 속도 증가를 보였고, BPTT의 중요성을 보여줄것이다, 마지막에 파라미터의 양을 줄이는 가능성을 논의한다 이로인해 강력한 RNN 모델이 되었다 Introduction 기존의 언어학적인 통계학적인 모델이 주축을 이루고 있었는데 NN이 나오면서 이러한 모델들의 성과를 초과했다 NN 모델은 언어만이 아니라 다른 정보들도 학습을 한기에 저차원에서 단어.. 2017. 3. 24.
RNN LM (Recurrent neural network based language model) 언어모델에 사용된 RNN 관련 논문을 읽고 발로 요약정리한 내용입니다.흠. 좀 심하게 막장 요약이라서 올리기가 좀 그랬지만, 시간이 되면 정리해서 다시 올리겠습니다.^^혹시라도 관련해서 궁금하신 내용이 있으시면 댓글에 남겨주시면 겸사겸사 수정/정리하는 것으로 일단 하려고 합니다 Recurrent neural network based language model, 2010http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf AbstractLanguage model 기반의 RNN이 음성인식에서 perplexity가 50% 감소하는 결과를 보였다. 여러개의 RNN LMs를 사용했다. 1.Intro.. 2017. 3. 21.