본문 바로가기

분류 전체보기279

RL (강화학습) 기초 - 5. Dynamic Programming 1. Introduce Dynamic 이라는 것은 연속적으로 발생되는 문제들을 푸는 것을 말하고, Programming 은 개발언어가 아니라 수학적인 문제를 의미합니다. Dynamic Programming 이라는 것은 이렇게 연속적으로 스탭 바이 스탭으로 발생되는 문제를 수학적으로 optimising 해서 풀어내는 것이라고 할 수 있습니다. 어떤 문제는 서브 문제들로 쪼개서 분석할 수 있고 이들을 풀어내는 과정에서 해결이 되는데 크게 두가지로 나눠 볼 수 있겠습니다. Dynamic Programming 은 풀어내고자하는 문제를 2가지 특성으로 접근합니다. 하나는 Optimal substructure 로서 최적화를 할 수 있다는 것인데 하나의 문제를 2개 이상의 하위문제로 쪼개고 각각을 최적화하게 되면 원.. 2017. 10. 23.
ML 뉴스 모음 - 201709 1. 강화학습 A3C [유투브 링크][발표자료] 네이버 테크톡에서 진행한 강화학습에 대한 세미나 영상입니다. A3C와 수식에 대해서 잘 설명을 해주시네요~ 2. Stock Market Data Analysis with Python [블로그 링크] 최근에서 경제데이터를 만지작하고 있는데 검색하다가 발견한 주가데이터를 분석하는 기본적인 방법에 대한 설명과 예제 코드가 잘되어 있습니다. pandas 정말 좋군요~~ 3. 10 Minutes to pandas [사이트 링크] 10분만에 python의 유명라이브러리인 pandas 를 배울수 있데요~ 4. TA-Lib : Technical Analysis Library [사이트 링크] 아주 유용한 기술적 분석 지표들을 생성해주는 라이브러리입니다. 아싸~ TA-Lib.. 2017. 9. 29.
ML 뉴스 모음 - 201708 1. Faster R-CNN [유투브 링크] 이미지에서 오브젝트 디텍션 하는데 유명한 Faster R-CNN 논문에 대한 체계적인 설명입니다. 아주 좋아요~ [Github 링크] Faster R-CNN 공개된 tf 소스입니다. 2. CUDA 9 [사이트 링크] Nvidia 에서 새로운 volta 아키텍처를 위한 CUDA 버전을 선보였습니다. tesla v100 지원을 위한 내용이 주 입니다. 3. Korea Quantitative Investment Conference 2017 [세미나 링크] 한국 퀀트 관련 세미나인데 상당히 재미난 주제들을 다루는 것 같습니다. 4. 최신 논문 정리/모음 [사이트 링크] 이분 좀 짱이신듯. 최신에 볼만한 논문들을 정리해 놓은 사이트입니다. 최근 정리된 내용들이 강화학습.. 2017. 8. 29.
RL (강화학습) 기초 - 4. Markov Decision Processes (2) 3. Markov Decision Process 이전까지 살펴보았던 Markov reward process 에 의사결정에 대한 개념을 더 추가합니다. 이를 Markov decision process (MDP) 라고 합니다. 당연히 모든 state가 Markov 인 환경에서 이루어집니다. A 라고 하는 action이 가능한 집합을 표현하는 notation이 하나가 더 추가가 되었습니다. 이를 통해서 현재 상태 s 에서 a 라고 하는 action을 할 때 다음 상태 s' 로 가게 될 확률을 P 에 대한 내용으로 표현을 하게 됩니다. R 도 reward 에 대한 함수인데 마찬가지로 현재 상태 s 에서 a 라는 action을 할때 기대되어지는 보상을 표현하게 됩니다. 그외 나머지는 이전 내용과 동일하니까 생략합.. 2017. 8. 29.
RL (강화학습) 기초 - 3. Markov Decision Processes (1) 1. Markov Processes 이번에 다루게 될 MDP에 대해서 소개를 하면 RL, 강화학습에서 가장 중요한 핵심 이론이 됩니다. 이 강의에서는 전제조건으로 agent가 환경에서 발생되는 모든 정보를 볼 수 있다고 가정합니다. (fully observable) 설명을 하기 쉬운 환경이지만 실제로 우리가 살고 있는 환경은 그렇치 않죠. 우리는 아무리 노력을 해도 세상의 모든 뉴스를 다 보고 알수는 없기 때문입니다. 어떠한 현재 상태는 큰 프로세스가 진행이 되고 있는 과정 중에서 특정 시점이 될 것이고, 모든 환경을 다 볼 수 있기 때문에 완전히 특성들을 갖추고 있다고 볼 수 있겠습니다. Markov property에 대한 정의를 알아봅니다. agent가 environment에서 어떠한 action을 .. 2017. 8. 8.
ML 뉴스 모음 - 201707 1. AI 광고 알고리즘 [사이트 링크] 광고 알고리즘과 AI에 대한 설명이 잘되어 있습니다. 2. 퀀토피안 교육 [사이트 링크] 퀀트가 되기 위한 유용한 전략들과 프로그램 예제가 잘 정리되어 있습니다. 3. 미래 이벤트를 예측하기 [페북 링크] [깃허브 링크] 베이불 시간-이벤트 순환 신경망 (Weibull Time To Event Recurrent Neural Network)이벤트 발생 및 시간 예측에 대한 덜 어려운 기계 학습 프레임워크입니다.서버 모니터링부터 지진 발생 및 생산량 예측 등의 다양한 문제는 크게 보면 이벤트가 발생하는 시간을 예측하는 문제입니다. 2017. 7. 28.
RL (강화학습) 기초 - 2. Reinforcement Learning 소개 Deepmind에 David silver 교수님의 강의를 기반으로 하여 강화학습에 대한 이론적인 내용들을 하나씩 살펴 보겠습니다. 강의 영상과 자료들은 아래의 링크에서 볼 수 있습니다.http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 1. About RL 강화학습(RL)은 1979년도에 처음 시작했다고 서튼 교수님의 책에서 말씀하시고 계십니다. 어떻게 생각하면 오래된 것이고 또 다르게 보면 얼마 안된 분야라고도 할 수 있겠지만, 제 인생만큼 같이 발전되어온 분야라고 하니 더욱 관심이 가네요^^ 강화학습은 컴퓨터 사이언스 분야에서 머신러닝의 한 분야에서 사용되기도 하지만, 그 외에 다른 다양한 분양에서도 다른 이름으로 비슷하게 적용이 되고 있습니다. 엔.. 2017. 7. 19.
RL (강화학습) 기초 - 1. OpenAI의 Gym 설치 및 예제 돌려보기 @2025년 2월, 실행 버전 업데이트 완료강화학습을 이론적으로 공부를 하기 위해서는 보통 Sutton 교수님의 책으로 시작을 하는데 이 책의 내용이 수학적이고 어려운 내용들이 많이 있다보니 접근하기가 쉽지는 않는 것 같습니다. 이후에는 이러한 이론적인 내용들도 시간이 되면 차근차근 정리해 보도록 할 것인데요. 이번에시작은 가볍고 재미있게 할 수 있는 방법으로 해보려고 합니다. openAI 에서 간단한 게임들을 통해서 강화학습을 테스트 할 수 있는 Gym 이라는 환경을 제공하고 있습니다. Gym을 설치하고 간단한 예제를 돌려보면서 강화학습이란 것이 어떤 것인지 먼저 감을 잡아 볼 수 있을 것 같습니다. 제가 맥북에서 주로 작업을 하다 보니 우선은 Mac OS를 기준으로 해보겠습니다.(Windows 에서도.. 2017. 7. 12.
Machine Learning Resources - Lectures (ML 기본강좌) [머신러닝 입문 강좌]Andrew Ng's ML class https://class.coursera.org/ml-003/lectureML class wiki : https://share.coursera.org/wiki/index.php/ML:MainML1 class wiki : https://share.coursera.org/wiki/index.php/ML1:Mainnote : http://www.holehouse.org/mlclass/ [모두를 위한 머신러닝(한글)]김성훈 교수님 classhttp://hunkim.github.io/ml/ [머신러닝 입문 온라인북]Bengio textbookhttp://www.deeplearningbook.org/https://www.youtube.com/watch?v=.. 2017. 7. 11.
자유로운 가상환경에서 Pycharm 사용하기 (window, tensorflow, cpu/gpu) 이전 포스팅을 따라서 Anaconda와 tensorflow-gpu를 설치했다면, 로컬 가상환경에서 특정 환경을 생성하고 Pycharm에서 개발환경을 변경해가면서 개발 및 테스트를 해볼 수 있습니다. 이에 대한 문의도 주시고 계시고, 관련 포스팅이 없는거 같아서 올려보겠습니다. 이미지들은 클릭하면 확대됩니다. 처음 설치시 처음 설치하시는 분들은 아래 링크의 포스팅을 먼저 봐주세요 Window 에서 tensorflow-gpu 설치하기 Anaconda prompt를 실행 먼저 기본적인 설치가 되었다면 Anaconda prompt를 실행합니다. Anaconda 가상환경 목록 확인 실행하면 아래와 같이 콘솔 창이 열립니다. 현재 생성이 되어 있는 아나콘다 가상환경이 있는지 목록을 확인해 보기 위해서 아래 명령어를.. 2017. 4. 27.

티스토리툴바