본문 바로가기

분류 전체보기246

ubuntu 14 - 서버 메모리 사용확인 및 정리 우분투 서버를 오래 사용하다보면 간혹 메모리가 말도 안되게 사라져서 재기동을 하게 되는 경우가 생깁니다. 이럴때는 재기동을 하지 말고 메모리 사용량을 확인하고 만약 캐쉬 메모리가 많이 잡혀 있다면 이것을 해제해주면 됩니다. [메모리 사용량 확인] > ps -eo user,pid,ppid,rss,size,vsize,pmem,pcpu,time,cmd --sort -rss | head -n 11 [메모리 확인] > free -m [캐쉬 메모리 정리] sudo syncsudo sysctl -w vm.drop_caches=3 2018. 1. 22.
ML 뉴스 모음 - 201801 1. 알고리즘 트레이딩의 바이블 [사이트] 알고리즘 트레이딩에 대한 바이블과 같은 책이 있어 소개를 드립니다. Successful Algorithmic Trading 라는 책인데요. 내용이 알차고 괜찮은 것 같습니다. 2. 네이버의 룩 태그 [사이트] 머신러닝을 이용해서 쇼핑에 점목을 한 내용이 간단한 이미지들로 보여주고 있습니다. 재미있는 아이디어입니다~ 3. Vision in NIPS2017 [동영상] 네이버에서 공개한 닙스의 영상처리에 대한 동향 정보입니다. 동영상이라 편하게 보면 될 것 같아요~ 2018. 1. 21.
RL (강화학습) 기초 - 8. TD lamda 1 step TD의 step을 증가시켜 나가면서 n 까지 보게 되면 n step TD로 일반화를 할 수 있습니다. 만약 step이 무한대에 가깝게 되면 MC와 동일하게 될 것입니다.2 step TD 에서의 업데이트 방식은 첫번째 보상과 두번째 보상 그리고 두번째 상태에서의 value function의 합으로 업데이트가 됩니다. TD(0) 가 n이 1인 1-step TD입니다. 앞에서 이야기한 업데이트 방식에 대한 내용을 수식으로 표현을 한 것입니다. 이를 n step에 대하여 일반화를 하면 중간에 식이 됩니다.n step TD에서의 value 함수는 n step에서 얻은 총 보상에서 기존 value 함수값과의 차이를 알파만큼 가중치하여 더함으로서 업데이트가 되게 됩니다. 그럼 n 이 몇일때가 가장 최고의.. 2017. 11. 29.
ML 뉴스 모음 - 201711 1. Capsule Network [페북 링크] 영상처리 분야에 CNN과 비교할만한 새로운 네트웍 모델이 페북에서 핫하네요. 관심있게 봐보면 좋을 것 같습니다 2. Market Making [유투브 링크] 마켓메이킹에 대한 설명과 그에 따른 간단한 예제와 고려사항들을 잘 설명해주는 영상입니다. 3. 이더리움 기술 세미나 [유투브 링크] 우리나라도 발빠르게 움직이고 있나봅니다. 이더리움의 기술적인 내용들을 깊이 있게 설명해주십니다. 4. 블록체인 개발하기 [사이트 링크] 블록체인의 핵심 알고리즘들을 심플하게 설명과 구현을 할 수 있습니다. 2017. 11. 26.
RL (강화학습) 기초 - 7. Temporal-Difference Learning TD 방식도 마찬가지로 직접적인 경험을 하면서 학습을 하는 알고리즘입니다.DP에서 사용하던 bootstrapping을 사용하고 MD에서 사용하던 Model-free 방식의 장점을 두루 갖추고 있는 것이 특징입니다. every-visit MC에서는 실제 에피소드가 끝나고 받게되는 보상을 사용해서 value function을 업데이트 하였습니다.하지만 TD에서는 실제 보상과 다음 step에 대한 미래추정가치를 사용해서 학습을 하게 됩니다.이때 사용하는 보상과 value function의 합을 TD target이라고합니다.그리고 이 TD target과 실제 V(S)와의 차이를 TD error 라고 하고 델타라고 표현을 합니다. MC에서의 value function이 업데이트 되는 과정을 위 왼쪽의 그림과 같이.. 2017. 11. 1.
ML 뉴스 모음 - 201710 1. 블록체인 기술 [자료 링크] 블록체인에 대한 전반적인 내용의 보고서입니다. 한번 읽어 보면 좋을 내용인 것 같습니다~ [자료 링크] 비트코인에 대한 증권사 리포트입니다. 마이닝에 대한 내용도 상세히 되어 있습니다~ [블로그 링크] 이번에 비트코인이 11월에 하드포크 하는 내용에 대한 블로그입니다~ 2. KAIST AI School [사이트 링크] 양재에서 Kaist 교수님들께서 좋은 주제로 무료 강연을 해주신다고 합니다~ 3. 자바스크립트 채굴기 [사이트 링크] 코인하이브에서 제공하는 모네로 자바스크립트 채굴기를 웹사이트에서 접속자의 CPU 리소스를 이용해서 채굴이 된다고 합니다. 일종의 사이트에 대한 도네이션용으로 생각할 수 있겠네요. 내 자원을 공유해주는거니까요~ [채굴하러가기] 4. 블록체인 .. 2017. 10. 31.
RL (강화학습) 기초 - 6. Monte-Carlo Learning Planning 의 대표적인 Dynamic programming 에서는 MDP를 이미 알고 있는 것을 Bellman 방정식으로 풀어내는 것이였습니다. 그리고 GPI를 따르는 방식으로 최적화 정책을 찾아냈었습니다. Model-free 는 MDP를 모르는 상황에서 환경과 직접적으로 상호작용을 하면서 경험을 통해서 학습을 하게되는 방식을 말합니다. Prediction 은 value를 estimate 하는 것을 말하는데 여기서는 model-free 에서 prediction이므로 MDP를 모르는 상태에서 (환경에 대한 사전지식이 없는 상태에서) 환경과 상호 작용을 하며 value function을 추정해 가는 방식을 말합니다. control 은 이렇게 찾은 value function을 최적화하여 최적의 poilc.. 2017. 10. 29.
RL (강화학습) 기초 - 5. Dynamic Programming 1. Introduce Dynamic 이라는 것은 연속적으로 발생되는 문제들을 푸는 것을 말하고, Programming 은 개발언어가 아니라 수학적인 문제를 의미합니다. Dynamic Programming 이라는 것은 이렇게 연속적으로 스탭 바이 스탭으로 발생되는 문제를 수학적으로 optimising 해서 풀어내는 것이라고 할 수 있습니다. 어떤 문제는 서브 문제들로 쪼개서 분석할 수 있고 이들을 풀어내는 과정에서 해결이 되는데 크게 두가지로 나눠 볼 수 있겠습니다. Dynamic Programming 은 풀어내고자하는 문제를 2가지 특성으로 접근합니다. 하나는 Optimal substructure 로서 최적화를 할 수 있다는 것인데 하나의 문제를 2개 이상의 하위문제로 쪼개고 각각을 최적화하게 되면 원.. 2017. 10. 23.
ML 뉴스 모음 - 201709 1. 강화학습 A3C [유투브 링크][발표자료] 네이버 테크톡에서 진행한 강화학습에 대한 세미나 영상입니다. A3C와 수식에 대해서 잘 설명을 해주시네요~ 2. Stock Market Data Analysis with Python [블로그 링크] 최근에서 경제데이터를 만지작하고 있는데 검색하다가 발견한 주가데이터를 분석하는 기본적인 방법에 대한 설명과 예제 코드가 잘되어 있습니다. pandas 정말 좋군요~~ 3. 10 Minutes to pandas [사이트 링크] 10분만에 python의 유명라이브러리인 pandas 를 배울수 있데요~ 4. TA-Lib : Technical Analysis Library [사이트 링크] 아주 유용한 기술적 분석 지표들을 생성해주는 라이브러리입니다. 아싸~ TA-Lib.. 2017. 9. 29.
ML 뉴스 모음 - 201708 1. Faster R-CNN [유투브 링크] 이미지에서 오브젝트 디텍션 하는데 유명한 Faster R-CNN 논문에 대한 체계적인 설명입니다. 아주 좋아요~ [Github 링크] Faster R-CNN 공개된 tf 소스입니다. 2. CUDA 9 [사이트 링크] Nvidia 에서 새로운 volta 아키텍처를 위한 CUDA 버전을 선보였습니다. tesla v100 지원을 위한 내용이 주 입니다. 3. Korea Quantitative Investment Conference 2017 [세미나 링크] 한국 퀀트 관련 세미나인데 상당히 재미난 주제들을 다루는 것 같습니다. 4. 최신 논문 정리/모음 [사이트 링크] 이분 좀 짱이신듯. 최신에 볼만한 논문들을 정리해 놓은 사이트입니다. 최근 정리된 내용들이 강화학습.. 2017. 8. 29.

티스토리툴바