728x90 반응형 파이썬17 나도 하는 파이썬 데이터 분석 (한빛미디어) #2327 # 나도 하는 파이썬 데이터 분석 여느 책들과 마찬가지로 파이썬에 대한 기본적인 문법들을 파트 1에서 다루고 다음 장에서부터 본격적인 파이썬을 다루기 시작하는데 책의 목차를 보면 알겠지만 흥미를 유발하는 부분들이 많이 있는데 수집 가능한 정보의 다양성에 다시금 놀랐다. - 지역별/연령별 방문객 순위 - M세대와 Z세대의 취업률 상관계수 - 집이 비어 있을 땐 허수아비라도 설치해야 할까? - 회귀 분석과 인공 지는 예측 차이 - 집 앞에 어린이집이 생기면 집값에 어떤 영향을 미칠까? 책에서 다루는 데이터 분석은 크게 정령 데이터 분석, 비정형 데이터 분석 크롤링, 상관관계 분석, 회귀 분석, 시계열 분석으로 나뉘어 있는데 데이터를 얻기 위해 공공데이터를 수집하는 방법도 검색부터 실제 필요한 데이.. 2023. 4. 18. 거니의 문과 감성 실용 파이썬(길벗) #2320 문과라면 개발과는 거리가 멀다라는 선입견이 있지만 옛날 말이고.. 업계에 얼마나 많은 비전공자 많은데.. 문과, 감성, 실용 그리고 파이썬. 개발과 관련된 내용들이 많이 퍼지면서 비전공자도 쉽게 익힐 수 있는 언어로 파이썬이 꼽히긴 한다. 문과생을 위한 내용답게 설명하고 있을지 궁금하다. # 파이썬 그리고 크롤링 파이썬은 몇 번인가 건드려 본 적이 있다. 말 그대로 건드려 본 적. 문법이 대충 어떻고, 게임도 만들 수 있고, 자동화 프로그램도 만들 수 있고, 웹도 가능하고 그중에서도 R과 함께 데이터와 크롤링 관련된 내용으로 많이 다루고 있어 관심을 가지고 접해 본 거였다. 필요한 정보를 키워드 등록해 놓으면 자동으로 검색해서 추려준다니 얼마나 멋진 일인가. 어떤 업무든 자동화가 가능한 작업은.. 2023. 3. 31. 어쩌다 데이터 분석 with 파이썬 #2240 데이터 분석에 관심 있는 입문자와 기초를 다지고 싶은 이라면 어쩌다 데이터 분석 with 파이썬을 (어렵겠지만) 읽어보길 권하고 싶다. 기본적으로 앞장은 파이썬을 사용하는데 필요한 기본 문법 등을 다루고 있으며 공부를 계속 이어나갈수록 실질적인 데이터를 다루기 위한 각종 지식을 접하게끔 구성되어있다.(따라서 상당히 지루하게 느껴진다. 이게 어디에 쓰이는지도 모르는 개념들을 접하게 되니 자연스럽게 생기는 현상이긴 하지만..) # 어쩌다 데이터 분석 with 파이썬: 판다스로 시작하는 효율적인 데이터 분석 및 시각화 기본을 다루는 책이다 보니 정말 기본에 충실하다는 인상을 받게 되었다. 데이터에 관해 문외한이라면 좋은 책이지만 인내력을 요하는 책이라는 생각이 들었다. 이미 관련 업종에서 일하는 종.. 2022. 10. 29. 미국 주식으로 시작하는 슬기로운 퀀트투자 #2157 전체적으로 책을 따라 하면 큰 문제없이 책과 동일한 결과를 확인할 수 있기 때문에 진행하는데 큰 무리가 없었다. 퀀트(가치) 투자를 하는 데 있어 기업을 분석하기 위해 사용하는 여러 가지 지표들을 파이썬을 사용, 그래프로 가시화하면서 백테스팅까지 할 수 있기에 퀀트 투자를 생각하는 사람이 좀 더 기계적인 가치투자를 위해 학습하면서 보면 무척 좋을 것 같다는 생각이 들었다. 따로 프로그램을 설치하지 않아도 구글의 클라우드를 통해 학습이 가능하다는 점이 무척 마음에 들었다. 개인적으로 사용하는 기기들마다 책을 따라 했음에도 진행되지 않는 경우가 많았던 반면 슬기로운 퀀트 투자에서는 애초부터 클라우드에서 모든 과정을 진행하게끔 구성되어 있어 이런 시행착오가 많은 부분 감소된 것이 좋은 접근법이었던 .. 2021. 10. 22. 구글 Colaboratory에서 파이썬으로 퀀트투자 기초를. #2154 분위기에 편승해서이기도 하지만, 가지고 있는 자금으로 해볼 수 있는 투자처라고는 주식밖에 없어서기도 해서 올해 들어 주식투자를 시작했었다. 근데 뭐 솔직히 알아야 투자를 하지. 주식을 하면서 듣게 되는 잡다한 정보 중에서도 최근 퀀트 투자라고 불리는 가치주를 찾아 투자하는 방법이 꽤 인기몰이를 하고 있었고 그중에서 한 권을 접하게 되어 책을 읽어 나가고 있는 중이다. 이 책에서 다루는 파이썬은 특이하게도 설치형이 아닌 구글에서 제공하는 서비스인 Colaboratory을 사용해서 가능했다. 자 또다시 파이썬 쌩초보가 책 보고 따라 하며 파이썬을 통한 퀀트 투자가 무엇인지 접해보기 시작했다. 지금은 책의 도입부를 따라해보면서 체험 중이다. 우선 finterstellar 라이브러리를 설치하고 imp.. 2021. 10. 9. 처음 시작하는 파이썬(2판) #2143 파이썬 입문서를 몇 권 경험해 보고 처음 시작하는 파이썬(2판)을 받아 본 첫인상은 무척 두껍다 였다. 그리고 두꺼운 만큼 자세한 설명으로 차근차근 파이썬에 접근할 수 있도록 구성되어 있다는 것을 알 수 있었다. 파트 1(1장~11장) 파이썬에서 다루는 데이터의 타입, 값, 변수, if, while, for 등의 문법, 튜플, 딕셔너리, 함수, 객체, 클래스 등 기초적인 문법을 다루는 부분만 300여 페이지를 다루고 있는데 이것만 한 권으로 다루어도 될 것 같아 보였다. 파이썬을 처음 접하는 사람들을 위한 파트로 파이썬의 장점과 다른 언어와의 차별점, 그리고 파이썬의 성장을 받쳐주는 배경에 대한 이야기들도 다루고 있기에 파이썬을 시작하는 사람들이 읽어보면 좋을 내용들로 이루어져 있다. 파트 2.. 2021. 8. 19. [후기] 나의 첫 파이썬(2판) #2073 앞쪽 문법과 관련된 부분은 나중에 천천히 접해 보기로 하고 책 중에서 가장 관심 있었던 부분인 후반 웹사이트를 만드는 부분으로 무작정 따라 하면서 진행해 보았습니다. 기본적으로 들여 쓰기에 대한 실수를 빼고는 큰 무리 없이 학습을 진행할 수 있었던 것 같습니다. 한 가지 빼곤 전체적으로 따라 하면서 무난하게 진행할 수 있었던 것 같습니다. 한 가지란 Heroku에 배포하는 것과 관련된 것입니다. 배포 과정을 따라 할 때 가장 많은 에러를 접하게 되었는데 나중에 다시 도전해 봐야 할 것 같습니다. 각종 Error와의 조우 첫 번째 Error 전 우선 python3(3.8.5)을 기준으로 진행해 봤었습니다. // 문제가 되었던 부분 $ pip install psycopg2==2.7.* // 해결책.. 2020. 10. 21. [후기] 파이썬으로 웹 크롤러 만들기 #2069 완독 한 상태가 아니기 때문에 후기라 명하기에는 부족한 감이 있습니다만.. 이전에 읽어보았던 크롤링 관련 책들은 아무래도 접근하기 쉽도록 만들기 위해 쓰인 느낌이 많이 있었습니다. 이번에 접하게 된 한빛미디어의 파이썬으로 웹 크롤러 만들기는 분위기가 좀 다른 느낌이었습니다. 번역본이라 그럴지도 모르겠지만 일단 O'REILLY의 원서이기 때문에 책에서 재미를 느끼기엔 약간 어려움이 있었던 것 같습니다. 다른 책들이 현행의 서비스를 크롤링하는 방식으로 접근하기 쉽게 가이드를 해준다는 이점이 있었지만, 서비스가 업데이트될 경우 크롤링이 되지 않는 경우도 있습니다만 파이썬으로 웹 크롤러 만들기는 연식이 좀 되긴 했지만 책에서 따라하는데 문제가 없도록 기존 사이트를 유지하고 있는 것을 알 수 있었습니다.. 2020. 9. 25. 알고리즘 - 1부터 n까지의 합계 #2063 알고리즘이 주어진 문제를 풀기 위한 절차나 방법이므로, 알고리즘이라는 것이 성립하기 위해서는 반드시 문제가 있어야 하고 그걸 해결하는 방법이 존재해야 합니다. 알고리즘 이 그림을 통해 알고리즘이 '입력 - 알고리즘 - 출력'의 과정이라는 것을 알 수 있었습니다. 단순히 알고리즘이라는 단어만 듣는 것 보다는 확실히 도식화 한 것을 기준으로 설명하니 이해가 빨라지는 것 같았습니다. 분석 합을 구하는 방식에는 몇가지가 있었습니다. 가우스의 방법처럼 앞과 뒤를 더해서 해결하는 방법도 있었습니다. 입력 크기와 계산 횟수 알고리즘에는 입력이 필요한데 입력 크기가 알고리즘의 수행 능력에 영향을 많이 끼친다고 합니다. 위쪽의 도식에 나오는 n이 입력크기에 해당하고 첫번째 보다 두번째 방식이 간결하고 좀더 똑.. 2020. 8. 22. [후기] 파이썬 증권 데이터 분석 #2062 최근 주식에 무척 많은 관심을 가지게 되었습니다. 사회 초년 시절 멋모르고 추천받은 주식에 손을 대고 휴지조각으로 만든 기억이 생생하게 남아 있어서 그 뒤로 주식은 거들떠도 보지 않았었는데 말입니다. 이게 결국 주식을 모르는 상태에서 주식을 하려 했던 무지에서 비롯된 것임을 요새 들어 새롭게 느끼게 되었기 때문입니다. 관심분야의 책을 알아보던 중에 파이썬으로 증권정보를 다룰 수 있는 책을 접하게 되었습니다. 공부하기 좋은 기회입니다. 책에서 다루는 것들 파이썬으로 증권 정보를 다룰 수 있는 방법론과 계산법 등을 알려주고 있습니다. 또한 자동 투자와 주가 예측에 대한 부분까지 다루고 있습니다. 책을 접해 본 결과 초심자도 따라 하면서 크게 문제없이 따라 할 수 있도록 구성되어 있긴 합니다만 에러.. 2020. 8. 20. 알고리즘 - 논리적으로 프로그래밍을 하기 위해 배워야 할 것 #2058 알고리즘(Algorithm)이라는 것이 있다고 들은 적이 있습니다. 단어부터 어려운 느낌입니다. 그래서 들은 척도 하지 않았고 솔직히 알려고도 하지 않았습니다. 개발자는 아니지만 간단한 스크립트는 작성하는 마크업 엔지니어의 위치에서 알고리즘의 필요성은 솔직히 느끼지 못하고 있었죠. 그러다가 이런저런 개발적인 요소에 관심을 가지게 되었고 책을 사보게 되었습니다. 착각일 수도 있지만 쉽게 나온 것 같다는 생각에 모두의 알고리즘 with 파이썬을 가지고 시간이 있을 때마다 조금씩 읽어 나가려는 계획 중에 있습니다. 알고리즘의 정의 알고리즘이란 어떠한 문제를 해결하기 위한 여러 동작들의 모임이다. 유한성을 가지며, 언젠가는 끝나야 하는 속성을 가지고 있다. 수학과 컴퓨터 과학에서 알고리즘이란 작동이 .. 2020. 8. 14. Python3 - 백트레이더 YahooFinanceData() 에러 #2054 책을 기준으로 백 트레이더(backtrader)를 따라 해 보고 있었습니다. 에러가 나오는 걸 확인하니 YahooFinanceData() 함수를 호출하면 생기는 에러이며 현재(2020년 8월)까지 수정이 되지 않았나 봅니다. 지금도 에러가 나오는 것을 보니.. 책에서 알려주는 수정 방법은 brackrader\feeds\yahoo.py 파일의 333라인을 수정하는 방법입니다. 파일 경로 제가 작업하는 환경은 Mac입니다. 책은 windows라서 Mac에 대한 가이드가 없다 보니 따로 찾아봤습니다. 우선 Windows는 다음과 같습니다. C:Users\사용자명\AppData\LocalPrograms\Python\PythonXX\Lib\site-package\backtrader\feeds\yahoo.. 2020. 8. 8. Python3 - SSL 문제는 Certificates.command 파일로 해결하세요 #2052 Mac에서 책을 따라 하면서 공부 중인데 SSL 문제에 봉착했었습니다. 스크레이핑을 하는 도중에 생겼던 문제입니다. 알게 된 것은 이 문제가 HTTPS가 적용된 웹 페이지에 대해 스크레이핑을 시도할 경우에 생기는 거였습니다. urllib을 사용해서 진행하던 중에 다음과 같은 에러와 조우하게 되었는데요 ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1123) 해답을 찾아 한참을 떠돌아다니다 알게 되었습니다. 이 문제는 파이썬이 설치된 경로에 들어가서 Install Certificates.command.. 2020. 8. 1. 한입에 웹 크롤링 리뷰 B18.046샘플사이트를 접속하는데 계속 문제가 생겨서 결국 포기하고 예제를 참고로 다른 사이트를 테스트삼아 따라해 보게 되었습니다. 이건 이대로 공부가 되니 좋다는 생각도 들었습니다.책의 초반부는 파이썬의 기초를 다지기 위한 문법을 설명해 주고 있으며, 중반부는 샘플 사이트를 통해 크롤링하는 방법을 차근차근 설명해주고 있습니다. json을 다루는 방법과 네이버API를 활용하는 방법등도 책의 샘플을 따라하는데는 지장이 없을만큼 자세하게 나와있습니다.크롤링에 대해서는 잘 이해가 가지 않던 부분이 있었는데 원하는 정보가 있는 HTML의 DOM구조를 파악해서 필요한 부분을 발췌하는 과정을 자동화 하여 원하는 정보를 모으는 작업이라는것을 알 수 있었습니다.해결을 하긴 했습니다만, 네이버API 부분은 실제로 소스.. 2018. 10. 29. 난생처음 Django로 블로그 만들고 Heroku에 공개 관련 메모 간만에 필 받아서 열공한 내용 중에서 문제가 있었던 부분에 대한 메모처음 Python과 Django를 알게 된 이후 언젠가는 도전해 보고 싶었었는데, 블로그를 만들고 최종적으로 Heroku에 공개까지 해보는 Django Girls Tutorial을 따라 해봤다.문제 1. 업그레이드처음 시작은 일본쪽 튜토리얼을 보고 시작했었는데 잘 나가다가 배포 하는 과정에서 막히기 시작하면서 시간을 꽤 잡아 먹었었다. (참고로 한국어 튜토리얼은 이쪽에서.) git push heroku master 로컬에서의 작업을 마무리하고 배포를 위한 과정을 위해 명령어를 실행하자 문제가 발생했다. ... ... remote: Command "python setup.py egg_info" failed with error code 1 .. 2018. 6. 1. 문법을 익힌 뒤의 다음단계를 위한 책. 개발자를 위한 파이썬을 읽어 봤다. #18.007현장에서 일하는 개발자를 위한 입문서.....이제 파이썬 문법 몇가지 외운상태인지라 개발자도 뭣도 아니기 때문이지만.. 개인적으로는 그렇게 와닫지는 않는 느낌이었지만 가장 기초적인 문법을 익힌 후 그 다음단계에서 할 수 있는 것들에 어떤 것들이 있는지 어떤식으로 발전 시켜 나갈 수 있는지를 알 수 있었으면 좋겠다는 기대감을 가지고 책을 읽기 시작했다.이 책의 2부에서 다루는 내용은 아래와 같았다. 오 이런것도 가능하구나 하는 생각에 만들어질 결과물에 대한 기대가 부풀어 오르고 있었다.(이때까지는 초보자 사절의 의미가 와닫질 않았었다)크롤링 애플리케이션SQLite 데이터베이스 사용플라스크 API 서버 만들기메시지 큐 만들기팬더스로 데이터 분석하기Open API로 매시업 API 서버 만들기현재까.. 2018. 2. 14. 코딩 부트캠프 with 파이썬을 읽었다 #18.003마크업 엔지니어(개인적으로 퍼블리셔라는 표현을 싫어한다)로 일한지 꽤 시간이 지난 지금도 프로그램에 대해서는 거부감을 가지고 있는 편인데 울렁증이 생기는 걸 지울 수 없어서 그렇다. 그나마 jQuery를 조금 다루기 시작할 수 있게 되면서부터 울렁증이 완화된 상태이긴 하지만, 아직도 고쳐지진 않고 있는 실정... 하지만, 날이 갈수록 프론트 엔드 엔지니어가 요구되는 시점에서 언제까지고 피할수도 없는 노릇이어서 프로그램을 공부해야만 하는데, JAVA는 언감생신. 그나마 접근하기 쉽다는 PHP, Python을 몇번 도전 해봤지만 맘먹은데로 되지를 않는 실정이었다.대략 1, 2년전쯤으로 기억되는데... 파이썬 책한권을 독파하는 스터디에서 처음으로 파이썬을 접해본 적이 있었지만, 재미있게 마무리는 .. 2018. 1. 7. 이전 1 다음 728x90 반응형
