kooboy blog

TIL Hands on Training takes TIME

March 01, 2020

TILGET YOUR HANDS DIRTY

project build week

data course 에서 첫 프로젝트를 시작했다. stackoverflow survey 2019를 선택했다. 시작은 원대했으나 데이터를 조금씩 건드려가면서 내가 도대체 무슨 대단한 insightful conclusion 을 만들어낼 수 있을까 하고 자신감이 떨어진다 :) 아직 data handling 이 익숙지 않아서이겠지. 큰 염려는 되지 않는다. 그래서 이렇게 hands on training이 필요한 것이고, 생각보다 삽질하고 마구마구 망가뜨려보는게 엄청 필요할 것 같다.

처음 dataset을 열어보았을 땐 150Mb 나 되어 무리가 컸다. pickle data format으로 줄여서 50Mb까진 줄여봤지만, 그래도 여전히 작진 않다. GitHub에 올릴 순 있었지만 big size warning을 받았다. 일반적으론 어떻게 처리하는지 물어보니 AWS S3 같은 곳에 올려놓고 notebook에서 실행 시에만 인메모리로 받아서 사용하는 것으로 보인다.

이제 수업에서 python, pandas, plot, statistics, linear algebra 등을 배웠다. 기초 개념들과 약간의 실습등을 경험했지만, 능숙하다고 말하기 어렵다. (그러면 욕심이지) TL 들에게 물어보니 이후 프로젝트 등에서 계속 반복적으로 사용하면서 익숙해지는 부분들이 생길것이라 들었다. 예상이 된다.


Johnny Ilmo Koo

Welcome to Johnny Ilmo Koo's blog

...