크롤한 웹데이터로 만들어보는 웹사이트
주요 메모 사항
5일차에는 마무리했던 plotly를 main에 merge하는 작업을 진행했고 crontab 기능을 구현했다.
링크1 에서는 구현했던 기능을 프로세스에 맞춰서 다시 한번 테스트 해보고 main에 merge하는 작업을 진행했다.
링크2 에서는 웹서버 내의 crawl -> serialize -> DB 과정을 스케줄링 하는 crontab 모듈을 사용해 구현했다.
프로젝트 마무리를 하고 팀원들과 차주 내로 서로가 구현한 코드를 리뷰하는 시간을 가지기로 했다.
모두가 프로젝트 프로세스는 이해하고 있겠지만 사실 완벽하게 이해하려면 서로가 진행한 코드를 다시 한 번 살펴보고 얘기해보는 과정이 있으면 좋겠다고 생각했다.
공부하며 어려웠던 내용
예전에 학교에서 서버 강의때 배웠던 crontab이 생각나서 어렵지 않게 구현했었다.
사실 프로젝트 과정에 있어서 작업을 나누고 귀찮은 부분들을 다른 팀원분이 담당해 주셨는데, 이 부분이 조금 아쉬웠다.
필자가 다른 팀원분의 열정만큼 보여주지 못한 것 같기도 하고, 개인적으로 더 잘할 수 있지 않았나? 싶은 생각이 남았다.
'프로그래머스 데브코스-데이터 엔지니어 > TIL(Today I Learned)' 카테고리의 다른 글
| 05/09 22일차 데이터 웨어하우스와 SQL과 데이터분석 (2) (1) | 2023.05.09 |
|---|---|
| 05/08 21일차 데이터 웨어하우스와 SQL과 데이터분석 (1) (0) | 2023.05.08 |
| 05/04 19일차 프로젝트 4일차 (0) | 2023.05.06 |
| 05/03 18일차 프로젝트 3일차 (0) | 2023.05.06 |
| 05/02 17일차 프로젝트 2일차 (0) | 2023.05.02 |