기록 블로그

프로그래머스 데브코스-데이터 엔지니어/회고록 4

[회고록] 프로그래머스 데브코스-데이터 엔지니어, 9주차를 마치고

후기 7주차 데이터 웨어하우스 관리와 고급 SQL과 BI 대시보드, 8주차 프로젝트, 9주차 Airflow 를 진행했다. 7주차에는 Redshift, Snowflake 등 웨어하우스 서비스들을 사용했고 Superset 등 BI 대시보드 툴을 사용했다.이 당시에는 수업을 제대로 이해하지 못했던 것 같다. raw_data 이나 analytics 테이블 등 왜 이런 테이블들이 필요한지 등에 대해서 의문을 가졌었고 뭔가 개념만 아 그렇구나 하고 넘어갔던 것 같음. 8주차 세미 프로젝트에서 정말 많은 것을 경험한 것 같다. 먼저 지금까지 배워왔던 스킬들을 사용할 수 있었는데, 기존에 ETL, ELT, 아키텍처 등에 대한 추상적인 개념만 가지고 있었지 이게 뭐냐고 물어보면 설명하기 어려운? 느낌으로 이해하고 있었다..

[회고록] 프로그래머스 데브코스-데이터 엔지니어, 6주차를 마치고

후기 5주차 데이터 웨어하우스와 SQL 기본, 6주차 AWS 클라우드 를 진행했다. 5주차에는 데이터 웨어하우스의 이론과 AWS Redshift를 통해 SQL을 실습하는 과정을 가졌었다. SQL은 사실 크게 걱정이 없었다. 학부때 oracle 수업을 들었던 경험이 있는데 해당 수업보다 어려운 수준의 SQL을 사용할 일은 거의 없을 것이라고 생각해서 쉽게 진행했던 것 같다. 사실 해당 수업의 정확한 강의명은 Oracle SQL & PL/SQL 이었는데 처음 강의를 신청할 때 PL/SQL이 뭔지 별생각 없이 넘어갔었는데 중간고사 이후에 프로시저를 배우면서 머리가 아파지기 시작했던 기억이 새록새록 나기도 했다. 프로시저 관련한 얘기를 멘토님과 1on1때 꺼내게 되었는데, 프로시저를 배우는 것은 돈 주고도 못할..

[회고록] 프로그래머스 데브코스-데이터 엔지니어, 4주차를 마치고

후기 3주차 장고를 활용한 API서버 만들기, 4주차 프로젝트를 진행했다. Django를 사용한 것은 이번이 처음이었는데 생각보다 나쁘지 않았다. 필자는 Spring으로 웹을 경험했었는데, Java에 대한 친밀도도 낮고 가지고 있던 지식도 적었던 학부 2학년의 수준에서 Spring은 폴더 구조부터가 어지럽다고 생각했던 것 같다. -> 뭔가 한번 놓쳐버린 기술을 다시 시작하기가 어려운 것 같음 지식의 폭이 넓어져서인지 과거보다 더 많은 경험을 했기 때문인지는 모르겠으나 Django는 훨씬 쉽게 다가갈 수 있었던 것 같다. 기본적인 구조도 더 간단하다고 느꼈고 ORM은 상당히 편하다는 느낌을 받았다. 무엇보다 처음 프로젝트 생성 단계가 정말 쉬웠다. 물론 Spring와 Django 간의 장단점은 분명히 존재..

[회고록] 프로그래머스 데브코스-데이터 엔지니어, 2주차를 마치고

후기 1주차 자료구조/알고리즘, 2주차 파이썬으로 웹다루기(BeautifulSoup, Selenium 등)의 강의를 들었다. 기본적으로 강의는 LMS같은 방식으로 진행이 된다. 하루에 5시간 정도의 분량인 강의가 존재하는데, 프로그래머스에서 지정하는 "예상 수강 시간"의 개념이라 실제로 5시간의 강의가 있는 것은 아니다.실제 강의는 10분에서 30분정도까지의 강의로 나뉘어져 있는데 따로 실습시간이 주어지지 않아 실제로는 2배정도 시간이 소요되는 듯 하다. (멈추고 실습하고 오류해결 하다보면 시간이 금방가긴 한다) 필자는 컴퓨터 공학을 전공하고 빅데이터 관련 수업과 프로젝트를 경험해 봐서 따라가는데 무리는 없었다. 다만, 본인이 처음 접하는 분야라면 5시간으로는 부족할 것이다. (경험이 전무하다면 정말 열..