usiohc

Cloud Scheduler 주요 메모 사항 이전에 작성한 Cloud Functions 함수를 crontab 처럼 스케줄링 하는 작업 이전에 작성한 Cloud Functions Google Cloud Functions로 공공데이터 openAPI를 사용해 Cloud Storage로 적재 (Python) 학습 주제 주요 메모 사항 과정을 설명하기 이전에 해당 서비스를 사용하게된 계기를 설명 프로젝트를 진행하는 과정에서 주기적으로 데이터를 가져오는 과정이 필요했었음 Cloud Functions을 사용 usiohc.tistory.com Cloud Scheduler 작성 1. 작업 만들기를 클릭 2. 작업 구성 진행 2-1 먼저 해당 스케줄러의 일정을 정의해야 한다 2-1-1. 이름과 설명을 본인에게 맞춰서 작성..

ETL 주요 메모 사항 과정을 설명하기 이전에 해당 서비스를 사용하게된 계기를 설명 프로젝트를 진행하는 과정에서 주기적으로 데이터를 가져오는 과정이 필요했었음 Cloud Functions을 사용한 경험이 없어서 고전적이지만 확실하게 마무리할 수 있는 방법을 채택 VM 인스턴스를 만들어서 해당 서버에서 crontab과 인스턴스 일정 기능을 사용해 데이터를 적재해왔음 3번 과정을 Cloud Functions을 사용해 구현 프로젝트 진행 과정 링크 로컬에서 스크립트를 완성하고 Cloud Functions에 배포하면서 진행 작업 폴더에서 새로운 가상환경 생성 (requirements.txt 작성을 위함 -> Cloud Functions는 사용하는 리소스에 따라서 비용이 측정되는데, 스크립트를 실행하는데 있어서 ..