bigquery

안녕하세요, 오늘은 Bigquery의 실행 결과를 GCS로 업데이트하는 내용에 대해서 포스팅해보겠습니다. GCS의 업로드가 있으면 Bigquery로 스트리밍 하는 예제 혹은 trigger 관련은 정보가 많은데, 반대로 Bigquery의 쿼리 결과를 GCS로 저장해야 되는 경우는 어떻게 저장하면 될까요? 해당 포스팅에서는 위와 같은 두 가지 방안으로 고려하고 진행해 봅니다. 먼저, 1. Bigquery result를 csv 형태로 GCS로 저장하는 내용입니다. * 여기서 유의할 사항은 uri 타입에 *.csv 형태로 저장해줘야 합니다. 테스팅 시 *-1.csv 형태로 Asterisk 다음에 문자열을 넣어도 반영이 됩니다. EXPORT DATA OPTIONS ( uri = 'gs:///*.csv', form..

안녕하세요, 오늘은 BQ 작업 중 Quota Exceeded 관련 내용 처리를 어찌해야 되는지에 대해서 다뤄보겠습니다. GCP 작업 중, 다음과 같은 메시지가 확인된다면, 하기 쿼리를 실행하여 실패한 이유에 대해서 확인하실 수 있습니다. 케이스를 오픈하여 쿼터 제한 수량을 바로 해제할 수 있지만 불필요한 결제를 방지하기 위해서 하기의 쿼리를 통해서 실패한 이슈가 무엇인지 먼저 파악해 보시는 것을 권장드립니다. SELECT job_id, creation_time, error_result FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 1 DAY) A..