GCP BigQuery 할당량 오류 문제 관련

안녕하세요, 오늘은 BQ 작업 중 Quota Exceeded 관련 내용 처리를 어찌해야 되는지에 대해서 다뤄보겠습니다.

GCP 작업 중, 다음과 같은 메시지가 확인된다면,

하기 쿼리를 실행하여 실패한 이유에 대해서 확인하실 수 있습니다.

케이스를 오픈하여 쿼터 제한 수량을 바로 해제할 수 있지만 불필요한 결제를 방지하기 위해서
하기의 쿼리를 통해서 실패한 이슈가 무엇인지 먼저 파악해 보시는 것을 권장드립니다.

SELECT
 job_id,
 creation_time,
 error_result
FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 1 DAY) AND
      error_result.reason IN ('rateLimitExceeded', 'quotaExceeded')

Cloud 감사 로그에서도 오류를 볼 수 있습니다. 예를 들어 로그 뷰어를 사용하는 경우 다음 쿼리는 메시지 문자열에서 Quota exceeded 또는 limit이 있는 오류를 찾습니다.

resource.type = ("bigquery_project" OR "bigquery_dataset")
protoPayload.status.code ="7"
protoPayload.status.message: ("Quota exceeded" OR "limit")

상태 코드 7은 HTTP 403 상태 코드에 해당하는 PERMISSION_DENIED입니다.
추가 Cloud 감사 로그 쿼리 샘플은 BigQuery 쿼리를 참조하세요.


참조 링크 : https://cloud.google.com/bigquery/docs/troubleshoot-quotas