IT

안녕하세요, 오늘은 BQ 작업 중 Quota Exceeded 관련 내용 처리를 어찌해야 되는지에 대해서 다뤄보겠습니다. GCP 작업 중, 다음과 같은 메시지가 확인된다면, 하기 쿼리를 실행하여 실패한 이유에 대해서 확인하실 수 있습니다. 케이스를 오픈하여 쿼터 제한 수량을 바로 해제할 수 있지만 불필요한 결제를 방지하기 위해서 하기의 쿼리를 통해서 실패한 이슈가 무엇인지 먼저 파악해 보시는 것을 권장드립니다. SELECT job_id, creation_time, error_result FROM `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT WHERE creation_time > TIMESTAMP_SUB(CURRENT_TIMESTAMP, INTERVAL 1 DAY) A..

안녕하세요! 오늘은 Pre-signed URL에 대해서 알아보겠습니다.1) Presigned URL이 15분만에 expire 된 이유The default pre-signed URL expiration time is 15minutes. Make sure to adjust this value to your specific needs.Pre-signed URL의 세션 만료 시간은 기본적으로 15분입니다. 해당 내용에 대해서 매개변수 세팅을 통해서 유효 기간을 세팅하실 수 있습니다. 미리 서명된 URL은 기본적으로 15분 후에 만료됩니다. expiresIn매개변수를 전달하여 URL이 유효한 기간(초)을 지정할 수 있습니다.예1) Python SDK를 통한 Presigned URL 생성import boto3fro..

CPU 내부에서 확인하는 CPU 사용량과 Cloudwatch에서 확인하는 사용량이 차이가 난다는 질문을 받은 적이 있었습니다. 해당 내용은 EC2 내부에서 수행하는 top/snmp명령어와 Cloudwatch의 수집 주기나 방식이 다르기 때문입니다. 클러스터 인스턴스를 제외한 EC2 인스턴스들은 가상화된 하이퍼바이저에 의해서 CPU를 공유합니다. Cloudwatch와 달리 Top 명령어는 CPU 코어 전체에 대한 내용을 보여줍니다. (CPU 소비나 로드에 대한 내용은 제외되어 있기 때문입니다.) CPUUtilization 인스턴스에서 현재 사용 중인 할당된 EC2 컴퓨팅 유닛(ECU)의 비율(%)입니다. 이 지표는 선택한 인스턴스에서 애플리케이션을 실행하는 데 필요한 처리 능력을 식별합니다. 인스턴스 유형..

AWS 아테나를 통해서 S3 리퀘스트를 분석해 보도록 하겠습니다. 다음의 순서를 따르시면 됩니다. 아테나 셋업 가이드 1. 대시보드에서 athena 서비스로 이동합니다. 2. 데이터베이스 생성을 선택한 후, 사용하실 데이터 베이스 명, 테이블 이름을 입력합니다. ​ ​ 3. 테이블 추가시 데이터 형식 역시 선택할 수 있습니다. 외부 자료가 있으시면 csv나 tsv, json, parquet과 ORC등을 선택하실 수 있습니다. ​ 4. 필요시에는 파티션을 구성하실 수 있습니다. 5. 이후 테이블 생성을 위해서 DDL을 실행합니다. 자세한 아테나 세팅 가이드는 다음의 링크에 있습니다. 참조 링크 : https://docs.aws.amazon.com/athena/latest/ug/athena-ug.pdf#se..

Aurora 특정 노드에서 DB 커넥션이 다수 끊겼는데, 다수의 Replication Lag이 확인이 된 사례가 있었습니다. 1. Replica Lag이란? Replica lag이란? 원본 클러스터의 데이터를 읽기 전용 DB 인스턴스로 복제해 올때의 지연 시간을 의미합니다. ReplicaLag 복제본 지연(밀리초) 원본 DB 인스턴스를 기준으로 읽기 전용 복제본 DB 인스턴스의 지연 시간. MySQL, MariaDB, Oracle, PostgreSQL 및 SQL Server 읽기 전용 복제본에 적용됩니다. 초 2. 문제 시점 당시의 Cloudwatch metric 3. 문제점 분석 DB 커넥션의 Drop은 커넥션 타임아웃에 의한 것일 수 있기 때문에 application/DB-error logs를 확인하..

잘 돌아가'던' RDS ​FreeStorageSpace가 낮아졌다고 문의가 올때가 있었습니다.. 대다수 클라우드 고객들의 이슈라고 생각하는데, 그러면 클라우드 사용하는 유저분들은 왜 우리 리소스에 문제가 생겼지? 인프라 문제 아니야? 라고 생각할 지 모릅니다. 하지만, 그럴 경우에는 진단 및 관제 후 해당 내용에 대한 조치가 이루어진 다음에 다시 어떻게 진행되는지 살펴보는 프로세스를 거쳐서 RDS 인스턴스의 메모리가 낮은 이유를 역추적 해야 합니다. 대개는 파라미터 그룹 설정 혹은 DB 최적화 이슈, DB 커넥션 급증이 가장 큰 원인이지 않을까 싶습니다. 무슨 일인지 문제 시점을 보자 그림 1) RDS Instance의 ReadIOPS, WriteIOPS입니다. Spike성 Peak가 한 차례 있었습니다..

원문 : medium.com/ibm-cloud/cloudforms-in-the-ibm-cloud-pak-for-multicloud-management-the-complete-hybrid-management-solution-3f244adc3221 CloudForms in the IBM Cloud Pak for Multicloud Management, The Complete Hybrid Management Solution By: Robin Hernandez, VP, IBM Hybrid Multicloud Management medium.com 본 원고는 로빈 헤르난데스, IBM 하이브리드 멀티 클라우드 매니지먼트 부서의 부사장 기고글이며, 작가분인 헤르난데스씨의 글을 재구성해서 작성해 보았습니다. 하이브리드..

안녕하세요, 오늘은 Project A팀의 개발자이자 기고자, 멀린 카터 님이 쓰신 "What's the best way to manage Helm charts?"라는 글을 번역해 보았습니다. 헬름에 대해서 좀 더 알고 싶어 실용적인 글을 찾아보던 중에 이 글을 읽고 번역하게 됐습니다. 혹여 모르시는 분들께 간단히 말씀드리면, Yaml 파일 등과 같은 리소스들을 묶어서 차트로 관리를 하게 되는데 이 리소스 패키지를 공유하고, 관리할 수 있는 툴이 Helm입니다. 물론, 이 글은 멀린 카터님께 허락을 구하고 번역하였습니다. 해당 내용은 실제 업무에서 겪었던 내용도 다루고 있어 실무 담당하시는 분들께도 도움이 될 것 같습니다. 번역을 매끄럽게 하기 위해서 직역보다는 의역도 포함 하였습니다. 오역이나 내용에 대..