IT/AWS

안녕하세요, 오랜만입니다. 오늘은 Redshift의 Cluster CPU가 갑자기 높아졌었던 당시 트러블 슈팅했던 내용에 대해서 다뤄보겠습니다. CPU utilization의 경우 지난 6시간 기준으로 조회해 보았을때, 리더 노드가 아닌 컴퓨팅 노드들의 CPU가 평균 35%인 것을 확인하였습니다. 문제 시점 실행중인 쿼리는 없었음에도 Compute instance의 35% 전후 cpu 사용률을 보였습니다. 또한, 해당 시간 워크로드 실행 분석 차트에서도 plan / wait / comit / execution이 실행 중인 상태가 아니었습니다. 해당 내용의 경우, 부적절한 배포 키 또는 배포 스타일이 해당 문제의 원인이 아닐까 생각되었습니다. 왜냐하면, 부적절한 배포 키 혹은 배포 스타일은 노드 전체에서 ..

안녕하세요! S3 사용하시다보면 퍼블릭 액세스 Block이 왜 기본 설정일까 하는 생각이 들 수가 있습니다. 테스트에서야 보안에 민감하게 세팅하지 않아도 된다지만 왜 S3 보안도 신경써야 할까요? 왜냐하면 S3를 통해서 민감 정보가 유출될 우려가 있고, 혹은 악의적인 유저가 악용시 다운로드에 의해서 비용이 대량으로 발생할 수 있기 때문입니다. 조직 수준에서의 공개 S3 버킷 차단 최소 권한 액세스 구현 - 리소스에 특정 권한만을 설정하고, 정책 등의 세팅을 확인합니다. 와일드 카드(*)를 사용하는 버킷은 누구나 액세스 가능합니다. 참조 링크 - 버킷 정책 사용 : https://docs.aws.amazon.com/AmazonS3/latest/userguide/bucket-policies.html 모든 자..

안녕하세요! 오늘은 보안그룹 인바운드룰을 aws cli를 활용하여 적용하는 법에 대해서 알아보겠습니다. 콘솔상에서 다량으로 json 임포트나 파일로 컨트롤이 어려운데요, 이럴때는 AWS CLI를 사용하는 방법이 있습니다. 1) 보안그룹의 인바운드 룰 추가 (단건 처리시) aws ec2 authorize-security-group-ingress \ --group-id sg-XXXXXXXXXXXX \ --protocol tcp --port 22 --cidr 0.0.0.0/0 awscli를 통한 컨트롤은 위와 같이 가능합니다. aws cli 설치 : https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2-linux.html aws config..

안녕하세요, 오늘은 CPU Steal 에 대해서 알아보겠습니다. 1. CPU STEAL이란 무엇인가? AWS, GCP, Azure, vSphere 및 Xen과 같은 가상화된 환경에서만 발생합니다. 하이퍼바이저가 다른 가상 프로세서에 서비스를 제공하는 동안 가상 CPU가 실제 CPU를 기다리는 시간의 백분율입니다. 2. CPU STEAL의 특징 CPU Steal time이 높아져 cpu utilization이 높아질 경우, 인프라에 다음과 같은 영향을 미칠 수 있습니다 : 느린 페이지 로드 시간 느린 데이터베이스 쿼리 시간 보고서 처리 속도 저하 비동기 작업을 빠르게 처리할 수 없기 때문에 대기열 크기 증가 동일한 양의 로드를 처리하기 위해 더 많은 서버를 출시하여 IaaS 비용 증가 CPU steal의 ..

안녕하세요! 오늘은 람다와 파게이트에 대한 포스팅입니다. 람다와 파게이트는 서버리스 바운더리에서 같은 내용이지만, 다른 쓰임새를 가지고 있는데 내용 한번 살펴보겠습니다. 그럼 람다, 파게이트는 언제 사용할까? 1. 람다와 파게이트 Lambda를 선택해야 하는 경우 이벤트 기반 워크로드가 있는 경우, 즉 애플리케이션이 이벤트에 대한 작업을 트리거해야 하는 경우입니다. 애플리케이션에 알 수 없는 수요를 처리하는 기능이 필요한 경우. 플릿 상태 모니터링, 기본 컴퓨팅 리소스에 보안 패치 적용, 코드 모니터링 및 로깅 등과 같은 관리되는 운영 및 관리 활동이 필요한 경우 관리형 프로비저닝, 용량 확장, 고가용성 및 활용도가 필요할 때. 애플리케이션 배포 패키지 크기가 50MB 이하이고 실행 시간이 15분 이하인..

웹사이트를 운영하는데 EFS를 사용해야 할까, EBS를 사용해야 할까 고민하실 수 있습니다. 다만, EBS와 EFS는 용도가 명확히 다르기 때문에, 해당 내용을 인지하시고 사용하시기 바랍니다. 웹 호스팅 용도로 사용했다가 504 bad gateway를 마주했습니다. 504 (bad gateway) HTTP Code란 게이트웨이 또는 프록시 제한 시간이 초과되었음을 의미합니다. 만약 설정에 문제가 없었다면 어떤게 문제였을까요? 첫째로, EBS가 아닌 EFS를 사용하신다면, 파일 액세스 시간이 불필요하게 증가할 수 있습니다. 이 상황은 웹 앱이 짧은 시간동안 많은 작은 파일에 액세스 할 때마다 증폭되며, PHP는 특히 로컬 파일 캐싱이 매우 중요합니다. 이것이 소규모 웹 호스팅에 EFS가 적합지 않은 첫 번..

안녕하세요! 오늘은 Pre-signed URL에 대해서 알아보겠습니다.1) Presigned URL이 15분만에 expire 된 이유The default pre-signed URL expiration time is 15minutes. Make sure to adjust this value to your specific needs.Pre-signed URL의 세션 만료 시간은 기본적으로 15분입니다. 해당 내용에 대해서 매개변수 세팅을 통해서 유효 기간을 세팅하실 수 있습니다. 미리 서명된 URL은 기본적으로 15분 후에 만료됩니다. expiresIn매개변수를 전달하여 URL이 유효한 기간(초)을 지정할 수 있습니다.예1) Python SDK를 통한 Presigned URL 생성import boto3fro..

CPU 내부에서 확인하는 CPU 사용량과 Cloudwatch에서 확인하는 사용량이 차이가 난다는 질문을 받은 적이 있었습니다. 해당 내용은 EC2 내부에서 수행하는 top/snmp명령어와 Cloudwatch의 수집 주기나 방식이 다르기 때문입니다. 클러스터 인스턴스를 제외한 EC2 인스턴스들은 가상화된 하이퍼바이저에 의해서 CPU를 공유합니다. Cloudwatch와 달리 Top 명령어는 CPU 코어 전체에 대한 내용을 보여줍니다. (CPU 소비나 로드에 대한 내용은 제외되어 있기 때문입니다.) CPUUtilization 인스턴스에서 현재 사용 중인 할당된 EC2 컴퓨팅 유닛(ECU)의 비율(%)입니다. 이 지표는 선택한 인스턴스에서 애플리케이션을 실행하는 데 필요한 처리 능력을 식별합니다. 인스턴스 유형..