안녕하세요, 오늘은 Redis용 Amazon MemoryDB의 슬롯 / Keyspace의 증설 여부를 알아보려고 합니다. 결론부터 말씀드리자면 AWS Memory DB for Redis의 Slot 값인 16384는 하드 리밋이기 때문에 증설이 어렵습니다. 최적화를 통해서 적절히 키스페이스를 재설계 하셔야 합니다. AWS에서 공식 문서로 키스페이스에 대한 리샤딩 / 리스페이싱 작업에 대해서 다루고 있습니다. 자세한 내용은 하기 링크를 참조해 주시기 바랍니다. https://aws.amazon.com/ko/blogs/aws/amazon-elasticache-update-online-resizing-for-redis-clusters/ 클러스터는 최대 16384개의 해시 슬롯과 약 1000개의 노드를 보유할 수..
안녕하세요, 오늘은 EC2의 NTP 설정 방법에 대해서 알아보겠습니다. Amazon Linux의 표준 시간대 변경 Amazon Linux 인스턴스는 기본적으로 UTC(협정 세계시) 표준 시간대로 설정됩니다. 인스턴스의 시간을 현지 시간이나 네트워크의 다른 표준 시간대로 변경할 수 있습니다. Amazon Linux 2 인스턴스의 시간대 변경 시 : 시스템의 현재 표준 시간대 설정을 확인합니다. [ec2-user ~]$ timedatectl 사용 가능한 표준 시간대를 나열합니다. [ec2-user ~]$ timedatectl list-timezones 선택한 표준 시간대를 설정합니다. [ec2-user ~]$ sudo timedatectl set-timezone America/Vancouver Amazo..
안녕하세요, 오늘은 Elasticache의 로컬 테스트를 위한 접근을 확인해 봅니다. 작업하다보면 회사나 작업하는 공간이 아니라 로컬 테스트 환경에서도 확인해야 할 경우가 더러 있는데요, 공식 문서를 통해서 다음의 내용을 확인할 수 있었습니다. Elasticache는 VPC에서 내부적으로 사용하도록 설계된 서비스입니다. 인터넷 트래픽 지연 시간 및 보안 문제로 인해 외부 액세스가 금지됩니다. 그러나 테스트 또는 개발 목적으로 Elasticache에 대한 외부 액세스가 필요한 경우 VPN을 통해 액세스할 수 있습니다. → 따라서 저희는 VPN을 통해서 외부 접근을 만들어야 합니다! 공식문서에서도 VPN을 통해서 외부 접속할 수 있도록 가이드하고 있으니 링크 보내드립니다. 참조 링크 : https://doc..
Gen AI Live + Labs Seoul #1. Welcome session 최안나 Regional Lead of Cloud Customer Experience, Google Cloud bold + responsible은 보편화, 대담화 덕분이 아닌가 합니다. 적용할 수 있도록 하는 책임감 안정적으로 운영되고 잘못되지 않을 수 있도록 "책임감" 더 강하게 대두되고 있습니다. 넥스트 19000여명 행사를 열었습니다. 어떻게 하면 ai가 비즈니스를 변화시킬 수 있을까 고민했습니다. ai 18개 만들었습니다. ai ecosystem 다양한 에코 시스템을 함께 제공하고 있습니다. 함께 성장시키기 위해서 고객과 파트너가 함께 발전하도록 하고 있습니다. 차별화된 경험을 GCP에서 같이 하시기 바랍니다. #2. ..
안녕하세요, 오늘은 Bigquery의 실행 결과를 GCS로 업데이트하는 내용에 대해서 포스팅해보겠습니다. GCS의 업로드가 있으면 Bigquery로 스트리밍 하는 예제 혹은 trigger 관련은 정보가 많은데, 반대로 Bigquery의 쿼리 결과를 GCS로 저장해야 되는 경우는 어떻게 저장하면 될까요? 해당 포스팅에서는 위와 같은 두 가지 방안으로 고려하고 진행해 봅니다. 먼저, 1. Bigquery result를 csv 형태로 GCS로 저장하는 내용입니다. * 여기서 유의할 사항은 uri 타입에 *.csv 형태로 저장해줘야 합니다. 테스팅 시 *-1.csv 형태로 Asterisk 다음에 문자열을 넣어도 반영이 됩니다. EXPORT DATA OPTIONS ( uri = 'gs:///*.csv', form..
올 8월에 좋은 기회로 이지스 리퍼블리싱의 "Do It! 데이터 과학자를 위한 실전 머신러닝"의 베타리더가 되었습니다. 저는 베타리딩 선정에 앞서 머신러닝 관련 강의들과 머신러닝 교과서 격인 입문 서적과 온라인 강의 동영상 등을 통해서 머신러닝 공부를 했습니다. 이번 서적에서는 다른 머신러닝 서적들과 달리, 책 곳곳에 모델 관련 수식을 정리하여 내용을 전달하고 있습니다. 다른 추천평 및 서평을 리뷰하며 저 또한 느꼈던 바이지만, 책에 수록되어 있는 수식이 다소 어렵다는 생각이 들었습니다. 이 내용은 다른 베타리더분께서 남겨주셨던 서적인 MML을 저는 접하진 못했지만, 대학 졸업 이후 마주하는 수식들이 다소 생경하게 다가왔습니다. 그럼에도 이 책의 좋았던 점은 책의 진행을 따라 쭉 읽다보면 어떠한 경우에 ..
안녕하세요, 본 포스팅은 CloudNet의 AEWS 스터디 2주 차 스터디 자료입니다. 1. EKS VPC CNI K8S의 CNI는 K8S의 파드가 VPC 네트워크에서와 같이 동일한 IP를 가질 수 있도록 합니다. VPC CNI의 주요 구성 요소 중의 하나는 L-IPAM 데몬입니다. 이 L-IPAM 데몬은 노드에 IP 주소를 할당해 주고, 사용가능한 IP 주소 혹은 접두사의 웜풀을 유지하는 역할을 수행합니다. 여기서 아래의 그림을 확인하기 전에, 역할을 나눠서 설명해보면 다음과 같습니다. IPAMD : 워커노드에 네트워크 인터페이스를 생성 및 연결, 네트워크 인터페이스에 접두사 할당, 예약 파드를 할당하기 위해서 각 노드에 IP 접두사의 웜풀 유지하는 일을 담당합니다. CNI 플러그인 : 호스트 네트워크..
다음으로, 클러스터 배포 내용에 대해서 확인해 보겠습니다. 먼저 EC2 인스턴스를 통해서 작업할 예정이기 때문에, 다음과 같이 Bastion을 만들어 주고, 배포를 시작합니다. EKS 클러스터 생성에 앞서서 VPC, Subnet4개, EC2 1대 + 보안그룹 등을 설정하고, 다음 내용을 통해서 작업에 필요한 기본적인 도구들이 설치되었는지 확인합니다. 만약 설치되어 있지 않다면, 해당 도구들을 설치해야 합니다. EKS 배포는 다음과 같이 다양한 방법을 통해서 배포가 가능하나, eksctl을 통해서 배포하였습니다. 1. 도구 설치 # 기본 툴 및 SSH 키 설치 등 확인 kubectl version --client=true -o yaml | yh gitVersion: v1.25.7-eks-a59e1f0 ek..
