분류 전체보기

안녕하세요, 오늘은 GIT 멘토링 2차 내용입니다. 오늘은 amazon.com과 AWS의 역사, AWS의 기업 정신 그리고 AWS의 Leadership Principle에 대한 내용입니다. 1. Amazon.com과 AWS의 역사 Amazon Prime Video, Amazon Books, Amazon Go, Amazon Project Kuiper 여러분은 얼마나 많은 Amazon 서비스를 알고 계시나요? 지금의 아마존은 웹서비스까지 하는 현시점 기준(2023년 9월 9일), 시가 총액 13565억 달러 (한화 약 1727조 원)의 업체가 되었습니다. 사실 처음 Amazon은 사업의 첫 시작을 서적 유통 서비스로 amazon.com을 낡은 창고에서 시작했습니다. 아마존이 첫 사업 아이템을 온라인 서점으로..

안녕하세요, 오늘은 제가 참여하게 된 활동 회고 포스팅입니다. Girls In Tech 멘토링은 AWS 실무 선배님들께 직접 듣는 멘토링 프로그램이고, 개인적인 커리어의 성장과 글로벌 IT 회사에서의 근무 경험을 직접 듣고 배우고 싶어서 신청했습니다. 사실 지원하시는 분들이 너무 많으실 것 같아 내심 걱정을 많이 했는데, 감사하게도 Girls In Tech 멘토링 프로그램에 선정되었습니다! * Girls In Tech(GIT)는 전 세계 70,000 명 이상의 더 큰 커뮤니티로, 기술 발전을 위해서 다양한 사람들을 만나고 기술에 대한 의견을 나눌 수 있는 커뮤니티입니다. 참조 링크 : https://korea.girlsintech.org/ Homepage Inviting Every Skillset 개발자..

안녕하세요, 오늘은 Bigquery의 실행 결과를 GCS로 업데이트하는 내용에 대해서 포스팅해보겠습니다. GCS의 업로드가 있으면 Bigquery로 스트리밍 하는 예제 혹은 trigger 관련은 정보가 많은데, 반대로 Bigquery의 쿼리 결과를 GCS로 저장해야 되는 경우는 어떻게 저장하면 될까요? 해당 포스팅에서는 위와 같은 두 가지 방안으로 고려하고 진행해 봅니다. 먼저, 1. Bigquery result를 csv 형태로 GCS로 저장하는 내용입니다. * 여기서 유의할 사항은 uri 타입에 *.csv 형태로 저장해줘야 합니다. 테스팅 시 *-1.csv 형태로 Asterisk 다음에 문자열을 넣어도 반영이 됩니다. EXPORT DATA OPTIONS ( uri = 'gs:///*.csv', form..

올 8월에 좋은 기회로 이지스 리퍼블리싱의 "Do It! 데이터 과학자를 위한 실전 머신러닝"의 베타리더가 되었습니다. 저는 베타리딩 선정에 앞서 머신러닝 관련 강의들과 머신러닝 교과서 격인 입문 서적과 온라인 강의 동영상 등을 통해서 머신러닝 공부를 했습니다. 이번 서적에서는 다른 머신러닝 서적들과 달리, 책 곳곳에 모델 관련 수식을 정리하여 내용을 전달하고 있습니다. 다른 추천평 및 서평을 리뷰하며 저 또한 느꼈던 바이지만, 책에 수록되어 있는 수식이 다소 어렵다는 생각이 들었습니다. 이 내용은 다른 베타리더분께서 남겨주셨던 서적인 MML을 저는 접하진 못했지만, 대학 졸업 이후 마주하는 수식들이 다소 생경하게 다가왔습니다. 그럼에도 이 책의 좋았던 점은 책의 진행을 따라 쭉 읽다보면 어떠한 경우에 ..

안녕하세요, 본 포스팅은 CloudNet의 AEWS 스터디 2주 차 스터디 자료입니다. 1. EKS VPC CNI K8S의 CNI는 K8S의 파드가 VPC 네트워크에서와 같이 동일한 IP를 가질 수 있도록 합니다. VPC CNI의 주요 구성 요소 중의 하나는 L-IPAM 데몬입니다. 이 L-IPAM 데몬은 노드에 IP 주소를 할당해 주고, 사용가능한 IP 주소 혹은 접두사의 웜풀을 유지하는 역할을 수행합니다. 여기서 아래의 그림을 확인하기 전에, 역할을 나눠서 설명해보면 다음과 같습니다. IPAMD : 워커노드에 네트워크 인터페이스를 생성 및 연결, 네트워크 인터페이스에 접두사 할당, 예약 파드를 할당하기 위해서 각 노드에 IP 접두사의 웜풀 유지하는 일을 담당합니다. CNI 플러그인 : 호스트 네트워크..

다음으로, 클러스터 배포 내용에 대해서 확인해 보겠습니다. 먼저 EC2 인스턴스를 통해서 작업할 예정이기 때문에, 다음과 같이 Bastion을 만들어 주고, 배포를 시작합니다. EKS 클러스터 생성에 앞서서 VPC, Subnet4개, EC2 1대 + 보안그룹 등을 설정하고, 다음 내용을 통해서 작업에 필요한 기본적인 도구들이 설치되었는지 확인합니다. 만약 설치되어 있지 않다면, 해당 도구들을 설치해야 합니다. EKS 배포는 다음과 같이 다양한 방법을 통해서 배포가 가능하나, eksctl을 통해서 배포하였습니다. 1. 도구 설치 # 기본 툴 및 SSH 키 설치 등 확인 kubectl version --client=true -o yaml | yh gitVersion: v1.25.7-eks-a59e1f0 ek..

안녕하세요! gasida님이 운영하시는 AEWS 스터디 1기에 참가하게 되었습니다. 앞으로 스터디 기간 동안 EKS에 대해서 학습하는 내용을 기록하고 공유할 예정입니다. AWS EKS는 AWS의 관리형 Kubernetes 서비스로, Elastic Kubernetes Service의 줄임말입니다. 애플리케이션의 배포, 확장, 관리를 자동화할 수 있는 오픈 소스 시스템입니다. 1. EKS 특징 1. 고가용성 2. 컨트롤 플레인 인스턴스 크기를 자동 조정, 비정상 인스턴스 감지 및 교체, 자동화된 버전 업데이트 및 패치 제공 3. AWS 내의 여러 서비스들과의 통합을 제공합니다. - ECR, ELB, IAM, VPC 등 2. EKS 아키텍처 쿠버네티스를 통해서 클러스터(노드의 집합)를 배포하게 됩니다. 그리고..

MSK 사용 중에 다음과 같은 이슈가 발생할 수 있습니다.Unable to load credentials from any of the providers in the chain AwsCredentialsProviderChain ▶  내용 "AwsCredentialsProviderChain"는 AWS SDK에서 사용되는 인증 공급자 체인입니다. 이 오류는 AWS 자격 증명이 발견되지 않았기 때문에 발생할 수 있습니다.  AWS 자격 증명 파일(~/. aws/credentials)에 AWS 액세스 키와 보안 액세스 키가 포함되어 있는지를 우선적으로 확인해 주시기 바랍니다. 이 파일은 다음과 같은 형식으로 되어 있습니다.[default]aws_access_key_id = YOUR_ACCESS_KEY aws_se..