[Google Cloud] Generative AI Live + Labs Seoul#1

Gen AI Live + Labs Seoul

#1. Welcome session

최안나 Regional Lead of Cloud Customer Experience, Google Cloud

bold + responsible은 보편화, 대담화 덕분이 아닌가 합니다.

적용할 수 있도록 하는 책임감 안정적으로 운영되고 잘못되지 않을 수 있도록 "책임감" 더 강하게 대두되고 있습니다.

넥스트 19000여명 행사를 열었습니다. 어떻게 하면 ai가 비즈니스를 변화시킬 수 있을까 고민했습니다.

ai 18개 만들었습니다. ai ecosystem 다양한 에코 시스템을 함께 제공하고 있습니다.

함께 성장시키기 위해서 고객과 파트너가 함께 발전하도록 하고 있습니다.

차별화된 경험을 GCP에서 같이 하시기 바랍니다.

#2. Gen AI Keynote

오충현 Customer Engineering Manager, Google Cloud

 

구글 클라우드 기술을 통해 지금 당장 달성 가능한 일이 무엇인지, AI 혁신 여정을 보겠습니다.

ChatGPT 이후, 많은 이목이 집중되고 있습니다.

구글도 Bard 발표하고 5월에 PaLM 2도 발표했습니다.

 

산업계에 AI가 조명을 받고 있습니다. 이후 전 산업영역, 전 도메인에 영향을 끼치고 있습니다.

오래전, 7-8년 전의 구글 번역은 번역이 좋지 않았습니다. 그래서 Transformer 모델이 나오게 됐습니다.

그 모델을 기반으로 지속적인 발전을 이뤘습니다. Palm2까지 이어집니다.

구글 내 2가지 핵심 조직이 있습니다.

 

Google Research (Brain) Google Deepmind

OpenAI의 숨겨진 병기가 무엇일까요? 바로, 전 구글러들입니다. Transformer 개발했던 인력들입니다.

 

Google Deepmind 조직 / Brain Team이 합쳐져서 Gemini를 만들고 있습니다. 올해 말 혹은 내년 초에 출시 예정입니다.

Demis Hassabis 강화 학습을 진행하게 되는데, LLM 모델에 적용해서 어떤 모델보다 뛰어난 성과를 보일 것이라 했습니다.

(구글의 창업자인 세르게이 브린 역시 현재 프로젝트에 참여중일 것이라는 후문이 있습니다.)

 

 

Making AI helpful for everyone 누구에게나 도움이 되는 것을 만듭니다.

• 신약 개발 원래는 신약 개발이 오래 걸렸으나, 이런 부분들도 도움이 될 수 있습니다.

 

생성형 ai는 이제 일상 속에 있습니다.

• 구글 자막, 매직 지우개 (구글 폰 / 포토에 있다)

소비자와 기업은 니즈가 다릅니다.

 

소비자 - 색다른 아이디어, 계획 수립 등등

기업 - 정확한 답변, 할루시네이션 등등에 민감함, 비용 등의 내용

 

 

빌더들을 위한 Vertex AI / 사용자를 위한 Duet AI가 있습니다.

랭귀지 모델 / FM 등 이 있고, 레이어 별로 해서 풀스택으로 제공하고 있습니다.

LLM, FM 등만 있는 게 아니라 모든 것을 제공하는 게 구글 클라우드입니다.

 

 

Palm 2

100개 이상의 다국어,

20개 이상의 프로그래밍 언어도 가능합니다.

Palm2는 다양한 곳에서 사용할 수 있습니다.

Bard, Workspace, GCP 등등에서 사용할 수 있습니다.

 

Med-Palm2

• Med-Palm2 미국 의사 면허시험의 전문의 점수를 획득한 최초의 ai 시스템입니다.
  처음 발표되고 나서, 지금은 preview 형태로 제공되고 있습니다.

Sec-Palm2

• Sec-Palm2 다양한 로그나, 패턴 분석이 가능합니다. 보안 제품 보면 취약점, 설명등이 있는데,
  Palm2 보고 액션을 어떻게 취할지 등등을 알 수 있습니다. 이런 제품이 제공됩니다.

 

Foundation Model

• Imagen / Chirp / Codey

Imagen - 4k의 이미지를 손쉽게 생성할 수 있습니다.

• Chirp TTS / STT
• Codey 36개의 언어 지원 Code 자연 생성

차후 비디오 / 음악 생성 모델 나올 예정입니다.

 

모델 가든

• 모델, API 액세스 커스터마이징 및 실험 수행
• 지속적으로 추가되고 있습니다.

LLM 정확한 답을 만들기 위해서 One-shot / Few-shot 등 다양한 방법 시도하는데 fine-tuning 시 데이터가 유출을 우려하실 수 있습니다. 하지만, Fine tuning은 고객 테넌트 내에서만 수행되고 외부 유출되지 않습니다.

 

 

 

 

Vertex AI Search & Conversation

• Enterprise Search

구글 서치의 기능을 갖고 있는 데이터 셋, 빅쿼리 기반 데이터 등을 사용할 수 있도록 돕는 게 Vertex AI Search입니다.

두 가지 내용은 빌더들이 가장 많이 사용하는 내용을 서비스화 한 것이라 생각하면 됩니다.

 

 

Grounding Service

사실적인 결과 얻기

 

Hallucination이 있기 때문에, 데이터의 정확도 문제가 있는데,

생성해 내는 응답이 사실적인 내용으로 유도가 가능합니다.

 

Conversation / Search를 사용하는 많은 사례

vodafone - 로밍 서비스를 하는데, 많은 통신사와 계약 체결 시 방대한 내용을 갖습니다.

엔터프라이즈 서치 / conversation을 통해서 쉽게 GDPR 같은 것을 찾도록 했습니다.

 

 

생성형 AI가 제시하는 새로운 기회

방대한 데이터를 분석하다 보면 피곤합니다.

데이터 연관성을 찾게 되는데, 연관성 같은 것을 쉽게 찾을 수 있을 것입니다.

• 대고객 서비스 - 챗봇 / 서치 등을 자연스럽고 정확한 서비스를 제공할 수 있습니다.
• 크리에이터에게 도움이 되는 콘텐츠 생성

 

AI가 뭐든 것을 대체하진 않습니다. AI는 Assist라는 것을 유념하시길 바랍니다.

#3. Technology Magic

전정우 Principal Architect, Google Cloud

 

 

 

위의 AI로 생성한 이미지를 만들었습니다.

“구글 클라우드 행사에 나온 흥분되는 느낌을 만들어줘!”

 

원래는 마케터들이 이런 것들을 만들어 왔다면, 수 일이 걸려 진행했던 일들을

이제는 수 분만에 일반인들도 생성 가능한, Super Intelligence의 시대가 온 것이 아닌가 싶습니다.

 

 

그의 중심에는 Generative AI가 있고, Transformer Model이 있을 것입니다.

 

Attention is All You Need

 

아시는 분들은 아시겠지만, Bert의 논문 발표 주제입니다.

이제는, 정형화된 내용을 계산하는 계산이 아니라

마법의 상자를 가지고 마법을 부리는 시대가 왔습니다.

 

그렇다면, 마법을 발휘할 수 있는 힘이 무엇일까요?

• 간단한 프롬프트로 오디오, 이미지, 비디오 등을 생성할 수 있습니다.

핵심적인 3가지가 있습니다.

1. Foundation Model이 있습니다.

대규모 데이터를 학습해서, 다운스트림 비즈니스에 바로 적용하도록 도와줄 수 있다.

1. Augmentation

• Hallucination을 방지하고, 결과를 조정하고 강화

1. Search and Conversation

• 고객과 빠르게 답을 할 수 있도록 한다.

 

Foundation Models

많은 시간과 비용이 들고, 원하는 결과를 출력하지 못할 수 있었습니다.

다운스트림 비즈니스에 바로 활용할 수 있도록 할 수 있는 장점을 지니고 있습니다.

 

Foundation Model에는

텍스트, 쳇, 이미지, 코디 등등이 있습니다.

access 및 튜닝할 수 있도록 하고 있습니다.

매우 빠른 기술 변화가 일어나고 있습니다.

 

Palm

예를 들어, PaLM 모델의 경우

토큰 사이즈의 증가를 고객들이 요구하기 때문에

8k의 컨텐트 윈도우를 32k로 늘렸습니다.

배치성 작업을 위한 배치 api 역시 지원하고 있습니다.

38개의 언어, 100개 이상의 기능을 지원할 예정입니다.

 

Imagen

이미지 생성에 도움을 줄 수 있습니다.

 

Style Tuning

참조 이미지만으로 창의적인 요구사항에 맞는 어댑터 제공합니다.

 

Digital Watermarking

딥마인드의 SytnthID를 통해서 라벨 적용을 CSP 최초로 발표했습니다.

Codey

코드 컴플릿 / 제너레이션 등등을 제공하고 있습니다.

25% 이상의 코드 생산성을 제고했다고 합니다.

 

 

오픈 모델 에코시스템

개방형 생태계를 가꾸어 가겠다는 것이 구글의 약속입니다.

Llama2 생성된 지 48시간 이내 모델 가든에 엔터프라이즈가 적용할 수 있는 레벨로 추가되었습니다.

Falcon, Claude2도 적용했습니다.

오픈 생태계에 빠르게 적용한다는 것은 구글 클라우드의 장점을 사용할 수 있도록 하는 접근 방법입니다.

Augmentation Tool

강력하게 할 수 있는 것

고객은 생성형 모델을 통해서 나온 답변이 높은 정확도를 갖기를 원합니다.

구글은 이를 고민했고, 3가지 옵션이 있습니다.

 

Grounding Service

• Hallucination 최소화하면서 답변할 수 있습니다.

Extensions

• 실제 액션을 바로 호출할 수 있습니다.

Tuning

• 관계성 있는 정보들을 제공할 수 있습니다.

1) Grounding Service

내 연금을 어느 정도 받을 수 있는지 이런 것들을 인풋으로 넣는다고 가정합니다.

2) Vertex AI Extension

구글이 제공하는 구글 빌트와 결합할 수 있습니다.

빅쿼리 / 파트너 빌트인 레디스 / 고객이 갖고 있는 api를 통해서 맵을 찾는 것들 역시 가능합니다.

다양한 형태의 서비스 빠르게 호출할 수 있도록 하는 장점을 갖습니다.

 

 

튜닝 부분

• 구글의 답은 하나의 솔루션보다는 고객의 비즈니스 요건과 맞는 다양한 선택을 할 수 있도록 하자는 내용입니다.

그림에서와 같이 오른쪽으로 갈 수록, 더 많은 비용과 더 많은 데이터가 필요로 합니다.

 

Prompt Design

사용자의 요구 사항을 모델에 전달하는 것

사용자의 요구 사항을 기반으로 Adapter를 생성합니다.

Adapter Tuning

생성된 Adapter를 수십 개 또는 수백 개의 데이터로 튜닝합니다.
Foundation ip를 직접 주지 않고도 튜닝된 결과를 얻을 수 있다는 장점을 갖습니다.

튜닝된 Adapter를 사용하여 사용자의 요구 사항을 충족하는 결과를 생성합니다.

 

Adapter Tuning의 장점

1. Foundation IP를 직접 주지 않아도 됨: Foundation IP는 비공개 또는 유료로 제공되는 경우가 많습니다. 

2. Adapter Tuning을 사용하면 Foundation IP를 직접 주지 않고도 튜닝된 결과를 얻을 수 있습니다.
3. 빠르고 효율적: Adapter Tuning은 Foundation IP를 직접 튜닝하는 것보다 빠르고 효율적입니다.

 

 

Reinforcement learning with human feedback (RLHF)

사용자의 피드백을 기반으로 학습한 툴을 제공합니다.

고객 요구사항에 맞는 적합한 솔루션 선택하는 것을 권장합니다.

검색 & 대화형 서비스

구글은 검색, 챗과 관련된 다양한 경험을 갖고 있습니다.

검색과 챗과 관련된 다양한 솔루션을 알아보겠습니다.

Vertex AI Search & Conversation

텍스트 / 이미지 / 음성 등을 처리합니다.

오케스트레이터라는 것을 거쳐서 사용자의 의도를 이해하고, 가장 잘 답할 수 있는 기능을 겸비하고 있습니다.

Vertex AI Search

싱글톤이 아니라 멀티톤으로 복잡한 쿼리에 대해서 직원 / 파트너에게도 동일한 경험을 할 수 있는 기능을 제공합니다.

Vertex AI Conversation

사용자 질문에 의한 내용을 쉽게 답변할 수 있습니다.

Text to Text가 아니라, 멀티 모달 형태로 답변을 줄 수 있습니다.

이러한 기능을 통해서 정확한 답변을 줄 수 있습니다.

Vertex ai는 이런 내용에 도움을 줄 수 있습니다.

 

1 고객 데이터에 연결 - 많은 개발 노력이 필요한 것이 아니라, 커넥터를 통해서 내 리소스를 바로 연결할 수 있습니다.

웹페이지 / 정형 / 비정형 데이터 연결

2 Extensions - rich 한 데이터 제공 가능

1. 사전 정의된 태스크 추가 -
2. Playbook - Intent base 수많은 인텐트를 생성하고 워크플로우를 정의해야 합니다. 자연어 프롬프팅을 통해서 인스트럭션을 정의해야 한다면, 다음과 같이 Instruction을 가이드해서 챗봇 대화 상에서 LLM이 확인하고 답변을 제공하도록 할 수 있습니다.

Wrap up

 

3가지 차별점 - Foundation Model / Augmentation / Search and Converation

Gen AI의 엔터프라이즈 서비스를 제공하기 위한 중요한 내용이고, 구글이 가장 잘할 수 있는 벤더라 말할 수 있는 포인트입니다.