WO2022196880A1 - 아바타에 기초한 인터랙션 서비스 방법 및 장치 - Google Patents
아바타에 기초한 인터랙션 서비스 방법 및 장치 Download PDFInfo
- Publication number
- WO2022196880A1 WO2022196880A1 PCT/KR2021/015086 KR2021015086W WO2022196880A1 WO 2022196880 A1 WO2022196880 A1 WO 2022196880A1 KR 2021015086 W KR2021015086 W KR 2021015086W WO 2022196880 A1 WO2022196880 A1 WO 2022196880A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- avatar
- service
- user terminal
- interaction
- service provider
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 49
- 230000008451 emotion Effects 0.000 claims description 28
- 230000002996 emotional effect Effects 0.000 claims description 20
- 230000008921 facial expression Effects 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 11
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000554 physical therapy Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000000592 Artificial Cell Substances 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 241001520299 Phascolarctos cinereus Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 235000013410 fast food Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/06—Foreign languages
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Educational Administration (AREA)
- Human Computer Interaction (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Medical Informatics (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Entrepreneurship & Innovation (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Social Psychology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Biophysics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
Abstract
본 발명의 일 실시예에 따른 서비스 제공 단말, 제1 사용자 단말 및 제2 사용자 단말을 포함하는 컴퓨터 시스템에서 수행되는 아바타에 기초한 인터랙션 서비스 방법에 있어서, 상기 서비스 제공자 단말에서 서비스 제공자와 상기 제1 사용자 단말에서 제1 사용자와의 비대면 대화 환경에서 상기 서비스 제공자 단말로부터 서비스 제공자의 영상 및 음성을 반영하는 아바타를 통해 인터랙션 서비스를 상기 제1 사용자 단말에 제공하는 단계; 미리 저장된 학습 모델에 기초하여 상기 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습하는 단계; 및 학습된 학습 모델에 기초하여 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계를 포함한다.
Description
본 발명은 아바타에 기초한 인터랙션 서비스 방법 및 장치에 관한 것이다.
아바타(Avatar)는 분신 또는 화신을 뜻하는 말로, 사이버공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터이다.
기존의 아바타는 2차원으로 된 그림이 대부분이었다. 머드게임이나 온라인채팅에 등장하는 2차원 아바타는 가장 초보적인 수준이었고, 현실감이 떨어지는 문제점을 보완한 아바타가 등장하였다. 이러한 캐릭터는 현실감 및/또는 3차원 입체감을 가질 수 있다.
최근 들어, 인공지능 기술 및 센서 기술의 발전과 더불어 인간과 실질적으로 교감하며 소통하는 아바타 기술에 대한 필요성이 대두되고 있다.
본 발명은 인간과 실질적으로 교감하는 아바타에 기초한 인터랙션 서비스 방법 및 장치를 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 시스템에서 수행되는 아바타에 기초한 인터랙션 서비스 방법은, 서비스 제공자와 제1 사용자의 비대면 대화 환경에서 상기 서비스 제공자의 영상 및 음성을 반영하는 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공하는 단계; 미리 저장된 학습 모델에 기초하여 상기 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습하는 단계; 및 학습된 학습 모델에 기초하여 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 아바타에 기초한 인터랙션 서비스 방법은 상기 제1 사용자의 영상 및 음성에서 인터랙션 서비스 분야와 관련된 컨텐츠를 선별하여 데이터베이스화하는 단계를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 인터랙션 서비스 분야는 고객 응대, 상담, 교육, 엔터테인먼트를 포함하고, 상기 인터랙션 서비스는 상기 분야에 대한 컨텐츠를 상기 아바타에 기초한 인터랙션을 통해 제1 사용자 단말 또는 제2 사용자 단말에게 제공하는 것을 특징으로 한다.
일 실시예에서, 상기 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공하는 단계는, 상기 서비스 제공자의 영상을 분석하여 서비스 제공자의 모션, 제스처, 감정을 상기 아바타에 반영하는 것을 특징으로 한다.
일 실시예에서, 상기 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공하는 단계는, 상기 서비스 제공자의 음성을 분석하여 서비스 제공자의 음성을 상기 아바타 캐릭터의 목소리로 변조하여 제1 사용자 단말에 제공하는 것을 특징으로 한다.
일 실시예에서, 상기 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계는, 상기 제2 사용자 단말로부터 수신한 제2 사용자의 영상에서 얼굴 표정, 제스처, 음성 톤을 분석하여 제2 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 상기 AI 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 한다.
일 실시예에서, 상기 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계는, 음성인식(ASR), Speech-to-Text(STT), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 상기 제2 사용자 단말로부터 수신한 제3 사용자의 음성을 인식, 이해 및 반응 하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 장치는, 복수개의 사용자 단말과 통신망을 통해 정보를 송수신하는 통신부; 서비스 제공자와 제1 사용자의 비대면 대화 환경에서 상기 서비스 제공자의 영상 및 음성을 반영하는 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공하는 실시간 인터랙션부; 미리 저장된 학습 모델에 기초하여 상기 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습하는 학습부; 및 상기 학습된 모델에 기초하여 AI(artificial intelligence) 아바타를 생성하며, 상기 AI 아바타를 통해 인터랙션 서비스를 상기 통신부를 통해 제2 사용자 단말에 제공하는 AI 아바타 인터랙션부를 포함하는 것을 특징으로 한다.
일 실시예에서, 아바타에 기초한 인터랙션 서비스 장치는 상기 서비스 제공자의 영상 및 음성에서 인터랙션 서비스 분야와 관련된 컨텐츠를 선별하여 데이터베이스화하는 컨텐츠 선별부를 더 포함한다.
본 발명의 다른 실시예에서, 컴퓨터 시스템에서 수행되는 아바타에 기초한 인터랙션 서비스 방법으로서, 상기 사용자 단말의 사용자와 상기 컴퓨터 시스템에 의해 생성된 아바타와의 비대면 대화 환경에서 상기 컴퓨터 시스템에 의해 생성된 이미지 및 음성을 반영하는 아바타를 통해 인터랙션 서비스를 상기 사용자 단말에 제공하는 단계; 상기 사용자 단말로부터 입력을 수신하는 단계; 상기 사용자 단말로부터 수신된 상기 입력에 기초하여 아바타 반응을 생성하는 단계; 및 상기 사용자 단말에 상기 아바타 반응을 제공하는 단계를 포함한다.
본 발명의 다른 실시예에서, 아바타에 기초한 인터랙션 서비스 장치는 사용자 단말과 통신망을 통해 정보를 송수신하는 통신부; 상기 통신부를 통해 상기 사용자 단말에 인터랙션 서비스를 제공하기 위한 아바타를 생성하는 아바타 인터랙션부; 및 상기 사용자 단말에서 아바타와 사용자 사이의 비대면 대화 환경에서 아바타를 통해 인터랙션 서비스를 상기 사용자 단말에 제공하는 실시간 인터랙션부를 포함한다.
본 발명의 일 실시예에 따른 아바타에 기초한 사용자에게 친근감 있는 인터랙션 서비스를 제공할 수 있다.
또한, 훈련된 AI 아바타를 통해 사람과의 교감을 극대화하여 카페 등에서의 대화형 주문, 어린이를 위한 어학 교육, 재활 치료, 엔터테인먼트를 위해 이용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 구성을 나타내는 블럭도이다.
도 3은 본 명세서의 일 실시 예에 따르는 단말의 블록구성도이다.
도 4는 본 명세서의 일 실시 예에 따르는 인터랙션 서비스 서버의 제어부가 포함할 수 있는 구성요소의 예를 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 제어부가 수행하는 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 교육분야 구현예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 고객 응대 분야 구현예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 재활치료 분야 구현예를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
본 발명의 일 실시예의 인터랙션 서비스 서버는 사람(human) 또는 인공지능시스템(artificial intelligent system)이 그들간에 상호작용하는 다른 메커니즘을 허락하는 가상 에이전트(virtual agents)가 되도록 구현한다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 구성을 나타내는 도면이다.
도 1의 네트워크 환경은 복수개의 사용자 단말(100: 101, 102, 103) 및 인터랙션 서비스 서버(200)를 포함한다. 이하, 설명의 편의를 위해 사용자 단말(101)은 서비스 제공자 단말(101) 이라 한다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 단말의 수가 도 1과 같이 한정되는 것은 아니다. 일 실시예에서, 하나의 사용자 단말만 이용될 수 있고, 다른 실시예에서는 3개 이상의 사용자 단말이 이용될 수도 있다.
복수개의 사용자 단말(100: 101, 102, 103)은 통신망을 통해 인터랙션 서비스 서버(200)에 접속하는 단말로서, 예컨대, 휴대폰, 스마트폰, PDA(personal digital assistants), PC(personal computer), 태블릿 PC(tablet personal computer), 및 노트북(notebook) 등 기타 통신을 수행하고 사용자의 입력을 수신하고 화면을 출력할 수 있는 전자적 기기 또는 이와 유사한 기기로써 구현될 수 있다.
통신망은 TCP/IP, LAN(Local Area Network), WIFI, LTE(Long Term Evolution), WCDMA(Wideband Code Division Multiple Access), 기타 현재까지 알려졌거나 미래에 알려질 유선 통신, 무선 통신 방식, 기타 통신 방식 중 적어도 일부를 이용하여 구현될 수 있다. 많은 통신이 통신망을 통해 수행되지만 후술하는 설명에서는 설명을 간결하게 하기 위해 통신망에 대한 언급을 생략한다.
인터랙션 서비스 서버(200)는 복수개의 사용자 단말(100)과 통신망을 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 인터랙션 서비스 서버(200)는 통신망을 통해 접속한 복수개의 사용자 단말(100)에 설치되어 구동되는 컴퓨터 프로그램으로서의 해당 어플리케이션이 목적하는 인터랙션 서비스를 제공할 수 있다. 여기서, 인터랙션 서비스는 임의의 분야에 대한 컨텐츠를 서비스 제공자 단말(101)과 제1 사용자 단말(102) 사이 또는 제2 사용자 단말(103)과 서비스 서버(200)에 의해 생성된(다른 사용자 단말을 필요로 하지 않고) 아바타 사이에서 제공하는 서비스로 정의된다. 상기 분야는 고객 응대, 상담, 교육, 엔터테인먼트를 포함할 수 있다. 예를 들어, 상기 분야가 교육인 경우, 서비스 제공자는 교사이고, 제1 사용자는 학생일 수 있다. 인터랙션 서비스 서버(200)는 서비스 제공자 단말(101)을 통해 교사인 서비스 제공자와 제1 사용자 단말(102)을 통해 학생인 제1 사용자 간의 비대면 대화 환경에서 서비스 제공자 단말(101)로부터 교사의 영상 및 음성을 반영하는 아바타를 생성하고, 생성된 아바타를 제1 사용자 단말(102)을 통해 학생에게 제공할 수 있다. 이로써, 학생은 아바타에게 학습받는 경험을 느낄 수 있게 된다. 이를 통해, 교사와 학생이 원격 위치에 있을 수도 있다. 또한, 인터랙션 서비스 서버(200)는 상기 비대면 대화 환경에서 교사인 서비스 제공자의 응답을 학습하여 AI 아바타를 생성할 수 있다. 훈련 또는 사전 프로그램된 AI 아바타를 통해 교사인 서비스 제공자 단말(101)의 접속 없이 학생인 제2 사용자 단말(103)에 비대면 대화 환경에서 학습지도를 수행할 수 있게 한다. 일 실시 예에서, AI 아바타가 훈련되거나 또는 미리 프로그램되어 있으면, 서비스 제공자 단말(101) 또는 제1 사용자 단말(102)이 필요하지 않다. 아바타 사용의 한 가지 이점은 일부의 경우 어린이가 사람보다 아바타에 더 잘 반응한다는 것이다. 이것은 특히 어린이가 교사와 나쁜 경험을 한 경우에 도움이 될 수 있지만 친근한 팬더 곰이나 코알라와 같이 자신이 좋아하는 동물의 형태인 아바타와 대화하는 것을 더 편안하게 여길 수 있다.
또한, 인터랙션 서비스 서버(200)는 상술한 어플리케이션의 설치 및 구동을 위한 파일을 복수개의 사용자 단말(100)로 배포할 수 있다.
전술한 예는 교사와 학생을 예시로 하고 있으나, 이것은 식당, 커피 숍, 패스트 푸드 식당, 드라이브 스루 등과 같은 많은 영역에서 광범위하게 응용 될 수 있다. 기타 적용 가능한 영역은 개인 트레이너, 의사, 정신과 의사, 고문, 변호사, 연예인 등과의 상호 작용이 가능한 영역이다. 간단히 말해 서비스 또는 의사 와 같이 소통을 위한 상호 작용이 요구되면 아바타를 사용할 수 있습니다. 컴퓨터 생성 아바타 또는 상호 작용/커뮤니케이션에 대한 사람의 실시간 응답을 기반으로 하는 아바타 일 수 있다.
도 2는 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 구성을 나타내는 블럭도이다.
도 2를 참조하면, 본 명세서의 일 실시 예에 따른 인터랙션 서비스 서버(200)는, 통신부(210), 제어부(220) 및 저장부(230)를 포함할 수 있다.
통신부(210)는 인터랙션 서비스 서버(200) 내부에 구비된 데이터 송수신 장치로서, 통신망을 통해 서로 다른 사용자 단말간의 인터랙션 서비스를 위한 정보를 송수신한다.
통신부(210)는 사용자 단말(도 1의 100)과 및/또는 기타 외부 장치와 데이터를 주고받는다. 통신부(210)는 수신한 데이터를 제어부(220)에게 전달한다. 또한 통신부(210)는 제어부(220)의 제어에 따라 데이터를 사용자 단말(100)에게 전달한다. 통신부(210)가 사용하는 통신 기술은 통신망의 유형이나 기타 사정에 따라 달라질 수 있다.
통신부(210)는 예를 들어 접속한 서비스 제공자의 서비스 제공자 단말과 제1 사용자 단말 간의 실시간 인터랙션을 위한 정보로서, 서비스 제공자와 제2 사용자의 영상 및 음성을 수신할 수 있다.
또한, 통신부(210)는 접속한 제1 사용자 단말에게 인터랙션 서비스를 제공하기 위한 정보로서, 상기 제1 사용자 단말에 아바타를 표시하기 위한 정보를 송신할 수 있다.
제어부(220)는 인터랙션 서비스 서버(200)의 전반적인 동작과 각 구성부를 제어하기 위하여, 기본적인 산술, 로직 및 입출력 연산을 수행하여, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 저장부(230) 또는 통신부(210)를 통해 제어부(220)로 제공될 수 있다. 예를 들어, 제어부(220)는 저장부(230)와 같은 저장 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성되는 프로세서일 수 있다.
제어부(220)는 특히 후술하는 바와 같이 통신부(210)가 수신한 서비스 제공자 단말(101)로부터 획득한 서비스 제공자의 영상 및 음성을 랜더링하여 3D 애니메이션 버전의 아바타로 랜더링할 수 있다. 아바타의 음성은 랜더링 엔진의 출력과 동시에 동기화될 수 있다. 일 실시예에서, 서비스 제공자 단말(101)을 필요로 하지 않을 수 있다. 대신 제어부(220)는 서비스 제공자 단말(101)을 사용하지 않고 아바타의 이미지와 음성을 랜더링한다.
제어부(220)는 특히 후술하는 바와 같이 통신부(210)가 수신한 서비스 제공자 단말(101)로부터 획득한 서비스 제공자의 영상 및 음성을 미리 저장한 학습 모델에 학습시켜 아바타를 생성한다. 또한, 제어부(220)는 상기 서비스 제공자의 영상 및 음성에서 인터랙션 서비스 분야와 관련된 컨텐츠를 선별하여 후술되는 저장부(230)에 데이터베이스화한다.
일 실시예에서, 제어부(220)는 데이터베이스화한 컨텐츠에 기초하여 접속한 사용자 단말에게 상기 아바타를 통해 인터랙션 서비스를 제공할 수 있다.
일 실시예에 따른 아바타는 사용자에게 생동감을 제공하기 위하여 사용자와 대화중 시선을 교환하여 눈을 마주치고, 구어체 대화가 가능하여 이상어 대화를 할 수 있다. 또한, 아바타는 사용자와의 과거 대화에서 얻은 기억력을 활용하여 일상 대화, 질문 및 답변 형식으로 현실적인 캐주얼한 대화를 할 수 있다.
또한, 아바타 시스템은 사용자의 얼굴 표정 몸짓 음성 톤을 통해 사용자의 감정적 상태를 인지하는 감성 인식을 할 수 있고, 인식한 감정에 대한 적절한 대응 판단과 얼굴 표정 대응 감정 별 목소리 톤 선택 적절한 단어의 선택을 통해 아바타의 감정을 표현하는 감성 표현을 할 수 있다. 이러한 아바타의 구현에 대하여는 도 4 및 도 5를 참조하여 후술한다.
일 실시예에서, 제어부(220)는 WebRTC(Web Real-Time Communication) 또는 네트워크 상의 둘 이상의 엔티티 사이에서 실시간 인터랙션을 가능하게 하는 다른 매커니즘을 적용하여 P2P (Peer-to-Peer) 방식으로 데이터, 비디오 및 오디오를 실시간으로 전송할 수 있다.
저장부(230)는 인터랙션 서비스 서버(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다.
프로그램 영역은 인터랙션 서비스 서버(200)의 전반적인 동작을 제어하는 프로그램 및 인터랙션 서비스 서버(200)를 부팅시키는 운영체제(OS, Operating System)와 적어도 하나의 프로그램 코드(일례로 사용자 단말(100)에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 사용자 단말(100)에 설치된 어플리케이션 등을 위한 코드), 아바타를 학습시키기 위한 학습 모델, 인터랙션 서비스를 제공하기 위해 필요한 응용 프로그램 등을 저장할 수 있다.
도 3은 본 명세서의 일 실시 예에 따르는 단말의 블록구성도이다.
도 3을 참조하면 본 명세서의 일 실시 예에 따르는 사용자 단말(100)은 입출력 인터페이스(110), 통신부(120), 저장부(130) 및 제어부(140)를 포함할 수 있다.
입출력 인터페이스(110)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드, 마우스, 마이크 어레이, 카메라 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커 등과 같은 장치를 포함할 수 있다.
여기서 마이크 어레이는 3개 내지 5개의 마이크를 포함할 수 있으며, 이 중 하나의 마이크는 음성 인식을 위해 사용되고, 나머지 마이크는 빔 포밍(Beam forming) 또는 방향성 신호 수신을 허용하는 다른 기술을 위해 사용될 수 있다. 빔 포밍을 적용하여 잡음 섞인 신호로부터 강인한 음성 인식 성능을 확보할 수 있다. 카메라는 깊이 센서가 포함되지 않은 카메라, 스테레오 카메라, 깊이 센서가 포함된 카메라 중 어느 하나 일 수 있다. 깊이 센서가 포함된 카메라를 이용하는 경우, 전경 또는 배경 한계를 선정하여 배경에 있는 사람이나 물체에 대한 검지를 제한하여 기기에 접근한 사람에 집중이 가능한 영역을 설정할 수 있다.
다른 실시예에서, 입출력 장치는 인간과 유사한 아바타를 구현하기 위하여 인공 촉감 신경, 후각 센서, 인공 세포막 전자혀 등을 더 포함할 수 있다.
다른 예로 입출력 인터페이스(110)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치는 사용자 단말(100)과 하나의 장치로 구성될 수도 있다.
보다 구체적인 예로, 서비스 제공자 단말(101)의 제어부(140)가 저장부(130)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 인터랙션 서비스 서버(200)나 제1 사용자 단말(102)이 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(110)를 통해 디스플레이에 표시될 수 있다.
통신부(120)는 인터랙션 서비스 서버(200)와 데이터를 주고받는다. 통신부(120)는 인터랙션 서비스 서버(200)로부터 수신한 데이터를 제어부(140)에게 전달한다. 또한 통신부(120)는 제어부(140)의 제어에 따라 데이터를 인터랙션 서비스 서버(200)에게 전달한다. 통신부(120)가 사용하는 통신 기술은 통신망의 유형이나 기타 사정에 따라 달라질 수 있다.
저장부(130)는 제어부(140)의 제어에 따라 데이터를 저장하고 요청된 데이터를 제어부(140)에게 전달한다.
제어부(140)는 단말(100)의 전반적인 동작과 각 구성부를 제어한다. 제어부(140)는 특히 후술하는 바와 같이 입출력 인터페이스력부(110)로부터 입력된 사용자 영상 및 음성을 통신부(120)를 통해 인터랙션 서비스 서버(200)에 전달하고, 인터랙션 서비스 서버(200)로부터 수신한 정보에 따라 아바타를 입출력 장치에 표시하도록 제어한다.
도 4는 본 명세서의 일 실시 예에 따르는 인터랙션 서비스 서버의 제어부가 포함할 수 있는 구성요소의 예를 도시한 블럭도이고, 도 5는 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 제어부가 수행하는 방법의 예를 도시한 흐름도이다.
본 발명의 일 실시예에 따른 인터랙션 서비스 서버(200)는 아바타를 통해 다양한 분야의 정보를 제공하는 정보 플랫폼의 역할도 할 수 있다. 다시 말해, 인터랙션 서비스 서버(200)는 사용자 단말(100)에게 다양한 분야의 정보를 제공하는 플랫폼 역할을 한다. 인터랙션 서비스 서버(200)는 사용자 단말(100)에 설치되는 어플리케이션과 연동하여 아바타를 표시하고, 아바타와 인터랙션하여 정보를 제공할 수 있다.
도 5의 아바타 인터랙션 서비스 방법을 수행하기 위해, 인터랙션 서비스 서버(200)의 제어부(220)는 도 4에 도시된 바와 같이, 실시간 인터랙션부(221), 학습부(222), AI 아바타 인터랙션부(223)를 포함하고 컨텐츠 선별부(224)를 더 포함할 수 있다. 실시예에 따라 제어부(220)의 구성요소들은 선택적으로 제어부(220)에 포함되거나 제외될 수도 있다. 또한, 실시예에 따라 제어부(220)의 구성요소들은 제어부(220)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 제어부(220) 및 제어부(220)의 구성요소들은 도 5의 아바타 인터랙션 서비스 방법이 포함하는 단계들(S110 내지 S140)을 수행하도록 인터랙션 서비스 서버(200)를 제어할 수 있다. 예를 들어, 제어부(220) 및 제어부(220)의 구성요소들은 저장부(230)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 제어부(220)의 구성요소들은 인터랙션 서비스 서버(200)에 저장된 프로그램 코드가 제공하는 명령에 따라 제어부(220)에 의해 수행되는 제어부(220)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 인터랙션 서비스 서버(200)가 실시간 인터랙션 서비스를 제공하도록 상술한 명령에 따라 인터랙션 서비스 서버(200)를 제어하는 제어부(220)의 기능적 표현으로서 실시간 인터랙션부(221)가 이용될 수 있다.
단계 S110에서 실시간 인터랙션부(221)는 서비스 제공자와 제1 사용자의 비대면 대화 환경에서 상기 서비스 제공자의 영상 및 음성을 반영하는 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공한다.
영상 분석을 위해 실시간 인터랙션부(221)는 HCAPI(Human Composition API) 컴포넌트를 포함할 수 있다. HCAPI 컴포넌트는 서비스 제공자(액터)의 특징(features)을 추출하는 구성 요소이다.
실시간 인터랙션부(221)는 Background segmenter를 구비하여 카메라로부터 특정 거리 이상의 정보를 제외하여, 오검출 확률을 감소시키고, 배경 제거를 통한 영상 처리 속도를 개선시킬 수 있다.
또한, 실시간 인터랙션부(221)는 Face recognizer를 구비하여 화자를 인식할 수 있고, 3D pose sequence estimator를 구비하여 화자의 현재 자세 및 제스처 인식을 위한 연속 포즈 특징을 추출할 수 있다. 또한, 실시간 인터랙션부(221)는 Multi-object detector를 구비하여 화면 상 이미지 내 어떤 물체가 어디에 있는지에 대한 정보를 추출할 수 있다.
실시간 인터랙션부(221)는 음성 분석을 위해 마이크 어레이를 이용한 음원 방향 추정기(Sound source localization)를 구비하여 복수의 사용자 중 화자가 누구인지를 인식하고, Sidelobe cancelling beamformer를 구비하여 측면의 입력을 줄이고 마이크를 통해 전방향에서 들어오는 음향에 집중하여 오검출을 방지할 수 있다. 또한, 실시간 인터랙션부(221)는 Background noise suppressor를 구비하여 배경 잡을 제거할 수 있다.
일 실시예에서, 실시간 인터랙션부(221)는 서비스 제공자 단말로부터 획득한 서비스 제공자의 영상을 분석하여 서비스 제공자의 모션, 제스처, 감정을 상기 아바타에 반영한다. 또한, 서비스 제공자의 영상을 분석하여 서비스 제공자의 음성을 상기 아바타 캐릭터의 목소리로 변조하여 제1 사용자 단말에 제공한다.
실시간 인터랙션부(221)에 의해 서비스 제공자의 아바타 영상을 생성하는 시간과, 서비스 제공자의 음성을 아바타 음성으로 변조하는 시간이 서로 상이할 수 있으므로, 실시간 인터랙션부(221)는 Latency Multiplier를 구비하여 변조된 아바타 음성을 지연시켜 아바타 영상의 출력과 동기화시킬 수 있다.
Rendering Engine의 출력과 동기화(at the same time)된다.
이를 통해 서비스 제공자와 제1 사용자는 각각의 단말을 통해 비대면으로 실시간 인터랙션을 수행할 수 있다. 제1 사용자 단말에는 실시간으로 서비스 제공자의 영상을 반영한 아바타가 표시되고, 서비스 제공자의 음성을 반영하는 아바타의 목소리가 스피커 등을 통해 출력된다.
단계 S115에서 컨텐츠 선별부(224)는 서비스 제공자의 영상 및 음성에서 인터랙션 서비스 분야와 관련된 컨텐츠를 선별하여 데이터베이스에 저장하여 정보 플랫폼을 구축한다.
예시로서, 서비스 제공자의 음성에 기초하여 생성된 문장으로부터, 컨텐츠 관련 키워드를 추출하고, 추출된 키워드 중에, 분야별로 미리 설정된 가중치에 의해 핵심 키워드를 추가로 추출할 수 있다. 핵심 키워드는 복수의 기준 항목들 각각을 색인으로 하여 분류 및 정렬할 수 있다. 데이터베이스가 구축됨에 따라 데이터베이스를 기반으로 정보 플랫폼을 구현할 수 있다.
단계 S120에서 학습부(222)는 상기 비대면 대화 환경에서 학습 모델에 기초하여 상기 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습한다.
단계 S130에서 AI 아바타 인터랙션부(223)는 훈련된 모델을 사용하여 AI(artificial intelligence) 기반 아바타를 생성하며, 상기 AI 기반 아바타를 통해 인터랙션 서비스를 상기 통신부를 통해 제2 사용자 단말에 제공한다.
이를 위해, AI 아바타 인터랙션부(223)는 음성인식(ASR), Speech-to-Text(STT), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 상기 제2 사용자 단말(103)로부터 수신한 제2 사용자의 음성을 인식, 이해 및 반응할 수 있다.
일 실시예에서, AI 아바타 인터랙션부(223)는 제2 사용자 단말로부터 수신한 제2 사용자의 영상에서, 화자를 인식하고, 화자의 얼굴 표정, 제스처, 음성 톤을 분석하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부할 수 있다.
AI 아바타 인터랙션부(223)는 상술한 데이터베이스화된 컨텐츠에 기초하여 AI 아바타를 통해 인터랙션 서비스를 제공할 수 있다. 일례로, AI 아바타 인터랙션부(223)는 인공지능(AI) 대화 시스템과 연동하여 사용자와 커뮤니케이션하거나 날씨, 뉴스, 음악, 지도, 사진 등 다양한 정보를 제공할 수 있다. 인공지능 대화 시스템은 개인비서 시스템, 챗봇 플랫폼(chatbot platform), 인공지능(AI) 스피커 등에 적용되는 것으로 사용자의 명령어에 대한 의도를 이해하고 그에 대응하는 정보를 제공할 수 있다.
예를 들어, AI 아바타 인터랙션부(223)는 제2 사용자 단말(103)로부터 사용자의 발화에 따른 음성 입력 "** 댄스"를 수신하는 경우 수신된 음성 입력을 인식 및 분석하여 “** 댄스”에 대한 정보를 획득하고 AI 아바타를 통해 상기 획득한 정보를 출력할 수 있다. 이때, AI 아바타 인터랙션부(223)는 정보 제공 과정에서 별도의 팝업창(pop-up), 말풍선(word bubble), 툴팁(tooltip) 등을 이용하여 시각적인(visual) 정보를 함께 제공할 수도 있다.
AI 아바타 인터랙션부(223)는 AI 아바타의 표정을 변화시켜 사용자와의 감정을 교류하고 표현할 수 있다. AI 아바타 인터랙션부(223)는 3D 모델링을 통해 오브젝트화된 AI 아바타의 얼굴 영역에 대한 변형을 통해 캐릭터의 표정을 변화시킬 수 있고, 감정의 표현을 극대화하기 위해 AI 아바타에 다양한 이펙트(effect)를 첨부하는 것 또한 가능하다. 이펙트는 이미지 객체로 구성된 컨텐츠로서 AI 아바타 기반 영상에 합성 가능한 필터, 스티커나 이모지 등을 모두 포괄하여 의미할 수 있으며, 이는 고정된 형태의 객체는 물론, 플래시나 애니메이션 등이 적용된 움직이는 이미지 객체로도 구현 가능하다. 이러한 이펙트는 감정 정보를 나타내는 것으로 감정 별로 사전 분류될 수 있으며, 다시 말해 복수 개의 감정(예컨대, 기쁨, 슬픔, 놀람, 고민, 괴로움, 불안, 공포, 혐오, 분노 등)이 사전에 정의되고 각 감정 별로 해당 감정을 나타내는 이펙트들이 그룹핑 되어 관리될 수 있다.
AI 아바타 인터랙션부(223)는 감정 표현을 위하여 사용자로부터 수신된 음성 입력의 문장에서 감정 정보를 추출할 수 있다. 이때, 감정 정보는 감정 종류와 감정 강도(감정 정도)를 포함할 수 있다. 감정을 나타내는 용어, 즉 감정 용어들은 사전에 정해지며 소정 기준에 따라 복수 개의 감정 종류(예컨대, 기쁨, 슬픔, 놀람, 고민, 괴로움, 불안, 공포, 혐오, 분노 등)로 분류되고 감정 용어의 강약에 따라 복수 개의 강도 등급(예컨대, 1~10)으로 분류될 수 있다. 감정 용어는 감정을 나타내는 특정 단어는 물론, 특정 단어를 포함한 구절이나 문장 등을 포함할 수 있다. 예를 들어, '좋아해요'나 '괴롭지만요'와 같은 단어, 혹은 '너무너무 좋아해요'와 같은 구절이나 문장 등이 감정 용어의 범주에 포함될 수 있다. 일례로, AI 아바타 인터랙션부(223)는 사용자의 음성 입력에 따른 문장에서 형태소를 추출한 후 추출된 형태소에서 미리 정해진 감정 용어를 추출하여 추출된 감정 용어에 대응되는 감정 종류와 감정 강도를 분류할 수 있다. 음성 입력의 문장에 복수 개의 감정 용어가 포함된 경우 감정 용어가 속한 감정 종류와 감정 강도에 따라 가중치를 계산할 수 있고 이를 통해 문장의 감정 정보에 대한 감정 벡터를 계산하여 해당 문장을 대표하는 감정 정보를 추출할 수 있다. 상기한 감정 정보를 추출하는 기술은 예시적인 것으로 이에 한정되는 것은 아니며, 이미 잘 알려진 다른 기술들을 이용하는 것 또한 가능하다.
본 발명의 일 실시예에서는 AI 아바타 인터랙션부(223)를 통해 제2 사용자가 AI 아바타와 인터랙션을 수행하는 것을 설명하였으나, 이는 일 예시일 뿐 복수명의 사람이 각각의 사용자 단말을 통해 동일 AI 아바타에 접속하여 인터랙션 할 수 있도록 구현할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 교육분야 구현예를 설명하기 위한 도면이다.
도 6을 참조하여, 교육 분야 특히 어린이를 위한 어학 교육에 활용되는 예를 설명한다.
도 6의 (a)와 같이, 인터랙션 서비스 서버(200)에 교사의 서비스 제공자 단말(101)과 학습자의 제1 사용자 단말(102)이 접속된다. 인터랙션 서비스 서버(200)는 사람인 교사의 얼굴 표정과 제스처를 실시간으로 따라하는 아바타를 생성한다. 또한, 선생님의 목소리는 아바타의 캐릭터의 목소리로 변조되어 제1 사용자 단말(102)에 출력된다.
이 과정에서 도 6의 (b)와 같이, 인터랙션 서비스 서버(200)는 교사의 서비스 제공자 단말(101)로부터 수신되는 영상 및 음성 데이터를 수집하여, AI 아바타를 학습시키는데 이용하여, 그 학습 결과를 이용한 사람이 개입되지 않은 순수한 인공지능 아바타를 구현할 수 있다. 학습자는 교사 없이 인공지능 아바타와 학습을 진행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 고객 응대 분야 구현예를 설명하기 위한 도면이다.
도 7을 참조하여, 고객 응대 분야 특히 카페 등에서의 주문에 활용되는 예를 설명한다.
인터랙션 서비스 서버(200)를 통해 제공되는 AI 아바타를 통해 사람처럼 대화하고 반응하는 인터페이스를 제공할 수 있다. 예컨대, 인터랙션 서비스 서버(200)를 통해 제공되는 AI 아바타는 카페에서 사용자인 손님에게 메뉴를 제공하거나 추천하고, 결제 방식을 설명하고, 진행할 수 있다. 이를 통해 손님(사용자)는 터치 스크린 키오스크 보다 더 편하고 친밀한 방식으로 주문을 진행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 재활치료 분야 구현예를 설명하기 위한 도면이다.
도 8을 참조하여, 재활치료 분야에서 활용되는 예를 설명한다.
인터랙션 서비스 서버(200)를 통해 제공되는 AI 아바타가 재활을 위한 동작을 사용자에게 보여주면서, 사용자가 따라하는 동작을 분석하여 자세에 대한 실시간 피드백을 대화형식으로 제공한다. 이와 같이, AI 아바타가 사용자의 자세를 관찰하면서 실시간으로 대화형식으로 피드백을 줄 수 있어, 실제 사람에게 서비스를 받는 수준으로 수업이 진행될 수 있다.
재활치료 이외에도, 요가, 필라테스, PT(Physical Therapy) 등의 모든 운동에도 적용이 가능하다.
또한, 이러한 인터랙션 서비스는 엔터테인먼트 분야에도 적용될 수 있다. 3D 모델링으로 특정 가수의 모습을 가진 아바타를 생성하고, 생성된 아바타가 모션 캡쳐로 특정 가수의 춤을 따라하게 하고, TTS 와 voice cloning 통해 특정 가수의 목소리로 공연 및 인터랙션 콘텐츠를 제공하도록 구현될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법 및 장치는 비대면 인터랙션 서비스를 제공하기 위한 다양한 분야에 적용될 수 있다.
Claims (25)
- 서비스 제공 단말, 제1 사용자 단말 및 제2 사용자 단말을 포함하는 컴퓨터 시스템에서 수행되는 아바타에 기초한 인터랙션 서비스 방법에 있어서,상기 서비스 제공자 단말에서 서비스 제공자와 상기 제1 사용자 단말에서 제1 사용자와의 비대면 대화 환경에서 상기 서비스 제공자 단말로부터 서비스 제공자의 영상 및 음성을 반영하는 아바타를 통해 인터랙션 서비스를 상기 제1 사용자 단말에 제공하는 단계;미리 저장된 학습 모델에 기초하여 상기 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습하는 단계; 및학습된 학습 모델에 기초하여 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계를 포함하는 아바타에 기초한 인터랙션 서비스 방법.
- 제1항에 있어서,상기 서비스 제공자의 영상 및 음성에서 인터랙션 서비스 분야와 관련된 컨텐츠를 선별하여 데이터베이스화하는 단계를 더 포함하는 아바타에 기초한 인터랙션 서비스 방법.
- 제2항에 있어서,상기 인터랙션 서비스 분야는 고객 응대, 상담, 교육, 엔터테인먼트를 포함하고,상기 인터랙션 서비스는 상기 분야에 대한 컨텐츠를 상기 아바타에 기초한 인터랙션을 통해 제1 사용자 단말 또는 제2 사용자 단말에게 제공하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제1항에 있어서,상기 서비스 제공자의 아바타를 통해 인터랙션 서비스를 상기 제1 사용자 단말에 제공하는 단계는,상기 서비스 제공자의 영상을 분석하여 상기 서비스 제공자의 모션, 제스처, 감정을 상기 아바타에 반영하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제1항에 있어서,상기 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공하는 단계는,상기 서비스 제공자의 음성을 상기 아바타 캐릭터의 목소리로 변조하여 제1 사용자 단말에 제공하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제1항에 있어서,상기 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계는,상기 제2 사용자 단말로부터 수신한 제2 사용자의 영상에서 얼굴 표정, 제스처, 음성 톤을 분석하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 AI 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 아바타에 기초한 인터랙션 서비스 방법.
- 제1항에 있어서,상기 AI(artificial intelligence) 아바타를 생성하여 인터랙션 서비스를 제2 사용자 단말에 제공하는 단계는,음성인식(ASR), Speecch-to-Text(STT), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 상기 제2 사용자 단말로부터 수신한 제2 사용자의 음성을 인식, 이해 및 반응하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 서비스 제공자 단말, 제1 사용자 단말 및 제2 사용자 단말과 통신망을 통해 정보를 송수신하는 통신부;제1 사용자와 제2 사용자의 비대면 대화 환경에서 서비스 제공자의 영상 및 음성을 반영하는 서비스 제공자 단말에서 서비스 제공자의 아바타를 통해 인터랙션 서비스를 제1 사용자 단말에 제공하는 실시간 인터랙션부;미리 저장된 학습 모델에 기초하여 상기 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습하는 학습부; 및상기 학습된 모델에 기초하여 AI(artificial intelligence) 아바타를 생성하며, 상기 AI 아바타를 통해 인터랙션 서비스를 상기 통신부를 통해 상기 제2 사용자 단말에 제공하는 AI 아바타 인터랙션부를 포함하는 아바타에 기초한 인터랙션 서비스 장치.
- 제8항에 있어서,상기 서비스 제공자의 영상 및 음성에서 인터랙션 서비스 분야와 관련된 컨텐츠를 선별하여 데이터베이스화하는 컨텐츠 선별부;를 더 포함하는 아바타에 기초한 인터랙션 서비스 장치.
- 제9항에 있어서,상기 인터랙션 서비스 분야는 고객 응대, 상담, 교육, 엔터테인먼트를 포함하고,상기 인터랙션 서비스는 상기 분야에 대한 컨텐츠를 상기 아바타에 기초한 인터랙션을 통해 상기 제1 사용자 단말 또는 제2 사용자 단말에게 제공하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
- 제8항에 있어서,상기 AI 아바타 인터랙션부는상기 서비스 제공자의 영상을 분석하여 상기 서비스 제공자의 모션, 제스처, 감정을 상기 아바타에 반영하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
- 제8항에 있어서,상기 실시간 인터랙션부는,상기 서비스 제공자 단말로부터 수신한 서비스 제공자의 음성을 상기 아바타 캐릭터의 목소리로 변조하여 제1 사용자 단말에 제공하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
- 제8항에 있어서,상기 AI 아바타 인터랙션부는상기 제2 사용자 단말로부터 수신한 제2 사용자의 영상에서 제2 사용자의 실시간 영상에서 얼굴 표정, 제스처, 음성 톤을 분석하여 제2 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 상기 AI 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 아바타에 기초한 인터랙션 서비스 장치.
- 제8항에 있어서,상기 AI 아바타 인터랙션부는음성인식(ASR), Speecch-to-Text(STT), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 제2 사용자 단말로부터 수신한 상기 제2 사용자의 음성을 인식, 이해 및 반응하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
- 컴퓨터 시스템에서 수행되는 아바타에 기초한 인터랙션 서비스 방법에 있어서,사용자 단말의 사용자와 상기 컴퓨터 시스템에 의해 생성된 아바타와의 비대면 대화 환경에서 상기 컴퓨터 시스템에 의해 생성된 이미지 및 음성을 반영하는 아바타를 통해 인터랙션 서비스를 상기 사용자 단말에 제공하는 단계;상기 사용자 단말로부터 입력을 수신하는 단계;상기 사용자 단말로부터 수신된 상기 입력에 기초하여 아바타 반응을 생성하는 단계; 및상기 사용자 단말에 상기 아바타 반응을 제공하는 단계를 포함하는 아바타에 기초한 인터랙션 서비스 방법.
- 제15항에 있어서,상기 아바타는 서비스 제공자 간의 비 대면 대화 환경에서 서비스 제공자 단말로부터 서비스 제공자의 이미지 및 음성을 반영하여 생성되는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제16항에 있어서,상기 아바타를 통해 인터랙션 서비스를 상기 사용자 단말에 제공하는 단계는,상기 서비스 제공자의 영상을 분석하여 상기 서비스 제공자의 모션, 제스처, 감정을 상기 아바타에 반영하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제16항에 있어서,미리 저장된 학습 모델에 기초하여 제1 사용자에 대한 상기 서비스 제공자의 응답을 학습하는 단계를 더 포함하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제16항에 있어서,학습된 학습 모델에 기초하여 아바타를 생성하여 인터랙션 서비스를 다른 사용자 단말에 제공하는 단계를 더 포함하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법.
- 제15항에 있어서,상기 입력을 수신하는 단계는,상기 사용자 단말로부터 사용자의 얼굴 표정, 제스처, 음성 톤을 수신하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 아바타에 기초한 인터랙션 서비스 방법.
- 제15항에 있어서,상기 아바타 반응을 제공하는 단계는학습된 학습 모델에 기초하여 아바타를 생성하는 단계를 더 포함하는 아바타에 기초한 인터랙션 서비스 방법.
- 사용자 단말과 통신망을 통해 정보를 송수신하는 통신부;상기 통신부를 통해 상기 사용자 단말에 인터랙션 서비스를 제공하기 위한 아바타를 생성하는 아바타 인터랙션부; 및상기 사용자 단말에서 아바타와 사용자 사이의 비대면 대화 환경에서 아바타를 통해 인터랙션 서비스를 상기 사용자 단말에 제공하는 실시간 인터랙션부;를 포함하는 아바타에 기초한 인터랙션 서비스 장치.
- 제22항에 있어서,상기 실시간 인터랙션부는상기 서비스 제공자의 단말에서의 상기 서비스 제공자와 상기 사용자 단말에서의 사용자 사이의 비대면 대화 환경에서 서비스 제공자 단말의 서비스 제공자의 이미지와 음성을 반영한 서비스 제공자의 아바타를 제공하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
- 제23항에 있어서,상기 아바타 인터랙션부는상기 서비스 제공자의 영상을 분석하여 상기 서비스 제공자의 모션, 제스처, 감정을 상기 아바타에 반영하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
- 제23항에 있어서,상기 실시간 인터랙션부는,상기 서비스 제공자 단말로부터 수신한 서비스 제공자의 음성을 상기 아바타 캐릭터의 목소리로 변조하여 상기 사용자 단말에 제공하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 장치.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2021-0034756 | 2021-03-17 | ||
| KR20210034756 | 2021-03-17 | ||
| KR10-2021-0128734 | 2021-09-29 | ||
| KR1020210128734A KR20220129989A (ko) | 2021-03-17 | 2021-09-29 | 아바타에 기초한 인터랙션 서비스 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022196880A1 true WO2022196880A1 (ko) | 2022-09-22 |
Family
ID=83283812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2021/015086 WO2022196880A1 (ko) | 2021-03-17 | 2021-10-26 | 아바타에 기초한 인터랙션 서비스 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220301250A1 (ko) |
| CN (1) | CN115145434A (ko) |
| WO (1) | WO2022196880A1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017224190A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社オルツ | コミュニケーションを支援する人工知能システム |
| KR20180119515A (ko) * | 2017-04-25 | 2018-11-02 | 김현민 | 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법 |
| KR101925440B1 (ko) * | 2018-04-23 | 2018-12-05 | 이정도 | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 |
| KR20200016521A (ko) * | 2018-08-07 | 2020-02-17 | 주식회사 에스알유니버스 | 지능형 음성 합성 장치 및 방법 |
| KR20200094833A (ko) * | 2019-01-22 | 2020-08-10 | (주)티비스톰 | 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼 |
-
2021
- 2021-10-21 US US17/506,734 patent/US20220301250A1/en active Pending
- 2021-10-26 WO PCT/KR2021/015086 patent/WO2022196880A1/ko active Application Filing
- 2021-10-26 CN CN202111246812.0A patent/CN115145434A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017224190A (ja) * | 2016-06-16 | 2017-12-21 | 株式会社オルツ | コミュニケーションを支援する人工知能システム |
| KR20180119515A (ko) * | 2017-04-25 | 2018-11-02 | 김현민 | 스마트 휴대 기기를 이용한 스마트 기기와 로봇의 개인 맞춤형 서비스 운용 시스템 및 방법 |
| KR101925440B1 (ko) * | 2018-04-23 | 2018-12-05 | 이정도 | 가상현실 기반 대화형 인공지능을 이용한 화상 대화 서비스 제공 방법 |
| KR20200016521A (ko) * | 2018-08-07 | 2020-02-17 | 주식회사 에스알유니버스 | 지능형 음성 합성 장치 및 방법 |
| KR20200094833A (ko) * | 2019-01-22 | 2020-08-10 | (주)티비스톰 | 강화학습을 통해 진화하는 ai 개체를 제공하는 방법 및 플랫폼 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220301250A1 (en) | 2022-09-22 |
| CN115145434A (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| KR102341752B1 (ko) | 메타버스에서 아바타를 이용한 강의 보조 방법 및 그 장치 | |
| KR20220008735A (ko) | 애니메이션 인터랙션 방법, 장치, 기기 및 저장 매체 | |
| CN107294837A (zh) | 采用虚拟机器人进行对话交互的方法和系统 | |
| KR20220129989A (ko) | 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
| WO2022170848A1 (zh) | 人机交互方法、装置、系统、电子设备以及计算机介质 | |
| CN111414506B (zh) | 基于人工智能情绪处理方法、装置、电子设备及存储介质 | |
| KR20190002067A (ko) | 사람-기계 간 감정 대화를 위한 방법 및 시스템 | |
| WO2022196921A1 (ko) | 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
| CN110767005A (zh) | 基于儿童专用智能设备的数据处理方法及系统 | |
| CN112232066A (zh) | 一种教学纲要生成方法、装置、存储介质及电子设备 | |
| KR102196917B1 (ko) | 영어 말하기 평가 시스템 및 방법 | |
| CN113850898A (zh) | 场景渲染方法及装置、存储介质及电子设备 | |
| WO2022196880A1 (ko) | 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
| WO2019124850A1 (ko) | 사물 의인화 및 인터랙션을 위한 방법 및 시스템 | |
| CN110070869A (zh) | 语音互动生成方法、装置、设备和介质 | |
| JP2023099309A (ja) | アバターを通じて映像の音声を手話に通訳する方法、コンピュータ装置、およびコンピュータプログラム | |
| CN115442495A (zh) | 一种ai演播室系统 | |
| CN117370605A (zh) | 一种虚拟数字人驱动方法、装置、设备和介质 | |
| Divekar | AI enabled foreign language immersion: Technology and method to acquire foreign languages with AI in immersive virtual worlds | |
| CN114201596A (zh) | 虚拟数字人使用方法、电子设备和存储介质 | |
| JP2004101637A (ja) | オンライン教育システム、情報処理装置、情報提供方法及びプログラム | |
| Naqvi et al. | Adaptivity is a matter of Concern: Design and Evaluation of an Mobile Interface for Deaf Users | |
| Sundblad et al. | OLGA—a multimodal interactive information assistant | |
| Huang et al. | An agent based multicultural tour guide system with nonverbal user interface |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21931821 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21931821 Country of ref document: EP Kind code of ref document: A1 |