KR20220130000A - 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 - Google Patents
인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 Download PDFInfo
- Publication number
- KR20220130000A KR20220130000A KR1020220002347A KR20220002347A KR20220130000A KR 20220130000 A KR20220130000 A KR 20220130000A KR 1020220002347 A KR1020220002347 A KR 1020220002347A KR 20220002347 A KR20220002347 A KR 20220002347A KR 20220130000 A KR20220130000 A KR 20220130000A
- Authority
- KR
- South Korea
- Prior art keywords
- interaction service
- avatar
- artificial intelligence
- voice
- service device
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 107
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 230000005236 sound signal Effects 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims description 19
- 230000002996 emotional effect Effects 0.000 claims description 18
- 230000008921 facial expression Effects 0.000 claims description 15
- 230000001755 vocal effect Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 36
- 230000008451 emotion Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 241000282412 Homo Species 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 2
- 210000000170 cell membrane Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000000554 physical therapy Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000000592 Artificial Cell Substances 0.000 description 1
- 102100034761 Cilia- and flagella-associated protein 418 Human genes 0.000 description 1
- 101100439214 Homo sapiens CFAP418 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 238000009223 counseling Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 208000005244 familial abdominal 2 aortic aneurysm Diseases 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000010332 selective attention Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Development Economics (AREA)
- Marketing (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Strategic Management (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Otolaryngology (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radar, Positioning & Navigation (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Document Processing Apparatus (AREA)
Abstract
본 발명의 일 실시예에 따른 무인 정보 단말과 인터랙션 서비스 장치를 포함하는 시스템에서 수행되는 인공지능 아바타(AI)에 기초한 인터랙션 서비스 방법은, 무인 정보 단말이 탑재된 마이크 어레이로부터 수집된 음향 신호와 비전 센서로부터 수집된 영상 신호를 인터랙션 서비스 장치에 전송하는 단계; 상기 인터랙션 서비스 장치가 수신된 음향 신호와 영상 신호에 기초하여 감지 구역을 설정하는 단계; 상기 인터랙션 서비스 장치가 상기 감지 구역 내에서 수집되는 사용자의 음성 신호와 사용자의 영상 신호에 기초하여 능동 화자를 인식하는 단계; 및 상기 인터랙션 서비스 장치가 인식된 능동 화자에 대한 반응을 생성하고, 인공지능 아바타를 3D 랜더링한 후, 상기 인공지능 아바타에 생성된 반응을 반영하는 단계; 및 상기 인터랙션 서비스 장치가 랜더링된 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계를 포함한다.
Description
본 발명은 아바타에 기초한 인터랙션 서비스 방법 및 장치에 관한 것이다.
아바타(Avatar)는 분신 또는 화신을 뜻하는 말로, 사이버공간에서 사용자의 역할을 대신하는 애니메이션 캐릭터이다.
기존의 아바타는 2차원으로 된 그림이 대부분이었다. 머드게임이나 온라인채팅에 등장하는 2차원 아바타는 초보적인 수준이었고, 여전히 현실감 및 입체감이 떨어지는 문제점을 보완하기 위한 아바타 기술들이 등장하고 있다.
최근 들어, 인공지능 기술 및 센서 기술의 발전과 더불어 인간과 자연스럽게 소통하는 인공지능 아바타 기술에 대한 필요성이 대두되고 있다.
본 발명은 인간과 자연스럽게 소통할 수 있는 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치를 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 무인 정보 단말과 인터랙션 서비스 장치를 포함하는 시스템에서 수행되는 인공지능 아바타(AI)에 기초한 인터랙션 서비스 방법으로서, 상기 무인 정보 단말이 탑재된 마이크 어레이로부터 수집된 음향 신호와 비전 센서로부터 수집된 영상 신호를 인터랙션 서비스 장치에 전송하는 단계; 상기 인터랙션 서비스 장치가 수신된 음향 신호와 영상 신호에 기초하여 감지 구역을 설정하는 단계; 상기 인터랙션 서비스 장치가 상기 감지 구역 내에서 수집되는 사용자의 음성 신호와 사용자의 영상 신호에 기초하여 능동 화자를 인식하는 단계; 상기 인터랙션 서비스 장치가 인식된 능동 화자에 대한 반응을 생성하고, 인공지능 아바타를 3D 랜더링한 후, 상기 인공지능 아바타에 생성된 반응을 반영하는 단계; 및 상기 인터랙션 서비스 장치가 랜더링된 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 감지 구역을 설정하는 단계는, 상기 인터랙션 서비스 장치가 수신된 음향 신호에 기초하여 음원 방향 추정 방법에 의해 음원 방향을 추정하고, Sidelobe signal cancelling 방법에 의해 측면으로부터의 음향의 입력을 제한하며, 수신된 영상 신호에 배경 분리 기술을 적용하여 인식된 객체 이후의 영상 입력을 제한하는 것을 특징으로 한다.
일 실시예에서, 상기 능동 화자를 인식하는 단계는, 상기 인터랙션 서비스 장치가 상기 감지 구역 내 사용자의 영상신호에 대하여 안면 인식 방법으로 사람의 수를 확인하고, 감지 구역 내 복수명이 인식되는 경우, 음원 위치 추정 방법, 음성 인식 방법 및 입모양 인식 방법 중 어느 하나 이상을 이용하여 화자라고 인식되는 사람을 능동 화자로서 선정하는 것을 특징으로 한다.
일 실시예에서, 상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는 수신된 사용자의 영상 신호에 대하여 화자의 얼굴 표정, 포즈, 제스처, 음성 톤 중 어느 하나 이상을 포함한 정보를 분석하여 반응을 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는, 상기 인터랙션 서비스 장치가 상기 음성인식(ASR), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 능동 화자의 음성을 인식하는 것을 특징으로 한다.
일 실시예에서, 상기 인터랙션 서비스 장치가 인식된 음성 정보와 비언어적 정보에 대하여 가중치를 부가하되, 상기 음성정보와 비 언어적 정보가 동일한 방향의 결과를 나타내는 경우와 상이한 방향의 결과를 나타내는 경우에 서로 다른 가중치를 부가하는 것을 특징으로 하는 것을 특징으로 한다.
일 실시예에서, 상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는, 상기 사용자의 음성 또는 영상에서 얼굴 표정, 제스처, 음성 톤을 분석하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 AI 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 한다.
본 발명의 다른 실시예에서, 인공지능 아바타에 기초한 인터랙션 서비스 장치는 마이크 어레이 및 비전 센서를 탑재하고, 상기 마이크 어레이로부터 음향 신호를 수집하고 비전 센서로부터 영상 신호를 수집하는 무인 정보 단말; 및 상기 음향 신호와 영상 신호를 수신하여 감지 구역을 설정하고, 상기 감지 구역 내에서 수집되는 사용자의 음성 신호와 사용자의 영상 신호에 기초하여 능동 화자를 인식하며, 인식된 능동 화자에 대한 반응을 생성하고, 인공지능 아바타를 3D 랜더링한 후, 랜더링된 인공지능 아바타에 상기 반응을 반영한 랜더링된 인공지능 아바타를 상기 무인 정보 단말에 제공하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 인공지능 아바타에 기초하여 사용자와 자율 대화 및 반응을 반환하는 인터랙션 서비스를 제공할 수 있다.
또한, 인공지능 아바타에 의해 다수의 화자 또는 노이즈 속에서도 대화자를 찾아 응답가능한 인터랙션 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 구성을 나타내는 도면이다.
도 2는 본 명세서의 일 실시 예에 따르는 무인 정보 단말의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 구성을 나타내는 블럭도이다.
도 4는 본 명세서의 일 실시 예에 따르는 인터랙션 서비스 장치의 제어부가 포함할 수 있는 구성요소의 예를 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 인터랙션 서비스 장치의 제어부가 수행하는 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 감지 구역 설정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 고객 응대 분야 구현예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 재활치료 분야 구현예를 설명하기 위한 도면이다.
도 2는 본 명세서의 일 실시 예에 따르는 무인 정보 단말의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 구성을 나타내는 블럭도이다.
도 4는 본 명세서의 일 실시 예에 따르는 인터랙션 서비스 장치의 제어부가 포함할 수 있는 구성요소의 예를 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 인터랙션 서비스 장치의 제어부가 수행하는 방법의 예를 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 감지 구역 설정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 고객 응대 분야 구현예를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 재활치료 분야 구현예를 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
본 발명의 일 실시예의 인터랙션 서비스 서버는 사람(human) 또는 인공지능시스템(artificial intelligent system)이 그들간에 상호작용하는 다른 메커니즘을 허락하는 가상 에이전트(virtual agents)가 되도록 구현한다.
이하, 첨부된 도면을 참조하여 본 발명에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 네트워크 환경의 구성을 나타내는 도면이다.
도 1의 네트워크 환경은 무인 정보 단말(100) 및 인터랙션 서비스 장치(200)를 포함한다. 무인 정보 단말(100)은 '비대면(untact)' 대화형 환경, 즉 대면 만남이 없는 환경을 제공한다. 일반적으로 "비대면"은 직접적인 인간 접촉이 없는 것을 의미하고 비대면 인터랙티브 환경은 인간의 접촉이 없는 환경을 의미한다.
무인 정보 단말(100)은 통신망을 통해 인터랙션 서비스 장치(200)에 접속하는 단말로서, 예컨대, 키오스크와 같은 인터랙션 서비스를 제공받고자 하는 사용자들이 이용가능한 단말로서, 인터랙션 서비스 장치(200)와 유선 또는 무선의 통신망을 통해 통신을 수행하고 사용자의 입력을 수신하고 화면을 출력할 수 있는 전자적 기기 또는 이와 유사한 기기로써 구현될 수 있다.
여기서, 통신망은 TCP/IP, LAN(Local Area Network), WIFI, LTE(Long Term Evolution), WCDMA(Wideband Code Division Multiple Access), 기타 현재까지 알려졌거나 미래에 알려질 유선 통신, 무선 통신 방식, 기타 통신 방식 중 적어도 일부를 이용하여 구현될 수 있다. 많은 통신이 통신망을 통해 수행되지만 후술하는 설명에서는 설명을 간결하게 하기 위해 통신망에 대한 언급을 생략한다.
인터랙션 서비스 장치(200)는 무인 정보 단말(100)과 통신망을 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 인터랙션 서비스 장치(200)는 통신망을 통해 접속한 무인 정보 단말(100)에 설치되어 구동되는 컴퓨터 프로그램으로서의 해당 어플리케이션이 목적하는 인터랙션 서비스를 제공할 수 있다. 여기서, 인터랙션 서비스는 무인 정보 단말(100)과 인터랙션 서비스 장치(200)에 의해 생성된 아바타 사이에서 제공하는 서비스로 정의된다. 상기 분야는 고객 응대, 상담, 교육, 엔터테인먼트를 포함할 수 있다.
예를 들어 교육 분야에서, 인터랙션 서비스 장치(200)는 직접적인 접촉이 없는 비대면 대화 환경에서 교사인 서비스 제공자의 응답을 학습한다. 비대면 대화 환경에서 AI 아바타를 생성하고, 생성된 AI 아바타에 기초하여 학생들에게 인터랙션 서비스를 제공할 수 있다. 훈련 또는 사전 프로그램된 AI 아바타를 통해 교사인 서비스 제공자 단말의 접속 없이 학생인 사용자 단말(100)에 비대면 대화 환경에서 학습지도를 수행할 수 있게 한다.
다시 말하면, 본 발명의 일 실시예에 의한 인터랙션 서비스에 의해, 훈련 또는 사전 프로그램된 AI 아바타가 비대면 대화 환경에서, 사람의 실시간 응답을 기반으로 상호 작용/커뮤니케이션을 제공할 수 있다.
본 발명의 일 실시예에서 인터랙션 서비스 장치(200)는 무인 정보 단말(100)과 독립된 것처럼 설명하였으나, 이에 한정되는 것은 아니며, 인터랙션 서비스 장치(200)는 무인 정보 단말(100)과 일체형으로 형성되거나, 무인 정보 단말(100)에 탑재될 수 있다.
도 2는 본 명세서의 일 실시 예에 따르는 무인 정보 단말의 구성을 나타내는 블럭도이다. 도 2를 참조하면 본 명세서의 일 실시 예에 따르는 무인 정보 단말 (100)은 마이크 어레이(111) 및 비전 센서(112)를 포함하는 입출력 인터페이스(110)를 포함할 수 있다. 또한, 무인 정보 단말 (100)은 통신부(120), 저장부(130) 및 제어부(140)를 더 포함할 수 있다.
입출력 인터페이스(110)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 입출력 인터페이스(110)는 마이크 어레이(111) 및 비전 센서(112)를 포함하는 입력 장치와, 디스플레이, 스피커와 같은 출력 장치를 포함하여 센싱되는 데이터를 수집할 수 있다.
마이크 어레이(111)는 최소 3개에서 5개로 구성될 수 있으며, 이 중 하나의 마이크는 음성 인식을 위해 사용되고, 나머지 마이크는 빔포밍(Beam forming) 또는 방향성 신호 수신을 허용하는 다른 기술을 위해 사용될 수 있다. 빔포밍을 적용하여 잡음 섞인 신호로부터 강인한 음성 인식 성능을 확보할 수 있다. 비전 센서(112)는 깊이 센서가 포함되지 않은 카메라, 스테레오 카메라, 깊이 센서가 포함된 카메라일 수 있다. 깊이 센서가 포함된 카메라를 이용하는 경우, 전경 또는 배경 한계를 선정하여 배경에 있는 사람이나 물체에 대한 검지를 제한하여 기기에 접근한 사람에 집중이 가능한 영역을 설정할 수 있다.
다른 예로 입출력 인터페이스(110)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치는 무인 정보 단말(100)과 하나의 장치로 구성될 수도 있다.
보다 구체적인 예로, 저장부(130)는 명령어 및 데이터를 저장하고, 제어부(140)가 저장된 데이터를 사용하여 무인 정보 단말(100)에 제어함수를 제공한다. 제어부(140)가 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서, 입출력 인터페이스(110)를 통해 획득한 영상 및 음성 정보를 인터랙션 서비스 장치(200)에 전달하고, 인터랙션 서비스 장치(200)로부터 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠를 입출력 인터페이스(110)를 통해 디스플레이에 표시할 수 있다.
다른 실시예에서, 입출력 인터페이스(110)는 인간과 유사한 아바타를 구현하기 위하여 인공 촉감 신경, 후각 센서, 인공 세포막 전자혀 등을 더 포함할 수 있다.
이와 같은 입출력 인터페이스(110)는 인간과 유사한 아바타의 감지 기관의 역할을 한다. 예를 들어, 시각은 카메라(비전 센서)를 통해 구현되고, 청각은 마이크 또는 마이크 어레이를 통해 구현되고, 촉각은 인공 촉감 신경을 통해 구현되고, 후각은 지능형 후각 센서를 통해 구현되고, 미각은 인공 세포막 전자혀를 통해 구현될 수 있다.
통신부(120)는 인터랙션 서비스 장치(200)와 데이터를 주고받는다. 통신부(120)는 인터랙션 서비스 장치(200)로부터 수신한 데이터를 제어부(140)에게 전달한다. 또한 통신부(120)는 제어부(140)의 제어에 따라 데이터를 인터랙션 서비스 장치(200)에게 전달한다. 통신부(120)가 사용하는 통신 기술은 통신망의 유형이나 기타 사정에 따라 달라질 수 있다.
저장부(130)는 제어부(140)의 제어에 따라 데이터를 저장하고 요청된 데이터를 제어부(140)에게 전달한다. 제어부(140)는 단말(100)의 전반적인 동작과 각 구성부를 제어한다. 제어부(140)는 특히 후술하는 바와 같이 입출력 인터페이스력부(110)로부터 입력된 사용자 영상 및 음성을 통신부(120)를 통해 인터랙션 서비스 장치(200)에 전달하고, 인터랙션 서비스 장치(200)로부터 수신한 정보에 따라 인공지능 아바타를 입출력 장치에 표시하도록 제어한다.
도 3은 본 발명의 일 실시예에 따른 인터랙션 서비스 서버의 구성을 나타내는 블럭도이다. 도 3을 참조하면, 본 명세서의 일 실시 예에 따른 인터랙션 서비스 장치(200)는, 통신부(210), 제어부(220) 및 저장부(230)를 포함할 수 있다.
통신부(210)는 인터랙션 서비스 장치(200) 내부에 구비된 데이터 송수신 장치로서, 통신망을 통해 무인 정보 단말과의 인터랙션 서비스를 위한 정보를 송수신한다.
통신부(210)는 무인 정보 단말(도 1의 100)과 및/또는 기타 외부 장치와 데이터(인공지능 아바타와 인터랙션을 위한 정보)를 주고받는다. 통신부(210)는 수신한 데이터를 제어부(220)에게 전달한다. 또한 통신부(210)는 제어부(220)의 제어에 따라 데이터를 무인 정보 단말(100)에게 전달한다. 통신부(210)가 사용하는 통신 기술은 통신망의 유형이나 기타 사정에 따라 달라질 수 있다.
통신부(210)는 예를 들어 무인 정보 단말(100)에 마련된 카메라와 마이크 등을 통해 획득한 사용자를 촬영한 영상 및 음성을 수신할 수 있다. 또한, 통신부(210)는 접속한 무인 정보 단말(100)에게 인공지능 아바타를 출력하기 위한 정보를 송신할 수 있다.
제어부(220)는 인터랙션 서비스 장치(200)의 전반적인 동작과 각 구성부를 제어하기 위하여, 기본적인 산술, 로직 및 입출력 연산을 수행하여, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 저장부(230) 또는 통신부(210)를 통해 제어부(220)로 제공될 수 있다. 예를 들어, 제어부(220)는 저장부(230)와 같은 저장 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성되는 프로세서일 수 있다.
제어부(220)는 통신부(210)를 통해 수신되는 사용자를 촬영한 영상 및 음성에 기초하여 접속한 무인 정보 단말(100)에게 상기 아바타를 통해 인터랙션 서비스를 제공할 수 있다. 여기서 수신되는 영상 및 음성은 무인 정보 단말(100)의 입출력 인터페이스(110)에 의해 획득되어 수신된 영상 및 음성이다.
일 실시예에서 제어부(220)는 무인 정보 단말(100)로부터 수신되는 영상 및 음성에 기초하여 감지 구역을 설정하고, 설정된 감지 구역 내 영상 및 음성에 기초하여 능동 화자를 인식한다. 이후 제어부(220)는 엑티브 스피커와 인터랙션하는 인공지능 아바타를 생성한다. 이러한 제어부(220)의 구현에 대하여는 도 4 및 도 7을 참조하여 후술한다.
일 실시예에서 제어부(220)의 인터랙션을 위해 생성된 인공지능 아바타는 사용자에게 생동감을 제공하기 위하여 사용자와 대화중 시선을 교환하여 눈을 마주치고, 구어체 대화가 가능 할 수 있다. 또한, 아바타는 사용자와의 과거 대화에서 얻은 기억력(저장된 데이터)을 활용하여 일상 대화, 질문 및 답변 형식으로 친근하면서도 현실감 있는 대화를 할 수 있다.
또한, 아바타 시스템은 사용자의 얼굴 표정 몸짓 음성 톤을 통해 사용자의 감정적 상태를 인지하는 감정 인식을 할 수 있고, 인식한 감정에 대한 적절한 대응 판단과 얼굴 표정 대응 감정 별 목소리 톤 선택, 적절한 단어의 선택을 통해 아바타의 감정을 표현할 수 있다.
일 실시예에서, 제어부(220)는 WebRTC(Web Real-Time Communication) 또는 네트워크 상의 둘 이상의 엔티티 사이에서 실시간 인터랙션을 가능하게 하는 다른 매커니즘을 적용하여 P2P (Peer-to-Peer) 방식으로 데이터, 비디오 및 오디오를 실시간으로 전송할 수 있다.
저장부(230)는 인터랙션 서비스 장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다.
프로그램 영역은 인터랙션 서비스 장치(200)의 전반적인 동작을 제어하는 프로그램 및 인터랙션 서비스 장치(200)를 부팅시키는 운영체제(OS, Operating System)와 적어도 하나의 프로그램 코드(아바타를 학습시키기 위한 학습 모델, 인터랙션 서비스 제공에 필요한 응용 프로그램 등, 일례로 프로그램은 무인 정보 단말(100)에 설치되어 구동되는 브라우저나 특정 서비스의 제공을 위해 무인 정보 단말(100)에 설치된 어플리케이션 등을 위한 코드)를 저장할 수 있다.
도 4는 본 명세서의 일 실시 예에 따르는 인터랙션 서비스 장치의 제어부가 포함할 수 있는 구성요소의 예를 도시한 블럭도이고, 도 5는 본 발명의 일 실시예에 따른 인터랙션 서비스 장치의 제어부가 수행하는 방법의 예를 도시한 흐름도이다. 도 6은 본 발명의 일 실시예에 따른 감지 구역 설정을 설명하기 위한 도면이다.
도 5의 아바타 인터랙션 서비스 방법을 수행하기 위해, 인터랙션 서비스 장치(200)의 제어부(220)는 도 4에 도시된 바와 같이, 감지 구역 설정부(221), 능동 화자 인식부(222) 및 AI 아바타 인터랙션부(223)를 포함할 수 있다. 일 실시예에 따라 제어부(220)의 구성요소들은 선택적으로 제어부(220)에 포함되거나 제외될 수도 있다. 또한, 일 실시예에 따라 제어부(220)의 구성요소들은 제어부(220)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.
이러한 제어부(220) 및 제어부(220)의 구성요소들은 도 5의 아바타 인터랙션 서비스 방법이 포함하는 단계들(S110 내지 S140)을 수행하도록 인터랙션 서비스 장치(200)를 제어할 수 있다. 예를 들어, 제어부(220) 및 제어부(220)의 구성요소들은 저장부(230)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다.
여기서, 제어부(220)의 구성요소들은 인터랙션 서비스 장치(200)에 저장된 프로그램 코드가 제공하는 명령에 따라 제어부(220)에 의해 수행되는 제어부(220)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 예를 들어, 인터랙션 서비스 장치(200)가 실시간 인터랙션 서비스를 제공하도록 상술한 명령에 따라 인터랙션 서비스 장치(200)를 제어하는 제어부(220)의 기능적 표현으로서 AI 아바타 인터랙션부(223)가 이용될 수 있다.
단계 S110에서 감지 구역 설정부(221)는 인공지능 아바타 시스템의 감지 구역을 제한하기 위한 감지 구역(Sensing area)을 설정한다. 인간의 경우, 자아에게 필요한 일들에 대한 선택적 주의(attention) 기능이 있으므로 일부 신호만을 집중하여 판단을 위한 정보를 파악하는 일이 가능할 수 있다. 따라서, 인공지능 아바타에게 감지 구역이라는 제한된 환경에 집중하게 함으로써 현재 환경내에서 최상의 성능 혹은 최선의 선택을 이끌어 낼 수 있다. 단계 S120에서 인공지능 아바타 시스템은 센싱 영역에서 화자를 인식한다. 단계 S130에서 인공지능 아바타 시스템은 인공지능 아바타를 생성하여 인터랙션 서비스를 제공한다.
일반적으로 마이크는 측방과 전방 모든 방향의 소리를 취득하므로, 도 4 내지 6을 참조하면, 감지 구역 설정부(221)는 음원 방향 추정 방법(Sound source localization)에 의해 화자의 위치를 추정하고, Sidelobe signal cancelling 방법에 의해 측면의 입력을 제한하여 x방향의 영역을 제한한다. 여기서 x방향은 무인 정보 단말(100)의 화면의 폭 방향을 나타내고, z방향은 무인 정보 단말(100)의 화면의 길이 방향을 나타내며, y방향은 무인 정보 단말(100)과 화자 사이의 거리 방향을 나타낸다.
감지 구역 설정부(221)는 Background 검출기를 구비하여 카메라로부터 특정 거리 이상의 정보를 제외하도록 y방향의 영역을 제한한다.
감지 구역 설정부(221)는 감지 구역 외의 영상에 대하여 배경 제거를 및 Background noise suppressor를 적용하여 배경 잡을 제거할 수 있다. 또한, 감지 구역 설정부(221)는 Background 검출기를 구비하여 카메라로부터 특정 거리 이상인 감지 구역 외의 영상의 정보를 제외하여, 오검출 확률을 감소시키고, 배경 제거를 통한 영상 처리 속도를 개선시킬 수 있다.
이와 같이, 감지 구역 설정부(221)는 한정된 x방향과 y방향, 미리 설정된 z방향으로 일정 영역으로 제한된 감지 구역 내의 이벤트만 감지 가능하도록 함으로써, 오검출 확률을 감소시키고, 처리 속도를 향상시킬 수 있다.
감지 구역 설정부(221)는 감지 구역을 설정하기 이전에, 다중의 센서로부터 취득한 정보(예를 들어 영상, 음향)들을 시간 동기화하는 과정을 거칠 수 있다. 이러한 시간 동기화 방법은 미리 알려진 기술에 의해 구현 가능하므로 상세한 설명은 생략한다.
단계 S120(도 5)에서 능동 화자 인식부(222)는 Face recognizer를 구비하여 화자를 인식할 수 있다. 능동 화자 인식부(222)는 설정된 감지 구역에 여러 사람이 존재하는 경우 Multi-object detector, 입모양 인식 방법, 3D pose sequence estimator를 이용하여 현재 자세(pose) 및 제스처 인식을 통해 액티브 화자를 인식한다. 액티브 화자는 인터랙션의 주체를 말한다. 여기서, 입모양 인식 방법은 음성 인식 분야에서 활용되는 립리딩(lipreading)이 활용될 수 있다.
일 실시예에서, 능동 화자 인식부(222)는 무인 정보 단말(100)의 마이크 어레이(111)로부터 획득한 오디오 데이터로부터 문장(sentence) 정보를 인식한다. 특정 “wake word”나 timer 기반이 아닌 사용자의 입력 대화에 대한 내용 처리를 통해 문장을 생성한다.
일 실시예에서, 능동 화자 인식부(222)는 화자 분리 기술을 도입한 ASR 모듈을 통해, 입력 문장에 대하여 실제 아바타에게 하는 명령인지 인공지능 아바타가 아닌 다른 대상에게 한 말인지 분리하여 음성 인식 결과를 생성한다.
도 5에 도시한 바와 같이, 감지구역 내에 위치하는 화자 A, B와 감지구역 외에 위치하는 화자 C가 존재하는 것을 가정한다. 화자 C는 감지구역 외에 위치하므로 화자 C의 음성은 무시하고, 화자 A에 의해 발화되는 음성 AAA, AAA1, AAA2와 화자 B에 의해 발화되는 음성 BBB, BBB1, BBB2를 구별하여 인지할 수 있다. 화자 구분은 예를 들어, 화자 A의 음성인지 화자 B의 음성인지는 음성 분석 방법에 의해 발화중인 화자를 인식할 수 있다. 다른 예에서, 스피커 다이어리화 기법을 통해 마이크 어레이를 통해 획득된 음향의 음원 방향을 검출한 후 음원 방향에 위치하는 사람의 얼굴 인식 및/또는 입 모양을 인식하여 발화중인 화자를 인식할 수도 있다. 화자 분할은 입력 오디오 스트림을 화자 식별에 따라 동종 세그먼트로 분할하는 프로세스이다. 분할은 오디오 스트림을 화자 턴으로 구조화하고 화자 인식 시스템과 함께 사용할 경우 자동 음성 전사의 가독성을 향상시킨다.
또한, 키워드 검출기(Keyword detector) 등을 포함하여 주요 기능에 대한 키워드 분류 기법을 통해 대화 내용이 'small talk' 용도 인지 정보(e.g. 뉴스, e-mail,…) 제공 요청인지 분리할 수 있다.
이와 같은 능동 화자 인식부(222)는 스피커 다이어리화 기법, 키워드 분류 기법을 통해 능동 화자를 구분할 수 있다. 단계 S130(도 5)에서 AI 아바타 인터랙션부(223)는 훈련된 모델을 사용하여 인공지능(artificial intelligence) 아바타를 생성하며, 상기 인공지능 아바타를 통해 인터랙션 서비스를 상기 통신부를 통해 무인 정보 단말(100)에 제공한다.
이를 위해, AI 아바타 인터랙션부(223)는 음성인식(ASR), Speech-to-Text(STT), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 상기 무인 정보 단말(100)로부터 수신한 사용자의 음성을 인식, 이해 및 반응할 수 있다.
AI 아바타 인터랙션부(223)는 음성 인식으로 생성된 문장에서 선별된 키워드가 있는지 확인한다. 선별된 키워드가 존재하지 않는 경우, 오픈 도메인 챗봇(컴퓨터화된 대화 에이전트 또는 로봇)의 기능을 통해 반응을 생성한다. 이때, 대화에 대한 로그를 기록하고 이를 바탕으로 대화에 대한 문맥을 파악하여 대화 주제의 일관성을 유지하도록 한다. 선별된 키워드가 존재하는 경우, 클로우즈 도메인 챗봇(closed domain chatbot)의 기능을 통해 반응을 생성한다. 선별된 키워드에 대한 정보를 preset으로 구성하여 사용자 요청에 대한 정보를 제공한다. 실시예에서, AI 아바타 인터랙션부(223)는 생성된 반응을 제공하기 위해 3D 캐릭터를 랜더링한다. AI 아바타 인터랙션부(223)는 3D 캐릭터를 랜더링하기 위해, 목소리와 몸동작을 생성한다. AI 아바타 인터랙션부(223)는 생성된 반응에 포함된 문장을 TTS(Text to Speech) 방법으로 3D 캐릭터의 목소리를 생성할 수 있다.
이 때, AI 아바타 인터랙션부(223)는 목소리 수요의 개수에 대해 각각 refining, tuning 등의 절차 마련하는 일에 대한 성능 최적화를 위해 단일 deep learning model로 다양한 목소리를 생성할 수 있다.
다른 실시예에서, AI 아바타 인터랙션부(223)는 특정한 인물의 목소리에 대해 적은 시간 (40분~1시간) 분량으로 특정 인물의 목소리 패턴을 흉내내서 목소리를 생성할 수 있다. “적은 시간”은 AI 아바타 인터랙션부(223)의 기능을 저해하지 않으면서 특정 사람의 음성을 학습하는데 필요한 시간과 일치하는 시간을 의미하며, 학습하는데 필요한 초기 시간 간의 균형을 나타낸다. 특정인의 음성을 인식하는 능력을 학습하고, 특정인이 AI 아바타 인터랙션부(223)와 무리없이 상호작용할 수 있는 능력을 학습한다. 일례로, 적은 양의 사간은 40분 내지 1시간일 수 있다. 더 긴 시간이 AI 아바타 인터랙션부(223)을 기능하지 않게 효과적으로 렌더링하지 않는다면 더 긴 시간으로 구현될 수 있다. 반대로 특정인의 음성을 인식하는데 있어 더 적은 정도의 특이성이 요구된다면 더 짧은 시간으로 구현될 수 있다. 특정인의 음성 패턴을 지속적으로 학습함으로써 AI 아바타 인터랙션부(223)가 특정인의 음성에 적응하는 능력도 향상될 수 있다.
다른 실시예에서, AI 아바타 인터랙션부(223)는 음성 합성기를 이용하여 피치(Pitch), 톤(tone) 등의 조정으로 기존 훈련 결과에 대한 튜닝을 통해 목소리를 생성할 수 있다.
AI 아바타 인터랙션부(223)는 생성된 반응에 포함된 문장 생성 기능의 응용하여 입력 문장에 대응하여 훈련된 제스처(gesture)를 출력할 수 있다.
AI 아바타 인터랙션부(223)는 사용자의 음성 인식 및 제스처 입력에 대하여 오픈 도메인 챗봇 기능과 TTS 방법을 사용하여 종래의 데이터베이스로부터 새로운 애니메이션의 대응 결과를 생성하여 출력할 수 있다.
AI 아바타 인터랙션부(223)는 closed domain chatbot에 대응 되는 animation group 제작 후 closed domain chatbot의 답변에 맞는 애니메이션을 선택할 수 있다.
일 실시예에서, AI 아바타 인터랙션부(223)는 무인 정보 단말(100)로부터 수신한 사용자의 영상에서, 화자를 인식하고, 화자의 얼굴 표정, 포즈, 제스처, 음성 톤을 분석하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부할 수 있다.
일 실시예에서, AI 아바타 인터랙션부(223)는 사용자의 음성을 통한 음성 인식 결과와, 사용자의 음성 외 비언어적 정보(얼굴 표정, 제스처, 음성 톤)를 통한 비음성 인식 결과에 대하여 가중치를 부가할 수 있다.
이 때, 추가되는 가중치는 음성 인식 결과와 음성 외 비 언어적 정보 인식 결과에 따라 상이할 수 있다. 음성 인식 결과와 음성 외 비 언어적 정보 인식 결과가 동일한 방향 또는 논리적 시퀀스가 같거나 그 밖에 서로 일치하는 경우, 가중치는 증가할 수 있고, 반대로, 음성 인식 결과와 음성 외 비 언어적 정보 인식 결과가 상반된 방향 또는 논리적 시퀀스가 다르거나 그 밖에 서로 일치하지 않는 경우에 부가되는 가중치는 감소할 수 있다. 예를 들어, 음성 인식 결과가 '긍정'이고, 비언어적 정보 인식 결과가 '긍정'인 경우, 음성 인식 결과가 '부정'이고, 비언어적 정보 인식 결과가 '부정'인 경우, 각각 가중치는 1: α를 부여할 수 있다. 반대로, 상기 인식 결과가 '긍정'이고 비언어적 정보 인식 결과가 '부정'인 경우, 각각 가중치는 1: β를 부여할 수 있다.
한편, AI 아바타 인터랙션부(223)는 상술한 데이터베이스화된 컨텐츠에 기초하여 AI 아바타를 통해 인터랙션 서비스를 제공할 수 있다. 일례로, AI 아바타 인터랙션부(223)는 인공지능(AI) 대화 시스템과 연동하여 사용자와 커뮤니케이션하거나 날씨, 뉴스, 음악, 지도, 사진 등 다양한 정보를 제공할 수 있다. 인공지능 대화 시스템은 개인비서 시스템, 챗봇 플랫폼(chatbot platform), 인공지능(AI) 스피커 등에 적용되는 것으로 사용자의 명령어에 대한 의도를 이해하고 그에 대응하는 정보를 제공할 수 있다.
예를 들어, AI 아바타 인터랙션부(223)는 제2 사용자 단말로부터 사용자의 발화에 따른 음성 입력 "** 댄스"를 수신하는 경우 수신된 음성 입력을 인식 및 분석하여 “** 댄스”에 대한 정보를 획득하고 AI 아바타를 통해 상기 획득한 정보를 출력할 수 있다. 이때, AI 아바타 인터랙션부(223)는 정보 제공 과정에서 별도의 팝업창(pop-up), 말풍선(word bubble), 툴팁(tooltip) 등을 이용하여 시각적인(visual) 정보를 함께 제공할 수도 있다.
AI 아바타 인터랙션부(223)는 AI 아바타의 표정을 변화시켜 사용자와의 감정을 교류하고 표현할 수 있다. AI 아바타 인터랙션부(223)는 3D 모델링을 통해 오브젝트화된 AI 아바타의 얼굴 영역에 대한 변형을 통해 캐릭터의 표정을 변화시킬 수 있고, 감정의 표현을 극대화하기 위해 AI 아바타에 다양한 이펙트(effect)를 첨부하는 것 또한 가능하다. 이펙트는 이미지 객체로 구성된 컨텐츠로서 AI 아바타 기반 영상에 합성 가능한 필터, 스티커나 이모지 등을 모두 포괄하여 의미할 수 있으며, 이는 고정된 형태의 객체는 물론, 플래시나 애니메이션 등이 적용된 움직이는 이미지 객체로도 구현 가능하다. 이러한 이펙트는 감정 정보를 나타내는 것으로 감정 별로 사전 분류될 수 있으며, 다시 말해 복수 개의 감정(예컨대, 기쁨, 슬픔, 놀람, 고민, 괴로움, 불안, 공포, 혐오, 분노 등)이 사전에 정의되고 각 감정 별로 해당 감정을 나타내는 이펙트들이 그룹핑 되어 관리될 수 있다.
AI 아바타 인터랙션부(223)는 감정 표현을 위하여 사용자로부터 수신된 음성 입력의 문장에서 감정 정보를 추출할 수 있다. 이때, 감정 정보는 감정 종류와 감정 강도(감정 정도)를 포함할 수 있다. 감정을 나타내는 용어, 즉 감정 용어들은 사전에 정해지며 소정 기준에 따라 복수 개의 감정 종류(예컨대, 기쁨, 슬픔, 놀람, 고민, 괴로움, 불안, 공포, 혐오, 분노 등)로 분류되고 감정 용어의 강약에 따라 복수 개의 강도 등급(예컨대, 1~10)으로 분류될 수 있다. 감정 용어는 감정을 나타내는 특정 단어는 물론, 특정 단어를 포함한 구절이나 문장 등을 포함할 수 있다. 예를 들어, '좋아해요'나 '괴롭지만요'와 같은 단어, 혹은 '너무너무 좋아해요'와 같은 구절이나 문장 등이 감정 용어의 범주에 포함될 수 있다. 일례로, AI 아바타 인터랙션부(223)는 사용자의 음성 입력에 따른 문장에서 형태소를 추출한 후 추출된 형태소에서 미리 정해진 감정 용어를 추출하여 추출된 감정 용어에 대응되는 감정 종류와 감정 강도를 분류할 수 있다. 음성 입력의 문장에 복수 개의 감정 용어가 포함된 경우 감정 용어가 속한 감정 종류와 감정 강도에 따라 가중치를 계산할 수 있고 이를 통해 문장의 감정 정보에 대한 감정 벡터를 계산하여 해당 문장을 대표하는 감정 정보를 추출할 수 있다. 상기한 감정 정보를 추출하는 기술은 예시적인 것으로 이에 한정되는 것은 아니며, 이미 잘 알려진 다른 기술들을 이용하는 것 또한 가능하다.
본 발명의 일 실시예에서는 AI 아바타 인터랙션부(223)를 통해 한명의 사용자가 AI 아바타와 인터랙션을 수행하는 것을 설명하였으나, 이는 일 예시일 뿐 복수명의 사람이 각각의 사용자 단말을 통해 동일 AI 아바타에 접속하여 인터랙션 할 수 있도록 구현할 수도 있다.
도 7은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 고객 응대 분야 구현예를 설명하기 위한 도면이다. 도 7을 참조하여, 고객 응대 분야 특히 카페 등에서의 주문에 활용되는 예를 설명한다.
인터랙션 서비스 장치(200)를 통해 제공되는 AI 아바타를 통해 사람처럼 대화하고 반응하는 인터페이스를 제공할 수 있다. 예컨대, 인터랙션 서비스 장치(200)를 통해 제공되는 AI 아바타는 카페에서 사용자인 손님에게 메뉴를 제공하거나 추천하고, 결제 방식을 설명하고, 진행할 수 있다. 이를 통해 손님(사용자)는 터치 스크린 키오스크 보다 더 편하고 친밀한 방식으로 주문을 진행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 아바타에 기초한 인터랙션 서비스 방법의 재활치료 분야 구현 예를 설명하기 위한 도면이다. 도 8을 참조하여, 재활치료 분야에서 활용되는 예를 설명한다.
인터랙션 서비스 장치(200)를 통해 제공되는 AI 아바타가 재활을 위한 동작을 사용자에게 보여주면서, 사용자가 따라하는 동작을 분석하여 자세에 대한 실시간 피드백을 대화형식으로 제공한다. 이와 같이, AI 아바타가 사용자의 자세를 관찰하면서 실시간으로 대화형식으로 피드백을 줄 수 있어, 실제 사람에게 서비스를 받는 수준으로 수업이 진행될 수 있다. 이것은 사람의 시연의 시뮬레이션에 따른 종래의 수업의 장점을 제공한다.
재활치료 이외에도, 요가, 필라테스, PT(Physical Therapy) 등의 모든 운동에도 적용이 가능하다.
또한, 이러한 인터랙션 서비스는 엔터테인먼트 분야에도 적용될 수 있다. 3D 모델링으로 특정 가수의 모습을 가진 아바타를 생성하고, 생성된 아바타가 모션 캡쳐로 특정 가수의 춤을 따라하게 하고, TTS 와 voice cloning 통해 특정 가수의 목소리로 공연 및 인터랙션 콘텐츠를 제공하도록 구현될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Claims (14)
- 무인 정보 단말과 인터랙션 서비스 장치를 포함하는 시스템에서 수행되는 인공지능 아바타(AI)에 기초한 인터랙션 서비스 방법에 있어서,
상기 무인 정보 단말이 탑재된 마이크 어레이로부터 수집된 음향 신호와 비전 센서로부터 수집된 영상 신호를 인터랙션 서비스 장치에 전송하는 단계;
상기 인터랙션 서비스 장치가 수신된 음향 신호와 영상 신호에 기초하여 감지 구역을 설정하는 단계;
상기 인터랙션 서비스 장치가 상기 감지 구역 내에서 수집되는 사용자의 음성 신호와 사용자의 영상 신호에 기초하여 능동 화자를 인식하는 단계;
상기 인터랙션 서비스 장치가 인식된 능동 화자에 대한 반응을 생성하고, 인공지능 아바타를 3D 랜더링한 후, 상기 인공지능 아바타에 생성된 반응을 반영하는 단계; 및
상기 인터랙션 서비스 장치가 랜더링된 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계
를 포함하는 인공지능 아바타에 기초한 인터랙션 서비스 방법. - 제1항에 있어서,
상기 감지 구역을 설정하는 단계는
상기 인터랙션 서비스 장치가 수신된 음향 신호에 기초하여 음원 방향 추정 방법에 의해 음원 방향을 추정하고, Sidelobe signal cancelling 방법에 의해 측면으로부터의 음향의 입력을 제한하며, 수신된 영상 신호에 배경 분리 기술을 적용하여 인식된 객체 이후의 영상 입력을 제한하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 방법. - 제1항에 있어서,
상기 능동 화자를 인식하는 단계는,
상기 인터랙션 서비스 장치가 상기 감지 구역 내 사용자의 영상신호에 대하여 안면 인식 방법으로 사람의 수를 확인하고, 감지 구역 내 복수명이 인식되는 경우, 음원 위치 추정 방법, 음성 인식 방법 및 입모양 인식 방법 중 어느 하나 이상을 이용하여 화자라고 인식되는 사람을 능동 화자로서 선정하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 방법. - 제1항에 있어서,
상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는,
수신된 사용자의 영상 신호에 대하여 화자의 얼굴 표정, 포즈, 제스처, 음성 톤 중 어느 하나 이상을 포함한 정보를 분석하여 반응을 생성하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 방법. - 제4항에 있어서,
상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는,
상기 인터랙션 서비스 장치가 상기 음성인식(ASR), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 능동 화자의 음성을 인식하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 방법. - 제5항에 있어서,
상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는,
상기 인터랙션 서비스 장치가 인식된 음성 정보와 비언어적 정보에 대하여 가중치를 부가하되, 상기 음성정보와 비 언어적 정보가 동일한 방향의 결과를 나타내는 경우와 상이한 방향의 결과를 나타내는 경우에 서로 다른 가중치를 부가하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 방법. - 제4항에 있어서,
상기 인공지능 아바타를 상기 무인 정보 단말에 제공하는 단계는,
상기 사용자의 음성 또는 영상에서 얼굴 표정, 제스처, 음성 톤을 분석하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 AI 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 하는 아바타에 기초한 인터랙션 서비스 방법. - 마이크 어레이 및 비전 센서를 탑재하고, 상기 마이크 어레이로부터 음향 신호를 수집하고 비전 센서로부터 영상 신호를 수집하는 무인 정보 단말; 및
상기 음향 신호와 영상 신호를 수신하여 감지 구역을 설정하고, 상기 감지 구역 내에서 수집되는 사용자의 음성 신호와 사용자의 영상 신호에 기초하여 능동 화자를 인식하며, 인식된 능동 화자에 대한 반응을 생성하고, 인공지능 아바타를 3D 랜더링한 후, 랜더링된 인공지능 아바타에 상기 반응을 반영한 랜더링된 인공지능 아바타를 상기 무인 정보 단말에 제공하는 인터랙션 서비스 장치
를 포함하는 인공지능 아바타에 기초한 인터랙션 서비스 장치. - 제8항에 있어서,
상기 인터랙션 서비스 장치는 수신된 음향 신호에 기초하여 음원 방향 추정 방법에 의해 음원 방향을 추정하고, Sidelobe signal cancelling 방법에 의해 측면으로부터의 음향의 입력을 제한하며, 수신된 영상 신호에 배경 분리 기술을 적용하여 인식된 객체 이후의 영상 입력을 제한하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 장치. - 제8항에 있어서,
상기 인터랙션 서비스 장치는 상기 감지 구역 내 사용자의 영상신호에 대하여 안면 인식 방법으로 사람의 수를 확인하고, 감지 구역 내 복수명이 인식되는 경우, 음원 위치 추정 방법, 음성 인식 방법 및 입모양 인식 방법 중 어느 하나 이상을 이용하여 화자라고 인식되는 사람을 능동 화자로서 선정하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 장치. - 제8항에 있어서,
상기 인터랙션 서비스 장치는 수신된 사용자의 영상 신호에 대하여 화자의 얼굴 표정, 포즈, 제스처, 음성 톤 중 어느 하나 이상을 포함한 정보를 분석하여 반응을 생성하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 장치. - 제11항에 있어서,
상기 인터랙션 서비스 장치는 상기 음성인식(ASR), 자연어 이해(NLU) 및 Text-to-Speech(TTS) 중 어느 하나 이상을 통해 능동 화자의 음성을 인식하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 장치. - 제12항에 있어서,
상기 인터랙션 서비스 장치는 인식된 음성 정보와 비언어적 정보에 대하여 가중치를 부가하되, 상기 음성 정보와 비 언어적 정보가 동일한 방향의 결과를 나타내는 경우와 상이한 방향의 결과를 나타내는 경우에 서로 다른 가중치를 부가하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 장치. - 제11항에 있어서,
상기 인터랙션 서비스 장치는 상기 사용자의 음성 또는 영상에서 얼굴 표정, 제스처, 음성 톤을 분석하여 사용자의 감정적 상태를 인지하여, 인지된 감정적 상태에 대응하여 AI 아바타의 표정, 제스처, 음성 톤을 변화시키거나, 이팩트(effect)를 첨부하는 것을 특징으로 하는 인공지능 아바타에 기초한 인터랙션 서비스 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/001066 WO2022196921A1 (ko) | 2021-03-17 | 2022-01-20 | 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 |
| US17/669,666 US20220301251A1 (en) | 2021-03-17 | 2022-02-11 | Ai avatar-based interaction service method and apparatus |
| CN202210267710.5A CN115167656A (zh) | 2021-03-17 | 2022-03-17 | 基于人工智能虚拟形象的互动服务方法及装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210034756 | 2021-03-17 | ||
| KR20210034756 | 2021-03-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220130000A true KR20220130000A (ko) | 2022-09-26 |
Family
ID=83452348
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210128734A KR20220129989A (ko) | 2021-03-17 | 2021-09-29 | 아바타에 기초한 인터랙션 서비스 방법 및 장치 |
| KR1020220002347A KR20220130000A (ko) | 2021-03-17 | 2022-01-06 | 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210128734A KR20220129989A (ko) | 2021-03-17 | 2021-09-29 | 아바타에 기초한 인터랙션 서비스 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20220129989A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240140624A (ko) | 2023-03-17 | 2024-09-24 | 주식회사 메드픽쳐스 | 고품질 vfx 구현을 위한 스마트 cg 랜더링 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102507811B1 (ko) * | 2022-10-28 | 2023-03-10 | 주식회사 닥터송 | 공감 심리학 기반의 챗봇 서비스를 통한 유저 심리 관리 시스템 |
| KR102565196B1 (ko) * | 2022-11-30 | 2023-08-11 | 주식회사 엘젠 | 가상 공간에서의 디지털 휴먼 제공 방법 및 시스템 |
| KR102620284B1 (ko) * | 2023-03-21 | 2023-12-29 | 주식회사 코드스토리 | 메타버스 기반 교육 플랫폼 서비스 제공 시스템 |
| KR102696223B1 (ko) * | 2023-04-13 | 2024-08-20 | 라인플러스 주식회사 | Ai 아바타를 제공하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
| KR102666450B1 (ko) * | 2023-08-21 | 2024-05-20 | (주) 마인즈에이아이 | 디지털 트윈 기반의 가상 세계에서 가상 의료 서비스를 제공하는 방법 및 학습 방법과 이를 이용한 컴퓨팅 장치 |
-
2021
- 2021-09-29 KR KR1020210128734A patent/KR20220129989A/ko not_active Application Discontinuation
-
2022
- 2022-01-06 KR KR1020220002347A patent/KR20220130000A/ko not_active Application Discontinuation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240140624A (ko) | 2023-03-17 | 2024-09-24 | 주식회사 메드픽쳐스 | 고품질 vfx 구현을 위한 스마트 cg 랜더링 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220129989A (ko) | 2022-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| US20220301251A1 (en) | Ai avatar-based interaction service method and apparatus | |
| KR20220130000A (ko) | 인공지능 아바타에 기초한 인터랙션 서비스 방법 및 장치 | |
| US11017779B2 (en) | System and method for speech understanding via integrated audio and visual based speech recognition | |
| US20220254343A1 (en) | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs | |
| CN113454708A (zh) | 语言学风格匹配代理 | |
| US11017551B2 (en) | System and method for identifying a point of interest based on intersecting visual trajectories | |
| US20190371318A1 (en) | System and method for adaptive detection of spoken language via multiple speech models | |
| US11200902B2 (en) | System and method for disambiguating a source of sound based on detected lip movement | |
| CN112204565B (zh) | 用于基于视觉背景无关语法模型推断场景的系统和方法 | |
| US10785489B2 (en) | System and method for visual rendering based on sparse samples with predicted motion | |
| US11308312B2 (en) | System and method for reconstructing unoccupied 3D space | |
| US20220301250A1 (en) | Avatar-based interaction service method and apparatus | |
| KR20190002067A (ko) | 사람-기계 간 감정 대화를 위한 방법 및 시스템 | |
| KR20200059112A (ko) | 로봇 상호작용 시스템 및 그를 위한 프로그램 | |
| JP2023120130A (ja) | 抽出質問応答を利用する会話型ａｉプラットフォーム | |
| CN113205569B (zh) | 图像绘制方法及装置、计算机可读介质和电子设备 | |
| JP2017182261A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| AlTarawneh | A cloud-based extensible avatar for human robot interaction | |
| Hrúz et al. | Input and output modalities used in a sign-language-enabled information kiosk | |
| Sun | Intelligible dialogue manager for social robots: An AI dialogue robot solution based on Rasa open-source framework and Pepper robot | |
| CN117649469A (zh) | 人工智能屏的交互方法、人工智能屏及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |