KR102063389B1 - 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법 - Google Patents

인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법 Download PDF

Info

Publication number
KR102063389B1
KR102063389B1 KR1020180030945A KR20180030945A KR102063389B1 KR 102063389 B1 KR102063389 B1 KR 102063389B1 KR 1020180030945 A KR1020180030945 A KR 1020180030945A KR 20180030945 A KR20180030945 A KR 20180030945A KR 102063389 B1 KR102063389 B1 KR 102063389B1
Authority
KR
South Korea
Prior art keywords
artificial intelligence
code
unit
text data
command
Prior art date
Application number
KR1020180030945A
Other languages
English (en)
Other versions
KR20190115517A (ko
Inventor
천하봉
정지은
송원서
송지민
심혜린
김민경
박송화
Original Assignee
숙명여자대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숙명여자대학교산학협력단 filed Critical 숙명여자대학교산학협력단
Priority to KR1020180030945A priority Critical patent/KR102063389B1/ko
Publication of KR20190115517A publication Critical patent/KR20190115517A/ko
Application granted granted Critical
Publication of KR102063389B1 publication Critical patent/KR102063389B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법이 개시된다. 본 발명의 인공지능 기반의 캐릭터 표시 장치는, 스마트 토이를 구비하고, 인공지능 디바이스의 스피커로 출력되는 사운드에 대응되는 텍스트 데이터와 명령코드를 생성하여 상기 스마트토이로 전송하고, 상기 스마트 토이는 수신된 텍스트데이터를 디스플레이부에 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시하고, 명령코드에 해당하는 동작을 수행하도록 동작실행부를 구동하게 함으로써 달성될 수 있다. 이는 단편적인 인공지능 디바이스의 커뮤니케이션의 방식과 표현의 방식을 확장시키는 것뿐만 아니라, 재미를 더해줌과 동시에 일반인 뿐 만 아니라 시각적 요소들의 결합으로 청각장애인도 AI 스피커를 사용 가능하게 만들어 소비층의 영역을 넓힐 수 있는 효과가 있다.

Description

인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법{CHARACTER DISPLAY DEVICE BASED THE ARTIFICIAL INTELLIGENT AND THE DISPLAY METHOD THEREOF}
본 발명은 인공지능 스피커에 관한 것으로, 보다 상세하게는 인공지능 스피커로 입출력되는 음성을 인식하여 디스플레이부를 이용하여 인식된 내용을 시각적으로 표시하거나 또는 동작 실행부를 구동하여 움직임으로 표현할 수 있는 인공지능 스피커를 이용한 표시장치 및 그 표시 방법에 관한 것이다.
인공지능 스피커(artificial intelligence speaker, 이하 "AI Speaker"라 함)는 인공지능 알고리즘을 이용해 사용자와 음성으로 의사소통을 한다.
AI 스피커를 이용하면 음성인식을 통해 집안의 기기를 목소리만으로 간편하게 제어하는 식으로 손쉽게 스마트홈 환경을 구축할 수 있다.
또한 터치 기반과 달리 음성 기반 조작은 쉽게 배우고 사용할 수 있다. 우리가 스마트폰에서 ‘시리’나 ‘S보이스’ 등을 이용해 기기를 제어하는 게 낯설지 않듯, 음성인식 기반 UI 플랫폼은 우리 생활 가까이에 숨어 있다. 억지로 배우지 않아도 자연스럽게 배울 수 있는 UI인 셈이다.
AI 스피커는 스마트 스피커 또는 인공지능 비서 등으로 불리며, 하나 이상의 인상적인 말(hot word)의 도움을 받아 상호작용 동작과 핸즈프리 활성화를 제공하는 가상 비서가 내장된 보이스 커맨드 디바이스이자, 음성인식을 통해 음악 감상, 정보 검색 등의 기능을 수행한다는 것이 일반 스피커와의 차이점이다.
음성인식 기반 기기의 주된 입출력 장치는 마이크와 스피커다. AI 스피커는 이 같은 주요 장치만으로 이루어져 있기 때문에 음소거기능 사용을 제외하고는 상시 음성데이터를 녹음하고, 클라우드 서버에 축적할 수 있는 이점이 있다.
또한, AI 스피커가 사용자의 말을 알아들을 수 있게 된 것은‘딥 러닝’으로 기계가 수십만 개의 인간의 일상 언어를 빠르게 학습할 수 있었기 때문이었다.
그럼에도 불구하고, 아직 음성인식명령에 차이가 있으며, 입력된 명령어와 자연어 인식 기능간에는 아직 갭이 발생하고 있다.
이에 더하여 음악을 듣거나 TV를 보고 있을 때, 다른 소음과 잡음이 있을 때, 또는 사용자가 멀리 있을 때는 어떻게 소리를 인식할 수 있을까라는 자문을 하지 않을 수 없다.
이러한 문제들을 해결하기 위하여 원거리 음성 인식률을 향상시키거나 또는 아마존과 같이 마이크를 무려 7개를 사용하여 해결하려 했지만 여전히 동일한 문제점이 존재한다.
이러한 인공지능 스피커가 도 1에 도시되어 있다.
한편, 최근 스마트토이들은 다양한 IT 기술과 접목돼 새로운 형태로 바뀌고 있다.
사람의 말이나 행동에 반응하거나 태블릿, 모바일 앱 등과 결합해 새로운 형태로 발전하고 있다.
해외 시장에는 다양한 형태의 스마트토이가 출시되고 있다. 우선 바비인형으로 유명한 매텔(Mattel)은 사용자와 대화할 수 있도록 한 스마트토이 '헬로바비'를 선보였다.
인형에 달린 버튼을 누르고 어린이가 말을 하면 이를 녹음하고 암호화해 인터넷을 통해 클라우드 서버로 전송한다.
서버에서는 음성인식 SW가 이를 분석해 적절한 대답을 선별하고 이를 다시 헬로바비에게 전송해 어린이와 바비가 서로 대화를 할 수 있도록 했다.
스마트토이는 빅데이터, 웨어러블 등 다양한 IT 기술과 결합해 지속적인 발전을 해 나갈 것이며 단순히 놀이와 교육을 넘어 일상 속 다양한 분야에서 활용될 것으로 전망된다.
또한, 스마트 토이가 클라우드, 빅데이터, 인공지능 등의 ICT 기술과 접목되어 복합적인 제품으로 출시된다면 공감각적 정보의 전달과 시각적인 재미를 더해 줌과 동시에 일반인뿐만 아니라 청각 장애인도 사용가능하여 소비층의 영역을 훨씬 넓힐 수가 있을 것이다.
그리고 AI 스피커가 가지는 인식의 한계성과 표현의 한계성은 개선이 필요한 영역이 될 수 있다. 현재 시장에 출시되어진 대다수의 AI 스피커가 주로 마이크와 스피커를 통해 서버와의 사용자 커뮤니케이션에 집중하고 있다. 이러한 상황은 AI스피커를 사용하면서 사용자가 전달하고자 하는 내용의 음성을 AI스피커가 제대로 받아들이고 있는지에 대한 정확한 피드백을 주지 못하고 있기 때문에 서버와의 커뮤니케이션 과정에서 혼란의 여지가 발생하게 된다. 또한, 전달된 내용에 따른 서버에서 출력되어진 결과의 음성도 단지 스피커를 통한 음성에 머물고 있기 때문에 사용자와의 적극적인 교감을 끌어내고 있지는 못하고 있다. 이렇게 사용자가 내용을 전달할 때와 결과를 전달받을 때 발생하게 되는 인식과 표현의 한계성은 현재 운용되고 있는 AI스피커가 가진 큰 문제점이 아닐 수 없다.
KR 공개특허공보 제10-2000-0062975호(2002. 05. 03)
따라서, 이러한 문제점을 해결하기 위한 본 발명은 인공지능 스피커 소리의 내용 데이터가 스피커 외부에 설치되어 있는 토이 디바이스를 통해 시각적인 문자나 동작실행부의 움직임으로 표시되어 사용자 커뮤니케이션과 표현의 방식을 확장시킬 수 있는 인공지능 스피커를 이용한 표시장치와 그 표시방법을 제공하는 것을 목적으로 한다.
그리고 본 발명은 소리로만 전달되기 어려운 내용의 표현을 이모티콘, 기호, 문자, 동작, 제스처, 속도 등으로 다양하게 표현함으로써 사용자와 인공지능 스피커 사이의 상호작용을 강화 및 확장시킬 수 있는 인공지능 스피커를 이용한 표시장치 및 그 표시방법을 제공하는 것을 다른 목적으로 한다.
상술한 과제를 해결하기 위한 본 발명의 일실시예에 의한 인공지능 기반의 캐릭터 표시 장치는, 인공지능 디바이스에서 출력되는 사운드 또는 코드에 대응하여 표시창에 표시하거나 또는 동작으로 표현 가능한 스마트 토이를 구비하고, 상기 인공지능 디바이스는 스피커로 출력되는 사운드에 대응되는 텍스트 데이터와 명령코드를 생성하여 상기 스마트토이로 전송하고, 상기 스마트 토이로 수신된 텍스트 데이터는 디스플레이부에 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시되고, 수신된 명령코드에 대응되는 연속적 동작코드로 신체 부위 중 어느 하나를 캐릭터로 표현한 동작 실행부의 동작을 수행하도록 제어함으로써 달성될 수 있다.
또한, 인공지능 디바이스는 서버와 통신하는 통신인터페이스부, 상기 동작실행부를 실행할 명령 코드와 상기 디스플레이부에 표시할 텍스트 데이터를 저장하는 컨텐츠저장부, 상기 명령코드와 텍스트데이터를 상기 스마트토이로 전송하는 연결부. 상기 통신인터페이스부를 통하여 서버로 전송 또는 수신하는 음성데이터에 대응하는 명령코드와 텍스트데이터를 상기 컨텐츠저장부에서 판독하여 상기 연결부를 통하여 상기 스마트토이로 전송하는 디바이스 제어부를 포함할 수 있다.
또한, 디스플레이부는 LED로 구성되고, LED 칼라로 표시되는 텍스트를 통해 수신된 텍스트 데이터를 표시하고, 신체 부위 중 어느 하나를 캐릭터로 표현한 동작실행부는 해당 신체 부위 동작의 움직임, 제스처, 또는 속도 중 어느 하나 이상으로 증강된 내용을 표시할 수 있다.
또한, 인공지능 디바이스는 신체 부위 중 어느 하나를 캐릭터로 표현한 동작 실행부가 해당 신체 부위의 길이와 3축으로 변형될 수 있는 각도가 고려된 명령코드를 결정하여 상기 컨텐츠 저장부에 저장하고, 동작 종류에 따라 명령코드를 결정하기 이전에 해당 동작 종류에 따라 연속적인 동작을 나타내는 연속코드를 연속적으로 추출하고, 추출된 연속코드로 동작코드를 구성하여 상기 컨텐츠 저장부에 저장하도록 구성할 수 있다.
따라서, 본 발명의 인공지능 스피커를 이용한 표시장치에 의하면, 기존의 인공지능 스피커에 시각적, 물리적 효과를 더해주는 악세서리 디바이스를 인공지능 스피커 바디에 결합시킴으로써 단편적인 인공지능 스피커의 커뮤니케이션의 방식과 표현의 방식을 확장시키는 것이 가능하다.
또한, 본 발명의 인공지능 스피커를 이용한 표시장치에 의하면, 사용자로 하여금 공감각적 정보의 전달과 시각적인 재미를 더해줌과 동시에 일반인 뿐 만 아니라 청각장애인도 사용 가능하여 소비층의 영역을 넓힐 수 있는 효과가 있다.
또한, 본 발명의 인공지능 스피커를 이용한 표시장치에 의하면, 다양한 캐릭터의 특성을 적용 및 이용하여 스피커의 특성을 규정지을 수 있기 때문에 악세서리 중심의 사업구조를 만들어 낼 수 있고, 이에 따라 다양한 캐릭터 관련 기업의 사업 아이템으로 확장이 가능한 효과가 있다.
또한, 본 발명의 인공지능 스피커를 이용한 표시장치에 의하면, 인공지능 스피커, 스마트폰 악세사리, 청각장애인용 도우미, 모든 소리가 나오는 인공지능이 포함된 다양한 디바이스(청소기, 에어컨 등등)에 연결하여 서비스를 확장할 수 있다.
또한, 본 발명의 인공지능 스피커를 이용한 표시장치에 의하면, 스마트 폰, 노트북 등 디지털 기기 악세사리, 청각장애인용 디바이스에도 적용하여 사용할 수 있는 효과가 있다.
그리고 본 발명의 인공지능 스피커를 이용한 표시장치에 의하면, 스마트 토이가 가질 수 있는 스마트한 기능들과 토이로써 감정이입이 가능한 부분은 이러한 AI스피커가 가진 인식과 표현의 한계성을 적극적으로 보완 및 개선해 줄 수 있는 효과가 있다.
도 1은 종래의 AI스피커들을 도시한 도면,
도 2는 본 발명의 인공지능 스피커를 이용한 표시장치를 구동하기 위한 시스템,
도 3은 AI음성 대화형 인터랙션의 구조도,
그리고
도 4는 본 발명의 스마트토이의 동작 방법을 설명하기 위한 흐름도이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되지 아니하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 및/또는 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 "및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.
명세서 전체에서 각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 한정하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
이하, 도면을 참고하여 본 발명의 일실시예에 대하여 설명한다.
도 2는 본 발명의 인공지능 스피커를 이용한 표시장치를 구동하기 위한 시스템으로 도시된 바와 같이, 본 발명은 인공지능 기반의 캐릭터 표시 장치를 구성하여 인공지능 디바이스(100)에서 출력되는 사운드 또는 코드에 대응하여 표시창에 표시하거나 또는 동작으로 표현가능한 스마트 토이(200)를 포함하여 구성함으로써, 인공지능 스피커 소리의 내용 데이터가 스피커 외부에 설치되어 있는 토이 디바이스에 문자나 움직임으로 표시되어 커뮤니케이션과 표현의 방식을 확장시킬 수 있도록 동작한다.
또한, 인공지능 디바이스(100)는 스피커로 출력되는 사운드 또는 마이크로 입력되는 사운드에 대응되는 텍스트 데이터와 명령코드를 생성하여 스마트토이(200)로 전송하고, 스마트 토이(200)는 수신한 텍스트데이터는 디스플레이부(230)에 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시하고, 명령코드는 동작실행부(240)를 구동하여 해당하는 동작을 수행하도록 동작한다.
이를 위하여 인공지능 디바이스(100)는 클라우드 서버(300)와 통신하는 통신인터페이스부(110), 사용자의 음성을 수신하여 서버(300)로 전송하는 마이크(130), 서버(300)에서 전송되는 음성데이터를 출력하는 스피커(140), 전자기기를 제어하기 위한 제어 데이터를 출력하는 출력부(150), 스마트 토이의 동작실행부(240)를 실행시킬 명령코드와 디스플레이부(230)에 표시할 텍스트 데이터를 저장하는 컨텐츠저장부(160), 상기 명령코드와 텍스트데이터를 스마트토이(200)로 전송하는 연결부(170)를 포함하고, 통신인터페이스부(110)를 통하여 서버(300)로 전송 또는 수신하는 음성데이터에 대응하는 명령코드와 텍스트데이터를 컨텐츠저장부(160)에서 판독하여 연결부(170)를 통하여 스마트토이(200)로 전송하는 디바이스 제어부(120)를 포함하여 구성한다.
통신인터페이스부(110)는 다양한 통신 방식(웹통신, 무선통신이나 블루투스(Bluetooth), Zigbee 등)을 통해서 데이터 송수신이 가능한 것이나, 본 발명에서는 클라우드 서버(300)와 웹을 통하여 통신하는 인터넷 통신을 통하여 서버(300)와 통신하는 것으로 설명한다.
연결부(170)는 NFC나 블루투스와 같은 근거리 무선통신을 사용하여 스마트토이(200)와 통신할 수 있으나, USB를 연결할 수 있는 커넥터로 구성한다.
따라서, 디바이스 제어부(120)는 연결부(170)를 통하여 명령코드와 텍스트데이터를 전송할 수 있으나, USB커넥터의 연결을 자동 감지하여 연결된 경우에만 데이터를 전송하게 할 수도 있다.
디바이스 제어부(120)는 출력되는 음성 신호에 가장 잘 매칭 되는 문자열을 음향 모델 추정 기술을 이용하여 문자열로 추정하여 해당 문자열에 대한 텍스트 데이터와 명령코드를 컨텐트저장부(160)로부터 추출하여 스마트 토이(200)로 전송하도록 동작한다.
또한, 문자음성변환(TTS;Text to Speech) 기술을 바탕으로 사용자의 목소리를 텍스트로 변환해 인식하고 명령을 수행하도록 동작한다.
AI 스피커와 같은 인공지능 디바이스(100)는 사람의 언어가 기기 간 통신의 인터페이스가 되므로, 마이크(130)는 하나 이상으로 설치하고, 가능하면 모든 방향에 탑재되어 어느 방향에서도 음성 인식이 가능하도록 하는 것이 필요하다.
인공지능 디바이스는 음성을 해석·분석한 후 그에 맞는 결과물을 최종 서비스하는 구조로서, 음성을 인식하고, 인식된 음성은 서버(300)로 전송되어 언어처리부(330)에서 해석·분석되며, 분석된 최종 결과물은 제휴된 디바이스·콘텐츠를 통해 서비스되는 것이다.
즉, 통상의 인공지능 디바이스는 사용자가 음성으로 스피커를 불러 기기를 활성화 한 다음, 사용자 음성을 녹음하고 녹음 파일을 서버로 전송한 후, 사용자 요청에 답을 주는 방식으로 작동된다.
이때 디바이스 제어부(120)는 서버(300)로 데이터를 전송할 때 암호화하여 전송하고, 서버(300)에서 암호화된 데이터를 수신하게 된다.
바람직하게는 음성 파일을 전송하면서 암호화되고, 이 파일을 서버에 저장하면서 다시 한번 암호화 되게 해서 안전하게 저장되게 한다.
(아래의 파란색 글자의 내용은 인공지능 스피커에 대한 특허 내용으로 보입니다. 본 발명을 설명하기 위해서 필요한 것인지요?) -> 서버와 인공지능디바이스간의 기본적 기능에 대하여 설명된 부분입니다. 이부분은 발명의 구현을 보다 명확히하면서, 인공지능디바이스가 스마트 토이와 어떻게 구동될 수 있는 지의 근거를 제시하는 것이므로 염려하지 않으셔도 됩니다.)
이러한 인공지능 디바이스는 물리적 접촉 없이 음성만으로 원하는 정보를 얻거나 기능을 수행할 수 있다는 점은 핸즈프리(Hands-Free)로 이어지며 많은 일을 동시에 수행하기 편리한 장점이 있고, 이론상 모든 IT 디바이스와 연동이 가능하다는 것이다.
본 발명의 서버(300)는 클라우드 서버로 동작되며, 인공지능 디바이스(100)의 마이크(130)로 입력된 음성을 처리하여 다시 스피커(140)와 출력부(150)로 출력하도록 동작한다.
즉, 처리된 음성은 출력부(150)를 통하여 제휴된 디바이스를 제어하게 되며, 콘텐츠는 스피커(140)를 통하여 서비스하게 된다.
클라우드 서버(300)와 인공지능 디바이스(100)는 대화형 인터랙션을 수행한다. 대화형 인터랙션이란 음성이나 챗봇 등 대화형 조작을 통한 인터랙션으로 수행기능과 역할범위에 따라 대화형 에이전트, 인공지능 비서 등의 이름으로 다양하게 지칭되는 이 시스템은 음성 또는 문자를 통하여 인간과 기계가 정보를 주고받는다.
인공지능의 구현을 위해서는 높은 사양의 서버가 필요하다. 그래서 비용이 많이 든다. 그러나 클라우드로 제공하게 되면, 높은 사양의 서버가 필요 없게 된다. AI 구현을 위한 처리 과정이 클라우드 서버에서 이뤄지기 때문이다. 이는 AI 구축비용을 대폭 절감시켜 줘, 누구나 쉽게 AI 서비스를 이용 받을 수 있게 한다.
이러한 이점 외에도, 클라우드를 적용하면 2가지 이점이 더 있다. 장소와 시간에 제한을 받지 않고 AI 서비스를 받을 수 있으며 하드웨어 제약 조건이 없다.
클라우드 서버(300)는 웹서비스 플랫폼으로 새로운 웹기반의 운영체재의 가능성을 보여준다. 통상 클라우드 서버는 간단한 검색과 저장, 그리고 데이터 관리와 관련한 핵심적인 서비스 API의 형태로 구축한 복잡한 비즈니스 로직은 거대한 서버 클라우드속에 캡슐화되어 저장하고, 이 서비스를 이용하는 데 최소한의 비용만 받음으로써 수많은 비지니스 파트너들이 이를 이용하도록 유도할 수 있기 때문니다.
따라서 본 발명의 서버(300)는 ‘음성인식’, ‘자연어처리’, ‘추천’ 등 인공지능 기술을 바탕으로 하는 인공지능 플랫폼(AI Platform)으로 동작되는, 클라우드 컴퓨팅 플랫폼이다. 스피커 등 다양한 기기와 서비스를 매개로 사용자의 요청을 처리하는 역할을 맡는다.
인공지능 플랫폼은 사용자와 인공지능 플랫폼을 매개하는 인터페이스로 동작하는 인공지능 스피커나 인공지능 비서와는 구분된다.
실제 사용자의 요구를 처리하는 것은 클라우드 컴퓨팅 기반의 플랫폼에서 이뤄지며, 이 플랫폼을 구성하는 주요 기술이 ‘음성인식’, ‘시각 인식’, ‘자연어 처리’, ‘추천’ 등에서 성능향상을 가지고 온 소위 ‘인공지능’ 기술이다. 때문에 이러한 형태를 통칭해 보통 ‘인공지능 플랫폼’이라고 부른다.
예를 들면, 사용자는 마이크(130)를 통해 ‘알렉사’라는 호출명으로 비서를 부른다. 들을 준비가 된 알렉사는 사용자의 ‘오늘 날씨 알려줘’라는 음성을 마이크(130)를 통해 듣고 디바이스 제어부(120)는 통신인터페이스부(110)를 통하여 요청을 클라우드서버(300)에 전송한다.
즉, 인공지능 플랫폼으로 동작하는 클라우드서버(300)는 언처처리부(330)에서 사용자의 명령을 이해하고 이해한 바에 따라 적합한 결과물을 DB부(350) 또는 실시간 검색하여 오늘 날씨를 송신부(340)를 통하여 인공지능 스피커인 인공지능 디바이스(100)로 전송하면, 사용자는 스피커(140)로 알렉사의 목소리를 통해 오늘 날씨를 듣는다.
이처럼 인공지능 플랫폼이란 기기나 모바일 응용프로그램(앱) 등 다양한 사용자와의 접점에서 들어오는 요청을 더 이해하고 적합한 값을 보내주는 역할의 중추다.
인공지능 플랫폼의 형식적인 특징은 ‘음성 기반의 사용자 인터페이스’다. 지금까지 사용자는 보통 디스플레이를 기반으로 마우스나 키보드 같은 입력 기기를 이용해 기계와 대화했다. 조금 더 지난 후에는 손가락으로 터치해서 기계와 대화를 나눴다. 인간과 기계의 대화는 기계의 수준이 높아짐에 따라 인간이 편리해지는 방향으로 진화하고 있다. 기계의 수준은 비약적으로 향상되고 있으며 기계를 이해시키기 위한 인간의 노력은 줄어들고 있다.
이러한 인공지능 플랫폼을 상징하는 기기는 아마존 에코, 구글 홈과 같은 가정용 인공지능 스피커다. 인공지능 플랫폼을 활용할 수 있는 기기나 장소가 스피커나 가정에만 한정되는 것도 아니다. 인공지능 플랫폼의 인터페이스인 인공지능 비서가 스마트폰으로 들어오고 있으며, 자동차로도 확대되고 있다.
본 발명의 인공지능 플랫폼의 기능 중 첫 번째는 음악 관리이다.
인공지능 스피커의 가장 큰 장점인 핸즈프리(Hands - Free). 목소리를 인식해 곧바로 음악 재생이 가능하다.
두 번째, 인공지능 스피커로 쇼핑뿐만 아니라 배달 주문도 가능해 O2O(Online To Offline)는 더욱 확대될 것이고, 더 편리한 삶을 누릴 수 있을 것으로 기대된다.
세 번째, 특정 앱 및 서비스 실행이다.
SNS는 물론 메신저까지. 앱과 서비스의 모든 기능을 음성으로 조작할 수 있는 능력이 갖춰짐에 따라, 편리함은 더욱 커질 것이다.
네 번째, 날씨 정보 제공이다. 날씨를 즉각적으로 알 수 있다. 날씨뿐만 아니라, 실내의 온도 및 미세먼지 농도까지 알 수 있는 기능이 추가되고 있다.
다섯 번째, 궁금한 것 알려주기&잡담 기능이다.
인공지능 스피커는 계속 대화할 수 있다는 점과 함께 궁금한 점을 물어보면 즉각 답을 해준다.
여섯 번째, 사물 인터넷 제어이다.
가전제품과의 연결로 말 한마디로 IOT 기기를 켜고 끌 수 있는 편리함이 있다.
일곱 번째, 시각적 청각적 표시를 이용한 스마트토이 제어이다.
스마트토이와 연결되어 디스플레이부를 이용하여 문자나 이모티콘을 표시하고 이에 상응되는 동작이 동작실행부를 통하여 이루어진다.
본 발명에서는 인공지능 플랫폼이 이러한 특징들을 수행하기 위하여 서버(300)와 인공지능 디바이스(100)는 음성 대화형 인터랙션을 수행하도록 동작한다.
음성 대화형 인터랙션은 음성인식 기술을 기반으로 기계가 인간의 음성에서 의미를 추출하여 인간과 시스템 간인터랙션을 가능하게 하는 음성 인터페이스(Voice User Interface, VUI)방식을 따른다.
도 3의 AI음성 대화형 인터랙션의 구조도를 참고하면, 음성 대화형 인터랙션은 자연어 기반 인터랙션을 실시간으로 처리하여 답변하는 방식이다.
일례로 도 3은 음성 대화형 인터랙션 구조는 전통적인 HCI(Human Computer Interaction)구조를 바탕으로 음성 인터랙션 시 사용자와 시스템 간의 상태변화를 정리한 구조이다. 1:1 인터랙션 (사용자: 시스템)구조를 가정하며 크게 ‘Wake-up’, ‘Command’, ‘Result’ 3가지단계로 구성된다. ‘Wake-up’ 단계는 사용자가 Wake-up Word(WUW)를 통해 시스템을 호출하는 단계이며 두 번째 ‘Command’ 단계는 사용자의 태스크를 음성명령으로 전달하고 마지막으로 ‘Result 단계’에서는 사용자 명령에 대한 시스템 응답이 제공된다. ‘Wake-up’ 단계에서 시스템이 전원에 연결된 상태를 대기상태(Stand-by)라고 본다면 사용자는 WUW를 통해 에이전트를 호출한다(Call WUW단계).
이때 WUW는 대화형 에이전트의 이름이자 사용자가 느끼는 대화형 에이전트의 페르소나를 의미한다.
예를 들어, Amazon Echo 사용 시에는 ‘Alexa’, SK텔레콤의 NUGU 사용 시에는 ‘아리아’ 라는 WUW를 통해 시스템을 호출한다. 사용자는 WUW를 발화한 후에 태스크에 대한 음성명령을 시도할 수 있다. ‘Wake-up’ 단계는 Command를 하기 위한 필수조건으로 다른 인터랙션 방식에는 없는 특수한 단계이다. 시스템에서 대화엔진은 사용자의 음성명령과 동시에 발화내용을 실시간으로 인식한다. 시스템은 이 단계에서 발화가 잘 처리되고 있다는 피드백을 전달할 수 도 있다. 시스템은 인식 및 처리결과에 따라 다양한 답변을 전달하게 되는데, 먼저 사용자의 발화를 한 번에 파악하여 태스크를 처리하여 줄 수 있는 완료 답변을 전달할 수 있다. 완료 답변이 사용자의 의도에 부합한 경우, 사용자는 대화를 종료하거나 다른 주제로 다시 처음부터 대화를 시도할 수 있다. 그러나, 시스템에서 사용자의 의도를 잘못 파악하여 완료 피드백을 제공할 경우, 사용자는 ‘Call WUW’단계로 돌아가 재발화를 시도할 수 있으며, 사용자의 발화에 대해 사용자가 의도한 태스크를 수행하기 위해 추가로 질문할 요소가 있다면, 시스템은 추가 피드백을 통해 태스크 처리에 필요한 요소를 파악할 수 있다. 이러한 피드백 이후에 사용자는 음성명령(Voice Command)단계로 돌아가서 질문에 대한 발화를 수행할 수 있다.
이러한 음성 대화형 인터랙션은 인간에게 친숙한 정보 입출력 방법이며 대부분의 인공지능 대화형 서비스는 자연어 기반의 인터랙션을 제공하기 때문에 별다른 지식이나 학습이 없이도 손쉽게 사용할 수 있다는 특징이 있으나, 자연어 처리에 대한 인식률이 떨어지는 것은 사실이다.
따라서 본 발명에서는 스마트 토이를 이용하여 이러한 자연어 처리의 인식률을 보완할 수 있도록 하기 위하여 인공지능 스피커에 시각적, 물리적 효과를 더해주는 악세서리 디바이스를 인공지능 스피커 바디에 결합시킴으로써 단편적인 인공지능 스피커의 커뮤니케이션의 방식과 표현의 방식을 확장시키고자 하는 것이다.
이를 위하여 서버(300)는 인공지능 디바이스(100)와 통신하는 통신부(310)와, 통신부(310)를 통하여 인공지능디바이스의 요청 사항을 수신하는 수신부(320)와 수신된 음성을 다양하게 분석해서 감정을 처리하여 스마트토이(200)가 표현할 수 있도록 처리하는 언어처리부(330)와 언어처리부(330)에서 처리된 음성을 스마트토이(200)로 전송하는 송신부(340) 그리고 처리된 음성들을 저장하는 DB부(350)를 포함할 수 있다.
이러한 감성 기능의 스마트토이(200)는 기본적인 성격(Personality)을 갖게 구성하는 것이 바람직하다. 이 속성은 변하지 않으며 성격에 따라 받아들이는 입력의 강도가 결정된다. 또한 출력에 반영되어 스마트토이(200)의 행동 양식에서도 표현된다. 마이크(130)를 통한 입력은 감정(Emotion)으로 치환되어 성격의 간섭으로 인해 굴절되고 스마트토이의 기분(Mood)에 영향을 준다. 입력에 의해 기분(Mood)이 변화된 스마트토이(200)는 결정된 기분(Mood)에 따라 음성 및 동작을 출력하도록 하는 것이다.
여기서 성격(Personality)은 FFM(Five Factor Model)을 적용한다. FFM은 인간의 성격을 5가지의 상호 독립적인 요인들로 설명하는 성격심리학적 모형으로 개방성, 성실성, 외향성, 친화성, 신경성으로 구성되어 있다.
상기 5가지 요소를 최저 1부터 최고 5까지의 수치를 매겨 스마트 토이의 성격을 규정한다. 다소 일관되지 않은 태도로 자유분방한 성격을 보이며 특히 흥분 했을 경우 예상치 못한 즉흥적 언행을 통해 사용자에게 재미를 제공할 수 있다.
한 개방적이고 외향적인 성격으로 인해 사람을 가리지 않고 친해질 수 있으며 사용자의 말에 재치 있고 참신한 행동으로 반응한다. 반면 정서가 다소 불안하여 성격의 양 극단을 자주 오가는 모습으로 다양한 반응 역시 기대할 수 있다.
또한, 기분(Mood)은 러셀의 ‘감정 원형 모형’을 차용해 새롭게 구축한 무드타입 그래프를 이용한다. X축은 감정의 긍정 또는 부정을 나타낸다. +방향으로 갈수록 유쾌한 감정이고 -방향으로 갈수록 불쾌한 감정이다. Y축은 긴장과 이완을 나타낸다. 위로 올라갈수록 긴장 또는 각성을 나타내고 아래로 갈수록 감정이 이완되는 형태를 보인다. (-4,-4)부터 (+4,+4)까지를 표시하는 그래프이며 스마트토이의 감정의 범위를 좌표로 나타낸 것이다. 스마트토이는 입력되는 감정(Emotion)에 따라 좌표가 변경되며 그 좌표의 위치에 따라 기분(Mood)이 결정된다. 기분(Mood)은 ‘흥분’, ‘명랑’, ‘행복’, ‘만족’, ‘무기력’, ‘우울’, ‘비참’, ‘불만’, 그리고 가장 평범한 안정 상태인 ‘보통’까지 포함하여 총 9개이다.
기분(Mood) 중 ‘보통’을 제외한 8가지를 스마트토이가 받아들이는 감정으로 설정하여 어떠한 입력이 들어오더라도 이 8가지 감정 중 하나로 분류되어 스마트토이는 그것을 입력 값으로 받게 된다. 그 값에 따라 좌표가 이동함으로써 스마트토이의 무드타입이 변하게 된다. 각 감정들은 고유한 이동방향을 갖고 서로 다른 음성과 동작 입력값이 같은 감정(Emotion) 범주에 놓일지라도 각각 다른 강도의 값을 가질 수 있다. 입력 값이 동일하더라도 스마트토이의 현재 상태에 따라 받아들이는 감정(Emotion)값은 다를 수 있다.
제어 명령어에 대응한 음파 데이터 생성 후 그 대상을 지정해 음파를 출력하여 해당 스마트토이만 대응하도록 지정할 수도 있다.
본 발명에서는 기존의 서버와 인공지능 디바이스를 이용하되, 인공지능 디바이스와 결합된 스마트토이가 시각적 또는 청각적으로 의사 표현을 지원하여 표시할 수 있도록 하는 것이다.
이를 위하여 인공지능 디바이스의 컨텐츠저장부(160)에는 명령코드와 텍스트 데이터를 아래와 같이 표 1에 단어별로 구분하여 코드화하고, 학습에 의하여 정정하거나 신규로 추가할 수 있도록 구성한다.
명령코드 텍스트 데이터 명령코드 텍스트 데이터 명령코드 텍스트데이터
1 너무짜증나 26 너무즐거워 51 너무피곤해
2 나화났어 27 상쾌하다 52 나너무졸려
3 혼나볼래 28 시원하다 53 재미없어
4 무시할거야 29 너무재밌어 54 휴걱정이야
5 못된아이야 30 너무신난다 55 다싫어졌어
6 야이바보야 31 좋아좋아 56 나배고파
7 이멍청아 32 너무기쁘다 57 너무속상해
8 까불지마 33 아껴줄께 58 밥먹기싫어
9 난니가미워 34 기분좋아 59 나너무아파
10 신기하다 35 너무행복해 60 나우울해
11 이것좀봐 36 이제괜찮아 61 울고싶어
12 궁금하지 37 널이해해 62 나너무슬퍼
13 열심히하자 38 미음이편해 63 필요없어
14 진짜짱이다 39 니가필요해 64 이제질렷어
15 너무설레어 40 잘될거야 65 그만좀해
16 너무 무서워 41 아주잘했어 66 조용히해
17 긴장된다 42 문제없어 67 너랑안놀아
18 화이팅 힘내 43 너무고마워 68 흥미워미워
19 정신차려 44 나는널믿어 69 아시끄러워
20 흥분된다 45 잠깐만쉬자 70 저리가버려
21 뭐하고놀까 46 진정하자
22 시작해볼까 47 흥분하지마
23 출발출발 48 화내지마
24 완전웃겨 49 하기싫어
25 대박이야 50 용서해줘
이러한 명령코드와 텍스트 데이터는 스마트토이(200)로 전송되어 디스플레이부(230)에는 문자 또는 기호, 아이콘 등으로 표시되고, 동작실행부(240)에서는 해당 코드에 대한 동작을 연속적으로 실행하면 된다.
예를 들어 디스플레이부(230)에는 해당 명령어를 표시함과 동시에 아래 그림1과 같은 감정 아이콘 중 어느 하나를 전송하여 표시할 수 있도록 한다.
[그림 1]
Figure 112018026661936-pat00001
또한, 표 2와 같이 스마트토이의 동작실행부가 신체 부위 중 손으로 구성하였다면 다음과 같은 감정 표현을 실행하도록 할 수 있으며 연속동작으로 구현할 수도 있다.
명령어 손동작 명령어 손동작
분노
Figure 112018026661936-pat00002
좌절
Figure 112018026661936-pat00003
열정
Figure 112018026661936-pat00004
우울
Figure 112018026661936-pat00005
화남
Figure 112018026661936-pat00006
경쾌
Figure 112018026661936-pat00007
평온
Figure 112018026661936-pat00008
신남
Figure 112018026661936-pat00009
호감
Figure 112018026661936-pat00010
행복
Figure 112018026661936-pat00011
스마트토이(200)는 시청각적으로 인공지능 디바이스의 표현력을 보완할 수 있도록 하기 위하여 텍스트 데이터와 명령코드를 수신하는 명령코드수신부(220)와, 명령코드수신부(220)로 수신된 텍스트 데이터에 따라 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시하는 디스플레이부(230), 그리고 수신된 명령코드에 따라 구동되는 동작실행부(240), 본 발명과 관련된 어플리케이션을 저장하고 있는 사용자 앱부(250), 그리고 저장부(260)를 포함하여 구성한다.
동작실행부(240)는 신체 부위 중 어느 하나의 파트를 형상화한 캐릭터로 구성한다.
예를 들면, 손이나 머리, 다리, 또는 몸을 형상화한 캐릭터로 구성할 수 있으며, 손의 경우 그림 2와 같이 손모양과 속도를 변경시키면 의사 표현과 함께 다양한 감정 표현도 가능할 것이다.
스마트토이(200)는 인공지능 디바이스(100)와 전기적으로 접속되어 텍스트 데이터와 명령코드를 수신할 수도 있고, 이격되어 수신할 수도 있다.
전기적으로 접속된다는 것은 USB커넥터 등으로 직접 두 기기가 접속되는 것을 의미하는 것으로, 유선만을 한정하는 것은 아니며, 본 발명에서는 유선으로 직접 접속되어 있는 구성을 기준으로 설명한다.
또한, 스마트토이(200)는 인공지능 디바이스에 결합되어 일체로 동작되도록 하기 위하여 밴드와 같은 형상으로 인공지능 디바이스를 결속하여 구성하거나 또는 인공지능 디바이스의 일측에 캐릭터 형상으로 구비되게 할 수도 있다.
결국 스마트토이(200)는 인공지능 스피커와 같은 인공지능 디바이스에서 전송되는 텍스트 데이터와 명령코드에 따라 디스플레이부(230)에 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시하고, 동작실행부(240)를 통하여 동작을 실행하도록 하여 인공지능 디바이스의 스피커출력과 함께 정보를 전달하거나 인공지능 스피커와의 상호작용을 강화 및 확장하여 감정도 대신하여 표현할 수 있는 것이다.
이를 위하여 디스플레이부(230)는 LED로 구성하고, LED의 칼라나 표시되는 텍스트 등으로 수신된 정보를 표시하고, 동작실행부는 신체 부위 중 어느 하나의 파트 형상인 캐릭터로 구성하여, 해당 신체 부위의 동작의 움직임, 위치변화, 제스처, 또는 속도의 조절로 표현하고자 하는 정보를 표시하여 내용에 포함된 다양한 감정까지 표현이 가능하다.
예를 들면 기쁨을 나타내는 것으로 "^^, ㅋㅋ, ㅎㅎ, ㅍㅍ, 하하, 히히, 호호 " 를 표시할 수 있으며, 슬픔으로는 "ㅜㅜ, 흑흑, 엉엉, 힝" 등으로 표시할 수 있을 것이다.
따라서, 제어부(210)는 자체 저장부(260)에 인공지능 디바이스로부터 명령코드가 수신되면, 해당 명령코드를 연속적으로 움직이기 위한 연속코드로 구성된 동작코드를 저장해 두고, 명령코드가 수신되면 해당 명령코드에 대응되는 동작코드를 저장부(260)에서 판독하여 동작실행부(240)를 구동하도록 하면, 동작실행부는 연속된 동작을 수행할 수 있는 것이다.
더하여 저장부(260)에는 캐릭터화한 신체 부위의 길이와 3축으로 변형될 수 있는 각도가 고려된 동작코드를 연속적으로 결정하여 저장할 수 있다.
또한, 동작실행부(240)가 팔을 구동하는 경우라면 소형 모터와 관절, 힘줄 등으로 구성하여 실제 팔의 동작과 같이 구동될 수 있도록 구성할 수 있다.
또한, 본 발명의 인공지능 기반의 캐릭터 표시 장치를 구동하기 위한 어플리케이션을 저장하는 사용자 앱부(250)를 구성하면 단말기(400)를 통하여 코드를 정정하게 할 수 있다.
어플리케이션은 앱스토어 등을 통하여 관련 앱을 다운받아 저장하거나 또는 이동통신망을 통해 웹서버(300)에 접속하여 어플리케이션을 다운받아 설치되도록 구성된다.
바람직하게는 앱(App)의 설치과정에서 서버의 인증과정을 거쳐 어플리케이션을 설치하도록 할 수 있다.
즉, 본 발명은 웹사이트로 동작되는 서버(300)에 접속해서 앱을 다운받아 설치할 수도 있으나, IOS 계열이건 안드로이드 계열이건 관계없이 각 OS에 맞는 앱을 앱 스토어에 올려서 배포하는 방식을 사용할 수도 있다.
이러한 앱(App)의 다운 및 설치과정 그리고 인증단계 등은 일반적인 것이므로 그 상세한 설명은 생략한다.
본 발명에서 스마트토이(200)에 탑재된 어플리케이션은 향후 휴대용 단말기(400)의 사용자 앱부(420)에 저장되어 있는 본 발명과 관련된 인공지능 기반의 캐릭터 표시 장치를 구동하기 위한 어플리케이션을 표시부(410)에 표시하고, 텍스트 데이터와 동작코드에 대한 정보를 추가하거나 변경하여 컨텐츠들을 지속적으로 업그레이드할 수 있도록 구성할 수 있다.
예를 들면, 신체 부위 중 어느 하나로 표현된 캐릭터에 따라 스케일, 방향 등을 조정하여 해당 신체 부위의 길이와 3축으로 변형될 수 있는 각도가 고려된 동작코드를 연속적으로 결정하여 저장하도록 하는 것이다.
이상에서는 인공지능 디바이스가 스피커로 출력할 컨텐츠에 대응되는 표시나 동작을 스마트 토이가 수행하는 것을 중심으로 설명하였으나, 본 발명은 이에 한하지 않고 인공지능 디바이스의 마이크를 통하여 수신되는 음성 데이터에 대하여도 동일한 구성과 기능으로 표현할 수 있음은 물론이다.
즉, 인공지능 디바이스의 마이크(130)로 외부 사용자에 의한 음성이 수신되면디바이스 제어부(120)는 표 1로 저장되어 있는 컨텐츠저장부(160)에서 해당 음성과 관련된 텍스트 데이터와 명령코드를 선택하여 스마트 토이(200)로 전송하여 디스플레이부(230)와 동작실행부(240)가 동작되게 하는 것이다.
물론 디스플레이부(230)는 사용자의 선택에 따라 서버(300)에서 전송되어 지는 텍스트데이터를 스트림으로 표시할 수 있을 뿐만 아니라, 사용자의 음성도 스트림으로 표시할 수 있음은 물론이다.
상술한 구성을 이용하여 본 발명의 스마트토이 구동방법에 대하여 설명한다.
도 4는 본 발명의 스마트토이의 동작 방법을 설명하기 위한 흐름도로서, 도시된 바와 같이, 인공지능 스피커로 동작하는 인공지능디바이스(100)에 이벤트 발생 시 해당 데이터를 스마트토이(200)로 전송하여 시각적, 청각적으로 표현할 수 있도록 한다.
아울러 인공지능디바이스(100)와 서버(300) 간의 일반적인 인공지능 스피커로 동작시키기 위한 데이터 송수신에 대해서는 구체적 설명을 생략하기로 한다.
먼저, 인공지능디바이스(100)는 학습과 조사를 통하여 컨텐츠저장부(160)에 단어별로 명령코드와 텍스트 데이터를 단어별로 구분하여 코드화하고, 학습에 의하여 정정하거나 신규로 추가할 수 있도록 구성한다(S110).
단계 S110에서 컨텐츠저장부(160)에 텍스트 데이터와 명령코드가 저장되고 나면, 디바이스 제어부(120)는 마이크(130)와 스피커(140)를 통하여 이벤트가 발생하였는 지를 판단한다((S120).
여기서 이벤트란 마이크(130)와 스피커(140)를 통하여 음성이 입력되거나 출력되는 것으로 판단되는 것을 의미하고, 더하여 서버(300)에서 안내되는 메세지를 포함할 수도 있다.
단계 S120에서 이벤트가 발생한 것으로 판단되면, 디바이스 제어부(120)는 해당 음성에 포함되어 있는 단어와 연관된 텍스트 데이터와 명령코드가 있는 지 컨텐츠저장부(160)에서 검색한다(S130).
검색을 하는 동안, 이벤트 감지 시, 또는 스마트토이(200)로 명령코드를 보내기 전과 후 또는 동시에 발생한 이벤트를 스피커(140)로 출력하고(S140), 검색된 덱스트 데이터와 명령코드는 스마트토이(200)로 연결부(170)를 통하여 송출한다(S150)..
단계 S150에서 인공지능디바이스(100)로부터 텍스트 데이터와 명령코드를 접수하면 스마트토이(200)는 텍스트 데이터와 명령코드를 이용하여 디스플레이부(230)와 동작실행부(240)를 제어하여 문자를 표시하거나 움직이는 동작을 수행하도록 하는 것이다(S210).
구체적으로, 단계 S210에서는 수신된 텍스트 데이터를 이용하여 디스플레이부(230)에 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시하도록 한다.
또한, 제어부(210)는 수신된 명령코드를 이용하여 캐릭터가 연속적으로 동작할 수 있도록 저장부(260)에 저장되어 있는 연관된 연속코드로 구성된 동작코드를 추출하여 동작실행부(240)가 연속적으로 움직이게 하는 것이다.
상술한 바와 같이 본 발명의 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법은 인공지능 스피커, 스마트폰 앱세서리, 청각장애인용 도우미, 모든 소리가 나오는 디바이스에 연결하여 서비스를 확장할 수 있어, 인공지능이 포함된 다양한 디바이스(청소기, 에어컨 등)에 적용할 수 있다.
이상에서 본 발명은 기재된 구체예에 대하여 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허 청구범위에 속함은 당연한 것이다.
100 : 인공지능 디바이스 110 : 통신인터페이스부
120 : 디바이스제어부 130 : 마이크
140 : 스피커 150 : 출력부
160 : 컨텐츠저장부 170 : 연결부
200 : 스마트 토이 210 : 제어부
220 : 명령코드 수신부 230 : 디스플레이부
240 : 동작실행부 300 : 서버
400 : 단말기

Claims (7)

  1. 인공지능 디바이스에서 출력되는 사운드 또는 코드에 대응하여 표시장치에 표시하거나 또는 동작으로 표현 가능한 스마트 토이를 구비한 인공지능 기반의 캐릭터 표시 장치에 있어서,
    상기 인공지능 디바이스는 스피커로 출력되는 사운드에 대응되는 텍스트 데이터와 명령코드를 생성하여 상기 스마트토이로 전송하되,
    상기 인공지능 디바이스는
    서버와 통신하는 통신인터페이스부;
    상기 동작실행부를 실행할 명령 코드와 상기 디스플레이부에 표시할 텍스트 데이터를 저장하는 컨텐츠저장부;
    상기 명령코드와 텍스트데이터를 상기 스마트토이로 전송하는 연결부;
    상기 통신인터페이스부를 통하여 서버로 전송 또는 수신하는 음성데이터에 대응하는 명령코드와 텍스트데이터를 상기 컨텐츠저장부에서 판독하여 상기 연결부를 통하여 상기 스마트토이로 전송하는 디바이스 제어부;
    를 더 포함하고,
    상기 스마트 토이는
    상기 연결부를 통하여 수신된 텍스트데이터를 디스플레이부에 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 표시함과 동시에 수신된 명령코드에 대응되는 연속적 동작코드로 신체 부위 중 어느 하나를 캐릭터로 표현한 동작실행부가 동작을 수행하도록 제어함과 동시에,
    상기 인공지능 디바이스로부터 명령코드를 수신하면, 해당 동작 종류에 따라 연속적인 동작을 나타내는 코드를 저장부에서 연속적으로 추출하고, 추출된 연속코드로 동작코드를 구성하여 상기 동작실행부가 동작하도록 제어하는 인공지능 기반의 캐릭터 표시 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 디스플레이부는 LED로 구성되고, LED 칼라로 표시되는 텍스트를 통해 수신된 텍스트 데이터를 표시하고, 신체 부위 중 어느 하나를 캐릭터로 표현한 동작실행부는 해당 신체 부위 동작의 움직임, 제스처, 또는 속도 중 어느 하나 이상으로 증강된 내용을 표시하는 인공지능 기반의 캐릭터 표시 장치.
  4. 제 1항에 있어서,
    상기 인공지능 디바이스는
    신체 부위 중 어느 하나를 캐릭터로 표현한 동작 실행부가 해당 신체 부위의 길이와 3축으로 변형될 수 있는 각도가 고려된 명령코드를 결정하여 상기 컨텐츠 저장부에 저장하는 인공지능 기반의 캐릭터 표시 장치.
  5. 삭제
  6. 인공지능 디바이스에서 출력되는 사운드 또는 코드에 대응하여 표시장치에 표시하거나 또는 동작으로 표현 가능한 스마트 토이를 구비한 인공지능 스피커를 이용한 동작 표시 방법에 있어서,
    (a)인공지능스피커로부터 검출된 음성에 따라 시각적으로 표시하고자 하는 텍스트 데이터와 움직임을 제어하는 명령코드를 선택하는 단계;
    (b)상기 (a)단계에서 선택된 텍스트데이터로 이모티콘, 기호, 그리고 문자 중 어느 하나 이상으로 디스플레이부에 표시하는 단계;및
    (c)상기 (a)단계에서 선택된 명령코드로 신체 부위 중 어느 하나를 캐릭터로 표현한 동작 실행부가 동작을 수행하도록 제어하는 단계;
    를 포함하고,
    상기 (c)단계는
    동작 종류에 따라 명령코드를 결정하기 이전에
    해당 동작 종류에 따라 연속적인 동작을 나타내는 코드를 연속적으로 추출하고, 추출된 연속코드로 동작코드를 구성하여 상기 동작 실행부가 동작을 수행하도록 제어하는 인공지능 기반의 캐릭터 표시 방법.

















  7. 삭제
KR1020180030945A 2018-03-16 2018-03-16 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법 KR102063389B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180030945A KR102063389B1 (ko) 2018-03-16 2018-03-16 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180030945A KR102063389B1 (ko) 2018-03-16 2018-03-16 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법

Publications (2)

Publication Number Publication Date
KR20190115517A KR20190115517A (ko) 2019-10-14
KR102063389B1 true KR102063389B1 (ko) 2020-02-11

Family

ID=68171616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030945A KR102063389B1 (ko) 2018-03-16 2018-03-16 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법

Country Status (1)

Country Link
KR (1) KR102063389B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476497B1 (ko) * 2020-09-01 2022-12-14 고려대학교 산학협력단 언어 대응 화상 출력 장치, 방법 및 시스템
KR102430914B1 (ko) * 2020-12-08 2022-08-08 홍익대학교 산학협력단 가상현실 및 증강현실 컨텐츠 제공 시스템, 방법 그리고 컴퓨터 프로그램

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19912963B4 (de) 1999-03-23 2005-05-19 Dr.Ing.H.C. F. Porsche Ag Vorrichtung und Verfahren zum Steuern eines selbsttätig schaltenden Getriebes
KR100879789B1 (ko) * 2007-03-26 2009-01-22 임선준 반응형 완구 및 그것의 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002307354A (ja) * 2000-11-07 2002-10-23 Sega Toys:Kk 電子玩具

Also Published As

Publication number Publication date
KR20190115517A (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
US11102624B2 (en) Automated messaging
US11302302B2 (en) Method, apparatus, device and storage medium for switching voice role
US11222632B2 (en) System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
CN107340865B (zh) 多模态虚拟机器人交互方法和系统
US11468894B2 (en) System and method for personalizing dialogue based on user's appearances
CN105320726B (zh) 降低对手动开始/结束点和触发短语的需求
CN110609620B (zh) 基于虚拟形象的人机交互方法、装置及电子设备
JP5899116B2 (ja) 音声−テキスト変換の触覚増強のためのシステム及び方法
CN111124123A (zh) 基于虚拟机器人形象的语音交互方法及装置、车载设备智能控制系统
CN107632706B (zh) 多模态虚拟人的应用数据处理方法和系统
CN107329990A (zh) 一种用于虚拟机器人的情绪输出方法以及对话交互系统
CN107294837A (zh) 采用虚拟机器人进行对话交互的方法和系统
US11267121B2 (en) Conversation output system, conversation output method, and non-transitory recording medium
WO2017200074A1 (ja) 対話方法、対話システム、対話装置、及びプログラム
KR102628211B1 (ko) 전자 장치 및 그 제어 방법
JP2018008316A (ja) 学習型ロボット、学習型ロボットシステム、及び学習型ロボット用プログラム
CN111919248A (zh) 用于处理用户发声的系统及其控制方法
KR102063389B1 (ko) 인공지능 기반의 캐릭터 표시 장치 및 그 표시 방법
JP2019124855A (ja) 装置及びプログラム等
KR20200033189A (ko) 보이스 어시스턴트 서비스를 제공하는 시스템 및 방법
WO2017200077A1 (ja) 対話方法、対話システム、対話装置、及びプログラム
Eriksson Onboarding Users to a Voice User Interface: Comparing Different Teaching Methods for Onboarding New Users to Intelligent Personal Assistants
JP7331349B2 (ja) 会話出力システム、サーバ、会話出力方法及びプログラム
Campbell et al. Expressivity in interactive speech synthesis; some paralinguistic and nonlinguistic issues of speech prosody for conversational dialogue systems
US20230168859A1 (en) Method and device for voice input using head control device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant