KR101504699B1 - 유무선 통신 네트워크를 이용한 음성대화방법 및 장치 - Google Patents

유무선 통신 네트워크를 이용한 음성대화방법 및 장치 Download PDF

Info

Publication number
KR101504699B1
KR101504699B1 KR1020140000063A KR20140000063A KR101504699B1 KR 101504699 B1 KR101504699 B1 KR 101504699B1 KR 1020140000063 A KR1020140000063 A KR 1020140000063A KR 20140000063 A KR20140000063 A KR 20140000063A KR 101504699 B1 KR101504699 B1 KR 101504699B1
Authority
KR
South Korea
Prior art keywords
voice
unit
user
receiving
wired
Prior art date
Application number
KR1020140000063A
Other languages
English (en)
Other versions
KR20140122168A (ko
Inventor
윤재민
Original Assignee
얄리주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 얄리주식회사 filed Critical 얄리주식회사
Priority to JP2014002068A priority Critical patent/JP2014204429A/ja
Priority to US14/150,955 priority patent/US20140303982A1/en
Priority to CN201410012267.2A priority patent/CN104105223A/zh
Publication of KR20140122168A publication Critical patent/KR20140122168A/ko
Application granted granted Critical
Publication of KR101504699B1 publication Critical patent/KR101504699B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Toys (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

유무선 통신 네트워크를 이용한 음성대화방법은, (a) 음성대화장치의 음성 입력부에서 사용자에 의해 입력되는 음성을 입력받는 단계, (b) 음성대화장치의 유무선 통신부에서 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하는 단계, (c) 유무선 통신부에서 휴대용 단말기에서 전송되는 응답 음성을 수신하는 단계, 그리고 (d) 음성대화장치의 음성 출력부에서 유무선 통신부에서 음성을 전달받아 출력하는 단계를 포함한다.

Description

유무선 통신 네트워크를 이용한 음성대화방법 및 장치{PHONETIC CONVERSATION METHOD AND DEVICE USING WIRED AND WIRESS COMMUNICATION}
유무선 통신 네트워크를 이용한 음성대화방법 및 장치가 제공된다.
질의응답시스템(question and answering system)은 사용자가 원하는 지식을 얻기 위해 시스템으로 질문을 하고, 시스템은 사용자의 질문을 분석하여 질문에 대한 답변을 출력하는 것이 일반적이다. 현재까지 다양한 방법으로 질의응답시스템이 구현되어 왔다. 그러나, 질문과 답변이 텍스트 형태로 저장되고 표현되는 질의응답 시스템은 그 사용에 불편한 점이 있다.
한국공개특허 2009-0034203은 탈착형 스위치 장치(attachable and removable switch apparatus)를 개시한다.
본 발명에 따른 일실시예는 사용자가 음성대화장치가 부착된 완구(인형)와 유선 통신이나 무선 통신으로 대화를 주고 받을 수 있도록 하기 위한 것이다.
본 발명의 일실시예에 따른 유무선 통신 네트워크를 이용한 음성대화방법은, (a) 터치, 눈 주시, 또는 사용자 음성이 입력되는 경우 음성대화장치의 음성 입력부에서 사용자에 의해 입력되는 음성을 입력 받는 단계, (b) 음성대화장치의 유무선 통신부에서 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하는 단계, (c) 유무선 통신부에서 휴대용 단말기에서 전송되는 응답 음성을 수신하는 단계, 그리고 (d) 음성대화장치의 음성 출력부에서 유무선 통신부에서 음성을 전달받아 출력하는 단계를 포함한다.
단계(a)는, (a1) 음성대화장치의 터치 인식부 또는 영상 출력부에서 사용자의 터치를 인식하는 단계, (a2) 음성대화장치의 음성 입력부에서 터치 인식부 또는 영상 출력부에서 사용자의 터치가 인식되거나 사용자의 터치가 이루어지는 동안 사용자 음성이 입력되는 경우, 사용자에 의해 입력되는 음성을 입력받는 단계, 그리고 (a3) 음성대화장치의 음성 입력부에서 터치 인식부 또는 영상 출력부에서 사용자의 터치 없이 음성이 입력되는 경우, 사용자의 음성인지 여부를 판단하여 음성을 입력 받는 단계를 포함할 수 있다.
단계(a)는, (a1) 음성대화장치의 영상 입력부에서 사용자의 눈 주시(eye contact)를 인식하는 단계, (a2) 음성대화장치의 음성 입력부에서 영상 입력부를 통하여 사용자의 눈 주시가 인식되거나 사용자의 눈 주시가 이루어지는 동안 사용자 음성이 입력되는 경우, 사용자에 의해 입력되는 음성을 입력받는 단계, 그리고 (a3) 음성대화장치의 음성 입력부에서 영상 입력부를 통하여 사용자의 눈 주시 없이 음성이 입력되는 경우, 사용자의 음성인지 여부를 판단하여 음성을 입력 받는 단계를 포함할 수 있다.
단계(d)에서, 음성대화장치의 음성 출력부에서는, 유무선 통신부에서 음성을 전달받아 출력하는 동안, 음성에 대하여 결정된 감정에 기초하여, 음성대화장치의 발광부가 특정 색으로 발광되어 표시될 수 있다.
발광부의 발광 색과 표시 주기는 휴대용 단말기에서, 음성에 대하여 결정된 감정에 기초하여 결정된 색과 표시 주기에 의해 표시될 수 있다.
감정은 음성을 텍스트로 변환한 후 자연어 텍스트에서 인식된 것일 수 있다.
단계(d)에서, 음성대화장치의 영상 출력부에서는, 유무선 통신부에서 음성을 전달받아 출력하는 동안, 음성에 대하여 결정된 감정에 기초하는 얼굴 표정 영상을 출력할 수 있다.
단계(d)에서, 음성대화장치의 영상 출력부에서는, 유무선 통신부에서 음성을 전달받아 출력하는 동안, 음성에 대하여 결정된 감정에 기초하는 이모티콘을 출력할 수 있다.
본 발명의 일실시예에 따른 유무선 통신 네트워크를 이용한 음성대화장치는 터치, 눈 주시, 또는 사용자 음성이 입력되는 경우 사용자에 의해 입력되는 음성을 입력받는 음성 입력부, 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하고, 휴대용 단말기에서 전송되는 음성을 수신하는 유무선 통신부, 그리고 유무선 통신부에서 음성을 전달받아 출력하는 음성 출력부를 포함한다.
음성대화장치는 사용자의 터치를 인식하는 터치 인식부를 더 포함할 수 있으며, 터치 인식부에서 사용자의 터치가 인식되거나 사용자의 터치가 이루어지는 동안 사용자 음성이 입력되는 경우, 사용자에 의해 음성을 입력 받을 수 있다.
음성대화장치는 사용자의 영상을 입력받는 영상 입력부를 더 포함할 수 있으며, 영상 입력부에서 사용자의 눈 주시(eye contact)이 인식되거나 사용자의 눈 주시가 이루어지는 동안, 사용자에 의해 음성을 입력 받을 수 있다.
음성 출력부에서 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 음성에 대하여 결정된 감정에 기초하여, 특정 색으로 발광되어 표시되는 발광부를 더 포함할 수 있다.
음성대화장치는 영상을 출력하는 영상 출력부를 더 포함할 수 있다.
음성 출력부에서 유무선 통신부에서 음성을 전달받아 출력하는 동안, 영상 출력부는 음성에 대하여 결정된 감정에 기초하는 얼굴 표정 영상을 출력할 수 있다.
음성 출력부에서 유무선 통신부에서 음성을 전달받아 출력하는 동안, 영상 출력부는 음성에 대하여 결정된 감정에 기초하는 이모티콘을 출력할 수 있다.
본 발명의 일실시예에 의하면, 사용자가 음성대화장치가 부착된 완구(인형)와 유선 통신이나 무선 통신으로 대화를 주고 받음으로써, 사용자의 질의에 의한 답변이 신속하고 명확하게 전달될 수 있다.
도 1은 본 발명의 일실시예에 따른 음성대화 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 음성대화 시스템에서 음성대화장치와 휴대용 단말기간의 메시지 송수신 흐름도이다.
도 3은 본 발명의 일실시예에 따른 음성대화 시스템에서 음성대화장치와 휴대용 단말기간의 메시지 송수신 흐름도이다.
도 4는 터치로 앱에 감정 정보를 전달하는 경우의 일례를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 음성대화장치의 볼륨제어의 일례를 나타내는 도면이다.
도 6은 사용자 음성입력에 의한 대화 완구(인형)와의 대화의 일례를 나타내는 도면이다.
도 7은 휴대용 단말기 앱에서 음성 대화를 생성하여 대화하는 경우의 일례를 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 음성대화장치의 전원 켜기의 일례를 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 페어링 기능의 일례를 나타내는 도면이다.
도 10은 본 발명의 일실시예에 따른 음성대화장치의 배터리 방전 경고의 일례를 나타내는 도면이다.
도 11 내지 도 21은 대화 완구(인형)의 얼굴표정의 종류의 일례를 나타내는 도면이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일실시예에 따른 음성대화 시스템(phonetic conversation system)의 구성을 나타내는 도면이다.
도 1을 참고하면, 음성대화 시스템은 사용자(user)(10), 음성대화장치(phonetic conversation device)(30), 그리고 휴대용 단말기(mobile terminal)(50)를 포함할 수 있다.
음성대화장치(30)는 사용자(10)와의 음성인식(voice recognition) 질의응답을 위하여 완구(인형)에 내장되거나 탈부착이 가능한 형태 또는 벨트에 의해 고정되어 완구(인형)에 고정시킬 수 있는 형태로 사용될 수 있다. 음성대화장치(30)는 음성 입력부(voice input unit)(31), 음성 출력부(voice output unit)(32), 터치 인식부(touch recognition unit)(33), 발광부(light emitting unit)(34), 그리고 유무선 통신부(wired and wireless communication unit)(35)를 포함한다. 음성대화장치(30)는 영상출력부(image output unit)(36), 영상입력부(image input unit)(37) 등을 더 포함할 수 있다.
사용자(10)가 음성을 입력하기 위해서 터치 인식부(33)를 터치하는 경우, 터치 인식부(33)가 작동된다. 터치 인식부(33)가 작동되면 사용자(10)는 음성을 입력할 수 있다.
사용자(10)가 터치 인식부를 터치하여 음성을 입력하는 경우는 구글 음성인식기 같이 음성입력을 받기 위한 특수한 유저 인터페이스(user interface)를 사용할 때이다. 뉘앙스 음성인식기(nuance vocal recognition device) 같이 특별한 유저 인터페이스 없이 소스코드(source code) 상으로 음성이 입력될 수 있는 경우에는 터치 인식부 작동 없이도 음성이 입력될 수 있다.
터치 인식부(33)가 작동되어 사용자(10)가 음성을 입력할 수 있는 상태가 되면, 음성 입력부(31)는 사용자(10)에 의해 입력되는 음성을 입력 받아 유무선 통신부(35)로 전달한다.
또한, 터치 인식부(33)가 작동하지 않더라도, 음성 입력부(31)는 자체적으로 음성검출 엔진(voice detection engine) 또는 알고리즘(algorithm)을 사용할 수 있으며, 이 경우 입력되는 소리가 사람의 음성으로 판단되면, 음성 입력부(31)는 음성을 입력 받아 유무선 통신부(35)로 전달할 수 있다.
사용자(10)가 음성을 입력하기 위해서 빠르게 1회 터치하거나 약 1 내지 2초간 계속하여 터치한 후 음성을 입력할 때, 음성검출 알고리즘에 의해 음성입력 완료가 자동으로 검출될 수도 있고, 별도로 구성된 음성인식기(vocal recognition device)가 음성입력 완료 여부를 판단하여 음성입력 완료를 음성입력부(31)에 알려줄 수도 있다.
또한, 빠르게 1회 터치하거나 약 1 내지 2초간 계속하여 터치한 후, 미리 설정된(predetermined) 시간 동안, 예를 들어 몇 초간, 음성을 입력할 수 있다는 규칙이 미리 설정될 수 있다. 이 경우, 미리 설정된 시간 내에 입력되는 음성은 음성인식기로 전달될 수 있다.
음성 입력부(31)는 사용자(10)가 터치하는 동안에만 음성입력을 받을 수 있으며, 이 경우 사용자(10)가 터치를 때면, 임시 메모리에 저장된 음성이 유무선 통신부(35)로 전달될 수 있다.
유무선 통신부(35)는 음성 입력부(31)로부터 입력된 음성을 전달 받으면, 코덱을 이용하여 해당 음성을 압축하고, 유선 통신 또는 무선 통신에 의해 압축된 음성을 휴대용 단말기(50)로 전송한다.
유무선 통신부(35)는 휴대용 단말기(50)의 유무선 통신부(51)로부터 전송되는 압축된 음성을 수신하여 디코딩한 후 음성 출력부(32)로 전달한다.
음성 출력부(32)는 디코딩된 음성을 출력하며, 이에 따라 사용자는 출력되는 음성을 들을 수 있다. 예를 들어, 음성 출력부(32)는 스피커를 포함할 수 있다.
데이터의 전송용량과 전송속도가 빠른 경우, 유무선 통신부(35)는 음성 입력부(31)로부터 입력된 음성을 압축 없이 휴대용 단말기(50)로 유선 통신 또는 무선 통신에 의해 전송할 수 있으며, 휴대용 단말기(50)의 유무선 통신부(51)로부터 전송되는 음성도 디코딩 없이 음성 출력부(32)로 전달될 수 있다.
터치 인식부(33)로부터 사용자(10)의 터치가 인식되어 터치 인식신호가 발광부(34)로 전달되는 경우, 발광부(34)는 미리 설정된 주기로 미리 설정된 종류의 빛을 표시할 수 있다. 또한, 휴대용 단말기(50)로부터 전송된 음성이 음성 출력부(32)를 통해 출력되는 경우, 발광부(34)는 미리 설정된 주기로 미리 설정된 종류의 빛을 표시할 수 있다. 빛의 종류, 빛의 표시 주기 등의 발광 조건에 대한 정보는 휴대용 단말기(50)의 감정 판단부(53)에 의해 결정될 수 있으며, 결정된 발광 조건에 대한 정보는 음성대화장치(30)로 전송될 수 있다. 예를 들어, 발광부(34)는 LED를 포함할 수 있다.
영상 출력부(36)는 영상을 출력하며, 터치 스크린을 포함할 수 있다. 출력되는 영상은 터치 버튼을 포함할 수 있다. 터치 버튼은 음성 인식의 시작을 알리는 버튼, 볼륨을 조절하는 버튼, 전원을 온오프하는 버튼 등일 수 있다. 예를 들어, 사용자(10)가 출력되는 영상을 터치하는 시점이 음성 인식의 시작점이 될 수 있다. 음성입력 완료는 음성 입력부(31)의 음성검출 알고리즘에 의해 자동으로 검출될 수도 있고, 별도로 구성된 음성인식기에 의해 인식될 수도 있다. 인식된 음성은 유무선 통신부(35)를 통해 휴대용 단말기(50)로 전송된다. 영상 출력부(36)는 LCD, OLED 등의 디스플레이를 포함할 수 있다.
또한, 영상 출력부(36)는 도 11 내지 도 21에 나타난 바와 같이 사용자(10)의 질의에 대한 답변으로부터 추출된 감정에 따라 다양한 얼굴 표정을 출력할 수 있다. 얼굴 표정은 이모티콘을 포함할 수 있다. 영상 출력부(36)의 얼굴 표정과 음성 출력부(32)의 음성 출력은 실제로 말하는 것처럼 동시에 출력될 수 있다. 이에 따라, 사용자(10)가 음성대화장치(30)가 고정되어 있는 완구(인형)의 얼굴 표정의 변화를 보고 음성을 들으면서 사실감을 느낄 수 있다.
영상 입력부(37)는 영상을 입력 받으며, 카메라, 이미지 센서 등을 포함할 수 있다. 영상 입력부(37)를 통해 입력되는 영상은 유무선 통신부(35)를 통해 휴대용 단말기(50)로 전송된다. 휴대용 단말기(50)는 사용자(10)의 눈동자가 영상 입력부(37)를 향하고 있는지 여부를 확인한다. 예를 들어, 사용자(10)의 눈동자가 영상 입력부(37)를 향하는 시점이 음성 인식의 시작점이 될 수 있다. 음성입력 완료는 음성 입력부(31)의 음성검출 알고리즘에 의해 자동으로 검출될 수도 있고, 별도로 구성된 음성인식기에 의해 인식될 수도 있으며, 인식된 음성은 유무선 통신부(35)를 통해 휴대용 단말기(50)로 전송된다. 사용자의 눈 주시 없이 음성 입력부(31)로 음성이 입력되는 경우, 입력되는 음성이 사용자(10)의 음성인지 여부를 판단한 후, 사용자(10)의 음성으로 판단되었을 때 음성을 입력 받을 수 있다.
영상 입력부(37)는 사용자(10)의 눈 주시가 이루어지는 동안에만 음성입력을 받을 수 있으며, 이 경우 사용자(10)가 더 이상 눈 주시를 하지 않으면, 임시 메모리에 저장된 음성이 유무선 통신부(35)로 전달될 수 있다.
휴대용 단말기(50)는 음성대화장치(30)와 유선이나 무선으로 통신하기 위한 단말기로서, 음성대화장치(30)에서 유선이나 무선으로 전송된 질의에 대한 응답을 음성합성데이터로 생성하거나 다양한 얼굴 표정을 표현한다.
예를 들어, 휴대용 단말기(50)는 개인용컴퓨터(PC), 휴대용 컴퓨터(PDA), 노트북, 태블릿, 휴대폰(아이폰, 안드로이드폰, 구글폰 등), 쌍방향 음성 및 데이터 통신이 가능한 매체를 통틀어 말하며, 유무선 인터넷이나 유무선 전화(이동)통신이 가능한 장비를 포함한 다양한 단말기가 이용될 수 있다.
휴대용 단말기(50)가 음성대화장치(30)와 유선으로 통신하는 경우, 휴대용 단말기(50)는 완구(인형)에 얼굴 부분에 설치된 상태에서 음성대화장치(30)와 유선 통신으로 연결되어 음성대화장치(30)로부터 전송된 사용자의 질의에 대한 답변을 음성합성데이터로 생성하여 음성대화장치(30)로 전송한다. 이때 완구(인형)의 표정은 완구(인형)의 얼굴 부분에 설치된 휴대용 단말기(50)에 의해 도 11 내지 도 21에 나타난 바와 같이 상기 사용자의 질의에 대한 답변에서 추출한 감정에 따라 다양한 얼굴 표정일 수 있다.
도 11 내지 도 21은 대화 완구(인형)의 얼굴표정의 종류의 일례를 나타내는 도면으로서, 도 11은 평온한 감정을 나타내고, 도 12는 걱정과 근심을 나타내며, 도 13은 기쁨의 감정을 나타내고, 도 14는 의심의 감정을 나타내며, 도 15는 권태의 감정을 나타내고, 도 16은 기대의 감정을 나타내며, 도 17은 화남의 감정을 나타내고, 도 18은 터치 동작에 대한 감정을 나타내고, 도 19는 잠자는 동작, 도 20은 말하는 동작, 도 21은 듣는 동작을 나타낸다.
휴대용 단말기(50)가 음성대화장치(30)와 무선으로 통신하는 경우, 휴대용 단말기(50)는 완구(인형)의 얼굴 부분에 설치되지 않을 수 있고, 음성대화장치(30)와 무선으로 통신할 수 있는 거리 내에 위치할 수 있다. 휴대용 단말기(50)는 음성대화장치(30)로부터 무선 통신으로 전송된 사용자의 질의에 대한 답변을 음성합성데이터로 생성하여 음성대화장치(30)로 전송한다.
휴대용 단말기(50)는 유무선 통신부(51), 질의 응답부(question and answer unit)(52), 감정 판단부(emotion determination unit)(53)와, 음성 합성부(voice synthesis unit)(54)와, 음성 인식부(voice recognition unit)(55)를 포함한다.
유무선 통신부(51)는 음성대화장치(30)의 유무선 통신부(35)로부터 유선 통신 또는 무선 통신으로 전송되는 압축된 음성을 수신하여 디코딩하고, 디코딩된 음성을 음성 인식을 위한 포맷으로 변경하여 음성 인식부(55)로 전송한다.
음성 인식부(55)는 유무선 통신부(51)로부터 전송 받은 음성을 인식하고, 음성인식 결과인 질문 텍스트(text)를 질의 응답부(52)로 전달한다.
질의 응답부(52)는 음성 인식부(55)로부터 질문 텍스트를 전달받을 때, 질문 텍스트에 대한 답변 텍스트를 생성하여 음성 합성부(54)로 전달한다.
음성 합성부(54)는 질의 응답부(52)로부터 답변 텍스트를 전달받을 때, 답변 텍스트를 음성으로 합성하여 음성합성데이터를 생성하여 유무선 통신부(51)로 전달한다.
감정 판단부(53)는 답변 텍스트에 대한 감정을 추출하고, 추출된 감정에 대해, 음성대화장치(30)의 발광부(34)에서 특정 빛을 표시하기 위한 빛의 종류, 빛의 표시 주기 등의 발광 조건에 대한 정보를 결정하여 유무선 통신부(51)로 전달한다. 또한 감정 판단부(53)는 추출된 감정에 대해 도 11 내지 도 21에 도시된 것처럼 다양한 얼굴 표정을 결정하여 유무선 통신부(51)로 전달한다. 유무선 통신부(51)로 전달된 발광 조건에 대한 정보, 다양한 얼굴 표정을 음성대화장치(30)의 유무선 통신부(35)를 통하여 각각 발광부(34) 및 영상출력부(36)로 전송할 수 있다.
예를 들어, 답변 텍스트에서 감정을 추출하기 위해서는 답변 텍스트를 자연어처리(형태소분석, 구문분석, 의미분석 등) 방식으로 분석함으로써, 답변 텍스트 속에 내포된 감정이 분류될 수 있다.
음성 합성부(54)로부터 음성합성데이터가 전달되는 경우, 유무선 통신부(51)는 음성 합성된 음성합성데이터를 압축하여 압축된 음성합성데이터, 감정 판단부(53)로부터 결정된 빛의 종류, 빛의 표시 주기 등의 발광 조건에 대한 정보, 그리고 다양한 얼굴 표정을 음성대화장치(30)로 전송한다.
데이터의 전송용량과 전송속도가 빠른 경우, 유무선 통신부(51)는 음성대화장치(30)의 유무선 통신부(35)로부터 유선 통신 또는 무선 통신으로 전송되는 음성을 수신하여 디코딩 없이 음성인식부(55)로 전달할 수 있다. 이때, 음성 인식부(55)는 유무선 통신부(51)로부터 전달된 음성을 인식하고, 음성인식 결과인 질문 텍스트를 질의 응답부(52)로 전달한다.
도 2는 본 발명의 일실시예에 따른 음성대화 시스템에서 음성대화장치와 휴대용 단말기간의 메시지 송수신 흐름도이다.
도 2를 참고하면, 음성대화장치(30)는 사용자가 1회 터치하였는지 또는 사용자가 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시(eye contact)하였는지를 판단(S1)하고, 사용자(10)가 1회 터치하였거나 눈으로 주시한 경우 터치 시간 또는 눈으로 주시한 시간이 1초인지를 판단(S2)한다.
음성대화장치(30)는 사용자(10)가 1초동안 터치하거나 1초 동안 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시한 경우, 사용자(10)의 음성(질문)을 입력(S3)받아, 음성 압축 후 휴대용 단말기(50)로 전송(S4)한다.
휴대용 단말기(50)는 음성대화장치(30)에서 압축되어 전송된 음성을 디코딩하여 음성 인식(S5)을 한 후 질문에 대한 답변을 생성(S6)하고, 답변에 대한 감정분석(S7)을 한다.
휴대용 단말기(50)는 답변 텍스트를 음성 합성한 음성합성데이터와 감정분석결과에 대한 정보를 음성대화장치로 전송(S8)한다. 예를 들어, 감정분석결과에 대한 정보는 음성대화장치(30)의 발광부(34)에서 특정 빛을 표시하기 위한 빛의 종류, 빛의 표시 주기 등의 발광 조건에 대한 정보, 감정 판단부(53)에 의해 추출된 감정에 대해 도 11 내지 도 21에 도시된 것처럼 다양한 얼굴 표정일 수 있다.
음성대화장치(30)는 휴대용 단말기(50)로부터 전송된 음성을 디코딩하여 출력(S9)하고, 음성 출력시 휴대용 단말기에서 전송된 감정분석결과인 감정데이터에 따라 LED 빛을 제어하고 얼굴 표정을 출력(S10)한다.
한편, 음성대화장치(30)에서 사용자(10)가 1회 터치하였는지 또는 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시하였는지를 판단하는 S1단계에서, 사용자(10)가 1회 터치하지 않거나 음성대화장치(30)의 영상 입력부(37)와 1 회 눈으로 주시하지 않은 경우에는 터치/눈 주시 횟수와 시간 간격을 확인하여 휴대용 단말기(50)로 전송(S11)한다.
휴대용 단말기(50)의 질의 응답부(52)에서는 음성대화장치(30)로부터 전송된 터치 횟수와 시간 간격에 따른 답변을 생성(S12)하고, 휴대용 단말기(50)에서 답변 텍스트를 음성 합성한 데이터를 음성대화장치(30)로 전송(S13)한다.
음성대화장치(30)는 휴대용 단말기(50)로부터 전송된 음성합성데이터를 디코딩하여 출력(S14)하고, 음성대화장치(30)에서 음성 출력시 LED 빛 제어 및 얼굴 표정 출력(S15)이 이루어진다.
도 3은 본 발명의 일실시예에 따른 음성대화 시스템에서 음성대화장치와 휴대용 단말기간의 메시지 송수신 흐름도이다.
도 3을 참고하면, 음성대화장치(30)는 사용자(10)가 1회 터치하였는지 또는 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시하였는지를 판단(S1)하여 사용자(10)가 1회 터치하거나 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시한 경우, 터치 시간 또는 눈으로 주시한 시간이 1초인지를 판단(S2)한다.
음성대화장치(30)는 사용자(10)가 1초동안 터치하거나, 음성대화장치(30)의 영상 입력부(37)와 1초 동안 눈으로 주시한 경우, 사용자(10)의 음성(질문)을 입력(S3)받아, 음성 압축 후 휴대용 단말기(50)로 전송(S4)한다.
휴대용 단말기(50)는 음성대화장치(30)에서 압축되어 전송된 음성을 디코딩하여 음성 인식(S5)을 한 후 질문에 대한 답변을 생성(S6)하고, 답변에 대한 감정분석(S7)을 한다.
휴대용 단말기(50)는 답변 텍스트를 음성 합성한 음성합성데이터와 감정분석결과에 대한 정보를 음성대화장치(30)로 전송(S8)한다. 예를 들어, 감정분석결과에 대한 정보는 음성대화장치(30)의 발광부(34)에서 특정 빛을 표시하기 위한 빛의 종류, 빛의 표시 주기 등의 발광 조건에 대한 정보, 감정 판단부(53)에 의해 추출된 감정에 대해 도 11 내지 도 21에 도시된 것처럼 다양한 얼굴 표정일 수 있다.
음성대화장치(30)는 휴대용 단말기(50)로부터 전송된 음성을 디코딩하여 출력(S9)하고, 음성 출력시 휴대용 단말기에서 전송된 감정분석결과인 감정데이터에 따라 LED 빛을 제어하고 얼굴 표정을 출력(S10)한다.
한편, 음성대화장치(30)에서 사용자(10)가 1회 터치하였는지 또는 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시하였는지를 판단하는 S1단계에서, 사용자(10)가 1회 터치하지 않거나 음성대화장치(30)의 영상 입력부(37)와 눈으로 주시하지 않은 경우에는 터치/눈 주시 횟수와 시간 간격을 확인하여 휴대용 단말기(50)로 전송(S11)한다.
휴대용 단말기(50)의 질의 응답부에서는 음성대화장치(30)로부터 전송된 터치 횟수와 시간 간격에 따른 답변을 생성(S12)하고, 휴대용 단말기(50)에서 답변 텍스트를 음성 합성한 데이터를 음성대화장치(30)로 전송(S13)한다.
음성대화장치(30)는 휴대용 단말기(50)로부터 전송된 음성합성데이터를 디코딩하여 출력(S14)하고, 음성대화장치(30)에서 음성 출력시 LED 빛 제어 및 얼굴 표정 출력(S15)이 이루어진다.
이어서, 음성대화장치(30)는 사용자(10)가 1회 터치하거나 음성대화장치(30)의 영상 입력부(37)와 1회 눈으로 주시한 경우 터치/눈 주시 시간이 1초인지를 판단하는 S2단계에서, 터치 또는 눈 주시 시간이 1초가 아닌 경우 터치 시간이 5초인지 또는 전원버튼이 터치되었는지를 판단(S16)한다.
음성대화장치(30)는 사용자(10)가 5초동안 터치하거나 전원버튼을 터치한 경우, 전원 켜기(S17)를 수행한 후, 전원 온(ON) 정보를 휴대용 단말기(50)로 전송(S18)한다.
휴대용 단말기(50)의 질의 응답부(52)는 음성대화장치(30)의 전원 온(ON) 정보를 수신하면 답변을 생성(S19)하여 생성된 답변 텍스트를 음성 합성한 데이터를 음성대화장치(30)로 전송(S20)한다.
음성대화장치(30)는 휴대용 단말기(50)로부터 전송된 음성합성데이터를 디코딩하여 출력(S21)하고, 음성대화장치(30)에서 음성 출력시 LED 빛 제어 및 얼굴 표정 출력(S22)이 이루어진다.
한편, 음성대화장치(30)는 사용자(10)의 터치 시간이 5초인지 또는 전원 버튼이 터치되었는지를 판단하는 S16단계에서, 터치 시간이 5초가 아니거나 전원 버튼 터치가 안된 경우 터치 시간이 10초인지를 판단(S23)하여 사용자(10)가 10초동안 터치한 경우, 페어링 모드로 동작(S24)된다. 페어링은 블루투스, WIFI 등의 근거리 무선 통신으로 연결될 수 있다.
음성대화장치(30)가 페어링 모드로 동작되면 휴대용 단말기(50)에서 페어링 연결을 시도(S25)하고, 음성대화장치(30)는 휴대용 단말기(50)와 페어링 연결 후 페어링 연결 성공 정보를 휴대용 단말기(50)로 전송(S26)한다.
휴대용 단말기(50)의 질의 응답부(52)에서는 음성대화장치(30)에서 페어링 연결 성공 정보를 수신하면 답변을 생성(S27)하여 생성된 답변 텍스트를 음성 합성한 데이터를 음성대화장치로 전송(S28)한다.
음성대화장치(30)는 휴대용 단말기(50)에서 전송된 음성합성데이터를 디코딩하여 출력(S29)하고, 음성대화장치(30)에서 음성 출력시 빛 제어 및 얼굴 표정 출력(S30)이 이루어진다.
도 4는 터치로 앱에 감정 정보를 전달하는 경우의 일례를 나타내는 도면이다.
도 4를 참고하면, 사용자(10)가 음성대화장치(30)의 딥스위치, 토글스위치, 대기전력 터치방식 스위치 등의 버튼, 터치 인식부(33) 등을 한번만 터치하거나 음성대화장치(30)의 영상 입력부(37)와 1회 눈으로 주시하면(S1), 음성대화장치(30)의 발광다이오드(LED)가 미리 설정된 색 예를 들어, 적색으로 1회 깜박(S2)인다.
음성대화장치(30)는 1회 터치 또는 눈 주시 정보를 휴대용 단말기(앱)(50)에 전송(S3)하고, 응답 대화를 회신(S4)받아서 음성 및 영상을 출력(S5)한다. 여기서, 음성대화장치(30)가 휴대용 단말기(50)로부터 회신 받는 응답 대화는 음성합성데이터로서 예를 들어, "안녕? 즐거운 아침이에요. 무슨 이야기 할까요?" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S6)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S7)된다.
사용자(10)가 음성대화장치(30)의 팁스위치, 토글스위치, 대기전력 터치방식 스위치 등의 버튼, 터치 인식부(33) 등을 빠르게 연속 2회 이상 터치하거나 빠르게 연속 2 회 이상 눈을 깜박이면(S8), 음성대화장치(30)의 발광다이오드(LED)가 미리 설정된 색 예를 들어, 적색으로 1회 깜박(S9)인다.
음성대화장치(30)는 빠른 연속 2회 이상의 터치 또는 눈 깜박임 정보를 휴대용 단말기(앱)(50)에 전송(S10)하여 다급한 상황임을 알리고, 응답 대화를 회신(S11)받아서 음성 및 영상을 출력(S12)한다. 여기서, 음성대화장치(30)가 휴대용 단말기(50)로부터 회신 받는 응답 대화는 음성합성데이터로서 예를 들어, "왜 그래요? 무슨 일 있어요?" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S13)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S14)된다.
도 5는 본 발명의 음성대화장치의 볼륨제어의 일례를 나타내는 도면이다.
도 5를 참고하면, 사용자(10)가 음성대화장치(30)의 볼륨 업/다운 버튼을 한번만 누르면(S1), 음성대화장치(30)의 발광다이오드(LED)가 미리 설정된 색 예를 들어, 적색으로 1회 깜박(S2)이고, 볼륨 업/다운 기능이 적용(S3)된다.
음성대화장치(30)는 볼륨 업/다운 터치 정보를 휴대용 단말기(앱)(50)에 전송(S4)하고, 응답 대화를 회신(S5)받아서 음성 및 영상을 출력(S6)한다. 여기서, 음성대화장치(30)가 휴대용 단말기(50)로부터 회신 받는 응답 대화는 음성합성데이터로서 예를 들어, "볼륨을 크게/작게 하였습니다" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S7)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S8)된다.
도 6은 사용자 음성입력에 의한 대화 완구(인형)와의 대화의 일례를 나타내는 도면이다.
도 6을 참고하면, 사용자(10)가 음성대화장치(30)의 중앙 터치 부분을 1초간 터치하거나 영상 입력부(37)와 1초간 눈으로 주시한 경우(S1), 음성대화장치(30)의 발광다이오드(LED)가 미리 설정된 색 예를 들어, 청록색으로 5초간 표시(S2)되어 음성대화장치(30)가 음성입력 대기상태(5초간)가 된다.
음성대화장치(30)는 사용자(10)의 음성을 입력 받는다(S3). 이때, 사용자는 음성대화장치(30)의 마이크에 음성을 입력한다. 입력되는 음성은 예를 들어, "너는 누구니?" 와 같은 내용일 수 있다.
음성대화장치(30)는 터치를 작동하지 않더라도, 자체적으로 음성검출 엔진을 사용하여 입력되는 소리가 사람의 음성인지를 판단할 수도 있다. 음성검출엔진에는 다양한 음성검출 알고리즘이 사용될 수 있다.
음성대화장치(30)는 입력된 사용자(10)의 음성 데이터를 휴대용 단말기(앱)(50)에 전송(S4)하고, 음성대화장치(30)의 발광다이오드(LED)는 다시 기본 색상인 청색으로 발광되어 표시(S5)된다.
음성대화장치(30)는 휴대용 단말기(앱)(50)로부터 응답 대화 및 이와 관련된 얼굴 표정 영상을 회신(S6)받아서 음성 출력부(32) 및 영상 출력부(36)로 출력(S7)한다. 여기서, 음성대화장치(30)가 단말기(50)로부터 회신 받는 응답 대화는 음성합성데이터로서 예를 들어, "저는 대화완구(인형) 얄리에요" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S8)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S9)된다.
도 7은 휴대용 단말기 앱에서 음성 대화를 생성하여 대화하는 경우의 일례를 나타내는 도면이다.
도 7을 참고하면, 휴대용 단말기(앱)(50)는 음성대화장치(30)를 통해서 음성이 전송되지 않아도, 응답 대화를 생성하여 음성합성(TTS)데이터로 변환하여 사운드의 형태로 음성합성데이터를 음성대화장치(30)로 전송(S1)한다.
음성대화장치(30)는 휴대용 단말기(앱)(50)로부터 전송되는 응답 대화 및 이와 관련된 얼굴 표정 영상을 수신 받아서 음성 출력부(32) 및 영상 출력부(36)로 출력(S2)한다. 여기서, 음성대화장치(30)가 휴대용 단말기(50)로부터 수신한 응답 대화는 음성합성데이터로서 예를 들어, "오늘은 월요일이에요" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S3)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S4)된다.
도 8은 본 발명의 음성대화장치의 전원 켜기의 일례를 나타내는 도면이다.
도 8을 참고하면, 사용자(10)가 음성대화장치(30)의 전원버튼, 터치 인식부(33) 등을 5초간 터치하면(S1), 음성대화장치(30)의 발광다이오드(LED)는 휴대용 단말기(앱)(50)로부터 음성합성데이터를 전송 받기 전까지 기본 색상인 청색으로 발광되어 표시(S2)된다.
음성대화장치(30)는 휴대용 단말기(앱)(50)와 페어링이 자동 연결되어 있을 경우 전원 온(on) 정보를 휴대용 단말기(앱)(50)로 전송(S3)하고, 휴대용 단말기(앱)(50)로부터 응답 대화(응답 데이터) 또는 이와 관련된 얼굴 표정 영상을 회신(S4)받아서 음성 출력부(32) 및 영상 출력부(36)로 출력(S5)한다. 여기서, 휴대용 단말기(앱)(50)는 응답 데이터를 음성합성(TTS)기능에 의해 음성으로 변환하고, 이 음성 데이터(Sound)를 압축하여 무선으로 음성대화장치(30)로 전송함에 따라 음성대화장치(30)는 휴대용 단말기(앱)(50)로부터 전송된 압축된 음성 데이터를 디코딩하여 음성 출력부(32)로 출력하며, 압축된 얼굴 표정 영상도 디코딩하여 영상 출력부(36)로 출력한다. 음성대화장치(30)가 휴대용 단말기(앱)(50)로부터 회신 받는 응답 대화는 음성합성(TTS)데이터로서 예를 들어, "안녕하세요. 반가워요" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S6)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S7)된다.
도 9는 본 발명의 페어링 기능의 일례를 나타내는 도면이다.
도 9를 참고하면, 사용자(10)가 음성대화장치(30)를 10초간 터치하면(S1), 음성대화장치(30)가 페어링 모드로 동작되어 발광다이오드(LED)가 백색으로 발광되어 표시(S2)된다.
휴대용 단말기(앱)(50)는 음성대화장치(30)와의 페어링 연결을 시도(S3)하고, 음성대화장치(30)는 휴대용 단말기(앱)(50)와의 페어링 연결이 되면 발광다이오드(LED)가 청색과 백색으로 깜박(S4)인다. 이어서, 페어링 성공정보를 휴대용 단말기(앱)(50)로 전송(S5)한다.
휴대용 단말기(앱)(50)는 음성대화장치(30)로 음성합성데이터를 전송(S6)하고, 음성대화장치(30)는 휴대용 단말기(앱)(50)로부터 음성합성데이터와 이와 관련된 얼굴 표정 영상을 수신하여 음성 출력부(32) 및 영상 출력부(36)로 출력(S7)한다. 여기서, 음성대화장치(30)가 휴대용 단말기(앱)(50)로부터 회신 받는 응답 대화는 음성합성데이터로서 예를 들어, "페어링이 연결되었어요" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S8)된 후, 출력이 끝나면 다시 기본 색상인 청색으로 발광되어 표시(S9)된다.
도 10은 본 발명의 음성대화장치의 배터리 방전 경고의 일례를 나타내는 도면이다.
도 10을 참고하면, 음성대화장치(30)에서 배터리 잔여량이 20% 이하인지를 확인하여, 배터리 잔여량이 20% 이하인 경우 배터리 방전 경고를 발광다이오드(LED)를 적색으로 깜박거리게 표시(S2)한다.
이어서, 음성대화장치(30)는 배터리 방전 정보를 휴대용 단말기(앱)(50)로 전송(S3)한다.
휴대용 단말기(앱)(50)는 음성대화장치(30)로 음성합성데이터를 전송(S4)하고, 음성대화장치(30)는 휴대용 단말기(앱)(50)로부터 음성합성데이터 및 이와 관련된 얼굴 표정 영상을 수신하여 음성 출력부(32) 및 영상 출력부(36)로 출력(S5)한다. 여기서, 음성대화장치(30)가 휴대용 단말기(앱)(50)로부터 회신 받는 응답 대화는 음성합성데이터로서 예를 들어, "배터리가 20% 남았습니다. 충전하세요" 와 같은 내용일 수 있다. 이러한 응답 대화 및 이와 관련된 얼굴 표정 영상이 음성대화장치(30)의 음성 출력부(32) 및 영상 출력부(36)로 출력되는 동안에 음성대화장치(30)의 발광다이오드(LED)는 미리 설정된 색 예를 들어, 황색으로 발광되어 표시(S6)되며, 배터리가 충전되기 전까지 주기적으로 반복해서 발광다이오드(LED)를 적색으로 깜박거리게 표시(S7)한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
30: 음성대화장치
50 : 휴대용 단말기

Claims (16)

  1. (a) 터치, 눈 주시, 또는 사용자 음성이 입력되는 경우 음성대화장치의 음성 입력부에서 사용자에 의해 입력되는 음성을 입력받는 단계,
    (b) 상기 음성대화장치의 유무선 통신부에서 상기 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하는 단계,
    (c) 상기 유무선 통신부에서 상기 휴대용 단말기에서 전송되는 응답 음성을 수신하는 단계, 그리고
    (d) 상기 음성대화장치의 음성 출력부에서 상기 유무선 통신부에서 음성을 전달받아 출력하는 단계
    를 포함하고,
    상기 단계(a)는,
    (a1) 상기 음성대화장치의 터치 인식부 또는 영상 출력부에서 사용자의 터치를 인식하는 단계,
    (a2) 상기 음성대화장치의 음성 입력부에서 상기 터치 인식부 또는 상기 영상 출력부에서 사용자의 터치가 인식되거나 사용자의 터치가 이루어지는 동안 사용자 음성이 입력되는 경우, 사용자에 의해 입력되는 음성을 입력받는 단계, 그리고
    (a3) 상기 음성대화장치의 음성 입력부에서 상기 터치 인식부 또는 상기 영상 출력부에서 사용자의 터치 없이 음성이 입력되는 경우, 사용자의 음성인지 여부를 판단하여 음성을 입력 받는 단계
    를 포함하는 유무선 통신 네트워크를 이용한 음성대화방법.
  2. 삭제
  3. (a) 터치, 눈 주시, 또는 사용자 음성이 입력되는 경우 음성대화장치의 음성 입력부에서 사용자에 의해 입력되는 음성을 입력받는 단계,
    (b) 상기 음성대화장치의 유무선 통신부에서 상기 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하는 단계,
    (c) 상기 유무선 통신부에서 상기 휴대용 단말기에서 전송되는 응답 음성을 수신하는 단계, 그리고
    (d) 상기 음성대화장치의 음성 출력부에서 상기 유무선 통신부에서 음성을 전달받아 출력하는 단계
    를 포함하고,
    상기 단계(a)는,
    (a1) 상기 음성대화장치의 영상 입력부에서 사용자의 눈 주시(eye contact)를 인식하는 단계,
    (a2) 상기 음성대화장치의 음성 입력부에서 상기 영상 입력부를 통하여 사용자의 눈 주시가 인식되거나 사용자의 눈 주시가 이루어지는 동안 사용자 음성이 입력되는 경우, 사용자에 의해 입력되는 음성을 입력받는 단계, 그리고
    (a3) 상기 음성대화장치의 음성 입력부에서 상기 영상 입력부를 통하여 사용자의 눈 주시 없이 음성이 입력되는 경우, 사용자의 음성인지 여부를 판단하여 음성을 입력 받는 단계
    를 포함하는 유무선 통신 네트워크를 이용한 음성대화방법.
  4. 제1항에서,
    상기 단계(d)에서, 상기 음성대화장치의 음성 출력부에서는, 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 상기 음성에 대하여 결정된 감정에 기초하여, 상기 음성대화장치의 발광부가 특정 색으로 발광되어 표시되는 유무선 통신 네트워크를 이용한 음성대화방법.
  5. 제4항에서,
    상기 발광부의 발광 색과 표시 주기는 상기 휴대용 단말기에서, 상기 음성에 대하여 결정된 감정에 기초하여 결정된 색과 표시 주기에 의해 표시되는 유무선 통신 네트워크를 이용한 음성대화방법.
  6. 제5항에서,
    상기 감정은 상기 음성을 텍스트로 변환한 후 자연어 텍스트에서 인식된 것인 유무선 통신 네트워크를 이용한 음성대화방법.
  7. 제1항에서,
    상기 단계(d)에서, 상기 음성대화장치의 영상 출력부에서는, 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 상기 음성에 대하여 결정된 감정에 기초하는 얼굴 표정 영상을 출력하는 유무선 통신 네트워크를 이용한 음성대화방법.
  8. 제1항에서,
    상기 단계(d)에서, 상기 음성대화장치의 영상 출력부에서는, 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 상기 음성에 대하여 결정된 감정에 기초하는 이모티콘을 출력하는 유무선 통신 네트워크를 이용한 음성대화방법.
  9. 터치, 눈 주시, 또는 사용자 음성이 입력되는 경우 사용자에 의해 입력되는 음성을 입력받는 음성 입력부,
    상기 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하고, 상기 휴대용 단말기에서 전송되는 음성을 수신하는 유무선 통신부, 그리고
    상기 유무선 통신부에서 음성을 전달받아 출력하는 음성 출력부
    를 포함하고,
    사용자의 터치를 인식하는 터치 인식부를 더 포함하며, 상기 터치 인식부에서 사용자의 터치가 인식되거나 사용자의 터치가 이루어지는 동안 사용자 음성이 입력되는 경우, 사용자에 의해 음성을 입력받는 유무선 통신 네트워크를 이용한 음성대화장치.
  10. 삭제
  11. 터치, 눈 주시, 또는 사용자 음성이 입력되는 경우 사용자에 의해 입력되는 음성을 입력받는 음성 입력부,
    상기 음성 입력부를 통해 입력된 음성을 전달받아 휴대용 단말기로 전송하고, 상기 휴대용 단말기에서 전송되는 음성을 수신하는 유무선 통신부, 그리고
    상기 유무선 통신부에서 음성을 전달받아 출력하는 음성 출력부
    를 포함하고,
    사용자의 영상을 입력받는 영상 입력부를 더 포함하며, 상기 영상 입력부에서 사용자의 눈 주시(eye contact)이 인식되거나 사용자의 눈 주시가 이루어지는 동안, 사용자에 의해 음성을 입력받는 유무선 통신 네트워크를 이용한 음성대화장치.
  12. 제9항에서,
    상기 음성 출력부에서 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 상기 음성에 대하여 결정된 감정에 기초하여, 특정 색으로 발광되어 표시되는 발광부를 더 포함하는 유무선 통신 네트워크를 이용한 음성대화장치.
  13. 제12항에서,
    상기 발광부의 발광 색과 표시 주기는 상기 휴대용 단말기에서, 상기 음성에 대하여 결정된 감정에 기초하여 결정된 색과 표시 주기에 의해 표시되는 유무선 통신 네트워크를 이용한 음성대화장치.
  14. 제13항에서,
    상기 감정은 상기 음성을 텍스트로 변환한 후 자연어 텍스트에서 인식된 것인 유무선 통신 네트워크를 이용한 음성대화장치.
  15. 제9항에서,
    영상을 출력하는 영상 출력부를 더 포함하며, 상기 음성 출력부에서 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 상기 영상 출력부는 상기 음성에 대하여 결정된 감정에 기초하는 얼굴 표정 영상을 출력하는 유무선 통신 네트워크를 이용한 음성대화장치.
  16. 제9항에서,
    영상을 출력하는 영상 출력부를 더 포함하며, 상기 음성 출력부에서 상기 유무선 통신부에서 음성을 전달받아 출력하는 동안, 상기 영상 출력부는 상기 음성에 대하여 결정된 감정에 기초하는 이모티콘을 출력하는 유무선 통신 네트워크를 이용한 음성대화장치.
KR1020140000063A 2013-04-09 2014-01-02 유무선 통신 네트워크를 이용한 음성대화방법 및 장치 KR101504699B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014002068A JP2014204429A (ja) 2013-04-09 2014-01-09 有無線通信ネットワークを用いた音声対話方法および装置
US14/150,955 US20140303982A1 (en) 2013-04-09 2014-01-09 Phonetic conversation method and device using wired and wiress communication
CN201410012267.2A CN104105223A (zh) 2013-04-09 2014-01-10 使用有线无线通信网的语音对话方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20130038746 2013-04-09
KR1020130038746 2013-04-09

Publications (2)

Publication Number Publication Date
KR20140122168A KR20140122168A (ko) 2014-10-17
KR101504699B1 true KR101504699B1 (ko) 2015-03-20

Family

ID=51993389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000063A KR101504699B1 (ko) 2013-04-09 2014-01-02 유무선 통신 네트워크를 이용한 음성대화방법 및 장치

Country Status (2)

Country Link
JP (1) JP2014204429A (ko)
KR (1) KR101504699B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786299B2 (en) 2014-12-04 2017-10-10 Microsoft Technology Licensing, Llc Emotion type classification for interactive dialog system
JP6767046B2 (ja) 2016-11-08 2020-10-14 国立研究開発法人情報通信研究機構 音声対話システム、音声対話装置、ユーザー端末、および音声対話方法
JP6508251B2 (ja) * 2017-04-27 2019-05-08 トヨタ自動車株式会社 音声対話システムおよび情報処理装置
KR101866446B1 (ko) * 2017-06-28 2018-06-11 (주) 나인원 음성 인식 서비스를 지원하는 스마트 토이 허브 시스템
JP6718623B2 (ja) * 2017-09-27 2020-07-08 一般社団法人Ｉｔ＆診断支援センター・北九州 猫型会話ロボット
JP7261122B2 (ja) 2019-08-20 2023-04-19 ネイバー コーポレーション システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072753A (ko) * 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
KR20090020417A (ko) * 2007-08-23 2009-02-26 전수연 완구 로봇
KR20110010865U (ko) * 2011-11-04 2011-11-22 박상철 이동통신기기의 음성처리기능과 무선통신기능을 이용한 대화형 음성작동 완구

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004236758A (ja) * 2003-02-04 2004-08-26 Shomei Ryu インタラクティブ玩具システム
JP4713846B2 (ja) * 2004-04-30 2011-06-29 独立行政法人科学技術振興機構 ロボット遠隔制御システム
US20060234602A1 (en) * 2004-06-08 2006-10-19 Speechgear, Inc. Figurine using wireless communication to harness external computing power
JP2008092336A (ja) * 2006-10-03 2008-04-17 Canon Inc 情報処理装置、送信機、情報処理システム、及びその方法
JP2008269072A (ja) * 2007-04-17 2008-11-06 Nec Corp 辞書作成システムおよび辞書作成方法
JP2010152237A (ja) * 2008-12-26 2010-07-08 Takao Hayashi 携帯電話システム
JP2011160260A (ja) * 2010-02-02 2011-08-18 Nakayo Telecommun Inc 電話主装置および電話機
JP5668553B2 (ja) * 2011-03-18 2015-02-12 富士通株式会社 音声誤検出判別装置、音声誤検出判別方法、およびプログラム
JP5691961B2 (ja) * 2011-09-14 2015-04-01 株式会社デンソー インターフェース装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000072753A (ko) * 2000-09-25 2000-12-05 오재덕 근거리 무선통신 수단을 내장한 지능형 장난감
KR20090020417A (ko) * 2007-08-23 2009-02-26 전수연 완구 로봇
KR20110010865U (ko) * 2011-11-04 2011-11-22 박상철 이동통신기기의 음성처리기능과 무선통신기능을 이용한 대화형 음성작동 완구

Also Published As

Publication number Publication date
JP2014204429A (ja) 2014-10-27
KR20140122168A (ko) 2014-10-17

Similar Documents

Publication Publication Date Title
KR101504699B1 (ko) 유무선 통신 네트워크를 이용한 음성대화방법 및 장치
US20200092625A1 (en) Smart device cover
CN108710615B (zh) 翻译方法及相关设备
CN107978316A (zh) 控制终端的方法及装置
US20140309996A1 (en) Voice control method and mobile terminal apparatus
KR100678212B1 (ko) 휴대단말기의 감정정보 제어방법
KR102056330B1 (ko) 통역장치 및 그 방법
US20080195394A1 (en) Device For Communication For Persons With Speech and/or Hearing Handicap
JP2006005945A (ja) 移動端末機使用者の感情伝達および表出方法、並びにその通信システム
CN106297786A (zh) 一种语音功能遥控开启方法及装置
CN109804358B (zh) 再现终端和再现方法
US20140303982A1 (en) Phonetic conversation method and device using wired and wiress communication
CN110097875A (zh) 基于麦克风信号的语音交互唤醒电子设备、方法和介质
CN111601215A (zh) 一种基于场景的关键信息提醒方法、系统及装置
KR20200045851A (ko) 음성 인식 서비스를 제공하는 전자 장치 및 시스템
KR101376292B1 (ko) 통화 중 감정 분석 서비스 제공 방법 및 장치
KR101454254B1 (ko) 유무선 통신 네트워크를 이용한 음성대화방법 및 휴대용 단말장치
KR101609585B1 (ko) 청각 장애인용 이동 통신 단말기
WO2016157993A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR101846218B1 (ko) 근거리 무선 통신망을 기반으로 청각 장애인의 음성 대화를 지원하는 청각 장애인용 언어통역 보조장치, 음성합성서버, 음성인식서버, 알람 장치, 강연장 로컬 서버, 및 음성 통화 지원 어플리케이션
CN105997084B (zh) 一种人体口气的检测方法及装置
WO2022160938A1 (zh) 紧急求助功能的触发方法、装置、终端及存储介质
CN212588503U (zh) 一种嵌入式音频播放装置
CN112863511B (zh) 信号处理方法、装置以及存储介质
CN101640860B (zh) 用于通信的方法、用于通信的相关系统和相关的转换部件

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190424

Year of fee payment: 5

R401 Registration of restoration