KR20140100704A - 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 - Google Patents

음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 Download PDF

Info

Publication number
KR20140100704A
KR20140100704A KR1020130013757A KR20130013757A KR20140100704A KR 20140100704 A KR20140100704 A KR 20140100704A KR 1020130013757 A KR1020130013757 A KR 1020130013757A KR 20130013757 A KR20130013757 A KR 20130013757A KR 20140100704 A KR20140100704 A KR 20140100704A
Authority
KR
South Korea
Prior art keywords
content
user
criterion
voice
output
Prior art date
Application number
KR1020130013757A
Other languages
English (en)
Other versions
KR102050897B1 (ko
Inventor
안지현
김소라
김진용
김현경
김희운
안유미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130013757A priority Critical patent/KR102050897B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14154157.3A priority patent/EP2765762B1/en
Priority to AU2014200660A priority patent/AU2014200660B2/en
Priority to TW103103940A priority patent/TWI628650B/zh
Priority to CA2842005A priority patent/CA2842005A1/en
Priority to JP2014022080A priority patent/JP6541934B2/ja
Priority to CN201410044807.5A priority patent/CN103984408A/zh
Priority to US14/175,557 priority patent/US20140222432A1/en
Priority to RU2014104373A priority patent/RU2661791C2/ru
Priority to BR102014003021-2A priority patent/BR102014003021A2/pt
Publication of KR20140100704A publication Critical patent/KR20140100704A/ko
Application granted granted Critical
Publication of KR102050897B1 publication Critical patent/KR102050897B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법에 관한 것으로서, 본 발명에 따른 휴대 단말기는, 사용자와 관련된 제1기준을 기반으로 콘텐츠를 선택하고, 사용자와 관련된 제2기준을 기초로 콘텐츠 출력 방식을 결정하며, 선택된 콘텐츠를 콘텐츠 출력 방식에 따라 출력한다.

Description

음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법{MOBILE TERMINAL COMPRISING VOICE COMMUNICATION FUNCTION AND VOICE COMMUNICATION METHOD THEREOF}
본 발명은 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법에 관한 것이다. 보다 구체적으로, 본 발명은 사용자의 현재 감정 상태, 연령, 성별 등에 따라 적합한 콘텐츠를 출력하는 휴대 단말기 및 이의 음성 대화 방법에 관한 것이다.
종래의 음성 대화 기능은 단말 제조사 등에서 기본적으로 제공되는 대답 세트를 기반으로 기본 대답 세트 안에서 사용자의 질문에 대한 대답이 이루어진다. 이에 따라 음성 대화 기능을 사용하는 사용자와는 무관하게 동일한 질문에 대해서는 일률적으로 동일한 대답을 사용자에게 제공하는 한계가 있다. 이에 따라, 음성 대화 기능을 구비한 휴대 단말기를 다수의 사용자가 이용하는 경우, 사용자별로 최적화된 답변을 제공하지 못하는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 현재 감정 상태, 연령, 성별 등에 따라 적합한 콘텐츠를 출력하는 휴대 단말기 및 이의 음성 대화 방법을 제공하는 것을 목적으로 한다.
상기와 같은 문제점을 해결하기 위한 본 발명에 따른 음성 대화 기능을 구비한 휴대 단말기는, 표시부; 오디오 처리부; 및 사용자의 입력에 대응하여 상기 사용자와 관련된 제1기준을 기반으로 콘텐츠를 선택하고, 상기 사용자와 관련된 제2기준을 기초로 콘텐츠 출력 방식을 결정하며, 상기 선택된 콘텐츠를 상기 콘텐츠 출력 방식에 따라 상기 표시부 및 상기 오디오 처리부를 통해 출력하는 제어부;를 포함한다.
또한, 본 발명에 따른 휴대 단말기의 음성 대화 방법은, 사용자의 입력에 대응하여 상기 사용자와 관련된 제1기준을 기반으로 콘텐츠를 선택하는 단계; 상기 사용자와 관련된 제2기준을 기초로 콘텐츠 출력 방식을 결정하는 단계; 및 상기 선택된 콘텐츠를 상기 콘텐츠 출력 방식에 따라 출력하는 단계;를 포함한다.
본 발명에 따르면, 사용자의 현재 감정 상태에 적합한 콘텐츠를 선택하고, 사용자의 연령, 성별 등에 따라 콘텐츠 출력 방식을 결정한다. 따라서, 사용자에게 보다 적합한 맞춤형 콘텐츠를 제공할 수 있다. 이로 인해, 현실적인 음성 대화 기능의 제공이 가능하다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말기(100)의 내부 구조를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 음성 대화 기능의 동작 과정을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 감정 상태별 콘텐츠 정보의 일례를 설명하기 위한 도면이다.
도 4 및 도 5는 각각 본 발명의 일 실시예에 따른 제1기준에 기반한 콘텐츠 출력의 일례를 설명하기 위한 도면이다.
도 6은 도 2에 도시한 제1기준 획득 단계(S220)를 보다 구체적으로 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 과거 콘텐츠 재생 이력의 일례를 설명하기 위한 도면이다.
도 8 및 도 9는 각각 본 발명의 일 실시예에 따른 제1기준에 기반한 콘텐츠 출력의 다른 예를 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 과거 감정 상태에 따른 콘텐츠 출력 이력의 일례를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 제1기준에 기반한 콘텐츠 출력의 또 다른 예를 설명하기 위한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 음성 대화 기능의 동작을 설명하기 위한 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성요소는 가능한 동일한 부호로 나타내고 있음에 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말기(100)의 내부 구조를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 휴대 단말기(100)는 무선 통신부(110), 카메라부(120), 위치 측정부(130), 오디오 처리부(140), 표시부(150), 저장부(160) 및 제어부(170)를 포함할 수 있다.
무선 통신부(110)는 휴대 단말기(100)의 무선 통신을 위한 해당 데이터의 송수신 기능을 수행한다. 무선 통신부(110)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 또한, 무선 통신부(110)는 무선 채널을 통해 데이터를 수신하여 제어부(170)로 출력하고, 제어부(170)로부터 출력된 데이터를 무선 채널을 통해 전송할 수 있다.
카메라부(120)는 비디오 신호를 입력받는 기능을 수행한다. 카메라부(120)는 화상 통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지 영상, 동영상 등의 화상 프레임을 처리한다. 카메라부(120)에서 처리된 화상 프레임은 표시부(150)를 통해 출력될 수 있다. 또한, 카메라부(120)에서 처리된 화상 프레임은 저장부(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다.
카메라부(120)는 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다. 예컨대, 휴대 단말기(100)에서 표시부(150)가 배치된 면과 배치되지 않은 면 각각에 카메라부(120)가 구비될 수 있다.
위치 측정부(130)는 위성 신호 수신 모듈(도시하지 않음)을 구비하고, 인공위성(도시하지 않음)으로부터 수신한 신호를 통해 휴대 단말기(100)의 현재 위치를 측정할 수 있다. 또한, 위치 측정부(130)는 무선 통신부(110)를 통해 시설물 내부나 외부에 설치된 무선 통신 기기에서 송신되는 신호를 통해 휴대 단말기(100)의 현재 위치를 측정할 수도 있다.
오디오 처리부(140)는 코덱(CODEC)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱으로 구성될 수 있다. 오디오 처리부(140)는 디지털 오디오 신호를 오디오 코덱을 통해 아날로그 오디오 신호로 변환하여 스피커(SPK)를 통해 재생하고, 마이크(MIC)로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오 신호로 변환한다.
표시부(150)는 휴대 단말기(100)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(150)는 휴대 단말기(100)의 부팅 화면, 대기 화면, 메뉴 화면, 통화 화면, 기타 어플리케이션 화면을 출력하는 기능을 수행한다.
표시부(150)는 액정 디스플레이(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 형성될 수 있다.
저장부(160)는 휴대 단말기(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 휴대 단말기(100)의 전반적인 동작을 제어하는 프로그램 및 휴대 단말기(100)를 부팅시키는 운영체제(OS, Operating System), 멀티미디어 콘텐츠 재생 등에 필요한 응용 프로그램, 휴대 단말기(100)의 기타 옵션 기능, 예컨대, 음성 대화 기능, 카메라 기능, 소리 재생 기능, 이미지 또는 동영상 재생 기능에 필요한 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 휴대 단말기(100)의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 이미지, 동영상, 폰 북, 오디오 데이터 등을 저장할 수 있다.
제어부(170)는 휴대 단말기의 각 구성 요소에 대한 전반적인 동작을 제어한다. 제어부(170)는 휴대 단말기(100)에 구비된 음성 대화 기능이 사용자의 조작에 의해 실행되면, 오디오 처리부(140)를 통해 사용자의 음성을 입력받고, 사용자의 음성에 대응되는 콘텐츠(content)를 표시부(150)에 디스플레이한다. 아울러, 제어부(170)는 사용자의 음성에 대응되는 콘텐츠를 오디오 처리부(140)를 통해 재생할 수 있다. 여기서, 콘텐츠란 문구 등과 같은 텍스트 콘텐츠, 이미지, 노래, 영화, 동영상 등과 같은 멀티미디어 콘텐츠, 날씨, 추천 장소, 자주 연락하거나 받는 사람 등과 같은 정보 콘텐츠를 말한다.
보다 자세하게 설명하면, 제어부(170)는 사용자의 음성을 인식하여 사용자의 음성으로부터 사용자에 의해 발화된 문구를 획득한다. 그런 다음, 제어부(170)는 문구에 대응되는 콘텐츠를 선택하고, 선택된 콘텐츠를 표시부(150) 및 오디오 처리부(140)를 통해 출력한다. 이때, 제어부(170)는 문구가 의미하는 내용을 파악하고, 저장부(160)에 저장된 문구 내용별 콘텐츠 정보에서 문구에 대응되는 콘텐츠를 선택할 수 있다.
이와 같이, 사용자는 휴대 단말기(100)와 음성으로 대화하면서 각종 콘텐츠를 제공받음으로써 필요한 정보를 얻을 수 있다. 예컨대, 사용자가 "오늘의 날씨는?"이라는 문구를 발화하면, 휴대 단말기(100)는 사용자의 음성을 오디오 처리부(140)를 통해 입력받게 된다. 그러면, 휴대 단말기(100)는 사용자의 음성으로부터 획득한 문구인 "오늘의 날씨는?"에 대응되는 콘텐츠(날씨 정보)를 선택하여 표시부(150) 및 오디오 처리부(140)를 통해 출력할 수 있다.
특히, 본 발명에 따른 제어부(170)는 음성 대화 기능 실행 시 사용자의 현재 감정 상태, 연령, 성별 등에 따라 적합한 콘텐츠를 표시부(150) 및 오디오 처리부(140)를 통해 출력할 수 있다. 이를 위해, 본 발명의 실시예에 따른 제어부(170)는 콘텐츠 선택부(171) 및 콘텐츠 출력부(175)를 구비할 수 있다.
도 2는 본 발명의 일 실시예에 따른 음성 대화 기능의 동작 과정을 설명하기 위한 순서도이다.
도 2를 참조하면, 휴대 단말기(100)에 구비된 음성 대화 기능이 실행되면(S210), 콘텐츠 선택부(171)는 사용자와 관련된 제1기준을 획득한다(S220). 여기서, 제1기준은 사용자의 현재 감정 상태를 나타내다. 그리고, 감정 상태란 기쁨, 즐거움, 화남, 놀람 등과 같이 사람이 어떤 현상이나 일에 대하여 일어나는 마음이나 느끼는 기분을 말한다.
이후, 오디오 처리부(140)를 통해 사용자의 음성이 입력되면(S230-Y), 콘텐츠 선택부(171)는 제1기준을 입력된 사용자의 음성에 대응되는 콘텐츠를 선택한다(S240). 보다 자세하게 설명하면, 콘텐츠 선택부(171)는 사용자의 음성으로부터 사용자에 의해 발화된 문구를 획득한다. 그리고, 콘텐츠 선택부(171)는 문구에 대응되는 콘텐츠를 추출한다. 그런 다음, 콘텐츠 선택부(171)는 추출된 콘텐츠 중에서 제1기준을 기반으로 미리 결정된 감정 상태별 콘텐츠 정보를 이용하여 콘텐츠를 선택한다. 여기서, 감정 상태별 콘텐츠 정보는 미리 구축되어 저장부(160)에 저장될 수 있다. 물론, 콘텐츠 선택부(171)는 제1기준을 기반으로 먼저 콘텐츠를 추출한 후, 추출된 콘텐츠 중에서 문구에 대응되는 콘텐츠를 선택할 수도 있다.
이에 반면, 사용자의 음성이 입력되지 않으면(S230-N), 콘텐츠 선택부(171)는 제1기준을 기반으로 콘텐츠를 선택한다(S250).
콘텐츠가 선택되면, 콘텐츠 출력부(175)는 사용자와 관련된 제2기준을 획득한다(S260). 여기서, 제2기준은 사용자의 연령 및 성별 중 적어도 하나를 포함할 수 있다. 사용자의 연령은 사용자의 정확한 연령이거나 미리 결정된 복수의 연령대 중에서 하나일 수 있다. 예컨대, 연령 정보는 "30살", "50살" 등과 같이 정확한 연령이거나, "10대", "20대", "50대", "어린이", "성인", "노인" 등과 같은 연령대일 수 있다.
보다 자세히 설명하면, 콘텐츠 출력부(175)는 카메라부(120)를 통해 사용자의 얼굴 영상을 입력받는다. 콘텐츠 출력부(175)는 저장부(160)에 저장된 연령대별 평균 얼굴 정보 또는 성별 평균 얼굴 정보를 이용하여 사용자의 얼굴 영상으로부터 제2기준을 자동으로 획득할 수 있다. 또한, 콘텐츠 출력부(175)는 오디오 처리부(140)를 통해 사용자의 음성을 입력받는다. 그리고, 콘텐츠 출력부(175)는 저장부(160)에 저장된 연령대별 평균 음성 정보 또는 성별 평균 음성 정보를 이용하여 사용자의 음성으로부터 제2기준을 자동으로 획득할 수 있다. 아울러, 콘텐츠 출력부(175)는 사용자의 음성으로부터 획득한 문구를 구성하는 단어를 기반으로 제2기준을 획득할 수도 있다. 이때, 콘텐츠 출력부(165)는 저장부(160)에 저장된 연령대별 사용 단어 정보 또는 성별 사용 단어 정보를 이용하여 제2기준을 획득할 수 있다. 예컨대, 사용자의 음성으로부터 획득한 문구가 "I want a new jim-jams"이면, 문구를 구성하는 단어인 "jim-jams"으로부터 사용자의 연령대가 "어린이"임을 알 수 있다.
물론, 콘텐츠 출력부(175)는 사용자의 얼굴 영상과 음성을 모두를 기반으로 제2기준을 획득할 수도 있다. 한편, 본 발명에 따른 콘텐츠 출력부(175)는 사용자의 얼굴 영상이나 음성을 기반으로 제2기준을 획득하는 것으로 설명하였으나, 이에 한정되지 않고 실시예에 따라 사용자로부터 직접 입력받을 수도 있다. 이 경우, 사용자로부터 입력된 제2기준은 저장부(160)에 저장된다. 그리고, 콘텐츠 출력부(175)는 저장부(160)에 저장된 제2기준 정보를 이용하여 기능을 수행한다.
제2기준이 획득되면, 콘텐츠 출력부(175)는 제2기준을 기초로 콘텐츠 출력 방식을 결정한다(S270). 즉, 콘텐츠 출력부(175)는 제2기준을 기반으로 콘텐츠 선택부(171)에 의해 선택된 콘텐츠를 구성하는 단어, 선택된 콘텐츠의 출력 속도, 선택된 콘텐츠의 출력 크기 등을 변경하여 콘텐츠 출력 방식을 결정한다.
보다 자세하게 설명하면, 콘텐츠 출력부(175)는 저장부(160)에 저장된 연령대별 사용 단어 정보 또는 성별 사용 단어 정보를 이용하여 선택된 콘텐츠를 구성하는 단어를 제2기준에 따라 적합한 단어로 변경할 수 있다. 예컨대, 콘텐츠가 "Pajamas store"이고 사용자의 연령대가 "어린이"이면, 콘텐츠 출력부(175)는 연령대별 사용 단어 정보를 이용하여 "Pajamas"를 어린이에게 적합한 단어인 "Jimjams"로 변경한다.
그리고, 콘텐츠 출력부(175)는 저장부(160)에 저장된 연령대별 출력 속도 정보 또는 성별 출력 속도 정보를 이용하여 선택된 콘텐츠의 출력 속도를 결정한다. 예컨대, 사용자의 연령대가 "어린이" 또는 "노인"이면, 콘텐츠 출력부(175)는 연령대별 출력 속도 정보를 이용하여 선택된 콘텐츠의 음성 재생 속도를 느리게 할 수 있다.
또한, 콘텐츠 출력부(175)는 저장부(160)에 저장된 연령대별 출력 크기 정보 또는 성별 출력 크기 정보를 이용하여 선택된 콘텐츠의 출력 크기를 결정한다. 예컨대, 사용자의 연령대가 "노인"이면, 콘텐츠 출력부(175)는 연령대별 출력 크기 정보를 이용하여 선택된 콘텐츠의 음량을 크게 하고 선택된 콘텐츠의 디스플레이 크기(예컨대, 글자 크기 등)를 크게 할 수 있다.
다시 말하면, 저장부(160)는 연령대와 성별에 따라 콘텐츠 출력 방식(콘텐츠의 출력 속도, 출력 크기 등)이 매핑되어 있는 테이블을 저장하고 있고, 콘텐츠 출력부(175)는 저장부(160)에 저장된 테이블을 기반으로 제2기준을 이용하여 선택된 콘텐츠의 출력 방식을 결정할 수 있다.
콘텐츠 출력 방식이 결정되면, 콘텐츠 출력부(175)는 결정된 콘텐츠 출력 방식에 따라 콘텐츠 선택부(171)에 의해 선택된 콘텐츠를 표시부(150) 및 오디오 처리부(140)를 통해 출력한다(S280).
이후, 음성 대화 기능이 종료되면(S290-Y), 제어부(170)는 음성 대화 기능의 실행을 중단한다. 이에 반면, 음성 대화 기능이 종료되지 않으면(S290-N), S220 단계로 진행한다.
이와 같이, 사용자의 현재 감정 상태에 적합한 콘텐츠를 선택하고, 사용자의 연령, 성별 등에 따라 콘텐츠 출력 방식을 결정함으로써, 사용자에게 보다 적합한 맞춤형 콘텐츠를 제공할 수 있다. 이로 인해, 보다 현실적인 음성 대화 기능의 제공이 가능하다.
한편, 오디오 처리부(140)를 통해 입력된 사용자의 음성으로부터 획득한 문구가 콘텐츠 출력 방식의 변경 요구이면, 콘텐츠 출력부(175)는 문구에 따라 콘텐츠 출력 방식을 변경한다. 예컨대, 제2기준을 기초로 결정된 콘텐츠 출력 방식에 따라 콘텐츠가 출력된 후에, 문구 "Can you speak faster and more quiet?"가 사용자에 의해 발화되면, 콘텐츠 출력부(175)는 문구에 따라 음성 재생 속도를 한 단계 더 빠르게 하고 음량을 한 단계 더 작게 변경한다.
그리고, 콘텐츠 출력부(175)는 변경된 콘텐츠 출력 방식을 저장부(160)에 저장할 수 있다. 이후, 콘텐츠 출력부(175)는 제2기준을 기초로 결정된 콘텐츠 출력 방식을 저장부(160)에 저장된 과거 콘텐츠 출력 방식 이력을 이용하여 변경한다. 콘텐츠 출력부(175)는 변경된 콘텐츠 출력 방식에 따라 선택된 콘텐츠를 출력할 수 있다.
그러면, 도 3 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 콘텐츠 출력의 일례에 대하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 감정 상태별 콘텐츠 정보의 일례를 설명하기 위한 도면이고, 도 4 및 도 5는 각각 본 발명의 일 실시예에 따른 제1기준에 기반한 콘텐츠 출력의 일례를 설명하기 위한 도면이다.
도 3을 참조하면, 감정 상태별로 대응되는 콘텐츠가 미리 결정되어 있다. 감정 상태 "기쁨"에는 "콘텐츠 A"가 대응되어 있고, 감정 상태 "즐거움"에는 "콘텐츠 B"가 대응되어 있으며, 감정 상태 "화남"에는 "콘텐츠 C"가 대응되어 있고, 감정 상태 "놀람"에는 "콘텐츠 D"가 대응되어 있다. 이와 같은 감정 상태별 콘텐츠 정보는 미리 구축되어 저장부(160)에 저장되어 있다.
콘텐츠 선택부(171)는 위와 같은 감정 상태별 콘텐츠 정보에서 제1기준(사용자의 현재 감정 상태)에 적합한 콘텐츠를 선택할 수 있다.
도 4를 참조하면, 콘텐츠 선택부(171)는 오디오 처리부(140)를 통해 입력된 사용자의 음성으로부터 획득한 문구(UT)와 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠로, 사용자의 현재 감정 상태가 "기쁨"이면 "콘텐츠 A"(AT1)를 선택하고 사용자의 현재 감정 상태가 "즐거움"이면 "콘텐츠 B"(AT2)를 선택한다.
도 5를 참조하면, 콘텐츠 선택부(171)는 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠로, 사용자의 현재 감정 상태가 "화남"이면 "콘텐츠 C(AT1)"를 선택하고 사용자의 현재 감정 상태가 "놀람"이면 "콘텐츠 D(AT2)"를 선택한다.
한편, 감정 상태별로 하나의 콘텐츠가 대응되어 있는 것으로 도 3에 도시하였으나, 이에 한정되지 않고 실시예에 따라 감정 상태별로 복수의 콘텐츠가 대응되어 있을 수 있다. 이 경우, 콘텐츠 선택부(171)는 제1기준(사용자의 현재 감정 상태)에 대응되는 복수의 콘텐츠 중 랜덤하게 하나의 콘텐츠를 선택할 수 있다.
또한, 감정 상태별로 콘텐츠 그룹이 대응되어 있을 수도 있다. 콘텐츠 그룹은 서로 동일/유사한 속성을 가지는 콘텐츠들의 집합체를 말한다. 예컨대, 콘텐츠 그룹에는 장르가 "액션"인 영화 콘텐츠 그룹, 장르가 "R&B"인 노래 콘텐츠 그룹 등이 있다. 이 경우, 콘텐츠 선택부(171)는 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠 그룹에 속하는 콘텐츠들 중에서 랜덤하게 하나의 콘텐츠를 선택할 수 있다.
그러면, 도 6을 참조하여 본 발명의 일 실시예에 따른 제1기준 획득 과정에 대하여 보다 자세하게 설명한다.
도 6은 도 2에 도시한 제1기준 획득 단계(S220)를 보다 구체적으로 설명하기 위한 순서도이다.
도 6을 참조하면, 콘텐츠 선택부(171)는 카메라부(120)를 통해 사용자의 얼굴 영상을 획득하고(S310), 획득한 얼굴 영상에서 얼굴 영역을 검출한다(S320). 즉, 콘텐츠 선택부(171)는 얼굴 영상에서 눈, 코, 입이 위치하는 얼굴 영역을 검출한다.
그런 다음, 콘텐츠 선택부(171)는 검출한 얼굴 영역에서 눈, 코, 입에 대한 기준점(Fiducial Point)을 추출하고(S330), 추출한 기준점을 기반으로 표정을 인식한다(S340). 즉, 콘텐츠 선택부(171)는 저장부(160)에 저장되어 있는 표정별 기준점 정보를 이용하여 사용자의 현재 표정을 인식한다.
이후, 콘텐츠 선택부(171)는 미리 결정된 감정 상태별 표정 정보에서 인식된 표정을 기반으로 제1기준을 자동으로 획득한다(S350). 여기서, 감정 상태별 표정 정보는 미리 구축되어 저장부(160)에 저장될 수 있다.
한편, 본 발명에 따른 콘텐츠 선택부(171)는 사용자의 얼굴 영상을 기반으로 제1기준을 획득하는 것으로 설명하였으나, 이에 한정되지 않고 실시예에 따라 사용자로부터 직접 입력받을 수도 있다. 이 경우, 사용자로부터 입력된 제1기준은 저장부(160)에 저장된다. 그리고, 콘텐츠 선택부(171)는 저장부(160)에 저장된 제1기준 정보를 이용하여 기능을 수행한다.
그러면, 도 7 내지 도 9를 참조하여 본 발명의 일 실시예에 따른 콘텐츠 출력의 다른 예에 대하여 설명한다.
도 7은 본 발명의 일 실시예에 따른 과거 콘텐츠 재생 이력의 일례를 설명하기 위한 도면이고, 도 8 및 도 9는 각각 본 발명의 일 실시예에 따른 제1기준에 기반한 콘텐츠 출력의 다른 예를 설명하기 위한 도면이다.
콘텐츠 선택부(171)는 사용자의 과거 콘텐츠 재생 이력을 이용하여 제1기준(사용자의 현재 감정 상태)을 기반으로 콘텐츠를 선택할 수 있다. 과거 콘텐츠 재생 이력은 저장부(160)에 저장되어 있으며, 사용자의 조작에 의해 콘텐츠가 재생될 때마다 갱신된다.
도 7을 참조하면, 콘텐츠별로 과거 재생 횟수가 저장부(160)에 저장되어 있다. "콘텐츠 A1"은 과거에 3회 재생이 되었고, "콘텐츠 A2"는 과거에 10회 재생이 되었으며, "콘텐츠 B1"은 과거에 5회 재생이 되었고, "콘텐츠 B2"는 과거에 2회 재생이 되었으며, "콘텐츠 C1"은 과거에 8회 재생이 되었고, "콘텐츠 C2"는 과거에 15회 재생이 되었으며, "콘텐츠 D1"은 과거에 2회 재생이 되었고, "콘텐츠 D2"는 과거에 1회 재생이 되었다. 그리고, "콘텐츠 A1, A2"는 감정 상태 "기쁨"에 대응되어 있고, "콘텐츠 B1, B2"는 감정 상태 "즐거움"에 대응되어 있으며, "콘텐츠 C1, C2"는 감정 상태 "화남"에 대응되어 있고, "콘텐츠 D1, D2"는 감정 상태 "놀람"에 대응되어 있다(도 3 참조).
콘텐츠 선택부(171)는 위와 같은 과거 콘텐츠 재생 이력을 이용하여 제1기준(사용자의 현재 감정 상태)에 적합한 복수의 콘텐츠 중에서 하나를 선택할 수 있다.
도 8을 참조하면, 제1기준(사용자의 현재 감정 상태)이 "기쁨"이면, 콘텐츠 선택부(171)는 "콘텐츠 A1"과 "콘텐츠 A2" 중에서 사용자에 의해 과거에 재생이 더 자주 이루어진 "콘텐츠 A2"를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠(AT1)로 선택한다. 그리고, 제1기준(사용자의 현재 감정 상태)이 "즐거움"이면, 콘텐츠 선택부(171)는 "콘텐츠 B1"과 "콘텐츠 B2" 중에서 사용자에 의해 과거에 재생이 더 자주 이루어진 "콘텐츠 B1"를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠(AT2)로 선택한다.
이때, 콘텐츠 선택부(171)는 제1기준(사용자의 현재 감정 상태)에 적합한 복수의 콘텐츠를 전부 선택할 수 있다. 그러면, 콘텐츠 출력부(175)는 위와 같은 과거 콘텐츠 재생 이력을 이용하여 선택된 복수의 콘텐츠의 출력 위치를 결정할 수 있다.
도 9를 참조하면, 제1기준(사용자의 현재 감정 상태)이 "기쁨"이면, 콘텐츠 선택부(171)는 "콘텐츠 A1"과 "콘텐츠 A2" 전부를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠(AT1)로 선택한다. 그러면, 콘텐츠 출력부(175)는 사용자에 의해 과거에 재생이 더 자주 이루어진 "콘텐츠 A2"의 아래에 "콘텐츠 A1"이 위치하도록 선택된 콘텐츠(AT1)를 출력한다. 그리고, 제1기준(사용자의 현재 감정 상태)이 "즐거움"이면, 콘텐츠 선택부(171)는 "콘텐츠 B1"과 "콘텐츠 B2" 전부를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠(AT2)로 선택한다. 그러면, 콘텐츠 출력부(175)는 사용자에 의해 과거에 재생이 더 자주 이루어진 "콘텐츠 B1"의 아래에 "콘텐츠 B2"가 위치하도록 선택된 콘텐츠(AT2)를 출력한다.
그러면, 도 10 및 도 11을 참조하여 본 발명의 일 실시예에 따른 콘텐츠 출력의 또 다른 예에 대하여 설명한다.
도 10은 본 발명의 일 실시예에 따른 과거 감정 상태에 따른 콘텐츠 출력 이력의 일례를 설명하기 위한 도면이고, 도 11은 본 발명의 일 실시예에 따른 제1기준에 기반한 콘텐츠 출력의 또 다른 예를 설명하기 위한 도면이다.
콘텐츠 선택부(171)는 사용자의 과거 감정 상태에 따른 콘텐츠 출력 이력을 이용하여 제1기준(사용자의 현재 감정 상태)을 기반으로 콘텐츠를 선택할 수 있다. 과거 감정 상태에 따른 콘텐츠 출력 이력은 저장부(160)에 저장되어 있으며, 음성 대화 기능 실행 도중 사용자의 감정 상태에 기반한 콘텐츠가 출력될 때마다 갱신된다.
도 10을 참조하면, 과거 감정 상태에 따른 콘텐츠의 과거 출력 횟수가 저장부(160)에 저장되어 있다. "콘텐츠 A1"은 과거에 3회 출력이 되었고, "콘텐츠 A2"는 과거에 8회 출력이 되었으며, "콘텐츠 B1"은 과거에 4회 출력이 되었고, "콘텐츠 B2"는 과거에 1회 출력이 되었으며, "콘텐츠 C1"은 과거에 3회 출력이 되었고, "콘텐츠 C2"는 과거에 11회 출력이 되었으며, "콘텐츠 D1"은 과거에 2회 출력이 되었고, "콘텐츠 D2"는 과거에 5회 출력이 되었다.
콘텐츠 선택부(171)는 위와 같은 과거 감정 상태에 따른 콘텐츠 출력 이력을 이용하여 제1기준(사용자의 현재 감정 상태)에 적합한 복수의 콘텐츠 중에서 하나를 선택할 수 있다.
도 11을 참조하면, 제1기준(사용자의 현재 감정 상태)이 "기쁨"이면, 콘텐츠 선택부(171)는 "콘텐츠 A1"과 "콘텐츠 A2" 중에서 사용자의 과거 감정 상태에 따라 출력이 더 자주 이루어진 "콘텐츠 A2"를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠(AT1)로 선택한다. 그리고, 제1기준(사용자의 현재 감정 상태)이 "즐거움"이면, 콘텐츠 선택부(171)는 "콘텐츠 B1"과 "콘텐츠 B2" 중에서 사용자의 과거 감정 상태에 따라 출력이 더 자주 이루어진 "콘텐츠 B1"를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠(AT2)로 선택한다.
이때, 콘텐츠 선택부(171)는 제1기준(사용자의 현재 감정 상태)에 적합한 복수의 콘텐츠를 전부 선택할 수 있다. 그러면, 콘텐츠 출력부(175)는 위와 같은 과거 감정 상태에 따른 콘텐츠 출력 이력을 이용하여 선택된 복수의 콘텐츠의 출력 위치를 결정할 수 있다. 예컨대, 제1기준(사용자의 현재 감정 상태)이 "기쁨"이면, 콘텐츠 선택부(171)는 "콘텐츠 A1"과 "콘텐츠 A2" 전부를 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠로 선택한다. 그러면, 콘텐츠 출력부(175)는 사용자의 과거 감정 상태에 따라 출력이 더 자주 이루어진 "콘텐츠 A2"의 아래에 "콘텐츠 A1"이 위치하도록 선택된 콘텐츠를 출력한다.
그러면, 본 발명의 일 실시예에 따른 콘텐츠 출력의 또 다른 예에 대하여 설명한다.
콘텐츠 선택부(171)는 위치 측정부(130)를 통해 측정된 휴대 단말기(100)의 현재 위치 정보를 이용하여 제1기준(사용자의 현재 감정 상태)을 기반으로 콘텐츠를 선택할 수 있다. 보다 자세하게 설명하면, 콘텐츠 선택부(171)는 제1기준(사용자의 현재 감정 상태)을 기반으로 복수의 콘텐츠를 획득한다. 그런 다음, 콘텐츠 선택부(171)는 획득한 복수의 콘텐츠 중에서 휴대 단말기(100)의 현재 위치 정보를 이용하여 미리 설정된 반경 이내에 속하는 콘텐츠를 선택한다. 예컨대, 콘텐츠가 추천 장소(식당, 카페, 레스토랑 등)와 같은 정보 콘텐츠인 경우, 콘텐츠 선택부(171)는 휴대 단말기(100)의 현재 위치 정보를 기반으로 휴대 단말기(100)의 현재 위치에 보다 적합한 콘텐츠를 선택할 수 있다.
물론, 콘텐츠 선택부(171)는 휴대 단말기(100)의 현재 위치 정보를 이용하여 미리 설정된 반경 이내에 속하는 복수의 콘텐츠를 획득한 후, 획득된 콘텐츠 중에서 제1기준(사용자의 현재 감정 상태)에 대응되는 콘텐츠를 선택할 수도 있다.
한편, 본 발명에 따른 제어부(170), 콘텐츠 선택부(171) 및 콘텐츠 출력부(175)가 별도의 블록으로 구성되고, 각 블록이 서로 상이한 기능을 수행하는 것으로 설명하였지만, 이는 설명상의 편의를 위한 것일 뿐, 반드시 이와 같이 각 기능이 구분되어 지는 것은 아니다. 예컨대, 콘텐츠 선택부(171)와 콘텐츠 출력부(175)가 수행하는 특정 기능을 제어부(170) 자체가 수행할 수도 있다.
그러면, 도 12를 참조하여 본 발명의 다른 실시예에 따른 음성 대화 기능의 동작 과정에 대하여 설명한다.
도 12는 본 발명의 다른 실시예에 따른 음성 대화 기능의 동작을 설명하기 위한 블록도이다.
본 실시예에 따른 휴대 단말기(100)는 앞선 실시예에 따른 휴대 단말기(100)와 실질적으로 동일하므로 자세한 설명은 생략한다. 본 실시예에 따른 휴대 단말기(100)는 무선 통신망(300)을 통해 서버(200)와 연결된다.
앞선 실시예에서는 따른 휴대 단말기(100)의 제어부(170)가 제1기준 획득 동작, 제1기준에 대응되는 콘텐츠 선택 동작, 제2기준 획득 동작, 콘텐츠 출력 방식 결정 동작 등을 수행한다.
그러나, 본 실시예에 따른 휴대 단말기(100)의 제어부(170)는 무선 통신부(110)를 통해 서버(200)와 데이터를 주고 받으며, 제1기준 획득 동작, 제1기준에 대응되는 콘텐츠 선택 동작, 제2기준 획득 동작, 콘텐츠 출력 방식 결정 동작 등을 수행한다.
예컨대, 휴대 단말기(100)의 제어부(170)는 카메라부(120)를 통해 입력된 사용자의 얼굴 영상과 오디오 처리부(140)를 통해 입력된 사용자의 음성을 서버(200)에 제공한다. 그러면, 서버(200)는 사용자의 얼굴 영상과 음성을 기반으로 제1기준과 제2기준을 획득한다. 서버(200)는 획득된 제1기준과 제2기준을 휴대 단말기(100)에 제공한다.
한편, 1인의 사용자를 가정하고 본 발명에 대하여 설명하였지만, 이에 한정되지 않고 실시예에 따라 복수의 사용자가 본 발명에 따른 휴대 단말기(100)를 사용하는 경우에도 동일하게 적용될 수 있다. 이 경우, 휴대 단말기(100)의 현 사용자를 식별하기 위한 동작이 추가적으로 필요하다. 또한, 본 발명에 따른 사용자의 과거 콘텐츠 출력 방식 이력, 사용자의 과거 콘텐츠 재생 이력, 사용자의 과거 감정 상태에 따른 콘텐츠 출력 이력 등은 사용자별로 구별되게 저장될 수 있다. 이에 따라, 하나의 휴대 단말기(100)를 복수의 사용자가 이용하더라도 사용자 각각에 맞는 콘텐츠를 제공할 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 휴대 단말기,
110 : 무선 통신부, 120 : 카메라부,
130 : 위치 측정부, 140 : 오디오 처리부,
150 : 표시부, 160 : 저장부,
170 : 제어부, 171 : 콘텐츠 선택부,
175 : 콘텐츠 출력부

Claims (30)

  1. 음성 대화 기능을 구비한 휴대 단말기로서,
    표시부;
    오디오 처리부; 및
    사용자의 입력에 대응하여 상기 사용자와 관련된 제1기준을 기반으로 콘텐츠를 선택하고, 상기 사용자와 관련된 제2기준을 기초로 콘텐츠 출력 방식을 결정하며, 상기 선택된 콘텐츠를 상기 콘텐츠 출력 방식에 따라 상기 표시부 및 상기 오디오 처리부를 통해 출력하는 제어부;
    를 포함하는 휴대 단말기.
  2. 제1항에서, 상기 제1기준은,
    상기 사용자의 현재 감정 상태를 나타내고,
    상기 제2기준은,
    상기 사용자의 연령 및 성별 중 적어도 하나를 포함하는 사용자 정보를 나타내는 휴대 단말기.
  3. 제1항에서, 상기 제어부는,
    미리 결정된 감정 상태별 콘텐츠 정보에서 상기 제1기준을 기초로 상기 콘텐츠를 선택하는 휴대 단말기.
  4. 제1항에서, 상기 제어부는,
    상기 사용자의 과거 콘텐츠 재생 이력을 이용하여 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 휴대 단말기.
  5. 제1항에서, 상기 제어부는,
    상기 휴대 단말기의 현재 위치 정보를 이용하여 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 휴대 단말기.
  6. 제1항에서, 상기 제어부는,
    상기 사용자의 과거 감정 상태에 따른 콘텐츠 출력 이력을 이용하여 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 휴대 단말기.
  7. 제1항에서, 상기 오디오 처리부는,
    상기 사용자의 음성을 입력받고,
    상기 제어부는,
    상기 음성으로부터 획득한 문구에 대응되는 상기 콘텐츠를 상기 제1기준을 기반으로 선택하는 휴대 단말기.
  8. 제7항에서, 상기 제어부는,
    상기 문구를 구성하는 단어를 기반으로 상기 제2기준을 획득하는 휴대 단말기.
  9. 제1항에서, 상기 제어부는,
    상기 제2기준을 기반으로 상기 콘텐츠를 구성하는 단어, 상기 콘텐츠의 출력 속도 및 상기 콘텐츠의 출력 크기 중 적어도 하나를 변경하여 상기 콘텐츠 출력 방식을 결정하는 휴대 단말기.
  10. 제9항에서, 상기 오디오 처리부는,
    상기 사용자의 음성을 입력받고,
    상기 제어부는,
    상기 음성으로부터 획득한 문구가 상기 콘텐츠 출력 방식의 변경 요구이면, 상기 문구에 따라 상기 콘텐츠 출력 방식을 변경하는 휴대 단말기.
  11. 제1항에서, 상기 제어부는,
    상기 제2기준을 기초로 결정된 상기 콘텐츠 출력 방식을 상기 사용자의 과거 콘텐츠 출력 방식 이력을 이용하여 변경하고, 변경된 상기 콘텐츠 출력 방식에 따라 상기 콘텐츠를 출력하는 휴대 단말기.
  12. 제1항에서,
    상기 사용자의 얼굴 영상을 입력받는 카메라부;를 더 포함하며,
    상기 제어부는,
    상기 사용자의 얼굴 영상을 기초로 상기 제1기준을 자동으로 획득하는 휴대 단말기.
  13. 제12항에서, 상기 제어부는,
    미리 결정된 감정 상태별 표정 정보에서 상기 사용자의 얼굴 영상으로부터 인식된 표정을 기초로 상기 제1기준을 획득하는 휴대 단말기.
  14. 제1항에서,
    상기 사용자의 얼굴 영상을 입력받는 카메라부;를 더 포함하며,
    상기 오디오 처리부는,
    상기 사용자의 음성을 입력받고,
    상기 제어부는,
    상기 사용자의 얼굴 영상이나 음성을 기초로 상기 제2기준을 자동으로 획득하는 휴대 단말기.
  15. 제1항에서, 상기 제어부는,
    상기 제1기준과 상기 제2기준을 상기 오디오 처리부를 통해 상기 사용자로부터 입력받는 휴대 단말기.
  16. 휴대 단말기의 음성 대화 방법으로서,
    사용자의 입력에 대응하여 상기 사용자와 관련된 제1기준을 기반으로 콘텐츠를 선택하는 단계;
    상기 사용자와 관련된 제2기준을 기초로 콘텐츠 출력 방식을 결정하는 단계; 및
    상기 선택된 콘텐츠를 상기 콘텐츠 출력 방식에 따라 출력하는 단계;
    를 포함하는 음성 대화 방법.
  17. 제16항에서, 상기 제1기준은,
    상기 사용자의 현재 감정 상태를 나타내고,
    상기 제2기준은,
    상기 사용자의 연령 및 성별 중 적어도 하나를 포함하는 사용자 정보를 나타내는 음성 대화 방법.
  18. 제16항에서, 상기 콘텐츠 선택 단계는,
    미리 결정된 감정 상태별 콘텐츠 정보에서 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 것으로 이루어진 음성 대화 방법.
  19. 제16항에서, 상기 콘텐츠 선택 단계는,
    상기 사용자의 과거 콘텐츠 재생 이력을 이용하여 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 것으로 이루어진 음성 대화 방법.
  20. 제16항에서, 상기 콘텐츠 선택 단계는,
    상기 휴대 단말기의 현재 위치 정보를 이용하여 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 것으로 이루어진 음성 대화 방법.
  21. 제16항에서, 상기 콘텐츠 선택 단계는,
    상기 사용자의 과거 감정 상태에 따른 콘텐츠 출력 이력을 이용하여 상기 제1기준을 기반으로 상기 콘텐츠를 선택하는 것으로 이루어진 음성 대화 방법.
  22. 제16항에서,
    상기 사용자의 음성을 입력받는 단계;를 더 포함하며,
    상기 콘텐츠 선택 단계는,
    상기 음성으로부터 획득한 문구에 대응되는 상기 콘텐츠를 상기 제1기준을 기반으로 선택하는 것으로 이루어진 음성 대화 방법.
  23. 제22항에서,
    상기 문구를 구성하는 단어를 기반으로 상기 제2기준을 획득하는 단계;를 더 포함하는 음성 대화 방법.
  24. 제16항에서, 상기 콘텐츠 출력 방식 결정 단계는,
    상기 제2기준을 기반으로 상기 콘텐츠를 구성하는 단어, 상기 콘텐츠의 출력 속도 및 상기 콘텐츠의 출력 크기 중 적어도 하나를 변경하여 상기 콘텐츠 출력 방식을 결정하는 것으로 이루어진 음성 대화 방법.
  25. 제24항에서,
    상기 사용자의 음성을 입력받는 단계;를 더 포함하며,
    상기 콘텐츠 출력 방식 결정 단계는,
    상기 음성으로부터 획득한 문구가 상기 콘텐츠 출력 방식의 변경 요구이면, 상기 문구에 따라 상기 콘텐츠 출력 방식을 변경하는 것으로 이루어진 음성 대화 방법.
  26. 제16항에서, 상기 콘텐츠 출력 방식 결정 단계는,
    상기 제2기준을 기초로 결정된 상기 콘텐츠 출력 방식을 상기 사용자의 과거 콘텐츠 출력 방식 이력을 이용하여 변경하는 것으로 이루어진 음성 대화 방법.
  27. 제16항에서,
    상기 사용자의 얼굴 영상을 입력받는 단계; 및
    상기 사용자의 얼굴 영상을 기초로 상기 제1기준을 자동으로 획득하는 단계;를 더 포함하는 음성 대화 방법.
  28. 제27항에서, 상기 제1기준 획득 단계는,
    미리 결정된 감정 상태별 표정 정보에서 상기 사용자의 얼굴 영상으로부터 인식된 표정을 기초로 상기 제1기준을 획득하는 것으로 이루어진 음성 대화 방법.
  29. 제16항에서,
    상기 사용자의 얼굴 영상 또는 음성을 입력받는 단계; 및
    상기 사용자의 얼굴 영상이나 음성을 기초로 상기 제2기준을 자동으로 획득하는 단계;를 더 포함하는 음성 대화 방법.
  30. 제16항에서,
    상기 제1기준과 상기 제2기준을 상기 사용자로부터 입력받는 단계;를 더 포함하는 음성 대화 방법.



KR1020130013757A 2013-02-07 2013-02-07 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법 KR102050897B1 (ko)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020130013757A KR102050897B1 (ko) 2013-02-07 2013-02-07 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
AU2014200660A AU2014200660B2 (en) 2013-02-07 2014-02-06 Wireless communication channel operation method and system of portable terminal
TW103103940A TWI628650B (zh) 2013-02-07 2014-02-06 支持語音對講功能的移動終端與語音對講方法
CA2842005A CA2842005A1 (en) 2013-02-07 2014-02-06 Wireless communication channel operation method and system of portable terminal
EP14154157.3A EP2765762B1 (en) 2013-02-07 2014-02-06 Mobile terminal supporting a voice talk function
JP2014022080A JP6541934B2 (ja) 2013-02-07 2014-02-07 音声対話機能を備えた携帯端末機及びその音声対話方法
CN201410044807.5A CN103984408A (zh) 2013-02-07 2014-02-07 支持语音对话功能的移动终端和语音对话方法
US14/175,557 US20140222432A1 (en) 2013-02-07 2014-02-07 Wireless communication channel operation method and system of portable terminal
RU2014104373A RU2661791C2 (ru) 2013-02-07 2014-02-07 Способ функционирования канала беспроводной связи и система портативного терминала
BR102014003021-2A BR102014003021A2 (pt) 2013-02-07 2014-02-07 Método de operação de canal de comunicação sem fio e sistema de terminal portátil

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130013757A KR102050897B1 (ko) 2013-02-07 2013-02-07 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법

Publications (2)

Publication Number Publication Date
KR20140100704A true KR20140100704A (ko) 2014-08-18
KR102050897B1 KR102050897B1 (ko) 2019-12-02

Family

ID=50072918

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130013757A KR102050897B1 (ko) 2013-02-07 2013-02-07 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법

Country Status (10)

Country Link
US (1) US20140222432A1 (ko)
EP (1) EP2765762B1 (ko)
JP (1) JP6541934B2 (ko)
KR (1) KR102050897B1 (ko)
CN (1) CN103984408A (ko)
AU (1) AU2014200660B2 (ko)
BR (1) BR102014003021A2 (ko)
CA (1) CA2842005A1 (ko)
RU (1) RU2661791C2 (ko)
TW (1) TWI628650B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
US10431209B2 (en) * 2016-12-30 2019-10-01 Google Llc Feedback controller for data transmissions
KR102340251B1 (ko) * 2014-06-27 2021-12-16 삼성전자주식회사 데이터 관리 방법 및 그 방법을 처리하는 전자 장치
JP6596865B2 (ja) * 2015-03-23 2019-10-30 日本電気株式会社 電話機、電話システム、電話機の音量設定方法、及びプログラム
JP6601069B2 (ja) * 2015-09-01 2019-11-06 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
KR20170034154A (ko) * 2015-09-18 2017-03-28 삼성전자주식회사 콘텐츠 제공 방법 및 이를 수행하는 전자 장치
CN105700682A (zh) * 2016-01-08 2016-06-22 北京乐驾科技有限公司 基于视觉和语音的智能性别、情绪识别检测系统及方法
CN108702418A (zh) * 2016-02-25 2018-10-23 皇家飞利浦有限公司 用于确定呼叫的优先级水平和/或对话持续时间的设备、系统和方法
EP3493534B1 (en) * 2016-07-28 2023-04-05 Sony Group Corporation Information processing device, information processing method, and program
US10276149B1 (en) * 2016-12-21 2019-04-30 Amazon Technologies, Inc. Dynamic text-to-speech output
CN106873800A (zh) * 2017-02-20 2017-06-20 北京百度网讯科技有限公司 信息输出方法和装置
US20180350371A1 (en) * 2017-05-31 2018-12-06 Lenovo (Singapore) Pte. Ltd. Adjust output settings based on an identified user
US10983753B2 (en) 2017-06-09 2021-04-20 International Business Machines Corporation Cognitive and interactive sensor based smart home solution
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
CN108920129A (zh) * 2018-07-27 2018-11-30 联想(北京)有限公司 信息处理方法和信息处理系统
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
CN109637519B (zh) * 2018-11-13 2020-01-21 百度在线网络技术（北京）有限公司 语音交互实现方法、装置、计算机设备及存储介质
WO2020136725A1 (ja) * 2018-12-25 2020-07-02 クックパッド株式会社 サーバ装置、情報処理端末、システム、方法およびプログラム
KR20200111853A (ko) 2019-03-19 2020-10-05 삼성전자주식회사 전자 장치 및 전자 장치의 음성 인식 제어 방법
KR102388465B1 (ko) * 2020-02-26 2022-04-21 최갑천 가상 콘텐츠 생성 방법
JP7469211B2 (ja) 2020-10-21 2024-04-16 東京瓦斯株式会社 対話型コミュニケーション装置、コミュニケーションシステム及びプログラム
CN113380240B (zh) * 2021-05-07 2022-04-12 荣耀终端有限公司 语音交互方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
KR20090085376A (ko) * 2008-02-04 2009-08-07 삼성전자주식회사 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치
KR20120003937A (ko) * 2009-06-16 2012-01-11 인텔 코포레이션 상태 인식을 이용한 휴대용 전자 장치
KR20130069262A (ko) * 2011-12-18 2013-06-26 인포뱅크 주식회사 통신 단말 및 그 통신 단말의 정보처리 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08255150A (ja) * 1995-03-17 1996-10-01 Toshiba Corp 情報公開装置及びマルチモーダル情報入出力システム
JPH10326176A (ja) * 1997-05-23 1998-12-08 Oki Hokuriku Syst Kaihatsu:Kk 音声対話制御方法
JP2001215993A (ja) * 2000-01-31 2001-08-10 Sony Corp 対話処理装置および対話処理方法、並びに記録媒体
CN1398214A (zh) * 2000-10-23 2003-02-19 索尼公司 有足机器人、用于有足机器人的动作控制方法、和存储介质
US6964023B2 (en) * 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
JP2003046980A (ja) * 2001-08-02 2003-02-14 Matsushita Electric Ind Co Ltd 要求応答方法、装置及びプログラム
US9374451B2 (en) * 2002-02-04 2016-06-21 Nokia Technologies Oy System and method for multimodal short-cuts to digital services
JP2004310034A (ja) * 2003-03-24 2004-11-04 Matsushita Electric Works Ltd 対話エージェントシステム
US7881934B2 (en) * 2003-09-12 2011-02-01 Toyota Infotechnology Center Co., Ltd. Method and system for adjusting the voice prompt of an interactive system based upon the user's state
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
JP2005275601A (ja) * 2004-03-23 2005-10-06 Fujitsu Ltd 音声による情報検索システム
JP2006048663A (ja) * 2004-06-30 2006-02-16 Metallic House Inc 商品・サービス受発注システム及び商品・サービス受発注方法、並びにサーバ装置及び端末装置
JP2006146630A (ja) * 2004-11-22 2006-06-08 Sony Corp コンテンツ選択再生装置、コンテンツ選択再生方法、コンテンツ配信システムおよびコンテンツ検索システム
US8214214B2 (en) * 2004-12-03 2012-07-03 Phoenix Solutions, Inc. Emotion detection device and method for use in distributed systems
DK1854263T3 (da) * 2005-02-04 2011-09-19 Qualcomm Inc Sikker bootstrapping til trådløs kommunikation
US7490042B2 (en) * 2005-03-29 2009-02-10 International Business Machines Corporation Methods and apparatus for adapting output speech in accordance with context of communication
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
US20070288898A1 (en) * 2006-06-09 2007-12-13 Sony Ericsson Mobile Communications Ab Methods, electronic devices, and computer program products for setting a feature of an electronic device based on at least one user characteristic
JP2010057050A (ja) * 2008-08-29 2010-03-11 Sharp Corp 情報端末装置、情報配信装置、情報配信システム及びプログラム
EP2380170B1 (en) * 2008-12-19 2012-05-09 Koninklijke Philips Electronics N.V. Method and system for adapting communications
US8340974B2 (en) * 2008-12-30 2012-12-25 Motorola Mobility Llc Device, system and method for providing targeted advertisements and content based on user speech data
JP2010181461A (ja) * 2009-02-03 2010-08-19 Olympus Corp デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体
KR101625668B1 (ko) * 2009-04-20 2016-05-30 삼성전자 주식회사 전자기기 및 전자기기의 음성인식방법
US10540976B2 (en) * 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US20120011477A1 (en) * 2010-07-12 2012-01-12 Nokia Corporation User interfaces
CN102541259A (zh) * 2011-12-26 2012-07-04 鸿富锦精密工业（深圳）有限公司 电子设备及其根据脸部表情提供心情服务的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065252A (ja) * 2003-07-29 2005-03-10 Fuji Photo Film Co Ltd 携帯電話機
KR20090085376A (ko) * 2008-02-04 2009-08-07 삼성전자주식회사 문자 메시지의 음성 합성을 이용한 서비스 방법 및 장치
KR20120003937A (ko) * 2009-06-16 2012-01-11 인텔 코포레이션 상태 인식을 이용한 휴대용 전자 장치
KR20130069262A (ko) * 2011-12-18 2013-06-26 인포뱅크 주식회사 통신 단말 및 그 통신 단말의 정보처리 방법

Also Published As

Publication number Publication date
CN103984408A (zh) 2014-08-13
BR102014003021A2 (pt) 2018-04-10
AU2014200660A1 (en) 2014-08-21
CA2842005A1 (en) 2014-08-07
TWI628650B (zh) 2018-07-01
TW201435857A (zh) 2014-09-16
JP6541934B2 (ja) 2019-07-10
US20140222432A1 (en) 2014-08-07
RU2014104373A (ru) 2015-08-20
KR102050897B1 (ko) 2019-12-02
AU2014200660B2 (en) 2019-05-16
JP2014153715A (ja) 2014-08-25
EP2765762A1 (en) 2014-08-13
RU2661791C2 (ru) 2018-07-19
EP2765762B1 (en) 2019-07-10

Similar Documents

Publication Publication Date Title
KR102050897B1 (ko) 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
US10971188B2 (en) Apparatus and method for editing content
US20170272784A1 (en) Live video broadcasting method and device
US20170133060A1 (en) Method and device of playing multimedia and medium
WO2019099397A1 (en) System and methods for testing a video conference call using a virtual assistant
JP7361890B2 (ja) 通話方法、通話装置、通話システム、サーバ及びコンピュータプログラム
CN112115282A (zh) 基于搜索的问答方法、装置、设备及存储介质
KR20140078258A (ko) 대화 인식을 통한 이동 단말 제어 장치 및 방법, 회의 중 대화 인식을 통한 정보 제공 장치
CN110730360A (zh) 视频上传、播放的方法、装置、客户端设备及存储介质
CN108073572A (zh) 信息处理方法及其装置、同声翻译系统
US20170186440A1 (en) Method, device and storage medium for playing audio
WO2018061173A1 (ja) Ｔｖ会議システム、ｔｖ会議方法、およびプログラム
CN110798327B (zh) 消息处理方法、设备及存储介质
CN112151041B (zh) 基于录音机程序的录音方法、装置、设备及存储介质
CN111630472A (zh) 信息处理装置、信息处理方法和程序
CN112988956A (zh) 自动生成对话的方法及装置、信息推荐效果检测方法及装置
WO2016052501A1 (ja) ユーザインタフェース装置、プログラム及びコンテンツの通知方法
CN109088920B (zh) 智能音箱的评价方法、装置、设备及存储介质
CN113301444A (zh) 视频处理方法、装置、电子设备及存储介质
CN111524518A (zh) 增强现实处理方法及装置、存储介质和电子设备
US11928253B2 (en) Virtual space control system, method for controlling the same, and control program
KR20160011156A (ko) 온라인 독서 동영상 서비스 제공방법 및 시스템
CN112820285A (zh) 一种交互方法和耳机设备
CN115691467A (zh) 语音录制的方法和计算机程序产品
JP2022053669A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant