KR101661669B1 - 대화시스템 및 그 방법 - Google Patents

대화시스템 및 그 방법 Download PDF

Info

Publication number
KR101661669B1
KR101661669B1 KR1020150001398A KR20150001398A KR101661669B1 KR 101661669 B1 KR101661669 B1 KR 101661669B1 KR 1020150001398 A KR1020150001398 A KR 1020150001398A KR 20150001398 A KR20150001398 A KR 20150001398A KR 101661669 B1 KR101661669 B1 KR 101661669B1
Authority
KR
South Korea
Prior art keywords
user
information
utterance intention
response
time information
Prior art date
Application number
KR1020150001398A
Other languages
English (en)
Other versions
KR20160084748A (ko
Inventor
이근배
김정은
한상도
이규송
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020150001398A priority Critical patent/KR101661669B1/ko
Publication of KR20160084748A publication Critical patent/KR20160084748A/ko
Application granted granted Critical
Publication of KR101661669B1 publication Critical patent/KR101661669B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D13/00—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches
    • A41D13/05—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches protecting only a particular body part
    • A41D13/06—Knee or foot
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D13/00—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches
    • A41D13/002—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches with controlled internal environment
    • A41D13/005—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches with controlled internal environment with controlled temperature
    • A41D13/0058—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches with controlled internal environment with controlled temperature having pockets for heated or cooled elements
    • A—HUMAN NECESSITIES
    • A41—WEARING APPAREL
    • A41D—OUTERWEAR; PROTECTIVE GARMENTS; ACCESSORIES
    • A41D13/00—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches
    • A41D13/05—Professional, industrial or sporting protective garments, e.g. surgeons' gowns or garments protecting against blows or punches protecting only a particular body part
    • A41D13/0543—Legs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Textile Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

대화시스템 및 그 방법에 관한 것이다.
대화시스템은, 음성신호를 수신하며, 상기 음성신호로부터 제1자연어를 인식하는 음성인식기, 상기 제1자연어로부터 사용자 발화의도를 획득하는 발화의도 검출모듈, 카메라를 통해 획득되는 이미지로부터 시각정보를 추출하는 시각정보 추출모듈, 상기 사용자 발화의도에 따른 외부응용 데이터베이스 선택정보와, 상기 사용자 발화의도 및 상기 시각정보에 따라서 응답정보를 추출하기 위한 쿼리문을 포함하는 스마트 미러 모델을 저장하는 제1데이터베이스, 상기 스마트 미러 모델을 토대로, 상기 사용자 발화의도에 대응하는 외부응용 데이터베이스를 선택하고, 상기 사용자 발화의도에 따라 선택된 외부응용 데이터베이스로부터 상기 사용자 발화의도 및 상기 시각정보에 대응하는 상기 응답정보를 추출하는 스마트 미러 제어기, 그리고 상기 이미지에 상기 응답정보에 대응하는 응답이미지를 중첩하여 출력하는 디스플레이를 포함할 수 있다.

Description

대화시스템 및 그 방법{DIALOGUE SYSTEM AND DIALOGUE METHOD}
본 발명은 대화시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 스마트 미러를 이용한 대화시스템 및 그 방법에 관한 것이다.
스마트 미러(smart mirror)는, 빛의 반사를 이용하여 사용자의 모습을 비추는 거울로서의 기능과, 사용자의 모습 또는 동작을 인식하는 비전 시스템(vision system)으로써의 기능을 수행하는 장치이다.
한편, 스마트 미러를 가상 코디 시스템, 가상 피트니스 시스템 등과 같이 사용자의 전신을 비출 필요가 있는 시스템과 결합하기 위해서는, 사용자와 스마트 미러 사이에 충분한 공간이 보장될 필요가 있다.
그러나, 거울에 자신의 모습을 계속 비춰 보며 옷을 입고 포즈를 취하는 가상 코디 시스템이나, 운동 자세를 취한 상태에서의 사용자 조작이 필요한 가상 피트니스 시스템 등과 같이, 사용자가 자세를 고정한 상태에서 조작이 필요한 시스템의 경우, 화면 터치나 제스처 인식 등 기존의 조작 방식으로는 조작이 어려운 문제가 있다.
본 발명의 실시 예를 통해 해결하려는 과제는, 사용자가 자세를 고정한 상태에서도 조작이 가능한 대화시스템 및 그 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 대화시스템은, 음성신호를 수신하며, 상기 음성신호로부터 제1자연어를 인식하는 음성인식기, 상기 제1자연어로부터 사용자 발화의도를 획득하는 발화의도 검출모듈, 카메라를 통해 획득되는 이미지로부터 시각정보를 추출하는 시각정보 추출모듈, 상기 사용자 발화의도에 따른 외부응용 데이터베이스 선택정보와, 상기 사용자 발화의도 및 상기 시각정보에 따라서 응답정보를 추출하기 위한 쿼리문을 포함하는 스마트 미러 모델을 저장하는 제1데이터베이스, 상기 스마트 미러 모델을 토대로, 상기 사용자 발화의도에 대응하는 외부응용 데이터베이스를 선택하고, 상기 사용자 발화의도에 따라 선택된 외부응용 데이터베이스로부터 상기 사용자 발화의도 및 상기 시각정보에 대응하는 상기 응답정보를 추출하는 스마트 미러 제어기, 그리고 상기 이미지에 상기 응답정보에 대응하는 응답이미지를 중첩하여 출력하는 디스플레이를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 대화시스템의 대화방법은, 사용자로부터 수신되는 음성신호로부터 사용자 발화의도를 획득하는 단계, 카메라를 통해 획득되는 이미지로부터 시각정보를 추출하는 단계, 상기 사용자 발화의도에 따른 외부응용 데이터베이스 선택정보를 토대로, 상기 사용자 발화의도에 대응하는 외부응용 데이터베이스를 선택하는 단계, 상기 사용자 발화의도 및 상기 시각정보에 따라서 응답정보를 추출하기 위한 쿼리문을 포함하는 스마트 미러 모델을 토대로, 상기 사용자 발화의도에 따라서 선택된 외부응용 데이터베이스로부터 상기 사용자 발화의도 및 상기 시각정보에 대응하는 상기 응답정보를 추출하는 단계, 그리고 상기 이미지에 상기 응답정보에 대응하는 응답이미지를 중첩하여 표시하는 단계를 포함할 수 있다.
본 발명의 실시 예들에 따르면, 고정된 자세에서도 손쉽게 조작이 가능하며, 사용자에게 패션 아이템을 추천하거나, 운동자세, 춤 동작을 코치하는 등 다양한 응용이 가능한 스마트 미러와 대화시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 스마트 미러를 이용한 대화시스템을 개략적으로 도시한 구조도이다.
도 2는 본 발명의 일 실시 예에 따른 스마트 미러를 개략적으로 도시한 구조도이다.
도 3은 본 발명의 일 실시 예에 따른 대화시스템의 대화방법을 도시한 흐름도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.
본 발명의 실시 예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 필요한 도면들을 참조하여 본 발명의 일 실시 예에 따른 스마트 미러를 이용한 대화시스템 및 그 방법에 대해 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 스마트 미러를 이용한 대화시스템을 개략적으로 도시한 구조도이고, 도 2는 본 발명의 일 실시 예에 따른 스마트 미러를 개략적으로 도시한 구조도이다.
도 1 및 도 2를 참조하면, 대화시스템은 대화장치(10), 스마트 미러(20), 외부응용 데이터베이스(30) 등을 포함할 수 있다.
대화장치(10)는 사용자가 발화한 음성신호로부터 사용자의 발화의도를 검출하며, 스마트 미러(20)와 연동하여 외부응용 데이터베이스(30)에 저장된 정보들 중 사용자 발화의도에 대응하는 응답정보를 수신할 수 있다. 또한, 수신한 응답정보를 토대로 대화장치(10)에서 출력할 시스템 발화정보를 획득하고, 이에 대응하는 음성신호를 출력한다.
도 1을 참조하면, 대화장치(10)는 음성인식기(110), 발화의도 검출모듈(120), 대화 관리모듈(130), 자연어 생성모듈(140), 음성 합성기(150) 등을 포함할 수 있다.
음성인식기(110)는 마이크 등 음향입력수단(미도시)을 통해 사용자가 발화한 음성신호를 수신하며, 이로부터 자연어를 인식할 수 있다.
발화의도 검출모듈(120)은 음성인식기(110)를 통해 인식된 자연어를 분석함으로써, 사용자의 발화의도를 검출할 수 있다. 예를 들어, 발화의도 검출모듈(120)은 음성인식기(110)를 통해 인식한 자연어를 분석하여, 옷장 검색, 옷 추천, 몸매 관리, 운동자세 관리 등 사용자의 발화의도를 검출할 수 있다.
대화 관리모듈(130)은 발화의도 검출모듈(120)로부터 사용자의 발화의도를 수신하며, 이를 스마트 미러(200)로 전달할 수 있다. 또한, 스마트 미러(200)로부터 사용자의 발화의도에 대응하는 응답정보를 수신하며, 이로부터 대화장치(10)에서 출력할 시스템 발화정보를 생성할 수 있다.
자연어 생성모듈(140)은 대화 관리모듈(130)로부터 시스템 발화정보를 수신하며, 이에 대응하는 자연어 응답을 생성할 수 있다.
음성합성기(150)는 자연어 생성모듈(14)에 의해 생성된 자연어 응답에 대응하는 음성신호를 합성할 수 있다.
음성합성기(150)에 의해 합성된 음성신호를 음향출력수단(미도시)을 통해 출력될 수 있다.
스마트 미러(20)는 스마트 미러(20) 전면의 영상으로부터 시각정보를 추출하며, 대화장치(10)로부터 수신되는 사용자 발화의도와 시각정보를 토대로 외부응용 데이터베이스(30)로부터 대응하는 응답정보를 획득할 수 있다. 또한, 응답정보를 토대로 응답이미지를 획득하고, 이를 디스플레이(도 2의 도면부호 270 참조)를 통해 표시할 수 있다.
도 2를 참조하면, 스마트 미러(20)는 시각정보 데이터베이스(211), 시각정보 추출 훈련기(212), 시각정보 추출모델 데이터베이스(213), 시각정보 추출모듈(220), 카메라(230), 스마트 미러 데이터 데이터베이스(241), 스마트 미러 훈련기(242), 스미트 미러 모델 데이터베이스(243), 개인정보 데이터베이스(250), 스마트 미러 제어기(260), 디스플레이(270) 등을 포함할 수 있다.
시각정보 데이터베이스(211)는, 시각정보 추출모델을 생성하기 위한 입력데이터들을 데이터베이스화한 것으로서, 카메라(230)를 통해 입력되는 이미지들과 각 이미지에 대응하는 정보를 대응시켜 저장할 수 있다.
시각정보 추출 훈련기(212)는 카메라(230)를 통해 입력되는 이미지를 기반으로, 시각정보 추출모델을 생성할 수 있다. 시각정보 추출 훈련기(212)는, 시각정보 추출모델을 생성하기 위해 기계학습 방법, 규칙기반 방법 등 다양한 학습방법을 사용할 수 있다.
시각정보 추출 훈련기(212)에 의해 생성된 시각정보 추출모델은 시각정보 추출모델 데이터베이스(213)에 저장될 수 있다.
시각정보 추출모델은, 입력데이터로부터 어떠한 시각정보를 추출할 것인지를 결정하는 모델이다. 즉, 시각정보 추출모델은, 카메라(230)를 통해 입력되는 이미지를 분석하여 사용자의 키, 신체구조, 자세, 피부색, 옷 모양, 옷 색깔 등을 포함하는 시각정보를 추출하도록 결정하는 모델이다. 시각정보 추출모델은, 입력데이터(카메라(230)를 통해 입력되는 이미지)를 시각정보 추출 훈련기(212)로 훈련시켜 생성될 수 있다.
시각정보 추출모듈(220)은, 카메라(230)로부터 사용자를 촬영한 이미지를 수신하며, 시각정보 추출모델을 토대로 촬영 이미지로부터 시각정보를 추출할 수 있다. 시각정보는 사용자의 키, 피부색 등의 신체정보와, 사용자의 자세정보, 사용자가 착용한 패션 아이템과 관련된 정보 등을 포함할 수 있다.
스마트 미러 데이터 저장부(221)는 스마트 미러 데이터를 데이터베이스화하여 저장한다.
스마트 미러 데이터는, 사용자의 발화의도와 시각정보에 따라서 필요한 데이터가 어떤 것인지를 나열한 훈련 데이터이다. 즉, 스마트 미러 데이터는, 입력 데이터(사용자의 발화의도와 시각정보)에 따라서 어느 외부응용 데이터베이스(30)를 사용할 것인지를 지시하는 정보를 포함할 수 있다. 예를 들어 사용자 발화의도가 “티셔츠를 추천”이고, 시각정보가 현재 바지색깔, 키, 체형 등에 대한 정보를 포함하는 경우, 스마트 미러 데이터는 외부응용 데이터베이스(30)의 색 매칭 데이터베이스 및 패션 추천 데이터베이스의 검색을 지시하는 정보를 포함할 수 있다.
스마트 미러 훈련기(222)는 스마트 미러 데이터를 토대로 스마트 미러 모델을 생성할 수 있다. 스마트 미러 훈련기(222)는, 스마트 미러 모델을 생성하기 위해 기계학습 방법, 규칙기반 방법 등 다양한 학습방법을 사용할 수 있다.
스마트 미러 훈련기(222)에 의해 생성된 스마트 미러 모델은 스마트 미러 모델 저장부(223)에 저장될 수 있다.
스마트 미러 모델은, 입력데이터(사용자의 발화의도와 시각정보)를 분석하여 필요한 응답정보들을 추출하도록 결정하는 모델로서, 스마트 미러 데이터를 기반으로 스마트 미러 훈련기(222)에 의해 훈련되어 생성될 수 있다. 스마트 미러 모델은, 입력데이터(사용자의 발화의도와 시각정보)에 따라서 응답정보를 검색하기 위해 사용할 외부응용 데이터베이스(30)에 대한 정보와, 외부응용 데이터베이스(30)로부터 입력데이터(사용자의 발화의도와 시각정보)에 대응하는 응답정보를 검색하기 위한 쿼리문 작성 기능을 포함할 수 있다.
외부응용 데이터베이스(30)는 스마트 미러(20)를 통해 서비스되는 정보들을 데이터베이스화하여 저장할 수 있다. 예를 들어, 외부응용 데이터베이스(30)는, 색 매칭 데이터베이스, 날씨 매칭 데이터베이스, 관련 웹정보 데이터베이스, 신체변화 데이터베이스, 운동자세 데이터베이스, 춤 데이터베이스 등을 포함할 수 있다.
색 매칭 데이터베이스는, 사용자에게 패션 아이템의 색상을 추천하기 위한 데이터베이스로서, 시각정보에 포함된 사용자의 신체조건, 현재 착용한 패션 아이템 등을 토대로 사용자가 원하는 패션 아이템의 색상을 결정할 수 있다. 날씨 매칭 데이터베이스는, 사용자에게 날씨 맞춤형 패션 아이템을 추천하기 위한 데이터베이스로서, 현재 날씨정보를 토대로 현재 날씨에 어울리는 패션 아이템을 결정할 수 있다. 관련 웹정보 데이터베이스는, 사용자에게 패션 아이템과 관련된 웹 정보를 제공하기 위한 데이터베이스이다. 신체변화 데이터베이스는, 사용자의 키, 몸무게 등 신체조건의 변화와 관련된 데이터들을 제공하기 위한 데이터베이스이다. 운동자세 데이터베이스는 운동종류 별로 모범이 되는 운동자세를 추천하기 위한 데이터베이스로서, 시각정보에 포함된 사용자의 신체조건, 현재 자세 등을 토대로 운전자세를 안내하기 위한 안내정보, 사용자의 운동자세를 교정하기 위한 교정정보 등을 포함할 수 있다. 춤 데이터베이스는, 춤 동작을 안내하기 위한 데이터베이스로서, 시각정보에 포함된 사용자의 신체조건, 현재 자세 등을 토대로 춤 동작을 안내하는 안내정보, 춤 동작을 교정하는 교정정보 등을 제공할 수 있다.
외부응용 데이터베이스(30)는 패션 잡지, 인터넷 정보 들을 토대로 자동 구축되거나, 패션 전문가, 운동 전문가 등 전문가에 의해 구축될 수도 있다.
개인정보 데이터베이스(250)는 스마트 미러(20)를 사용하는 각 사용자의 개인정보를 데이터베이스화하여 저장한다.
개인정보는, 각 사용자의 키, 신체구조, 피부색 등을 포함하는 사용자 신체정보와, 각 사용자가 소유하는 패션 아이템, 자주 이용하는 패션 아이템 등을 포함하는 패션 아이템 정보와, 각 사용자의 신체변화, 각 사용자의 운동기록 등을 포함하는 운정정보 등 다양한 정보를 포함할 수 있다.
스마트 미러 제어기(260)는, 대화장치(10)로부터 사용자 발화의도를 수신하며, 시각정보 추출모듈(220)을 통해 스마트 미러(20) 전면의 시각정보를 획득할 수 있다. 또한, 개인정보 데이터베이스(250)로부터 사용자에 대응하는 개인정보를 획득할 수 있다.
또한, 스마트 미러 제어기(260)는 사용자 발화의도 및 시각정보를 토대로 응답정보를 검색할 외부응용 데이터베이스(30)를 선택하고, 사용자의 발화의도, 시각정보 및 개인정보를 토대로, 선택한 외부응용 데이터베이스(30)로부터 응답정보를 추출할 수 있다.
스마트 미러 제어기(260)에 의해 추출된 응답정보는 대화장치(10)로 전달되어 음성신호로 변환되어 출력되며, 대응하는 응답이미지가 디스플레이(270)를 통해 출력될 수 있다.
디스플레이(270)는 카메라(230)를 통해 획득되는 이미지를 디스플레이함으로써 거울 기능을 수행하며, 카메라(230)를 통해 획득되는 이미지에 스마트 미러 제어기(230)를 통해 획득한 응답이미지를 중첩한 증강현실 이미지를 출력할 수도 있다.
한편, 스마트 미러 제어기(260)는, 카메라(230)를 통해 획득한 시각정보와, 개인정보 데이터베이스(250)에 저장된 개인정보를 토대로, 사용자 인증 과정을 수행할 수도 있다. 즉, 시각정보와 개인정보 데이터베이스(250)에 저장된 개인정보를 비교하여, 사용자가 개인정보 데이터베이스(250)에 등록된 사용자인지를 판단할 수 있다.
사용자가 등록된 사용자로 판단되는 경우, 스마트 미러 제어기(260)는 시각정보로부터 현재 신체정보를 추출하고, 현재 신체정보와 현재 날짜를 토대로 개인정보 데이터베이스(250)에 저장된 개인정보를 갱신할 수 있다. 또한, 대화장치(10)로 사용자에 따라서 기 설정된 응답을 전송함으로써, 대화장치(10)에 의해 "철수씨 안녕하세요?" 등 기 설정된 응답 음성신호가 출력되도록 제어할 수도 있다. 또한, 시각정보로부터 추출한 신체정보와 기 저장된 사용자의 개인정보를 비교하고, 비교결과에 대응하는 응답정보를 대화장치(10)로 출력함으로써, 대화장치(10)에 의해 대응하는 음성신호 예를 들어 "철수씨 안녕하세요?", "1년 전보다 키가 3cm 정도 커진 것 같아요", “1달 정보다 살이 좀 빠지셨네요", "피부색을 많이 타셨군요. 좋은 선크림 추천해 드릴게요" 등이 출력되도록 할 수도 있다.
반면에, 사용자가 개인정보 데이터베이스(250)에 등록된 사용자가 아닌 경우, 스마트 미러 제어기(260)는 추출한 시각정보를 토대로 새로운 사용자의 개인정보를 개인정보 데이터베이스(250)에 추가할 수도 있다.
전술한 대화시스템(10)은 가상 코디 시스템, 가상 피트니스 시스템 등 다양한 분야에 적용될 수 있다.
예를 들어, 대화시스템은 가상 코디 시스템에 적용되어, 스마트 미러(20)를 통해 사용자에게 패션 아이템을 코디하여 표시할 수 있다. 이 경우, 대화시스템(10)은 사용자가 패션 아이템을 직접 착용해보는 번거로움 없이 간단한 음성 발화만으로 착용 상태를 확인할 수 있도록 지원하며, 음성 발화만으로 현재 입은 옷과 잘 어울리는 옷, 현재 날씨에 적절한 의상 등 패션 아이템을 추천 받을 수도 있다.
또한, 예를 들어, 대화시스템은 가상 피트니스 시스템에 적용되어, 사용자가 스마트 미러(20)를 통해 자신의 신체변화를 시각적으로 파악할 수 있도록 지원하며, 올바른 운동자세를 코칭 받거나, 춤 동작을 배울 수 있도록 지원할 수도 있다.
도 3은 본 발명의 일 실시 예에 따른 대화시스템의 대화방법을 도시한 흐름도이다.
도 3을 참조하면, 스마트 미러(20)는 사용자가 스마트 미러(20) 전방에 위치함에 따라, 카메라(230)를 통해 사용자를 촬영하고, 촬영한 이미지로부터 시각정보를 추출한다(S100).
상기 S110 단계에서, 스마트 미러(20)는 시각정보 추출모델을 토대로 카메라(230)를 통해 입력되는 이미지로부터 사용자의 신체정보, 자세정보, 패션 아이템 정보 등을 포함하는 시각정보를 획득할 수 있다.
이후, 대화장치(10)는 사용자가 음성신호를 발화함에 따라, 이를 수신하고(S110), 음성신호로부터 자연어를 검출한다. 또한, 검출한 자연어를 분석하여 사용자의 발화의도를 검출하고(S120). 검출된 사용자의 발화의도를 스마트 미러(20)로 전송한다(S130).
사용자의 발화의도 및 시각정보가 획득됨에 따라, 스마트 미러(20)는 사용자의 발화의도에 맞는 응답정보를 검색하기 위한 외부응용 데이터베이스(30)를 선택한다(S140).
상기 S140 단계에서, 스마트 미러(20)는 스마트 미러 모델을 토대로 사용자의 발화의도 및 시각정보에 대응하는 응답정보를 어느 외부응용 데이터베이스(30)에서 검색할 것인지를 선택한다.
외부응용 데이터베이스(30)가 선택됨에 따라, 스마트 미러(20)는 선택된 외부응용 데이터베이스(30)로부터 사용자의 발화의도와 시각정보에 대응하는 응답정보를 추출한다(S150).
스마트 미러(20)는 응답정보를 수신함에 따라, 이에 대응하는 응답이미지를 디스플레이(260)에 출력하고(S160), 응답정보를 대화장치(10)로 전달한다(S170).
또한, 대화장치(10)는 스마트 미러(20)로부터 응답정보가 수신되면, 이를 음성신호로 변환하고 변환된 응답 음성신호를 출력한다(S180).
이하, 전술한 대화시스템을 사용자에게 패션 아이템을 추천하는 가상 코디 시스템에 적용하는 경우를 예로 들어 설명하기로 한다.
스마트 미러(20)는 사용자가 전방에 위치함에 따라, 카메라(230)를 통해 사용자를 촬영하여 시각정보를 추출한다. 그리고, 추출한 시각정보를 토대로 개인정보 데이터베이스(250)를 검색하여 사용자가 등록된 사용자인지 확인한다.
등록된 사용자가 아닌 경우, 스마트 미러(20)는 추출한 시각정보를 토대로, 새로운 사용자의 개인정보 예를 들어, 키, 피부색, 입고 있는 옷, 신체 체형 등을 개인정보 데이터베이스(220)에 자동 저장할 수 있다. 이 과정에서, 대화장치(10)는 "이름이 뭐예요?" 등 사용자 등록용 질문을 음성으로 출력하고, 이에 대한 응답 음성신호를 수신하여 개인정보를 추가할 수도 있다.
한편, 사용자가 등록된 사용자인 경우, 스마트 미러(20)는 추출한 시각정보로부터 현재 신체정보를 추출하고, 현재 신체정보와 현재 날짜를 토대로 개인정보 데이터베이스(250)에 저장된 개인정보를 갱신할 수 있다. 또한, 대화장치(10)를 통해 "철수씨 안녕하세요?"등의 음성신호를 출력할 수도 있다.
개인정보 데이터베이스(250)에 날짜 별로 사용자의 신체정보가 저장된 경우, 신체정보들을 비교하여 이를 안내하는 음성신호, 예를 들어 "1년 전보다 키가 3cm 정도 커진 것 같아요", "1달 정보다 살이 좀 빠지셨네요", "피부색을 많이 타셨군요. 좋은 선크림 추천해 드릴게요" 등의 응답 음성신호를 출력할 수도 있다.
한편, 대화장치(10)는 사용자가 "나한테 어울리는 티셔츠 추천해줘!" 라고 발화함에 따라, 발화한 된 음성신호를 수신한다. 또한, 수신한음성신호를 음성인식기(110)를 통해 텍스트 형태의 자연어로 변환하고, 이를 분석하여 사용자의 발화의도를 검출한다. 여기서, 사용자 발화의도는 컴퓨터가 이해 할 수 있는 코드 형태로 변환될 수 있다. 즉, "나한테 어울리는 티셔츠 추천해줘!"라는 음성신호에 대응하는 사용자 발화의도는 'recommend_clothe(T-shirts)'로 획득될 수 있다.
코드 형태로 변환된 사용자 발화의도는, 스마트 미러(20)로 전달되며, 스마트 미러(20)는 이에 대응하는 응답정보를 생성할 수 있다.
이를 위해, 스마트 미러(20)는 스마트 미러 모델을 이용하여, 사용자 발화의도와 카메라(230)를 통해 획득한 시각정보, 그리고 기 저장된 개인정보를 토대로, 어떤 외부응용 데이터베이스(30)로부터 응답정보를 추출할 것인지를 선택한다.
사용자의 발화의도가 'recommend_clothe(T-shirts)'인 경우, 스마트 미러(20)는 개인정보 데이터베이스(250)에 자주 입는 옷 색깔이 파란색, 키 150cm, 통통 체형 등의 개인정보를 읽어오며, 시각정보로부터 현재 착용한 옷의 색상 및 스타일 정보를 획득할 수 있다. 또한, 사용자 발화의도(recommend_clothe(T-shirts)), 사용자의 개인정보 그리고 시각정보를 토대로, 외부응용 데이터베이스(30)에서 색상 데이터베이스를 검색할 것을 결정할 수 있다.
외부응용 데이터베이스(30)가 선택되면, 스마트 미러(20)는 스마트 미러 모듈에 포함된 쿼리문을 이용하여 선택된 외부응용 데이터베이스(30)로부터 원하는 응답정보를 추출한다. 즉, 스마트 미러(20)는 사용자 발화의도에 따라서 색상 데이터베이스가 선택됨에 따라, 색상 데이터베이스에서 입력데이터(사용자 발화의도 및 시각정보)에 최적인 응답정보를 추출하기 위한 쿼리를 획득하고, 이를 토대로 색상 데이터베이스로부터 추천 색상정보를 포함하는 응답정보를 추출할 수 있다. 응답정보는 “select matched_color with current_t-shirt_color = "blue" pants_color = "white" hair_color = "dark brown" in colorDB"등 컴퓨터가 이해 할 수 있는 코드 형태로 추출될 수 있다.
응답정보가 추출됨에 따라, 스마트 미러(20)는 대응하는 응답이미지를 디스플레이(20)를 통해 출력할 수 있다. 즉, 응답정보에 대응하는 색상의 패션 아이템들을 사용자가 직접 착용한 형태의 증강현실 이미지를 디스플레이(20)를 통해 출력할 수 있다.
한편, 사용자가 응답이미지를 확인하고 "다른 색상으로 보여줘"라는 음성신호를 발화하는 경우, 스마트 미러(20)는 현재 표시 중인 패션 아이템을 다른 색상으로 변환하여 출력할 수도 있다.
본 발명의 실시 예에 의한 대화방법은 소프트웨어를 통해 실행될 수 있다. 소프트웨어로 실행될 때, 본 발명의 구성 수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 프로그램 또는 코드 세그먼트들은 프로세서 판독 기능 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는, ROM, RAM, CD-ROM, DVD_ROM, DVD_RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.

Claims (10)

  1. 음성신호를 수신하며, 상기 음성신호로부터 제1자연어를 인식하는 음성인식기,
    상기 제1자연어로부터 사용자 발화의도를 획득하는 발화의도 검출모듈,
    카메라를 통해 획득되는 이미지로부터 시각정보를 추출하는 시각정보 추출모듈,
    상기 사용자 발화의도에 따른 외부응용 데이터베이스 선택정보와, 상기 사용자 발화의도 및 상기 시각정보에 따라서 응답정보를 추출하기 위한 쿼리문을 포함하는 스마트 미러 모델을 저장하는 제1데이터베이스,
    상기 스마트 미러 모델을 토대로, 상기 사용자 발화의도에 대응하는 외부응용 데이터베이스를 선택하고, 상기 사용자 발화의도에 따라 선택된 외부응용 데이터베이스로부터 상기 사용자 발화의도 및 상기 시각정보에 대응하는 상기 응답정보를 추출하는 스마트 미러 제어기, 그리고
    상기 이미지에 상기 응답정보에 대응하는 응답이미지를 중첩하여 출력하는 디스플레이를 포함하고,
    상기 시각정보는, 사용자의 신체정보, 상기 사용자의 자세정보 또는 상기 사용자가 착용한 패션 아이템과 관련된 정보를 포함하는 대화시스템.
  2. 제1항에 있어서,
    상기 응답정보에 대응하는 제2자연어를 생성하는 자연어 생성모듈, 그리고
    상기 제2자연어에 대응하는 음성신호를 합성하는 음성합성기
    를 더 포함하는 대화시스템.
  3. 제1항에 있어서,
    상기 이미지로부터 추출되는 상기 시각정보를 결정하는 시각정보 추출모델을 저장하는 제2데이터베이스를 더 포함하며,
    상기 시각정보 추출모듈은, 상기 시각정보 추출모델을 토대로 상기 이미지로부터 상기 시각정보를 추출하는 대화시스템.
  4. 제2항에 있어서,
    각 사용자의 신체정보, 보유한 패션 아이템 정보 및 운동정보 중 적어도 하나를 포함하는 개인정보를 저장하는 제3데이터베이스를 더 포함하며,
    상기 스마트 미러 제어기는, 상기 개인정보에 따라서 상기 응답정보를 추출하는 대화시스템.
  5. 삭제
  6. 사용자로부터 수신되는 음성신호로부터 사용자 발화의도를 획득하는 단계,
    카메라를 통해 획득되는 이미지로부터 시각정보를 추출하는 단계,
    상기 사용자 발화의도에 따른 외부응용 데이터베이스 선택정보를 토대로, 상기 사용자 발화의도에 대응하는 외부응용 데이터베이스를 선택하는 단계,
    상기 사용자 발화의도 및 상기 시각정보에 따라서 응답정보를 추출하기 위한 쿼리문을 포함하는 스마트 미러 모델을 토대로, 상기 사용자 발화의도에 따라서 선택된 외부응용 데이터베이스로부터 상기 사용자 발화의도 및 상기 시각정보에 대응하는 상기 응답정보를 추출하는 단계, 그리고
    상기 이미지에 상기 응답정보에 대응하는 응답이미지를 중첩하여 표시하는 단계를 포함하고,
    상기 시각정보는, 상기 사용자의 신체정보, 상기 사용자의 자세정보 또는 상기 사용자가 착용한 패션 아이템과 관련된 정보를 포함하는 대화시스템의 대화방법.
  7. 제6항에 있어서,
    상기 응답정보에 대응하는 제2자연어를 생성하는 단계, 그리고
    상기 제2자연어에 대응하는 음성신호를 출력하는 단계
    를 더 포함하는 대화시스템의 대화방법.
  8. 제6항에 있어서,
    상기 응답정보를 추출하는 단계는,
    상기 사용자의 신체정보, 보유한 패션 아이템 정보 및 운동정보 중 적어도 하나를 포함하는 개인정보에 따라서, 상기 응답정보를 추출하는 단계인 대화시스템의 대화방법.
  9. 삭제
  10. 제6항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위해 기록매체에 저장된 프로그램.
KR1020150001398A 2015-01-06 2015-01-06 대화시스템 및 그 방법 KR101661669B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150001398A KR101661669B1 (ko) 2015-01-06 2015-01-06 대화시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150001398A KR101661669B1 (ko) 2015-01-06 2015-01-06 대화시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160084748A KR20160084748A (ko) 2016-07-14
KR101661669B1 true KR101661669B1 (ko) 2016-09-30

Family

ID=56499241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150001398A KR101661669B1 (ko) 2015-01-06 2015-01-06 대화시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101661669B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190109670A (ko) 2018-03-09 2019-09-26 강원대학교산학협력단 신경망을 이용한 사용자 의도분석 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102486111B1 (ko) * 2018-01-05 2023-01-09 현대자동차주식회사 자세 모니터링 장치 및 이를 포함하는 차량, 자세 모니터링 장치의 제어 방법
KR101891495B1 (ko) * 2018-01-16 2018-08-27 주식회사 머니브레인 사용자 발화 입력에 대한 대화 응답 후보를 표시하도록 하는 디스플레이 제어 방법, 컴퓨터 판독가능 기록 매체 및 컴퓨터 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090090613A (ko) * 2008-02-21 2009-08-26 주식회사 케이티 멀티모달 대화형 이미지 관리 시스템 및 방법
KR20120031722A (ko) * 2010-09-27 2012-04-04 삼성전자주식회사 동적 응답 생성 장치 및 방법
KR101423258B1 (ko) * 2012-11-27 2014-07-24 포항공과대학교 산학협력단 상담 대화 제공 방법 및 이를 이용하는 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190109670A (ko) 2018-03-09 2019-09-26 강원대학교산학협력단 신경망을 이용한 사용자 의도분석 시스템 및 방법

Also Published As

Publication number Publication date
KR20160084748A (ko) 2016-07-14

Similar Documents

Publication Publication Date Title
US20210081056A1 (en) Vpa with integrated object recognition and facial expression recognition
US11954150B2 (en) Electronic device and method for controlling the electronic device thereof
CN108874126B (zh) 基于虚拟现实设备的交互方法及系统
WO2018142756A1 (ja) 情報処理装置及び情報処理方法
US20130108994A1 (en) Adaptive Multimodal Communication Assist System
US11184679B2 (en) Electronic apparatus and method for controlling the electronic apparatus
JP6730461B2 (ja) 情報処理システム及び情報処理装置
KR102431817B1 (ko) 사용자 발화를 처리하는 전자 장치 및 서버
CN109660865A (zh) 为视频自动打视频标签的方法及装置、介质和电子设备
JP2017211932A (ja) 情報処理装置、情報処理システム、プログラム及び情報処理方法
KR101661669B1 (ko) 대화시스템 및 그 방법
CN112632349A (zh) 展区指示方法、装置、电子设备及存储介质
JPWO2004064393A1 (ja) 放送受信方法、放送受信システム、記録媒体、及びプログラム
EP3671699A1 (en) Electronic apparatus and controlling method thereof
KR20150021283A (ko) 스마트 안경을 이용한 외국어 학습 시스템 및 방법
US20220059080A1 (en) Realistic artificial intelligence-based voice assistant system using relationship setting
WO2020075358A1 (ja) 情報処理装置、情報処理方法及びプログラム
US10740816B2 (en) Person and machine matching device, matching system, person and machine matching method, and person and machine matching program
US20200234187A1 (en) Information processing apparatus, information processing method, and program
KR101724143B1 (ko) 검색 서비스 제공 장치, 시스템, 방법 및 컴퓨터 프로그램
KR20150134252A (ko) 디스플레이 장치, 원격 제어 장치, 시스템 및 그 제어 방법
JP5330005B2 (ja) デジタルフォトフレーム、情報処理システム及び制御方法
JP4367713B2 (ja) 放送受信方法、放送受信システム、第１装置、第２装置、音声認識方法、音声認識装置、プログラム及び記録媒体
JP7414231B2 (ja) マルチモーダル音声認識装置およびマルチモーダル音声認識方法
US20210311986A1 (en) System and method for judging situation of object and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant