KR101562901B1 - 대화 지원 서비스 제공 시스템 및 방법 - Google Patents

대화 지원 서비스 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101562901B1
KR101562901B1 KR1020130161589A KR20130161589A KR101562901B1 KR 101562901 B1 KR101562901 B1 KR 101562901B1 KR 1020130161589 A KR1020130161589 A KR 1020130161589A KR 20130161589 A KR20130161589 A KR 20130161589A KR 101562901 B1 KR101562901 B1 KR 101562901B1
Authority
KR
South Korea
Prior art keywords
image
sound source
conversation
external device
sound
Prior art date
Application number
KR1020130161589A
Other languages
English (en)
Other versions
KR20150073637A (ko
Inventor
남택진
김계영
김초롱
김해찬
주성욱
이상정
민혜령
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130161589A priority Critical patent/KR101562901B1/ko
Publication of KR20150073637A publication Critical patent/KR20150073637A/ko
Application granted granted Critical
Publication of KR101562901B1 publication Critical patent/KR101562901B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자들의 대화 패턴을 인식하고, 인식된 사용자 음성을 다양한 형태로 재구성하여 제공함으로써, 사용자들 간의 대화를 유발할 수 있는 다양한 서비스를 제공할 수 있도록 하는 대화 지원 서비스 제공 시스템 및 방법에 관한 것으로,
상기 대화 지원 서비스 제공 시스템은, 테이블 위에 이격되도록 설치되어, 외부 기기로부터 상기 테이블에 둘러 앉은 사용자들의 대화 패턴에 상응하는 영상을 제공받고, 상기 영상을 상기 테이블 투사하는 영상 투사 장치; 및 상기 테이블에 내장 또는 부착되어, 상기 외부 기기로부터 상기 테이블에 둘러 앉은 사용자들의 대화 패턴에 상응하는 음원을 제공받고, 상기 음원을 재생하는 적어도 하나의 음원 재생 장치; 를 포함할 수 있다.

Description

대화 지원 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR SUPPORING CONVERSATION}
본 발명은 사용자들의 대화 패턴을 인식하고, 인식된 사용자 음성을 다양한 형태로 재구성하여 제공함으로써, 사용자들 간의 대화를 유발할 수 있는 다양한 서비스를 제공할 수 있도록 하는 대화 지원 서비스 제공 시스템 및 방법에 관한 것이다.
근래에 들어, 가족 대화 단절로 인한 사회 문제가 급증하고 있다. 즉, 현대 사회가 발달하고 복잡해짐에서 따라 가족 구성원 각각의 외부 활동이 증가함에 따라 가족 구성원 모두가 모일 수 있는 시간이 급격히 감소되었으며, 가족 구성원 모두가 모인 경우에도 공통 주제가 없어 대화가 계속하여 이어지지 못하고 단절되는 경우가 빈번히 발생하고 있다.
또한, 스마트 폰, 태블릿 PC와 같은 모바일 기술이 발달함에 따라, 이러한 현상은 더욱 심화되고 있다.
이에 본 발명에서는 식사시간에 가족들의 즐거운 대화를 증진시키고, 가족들간의 경험을 공유하여 가족의 유대감 강화시킬 수 있는 대화 지원 서비스 제공 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제1 실시 형태에 따르면, 테이블 위에 이격되도록 설치되어, 외부 기기로부터 상기 테이블에 둘러 앉은 사용자들의 대화 패턴에 상응하는 영상을 제공받고, 상기 영상을 상기 테이블에 투사하는 영상 투사 장치; 및 상기 테이블에 내장 또는 부착되어, 상기 외부 기기로부터 상기 테이블에 둘러 앉은 사용자들의 대화 패턴에 상응하는 음원을 제공받고, 상기 음원을 재생하는 적어도 하나의 음원 재생 장치; 를 포함하는 대화 지원 서비스 제공 시스템을 제공한다.
상기 영상 투사 장치는 상기 외부 기기와의 무선 통신 채널을 형성하고, 상기 무선 통신 채널을 통해 상기 외부 기기로부터 전송되는 영상을 수신받는 통신부; 상기 테이블 위에 놓여진 외부 기기의 위치를 인식하는 외부 기기 인식부; 및 상기 외부 기기의 위치를 기반으로 영상 투사 위치를 결정하고, 상기 영상 투사 위치에 상기 외부 기기로부터 전송되는 영상을 투사하는 영상 투사부를 포함할 수 있다.
상기 외부 기기 인식부는 카메라를 구비하고, 상기 카메라를 통해 촬영된 테이블 위 영상을 분석하여 상기 외부 기기의 위치를 검출할 수 있다.
또한 상기 외부 기기 인식부는 상기 테이블 위에 놓여진 외부 기기가 다수인 경우, 카메라를 구비하고, 상기 카메라를 통해 촬영된 테이블 위 영상을 분석하여 상기 외부 기기 각각의 화면에 표시된 태그 정보를 추출하고, 이를 기반으로 상기 외부 기기 각각의 위치와 식별 정보를 검출할 수 있다.
그리고 상기 영상 투사부는 상기 다수의 외부 기기 중 하나로부터 제공되는 영상이 다수의 외부 기기 각각에 대응되는 다수 채널로 구성되는 경우, 상기 외부 기기 각각의 식별 정보를 기반으로 상기 외부 기기 각각에 대응되는 채널을 파악하고, 상기 외부 기기 각각의 위치를 기반으로 상기 다수의 채널 각각에 대응되는 영상 투사 위치를 결정할 수 있다.
뿐 만 아니라, 상기 영상 투사부는 상기 다수의 외부 기기 각각이 자신의 식별 정보가 매핑된 영상을 제공하는 경우, 상기 외부 기기 각각의 식별 정보를 기반으로 상기 외부 기기 각각에 대응되는 영상을 파악하고, 상기 외부 기기 각각의 위치를 기반으로 상기 다수의 영상 각각에 대응되는 영상 투사 위치를 결정할 수 있다.
더하여, 상기 외부 기기 인식부는 초음파 센서를 구비하고, 상기 초음파 센서를 통해 테이블에 조사된 후 반사되어 재입사되는 초음파를 수신 및 분석하여 상기 외부 기기의 위치를 검출할 수 있다.
상기 음원 재생 장치는 상기 외부 기기와의 무선 통신 채널을 형성하고, 상기 무선 통신 채널을 통해 상기 외부 기기로부터 전송되는 음원을 수신받는 통신부; 상기 음원을 재생하는 음원 재생부; 및 상기 음원 재생부에 의해 재생되는 음원을 출력하는 적어도 하나의 스피커를 포함할 수 있다.
상기 음원 재생부는 상기 스피커가 다수로 구성되고, 상기 외부 기기로부터 제공되는 음원이 다수 채널로 구성되는 경우, 상기 다수의 스피커 각각에 서로 다른 채널의 음원을 제공할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제2 실시 형태에 따르면, 주변 소리를 녹음하는 마이크; 상기 마이크를 통해 녹음된 소리를 분석하여 사용자들의 대화 패턴을 파악하고, 상기 대화 패턴에 대응되는 영상과 음원을 생성하는 대화 지원부; 및 테이블 위에 이격되도록 설치된 영상 투사 장치와 상기 테이블에 내장 또는 부착된 음원 재생 장치와의 무선 통신 채널을 형성하고, 상기 무선 통신 채널을 통해 상기 영상은 상기 영상 투사 장치에 전달하고, 상기 음원은 상기 음원 재생 장치로 전달하는 통신부;를 포함하는 모바일 기기를 제공한다.
상기 대화 지원부는 상기 소리에 포함된 다수의 목소리를 구별하고, 상기 다수의 목소리 각각에 대응되는 그래픽 영상을 생성하여 제공하되, 목소리별 대화량에 따라 그래픽 영상 각각의 크기, 개수, 투명도 중 적어도 하나를 조정하는 것을 특징으로 하는 한다.
그리고 상기 대화 지원부는 화자 변경을 감지하고, 화자 변경을 알려주는 그래픽 영상을 생성하여 제공할 수 있다.
또한 상기 대화 지원부는 기 설정된 이벤트 발생이 감지되면, 현재 대화 상황을 하나의 에피소드 형식으로 저장할 수 있다.
더하여, 상기 대화 지원부는 에피소드 검색 화면을 제공하고, 상기 에피소드 검색 화면을 통해 기 저장된 에피소드가 선택되면 상기 선택된 에피소드를 상기 영상 투사 장치와 상기 음원 재생 장치 중 적어도 하나를 통해 재생할 수 있다.
뿐 만 아니라, 상기 대화 지원부는 대화 단절 상황이 감지되면, 기 등록된 대화 유도 정보를 상기 영상 투사 장치와 상기 음원 재생 장치 중 적어도 하나를 통해 재생할 수 있다.
삭제
또한, 상기 과제를 해결하기 위한 수단으로서, 본 발명의 제3 실시 형태에 따르면, 테이블 주변에서 발생하는 소리를 녹음하는 단계; 상기 녹음된 소리를 분석하여 대화자간 대화 패턴을 파악하고, 상기 대화자간 대화 패턴에 대응되는 영상과 음원을 생성하는 단계; 및 상기 영상은 테이블 위에 이격되도록 설치된 영상 투사 장치를 통해 재생하고, 상기 음원은 테이블에 내장 또는 부착된 음원 재생 장치를 통해 재생하는 단계를 포함하는 대화 지원 서비스 방법을 제공한다.
상기 영상과 음원을 생성하는 단계는 상기 소리에 포함된 다수의 목소리를 구별하고, 상기 다수의 목소리 각각에 대응되는 그래픽 영상을 생성하되, 목소리별 대화량에 따라 그래픽 영상 각각의 크기, 개수, 투명도 중 적어도 하나를 조정할 수 있다.
그리고 상기 영상과 음원을 생성하는 단계는 화자 변경을 감지하고, 화자 변경을 알려주는 그래픽 영상을 생성할 수 있다.
또한 상기 영상과 음원을 생성하는 단계는 대화 단절 상황이 감지되면, 대화 유도를 위한 영상과 음원 중 적어도 하나를 생성할 수 있다.
상기 방법은 기 설정된 이벤트 발생이 감지되면, 현재 대화 상황을 하나의 에피소드 형식으로 저장하는 단계를 더 포함할 수 있다.
더하여, 상기 방법은 에피소드 검색 화면을 제공하고, 상기 에피소드 검색 화면을 통해 기 저장된 에피소드가 선택되면 상기 선택된 에피소드를 상기 영상 투사 장치와 상기 음원 재생 장치 중 적어도 하나를 통해 재생하는 단계를 더 포함할 수 있다.
본 발명에서는 다양한 대화 패턴을 고려하여 테이블 위로 그래픽 이미지를 투사하거나 음원이 재생되도록 하고, 더 나아가 추억을 공유할 수 있도록 함으로써, 다수의 사용자가 보다 즐겁게 대화를 진행할 수 있도록 한다.
또한 대화가 단절되는 대화를 유도하기 위한 정보가 새로운 방식으로 제공될 수 있도록 함으로써, 대화가 자연스럽게 지속될 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 대화 지원 서비스 제공 시스템의 동작 개념도를 도시한 도면이다.
도2는 본 발명의 일 실시예에 따른 대화 지원 서비스 제공 시스템의 구성도를 도시한 도면이다.
도3 내지 도6은 본 발명의 일 실시예에 따른 대화 지원 서비스 제공 시스템을 통해 제공되는 그래픽 영상의 예를 도시한 도면이다.
도7은 본 발명의 일 실시예에 따른 모바일 기기를 이용한 대화 서비스 제공 방법을 설명하기 위한 도면이다.
도8은 본 발명의 다른 실시예에 따른 모바일 기기를 이용한 대화 서비스 제공 방법을 설명하기 위한 도면이다.
도9은 본 발명의 또 다른 실시예에 따른 모바일 기기를 이용한 대화 서비스 제공 방법을 설명하기 위한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1 및 도2는 본 발명의 일 실시예에 따른 모바일 기기를 이용한 대화 지원 서비스 제공 시스템을 설명하기 위한 도면으로, 도1은 대화 지원 서비스 제공 시스템의 동작 개념도, 도2는 대화 지원 서비스 제공 시스템의 구성도를 각각 나타낸다.
본 발명의 대화 지원 서비스 제공 시스템(100)은 도1에서와 같이 식탁, 거실 테이블 등과 같이 다수의 사용자(예를 들어, 가족 구성원)이 주로 모이는 공간에 구축 가능하며, 도2에와 같이 테이블 위에 이격되도록 설치된 영상 투사 장치(110), 테이블에 내장 또는 부착된 적어도 하나의 음원 재생 장치(120) 등을 포함하여 구성될 수 있으며, 적어도 하나의 모바일 기기(200)와 통신할 수 있다.
모바일 기기(200)는 대화에 참여하는 사용자들 각각의 음성을 인식 및 분석하여 사용자간 대화를 지원하기 위한 각종 영상, 음원 등을 생성 및 제공하는 장치로, 마이크(210), 대화 지원부(220) 및 통신부(1130) 등을 포함하여 구성될 수 있다.
모바일 기기(200)는 스마트 폰, 태블릿 PC와 같이 사용자에 의해 휴대 가능하며, 각종 어플리케이션을 인터넷 망에서 다운로드 및 설치할 수 있는 각종 통신 기기로 구현될 수 있다.
마이크(210)는 사용자에 의해 대화 서비스 제공 동작이 요청되면, 이에 응답하여 모바일 기기(200)의 주변에서 발생하는 소리를 녹음한다.
대화 지원부(220)는 음성 인식 알고리즘을 통해 소리에 포함된 다수의 목소리를 구별하고, 각각의 목소리에 대응되는 대화 내용, 현재 화자, 대화 분위기, 대화 발생 일시 등을 유추한 후 이에 대응되는 영상과 음원을 생성한다. 그리고 생성된 영상과 음원 각각에 모바일 기기 식별 정보를 매핑하여 영상 투사 장치(110)와 스피커(30) 각각에 출력함으로써, 대화에 참여한 사용자들이 현재의 대화 상황을 새로운 방식으로 인식할 수 있도록 해준다.
예를 들어, 도3에서와 같이 각각의 목소리에 대응되는 그래픽 영상(예를 들어, 비눗 방울 이미지)를 생성하여 테이블 위에 투사하며, 도4에서와 같이 목소리별 대화량에 따라 그래픽 영상 각각의 크기, 개수, 투명도 중 적어도 하나를 다양하게 조정함으로써, 테이블 위에 투사된 그래픽 영상을 통해 현재 누가 얼마나 이야기 하고 있는지를 시각적으로 인식할 수 있도록 해준다.
그리고 화자가 변경되면, 도5에서와 같이 변화되는 화자가 누구인지를 알려주는 그래픽 영상을 생성 및 투사함으로써, 테이블 위에 투사된 그래픽 영상을 통해 현재 화자가 어떻게 변화되고 있는 시각적으로 파악할 수 있도록 한다.
그리고 대화에 참여하고 있는 사용자가 웃거나 노래를 부르는 상황이 발생하면, 에피소드 저장 이벤트를 발생하여 현재 대화 상황을 하나의 에피소드 형식으로 저장하도록 한다. 에피소드에 현재 대화 상황, 대화 일시, 대화 참가자 등에 대한 정보를 매핑하여 저장함으로써, 차후 필요시에 이들 정보를 기준으로 다양한 에피소드를 검색 및 재생할 수 있도록 한다. 또한, 웃음이 발생하면, 웃음에 관련된 에피소드를 검색 및 재생하고 이와 동시에 웃음 발생을 알리는 그래픽을 테이블 위에 투사함으로써 현재의 분위기가 더욱 고조될 수 있도록 한다.
뿐 만 아니라 사용자간 대화가 기 설정된 시간 이상 발생되지 않으면, 도6에서와 같이 대화를 유도하기 위한 정보를 테이블 위에 투사함으로써, 사용자들이 이를 참조하여 다음의 대화를 자연스럽게 이어나갈 수 있도록 한다. 또한 상기의 대화 유도 정보를 모바일 기기의 화면에 동시 표시하고, 사용자가 이를 선택하면 대화 유도 정보에 링크된 데이터가 재생될 수 있도록 한다.
대화 유도 정보는 모바일 기기의 파일 시스템에 정보 공유 폴더를 만들고, 정보 공유 폴더에 대화 유도 정보로 사용하고자 하는 유도 정보로 사용하고자 하는 사진, 영상, 비디오, 음원등을 저정함으로써 생성 가능하다. 또한 웃음 또는 노래에 관련된 에피소드가 정보 공유 폴더에 자동 저장되도록 함으로써, 이 또한 대화 유도 정보로 활용될 수 있도록 한다.
통신부(1130)는 블루투스, 와이파이 등과 같은 근거리 무선 통신 모듈을 구비하여 영상 투사 장치(110) 및 음원 재생 장치(120)와의 무선 채널을 형성하고, 이를 통해 영상 투사 장치(110) 및 음원 재생 장치(120)와의 데이터 통신을 수행한다.
영상 투사 장치(110)는 모바일 기기(200)로부터 제공되는 영상을 테이블 위로 투사하는 장치로, 모바일 외부 기기 인식부(111), 영상 투사부(112) 및 통신부(113) 등을 포함하여 구성될 수 있다.
참고로, 본 발명에서는 영상 투사 장치(110)는 두 개 이상의 모바일 기기(200)과 통신할 수 있으므로, 현재 통신중인 모바일 기기가 테이블 위 어느 위치에 있는지도 파악해야 할 필요가 있다.
이에 모바일 외부 기기 인식부(111)는 카메라를 통해 테이블 위 영상을 촬영한 후, 모바일 기기 형상이 촬영된 영역을 검출하고, 검출 영역의 위치값을 기반으로 상대적 위치로부터 모바일 기기의 위치를 검출할 수 있다. 또한, 초음파 센서를 통해 테이블을 향해 초음파를 조사한 후 테이블에 의해 반사되어 재입사되는 초음파를 수신 및 분석하여 테이블 위에 놓여진 모바일 기기를 검출할 수도 있을 것이다.
더하여, 테이블 위에 놓여진 모바일 기기가 다수인 경우에는 검출 정확성을 높이기 위해, 모바일 기기(20)가 대화 지원부(220)를 통해 기기 정보 및 사용자 정보 중 적어도 하나를 포함하는 태그 정보를 생성하여 화면에 표시하도록 하고, 영상 투사 장치(110)는 카메라를 통해 촬영된 테이블 위 영상을 분석하여 상기 외부 기기 각각의 화면에 표시된 태그 정보를 추출하고, 이를 기반으로 모바일 기기 각각의 위치와 식별 정보를 검출하도록 한다. 즉, 각각의 모바일 기기가 테이블 위 어디에 위치하는 지, 또 누구의 것인지 까지 파악할 수도 있도록 한다. 물론, 상기의 방법 이외에도 특정 위치에 놓여진 모바일 기기를 검출할 수 있는 기술들이 존재한다면, 이 또한 다양하게 적용 가능함은 당연할 것이다.
영상 투사부(112)는 모바일 기기의 주변 영역을 영상 투사 위치로 결정하고, 해당 위치에 모바일 기기(20)로부터 전송받은 영상을 투사하도록 한다.
만약, 테이블 위에 놓여진 모바일 기기(200)가 다수이고, 모바일 기기(200)로부터 영상이 다수의 모바일 기기 각각에 대응되는 다수 채널로 구성되는 경우, 영상 투사부(112)는 모바일 외부 기기 인식부(111)를 통해 획득한 모바일 기기 각각의 식별 정보를 기반으로 모바일 기기 각각에 대응되는 채널을 파악하고, 모바일 기기 각각의 위치를 기반으로 다수의 채널 각각에 대응되는 영상 투사 위치를 결정하도록 한다. 즉, 제1 모바일 기기로부터 제1 모바일 기기에 대응되는 영상과 제2 모바일 기기에 대응되는 영상을 제공받되, 제1 모바일 기기에 대응되는 영상은 제1 모바일 기기의 주변 영역에, 제2 모바일 기기에 대응되는 영상은 제2 모바일 기기의 주변 영역에 각각 투사되도록 한다.
또한, 다수의 모바일 기기(200) 각각이 자신의 식별 정보가 매핑된 영상을 제공하는 경우, 모바일 기기(200) 각각의 식별 정보를 기반으로 모바일 기기(200) 각각에 대응되는 영상을 파악하고, 모바일 기기(200) 각각의 위치를 기반으로 다수의 영상 각각에 대응되는 영상 투사 위치를 결정할 수도 있을 것이다. 즉, 제1 모바일 기기로부터 제1 영상을, 제2 모바일 기기로부터 제2 영상을 제공받되, 제1 영상은 제1 모바일 기기의 주변 영역에, 제2 영상은 제2 모바일 기기의 주변 영역에 각각 투사되도록 한다.
통신부(113)는 블루투스, 와이파이 등과 같은 근거리 무선 통신 모듈을 구비하여 적어도 하나의 모바일 기기(200)와의 무선 채널을 형성하고, 이를 통해 모바일 기기(200)와의 데이터 통신을 수행한다.
음원 재생 장치(120)는 모바일 기기(200)로부터 음원을 제공받아 재생하는장치로, 통신부(121), 음원 재생부(122), 및 적어도 하나의 스피커(123) 등을 포함하여 구성될 수 있다.
통신부(121)는 블루투스, 와이파이 등과 같은 근거리 무선 통신 모듈을 구비하여 적어도 하나의 모바일 기기(200)와의 무선 채널을 형성하고, 이를 통해 모바일 기기(200)와의 데이터 통신을 수행한다.
음원 재생부(122)는 모바일 기기(200)로부터 제공되는 음원을 재생하고, 재생 결과가 스피커(123)를 통해 출력하도록 한다.
특히, 본 발명의 음원 재생 장치(120)는 다수의 스피커(123)를 구비할 수있으며, 이때에 모바일 기기(200)가 다수의 채널로 구성된 음원을 제공하는 경우, 다수의 스피커(123) 각각이 서로 다른 채널의 음원을 출력하도록 할 수 있도록 해준다. 이러한 경우, 서로 다른 채널의 음원이 서라운드 방식으로 재생되어, 현장감이 증대될 수 있게 된다. 또한 동일한 방식으로 모바일 기기 각각에 하나의 스피커(123)를 할당할 수도 있을 것이다.
이하, 본 발명의 모바일 기기를 이용한 대화 지원 서비스 제공 시스템의 동작 방법들에 대해 살펴보기로 한다. 다만, 이하에서는 설명의 편이를 위해 대화 지원 서비스 제공 시스템은 식탁에 설치되어 있으며, 4명의 식구가 식탁에 둘러앉아 식사를 하는 상황이라고 가정하기로 한다.
도7은 본 발명의 일 실시예에 따른 모바일 기기를 이용한 대화 서비스 제공 방법을 설명하기 위한 도면으로, 도7의 방법은 4명의 사용자가 식탁에 모여 식사를 하는 상황하에서 수행된다고 가정하기로 한다.
만약, 4명의 사용자가 식탁에 모이고, 사용자 각각이 자신의 모바일 기기를 식탁에 올려 놓으면, 모바일 기기 각각은 사용자들의 대화를 기록 및 분석하기 시작한다. 그리고 모바일 기기 각각은 자신의 소유주가 말을 할 때마다, 도7의 (a)와 같이 자신의 주변 영역에 그래픽 이미지(예를 들어, 버블 이미지)가 투사되되, 자신의 소유주가 말을 많이 할수록 투사되는 그래픽 이미지의 크기가 증가되도록 한다. 또한 자신의 소유주가 다른 사용자와 대화를 하면, 도7의 (b)와 같이 자신의 소유주에 대응되는 그래픽 이미지 옆에 다른 사용자에 대응되는 그래픽 이미지가 추가로 투사되도록 한다.
그리고 사용자들끼리 대화 도중 웃음소리가 나는 경우, 모바일 기기는 이에 응답하여 해당 대화를 저장하고, 이와 동시에 도7의 (c)에 도시된 바와 같이 웃음 발생에 대응되는 그래픽(예를 들어, 웃는 얼굴 모양의 버블)을 식탁위에 투사하거나 모바일 기기의 화면에 표시하여, 모든 사용자가 현재 에피소드가 저장되고 있음을 인지할 수 있도록 한다.
이에 사용자가 대화가 끝나는 순간 누가 대화를 가장 많이 했는지, 누구와 대화를 많이 나누었는지, 그리고 얼마나 즐거운 대화를 나누었는지가 한 눈에 알 수 있게 된다.
도8은 본 발명의 다른 실시예에 따른 모바일 기기를 이용한 대화 서비스 제공 방법을 설명하기 위한 도면으로, 도8의 방법은 저장된 에피소드를 재생하는 방법에 관한 것이다.
모바일 기기는 도8의 (a)에 도시된 바와 같이 대화 상황, 대화 일시, 대화 참가자 등을 조건으로 에피소드를 검색 및 선택할 수 있는 화면을 제공하고, 해당 화면을 통해 사용자에 의해 선택된 에피소드를 재생하도록 한다.
특히, 본 발명의 모바일 기기는 에피소드에 포함된 다수의 목소리를 구별하고, 도8의 (b)에서와 같이 각각의 목소리가 서로 다른 음원 재생 장치를 통해 재생되도록 함으로써, 다수의 사용자가 실제 식탁에 존재하는 듯한 효과를 제공할 수 있도록 한다.
또한, 웃음과 같은 이벤트가 발생하면, 이에 관련된 에피소드를 자동 선택 및 재생함으로써, 현재 발생된 웃음을 증폭시켜 즐거움을 배가시켜 줄 수도 있을 것이다.
도9은 본 발명의 또 다른 실시예에 따른 모바일 기기를 이용한 대화 서비스 제공 방법을 설명하기 위한 도면으로, 도9의 방법은 대화 유도 정보를 제공하는 방법에 관한 것이다.
참고로, 가족 간 식사시간 대화가 없는 경우가 많은 것은 서로 반목해서가 아니라 공감할 만한 대화 소재를 찾기 힘들어서라는 인터뷰 결과가 있다. 따라서, 본 발명에서는 이러한 상황을 인식해서 대화 소재를 제시해 줄 수 있도록 한다.
즉, 모바일 기기는 4명의 사용자가 식탁에 모여 식사를 하다, 일정한 시간이상 대화가 발생되지 않으면, 도9의 (a)에서와 같이 대화를 유도하기 위한 정보를 테이블 위에 투사함으로써, 사용자들이 이를 참조하여 다음의 대화를 자연스럽게 이어나갈 수 있도록 한다.
또한 도9의 (b)에서와 같이 상기의 대화 유도 정보를 모바일 기기의 화면에 동시 표시한 후, 사용자가 이를 선택하면 대화 유도 정보에 링크된 데이터가 테이블 위에서 재생될 수 있도록 한다.
상기의 실시예에서는 영상 투사 장치(110) 및 음원 재생 장치(120)가 데이터 출력 동작을 모바일 기기(200)가 대화 지원 동작을 수행하도록 하나, 필요한 경우 영상 투사 장치(110) 또는 음원 재생 장치(120)가 모바일 기기(200)의 대화 지원 동작까지도 모두 수행하도록 할 수도 있도록 한다.
즉, 영상 투사 장치(110) 또는 음원 재생 장치(120)가 대화 지원부(220)에 대응되는 장치들을 추가적으로 구비함으로써, 모바일 기기(200)의 사용자간 대화 패턴 분석 동작, 화자 검출 동작, 대화 패턴에 맞는 영상 및 음원 생성 동작, 이벤트 검출 동작, 이벤트 발생에 따른 에피소드 저장 및 검색 동작 등이 모두 영상 투사 장치(110) 또는 음원 재생 장치(120)에서 수행될 수 있도록 한다.
또한, 필요한 경우 영상 투사 장치(110) 또는 음원 재생 장치(120)가 마이크까지도 추가 구비할 수 있도록 함으로써, 영상 투사 장치(110) 또는 음원 재생 장치(120)가 모바일 기기(200) 대신에 음성 획득 동작까지도 수행할 수 있도록 한다.
이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
본 발명의 각 실시예에 따른 대화 지원 서비스 제공 시스템 및 방법을 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (23)

  1. 테이블 위에 이격되도록 설치되어, 외부 기기로부터 상기 테이블에 둘러 앉은 사용자들의 대화 패턴에 상응하는 영상을 제공받고, 상기 영상을 상기 테이블에 투사하는 영상 투사 장치; 및
    상기 테이블에 내장 또는 부착되어, 상기 외부 기기로부터 상기 테이블에 둘러 앉은 사용자들의 대화 패턴에 상응하는 음원을 제공받고, 상기 음원을 재생하는 적어도 하나의 음원 재생 장치; 를 포함하는 대화 지원 서비스 제공 시스템.
  2. 제1항에 있어서, 상기 영상 투사 장치는
    상기 외부 기기와의 무선 통신 채널을 형성하고, 상기 무선 통신 채널을 통해 상기 외부 기기로부터 전송되는 영상을 수신받는 통신부;
    상기 테이블 위에 놓여진 외부 기기의 위치를 인식하는 외부 기기 인식부; 및
    상기 외부 기기의 위치를 기반으로 영상 투사 위치를 결정하고, 상기 영상 투사 위치에 상기 외부 기기로부터 전송되는 영상을 투사하는 영상 투사부를 포함하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  3. 제2항에 있어서, 상기 외부 기기 인식부는
    카메라를 구비하고, 상기 카메라를 통해 촬영된 테이블 위 영상을 분석하여 상기 외부 기기의 위치를 검출하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  4. 제2항에 있어서, 상기 외부 기기 인식부는
    상기 테이블 위에 놓여진 외부 기기가 다수인 경우, 카메라를 구비하고, 상기 카메라를 통해 촬영된 테이블 위 영상을 분석하여 상기 외부 기기 각각의 화면에 표시된 태그 정보를 추출하고, 이를 기반으로 상기 외부 기기 각각의 위치와 식별 정보를 검출하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  5. 제2항에 있어서, 상기 외부 기기 인식부는
    초음파 센서를 구비하고, 상기 초음파 센서를 통해 테이블에 조사된 후 반사되어 재입사되는 초음파를 수신 및 분석하여 상기 외부 기기의 위치를 검출하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  6. 제4항에 있어서, 상기 영상 투사부는
    상기 다수의 외부 기기 중 하나로부터 제공되는 영상이 다수의 외부 기기 각각에 대응되는 다수 채널로 구성되는 경우, 상기 외부 기기 각각의 식별 정보를 기반으로 상기 외부 기기 각각에 대응되는 채널을 파악하고, 상기 외부 기기 각각의 위치를 기반으로 상기 다수의 채널 각각에 대응되는 영상 투사 위치를 결정하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  7. 제4항에 있어서, 상기 영상 투사부는
    상기 다수의 외부 기기 각각이 자신의 식별 정보가 매핑된 영상을 제공하는 경우, 상기 외부 기기 각각의 식별 정보를 기반으로 상기 외부 기기 각각에 대응되는 영상을 파악하고, 상기 외부 기기 각각의 위치를 기반으로 상기 외부 기기 각각에 대응되는 영상의 영상 투사 위치를 결정하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  8. 제1항에 있어서, 상기 음원 재생 장치는
    상기 외부 기기와의 무선 통신 채널을 형성하고, 상기 무선 통신 채널을 통해 상기 외부 기기로부터 전송되는 음원을 수신받는 통신부;
    상기 음원을 재생하는 음원 재생부; 및
    상기 음원 재생부에 의해 재생되는 음원을 출력하는 적어도 하나의 스피커를 포함하는 것을 특징으로 하는 외부 기기를 이용한 대화 지원 서비스 제공 시스템.
  9. 제8항에 있어서, 상기 음원 재생부는
    상기 스피커가 다수로 구성되고, 상기 외부 기기로부터 제공되는 음원이 다수 채널로 구성되는 경우, 상기 다수의 스피커 각각에 서로 다른 채널의 음원을 제공하는 것을 특징으로 하는 대화 지원 서비스 제공 시스템.
  10. 삭제
  11. 주변 소리를 녹음하는 마이크;
    상기 마이크를 통해 녹음된 소리를 분석하여 사용자들의 대화 패턴을 파악하고, 상기 대화 패턴에 대응되는 영상과 음원을 생성하는 대화 지원부; 및
    테이블 위에 이격되도록 설치된 영상 투사 장치와 상기 테이블에 내장 또는 부착된 음원 재생 장치와의 무선 통신 채널을 형성하고, 상기 무선 통신 채널을 통해 상기 영상은 상기 영상 투사 장치에 전달하고, 상기 음원은 상기 음원 재생 장치로 전달하는 통신부;를 포함하는 모바일 기기.
  12. 제11항에 있어서, 상기 대화 지원부는
    상기 소리에 포함된 다수의 목소리를 구별하고, 상기 다수의 목소리 각각에 대응되는 그래픽 영상을 생성하여 제공하되, 목소리별 대화량에 따라 그래픽 영상 각각의 크기, 개수, 투명도 중 적어도 하나를 조정하는 것을 특징으로 하는 모바일 기기.
  13. 제12항에 있어서, 상기 대화 지원부는
    화자 변경을 감지하고, 화자 변경을 알려주는 그래픽 영상을 생성하여 제공하는 것을 특징으로 하는 모바일 기기.
  14. 제11항에 있어서, 상기 대화 지원부는
    기 설정된 이벤트 발생이 감지되면, 현재 대화 상황을 하나의 에피소드 형식으로 저장하는 것을 특징으로 하는 모바일 기기.
  15. 제14항에 있어서, 상기 대화 지원부는
    에피소드 검색 화면을 제공하고, 상기 에피소드 검색 화면을 통해 기 저장된 에피소드가 선택되면 상기 선택된 에피소드를 상기 영상 투사 장치와 상기 음원 재생 장치 중 적어도 하나를 통해 재생하는 것을 특징으로 하는 모바일 기기.
  16. 제11항에 있어서, 상기 대화 지원부는
    대화 단절 상황이 감지되면, 기 등록된 대화 유도 정보를 상기 영상 투사 장치와 상기 음원 재생 장치 중 적어도 하나를 통해 재생하는 것을 특징으로 하는 모바일 기기.
  17. 모바일 기기의 대화 지원 서비스 방법에 있어서,
    상기 모바일 기기가 테이블 주변에서 발생하는 소리를 녹음하는 단계;
    상기 모바일 기기가 상기 녹음된 소리를 분석하여 대화자간 대화 패턴을 파악하고, 상기 대화자간 대화 패턴에 대응되는 영상과 음원을 생성하는 단계; 및
    상기 모바일 기기가 상기 영상은 테이블 위에 이격되도록 설치된 영상 투사 장치를 통해 재생하고, 상기 음원은 테이블에 내장 또는 부착된 음원 재생 장치를 통해 재생하는 단계를 포함하는 대화 지원 서비스 방법.
  18. 제17항에 있어서, 상기 영상과 음원을 생성하는 단계는
    상기 소리에 포함된 다수의 목소리를 구별하고, 상기 다수의 목소리 각각에 대응되는 그래픽 영상을 생성하되, 목소리별 대화량에 따라 그래픽 영상 각각의 크기, 개수, 투명도 중 적어도 하나를 조정하는 것을 특징으로 하는 대화 지원 서비스 방법.
  19. 제17항에 있어서, 상기 영상과 음원을 생성하는 단계는
    화자 변경을 감지하고, 화자 변경을 알려주는 그래픽 영상을 생성하는 것을 특징으로 하는 대화 지원 서비스 방법.
  20. 제17항에 있어서, 상기 영상과 음원을 생성하는 단계는
    대화 단절 상황이 감지되면, 대화 유도를 위한 영상과 음원 중 적어도 하나를 생성하는 것을 특징으로 하는 대화 지원 서비스 방법.
  21. 제17항에 있어서,
    상기 모바일 기기가 기 설정된 이벤트 발생이 감지되면, 현재 대화 상황을 하나의 에피소드 형식으로 저장하는 단계를 더 포함하는 것을 특징으로 하는 대화 지원 서비스 방법.
  22. 제17항에 있어서,
    상기 모바일 기기가 에피소드 검색 화면을 제공하고, 상기 에피소드 검색 화면을 통해 기 저장된 에피소드가 선택되면 상기 선택된 에피소드를 상기 영상 투사 장치와 상기 음원 재생 장치 중 적어도 하나를 통해 재생하는 단계를 더 포함하는 것을 특징으로 하는 대화 지원 서비스 방법.
  23. 제17항 내지 제22항 중 어느 한 항에 기재된 대화 지원 서비스 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130161589A 2013-12-23 2013-12-23 대화 지원 서비스 제공 시스템 및 방법 KR101562901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130161589A KR101562901B1 (ko) 2013-12-23 2013-12-23 대화 지원 서비스 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130161589A KR101562901B1 (ko) 2013-12-23 2013-12-23 대화 지원 서비스 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150073637A KR20150073637A (ko) 2015-07-01
KR101562901B1 true KR101562901B1 (ko) 2015-10-26

Family

ID=53787118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130161589A KR101562901B1 (ko) 2013-12-23 2013-12-23 대화 지원 서비스 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101562901B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101726277B1 (ko) * 2015-07-14 2017-04-13 주식회사 아이에스엘코리아 지능형 테이블을 이용한 정보제공 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147755A (ja) 1999-09-20 2001-05-29 Ncr Internatl Inc 情報の取り出し及び表示のためのインターフェイス方法並びにインターフェイス装置
JP2001160071A (ja) 1999-09-20 2001-06-12 Ncr Internatl Inc 情報の取り出し及び表示のためのインターフェイス方法並びにインターフェイス装置
JP2012069111A (ja) 2004-04-29 2012-04-05 Microsoft Corp 仮想環境と物理的オブジェクトとの間の対話を可能にするための方法およびシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147755A (ja) 1999-09-20 2001-05-29 Ncr Internatl Inc 情報の取り出し及び表示のためのインターフェイス方法並びにインターフェイス装置
JP2001160071A (ja) 1999-09-20 2001-06-12 Ncr Internatl Inc 情報の取り出し及び表示のためのインターフェイス方法並びにインターフェイス装置
JP2012069111A (ja) 2004-04-29 2012-04-05 Microsoft Corp 仮想環境と物理的オブジェクトとの間の対話を可能にするための方法およびシステム

Also Published As

Publication number Publication date
KR20150073637A (ko) 2015-07-01

Similar Documents

Publication Publication Date Title
CN106024009B (zh) 音频处理方法及装置
KR102050897B1 (ko) 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
TWI496480B (zh) 偕同一可攜式電子裝置用於產生多頻道音訊之系統和方法
US9438993B2 (en) Methods and devices to generate multiple-channel audio recordings
US10684754B2 (en) Method of providing visual sound image and electronic device implementing the same
JP4364251B2 (ja) 対話を検出する装置、方法およびプログラム
US10409547B2 (en) Apparatus for recording audio information and method for controlling same
US20210243528A1 (en) Spatial Audio Signal Filtering
CN107172497A (zh) 直播方法、装置及系统
CN103562906A (zh) 用于在线体验的基于情绪的用户标识
US10275207B2 (en) Method and apparatus for playing audio files
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
CN103430217A (zh) 输入支持装置、输入支持方法及记录介质
KR20140081636A (ko) 콘텐트 재생 방법 및 이를 위한 단말
JP6176041B2 (ja) 情報処理装置及びプログラム
KR102252665B1 (ko) 오디오 파일 재생 방법 및 장치
CN112151041B (zh) 基于录音机程序的录音方法、装置、设备及存储介质
US10347299B2 (en) Method to automate media stream curation utilizing speech and non-speech audio cue analysis
US9104378B2 (en) Method for processing data and electronic device thereof
KR101562901B1 (ko) 대화 지원 서비스 제공 시스템 및 방법
KR102124757B1 (ko) 모바일 기기와 센서를 이용한 자투리 시간 판단 시스템 및 방법
JP4649944B2 (ja) 動画像処理装置、動画像処理方法およびプログラム
KR101713626B1 (ko) 음성 데이터를 위한 태깅 시스템 및 그 방법
JP2012068419A (ja) カラオケ装置
CN111091807A (zh) 语音合成方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181002

Year of fee payment: 4