KR20070029794A - 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 - Google Patents

유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20070029794A
KR20070029794A KR1020077000373A KR20077000373A KR20070029794A KR 20070029794 A KR20070029794 A KR 20070029794A KR 1020077000373 A KR1020077000373 A KR 1020077000373A KR 20077000373 A KR20077000373 A KR 20077000373A KR 20070029794 A KR20070029794 A KR 20070029794A
Authority
KR
South Korea
Prior art keywords
user
communication
communicating
detecting
sees
Prior art date
Application number
KR1020077000373A
Other languages
English (en)
Inventor
토마스 포르텔레
바산쓰 필로민
크리스티안 베니엔
홀거 숄
프랑크 자쎈샤이트
옌스 프리데만 마르쉬너
라인하르트 크네제르
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20070029794A publication Critical patent/KR20070029794A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

본 발명은, 유저(101)와 시스템(103) 사이에 통신을 하는 방법으로서, 상기 유저가 시스템을 보는지 또는 그렇지 않으면 다른 곳을 보는지를 검출하는 단계와 이에 기초하여 통신을 조정하는 단계를 포함하는, 유저와 시스템 사이에 통신을 하는 방법에 관한 것이다.

Description

유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템{A METHOD AND A SYSTEM FOR COMMUNICATION BETWEEN A USER AND A SYSTEM}
본 발명은, 유저와 시스템 사이에 통신하는 방법으로서 유저가 시스템을 보는지 여부를 검출하는 단계와 이 검출에 기초하여 통신을 조정하는 단계를 포함하는, 유저와 시스템 사이에 통신하는 방법에 관한 것이다.
최근 몇 년에 유저와 상호작용하는 시스템을 개발하는 데 많은 진전이 있었다. 일례는 시스템에 명령을 내려 다른 동작을 수행하게 함으로써 유저가 시스템과 상호작용하는 음성 제어 통신이다.
US 20020105575에는 음성 제어 장치 쪽으로 유저가 보는 지를 검출하는 음성 제어 장치의 음성 제어를 가능하게 하는 방법이 기술되어 있다. 유저가 이 장치 족으로 보는 것이 검출될 때에만, 음성 제어가 가능하다. 이 발명의 주된 목적은 동일한 동사 명령(verbal command)에 의하여 복수의 음성 제어 장치를 원치않게 동작시키는 위험을 최소화시키는 것이다.
이 장치에 따른 문제는 이 장치가 대화와 관계없는 이벤트에 의해 짧은 혼란과 같은 대화 상호작용에서 나타나는 이벤트(event)를 처리하지는 않는다는 것이다. 이것은 유저와 장치 사이의 통신을 어렵게 하고 융통성 없게 한다. 나아가, 이 장치는 유저가 이 장치를 보는지를 검출할 때 능동적으로 유저에 대처할 수 없다.
WO 03/096171은 음성 신호를 인식하는 픽업 수단을 포함하는 디바이스를 기술한다. 또한 음성 제어에 의하여 유저가 이 디바이스와 동작가능하게 하는 전자 장치를 동작시키는 방법이 개시되어 있다.
이 발명에 따른 문제는 시스템과 상호작용하기 위하여 음성 신호가 인식되어야 한다는 것이다. 이것은 유저의 음성이 예를 들어 병으로 인해 달라지게 된 경우 문제될 수 있다. 또한 이 시스템은 대화와 관계없는 이벤트에 의해 짧은 혼란과 같은 대화 상호작용에 나타나는 이벤트를 처리하지 않는다. 이것은 전체 대화를 매우 경직되게 하고 매우 부자연스럽게 한다.
눈의 응시와 몸의 움직임이 유저의 관심 상태를 획득하기 위해 분석되는 관심 표시기(K. Thorisson, "Machine perception of real-time multimodal natural dialogue", Language, Vision & Music, 97-115, 2001)로 눈의 응시가 사용되는 시스템이 존재한다. 이 정보의 주된 용도는 유저의 관심의 현재 관점이 어느 물체에 있는지를 결정하는 것이다.
이 시스템에 따른 문제는 유저의 머리에 머리 장착되는 카메라가 물리적으로 장착되어야 하기 때문에 이것이 얼마나 요구되느냐이다. 이 시스템을 사용하는 이러한 막대한 불편함에 더하여 유저와 시스템 사이의 상호작용이 제한적이고 매우 부자연스럽다.
본 발명의 목적은 전술된 문제를 해결하는 것이다.
일 측면에 따라, 본 발명은, 유저와 시스템 사이에 통신하는 방법으로서,
- 유저가 시스템을 보는지 여부를 검출하는 단계와,
- 이 검출에 기초하여 상기 통신을 조정하는 단계
를 포함하는, 유저와 시스템 사이에 통신하는 방법에 관한 것이다.
따라서, 유저의 관심 상태를 검출함으로써, 유저와 시스템 사이의 통신이 매우 자연스러워지고 불편하지 않으며 사람처럼 된다.
일 실시예에서, 본 방법은 유저의 존재가 검출되자마자 유저 쪽으로 반응하는 단계를 더 포함한다.
이것은 유저와 시스템 사이의 통신이 보다 사람처럼 되게 한다. 일례로서, 시스템은 유저가 디바이스가 위치하는 룸에 들어갈 때 유저에게 인사하여 유저 쪽으로 반응할 수 있다. 이것은 사람이 일례로 사무소에서 집으로 들어올 때 사람에게 인사하는 사람들 사이의 상호작용과 비견될 수 있다.
일 실시예에서, 본 방법은 유저의 신원이 검출되자마자 유저 쪽으로 반응하는 단계를 더 포함한다.
이에 의해, 검출된 유저가 미지인 경우에는 시스템이 어쨌든 반응하지 않기 때문에 시스템의 보안이 향상된다. 나아가, 식별된 유저의 개인적인 프로파일과 선호도가 통신을 더 조정하기 위해 사용될 수 있다.
일 실시예에서, 본 방법은 동시에 2이상의 유저와 통신하는 단계를 더 포함한다.
이에 의해 시스템은 새로운 유저가 시스템과 통신하기를 원하는 때마다 새로운 유저를 식별할 필요없이 동시에 2이상의 유저와 상호작용할 수 있다. 따라서 이 시스템은 어느 유저가 시스템을 보는 지를 검출함으로써 여러 유저 중 어느 유저가 통신하는 것을 검출할 수 있다. 이것은 동시에 동일한 룸에 2이상의 다른 사람과 담화하는 사람과 비슷하다. 이것은 일례로서 가족일 수 있으며, 여기서 각 가족 구성원은 예를 들어 시스템에 요청하여 다른 동작을 수행하도록 할 수 있으며 예를 들어 이메일 등을 체크하도록 할 수 있다. 이것이 유저 예를 들어 가족구성원과 시스템 사이의 통신을 매우 사람과 같은 방식으로 만드는 이유이다.
일 실시예에서, 본 방법은 유저의 시야가 시스템 쪽으로 향하는지에 기초하여 유저와 시스템 사이의 통신을 개시하는 단계를 더 포함한다.
이에 의해 통신은 시스템 쪽을 향하는 유저의 시야가 이 통신을 개시할 때 유저의 관심을 나타내어야 하기 때문에 매우 편리하게 사람과 같은 방식으로 개시된다. 이것은 한 사람이 다른 사람이 대화를 시작하려고 하는지를 찾고자 하는 상황과 비슷하다. 이 사람은 일반적으로 다른 사람에 접근하고 그 사람의 눈을 보는 것에 의해 이것을 나타낼 수 있다.
일 실시예에서, 본 방법은 이벤트가 일어났을 때 유저와 시스템 사이에 통신을 개시하는 단계를 더 포함한다.
이것은 유저와 시스템 사이의 통신을 더 향상시킨다. 이 이벤트는 일례로서 이메일을 수신하는 것이거나 또는 누군가 이 시스템에 연결된 벨을 울리는 것을 포함할 수 있다. 이 경우에 시스템은 누군가 이 벨을 울리기 때문에 유저가 방해받을 수 있는지를 유저에게 질문할 수 있다. 심지어 전화가 이 시스템에 통합될 수 있으며 이 시스템은 전화가 울린다는 것을 유저에게 알리고 유저가 이에 응답하기를 원하는지를 알 수 있게 한다. 바람직하게는, 이 시스템은 우선 유저가 룸에 존재하는지를 체크하며 또는 유저가 다른 동작을 하고 있는지를 체크한다. 만약 유저가 시스템을 보고 있다면 유저는 통신에 참가하고자 할 것이다.
일 실시예에서, 본 방법은 유저의 물리적 위치를 검출하는 단계를 더 포함한다.
그러므로, 유저는 시스템과 통신하는 동안 시스템 근처에 있을 필요가 없다. 일례로서 유저는 이 시스템과 통신하는 동안 소파에 누워있을 수 있고 또는 의자에 앉아있을 수 있다.
일 실시예에서 본 방법은 음향 입력을 검출하는 단계를 더 포함한다.
그러므로, 이 시스템은 유저의 음향이나 주변으로부터 오는 음향을 더 검출하고 이에 의해 유저가 이 시스템을 보는지를 검출하는 것을 통해 또한 상기 음향을 통해 모두 통신할 수 있다. 이것은 물론 사람들이 통신하는 일반적인 방식이다.
다른 측면에서, 본 발명은 상기 방법을 처리 유닛이 수행하게 하는 명령을 저장한 컴퓨터 판독가능 매체에 관한 것이다.
일 측면에서, 본 발명은 유저와 통신하는 시스템으로서,
- 유저가 시스템을 보는지를 검출하는 검출 수단과,
- 상기 검출 수단으로부터 출력 데이터에 기초하여 상기 통신을 조정하는 프로세서
를 포함하는, 유저와 통신하는 시스템에 관한 것이다.
그러므로, 유저가 시스템과 매우 사람과 같은 방식으로 대화할 수 있게 하는 대화 시스템이 획득된다.
일 실시예에서, 본 시스템은 음향 입력을 검출하는 음향 센서를 더 포함한다.
이에 의해 음향 입력과 유저가 시스템을 보는지를 검출함으로써, 시스템이 "눈"과 "귀"를 모두 가지고 있다고 말할 수 있다. 일례로서, 유저는 이 시스템을 볼 수 있으나 일정 시간 동안 유저와 시스템 사이의 대화에 응답하지 않을 수 있다. 이것은 유저가 더 이상 이 시스템과 대화에 참가하지 않고 통신이 정지될 수 있다는 것으로 해석될 수 있다. 동일한 방식으로, 대화 동안 유저는 다른 방향을 보고 시스템 쪽을 향하지 않을 수 있다. 검출 수단이 유저가 전혀 관심을 주지 않는다고 나타낸다 하더라도 대화는 유저가 실제 여전히 관심을 주는 것을 나타낼 수 있다.
이하에서는 본 발명과 그 구체적으로 선호되는 실시예가 첨부된 도면을 참조하여 보다 상세히 기술될 것이다.
도 1은 유저와 통신하는 시스템(103)을 도시하는 도면.
도 2는 유저와 시스템 사이에 통신하는 방법의 흐름도.
도 1은 이 실시예에서는 컴퓨터에 통합된 유저(101)와 통신하는 시스템(103)을 도시한다. 이 시스템(103)은 유저(101)의 존재와 부재를 검출하며 유저(101)가 시스템(103)을 보는지 보지 않는지, 즉 이 경우에 컴퓨터 모니터를 보는지 보지 않 는지를 검출하는 검출 수단(105)을 포함한다. 도면에 도시된 바와 같이, 시스템(103)은 유저(101)와 주변으로부터 오는 음향 입력을 검출하는 음향 센서(104)를 더 포함한다. 그러나, 이 음향 센서(104)는 본 발명에 핵심 부분은 아니므로 쉽게 생략될 수 있다. 또한 검출 수단(105)과 음향 센서(104)로부터 오는 출력 데이터에 기초하여 유저(101)와 시스템(103) 사이에 통신을 조정하는 프로세서(106)가 도시된다. 나아가, 시스템(103)에는 회전을 통해 유저(101)의 움직임을 따라가는 회전 장치(111)가 제공될 수 있다. 검출 수단(105)은 일례로서 유저의 얼굴을 스캐닝함으로써 상기 검출을 수행하고 상기 스캐닝으로부터 하나 이상의 특성을 사용하여 유저(101)가 시스템(103) 쪽을 보는지 보지 않는지를 결정하기 위한 알고리즘을 포함하는 카메라일 수 있다. 선호되는 실시예에서, 얼굴 이미지가 전면 이미지인지를 결정하기 위해 두 눈이 보이는지 여부가 검출된다. 그리하여, 유저의 시야의 변화, 예를 들어 유저가 턱수염을 기르는 시야의 변화가 검출에 영향을 주지 않는다. 유저(101)가 시스템(103)을 보는지 보지 않는지에 기초하여 시스템 쪽을 향한 유저의 관심이 결정된다. 따라서, 유저(101)가 시스템(103) 쪽을 보는 경우 검출 수단(105)은 유저가 그 관심을 주고 시스템(103)과 유저(101) 사이에 통신이 유지된다고 해석한다. 한편, 유저(101)가 일정 시간 동안 시스템(103)을 보지 않는 경우, 이것은 유저(103)가 더 이상 관심을 주지 않는 것처럼 검출 수단(105)에 의해 해석될 수 있다. 유사한 방식으로 시스템을 향한 유저의 관심은 음향 센서(104)에 의해 결정되며, 이 음향 센서(104)는 유저(101)와 시스템(106) 사이에 대화에 유저(101)가 응하고 있는지 아니면 요청에 응하는지를 검출한다. 이 요청은 "당신은 이 대화 를 계속하고 싶습니까"일 수 있다. 유저의 대답이 "예, 나는 이 대화를 계속하고 싶습니다"인 경우, 음향 센서(104)는 유저가 관심을 주는 것처럼 이를 해석한다. 프로세서(106)는 검출 수단(105)과 음향 센서(104)로부터의 해석, 즉 유저(101)가 관심을 주는지 주지 않는지에 대한 해석 사이의 상호작용을 사용하여 유저(101)와 시스템(103) 사이에 통신을 조정한다. 이 조정은 유저(101)와 시스템(103) 사이에 통신을 중지하는 것, 유저(101)가 대화를 계속하기를 원하는지 또는 이후 대화를 계속하기를 원하는지를 유저(101)에게 요청하는 것을 포함할 수 있다.
도 1a에 도시된 예에서, 유저(101)는 시스템(103)과 통신을 수립하는데 관심이 있다. 유저(101)가 시스템(103)에 의해 검출되자마자, 시스템은 능동적으로 유저에게 인사하는 것과 같이 반응한다. 바람직한 실시예에서, 시스템(103)은 유저의 신원이 검출된다면 능동적으로 유저 쪽으로 반응한다. 유저의 신원이 검출되지 않으면 시스템은 반응하지 않는다. 이것은 시스템의 보안을 향상시킨다. 나아가, 식별된 유저의 개인적인 프로파일과 선호도가 통신을 더 조정하기 위해 사용될 수 있다. 시스템(103)과의 통신을 수립하는 것은 미리 한정된 시간, 예를 들어 5초 동안 시스템(103)을 보는 것으로 수행될 수 있다. 검출 수단(105)은 유저(101)가 일정 시간 동안 시스템(103)을 보거나 본 것을 검출한다. 이것은 유저(101)가 시스템(103)과 대화하는데 참가하고 싶은 것으로 해석하며 통신(113)은 도 1b에 도시된 바와 같이 수립된다. 시스템(103)은 또한 유저가 시스템(103)과 통신을 수립하는데 관심이 있는지를 유저(103)에 추가적으로 요청할 수 있다. 이 통신(113)은 음향 센서(104) 또는 검출 수단(105) 또는 이들의 조합에 따라 유저(101)가 여전히 관심을 주는 동안 바람직하게는 유지된다. 일례로서, 유저(101)는 도 1c에 도시된 바와 같이 시스템(103) 쪽으로 직접 보지 않을 수 있는데, 이는 유저(101)가 다른 동작, 즉 방에서 다른 사람(115)과 담화하고 있을 수 있기 때문이다. 이 경우에 시스템은 유저(101)와 시스템(103) 사이에 대화를 방해할 수 있으며 또는 유저가 대화를 계속하기를 원하는지 아니면 원치 않는지를 유저(101)에 요청할 수 있다. 만약 유저(101)가 이 질문에 응하지 않으면, 통신(113)은 중지될 수 있다. 또한 유저(101)가 방을 떠나 시스템(103)이 유저(101)의 존재를 더 이상 검출하지 않는 경우, 통신(113)과 시스템(103)은 즉시 또는 미리 한정된 일정 시간 후에 정지될 수 있으며, 이렇게 일정 시간 후에 정지하는 것은 유저(101)가 연결(113)을 끊지 않는 동안 잠시 방을 떠나야 할 수 있기 때문이다.
일 실시예에서, 시스템은 유저의 신원이 검출되자마자 2이상의 유저와 반응하고 통신할 수 있다. 따라서 이 시스템은 여러 유저 중 어느 유저가 시스템을 보고 있는지를 검출함으로써 그 유저와 통신하는 것을 구별할 수 있다. 따라서, 시스템은 새로운 유저가 시스템과 통신하기를 원할 때마다 새로운 유저를 식별해야 할 필요없이 동시에 2이상의 유저와 반응할 수 있는 능력을 구비한다.
일 실시예에서, 시스템은 음성 동작 분석을 갖는 음성 인식 모듈을 더 구비한다. 따라서, 유저의 음성은 검출될 수 있고 다른 음성이나 사운드와는 구별될 수 있다.
일 실시예에서, 시스템(103)은 유저(101)의 위치를 더 결정하고 바람직하게는 유저(101)가 시스템(103)을 보는지 보지 않는지를 검출한다. 그러므로, 유저 (101)는 시스템(103)과 통신할 때 동일한 위치에 머무를 필요가 없으며 따라서 전술된 바와 같이 시스템(103)과 통신(113)하는 동안 예를 들어 소파 위에 누워있을 수 있거나 또는 의자에 앉아있을 수 있다.
일 실시예에서, 음향 입력의 위치는 시스템(103)에 의해 예를 들어 빔 형성 시스템(미도시)에 의하여 연산되고 유저(101)의 위치와 비교된다. 그러므로, 음향 입력이 유저(101)의 위치와 다른 경우, 예를 들어 TV로부터 오는 것인 경우, 시스템은 이를 무시할 수 있고 유저(101)와의 대화를 지속할 수 있다.
일 실시예에서, 시스템(103)은 이벤트(event)가 일어난 경우, 유저(101)와 통신(113), 즉 대화를 개시한다. 이 이벤트는 일례로서 이메일을 수신하는 것이나 누군가가 시스템에 연결된 벨을 울리는 것을 포함할 수 있다. 시스템(103)은 유저(101)가 방에 존재하는지 여부를 체크하며 유저(101)가 다른 동작을 하는지 여부를 체크하며 또는 유저(101)가 담화하는지 여부를 체크한다. 일례로서, 시스템(103)은 유저가 누군가 벨을 울리기 때문에 방해받을 수 있는지 여부를 유저(101)에 정중하게 요청할 수 있다. 이 경우에, 외부 카메라가 제공될 수 있으며, 이 외부 카메라는 누가 벨을 울리게 하는지를 검출하며 이 벨을 울리는 사람의 이미지가 유저에 의하여 유저의 시야에 의하여 또는 유저의 음성에 의하여 요청되는 경우 도 1에 도시된 모니터 상에 디스플레이될 수 있다.
일 실시예에서, 시스템(103)은 추가적인 서브시스템을 포함하며, 이 서브시스템은 일례로서 유저(101)의 아파트 내 다른 방에 분배되거나 다른 영역에 분배될 수 있다. 따라서, 각 서브시스템은 유저(101)의 존재를 연속적으로 모니터링한다. 유저(103)의 존재를 검출하는 서브시스템은 통신을 지속한다. 그러므로, 유저(101)는 하나의 서브시스템과 통신(113)하는 동안 자기의 아파트 내를 돌아다닐 수 있다. 일례로서, 유저는 서브시스템이 유저를 식별한 후 거실에 있는 서브시스템과 통신한다. 유저가 그 방을 나와 침실로 걸어갈 때 침실에 있는 시스템이 유저의 존재를 검출하고 유저를 식별하며 예를 들어 대화를 지속한다. 이것은 또한 집 내 여기저기를 이동하는 여러 사용자에 대해 수행될 수 있다.
일 실시예에서, 시스템(103)은 신뢰 레벨(confidence level)을 연산하는 음성 인식 시스템(미도시)을 구비한다. 이 값은 음성 인식기가 그 가설에 대해 얼마나 확실한가를 나타내는 지표를 제공한다. 일례로서, 이 값은 예를 들어 많은 배경 잡음이 있는 경우 낮을 수 있다. 바람직하게는 임계값이 사용되며 이 임계값 아래의 신뢰 값을 갖는 입력은 무시된다. 유저(101)가 시스템(103)을 보는 경우, 이 임계값은 더 낮아질 수 있는 반면, 유저(101)가 시스템(103)을 직접 보지 않는 경우 임계값은 더 높아지고 시스템(103)은 동작을 수행하는데 매우 신뢰성이 있어야 한다.
물론, 시스템(103)은 도 1에 도시된 컴퓨터 대신에 여러 장치 내에 통합될 수 있다. 일례로서, 시스템(103)은 벽에 장착된 디바이스 또는 휴대용 디바이스 내에 통합될 수 있으며, 이 휴대용 디바이스는 유저(101)가 위치하는 곳에 따라 한 곳에서 다른 곳으로 유저(101)가 이동할 수 있는 것이다. 또한 시스템(103)은 로봇이나 휴대용 컴퓨터 또는 TV와 같은 임의의 종류의 전기 디바이스 내에 통합될 수 있다.
도 2는 유저와 시스템 사이에 통신하는 방법의 일실시예의 흐름도를 도시한다. 처음에 유저와 시스템 사이에 통신이 개시된다(In.Com.)(201). 이것은 단순히 미리 한정된 시간 기간 동안 시스템을 보는 것에 의해 수행될 수 있다. 유저가 일정 시간, 예를 들어 5초 동안 시스템을 보았다는 것을 시스템이 검출하면, 유저와 시스템 사이에 연결이 수립되며, 유저와 시스템 사이에 통신이 개시될 수 있다(Act. Dial.)(203). 이 시스템은 예를 들어 유저의 눈에 집중함으로써 유저가 시스템을 보고 있는지를 연속적으로 체크한다(Int.)(205). 유저가 시스템을 보지 않는다면(N)(209), 이 통신은 단절될 수 있다. 유저가 관심을 주지 않는 것으로 해석되면, 시스템은 유저가 대화를 지속하기를 원하는지 여부를 유저에게 질문하도록 더 적응될 수 있다(Cont.?)(213). 유저가 질문에 응답하지 않거나 또는 대답이 "아니오"이면, 통신은 중지된다(St.)(217). 또한 유저가 방을 떠나고 시스템이 더 이상 유저의 존재를 검출하지 못한다면, 통신이 중지된다(St.)(217). 그렇지 않고 유저의 대답이 "예"이거나 또는 시스템을 본다면, 대화는 지속된다(Cont)(215).
전술된 실시예는 본 발명을 제한하는 것이 아니라 설명하는 것이며 이 기술 분야에 숙련된 자라면 첨부된 청구항의 범위를 벗어남이 없이 많은 다른 실시예를 설계할 수 있을 것이라는 것을 주목하여야 할 것이다. 청구범위에서, 괄호 사이에 있는 임의의 참조 부호는 청구항을 제한하는 것으로 해석되어서는 아니된다. '포함하는'이라는 단어는 청구항에 나열된 요소나 단계와는 다른 요소나 단계의 존재를 배제하지 않는다. 본 발명은 여러 별개의 요소를 포함하는 하드웨어에 의하여 그리고 적절히 프로그래밍된 컴퓨터에 의하여 구현될 수 있다. 여러 수단을 나열하는 디바이스 청구항에서, 이들 수단 중 여러 개가 하나의 동일한 하드웨어 물품에 의해 구현될 수 있다. 특정 조치가 서로 다른 종속 청구항에 나열되어 있다는 사실 만으로 이들 조치의 조합이 유리하게 사용될 수 없다는 것을 나타내는 것은 아니다는 것을 주의하여야 할 것이다.
전술된 바와 같이, 본 발명은 유저와 시스템 사이에 유저가 시스템을 보는지 검출하고 통신을 조정하는 데에 이용가능하다.

Claims (11)

  1. 유저(101)와 시스템(103) 사이에 통신을 하는 방법으로서,
    - 유저가 상기 시스템(103)을 보는지 여부를 검출하는 단계와,
    - 이 검출에 기초하여 상기 통신(113)을 조정하는 단계
    를 포함하는, 유저와 시스템 사이에 통신하는 방법.
  2. 제 1 항에 있어서, 상기 유저(101)의 물리적 위치를 검출하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 유저의 존재가 검출되자마자 상기 유저(101) 쪽으로 반응하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 유저의 신원이 검출되자마자 상기 유저(101) 쪽으로 반응하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 동시에 2이상의 유저(101)와 통신하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 시스템(103)을 향하는 유저의 바라보는 것에 기초하여 상기 유저(101)와 상기 시스템(103) 사이에 통신을 개시하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 이벤트가 일어난 경우 상기 유저(101)와 상기 시스템(103) 사이에 통신을 개시하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 음향 입력을 검출(104)하는 단계를 더 포함하는, 유저와 시스템 사이에 통신하는 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 기재된 방법을 처리 유닛이 수행하게 하는 명령을 저장한 컴퓨터 판독 가능 매체.
  10. 유저(101)와 통신하는 시스템(103)으로서,
    - 상기 유저(101)가 상기 시스템(103)을 보는지를 검출하는 검출 수단(105)과,
    - 상기 검출 수단(105)으로부터 출력 데이터에 기초하여 상기 통신(113)을 조정하는 프로세서(106)
    를 포함하는, 유저와 통신하는 시스템.
  11. 제 10 항에 있어서, 음향 입력을 검출하는 음향 센서(104)를 더 포함하는, 유저와 통신하는 시스템.
KR1020077000373A 2004-07-08 2005-07-01 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 KR20070029794A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04103242.6 2004-07-08
EP04103242 2004-07-08

Publications (1)

Publication Number Publication Date
KR20070029794A true KR20070029794A (ko) 2007-03-14

Family

ID=34982119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077000373A KR20070029794A (ko) 2004-07-08 2005-07-01 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US20080289002A1 (ko)
EP (1) EP1766499A2 (ko)
JP (1) JP2008509455A (ko)
KR (1) KR20070029794A (ko)
CN (1) CN1981257A (ko)
WO (1) WO2006006108A2 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
WO2009042579A1 (en) 2007-09-24 2009-04-02 Gesturetek, Inc. Enhanced interface for voice and video communications
JP2011253375A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
US9093072B2 (en) * 2012-07-20 2015-07-28 Microsoft Technology Licensing, Llc Speech and gesture recognition enhancement
CN103869945A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种信息交互方法及装置、电子设备
US9747900B2 (en) * 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
JP5701935B2 (ja) * 2013-06-11 2015-04-15 富士ソフト株式会社 音声認識システムおよび音声認識システムの制御方法
CA2962636A1 (en) * 2014-10-01 2016-04-07 XBrain, Inc. Voice and connection platform
DE102015210879A1 (de) * 2015-06-15 2016-12-15 BSH Hausgeräte GmbH Vorrichtung zur Unterstützung eines Nutzers in einem Haushalt
WO2017035768A1 (zh) * 2015-09-01 2017-03-09 涂悦 一种基于视觉唤醒的语音控制方法
CN105204628A (zh) * 2015-09-01 2015-12-30 涂悦 一种基于视觉唤醒的语音控制方法
JP6589514B2 (ja) * 2015-09-28 2019-10-16 株式会社デンソー 対話装置及び対話制御方法
US10636418B2 (en) 2017-03-22 2020-04-28 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
US9865260B1 (en) 2017-05-03 2018-01-09 Google Llc Proactive incorporation of unsolicited content into human-to-computer dialogs
JP6994292B2 (ja) * 2017-05-08 2022-01-14 達闥机器人有限公司 ロボットのウェイクアップ方法、装置及びロボット

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6145738A (en) * 1997-02-06 2000-11-14 Mr. Payroll Corporation Method and apparatus for automatic check cashing
US6243683B1 (en) * 1998-12-29 2001-06-05 Intel Corporation Video control of speech recognition
WO2002029784A1 (en) * 2000-10-02 2002-04-11 Clarity, Llc Audio visual speech processing
US6728679B1 (en) * 2000-10-30 2004-04-27 Koninklijke Philips Electronics N.V. Self-updating user interface/entertainment device that simulates personal interaction
EP1215658A3 (en) * 2000-12-05 2002-08-14 Hewlett-Packard Company Visual activation of voice controlled apparatus
EP1506472A1 (en) 2002-05-14 2005-02-16 Philips Intellectual Property & Standards GmbH Dialog control for an electric apparatus
US20030237093A1 (en) * 2002-06-19 2003-12-25 Marsh David J. Electronic program guide systems and methods for handling multiple users
US20040003393A1 (en) * 2002-06-26 2004-01-01 Koninlkijke Philips Electronics N.V. Method, system and apparatus for monitoring use of electronic devices by user detection
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
US7640164B2 (en) * 2002-07-04 2009-12-29 Denso Corporation System for performing interactive dialog

Also Published As

Publication number Publication date
WO2006006108A3 (en) 2006-05-18
US20080289002A1 (en) 2008-11-20
WO2006006108A2 (en) 2006-01-19
CN1981257A (zh) 2007-06-13
EP1766499A2 (en) 2007-03-28
JP2008509455A (ja) 2008-03-27

Similar Documents

Publication Publication Date Title
KR20070029794A (ko) 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템
US20220012470A1 (en) Multi-user intelligent assistance
US11250844B2 (en) Managing agent engagement in a man-machine dialog
EP3602272B1 (en) Methods and systems for attending to a presenting user
US9848166B2 (en) Communication unit
CN112771453A (zh) 用于使用运动姿势控制电器的系统和方法
CN111163906B (zh) 能够移动的电子设备及其操作方法
JP2004515982A (ja) テレビ会議及び他の適用においてイベントを予測する方法及び装置
JP2013237124A (ja) 端末装置、情報提供方法及びプログラム
US20200043488A1 (en) Voice recognition image feedback providing system and method
JP2009166184A (ja) ガイドロボット
US20190237078A1 (en) Voice recognition image feedback providing system and method
JP2020155944A (ja) 発話者検出システム、発話者検出方法及びプログラム
US11657821B2 (en) Information processing apparatus, information processing system, and information processing method to execute voice response corresponding to a situation of a user
JP2002261966A (ja) コミュニケーション支援システムおよび撮影装置
JP7106097B2 (ja) テレプレゼンスシステム
JP2019220145A (ja) 操作端末、音声入力方法、及びプログラム
Goetze et al. Multimodal human-machine interaction for service robots in home-care environments
JP2023180943A (ja) 情報処理装置、情報処理方法およびプログラム
US20220024046A1 (en) Apparatus and method for determining interaction between human and robot
CN112053689A (zh) 基于眼球和语音指令的操作设备的方法和系统及服务器
CN111919250A (zh) 传达非语言提示的智能助理设备
CN115002598B (zh) 耳机模式控制方法、耳机设备、头戴式设备及存储介质
EP4163765A1 (en) Method and apparatus for initiating an action
US11935449B2 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid