KR20140014129A - 멀티모달 및 제스처 제어를 위한 방법 및 시스템 - Google Patents

멀티모달 및 제스처 제어를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20140014129A
KR20140014129A KR1020137020458A KR20137020458A KR20140014129A KR 20140014129 A KR20140014129 A KR 20140014129A KR 1020137020458 A KR1020137020458 A KR 1020137020458A KR 20137020458 A KR20137020458 A KR 20137020458A KR 20140014129 A KR20140014129 A KR 20140014129A
Authority
KR
South Korea
Prior art keywords
gesture
devices
user
command
destination device
Prior art date
Application number
KR1020137020458A
Other languages
English (en)
Other versions
KR101690117B1 (ko
Inventor
찬드라 프라풀
파타사라티 란가나단
스리가네시 마드바나스
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20140014129A publication Critical patent/KR20140014129A/ko
Application granted granted Critical
Publication of KR101690117B1 publication Critical patent/KR101690117B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)

Abstract

본 발명의 실시예는 멀티모달 및 제스처 제어 시스템을 개시한다. 일 실시예에 따르면, 멀티모달 및 제스처 제어 시스템은 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하도록 구성된다. 제어 작동 및 목적지 장치가 모두 제스처 명령에 기초하여 판단됨으로써 판단된 제어 작동이 판단된 목적지 장치에서 실행된다.

Description

멀티모달 및 제스처 제어를 위한 방법 및 시스템{METHOD AND SYSTEM FOR MULTIMODAL AND GESTURAL CONTROL}
본 발명은 멀티모달 및 제스처 제어를 위한 방법 및 시스템에 관한 것이다.
기술의 지속적인 변화에 기인하여, 홈 엔터테인먼트(home entertainment), 특히 홈 엔터테인먼트 시스템은 지난 10년간 급격히 변화되어 왔다. 예를 들어, 오늘날의 엔터테인먼트 시스템은 특히 3차원(3D)-지원 텔레비전 세트, 디지털 비디오 레코더, 블루-레이(blu-ray) 미디어 플레이어, 그리고 비디오 게임 시스템을 포함할 수 있다. 많은 기술 발전에도 불구하고, 엔터테인먼트 시스템의 각 장치는 여전히 사용자로부터의 물리적 작동에 의한다. 현재, 적외선 기반 제어기(infrared-based controller)는 장치를 원격으로 제어하는 가장 대중적인 방법 중 하나이다. 그러나, 동시 작동을 필요로 하는 장치의 수가 증가함에 따라, 사용자가 학습해서 작동시켜야 하는 제어기의 수도 증가한다.
본 발명에 따른 일 실시예인 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달(multimodal) 및 제스처(gesture) 제어를 제공하기 위한 방법은, 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령(gesture command)을 검출하는 단계, 제스처 명령에 기초하여 제어 작동(control operation) 및 복수의 장치로부터 목적지 장치(destination device)를 판단하는 단계 및 판단된 목적지 장치에서 판단된 제어 작동을 실행하는 단계를 포함할 수 있다.
본 발명에 따른 일 실시예의 일 태양에 의하면, 상기 방법은 제스처 명령을 대체 명령 신호로 변환하는 단계 및 목적지 장치에 의한 검출을 위해 적어도 하나의 장치로부터 대체 명령 신호를 전송하는 단계를 더 포함할 수 있고, 대체 명령 신호는 판단된 목적지 장치에 의해 검출될 수 있다.
본 발명에 따른 일 실시예의 일 태양에 의하면, 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 제스처 명령에 기초하여 제어 작동 및 복수의 장치로부터 목적지 장치를 판단하는 단계는, 제어 작동을 판단하기 위하여 사용자와 관련된 우세손(dominant hand)의 제스처를 검출하는 단계 및 제어 작동에 대한 상기 목적지 장치를 판단하기 위하여 비우세손(non-dominant hand)의 제스처를 검출하는 단계를 포함할 수 있다.
본 발명에 따른 일 실시예의 일 태양에 의하면, 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 제스처 명령에 기초하여 제어 작동 및 복수의 장치로부터 목적지 장치를 판단하는 단계는, 제어 작동을 판단하기 위하여 사용자와 관련된 우세손의 제스처를 검출하는 단계 및 제어 작동으로부터 목적지 장치를 판단하기 위하여 사용자의 음성 입력을 분석하는 단계를 포함할 수 있다.
본 발명에 따른 일 실시예의 일 태양에 의하면, 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 제스처 명령에 기초하여 제어 작동 및 복수의 장치로부터 목적지 장치를 판단하는 단계는, 목적지 장치를 판단하기 위하여 사용자와 관련된 우세손의 제1 제스처를 검출하는 단계 및 판단된 목적지 장치에 대한 제어 작동을 판단하기 위하여, 미리 결정된 시간 후에, 우세손의 제2 제스처를 검출하는 단계를 포함할 수 있다.
본 발명에 따른 일 실시예의 일 태양에 의하면, 제스처 명령에 기초하여 제어 작동 및 복수의 장치로부터 목적지 장치를 판단하는 단계는, 사용자와 관련된 우세손의 공간적 위치를 분석하는 단계 및 제스처 명령의 공간적 위치에 기초하여 목적지 장치를 판단하는 단계를 포함할 수 있고, 복수의 공간적 영역 중 각각의 공간적 영역은 상기 복수의 장치 중 하나에 매핑될 수 있다. 할 수 있다.
본 발명에 따른 일 실시예의 일 태양에 의하면, 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 제스처 명령에 기초하여 제어 작동 및 복수의 장치로부터 목적지 장치를 판단하는 단계는, 제스처 명령에 기초하여 제어 작동을 판단하는 단계 및 제어 작동을 실행하기 위한 목적지 장치를 판단하기 위하여 사용자의 우세손의 물리적 속성을 분석하는 단계를 포함할 수 있다.
본 발명에 따른 다른 실시예인 멀티모달 및 제스처 제어 시스템은, 디스플레이 유닛 및 디스플레이 유닛에 연결된 복수의 장치를 포함하고, 적어도 하나의 기 장치는 사용자로부터의 제스처 입력을 검출하고 복수의 장치 중 목적지 장치를 판단하기 위한 제스처 검출 모듈을 포함할 수 있으며, 제어 작동 및 목적지 장치는 모두 사용자로부터의 제스처 입력에 기초하여 판단될 수 있다.
본 발명에 따른 다른 실시예의 일 태양에 의하면, 복수의 장치는 디지털 비디오 레코더(digital video recorder), 위성 수신기(satellite receiver), 디지털 텔레비전 셋-톱 유닛(digital television set-top unit) 또는 멀티미디어 플레이어(multimedia player)를 포함할 수 있다.
본 발명에 따른 다른 실시예의 일 태양에 의하면, 복수의 장치는 서로 근접해 있을 수 있다.
본 발명에 따른 다른 실시예의 일 태양에 의하면, 복수의 장치는 사용자로부터 제스처 명령을 검출하기 위한 제스처 검출 모듈을 갖는 호스트 장치(host device)를 포함할 수 있다.
본 발명에 따른 다른 실시예의 일 태양에 의하면, 호스트 장치는 제스처 입력을 대체 신호로 변환하고 대체 신호를 복수의 장치로 브로드캐스트(broadcast)하도록 구성될 수 있다.
본 발명에 따른 다른 실시예인 멀티모달 및 제스처 제어 시스템은, 복수의 장치 및 사용자로부터 제스처 명령을 검출하고 복수의 장치 중 목적지 장치를 판단하기 위한 제스처 검출 요소를 갖는 호스트 장치를 포함할 수 있고, 호스트 장치에 의해 검출된 제스처 명령에 기초하여 목적지 장치 및 그와 관련된 제어 작동이 판단될 수 있다.
본 발명에 따른 다른 실시예의 일 태양에 의하면, 호스트 장치는 수신된 제스처 명령을 대체 명령 신호로 변환하도록 구성될 수 있고, 호스트 장치는 또한, 판단된 목적지 장치에 의한 검출을 위하여 대체 명령 신호를 복수의 장치로 브로드캐스트하도록 구성될 수 있다.
본 발명의 특정 실시예에 대한 상세한 설명을 다음의 도면과 함께 이해하면, 본 발명의 특징 및 이점, 그리고 본 발명의 추가적인 특징 및 이점이 이하 더욱 명확하게 이해될 것이다.
도 1은 본 발명의 일 예에 따른 멀티모달 및 제스처 제어 시스템의 3차원 사시도이다.
도 2는 본 발명의 일 예에 따른 멀티모달 및 제스처 제어 시스템의 단순화된 블록도이다.
도 3a 내지 도 3i는 본 발명의 일 예에 따른 여러 가지 제스처 명령을 나타낸다.
도 4a 내지 도 4e는 사용자가 본 발명의 예에 따라 상호작용이 의도된 특정 장치를 명시하도록 하기 위한 여러 가지 메타-상호작용 접근법을 나타낸다.
도 5는 본 발명의 일 예에 따른 멀티모달 및 제스처 제어를 가능하게 하기 위한 프로세싱 단계의 단순화된 순서흐름도이다.
이하의 논의는 여러 가지 실시예에 대한 것이다. 이러한 실시예의 하나 이상이 상세하게 설명될 수 있지만, 개시된 실시예가 청구항을 포함하여 본 발명의 범위를 제한하는 것으로 해석되거나 사용되어서는 안 된다. 또한, 본 발명이 속한 기술 분야의 통상의 기술자는 이하의 설명이 광범위한 어플리케이션을 가지며, 임의의 실시예에 대한 논의가 단지 그 실시예의 예를 의미하는 것이지 청구항을 포함하여 본 발명의 범위가 그 실시예에 한정됨을 시사하기 위한 의도가 아니라는 것을 이해할 것이다. 그리고, 본 명세서에서 사용되는, 특히 도면의 참조 번호와 관련된 지시어(designator) "A", "B" 및 "N"는 그와 같이 지시된 다수의 특정 특징이 본 발명의 예에 포함될 수 있음을 나타낸다. 지시어는 동일하거나 상이한 수의 특정 특징을 나타낸다.
본 명세서의 도면은 첫째 숫자 또는 숫자들이 도면 번호에 대응하고 나머지 숫자들이 도면의 요소 또는 컴포넌트를 식별하도록 번호를 매기는 관례를 따른다. 상이한 도면의 유사한 요소 또는 컴포넌트는 유사한 숫자를 사용하여 식별될 수 있다. 예를 들어, 143은 도 1에 있는 참조 요소 "43"을 나타낼 수 있고, 유사한 요소가 도 2에서 243으로 참조될 수 있다. 여러 가지 도면에 도시된 요소들은 본 발명의 다수의 추가 예를 제공하기 위하여 추가되거나, 교환되거나 및/또는 제거될 수 있다. 또한, 도면에서 제공되는 요소들의 비율 및 상대적인 축척은 본 발명의 예를 나타내기 위한 것이며, 한정하는 의미로 이해되어서는 안 된다.
앞서 언급한 문제점에 대한 통상적인 해결법은 다수의 엔터테인먼트 장치를 제어하기 위하여 통합 원격 제어기(universal remote controller)를 사용하는 것이다. 여기서, 단일의 제어기가 다수의 장치를 제어하도록 구성된다. 장치와 제어기가 통신 채널(예컨대, 적외선)을 통해 발할 수 있는 그에 대응하는 명령의 세트는 사용자에 의해 미리 구성되거나 맞춤형으로 제적될 수 있다. 일반적으로, 물리적 제어기(physical controller)는 특정 모드로 설치되어, 모드가 변경되지 않으면 차후의 모든 명령이 특정 장치를 위한 것으로 된다. 그러나 물리적 제어기는 배터리의 빈번한 교체를 필요로 하고, 자주 잘못되며, 결국에는 시간의 흐름에 따라 마모된다.
앞서 언급한 문제점에 대한 다른 해결법은 물리적 제어기의 필요 없이 제스처(gesture) 제어의 사용을 통하여, 물리적 제어기가 필요없는 다수 장치의 제어를 가능하게 하는 것이다. 그러나, 앞선 해결책에서, 각각의 장치가 사용자로부터 제스처를 검출하고 그 자신의 고유의 상호작용 용어(interaction vocabulary)(예컨대, 제스처 명령 데이터베이스)를 갖기 위한 제어기를 포함해야 한다. 또한, 물리적 제어기를 잃어버린 경우, 제스처가 향하는 목적지 장치(destination device)를 명시하는 것은 흔히 도전이 될 수 있다.
물리적 제어기가 없는 경우, 다른 접근법은 사용자가 가리키고 있는 곳을 관찰함으로써 사용자의 제스처의 의도된 방향을 판단할 수 있도록 하는 것이다. 이는 RGB 또는 사용자 제스처의 적외선 카메라 이미지를 프로세싱하거나 시선 검출(gaze detection)을 통해서 성취될 수 있다. 이러한 접근법은 장치들이 공간에서 물리적으로 떨어져 있는 경우에 때때로 잘 작동한다. 즉, 한 번에 오직 하나의 카메라가 사용자 상호작용을 정확하게 캡처(capture)하여 제스처에 대한 목적지 장치를 판단할 수 있도록, 각각 공간에서 물리적으로 분리되어 있는 다수의 장치가 독립된 카메라를 이용하여 시각적 제스처를 인식하도록 구성된다. 그러나, 다수의 장치가 서로 근접하여 있으면, 이러한 접근법은 필요한 정확도로 작동하지 않는다.
본 발명의 예는 함께 존재하는 다수의 장치에 의해 사용자-행동(예컨대, 제스처 명령)이 작용할 수 있는 특정 장치를 사용자가 명시할 수 있도록 한다. 즉, 본 발명의 예는 다수의 엔터테인먼트 장치를 제어하는 데 사용될 수 있는 단일의 제스처 및 멀티모달 제어기를 제공한다. 특히, 본 발명의 예는 메타-상호작용(meta-interaction) 또는 어떠한 행동도 야기하지 않지만 상호작용 그 자체의 해석에는 유용한 상호작용(즉, 상호작용의 목적지 장치)을 이용한다. 달리 말하면, 사용자가, 둘 이상이 동일한 상호작용 메커니즘을 통해 제어될 수 있는 다수의 장치와 상호작용할 때, 멀티모달 및 제스처 제어 시스템은 특정 상호작용이 어떤 장치를 위하여 의도된 것인지를 구별하는 것을 도와준다. 이와 같이, 메타-상호작용 및 그와 관련된 제스처 제어 시스템은 수 개의 상호작용 모달리티(modality)(즉, 멀티모달)에 걸쳐 다수의 근접한 장치와의 유동적인 상호작용을 가능하게 할 수 있다.
전체 도면을 통해서 유사한 번호가 대응하는 부분을 식별하는 도면을 보다 상세하게 참조하면, 도 1은 본 발명의 예에 따른 멀티모달 및 제스처 제어 시스템의 3차원 사시도이다. 여기에 도시된 바와 같이, 시스템(100)은 다수의 엔터테인먼트 장치(105, 110, 115)에 연결된 디스플레이 유닛(124)를 포함한다. 일 실시예에 따르면, 디스플레이 유닛(124)은 작동하는 사용자에게 오디오 및 비디오 신호를 용이하게 전송하도록 구성된 디지털 텔레비전이다. 엔터테인먼트 장치(105, 110, 115)는 디스플레이 유닛(124)과 짝을 이루는, 예컨대, 위성 수신기, 디지털 비디오 레코더(digital video recorder: DVR), 디지털 비디오 디스크 플레이어(digital video disc player)(DVD/Blu-ray), 비디오 게임 콘솔(video game console), 오디오-비디오(AV) 수신기 등과 같은 멀티미디어 소비자 전자 장치를 나타낸다. 또한, 제스처 검출 제어기는, 상기 제어기에 공급하기 위해 필요한 센서(예컨대, 카메라, 마이크, 적외선 카메라 등)와 함께 엔터테인먼트 장치(105, 110, 115)의 적어도 하나에 내장될 수 있다. 다른 엔터테인먼트 장치는 예컨대 적외선 기반 또는 무선 주파수(radio frequency: RF) 프로토콜과 같은 표준 무선 통신 수단을 포함할 수 있다. 본 발명의 예는 다수의 엔터테인먼트 장치(105, 110, 115)의 공간적 근접성과 무선 프로토콜의 브로드캐스트 성질을 모두 이용한다. 예를 들어, 호스트 장치(host device)의 제스처 검출 제어기가 호스트 장치로 향하지 않는 사용자로부터의 제스처 명령을 인식하면, 호스트 장치는 상기 명령을 다른 장치가 이해할 수 있는 대체 명령(예컨대, 적외선)으로 변환하도록 구성된다. 대체 가능한 명령은 이후 호스트 장치에 의해 적절한 코드 또는 매체(예컨대, 적외선)를 이용하여 목적지 장치로 브로드캐스트된다. 도 1에 도시된 예를 다시 참조하면, 엔터테인먼트 장치(110)가 제스처 제어기를 포함하고 엔터테인먼트 장치(105)를 향하는 사용자로부터의 제스처 명령을 인식하면, 엔터테인먼트 장치(110)는 수신된 제스처 명령과 관련된 적외선 코드(즉, 대체 명령)를 생성할 수 있고 장치(105)에 이러한 대체 명령을 브로드캐스트할 수 있다. 장치(110)와 장치(105)가 근접해 있기 때문에, 장치(105)의 적외선 수신기는 이러한 대체 가능한 적외선 명령을 수신하고 따라서 그에 따라 작동한다. 또한, 대체 명령 또는 적외선 코드가 엔터테인먼트 장치(105) 고유의 것이기 때문에 엔터테인먼트 장치(115)는 이러한 명령에 영향을 받지 않는다. 또한, 디스플레이 유닛(124)은 호스트 장치를 통해 제어되는 엔터테인먼트 장치 중의 하나일 수 있다.
도 2는 본 발명의 일 예에 따른 멀티모달 및 제스처 제어 시스템의 단순화된 블록도이다. 이 예에서 도시된 바와 같이, 시스템(200)은 복수의 엔터테인먼트 장치(205, 210, 215)(A, B, ...N), 디스플레이 유닛(224), 제스처 데이터베이스(223) 및 컴퓨터 판독가능 저장 매체(219)를 포함한다. 호스트 또는 엔터테인먼트 장치(210)는 제스처 검출 모듈(211)과 본 발명의 예에 따른 제스처 및 멀티모달 제어를 용이하게 하기 위한 신호 처리기(signal processor)(209)를 포함한다. 특히, 제스처 검출 모듈(211)은 제스처의 리스트가 관련된 작동 명령 및 목적지 장치와 함께 저장되어 있는 제스처 데이터베이스(223)에 연결된다. 일 예에 따르면, 신호 처리기(209)는 제스처 명령을 대체 코드 또는 명령(예컨대, 무선 주파수)으로 변환하고, 적절한 목적지 장치에 의한 검출을 위해 변환된 명령을 송출하도록 구성된다. 장치(205) 및 장치(215)는 호스트 엔터테인먼트 장치(210)로부터 송출된 대체 신호를 검출하기 위한 신호 수신기(207) 및 신호 수신기(217)를 각각 포함한다. 디스플레이 유닛(224)은 비디오 및 이미지를 사용자에게 보여 주도록 구성된, 예컨대, LCD 텔레비전, 플라즈마 디스플레이 패널, CRT 디스플레이, 비디오 프로젝터 등과 같은 전자 시각 디스플레이(electronic visual display)를 나타낸다. 또한, 디스플레이 유닛(224)은 호스트 장치로부터 브로드캐스트된 대체 명령 신호를 검출하기 위한 신호 수신기를 포함할 수 있다. 저장 매체(219)는 휘발성 저장소(예컨대, 랜덤 액세스 메모리), 비휘발성 저장 장치(예컨대, 하드 디스크 드라이브, 읽기 전용 메모리, 컴팩트 디스크 읽기 전용 메모리, 플래시 저장소 등) 또는 그들의 조합을 나타낸다. 그리고, 저장 매체(219)는 호스트 장치에 의해 본 명세서에서 설명된 모든 기능 또는 일부 기능을 수행하도록 실행되는 소프트웨어(213)를 포함할 수 있다.
도 3a 내지 도 3i는 본 발명의 예에 따른 여러 가지 제스처 명령을 나타낸다. 이러한 예시적인 실시예에 도시된 바와 같이, 도 3a는 사용자의 손이 주먹 쥔 상태에서 엄지손가락이 서쪽 방향을 가리키도록 형성된 제스처 명령을 도시한다. 이러한 제스처 명령은, 예컨대, DVD 플레이어 장치에서 이전 챕터(chapter)로 스킵하거나 DVR 장치에서 30초 되감기하는 것과 같은, "뒤로(BACK)" 작동에 매핑될 수 있다. 유사하게, 도 3b는 사용자의 손이 주먹 쥔 상태에서 엄지손가락이 동쪽 방향을 가리키도록 형성된 제스처 명령을 도시하고 있다. 이러한 제스처는, 예컨대, DVD 플레이어에서 다음 챕터로 스킵하거나 DVR 장치에서 30초 앞으로 스킵하는 것과 같은, "앞으로(FORWARD)" 작동에 매핑될 수 있다. 도 3c는 사용자의 손이 펼쳐져 있고 손가락들이 서로 근접해 있으며 엄지손가락이 집게(둘째)손가락과 수직을 이루는 또 다른 제스처 명령을 도시하고 있다. 이러한 제스처는, 예컨대, 블루레이 엔터테인먼트 장치에서 블루레이 영화의 재생을 멈추는 것과 같은, "멈춤(STOP)" 작동에 매핑될 수 있다.
또한, 도 3d는 사용자 손의 속성이 필수적으로 같은 거리만큼 떨어져서 펼쳐진 손가락과 사용자를 향하는 손바닥을 포함하는 제스처 명령을 도시하고 있다. 따라서, 이러한 제스처는, 예컨대, 저장된 파일을 연결된 비디오 게임 콘솔에서 여는 것과 같은, "열림(OPEN)" 작동에 매핑될 수 있다. 유사하게, 도 3e는 사용자 손의 속성이 도 3d의 사용자 손의 속성과 흡사하지만 손바닥이 사용자로부터 멀어지는 방향으로 향하는 제스처 명령을 도시하고 있다. 일 예에 따르면, 이러한 제스처는 디스플레이 유닛에 보여지는 이미지 또는 비디오의 시각적 디스플레이 영역을 증가시키기 위한 "최대화(MAXIMIZE)" 작동에 매핑될 수 있다. 또한, 도 3f는 사용자의 손이 주먹을 쥐는 제스처 명령을 도시하고 있다. 여기서, 이러한 제스처 명령은 연결된 디스플레이 유닛에 보여지는 이미지 또는 비디오의 시각적 디스플레이 영역을 감소시키기 위한 "최소화(MINIMIZE)" 작동에 매핑될 수 있다.
도 3g는 동쪽 방향을 가리키는 집게손가락과 북쪽 방향을 가리키는 세째손가락을 제외하고 사용자의 손이 닫혀져 있는 또 다른 제스처 명령을 도시하고 있다. 일 예에 따르면, 이러한 제스처는 마지막으로 수신된 명령이 취소되거나 제거되는 "실행취소(UNDO)" 작동에 매핑될 수 있다. 도 3h는 집게손가락이 서쪽 방향을 가리키는 것을 제외하면 도 3g와 유사한 제스처 명령을 도시하고 있다. 도 3g와는 반대로, 도 3h의 제스처는 이전의 명령이 적용되도록 하는 "재실행(REDO)" 작동에 매핑될 수 있다. 또한, 도 3i는 갈고리 형상의 제스처를 형성하도록 사용자 손의 각 손가락이 안쪽으로 구부려져 있는 제스처 명령을 도시하고 있다. 이러한 제스처 명령은, 호스트 장치의 제스처 제어기를 통하여, 데이터 파일을 특정 목적지 장치에 저장하기 위한 "저장(SAVE)" 작동(예컨대, 사진을 비디오 게임 콘솔의 하드 드라이브에 저장함)에 매핑될 수 있다. 앞서 설명한 제스처 명령들은 본 발명의 시스템에 의해 이용될 수 있는 제스처 유형의 작은 서브세트(subset)의 일 예에 불과하다. 그리고, 이러한 제스처 명령들은 각 제스처가 임의의 유형의 작동 명령에 매핑될 수 있기 때문에 단지 예시적인 목적을 위하여 사용된다.
상술한 바와 같이, 다수의 장치를 제어하기 위한 호스트 엔터테인먼트 장치 내에 단일의 제스처 검출 제어기를 사용함으로써, 특정 제스처에 대해 목적지 장치를 나타낼 필요가 있다. 그러나, 제스처 명령의 큰 세트를 제공하는 것은 사용자가 학습하고 이해해야 하는 명령의 수를 증가시키게 된다. 이러한 방법은 또한 명령의 더 큰 세트 중에서 구별하기 위한 센서 및 제어기의 성능 요건을 증가시키게 된다. 따라서, 본 발명의 예는 사용자가 특정 제스처 명령을 오버로드(overload)하고 그 다음 그 명령이 어떤 장치를 예정 또는 향한 것인지를 명시할 수 있도록 하는 방법을 제공한다. 특히, 메타-상호작용 또는 어떠한 행동도 야기하지 않지만 상호작용 그 자체의 해석에는 유용한 상호작용이 특정의 사용자 상호작용 또는 제스처의 목적지 장치를 식별하는 데 이용될 수 있다.
도 4a 내지 도 4e는 사용자가 본 발명의 예에 따라 의도된 상호작용에 대해 특정 장치를 명시할 수 있도록 하기 위한 여러 가지의 메타-상호작용 접근법을 나타낸다. 도 4a는 "비우세손(non-dominant hand)" 메타-상호작용 접근법을 도시하고 있다. 이 접근법에 의하면, 우세손(dominant hand)(432)이 제스처 상호작용을 위해 사용되는 반면, 사용자(426)의 비우세손(434)은 목적지 장치를 명시하는데 사용될 수 있다. 즉, 비우세손(434)을 이용하여 만들어지는 임의의 자세 또는 제스처가, 우세손(432)을 이용하여 만들어지는 제스처 명령에 대한 목적지 장치를 한정하는 데 사용될 수 있다. 본 예에 나타낸 바와 같이, 사용자(426)는 우세손(424)으로 "뒤로(BACK)" 제스처 명령을 형성하고 있지만, 동시에 비우세손(424)의 손가락 하나를 세우고 있어서 뒤로(BACK) 작동의 실행에 대한 목적지 엔터테인먼트 장치(즉, 장치 1)를 식별할 수 있다.
도 4b는 "크로스-모달(cross-modal)" 메타-상호작용 접근법을 나타낸다. 여기서, 메타-상호작용은 목적지 장치를 명시하는 다른 모달리티(예컨대, 스피치(speech))를 동반한 시각적 손 제스처를 포함할 수 있다. 이 예에 나타낸 바와 같이, "뒤로(BACK)" 명령에 대한 시각적 손 제스처는 "DVD" 또는 "DVR"과 같은 스피치 태그(speech tag)를 동반하여 "뒤로(BACK)" 명령이 작동 또는 제어하고자 하는 장치를 명시할 수 있다. 도 4c는 "시간적(temporal)" 접근법이라 불리는 또 다른 메타-상호작용을 나타낸다. 이 예에서, 동일한 상호작용 도메인 내의 몇몇 제스처는 미래의 메타-상호작용이 주어진 시간 기간 내에 수신되지 않으면 목적지 장치를 설정하는 메타-상호작용으로서의 역할을 할 수 있다. 예를 들어, 사용자(426)는 목적지 장치로서 "장치 2"를 선택할 수 있고, 그 다음 미리 정해진 시간 역치(time threshold)(예컨대, 5초) 내에, 그리고 동일한 상호작용 도메인 내에서 선택된 목적지 장치를 작동시키기 위한 제스처 명령(예컨대, "뒤로 가기(GO BACK)", "볼륨 업(VOLUME UP)" 등)을 형성할 수 있다. 또는, 특정 제스처가 상이한 장치 간의 스위칭을 위해 "토글(toggle) 메타-상호작용"으로서의 역할을 할 수 있다.
이제 도 4d를 참조하면, "공간적(spatial)" 메타-상호작용 접근법이 도시된다. 이러한 예시적인 실시예에 따르면, 상호작용의 제스처 인식 공간이 여러 가지 장치에 매핑되는 여러 가지 공간적 영역으로 분할되어 특정의 공간적 영역에서 트리거(trigger)되는 상호작용이 특정 장치를 향하도록 할 수 있다. 예를 들어, 두 개의 엔터테인먼트 장치가 차곡차곡 쌓여 있으면, 미리 정해진 역치(예컨대, 사용자의 얼굴 또는 어깨)보다 위의 시각적 손 제스처는 가장 위의 장치에 할당될 수 있고, 상기 역치보다 아래의 제스처 명령은 가장 위의 장치의 아래에 있는 장치에 할당될 수 있다. 도 4d의 예에서, 공간적 영역(436a)(즉, 사용자(424)의 눈보다 위쪽) 내에서의 제스처 명령(432a)은 엔터테인먼트 장치(405)에 할당될 수 있고, 공간적 영역(436b)(즉, 사용자(424)의 눈 레벨과 어깨 레벨의 사이) 내에서의 제스처 명령(432b)은 엔터테인먼트 장치(410)에 할당될 수 있으며, 공간적 영역(436c)(즉, 사용자(424)의 어깨 레벨과 허리 레벨의 사이) 내에서의 제스처 명령(432c)은 엔터테인먼트 장치(415)에 할당될 수 있다.
도 4e는 다수의 장치를 제어하기 위한 또 다른 메타-상호작용 접근법("제스처 속성")을 나타낸다. 여기서, 제스처의 특정 속성은 적절한 목적지 장치를 판단하기 위하여 분석된다. 특히, 메타-상호작용이 제스처 명령 그 자체 내에 포함될 수 있다. 도 4e에 도시된 예에서, 왼쪽으로부터 오른쪽으로의 손 휘두르기(hand swipe) 제스처는 특정 장치의 "볼륨 높이기(increase volume)"를 의미할 수 있고, 그 제스처를 만드는 동안 뻗어 있는 손가락의 개수는 그 제스처 명령이 제1 장치(405), 제2 장치(410) 또는 제3 장치(415)를 향한 것인지를 명시할 수 있다. 여기서, 손 휘두르기 제스처(432)는 호스트 장치가 제2 장치(410)에 대해 볼륨 증가 작동을 수행하도록 하기 위해서(호스트 장치가 제2 장치일 수도 있음) 두 개의 손가락을 포함한다. 예시적인 대체 실시예에서, 메타-상호작용은 제스처 명령의 목적지가 불명확하고 사용자가 디스플레이 또는 GUI(graphical user interface)를 이용하여 복수의 엔터테인먼트 장치 중에서 선택하도록 함으로써 판단될 수 있는 경우에, 대화형(interactive)으로 될 수 있다.
도 5는 본 발명의 일 예에 따른 멀티모달 및 제스처 제어를 가능하게 하기 위한 프로세싱 단계의 단순화된 순서흐름도이다. 단계(502)에서, 사용자로부터의 제스처 명령이 호스트 엔터테인먼트 장치의 제스처 검출 모듈에 의해 검출된다. 다음으로, 단계(504)에서, 호스트 장치는 제스처 명령(예컨대, 메타-상호작용)을 분석하고 목적지 장치가 호스트 장치 자신인지를 판단한다. 만약 그렇다면, 단계(512)에서, 수신된 작동 명령과 관련된 작동 명령을 판단하도록 제스처 데이터베이스에 질의하고, 이 작동 명령은 단계(514)에서 호스트 장치상에서 실행된다. 그러나, 호스트 장치가 원하는 목적지 장치가 아닌 것으로 판단되면, 단계(506)에서, 호스트 장치는 예를 들어 앞서 설명한 메타-상호작용에 기초하여 적절한 목적지 장치를 판단한다. 그 다음 제스처 명령은 단계(508)에서 호스트 장치의 신호 처리기를 통해 대체 명령 신호(예컨대, 적외선)로 변환된다. 이후, 단계(510)에서, 대체 명령 신호가 호스트 장치에 의해 목적지 장치로 브로드캐스트 또는 전송된다. 단계(514)에서, 목적지 장치에 수신된 명령 신호에 기초하여, 관련된 작동 명령이 목적지 장치에서 실행된다.
본 발명의 예에 따른 멀티모달 및 제스처 제어 시스템에 의해 많은 이점이 제공된다. 예를 들어, 제스처 제어 시스템은 사용자에게 단일의 내장된 제스처 제어기로 다수의 장치를 제어할 수 있는 능력을 제공한다. 따라서, 각각의 엔터테인먼트 장치에 다수의 센서 및 제스처 제어기를 제조 및 배치하는 비용이 배제될 수 있다. 또한, 다수의 장치에 걸쳐 공용의 상호작용 언어/용어를 사용함으로써 사용자가 작은 세트의 제스처를 학습할 수 있도록 하고, 따라서 이러한 제스처 명령의 기억과 사용이 증가될 수 있다. 그리고, 작은 상호작용 용어는 호스트 장치의 내장된 제스처 제어기에 의한 제스처 명령 인식을 향상시키는 데 도움을 준다.
또한, 본 발명이 예시적인 실시예와 관련하여 설명되었으나, 본 발명의 기술 분야의 기술자는 많은 변형이 가능하다는 것을 인식할 것이다. 예를 들어, 본 발명의 예들은 두 개 또는 세 개보다 많은 엔터테인먼트 장치와 시각적 제스처 외의 상호작용 모달리티로 확장 가능하다. 또한, 제스처 제어 시스템은, 각 장치가 그 자신의 제스처 제어기를 가지지만 그 장치들이 매우 가까이 있어서 기존의 시선 및 지시(gaze and pointing) 해결법을 신뢰성 없게 하는 경우에도 마찬가지로 효과적일 수 있다. 또한, 다수의 장치를 제어하기 위해 사용자에 의해 구성된 단일의 통합 원격 제어기와 유사하게, 본 발명의 예들은 수동 구성 또는 제스처 및 메타-상호작용을 특정의 작동 명령에 수동으로 할당하는 것을 가능하게 한다.
또한, 더 많은 장치가 구성에 추가되는 경우, 사용자가 특정 장치에만 매핑되는 새로운 제스처를 추가하거나, 또는 새로운 메타-상호작용을 추가할 수 있다. 메타-상호작용은 또한 하나 이상의 장치에 대해 의도된 특정 명령을 명시할 수 있고 따라서 다수의 장치에서 행동을 트리거하기 위하여 단일의 제스처 명령을 사용할 수 있다. 따라서, 본 발명이 예시적인 실시예와 관련하여 설명되었지만, 본 발명이 다음의 청구항의 범위 내의 모든 변형물 및 균등물을 포함하도록 의도된 것이 인정될 것이다.

Claims (14)

  1. 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달(multimodal) 및 제스처(gesture) 제어를 제공하기 위한 방법으로서,
    상기 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령(gesture command)을 검출하는 단계;
    상기 제스처 명령에 기초하여 제어 작동(control operation) 및 상기 복수의 장치로부터 목적지 장치(destination device)를 판단하는 단계; 및
    판단된 상기 목적지 장치에서 판단된 상기 제어 작동을 실행하는 단계를 포함하는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 제스처 명령을 대체 명령 신호로 변환하는 단계로서, 상기 대체 명령 신호는 판단된 상기 목적지 장치에 의해 검출될 수 있는, 상기 단계; 및
    상기 목적지 장치에 의한 검출을 위해 상기 적어도 하나의 장치로부터 상기 대체 명령 신호를 전송하는 단계를 더 포함하는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  3. 제1항에 있어서,
    상기 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 상기 제스처 명령에 기초하여 제어 작동 및 상기 복수의 장치로부터 목적지 장치를 판단하는 단계는,
    상기 제어 작동을 판단하기 위하여 사용자와 관련된 우세손(dominant hand)의 제스처를 검출하는 단계; 및
    상기 제어 작동에 대한 상기 목적지 장치를 판단하기 위하여 비우세손(non-dominant hand)의 제스처를 검출하는 단계를 포함하는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  4. 제1항에 있어서,
    상기 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 상기 제스처 명령에 기초하여 제어 작동 및 상기 복수의 장치로부터 목적지 장치를 판단하는 단계는,
    상기 제어 작동을 판단하기 위하여 사용자와 관련된 우세손의 제스처를 검출하는 단계; 및
    상기 제어 작동으로부터 상기 목적지 장치를 판단하기 위하여 사용자의 음성 입력을 분석하는 단계를 포함하는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  5. 제1항에 있어서,
    상기 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 상기 제스처 명령에 기초하여 제어 작동 및 상기 복수의 장치로부터 목적지 장치를 판단하는 단계는,
    상기 목적지 장치를 판단하기 위하여 사용자와 관련된 우세손의 제1 제스처를 검출하는 단계; 및
    판단된 상기 목적지 장치에 대한 상기 제어 작동을 판단하기 위하여, 미리 결정된 시간 후에, 우세손의 제2 제스처를 검출하는 단계를 포함하는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  6. 제1항에 있어서,
    상기 제스처 명령에 기초하여 제어 작동 및 상기 복수의 장치로부터 목적지 장치를 판단하는 단계는,
    사용자와 관련된 우세손의 공간적 위치를 분석하는 단계; 및
    상기 제스처 명령의 공간적 위치에 기초하여 상기 목적지 장치를 판단하는 단계를 포함하고,
    복수의 공간적 영역 중 각각의 공간적 영역은 상기 복수의 장치 중 하나에 매핑되는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  7. 제1항에 있어서,
    상기 복수의 장치 중 적어도 하나의 장치를 통해 사용자로부터 제스처 명령을 검출하는 단계 및 상기 제스처 명령에 기초하여 제어 작동 및 상기 복수의 장치로부터 목적지 장치를 판단하는 단계는,
    상기 제스처 명령에 기초하여 상기 제어 작동을 판단하는 단계; 및
    상기 제어 작동을 실행하기 위한 상기 목적지 장치를 판단하기 위하여 사용자의 우세손의 물리적 속성을 분석하는 단계를 포함하는, 디스플레이 장치에 연결된 복수의 장치에 대해 멀티모달 및 제스처 제어를 제공하기 위한 방법.
  8. 디스플레이 유닛; 및
    상기 디스플레이 유닛에 연결된 복수의 장치를 포함하고,
    적어도 하나의 상기 장치는 사용자로부터의 제스처 입력을 검출하고 상기 복수의 장치 중 목적지 장치를 판단하기 위한 제스처 검출 모듈을 포함하며,
    제어 작동 및 상기 목적지 장치는 모두 사용자로부터의 상기 제스처 입력에 기초하여 판단되는, 멀티모달 및 제스처 제어 시스템.
  9. 제8항에 있어서,
    상기 복수의 장치는, 디지털 비디오 레코더(digital video recorder), 위성 수신기(satellite receiver), 디지털 텔레비전 셋-톱 유닛(digital television set-top unit) 또는 멀티미디어 플레이어(multimedia player)를 포함하는, 멀티모달 및 제스처 제어 시스템.
  10. 제8항에 있어서,
    상기 복수의 장치는, 서로 근접해 있는, 멀티모달 및 제스처 제어 시스템.
  11. 제8항에 있어서,
    상기 복수의 장치는, 사용자로부터 제스처 명령을 검출하기 위한 상기 제스처 검출 모듈을 갖는 호스트 장치(host device)를 포함하는, 멀티모달 및 제스처 제어 시스템.
  12. 제11항에 있어서,
    상기 호스트 장치는, 상기 제스처 입력을 대체 신호로 변환하고 상기 대체 신호를 상기 복수의 장치로 브로드캐스트(broadcast)하도록 구성된, 멀티모달 및 제스처 제어 시스템.
  13. 복수의 장치; 및
    사용자로부터 제스처 명령을 검출하고 상기 복수의 장치 중 목적지 장치를 판단하기 위한 제스처 검출 요소를 갖는 호스트 장치를 포함하고,
    상기 호스트 장치에 의해 검출된 상기 제스처 명령에 기초하여 상기 목적지 장치 및 그와 관련된 제어 작동이 판단되는, 멀티모달 및 제스처 제어 시스템.
  14. 제13항에 있어서,
    상기 호스트 장치는, 수신된 상기 제스처 명령을 대체 명령 신호로 변환하도록 구성되고,
    상기 호스트 장치는 또한, 판단된 상기 목적지 장치에 의한 검출을 위하여 상기 대체 명령 신호를 상기 복수의 장치로 브로드캐스트하도록 구성된, 멀티모달 및 제스처 제어 시스템.
KR1020137020458A 2011-01-19 2011-01-19 멀티모달 및 제스처 제어를 위한 방법 및 시스템 KR101690117B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/021716 WO2012099584A1 (en) 2011-01-19 2011-01-19 Method and system for multimodal and gestural control

Publications (2)

Publication Number Publication Date
KR20140014129A true KR20140014129A (ko) 2014-02-05
KR101690117B1 KR101690117B1 (ko) 2016-12-27

Family

ID=46515983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020458A KR101690117B1 (ko) 2011-01-19 2011-01-19 멀티모달 및 제스처 제어를 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US9778747B2 (ko)
EP (1) EP2666070A4 (ko)
JP (1) JP5723462B2 (ko)
KR (1) KR101690117B1 (ko)
CN (1) CN103329066B (ko)
WO (1) WO2012099584A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013067B2 (en) 2013-04-15 2018-07-03 Zte Corporation Gesture control method, apparatus and system
KR20200110103A (ko) * 2019-03-14 2020-09-23 주식회사 듀코젠 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템
KR20200121513A (ko) * 2019-04-16 2020-10-26 경북대학교 산학협력단 동작 인식 기반 조작 장치 및 방법

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292112B2 (en) * 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
US9142182B2 (en) * 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US20130194180A1 (en) * 2012-01-27 2013-08-01 Lg Electronics Inc. Device and method of controlling the same
KR101984154B1 (ko) * 2012-07-16 2019-05-30 삼성전자 주식회사 터치 및 제스처 입력을 이용한 단말의 제어 방법 및 그 단말
KR20140014548A (ko) * 2012-07-24 2014-02-06 삼성전자주식회사 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
KR102095765B1 (ko) * 2012-10-19 2020-04-01 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
DE102012110190B4 (de) 2012-10-25 2015-03-26 Mis-Robotics Gmbh Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US9910499B2 (en) 2013-01-11 2018-03-06 Samsung Electronics Co., Ltd. System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices
DE102013201359A1 (de) * 2013-01-29 2014-07-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Werkstattgeräts
US20140245200A1 (en) * 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
WO2015039050A1 (en) * 2013-09-13 2015-03-19 Nod, Inc Using the human body as an input device
US10585478B2 (en) 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
WO2015105919A2 (en) * 2014-01-07 2015-07-16 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using an auxiliary sensor and for mapping of arbitrary human motion within an arbitrary space bounded by a user's range of motion
US10725550B2 (en) 2014-01-07 2020-07-28 Nod, Inc. Methods and apparatus for recognition of a plurality of gestures using roll pitch yaw data
US10338685B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus recognition of start and/or stop portions of a gesture using relative coordinate system boundaries
US10338678B2 (en) * 2014-01-07 2019-07-02 Nod, Inc. Methods and apparatus for recognition of start and/or stop portions of a gesture using an auxiliary sensor
US20150220158A1 (en) 2014-01-07 2015-08-06 Nod Inc. Methods and Apparatus for Mapping of Arbitrary Human Motion Within an Arbitrary Space Bounded by a User's Range of Motion
CN103728906B (zh) * 2014-01-13 2017-02-01 江苏惠通集团有限责任公司 智能家居控制装置及控制方法
KR20150084524A (ko) * 2014-01-14 2015-07-22 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9823749B2 (en) 2014-02-21 2017-11-21 Nod, Inc. Location determination and registration methodology for smart devices based on direction and proximity and usage of the same
CN104866083B (zh) * 2014-02-25 2020-03-17 中兴通讯股份有限公司 手势识别方法、装置和系统
CN104866084B (zh) 2014-02-25 2021-04-30 中兴通讯股份有限公司 手势识别方法、装置和系统
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
KR101556521B1 (ko) * 2014-10-06 2015-10-13 현대자동차주식회사 휴먼 머신 인터페이스 장치, 그를 가지는 차량 및 그 제어 방법
CN105589550A (zh) * 2014-10-21 2016-05-18 中兴通讯股份有限公司 信息发布方法、信息接收方法、装置及信息共享系统
CN104635537B (zh) * 2014-12-24 2017-10-20 北京元心科技有限公司 一种智能家电的控制方法
US10048749B2 (en) 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
US9864430B2 (en) 2015-01-09 2018-01-09 Microsoft Technology Licensing, Llc Gaze tracking via eye gaze model
WO2016121052A1 (ja) * 2015-01-29 2016-08-04 三菱電機株式会社 マルチモーダル意図理解装置およびマルチモーダル意図理解方法
CN104699244B (zh) * 2015-02-26 2018-07-06 小米科技有限责任公司 智能设备的操控方法及装置
US9653075B1 (en) * 2015-11-06 2017-05-16 Google Inc. Voice commands across devices
CN107329602A (zh) * 2016-04-28 2017-11-07 珠海金山办公软件有限公司 一种触摸屏轨迹识别方法及装置
US10684758B2 (en) * 2017-02-20 2020-06-16 Microsoft Technology Licensing, Llc Unified system for bimanual interactions
US10558341B2 (en) * 2017-02-20 2020-02-11 Microsoft Technology Licensing, Llc Unified system for bimanual interactions on flexible representations of content
CN107122053A (zh) * 2017-04-27 2017-09-01 奥英光电（苏州）有限公司 一种显示器的控制方法、装置及显示器
JP7006198B2 (ja) * 2017-12-01 2022-01-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP2021009619A (ja) * 2019-07-02 2021-01-28 富士ゼロックス株式会社 情報処理システム及びプログラム
US11476894B2 (en) 2019-12-10 2022-10-18 AR & NS Investment, LLC Edge communication system with cascaded repeater devices over wired medium
US11010129B1 (en) * 2020-05-08 2021-05-18 International Business Machines Corporation Augmented reality user interface
US11989965B2 (en) * 2020-06-24 2024-05-21 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
US11283510B2 (en) 2020-06-24 2022-03-22 AR & NS Investment, LLC Phase noise removal in a network of radio frequency (RF) repeaters
US11177872B1 (en) 2020-06-24 2021-11-16 AR & NS Investment, LLC Managing a network of radio frequency (RF) repeater devices
US11711126B2 (en) 2020-06-24 2023-07-25 AR & NS Investment, LLC Wireless communication system based on mmWave RF repeaters
US11789542B2 (en) 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection
US11763809B1 (en) * 2020-12-07 2023-09-19 Amazon Technologies, Inc. Access to multiple virtual assistants

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003186596A (ja) * 2001-12-13 2003-07-04 Seiko Epson Corp 表示装置及び表示装置の入力方法
KR100630806B1 (ko) * 2005-11-29 2006-10-04 한국전자통신연구원 동작 인식 장치를 이용한 명령 입력 방법
JP2007318319A (ja) * 2006-05-24 2007-12-06 Seiko Epson Corp リモートコントローラ及びその制御方法
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP3521187B2 (ja) 1996-10-18 2004-04-19 株式会社東芝 固体撮像装置
JPH11327753A (ja) 1997-11-27 1999-11-30 Matsushita Electric Ind Co Ltd 制御方法及びプログラム記録媒体
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
JP2001216069A (ja) * 2000-02-01 2001-08-10 Toshiba Corp 操作入力装置および方向検出方法
KR20020033813A (ko) * 2000-07-21 2002-05-07 요트.게.아. 롤페즈 복수의 디바이스를 통한 음성 제어
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
US7231609B2 (en) 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
EP1646240B1 (en) * 2003-07-11 2009-09-16 Hitachi, Ltd. Image processing camera system and image processing camera control method
JP2005242759A (ja) * 2004-02-27 2005-09-08 National Institute Of Information & Communication Technology 行動・意図推定システム、行動・意図推定方法、行動・意図推定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
TWI412392B (zh) 2005-08-12 2013-10-21 Koninkl Philips Electronics Nv 互動式娛樂系統及其操作方法
US9319741B2 (en) * 2006-09-07 2016-04-19 Rateze Remote Mgmt Llc Finding devices in an entertainment system
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US7991896B2 (en) 2008-04-21 2011-08-02 Microsoft Corporation Gesturing to select and configure device communication
US8154428B2 (en) 2008-07-15 2012-04-10 International Business Machines Corporation Gesture recognition control of electronic devices using a multi-touch device
US20100083189A1 (en) * 2008-09-30 2010-04-01 Robert Michael Arlein Method and apparatus for spatial context based coordination of information among multiple devices
US9134798B2 (en) 2008-12-15 2015-09-15 Microsoft Technology Licensing, Llc Gestures, interactions, and common ground in a surface computing environment
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US20100287513A1 (en) 2009-05-05 2010-11-11 Microsoft Corporation Multi-device gesture interactivity
US8487871B2 (en) 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US9594431B2 (en) * 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
US8487888B2 (en) * 2009-12-04 2013-07-16 Microsoft Corporation Multi-modal interaction on multi-touch display
US9268404B2 (en) * 2010-01-08 2016-02-23 Microsoft Technology Licensing, Llc Application gesture interpretation
CN101777250B (zh) * 2010-01-25 2012-01-25 中国科学技术大学 家用电器的通用遥控装置及方法
US20120110456A1 (en) * 2010-11-01 2012-05-03 Microsoft Corporation Integrated voice command modal user interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003186596A (ja) * 2001-12-13 2003-07-04 Seiko Epson Corp 表示装置及び表示装置の入力方法
KR100630806B1 (ko) * 2005-11-29 2006-10-04 한국전자통신연구원 동작 인식 장치를 이용한 명령 입력 방법
JP2007318319A (ja) * 2006-05-24 2007-12-06 Seiko Epson Corp リモートコントローラ及びその制御方法
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013067B2 (en) 2013-04-15 2018-07-03 Zte Corporation Gesture control method, apparatus and system
KR20200110103A (ko) * 2019-03-14 2020-09-23 주식회사 듀코젠 양손 입력을 지원하는 vr 콘텐츠 저작 방법 및 시스템
KR20200121513A (ko) * 2019-04-16 2020-10-26 경북대학교 산학협력단 동작 인식 기반 조작 장치 및 방법

Also Published As

Publication number Publication date
JP2014507714A (ja) 2014-03-27
CN103329066A (zh) 2013-09-25
WO2012099584A1 (en) 2012-07-26
US20130290911A1 (en) 2013-10-31
KR101690117B1 (ko) 2016-12-27
EP2666070A4 (en) 2016-10-12
US9778747B2 (en) 2017-10-03
EP2666070A1 (en) 2013-11-27
CN103329066B (zh) 2017-03-29
JP5723462B2 (ja) 2015-05-27

Similar Documents

Publication Publication Date Title
KR101690117B1 (ko) 멀티모달 및 제스처 제어를 위한 방법 및 시스템
US9176590B2 (en) Systems and methods for hand gesture control of an electronic device
EP2960882B1 (en) Display device and operating method thereof
US8638198B2 (en) Universal remote control systems, methods, and apparatuses
US8963847B2 (en) User interface for a remote control device
US9607505B2 (en) Closed loop universal remote control
CN101546476B (zh) 使用遥控器设备和软遥控器来控制设备的系统和方法
US10742440B2 (en) Method and system of controlling device using real-time indoor image
KR20110095345A (ko) 원격 제어 장치 명령 신호들을 캡처하기 위한 시스템 및 방법
EP2915024B1 (en) Contextual gesture controls
US20170206398A1 (en) Remote control device and operating method thereof
CN107801074B (zh) 显示系统及其控制方法
US9076323B2 (en) Method and system for interfacing with multiple devices
KR102167289B1 (ko) 영상 표시 기기 및 그의 동작 방법
US20130124210A1 (en) Information terminal, consumer electronics apparatus, information processing method and information processing program
KR101833790B1 (ko) 포스 입력을 이용하여 다양한 모드들을 실현하는 미디어 시스템 및 방법
US20130300651A1 (en) Apparatus and method for controlling electronic device
KR102360628B1 (ko) 영상 투사 장치 및 그의 동작 방법
KR101833789B1 (ko) 이미지 처리 장치 및 이를 이용한 외부 기기 제어 방법
KR20220005590A (ko) 디스플레이 장치 및 그의 동작 방법
KR20240076411A (ko) 통합 컨트롤러
JP2006314149A (ja) 遠隔操作制御システム、遠隔操作器、遠隔操作制御方法及び被制御機器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant