KR20040063153A - 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치 - Google Patents

제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20040063153A
KR20040063153A KR10-2004-7007643A KR20047007643A KR20040063153A KR 20040063153 A KR20040063153 A KR 20040063153A KR 20047007643 A KR20047007643 A KR 20047007643A KR 20040063153 A KR20040063153 A KR 20040063153A
Authority
KR
South Korea
Prior art keywords
selection
user
images
processor
gesture
Prior art date
Application number
KR10-2004-7007643A
Other languages
English (en)
Inventor
콜메나레즈안토니오
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040063153A publication Critical patent/KR20040063153A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Abstract

가시적 사용자 인터페이스는 디스플레이상에 제공된다. 디스플레이는 다수의 선택 옵션들을 사용자에게 제공한다. 하나의 프로세서는 시간 기간 동안 다수의 선택 옵션들 각각을 차레로 하일라이팅하기 위하여 디스플레이에 동작 가능하게 결합된다. 하이라이팅 동안 프로세서는 이미지 입력 장치로부터 사용자의 하나 이상의 이미지들을 수신하고 사용자로부터의 선택 제스쳐가 하나 이상의 이미지들에 포함되는지를 결정한다. 선택 제스쳐는 하나 이상의 이미지들에 포함되고, 프로세서는 하이라이트된 선택 옵션에 의해 결정된 동작을 수행한다.

Description

제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치{METHOD AND APPARATUS FOR A GESTURE-BASED USER INTERFACE}
사용자 입력 기능을 규정하기 위하여 사용자 이미지를 획득하기 위한 컴퓨터 비젼 시스템을 사용하는 다수의 시스템들이 있다. 공지된 시스템에서, 사용자는 디스플레이상에 다수의 선택 옵션들중 하나를 포인트할 수 있다. 단일 이미지 카메라 또는 모션 이미지 카메라 같은 하나 이상의 이미지 획득 장치들을 사용하는 시스템은 다수의 선택 옵션들중 하나에서 포인팅한 사용자의 하나 이상의 이미지들을 획득한다. 이들 하나 이상의 이미지들을 사용하여, 시스템은 포인팅 각도를 결정한다. 그 다음 시스템은 결정된 거리 및 높이 데이타와 함께 포인트 각도를 사용하여, 다수의 선택 옵션들중 사용자가 포인팅하는 어느 하나를 결정한다.
이들 시스템들 모두는 주어진 디스플레이상 선택 옵션들의 위치가 의도된 선택 옵션을 결정하기 위하여 시스템에 대해 정밀하게 공지되어야 하는 의도된 선택 옵션을 정확하게 결정하여야 하는 문제점을 가진다. 그러나, 이들 선택 옵션들의 위치는 각각 다른 크기의 디스플레이 장치에서 가변된다. 따라서, 상기 시스템들은 각각의 디스플레이 크기에 대해 특정하게 프로그램되거나 크기 선택은 셋업 과정의 일부이어야 한다.
게다가, 이들 공지된 시스템들은 신뢰적인 결정을 위하여 요구되는 포인팅, 높이 등의 정밀한 각도글 정확하게 결정하여야 하는 문제점들을 가진다. 이들 종래 기술의 공지된 결함을 해결하기 위하여, 주어진 선택이 신뢰적이지 않은 결정된 데이타로부터 보다 쉽게 식별될 수 있도록 디스플레이상에 다수의 선택 옵션들을 폭넓게 분산시키는 것이 공지되었다. 그러나, 보다 작은 디스플레이상에서, 선택 옵션들을 충분히 분산시키기 위한 충분한 디스플레이 영역이 없을 수 있다. 다른 공지된 시스템들은 아이템 선택을 위한 초기 포인팅후 확인 제스쳐를 사용하는 것이다. 예를들어, 사용자가 포인팅 아이템 선택을 행한후, 엄지손가락을 위로 올리는 제스쳐 같은 제스쳐는 주어진 선택을 확인시키기 위하여 사용될수있다. 아직, 선택된 옵션들을 식별하는데 문제점들은 여전히 존재한다.
본 발명은 장치 또는 다른 동작 가능하게 결합된 장치와 사용자 대화를 할당하기 위한 방법 및 장치에 관한 것이다. 특히, 본 발명은 장치에 대한 사용자 입력 모드로서 제스쳐(gesture)를 사용하는 사용자 인터페이스에 관한 것이다.
도 1은 본 발명의 실시예에 따른 도시적인 시스템을 도시한다.
도 2는 본 발명의 실시예에 따른 동작을 도시하는 흐름도이다.
따라서, 본 발명의 목적은 종래 기술의 단점을 극복하는 것이다.
본 발명은 텔레비젼, 프로세서, 및 단일 이미지 또는 모션 이미지 카메라 같은 이미지 획득 장치 같은 비디오 디스플레이 장치를 가진 시스템이다. 본 시스템은 디스플레이상에 가시적 사용자 인터페이스를 제공한다. 동작시, 디스플레이는 사용자에게 다수의 선택 옵션들을 제공한다. 프로세서는 일정한 시간 기간 동안 다수의 선택 옵션들 각각을 순차적으로 하이라이팅하기 위하여 디스플레이 동작 가능하게 결합된다. 하이라이팅 동안 프로세서는 카메라로부터 사용자의 하나 이상의 이미지들을 수신하고 사용자로부터의 선택 제스쳐가 하나 이상의 이미지들에 포함되었는지를 결정한다.
선택 제스쳐가 하나 이상의 이미지들에 포함될때, 프로세서는 하이라이트된 선택 옵션에 의해 결정된 액션을 수행한다. 선택 옵션이 하나 이상의 이미지들에 포함되지 않을때, 프로세서는 그후의 선택 옵션을 하이라이트한다. 이런 방식에서, 사용자 입력을 요구하기 위한 로버스트(robust) 시스템은 제공되어 종래 기술 시스템들에서 발견된 단점을 극복한다.
다음은 다음 도면을 참조하여 취하여질 때 상기된 특징 및 단점뿐 아니라 다른 것들을 나타낼 본 발명의 실시예들의 설명이다. 도면 및 다음 실시예들은 도시하기 위한 것이며 첨부된 청구항들에 의해 한정되는 본 발명의 범위를 제공하지 않는 다는 것이 이해된다. 본 발명은 첨부 도면과 관련하여 가장 잘 이해된다.
하기 논의에서, 임의의 용어들은 논의를 용이하게 하기 위한 특정 실시예들 또는 시스템들과 관련하여 도시적으로 사용될 것이다. 당업자에 의해 명백한 바와같이, 이들 용어들은 다른 유사한 공지된 용어들 및 실시예들을 포함하는 것으로 이해되고 본 발명은 쉽게 적용될수있다.
도 1은 프로세서(120)에 동작 가능하게 결합된 디스플레이(110)를 포함하는 본 발명의 일실시예에 따른 도시적인 시스템(100)을 도시한다. 본 발명에 따른 동작을 용이하게 하기 위하여, 프로세서(120)는 카메라(124) 같은 이미지 입력 장치에 동작 가능하게 결합된다. 카메라(124)는 사용자(140)로부터 선택 제스쳐들을 캡쳐하기 위하여 사용된다. 특히, 본 발명에 따라, 선택 제스쳐(144)로서 도시적으로 도시된 선택 제스쳐는 다수의 선택 옵션들중 어느 것이 하기에 추가로 기술될 바와같이 사용자에 의해 목표되는가를 결정하기 위하여 시스템(100)에 의해 사용된다.
용어들 선택 옵션, 선택 피쳐 등이 사용자 입력을 위한 목적에도 불구하고 임의의 타입의 사용자 입력 동작을 기술하기 위하여 여기에서 사용될 수 있다는 것이 이해되어야 한다. 이들 선택 옵션들은 명령 및 제어 피쳐들, 대화 피쳐들, 선호도 결정 등을 포함하는 임의의 목적을 위하여 디스플레이될 수 있다.
본 발명의 다른 동작은 본 발명의 실시예에 따른 흐름도(200)를 도시하는 도 2와 관련하여 여기에 기술될 것이다. 도시된 바와같이, 액트(205) 동안 시스템(100)은 사용자 선택 피쳐가 사용자에 의해 목표되거나 사용자에게 요구되는것을 인식한다.
선택 피쳐들을 활성화하기 위한 종래 기술에 공지된 많은 방법들이 있다. 예를들어, 사용자는 원격 제어부(도시되지 않음)에 위치된 버튼을 누를수있다. 사용자는 디스플레이(110)상에 배치된 버튼 또는 다른 동작 가능하게 결합된 장치들상에 배치된 버튼을 누를수있다. 사용자는 선택 피쳐를 활성하기 위하여 사용자로부터 오디오 표시 또는 특정 제스쳐를 사용할 수 있다. 제스쳐 인식 시스템의 동작은 이하에 추가로 제공된다. 선택 피쳐를 활성화하는 방법으로서 오디오 표시의 사용을 용이하게 하기 위하여, 프로세서는 마이크로폰(122) 같은 오디오 입력 장치에 동작 가능하게 결합될수있다. 마이크로폰(122)은 사용자(140)로부터 오디오 표시들을 캡쳐하기 위하여 사용될수있다.
시스템(100)은 이전 단계 또는 계속적인 단계들의 결과로서 사용자에 의해 추가 조정없이 선택 피쳐를 제공한다. 예를들어, 시스템(100)은 하나의 장치가 우선 턴온되거나 이전 활성화 또는 선택(예를들어, 서브 메뉴) 다음 몇몇 후 선택 피쳐를 제공할 수 있다. 게다가, 시스템(100)은 카메라(124)를 사용하여 시스템의 전면에 사용자 존재 및 카메라(124) 전면 영역의 획득된 이미지 또는 이미지들의 존재를 검출할 수 있다. 이 실시예에서, 카메라 전면의 사용자의 존재는 선택 피쳐를 시작하도록 작동할 수 있다. 상기 방법들의 어느 것도 만약 특정하게 첨부된 청구항들에 의해 요구되지 않으면 본 발명을 제한하는 것으로 이해되어서는 않된다.
어느 방법이 선택 피쳐를 활성화하기 위하여 사용되었던지, 액트(210)에서시스테은 사용자에게 다수의 선택 옵션들을 제공한다. 이들 선택 옵션들은 일단 디스플레이(110)상에 제공되거나, 하나 이상의 선택 옵션들의 그룹으로 사용자에게 제공될 수 있다.
선택 옵션들의 슬라이딩 또는 스크롤링(scrolling) 배너는 하나 이상의 선택 옵션들의 그룹들의 선택 옵션들을 제공할 수 있는 시스템들의 예들이다. 게다가, 하나 이상의 선택 옵션들의 그룹들은 디스플레이(110)의 일부상에 간단히 팝업(pop-up)하거나 나타날 수 있다. 디스플레이 기술에서 디스플레이상에 선택 옵션들을 제공하기 위한 많은 다른 공지된 효과들이 있다. 각각의 이들은 본 발명에 따라 동작하는 것으로서 고려되는 것이 이해되어야 한다.
서낵 옵션들이 사용자에게 제공되는 방법에도 불구하고, 액트(200)에서 시스템(100)은 일정한 시간 주기 동안 다수의 선택 옵션들중 제공된 하나를 하이라이팅한다. 여기에 사용되는 용어 하이라이트는 다수의 선택 옵션들중 특정 하나가 주어진 시간에 고려되어야 하는 것을 시스템(100)이 사용자(140)에게 가리키는 임의의 방식을 포함하는 것으로 이해되어야 한다.
모든 다수의 선택 옵션들이 사용자에게 동시에 제공되는 시스템에 대하여, 시스템(100)은 실제로 하이라이팅 효과를 제공할 수 있다. 예를들어 하이라이팅 효과는 주어진 하나 또는 각각의 다른 다수의 선택 옵션들의 배경 색깔을 변경할 수 있다. 일실시예에서, 하이라이팅은 다수의 선택 옵션들중 주어진 하나 또는 서로에 대해 색깔, 크기, 폰트 등 같은 선택 옵션의 디스플레이 특성 변화 형태일 수 있다.
상기된 스크롤링 배너 프리젠테이션에서 같은 다수의 선택 옵션들이 사용자에게 차례로 제공되는 시스템에서, 하이라이팅은 선택 옵션들의 프리젠테이션 순서에 의해 간단히 제공될 수 있다. 예를들어, 일실시예에서, 하나의 선택 옵션은 이전에 디스플레이된 선택 옵션이 디스플레이로부터 나타나지 않을때 디스플레이상에 스크롤할 수 있다. 그후, 몇몇 시간 동안, 단지 하나의 선택 옵션은 디스플레이션에 가시화된다. 이런 방식에서, 하이라이팅은 그 시간에 하나의 선택 옵션을 가시화함으로써 효과적으로 제공된다. 다른 실시예에서 하이라이팅은 스크롤링 리스트중 최종으로 나타나는 선택 옵션에 대해 간단히 제공될 수 있고 하나 이상의 이전 선택 옵션들은 여전히 가시화되어 있다.
다른 실시예에서, 시스템(100)은 주어진 선택 옵션을 구두로 하이라이팅하기 위하여 프로세서(120)에 동작 가능하게 결합된 스피커(128)을 구비할 수 있다. 일실시예에서, 프로세서(120)는 다수의 선택 옵션들중 각각 주어진 하나에 대하여 대응하는 스피치 부분들을 합성하여 생성하도록 동작할 수 있다. 이런 방식에서, 스피치 부분은 본 발명에 따른 대응 선택 옵션을 하이라이팅하기 위하여 사용자에게 제공될 수 있다. 대응 스피치 부분은 선택 옵션의 텍스트 대 스피치 전환이거나 다른 방식들에서 선택 옵션에 해당할 수 있다. 예를들어, 선택 옵션들이 번호 매겨지는 일실시예에서, 스피치 부분은 간단히 선택 옵션에 해당하는 숫자일 수 있다. 주어진 선택 옵션에 대한 대응하는 다른 방식의 스피치 부분은 당업자에게 발생할 수 있다. 임의의 이들 다른 방식들은 첨부된 청구항들의 범위내로 이해되어야 한다.
시스템이 다수의 선택 옵션들중 주어진 하나를 하이라이트한 후, 액트(230) 동안 프로세서(120)는 카메라(124)의 사용을 통하여 사용자(140)의 하나 이상의 이미지들을 획득할 수 있다. 이들 하나 이상의 이미지들은 사용자(140)가 선택 제스쳐를 제공하는지를 결정하기 위하여 시스템(100)에 의해 사용된다. 사용자의 제스쳐를 획득 및 인식하기 위한 많은 공지된 시스템들이 있다. 예를들어, 인간 컴퓨터 대화시 제스쳐 바탕 통신에 관한 1999년 국제 제스쳐 워크샵의 회보에서 잉 우(Ying Wu) 및 토마스 에스.후앙(Thomas S. Huang)에 의한 리뷰: "비젼 바탕 제스쳐 인식" 공개물은 제어 기능들을 위한 제스쳐의 사용을 기술한다. 이 논문은 여기에 전체적으로 나타난 바와같이 참조에 의해 여기에 통합된다.
일반적으로, 두가지 타입의 제스쳐 인식 시스템들이 있다. 손 자세 인식이라 불리는 하나의 시스템에서,카메라(124)는 사용자에 의해 의도된 제스쳐를 결정하기 위하여 하나의 이미지 도는 일련의 몇몇 이미지들을 획득할 수 있다. 이런 타입의 시스템은 일반적으로 사용자에 의한 제스쳐의 정적 평가를 형성한다. 다른 공지된 시스템에서, 카메라(124)는 제스쳐를 동적으로 결정하기 위하여 일련의 이미지들을 획득할 수 있다. 이런 타입의 인식 시스템은 동적/일시적 제스쳐 인식이라 불린다. 몇몇 시스템들에서, 손의 궤도를 분석하는 것은 특정 제스쳐들에 대응하는 궤도들의 학습된 모델과 이런 궤도를 비교함으로써 동적 제스쳐 인식을 수행하기 위하여 사용될수있다.
임의의 경우, 카메라(124)가 하나 이상의 이미지들을 획득한후, 액트(240) 동안, 프로세서(120)는 선택 제스쳐가 하나 이상의 이미지들에 속하는지 결정하기위하여 노력한다. 허용 가능한 선택 제스쳐들은 손, 팔, 손가락 등의 상승 또는 웨이빙 같은 손 제스쳐들을 포함할 수 있다. 다른 허용 가능한 선택 제스쳐들은 사용자(140)가 머리를 흔들거나 끄덕이는 것 같은 머리 제스쳐들일 수 있다. 부가적인 선택 제스쳐들은 사용자가 윙크하거나, 그들의 눈썹을 상승시키는 등 같은 안면 제스쳐들을 포함할 수 있다. 이들 제스쳐들의 임의의 하나가 프로세서(120)에 의해 선택 제스쳐로서 인식될 수 있다. 많은 다른 잠재적인 제스쳐들은 당업자에게 명백할 것이다. 임의의 이들 제스쳐들은 첨부된 청구항들에 의해 포함되는 것이 이해되어야 한다.
프로세서(120)가 하나 이상의 이미지들에서 선택 제스쳐를 식별하지 않을때, 프로세서(120)는 사용자(140)의 부가적인 하나 이상의 이미지들을 획득하기 위하여 액트(230)로 리턴한다. 공지된 제스쳐가 인식되지 않는 하나 이상의 이미지들로부터 공지된 제스쳐를 결정하는 소정 수의 시도후 또는 소정 기간의 시간후, 프로세서(120)는 액트(260) 동안 다수의 선택 옵션들중 다른 하나를 하이라이팅한다. 그후, 시스템(100)은 상기된 바와같은 선택 제스쳐를 기다리기 위하여 액트(230)로 리턴한다.
프로세서(1200가 액트(240) 동안 선택 제스쳐를 식별할때, 액트(250) 동안 프로세서(1200는 하이라이트된 선택 옵션에 의해 결정된 액션을 수행한다. 상기된 바와같이, 수행된 액션은 하이라이트된 선택 옵션과 연관된 임의의 액션에 의해 수행될수있다. 연관된 액션은 선택 옵션에 의해 특정하게 불리는 액션을 포함하는 것으로 이해되어야 하고 그것과 연관될 수 있는 임의의 및/또는 모든 추후 액션들을 포함할 수 있다.
마지막으로, 상기 논의는 본 발명을 단순히 도시하는 것으로 의도되었다. 다수의 다른 실시예들은 다음 청구항들의 사상 및 범위로부터 벗어나지 않고 당업자에 의해 고안될수있다. 예를들어, 비록 프로세서(120)가 디스플레이(110)로부터 분리되어 도시되지만, 양쪽은 텔레비젼, 셋톱 박스, 또는 실제로 임의의 다른 공지된 장치 같은 단일 디스플레이 장치에 결합될수있다. 게다가, 프로세서는 본 발명에 따라 수행하기 위한 전용 프로세서이거나 범용 프로세서이고 여기서 많은 기능들중 단지 하나는 본 발명에 따라 수행하기 위하여 동작한다. 프로세서는 프로그램 부분, 다중 프로그램 세그먼트들을 사용하여 동작할 수 있거나, 전용 또는 다중 목적 집적 회로를 사용하는 하드웨어 장치일 수 있다.
디스플레이(110)는 사용자에게 가시적 내용을 재생하기 위하여 인에이블된 텔레비젼 수신기 또는 다른 장치일 수 있다. 가시적 내용은 제어 또는 선택 액션들을 규정하기 위한 본 발명의 일실시예에 따른 사용자 인터페이스일 수 있다. 이들 실시예들에서, 디스플레이(110)는 액정 디스플레이("LCD"), 플라즈마 디스플레이, 또는 사용자에게 가시적 내용을 제공하는 임의의 다른 공지된 수단 같은 정보 스크린일 수 있다. 따라서, 용어 디스플레이는 가시적 내용을 제공하기 위한 임의의 공지된 수단을 포함하는 것으로 이해되어야 한다.
다수의 다른 실시예들은 다음 청구항들의 사상 및 범위로부터 벗어나지 않고 당업자에 의해 고안될수있다. 첨부된 청구항들을 해석하여, 다음이 이해된다.
a) 워드 "컴프라이징"은 다른 엘리먼트들의 존재를 배제하지 않고 주어진 청구항에 나열된 것과 다르게 작동할 수 있다.
b) 엘리먼트에 선행하는 워드 "어" 또는 "언"은 다수의 상기 엘리먼트들의 존재를 배제하지 않는다.
c) 청구항들에서 임의의 참조 기호들은 그 범위를 제한하지 않는다.
d) 몇몇 "수단"은 동일한 아이템 또는 하드웨어 또는 소프트웨어 실행 구조 또는 기능에 의해 표현될수있다.

Claims (15)

  1. 비디오 디스플레이 장치로서,
    다수의 선택 옵션들을 디스플레이하도록 구성된 디스플레이;
    상기 디스플레이에 동작 가능하게 결합되고, 일정한 시간 기간 동안 다수의 선택 옵션들 각각을 순차적으로 하이라이트하도록 구성되고, 상기 하이라이트된 선택 옵션을 선택하기 위하여 사용자로부터 선택 제스쳐를 수신하도록 구성된 프로세서를 포함하는, 비디오 디스플레이 장치.
  2. 제 1 항에 있어서, 상기 프로세서는 상기 디스플레이로 하여금 상기 시간 기간 동안 각각의 다수의 선택 옵션들 중 하나를 디스플레이하도록 함으로써 다수의 선택 옵션들 각각을 하이라이트하도록 구성되는, 비디오 디스플레이 장치.
  3. 제 1 항에 있어서, 상기 프로세서는 상기 디스플레이로 하여금 상기 시간 기간 동안 각각의 다수의 선택 옵션들 중 하나에 대한 디스플레이 특성을 변경하도록 함으로써 다수의 선택 옵션들 각각을 하이라이트하도록 구성되는, 비디오 디스플레이 장치.
  4. 제 1 항에 있어서, 상기 비디오 디스플레이 장치는 오디오 출력 장치를 더 포함하고, 상기 프로세서는 상기 오디오 출력 장치로 하여금 각각의 다수의 선택옵션들의 대응하는 하나와 연관된 오디오 표시를 순차적으로 출력하도록 함으로써 각각의 상기 다수의 선택 옵션들을 하이라이트하도록 구성되는, 비디오 디스플레이 장치.
  5. 제 1 항에 있어서, 상기 선택 제스쳐를 포함하는 사용자의 이미지를 획득하기 위하여 상기 프로세서에 동작 가능하게 결합된 카메라를 포함하는, 비디오 디스플레이 장치.
  6. 제 5 항에 있어서, 상기 이미지 정보는 다수의 이미지들에 포함되고, 상기 프로세서는 상기 선택 제스쳐를 결정하기 위하여 상기 다수의 이미지들을 분석하도록 구성되는, 비디오 디스플레이 장치.
  7. 제 5 항에 있어서, 상기 이미지 정보는 다수의 이미지들에 포함되고, 상기 프로세서는 상기 다수의 이미지들을 분석하고 상기 사용자 손의 궤적을 결정함으로써 선택 제스쳐를 결정하도록 구성되는, 비디오 디스플레이 장치.
  8. 제 1 항에 있어서, 상기 프로세서는 상기 사용자의 이미지를 분석하고 상기 사용자 손의 자세를 결정함으로써 상기 선택 제스쳐를 결정하도록 구성되는, 비디오 디스플레이 장치.
  9. 제 1 항에 있어서, 상기 비디오 디스플레이 장치는 텔레비젼인, 비디오 디스플레이 장치.
  10. 다수의 선택 옵션들을 포함하는 사용자 인터페이스를 제공하는 방법으로서,
    상기 다수의 선택 옵션들을 디스플레이하는 단계;
    상기 다수의 선택 옵션들 각각의 하나를 순차적으로 하이라이팅하는 단계; 및
    이미지가 하이라이트된 선택 옵션에 대한 선택 제스쳐를 포함하는지를 결정하기 위해 상기 사용자 이미지를 분석하는 단계를 포함하는, 사용자 인터페이스 제공 방법.
  11. 제 10 항에 있어서, 상기 이미지를 분석하는 단계는:
    다수의 이미지들을 수신하는 단계; 및
    상기 다수의 이미지들이 선택 제스쳐를 포함하는지를 결정하기 위해 상기 다수의 이미지들을 분석하는 단계를 포함하는, 사용자 인터페이스 제공 방법.
  12. 제 10 항에 있어서, 상기 이미지를 분석하는 단계는:
    상기 다수의 이미지들을 수신하는 단계;
    상기 사용자의 손의 궤적을 결정하기 위해 상기 다수의 이미지들을 분석하는 단계; 및
    상기 다수의 이미지들이 상기 결정된 궤적에 의한 선택 제스쳐를 포함하는지를 결정하는 단계를 포함하는, 사용자 인터페이스 제공 방법.
  13. 제 10 항에 있어서, 상기 이미지를 분석하는 단계는:
    상기 사용자 손의 자세를 결정하기 위하여 상기 사용자의 이미지를 분석하는 단계; 및
    이미지가 상기 결정된 자세에 의한 선택 제스쳐를 포함하는지를 결정하는 단계를 포함하는, 사용자 인터페이스 제공 방법.
  14. 다수의 선택 옵션들을 포함하는 사용자 인터페이스를 제공하기 위한 프로세서 판독 가능 매체상에 저장된 프로그램 부분으로서, 프로그램 세그먼트는:
    상기 다수의 선택 옵션들의 디스플레이를 제어하기 위한 프로그램 세그먼트;
    일정한 시간 기간 동안 상기 다수의 선택 옵션들 중 각각의 하나를 하이라이팅하기 위한 프로그램 세그먼트;
    상기 이미지가 선택 제스쳐를 포함하는지를 결정하기 위해 상기 사용자의 이미지를 분석하기 위한 프로그램 세그먼트; 및
    만약 상기 선택 옵션이 하이라이트되는 동안 상기 선택 제스쳐가 수신되면 상기 선택 옵션을 수행하기 위한 프로그램 세그먼트를 포함하는, 프로그램 부분.
  15. 제 14 항에 있어서, 상기 이미지를 분석하기 위한 프로그램 세그먼트는:
    다수의 이미지들의 수신을 제어하기 위한 프로그램 세그먼트; 및
    상기 선택 제스쳐가 수신되었는지를 결정하기 위해 상기 다수의 이미지들을 분석하기 위한 프로그램 세그먼트를 포함하는, 프로그램 부분.
KR10-2004-7007643A 2001-11-19 2002-10-29 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치 KR20040063153A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/988,944 2001-11-19
US09/988,944 US20030095154A1 (en) 2001-11-19 2001-11-19 Method and apparatus for a gesture-based user interface
PCT/IB2002/004530 WO2003044648A2 (en) 2001-11-19 2002-10-29 Method and apparatus for a gesture-based user interface

Publications (1)

Publication Number Publication Date
KR20040063153A true KR20040063153A (ko) 2004-07-12

Family

ID=25534619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7007643A KR20040063153A (ko) 2001-11-19 2002-10-29 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US20030095154A1 (ko)
EP (1) EP1466238A2 (ko)
JP (1) JP2005509973A (ko)
KR (1) KR20040063153A (ko)
CN (1) CN1276330C (ko)
AU (1) AU2002339650A1 (ko)
WO (1) WO2003044648A2 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
KR20100030749A (ko) * 2008-09-11 2010-03-19 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
KR20110012128A (ko) * 2009-07-29 2011-02-09 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
KR101460866B1 (ko) * 2009-07-07 2014-11-11 폭스바겐 악티엔 게젤샤프트 차량에서 사용자 인터페이스를 제공하는 방법 및 장치
KR20160022329A (ko) * 2016-02-05 2016-02-29 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US10089060B2 (en) 2014-12-15 2018-10-02 Samsung Electronics Co., Ltd. Device for controlling sound reproducing device and method of controlling the device

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050101314A1 (en) * 2003-11-10 2005-05-12 Uri Levi Method and system for wireless group communications
US20050219223A1 (en) * 2004-03-31 2005-10-06 Kotzin Michael D Method and apparatus for determining the context of a device
US20050219228A1 (en) * 2004-03-31 2005-10-06 Motorola, Inc. Intuitive user interface and method
US7583819B2 (en) * 2004-11-05 2009-09-01 Kyprianos Papademetriou Digital signal processing methods, systems and computer program products that identify threshold positions and values
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US8659546B2 (en) 2005-04-21 2014-02-25 Oracle America, Inc. Method and apparatus for transferring digital content
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
JP2009517728A (ja) * 2005-11-25 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の非接触操作方法
US20070191838A1 (en) * 2006-01-27 2007-08-16 Sdgi Holdings, Inc. Interspinous devices and methods of use
US8092533B2 (en) * 2006-10-03 2012-01-10 Warsaw Orthopedic, Inc. Dynamic devices and methods for stabilizing vertebral members
US20080161920A1 (en) * 2006-10-03 2008-07-03 Warsaw Orthopedic, Inc. Dynamizing Interbody Implant and Methods for Stabilizing Vertebral Members
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US8154428B2 (en) 2008-07-15 2012-04-10 International Business Machines Corporation Gesture recognition control of electronic devices using a multi-touch device
JP2010176510A (ja) * 2009-01-30 2010-08-12 Sanyo Electric Co Ltd 情報表示装置
US8261212B2 (en) * 2009-10-20 2012-09-04 Microsoft Corporation Displaying GUI elements on natural user interfaces
KR101652110B1 (ko) * 2009-12-03 2016-08-29 엘지전자 주식회사 사용자의 제스쳐로 제어가능한 장치의 전력 제어 방법
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
EP2691834A4 (en) * 2011-03-28 2015-02-18 Gestsure Technologies Inc GESTURIZED CONTROL FOR MEDICAL INFORMATION SYSTEMS
US20140223381A1 (en) * 2011-05-23 2014-08-07 Microsoft Corporation Invisible control
US9910502B2 (en) 2011-09-15 2018-03-06 Koninklijke Philips N.V. Gesture-based user-interface with user-feedback
WO2013119149A1 (en) * 2012-02-06 2013-08-15 Telefonaktiebolaget L M Ericsson (Publ) A user terminal with improved feedback possibilities
CN103092363A (zh) * 2013-01-28 2013-05-08 上海斐讯数据通信技术有限公司 具有手势输入功能的移动终端及移动终端手势输入方法
US9245100B2 (en) * 2013-03-14 2016-01-26 Google Technology Holdings LLC Method and apparatus for unlocking a user portable wireless electronic communication device feature
CN105334942A (zh) * 2014-07-31 2016-02-17 展讯通信（上海）有限公司 一种控制系统及控制方法
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
CN113853567B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 基于imu和雷达降低状态
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
KR20210153695A (ko) 2019-07-26 2021-12-17 구글 엘엘씨 Imu 및 레이더를 통한 인증 관리
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
EP3811187B1 (en) 2019-08-30 2021-10-06 Google LLC Input methods for mobile devices
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
WO2021040742A1 (en) 2019-08-30 2021-03-04 Google Llc Input-mode notification for a multi-input node
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
KR20210061638A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0571702A3 (en) * 1992-05-26 1994-10-12 Takenaka Corp Handheld input device and wall computer unit.
KR19990008158A (ko) * 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
JP2000163196A (ja) * 1998-09-25 2000-06-16 Sanyo Electric Co Ltd ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
EP1111879A1 (en) * 1999-12-21 2001-06-27 Sony International (Europe) GmbH Portable communication device with a scrolling means for scrolling through a two-dimensional array of characters
EP1130502A1 (en) * 2000-02-29 2001-09-05 Sony Service Centre (Europe) N.V. Method and apparatus for inputting data
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
US6677965B1 (en) * 2000-07-13 2004-01-13 International Business Machines Corporation Rubber band graphical user interface control

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US8014567B2 (en) 2006-07-19 2011-09-06 Electronics And Telecommunications Research Institute Method and apparatus for recognizing gesture in image processing system
KR20100030749A (ko) * 2008-09-11 2010-03-19 엘지전자 주식회사 3차원 사용자 인터페이스의 제어방법과 이를 이용한 이동 단말기
KR101460866B1 (ko) * 2009-07-07 2014-11-11 폭스바겐 악티엔 게젤샤프트 차량에서 사용자 인터페이스를 제공하는 방법 및 장치
KR20110012128A (ko) * 2009-07-29 2011-02-09 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US9261958B2 (en) 2009-07-29 2016-02-16 Samsung Electronics Co., Ltd. Apparatus and method for navigation in digital object using gaze information of user
US10089060B2 (en) 2014-12-15 2018-10-02 Samsung Electronics Co., Ltd. Device for controlling sound reproducing device and method of controlling the device
KR20160022329A (ko) * 2016-02-05 2016-02-29 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법

Also Published As

Publication number Publication date
CN1639673A (zh) 2005-07-13
AU2002339650A1 (en) 2003-06-10
JP2005509973A (ja) 2005-04-14
EP1466238A2 (en) 2004-10-13
CN1276330C (zh) 2006-09-20
WO2003044648A3 (en) 2004-07-22
AU2002339650A8 (en) 2003-06-10
WO2003044648A2 (en) 2003-05-30
US20030095154A1 (en) 2003-05-22

Similar Documents

Publication Publication Date Title
KR20040063153A (ko) 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치
KR102373116B1 (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US9195345B2 (en) Position aware gestures with visual feedback as input method
US9348420B2 (en) Adaptive projected information handling system output devices
US20160196060A1 (en) Gesture Controlled Adaptive Projected Information Handling System Input and Output Devices
US20180292907A1 (en) Gesture control system and method for smart home
EP3258423A1 (en) Handwriting recognition method and apparatus
AU2010366331B2 (en) User interface, apparatus and method for gesture recognition
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US7586481B1 (en) Display-pointer visibility
US20150268773A1 (en) Projected Information Handling System Input Interface with Dynamic Adjustment
US8542199B2 (en) Image processing apparatus, image processing method, and program
US20110115814A1 (en) Gesture-controlled data visualization
EP3267303B1 (en) Multi-touch display panel and method of controlling the same
CN111475059A (zh) 基于近距离传感器和图像传感器的手势检测
WO2014067110A1 (zh) 绘图控制方法、装置及移动终端
KR20040015001A (ko) 스피치 및 제스처 제어에 기초한 픽처-인-픽처 재위치화및/또는 재사이즈화
US9965038B2 (en) Context adaptable projected information handling system input environment
US20170047065A1 (en) Voice-controllable image display device and voice control method for image display device
US10732808B2 (en) Information processing device, information processing method, and program
CN114237419B (zh) 显示设备、触控事件的识别方法
US10133355B2 (en) Interactive projected information handling system support input and output devices
US20150268739A1 (en) Projected Information Handling System Input Environment with Object Initiated Responses
CN107992262A (zh) 分屏显示界面控制方法、移动终端及计算机可读存储介质
CN107391015B (zh) 一种智能平板的控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid