KR101890459B1 - 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 - Google Patents

3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 Download PDF

Info

Publication number
KR101890459B1
KR101890459B1 KR1020147014975A KR20147014975A KR101890459B1 KR 101890459 B1 KR101890459 B1 KR 101890459B1 KR 1020147014975 A KR1020147014975 A KR 1020147014975A KR 20147014975 A KR20147014975 A KR 20147014975A KR 101890459 B1 KR101890459 B1 KR 101890459B1
Authority
KR
South Korea
Prior art keywords
user
gesture
coordinates
distance
click
Prior art date
Application number
KR1020147014975A
Other languages
English (en)
Other versions
KR20140107229A (ko
Inventor
지안핑 송
린 두
웬주안 송
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20140107229A publication Critical patent/KR20140107229A/ko
Application granted granted Critical
Publication of KR101890459B1 publication Critical patent/KR101890459B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 3차원으로 디스플레이되는 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법에 관한 것이다. 방법은 디스플레이를 사용하여 적어도 하나의 오브젝트를 디스플레이하는 단계, 이미지 캡쳐 디바이스를 사용하여 캡쳐된 사용자 선택 제스쳐를 검출하는 단계, 및 이미지 캡쳐 디바이스 출력에 기초하여, 상기 적어도 하나의 오브젝트들 중 하나의 오브젝트가 사용자의 눈 위치의, 그리고 사용자 제스쳐 및 디스플레이 사이의 거리의 함수로서 상기 사용자에 의해 선택되는지의 여부를 결정하는 단계를 포함한다.

Description

3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR RESPONDING TO USER'S SELECTION GESTURE OF OBJECT DISPLAYED IN THREE DIMENSIONS}
본 발명은 3D 시스템에서 사용자에 의한 클릭 동작에 응답하기 위한 방법 및 시스템에 관한 것이다. 더 구체적으로, 본 발명은 응답 확률의 값을 사용하여 3D 시스템에서 사용자에 의한 클릭 동작에 응답하기 위한 오류-허용(fault-tolerant) 방법 및 시스템에 관한 것이다.
1990년대 초에, 사용자는 마이크로소프트의 MS-DOS™ 운영 체제 및 UNIX의 많은 변형들 중 임의의 것과 같은, 문자 사용자 인터페이스(CUI)를 통해 대부분의 컴퓨터들과 상호작용하였다. 텍스트-기반 인터페이스들은 완전한 기능성을 제공하기 위해 종종, 직관적 내지 경험이 없는 사용자들과는 먼 암호 커맨드들 및 옵션들을 포함하였다. 키보드는, 고유하지 않은 경우, 사용자가 컴퓨터들에 대해 커맨드들을 발행하는 가장 중요한 디바이스였다.
가장 현재의 컴퓨터 시스템들은 2차원 그래픽 사용자 인터페이스들을 사용한다. 이들 그래픽 사용자 인터페이스(GUI)들은 일반적으로 윈도우들을 사용하여 정보를 관리하고 버튼들을 사용하여 사용자 입력을 입력한다. 이러한 새로운 패러다임은 마우스의 도입과 함께 사람들이 컴퓨터를 사용하는 방법을 혁신하였다. 사용자는 더 이상 비밀의 키워드들 및 명령들을 기억할 필요가 없었다.
그래픽 사용자 인터페이스들이 문자 사용자 인터페이들보다 더 직관적이고 편리하지만, 사용자는 여전히 키보드 및 마우스와 같은 디바이스들을 사용하는 것에 속박되어 있다. 터치 스크린은 사용자로 하여금 손에 쥐어질 필요가 있을 임의의 중간 디바이스를 요구하지 않고 디스플레이되는 것과 직접 상호작용하게 하는 키 디바이스이다. 그러나, 사용자는 여전히 디바이스를 터치할 필요가 있으며, 이는 사용자의 활동을 제한한다.
최근에, 지각 현실을 향상시키는 것은 차세대 디스플레이들의 혁신을 끌어내는 주요 힘들 중 하나가 되고 있다. 이들 디스플레이들은 3차원(3D) 그래픽 사용자 인터페이스들을 사용하여 더욱 직관적인 상호작용을 제공한다. 많은 개념적 3D 입력 디바이스들은, 사용자가 컴퓨터들과 편리하게 통신할 수 있도록 그에 따라 설계된다. 그러나, 3D 공간의 복잡도로 인해, 이들 3D 입력 디바이스들은 일반적으로 마우스와 같은 전통적인 2D 입력 디바이스들보다는 덜 편리하다. 또한 사용자가 여전히 일부 입력 디바이스들을 사용하는 것에 속박되어 있다는 사실은 상호작용의 속성을 크게 감소시킨다.
스피치 및 제스쳐가 사람들 사이에서 가장 공통적으로 사용되는 통신 수단이라는 점에 유의한다. 3D 사용자 인터페이스들, 예를 들어, 가상 현실 및 증강 현실의 개발로, 사용자들로 하여금 컴퓨터들과 편리하고 자연스럽게 상호작용하게 하는 스피치 및 제스쳐 인식 시스템들에 대한 실제 요구가 존재한다. 스피치 인식 시스템들이 컴퓨터들로의 이들의 방식을 발견하는 동안, 제스쳐 인식 시스템들은, 사용자가 자신의 손을 제외한 어떠한 디바이스들에도 의존하지 않을 때, 통상적인 홈 또는 비즈니스 사용자들에 대한 강건하고, 정확한 실시간 동작에서 큰 어려움에 직면한다. 2D 그래픽 사용자 인터페이스들에서, 클릭 커맨드는 가장 중요한 동작일 수 있지만, 그것은 단순한 마우스 디바이스에 의해 편리하게 실행될 수 있다. 불행히도, 사용자가 보고 있는 3D 사용자 인터페이스에 대한 손가락의 공간적 위치를 정확하게 획득하는 것이 어려우므로, 그것은 제스쳐 인식 시스템들에서 가장 어려운 동작일 수 있다.
제스쳐 인식 시스템과의 3D 사용자 인터페이스에서, 사용자가 보고 있는 버튼의 3D 위치에 대한 손가락의 공간적 위치를 정확하게 획득하는 것은 어렵다. 따라서, 전통적인 컴퓨터들에서 가장 중요한 동작일 수 있는 클릭 동작을 실행하는 것이 어렵다. 이 발명은 그 문제를 해결하는 방법 및 시스템을 제시한다.
관련 기술분야로서, GB2462709A는 복합 제스쳐 입력을 결정하기 위한 방법을 개시한다.
본 발명의 양상에 따라, 3차원으로 디스플레이되는 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법이 제공된다. 방법은 디스플레이 디바이스를 사용하여 적어도 하나의 오브젝트를 디스플레이하는 단계, 이미지 캡쳐 디바이스를 사용하여 캡쳐된 사용자 선택 제스쳐를 검출하는 단계, 및 상기 적어도 하나의 오브젝트들 중 하나의 오브젝트가 사용자의 눈 위치의, 그리고 사용자들의 제스쳐와 디스플레이 디바이스 사이의 거리의 함수로서 상기 사용자에 의해 선택되는지의 여부를 이미지 캡쳐 디바이스의 출력에 기초하여 결정하는 단계를 포함한다.
본 발명의 또다른 양상에 따라, 3차원으로 디스플레이되는 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 시스템이 제공된다. 시스템은 디스플레이 디바이스를 사용하여 적어도 하나의 오브젝트를 디스플레이하기 위한 수단, 이미지 캡쳐 디바이스를 사용하여 캡쳐된 사용자 선택 제스쳐를 검출하기 위한 수단, 및 상기 적어도 하나의 오브젝트들 중 하나의 오브젝트가 사용자의 눈 위치의 그리고 사용자의 제스쳐와 디스플레이 디바이스 사이의 거리의 함수로서 상기 사용자에 의해 선택되는지의 여부를 이미지 캡쳐 디바이스의 출력에 기초하여 결정하기 위한 수단을 포함한다.
본 발명의 이들 및 다른 양상들, 특징들 및 장점들은 첨부 도면들과 관련한 후속하는 설명으로부터 명백해질 것이다.
도 1은 본 발명에 따른 상호작용 시스템의 기본 컴퓨터 단말 실시예를 도시하는 예시적인 다이어그램이다.
도 2는 도 1의 예시적인 상호작용 시스템에서 사용되는 제스쳐들의 세트의 예를 도시하는 예시적인 다이어그램이다.
도 3은 양안시의 기하학적 모델을 도시하는 예시적인 다이어그램이다.
도 4는 2개의 카메라 이미지들 상의 장면 포인트의 원근 투시의 기하학적 표현을 도시하는 예시적인 다이어그램이다.
도 5는 스크린 좌표 체계 및 3D 실사 좌표 체계 간의 관계를 도시하는 예시적인 다이어그램이다.
도 6은 스크린 좌표 및 눈의 위치에 의해 3D 실사 좌표를 계산하는 방법을 도시하는 예시적인 다이어그램이다.
도 7은 본 발명의 실시예에 따른 3D 실사 좌표 체계에서 사용자 클릭 동작에 응답하기 위한 방법을 도시하는 흐름도이다.
도 8은 본 발명의 실시예에 따른 컴퓨터 디바이스의 예시적인 블록도이다.
후속하는 기재에서, 본 발명의 실시예의 다양한 양상들이 기술된다. 설명의 목적으로, 특정 구성들 및 상세항목들이 철저한 이해를 제공하기 위해 설명된다. 그러나, 본 발명이 본원에 제시된 특정 상세항목들 없이도 구현될 수 있다는 점이 또한 당업자에게 명백할 것이다.
이 실시예는 3D 시스템에서 사용자에 의한 클릭 제스쳐에 응답하기 위한 방법을 개시한다. 방법은 디스플레이된 버튼이 사용자의 클릭 제스쳐에 응답해야 하는 확률 값을 정의한다. 확률 값은 클릭이 트리거링될 때의 손가락들의 위치, 사용자의 눈들의 위치에 종속적인 버튼의 위치, 및 버튼의 크기에 따라 계산된다. 가장 높은 클릭 확률을 가지는 버튼은 사용자의 클릭 동작에 따라 활성화될 것이다.
도 1은 본 발명의 실시예에 따른 컴퓨터 상호작용 시스템의 기본 구성을 예시한다. 2개의 카메라들(10 및 11)은 각각 모니터(12)(예를 들어, 60인치 대각 스크린 크기의 TV)의 상부 표면의 각 측면에 위치된다. 카메라들은 PC 컴퓨터들(13)에 접속된다(이는 모니터 내에 통합될 수 있다). 사용자(14)는 한 쌍의 레드-블루 안경(15), 셔터 글래스 또는 다른 종류의 안경을 착용함으로써, 또는 모니터(12)가 자동 입체 디스플레이인 경우 어떠한 안경도 착용하지 않음으로써 모니터(12) 상에 디스플레이된 입체 컨텐츠를 시청한다.
동작 시, 사용자(14)는 카메라들(10 및 11)의 3차원 뷰 필드 내에서 제스쳐를 취함으로써 컴퓨터(13) 상에서 실행되는 하나 이상의 애플리케이션들을 제어한다. 제스쳐들은 카메라들(10 및 11)을 사용하여 캡쳐되어, 비디오 신호로 전환된다. 컴퓨터(13)는 이후 사용자(14)에 의해 이루어진 특정 손 제스쳐들을 검출 및 식별하기 위해 프로그래밍된 임의의 소프트웨어를 사용하여 비디오 신호를 프로세싱한다. 애플리케이션들은 제어 신호들에 응답하고 모니터(12) 상에 그 결과를 디스플레이한다.
시스템은 저렴한 카메라들이 구비된 표준 홈 또는 비즈니스 컴퓨터 상에서 용이하게 실행될 수 있고, 따라서, 대부분의 사용자들에 대해 다른 공지된 시스템들보다 더욱 액세스하기 쉽다. 또한, 시스템은 3D 공간 상호작용들을 요구하는 임의의 타입의 컴퓨터 애플리케이션들과 함께 사용될 수 있다. 예시적인 애플리케이션들은 3D 게임 및 3D TV를 포함한다.
도 1이 종래의 독립형 컴퓨터(13)와 함께 상호작용 시스템의 동작을 예시하지만, 시스템은 물론 랩톱들, 워크스테이션들, 태블릿들, 텔레비젼들, 셋톱 박스들 등과 같은 다른 타입들의 정보 프로세싱 디바이스들과 함께 이용될 수 있다. 본원에 사용된 바와 같은 용어 "컴퓨터"는 이들 및 다른 프로세서-기반 디바이스들을 포함하도록 의도된다.
도 2는 예시적인 실시예에서 상호작용 시스템에 의해 인지되는 제스쳐들의 세트를 도시한다. 시스템은 제스쳐를 식별하기 위해 인식 기법들(예를 들어, 손의 경계 분석에 기초한 기법들) 및 트레이싱 기법들을 이용한다. 인식된 제스쳐들은 "클릭", "문 닫기", "왼쪽으로 스크롤", "오른쪽으로 돌기" 등과 같은 애플리케이션 커맨드들에 매핑될 수 있다. 밀기, 왼쪽으로 손짓(wave), 오른쪽으로 손짓 등과 같은 제스쳐들은 인식하기 쉽다. 제스쳐 클릭은 또한 인식하기 쉽지만, 사용자가 보고 있는 3D 사용자 인터페이스에 대한 클릭 포인트의 정확한 위치는 상대적으로 인식하기 어렵다.
이론상으로, 2-카메라 시스템에서, 카메라들의 초점거리와 2개의 카메라들 사이의 거리가 주어지면, 임의의 공간 포인트의 위치는 2개의 카메라들 상의 포인트의 이미지의 위치들에 의해 획득될 수 있다. 그러나, 장면 내의 동일한 오브젝트에 대해, 사용자는, 사용자가 상이한 위치에서의 입체 컨텐츠를 보고 있는 경우, 오브젝트의 위치가 공간 내에서 상이하다고 생각할 수 있다. 도 2에서, 제스쳐들은 오른손을 사용하여 예시되지만, 우리는 대신, 왼손 또는 신체의 다른 부분을 사용할 수 있다.
도 3을 참조하면, 양안시의 기하학적 모델이 거리 포인트에 대해 스크린 면 상에 좌측 및 우측 뷰들을 사용하여 도시되어 있다. 도 3을 참조하여 도시된 바와 같이, 포인트(31 및 30)는, 각각, 좌측 뷰 및 우측 뷰에서 동일한 장면 포인트의 이미지 포인트들이다. 다시 말해, 포인트들(31 및 30)은 장면 내의 3D 포인트의 좌측 및 우측 스크린 면 상으로의 투시 포인트들이다. 사용자는 포인트(34 및 35)가 왼쪽 눈 및 오른쪽 눈인 위치에 각각 서 있을 때, 사용자는 스크린 포인트가 포인트(32)의 위치에 있다고 생각할 것이지만, 왼쪽 눈 및 오른쪽 눈은 각각 포인트(31 및 30)로부터 그것을 본다. 사용자가 포인트(36 및 37)가 각각 왼쪽 눈 및 오른쪽 눈인 또다른 위치에 서 있을 때, 사용자는 장면 포인트가 포인트(33)의 위치에 있다고 생각할 것이다. 따라서, 동일한 장면 오브젝트에 대해, 사용자는 그 공간적 위치가 자신의 위치의 변경에 따라 변경됨을 찾을 것이다. 사용자가 자신의 손을 사용하여 오브젝트를 "클릭"하려고 시도할 때, 사용자는 상이한 공간적 위치에서 클릭할 것이다. 그 결과, 제스쳐 인식 시스템은 사용자가 상이한 위치에서 클릭한다고 생각할 것이다. 컴퓨터는 사용자가 애플리케이션들의 상이한 항목들 상에서 클릭한다고 인식할 것이며 따라서, 애플리케이션들에 대한 부정확한 커맨드들을 발행할 것이다.
이슈를 해결하기 위한 일반적인 방법은 시스템이 사용자의 손이라고 생각하는 "가상의 손"을 시스템이 사용자에게 통지하도록 디스플레이하는 것이다. 명백하게, 가상의 손은 맨손 상호작용의 자연스러움을 망칠 것이다.
이슈를 해결하기 위한 또다른 일반적인 방법은 사용자가 자신의 위치를 바꿀때마다, 사용자가 제스쳐 인식 시스템에게 그 좌표 체계를 재교정하도록 요청하여 시스템이 사용자의 클릭 포인트를 인터페이스 오브젝트들에 대해 정확하게 매핑할 수 있게 해야 하는 것이다. 이것은 때때로 매우 불편하다. 많은 경우들에서, 사용자는 자신의 위치를 변경하지 않고 몸의 자세를 단지 약간 변경시키며, 더 많은 경우들에서, 사용자는 단지 자신의 손의 위치를 변경하며, 자신은 그 변경을 모른다. 이러한 경우에서, 사용자의 눈의 위치가 변경할 때마다 좌표 체계를 재교정하는 것은 비현실적이다.
추가로, 사용자가 자신의 눈의 위치를 변경하지 않더라도, 사용자는 종종, 특히 사용자가 상대적으로 작은 오브젝트들을 클릭할 때, 자신이 항상 오브젝트 위에서 정확하게 클릭할 수 없음을 발견한다. 그 이유는 공간 내의 클릭이 어렵기 때문이다. 사용자는 자신의 검지의 방향 및 속도를 정확하게 제어하는 것에 충분히 능하지 않을 수 있고, 사용자의 손이 떨릴 수 있거나, 또는 사용자의 손가락 또는 손이 오브젝트를 가릴 수 있다. 제스쳐 인식의 정확성은 또한 클릭 커맨드의 정확성에 영향을 준다. 예를 들어, 손가락은, 특히 사용자가 카메라로부터 멀리 떨어져 있을 때, 카메라 트래핑 시스템에 의해 정확하게 인식되기에는 너무 빨리 움직일 수도 있다.
따라서, 사용자의 눈의 위치의 작은 변경 및 제스쳐 인식 시스템의 부정확성이 부정확한 커맨드들을 자주 발생시키지 않도록 상호작용 시스템이 오류-허용적인 것에 대한 강한 필요성이 존재한다. 즉, 시스템이 사용자가 어떠한 오브젝트도 클릭하지 않는다고 검출할 지라도, 일부 경우들에서, 시스템이 사용자의 클릭 제스쳐에 응답하여 오브젝트의 활성화를 결정하는 것이 타당하다. 명백하게, 클릭 포인트가 오브젝트에 대해 더 가까울 수록, 오브젝트가 클릭(즉, 활성화) 제스쳐에 응답할 확률이 더 높다.
추가로, 제스쳐 인식 시스템의 정확성이 카메라까지의 사용자의 거리에 의해 크게 영향을 받는다는 점이 명백하다. 사용자가 카메라로부터 멀리 떨어져 있는 경우, 시스템은 클릭 포인트를 부정확하게 인식하는 경향이 있다. 반면, 버튼 또는 더 일반적으로, 스크린 상에서 활성화될 오브젝트의 크기가 또한 정확성에 대해 큰 영향을 가진다. 더 큰 오브젝트일수록 사용자들이 클릭하기가 더 쉽다.
따라서, 오브젝트의 응답의 정도의 결정은 카메라까지의 클릭 포인트의 거리, 오브젝트까지의 클릭 포인트의 거리, 및 오브젝트의 크기에 기초한다.
도 4는 카메라 2D 이미지 좌표 체계(430 및 431) 및 3D 실사 좌표 체계(400) 사이의 관계를 예시한다. 더 구체적으로, 3D 실사 좌표 체계(400)의 원점은 좌측 카메라 노드 포인트 A(410) 및 우측 카메라 노드 포인트 B(411) 사이의 선의 중심에서 정의된다. 왼쪽 이미지 및 오른쪽 이미지에 대한 3D 장면 포인트P(XP, YP, ZP)(460)의 원근 투시는 각각 포인트
Figure 112014052125206-pct00001
(440) 및
Figure 112014052125206-pct00002
(441)로 표기된다. 포인트 P1 및 P2의 차이는:
Figure 112014052125206-pct00003
및
Figure 112014052125206-pct00004
로서 정의된다.
실제로, 카메라는 차이들 중 하나의 값이 항상 제로인 것으로 간주되도록 하는 방식으로 배열된다. 일반성의 손실 없이, 본 발명에서, 도 1의 2개의 카메라들(10 및 11)은 수평으로 정렬된다. 따라서,
Figure 112014052125206-pct00005
이다. 카메라들(10 및 11)은 동일하며 따라소 동일한 초점거리 f(450)를 가지는 것으로 가정된다. 좌측 및 우측 이미지들 간의 거리는 2개 카메라들의 베이스라인 b(420)이다.
XZ면 및 X축 상의 3D 장면 포인트 P(XP, YP, ZP)(460)는 각각 포인트들 C(XP, 0, ZP)(461) 및 D(XP, 0, 0)(462)에 의해 표기된다. 도 4를 관측하면 포인트 P1와 P2 사이의 거리는
Figure 112014052125206-pct00006
이다. 삼각형 PAB를 관측하면,
Figure 112014052125206-pct00007
라고 결론지을 수 있다.
삼각형 PAC를 관측하면,
Figure 112014052125206-pct00008
라고 결론지을 수 있다.
삼각형 PDC를 관측하면,
Figure 112014052125206-pct00009
라고 결론지을 수 있다.
삼각형 ACD를 관측하면,
Figure 112014052125206-pct00010
라고 결론지을 수 있다.
수식 (3) 및 (4)에 따르면,
Figure 112014052125206-pct00011
이 된다.
따라서,
Figure 112014052125206-pct00012
이 된다.
수식(5) 및 (8)에 따르면,
Figure 112014052125206-pct00013
이 된다.
수식 (6) 및 (9)에 따르면,
Figure 112014052125206-pct00014
이 된다.
수식 (8), (9), 및 (10)으로부터, 장면 포인트 P의 3D 실사 좌표들(XP, YP, ZP)은 좌측 및 우측 이미지들 내의 장면 포인트의 2D 이미지 좌표들에 따라 계산될 수 있다.
카메라까지의 클릭 포인트의 거리는 3D 실사 좌표 체계에서의 클릭 포인트의 Z좌표의 값이며, 이는 좌측 및 우측 이미지들에서의 클릭 포인트의 2D 이미지 좌표에 의해 계산될 수 있다.
도 5는 스크린 시스템의 좌표 및 3D 실사 좌표 체계의 좌표를 변환하는 방법을 설명하기 위한 스크린 좌표 체계 및 3D 실사 좌표 체계 사이의 관계를 예시한다. 3D 실사 좌표 체계의 스크린 좌표 체계의 원점 Q의 좌표가 (XQ, YQ, ZQ)라고 가정한다. 스크린 포인트 P는 스크린 좌표(a, b)를 가진다. 이후, 3D 실사 좌표 체계의 포인트 P의 좌표는
Figure 112014052125206-pct00015
이다. 이후, 스크린 좌표가 주어지면, 우리는 그것을 3D 실사 좌표로 변환할 수 있다.
다음으로, 도 6은 스크린 좌표 및 눈의 위치에 의해 3D 실사 좌표를 계산하는 방법을 설명하기 위해 예시된다. 도 6에서, 모든 주어진 좌표는 3D 실사 좌표이다. 사용자의 좌측 눈 및 우측 눈의 Y 및 Z 좌표가 각각 동일하다고 가정하는 것이 타당하다. 수식(8), (9) 및 (10)에 따르면, 사용자의 왼쪽 눈 EL(XEL, YE, ZE)(510) 및 오른쪽 눈 ER(XER, YE, ZE)(511)의 좌표는 좌측 및 우측 카메라 이미지들에서 눈의 이미지 좌표에 의해 계산될 수 있다. 전술된 바와 같이, 좌측 뷰 QL(XQL, YQ, ZQ)(520) 및 우측 뷰 QR(XQR, YQ, ZQ)(521)에서의 오브젝트의 좌표는 이들의 스크린 좌표들에 의해 계산될 수 있다. 사용자는 오브젝트가 위치 P(XP, YP, ZP)(500)에 있다고 느낄 것이다.
삼각형 ABD 및 FGD를 관측하면,
Figure 112014052125206-pct00016
라고 결론지을 수 있다.
삼각형 FDE 및 FAC를 관측하면,
Figure 112014052125206-pct00017
라고 결론지을 수 있다.
수식(11) 및 (12)에 따르면,
Figure 112014052125206-pct00018
가 된다. 따라서,
Figure 112014052125206-pct00019
이 된다.
삼각형 FDE 및 FAC를 관측하면,
Figure 112014052125206-pct00020
이 된다. 따라서,
Figure 112014052125206-pct00021
가 된다.
수식(11) 및 (15)에 따르면,
Figure 112014052125206-pct00022
가 된다. 즉,
Figure 112014052125206-pct00023
이다.
따라서,
Figure 112014052125206-pct00024
가 된다.
유사하게, 사다리꼴 QRFDP 및 QRFAER를 관측하면,
Figure 112014052125206-pct00025
이 된다. 따라서,
Figure 112014052125206-pct00026
이다.
수식 (11) 및 (18)에 따르면,
Figure 112014052125206-pct00027
이 된다. 즉,
Figure 112014052125206-pct00028
이다.
따라서,
Figure 112014052125206-pct00029
이다.
수식 (13), (16) 및 (19)로부터, 오브젝트의 3D 실사 좌표는 좌측 및 우측 뷰에서의 오브젝트의 스크린 좌표 및 사용자의 좌측 및 우측 눈의 위치에 의해 계산될 수 있다.
전술된 바와 같이, 오브젝트의 응답의 정도의 결정은 카메라까지의 클릭 포인트의 거리 d, 오브젝트까지의 클릭 포인트의 거리 c, 및 오브젝트의 크기 s에 기초한다.
오브젝트 c까지의 클릭 포인트의 거리는 클릭 포인트의 좌표 및 3D 실사 좌표 체계에서의 오브젝트에 의해 계산될 수 있다. 3D 실사 좌표 체계에서의 클릭 포인트의 좌표가 좌측 및 우측 이미지들에서의 클릭 포인트의 2D 이미지에 의해 계산되는 (X1, Y1, Z1)이며, 3D 실사 좌표 체계의 좌표가, 좌측 및 우측 뷰들에서의 오브젝트의 스크린 좌표 뿐만 아니라 사용자의 좌측 및 우측 눈의 3D 실사 좌표에 의해 계산되는 (X2, Y2, Z2)라고 가정한다. 오브젝트 (X2, Y2, Z2)까지의 클릭 포인트 (X1, Y1, Z1)의 거리는 다음과 같이 계산될 수 있다:
Figure 112014052125206-pct00030
카메라까지의 클릭 포인트의 거리 d는 3D 실사 좌표에서 클릭 포인트의 Z 좌표들의 값이며, 이는 좌측 및 우측 이미지들에서의 클릭 포인트의 2D 이미지 좌표들에 의해 계산될 수 있다. 도 4에 예시된 바와 같이, 3D 실사 좌표 체계의 축 X는 단지 2개의 카메라들을 접속시키는 선이며, 원점은 선의 중심이다. 따라서, 2개 카메라 좌표 체계의 X-Y 평면은 3D 실사 좌표 체계의 X-Y 평면에 오버랩한다. 그 결과, 임의의 카메라 좌표 체계의 X-Y 평면까지의 클릭 포인트의 거리는 3D 실사 좌표 체계에서의 클릭 포인트의 Z 좌표들의 값이다. "d"의 정확한 정의가 "3D 실사 좌표 체계의 X-Y 평면까지의 클릭 포인트의 거리" 또는 "임의의 카메라 좌표 체계의 X-Y 평면까지의 클릭 포인트의 거리"라는 점에 유의해야 한다. 3D 실사 좌표 체계에서의 클릭 포인트의 좌표가 (X1, Y1, Z1)라고 가정하면, 3D 실사 좌표 체계에서의 클릭 포인트의 Z 좌표들의 값이 Z1이므로, 카메라에 대한 클릭 포인트 (X1, Y1, Z1)는 다음과 같이 계산될 수 있다:
Figure 112014052125206-pct00031
오브젝트의 3D 실사 좌표들이 계산되면, 오브젝트의 크기 s가 계산될 수 있다. 컴퓨터 그래픽에서, 경계 박스는 오브젝트를 완전히 포함하는 가장 작은 측정(넓이, 부피, 또는 더 고차원에서의 하이퍼-볼륨)을 가지는 폐쇄 박스이다. 이 발명에서, 오브젝트 크기는 오브젝트 경계 박스의 측정의 일반적 정의이다. 가장 많은 경우들에서, "s"는 오브젝트의 경계 박스의 길이, 폭 및 높이 중 가장 큰 것으로서 정의된다.
오브젝트가 사용자의 클릭 제스쳐에 응답해야 하는 응답의 확률 값은 위에서 언급된 카메라까지의 클릭 포인트의 거리 d, 오브젝트까지의 클릭 포인트의 거리 c, 및 오브젝트의 크기 s에 기반하여 정의된다. 일반적인 원리는, 클릭 포인트가 카메라로부터 더 멀수록, 또는 클릭 포인트가 오브젝트에 더 가까울수록, 또는 오브젝트가 더 작을수록, 오브젝트의 응답 확률이 더 커진다는 것이다. 클릭 포인트가 오브젝트의 부피 내에 있는 경우, 이 오브젝트의 응답 확률은 1이며, 이 오브젝트는 클릭 제스쳐에 명백하게 응답할 것이다.
응답 확률의 계산을 예시하기 위해, 카메라까지의 클릭 포인트의 거리 d에 대한 확률은 다음과 같이 계산될 수 있다:
Figure 112014052125206-pct00032
그리고 오브젝트까지의 클릭 포인트의 거리 c에 대한 확률은 다음과 같이 계산될 수 있다:
Figure 112014052125206-pct00033
오브젝트의 크기 s에 대한 확률은 다음과 같이 계산될 수 있다:
Figure 112014052125206-pct00034
최종 응답 확률은 위의 3가지 확률의 곱이다.
Figure 112014052125206-pct00035
여기서, a1, a2, a3, a4, a5, a6, a7, a8는 상수 값들이다. 다음은 a1, a2, a3, a4, a5, a6, a7, a8에 관한 실시예들이다.
파라미터들이 디스플레이 디바이스의 타입에 의존하며, 디스플레이 디바이스 타입 그 자체는 스크린과 사용자 사이의 평균 거리에 대한 영향을 가진다는 점에 유의해야 한다. 예를 들어, 디스플레이 디바이스가 TV 시스템인 경우, 스크린과 사용자 사이의 거리는 컴퓨터 시스템 또는 휴대용 게임 시스템 내에서의 거리보다 더 길어질 수 있다.
P(d)에 대해, 원리는 클릭 포인트가 카메라로부터 더 멀어질수록, 오브젝트의 응답 확률이 더 커진다는 것이다. 가장 큰 확률은 1이다. 사용자는 오브젝트가 자신의 눈 근처에 있을 때 오브젝트를 용이하게 클릭할 수 있다. 특정 오브젝트에 대해, 사용자가 카메라로부터 더 가까울수록, 오브젝트가 자신의 눈으로부터 더 가까워진다. 따라서, 사용자가 카메라에 대해 충분히 가깝지만 사용자가 오브젝트를 클릭하지 않는 경우, 사용자는 오브젝트를 클릭하기를 거의 원하지 않을 수 있다. 따라서, d가 특정 값보다 더 작고, 시스템이 사용자가 오브젝트를 클릭하지 않음을 검출할 때, 이 오브젝트의 응답 확률은 매우 작을 것이다.
예를 들어, TV 시스템에서, 시스템은 응답 확률 P(d)가 d가 1미터 이하일 때 0.1이고 d가 8미터일 때 0.99이도록 설계될 수 있다. 즉, a1=1이고,
d=1일 때,
Figure 112014052125206-pct00036
이고,
d=8일 때,
Figure 112014052125206-pct00037
이다.
이 2개의 수식들에 의해, a2 및 a3는 a2=0.9693 및 a3=0.0707로서 계산된다.
그러나, 컴퓨터 시스템에서, 사용자는 스크린에 대해 더 가까울 것이다. 따라서, 시스템은 응답 확률 P(d)가 d가 20 센티미터 이하일 때 0.1이고 d가 2미터일 때 0.99이도록 설계될 수 있다. 즉, a1=0.2이고,
d=0.2일 때,
Figure 112014052125206-pct00038
이고
d=2 일 때,
Figure 112014052125206-pct00039
이다.
이후, a2 및 a3는 a1=0.2, a2=0.1921 및 a3=0.0182로서 계산된다.
P(c)에 대해, 응답 확률은, 사용자가 오브젝트로부터 2 센티미터 떨어진 위치에서 클릭하는 경우 0.01에 가까워야 한다. 이후, 시스템은 c가 2 센티미터 또는 그 이상일 때 응답 확률 P(c)가 0.01이도록 설계될 수 있다. 즉,
Figure 112014052125206-pct00040
및
Figure 112014052125206-pct00041
이다.
이후, a5 및 a4는 a5=0.02 및 a4=230.2585로서 계산된다.
유사하게, P(s)에 대해, 시스템은, 응답 확률 P(s)이 오브젝트의 크기 s가 5센티미터 또는 그 이상일 때 0.01이도록 설계될 수 있다. 즉,
Figure 112014052125206-pct00042
이고,
Figure 112014052125206-pct00043
일 때,
Figure 112014052125206-pct00044
이 된다.
이후, a6, a7, 및 a8는 a6=0.01, a7=92.1034 및 a8=0.05로서 계산된다.
이 실시예에서, 클릭 동작이 검출될 때, 모든 오브젝트들의 응답 확률이 계산될 것이다. 가장 큰 응답 확률을 가지는 오브젝트는 사용자의 클릭 동작에 응답할 것이다.
도 7은 본 발명의 실시예에 따라 3D 실사 좌표 체계의 사용자 클릭 동작에 응답하는 방법을 도시하는 흐름도이다. 방법은 도 1, 4, 5, 및 6을 참조하여 하기에 기술된다.
단계(701)에서, 복수의 선택가능한 오브젝트들이 스크린 상에 디스플레이된다. 사용자는, 예를 들어, 도 1에 도시된 바와 같이, 안경을 가지고 또는 안경 없이 3D 실사 좌표 체계에서 선택가능한 오브젝트들 각각을 인지할 수 있다. 이후, 사용자는 사용자가 하기를 원하는 작업을 실행하기 위해 선택가능한 오브젝트들 중 하나를 클릭한다.
단계(702)에서, 사용자의 클릭 동작은 2개의 카메라들을 사용하여 캡쳐되어 스크린 상에 제공되고 비디오 신호로 전환된다. 이후, 컴퓨터(13)는 사용자의 클릭 동작을 검출하고 식별하기 위해 프로그래밍된 임의의 소프트웨어를 사용하여 비디오 신호를 프로세싱한다.
단계(703)에서, 컴퓨터(13)는 도 4에 도시된 바와 같이 사용자의 클릭 동작의 위치의 3D 좌표를 계산한다. 좌표들은 좌측 및 우측 이미지들 내의 장면 포인트의 2D 이미지 좌표들에 따라 계산된다.
단계(704)에서, 사용자의 눈 위치들의 3D 좌표는 도 4와 같이 도시된 컴퓨터(13)에 의해 계산된다. 사용자의 눈의 위치는 2개의 카메라들(10 및 11)에 의해 검출된다. 카메라(10 및 11)에 의해 생성된 비디오 신호는 사용자의 눈 위치를 캡쳐한다. 3D 좌표는 좌측 및 우측 이미지들에서 장면 포인트의 2D 이미지 좌표들에 따라 계산된다.
단계(705)에서, 컴퓨터(13)는 도 6에 도시된 바와 같은 사용자의 눈의 위치에 따라 스크린 상의 모든 선택가능한 오브젝트들의 위치들의 3D 좌표들을 계산한다.
단계(706)에서, 컴퓨터는 카메라까지의 클릭 포인트의 거리, 각각의 선택가능한 오브젝트까지의 클릭 포인트의 거리, 및 각각의 선택가능한 오브젝트의 크기를 계산한다.
단계(707)에서, 컴퓨터(13)는 카메라까지의 클릭 포인트의 거리, 각각의 선택가능한 오브젝트까지의 클릭 포인트의 거리, 및 각각의 선택가능한 오브젝트의 크기를 사용하여 각각의 선택가능한 오브젝트에 대한 클릭 동작에 응답하기 위한 확률 값을 계산한다.
단계(708)에서, 컴퓨터(13)는 가장 큰 확률 값을 가지는 오브젝트를 선택한다.
단계(709)에서, 컴퓨터(13)는 가장 큰 확률 값을 가지는 선택된 오브젝트의 클릭 동작에 응답한다. 따라서, 사용자가 자신이 정확하게 클릭하기를 원하는 오브젝트를 클릭하지 않은 경우라도, 오브젝트가 사용자의 클릭 동작에 응답할 수 있다.
도 8은 본 발명의 실시예에 따른 시스템(810)의 예시적인 블록도를 예시한다. 시스템(810)은 3D TV 세트, 컴퓨터 시스템, 태블릿, 휴대용 게임, 스마트폰 등일 수 있다. 시스템(810)은 CPU(중앙 처리 장치)(811), 이미지 캡쳐 디바이스(812), 저장소(813), 디스플레이(814) 및 사용자 입력 모듈(815)을 포함한다. RAM(랜덤 액세스 메모리)와 같은 메모리(816)는 도 8에 도시된 바와 같이 CPU(811)에 접속될 수 있다.
이미지 캡쳐 디바이스(812)는 사용자의 클릭 동작을 캡쳐하기 위한 엘리먼트이다. 이후, CPU(811)는 사용자의 클릭 동작을 검출하고 식별하기 위한 사용자의 클릭 동작의 비디오 신호를 프로세싱한다. 이미지 캡쳐 디바이스(812)는 또한 사용자의 눈을 캡쳐하고, 이후, CPU(811)는 사용자의 눈의 위치들을 계산한다.
디스플레이(814)는 텍스트, 이미지, 비디오 및 임의의 다른 컨텐츠를 시스템(810)의 사용자에게 시각적으로 제시하도록 구성된다. 디스플레이(814)는 3D 컨텐츠에 대해 조정되는 임의의 타입들을 적용할 수 있다.
저장소(813)는 CPU(811)가 이미지 캡쳐 디바이스(812)를 구동하고 동작하며 위에 설명된 바와 같은 보호들 및 계산들을 프로세싱하는 소프트웨어 프로그램들 및 데이터를 저장하도록 구성된다.
사용자 입력 모듈(815)은 문자들 또는 커맨드들을 입력하기 위한 키들 또는 버튼들을 포함하고, 또한 키들 또는 버튼들을 이용하여 문자 또는 커맨드 입력을 인식하기 위한 기능을 포함할 수 있다. 사용자 입력 모듈(815)은 시스템의 사용 애플리케이션에 따라 시스템에서 생략될 수 있다.
발명의 실시예에 따르면, 시스템은 오류-허용적이다. 사용자가 오브젝트를 정확하게 클릭하지 않더라도, 클릭 포인트가 오브젝트의 근처에 있고, 오브젝트가 매우 작고 그리고/또는 클릭 포인트가 카메라들로부터 멀리 떨어져 있는 경우, 오브젝트는 클릭에 응답할 수 있다.
본 원리들의 이들 및 다른 특징들 및 장점들은 본원의 교시들에 기초하여 당업자에 의해 용이하게 확인될 수 있다. 본 원리들의 교시들이 하드웨어, 소프트에어, 펌웨어, 특수목적 프로세서들, 또는 이들의 임의의 조합들로 구현될 수 있다는 점이 이해되어야 한다.
가장 바람직하게는, 본 원리들의 교시들이 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 유닛 상에 유형적으로 구현되는 응용 프로그램으로서 구현될 수 있다. 응용 프로그램은 임의의 적절한 아키텍쳐를 포함하는 기계에 업로드되며, 기계에 의해 실행될 수 있다. 바람직하게는, 기계는 하나 이상의 응용 프로세싱 유닛("CPU")들, 랜덤 액세스 메모리("RAM"), 및 입력/출력("I/O") 인터페이스들과 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령 코드를 포함할 수 있다. 본원에 기재된 다양한 프로세스들 및 기능들은 CPU에 의해 실행될 수 있는 마이크로명령 코드의 일부 또는 응용 프로그램의 일부, 또는 이들의 임의의 조합일 수 있다. 추가로, 다양한 다른 주변 유닛들이 추가적인 데이터 저장 유닛과 같은 컴퓨터 플랫폼에 접속될 수 있다.
첨부 도면들에 도시된 구성 시스템 컴포넌트들 및 방법들 중 일부가 소프트웨어에서 바람직하게 구현되므로, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속들이 본 원리들이 프로그래밍되는 방식에 따라 달라질 수 있다는 점이 추가로 이해되어야 한다. 본원의 교시가 주어지면, 당업자는 본 원리들의 이들 또는 유사한 구현들 또는 구성들을 참작할 수 있을 것이다.
예시적인 실시예들이 첨주 도면을 참조하여 본원에 기술되었지만, 본 원리들이 상기 정확한 실시예들에 제한되는 것이 아니며, 다양한 변경들 및 수정들이 본 원리들의 범위 또는 사상으로부터의 이탈 없이 당업자에 의해 실행될 수 있다는 점이 이해될 것이다. 모든 이러한 변경들 및 수정들은 첨부된 청구항들에서 설명된 바와 같이 본 원리들의 범위 내에 포함되도록 의도된다.

Claims (10)

  1. 3차원 내의 오브젝트로의 사용자 제스쳐에 응답하기 위한 방법으로서 - 디스플레이 디바이스 상에 적어도 하나의 오브젝트가 디스플레이되고 있음 - ,
    이미지 캡쳐 디바이스를 사용하여 캡쳐된 사용자의 손의 제스쳐를 검출하는 단계(702);
    상기 제스쳐 및 사용자의 눈의 위치들의 3D 좌표들을 계산하는 단계(703 및 704);
    상기 적어도 하나의 오브젝트의 위치들의 3D 좌표들을 상기 사용자의 눈의 위치들의 함수로서 계산하는 단계(705);
    상기 이미지 캡쳐 디바이스까지의 상기 제스쳐의 위치의 거리, 각각의 오브젝트까지의 상기 제스쳐의 위치의 거리, 및 상기 각각의 오브젝트의 크기를 계산하는 단계(706);
    상기 이미지 캡쳐 디바이스까지의 상기 제스쳐의 위치의 거리, 상기 각각의 오브젝트까지의 상기 제스쳐의 위치의 거리, 및 상기 각각의 오브젝트의 크기를 사용하여 각각의 액세스가능한 오브젝트에 대한 상기 제스쳐에 응답하기 위한 확률 값을 계산하는 단계(707);
    가장 큰 확률 값을 가지는 하나의 오브젝트를 선택하는 단계(708); 및
    상기 하나의 오브젝트의 제스쳐에 응답하는 단계(709)
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 이미지 캡쳐 디바이스는 수평으로 정렬되며 동일한 초점거리를 가지는 2개의 카메라들을 포함하는 방법.
  3. 제2항에 있어서,
    상기 3D 좌표들은 선택 제스쳐의 좌우 이미지들의 2D 좌표들, 상기 카메라들의 초점 거리, 및 상기 카메라들 간의 거리에 기반하여 계산되는 방법.
  4. 제3항에 있어서,
    상기 오브젝트의 위치들의 3D 좌표들은 사용자의 우측 및 좌측 눈의 위치들의 3D 좌표들, 및 우측 및 좌측 뷰들에서의 상기 오브젝트의 3D 좌표들에 기반하여 계산되는 방법.
  5. 3차원 내의 오브젝트로의 사용자 제스쳐에 응답하기 위한 시스템으로서 - 디스플레이 디바이스 상에 적어도 하나의 오브젝트가 디스플레이되고 있음 - ,
    이미지 캡쳐 디바이스를 사용하여 캡쳐된 사용자의 손의 제스쳐를 검출하는 단계(702);
    상기 제스쳐 및 사용자의 눈의 위치들의 3D 좌표들을 계산하는 단계(703 및 704);
    상기 적어도 하나의 오브젝트의 위치들의 3D 좌표들을 상기 사용자의 눈의 위치들의 함수로서 계산하는 단계(705);
    상기 이미지 캡쳐 디바이스까지의 상기 제스쳐의 위치의 거리, 각각의 오브젝트까지의 상기 제스쳐의 위치의 거리, 및 상기 각각의 오브젝트의 크기를 계산하는 단계(706);
    상기 이미지 캡쳐 디바이스까지의 상기 제스쳐의 위치의 거리, 상기 각각의 오브젝트까지의 상기 제스쳐의 위치의 거리, 및 상기 각각의 오브젝트의 크기를 사용하여 각각의 액세스가능한 오브젝트에 대한 상기 제스쳐에 응답하기 위한 확률 값을 계산하는 단계(707);
    가장 큰 확률 값을 가지는 하나의 오브젝트를 선택하는 단계(708); 및
    상기 하나의 오브젝트의 제스쳐에 응답하는 단계(709)
    를 구현하도록 구성된 프로세서
    를 포함하는 시스템.
  6. 제5항에 있어서,
    상기 이미지 캡쳐 디바이스는 수평으로 정렬되며 동일한 초점거리를 가지는 2개의 카메라들을 포함하는 시스템.
  7. 제6항에 있어서,
    상기 3D 좌표들은 선택 제스쳐의 좌우 이미지들의 2D 좌표들, 상기 카메라들의 초점 거리, 및 상기 카메라들 간의 거리에 기반하여 계산되는 시스템.
  8. 제7항에 있어서,
    상기 오브젝트들의 위치들의 3D 좌표들은 사용자의 우측 및 좌측 눈의 위치들의 3D 좌표들, 및 우측 및 좌측 뷰들에서의 상기 오브젝트의 3D 좌표들에 기반하여 계산되는 시스템.
  9. 삭제
  10. 삭제
KR1020147014975A 2011-12-06 2011-12-06 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템 KR101890459B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2011/083552 WO2013082760A1 (en) 2011-12-06 2011-12-06 Method and system for responding to user's selection gesture of object displayed in three dimensions

Publications (2)

Publication Number Publication Date
KR20140107229A KR20140107229A (ko) 2014-09-04
KR101890459B1 true KR101890459B1 (ko) 2018-08-21

Family

ID=48573488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147014975A KR101890459B1 (ko) 2011-12-06 2011-12-06 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템

Country Status (6)

Country Link
US (1) US20140317576A1 (ko)
EP (1) EP2788839A4 (ko)
JP (1) JP5846662B2 (ko)
KR (1) KR101890459B1 (ko)
CN (1) CN103999018B (ko)
WO (1) WO2013082760A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220078366A (ko) * 2020-12-03 2022-06-10 경일대학교산학협력단 핸드 트래킹을 이용한 재활 훈련 장치 및 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10321990B4 (de) * 2003-05-15 2005-10-13 Microcuff Gmbh Trachealbeatmungungsvorrichtung
US10152136B2 (en) * 2013-10-16 2018-12-11 Leap Motion, Inc. Velocity field interaction for free space gesture interface and control
US9740296B2 (en) 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US9804753B2 (en) 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
CN104765156B (zh) * 2015-04-22 2017-11-21 京东方科技集团股份有限公司 一种三维显示装置和三维显示方法
CN104835060B (zh) * 2015-04-29 2018-06-19 华为技术有限公司 一种虚拟产品对象的对比方法和装置
WO2017169158A1 (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
EP3451135A4 (en) 2016-04-26 2019-04-24 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
CN106873778B (zh) * 2017-01-23 2020-04-28 深圳超多维科技有限公司 一种应用的运行控制方法、装置和虚拟现实设备
CN107506038B (zh) * 2017-08-28 2020-02-25 荆门程远电子科技有限公司 一种基于移动终端的三维虚拟地球交互方法
CN109725703A (zh) * 2017-10-27 2019-05-07 中兴通讯股份有限公司 人机交互的方法、设备及计算机可存储介质
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
KR102102309B1 (ko) * 2019-03-12 2020-04-21 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치의 3차원 가상공간을 위한 객체 인식 방법
US11144194B2 (en) * 2019-09-19 2021-10-12 Lixel Inc. Interactive stereoscopic display and interactive sensing method for the same
CN113191403A (zh) * 2021-04-16 2021-07-30 上海戏剧学院 一种剧场动态海报的生成与展示系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067135A (ja) 2001-08-27 2003-03-07 Matsushita Electric Ind Co Ltd タッチパネル入力方法、並びにタッチパネル入力装置
JP2004110356A (ja) 2002-09-18 2004-04-08 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2077173C (en) * 1991-11-22 2003-04-22 Michael Chen Method and apparatus for direct manipulation of 3-d objects on computer displays
US5523775A (en) * 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
US5485565A (en) * 1993-08-04 1996-01-16 Xerox Corporation Gestural indicators for selecting graphic objects
US5894308A (en) * 1996-04-30 1999-04-13 Silicon Graphics, Inc. Interactively reducing polygon count in three-dimensional graphic objects
JPH10207620A (ja) * 1997-01-28 1998-08-07 Atr Chinou Eizo Tsushin Kenkyusho:Kk 立体インタラクション装置および立体インタラクション方法
JP3698523B2 (ja) * 1997-06-27 2005-09-21 富士通株式会社 アプリケーションプログラム起動方法，そのコンピュータプログラムを記録した記録媒体及びコンピュータシステム
US6072498A (en) * 1997-07-31 2000-06-06 Autodesk, Inc. User selectable adaptive degradation for interactive computer rendering system
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002352272A (ja) * 2001-05-29 2002-12-06 Hitachi Software Eng Co Ltd ３次元オブジェクトの生成方法および生成された３次元オブジェクトの選択制御方法並びに３次元オブジェクトのデータ構造
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4447865B2 (ja) * 2003-08-01 2010-04-07 ソニー株式会社 地図表示システム、地図データ加工装置、地図表示装置及び地図表示方法
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US7719523B2 (en) * 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US7686451B2 (en) * 2005-04-04 2010-03-30 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
US20070035563A1 (en) * 2005-08-12 2007-02-15 The Board Of Trustees Of Michigan State University Augmented reality spatial interaction and navigational system
US8972902B2 (en) 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
EP2150170B1 (en) * 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
US9171391B2 (en) * 2007-07-27 2015-10-27 Landmark Graphics Corporation Systems and methods for imaging a volume-of-interest
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
TWI489394B (zh) * 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
US8259163B2 (en) * 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8146020B2 (en) * 2008-07-24 2012-03-27 Qualcomm Incorporated Enhanced detection of circular engagement gesture
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
US8649554B2 (en) * 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
TW201104494A (en) * 2009-07-20 2011-02-01 J Touch Corp Stereoscopic image interactive system
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
US8213708B2 (en) * 2010-03-22 2012-07-03 Eastman Kodak Company Adjusting perspective for objects in stereoscopic images
EP2372512A1 (en) * 2010-03-30 2011-10-05 Harman Becker Automotive Systems GmbH Vehicle user interface unit for a vehicle electronic device
BR112012027659A2 (pt) * 2010-04-30 2016-08-16 Thomson Licensing método e aparelhagem de reconhecimento de gestos simétricos em sistema 3d
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US20120005624A1 (en) * 2010-07-02 2012-01-05 Vesely Michael A User Interface Elements for Use within a Three Dimensional Scene
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9354718B2 (en) * 2010-12-22 2016-05-31 Zspace, Inc. Tightly coupled interactive stereo display
US9285874B2 (en) * 2011-02-09 2016-03-15 Apple Inc. Gaze detection in a 3D mapping environment
US8686943B1 (en) * 2011-05-13 2014-04-01 Imimtek, Inc. Two-dimensional method and system enabling three-dimensional user interaction with a device
CA2847975A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US10503359B2 (en) * 2012-11-15 2019-12-10 Quantum Interface, Llc Selection attractive interfaces, systems and apparatuses including such interfaces, methods for making and using same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067135A (ja) 2001-08-27 2003-03-07 Matsushita Electric Ind Co Ltd タッチパネル入力方法、並びにタッチパネル入力装置
JP2004110356A (ja) 2002-09-18 2004-04-08 Hitachi Software Eng Co Ltd オブジェクトの選択制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220078366A (ko) * 2020-12-03 2022-06-10 경일대학교산학협력단 핸드 트래킹을 이용한 재활 훈련 장치 및 방법
KR102542641B1 (ko) * 2020-12-03 2023-06-14 경일대학교산학협력단 핸드 트래킹을 이용한 재활 훈련 장치 및 작동 방법

Also Published As

Publication number Publication date
EP2788839A4 (en) 2015-12-16
KR20140107229A (ko) 2014-09-04
JP2015503162A (ja) 2015-01-29
CN103999018B (zh) 2016-12-28
US20140317576A1 (en) 2014-10-23
WO2013082760A1 (en) 2013-06-13
JP5846662B2 (ja) 2016-01-20
EP2788839A1 (en) 2014-10-15
CN103999018A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
KR101890459B1 (ko) 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
US20220382379A1 (en) Touch Free User Interface
US11275480B2 (en) Dynamic interactive objects
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9378581B2 (en) Approaches for highlighting active interface elements
US9268410B2 (en) Image processing device, image processing method, and program
US9303982B1 (en) Determining object depth information using image data
US10528145B1 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
US9377866B1 (en) Depth-based position mapping
US9122346B2 (en) Methods for input-output calibration and image rendering
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
EP3088991B1 (en) Wearable device and method for enabling user interaction
EP3059664A1 (en) A method for controlling a device by gestures and a system for controlling a device by gestures
WO2021012096A1 (zh) 媒体资源推送装置、方法、电子设备及存储介质
JP5028676B2 (ja) グラフィカルユーザーインターフェースの操作／制御装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant