KR101711925B1 - 3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치 - Google Patents

3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치 Download PDF

Info

Publication number
KR101711925B1
KR101711925B1 KR1020127028344A KR20127028344A KR101711925B1 KR 101711925 B1 KR101711925 B1 KR 101711925B1 KR 1020127028344 A KR1020127028344 A KR 1020127028344A KR 20127028344 A KR20127028344 A KR 20127028344A KR 101711925 B1 KR101711925 B1 KR 101711925B1
Authority
KR
South Korea
Prior art keywords
cameras
movement
camera
trajectory
axis
Prior art date
Application number
KR1020127028344A
Other languages
English (en)
Other versions
KR20130067261A (ko
Inventor
펭 친
린 두
시난 샹구안
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130067261A publication Critical patent/KR20130067261A/ko
Application granted granted Critical
Publication of KR101711925B1 publication Critical patent/KR101711925B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

본 발명은 3D 시스템에서 푸시(PUSH) 및 풀(PULL) 제스처를 인식하는 방법 및 장치를 제공한다. 본 방법은 제스처가 제스처를 수행하는 물체로부터 카메라까지의 거리 및 2개의 카메라의 이미지 면에서 물체의 이동 궤적의 특성의 함수로서 푸시인지 또는 풀인지 여부를 결정하는 단계를 포함한다.

Description

3D 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치{METHOD AND APPARATUS OF PUSH ＆ PULL GESTURE RECOGNITION IN 3D SYSTEM}
본 발명은, 일반적으로 3차원(3D) 기술에 관한 것으로, 보다 상세하게는 3D 시스템에서 푸시 및 풀 제스처(PUSH & PULL gesture)를 인식하는 방법 및 장치에 관한 것이다.
점점 많은 3D 영화의 출현으로, 홈 사용자를 위한 3D 렌더링 장치가 점점 더 일반화되고 있다. 3D 사용자 인터페이스(UI)의 도래에 따라, 제스처 인식을 사용하는 것이 3D UI 제어를 위한 가장 직접적인 방법인 것이 분명하다. 인식되어야 할 제스처 중에서 푸시 및 풀 제스처가 일반적인 2개의 제스처이다. 풀 제스처는 사용자가 물체를 자기에게로 더 가까이 가져가는 것으로 이해될 수 있고 푸시 제스처는 사용자가 물체를 더 멀어지게 푸시하는 것으로 이해될 수 있는 것으로 인정될 수 있다.
종래의 풀 및 푸시 제스처의 인식은 사용자의 손과 카메라 사이의 거리 변화에 기초한다. 구체적으로, 카메라가 이 거리가 감소된 것을 검출하면, 제스처는 푸시 제스처인 것으로 결정되고, 이 거리가 증가되면, 이 제스처는 풀 제스처인 것으로 결정된다.
도 1은 종래 기술에서 듀얼 카메라 제스처 인식 시스템을 도시한 예시적인 도면이다.
도 1에 도시된 바와 같이, 2개의 카메라가 제스처를 인식하는데 사용된다. 이 카메라는 웹캠(webcam), Wiimote IR 카메라 또는 사용자의 손가락의 궤적(trace)을 검출할 수 있는 임의의 다른 유형의 카메라일 수 있다. 예를 들어, IR 카메라는 사용자의 손에 IR 방출기(emitter)의 궤적을 추적하는 데 사용될 수 있다. 손가락의 궤적을 검출하는 것이 또한 제스처를 인식하는데 중요한 기술이기는 하지만, 본 발명에서 논의되는 주제는 아니라는 것을 주목해야 한다. 따라서, 본 발명에서는 사용자의 손가락의 궤적이 각 카메라에 의해 용이하게 검출될 수 있는 것이라고 가정된다. 추가적으로, 이 카메라는 전체 명세서에 걸쳐 좌측 상단의 좌표 시스템에 있는 것이라고 가정된다.
도 2는 도 1의 듀얼 카메라 제스처 인식 시스템에 의한 심도(depth) 정보를 검출하는 기하학적 구조를 도시한 예시적인 도면이다. 심도라는 용어는 본 명세서에서 제스처가 인식되는 물체와 카메라의 이미지 면 사이의 거리를 말하는 것이라는 것을 주목해야 한다.
동일한 광학 파라미터를 가지는 좌측 카메라(L)와 우측 카메라(R)는 그 렌즈 축이 Oi와 OR 사이의 연결 라인에 수직으로 하여 Oi와 OR에 각각 할당된다. 점(P)은 재구성될 물체이며 이는 이 경우에 사용자의 손가락이다. 점(P)은 인식을 위한 2개의 카메라의 렌즈 내에 위치될 필요가 있다.
도 2에서 파라미터(f)는 2개의 카메라의 초점 거리이다. 도 2에서 Pi 및 Pr은 좌측 및 우측 카메라의 가상 사영면(virtual projection plane)을 각각 나타낸다. T는 2개의 카메라 사이의 거리이다. Z는 점(P)과 2개의 카메라의 연결 라인 사이의 수직 거리이다. 시스템의 작동 중에, P는 2개의 카메라의 가상 사영면에 각각 이미징된다. 2개의 카메라는 배열 정면(frontal)에 평행하므로(이미지는 행 정렬되고, 하나의 카메라의 매 픽셀 행은 다른 카메라에 있는 대응하는 행과 정확히 정렬됨), xr 및 xi는 좌측과 우측 카메라에서의 점(P)의 x축 좌표이다. 삼각법 이론에 따라, 도 2에 있는 이들 파라미터의 관계는 다음 수식으로 기술될 수 있다:
Figure 112012088487091-pct00001
상기 수식에서, d는 간단히 d = xi - xr 로 정의되는 디스패리티(disparity)이다.
그러나, 3D 사용자 인터페이스에서는 인식될 많은 다른 제스처, 예를 들어, 우측으로(RIGNT), 좌측으로(LEFT), 위쪽으로(UP), 아래쪽으로(DOWN), V자형(VICTORY), 원형(CIRCLE), 푸시(PUSH), 풀(PULL) 및 프레스(PRESS) 제스처들이 있으며, 이들은 또한 카메라에서 심도 변화를 초래할 수 있다.
따라서, 풀 및 푸시 제스처가 심도 정보에만 기초하여 결정되는 종래 기술에서는 허위 인식이 있을 수 있다.
본 발명의 일 양태에 따르면, 2개의 카메라에 의해 제스처를 인식하는 방법이 제공되며, 본 방법은 제스처가 제스처를 수행하는 물체로부터 카메라까지의 거리와, 2개의 카메라의 이미지 면에서 물체의 이동 궤적의 특성의 함수로서 푸시인지 또는 풀 제스처인지 여부를 결정하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 2개의 카메라에 의해 제스처를 인식하는 장치가 제공되며, 본 장치는 제스처가 제스처를 수행하는 물체로부터 카메라까지의 거리와, 2개의 카메라의 이미지 면에서 물체의 이동 궤적의 특성의 함수로서 푸시인지 또는 풀 제스처인지 여부를 결정하는 수단을 포함한다.
본 발명의 이들 및 다른 측면, 특징 및 이점은 첨부 도면과 연관하여 이하 상세한 설명으로부터 명백해질 것이다.
도 1은 종래 기술에서 듀얼 카메라 제스처 인식 시스템을 도시한 예시적인 도면;
도 2는 도 1의 듀얼 카메라 제스처 인식 시스템에 의해 심도 정보를 검출하는 기하학적 구조를 도시한 예시적인 도면;
도 3은 푸시 제스처에 대해 좌측 및 우측 카메라에서의 손가락의 궤적을 도시한 예시적인 도면;
도 4는 풀 제스처에 대해 좌측과 우측 카메라에서의 손가락의 궤적을 도시한 예시적인 도면;
도 5 내지 도 8은 좌측으로, 우측으로, 위쪽으로, 아래쪽으로의 제스처에 대해 좌측 및 우측 카메라에서의 손가락의 궤적을 각각 도시한 예시적인 도면;
도 9는 본 발명의 실시예에 따라 제스처를 인식하는 방법을 도시한 흐름도;
도 10은 스테레오 카메라의 상이한 배열에서 스테레오 뷰 범위를 도시한 예시적인 도면;
도 11은 α 각도로 배치된 스테레오 카메라에 대해 임계 라인(critical line) 추정 방법을 도시한예시적인 도면;
도 12는 논리적인 좌측과 우측 카메라를 결정하기 위한 방법의 흐름도.
다음 설명에서, 본 발명의 실시예의 다양한 측면들이 설명된다. 설명을 위해 특정 구성과 상세사항이 철저한 이해를 제공하기 위하여 제시된다. 그러나, 이 기술 분야에 통상의 지식을 가진 자라면 본 발명이 여기에 제시된 이 특정 상세사항 없이 실시될 수 있다는 것을 또한 명백히 알 수 있을 것이다.
종래 기술의 상기 단점을 고려하여, 본 발명의 실시예는 2개의 카메라의 심도 방향에 수직한 면에서 이미징되는 이동 궤적과 심도 변화의 함수로서 푸시 및 풀 제스처를 인식하는 3D 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치를 제공한다.
첫째, 복수의 제스처에 대해 좌측 및 우측 카메라에서의 손가락의 궤적에 대한 본 발명자의 연구결과가 도 3 내지 도 8을 참조하여 설명된다.
도 3 내지 도 8에서, 수평 및 수직 라인은 하나의 제스처의 중간 지점의 베이스로서의 좌표축이며, 화살표 라인은 대응하는 카메라의 이동 방향을 나타낸다. 도 3 내지 도 8에서 좌표 원점은 좌측 상단 코너에 있다. X-축 좌표는 우측 방향으로 증가하고 Y-축 좌표는 아래쪽으로 증가한다. Z-축 좌표는 X-축과 Y-축에 의해 한정된 평면에 수직하며 도 3 내지 도 8에는 도시되어 있지 않다.
도 3은 푸시 제스처에 대한 좌측 및 우측 카메라에서서 손가락의 궤적을 도시한 예시적인 도면이다. 도 3에 도시된 바와 같이 푸시 제스처에 대해, 심도 변화(감소) 이외에, 좌측 및 우측 카메라에서서 손가락의 궤적은 서로를 향해 이동한다.
도 4는 풀 제스처에 대한 좌측 및 우측 카메라에서의 손가락의 궤적을 도시한 예시적인 도면이다. 도 4에 도시된 바와 같이 풀 제스처에 대해, 심도 변화(증가) 이외에, 좌측 및 우측 카메라에서서 손가락의 궤적은 서로 멀어지게 이동한다.
도 5 내지 도 8은 좌측으로(LEFT), 우측으로(RIGHT), 위쪽으로(UP) 및 아래쪽으로(DOWN)의 제스처에 대해 좌측 및 우측 카메라에서서 손가락의 궤적을 각각 도시한 예시적인 도면이다. 이들 도면에 도시된 바와 같이, 좌측으로, 우측으로, 위쪽으로 및 아래쪽으로의 제스처에 대해, 좌측 및 우측 카메라에서의 손가락의 궤적은 이들이 심도 변화를 또한 생성할 수는 있지만 동일한 방향으로 이동한다.
따라서 심도 변화 이외에 좌측 및 우측 카메라에서 푸시 및 풀 제스처에 대해 X-축에서 손가락의 궤적의 이동 방향은 위쪽으로, 아래쪽으로, 우측으로, 좌측으로 제스처의 것과 매우 상이하다는 것을 볼 수 있다.
또한, 좌측 및 우측 카메라에서 X-축과 Y-축에서 손가락의 궤적의 이동 비율이 또한 전술된 푸시, 풀 제스처 및 다른 제스처 사이에서 상이하다.
좌측으로, 우측으로, 위쪽으로 및 아래쪽으로의 제스처가 또한 Z축으로 변화를 생성할 수 있으므로, 푸시 및 풀 제스처의 인식이 심도 변화에만 기초하는 경우, 즉 이 경우에 ΔZ(종단점의 z 마이너스(-) 시작점의 z)에만 기초하는 경우, 좌측으로, 우측으로, 위쪽으로 및 아래쪽으로의 제스처가 또한 푸시 또는 풀 제스처로 인식될 수 있다.
상기를 고려하여, 본 발명의 실시예에서는 좌측 및 우측 카메라에서의 x축에서 손가락의 궤적의 이동 방향과 ΔZ에 기초하여 푸시 및 풀 제스처를 인식할 것을 제안한다.
나아가, X 및 Y축의 스케일이 제스처 인식을 위해 더 고려될 수 있다.
이하의 표는 상기 파라미터에 기초한 제스처 인식 기준을 나타낸다.
Figure 112012088487091-pct00002
상기 표에서,
Figure 112012088487091-pct00003
이다. TH_Z는 ΔZ에 대한 임계값 세트이다.
상기 표에서 화살표 라인은 매 제스처에 대한 X-축의 이동 방향을 의미한다. 좌측으로/우측으로의 제스처에 대해 x축 이동은 2개의 카메라에서 동일한 방향을 가지고 있고 스케일(x/y)이 좌측으로/우측으로의 제스처에 대해 매우 클 수 있으므로, x축 이동 방향과 스케일(x/y)은 좌측으로/우측으로의 제스처로부터 푸시/풀 제스처를 구별하는 데 사용될 수 있다는 것을 알 수 있다. 스케일(x/y)이 위쪽으로/아래쪽으로의 제스처에 대해 매우 작을 수 있으므로, 스케일(x/y)은 위쪽으로/아래쪽으로의 제스처로부터 푸시/풀 제스처를 구별하는 데 사용될 수 있다.
도 9는 본 발명의 실시예에 따라 제스처를 인식하는 방법을 도시한 흐름도이다.
도 9에 도시된 바와 같이, 제스처 시작 시간으로부터 제스처 중지 시간까지 좌측과 우측 카메라로 캡처된 데이터는 ArrayL과 ArrayR에 각각 저장된다.
좌측과 우측 카메라의 개념은 논리적 관점에서 본 것이라는 것을 주지해야 한다. 즉, 이들은 모두 논리적 카메라이다. 예를 들어, 좌측 카메라는 스크린의 좌측 위치에 설정된 카메라가 아니다. 따라서, 이하 단계에서, 인식 시스템이 카메라의 스위치를 검출하는 경우, ArrayL 및 ArrayR이 스위칭된다.
이하 단계에서, 제스처는 전술된 표에 기술된 바와 같이, 심도 변화, 좌측과 우측 카메라에 대해 X-축에서 손가락의 궤적의 이동 방향, 및 스케일(x/y)에 기초하여 인식된다.
도 9에 도시된 바와 같이, 풀과 푸시 제스처는 더 높은 우선 순위를 가지고 있다. 좌측으로, 우측으로, 위쪽으로 및 아래쪽으로의 제스처는 두 번째 우선 순위를 가지고 있다. 원형(CIRCLE)과 V자형 제스처는 세 번째 우선 순위를 가지고 있고, 프레스(PRESS) 제스처와 비동작(nonaction)은 가장 낮은 우선 순위를 가지고 있다. 이러한 우선 순위 랭킹의 장점은 풀과 푸시 제스처의 인식 속도를 개선시키고 일부 사용자의 오용을 필터링할 수 있다.
설정 스테레오 카메라가 정면에 평행하게 설정된 경우, 심도 뷰 범위는 일부 사용 시나리오에서 작을 수 있다. 따라서, 일부 경우에 스테레오 카메라는 특정 각도로 배치될 수 있다.
도 10은 스테레오 카메라의 상이한 배열에서의 스테레오 뷰 범위를 도시한 예시적인 도면이다. 도 10(a)는 스테레오 카메라가 정면에 평행하게 설정된 것을 도시한다. 도 10(b)는 스테레오 카메라가 α 각도를 가지는 것을 도시한다.
실제 이미지 면은 렌즈 수렴 면이며, 그래서 실제 이미지 면은 렌즈 뒤에 있어야 한다. 정확성을 보장한다는 전제 하에서, 이해의 편의를 위해, 카메라 앞에 이미지 면을 도시하고 렌즈를 하나의 점으로 작성하도록 하겠다.
도 10(b)에 의해 도시된 바와 같이 스테레오 카메라가 α 각도로 배치되어 있으면, 2개의 카메라의 광축의 교점(점 C)을 통해 수평 라인과 평행한 하나의 임계 라인이 있게 된다. 사실, 사용자는 점 C의 위치, 즉 2개의 카메라의 주된 광축의 교점의 위치를 대략적으로 추정할 수 있고, 이 시간에 2개의 주된 광축 사이의 각도는 2α이다. 광점이 이 임계 라인 위에 있으면(예를 들어, 점 A), 좌측 카메라에서의 X-축 값은 우측 카메라보다 더 클 수 있다. 광점이 이 임계 라인 아래에 있다면(예를 들어, 점 B), 좌측 카메라에서의 X-축 값은 우측 카메라보다 더 작을 수 있다. 다시 말해, 하나의 광점이 스테레오 카메라로부터 멀어지게 이동하는 경우, 디스패리티값(좌측 카메라의 x축 좌표 마이너스(-) 우측 카메라의 X축 좌표 값의 값)은 양의 값으로부터 0으로 감소한 후 음의 값으로 가는 경향을 가지고 있다.
도 11은 α 각도로 배치된 스테레오 카메라에 대해 임계 라인의 추정 방법을 도시한 예시적인 도면이다.
수평 라인에 대해 이미지 면(또는 카메라)이 상기 도면에서 삼각형에 따라 α의 각도로 편향된다면, 임계 라인과 카메라 사이에 거리(Z)는 다음 수식, 즉, Z = tan(α) * T라는 것을 알 수 있다.
α 각도로 배치된 스테레오 카메라의 임계 라인이 추정된 후에, 논리적 좌측 또는 우측 카메라가 검출될 수 있다. 도 12는 논리적 좌측과 우측 카메라를 결정하기 위한 방법의 흐름도이다.
도 12에 도시된 바와 같이, 인식 시스템이 시작될 때, 2개의 스테레오 카메라의 각도에 기초하여 사용자 앞에 2개의 점(우측 상단과 좌측 하단)을 갖는 교정 면(calibrate plane)이 렌더링될 수 있다.
다음에, 시스템은 이 면이 임계 라인 앞에 있는지 여부를 결정한다.
이 면이 임계 라인 앞에 있다면, 논리적 카메라는 사용자가 2개의 점을 클릭한 후 2개의 카메라에서의 X-축 좌표의 값에 기초하여 검출될 수 있다. 구체적으로, LX > RX인 경우, 2개의 논리 카메라를 교환할 필요가 없다. 그렇지 않으면, 2개의 논리 카메라는 교환될 필요가 있다.
이 면이 임계 라인 앞에 없는 경우에는, 사용자가 2개의 점을 클릭한 후, 논리 카메라는 2개의 카메라에서의 X-축 좌표의 값에 기초하여 검출될 수 있다. 구체적으로, LX > RX인 경우, 2개의 논리 카메라를 교환할 필요가 있다. 그렇지 않으면, 2개의 논리 카메라는 교환될 필요가 없다.
본 발명이 속한 기술 분야에서 통상의 지식을 가진 자라면 스테레오 카메라가 정면에 병렬 배치를 하고 있다면, 교정 면이 무한대 위치에 있을 수 있다는 것을 이해할 수 있을 것이다. 따라서, 카메라를 교환할지 여부를 판단하기 위해서는 단지 LX와 RX를 비교할 필요만 있다. 정면 병렬 배치를 하고 있으므로, 논리적 좌측과 우측 카메라에 대한 LX 및 RX는 예를 들어 LX > RX인 고정된 관계를 가질 수 있다. LX > RX를 검출하는 경우, 카메라는 교환되지 않고, LX < RX를 검출한 경우에는, 카메라가 교환되는데, 다시 말해, 우측 위치에 논리 좌측 카메라가 있고 좌측 위치에 논리 우측 카메라가 있게 된다.
예시적인 실시예에 수많은 변경이 이루어질 수 있으며 첨부된 청구범위에 의해 한정된 본 발명의 사상 및 범위를 벗어남이 없이 다른 배열이 고안될 수 있다는 것이 이해되어져야 할 것이다.

Claims (8)

  1. 2개의 카메라에 의해 제스처를 인식하는 방법으로서, 상기 2개의 카메라 각각을 통해 물체의 일련의 이미지를 캡쳐하는 단계와 각각의 카메라에 의해 순차적으로 캡쳐된 상기 이미지를 처리하여 카메라의 이미지 면에서 상기 물체의 이동 궤적을 검출하는 단계를 포함하고, 상기 이미지 면은 상기 2개의 카메라의 심도 방향에 수직인, 방법에 있어서,
    상기 방법은, 상기 2개의 카메라에 의해 캡쳐된 상기 물체의 이미지의 심도 변화 및 상기 2개의 카메라 각각에 의해 검출된 상기 물체의 상기 이동 궤적의 특성의 함수로서 상기 물체가 상기 2개의 카메라를 연결하는 직선에 더 가까워지게 이동하는지 또는 상기 직선으로부터 더 멀어지게 이동하는지 여부를 결정하는 단계를 포함하고,
    카메라에 의해 검출된 이동 궤적의 특성은, 카메라의 이미지 면을 한정하는 2개의 축(X, Y) 중 하나의 방향에서의 이동 궤적의 이동 방향, 또는 카메라의 이미지 면의 상기 2개의 축(X, Y)에서의 이동 궤적의 좌표 비율을 포함하며,
    상기 이동 궤적의 특성이, 상기 이미지 면의 하나의 축에서의 상기 이동 궤적의 이동 방향이면, 상기 심도 변화의 감소가 임계값보다 더 크고, 동일한 좌표 시스템에 의해 한정된 2개의 카메라에서 하나의 카메라의 하나의 축에서의 상기 물체의 이동 궤적의 이동 방향이 다른 카메라의 동일한 축에서의 상기 물체의 이동 궤적의 이동 방향과 상이하다는 것에 의해 상기 물체는 상기 2개의 카메라를 연결하는 상기 직선에 더 가까워지게 이동하는 것으로 결정되는 것인 방법.
  2. 제1항에 있어서, 상기 2개의 카메라에서의 이동 궤적은 상기 축에서 서로를 향해 이동하는 것인 방법.
  3. 2개의 카메라에 의해 제스처를 인식하는 방법으로서, 상기 2개의 카메라 각각을 통해 물체의 일련의 이미지를 캡쳐하는 단계와 각각의 카메라에 의해 순차적으로 캡쳐된 상기 이미지를 처리하여 카메라의 이미지 면에서 상기 물체의 이동 궤적을 검출하는 단계를 포함하고, 상기 이미지 면은 상기 2개의 카메라의 심도 방향에 수직인, 방법에 있어서,
    상기 방법은, 상기 2개의 카메라에 의해 캡쳐된 상기 물체의 이미지의 심도 변화 및 상기 2개의 카메라 각각에 의해 검출된 상기 물체의 상기 이동 궤적의 특성의 함수로서 상기 물체가 상기 2개의 카메라를 연결하는 직선에 더 가까워지게 이동하는지 또는 상기 직선으로부터 더 멀어지게 이동하는지 여부를 결정하는 단계를 포함하고,
    카메라에 의해 검출된 이동 궤적의 특성은, 카메라의 이미지 면을 한정하는 2개의 축(X, Y) 중 하나의 방향에서의 이동 궤적의 이동 방향, 또는 카메라의 이미지 면의 상기 2개의 축(X, Y)에서의 이동 궤적의 좌표 비율을 포함하며,
    상기 이동 궤적의 특성이, 상기 이미지 면의 하나의 축에서의 상기 이동 궤적의 이동 방향이면, 상기 심도 변화의 증가가 임계값보다 더 크고, 동일한 좌표 시스템에 의해 한정된 2개의 카메라에서 하나의 카메라의 하나의 축에서의 상기 물체의 이동 궤적의 이동 방향이 또 다른 카메라의 동일한 축에서의 상기 물체의 이동 궤적의 이동 방향과 상이하다는 것에 의해 상기 물체는 상기 2개의 카메라를 연결하는 상기 직선으로부터 더 멀어지게 이동하는 것으로 결정되는 것인 방법.
  4. 제3항에 있어서, 상기 2개의 카메라에서의 이동 궤적은 상기 하나의 축에서 서로 멀어지게 이동하는 것인 방법.
  5. 장치로서,
    2개의 카메라에 의해 캡쳐된 물체의 이미지의 심도 변화 및 상기 2개의 카메라의 이미지 면에서 상기 물체의 이미지의 이동 궤적의 특성의 함수로서 상기 물체가 상기 2개의 카메라의 연결 라인에 가까이 있는지 또는 상기 연결 라인으로부터 멀리 있는지 여부를 결정하는 수단을 포함하고,
    상기 이동 궤적의 특성이, 상기 이미지 면의 하나의 축에서의 상기 이동 궤적의 이동 방향이면, 상기 심도 변화의 감소가 임계값보다 더 크고, 동일한 좌표 시스템에 의해 한정된 2개의 카메라에서 하나의 카메라의 하나의 축에서의 상기 물체의 이동 궤적의 이동 방향이 다른 카메라의 동일한 축에서의 상기 물체의 이동 궤적의 이동 방향과 상이하다는 것에 의해 상기 물체는 상기 2개의 카메라를 연결하는 상기 연결 라인에 더 가까워지게 이동하는 것으로 결정되거나,
    상기 이동 궤적의 특성이, 상기 이미지 면의 하나의 축에서의 상기 이동 궤적의 이동 방향이면, 상기 심도 변화의 증가가 임계값보다 더 크고, 동일한 좌표 시스템에 의해 한정된 2개의 카메라에서 하나의 카메라의 하나의 축에서의 상기 물체의 이동 궤적의 이동 방향이 또 다른 카메라의 동일한 축에서의 상기 물체의 이동 궤적의 이동 방향과 상이하다는 것에 의해 상기 물체는 상기 2개의 카메라를 연결하는 상기 연결 라인으로부터 더 멀어지게 이동하는 것으로 결정되는 것인 장치.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020127028344A 2010-04-30 2010-04-30 3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치 KR101711925B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/000602 WO2011134112A1 (en) 2010-04-30 2010-04-30 Method and apparatus of push & pull gesture recognition in 3d system

Publications (2)

Publication Number Publication Date
KR20130067261A KR20130067261A (ko) 2013-06-21
KR101711925B1 true KR101711925B1 (ko) 2017-03-03

Family

ID=44860734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127028344A KR101711925B1 (ko) 2010-04-30 2010-04-30 3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치

Country Status (7)

Country Link
US (1) US20130044916A1 (ko)
EP (1) EP2564350A4 (ko)
JP (1) JP5485470B2 (ko)
KR (1) KR101711925B1 (ko)
CN (1) CN102870122A (ko)
BR (1) BR112012027659A2 (ko)
WO (1) WO2011134112A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
CN103999018B (zh) * 2011-12-06 2016-12-28 汤姆逊许可公司 响应三维显示对象的用户选择姿势的方法和系统
US9519351B2 (en) 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US9996160B2 (en) 2014-02-18 2018-06-12 Sony Corporation Method and apparatus for gesture detection and display control

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20080273751A1 (en) * 2006-10-16 2008-11-06 Chang Yuan Detection and Tracking of Moving Objects from a Moving Platform in Presence of Strong Parallax

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US6944315B1 (en) * 2000-10-31 2005-09-13 Intel Corporation Method and apparatus for performing scale-invariant gesture recognition
JP2004187125A (ja) * 2002-12-05 2004-07-02 Sumitomo Osaka Cement Co Ltd 監視装置および監視方法
JP4238042B2 (ja) * 2003-02-07 2009-03-11 住友大阪セメント株式会社 監視装置および監視方法
US7308112B2 (en) * 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
KR20090079019A (ko) * 2008-01-16 2009-07-21 엘지이노텍 주식회사 스테레오 카메라를 이용한 마우스 시스템 및 그 제어 방법
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20080273751A1 (en) * 2006-10-16 2008-11-06 Chang Yuan Detection and Tracking of Moving Objects from a Moving Platform in Presence of Strong Parallax

Also Published As

Publication number Publication date
KR20130067261A (ko) 2013-06-21
BR112012027659A2 (pt) 2016-08-16
US20130044916A1 (en) 2013-02-21
EP2564350A1 (en) 2013-03-06
EP2564350A4 (en) 2016-03-16
CN102870122A (zh) 2013-01-09
JP5485470B2 (ja) 2014-05-07
WO2011134112A1 (en) 2011-11-03
JP2013525909A (ja) 2013-06-20

Similar Documents

Publication Publication Date Title
US9690388B2 (en) Identification of a gesture
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8648808B2 (en) Three-dimensional human-computer interaction system that supports mouse operations through the motion of a finger and an operation method thereof
US9535538B2 (en) System, information processing apparatus, and information processing method
KR102012254B1 (ko) 이동 단말기를 이용한 사용자 응시점 추적 방법 및 그 장치
CN107741782B (zh) 一种设备虚拟漫游方法和装置
TWI489326B (zh) 操作區的決定方法與系統
JP6988704B2 (ja) センサ制御装置、物体探索システム、物体探索方法及びプログラム
CN103677240A (zh) 虚拟触摸交互方法和虚拟触摸交互设备
KR101711925B1 (ko) 3d 시스템에서 푸시 및 풀 제스처를 인식하는 방법 및 장치
JP2012238293A (ja) 入力装置
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
KR101501487B1 (ko) 깊이 영상 기반 머리 검출방법 및 장치
CN107797648B (zh) 虚拟触摸系统和图像识别定位方法、计算机可读存储介质
CN103699212A (zh) 互动系统及移动检测方法
TWI499938B (zh) 觸控系統
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
CN110213407B (zh) 一种电子装置的操作方法、电子装置和计算机存储介质
US9251408B2 (en) Gesture recognition module and gesture recognition method
WO2018076609A1 (zh) 一种操作终端的方法和终端
JP2011180690A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
KR100962511B1 (ko) 전자펜 마우스 및 그 동작 방법
US20140375777A1 (en) Three-dimensional interactive system and interactive sensing method thereof
JP6246775B2 (ja) ボンディングワイヤの検出装置及びボンディングワイヤの検出方法
TWI475447B (zh) 光學觸控系統及其觸控點計算方法

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant