KR101606628B1 - 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체 - Google Patents

포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체 Download PDF

Info

Publication number
KR101606628B1
KR101606628B1 KR1020140024309A KR20140024309A KR101606628B1 KR 101606628 B1 KR101606628 B1 KR 101606628B1 KR 1020140024309 A KR1020140024309 A KR 1020140024309A KR 20140024309 A KR20140024309 A KR 20140024309A KR 101606628 B1 KR101606628 B1 KR 101606628B1
Authority
KR
South Korea
Prior art keywords
pointing direction
hand
image
elbow
display screen
Prior art date
Application number
KR1020140024309A
Other languages
English (en)
Other versions
KR20150028181A (ko
Inventor
린 치에-유
첸 이-웬
Original Assignee
유테크존 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유테크존 컴퍼니 리미티드 filed Critical 유테크존 컴퍼니 리미티드
Publication of KR20150028181A publication Critical patent/KR20150028181A/ko
Application granted granted Critical
Publication of KR101606628B1 publication Critical patent/KR101606628B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 세계 좌표계로 사용자의 골격 데이터를 획득하도록 사용자의 화상을 캡처하기 위한 화상 캡처 유닛과, 상기 화상 캡처 유닛과 접속된 처리 유닛을 포함하여 구성되는, 포인팅 방향 검출 장치를 제공한다. 처리 유닛은 화상 분석 모듈 및 포인팅 방향 분석 모듈을 포함하여 구성된다. 화상 분석 모듈은 화상 캡처 유닛으로부터 골격 데이터를 획득하고, 손 말단 영역 및 팔꿈치 또는 어깨 영역을 각각 획득하도록 골격 데이터의 상지골 화상을 캡처한다. 포인팅 방향 분석 모듈은, 포인팅 방향 벡터의 연장과 목표 평면의 교차점을 계산하기 위해서, 손-말단 위치 및 팔꿈치 또는 어깨 위치로부터 포인팅 방향 벡터를 획득하도록, 손-말단 위치 및 팔꿈치 또는 어깨 위치를 계산을 통해 식별하도록 화상 분석 모듈로부터 손-말단 영역 및 팔꿈치 또는 어깨 영역을 획득한다.

Description

포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체{POINTING-DIRECTION DETECTING DEVICE AND ITS METHOD, PROGRAM AND COMPUTER READABLE-MEDIUM}
본 발명은 포인팅 방향을 검출하기 위한 장치에 관한 것이다. 특히, 본 발명은 디스플레이 스크린 상의 그 투영 점을 식별하기 위해서, 사용자의 손 말단과 팔꿈치 또는 어깨 사이의 벡터를 분석하기 위한 포인팅 방향 검출 장치에 관한 것이다.
화상 처리 기술이 발전함에 따라, 전통적인 단조로운 동작 인터페이스에 더해서, 인간과 컴퓨터 간의 상호 작용은 새로운 다양성을 받아들이고 있다. 최근, 화상 조작 기술은 비디오 게임, 프레젠테이션 시스템, 광고 등에 널리 적용되고 있다. 이 발전은 새로운 수준의 사용자 경험을 하게 할 뿐만 아니라 다가오는 미래를 위한 본 기술 분야의 큰 잠재력을 나타내게 한다. 그런데, 방향성 광을 갖는 마우스 또는 추적된 운동을 기록하는 데이터 글러브와 같은-가장 최근의 화상 조작 방법은, 여전히 손에서의 입력 장치를 요구하고, 몸의 운동을 컴퓨터/기계 장치에 직접 전달할 수 없으며, 그러므로 충분히 편리하지 않게 된다.
상기 문제점을 해결하기 위해서, 본 발명의 출원인은, 전에 포인팅 방향 화상 조작 기술을 제안하였고, 이 기술의 특허 출원이 대만(Taiwan) 특허 공개 번호 제201337639호로서 공개되었다. TW 제201337639호에 개시된 포인팅 방향 화상 조작 장치는, 사용자의 화상을 캡처하는 화상 캡처 유닛과, 사용자의 손가락, 손바닥, 팔꿈치 및 팔을 발견하기 위해서 사용자 화상을 분석하는 포인팅 방향 처리 유닛을 포함하여 구성된다. 장치는, 가상 포인팅 방향성 벡터와 디스플레이 스크린의 교차점을 식별하기 위해서, 사용자의 손가락과 사용자의 손바닥, 팔꿈치 및 팔로 이루어지는 그룹 간의 화상 데이터의 접속을 통해서 가상 포인팅 방향성 벡터를 생성할 수 있다. 따라서, 사용자의 손의 화상을 분석함으로써, 종래 기술은 목표 위치를 검출할 수 있고, 사용자가 손에 소정의 입력 장치를 갖도록 요구하지 않고, 사용자가 포인팅하게 된다.
그런데, 사용자가 다수의 손가락을 동시에 뻗고, 이들 각각이 다른 방향을 향해 포인팅하면, 종래 기술은 의도된 방향을 정확하게 식별하는 데 실패하게 된다. 더욱이, 카메라가 사용자로부터 너무 멀면, 사용자의 손가락의 화상은 화상 내의 손의 다른 부분과 겹칠 수 있어 인식하기 어렵게 되므로, 투영 라인은 의도된 방향을 정확하게 반영할 수 없게 된다. 이들 문제점들 때문에, 종래 기술을 개선할 필요가 있다.
TW 제201337639호
사용자의 손가락 화상을 캡처할 때, 사용자가 하나 이상의 손가락을 뻗을 수 있거나 손가락의 화상이 다른 부분과 겹칠 수 있어, 포인팅 방향이 인식하기 어렵게 되는 문제점이 본 발명에서 해결된다.
상기 언급된 문제점을 해결하기 위해서 본 발명의 한 측면은, 세계 좌표계로 사용자의 골격 데이터를 획득하도록 사용자의 화상을 캡처하기 위한 화상 캡처 유닛과, 화상 분석 모듈 및 포인팅 방향 분석 모듈을 포함하여 구성되는 처리 유닛을 포함하여 구성되는 포인팅 방향 검출 장치를 제공하는데, 화상 분석 모듈은 화상 캡처 유닛으로부터 골격 데이터를 획득하고, 손 말단 영역 및 팔꿈치 또는 어깨 영역을 각각 획득하도록 골격 데이터의 상지골 화상을 캡처하며, 포인팅 방향 분석 모듈은, 포인팅 방향 벡터의 연장과 목표 평면의 교차점을 계산하기 위해서, 손-말단 위치 및 팔꿈치 또는 어깨 위치를 계산하고 손-말단 위치 및 팔꿈치 또는 어깨 위치로부터 포인팅 방향 벡터를 획득하도록 화상 분석 모듈로부터 손-말단 영역 및 팔꿈치 또는 어깨 영역을 획득하고, 교차점은 사용자의 손이 향해서 포인팅하는 사용자의 포인팅 방향이다.
바람직하게는, 화상 캡처 유닛은 액티브 뎁스 카메라 및 스테레오 카메라로 이루어지는 그룹으로부터 선택된 적어도 하나이다.
바람직하게는, 손-말단 영역은 사용자의 손목 및 손바닥으로 이루어지는 그룹으로부터 선택된 적어도 하나이다.
본 발명의 또 다른 측면은, a) 화상 캡처 유닛을 통해 세계 좌표계로 사용자의 골격 데이터의 추적을 획득 및 유지하는 단계와, b) 손-말단 위치 및 팔꿈치 또는 어깨 위치 각각을 획득하도록 사용자의 상지골 화상을 캡처하는 단계와, c) 팔꿈치 또는 어깨 위치로부터 손-말단 위치로의 포인팅 방향 벡터를 계산하는 단계와, d) 포인팅 방향을 획득하기 위해서 목표 평면과 포인팅 방향 벡터의 연장 간의 교차점을 계산하는 단계를 포함하여 구성되는 포인팅 방향 검출 방법을 제공한다.
바람직하게는, 단계 b의 손-말단 위치는, 다음 단계인: 손-말단 영역 인근의 복수의 유효 깊이 파라미터를 조사하는 단계와, 손-말단 위치를 획득하고 추적을 유지하도록 유효 깊이 파라미터를 평균하는 단계에 의해 획득된다.
바람직하게는, 단계 b의 팔꿈치 위치는, 다음 단계인: 손-말단 영역에 접속된 팔꿈치 영역 인근의 복수의 유효 깊이 파라미터를 조사하는 단계와, 팔꿈치 위치를 획득하도록 유효 깊이 파라미터를 평균하는 단계에 의해 획득된다.
바람직하게는, 단계 b의 어깨 위치는, 다음 단계인: 손-말단 영역에 접속된 어깨 영역 인근의 복수의 유효 깊이 파라미터를 조사하는 단계와, 어깨 위치를 획득하기 위해서 유효 깊이 파라미터를 평균하는 단계에 의해 획득된다.
바람직하게는, 본 방법은, 단계 d 이후의 단계 d1인: d1) 포인팅 방향이 디스플레이 상에 투영되는지를 결정하는 단계로서: yes이면, 목표 객체가 포인팅 방향으로 이동하도록 포인팅 방향을 리턴시키는, 단계를 더 포함하여 구성된다.
바람직하게는, 본 방법은, 단계 a 이전의 단계 a0 및 a1인: a0) 진입하는 적어도 한 사람이 있는지를 계속해서 검출하는 단계로서: yes이면, 다음 단계로 계속되는, 단계와, a1) 동작 영역의 범위 내에 사람이 있는지를 계속해서 검출하는 단계로서: yes이면, 단계 a를 실행하는, 단계를 더 포함하여 구성된다.
바람직하게는, 단계 d의 포인팅 방향은, 다음 단계인: 디스플레이 스크린의 평면 상의 팔꿈치 위치의 투영에 따라서 가상 기준 좌표계를 설정하고, 팔꿈치 위치와 디스플레이 스크린의 평면 간의 수직 거리를 획득하는 단계와, 2개의 투영과 z 축 간의 2개의 각도를 획득하도록 포인팅 방향 벡터에 따라서 y-z 평면 및 x-z 평면 상에서 포인팅 방향 벡터의 투영을 각각 계산하는 단계와, 수직 거리 및 2개의 각도를 통해서 가상 기준 좌표에 상대적인 임시 좌표를 획득하는 단계와, 세계 좌표에 기반해서 디스플레이 스크린의 평면을 향한 포인팅 방향을 획득하도록 임시 좌표를 가상 기준 좌표에 가산하는 단계에 의해 획득된다.
바람직하게는, 디스플레이 스크린의 화소 매트릭스 상의 포인팅 방향의 위치는, 다음 단계인: 화소 매트릭스의 기점에 상대적인 포인팅 방향의 상대 좌표를 획득하도록 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛의 위치에 따라서 포인팅 방향을 수정하는 단계와, 디스플레이 스크린의 화소 매트릭스 상의 상대 좌표의 디스플레이 위치를 획득하도록 디스플레이 스크린 상의 화소의 화면비율에 따라서 상대 좌표의 유닛을 계산하도록 상대 좌표를 화소 비례 변환 함수 내에 입력하는 단계에 의해 변환된다.
바람직하게는, 화소 매트릭스 상의 포인팅 방향의 위치는, 다음 단계인: 임시 디스플레이 위치를 획득하도록 디스플레이 스크린 상의 화소의 화면비율에 따라서 상대 좌표의 유닛을 계산하도록 포인팅 방향을 화소 비례 변환 함수 내에 입력하는 단계와, 디스플레이 스크린의 화소 매트릭스 상의 임시 디스플레이 위치의 디스플레이 위치를 획득하도록 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛의 위치에 따라서 임시 디스플레이 위치를 수정하는 단계에 의해 변환된다.
바람직하게는, 단계 d의 포인팅 방향은, 다음 단계인: 디스플레이 스크린의 평면 상의 손-말단 위치의 투영에 따라서 가상 기준 좌표계를 설정하고, 손-말단 위치와 디스플레이 스크린의 평면 간의 수직 거리를 획득하는 단계와, 2개의 투영과 z 축 간의 2개의 각도를 획득하도록 포인팅 방향 벡터에 따라서 y-z 평면 및 x-z 평면 상에서 포인팅 방향 벡터의 투영을 각각 계산하는 단계와, 수직 거리 및 2개의 각도를 통해서 가상 기준 좌표에 상대적인 임시 좌표를 획득하는 단계와, 세계 좌표에 기반해서 디스플레이 스크린의 평면을 향한 포인팅 방향을 획득하도록 임시 좌표를 가상 기준 좌표에 가산하는 단계에 의해 획득된다.
바람직하게는, 화소 매트릭스 상의 포인팅 방향의 위치는, 다음 단계인: 화소 매트릭스의 기점에 상대적인 포인팅 방향 위치의 상대 좌표를 획득하도록 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛의 위치에 따라서 포인팅 방향을 수정하는 단계와, 디스플레이 스크린의 화소 매트릭스 상의 상대 좌표의 디스플레이 위치를 획득하도록 디스플레이 스크린 상의 화소의 화면비율에 따라서 상대 좌표의 유닛을 계산하도록 상대 좌표를 화소 비례 변환 함수 내에 입력하는 단계에 의해 변환된다.
바람직하게는, 화소 매트릭스 상의 포인팅 방향의 위치는, 다음 단계인: 임시 디스플레이 위치를 획득하도록 디스플레이 스크린 상의 화소의 화면비율에 따라서 상대 좌표의 유닛을 계산하도록 포인팅 방향 위치를 화소 비례 변환 함수 내에 입력하는 단계와, 디스플레이 스크린의 화소 매트릭스 상의 임시 디스플레이 위치의 디스플레이 위치를 획득하도록 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛의 위치에 따라서 임시 디스플레이 위치를 수정하는 단계에 의해 변환된다.
바람직하게는, 손-말단 영역은 사용자의 손목 및 손바닥으로 이루어지는 그룹으로부터 선택된 적어도 하나이다.
본 발명의 또 다른 측면은, 전자 장치 상에 설치된 컴퓨터 판독가능한 스토리지 매체로서, 컴퓨터 판독가능한 스토리지 매체에는 본 발명의 포인팅 방향 검출 방법이 기억된다.
본 발명의 또 다른 측면은, 골격 데이터의 손-말단 영역 및 팔꿈치 또는 어깨 영역을 각각 식별하도록 사용자의 골격 데이터를 획득한 후, 골격 데이터의 상지골 화상을 갭처하기 위한 화상 분석 모듈과, 팔꿈치 또는 어깨 위치로부터 손-말단 위치로의 포인팅 방향 벡터를 획득하기 위해 계산을 통해 손-말단 위치 및 팔꿈치 또는 어깨 위치를 식별하도록, 화상 분석 모듈로부터 손-말단 영역 및 팔꿈치 또는 어깨 영역을 획득하고, 계산을 통해 목표 평면과 포인팅 방향 벡터의 연장 간의 교차점을 식별하기 위한 포인팅 방향 분석 모듈을 포함하여 구성되고, 교차점은 손이 향해서 포인팅하는 포인팅 방향인, 포인팅 방향 검출 프로그램을 제공한다.
본 발명은 종래 기술과 비교해서 다음의 이득을 갖는다.
1. 본 발명은 손가락 대신 사용자의 손 말단 영역을 기준 부분으로서 획득하는 것에 의해, 화상 겹침의 문제를 극복하고, 유효 기준 위치를 획득하는 성능을 개선한다.
2. 본 발명은 사용자의 팔꿈치 영역 또는 어깨 영역을 다른 기준 부분으로서 획득한다. 팔꿈치 영역 및 어깨 영역은 덮이기가 쉽지 않기 때문에, 화상 캡처 유닛은 팔꿈치 및 어깨의 화상을 계속해서 캡처할 수 있어, 화상 보상 율을 감소시키고, 동적인 동작의 손의 운동을 분실할 가능성을 없게 한다.
명세서와 함께 첨부 도면은, 본 발명의 예시적인 실시형태를 도시하고, 상세한 설명에 따라서 본 발명의 원리를 설명하는데 사용된다.
도 1은 본 발명의 장치의 블록도를 나타낸다.
도 2는 본 발명(a)의 방법의 동작 흐름도를 나타낸다.
도 3은 본 발명(b)의 방법의 동작 흐름도를 나타낸다.
도 4는 본 발명(a)의 장치의 동작의 계략적인 도면을 나타낸다.
도 5는 본 발명(b)의 장치의 동작의 계략적인 도면을 나타낸다.
도 6은 본 발명(c)의 장치의 동작의 계략적인 도면을 나타낸다.
도 7은 본 발명(d)의 장치의 동작의 계략적인 도면을 나타낸다.
도 8은 본 발명(e)의 장치의 동작의 계략적인 도면을 나타낸다.
도 9는 본 발명의 장치의 포인팅 방향 위치를 위한 식별 흐름도이다.
이하, 포인팅 방향을 검출하기 위한 본 발명의 장치가 도면을 참조로 기술된다. 그런데, 이들 도면은 제한의 의도 없이, 설명을 위한 것으로, 본 발명의 범위에 대한 제한사항으로서 간주하여서는 안 된다.
본 명세서에서 용어 "a" 및 "an"은 관사의 문법적인 목적 이상의 하나 이상(예를 들어, 적어도 하나)으로 언급된다.
본 발명의 장치의 블록도인 도 1을 참조한다. 도면에 나타낸 바와 같이:
본 발명은 포인팅 방향을 검출하기 위한 장치(1)를 제공한다. 장치(1)는 화상 캡처 유닛(10) 및 화상 캡처 유닛(10)에 접속된 처리 유닛(50)을 포함하여 구성된다. 본 실시형태에 있어서, 포인팅 방향 검출 장치(1)는, 화상 캡처, 화상 분석 및 화상 출력과 같은 각각의 동작 기능을 위해서 디스플레이 스크린(40)과 함께 설치된다. 화상 캡처 유닛(10)은 액티브 뎁스 카메라(active depth camera) 또는 스테레오 카메라(stereo camera)가 될 수 있다. 설명을 위해서, 본 실시형태에서의 화상 캡처 유닛(10)은 액티브 뎁스 카메라이다.
본 발명의 처리 유닛(50)은 주로 화상 분석 모듈(20) 및 포인팅 방향 분석 모듈(30)을 포함하여 구성된다. 화상 분석 모듈(20)의 주요 기능은, 화상 분석, 처리 및 소정 특성의 캡처이다. 특히, 화상 분석 모듈(20)은, 노이즈 감소, 콘트라스트 및 샤프니스(sharpness) 조정 및 캡처된 화상에 대한 소정 특성의 컬러링과 같은 화상 처리 기능을 실행할 수 있다.
도 4를 더 참조하면, 본 발명에서는, 화상 캡처 유닛(10)이 촬상한 후, 화상 분석 모듈(20)은 복수의 연속적인 뎁스 화상을 화상 캡처 유닛(10)으로부터 획득하고, 이에 따라 화상 분석 모듈(20)은 이들 화상으로부터 사용자의 골격 데이터(skeleton data)를 모으고(골격 데이터는 화상으로부터 유사한 부분을 캡처하기 위한 화상 매팅(image matting) 또는 화상 모델링을 통해서 획득될 수 있다), 손 말단 영역(60) 및 팔꿈치 또는 어깨 영역의 화상을 획득한다(이 처리에 있어서, 식별을 위한 기준점은 컬러링 또는 블로어 필터링(blur filtering)에 의해 획득될 수 있다). 소위 "손 말단 영역"(60)은 사용자의 손목, 손바닥 또는 이들의 조합-즉, 상지의 말단 부분을 포함하여 구성된다. 캡처되는 손 말단 영역(60)의 범위는 다양한 화상 캡처 유닛(10)에 따라서 변화될 수 있다. 그 이유는, 화상 캡처 유닛(10)이 단일 렌즈를 가지면, 대부분의 경우, 손바닥의 에어리어가 손목보다 매우 크므로, 손목 부분이 소정 시야 각도에서 덮일 수 있게 되고, 그러므로 획득하기 어렵게 될 수 있다. 이 상태에서는, 손 말단 영역(60)으로서 손바닥 부분을 캡처하는 것이 손목 부분을 캡처하는 것보다 더 정확하다. 그러나, 스테레오 카메라의 경우, 손목 부분을 캡처하는 것이 더 쉬우므로, 손바닥 부분, 손목 부분 또는 모두로 이루어지는 그룹이 손 말단 영역(60)으로서 규정될 수 있다. 더욱이, 소정의 화상 캡처 유닛에 대해서, 손목 부분 및 손바닥 부분은, 이들 모두가 상지의 단부로서 간주될 수 있기 때문에 유사한 부분이며, 구별되지 않게 되고, 이에 의해 블랍(blob)(손가락 부분과 같은)은 화상을 통해서 손 말단 영역(60)을 명확하고 용이하게 규정 및 식별하기 위해서 제거될 수 있다.
포인팅 방향 분석 모듈(30)은 화상 분석 모듈(20)에 의해 캡처된 화상을 통해서 손-말단 영역(60), 팔꿈치 영역(70) 및/또는 어깨 영역(80)의 위치(세계 좌표계로)를 식별할 수 있고, 이에 의해 좌표계 상의 2개의 지점을 식별하는 처리 모듈이며, 여기서 상기 손 말단 영역(60), 팔꿈치 영역(70) 또는 어깨 영역(80)은 화상 분석 모듈(20)에 의해 처리되어, 제공된다. 예를 들어, 화상 분석 모듈(20)은 화상으로부터 손 말단 영역(60), 팔꿈치 영역(70) 및 어깨 영역(80)을 식별하고, 캡처를 위한 범위를 결정한다. 그 후, 화상 분석 모듈(20)은 캡처된 화상의 표면을 곡선으로 성형하고, 곡선이 잘 형성되었는지를 검출한다. 화상의 소정의 부분은 간섭 필터링 처리에서 사라질 수 있기 때문에, 화상의 곡선은 불안정하게 될 수 있고, 기준점을 획득하기 어렵게 될 수 있다. 이 문제는, 기준점 식별을 위해서 화상을 매끄럽게 하고 안정화하는, 인접 평균 방법, 저역 통과 필터링 방법 또는 다중 화상 평균 방법의 도움으로 해결될 수 있다(대안적으로, 기준점이 먼저 식별되고, 화상 스무딩(smoothing) 처리가 수반될 수 있다). 더욱이, 필요한 지점이 덮이면, 화상 분석 모듈(20)이 화상을 보상하는 것을 고려해야 한다. 예를 들어, 캡처된 부분이 덮이면, 그 에어리어는 불완전하고 균열할 수 있지만, 에어리어는 여전히 곡선 표면을 형성할 수 있고, 이에 의해 그 중심(법선 벡터의 위치)은 계산을 통해 발견되고, 추론을 통해 완전한 표면으로서 보상될 수 있다. 화상은, 대응하는 기준점을 얻기 위해서, 더 매끄럽게 될 수 있다. 대안적으로, 기준점이 일시적으로만 덮이면, 기준점이 정확한 하나인지를 발견하기 위해서, 상기된 보상 방법을 사용하여 일련의 화상을 비교할 수 있다.
한편, 포인팅 방향 분석 모듈(30)은, 좌표계 상의 손-말단 위치(61) 및 팔꿈치 또는 어깨의 위치(팔꿈치 위치(71) 또는 어깨 위치(81))를 통해서 포인팅 방향 벡터를 획득하고, 계산을 통해서 디스플레이 스크린(40) 상의 포인팅 방향 벡터(90)의 투영 점을 발견하며, 이에 의해 포인팅 방향 분석 모듈은 디스플레이 스크린(40) 상의 2차원 좌표 상의 상대 좌표를 획득한다. 손-말단 영역(60), 팔꿈치 영역(70) 및 어깨 영역(80)은 덮이기 어렵고 용이하게 인식되는 상지골(upper limb)의 분명한 접합부이다. 그러므로, 사용자가 다른 방향을 향해서 포인팅할 때, 사용자의 의도된 포인팅 방향이 계속해서 추적될 수 있다.
본 발명의 상세한 동작 흐름에 대해서, 본 발명의 포인팅 방향 검출 방법의 동작 흐름도인 도 2 및 도 3을 참조한다.
도 2를 참조하면, 본 발명의 장치가 시작됨에 따라, 우선 화상 캡처 유닛(10)은 동작 영역의 화상을 계속해서 캡처하고(단계 S201), 화상 캡처 유닛(10)의 시야에 적어도 한 사람이 있는지 검출하는데: yes이면, 포인팅 방향 검출 장치는 다음 단계로 계속되고, no이면, 포인팅 방향 검출 장치는 검출을 위해 이 단계의 동작을 유지한다(단계 S202). 그 후, 포인팅 방향 검출 장치는, 사람이 동작 영역의 범위 내에 있는지를 계속해서 검출하는데: yes이면, 포인팅 방향 검출 장치는 다음 단계로 계속되고, no이면, 포인팅 방향 검출 장치는 검출을 위해 이 단계의 실행을 유지하게 된다(단계 S203). 사용자가 동작 영역 내에 있으면, 포인팅 방향 검출 장치는 사용자의(진입한 첫번째 사람) 골격 데이터를 획득하고, 추적을 유지하게 된다. 그 후에, 화상 분석 모듈(20)은 사용자의 상지골 화상을 캡처하고, 손 말단 영역(60)의 복수의 유효 깊이 파라미터를 조사한 후(단계 S205), 손 말단 위치(61)를 식별하고 추적을 유지하기 위해서 유효 깊이 파라미터의 평균 값을 계산한다(단계 S206). 후속해서, 화상 분석 모듈은 상기 손-말단 영역(60)에 접속된 팔꿈치 영역(70)(또는 어깨 영역(80))의 복수의 유효 깊이 파라미터를 조사하고(단계 S207), 그 후 화상 분석 모듈은, 팔꿈치 위치(71)(또는 어깨 위치(81))를 식별하고 추적을 유지하기 위해서 유효 깊이 파라미터의 평균 값을 계산한다(단계 S208). 그 후에, 포인팅 방향 검출 장치는, 디스플레이 스크린(40)으로부터 연장된 세계 좌표의 평면 상의 투영 점의 위치를 발견하기 위해서 포인팅 방향 벡터(90)의 연장을 계산하고(단계 S209), 투영 점이 디스플레이 스크린 상에 위치되는지를 판정하는데: yes이면, 포인팅 방향 검출 장치는 다음 단계로 계속되고, no이면, 포인팅 방향 검출 장치는 단계 S205로 되돌아 가고 사용자의 상지골의 화상의 추적을 유지하게 된다(단계 S210). 마지막으로, 이전 단계에 수반해서, 투영 점이 디스플레이 스크린 상에 위치되면, 포인팅 방향 검출 장치는 목표 객체를 디스플레이 스크린 상의 포인팅 방향 위치로 이동시키기 위해서, 디스플레이 스크린 상의 투영 점의 위치를 리턴(return)시키게 된다(단계 S211).
본 발명의 포인팅 방향의 상세한 계산 흐름을 더 잘 이해하기 위해서, 도 9의 흐름도와 함께 도 4 내지 도 8로부터의 동작의 계략적인 도면을 또한 참조한다.
도 4, 도 5 및 도 6의 실시형태에 있어서, 포인팅 방향 벡터(90)는 손 말단 위치(61)와 팔꿈치 위치(71)의 접속에 의해 합성된다. 도 7 및 도 8의 실시형태에 있어서, 포인팅 방향 벡터(90)는 손 말단 위치(61)와 어깨 위치(81)의 접속에 의해 합성된다. 단계 S209에서, 포인팅 방향 벡터(90)로부터 연장된 디스플레이 스크린(40)의 평면 상의 투영 점(포인팅 방향 위치 B)은 이하의 계산 흐름에 의해 획득된다:
먼저, 가상 기준 좌표계 A(x0, y0)가 디스플레이 스크린(40)의 평면 상의 손 말단 위치의 투영에 따라서 설정되고, 손 말단 위치(61)와 디스플레이 스크린(40)의 평면 간의 수직 거리 zh(즉, z 축 상의 손 말단 위치(61)와 디스플레이 스크린(40)의 평면 간의 거리)가 획득된다(단계 S2091). 그러면, 포인팅 방향 검출 장치는 y-z 평면(도 3에 나타낸 바와 같이) 및 x-z 평면(도 4에 나타낸 바와 같이) 상의 각각의 포인팅 방향 벡터(90)의 투영을 발견하고, 2개의 투영과 z 축 간의 각도 θ1 및 θ2를 획득하기 위해서, 포인팅 방향 벡터(90)를 계산해야 한다. 그 후, 수직 거리 zh에는 tanθ1 및 tanθ2가 곱해져서, 가상 기준 좌표 A에 대한 임시 좌표 (x1, y1)=(zhtanθ1, zhtanθ2)를 얻게 된다(단계 S2093). 사용자 포인팅이 향하는 세계 좌표 상의 포인팅 방향 위치는 임시 좌표 (x1, y1)를 가상 기준 좌표 A에 가산함으로써 획득될 수 있는데, 즉 B(zhtanθ1+x0, zhtanθ2+y0)이 된다.
이제, 사용자의 손 포인팅이 향하는 디스플레이 스크린(40) 상의 투영 점의 위치가 화상 캡처 유닛(10)의 위치에 상대적이기 때문에, 화상 캡처 유닛(10)에 의해 획득된 세계 좌표계 내의 포인팅 방향 B의 위치는 디스플레이 스크린(40)의 화소 매트릭스 상의 좌표로 변환될 필요가 있다. 그러므로, 포인팅 방향 B의 위치는 이하의 방법으로 수정된다:
먼저, 사용자의 포인팅 방향의 위치가 디스플레이 스크린(40)의 기점에 상대적인 화상 캡처 유닛(10)의 위치에 따라서 수정되어야 하는데, 수정은 포인팅 방향 B의 위치에 대응하는 화상 캡처 유닛의 기점을 디스플레이 스크린(40)의 기점으로 변환하는 것이고, 이에 의해 디스플레이 스크린(40)의 기점에 상대적인 포인팅 방향 B의 위치의 상대 좌표를 획득한다. 디스플레이 스크린(40)의 기점은, 통상적으로 디스플레이 스크린(40)의 상부 좌측 코너인 것을 주목해야 한다. 그러므로, 화상 캡처 유닛(10)에 의해 결정된 세계 좌표계로의 y-축의 방향은, 통상적으로 디스플레이 스크린(40)의 y-축의 방향에 대향한다. 세계 좌표계의 기점이 화소 매트릭스의 기점으로 변환될 때, 상대 좌표의 y-축 값에는 음의 값이 곱해진다.
그 후, 세계 좌표계의 위치가 실제 세계의 위치에 상대적이므로, 좌표계는 그 표준으로서 통상적으로 메트릭 유닛(예를 들어, 밀리미터)을 채용하지만, 디스플레이 스크린(40) 상의 화소 매트릭스의 표준 유닛은 화소(그들의 길이 및 폭으로 결정됨)가 된다. 그러므로, 디스플레이 스크린(40) 상의 포인팅 방향 점의 위치의 실제 좌표를 획득하기 위해서, 상대 좌표는 화소 비례 변환 함수에서 계산되며, 디스플레이 스크린(40) 상의 상대 좌표의 실제 위치를 획득하기 위해 화소의 길이 및 폭을 고려한다. 예를 들어, 디스플레이 스크린의 화소의 길이(x-축으로)는 1.25mm이고 디스플레이의 화소의 폭(y-축으로)은 1.33mm이므로, x-축 좌표 및 y-축 좌표는 0.8 및 0.75가 각각 곱해져서, 표준 유닛으로서 화소를 설정하게 된다.
2개의 상기 수정 단계는 그들의 동작 시퀀스를 변화시킬 수 있고, 변화된 단계는:
임시 디스플레이 위치를 획득하기 위해서, 디스플레이 스크린 상의 화소의 화면비율(aspect ratio)과 함께 포인팅 방향 위치 B의 좌표의 유닛을 계산하기 위해서, 포인팅 방향 B의 위치를 화소 비례 변환 함수에 입력하게 된다. 그 다음, 디스플레이 스크린(40)의 화소 매트릭스 상의 임시 디스플레이 위치의 디스플레이 위치를 획득하기 위해서, 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛(10)의 위치에 따라서, 임시 디스플레이 위치를 수정하게 된다.
다른 한편, 다양한 디스플레이 스크린(40)에 따라서, 수정 처리는, 본 발명을 제한하지 않는 범위 내에서, 다양한 수정 공식을 가질 수 있다.
사용자와 디스플레이 스크린(40) 간의 거리를 계산할 때, 화상 캡처 유닛(10)은 다양한 위치로 설정되기 때문에, 화상 캡처 유닛(10)은 화상 캡처 유닛(10)과 x-축, y-축 및 z-축 간의 각도들로부터 생성된 에러 값을 고려해야 한다. 에러 값을 소멸하기 위해서, 포인팅 방향 검출 장치(1)는 조정 처리를 사전에 실행하게 된다. 예를 들어, 포인팅 방향 검출 장치는 스크린 상에 특정 마크업 지점을 태그(tag)해서, 사용자가 이를 향해 포인팅 할 수 있게 한다. 그 다음, 화상 캡처 유닛(10)은 사용자의 화상을 캡처할 수 있고, 화상 분석 모듈은 차례로, 손 말단 영역(60), 팔꿈치 영역(70) 또는 어깨 영역(80)을 분석 및 식별하여, 상기 영역의 위치를 계산으로 정확히 찾아낼 수 있으며, 그 포인팅 방향 벡터(90)로, 조정 공식이 획득될 수 있고, 그 공식을 통해서 사용자가 향해서 포인팅한 실제 위치가 인식될 수 있다. 조정 처리에서, 화상 캡처 유닛(10)의 상대 좌표 및 디스플레이 스크린(40)의 기점이 동시에 획득될 수 있다.
게다가, 본 발명의 생산품은 프로세서(50)와 협동하는 소프트웨어 프로그램 또는 팜웨어 프로그램으로서 실행되거나 또는, 전자 장치를 동작하기 위한 콤팩트 디스크, 하드 디스크, 플로피 디스크, USB 플래시 드라이브 등과 같은 컴퓨터 판독가능한 스토리지 매체 상에서 실행될 수 있다.
결론적으로, 본 발명은 사용자의 손 말단 영역을 목표의 벡터를 획득하기 위한 기준 부분으로서 획득하는 것으로, 유효 기준 위치를 획득하기 위해서 사용자의 손가락을 캡처하는 것보다 더 효과적인 방법이다. 게다가, 본 발명은 사용자의 팔꿈치 영역 및 어깨 영역을 기준 부분으로서 캡처하고, 팔꿈치 영역 및 어깨 영역이 보다 덮이기 쉽지 않으므로, 화상 캡처 유닛은 화상의 손실 없이 사용자의 손이 동적으로 동작하는 동안 팔꿈치 및 어깨의 화상을 계속해서 캡처할 수 있다.
본 발명이 소정의 예시적인 실시형태와 관련해서 기술되었으며, 본 발명은 개시된 실시형태에 제한되지 않고, 반대로 첨부된 청구항 및 그 등가물의 정신 및 범위 내에서의 다양한 변형 및 등가의 장치를 포함하는 것을 의도하는 것으로 이해되어야 한다.

Claims (19)

  1. 포인팅 방향 검출 방법으로서,
    a) 화상 캡처 유닛을 통해 세계 좌표계로 사용자의 골격 데이터의 추적을 획득 및 유지하는 단계;
    b) 손-말단 위치 및 팔꿈치 또는 어깨 위치 각각을 획득하도록 사용자의 상지골 화상을 캡처하는 단계;
    c) 팔꿈치 또는 어깨 위치로부터 손-말단 위치로의 포인팅 방향 벡터를 계산하는 단계; 및
    d) 포인팅 방향을 획득하기 위해서 목표 평면과 포인팅 방향 벡터의 연장 간의 교차점을 계산하는 단계를 포함하되;
    상기 단계 d의 포인팅 방향은, 다음 단계인:
    디스플레이 스크린의 평면상의 팔꿈치 위치 또는 손-말단 위치의 투영에 따라서 가상 기준 좌표계를 설정하고, 팔꿈치 위치 또는 손-말단 위치와 디스플레이 스크린의 평면 간의 수직 거리를 획득하는 단계;
    2개의 투영과 z 축 간의 2개의 각도를 획득하도록 포인팅 방향 벡터에 따라서 y-z 평면 및 x-z 평면 상에서 포인팅 방향 벡터의 투영을 각각 계산하는 단계;
    수직 거리 및 2개의 각도를 통해서 가상 기준 좌표에 상대적인 임시 좌표를 획득하는 단계; 및
    세계 좌표에 기반해서 디스플레이 스크린의 평면을 향한 포인팅 방향을 획득하도록 임시 좌표를 가상 기준 좌표에 가산하는 단계에 의해 획득되고,
    상기 디스플레이 스크린의 화소 매트릭스 상의 포인팅 방향의 위치는, 다음 단계 (1) 또는 (2)인:
    (1) 화소 매트릭스의 기점에 상대적인 포인팅 방향의 상대 좌표를 획득하도록 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛의 위치에 따라서 포인팅 방향을 수정하는 단계; 및 디스플레이 스크린의 화소 매트릭스 상의 상대 좌표의 디스플레이 위치를 획득하도록 디스플레이 스크린 상의 화소의 화면비율에 따라서 상대 좌표의 유닛을 계산하도록 상대 좌표를 화소 비례 변환 함수 내에 입력하는 단계; 또는
    (2) 임시 디스플레이 위치를 획득하도록 디스플레이 스크린 상의 화소의 화면비율에 따라서 상대 좌표의 유닛을 계산하도록 포인팅 방향을 화소 비례 변환 함수 내에 입력하는 단계; 및 디스플레이 스크린의 화소 매트릭스 상의 임시 디스플레이 위치의 디스플레이 위치를 획득하도록 화소 매트릭스의 기점에 상대적인 화상 캡처 유닛의 위치에 따라서 임시 디스플레이 위치를 수정하는 단계에 의해 변환되는 것을 특징으로 하는 포인팅 방향 검출 방법.
  2. 제 1 항에 있어서,
    단계 b의 손-말단 위치는, 다음 단계인:
    손-말단 영역 인근의 복수의 유효 깊이 파라미터를 조사하는 단계;
    손-말단 위치를 획득하고 추적을 유지하도록 유효 깊이 파라미터를 평균하는 단계에 의해 획득되는 것을 특징으로 하는 포인팅 방향 검출 방법.
  3. 제 2 항에 있어서,
    단계 b의 팔꿈치 위치는, 다음 단계인:
    손-말단 영역에 접속된 팔꿈치 영역 인근의 복수의 유효 깊이 파라미터를 조사하는 단계;
    팔꿈치 위치를 획득하도록 유효 깊이 파라미터를 평균하는 단계에 의해 획득되는 것을 특징으로 하는 포인팅 방향 검출 방법.
  4. 제 2 항에 있어서,
    단계 b의 어깨 위치는, 다음 단계인:
    손-말단 영역에 접속된 어깨 영역 인근의 복수의 유효 깊이 파라미터를 조사하는 단계;
    어깨 위치를 획득하기 위해서 유효 깊이 파라미터를 평균하는 단계에 의해 획득하는 것을 특징으로 하는 포인팅 방향 검출 방법.
  5. 제 1 항에 있어서,
    단계 d 이후의 단계 d1인:
    d1) 포인팅 방향이 디스플레이 상에 투영되는지를 결정하는 단계로서: yes이면, 목표 객체가 포인팅 방향으로 이동하도록 포인팅 방향을 리턴시키는, 단계를 더 포함하여 구성되는 것을 특징으로 하는 포인팅 방향 검출 방법.
  6. 제 1 항에 있어서,
    단계 a 이전의 단계 a0 및 a1인:
    a0) 진입하는 적어도 한 사람이 있는지를 계속해서 검출하는 단계로서: yes이면, 다음 단계로 계속되는 단계;
    a1) 동작 영역의 범위 내에 사람이 있는지를 계속해서 검출하는 단계로서: yes이면, 단계 a를 실행하는, 단계를 더 포함하여 구성되는 것을 특징으로 하는 포인팅 방향 검출 방법.
  7. 제 1 항에 있어서,
    손-말단 영역은 사용자의 손목 및 손바닥으로 이루어지는 그룹으로부터 선택된 적어도 하나인 것을 특징으로 하는 포인팅 방향 검출 방법.
  8. 전자 장치상에 설치된 컴퓨터 판독가능한 스토리지 매체로서,
    컴퓨터 판독가능한 스토리지 매체에는 청구항들 제1항 내지 제7항 중 어느 한 항의 포인팅 방향 검출 방법을 컴퓨터에서 실행하기 위한 프로그램이 기억되는 것을 특징으로 하는 컴퓨터 판독가능한 스토리지 매체.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
KR1020140024309A 2013-09-05 2014-02-28 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체 KR101606628B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW102132028A TW201510771A (zh) 2013-09-05 2013-09-05 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
TW102132028 2013-09-05

Publications (2)

Publication Number Publication Date
KR20150028181A KR20150028181A (ko) 2015-03-13
KR101606628B1 true KR101606628B1 (ko) 2016-03-25

Family

ID=50112680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140024309A KR101606628B1 (ko) 2013-09-05 2014-02-28 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체

Country Status (5)

Country Link
US (1) US20150062010A1 (ko)
EP (1) EP2846308A3 (ko)
KR (1) KR101606628B1 (ko)
CN (1) CN104423569A (ko)
TW (1) TW201510771A (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104978012B (zh) * 2014-04-03 2018-03-16 华为技术有限公司 一种指向交互方法、装置及系统
KR101632007B1 (ko) * 2014-10-29 2016-06-21 엘지전자 주식회사 와치 타입의 제어 디바이스
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
US9811165B2 (en) * 2015-03-11 2017-11-07 Samsung Electronics Co., Ltd. Electronic system with gesture processing mechanism and method of operation thereof
US10222869B2 (en) * 2015-08-03 2019-03-05 Intel Corporation State machine based tracking system for screen pointing control
JP6488946B2 (ja) * 2015-08-21 2019-03-27 富士通株式会社 制御方法、プログラム及び制御装置
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
KR20170061294A (ko) * 2015-11-26 2017-06-05 전자부품연구원 3d 가상 캐릭터의 어깨 움직임 정보 생성방법
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
CN106598422B (zh) * 2016-10-25 2019-12-13 深圳奥比中光科技有限公司 混合操控方法及操控系统和电子设备
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
CN108392338A (zh) * 2018-04-08 2018-08-14 深圳光韵达光电科技股份有限公司 基于太赫兹波探测的反馈调节床
CN109446061B (zh) * 2018-09-17 2022-06-10 平安科技（深圳）有限公司 一种页面检测方法、计算机可读存储介质及终端设备
KR20200080047A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 진정 사용자의 손을 식별하는 방법 및 이를 위한 웨어러블 기기
US11934584B2 (en) * 2019-09-27 2024-03-19 Apple Inc. Finger orientation touch detection
US11783492B2 (en) 2020-09-01 2023-10-10 XRSpace CO., LTD. Human body portion tracking method and human body portion tracking system
CN111145084B (zh) * 2019-12-25 2023-06-16 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN115004132A (zh) 2020-01-29 2022-09-02 索尼集团公司 信息处理装置、信息处理系统和信息处理方法
US11474690B2 (en) 2020-08-14 2022-10-18 VTouch Co., Ltd. Method, system and non-transitory computer-readable recording medium for non-contact control
KR102477006B1 (ko) * 2020-08-14 2022-12-14 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR102513444B1 (ko) * 2021-11-25 2023-03-24 한국과학기술원 스마트 홈 시스템에서 객체 등록을 지원하는 방법 및 장치
WO2024085397A1 (ko) * 2022-10-18 2024-04-25 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100869447B1 (ko) 2000-05-17 2008-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
US20090228841A1 (en) 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
JP2011022945A (ja) 2009-07-17 2011-02-03 Dainippon Printing Co Ltd 指先操作型情報提供システム、プログラム、記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8381108B2 (en) * 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
TW201337639A (zh) 2012-03-09 2013-09-16 Utechzone Co Ltd 指向性影像操控裝置及其方法
US9367124B2 (en) * 2012-03-20 2016-06-14 A9.Com, Inc. Multi-application content interactions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100869447B1 (ko) 2000-05-17 2008-11-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 3차원 모델링 없이 이미지 처리에 의해 타겟을 지시하는 장치 및 방법
US20090228841A1 (en) 2008-03-04 2009-09-10 Gesture Tek, Inc. Enhanced Gesture-Based Image Manipulation
JP2011022945A (ja) 2009-07-17 2011-02-03 Dainippon Printing Co Ltd 指先操作型情報提供システム、プログラム、記録媒体

Also Published As

Publication number Publication date
EP2846308A2 (en) 2015-03-11
EP2846308A3 (en) 2015-06-17
US20150062010A1 (en) 2015-03-05
CN104423569A (zh) 2015-03-18
KR20150028181A (ko) 2015-03-13
TW201510771A (zh) 2015-03-16

Similar Documents

Publication Publication Date Title
KR101606628B1 (ko) 포인팅 방향 검출 장치 및 그 방법과, 프로그램 및 컴퓨터 판독가능한 매체
CN104380338B (zh) 信息处理器以及信息处理方法
US8879787B2 (en) Information processing device and information processing method
JP2004094288A (ja) 指示位置検出装置及び自律ロボット
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
AU2011203028B1 (en) Fully automatic dynamic articulated model calibration
CN109961523B (zh) 虚拟目标的更新方法、装置、系统、设备及存储介质
JP2006209359A (ja) 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム
CN113474816A (zh) 弹性动态投影映射系统和方法
JP2014186715A (ja) 情報処理装置、情報処理方法
CN105809664B (zh) 生成三维图像的方法和装置
US9025022B2 (en) Method and apparatus for gesture recognition using a two dimensional imaging device
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
JP2018109899A (ja) 情報処理装置、操作検出方法、及びコンピュータプログラム
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템
JP6170696B2 (ja) 画像処理装置及び画像処理方法
CN111368675A (zh) 手势深度信息的处理方法、装置、设备及存储介质
JP2017068437A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
TW201419087A (zh) 微體感偵測模組及其微體感偵測方法
US8396300B2 (en) Object-end positioning method and system
WO2020184066A1 (ja) 関節位置推定装置、関節位置推定方法およびコンピュータ読み取り可能な記録媒体
EP3621083A1 (en) Rehabilitation device and method
US11783492B2 (en) Human body portion tracking method and human body portion tracking system
JP2018181169A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200116

Year of fee payment: 5