KR20140060297A - 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스 - Google Patents

입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스 Download PDF

Info

Publication number
KR20140060297A
KR20140060297A KR1020147005970A KR20147005970A KR20140060297A KR 20140060297 A KR20140060297 A KR 20140060297A KR 1020147005970 A KR1020147005970 A KR 1020147005970A KR 20147005970 A KR20147005970 A KR 20147005970A KR 20140060297 A KR20140060297 A KR 20140060297A
Authority
KR
South Korea
Prior art keywords
fingertip
fist
coordinates
gravity
center
Prior art date
Application number
KR1020147005970A
Other languages
English (en)
Inventor
노리유키 주니
Original Assignee
닛토덴코 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛토덴코 가부시키가이샤 filed Critical 닛토덴코 가부시키가이샤
Publication of KR20140060297A publication Critical patent/KR20140060297A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

본 발명의 입력 디바이스는, 광원(L)과, 손끝(H)에 대하여 광원(L)과 동일한 쪽에 배치된 광학적 촬상 수단(카메라(C))과, 제어 수단과, 상기 카메라(C)에서 얻어진 2차원 화상으로부터, 주먹의 형상의 분포 무게 중심의 좌표(G)와 손가락의 선단의 좌표(T)를 산출하는 형상 인식 수단과, 상기 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리(d)를 비교하는 움직임 판정 수단을 포함하고 있고, 상기 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리(d)가, 계측 전후로 축소 또는 확대된 경우에, 그 때의 손끝(H)의 움직임을, 상기 카메라(C)의 가상 촬영 평면(P)에 대한 손가락의 상하 이동(Z방향의 움직임)으로서 판단한다. 이에 따라, 1대의 광학적 촬상 수단을 이용한 화상 해석으로부터, 사람의 손끝의 3차원적인 움직임을 검출할 수 있는 입력체의 움직임 검출 방법과, 이 움직임 검출 방법을 이용한 지시 조작용의 입력 디바이스가 제공된다.

Description

입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스{METHOD FOR DETECTING MOTION OF INPUT BODY AND INPUT DEVICE USING SAME}
본 발명은, 입력 디바이스에서 좌표의 입력에 이용되는 손끝의 움직임의 검출 방법과, 그것을 이용한 입력 디바이스에 관한 것이다.
표시된 2차원 영상 또는 3차원 영상과 인터렉션할 수 있는 장치의 사용자 인터페이스로서, 사람의 손끝이나 손가락 등을 조작용 입력체로서 이용하는 입력 디바이스가 개발되고 있다. 이 입력 디바이스는, 카메라 등의 광학적 촬상 수단을 복수 갖는 3차원 위치 계측 시스템을 포함하고 있고, 촬영 위치나 촬영 각도가 결정된 각 카메라로부터 얻어지는 화상(2차원 화상)에 기초하여, 대상이 되는 물체(입력체)의 3차원 위치나 3축(XYZ축) 좌표 등을 연산에 의해 구하여, 그 좌표치를 표시 장치 등의 제어 수단(컴퓨터 등)에 출력한다(예컨대, 특허문헌 1, 2를 참조).
예컨대, 도 8에 나타낸 바와 같은, 서로 직교하는 3축(XYZ축) 방향의 입력체(손끝(H))의 좌표를 검출하는 입력 디바이스의 경우, 입력체를 촬영하는 광학적 촬상 수단으로서, 상기 입력체를 하측(Z축 방향)으로부터 촬영하는 카메라(C1)와, 이 입력체를 상기 카메라(C1)의 촬영 방향과 직교하는 방향(도면에서는 좌측 : X축 방향)으로부터 촬영하는 카메라(C2), 2대의 카메라를 포함하고 있다. 그리고, 광원(도시 생략)으로부터 투사된 광의 입력체(손끝(H))에 의한 반사광(이미지)을, 상기 하측 카메라(C1)에 대응하는 2차원 화상(가상 촬영 평면(P1), XY 방향)과, 상기 좌측 카메라(C2)에 대응하는 2차원 화상(가상 촬영 평면(P2), YZ 방향)으로서 취득하고, 얻어진 각 화상에 기초하여, 컴퓨터 등을 이용한 연산에 의해 손끝(H)의 손가락끝 등의 형상을 인식하여 추출하고, 각 화상에 공통의 파라미터(이 예에서는 Y축 방향의 좌표치)를 이용하여 데이터를 합성함으로써, 상기 손끝(H)의 3축(XYZ축) 방향의 좌표를 검지ㆍ출력할 수 있다. 또, 상기 화상 취득-형상 인식-좌표 합성의 각 단계를 반복함으로써, 상기 손끝(H)의 3차원적인 움직임(좌표 및 궤적)을 검지ㆍ출력할 수 있다.
특허문헌 1 : 일본 특허 공개 평9-53914호 공보 특허문헌 2 : 일본 특허 공개 평11-23262호 공보
그러나, 상기와 같은 종래의 입력 디바이스에 이용되는 3차원 위치 계측 시스템은, 반드시 복수대의 카메라가 필요하고, 설비가 대규모이고 또한 고가가 되어 버리는 경우가 많다. 더구나, 주위 환경이나 장치의 구조에 따라서는, 각 카메라를 촬영에 최적의 위치에 배치하지 못하고, 조작자가 위화감을 느끼는 위치에 배치되는 경우도 있다. 또한, 그 카메라가, 조작자가 인식할 수 있는 시야내에 들어와 버리는 경우는, 조작에 익숙하지 않은 사람의 손의 움직임이, 부자연스러워지거나 매끄럽지 않게 될 우려도 있다.
본 발명은, 이러한 사정을 감안하여 이루어진 것으로, 1대의 광학적 촬상 수단을 이용한 화상 해석으로부터, 사람의 손끝의 3차원적인 움직임을 검출할 수 있는 입력체의 움직임 검출 방법과, 이 움직임 검출 방법을 이용한 지시 조작용의 입력 디바이스의 제공을 그 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명은, 입력 디바이스에서 좌표의 입력에 이용되는 손끝의 3차원의 움직임을 하나의 광학적 촬상 수단으로 검출하는 방법으로서, 주먹을 포함하는 손끝의 상측 또는 하측에 배치된 광원으로부터, 이 손끝을 향해서 광을 투사하는 단계와, 상기 손끝에 대하여 광원과 동일한 쪽에 광학적 촬상 수단을 배치하여, 이 손끝에 의한 상기 광의 반사를 가상 촬영 평면상의 2차원 화상으로서 취득하는 단계와, 상기 2차원 화상에 서로 직교하는 2축의 좌표를 할당하여, 이 화상 안으로부터, 주먹의 형상과 이 주먹으로부터 돌출된 손가락의 선단 위치를 인식하여 추출한 후, 연산에 의해 주먹의 면적의 분포 무게 중심의 좌표와 손가락끝의 좌표를 산출하는 단계와, 상기 광을 투사하는 단계와 2차원 화상을 취득하는 단계와 주먹의 무게 중심 좌표 및 손가락끝 좌표를 산출하는 단계를 반복하여, 이 반복의 전후에서의 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리를 비교하고, 상기 반복의 전후로 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리가 변화하지 않은 경우는, 상기 주먹을 포함하는 손끝이 상기 가상 촬영 평면 방향으로 슬라이드 이동했다고 판정하고, 상기 반복의 전후로 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리가 변화한 경우는, 이 손가락끝이 상기 손끝의 손목 또는 팔꿈치를 지점으로 상하 방향으로 회동했다고 판정하는 단계를 포함하는 입력체의 움직임 검출 방법을 제1 요지로 한다.
또, 동일한 목적을 달성하기 위해, 본 발명은, 디바이스의 입력체로서 사용하는 주먹을 포함하는 손끝의 상측 또는 하측에 배치된 광원과, 상기 손끝에 대하여 상기 광원과 동일한 쪽에 배치된 광학적 촬상 수단과, 이들 광원과 광학적 촬상 수단을 제어하는 제어 수단과, 상기 광원으로부터 손끝을 향하여 투사된 광의 반사를 2차원 화상으로서 취득하여, 이 2차원 화상으로부터, 주먹의 형상의 분포 무게 중심에 해당하는 좌표와 이 주먹으로부터 돌출된 손가락의 선단 위치에 해당하는 좌표를 산출하는 형상 인식 수단과, 정해진 시간 간격 전후로 상기 주먹의 무게 중심 좌표와 상기 손가락끝 좌표 사이의 거리를 비교하여, 이 거리가 상기 시간 간격 전후로 축소 또는 확대된 경우에, 그 때의 손끝의 움직임을, 상기 광학적 촬상 수단의 가상 촬영 평면에 대한 손가락의 상하 이동으로서 판단하는 움직임 판정 수단을 포함하는 입력 디바이스를 제2 요지로 한다.
즉, 본 발명자는, 상기 과제를 해결하기 위해 예의 연구를 거듭하여, 1대의 카메라로 촬영했을 때의 손끝의 움직임(화상)을 상세히 검증했다. 그리고, 손끝 중에서도, 손가락끝 부분의 움직임과, 주먹(손바닥) 부분의 움직임에 차이가 있는 것을 발견하고, 그것에 착안하여 더욱 연구를 거듭했다. 그 결과, 손끝을 기울였을 때라도 비교적 이동이 적은 주먹의 무게 중심 좌표(화상상의 도트 분포의 무게 중심점이며, 손목의 회동 지점에 가까운 대략 부동점)를 기준으로, 손끝을 기울였을 때 크게 이동하는 손가락끝의 좌표의 움직임을 추적함으로써, 상기 카메라의 촬영면에 대하여 수직인 방향 성분을 포함하는 손가락끝의 움직임(즉 「상하 이동」)을 검출할 수 있는 것을 발견하여 본 발명에 도달했다.
본 발명은, 이상과 같은 지견에 근거하여 이루어진 것으로, 본 발명의 입력체의 움직임 검출 방법은, 주먹을 포함하는 손끝을 향해서 광을 투사하는 단계와, 1대의 광학적 촬상 수단으로, 이 손끝에 의한 상기 광의 반사를 2차원 화상으로서 취득하는 단계와, 이 화상 안으로부터, 주먹의 면적의 분포 무게 중심의 좌표와 손가락끝의 좌표를 인식하는 단계와, 상기 각 단계를 반복하여, 그 반복의 전후에서의 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리를 비교하고, 이 비교 결과로부터, 상기 손가락끝 및 주먹의 움직임을 판정하는 단계를 포함한다. 이에 따라, 본 발명의 입력체의 움직임 검출 방법은, 상기 반복의 전후로 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리가 변하지 않은 경우는, 상기 주먹을 포함하는 손끝 전체가 상기 광학적 촬상 수단의 촬영 평면(가상 평면) 방향으로 슬라이드 이동했다고 판정하고, 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리가 변화한 경우는, 이 손가락끝이 상기 손끝의 손목 또는 팔꿈치를 지점으로, 상기 촬영 평면에 대하여 상하 방향으로 회동했다고 판정한다. 따라서, 본 발명의 입력체의 움직임 검출 방법은, 1대의 광학적 촬상 수단만을 이용하여, 그 화상 해석으로부터 사람의 손끝의 3차원적인 움직임을 검출할 수 있다.
또, 본 발명의 입력 디바이스는, 광원과, 상기 광원과 동일한 쪽에 배치된 광학적 촬상 수단과, 제어 수단과, 상기 광학적 촬상 수단으로 얻어진 2차원 화상으로부터, 주먹의 형상의 분포 무게 중심의 좌표와 손가락의 선단의 좌표를 산출하는 형상 인식 수단과, 정해진 시간 간격 전후로 상기 주먹의 무게 중심 좌표와 상기 손가락끝 좌표 사이의 거리를 비교하는 움직임 판정 수단을 포함하고 있다. 그 때문에, 상기 주먹의 무게 중심 좌표와 상기 손가락끝 좌표 사이의 거리가, 상기 시간 간격 전후로 축소 또는 확대된 경우에, 그 때의 손끝의 움직임을, 상기 광학적 촬상 수단의 가상 촬영 평면에 대한 손가락의 상하 이동(광학적 촬상 수단에 대하여 수직 방향의 움직임)으로서 판단할 수 있다. 이에 따라, 본 발명의 입력 디바이스는, 장비되어 있는 1대의 광학적 촬상 수단만을 이용하여, 그 화상 해석으로부터 사람의 손끝의 3차원적인 움직임을 검출하는 것이 가능해진다.
또, 본 발명의 입력 디바이스는, 상기와 같이, 1대의 광학적 촬상 수단만 있으면 되기 때문에, 간단한 설비 및 저비용으로, 3차원적인 움직임을 검출하는 입력 디바이스를 구성할 수 있다. 더구나, 상기 광학적 촬상 수단(카메라 등)의 배치의 자유도가 향상되기 때문에, 이 카메라 등을, 조작자가 의식하지 않는 위치에 배치하는(숨기는) 것이 가능해진다. 따라서, 본 발명의 입력 디바이스는, 조작 초보자라도 입력이 용이한, 직감적이고 사용자 친화적인 디바이스로 할 수 있다.
도 1의 (a)∼(c)는, 본 발명의 실시형태의 입력 디바이스에서의 손끝의 좌표의 검출 방법을 설명하는 도면이다.
도 2는 본 발명의 입력 디바이스 내에서의 손끝의 움직임의 제1 패턴을 나타내는 도면이다.
도 3의 (a), (b)는, 본 발명의 실시형태의 입력 디바이스에서의 손끝의 움직임(XY 방향)의 검출 방법을 설명하는 도면이다.
도 4는 본 발명의 입력 디바이스 내에서의 손끝의 움직임의 제2 패턴을 나타내는 도면이다.
도 5의 (a), (b)는, 본 발명의 실시형태의 입력 디바이스에서의 손끝의 움직임(Z방향)의 검출 방법을 설명하는 별도의 도면이다.
도 6은 본 발명의 입력 디바이스에서의 카메라 유닛의 다른 배치예를 나타내는 도면이다.
도 7은 본 발명의 입력 디바이스에서의 카메라 유닛의 또 다른 배치예를 나타내는 도면이다.
도 8은 종래의 입력 디바이스에서의 3차원 위치 계측 시스템을 설명하는 도면이다.
다음으로, 본 발명의 실시형태를 도면에 기초하여 자세히 설명한다. 단, 본 발명은 이 실시형태에 한정되는 것은 아니다.
도 1의 (a)는, 본 발명의 실시형태의 입력 디바이스에서의 손끝(H)의 좌표의 검출 방법을 설명하는 도면이고, 도 1의 (b)는 상기 입력 디바이스의 광학적 촬상 수단(카메라(C))으로 촬영한 2차원(가상 촬영 평면(P))의 화상(H')의 모식도, 도 1의 (c)는 상기 손끝(H)의 2차원 화상(H')을 2치화한 화상(H")의 모식도이다. 또한, 도 1을 포함하여, 후술하는 각 도면에서는, 카메라(C)와 광원(L)을 제어하는 제어 수단이나 형상 인식 수단, 움직임 판정 수단 등의 기능을 갖추며, 상기 카메라(C)와 접속되는 컴퓨터의 도시를 생략하고 있다.
본 실시형태에서의 입력 디바이스는, 디바이스의 입력체로서 사용하는, 주먹을 포함하는 손끝(H)의 3차원의 움직임을, 하나의 광학적 촬상 수단(카메라(C))으로 검출하기 위한 것이며, 도 1의 (a)와 같이, 상기 손끝(H)의 하측(대략 수직 하측)에, 이미지 센서를 포함하는 카메라(C)와, 이 카메라(C)의 주위에 배치된 복수의 광원(L)을 포함하는 카메라 유닛이 배치되어 있다.
그리고, 이 입력 디바이스는, 형상 인식 수단(도시 생략)에 의해, 상기 각 광원(L)으로부터 손끝(H)을 향하여 투사된 광의 반사(이미지)를, 도 1의 (b)에 나타낸 바와 같이, XY 방향의 좌표축을 갖는 가상 촬영 평면(P) 상의 2차원 화상(H')으로서 취득한 후, 이 취득한 2차원 화상(H')을, 도 1의 (c)와 같이, 임계값에 기초하여 2치화한 후에, 그 2치화 화상(H") 안으로부터, 상기 손끝(H)의 주먹의 형상(도면 중의 실선 사선 부분)을 식별하여, 이 주먹의 면적 분포의 무게 중심에 해당하는 좌표(무게 중심 좌표(G))를 산출ㆍ특정하고, 상기 2치화 화상(H") 안으로부터, 주먹으로부터 돌출된 손가락(도면 중의 점선 사선 부분)을 식별하여, 그 선단 위치에 해당하는 좌표(손가락끝 좌표(T))를 산출ㆍ특정한다.
또한, 상기 입력 디바이스는, 상기 광원(L)으로부터의 광의 투사와, 카메라(C)에 의한 2차원 화상(H')의 취득과, 이 2차원 화상에 기초하는 주먹의 무게 중심 좌표(G) 및 손가락끝 좌표(T)의 산출을 반복하고, 움직임 판정 수단(도시 생략)에 의해, 상기 반복의 전후로 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리가 변화한 경우〔도 4 및 도 5의 (a) 참조〕에, 그 때의 손끝(H)의 움직임을, 상기 카메라(C)의 가상 촬영 평면(P)에 대한 손가락의 상하 이동(Z방향의 움직임)으로서 판단하도록 되어 있다. 이것이 본 발명의 입력 디바이스의 특징이다.
상기 입력 디바이스 및 그 입력체(손끝(H))의 움직임의 검출에 이용되는 검출 방법을 보다 자세히 설명하면, 상기 손끝(H)의 하측에 배치되는 카메라 유닛은, 도 1의 (a)와 같이, 카메라(C)와, 이 카메라(C)의 주위에 배치된 복수(이 예에서는 3개)의 광원(L)으로 구성되어 있다. 상기 카메라(C)로는, CMOS 혹은 CCD 등의 이미지 센서를 이용할 수 있다. 또한, 본 발명의 입력 디바이스에서 사용하는 광학적 촬상 수단으로는, 상기 CMOS 이미지 센서 또는 CCD 이미지 센서를 이용한 카메라(C) 외에, 포토다이오드, 포토트랜지스터, 포토 IC, 포토리플렉터 등의 광전 변환 소자를 이용한 각종 광학식 센서, 구체적으로는, 1차원 또는 2차원 PSD(Position Sensitive Detector)나, 초전형 적외선 센서, CdS 센서 등을 이용할 수 있다.
또, 상기 광원(L)으로는, 예컨대, 적외 LED 등의 발광체 혹은 램프 등을 이용할 수 있다. 또한, 상기 광원(L)으로는, 입력하는 조작자의 시계를 방해하지 않도록, 가시광 이외의 영역의 광을 발하는 발광체를 사용하는 것이 바람직하다. 또한, 상기 카메라 유닛은, 입력체(손끝(H))의 하측에 손끝(H)에 대하여 경사지게 배치(도 6 참조)해도 좋고, 상기 손끝(H)의 상측에 배치(도 7 참조)해도 좋다.
상기 입력 디바이스의 검지 영역 내에 넣은 손끝(H)의 움직임의 검출 방법을, 그 과정(단계)마다 순서대로 설명한다.
상기 손끝(H)의 움직임을 검출할 때에는, 우선, 도 1의 (a)에 나타낸 바와 같이, 주먹을 포함하는 손끝(H)의 하측(또는 상측)에 배치된 각 광원(L)으로부터, 이 손끝(H)을 향해서 광을 투사한다. 또한, 이 투광은 간헐 발광이어도 좋다〔투광 단계〕. 이어서, 광을 투사한 상태로, 상기 손끝(H)에 대하여 광원(L)과 동일한 쪽(이 예에서는 하측)에 배치된 카메라(C)에 의해 이 손끝(H)을 촬영하고, 그 손끝(H)에 의한 상기 광의 반사(반사광 혹은 반사 이미지)를, 도 1의 (b)에 나타낸 바와 같이, 서로 직교하는 XY 방향의 좌표축을 갖는 2차원 화상(H')(가상 촬영 평면(P)에 대응하는 화상)으로서 취득한다〔촬상 단계〕.
다음으로, 얻어진 상기 2차원 화상(H')을 임계값에 기초하여 2치화한 후, 도 1의 (c)에 나타낸 바와 같이, 그 2치화 화상(H") 안으로부터, 상기 손끝(H)의 주먹의 형상(도면 중의 실선 사선 부분)을 식별하여, 이 주먹의 면적의 분포 무게 중심에 해당하는 좌표(무게 중심 좌표(G))를 연산에 의해 산출한다. 마찬가지로, 상기 2치화 화상(H") 안으로부터, 주먹으로부터 돌출된 손가락(도면 중의 점선 사선 부분)을 식별하여, 그 선단 위치에 해당하는 좌표(손가락끝 좌표(T))를 연산에 의해 산출한다. 그리고, 이들 주먹의 무게 중심 좌표(G) 및 손가락끝 좌표(T)를, 제어 수단(컴퓨터) 등의 기억 수단에 기억한다〔좌표 특정 단계〕.
그 후, 결정된 시간 간격으로 상기 광을 투사하는 단계〔투광 단계〕와, 2차원 화상을 취득하는 단계〔촬상 단계〕와, 주먹의 무게 중심 좌표(G) 및 손가락끝 좌표(T)를 산출하는 단계〔좌표 특정 단계〕를 반복하고, 이 반복후의 주먹의 무게 중심 좌표(G) 및 손가락끝 좌표(T)를 다시 계측한다〔계측 단계〕.
그리고, 상기 반복의 경과 전후의 주먹의 무게 중심 좌표(G)(Xm, Yn)와 손가락끝 좌표(T)(Xp, Yq)의 값을 이용하여, 상기 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리의 변화를 산출하고, 그 결과에 따라, 상기 손끝(H)의 움직임을 후술하는 2개의 패턴, 즉, 손끝(H)이 수평으로 슬라이드한 제1 패턴(도 2 참조)인지, 손끝(H)이 상하로 흔들린 제2 패턴(도 4 참조)인지를 판정하고, 상기 손가락끝 좌표(T)의 이동 방향(XYZ 방향)과 그 이동량을, 제어 수단 등을 통해 표시 장치 등의 외부에 출력한다〔판정 단계〕.
상기 손끝(H)의 움직임을 판정하는 제1 패턴으로서, 우선, 도 2에 나타낸 바와 같은, 손끝(입력체)이 수평 방향으로 슬라이드 이동(H0→H1)한 경우를 설명한다. 이와 같이, 손끝(H0)이 손끝(H1)까지 슬라이드한 경우, 앞서 설명한 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T)는, 도 3의 (a)의 2치화 화상과 같이 이동한다. 즉, 주먹의 무게 중심 좌표(G)는, 도면 중에 이점쇄선으로 표시되는 이동전의 최초의 위치(좌표(G0))로부터, 실선으로 나타내는 이동후의 위치(좌표(G1))까지 이동하고, 상기 손가락끝 좌표(T)는, 상기 주먹의 무게 중심 좌표(G)와 평행하게, 이동전의 최초의 위치(좌표(T0))로부터, 실선으로 나타내는 이동후의 위치(좌표(T1))까지 이동한다. 이 때, 상기 계측 단계의 반복에 의해, 이동전의 손끝(H0)의 주먹의 무게 중심 좌표(G0)와 손가락끝 좌표(T0) 사이의 거리(d0)와, 이동후의 손끝(H1)의 주먹의 무게 중심 좌표(G1)와 손가락끝 좌표(T1) 사이의 거리(d1)가 산출된다. 그리고, 상기 판정 단계에 의해, 상기 이동전의 좌표(G0)-좌표(T0) 사이의 거리(d0)와, 이동후의 좌표(G1)-좌표(T1) 사이의 거리(d1)를 비교하여, 이들 사이에 차가 없으면(변화가 없으면), 이 입력 디바이스의 움직임 판정 수단이, 손끝(H)이 도 2와 같이 수평 방향으로 슬라이드 이동했다고 판단하고, 이동후의 손가락끝 좌표(T1)의 XY 좌표치 혹은 손가락끝 좌표(T)의 이동 방향과 거리(좌표(T0)-좌표(T1) 사이)를, 입력체의 데이터로서 외부에 출력한다.
또한, 상기 손끝(H)의 움직임을 판정할 때, 도 3의 (b)에 나타낸 바와 같이, XY 방향의 좌표축을 갖는 가상 촬영 평면(P) 상에, 상기 손가락끝 좌표(T)의 움직임(T0→T1)을 영역마다 4개의 방향〔X(+), X(-), Y(+), Y(-)〕에 할당하는 식별 영역을 설정해 두어도 좋다. 이와 같이 구성하면, 상기 판정 단계에 의한 손끝(H)의 움직임의 판정과 동시에, 상기 입력 디바이스를, 컴퓨터 등에서의 마우스 장치나 태블릿 장치 등과 같이, 상기 손끝(H)의 움직임에 대응하여 이 손가락끝 좌표(T)의 이동에 의해 4방향(XY 각각의 +- 방향)의 신호를 간이적으로 출력하는 포인팅 디바이스로서 기능시킬 수 있다. 또한, 상기 식별 영역에서의 영역의 설정 각도 α나 형상, 배치 등은, 상기 신호를 출력하는 기기나 애플리케이션 등에 따라서 설정하면 된다.
다음으로, 상기 판정 단계에서 손끝(H)의 움직임을 판정하는 제2 패턴으로서, 도 4에 나타낸 바와 같이, 손끝(입력체)이 상하 이동(H0→H2)한 경우는, 상기 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T)는, 도 5의 (a)의 2치화 화상과 같이 이동한다. 즉, 상기와 같은 경우, 상기 손끝(H)의 움직임은, 손목 또는 팔꿈치 등을 지점으로 한 회동 운동이므로, 주먹의 무게 중심 좌표(G)는, 도면 중에 이점쇄선으로 표시되는 이동전의 최초의 위치(좌표(G0))로부터 거의 이동하지 않고, 근방의 실선으로 나타내는 위치(좌표(G2))에 멈춘다. 한편, 손가락끝 좌표(T)는, 상기와 같은 손목 또는 팔꿈치 등을 지점으로 한 회동 운동이라 하더라도, 이동전의 최초의 위치(좌표(T0))로부터 비교적 떨어진, 실선으로 나타내는 이동후의 위치(좌표(T2))까지 이동하여, 주먹의 무게 중심 좌표(G) 위치에 근접하도록 움직인다. 이 때, 앞서 설명한 슬라이드 이동의 패턴과 마찬가지로, 상기 계측 단계의 반복에 의해, 이동전의 손끝(H0)의 주먹의 무게 중심 좌표(G0)와 손가락끝 좌표(T0) 사이의 거리(d0)와, 이동후의 손끝(H2)의 주먹의 무게 중심 좌표(G2)와 손가락끝 좌표(T2) 사이의 거리(d2)를 산출하여, 상기 판정 단계에 의해 상기 이동전의 거리(d0)와 이동후의 거리(d2)를 비교해 보면, 이동후의 거리(d2)가 짧게(d2<d0) 되어 있는 것을 알 수 있다. 이에 따라, 상기 입력 디바이스 및 그 움직임 판정 수단은, 상기 손끝(H)이 도 4와 같이 상하 방향(Z방향)으로 요동했다고 판단하고, 그 신호를 입력체의 데이터로서 외부에 출력한다.
상기 손끝(H)의 Z축 방향으로의 상하 이동, 즉, 2치화 화상 위에서 상기 손가락끝 좌표(T)가 무게 중심 좌표(G)에 근접하는 움직임의 검출 방법(화상 처리의 플로우)을 보다 자세히 설명하면, 우선 앞서 설명한 바와 같이, 주먹을 포함하는 손끝(H)의 하측에 배치된 각 광원(L)(적외 LED)으로부터 적외선을 투사하고, 마찬가지로 손끝(H)의 하측에 배치된 카메라(C)로 손끝(H)의 반사(2차원 화상)를 촬영하여, 이 2차원 화상에 XY 방향의 좌표축을 할당한다. 이어서, 형상 인식 수단(프로그램)에 의해, 2치화하기 위한 밝기(휘도)의 임계치를 최적으로 설정하여, 상기 2차원 화상에 2치화 처리를 실시한 후에, 세선화 처리에 의해, 도 5의 (a)와 같이 손끝(H)의 외형 형상을 선명하게 한다.
다음으로, 상기 선명하게 한 2치화 화상을 이용하여, 형상 인식 수단(프로그램)에 의해 손가락의 부위를 식별하여, 그 선단 부분에 해당하는 좌표〔손가락끝 좌표(T)(Xp, Yq)〕를 산출한다. 이어서, 같은 프로그램에 의해, 상기 손끝(H)의 주먹의 형상(도 1의 (c)의 실선 사선 부분을 참조)을 식별하여, 이 주먹의 면적 분포의 무게 중심에 해당하는 좌표〔무게 중심 좌표(G)(Xm, Yn)〕를 산출한다.
이 산출시에, 무게 중심 좌표(G)의 X축 방향의 좌표의 연산에는, 하기 식(1)이 이용된다.
무게 중심 좌표(G)의 Xm=주먹의 형상 내에 존재하는 화소의 X좌표의 값의 합계치/주먹의 형상 내에 존재하는 화소의 수ㆍㆍㆍ(1)
또, 무게 중심 좌표(G)의 Y축 방향의 좌표의 연산에는, 하기 식(2)가 이용된다.
무게 중심 좌표(G)의 Yn=주먹의 형상 내에 존재하는 화소의 Y좌표의 값의 합계치/주먹의 형상 내에 존재하는 화소의 수ㆍㆍㆍ(2)
다음으로, 손가락끝 좌표(T)(Xp, Yq) 및 주먹의 무게 중심 좌표(G)(Xm, Yn)가 특정된 지점에서, 앞서 설명한 바와 같이, 상기 광을 투사하는 단계〔투광 단계〕와, 2차원 화상을 취득하는 단계〔촬상 단계〕와, 주먹의 무게 중심 좌표(G) 및 손가락끝 좌표(T)를 산출하는 단계〔좌표 특정 단계〕를 반복하여, 도 5의 (a)와 같이, 이동전의 손끝(H0)의 주먹의 무게 중심 좌표(G0)와 손가락끝 좌표(T0) 사이의 거리(d0)와, 이동후의 손끝(H2)의 주먹의 무게 중심 좌표(G2)와 손가락끝 좌표(T2) 사이의 거리(d2)를 비교한다.
이들 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리(d)의 비교 방법에 관해 더욱 자세히 설명한다. 도 5의 (b)는, 상기 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리(d)의 비교 방법을 원리적으로 설명하는 도면이다.
상기 주먹의 무게 중심 좌표(G)와 손가락끝 좌표(T) 사이의 거리(d)를 비교하여, 손끝(H)이 상하 이동했다고 판단하는 경우, 본 예에서는, 이 거리(d)의 차에 임계값(하한)을 설정하는 것 외에, 또 하나의 조건이 설정되어 있다. 그 조건이란, 도 5의 (b)에 나타낸 바와 같이, 이동전의 손끝(H0)의 주먹의 무게 중심 좌표(G0)와 손가락끝 좌표(T0)를 연결한 선분(A)과, 이동후의 손끝(H2)의 주먹의 무게 중심 좌표(G2)와 손가락끝 좌표(T2)를 연결한 선분(B) 사이의 각도(θ)〔도면상에서는, 기준선과 선분(A)이 이루는 각도(θ1)와, 동일한 기준선과 선분(B)이 이루는 각도(θ2)의 차(θ1-θ2)의 절대치로서 표시됨〕가 정해진 임계값 이하인 것이다. 이 조건은, 0011 등의 동작을, 상기 손끝(H)의 상하 이동으로 오판정하지 않기 위해 설정되어 있는 것으로, 이와 같이 상기 움직임 판정 수단 또는 움직임 판정 프로그램에, 상기 「거리(d)의 차」가 설정치 이상이고, 또한, 「각도(θ1)와 각도(θ2)의 차」가 설정치 이상이라는 판단 기준을 설정함으로써, 상기 손가락의 절곡 동작 등이 손끝(H)의 상하 이동이라는 오판정을 방지할 수 있다. 또한, 손끝(H)의 움직임이 상기 2개의 조건을 동시에 만족시키지 않는 경우, 그 손끝의 움직임은, 앞서 설명한 손끝(H)의 슬라이드 이동(상기 제1 패턴)으로서 판단되도록 되어 있다.
상기와 같이, 본 발명의 입력체의 움직임 검출 방법은, 상기 주먹의 무게 중심 좌표(G)와 상기 손가락끝 좌표(T) 사이의 거리가 계측의 전후로 축소 또는 확대된 경우에, 그 때의 손끝(H)의 움직임을, 상기 광학적 촬상 수단(카메라(C))의 가상 촬영 평면(P)에 대한 손가락의 상하 이동으로서 판단할 수 있다.
또, 상기 입력체의 움직임 검출 방법을 이용한 본 발명의 입력 디바이스는, 상기 손끝(H)의 하측 또는 상측에 배치된 1대의 카메라(C)만을 이용하여, 그 화상 해석으로부터 사람의 손끝(H)의 Z축 방향으로의 움직임, 즉 3차원적인 움직임을 검출할 수 있다.
또한, 상기 입력 디바이스는, Z축 방향으로의 움직임이 검출 가능하기 때문에, 예컨대, 손끝(H)의 수평 방향(XY 방향)으로의 움직임을 표시 장치 등의 커서 이동 조작에 할당하고, 상기 Z축 방향으로의 움직임을 결정(클릭) 조작에 할당하는 것도 가능하다.
또, 다른 조작 방법으로서, X축(좌우) 방향 및 Z축(상하) 방향의 손끝(H)의 움직임을 표시 장치상의 대상물의 이동 조작에 할당하고, Y축(전후) 방향의 움직임을 상기 대상물의 확대ㆍ축소 조작에 할당할 수 있다. 이와 같이, 본 발명의 입력 디바이스는, 3차원(3D) 영상 등에 대해서도, 원래의 3차원(XYZ의 3축) 정보에 적합한 조작이 가능하다. 또, 현실의 3차원 공간과 동일한 조작 환경에 근접함으로써, 보다 직감적인 조작이 가능해진다는 장점도 있다.
또한, 앞에서도 설명한 바와 같이, 본 발명의 입력체의 움직임 검출 방법은, 상기 카메라 유닛을, 입력체(손끝(H))의 하측에 경사형으로 배치(도 6)하더라도, 상기 손끝(H)의 상측에 배치(도 7)하더라도, 마찬가지로 사람의 손끝(H)의 3차원적인 움직임을 검출할 수 있다. 즉, 도 6과 같이, 손끝(H)의 하측에 경사형으로 배치한 경우, 이 광학적 촬상 수단(카메라(C))은, 상기 손끝(H)의 바로 아래에 배치한 경우(도 4)와 마찬가지로, 가상 촬영 평면(P')에 대한 손끝(H)의 상하 이동(Z방향의 움직임)을 인식ㆍ판정할 수 있다.
또, 도 7과 같이, 손끝(H)의 상측에 배치한 경우에도, 마찬가지로 광학적 촬상 수단(카메라(C))이 가상 촬영 평면(P")에 대한 손끝(H)의 상하 이동(Z방향의 움직임)을 인식ㆍ판정하는 것이 가능하다. 따라서, 상기 카메라 유닛은, 손끝(H)이 팔이나 그 밖의 촬상의 장애가 되는 것에 가려서 그림자가 되지 않는 위치라면, 어떻게 배치해도 좋다. 단, 본 발명의 광학적 촬상 수단은 상기 손끝(H)의 반사광을 촬상ㆍ인식하는 것이기 때문에, 카메라 유닛을 구성하는 카메라(C)와 광원(L)은, 입력체(손끝(H))에 대하여 상측 또는 하측의 동일한 쪽에 배치된다.
상기 실시예에서는 본 발명에서의 구체적인 형태에 관해 나타냈지만, 상기 실시예는 단순한 예시에 지나지 않으며, 한정적으로 해석되는 것은 아니다. 당업자에게 분명한 여러가지 변형은, 본 발명의 범위내인 것이 의도되어 있다.
본 발명의 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스는, 복수대의 카메라를 이용하지 않고 1대의 카메라만을 이용하여, 사람의 손끝의 3차원적인 움직임을 검출할 수 있다. 이에 따라, 3차원(3D) 영상 등에 대해서도, 현실의 3차원 공간과 마찬가지로, 보다 직감적인 조작이 가능해진다.
H : 손끝 C : 카메라
L : 광원 P : 가상 촬영 평면
G : 주먹의 무게 중심 좌표 T : 손가락끝 좌표

Claims (2)

  1. 입력 디바이스에서 좌표의 입력에 이용되는 손끝의 3차원의 움직임을 하나의 광학적 촬상 수단으로 검출하는 방법으로서, 주먹을 포함하는 손끝의 상측 또는 하측에 배치된 광원으로부터, 이 손끝을 향해서 광을 투사하는 단계와, 상기 손끝에 대하여 광원과 동일한 쪽에 광학적 촬상 수단을 배치하여, 이 손끝에 의한 상기 광의 반사를 가상 촬영 평면상의 2차원 화상으로서 취득하는 단계와, 상기 2차원 화상에, 서로 직교하는 2축의 좌표를 할당하여, 이 화상 안으로부터, 주먹의 형상과 이 주먹으로부터 돌출된 손가락의 선단 위치를 인식하여 추출한 후, 연산에 의해 주먹의 면적의 분포 무게 중심의 좌표와 손가락끝의 좌표를 산출하는 단계와, 상기 광을 투사하는 단계와 2차원 화상을 취득하는 단계와 주먹의 무게 중심 좌표 및 손가락끝 좌표를 산출하는 단계를 반복하는 단계와, 이 반복의 전후에서의 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리를 비교하고, 상기 반복의 전후로 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리가 변화하지 않은 경우는, 상기 주먹을 포함하는 손끝이 상기 가상 촬영 평면 방향을 따라서 슬라이드 이동했다고 판정하고, 상기 반복의 전후로 상기 주먹의 무게 중심 좌표와 손가락끝 좌표 사이의 거리가 변화한 경우는, 이 손가락끝이 상기 손끝의 손목 또는 팔꿈치를 지점(支点)으로 상하 방향으로 회동했다고 판정하는 단계를 포함하는 것을 특징으로 하는, 입력체의 움직임 검출 방법.
  2. 디바이스의 입력체로서 사용하는 주먹을 포함하는 손끝의 상측 또는 하측에 배치된 광원과, 상기 손끝에 대하여 상기 광원과 동일한 쪽에 배치된 광학적 촬상 수단과, 이들 광원과 광학적 촬상 수단을 제어하는 제어 수단과, 상기 광원으로부터 손끝을 향하여 투사된 광의 반사를 2차원 화상으로서 취득하여, 이 2차원 화상으로부터, 주먹의 형상의 분포 무게 중심에 해당하는 무게 중심 좌표와 이 주먹으로부터 돌출된 손가락의 선단 위치에 해당하는 손가락끝 좌표를 산출하는 형상 인식 수단과, 정해진 시간 간격 전후로 상기 주먹의 무게 중심 좌표와 상기 손가락끝 좌표 사이의 거리를 비교하여, 이 거리가 상기 시간 간격 전후로 축소 또는 확대된 경우에, 그 때의 손끝의 움직임을, 상기 광학적 촬상 수단의 가상 촬영 평면에 대한 손가락의 상하 이동으로서 판단하는 움직임 판정 수단을 포함하는 것을 특징으로 하는, 입력 디바이스.
KR1020147005970A 2011-09-07 2012-08-24 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스 KR20140060297A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011194938 2011-09-07
JPJP-P-2011-194938 2011-09-07
PCT/JP2012/071456 WO2013035554A1 (ja) 2011-09-07 2012-08-24 入力体の動き検出方法およびそれを用いた入力デバイス

Publications (1)

Publication Number Publication Date
KR20140060297A true KR20140060297A (ko) 2014-05-19

Family

ID=47832004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147005970A KR20140060297A (ko) 2011-09-07 2012-08-24 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스

Country Status (7)

Country Link
US (1) US20140225826A1 (ko)
EP (1) EP2755115A4 (ko)
JP (1) JP2013069273A (ko)
KR (1) KR20140060297A (ko)
CN (1) CN103797446A (ko)
TW (1) TW201324258A (ko)
WO (1) WO2013035554A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
TWI488092B (zh) 2012-12-07 2015-06-11 Pixart Imaging Inc 光學式觸控裝置及其操作方法
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
NL2011182C2 (en) * 2013-07-17 2015-01-21 Aesthetic Interactions B V Luminaire system.
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
TWI507919B (zh) * 2013-08-23 2015-11-11 Univ Kun Shan 追蹤與記錄指尖軌跡的影像處理方法
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US9412012B2 (en) 2013-10-16 2016-08-09 Qualcomm Incorporated Z-axis determination in a 2D gesture system
WO2015065341A1 (en) * 2013-10-29 2015-05-07 Intel Corporation Gesture based human computer interaction
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
CN105843456B (zh) * 2015-01-16 2018-10-12 致伸科技股份有限公司 触控装置
CN106201116B (zh) * 2015-05-05 2021-10-22 联想(北京)有限公司 信息处理方法及电子设备
US10222869B2 (en) * 2015-08-03 2019-03-05 Intel Corporation State machine based tracking system for screen pointing control
JP6579866B2 (ja) * 2015-08-31 2019-09-25 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
CN105832343B (zh) * 2016-05-22 2020-04-03 上海大学 多维视觉手功能康复定量评估系统和评估方法
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
US11698457B2 (en) * 2019-09-04 2023-07-11 Pixart Imaging Inc. Object detecting system and object detecting method
CN111124116A (zh) * 2019-12-18 2020-05-08 佛山科学技术学院 一种虚拟现实中与远距离物体交互方法及系统
JP7286857B2 (ja) * 2021-07-20 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7052128B1 (ja) 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7163526B1 (ja) 2021-07-20 2022-10-31 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286856B2 (ja) * 2022-03-30 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3458543B2 (ja) * 1995-07-25 2003-10-20 株式会社日立製作所 手形状認識機能付き情報処理装置
JP2970835B2 (ja) 1995-08-14 1999-11-02 日本電気株式会社 三次元座標計測装置
JP2868449B2 (ja) * 1995-12-22 1999-03-10 株式会社エイ・ティ・アール通信システム研究所 手振り認識装置
EP0837418A3 (en) * 1996-10-18 2006-03-29 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
JPH1123262A (ja) 1997-07-09 1999-01-29 Nekusuta:Kk 三次元位置計測システム
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP2004171476A (ja) * 2002-11-22 2004-06-17 Keio Gijuku ハンドパターンスイッチ装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
CN102099775B (zh) * 2008-07-17 2014-09-24 日本电气株式会社 信息处理装置、记录有程序的存储介质以及目标移动方法
WO2012024022A2 (en) * 2010-08-20 2012-02-23 University Of Massachusetts Hand and finger registration for control applications

Also Published As

Publication number Publication date
TW201324258A (zh) 2013-06-16
JP2013069273A (ja) 2013-04-18
US20140225826A1 (en) 2014-08-14
EP2755115A1 (en) 2014-07-16
CN103797446A (zh) 2014-05-14
WO2013035554A1 (ja) 2013-03-14
EP2755115A4 (en) 2015-05-06

Similar Documents

Publication Publication Date Title
KR20140060297A (ko) 입력체의 움직임 검출 방법 및 그것을 이용한 입력 디바이스
US8971565B2 (en) Human interface electronic device
EP2904472B1 (en) Wearable sensor for tracking articulated body-parts
US9494415B2 (en) Object position determination
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
US8686943B1 (en) Two-dimensional method and system enabling three-dimensional user interaction with a device
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
JP2016038889A (ja) モーション感知を伴う拡張現実
JP2011524034A (ja) 対話型入力装置と、該装置のための照明組み立て品
US11640198B2 (en) System and method for human interaction with virtual objects
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
TWI471757B (zh) 懸浮及點擊手勢偵測裝置
TWI493382B (zh) 懸浮及點擊手勢偵測裝置
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
KR102300290B1 (ko) 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법
JP7371382B2 (ja) 位置指示装置、表示システム、位置指示方法、及びプログラム
WO2011007204A1 (en) Control method of a graphic interface
Kumazawa et al. Measurement of 3D-velocity by high-frame-rate optical mouse sensors to extrapolate 3D position captured by a low-frame-rate stereo camera
KR20160121963A (ko) 제스처 인식이 가능한 적외선 터치스크린 시스템
JP2013025484A (ja) データ入力装置
TWM486800U (zh) 可變更角度的雙用途體感偵測攝像裝置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid