KR100328648B1 - 핸드포인팅장치 - Google Patents

핸드포인팅장치 Download PDF

Info

Publication number
KR100328648B1
KR100328648B1 KR1019980009762A KR19980009762A KR100328648B1 KR 100328648 B1 KR100328648 B1 KR 100328648B1 KR 1019980009762 A KR1019980009762 A KR 1019980009762A KR 19980009762 A KR19980009762 A KR 19980009762A KR 100328648 B1 KR100328648 B1 KR 100328648B1
Authority
KR
South Korea
Prior art keywords
image
imaging
information
recognition
point
Prior art date
Application number
KR1019980009762A
Other languages
English (en)
Other versions
KR19980080509A (ko
Inventor
켄이찌 하라까와
켄이찌 우노
노리오 이가와
Original Assignee
다께나까 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다께나까 코포레이션 filed Critical 다께나까 코포레이션
Publication of KR19980080509A publication Critical patent/KR19980080509A/ko
Application granted granted Critical
Publication of KR100328648B1 publication Critical patent/KR100328648B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

정보입력자가 도착하는 정보입력공간의 상방에 서로 다른 방향에서 정보입력자를 조명하도록 방사(放射)범위가 조정된 한쌍의 근적외광조명장치를 설치함과 동시에 근적외광에 감도를 갖는 한쌍의 비디오카메라를 조명장치의 각각에 대응시켜 서로 다른 개소에 설치한다. 각 비디오카메라는 비디오카메라에 대응하는 조명장치에 의한 마루면상의 조명범위가 촬영범위에서 엇갈리고 또한 정보입력자가 촬상범위에 들어가도록 촬상범위가 조정되고 있다. 컨트롤러는 조명장치를 1개씩 점소등시키고 점등되어 있는 점등장치에 대응하는 비디오카메라로 정보입력자를 촬영하고 각 비디오카메라의 촬상에 의해 얻어진 화상에 근거하여 정보입력자를 추출하고 정보입력자가 손으로 지시한 위치 또는 방향을 판별한다.

Description

핸드포인팅 장치
발명의 배경
발명의 분야
본 발명은 핸드포인팅 장치에 관한 것으로 특히 인식대상자를 촬상하고 인식대상자가 지시한 위치 또는 방향을 판단하는 핸드포인팅 장치에 관한 것이다.
관련기술의 설명
종래로부터 소정의 정보를 표시하는 디스플레이, 디스플레이의 근방에 도착한 정보입력자를 조명하는 조명장치, 도착한 정보입력자를 서로 다른 방향에서 촬상하는 복수의 촬상장치를 갖추고 도착한 정보입력자가 디스플레이상의 임의의 위치에 의해 지시한 상황을 복수의 촬상위치에 의해 촬상하고 촬상에 의해 얻어진 복수의 화상에 근거하여 정보입력자를 인식하고 정보입력자가 지시한 디스플레이상의 위치를 판단하고 디스플레이상의 지시위치에 커서등을 표시함과 동시에 정보입력자가 엄지손가락을 들어 클릭동작을 행한 것을 검출하면 디스플레이상의 지시위치가 클릭되었다고 인식하여 소정의 처리를 행하는 핸드포인팅 입력장치가 알려져 있다(예를 들면 특개평 4-271423호 공보, 특개평 5-19957호 공보, 특개평 5-324181호 공보 등 참조).
상기의 핸드포인팅 입력장치에 의하면 정보입력자가 키보드와 마우스 등의 입력기기에 손을 대지 않고 정보처리장치에 대해 각종의 지시를 하거나 각종의 정보를 입력할 수 있으므로 정보처리장치를 이용하기 위한 조작의 간소화를 실현할 수 있다.
그러나 핸드포인팅 입력장치를 실제로 운용하는 환경하에서는 인식대상물체인 정보입력자의 주위에, 예를 들면 정보입력자의 하물과 쓰레기 등의 인식대상이 아닌 물체가 존재하고 있을 가능성이 있다. 조명장치에서 방출된 조명광은 정보입력자의 주위에도 조사되고 있으므로 상기와 같은 비인식대상물체가 정보입력자의 주위에 존재하고 있으면 촬상장치의 촬상에 의해 얻어진 화상중에 비인식대상물체가 고휘도의 물체로 존재하게 되므로 비인식대상물체를 정보입력자로 잘못 인식할 가능성이 높다.
이 정보자가 잘못 인식하는 것을 회피하기 위해서는 정보입력자의 인식의 휘도를 높게 할 필요가 있고, 예를 들면 휘도외에 복수의 화상특미량도 사용하여 종합적으로 정보입력자를 인식하는 등의 번잡한 화상처리(예를 들면 화상특미량의 하나인 윤곽형상에 근거한 패턴매칭 등)을 행할 필요가 있다. 따라서 촬상에 의해 얻어진 화상에 근거하여 인식등의 화상처리를 행하는 화상처리부에 다대한 부하가 첨가되므로 정보입력자로부터의 지시 판정에 시간이 걸리는 원인으로 되어 있다. 그리고 정보입력자로부터의 지시판정에 필요한 시간을 단축하기 위해서는 처리속도가 높은 화상처리부를 사용할 필요가 있고 장치의 가격이 비싸다라는 문제가 있다.
또한 종래에는 촬상에 의해 얻어진 화상상에서의 정보입력자의 특징점(예를 들면 검지손가락의 선단등)의 위치에서 연산(演算)에 의해 특징점의 3차원 좌표를 구하고 정보입력자가 지시한 디스플레이상의 위치를 판정하고 있으나 특징점의 3차원 좌표를 구하기 위한 연산처리가 복잡하고 상기와 같이 정보입력자의 지시 판정에 시간이 걸리는 원인으로 되어 있다.
또한 종래에는 엄지손가락을 올리는 동작을 클릭동작으로 미리 정해놓고 클릭동작으로서 엄지손가락을 올리는 동작만을 검출하도록 하고 있었으나 동작으로서의 자유도가 낮고 마음대로 사용하기에 불편하다는 문제가 있다. 그러나 클릭동작으로서 엄지손가락을 올리는 동작 이외에 다른 동작도 검출하도록 하면 클릭동작을 검출하기 위한 처리가 번잡해지고 클릭동작의 검출에 시간이 걸린다는 문제가 있다.
발명의 요약
본 발명은 상기 사실을 고려하여 이루어진 것으로 구성이 간단하고 인식대상자로부터의 지시판정에 필요한 시간을 단축할 수 있는 핸드포인팅장치를 제공하는 것을 제 1의 목적으로 한다.
또한 본 발명은 인식대상자로부터의 지시판정에 시간이 걸리지 않고 인식대상자가 지시하기 위한 동작의 자유도를 향상시킬 수 있는 핸드포인팅장치를 제공하는 것을 제 2의 목적으로 한다.
상기 목적을 달성하기 위한 제 1의 발명에 관한 핸드포인팅장치는 인식대상자를 조명하는 조명수단과 서로 다른 위치에 배치되고 상기 조명수단에 의해 조명된 인식대상자가 촬상범위내로 들어가고 또한 상기 조명수단에 의해 조명된 마루면상의 조명범위가 촬상범위에서 엇갈리도록 촬상범위가 각각 조정된 복수의 촬상수단과 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 상기 화상중의 상기 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단 등을 포함하여 구성한 것이다.
제 1의 발명에 있어서 인식대상자는 예를 들면 디스플레이의 표시화면등의 면상의 특정 위치를 지시하여도 좋고 특정 방향(예를 들면 인식대상자가 보아 특정 물체가 존재하고 있는 방향)을 지시하여도 좋다. 판단수단은 복수의 촬상수단의 각각에 의해 인식대상자가 특정 위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 화상중의 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 또는 방향을 판단한다. 이 지시된 특정 위치 또는 방향의 판단은 인식대상자의 특징점(인식대상자가 특정 위치 또는 방향을 지시한 동작에 따라 위치가 변화하는 점, 예를 들면 지시하는 동작을 행하고 있는 인식대상자의 신체의 소정 부분(예를 들면 손, 손가락 등)의 선단과 인식대상자가 파악하고 있는 지시기의 선단 등)의 3차원좌표를 연산하고 인식대상자의 위치와 특징점의 3차원 좌표에 근거하여 행할 수 있다.
또한 제 1의 발명에서는, 복수의 촬상수단의 촬상범위가 조명수단에 의해 조명된 인식대상자가 촬상범위내로 들어가고 또한 조명수단에 의해 조명된 마루면상의 조명수단이 촬상수단에서 엇갈리도록 각각 조정되어 있다. 이로써 인식대상자의 주위의 마루면상에 하물과 쓰레기 등의 비인식대상물체가 존재하고 있어 조명수단으로 조명되었다 하여도 이 비인식대상물체가 촬상수단의 촬상범위내에 들어가는 가능성이 낮아짐과 동시에 만일 비인식대상물체가 촬상범위내에 들어있다 하여도 조명수단으로 조명되어 있지 않으므로 그 휘도는 낮아진다. 이로써 촬상수단의 촬상에 의해 얻어진 화상에 대해서도 비인식대상물체에 상당하는 화상부가 존재할 확률이 낮고 또한 비인식대상물체에 상당하는 화상부가 존재하고 있다고 하여도 그 화상부의 휘도가 낮아진다.
그러므로 판단수단에서의 인식대상자에 상당하는 화상부의 추출에 있어서 복잡한 화상처리를 행하지 않고 인식대상자에 상당하는 화상부를 간단한 처리로 단시간에 추출할 수 있다. 따라서 처리속도가 빠르고 구성이 복잡한 화상처리부 등을 사용하지 않고 인식대상자로부터의 지시판정에 필요한 시간을 단축할 수 있다.
이상 설명한 바와 같이 제 1의 발명에 의하면 복잡한 촬상수단의 촬상범위를 조명수단에 의해 조명된 인식대상자가 촬상범위내에 들어가고 또한 조명수단에 의해 조명되는 마루면상의 조명범위가 촬상범위에서 엇갈리도록 각각 조정되었으므로 구성이 간단하고 인식대상자로부터의 지시판정에 필요한 시간을 단축한 핸드포인팅장치를 제공할 수 있다는 효과가 얻어진다.
제 2의 발명에 관한 핸드포인팅장치는 서로 다른 방향에서 인식대상자를 조명하는 복수의 조명수단과 상기 복수의 조명수단의 각각에 대응시켜 서로 다른 위치에 배치됨과 동시에 대응하는 조명수단에 의해 조명되는 인식대상자가 촬상범위에 들어가고 또한 그 대응하는 조명수단에 의해 조명된 마루면상의 조명범위가 촬상범위에서 엇갈리도록 촬상범위가 각각 조정된 복수의 촬상수단과, 복수의 촬상수단을 1개씩 순서대로 점소등(点消燈)시킴과 동시에 점등되어 있는 조명수단에 대응하는 촬상수단에 의해 특정 위치 및 방향의 한쪽을 지시하고 있는 인식대상자가 촬상되도록 제어하는 제어수단과 상기 복수의 촬상수단으로 촬상된 복수의 화상에 근거하고 상기 화상중의 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단 등을 포함하여 구성한 것이다.
제 2의 발명에서는 서로 다른 방향에서 인식대상자를 조명하는 복수의 조명수단이 설치되어 있고 이 복수의 조명수단에 대응시켜 서로 다른 위치에 복수의 촬상수단이 배치되어 있다. 복수의 촬상수단의 각각은 대응하는 조명수단에 의해 조명된 인식대상자가 촬상범위내로 들어가고 또한 이 대응하는 조명수단에 의해 조명되는 마루면상의 조명범위가 촬상범위에서 엇갈리도록 촬상범위가 각각 조정되고 있다. 이로써 제 1의 발명에서 설명한 바와 같이 인식대상자의 주위의 마루면상에 하물과 쓰레기 등의 비인식대상물체가 존재하고 있다하여도 이 비인식대상물체가 각 촬영수단의 촬상범위내에 들어가는 가능성이 낮아짐과 동시에 각 촬영수단의 촬상범위내에 들어갔다하여도 촬상된 화상의 휘도가 낮아진다.
또 제어수단은 복수의 조명수단을 1개씩 순서대로 점소등시킴과 동시에 점등되어 있는 조명수단에 대응하는 촬상수단에 의해 특정 위치 또는 방향을 지시하고 있는 인식대상자가 촬상되도록 제어하고 촬상에 의해 얻어진 화상을 촬상수단의 각각에서 출력시킨다. 이로써 만일 비인식대상물체가 촬상범위내에 들어있다하여도그 휘도가 낮은 상황에서 각 촬상수단에서의 촬상이 행해지게 된다.
그리고 판단수단은 복수의 촬상수단에서 각각 출력된 복수의 화상에 근거하고 화상내의 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 또는 방향을 판단한다. 이로써 제 1의 발명과 같이 비인식대상물체에 상당하는 화상부가 존재하는 확률이 낮고 또한 그 화상부가 존재하고 있다고 하여도 그 휘도가 낮은 복수의 화상에 근거하고 인식대상자에 상당하는 화상부의 추출이 행해지므로 복잡한 화상처리를 행하지 않고 인식대상자에 상당하는 화상부를 간단한 처리로 단시간에 추출할 수 있다.
따라서 처리속도가 빠르고 구성이 복잡한 화상처리부 등을 사용하지 않고 인식대상자로부터의 지시판정에 필요한 시간을 단축한 핸드포인팅장치를 제공할 수 있다는 효과가 얻어진다.
제 3의 발명에 관한 핸드포인팅장치는 서로 다른 방향에서 인식대상자를 조명하는 복수의 조명수단과 상기 조명수단에 의해 조명된 인식대상자를 촬상하는 적어도 1개의 촬상수단과 상기 복수의 조명수단을 1개씩 순서대로 점소등시킴과 동시에 조명수단의 각각의 점등시에 동일 촬상수단에 의해 특정 위치 및 방향의 한쪽을 지시하고 있는 인식대상자를 촬상하므로서 각각 얻어진 복수의 화상을 비교하고 상기 복수의 화상중의 상기 인식대상자에 상당하는 화상부와 그 화상부 이외의 화상부 등을 판별하는 것을 적어도 1개의 촬상수단에 대해 행하는 판별수단, 상기 판별수단에 의한 식별결과에 근거하고 상기 촬상수단이 촬상한 복수의 화상에서 인식대상자에 상당하는 화상부를 각각 추출하고 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단 등을 포함하여 구성한 것이다.
제 3의 판별수단은 복수의 조명수단을 1개씩 순서대로 점소등시킴과 동시에 조명수단의 각각의 점등시에 동일 촬상수단에 의해 특정위치 및 방향의 한쪽을 지시하고 있는 인식대상자를 촬상하므로서 각각 얻어진 복수의 화상을 비교하고 복수의 화상중의 인식대상자에 상당하는 화상부와 인식대상자에 상당하는 화상부 이외의 화상부를 판별하는 것을 적어도 1개의 촬상수단에 대해 행한다.
복수의 조명수단은 서로 다른 방향에서 인식대상자를 조명하므로 복수의 조명수단의 각각의 점등시에 동일의 촬상수단의 촬상에 의해 각각 얻어지는 복수의 화상은 인식대상자에 상당하는 화상부에 대해서는 항상 높은 휘도가 되고 인식대상자의 주위의 마루면상에 존재하는 하물과 쓰레기 등의 비인식대상물체에 상당하는 화상부에 대해서는 촬상시의 조명의 방향에 의해 휘도가 크게 변동한다. 따라서 화상중의 각 화상부의 휘도를 상기 복수의 화상에 걸쳐 비교(예를 들면 휘도의 평균치와 최저치를 각 화상부마다 비교)한다라는 매우 간단한 처리로 화상내의 인식대상자에 상당하는 화상부와 인식대상자에 상당하는 화상부 이외의 화상부를 판별할 수 있다.
그리고 판단수단은 판별수단에 의한 판별결과에 근거하고 촬상수단이 촬상한 화상에서 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 또는 방향을 판단한다. 따라서 번잡한 화상처리를 행할 필요 없이 인식대상자에 상당하는 화상부를 간단한 처리로 단시간에 추출할 수 있고 처리속도가 빠르고 구성이 번잡한 화상처리부 등을 사용하지 않으며 인식대상자로부터의 지시판정에 필요한시간을 단축할 수 있다.
제 4의 발명에 관한 핸드포인팅장치는 인식대상자를 조명하는 조명수단과 조명수단에 의해 조명된 인식대상자를 서로 다른 방향에서 촬상하는 복수의 촬상수단과 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정 위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 상기 화상중의 상기 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단과 상기 인식대상자의 주위의 마루면상에 인식대상물체가 정체하는 것을 방지하는 방지수단 등을 포함하여 구성한 것이다.
제 4의 발명에서는 인식대상자의 주위의 마루면상에 비인식대상물체가 정체하는 것을 방지하는 방지수단이 설치되어 있다. 이로써 인식대상자의 주위에 비인식대상물체가 정체하는 것이 방지되므로 촬상수단의 촬상에 의해 얻어진 화상중에 비인식대상물체에 상당하는 화상부가 존재하는 것을 방지할 수 있고 판단수단은 촬상에 의해 얻어진 화상에 근거하고 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 또는 방향을 판단하므로 복잡한 화상처리를 행하지 않고 인식대상자에 상당하는 화상부를 간단한 처리로 단시간에 추출할 수 있다. 따라서 처리속도가 빠르고 구성이 번잡한 화상처리부 등을 사용하지 않고 인식대상자로부터의 지시판정에 필요한 시간을 단축시킬 수 있다.
또한, 이 방지수단으로는 예를 들면 인식대상자의 주위의 마루면상에 형성된 경사면(슬로우프)을 사용할 수 있다. 이로써, 크기가 비교적 큰 비인식대상물체(예를 들면 인식대상자의 하물 등)가 인식대상자의 주위에 재치되었다 하여도 비인식대상물체가 경사면상을 미끄러져 떨어지게 되므로 인식대상자의 하물 등의 비인식대상물체가 인식대상자의 주위에 재치되는 것을 방지할 수 있다.
또한, 방지수단으로서 인식대상자의 주위에 공기의 흐름을 발생시키는 팬 등의 공기류발생수단을 적용하여도 좋다. 이로써 크기가 비교적 작은 비인식대상물체(예를 들면 작은 쓰레기나 먼지 등)는 발생한 공기류에 의해 날아가므로 작은 쓰레기 등의 비인식대상물체가 인식대상자의 주위에 체류하는 것을 방지할 수 있다. 또한 방지수단으로서 인식대상자의 주위에 물 등을 저유하는 저유통을 설치하여도 좋고 또한 이 저유통을 고리상(環狀)으로 하고 저유통내를 물 등이 순환하도록 구성하고 이를 방지수단으로 하여도 좋다.
제 4의 발명에 의하면 인식대상자의 주위의 마루면상에 비인식대상물체가 정체하는 것을 방지하는 방지수단을 설치하였으므로 구성이 간단하고 인식대상자로부터의 지시판정에 필요한 시간을 단축한 핸드포인팅장치를 제공할 수 있다는 효과가 얻어진다.
제 5의 발명에 관한 핸드포인팅장치는 소정 개소에 도착한 인식대상자를 조명하는 조명수단과 조명수단에 의해 조명된 인식대상자를 서로 다른 방향에서 촬상하는 복수의 촬상수단과 상기 소정 개소부근에 위치하고 있는 복수의 가상점의 각각의 3차원좌표와 각 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 상기 복수의 가상점의 각각의 위치를 대응시키기 위한 정보를 기억하는 기억수단과 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정 위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 각 화상중의 상기 인식대상자에 상당하는 화상부를 추출하여 상기 각 화상마다 인식대상자의 특징점의 위치를 구함과 동시에 구한 각 특징점의 위치 및 상기 기억수단에 기억된 정보에 근거하여 각 특징점의 3차원좌표를 구하고 구한 각 특징점의 3차원좌표에 근거하여 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단 등을 포함하여 구성한 것이다.
제 5의 발명에서는 소정 개소부근에 위치하고 있는 복수의 가상점의 각각의 3차원좌표와 복수의 촬상수단의 각각의 촬상에 의해 얻어지는 각 화상에서의 복수의 가상점의 각각의 위치를 대응시키기 위한 정보가 기억수단에 기억되고 있다. 판단수단은 복수의 촬상수단의 각각에 의해 인식대상자가 특정 위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어지는 복수의 화상에 근거하고 각 화상중의 인식대상자에 상당하는 화상부를 추출하여 각 화상마다 인식대상자의 특징점의 위치를 구한다. 그리고 구한 각 특징점의 위치 및 기억수단에 기억된 정보에 근거하여 각 특징점의 3차원좌표를 구하고 구한 각 특징점의 3차원좌표에 근거하여 인식대상자가 지시한 위치 및 방향의 한쪽을 판단한다.
이렇게 제 5의 발명에서는 소정 개소부근에 위치하고 있는 복수의 가상점의 각각의 3차원좌표와 각 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 복수의 가상점의 위치의 대응이 기억 수단에 기억되어 있는 정보로 미리 판명되어 있고 인식대상자의 특징점의 3차원좌표를 기억수단에 기억된 정보에 근거하여 구하고 있으므로 매우 간단한 처리로 인식대상자의 특징점의 3차원좌표를 구할 수 있다. 따라서 처리속도가 빠르고 구성이 복잡한 화상처리부 등을 사용하지 않고 인식대상자로부터의 지시판정에 필요한 시간을 단축할 수 있다.
그러나 제 5의 발명에 있어서 인식대상자의 특징점의 3차원좌표를 정도(精度) 좋게 구하기 위해서는 다수의 가상점에 대해 각각의 3차원좌표와 각 화상상에서의 각각의 위치를 대응시켜 기억해 놓는 것이 바람직하나 더욱 바람직하기로는 기억수단으로 소정 개소부근에 일정 간격으로 격자상(格子狀)으로 나열된 다수의 가상점의 각각의 3차원좌표와 각 촬상수단의 촬상에 의해 얻어지는 각 화상에서 이 다수의 가상점의 각각의 위치를 대응시키기 위한 정보를 기억하는 것이 바람직하다.
이렇게 다수의 가상점을 일정 간격으로 격자상으로 나열하므로서 특징점이 소정 개소부근의 어떤 위치에 위치하고 있다하여도 특징점에 근접한 위치에 가상점이 존재하게 된다. 3차원좌표상에서 근접한 위치에 존재하는 가능성이 높은 가상점의 3차원좌표에 근거하여 특징점의 3차원좌표를 구하므로서 특징점의 3차원좌표상에서의 위치에 관계 없이 특징점의 3차원좌표를 정도 좋게 구할 수 있다.
또한 상기와 같이 다수의 가상점이 일정 간격에서 격자상으로 나열되어 있는 경우, 특징점의 3차원좌표는 예를 들면 이하와 같이 구할 수 있다.
즉, 제 5의 발명의 판단수단은 각 화상마다 인식대상자의 특징점의 위치를 구한후에 화상상에서 특징점을 포함하는 소정 범위내의 영역에 위치하는 가상점을 각 화상에서 각각 추출하고 각화상에서 공통으로 추출된 가상점의 3차원좌표에 근거하여 특징점의 3차원좌표를 구할 수 있다.
이렇게 화상상에서의 특징점을 포함하는 소정 범위내의 영역에 위치하는 가상점을 각 화상에서 각각 추출하므로서 3차원좌표상에서 특징점에 근접한 영역에 존재하고 있는 가능성이 있는 가상점이 모두 추출된다. 또한 이 영역의 넓이는 가상점의 간격에 따라 정할 수 있다.
그리고 판단수단은 각 화상에서 공통으로 추출된 가상점의 3차원좌표에 근거하여 특징점의 3차원좌표를 구한다. 촬상수단의 촬상에 의해 얻어지는 화상은 촬상범위내의 상황, 즉 피사체를 평면에 투영시킨 화상이므로 촬상수단이 무겁게 보이는 위치관계에 있는 복수의 점은 3차원좌표가 달라도 촬상에 의해 얻어진 2차원화상상에서의 위치는 같아진다. 한편, 각 화상에서 공통으로 추출된 가상점은 3차원좌표상에서 특징점에 근접한 위치에 존재하고 있는 가상점이므로 공통으로 추출된 가상점의 3차좌표에서 특징점의 3차원좌표를 구하므로서 특징점의 3차원좌표를 더욱 정도 좋게 구할 수 있다.
또한, 기억수단으로 기억하는 정보는 인식대상자가 도착하는 소정 개소와 촬상수단의 위치관계가 정확하게 일정한 경우에는 소정 개소부근에 위치하고 있는 복수의 가상점의 각각의 3차원좌표 및 각 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 복수의 가상점의 각각의 위치를 실험등으로 측정하고 측정결과에 근거하여 고정적으로 설정하는 것도 가능하나 인식대상자가 도착하는 소정 개소와 촬상수단의 위치관계에 흐트러짐이 있거나 개개의 핸드포인팅장치마다 이 위치관계가 대폭으로 설계되어 있는 등의 경우에는 기억수단으로 기억하는 정보를 다시 설정할 필요가 있다.
이점을 고려하여 제 5의 발명에서는 가상점의 위치에 마커가 위치하고 있는상황의 복수의 촬상수단에 의해 촬상시키고 가상점의 3차원좌표와 각 촬상수단의 촬상에 의해 얻어진 각 화상상에서의 마커의 위치에 근거하고 가상점의 3차원좌표와 각 화상상에서의 가상점의 위치를 대응시키기 위한 정보를 생성하고 기억수단으로 기억시키는 생성수단을 다시 설치할 수 있다.
또한, 상기의 마커는 촬상에 의해 얻어진 화상상에서의 식별이 용이한 것이면 좋고 예를 들면 특유의 색에 착색된 마크와 LED 등의 발광원을 사용할 수 있다. 또 소정 위치에 마커를 위치시키는 것은 인간이 행해도 되고 마커를 임의 위치로 이동시키는 이동수단을 설치하여 자동적으로 행해도 좋다. 이동수단에 의해 마커를 이동시키는 경우에는 이동수단에 의한 마커의 이동량에서 소정 위치의 3차원좌표를 구할 수 있다.
상기와 같이 생성수단을 설치하므로서 가상점의 3차원좌표와 화상상에서의 가상점의 위치를 대응시키기 위한 정보가 자동적으로 생성되므로 인식대상자가 도착하는 소정 개소와 촬상수단의 위치관계에는 흐트러짐이 생기거나 개개의 핸드포인팅장치마다 위치관계가 대폭으로 다른 설계로 되어 있는 등의 경우라도 가상점의 3차원좌표와 각 화상상에서의 가상점의 위치를 정도 좋게 대응시키는 정보를 자동적으로 얻을 수 있다.
제 5의 발명에 의하면 인식대상자가 도착하는 소정 개소부근에 위치하고 있는 복수의 가상점의 각각의 3차원좌표와 각 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 복수 가상점의 각각의 위치를 대응시키기 위한 정보를 기억하고, 복수의 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 특징점의 위치 및 기억된정보에 근거하여 특징점의 3차원좌표를 구하고 있으므로 구성이 간단하고 인식대상자로부터의 지시판정에 필요한 시간을 단축시킨 지시의 판정정도가 양호한 핸드포인팅장치를 제공할 수 있다는 효과가 얻어진다.
제 6의 발명에 관한 핸드포인팅장치는 인식대상자를 조명하는 조명수단과 상기 조명수단에 의해 조명된 인식대상자를 서로 다른 방향에서 촬상하는 복수의 촬상수단과 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정 위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 상기 화상중의 상기 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단과 상기 복수의 화상중의 상기 인식대상자의 신체의 소정부분에 상당하는 화상부를 추출하고 추출한 화상부의 면적, 그 화상부의 윤곽형상, 및 그 화상부의 윤곽선 길이의 어느 한쪽의 변화를 검출하는 제 1의 검출수단과 상기 제 1의 검출수단에 의해 상기 변화가 검출된 경우에 소정의 처리를 실행하는 처리수단 등을 포함하여 구성한 것이다.
제 6의 발명에서는 복수의 화상중의 인식대상자의 신체의 소정부분(예를 들면 손과 팔 등)에 상당하는 화상부를 추출하고 추출한 화상부의 면적의 변화, 추출한 화상부의 윤곽 형상의 변화, 또는 추출한 화상부의 윤곽선의 길이 변화를 검출하는 제 1의 검출수단이 설치되어 있다. 처리수단은 제 1의 검출수단에 의해 변화가 검출된 경우에 소정의 처리를 실행한다. 상기 화상부의 면적, 윤곽의 형상, 및 윤곽선의 길이는 비교적 간단히 검출할 수 있고 또한 인식대상자가 신체의 소정부분을 움직이면 그 움직임이 미리 정해져 있지 않은 동작이었다하여도 대부분의 경우 소정부분에 상당하는 화상부의 면적, 윤곽의 형상, 윤곽선의 길이는 변화한다.
따라서 제 6의 발명에 의하면 화상부의 면적, 윤곽의 형상, 또는 윤곽선의 길이의 변화를 사용하였으므로 처리수단에 소정의 처리실행을 지시하기 위한 인식대상자의 동작의 자유도가 향상함과 동시에 이 동작을 단시간에 검출할 수 있고 이로써 인식대상자로부터의 지시를 단시간에 판정할 수 있다는 효과가 얻어진다.
그러나, 인간이 특정의 위치와 특정 방향을 지시하는 동작에서는 지시하는 위치와 방향을 변경한 경우라도 손가락의 끝등은 일반적으로 팔의 연결부근을 중심으로 하는 가상적인 구면에 따라 이동하는 것 뿐이고 손가락 끝 등의 팔의 연결부분을 포함하는 동체부(胴體部)의 거리는 거의 변화하지 않는다.
그러므로 제 7 발명에 관한 핸드포인팅장치는 인식대상자를 조명하는 조명수단과 상기 조명수단에 의해 조명된 인식대상자를 서로 다른 방향에서 촬상하는 복수의 촬상수단과 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정 위치 및 방향의 한쪽을 나타내고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 상기 화상중의 상기 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 팔의 굴곡 및 신장의(길이를 늘림) 어느 한쪽을 행하므로 위치가 변화하지 않는 기준점의 3차원좌표를 각각 구하고 특징점의 3차원좌표 및 기준점의 3차원좌표에 근거하여 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 판단수단과 상기 기준점과 상기 특징점 등의 사이의 거리를 연산하고 기준점과 특징점 사이의 거리변화에 근거하여 소정의 처리를 실행하는 처리수단 등을 포함하여 구성하고 있다.
제 7의 발명에 관한 판단수단은 복수의 화상에서 인식대상자에 상당하는 화상부를 추출하고 인식대상자가 팔을 굴곡 및 신장시켜도 위치가 변화하는 특징점 및 인식대상자가 팔을 굴곡 및 신장시켜도 위치가 변화하지 않는 기준점의 각 점의 3차원좌표를 구하고 특징점 및 기준점의 3차원좌표를 바탕으로 인식대상자가 지시한 위치 또는 방향을 판단한다. 또 처리수단은 기준점이 특징점과의 거리를 연산하고 기준점과 특징점 사이의 거리변화에 근거하여 소정의 처리를 실행한다. 또한 특징점으로는 예를 들면 인식대상자의 손과 손가락 등의 선단 또는 인식대상자가 파악하고 있는 지시품의 선단 등에 상당하는 점을 사용할 수 있고 기준점으로는 예를 들면 인식대상자의 동체부(예를 들면 흉부와 팔의 연결부분 등)에 상당하는 점을 사용할 수 있다.
이로써 기준점에서 특징점으로 향하는 방향이 지시대상으로서의 위치 또는 방향에 대응하도록 기준점에 대한 특징점의 방향을 조절하는 동작을 인식대상자가 행하면 지시한 위치 또는 방향이 판단수단에 의해 판단되고 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행하면 기준점과 특징점의 거리가 변화하고 이 거리의 변화에 근거하여 소정의 처리가 행해지게 된다.
이렇게 제 7의 발명은 기준점 및 특징점의 위치관계에서 인식대상자가 지시한 위치 또는 방향이 판단되므로 손가락의 올림, 내림 등의 동작을 고려하지 않고 기준점 및 특징점 확실히 검출될 수 있도록 촬상수단에 의한 촬상방향을 정할 수 있다. 또 기준점과 특징점 사이의 거리(상대위치) 변화에 근거하여 소정의 처리실행이 지시되었는지의 여부가 판단되므로 소정의 처리실행이 지시되었는지의 여부를 판단하기 위해서 새로운 화상특정량을 검출할 필요도 없다. 그리고 기준점과 특징점의 거리는 인간이 특정 위치와 특정 방향을 지시하는 동작에서는 거의 변화하지 않는다.
따라서 제 7의 발명에 의하면 인식대상자에 의한 소정 처리의 실행을 지시하는 동작(팔을 굴곡 또는 신장시키는 동작)을 단시간에 확실히 검출할 수 있고 확인대상자로부터의 지시를 단시간에 판정할 수 있다.
또한 처리수단은 소정의 처리로서 예를 들면 기준점과 특징점의 거리가 변화했을 때에 인식대상자가 지시하고 있던 위치 또는 방향에 관련하는 처리를 실행할 수 있으나 팔을 굴곡 또는 신장시키는 동작은 상기 소정의 처리실행을 지시하기 위한 동작으로서 극히 자연스러운 동작이므로 소정의 처리실행을 지시하는 동작을 인식대상자가 위화감을 느끼지 않고 행할 수 있다.
또한 팔을 굴곡 또는 신장시키는 동작을 동반하는 기준점과 특징점 사이의 거리의 변화방향에는 2종류이므로(거리가 증가하는 방향 및 감소하는 방향) 기준점과 특징점 사이의 거리가 증가한 경우에는 제 1의 소정의 처리를 행하고 기준점과 특징점 사이의 거리가 감소한 경우에는 제 1의 소정의 처리와 다른 제 2의 소정의 처리를 행하도록 하여도 좋다.
이렇게 하므로서, 인식대상자가 팔을 신장시키는 동작(이 경우, 기준점과 특징점 사이의 거리는 증가한다)을 행하면 제 1의 소정의 처리가 행해지고 인식대상자가 팔을 굴곡시키는 동작(이 경우, 기준점과 특징점 사이의 거리는 감소한다)을 행하면 제 2의 소정의 처리가 행해지므로 마우스의 좌클릭과 우클릭과 같이 제 1의 소정의 처리 및 제 2의 소정의 처리중 실행시켜야할 처리를 인식대상자가 선택할수 있다. 그리고 인식대상자가 상기의 어느 동작을 행하므로서 제 1의 소정의 처리 및 제 2의 소정의 처리중 인식대상자에 의해 선택된 처리를 확실히 실행할 수 있다.
또한 특징점과 특징점 사이의 거리변화에 근거하여 소정의 처리실행이 지시되었는지의 여부를 판단하는 것은, 구체적으로 예를 들면 기준점과 특징점 사이의 거리변화의 크기를 비교하고 거리의 변화가 소정치 이상이 된 경우에 소정의 처리실행이 지시되었다고 판단하는 것도 가능하긴 하나 소정의 처리실행을 의도하지 않는 다른 동작에 있어서 기준점과 특징점 거리가 크게 변화하였다고 하면 인식대상자로부터의 지시를 잘못 판단할 가능성도 있다.
이점을 고려하면 처리수단은 기준점과 특징점 사이의 거리변화율 즉, 변화속도를 검출하고 검출한 변화속도가 역가 이상의 경우에 소정의 처리를 행하는 것이 바람직하다.
제 7의 발명에서 기준점과 특징점 사이의 거리변화속도를 검출하고 검출한 변화속도가 역가 이상의 경우에만 소정의 처리를 실행하도록 하면 인식대상자가 팔을 재빨리 굴곡 또는 연장시킨다는 특유의 동작을 행하므로서 기준점과 특징점 사이의 거리변화속도가 역가 이상이 되어 소정의 처리가 실행되게 된다. 이로써 인식대상자에 의한 소정의 실행을 지시하는 동작의 확인률이 향상하고 인식대상자가 소정의 처리를 지시하는 동작을 행한 경우에만 이를 확실히 검지하여 소정의 처리를 실행할 수 있다.
또한 인식대상자의 체격은 일정하지 않고 인식대상자의 근력 등도 일정하지않으므로 처리수단의 소정의 처리를 행하게 하기 위해 인식대상자가 팔을 재빨리 굴곡 또는 신장시키는 동작을 행하였다하여도 기준점과 특징점 사이의 거리변화속도는 개개의 인식대상자마다 차이가 있다. 따라서 소정의 처리를 행하게 하기 위해서 인식대상자가 팔을 재빨리 굴곡 또는 신장시키는 동작을 행하였다 하여도 검지되지 않거나 역으로 인식대상자가 동작을 행하지 않음에도 불구하고 이 동작을 잘못 검지할 수 있다는 것도 생각할 수 있다.
그렇기 때문에 제 7의 발명에서는 팔의 굴곡 및 신장의 어느 한쪽을 행하도록 인식대상자에게 요청하고 인식대상자가 팔의 굴곡 및 신장 어느 한쪽을 행했을 때의 기준점과 특징점 사이의 거리변화속도에 근거하여 역가를 미리 설정하는 역가설정수단을 다시 설치하는 것이 바람직하다.
이렇게 처리수단에 소정의 처리를 행하게 하기 위해 인식대상자가 팔을 굴곡 또는 신장시키는 동작(팔을 빨리 굴곡 또는 신장시키는 동작)을 행했을 때의 기준점과 특징점 사이의 거리변화 속도에 근거하고 처리수단이 소정의 처리를 행할지에 대한 여부의 역가를 미리 설정하면 개개의 인식대상자의 체격과 근력 등에 따른 역가를 얻을 수 있다. 그리고 이 역가를 사용하여 소정의 처리의 실행이 지시되었는지를 판단하므로서 개개의 인식대상자의 체격과 근력 등의 차이에 관계 없이 인식대상자에 의한 소정의 처리실행을 지시하는 동작을 확실히 검지하여 소정의 처리를 행할 수 있다.
또한 제 7의 발명에 있어서 복수의 화상중 인식대상자의 팔에 상당하는 화상부를 추출하고 인식대상자의 팔이 내려졌는지의 여부를 검출하는 제 2의 검출수단을 다시 설치하고 제 2의 검출수단에 의해 인식대상자의 팔이 내려진 것이 검출된 경우에는 처리수단의 현재상태가 계속되게 한다. 즉, 처리를 실행하고 있는 경우에는 실행상태를 계속 유지하고 처리를 정지하고 있는 경우에는 정지상태를 계속하도록 하면 어떤 처리를 계속해서 실행시키기 위해 인식대상자가 계속적으로 팔을 들어올릴 필요가 없어지므로 인식대상자의 부담을 경감할 수 있다.
제 7의 발명에 의하면 인식대상자가 팔을 굴곡 또는 신장시키므로서 위치가 변화하는 특징점 및 인식대상자가 굴곡 및 신장시켜도 위치가 변화하지 않는 기준점의 각 점의 3차원좌표에 근거하고 인식대상자가 지시한 위치 또는 방향을 판단함과 동시에 기준점과 특징점 사이의 거리변화에 근거하여 소정의 처리를 실행하도록 하였기에 인식대상자에 의한 소정의 처리의 실행을 지시하는 동작을 단시간에 확실히 검출할 수 있고 인식대상자로부터의 지시를 단시간에 판정할 수 있다는 효과가 얻어진다.
도 1은 정보입력공간의 부근을 나타내는 사시도이다.
도 2는 본 실시예에 관한 핸드포인팅입력장치의 개략구성을 나타내는 블록도이다.
도 3은 조명장치의 조명범위와 비디오카메라의 촬영범위 관계의 한 예를 나타내는 개략도이다.
도 4는 마크판의 한예를 나타내는 입력정보공간의 사시도이다.
도 5는 격자점위치정보 초기설정처리를 나타내는 플로우챠트이다.
도 6은 조명제어처리를 나타내는 플로우챠트이다.
도 7은 도 6의 조명제어처리에 의한 조명장치 A,B의 점등· 소등, 비디오카메라의 촬상에 의해 얻어지는 화상 출력(얻음)의 타이밍을 나타내는 타이밍챠트이다.
도 8은 지시판단처리를 나타내는 플로우챠트이다.
도 9는 정보입력자의 신장 및 마루면상의 위치의 연산을 설명하기 위한 정보입력공간의 측면도이다.
도 10A는 비디오카메라에 의해 촬상된 정보입력자의 손을 나타내는 이미지도이다.
도 10B는 특징점 좌표 또는 특징점 3차원좌표를 구하기 위한 격자점의 검색범위를 나타내는 개념도이다.
도 11A는 정보입력자가 지시하고 있는 디스플레이상의 위치판정을 설명하기 위한 정보입력공간의 평면도이다.
도 11B는 도 11A의 정보입력공간의 측면도이다.
도 12A 내지 도 12C는 정보입력자의 동작의 한 예를 나타내는 이미지도이다.
도 13은 조명장치의 조명범위와 비디오카메라 촬영범위와의 관계의 다른 예를 나타내는 개략도이다.
도 14는 도 13에 나타내는 배치에 있어서 조명제어처리를 나타내는 플로우챠트이다.
도 15는 도 14의 조명제어처리에 의한 조명장치 A,B의 점등·소등의 타이밍을 나타내는 타이밍챠트이다.
도 16은 정보입력공간의 마루면상에 경사대를 설치한 태양을 나타내는 사시도이다.
도 17은 마크판의 다른 예를 나타내는 정보입력공간의 사시도이다.
도 18은 로봇 암장치에 의해 마커의 위치를 이동시키는 예를 나타내는 정보입력공간의 사시도이다.
도 19는 지시판단처리의 다른 예를 나타내는 플로우챠트이다.
도 20은 지시판단처리의 다른 예를 나타내는 플로우챠트이다.
도 21은 클릭동작속도설정처리를 나타내는 플로우챠트이다.
도 22A는 전진클릭 동작을 설명하기 위한 이미지도이다.
도 22B는 후진클릭 동작을 설명하기 위한 이미지도이다.
도 23은 더미모델로의 데이터 변환을 설명하기 위한 이미지도이다.
바람직한 실시예의 설명
이하 도면을 참조하여 본 발명의 실시 형태를 상세히 설명한다. 도 1에 나타낸 바와 같이 본 발명의 인식대상자로서의 정보입력자(10)가 도착하는 개소의 벽면에는 대(大)화면 디스플레이(12)가 내장되어 있다. 또한 디스플레이(12)로서는 액정디스플레이(LCD)와 플라즈마디스플레이, 브라운관(CRT), 광파이버디스플레이 등의 공지의 표시수단을 적용할 수 있다.
디스플레이(12)는 퍼스널컴퓨터 등으로 이루어지는 정보처리장치(14)에 접속되어 있고(도 2 참조) 정보처리장치(14)에 의해 각종 정보가 표시면 상에 도형, 표, 문자, 화상 등의 각종 표시형태로 표시된다. 본 실시형태에 있어서 정보입력자(10)는 디스플레이(12)의 전방의 도 1에 나타낸 개소(정보입력공간)에 도착하고 디스플레이(12)의 표시표면상의 각종 정보가 표시되어 있는 위치를 지시함과 동시에 클릭동작(상세히는 후술함)을 행하므로서 정보처리장치(14)에 대해 각종 지시를 주거나 각종 처리를 실행시킨다.
도 2에 나타낸 바와 같이 정보처리장치(14)에는 본 실시형태에 관한 핸드포인팅입력장치(20)의 컨트롤러(22)가 접속되어 있다. 컨트롤러(22)는 CPU (22A), ROM (22B), RAM (22C), 입출력 인터페이스 (22D)를 갖추고 있고 이들이 버스를 걸쳐 서로 접속, 구성되어 있다. 입출력 인터페이스(22D)에는 정보처리장치(14), 기억내용을 재입력변경 가능한 불휘발성의 기억장치(24), 각종의 정보를 표시하기 위한 디스플레이(26), 및 오퍼레이터가 각종 지시와 데이터를 입력하기 위한 키보드(28)가 접속되어 있다.
또한 컨트롤러(22)의 입출력 인터페이스(22D)에는 조명제어장치(30)가 접속되어 있고 이 조명제어장치(30)에는 근적외역 파장의 빛을 빔상으로 방출하는 복수의 근적외광조명장치(32A,32B)가 접속되어 있다. 도 1에 나타낸 바와같이 근적외광조명장치(32A,32B)는 정보입력공간 상방의 서로 다른 개소에 배치되어 있고 정보입력공간에 도착한 정보입력자(10)를 서로 다른 방향에서 조명하도록 조사범위가 조정되어 있다. (도 3도 참조). 조명제어(30)는 컨트롤러(22)에서의 지시에 따라 조명장치(32A,32B)의 점등·소등을 제어한다.
컨트롤러(22)의 입출력 인터페이스(220)에는 촬상제어장치(34)가 접속되어 있고 이 촬상제어장치(34)에는 정보입력공간의 상방의 서로 다른 개소에 설치된 (도 1 참조) 복수의 비디오카메라(36A,36B)가 접속되어 있다. 비디오카메라(36A,36B)는 도시는 생략하나 근적외광에 감도를 갖는 CCD 등으로 이루어지는 2차원영상 센서를 갖추고 있음과 동시에 입사광을 2차원영상 센서의 수광면에 결상시키는 결상렌즈의 광입사측에 근적외역 파장의 광만을 투과하는 필터가 설치되어 있다.
또한 도 3에 나타낸 바와 같이 비디오카메라(36A)는 정보입력공간에 도착한 정보입력자(10)가 촬상범위내로 들어가고 또한 비디오카메라(36A)에 대응하는 조명장치(32A)에서 방출된 광이 결상렌즈에 직접 입사시키지 않고 또한 촬상범위의 중심이 정보입력공간내에 있어서 조명장치(32A)에 의한 조명범위의 중심과 마루면에서 소정 높이로 교차하도록 방향이 조정되어 있다. 따라서 비디오카메라(36A)는 비디오카메라(36A)에 대응하는 조명장치(32A)에 의한 마루면상의 조명범위가 촬상범위에서 엇갈리도록 촬상범위가 조정되고 있다. 마찬가지로 비디오카메라(36B)는 정보입력공간에 도착한 정보입력자(10)가 촬상범위내에 들어가고 또한 비디오카메라(36B)에 대한 조명장치(32B)에서 사출된 결상렌즈에 직접 입사시키지 않고 또한 촬상범위의 중심이 정보입력공간내에 있어서 조명장치(32B)에 의한 조명범위의 중심과 마루면에서 소정 높이로 교차하도록 방향이 조정되어 있다. 따라서 비디오카메라(36B)는 비디오카메라(36B)에 대응하는 조명장치(32B)에 의한 마루면상의 조명범위가 촬상범위에서 엇갈리도록 촬상범위가 조정되어 있다.
이렇게 비디오카메라(36A,36B)는 각각의 비디오카메라에 대응하는 서로 다른 조명장치에 의해 조명되는 마루면상의 조명범위가 촬상범위에서 엇갈리도록 촬상범위가 각각 조정되어 있다.
또한 컨트롤러(22)의 입출력 인터페이스(22D)에는 마크판구동장치(38)도 접속되고 있다. 도 4에 나타낸 바와 같이 핸드포인팅 입력장치(20)는 정보입력공간의 근방에 설치된 마크판(40)을 갖추고 있다. 마크판(40)은 투명한 평판에 다수의 마크(40A)가 매트릭스상에 등간격으로 기록되어 구성되고 있고 마크판(40)의 주면에 직교하는 방향(도 4의 화살표 A방향)에 따라 정보입력공간을 가르도록 이동가능하게 되어 있다. 또한 마크(40A)는 화상상에서의 인식이 용이한 색(예를 들면 적색)이 착색되어 있다. 마크판 구동장치(38)는 컨트롤러(22)에서의 지시에 따라 마크판(40)을 도 4의 화살표 A방향에 따라 이동시킨다.
다음으로 본 실시형태의 작용으로서 먼저 핸드포인팅 입력장치(20)가 설치된 때에 행해지는 격자점 위치정보 초기설정 처리에 대해서 도 5의 플로우챠트를 참조하여 설명한다.
스텝(100)에서는 마크판 구동장치(38)에 의해 마크판(40)을 소정위치(마크판(40)의 이동범위의 단부에 상당하는 위치) 즉, 기준위치로 이동시킨다. 다음으로 스텝(102)에서는 현재 마크판(40)의 위치에 있어서 마크판(40)에 기록되어 있는 다수의 마크(40A)의 정보입력 공간내에서의 3차원 좌표(x,y,z)를 연산한다. 스텝(104)에서는 촬상제어장치(34)를 거치고 비디오카메라(36A,36B)에 의해 정보입력공간을 촬상시키고 다음으로 스텝(106)에서는 비디오카메라(36A)가 정보입력공간을 촬상하므로서 얻어진 화상(이하 화상A로 칭한다)을 화상제어장치(34)를 거쳐 출력시킨다.
스텝(108)에서는 스텝(106)으로 출력한 화상 A중에 존재하는 마크(40A)의 인식(추출)을 행하고 다음으로 스텝(110)에서는 인식된 모든 마크(40A)에 있어서 화상 A에서의 위치(XA,YA)를 연산한다. 그리고 스텝(112)에서는 화상 A중에 존재하는 모든 마크(40A)에 대해서 정보입력공간내에서의 3차원좌표 (x,y,z)과 화면 A상에서의 위치(XA,YA)를 대응시키고 비디오카메라(36A)의 격자점 위치 정보로서 기억장치(24)로 기억시킨다.
다음의 스텝(114~120)에서는 상기 스텝(106~112)과 같이하여 비디오카메라(36B)에 대한 처리를 행한다. 즉 스텝(114)에서는 비디오카메라(36B)가 정보입력공간을 촬상하므로서 얻어진 화상(이하 화상 B로 칭한다)을 촬상제어장치(34)를 거쳐 출력하고 스텝(116)에서는 스텝(114)에서 출력한 화상 B내에 존재하는 마크(40A)의 인식(추출)을 행하고 다음 스텝(118)에서는 모든 마크(40A)에 대해서 화상 B상에서의 위치(XB,YB)를 계산한다. 그리고 스텝(120)에서는 화상 B중에 존재하는 모든 마크(40A)에 대해 정보입력공간내에서의 3차원 좌표(x,y,z)와 화상 B상에서의 위치(XB,YB)를 대응시키고 비디오카메라(36B)의 격자점 위치 정보로서 기억장치(24)에 기억시킨다.
다음의 스텝(122)에서는 마크판(40)이 촬영위치(마크판(40)의 이동범위 중 스텝(100)에 있어서 소정위치와 반대측의 단부에 상당하는 위치)까지 이동하였는지의 여부를 판단한다. 스텝(122)의 판정이 부정된 경우에는 스텝(124)으로 이행하고 마크판구동장치(38)에 의해 마크판(40)을 소정방향으로 일정거리(상세하게는 마크판(40)상에 있어서 마크(40A)의 간격에 일치하는 거리)만큼 이동시킨 후에 스텝(102)으로 돌아온다.
상기한 바와같이 마크판(40)이 최종 위치로 이동할 때까지 스텝(102~124)이 반복되므로서 마크판(40)에 기록되어 있는 다수의 마크(40A)는 정보입력공간내에 일정간격으로 격자상으로 나열되는 다수의 격자점(가상점에 상당한다)에 대응하는 위치로 이동되고 비디오카메라(36A)의 격자점 위치 정보로서 각 격자점의 정보입력공간내에서의 3차원 좌표와 화상 A상에서의 위치가 대응되어 기억장치(24)에 기억됨과 동시에 비디오카메라(36B)의 격자점 위치정보로서 각 격자점의 정보입력공간내에서의 3차원 좌표와 화상 B상에서의 위치가 대응되어 기억장치(24)에 기억되게 된다.
상기의 격자점 위치 정보 초기 설정처리에 의해 초기설정되는 격자점 위치정보는 가상점의 3차원좌표와 화상상에서의 가상점의 위치를 대응시키는 정보에 상당하고 기억장치(24)는 본 발명의 기억수단에 대응하고 있다. 또한 마크판(40) 및 마크판 구동장치(38)는 상기의 격자점 위치 정보 초기 설정처리에 있어서만 사용되고 후술하는 처리에서는 사용되지 않으므로 상기 처리를 실행한 후에 마크판(40) 및 마크판 구동장치(38)를 철거하도록 하여도 좋다.
다음으로 도6의 플로우챠트를 참조하고 상기의 격자점 위치정보초기설정 처리가 행해진 후에 컨트롤러(22)에서 정상적으로 실행되는 조명제어 처리에 대해 설명한다. 스텝(130)에서는 조명제어장치(30)에 의해 조명장치(32A)를 점등시킴과 동시에 조명장치(32B)를 소등시킨다. 스텝(132)에서는 비디오카메라(36A)에 의해 정보입력공간을 촬상시키고 비디오카메라(36A)에서 화상을 출력시킨다. 스텝(134)에서는 조명장치(32A)의 점등을 개시한 후 소정시간 경과되었는지를 판단하고 판정이 긍정될 때 까지 대기한다.
스텝(134)의 판정이 긍정되면 스텝(136)으로 이행하고 조명제어장치(30)에 의해 조명장치(32A)를 소등시킴과 동시에 조명장치(32B)를 점등시킨다. 스텝(138)에서는 비디오카메라(36B)에 의해 정보입력공간을 촬상시키고 비디오카메라(36B)에서 화상을 출력시킨다. 스텝(140)에서는 조명장치(32B)의 점등을 개시한 후 소정시간 경과하였는지 판정하고 판정이 긍정될 때 까지 대기한다. 그리고 스텝(140)의 판정이 긍정되면 스텝(130)으로 되돌아온다.
상기의 조명제어처리로 도 7에 나타낸 바와같이 조명장치(32A) 및 조명장치(32B)는 소정시간마다 교대로 점소등됨과 동시에 조명장치(32A)가 점등되어 있을 때에 비디오카메라(36A)의 촬상이 행해지고 비디오카메라(36A)의 촬상에 의해 얻어진 화상 A를 나타내는 화상데이터가 촬상제어장치(34)를 거쳐 컨트롤러(22)에 출력되고 조명장치(32B)가 점등되어 있을 때에 비디오카메라(36B)의 촬상이 행해지고 비디오카메라(36B)의 촬상에 의해 얻어진 화상 B를 나타내는 화상 데이터가 촬상제어장치(34)를 거쳐 컨트롤러(22)로 출력된다.
본 실시형태에서는 근적외광으로 촬상을 행하고 있으므로 촬상에 의해 얻어지는 화상중의 정보입력자(10)에 상당하는 화상부의 휘도가 가시광이 방출되는 디스플레이(12) 휘도의 변화와 정보입력자(10)의 살색과 옷색의 영향을 받아 변화하지는 않으며 후술하는 지시판단처리에 있어서 정보입력자(10)에 상당하는 화상부를 고정도로 추출할 수 있다. 또 정보입력공간의 근방에 근적외역 파장의 광이 방출되지 않도록 처리한 형광등을 배치하였다 하여도 이 영향을 받지 않는다. 또한 근적외광이 조사되어 있는 것이 정보입력자(10)에 감지되지 않으므로 상기와 같이 조명장치(32A, 32B)를 교대로 점소등시켜도 정보입력자(10)에 불쾌감을 주지 않는다.
다음으로 도 8의 플로우챠트를 참조하고 상기의 조명제어처리와 병행하여 컨트롤러(22)로 소정시간마다 반복실행되는 정보입력자(10)로 부터 지시를 판단하는 지시판단처리에 대해 설명한다.
스텝(150)에서는 비디오카메라(36A)에서 출력되는 화상A를 나타내는 화상데이터 및 비디오카메라(36B)에서 출력되는 화상B를 나타내는 화상데이터를 도7에 나타내는 타이밍으로 각각 출력한다. 다음으로 스텝(152)에서는 스텝(150)으로 출력되는 화상A, 화상B 의 화상데이터에 근거하고 정보입력공간내에 정보입력자(10)가 존재하고 있는지의 여부를 판정한다.
앞에서 설명한 바와같이 비디오카메라(36A)에 의한 정보입력공간의 촬상은 조명장치(32A)만이 점등되어 있을 때에 행해지고 비디오카메라(36A)의 촬영범위는 조명장치(32A)에 의한 마루면상의 조명범위가 촬영범위에서 엇갈리도록 조정되어 있다. 따라서 조명장치(32A)에 의한 마루면상의 조명범위내에 정보입력자(10)의 하물과 쓰레기등의 비인식대상물(50A)(도3 참조)이 존재하고 있다 하여도 이 비인식대상물(50A)이 비디오카메라(36A)의 촬영범위에 들어가진 않는다. 또 마루면상의비디오카메라(36A)에 의해 촬상되는 범위내에 비인식대상물(50B)(도3 참조)이 존재하고 있는 경우에는 비인식대상물(50B)은 비디오카메라(36A)에 의해 촬상되게 되나 비인식대상물(50B)은 조명장치(32A)에 의한 조명범위에서 엇갈려 있으므로 화상 A중에 존재하는 비인식대상물(50B)에 상당하는 화상부의 휘도는 매우 낮아진다.
또한 비디오카메라(36B)에 의한 정보입력공간의 촬상에 대해서도 조명장치(32B)만이 점등되어 있을 때에 행해지고 비디오카메라(36B)의 촬상범위는 조명장치(32B)에 의한 마루면상의 조명범위가 촬상범위에서 엇갈리도록 조정되어 있다. 따라서, 조명장치(32B)에 의해 조명되는 마루면상에 비인식대상물(50B)이 존재하고 있다 하여도 이 비인식대상물(50B)이 비디오카메라(36B)의 촬상범위에 들어가지 않는다. 또한 마루면상의 비디오카메라(36B)에 의해 촬상되는 범위내에 비인식대상물(50A)이 존재하고 있는 경우에는 비디오카메라(36B)에 의해 비인식대상물(50A)이 촬상되고 화상 B중에 비인식대상물(50A)에 상당하는 화상부가 존재하게 되나 상기와 같이 그 휘도는 매우 낮다.
따라서 앞의 스텝(152)에서는 예를들면 화상 A 및 화상 B 중에 고휘도로 또한 소정치 이상 면적의 화상부가 존재하고 있는지 여부등의 극히 간단한 판단처리로 정보입력공간내에 정보입력자(10)가 존재하고 있는지의 여부를 판정할 수 있다. 스텝(152)의 판정이 부정적인 경우에는 어떠한 처리도 행하지 말고 지시판단처리를 종료한다.
한편, 스텝(152)의 판정이 긍정되는 경우에는 스텝(154)으로 이행한다. 또한 스텝(154)이후의 처리는 본 발명의 판단수단에 대응하고 있다. 스텝(154)에서는 화상 A 및 화상 B에서 정보입력자(10)의 전체상에 상당하는 화상부를 각각 추출한다. 이 정보입력자(10)의 전체상에 상당하는 화상부에 있어서도 고휘도의 화소(畵素)로 이루어지는 소정치 이상의 면적이 연속되는 영역을 판단하므로서 용이하게 추출할 수 있다.
스텝(156)에서는 정보입력자(10)의 전체상에 상당하는 화상부에 근거하여 정보입력자(10)의 신장을 연산한다. 도 9에 나타낸 바와같이 점 O에 위치하고 있는 비디오카메라의 결상렌즈의 초점거리를 f, 점(O)을 통하는 연직선과 정보입력공간의 마루면과의 교점(Q)과 점 (O) 사이의 거리를 H, 점(Q)과 정보입력자(10)가 서있는 마루면상의 점(P) 사이의 거리를 R로 하고 정보입력자(10)의 두정부에 상당하는 점(P')과 점(P) 사이의 거리 (h)를 정보입력자(10) 신장으로 한다. 또한 ∠POQ를 θ,∠P' OQ를 θ', 비디오카메라의 2차영상센서의 수광면에 결상되는 정보입력자 상(像)의 길이를 (h'), 점(P) 에 대응하는 수광면상의 결상점을 점(p), 점(P')에 대응하는 수광면상의 결상점을 점(p'), 수광면의 중심(o) 과 점(p) 사이의 거리를 (r) 수광면의 중심(o) 과 점(p) 사이의 거리를 (r'), 로 하면 각도 (θ),(θ'), 거리(r),(r')는 다음의 (1) ∼ (4) 식에서 구할 수 있다.
θ = tan - 1 (R/H) ............ (1)
θ' = tan - 1 {R/(H - h)} ........... (2)
r = fθ ............ (3)
r' = fθ' ............ (4)
따라서 정보입력자(10)의 신장(h) 및 거리(R)는 다음의 (5) 식 및 (6) 식에의해 구할 수 있다.
h = H{1 - tan(r/f)/tan(r'/f)} ...... (5)
R = H tan (r/f) ‥‥‥ (6)
거리(H) 및 초점거리(f)는 이미 알고 있으므로 스텝(156)에서는 비디오카메라(36A), (36B)의 촬상에 의해 얻어진 화상 A 및 화상 B의 무엇으로 부터의 거리 (r),(r')을 구하고 이를 (5)식에 대입하므로서 정보입력자(10)의 신장(h)을 구할 수 있다. 또한 스텝(156)에서는 화상 A 및 화상 B의 각각에서 거리(r)를 구하고 이를 (6)식에 각각 대입하여 거리 R을 각각 구하므로서 정보입력자(10)의 마루면상의 위치(2차원 좌표)를 구한다.
다음의 스텝(158)에서는 스텝(156)에서 구한 정보입력자(10)의 신장 (h) 및 정보입력자의 마루면상의 위치에 근거하여 정보입력자(10)의 기준점(Po) 의 3차원좌표(xo, yo, zo)를 결정한다. 또한 기준점 (Po)로서는 예를들면 정보입력자(10)의 등에 상당하는 점(도 11에 나타내는 점 Po)등을 사용할 수 있다. 이 경우 정보입력자(10)의 신장 h에 근거하여 정보입력자(10)의 등에 상당하는 기준점(Po)의 마루면으로부터의 높이(예를들면 zo의 값)를 연산하고 정보입력자(10)의 마루면상 위치(평면좌표)를 기준점 (Po)의 평면좌표(예를들면 xo, yo의 값)로서 설정하므로서 기준점(Po)의 3차원좌표를 결정할 수 있다.
스텝(159)에서는 화상(A) 및 화상(B) 상에서의 정보입력자(10)의 전체상에상당하는 화상부의 형상에 근거하고 정보입력자(10)가 지시동작(손가락등에 의해 디스플레이(12)측을 지시하는 동작)을 행하고 있는지를 판정한다. 정보입력자(10)에서 본 디스플레이(12)의 방향은 이미 알고 있으므로 스텝(159)의 판정은 예를들면 정보입력자(10)의 전체상에 상당하는 화상부에 있어서 정보입력자(10)의 손에 상당한다고 판단되는 높이위치에 정보입력자(10)에서 본 디스플레이(12)의 방향을 향해 돌출하고 있는 부분이 있는지를 판단하므로서 실현될 수 있다.
이로써 정보입력자(10)가 도 12A 에 나타내는 직립상태에서 도 12B 또는 도12C 에 나타낸 바와같이 손을 디스플레이(12)로 향하면 정보입력자(10)가 지시동작을 행하고 있다고 판단하게 된다. 스텝(159)의 판정이 부정되는 경우에는 어떤 처리를 행하지 않고 지시판단처리를 일단 종료하거나 스텝(159)의 판정이 긍정된 경우에는 스텝(160)으로 이행된다.
스텝(160)에서는 비디오카메라(36A)에서 출력한 화상 A를 나타내는 화상데이터에 근거하여 화상 A중에 존재하는 정보입력자(10)의 특징점 (Px)을 추출하고 화상(A)상에서의 특징점(Px) 의 위치(XA, YA)를 연산한다. 정보입력자(10)의 특징점(Px)으로는 디스플레이(12)측을 지시하는 동작을 행하고 있는 손가락의 선단에 상당하는 점등을 사용할 수 있다. 이 경우, 정보입력자(10)의 전체상을 나타내는 화상부중 정보입력자(10)의 손에 상당한다고 판단할 수 있는 높이위치에 디스플레이(12)의 방향을 향해 돌출하고 있는 부분의 선단의 위치를 특징점(Px) 의 위치로서 연산할 수 있다.
이로써 비디오카메라(36A)에 의해 정보입력자(10)의 손이 도 10A에 나타낸 바와같이 촬상된 경우, 특징점(Px)의 위치로서 도 10B 에 나타내는 특징점(Px) 의 좌표(XA, YA)가 연산되게 된다.
스텝(162)에서는 기억장치(24)에 기억되어 있는 비디오카메라(36A)의 격자점 위치정보에 근거하여 화상 A상에서의 위치가 (XA±dX, YA± dY)의 범위 (도 10B에 나타내는 영역 R)에 들어가는 격자점을 모두 검색한다. 또한 이 (dX) 및 (dY) 의 크기는 격자점의 간격(마크 40A 의 간격)에 근거하여 적어도 1개 이상의 격자점이 추출되도록 정해져 있다.
또한 본 실시형태에서는 비디오카메라의 결상렌즈로서 광각렌조를 사용하고 있고 만일 (dX) 및 (dY)를 일정하게 하면 비디오카메라와 격자점의 거리가 커짐에 따라 많은 격자점이 (XA±dX, YA±dY)의 범위에 들어가고 후술하는 특징점 (PX)의 3차원좌표의 연산 정도의 저하로 이어진다. 그러므로 (dX) 및 (dY)는 3차원좌표상에서의 비디오카메라로부터의 거리가 떨어짐에 따라 값이 작아지도록 설정된다. 따라서 3차원좌표상에서의 (XA±dX, YA±dY)에 상당하는 범위는 저면이 비디오카메라측에 위치하고 있는 사각구멍(四角錐狀)이 된다. 이 스텝(162)에 의해 화면상에서 특징점을 포함하는 소정범위내에 위치하는 가상점이 추출된다.
스텝(164)에서는 앞의 스텝(160)과 같이 비디오 카메라(36B)에서 출력된 화상 B 를 나타내는 화상데이터에 근거하고 화상 B중에 존재하는 정보입력자(10)의특징점(PX)을 추출하고 화상 B상에서의 특징점(PX)의 위치(XB,YB)를 연산한다. 스텝(166)에서는 앞의 스텝(162)과 같이 기억장치(24)에 기억되어 있는 비디오카메라(36B)의 격자점위치정보에 근거하고 화상 B상에서의 위치가 (XB±dX, YB±dY)의 범위에 들어가는 격자점을 모두 검색한다. 이 스텝(166)에 있어서도 화상상에서 특징점을 포함하는 소정범위내에 위치하는 가상점이 추출된다.
다음의 스텝(168)에서는 상기와 같이 화상 (A) 및 화상 (B)에서 추출한 격자점에 근거하고 공통으로 추출한 격자점을 판정한다. 이로써 정보입력공간내에서 특징점(PX)에 근접한 위치에 존재하고 있는 격자점만이 복수추출하게 된다. 스텝(170)에서는 화상 A 및 화상 B에서 공통으로 추출한 격자점의 3차원 좌표를 격자점 위치정보로부터 얻는다.
본 실시형태에서는 후술한바와같이 특징점(Px)의 3차원좌표를 정보입력공간내에서 특징점에 근접한 위치에 존재하고 있는 복수의 격자점의 3차원좌표에서 내삽(內揷)에 의해 연산되는 (구체적으로는 상기 복수의 격자점의 3차원 좌표의 좌표치의 평균에 의해 특징점 3차원 좌표의 좌표치를 구한다). 그러므로 특징점(Px)의 3차원좌표를 연산하는데 앞서 다음의 스텝(172)에서는 화상 A 및 화상 B에서 공통으로 추출한 각 격자점의 화상 A 및 B상에서의 위치, 화상 A상에서의 특징점(Px)의 위치(XA,YA), 화상 B상에서의 특징점 (Px)의 위치(XB,YB)에 근거하고 화상 A 및 화상 B에서 공통으로 추출된 각격자점의 3차원 좌표로부터의 내삽의 비율(각 격자점의 3차원 좌표의 좌표치에 대한 무게)을 결정한다. 이 내삽의 비율은 예를들면 화상 A 및 화상 B상에서의 특징점과 근접한 위치에 존재하고 있는 격자점의 3차원 좌표의 좌표치의 무게가 커지도록 결정할 수 있다.
스텝(174)에서는 화상 A 및 화상 B 에서 공통으로 추출한 격자점의 3차원 좌표 및 스텝(172)에서 결정한 내삽의 비율에 근거하고 특징점(Px)의 3차원 좌표(Xx,Yx, Zx)를 연산한다.
스텝(176)에서는 앞의 스텝(158)에서 연산한 정보입력자의 기준점(Po)의 3차원좌표와 스텝(174)에서 연산한 특징점(PX)의 3차원좌표에 근거하고 정보입력자(10)가 지시하고 있는 방향으로 상기의 기준점과 특징점을 연결하는 가상선(도 11의 가상선 54참조)의 늘어나는 방향을 구하고 정보입력자(10)가 지시하고 있는 위치로서 대(大)화면 디스플레이(12)의 표시면을 포함하는 평면과 상기 가상선의 교점(도 11의 점 S참조)의 좌표(평면좌표)를 연산한다.
다음의 스텝(178)에서는 스텝(176)에서 구한 좌표에 근거하고 정보 입력자(10)가 대(大)화면 디스플레이(12)의 표시면상을 지시하고 있는지의 여부를 판정한다. 판정이 부정되는 경우에는 스텝(180)에서 감시 플래그(클릭동작을 감시하기 위한 플래그)를 0으로 하여 지시판단처리를 종료한다. 한편 스텝(178)의 판정이 긍정된 경우에는 스텝(176)에서 연산한 정보입력자(10)가 지시하고 있는 위치를 나타내는 좌표를 정보처리장치(14)로 출력한다. 이로써 정보처리(14)에서는 정보입력자(10)가 지시하고 있다고 판단된 디스플레이(12)의 표시면상의 소정위치에 커서를 표시하는 등의 처리를 행한다.
다음의 스텝(184) 이후에는 정보입력자(10)가 클릭동작을 행했는지를 판정한다. 또한 본실시형태에서는 클릭동작이 정보입력자가 자신의 손을 움직이는 모든 동작(예를들면 손목의 굴곡과 회전, 임의의 손가락의 펼침등)으로서 정의되고 있다. 스텝(184)에서는 화상 (A) 중에 존재하는 정보입력자(10)의 손에 상당하는 화상부를 추출하고 그 화상부의 면적을 구함과 동시에 화상 (B)중에 존재하는 정보입력자(10)의 손에 상당하는 화상부를 추출하고 그 화상부의 면적을 구한다.
다음으로 스텝(186)에서는 감시 플래그가 1인지의 여부를 판정한다. 스텝(186)의 판정이 부정된 경우에는 지시 판단처리를 전회에 행했을 때에는 정보입력자(10)가 디스플레이(12)의 표시면상을 지시하고 있지 않았던 경우이므로 스텝(188)에서 감시 플래그를 1로 하고 다음 스텝(190)에서는 후에 클릭동작의 판정을 행하므로서 스텝(184)에서 연산한 정보입력자의 손에 상당하는 화상부의 면적을 RAM (22C)으로 기억시키고 지시판단 처리를 일단종료한다.
한편, 스텝(186)의 판정이 긍정되는 경우는 정보입력자(10)가 디스플레이(12)의 표시면상을 계속적으로 지시하고 있는 경우이므로 스텝(192)으로 이행하고 스텝(184)에서 연산한 면적을 RAM (22C)등에 기억되어 있는 면적 C정보입력자(10)가 디스플레이(12)의 표시면상을 지시하는 것을 개시하였을 때 즉 과거에 스텝(188)에서 감시플래그를 1로 했을 때에 연산한 면적과 비교하고 정보입력자(10)의 손에 상당하는 화상부의 면적에 소정치 이상의 변화가 있었는지의 여부를 판정한다. 이 스텝(192)의 판정이 부정된 경우에는 정보입력자(10)가 클릭동작을 행하고 있지 않다고 판단하고 어떤 처리도 행하지 않고 지시판단처리를 종료한다.
또, 정보입력자(10)가 손목의 굴곡과 회전(예를들면 도 12B의 나타내는 상태에서 도 12C에 나타내는 상태로의 변화, 또는그 역의 변화), 임의의 손가락 굽혀늘림등의 동작을 행하면 화상 A 및 화상 B 중에 존재하는 정보입력자(10)의 손에 상당하는 화상부의 면적이 소정치 이상 변화하므로서 스텝(192)의 판정이 긍정된다. 스텝(192)의 판정이 긍정되면 스텝(194)에서 「클릭 있음」을 나타내는 정보를 정보처리장치(14)로 출력되고 다음으로 스텝(196)에서 감시 플래그를 0으로 한 후에 지시판단처리를 종료한다.
이로써 정보처리장치(14)에서는 정보입력자(10)에 의해 지시되어 있는 디스플레이(12)의 표면상의 소정 위치(스텝 182에서 입력된 좌표에 상당하는 위치)가 클릭되었다고 판단하고 디스플레이(21) 표시면상의 소정위치로 표시되어 있는 정보에 따른 처리를 행한다.
핸드포인팅입력장치(20)의 컨트롤러(22)에 있어서, 상기의 지시판단처리를 소정시간마다 반복실행하므로서 정보입력자(10)에 의한 디스플레이(12)상의 표시면상의 표시위치 및 클릭동작의 유무를 실시간(real time)으로 판단할 수 있으므로 정보처리장치(14)에서 발행되는 처리와 맞추므로서 이하에서 설명한 바와같이 각종 이용형태에서의 이용이 가능해진다.
예를들면 디스플레이(12)를 지하가등의 벽면에 설치하고 정보처리장치(14)가 디스플레이(12)에 상품의 광고등을 표시하는 경우에 본 실시형태에 관한 핸드포인팅입력장치(20)를 설치하면 도착한 이용자(정보 입력자)의 지시에 따라 특정상품을 상세히 설명하는 화면을 표시하는 등과 같이 이용자와의 쌍방향 커뮤니케이션이 가능해진다. 또, 이용자의 지불용의 카드를 소지시키도록 하면 이 카드로 지불하므로서 이용자가 상품을 구입하는 것도 가능해진다.
또한 예를들면 디스플레이(12)를 빌딩입구에 설치하고 정보처리장치(14)가 디스플레이(12)에 빌딩내를 안내하는 안내도등을 표시하는 경우에 본 실시형태에 관한 핸드포인팅입력장치(20)를 설치하면 도착한 이용자(정보 입력자)의 지시에 따라 빌딩내 중 이용자가 방문하는 개소를 상세히 설명하는 화면과, 방문하는 개소까지의 경로를 나타내는 화면을 표시하도록 이용자와 쌍방향 커뮤니케이션이 가능해진다.
또한 클린룸에는 취급설명서와 그 밖의 매뉴얼을 지참하는 것이 일반적이나 예를들면 디스플레이(12)를 클린룸의 외부에 클린룸내에서 시야가능하게 배치하고 핸드포인팅입력장치(20)에 의해 판단한 클린룸내의 작업자로부터 지시에 따라 취급설명서와 그밖의 매뉴얼 내용을 디스플레이(12)에 표시하도록 하면 클린룸내와 클린룸외의 쌍방향 커뮤니케이션이 가능해지고 클린룸내에서 작업효율이 향상한다.
또한 예를들면 대화면의 디스플레이(12), 핸드포인팅 입력장치(20) 및 정보처리장치(14)를 흥미시설의 게임기로서 동작시키거나 회의의 프리젠테이션에 있어서 디스플레이(12)에 설명용의 자료를 표시하여 디스플레이(12)의 표시면상 임의의 위치를 지시할 때에 적용하는 것도 가능한다.
또한, 상기에서는 조명장치(32A)에 의한 마루면상의 조명범위가 비디오카메라(36A)의 촬영범위에서 엇갈리도록 조정함과 동시에 조명장치(32B)에 의한 마루면상의 조명범위가 비디오 카메라(36B)의 촬영범위에서 엇갈리도록 조정하고 조명장치(32A)만이 점등되어 있을 때에 비디오카메라(36A)에 의한 촬영을 행하고 조명장치(32B)만이 점등되어 있을 때에 비디오카메라(36B)에 의한 촬영을 행하므로서 정보입력자(10)에 상당하는 화상부의 추출이 쉬운 화상 A 및 화상 B를 얻고 있으나 본 발명은 이에 한정되지 않고 조명장치(32)에 의한 마루면상의 조명범위가 비디오카메라의 촬영범위내에 들어있다 하여도 정보입력자(10)에 상당하는 화상부의 추출이 용이한 화상을 얻는 것은 가능하다.
도 13에 나타낸 예에서는 비디오카메라(36)의 촬영범위가 조명장치(32A)에 의해 마루면상의 조명범위 및 조명장치(32B)에 의한 마루면상의 조명범위를 포함하고 있고 조명장치(32A)에 의해 조명되는 마루면상에 존재하고 있는 비인식대상물(50A)과, 조명장치(32B)에 조명되는 마루면상에 존재하고 있는 비인식 대상물(50B)은 비디오카메라(36)에 의해 각각 촬상된다. 이러한 경우에는 도 14에 나타내는 조명제어 처리를 행하면 된다.
도 14에 나타내는 조명제어처리에서는 스텝(250)에서 조명장치(32A)를 점등시킴과 동시에 조명장치(23B)를 소등시킨후에 스텝(252)에서는 비디오카메라(36)에 의해 정보입력공간을 촬상시키고 스텝(254)에서는 비디오 카메라(36)에서 출력된 화상데이터(그 화상 데이터가 나타내는 화상을 제 1의 화상이라고 함)를 취하여 RAM (22C)에 기억시킨다. 스텝(256)에서는 조명장치(32A)를 점등시키고 소정기간 (T)이 경과되었는지를 소정시간(T)이 경과할 때까지 대기한다. 스텝(256)의 판정이긍정되면 스텝(258)으로 이행하고 조명장치(32B)를 점등시킴과 동시에 조명장치(32B)를 점등시키고 나서 소정시간(to) 경과 후에 조명장치(32A)를 소등시킨다 (단, to<T:도 15참조).
다음의 스텝(260)에서는 비디오카메라(36)에 의해 정보입력공간을 촬상시키고 스텝(262)에서는 비디오카메라(36)에서 출력된 화상데이터(그 화상데이터가 나타내는 화상을 제 2의 화상이라고 함)를 취한다. 스텝(264)에서는 스텝 (254)에서 RAM (220)으로 기억된 제 1의 화상을 나타내는 데이터와 스텝(262)에서 취한 제 2의 화상을 나타내는 화상데이터에 근거하고 어떤 화소에 대해 제 1의 화상상에서의 휘도치와 제 2의 화상상에서의 휘도치 중 저휘도의 휘도치를 선택하고 선택된 휘도치를 상기 화소의 휘도치로서 채용하는 모든 화소에 대해 행하므로서 새로운 화소데이터를 생성하고 생성한 화상데이터를 출력한다.
이 조명제어처리에서는 제 15도에 나타낸 바와같이 조명장치(32A)가 점등되어 있는기간과 조명장치(32B)가 점등되어 있는 기간등이 소정시간(to)만 오버랩되어 있으므로 정보입력자(10)는 항상 조명되나 도 13에 나타낸 바와같이 비인식 대상물(50A)은 조명장치(32A)가 점등되어 있을 때에만 조명되고 비인식 대상물(50B)은 조명장치(32B)가 점등되어 있을 때에만 조명된다. 따라서 스텝(262)의 처리로 정보입력자(10)에 상당하는 화상부만이 고휘도로 되어 있는 화상, 즉 정보입력자(10)에 상당하는 화상부의 추출이 용이한 화상(을 나타내는 화상 데이터)이 얻어지게 된다.
다음으로 스텝(266)에서는 조명장치(32B)를 점등시킨 후 소정시간(T)이 경과되었는지를 판정하고 소정시간(T)이 경과할 때 까지 대기한다. 스텝(266)의 판정이 긍정되면 스텝(268)으로 이행되고 조명장치(32A)를 점등시킴과 동시에 조명장치(32A)를 점등시키고 나서 소정시간 (to) 경과후에 조명장치(32B)를 소등시킨 후 스텝(252)으로 돌아온다.
또한 상기에서는 설명을 간단히 하기위해 도 13에 비디오카메라(36)를 한쌍만 나타내고 도 14에는 한쌍의 비디오카메라(36)에 대한 처리만을 나타내고 있으나 정보입력공간을 각각 다른 방향에서 촬상하는 복수쌍의 비디오카메라(36)가 설치되어 있는 경우라도 비디오카메라(36) 각각에 대해 상기 처리를 각각 행하면 정보입력자(10)에 상당하는 화상부에 추출이 용이한 화상을 각각 얻을 수 있다.
또한 도 14의 조명제어처리에서는 조명장치(32A), (32B)의 점소등의 타이밍과 같은 시기로 하고 조명장치(32A) 및 조명장치(32B)의 어느 한 쪽이 점등되어 있는기간에만 화상데이터의 출력(얻음)을 행하도록 하고 있으나 예를들면 조명장치(32A,32B)의 점소등의 타이밍과 무관계로 소정시간 (T)(도 14 및 도 15 참조)의 정수분의 1의 주기로 화상데이터의 취함을 행하고 2×T의 주기로 스텝(264)의 처리를 행하도록 하여도 좋다.
또한 앞의 스텝(264)과 같이 각 화소마다 저휘도의 값을 선택함에 대신하여 예를들면 오버랩기간(to)을 집어넣어 조명장치(32A)와 조명장치(32B)를 일정주기로 교대로 점등시키고(이로써, 조명장치 32A, 32B의 점등의 듀티비는 각각 50+α%가된다 : α는 오버랩 기간에 상당). 각 화소에 대해 조명장치(32A, 32B)의 점등의 1사이클에 있어서 평균휘도를 각화소의 휘도로서 채용하도록 하여도 좋고 조명장치(32A,32B)의 점등의 1사이클에 있어서, 각 화소마다의 휘도의 변화에 대해 로패스휠터와 고속푸리에 변환등으로 휘도변화의 직류성분만을 취출하고 취출된 휘도변화의 직류성분에 상당하는 휘도치를 각화소의 휘도치로서 채용하도록 하여도 좋다. 상기의 경우에도 조명장치(32A),(32B)의 점등의 1사이클 동안 조명장치(32A) 또는 조명장치(32B)에 의해 항상 조명되는 정보입력자(10)에 상당하는 화소에 대해서는 휘도치로서 비교적 고휘도치가 채용되고 정보입력자(10)에 상당하는 화상부의 추출이 화상을 얻을 수 있다.
또한 정보입력자(10)에 상당하는 화상부의 추출이 용이한 화상을 얻기위해 도 16에 나타낸 바와같이 정보입력공간의 마루면상에 경사대(58)를 설치하여도 좋다. 이 경사대(58)는 정보입력공간에 도착한 정보입력자(10)를 둘러싸듯이 경사면(58A)이 형성되어 있다. 이로써 예를들면 정보입력자(10)가 하물들을 휴행하여 정보입력공간에 도착하였다 하여도 정보입력자(10)가 상기 하물등을 자신의 근처에 놓는 것이 경사대(58)에 의해 방지되고 정보입력자(10)가 떨어진 개소, 즉 비디오 카메라(36)의 촬영범위외에 하물등이 놓여지게 된다. 따라서 비디오카메라(36)의 촬상에 의해 얻어지는 화상중에 정보입력자(10)의 하물등의 비인식 대상물에 상당하는 화상부가 존재하는 것이 방지되고 정보입력자(10)에 상당하는 화상부의 추출이 용이한 화상을 얻을 수 있다.
또한, 정보입력자(10)의 주위에 비인식 대상물로서 비교적 작은 쓰레기와 먼지등이 체류하는 경우에는 정보입력자(10)의 주위에 공기의 흐름을 발생시키는 팬등을 설치하고 상기와 같이 비인식 대상물을 공기류에 의해 날아가게 하여도 좋다. 또한 정보입력자(10)의 주위에 물등을 저유하는 저유통을 설치하여도 좋고 또한 저유통을 고리상으로 하고 저유통내를 물등이 순환하도록 구성하여도 정보입력자(10)의 주위에 비인식대상물이 저유되는 것을 방지할 수 있다.
또한 상기에서는 투명한 평판에 다수의 마크(40A)가 매트릭스상에 등간격으로 기록되어 구성된 마크판(40)을 사용하여 격자점 위치정보를 설정하도록 하고 있으나 이에 한정되는 것이 아니고 도 17에 나타낸바와같이 투명한 평판에 LED등의 다수의 발광소자(62A)로 구성된 마커가 매트릭스상에 설치된 마크판(62)을 사용하여도 좋다.
이 경우 격자점 위치정보 초기 설정 처리에서는 발광소자(62A)를 1개씩 순서대로 점등시킴과 동시에 각 발광소자(62A)를 점등시킬 때마다 점등되어 있는발광소자(62A)의 3차원 좌표를 연산하고 비디오카메라(36A), (36B)에 의해 정보입력공간을 촬상시키고 화상 A, 화상 B 상에서의 발광소자(62A)의 위치를 연산하고 발광소자(62A)의 3차원좌표와 화상 A, 화상 B상에서의 발광소자(62A)의 위치등을 대응시켜 격자점 위치정보로서 기억장치(24)에 기억시키고 마크판(62)의 모든 발광소자(62A)를 점등시킨 후에 마크판 구동장치(38)에 의해 마크판(62)을 일정량 움직이게 하는 것을 반복하도록 하면 된다.
또한 마크판(40)과 마크판(62)에 대신하여 도 18에 나타낸 바와같이 암(66A)의 선단에 출력된 핸드(66B)가 정보입력 공간내의 임의의 위치로 이동가능하고 핸드(66B)에 발광소자(68)로 구성된 마커가 출력된 로봇암장치(66)를 사용하여도 좋다. 이 경우 격자점위 격자점위치 정보 초기 설정처리에서는 발광소자(68)를 점등시키고 정보입력 공간내에 일정간격으로 격자상에 늘어서는 다수의 격자점에 대응하는 각 위치에 발광소자(68)를 이동시킴과 동시에 발광소자(68)가 상기 각 위치로 위치할 때마다 발광소자(68)의 3차원 좌표를 연산하고 비디오카메라(36A,36B)에 의해 정보입력공간을 촬상시키고 화상 A, 화상 B상에서의 발광소자(68)의 위치를 연산하고 발광소자(68)의 3차원 좌표와 화상 A, 화상 B상에서의 발광소자(68)의 위치를 대응시키고 격자점 위치 정보로서 기억장치(24)에 기억시키도록 하면 된다.
또한 상기와 같이 마크판(40), 마크판(62), 로봇암장치(66)등을 구동하므로서 정보입력공간내에 일정간격으로 격자상으로 늘어선 다수의 격자점에 대응하는 각 위치에 마커(마크 (40A) 또는 발광소자 (62A) 또는 발광소자 (68))를 자동적으로 위치시키는 것에 대신하여 오퍼레이터가 상기 다수의 격자점에 대응하는 각 위치에 마커를 수동으로 위치시키고 이 상황을 촬상하므로서 격자점 위치 정보의 설정만을 자동적으로 행하도록 하여도 좋다.
또한 도 17,18에 나타낸 마크판은 도 13에 나타낸 바와같이 적어도 1개의 비디오카메라와 복수의 조명장치를 사용하는 경우에도 적용할 수 있다.
또한 도 8에 나타낸 지시판단처리에서는 정보입력자(10)가 지시동작을 행하지 않았을때(스텝 159의 판정이 부정된 경우)에는 디스플레이(12)의 표시면상의 정보입력자(10)가 지시하고 있는 위치의 좌표의 연산·정보처리장치(14)로의 출력을 행하지 않으므로 결과로서는, 정보입력자(10)가 지시동작을 행하고 있지 않을때에는 디스플레이(12)에 커서등이 표시되지 않게 된다. 따라서 디스플레이(12)에 커서등을 계속적으로 표시시키기 위해서는 커서등을 표시하고 싶은 위치를 정보입력자(10)가 계속 표시할 필요가 있고 정보 입력자(10)의 부담이 크다는 문제가 있다.
상기를 고려하면 도 8에 나타낸 도시 판단처리에 대신하여 도 19에 나타낸 표시판단처리를 행하여도 좋다. 이 지시판단 처리에서는 도 8의 지시 판단처리의 스텝(150),(152)과 같이 스텝(230)에서 비디오카메라(34A),(36B)로부터 출력되는 화상데이터를 취하고 다음의 스텝(232)에서는 취한 화상데이터에 근거하여 정보입력 공간내에 정보입력자(10)가 존재하고 있는지를 판정한다.
판정이 부정된 겨우에는 스텝(280)으로 이행하고 도착플래그(정보입력자(10)가 정보입력공간에 도착하고 있는 것을 나타내는 플래그)가 1인지의 여부를 판정한다. 도착플래그의 초기치는 0 이므로 처음에는 스텝(280)의 판정은 부정되고 어떤 처리도 행하지 않고 지시판단처리를 일단종료한다. 또한 정보입력공간에 정보입력자가 도착하고 있지 않을 때에는 정보처리장치(14)는 디스플레이(12)에 소정의 호출화면(정보입력공간의 근방을 지나가는 사람을 정보입력공간으로 불러 입력하는 화면)을 표시시킨다.
한편, 정보입력공간에 정보입력자(10)가 도착하면 스텝(232)의 판정이 긍정되어 스텝(234)으로 이행되고 도착 플래그가(0)인지의 여부를 판정한다. 스텝(234)의 판정이 긍정되면 스텝(236)으로 이행하고 정보입력공간에 정보입력자가 도착한 것을 정보처리장치(14)에 통지한다. 이로써 정보처리장치(14)는 디스플레이(12)에표시하는 화면을 호출화면에서 초기화면(예를들면 상품의 광고라면 상품의 일람을 나타낸 화면등)으로 바꾼다.
다음으로 스텝(238)에서는 정보인력공간에 정보입력자가 도착하였기에 도착플래그(1)로 함과 동시에 지시플래그(정보 입력자(10))가 디스플레이(12)의 표시면상을 지시하고 있는 것을 나타내는 플래그) 및 감시 플래그를(0)으로 하고 스텝(240)으로 이행한다. 또한 스텝(234)의 판정이 부정된 경우, 즉 지시판단처리를 전회실시했을 때부터 정보입력공간에 계속적으로 정보입력자가 있는 경우에는 스텝(236,238)의 처리를 행하지 않고 스텝(240)으로 이행된다.
스텝(240)에서는 도 8의 플로우챠트의 스텝(154) 내지 스텝(158)과 같이 비디오카메라(36A),(36B)의 촬상에 의해 얻어진 화상에서 정보입력자(10)의 전체상에 상당하는 화상부를 추출하고 정보입력자(10)의 신장 (h) 및 마루면상의 위치를 연산하고 정보입력자(10)의 기준점의 3차원좌표를 결정한다. 그리고 다음의 스텝(242)에서는 도 8의 플로우챠트의 스텝(159)과 같이 정보입력자(10)가 지시동작을 행하고 있는지의 여부를 판정한다. 판정이 부정된 경우에는 스텝(270)에서 지시 플래그가 1인지의 여부를 판정하고 이 판정도 부정된 경우에는 지시판단처리를 일단 종료한다.
한편, 정보입력자(10)가 도 12A에 나타내는 직립된 상태에서 도 12B 또는 도 12C에 나타낸 바와같이 손을 디스플레이(12)측으로 향하게 하면 스텝(242)의 판정이 긍정되어 스텝(244)으로 이행된다. 스텝(244)에서는 도 8의 플로우챠트의 스텝(160) 내지 스텝(176)과 같이하여 정보입력자(10)의 특징점 3차원좌표를 연산하고 정보입력자(10)가 특징점 3차원좌표를 연산하고 정보입력자(10)가 지시하고 있는 위치를 연산한다.
다음의 스텝(246)에서는 정보입력자(10)가 디스플레이(12)의 표시면상을 지시하고 있는지를 판정한다. 판정이 부정된 경우에는 스텝(270)으로 이행하나 판정이 긍정일 경우에는 스텝(247)에서 지시플래그를 (1)로한 후에 스텝(248)에서 디스플레이(12)의 표시면상의 정보입력자(10)가 지시하고 있는 위치의 좌표를 정보처리장치(14)로 출력함과 동시에 상기 좌표를 RAM (22C)등으로 기억시킨다. 이로써 정보처리장치(14)에서는 디스플레이(12)의 표시면상의 정보입력자(10)가 지시하고 있는 위치에 커서등을 표시한다.
다음의 스텝(250) 내지(262)의 처리는 도 8의 플로우챠트의 스텝(184) 내지 스텝(196)의 처리와 함께 하여 클릭동작을 검출한다. 즉, 화상중에 존재하는 정보입력자(10)의 손에 상당하는 화상부를 추출하고 그 면적을 구하고(스텝 250), 감시플래그가 (1)인지의 여부를 판정한다(스텝 (252)). 판정이 부정된 경우는 감시플래그를 (1)로 하여(스텝 (254)) 먼저 연산된 정보입력자의 손에 상당하는 화상부의 면적을 기억하고 (스텝(256)), 지시 판단처리를 일단 종료한다.
또한, 스텝(252)의 판정이 긍정된 경우는 스텝(250)에서 연산된 면적을 RAM (22C)등에 기억되어 있는 면적과 비교하고 정보입력자(10)의 손에 상당하는 화상부의 면적에 소정치 이상의 변화가 있었는지를 판정한다(스텝(258)). 판정이 부정된 경우에는 정보입력자(10)가 클릭동작을 행하고 있지 않다고 판단하고 어떤 처리도 행하지 않고 표시판단처리를 종료하나 판정이 긍정된 경우에는 「클릭 있음」을 표시하는 정보를 정보처리장치(14)로 출력하고(스텝 260 : 이로써 정보처리장치(14)에서는 디스플레이(12)에 표시하고 있는 화면의 변경등 소정의 처리를 실행한다) 감시 플래그 및 지시플래그를 0으로 하고(스텝 262), 지시판단 처리를 종료한다.
또한 정보입력자(10)가 디스플레이(12)의 표시면상을 지시한 후에 클릭동작을 행하지 않고 팔을 내린 경우에는 스텝(242)의 판정이 부정되어 스텝(270)으로 이행하나 이때에는 지시 프래그가 (1)이므로 스텝(270)의 판정이 긍정되고 스텝(272)으로 이행된다. 스텝(272)에서는 스텝(248)에서 연산하여 RAM (22C) 에 기억되고 있다. 디스플레이(12)의 표시면상의 정보입력자(10)가 지시하고 있는 위치의 좌표를 정보처리장치(14)로 출력한다. 이로써 정보처리장치(14)는 정보입력자(10)가 팔을 내리기전에 커서를 표시하고 있던 위치에 계속하여 커서를 표시시킨다.
상기에 의해 정보입력자(10)의 자세가 도(12B) 또는 도(12C)에 나타내는 자세에서 도 12에 나타내는 자세로 변화하였다하여도 커서의 표시가 계속되므로 정보입력자(10)가 커서를 계속해서 표시시키고 싶다는 등의 경우에도 (예를들면 회의의 프리젠테이션 등), 정보입력자(10)가 계속적으로 손을 계속 들어올릴 필요가 없어지므로 정보입력자(10)의 부담을 경감할 수 있다.
또, 정보입력자(10)가 정보입력공간에서 퇴거하면 그것이 정보처리장치(14)에 있어서 일련의 처리도중에 있다 하더라도 스텝(232)의 판정이 부정되고 스텝(280)으로 이행된다. 정보입력자(10)가 정보입력공간에서 퇴거된 때에는 도착 플래그는 (1)이 되어있으므로 스텝(280)의 판정이 긍정되고 스텝(282)에서 정보입력공간으로부터 정보입력자(10)가 퇴거한 것을 정보처리장치(14)로 통지한다. 이로써 정보처리장치(14)는 실행도중의 처리가 있으면 그 처리의 실행을 중지함과 동시에 디스플레이(12)에 표시하고 있는 화면을 호출화면으로 바꾼다. 다음의 스텝(284)에서는 도착 플래그를 (0)으로하고 지시판단처리를 일단 종료한다.
이로써 정보입력공간에 정보입력자(10)가 없는 동안은 항상 호출화면이 디스플레이에 지시되고 정보입력공간에 정보입력자(10)가 도착할 때마다 정보처리장치(14)에서는 디스플레이(12)로의 초기화면의 표시에서 시작되는 일련의 처리가 행해지게 된다.
또한 도 8 및 도 19에 나타낸 지시판단처리에서는 정보처리자가 자신의 손을 움직이는 모든 동작(예를들면 굴곡과 회전, 임의의 손가락 굽혀늘리기 등)을 클릭동작으로서 정의하고 있으나 이에 한정되지 않고 정보입력자(10)가 손을 전방으로 재빨리 이동시키는 동작(도 22A 참조, 이하 「전진클릭」이라고 함) 및 정보입력자(10)가 손을 후방으로 재빨리 이동시키는 동작(도 22(B) 참조, 이하 「후진클릭」이라고 함)을 클릭동작으로 하여도 좋다. 상기의 클릭동작은 도 8과 도 19에 나타낸 지시판단처리에 대신하고 예를들면 도 20에 나타낸 지시판단처리를 행하므로서 검지할 수 있다.
즉 도 20에 나타내는 지시판단처리에서는 먼저 스텝(310)에 있어서 도 8의 플로우챠트의 스텝(152), 도 19의 플로우챠트의 스텝(232)과 같이 정보입력공간내에 정보입력자(10)가 도착하였는지(존재하고 있는지)의 여부를 판정한다. 이 판정도 예를들면 화상 A 및 화상 B중에 고휘도로 또한 소정치 이상의 면적의 화상부가존재하고 있는지의 여부등의 극히 간단한 판단처리로 끝난다. 스텝(310)의 판정이 부정된 경우에는 판정이 긍정될 때까지 대기한다. 정보입력공간에 정보입력자(10)가 도착하면 스텝(310)의 판정이 긍정되어 스텝(312)으로 이행하고 클릭동작속도 설정 처리를 실행한다.
이 클릭 동작 속도 설정처리에 대해 도 21의 플로우챠트를 참조하여 설명한다. 스텝(290)에서는 클릭동작의 실행을 정보입력자(10)에 요청하는 메시지를 디스플레이(12)에 표시하도록 정보처리장치(14)에 지시하고 정보처리장치(14)는 디스플레이(12)에 상기 메시지를 표시시킨다. 디스플레이(12)에 상기 메시지가 표시되면 정보입력자(10)는 팔을 굴곡 또는 신장시키고 전진클릭동작 또는 후진클릭동작을 반복하여 행한다.
다음의 스텝(292)에서는 기준점·특징점 좌표연산처리(도 8의 플로우챠트의 스텝(154) 내지 스텝(176)과 같은 처리)를 행하여 기준점(PO) 및 특징점(PX)의 3차원 좌표를 구하고 스텝(294)에서는 정보입력자(10)가 디스플레이(12)를 지시하는 지시동작을 행하고 있는지를 판정한다. 스텝(294)의 판정이 부정된 경우에는 스텝(292)으로 되돌아오고 정보입력자(10)가 지시동작을 행할 때까지 스텝(292), (294)을 반복한다. 스텝(294)의 판정이 긍정되면 스텝(296)으로 이행한다.
스텝(296)에서는 스텝(292)에서 출력한 기준점(Po)의 3차원 좌표 및 특징점(Px)의 3차원 좌표에서 기준점(Po)과 특징점 (Px)의 거리(k)를 연산한다. 또한 스텝(296)은 반복실행되나 2회째 이후의 실행시에는 금회 연산한 거리(k)의 값과전회연산한 거리(k)의 값의 차이에 근거하여 거리(k)의 변화율, 즉 변화속도(V) (기준점 (Po)에 대한 특징점 Px의 위치의 이동속도)를 연산하고 연산결과를 기억한다.
다음의 스텝(298)에서는 클릭동작의 실행을 요청하는 메시지를 디스플레이(12)에 표시한 후 소정시간이 경과했는지의 여부를 판정한다. 판정이 부정된 경우에는 판정(292)으로 돌아오고 스텝(292~298)을 반복한다. 따라서 클릭동작의 실행을 요청하는 메시지를 표시한 후 소정 시간이 경과할 때까지의 동안은 기준점(Px)과의 거리(k) 변화속도(V)가 반복연산·기억되게 된다.
스텝(298)의 판정이 긍정되면 스텝(300)으로 이행하고 먼저 연산·기억한 변화속도 변화속도(V)를 취하고 정보 입력자(10)가 1회의 클릭동작을 행하고 있는 동안의 변화속도(V)의 추이에 근거하여 클릭 동작속도(Vo)를 역가로서 설정·기억한다. 이 클릭동작속도(Vo)는 후술하는 처리에 있어서 정보입력자(10)가 클릭동작을 행했는지를 판정하기 위한 역가로서 사용한다. 그러므로 정보입력자(10)가 클릭동작을 행한 것을 확실히 판정하기 위해 클릭동작속도(Vo)로서는 예를들면 정보입력자(10)의 1회의 클릭동작에 있어서 변화속도 (V)의 평균치보다도 약간 낮은 값을 설정할 수 있다. 또한 정보입력자(10)의 1회클릭동작에 있어서, 변화속도 (V)의 최소치를 클릭동작속도(Vo)로서 설정하도록 하여도 좋다.
정보입력자(10)가 팔을 굴곡 또는 신장시켜 클릭동작을 행했을 때의특징점(PX)의 이동속도(변화속도 (V))는 정보입력자(10)마다 흐트러짐이 있으나 상기의 클릭동작 속도 설정 처리는 정보입력공간에 정보입력자(10)가 도착할 때 마다 실행되므로 정보입력공간에 새로운 정보 입력자(10)가 도착하면 클릭동작속도(Vo)로서 도착한 정보입력자(10)의 체격과 근력등에 따른 적절한 값이 새로히 설정되게 된다.
상기한 클릭동작 속도 설정처리를 종료하면 지시판단처리(도 20)의 스텝(314)으로 이행되고 기준점·특징점 좌표연산처리(도 8의 플로우챠트)의 스텝(154)내지 스텝(176)과 같은 처리)를 행하여 기준점(Po) 및 특징점(PX)의 3차원 좌표를 구한다. 다음의 스텝(316)에서는 스텝(314)에서 구한 기준점(Po) 및 특징점(PX)의 3차원 좌표에 근거하고 정보입력자(10)가 지시동작을 행하고 있는지를 판정한다.
스텝(316)의 판정이 부정된 경우에는 스텝(334)으로 이행하고 정보인력공간에서 정보입력자(10)가 퇴거했는지를 판정한다. 이 판정에 대해서도 먼저 설명한 스텝(310)과 같이 화상 A 및 화상 B에서 고휘도 또는 소정치 이상의 면적의 화상부가 없어졌는지 등의 극히 간단한 판단처리로 판단할 수 있다. 상기 판정이 부정된 경우에는 스텝(314)으로 되돌아오고 정보입력자(10)가 지시동작을 행할때까지 스텝(314,316,334)을 반복한다.
또한 스텝(316)의 판정이 긍정되면 스텝(318)으로 이행하고 스텝(314)으로구한 기준점(Po) 및 특징점(Px)의 3차원 좌표에 근거하고 도 8의 플로우챠트의 스텝(176)과 같이 정보입력자(10)가 지시하고 있는 위치로서 대(大)화면 디스플레이(12)의 표시면을 포함하는 평면과 기준점과 특징점등을 맺는 가상선과의 교점의 좌표를 연산한다. 다음의 스텝(320)에서는 스텝(318)에서 구한 좌표에 근거하고 정보입력자(10)가 대(大)화면 디스플레이(12)의 표시면상을 지시하고 있는 지를 판정한다.
스텝(320)의 판정이 부정된 경우에는 어떠한 처리도 행하지 않고 스텝(334)로 이행하나 상기 판정이 긍정된 경우는 스텝(332)에 있어서 스텝(318)에서 연산된 좌표를 정보처리장치(14)로 출력하고 정보처리장치(14)에 대해 커서의 표시를 지시한다. 이로써 정보처리장치(14)에서는 정보입력자(10)가 지시하고 있다고 판단된 디스플레이(12)의 표시면상의 소정위치에 커서를 표시하는 등의 처리를 행한다.
다음의 스텝(324)에서는 기준점(Po) 및 특징점(Px)의 3차원 좌표에 근거하여 기준점(Po)과 특징점(PX)의 사이의 거리(k)를 연산하고 거리(k )의 변화가 있는지를 판정한다. 또한 스텝(324)은 정보입력자(10)가 디스플레이(12)의 표시면을 지시하는 동작을 행하고 있는 동안 (스텝(320)의 판정이 긍정되어 있는 동안) 반복실행되나 스텝(324)에서 처음으로 거리(k)가 연산된 때에는 거리 k의 변화의 유무를 판정할 수 없으므로 스텝(324)의 판정은 무조건으로 부정된다.
한편, 스텝(324)의 판정이 긍정된 경우에는 스텝(326)으로 이행되고 거리(k)의 변화속도(V)를 연산하고 연산된 변화속도(V)가 역가(클릭동작 속도 설정 처리에의해 설정된 클릭동작속도 (Vo)) 이상인지 판정한다. 또한 스텝(326)에 있어서도 스텝(324)에서 처음으로 거리(k)가 연산된 때에는 거리(k)의 변화속도(V)를 연산할 수 없으므로 판정은 무조건으로 부정된다. 스텝(324) 또는 스텝(236)의 판정이 부정된 경우에는 정보입력자(10)는 클릭동작을 행하고 있지 않다고 판단하고 어떤 처리도 행하지 않고 스텝(334)으로 이행된다.
또한 스텝(324,326)의 판정이 각각 긍정된 경우에는 정보입력자(10)가 클릭동작을 행하였다고 판단하고 스텝(328)에 있어서 거리(k)의 변화방향을 판정하고 판정결과에 따라 분기한다. 거리(k)가 증대방향으로 변화하고 있던 경우에는 정보입력자(10)가 팔을 재빨리 신장시키는 전진클릭동작을 행했다고 판단할 수 있으므로 스텝(330)으로 이행하고 전진클릭이 있었던 것을 나타내는 정보를 정보처리장치(14)로 출력하고 스텝(334)으로 이행된다. 또한 거리(k)가 감소방향으로 변화하고 있던 경우에는 정보입력자(10)가 팔을 재빨리 굴곡시키는 후진클릭 동작을 행했다고 판단할 수 있으므로 스텝(332)으로 이행되고 후진클릭이 있었던 것을 나타내는 정보처리장치(14)로 출력한 후에 스텝(334)으로 이행된다.
정보처리장치(14)에서는 전진클릭이 있는 것을 나타내는 정보 또는 후진클릭이 있는 것을 나타내는 정보가 입력되면 정보입력자(10)에 의한 현재의 지시개소가 클릭된다고 판단하고 전진클릭이 있는 경우에는 현재의 지시개소에 대응하는 제 1의 처리를, 후진클릭이 있는 경우에는 현재의 지시개소에 대응하는 제 2의 처리 (제 1의 처리와 다른 처리)를 행한다. 또한 정보입력공간에서 정보입력자(10)가 퇴거한 경우에는 스텝(334)의 판정이 긍정되어 스텝(310)으로 돌아온다.
상술한 지시판단처리에 있어서 클릭동작은 디스플레이(12)의 표시면상의 특정개소를 지시하여 선택하는 동작으로서 극히 자연스러운 동작이므로 인식대상지는 위화감을 느끼지 않고 클릭동작을 행할 수 있다. 또, 상기에서는 기준점과 특징점 거리(k)의 변화에 근거하고 클릭동작이 행해졌는지 아닌지 및 행해진 클릭동작이 전진클릭동작인지 후진클릭동작인지를 판단할 수 있으므로 클릭동작의 검지를 단시간에 행할 수 있다. 또 클릭동작으로서 2종류의 클릭동작(전진클릭동작 및 후진클릭동작)을 정의하고 있으므로 정보입력자가 제 1의 처리 및 제 2의 처리를 선택적으로 실행시킬 수 있다.
그런데 상기의 전진클릭동작 또는 후진클릭동작을 행한 후의 인간의 자연적인 손의 움직임은 클릭동작을 행하기전의 위치(중립위치)로 되돌아오려는 움직임이므로 전진클릭동작을 행한 후의 중립위치로 되돌아오려 하는 손의 움직임을 후진클릭 동작으로 오검지하거나 후진클릭동작을 행한 후의 중립위치로 돌아오려고 하는 손의 움직임을 전진클릭동작을 오검지하는 것을 방지하기 위해 전진클릭동작 또한 후진클릭을 검지한 후의 중립위치로 돌아오려고 하는 손의 움직임을 무시하는 것이 바람직하다. 이것은 예를들면 전진클릭동작 또는 후진클릭동작을 검지하고서 클릭동작의 검지를 소정시간 정지하거나 또는 전진클릭동작 또는 후진클릭동작을 검지하기 전의 거리(k)의 값을 중립위치에 상당하는 값으로서 미리 기억해 놓고 후진클릭동작 또는 후진클릭동작을 검지하고서 거리(k)의 값이 상기 중립위치에 상당하는 값이 되기까지의 사이동안 클릭동작의 검지를 정지하므로서 실현 할 수 있다.
또한 상술한 지시판단처리에 있어서도 도 19에 나타낸 지시판단처리와 같이 정보입력자가 팔을 내린 경우에 팔을 내리기 전에 커서를 표시하고 있던 위치에 계속해서 커서를 표시하도록 하여도 좋은 것은 말할 나위도 없다.
또한 상기에서는 정보입력자의 기준점 및 특징점 3차원 좌표에 근거하여 정보입력자가 지시하고 있는 위치를 연산하고 있으나 이에 한정 되는 것이 아니고 도 23에 나타낸 바와같이 비디오카메라의 촬상에 의해 얻어진 화상에서 정보입력자(10)의 전체상에 상당하는 화상부(72)를 추출하고 정보입력자(10)의 신장 (h) 및 마루면상의 위치를 연산하고 또한 두께등의 정보입력자(10)에 관한 다른 변수를 결정한 후에 신장(h)를 포함하는 각종 변수에 근거하고 정보 입력자의 전체상을 더미모델(74)로 변환하고 이 더미모델에 근거하여 디스플레이(21)의 표시면상을 지시하는 동작을 포함하는 정보입력자의 각종동작의 인식을 행하도록 하여도 좋다.
상기와 같이 더미모델을 사용한 경우, 예를들면 손을 흔드는 등과 같이 정보입력자의 전체상에서는 인식이 곤란한 동작도 인식할 수 있다. 그리고 예를들면 정보입력자가 손을 흔드는 동작을 「취소」를 의미하는 동작으로 정의해 놓고 정보입력자가 손을 흔드는 동작을 행한 것을 인식했을 때에는 그 전에 인식한 정보입력자의 동작에 따라 실행한 처리를 중지시키는 것도 가능해 진다.
또한, 상기에서는 정보입력자가 디스플레이의 표시면상의 임의의 위치를 지시하는 상태를 설명하였으나 정보입력자가 지시하는 대상은 디스플레이에 한정되는것이 아니고 정보입력자가 임의의 방향을 지시하거나 정보입력자와의 거리가 부정인 임의의 물체를 지시하도록 하여도 좋다.
정보입력자가 임의의 방향을 지시하는 경우에는 지시판단처리 (예를들면 도 8의 플로우챠트의 스텝 176)에 있어서 정보입력자의 기준점과 특징점을 맺는 가상선의 늘어나는 방향을 구하도록 하므로서 정보입력자에 의해 지시된 방향을 판단할 수 있다. 또한 정보입력자가 정보입력자와의 거리가 부정인 임의의 물체를 지시하는 경우에는 앞의 스텝(176)에 있어서, 가상선의 늘어나는 방향을 구한 후에 그 가상선을 연장한 앞에 존재하는 물체를 판정하므로서 정보입력자가 지시하고 있는 물체를 판단할 수 있다.
정보입력자가 임의의 방향을 지시하는 이용형태로서는 예를들면 극장등에 있어서 스포트라이트의 조사방향과 어레이상에 배치된 다수의 스피커에 의해 형성되는 음향빔의 방향을 오퍼레이터(정보입력자)가 지시한 방향을 향하는 경우등을 들 수 있다.
또한 정보입력자가 정보입력자로부터 거리가 부정인 임의물체를 지시하는 이용형태로서는 예를들면 건설현장과 공장 등에 크레인과 그밖의 기계를 오퍼레이터(정보입력자)의 지시에 따라 동작시킬 경우 또는 홈오토메이션에 있어서 정보입력자가 각종 설비기품에 대해 지시를 행하는 경우 등을 들 수 있다.
또한, 상기에서는 주로 한 대의 비디오카메라(36), 또는 2대의 비디오카메라(36A)(36B)를 설치한 예를 설명하였으나 이에 한정되지 않고 보다 다수의 비디오카메라에 의해 정보인력공간을 촬상하고 정보입력자로부터의 지시를 판단하도록 하여도 좋다.

Claims (21)

  1. 조명수단, 촬상수단, 및 판단수단을 포함하는 핸드포인팅 장치에 있어서,
    상기 촬상수단이 복수개로서 서로 다른 위치에 배치되어 상기 조명수단에 의해 조명될 인식대상자가 각각의 촬상범위내에 모두 들어가도록 하고 그리고 상기 조명수단에 의해 조명되는 마루면상의 조명범위가 촬상범위에서 하물등의 비인식대상과 인식대상자를 용이하게 식별할 수 있도록 엇갈리게 촬상범위가 각각 조정되며, 그리고
    상기 판단수단이 복수의 촬상수단의 각각에 의해 인식된 인식대상자의 특정의 위치 및 방향중에서의 한쪽을 지시하고 있는 상황을 촬상하에 얻어진 복수의 화상에 근거하여, 상기 화상중에서 상기 인식대상자에 해당하는 화상부만을 추출하여 인식대상자가 지시하는 위치 및 방향의 한쪽만을 판단하도록 하는 것을 특징으로 하는 핸드포인팅 장치.
  2. 제1항에 있어서, 상기 복수의 조명수단이 서로 다른 방향에서 인식대상자를 조명하며, 상기 복수의 조명수단을 1개씩 순서대로 점소등시킴과 동시에 점등되어 있는 조명수단에 대응하는 촬상수단에 의해 특정위치 및 방향의 한쪽을 지시하고 있는 인식대상자가 촬상되도록 제어하는 제어수단을 더 포함하는 것을 특징으로 하는 핸드포인팅 장치.
  3. 제1항에 있어서, 상기 복수의 조명수단이 서로 다른 방향에서 인식대상자를 조명하며, 상기 촬상수단이 상기 조명수단에 의해 조명된 인식대상자를 촬상하도록 적어도 1개 이상이며,
    상기 복수의 조명수단을 1개씩 순서대로 점소등시킴과 동시에 조명수단의 각각의 점등시에 동일 촬상수단에 의해 특정위치 및 방향의 한편을 지시하고 있는 확인대상자를 촬상하므로서 각각 얻어진 복수의 화상을 비교하고 상기 복수의 화상중의 상기 확인대상자에 상당하는 화상부와 그 화상부 이외의 화상부등을 판별하는 것을 적어도 1개의 촬상수단에 대해 행하는 판별수단을 포함하며,
    상기 판단수단이 상기 판별수단에 의해 판별결과에 근거하고 상기 촬상수단이 촬상한 복수의 화상에서 인식대상자에 상당하는 화상부를 각각 추출하고 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 것을 특징으로 하는 핸드포인팅 장치.
  4. 제 1항에 있어서,
    상기 인식대상자의 주위의 마루면상에 비인식대상물체가 정체하는 것을 저지하는 저지수단을 더 포함하는 핸드포인팅 장치.
  5. 조명수단, 촬상수단, 및 판단수단을 포함하는 핸드포인팅 장치에 있어서,
    상기 조명수단은 소정개소에 도착한 인식대상자를 조명하며, 상기 촬상수단은 복수이며 조명수단에 의해 조명된 인식대상자를 서로 다른 방향에서 촬상하며,
    상기 소정범위부근에 위치하고 있는 복수의 가상점의 각각의 3차원 좌표와 각 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 가상점의 각각의 위치를 대응시키기 위한 정보를 기억하는 기억수단을 더 포함하며,
    상기 판단수단은 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고 각 화상중의 상기 인식대상자에 상당하는 화상부를 추출하여 상기 각 화상마다 인식대상자의 특징점 위치를 구함과 동시에 구한 각 특징점 위치 및 상기 기억수단에 기억된 정보에 근거하여 각 특징점 3차원 좌표에 근거하여 인식대상자가 지시한 위치 및 방향의 한쪽을 판단하는 것을 특징으로 하는 핸드포인팅 장치.
  6. 제 5항에 있어서, 상기 기억수단은 상기 소정 개부근에 일정 간격에 격자상으로 늘어서는 다수의 가상점의 각각의 3차원좌표와 각 촬상수단의 촬상에 의해 얻어지는 각 화상상에서의 상기 다수의 가상점의 각각의 위치등을 대응시키기 위한 정보를 기억하는 핸드포인팅 장치.
  7. 제 6항에 있어서, 상기 판단수단은 상기 각 화상마다 인식대상자의 특징점 위치를 구한후에 화상상에서 상기 특징점을 포함하는 소정범위내의 영역에 위치하는 가상점을 상기 각 화상상에서 각각 추출하고 상기 각 화상에서 공통으로 추출된 가상점의 3차원 좌표에 근거하여 상기 특징점 3차원 좌표를 구하는 핸드포인팅 장치.
  8. 제 5항에 있어서, 상기 가상점의 위치에 마커가 위치하고 있는 상황을 상기 복수의 촬상수단에 의해 촬상시키고 상기 가상점의 3차원 좌표와 각 촬상수단의 촬상에 의해 얻어진 각 화상상에서의 마커의 위치에 근거하고 가상점의 3차원좌표와 상기 각 화상상에서의 가상점의 위치를 대응시키기 위한 정보를 생성하고 상기 기억수단에 기억시키는 생성수단을 다시 포함하는 핸드포인팅 장치.
  9. 제 6항에 있어서, 상기 가상점의 위치에 마커가 위치하고 있는 상황을 상기 복수의 촬상수단에 의해 촬상시키고 상기 가상점의 3차원 좌표와 각 촬상수단의 촬상에 의해 얻어진 각 화상상에서의 마커의 위치 등에 근거하고 가상점의 3차원좌표와 상기 각 화상상에서의 가상점의 위치를 대응시키기 위한 정보를 생성하고 상기 기억수단에 기억시키는 생성수단을 다시 포함하는 핸드포인팅 장치.
  10. 제1항에 있어서,
    상기 복수의 화상중의 상기 인식대상자의 신체의 소정부분에 상당하는 화상부를 추출하고, 추출한 화상부의 면적, 그 화상부의 윤곽형상, 및 그 화상부의 윤곽선의 길이의 어느 한쪽의 변화를 검출하는 제 1의 검출수단과,
    상기 제 1의 검출수단에 의해 상기 변화가 검출된 경우에 소정의 처리를 실행하는 처리수단을 더 포함하는 핸드포인팅 장치.
  11. 제1항에 있어서,
    상기 판단수단은 상기 복수의 촬상수단의 각각에 의해 인식대상자가 특정위치 및 방향의 한쪽을 지시하고 있는 상황을 촬상하므로서 얻어진 복수의 화상에 근거하고, 상기 화상중의 전기인식 대상자에 상당하는 화상부를 추출하고, 인식대상자가 팔의 굴곡 및 신장의 어느 한쪽을 행함으로서 위치가 변화하는 특징점 및 인식대상자가 팔의 굴곡 및 신장을 행해도 위치가 변화하지 않는 기준점의 3차원 좌표를 각각 구하고, 특징점 3차원좌표 및 기준점의 3차원 좌표에 근거하여 인식대상자가 지시한 위치 및 방향의 한쪽의 판단하며,
    상기 기준점과 상기 특징점 사이의 거리를 연산하고 기준점과 특징점 사이의 거리 변화에 근거하여 소정의 처리를 실행하는 처리수단을 더 포함하는 핸드포인팅 장치.
  12. 제 11항에 있어서, 상기 처리수단은 상기 기준점과 상기 특징점 사이의 거리가 증가한 경우에는 제 1의 소정의 처리를 행하고 상기 기준점과 상기 특징점 사이의 거리가 감소한 경우에는 상 제 1의 소정의 처리와 다른 제 2의 소정의 처리를 행하는 핸드포인팅 장치.
  13. 제 11항에 있어서, 상기 처리수단은 상기 기준점과 상기 특징점 사이의 거리 변화율을 검출하고 검출한 변화율이 역가이상의 경우에 소정의 처리를 실행하는 핸드포인팅 장치.
  14. 제 12항에 있어서, 상기 처리수단은 상기 기준점과 상기 특징점 사이의 거리 변화율을 검출하고 검출한 변화율이 역가이상의 경우에 소정의 처리를 실행하는 핸드포인팅 장치.
  15. 제 13항에 있어서, 상기 처리수단의 소정의 처리를 행하기 위해 팔의 굴곡 및 신장의 어느 한쪽을 행하도록 인식대상자에게 요청하고 인식대상자가 팔의 굴곡 및 신장의 어느 한쪽을 행했을 때의 상기 기준점과 상기 특징점 사이의 거리변화율에 근거하여 상기 역가를 설정하는 역가 설정수단을 다시 포함하는 핸드포인팅 장치.
  16. 제 14항에 있어서, 상기 처리수단에 소정의 처리를 행하기 위한 팔의 굴곡 및 신장의 어느 한쪽을 행하도록 인식대상자에게 요청하고 인식대상자가 팔의 굴곡 및 신장의 어느 한쪽을 행했을 때의 상기 기준점과 상기 특징점 사이의 거리변화율에 근거하여, 상기 역가를 설정하는 역가설정수단을 다시 포함하는 핸드포인팅 장치.
  17. 제 10항에 있어서, 상기 복수의 화상중의 상기 인식대상자의 팔에 상당하는 화상부를 추출하고 인식대상자의 팔이 내려졌는지의 여부를 검출하는 제 2의 검출수단을 다시 포함하고,
    상기 처리수단은 상기 제 2의 검출수단에 의해 상기 인식 대상자의 팔이 내려진 것이 검출된 경우에는 현재의 상태가 계속되는 핸드포인팅 장치.
  18. 제 11항에 있어서, 상기 복수의 화상중의 상기 확인 대상자의 팔에 상당하는 화상부를 추출하고 확인대상자의 팔이 내려졌는지를 검출하는 제 2의 검출수단을 다시 포함하고,
    상기 처리수단은 상기 제 2의 검출수단에 의해 상기 확인 대상자의 팔이 내려진 것이 검출된 경우에는 현재의 상태가 계속되는 핸드포인팅 장치.
  19. 조명수단, 촬상수단, 및 판단수단을 포함하는 핸드포인팅 장치에 있어서,
    상기 조명수단은 적어도 하나 이상으로 인식대상자를 조명하며,
    상기 촬상수단은 적어도 하나 이상으로 상기 조명수단에 의해 조명된 인식대상자를 촬상하며, 그리고
    상기 판단수단은 인식대상자가 특정의 위치 또는 방향을 지시하고 있는 상황을 상기 적어도 하나의 촬상수단이 촬상하는 것으로 얻어진 화상을 기초로 하여, 상기 화상중의 전기 인식대상자에 상당하는 화상부를 추출하고, 상기 인식대상자의 특징점의 3차원좌표를 구하고, 상기 특징점의 3차원 좌표에 기초하여 인식대상자가 지시한 위치 또는 방향을 판단하는 것을 특징으로 하며, 상기 특징점의 소정의 동작에 기초하여, 소정의 처리를 실행하는 처리수단을 더 포함하는 핸드 포인팅 장치.
  20. 제19항에 있어서, 상기 특징부가 상기 인식대상자의 손의 일부분인 것을 특징으로하는 핸드 포인팅 장치.
  21. 제19항에 있어서, 상기 소정의 동작이 상기 인식대장자의 손의 일부분이 소정 이상의 속도로 이동하는 것을 특징으로 하는 핸드 포인팅 장치.
KR1019980009762A 1997-03-21 1998-03-20 핸드포인팅장치 KR100328648B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP6860297 1997-03-21
JP9-68602 1997-03-21
JP36962897A JP3749369B2 (ja) 1997-03-21 1997-12-29 ハンドポインティング装置
JP9-369628 1997-12-29

Publications (2)

Publication Number Publication Date
KR19980080509A KR19980080509A (ko) 1998-11-25
KR100328648B1 true KR100328648B1 (ko) 2002-07-31

Family

ID=26409810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980009762A KR100328648B1 (ko) 1997-03-21 1998-03-20 핸드포인팅장치

Country Status (5)

Country Link
US (1) US6385331B2 (ko)
EP (3) EP0866419B1 (ko)
JP (1) JP3749369B2 (ko)
KR (1) KR100328648B1 (ko)
DE (3) DE69824225T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815159B1 (ko) 2005-12-08 2008-03-19 한국전자통신연구원 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
DE19806024A1 (de) * 1998-02-13 1999-08-19 Siemens Nixdorf Inf Syst Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung
TW464800B (en) * 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US6690357B1 (en) * 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
JP2000181601A (ja) * 1998-12-18 2000-06-30 Fujitsu General Ltd 情報表示システム
JP2000222117A (ja) * 1999-01-29 2000-08-11 Takenaka Komuten Co Ltd ハンドポインティング装置、指示位置表示方法及び記録媒体
WO2000075860A1 (en) * 1999-06-08 2000-12-14 Soffix, S.R.L. Electronic writing/display apparatus and respective method of operation
EP1074943A3 (en) * 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Image processing method and apparatus
US6738041B2 (en) 1999-10-29 2004-05-18 Intel Corporation Using video information to control cursor position
CN1222859C (zh) * 2000-05-17 2005-10-12 皇家菲利浦电子有限公司 用于通过图象处理而不用三维建模来指示目标的设备和方法
US6531999B1 (en) 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
WO2002071337A1 (en) * 2001-03-01 2002-09-12 Volume Interactions Pte Ltd A display apparatus
US6711280B2 (en) * 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003084229A (ja) * 2001-09-14 2003-03-19 Takenaka Komuten Co Ltd 指示位置表示装置及び方法
AU2002362085A1 (en) * 2001-12-07 2003-07-09 Canesta Inc. User interface for electronic devices
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
JP3762309B2 (ja) * 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US6973579B2 (en) * 2002-05-07 2005-12-06 Interdigital Technology Corporation Generation of user equipment identification specific scrambling code for the high speed shared control channel
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition
US7165029B2 (en) 2002-05-09 2007-01-16 Intel Corporation Coupled hidden Markov model for audiovisual speech recognition
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
JP4149213B2 (ja) * 2002-07-12 2008-09-10 本田技研工業株式会社 指示位置検出装置及び自律ロボット
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
EP1408443B1 (en) * 2002-10-07 2006-10-18 Sony France S.A. Method and apparatus for analysing gestures produced by a human, e.g. for commanding apparatus by gesture recognition
US7171043B2 (en) 2002-10-11 2007-01-30 Intel Corporation Image recognition using hidden markov models and coupled hidden markov models
US7472063B2 (en) * 2002-12-19 2008-12-30 Intel Corporation Audio-visual feature fusion and support vector machine useful for continuous speech recognition
US7203368B2 (en) * 2003-01-06 2007-04-10 Intel Corporation Embedded bayesian network for pattern recognition
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
US7618323B2 (en) * 2003-02-26 2009-11-17 Wms Gaming Inc. Gaming machine system having a gesture-sensing mechanism
FR2853423B1 (fr) * 2003-03-20 2005-07-15 Simag Dev Dispositif de saisie comportant un capteur optique suivi d'un moyen de filtrage
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7439074B2 (en) * 2003-09-30 2008-10-21 Hoa Duc Nguyen Method of analysis of alcohol by mass spectrometry
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
WO2006003599A1 (en) * 2004-06-29 2006-01-12 Philips Intellectual Property & Standards Gmbh Personal gesture signature
WO2006027423A1 (fr) * 2004-08-09 2006-03-16 Simag Developpement Dispositif de saisie comportant un capteur optique suivi d’un moyen de filtrage
JP5631535B2 (ja) 2005-02-08 2014-11-26 オブロング・インダストリーズ・インコーポレーテッド ジェスチャベースの制御システムのためのシステムおよび方法
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
WO2007107874A2 (en) * 2006-03-22 2007-09-27 Home Focus Development Ltd Interactive playmat
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
KR100799766B1 (ko) 2006-10-25 2008-02-01 엠텍비젼 주식회사 포인터 이동 제어 장치
US8356254B2 (en) * 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
KR100814289B1 (ko) 2006-11-14 2008-03-18 서경대학교 산학협력단 실시간 동작 인식 장치 및 그 방법
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
EP2144448B1 (en) * 2007-03-30 2019-01-09 National Institute of Information and Communications Technology Floating Image Interaction Device
WO2008134452A2 (en) 2007-04-24 2008-11-06 Oblong Industries, Inc. Proteins, pools, and slawx in processing environments
EP2145238A4 (en) * 2007-04-26 2011-10-12 Roberto Rosso COMMUNICATION CONTROL BUS AND DEVICE FOR CONTROLLING MULTIPLE ELECTRONIC HARDWARE DEVICES
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP5120754B2 (ja) * 2008-03-28 2013-01-16 株式会社国際電気通信基礎技術研究所 動作検出装置
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20100066673A1 (en) * 2008-09-16 2010-03-18 Shang Tai Yeh Laser pointer capable of detecting a gesture associated therewith and representing the gesture with a function
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
EP2352078B1 (en) * 2008-10-01 2022-09-07 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, information recording medium, and program
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2010257089A (ja) * 2009-04-22 2010-11-11 Xiroku:Kk 光学式位置検出装置
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR100969927B1 (ko) * 2009-08-17 2010-07-14 (주)예연창 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
JP2011166332A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd 情報処理装置
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US9052800B2 (en) 2010-10-01 2015-06-09 Z124 User interface with stacked application management
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US9440144B2 (en) 2011-04-21 2016-09-13 Sony Interactive Entertainment Inc. User identified to a controller
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
JP2013070368A (ja) 2011-09-05 2013-04-18 Panasonic Corp テレビ対話システム、端末および方法
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US8884928B1 (en) 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9587804B2 (en) 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
CN102968208B (zh) * 2012-09-05 2015-10-07 广东威创视讯科技股份有限公司 面阵摄像头定位图像有效区域调整方式的选择方法和系统
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
JP6070211B2 (ja) * 2013-01-22 2017-02-01 株式会社リコー 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
WO2014129683A1 (ko) * 2013-02-21 2014-08-28 엘지전자 주식회사 원격 포인팅 방법
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9829984B2 (en) * 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
WO2015168218A2 (en) 2014-04-29 2015-11-05 Chia Ming Chen Light control systems and methods
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6586891B2 (ja) * 2016-01-13 2019-10-09 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN106383500A (zh) * 2016-09-05 2017-02-08 湖北工业大学 一种智能建筑门窗幕墙系统
JP6255129B1 (ja) * 2017-04-18 2017-12-27 京セラ株式会社 電子機器
JP7380453B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 サーバ装置、情報処理システム、及びシステムの動作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3906555A1 (de) 1989-03-02 1989-07-06 Zeiss Carl Fa Auflicht-objektbeleuchtungseinrichtung
JPH0474285A (ja) 1990-07-17 1992-03-09 Medama Kikaku:Kk 特定人又は物の位置検出表示装置
JP3114813B2 (ja) * 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
DE4142614A1 (de) 1991-10-14 1993-04-15 Tropf Hermann Dr Ing Vorrichtung und verfahren zum erkennen von objekten, wie unregelmaessigkeiten in oberflaechen oder dergleichen
EP0571702A3 (en) * 1992-05-26 1994-10-12 Takenaka Corp Handheld input device and wall computer unit.
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
IT1264225B1 (it) * 1993-09-24 1996-09-23 Sintecna S R L Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi
JPH07160412A (ja) * 1993-12-10 1995-06-23 Nippon Telegr & Teleph Corp <Ntt> 指示位置検出方法
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
JPH08329222A (ja) 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ３次元位置認識装置
JPH08328735A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ハンドポインティング入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815159B1 (ko) 2005-12-08 2008-03-19 한국전자통신연구원 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법

Also Published As

Publication number Publication date
KR19980080509A (ko) 1998-11-25
EP1329838A3 (en) 2003-08-06
JPH10326148A (ja) 1998-12-08
DE69829424D1 (de) 2005-04-21
EP0866419B1 (en) 2004-06-02
EP1329838B1 (en) 2005-02-02
US6385331B2 (en) 2002-05-07
EP0866419A2 (en) 1998-09-23
EP1329839B1 (en) 2005-03-16
EP1329838A2 (en) 2003-07-23
EP1329839A3 (en) 2003-07-30
JP3749369B2 (ja) 2006-02-22
DE69824225D1 (de) 2004-07-08
DE69829424T2 (de) 2006-05-04
US20010043719A1 (en) 2001-11-22
DE69824225T2 (de) 2005-06-23
DE69828912D1 (de) 2005-03-10
EP0866419A3 (en) 2001-05-23
EP1329839A2 (en) 2003-07-23
DE69828912T2 (de) 2005-07-28

Similar Documents

Publication Publication Date Title
KR100328648B1 (ko) 핸드포인팅장치
JP3795647B2 (ja) ハンドポインティング装置
KR101576106B1 (ko) 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법
EP3035164B1 (en) Wearable sensor for tracking articulated body-parts
JP3660492B2 (ja) 物体検知装置
KR101650799B1 (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
KR101184170B1 (ko) 볼륨 인식 방법 및 시스템
KR101118654B1 (ko) 모션캡쳐 기반의 자세분석을 통한 재활 장치 및 이에 따른 재활 방법
CN108389231B (zh) 基于棋盘表面图像的棋子定位识别方法及系统
WO2008111692A9 (en) Landmark for position determination of mobile robot and apparatus and method using it
TW201416908A (zh) 瞳孔追蹤裝置
JP5221939B2 (ja) 位置特定装置および動作指示装置並びに自走式ロボット
US20130057652A1 (en) Handheld Scanning Device
CN108572730B (zh) 用于使用深度感知相机与计算机实现的交互式应用程序进行交互的系统和方法
JP3792907B2 (ja) ハンドポインティング装置
JP5403779B2 (ja) 照明システム
KR20110125556A (ko) Ｌｅｄ마커를 이용한 3차원 신체동작 인식방법 및 이를 이용하는 웨어러블 장치
JP3376207B2 (ja) 視線検出装置及びその方法
JP6597277B2 (ja) 投影装置、投影方法及び投影用コンピュータプログラム
KR20100060622A (ko) 인체 자세 판별 시스템 및 그 방법
JP2784163B2 (ja) 位置認識方法および装置
JP2005100466A (ja) パターン認識装置
Fahn et al. Humanoid recognizing piano scores techniques
JP2010128534A (ja) 視点計測方法
KR20070111980A (ko) 움직이는 카메라를 이용한 모션 캡처 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee