KR19990037502A - 핸드포인팅 장치 - Google Patents

핸드포인팅 장치 Download PDF

Info

Publication number
KR19990037502A
KR19990037502A KR1019980046007A KR19980046007A KR19990037502A KR 19990037502 A KR19990037502 A KR 19990037502A KR 1019980046007 A KR1019980046007 A KR 1019980046007A KR 19980046007 A KR19980046007 A KR 19980046007A KR 19990037502 A KR19990037502 A KR 19990037502A
Authority
KR
South Korea
Prior art keywords
distance
image
display
point
space
Prior art date
Application number
KR1019980046007A
Other languages
English (en)
Other versions
KR100331693B1 (ko
Inventor
켄이찌 하라까와
Original Assignee
다께나까 토이쯔
다께나까 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다께나까 토이쯔, 다께나까 코포레이션 filed Critical 다께나까 토이쯔
Publication of KR19990037502A publication Critical patent/KR19990037502A/ko
Application granted granted Critical
Publication of KR100331693B1 publication Critical patent/KR100331693B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Abstract

본 발명은 핸드포인팅 장치에 관한 것으로서 투시법에 따라 가상적으로 3-D 공간을 나타내는 화상을 디스플레이상에 표시하고 정보입력자를 복수대의 비데오 카메라로 서로 다른 방향으로부터 촬상한다. 표시화상이 나타나는 가상의 3-D 공간내의 임의의 장소를 정보입력자가 지시하는 상태에서 각 비데오 카메라로부터 얻은 복수의 화상으로 부터 정보입력자의 등에 상당하는 기준점 및 손가락 끝에 상당하는 특징점을 각각 추출하여 3-D 좌표를 구한다. 기준점에서 특징점으로 향하는 방향에 기초하여 가상 3-D 공간내의 지시장소가 존재하는 방향을 판단하고 기준점과 특징점 사이의 거리에 기초하여 가상 3-D 공간내의 정보입력자와 정보입력자에 의해 지시된 위치사이의 거리를 판단한다. 그 결과, 가상 3-D 공간내의 정보입력자에 의해 지시된 장소의 3-D 좌표를 판단할 수 있다.

Description

핸드포인팅 장치
본 발명은 핸드포인팅 장치(hand pointing apparatus)에 관한 것으로서, 보다 상세하게는, 서로 다른 복수방향으로부터 인식대상자를 촬상하고, 인식대상자가 지시하는 특정위치의 좌표를 판단하기 위한 핸드포인팅 장치에 관한 것이다.
종래로부터, 소정의 정보를 표시하기 위한 디스플레이, 디스플레이의 근방으로 오는 정보입력자를 조명하는 조명장치, 접근하는 정보입력자를 서로 다른 방향으로부터 촬상하는 복수의 촬상수단을 포함하며, 접근하는 정보입력자가 디스플레이상의 임의의 위치를 손가락등으로 지시하는 상황을 복수의 촬상수단으로 촬상하고, 촬상에 의해 얻어진 복수의 화상에 기초하여 정보입력자를 인식하고, 정보입력자가 지시한 디스플레이 상의 위치를 판단하고, 디스플레이상의 지시위치에 커서(cursor)등을 표시하고, 정보입력자가 엄지손가락을 올려 클릭동작을 행했다는 사실을 검출할때에 디스플레이상의 지시위치가 클릭되는 것으로 인식하므로서 소정의 처리가 이루어지는 핸드포인팅 장치가 알려져 있다(예를들면, 일본 특개평 4-271423호 공보, 일본특개평 5-19957호 공보, 일본 특개평 5-324181호 공보 등 참조).
상기한 핸드포인팅 장치에서는, 정보입력자가 키보드 또는 마우스와 같은 입력기구를 접촉하지 않고 정보처리정치에 대하여 각종의 지시를 부여하여 각종의 정보를 입력할 수 있기 때문에 정보 처리 장치를 사용하기 위한 조작을 간소화 할 수 있다.
상기 핸드포인팅 장치는 정보입력자가 디스플레이의 표시면상의 위치를 지시하는 것을 판단할 수 있다. 그러나, 디스플레이상의 표시된 화상이 의사적으로 3-D(3차원) 공간을 나타내는 화상일 경우에 이 핸드포인팅 장치는 화상이 나타나는 가상적인 3-D공간내의 위치를 정보입력자가 어떻게 지시하는가(정보입력자에 의해 지시된 위치의 3-D 좌표)를 판단하는 것이 불가능하다. 의사적으로 3-D공간을 나타내는 화상의 표시에 관해서는 일점 투시법 또는 이점투시법에 맞게 화상을 평면 디스플레이 상에 표시하는 것 이외에 액정 셔터 또는 렌티큘라(lenticular) 렌즈를 이용한 3-D 디스플레이에 화상을 표시하거나 홀로그래피 기술을 적용하여 입체화상을 표시하는 등의 다양한 방법이 제공되었다 (이하 이러한 화상들을 3차원적 화상이라 총칭한다). 그러나, 정보입력자의 지시대상으로서 상기한 것들과 같은 제 3차원적 화상을 사용할 수 없는 결점이 있다.
또한, 상기한 결점은 정보입력자에 의한 지시대상이 3차원적 화상에 의해 표시된 가상의 3-D 공간인 겨우에 한정되지 않는다. 정보입력자에 의한 지시대상이 현실의 3-D공간내에 있는 경우에도 3-D 공간내의 어떤 위치를 정보입력자가 지시하는지를 판단하는 것이 불가능했다.
본 발명은 상기 사실을 고려한 것으로서, 정보입력자가 3-D 공간내의 임의의 위치를 지시하는 경우에도 지시된 위치의 3-D 좌표를 판단할 수 있는 핸드포인팅 장치를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 제 1발명은 서로 다른 복수의 방향으로부터 인식대상자를 촬상하는 촬상수단 ; 인식대상자가 3-D 좌표내의 특정위치를 지시하는 상황을 상기 촬상수단이 복수의 방향으로부터 촬상하므로서 얻은 복수의 화상으로부터 상기 인식대상자에 상당하는 화상부를 추출하고, 인식대상자가 굽히거나 뻗어서 그 위치가 변화하는 특징점 및 인식대상자가 팔을 굽히거나 뻗을때에도 위치가 변하지 않는 기준점의 3-D 좌표를 구하는 연산수단 ; 및 상기 기준점으로부터 상기 특징점으로의 방향에 기초하여 3-D공간내에 특정위치가 존재하는 방향을 판단함과 동시에 기준점과 특징점 사이의 거리에 기초하여 3-D공간의 깊은쪽 방향을 따라 특정 장소의 위치를 판단하므로서 3-D 공간내의 특정장소의 3-D 좌표를 판단하는 판단장치를 포함하는 핸드포인팅 장치이다.
제 1발명에서는 촬상수단에 의해 서로 다른 복수의 방향으로부터 인식대상자(정보입력자)를 촬상한다. 이 촬상수단은 비데오 카메라 등으로 이루어진 복수의 촬상장치를 사용하여 인식대상자를 복수의 방향으로부터 촬상하도록 구성될 수 있다. 또한, 평면 거울등의 광반사수단을 촬상수단에 설치하고, 단일의 촬상장치에 의해 인식대상자를 직접 촬상하는 것과 함께 평면 거울에 비추어지는 인식대상자의 허상을 촬상하므로서 인식대상자가 복수의 방향으로부터 촬상되도록 하는 구성으로 할 수 있다.
또한, 연산수단은 인식대상자가 3-D 공간내의 특정장소를 지시하는 상황을 촬상수단이 복수의 방향으로부터 촬상하여 얻은 복수의 화상에 기초하여 인식대상자에 상당하는 화상부를 추출하고, 인식대상자가 팔을 굽히거나 뻗어서 위치가 변화될 수 있는 특징점과 인식대상자가 팔을 굽히거나 뻗을때에도 위치가 변하지 않는 기준점의 3-D 좌표를 구한다. 예를들면, 인식대상자의 손, 손가락 등의 또는 인식대상자가 파지하고 있는 지시기의 선단등에 상당하는 점을 특징점으로 이용할 수 있다. 인식대상자의 동체부(예를들면, 인식대상자의 가슴과 어깨의 결합부)에 상당하는 점을 기준점으로 사용할 수 있다. 3-D 공간은 평면 디스플레이에 일점 투시법 또는 이점 투시법에 맞게 형성된 화상, 액정셔터 또는 렌티큘라 렌즈를 이용하여 3-D디스플레이에 표시된 화상 또는 홀로그래피 기술을 적용시켜 표시된 입체화상과 같은 3차원적 화상에 의해 나타난 가상의 3-D 공간일 수 있으며, 또는 실제의 3-D 공간일 수 있다.
판단수단은 기준점으로부터 특징점으로의 방향에 기초하여 3-D 공간내의 특정장소가 존재하는 방향을 판단함과 동시에 기준점과 특징점의 거리에 기초하여 3-D공간의 먼 쪽 방향을 따라 특정장소의 위치를 판단하므로서 3-D 공간 내 특정장소의 3-D 좌표를 판단한다.
따라서, 기준점으로부터 특징점으로 향하는 방향이 인식대상자의 관점으로부터 보이는 바와같이 지시대상자로서의 특정장소가 존재하는 방향에 대응하도록 기준점에 대한 특징점의 방향을 조절하는 동작(손, 손가락 또는 지시기의 선단 등을 특정 장소로 향하게 하는 동작)을 인식대상자가 행한다. 또한, 특정장소와 인식대상자 사이의 거리(즉, 특정장소가 인식대상자로 부터 얼마나 가까운지 또는 먼지)에 따라 기준점과 특징점 사이의 거리를 조절하는 동작(즉, 인식대상자가 팔을 굽히거나 펴는 동작)을 인식대상자가 행하여서 3-D 공간내의 특정장소가 존재하는 방향 및 3-D 공간내의 먼쪽 방향을 따라 특정장소의 위치가 판단될 수 있도록 하고, 그 방향 및 먼쪽방향을 따른 특정장소의 위치 판단 결과로부터 3-D공간내에서 특정장소의 3-D 좌표가 판단될 수 있게 한다.
제 1발명에서는 정보입력자(인식대상자)가 3-D 공간내의 임의의 장소를 지시하는 경우에도 지시된 장소의 3-D좌표를 판단할 수 있다. 또한, 인식대상자에게 보이는 특정장소가 존재하는 방향으로 손 또는 손가락 또는 지시기의 선단을 지시하고 인식대상자로부터 보이는 특정장소와의 거리에 따라 팔을 굽히거나 펴는 동작은 3-D 공간내의 특정장소를 지시하기 위한 극히 자연스러운 동작이다. 따라서, 정보입력자(인식대상자)가 어떤 위화감 없이 상기 동작을 행할 수 있다.
제 2발명에 기술된 바와같이, 기준점과 특징점 사이의 거리에 기초하여 3-D공간의 먼쪽방향을 따라 특정장소의 위치를 판단하는 것은 기준점과 특징점 사이의 거리를 소정의 변환조건에 따라 인식대상자와 특정장소 사이의 거리로 변환시키므로서 이루어질 수 있다. 상기한 변환조건은 기준점과 특징점 사이의 거리 변화에 상응하도록 선형 또는 비선형 변화하는 변환 특성일 수 있다.
특히, 인식대상자가 지시하는 대상으로서의 3-D공간이 깊이가 매우 긴 공간일 경우(예를들면, 우주공간을 나타내는 3차원적 화상을 표시수단상에 표시하는 경우 등)에 변환조건의 변환특성을 비선형(예를들면, 기준점과 특징점 사이의 거리 변화의 n제곱(n≥2)에 비례하게 인식대상자와 특정장소 사이의 거리를 변화시키는 변환특성 등)으로 하면 인식대상자가 팔을 무리하게 굽히거나 펴는 등의 극단적인 동작을 행하지 않고도 인식대상자로 부터 보이는 3-D 공간내의 극히 먼 거리에 위치된 장소를 지시할 수 있다. 그 결과, 3-D 공간내의 임의의 장소를 지시하기 위한 인식대상자의 부담을 방지할 수 있기 때문에 바람직하다.
또한, 인식대상자의 체격(특히, 팔의 길이)이 일정하지 않기 때문에 인식대상자가 팔을 굴곡 또는 신장시킬때의 특징점의 이동폭이 각 사람마다 다르다. 인식대상자의 기준점과 특징점 사이의 거리를 일정한 변환조건에 따라 인식대상자와 특정 장소 사이의 거리로 변환시킬 때 개개의 인식대상자의 팔길이와 같은 가변성 때문에 인식대상자가 지시하는 특정장소의 위치를 정확히 판단할 수 없게 될 수 있는 경우를 고려할 수 있다.
이러한 이유 때문에, 제 3발명에서는 제 2발명에 팔을 굴곡 및 신장시키는 동작을 인식대상자에게 요청하고 인식대상자가 팔을 굴곡 및 신장시는 동작을 행할 때 기준점과 특징점 사이의 거리 변화 폭에 기초하여 기준점과 특징점 사이의 거리를 인식대상자와 특정 장소 사이의 거리로 변환하는 변환 조건을 미리설정하는 변환조건 설정수단을 더 구비하는 핸드포인팅 장치가 제공된다.
제 3 발명에서는 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할때의 기준점과 특징점 사이의 거리 변화폭(이 거리 변화폭은 개개의 인식대상자의 팔길이 등에 따라 변화될 수 있다)에 기초하여 기준점과 특징점 사이의 거리를 인식대상자와 특정장소의 거리로 변환하는 변환조건을 미리 설정하기 때문에 개개의 인식대상자의 체격에 따라 변환조건을 얻을 수 있다. 이 변환조건을 사용하여 상기한 변환을 행하므로서 개개의 인식대상자의 체격으로 인해 발생하는 가변성에도 불구하고 인식대상자가 지시한 특정 장소의 먼쪽 방향을 따른 위치를 정확하게 판단하 수 있다. 또한, 예를들면, 3-D공간내의 극히 멀게 위치하는 장소를 지시하는 것을 인식시키기 위하여 특히 체격이 작은 인식대상자가 무리하게 팔을 뻗는 등의 극단적인 동작을 행할 필요가 없다.
제 3의 발명에서는 3-D공간의 먼쪽 방향을 따라 중간부에 위치한 단일장소 또는 3-D공간의 먼쪽방향을 따라 위치가 서로 다른 복수의 장소(단, 각 장소의 먼쪽방향에 따른 위치는 이미 알려져 있음)를 인식대상자가 지시하므로서 이때의 기준점과 특징점 사이의 거리에 기초하여 변환조건(변환곡선의 형상)이 설정될 수 있도록 한다.
제 4발명에서는 제 1발명에 3차원적 화상을 표시하는 표시수단 ; 표시수단 상에 3차원적 화상을 표시하는 표시제어 수단 ; 및 인식대상자의 손이 특정 형상인지 여부를 판정하는 판정수단을 더 구비하는 핸드포인팅 장치를 제공하는데 여기에서 3차원 화상은 가상의 3-D공간을 나타내는 화상으로서 일점투시법 또는 이점투시법에 맞게 형성된 화상, 액정셔터 또는 랜티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하며 인식대상자는 표시수단에 표시된 3-D 화상이 나타내는 가상의 3-D공간내의 특정 장소를 지시하고 표시제어수단은 판정수단에 의해 인식대상자의 손이 특정 형상인지를 판정한 상태에서 기준점과 특징점사이가 변할때에 표시수단에 표시된 3차원적 화상이 상기 거리의 변화에 따라 확대 또는 축소 표시되도록 표시수단을 제어한다.
제 4발명은 표시수단에 3차원적 화상을 표시하고, 인식대상자는 표시수단에 표시된 3차원적 화상이 나타내는 가상의 3D 공간내의 특정 장소를 지시하도록 구성된다. 표시수단에는 일점투시법 또는 이점투시법에 따른 화상을 표시하기 위한 평면 디스플레이, 액정셔터 또는 렌티큘라렌즈를 이용한 3차원 디스플레이 및 홀로그래피 기술을 적용하여 입체화상을 표시하는 표시장치를 사용할 수 있다. 상기한 바와같이 표시수단에 3차원적 화상을 표시하는 경우에는 표시배율을 임의로 설정할수 있기 때문에 인식대상자로 부터의 지시에 따라 표시배율을 변경할 수 있는 것이 바람직하다. 그러나, 인식대상자가 표시 배율을 변경하는 동작을, 인식대상자가 3차원 공간내의 특정장소를 지시하는 동작과 명확히 구별하여 인식시킬 필요가 있다.
제 4발명에는 인식대상자의 손이 특정의 형상인지 판정하는 판정수단이 제공된다. 표시제어수단은 판정수단에 의해 인식대상자의 손이 특정의 형상인 것으로 판정된 상태에서 기준점과 특징점 사이의 거리가 변화할 때 표시수단에 표시된 3차원적 화상이 상기 거리의 변화에 따라 확대 또는 축소 표시되도록 표시수단을 제어한다. 상기 특정의 형상은 쉽게 판정되는 것이 바람직하다. 예를들면 손이 펴지도록 손가락을 벌린 손의 형상등이 사용될 수 있다.
따라서, 인식대상자가 자기의 손을 특정의 형상으로 한 상태 (예를들면, 손이 펴지도록 손가락을 벌린 상태)에서 기준점과 특징점 사이의 거리를 변화시키는 동작(팔을 굴곡 또는 신장시키는 동작)을 행하면 이 동작이 특정장소를 지시하는 동작과는 명확히 구별되고 표시수단에 표시된 3차원적 화상의 표시 배율이 기준점과 특징점 사이의 거리 변화에 따라 변화되어 확대 또는 축소 표시된다. 그 결과, 제 4발명에서는 인식대상자에 의한 3차원적 화상의 표시배율의 변경지시에 따라 표시수단에 표시된 3차원적 화상의 표시배율을 확실하게 변경시킬 수 있다.
상기의 표시배율에서도 기준점과 특징점 사이의 거리변화에 대하여 표시배율을 선형 또는 비선형으로 변화시킬 수 있다.
상기한 바와같이 인식대상자가 지시한 3-D공간내의 특정장소의 3-D좌표를 판단하는 구성에서도 인식대상자가 특정의 동작(소위 클릭 동작)을 행하므로서 소정의 처리가 실행될 수 있다. 그러나, 클릭 동작으로서 종래에 제안된 엄지손가락을 위로 하는 동작은 촬상수단에 의한 촬상 방향에 따라 검출될 수 없다. 또한, 손가락을 위로 올리는 동작은 동작으로서의 자유도가 매우 낮다. 마우스상의 좌클릭, 우클릭과 같은 방법으로 복수 종류의 의미를 갖는 클릭 동작을 제공하고 그 크릭 동작에 의해 실행되는 처리를 선택하는 것이 어렵다.
이러한 이유 때문에, 제 5발명에서는 제 1발명에 기준점과 특징점 사이의 거리 변화 속도를 검출하여 검출된 기준점과 특징점 사이의 거리 변화 속도가 한계값(threshold value)이상일 경우에 소정의 처리를 행하는 처리수단을 더 구비한 핸드포인팅 장치를 제공한다.
제 5발명에서는, 인식대상자가 팔을 빠르게 굴곡 또는 신장하는 동작을 하면기준점과 특징점 사이의 거리가 한계값 이상의 변화속도로 변화한다. 이러한 변화속도를 트리거(trigger)로서 사용하므로서 소정의 처리가 행해진다. 또한, 처리수단은 기준점과 특징점 사이의 거리가 한계값이상의 변화속도로 변화할 때 인식대상자가 지시한 특정장소에 관련한 처리를 실행할 수 있다.
본 발명은 기준점 및 특징점 사이의 위치관계에 기초하여 인식대상자가 지시한 특정장소의 3차원 좌표를 판정한다. 그러나, 제 5발명에서도 기준점 및 특징점의 위치 각각의 변화에 기초하여 소정 처리의 실행이 지시되었는지를 판단하기 때문에 촬상수단에 의한 촬상방향을 손가락의 올리고 내리는 동작을 고려하지 않고 기준점 및 특징점이 확실히 검출되도록 정할 수 있다. 따라서, 제 5발명에서는 인식대상자에 의한 소정의 처리 실행을 지시하는 동작(팔을 빠르게 굴곡 및 신장시키는 동작)을 확실히 검출할 수 있다.
기준점과 특징점 사이의 거리 변화 방향에는 두 종류가 있다(거리가 증가하는 방향 및 감소하는 방향). 따라서, 제 6발명에 기재된 바와같이, 기준점과 특징점 사이의 거리가 한계값 이상의 변화속도로 증가된 경우에는 제 1소정의 처리를 행하고 기준점과 특징점 사이의 거리가 한계값 이상의 변화속도로 감소된 경우에는 제 1소정처리와 다른 제 2의 소정처리를 행할 수 있다.
제 6발명에서는 인식대상자가 팔을 빠르게 신장시키는 동작(이 경우 기준점과 특징점 사이의 거리가 한계값 이상의 변화속도로 증가한다)을 행할 때 제 1소정의 처리가 행해지고, 인식대상자가 팔을 빠르게 굴곡시키는 동작(이 경우, 기준점과 특징점 사이의 거리가 한계값 이상의 변화속도로 감소한다)을 행할 때 제 2소정의 처리가 행해진다. 따라서, 인식대상자가 마우스의 좌우 클릭에서와 같이 제 1 및 제 2소정의 처리중 하나를 실행하는 것이 가능해진다. 상기한 동작중 하나를 수행하므로서 인식대상자에 의해 제 1소정의 처리 및 제 2소정의 처리로부터 선택된 처리를 확실히 실행할 수 있다.
상기한 바와같이, 인식대상자의 체격은 일정하지 않고 따라서, 인식대상자의 근력등도 일정하지 않기 때문에 처리수단이 소정의 처리를 행하도록 하기 위하여 인식대상자가 팔을 빠르게 굴곡 또는 신장시키는 동작을 행할때에도 기준점과 특징점 사이의 거리 변화속도는 개개의 인식대상자마다 다르다. 따라서, 소정의 처리를 행하기 위하여 인식대상자가 팔을 빠르게 굴곡 또는 신장 동작을 행하더라도 굴곡 또는 신장 동작이 검지될 수 없다. 대신에 , 인식대상자가 상기 동작을 행하지 않더라도 상기 동작을 검지할 수 있다.
이러한 이유 때문에 제 7발명에서는 제 5발명에서 처리 수단이 소정의 처리를 행하도록 하기 위하여 팔을 굴곡 또는 신장하는 동작을 행하도록 인식대상자에게 요청하고, 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할 때 기준점과 특징점 사이의 거리변화 속도에 기초하여 한계값을 미리 설정하는 한계값 설정 수단을 더 구비한 핸드포인팅 장치를 제공한다.
제 7발명에서는 처리 수단이 소정의 처리를 행하도록 하기 위하여 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할 때 기준점과 특징점 사이의 거리 변화속도에 기초하여 처리수단이 소정의 처리를 행하는지 여부를 판단하기 위한 한계값이 미리 설정되기 때문에 개개의 인식대상자의 체격, 근력 등에 따라 한계값을 얻을 수 있다. 그 한계값을 사용하여 소정의 처리의 실행이 지시되었는지를 판단하므로서 인식대상자 각각의 체격, 근력 등의 차이에도 불구하고 인식대상자에 의한 소정의 처리의 실행을 지시하는 동작을 확실검지한다. 그 결과 소정의 처리를 확실히 행할 수 있다.
도 1은 정보입력공간의 주변을 도시한 사시도이다.
도 2는 본 발명의 실시형태에 따른 핸드포인팅 입력장치의 개략적 구성을 도시한 블록도이다.
도 3은 조명장치의 조명범위와 비데오 카메라의 촬상범위 사이의 관계의 일례를 도시한 개략도이다.
도 4는 마크(marking)판의 일례를 도시한 정보입력공간의 사시도이다.
도 5a-5c는 격자점위치정보의 초기 설정처리를 도시한 플로우챠트이다.
도 6a-6d는 지시판단처리를 도시한 플로우챠트이다.
도 7a-7c는 기준점/특징점의 좌표 연산처리를 도시한 플로우챠트이다.
도 8a-8c는 거리변환조건의 설정처리를 도시한 플로우챠트이다.
도 9는 클릭동작속도의 설정처리를 도시한 플로우챠트이다.
도 10a는 조명장치(A)의 스위칭 on/off를 도시한 타이밍챠트이다.
도 10b는 조명장치(B)의 스위칭 on/off를 도시한 타이밍챠트이다.
도 10c는 비데오 카메라의 촬상에 의해 얻어진 화상출력(캡츄어링)의 타이밍을 도시한 타이밍 챠트이다.
도 11은 정보입력자의 신장 및 마루면 상의 위치를 연산하는 것을 도시한 정보입력공간의 측면도이다.
도 12a-도 12c는 정보입력자의 동작의 일례를 도시한 이미지도이다.
도 13a는 비데오 카메라에 의해 촬상된 정보입력자의 손의 이미지를 도시한 이미지도이다.
도 13b는 특징점의 좌표 및 특징점의 3차원 좌표를 구하기 위한 격자점의 검색범위를 도시한 개념도이다.
도 14a 지시된 위치가 사람에게서 원거리에 있을 때 정보입력자 동작의 이미지도이다.
도 14b는 지시된 위치가 사람에게서 중간 거리에 있을 때 정보자 입력자 동작의 이미지도이다.
도 14c는 지시된 위치가 사람에게서 근거리에 있을 때 정보입력자 동작의 이미지도이다.
도 15는 정보입력자의 기준점과 특징점 사이의 거리(K)를 정보입력자와 정보입력자가 지시한 위치의 거리 (L) (가상거리)로 변화시키기 위한 거리 변환조건의 일례를 도시한 다이아그램이다.
도 16a는 전진 클릭동작을 도시한 이미지도이다.
도 16b는 후진 클릭동작을 도시한 이미지도이다.
도 17a는 정보입력자가 지시하는 디스플레이 상의 위치의 판정을 설명하는 정보 입력 공간의 평면도이다.
도 17b는 정보입력자가 지시하는 디스플레이 상의 위치의 판정을 설명하는 정보 입력 공간의 측면도이다.
도 18은 정보입력자의 기준점과 특징점 사이의 거리(K)를 정보입력자와 정보입력자가 지시한 위치의 거리(L)(가상거리) 로 변환시키는 것을 설명하는 개념도이다.
도 19a는 디스플레이 상에 특정위치를 지시하는 동작을 행할 때 정보입력자 손 형태의 일례를 도시한 이미지도이다.
도 19b는 3차원적 화상의 표시 배율을 변경시키는 동작을 행할 때 정보입력자 손 형태의 일례를 도시한 이미지도이다.
도 20a는 표시배율 변경전의 3차원 화상의 일례를 도시한 이미지도이다.
도 20b는 정보입력자의 동작에 응답하여 확대 표시된 3차원적 화상의 일례를 도시한 이미지도이다.
도 20c는 정보입력자의 동작에 응답하여 축소 표시된 3차원적 화상의 일례를 도시한 이미지도이다.
이하, 도면을 참조하여 본 발명의 실시형태의 일례를 상세히 설명한다. 도 1에 도시된 바와같이 본 발명의 인식대상자인 정보입력자(10)가 도착하는 장소의 벽면에는 제 4발명에 따른 표시수단에 해당하는 대화면 디스플레이(12)가 설치된다.
디스플레이(12)는 일점 투시법 또는 이점 투시법에 따른 3차원 공간(이하, 3-D공간 이라 함)을 나타내는 3차원적 화상을 표시하는데 사용된다. 액정디스플레이(LCD), 플라즈마 디스플레이, 브라운관(CRT), 광 화이버 디스플레이등의 주지의 표시장치를 디스플레이(12)로서 적용할 수 있다. 또한, 상기한 디스플레이(12) 대신에 액정 셔터 또는 렌티큘라 렌즈를 이용한 3-D디스플레이 또는 홀로그래피 기술을 적용하여 입체 화상을 표시하는 표시장치를 적용할 수 있다. 또한, 액정고글등을 적용할 수도 있다.
디스플레이(12)는 퍼스날 컴퓨터 등을 포함하는 정보처리장치(14)에 접속된다(도 2참조). 정보처리장치(14)에 의해 3차원적 화상이 표시면상에 표시되고 메시지등과 같은 다른 정보도 표시된다. 본 실시형태에서 정보입력자(10)는 디스플레이(12) 전방의 도 1에 도시된 공간(정보입력공간)으로 온다. 정보입력자(10)는 디스플레이에 표시된 3-D 화상이 나타내는 가상적인 3-D공간내의 임의의 장소를 지시하여 클릭동작(상세한 것은 후술함)을 행하므로서 정보처리장치(14)에 대하여 각종의 지시를 부여하여 각종의 처리를 행하게 한다.
도 2에 도시된 바와같이 정보처리장치(14)에는 본 실시형태에 따른 핸드포인팅 장치(20)의 콘트롤러(22)가 접속된다. 콘트롤러(22)는 CPU(22A), ROM(22B), RAM(22C) 및 I/O 인터페이스(22D)를 포함하는데 이들은 버스를 거쳐 서로에 접속된다. I/O인터페이스(22D)에는 정보처리장치(14)가 접속된다. 기억내용을 서환할 수 있는 불휘발성의 기억장치(24), 각종의 정보를 표시하기 위한 디스플레이(26), 오퍼레이터가 각종의 지시 또는 데이타를 입력하는 키보드(28), 조명제어장치(30), 촬상제어장치(34)) 및 마크판 구동장치(38)도 I/O 인터페이스(22D)에 접속된다. 디스플레이상에 표시된 다수의 3차원적 화상은 미리 제조되고 각종의 3차원적 화상을 나타내기 위한 다수의 화상 데이타는 기억장치(24)에 기억된다. 또한, 기억장치(24)에는 각 3차원적 화상이 나타나는 가상의 3-D공간내의 각 장소의 3-D좌표와 상기 각 장소의 3차원적 화상상의 위치(2-D좌표)의 관계를 나타내는 좌표데이타도 기억된다. 또한, 좌표데이타 대신에 함수식(화상의 표시배율도 파라메터로서 포함하는 것이 바람직하다)등의 형태로 상기 관계를 기억할 수 있다.
조명제어장치(30)에는 근적외선 영역의 파장의 광을 빔(beam)상으로 사출하는 복수의 근 적외선 광 조명장치(32A, 32B)가 접속된다. 도 1에 도시된 바와같이, 근 적외선 광 조명장치(32A,32B)는 정보입력공간 상방의 서로 다른 장소에 배설된다. 정보입력공간에 도착하는 정보입력자를 서로 다른 방향으로부터 조명할 수 있도록 근 적외선 광 조명장치(32A,32B)의 조사범위가 조정될 수 있다. 조명제어장치(30)는 조명장치(32A,32B)의 스위칭을 제어한다.
촬상제어장치(34)에는 정보입력공간의 서로 다른 장소에 배설된 (도 1참조) 복수의 비데오 카메라(36A,36B)가 접속된다. 복수의 비데오 카메라(36A,36B)는 근 적외선 광에 감도를 갖는 CCD(도시되지 않음)등으로 이루어진 에리어 센서를 가지며 입사광 에리어 센서의 수광면에 결상시키는 결상 렌즈의 광입사측상에 근적회선 영역의 파장의 광만을 투과시키는 필터를 갖는다.
도 3에 도시된 바와같이, 비데오 카메라(36A,36B)는 정보입력공간으로 오는 정보입력자를 서로 다른 방향으로부터 촬상하도록 방향이 조정된다. 즉, 비데오 카메라(36A)는 정보 입력공간으로 오는 정보입력자(10)가 촬상범위내에 들어오고, 조명장치(32A)로부터 사출되는 광이 결상렌즈상에 직접 입사되지 않도록 방향이 조정된다. 또한, 촬상범위의 중심은 정보입력공간내의 조명장치(32A)에 의한 조명범위의 중심과 마루면상으로 부터의 소정 높이에서 교차한다(조명장치(32A)에 의해 조사된 마루면상의 조명범위는 촬상범위 밖이다). 마찬가지로, 비데오 카메라(36B)는 정보 입력공간으로 오는 정보입력자가 촬상범위내로 들어오고, 조명장치(32B)로부터 사출된 광이 결상렌즈에 직접 입사되지 않으며, 촬상범위의 중심이 정보 입력 공간내의 조명장치(32B)에 의한 조명범위의 중심과 마루면상으로부터 소정의 높이에서 교차하도록 (조명장치(32A)에 의한 마루면상의 조명범위는 촬상범위 밖이다) 배향(촬상범위)가 조정된다.
도 4에 도시된 바와같이 핸드포인팅 입력장치(20)는 정보입력공간의 근방에 배설된 마크판(40)을 구비한다. 마크판(40)은 투명한 평판에 다수의 마크(40A)가 매트릭스상으로 등간격으로 기록된 구성이고 마크(40A)의 배열방향으로 직교하는 방향(도 4의 화살표 A방향)을 따라 정보입력공간을 가로지르도록 이동가능하다. 마크(40A)는 화상상에서 인식이 용이한 색(예를들면, 적색)으로 착색된다. I/O 인터페이스(22D)에 접속된 마크판 구동장치(38)는 콘트롤러(22)로 부터의 지시에 따라 마크판(40)을 화살표 A방향을 따라 이동시킨다.
다음에, 본 실시형태의 작용으로서, 먼저 핸드포인팅 입력장치(20)가 설치되었을 때 콘트롤러(22)에 의해 실행된 격자점 위치정보 초기 설정 처리를 도 5A-도 5C의 플로우챠트를 참조하여 설명한다.
스텝(100)에서는 마크판 구동장치(38)에 의해 마크판(40)을 소정위치(마크판(40)의 이동범위 한계에 해당하는 위치)로 이동시킨다. 다음 스텝(102)에서는 마크판(40)에 기록된 다수 마크(40A) 의 정보입력공간내에서의 3-D좌표(x,y,z) 각각을 연산한다. 스텝(104)에서는 촬상제어장치(34)를 거쳐 비데오카메라(36A,36B)로 정보입력공간을 촬상하고 다음 스텝(106)에서는 비데오카메라(36A)가 정보입력공간을 촬상하여 얻은 화상(이하 화상A라함)을 촬상제어장치(34)를 거쳐 캡츄어(capture) 한다.
스텝(108)에서는 스텝(106)에서 캡츄어된 화상 A 중에 존재하는 마크(40A)의 인식(추출)을 행하고 다음의 스텝(110)에서는 인식된 모든 마크(40A)에 대해서 화상 A상에서의 위치(XA,YA)를 연산한다. 스텝(112)에서는 화상 A중에 존재하는 전체 마크(40A)에 대해서 정보입력 공간내에서의 3-D좌표(x,y,z)와 화상 A상에서의 위치(XA,YA)를 대응시켜서 비데오 카메라(36A)의 격자점 위치 정보로서 기억장치(24)에 기억시킨다.
다음의 스텝(114-120)에서는 상기의 스텝(106-112)과 마찬가지로 비데오카메라(36B)에 대하여 처리를 행한다. 즉 스텝(114)에서는 비데오 카메라(36B)가 정보입력공간을 촬상하여 얻은 화상(이하 화상 B라 함)을 촬상제어장치(34)를 통하여 캡츄어하고 스텝(116)에서는 스텝(114)에서 캡츄어된 화상 B중에 존재하는 마크(40A)의 인식(추출)을 행하며, 다음 스텝(118)에서는 인식된 모든 마크(40A)에 대해서 화상 B상에서의 위치(XB,YB)를 연산한다. 스텝(120)에서는 화상 B중에 존재하는 모든 마크 A에 대해서 정보공간내의 3-D좌표(x,y,z)와 화상 B상에서의 위치(XB,YB)를 대응시켜 비데오 카메라(36B)의 격자점 위치 정보로서 기억장치(24)에 기억시킨다.
다음 스텝(122)에서는 마크판(40)이 최종위치(즉, 마크판(40)의 이동범위내의, 스텝(100)에서의 소정위치와 반대측의 단부에 상당하는 위치)로 이동했는지를 판정한다. 스텝(122)의 판정이 부정인 경우에는 스텝(124)으로 이행하고, 마크구동장치(38)에 의해 마크판(40)을 소정 방향으로 일정거리(상세하게는, 마크판(40)상의 마크(40A) 사이의 간격과 일치하는 거리)까지 이동시킨 후에는 스텝(102)로 되돌아 간다.
상기한 바와같이, 마크판(40)이 최종위치로 이동할때까지 스텝(102)~스텝(124)이 반복되어 마크판(40)에 기록된 다수의 마크(40A)가 격자상으로 정렬된 다수의 격자점에 대응하는 위치로 이동되게 한다. 이때 비데오 카메라(36A)의 격자점 위치정보로서 격자점의 정보입력 공간내에서의 3-D좌표와 화상 A상에서의 위치가 대응되어 기억장치(24)에 기억된다. 같은 방법으로, 비데오 카메라(36B)의 격자점 위치정보로서 각 격자점의 정보입력 공간내에서의 3-D좌표와 화상 B상에서의 위치가 대응되어 기억장치(24)에 기억된다.
또한, 마크판(40) 및 마크구동장치(38)는 상기의 격자점 위치정보 초기 설정처리하는데 단순히 사용된 후술하는 처리에서는 사용되지 않기 때문에 상기 처리를 실행한 후에 마크판(40) 및 마크판 구동장치(38)를 철거할 수 있다.
마크(40A)가 기록된 마크판(40) 대신에 투명한 평판에 LED등의 다수의 발광소자가 매트릭스상으로 배설된 마크판을 사용하여 처리될 수 있다. 즉, 마크판을 일정한 거리의 스텝이동하고 스텝이동의 각 위치에서 다수의 발광소자를 순차적으로 스위칭하는 것을 반복한다. 또한, 발광소자가 설치된 핸드를 구비하고 그 핸드를 정보입력공간내의 임의의 위치로 이동시킬 수 있는 로봇 아암장치를 사용하여 로봇아암 장치에 의해서 각 격자점에 대응하는 각 위치로 발광소자를 이동시켜 반복적으로 스위칭하므로서 상기 처리를 행할 수 있다.
다음에, 도 6A-도 6D의 플로우챠트를 참조하여 상기의 격자점 위치정보 초기 설정처리가 행해진 후에 콘트롤러(22)로 정상적으로 실행된 지시판단처리에 대해서 설명한다. 또한, 지시판단 정보처리는 정보입력 공간으로 온 정보입력자(10)로부터 지시를 판단하도록 제공된다.
스텝(150)에서는 비데오 카메라(36A)로 부터 출력된 화상 A를 나타내는 화상데이타 및 비데오 카메라(36B)로 부터 출력된 화상 B를 나타내는 화상 데이타를 캡츄어하고 그 화상 A 및 화상 B의 데이타에 기초하여 정보입력공간내에 정보입력자(10)이 도착했는지(또는 존재하는지) 여부를 판정한다.
콘트롤러(22)가 지시판단처리를 실행하는 중에도 도 10A-도 10C에 도시된 바와같이 조명제어장치(30)가 조명장치(32A,32B)를 교호로 점등시키고, 촬상제어장치(34)는 조명장치(32A)가 점등되는 동안 제어하고 조명장치(32B)가 점등되는 동안 비데오카메라(36B)가 정보입력공간을 촬상하는 것을 제어한다.
비데오 카메라(36A)의 촬상범위는 조명장치(32A)에 의한 마루면상의 조명범위가 촬상범위밖에 있도록 조정되기 때문에 조명장치(32A)에 의한 마루면상의 조명범위내에 정보입력자의 짐 또는 쓸데없는 물건(rubbish)등의 비인식 대상물(50A)(도 3참)이 존재할 때도 그 비인식 대상물(50A)이 비데오 카메라(36A)의 촬상범위내로 들어가지 않는다. 또한, 마루면상의 비데오 카메라(36A)에 의해서 촬상되는 범위내에 비인식 대상물(50B)(도 3참조)가 존재하더라도 비인식대상물(50B)은 조명장치(32A)에 의한 조명범위 밖에 있기 때문에 화상 A중에 존재하는 비인식대상물(50B)에 상당하는 화상부의 휘도가 매우 낮다.
마찬가지로, 비데오 카메라(36B)의 촬상범위는 조명장치(32B)에 의해 마루면상의 조명범위밖에 있도록 조정되기 때문에 조명장치(32B)에 의한 마루면상의 조명범위내에 정보입력자(10)의 짐 또는 쓸데없는 물건(도 3참조)등의 비인식대상물(50B)이 비데오 카메라(36B)의 촬상범위내로 들어가지 않는다. 또한, 마루면상의 비데오 카메라(36B)에 의해서 촬상되는 범위내에 비인식 대상물(50A)이 존재하더라도 비인식대상물(50A)이 조명장치(30B)에 의한 조명범위 밖에 있기 때문에 화상 B중에 존재하는 비인식대상물(50A)에 상당하는 화상부의 휘도는 매우 낮다.
따라서, 상기한 스텝(150)의 판정은 예를들면 화상 A 및 화상 B중에 고휘도 및 소정치 이상의 면적을 갖는 화상부가 존재하는지 등의 극히 간단한 판정에 의해 이루어진다. 스텝(150)의 판정이 부정적인 경우에는 판정이 긍정으로 될 때까지 대기한다.
정보입력공간에 정보입력자(10)가 도착하면 스텝(150)의 판정은 긍정으로 되고 스텝(152)로 이행하여 기준점/특징점 좌표연산처리를 시작한다. 이 처리는 본 발명에 따른 연산수단에 대응하는 처리로서 콘트롤러(22)에서 판정처리와 함께 실행된다. 이하 그 기준점/특징점 좌표연산처리에 대하여 도 7A-도 7C의 플로우 챠트를 참조하여 설명한다.
스텝(210)에서는 비데오 카메라(36A,36B)로 부터의 화상A 및 화상B의 데이타를 각각 캡츄어한다. 스텝(212)에서는 그 화상A 및 화상B로 각각으로부터, 정보입력자(10)의 전체상에 상당하는 화상부를 추출한다. 그 정보입력자(10)의 전체상에 상당하는 화상부도 고휘도의 화소로 이루어진 소정치 이상의 면적이 연속된 영역을 판단하므로서 쉽게 추출될 수 있다.
스텝(214)에서는 정보입력자(10)의 전체상에 상당하는 화상부에 기초하여 정보입력자(10)의 신장이 구해진다. 도 11에 도시된 바와같이, 점(O)의 위치에 있는 비데오 카메라(36)의 결상렌즈의 초점거리를 f, 점(O)를 통과하는 수직선과 정보입력공간의 마루면의 교점(Q)과 점(O) 사이의 거리를 H, 점(Q)와 정보입력자가 서있는 마루면상의 점(P) 사이의 거리를 R, 정보입력자의 머리꼭대기에 해당하는 점(P')과 점(P) 사이의 거리(h)를 정보입력자의 신장이라 한다. 또한, 점(P,O,Q)으로 이루어진 각도를 θ, 점(P',O,Q)으로 이루어진 각도를 θ', 비데오 카메라(36)의 에리어 센서의 수광면에 결상된 정보입력자(10) 화상의 길이를 h', 점(P)에 대응하는 수광면상의 결상점을 점(P), 점(P')에 대응하는 수광면상의 결상점을 점(P'), 수광면의 중심(O)과 점(P') 사이의 거리를 r 및 수광면의 중심(O)과 점(P')사이의 거리를 r'이라 하면 각도(θ,θ'), 거리(r,r')는 하기식(1)-(4)로 부터 구할 수 있다 ;
θ = tan-1(R /H) ……… (1)
θ' = tan-1{R/(H-h)} ……… (2)
r = fθ ……… (3)
r' = fθ' ……… (4)
따라서, 정보입력자(10)의 신장(h) 및 거리(R)는 하기식(5) 와 (6)에 의해 구해질 수 있다 ;
h = H{1-tan(r/f) / tan(r'/f) ……… (5)
h = Htan(r/f) ……… (6)
거리(H) 및 초점거리(f)는 이미 알려져 있기 때문에 스텝(214)에서는 비데오 카메라(36A,36B)의 촬상에 의해 얻어진 화상 A 및 화상 B중 하나로 부터 거리(r,r')를 구하고 이것을 식(5)에 대입하므로서 정보입력자(10)의 신장(h)을 구할 수 있다. 또한, 스텝(214)에서는 화상 A 및 화상 B의 각각으로 부터 거리(r)을 구하고 이것을 식(6)에 각각 대입하여 거리(R) 각각을 구하므로서 정보입력자(10)의 마루면 상의 위치(2-D 좌표) 구한다.
다음 스텝(216)에서는, 스텝(214)에서 구해진 정보입력자(10)의 신장(h) 및 정보입력자(10)의 마루면상의 위치에 기초하여 정보입력자(10)의 기준점(Po)의 3-D좌표(Xo,Yo,Zo)를 결정한다. 또한, 기준점(Po)에 대해서는 예를들면, 정보입력자(10)의 등에 해당하는 점(도 17에 도시된 점)을 사용할 수 있다. 이 경우, 정보입력자(10)의 신장(h)에 기초하여 정보입력자의 뒤에 상당하는 기준점(PO)와 마루면 사이의 높이(예를들면 Zo값)가 계산되고, 정보입력자(10)의 마루면 상의 위치(평면 좌표)를 기준점(PO)의 평면좌표(예를들면, XO, YO의 값)으로 설정하므로서 기준점(PO)의 3차원 좌표를 결정할 수 있다. 정보입력자(10)의 등에 상당하는 점 대신에 정보입력자(10)의 흉부에 상당하는 점과 정보입력자(10)의 어깨에 상당하는 점등을 사용할 수 있다.
스텝(218)에서는, 화상(A) 및 화상(B)상에서의 정보입력자(10)의 전체상에 상당하는 화상부의 형상에 기초하여 정보입력자(10)가 손가락 등으로 디스플레이(12)측을 지시하는 동작(지시동작)을 행하는지 여부가 판정된다. 정보입력자(10)으로 부터 본 디스플레이(12)의 방향은 공지되어 있기 때문에 스텝(218)의 판정은 예를들면, 정보입력자(10)의 전체상에 상당하는 화상부에서 정보입력자(10)의 손에 상당하는 것으로 판단 가능한 높은 위치에 정보입력자(10)으로 부터 보았을 때 디스플레이(12)를 향하여 돌출하는 부분이 있는지 여부를 판단하므로서 실현된다.
따라서, 정보입력자(10)가 직립하여 서 있는 상태(도 12A)로 부터 손을 들어올려 디스플레이(12)측으로 향하게 하면 정보입력입력자(10)가 지시동작을 행하는 것으로 판정될 수 있다. 스텝(218)의 판정이 부정적인 것으로 판정되면 특징점의 3차원 좌표의 연산(후에 보다 상세하게 설명됨)을 행하지 않고 스텝(210)으로 복귀한다. 정보입력자(10)가 지시동작을 행할때까지 스텝(210)~스텝(218)이 반복된다.
정보입력자(10)가 지시동작을 행할 때 스텝(218)의 판정이 긍정적이면 스텝(220)으로 이행한다. 스텝(220)에서는 비데오 카메라(36A)로 부터 캡츄어된 화상 A를 나타내는 화상데이타에 기초하여 화상 A중에 존재하는 정보입력자(10)의 특징점(Px)를 추출하고, 화상 A상에서의 특징점(Px)의 위치(XA,YA)를 연산한다. 정보입력자(10)의 특징점(Px)에 대해서는 다스플레이(12) 측을 지시하는 동작을 행하는 손가락의 선단에 상당하는 점등을 사용할 수 있다. 이 경우, 정보입력자(10)의 전체상을 나타내는 화상부내에서 정보입력자(10)의 손에 상당하는지 판단할 수 있는 높이의 위치에서 디스플레이(12)를 향하여 돌출하는 부분의 선단의 위치를 특징점(PX)의 위치로서 연산할 수 있다.
따라서, 비데오카메라(36A)에 의해 정보입력자(10)의 손이 도 13A에 도시된 바와같이 촬상된 경우 특징점(Px)의 위치로서 특징점(PX)의 좌표(XA,YA)가 연산된다.
스텝(222)에서는 기억장치(24)에 기억된 비데오 카메라(36A)의 격자점 위치정보에 기초하여 화상(A)상의 위치가(XA±dX, YA±dY)의 범위(도 13B에서 섹션라인으로 둘러싸인 범위참조)내에 있는 모든 격자점을 검색한다. 또한, dX 와 dY의 크기는 격자점의 간격(마크 40A의 간격)에 기초하여 적어도 하나이상의 격자점이 추출되도록 정해진다.
또한, 본 실시형태에서는 비데오카메라의 결상렌즈에 광각렌즈를 사용하고, dX 와 dY가 고정된 값이라면 다수의 격자점은 후술되는 특징점(Px)의 3-D 좌표의 연산 정확성이 감소되게 하는 (XA±dX, YA±dY)의 범위내에 들어있게 된다. 이러한 이유 때문에 dX와 dY는 3-D 좌표상의 비데오 카메라로 부터의 거리가 멀면 멀수록 값이 작아지도록 설정된다. 따라서, 3-D 좌표상의 (XA±dX, YA±dY)와 동일한 범위는 저면이 비데오 카메라 쪽에 위치되는 원추상(또는 타원추상)을 형성한다.
스텝(224)에서는 앞 스텝(220)과 마찬가지로 비데오 카메라(36B)로 부터 캡츄어된 화상(B)를 나타내는 화상데이타에 기초하여 화상(B)중에 존재하는 정보입력자(10)의 특징점(PX)을 추출하고 화상(B)상의 특징점(Px)의 위치((XA,YA)를 연산한다. 스텝(226)에서는 앞의 스텝(222)와 마찬가지로 기억장치(24)에 기억된 비데오 카메라(36B)의 격자점 위치정보에 기초하여 화상(B)상의 위치가 (XA±dX, YB±dY) 범위내의 격자점 모두를 검색한다.
다음 스텝(228)에서는 화상(A) 및 화상(B)로 부터 공통으로 추출된 격자점을 판정한다. 따라서, 정보입력공간내의 특징점(PX)에 근접된 위치에 존재하는 다수의 격자점만이 추출된다. 스텝(230)에서는 화상(A) 및 화상(B)로 부터 공통으로 추출된 격자점의 3-D좌표를 격자점 위치정보로 부터 캡츄어한다.
본 실시형태에서는 후술하는 특징점(PX)의 3-D 좌표를 정보입력공간내의 특징점에 근접된 위치에 존재하는 복수 격자점의 3-D좌표로 부터의 내삽에 의해서 연산한다(구체적으로는, 상기 복수 격자점의 3-D좌표의 좌표값이 다수 격자점의 3-D좌표의 좌표값의 중량평균값에 의해서 구해진다). 이러한 이유 때문에 특징점(PX)의 3-D 좌표의 연산에 앞서 다음의 스텝(232)에서는 화상(A) 및 화상(B)로 부터 공통으로 추출된 격자점의 화상(A) 및 화상(B)상의 위치, 화상(A)상의 특징점(PX)의 위치(XA,YA), 화상(B)상의 특징점(PX)의 위치(XB,YB)에 기초하여 화상(A) 및 화상(B)로부터 공통으로 추출된 격자점의 3-D좌표로 부터의 내삽비(각 격자점 3-D 좌표의 좌표값에 대한 중량)을 결정한다. 이 내삽비는 예를들면 화상(A) 및 화상(B)상의 특징점과 근접된 위치에 존재하는 격자점의 3-D좌표의 좌표값에 대한 중량이 증가되도록 결정된다.
스텝(234)에서는 화상(A) 및 화상(B)로 부터 공통으로 추출된 격자점의 3-D좌표 및 스텝(232)에서 결정된 내삽비에 기초하여 특징점(PX)의 3-D 좌표(XX,YX,ZX)를 연산한다.
상기한 바와같이 특징점(PX)의 3-D 좌표(XX,YX,ZX)가 연산된 후 경로는 스텝(210)으로 돌아가고 스텝(210) 이후의 처리가 반복된다. 이 방법으로 기준점/특징점 좌표 연산 처리에서는 정보입력자(10)의 기준점(PO)과 특징점(PX) (단, 정보입력자(10)가 지시동작을 행하는 경우)이 반복적으로 연산되기 때문에 기준점/특징점 좌표연산처리에 의해 연산된 기준점(PO) 과 특징점(PX)의 3-D 좌표 값이 정보입력자(10)의 자세 또는 동작의 변화에 대응하여 순차적으로 갱신된다.
콘트롤러(22)는 지시판단처리(도 6A-6D)의 스텝(152)에서 기준점/특징점 좌표연산처리를 시작한 후 상술한 기준점/특징점 좌표연산 처리와 동시에 지시판단처리의 스텝(154) 이후의 처리를 실행한다. 즉, 스텝(154)에서는 콘트롤러(22)가 거리 변환조건 설정처리를 행한다. 이 거리 변환조건 설정처리에 대해서는 도 8A-도 8C의 플로우챠트를 참조하여 설명한다. 또한, 거리 변환조건 설정 처리는 제 3발명의 변환조건 설정수단에 대응한다.
스텝(250)에서는 디스플레이(12)에 표시되는 3-D 화상이 나타나는 가상 3-D 공간에서 정보입력자(10)로 부터 볼 때 깊이 방향으로 대략 중간부(즉, 뉴트랄 포인트)에 상당하는 장소의 3-D좌표를 기억장치(24)에 기억된 좌표 데이타등에 기초하여 구하고(함수식에 의해서도 연산될 수 있음), 디스플레이(12)의 표시면상의 뉴트랄 포인트의 위치(뉴트랄포인트의 표시위치)를 연산하고, 디스플레이(12)의 표시면상의 상기 연산된 표시위치에 마커를 표시하도록 정보처리장치(14)에 지시한다.
따라서, 정보처리장치(14)는 디스플레이(12)의 표시면상의 상기 표시위치에 마커를 표시하고, 표시된 마커는 가상 3-D 공간내의 뉴트랄 포인트에 위치되더라도 정보입력자(10)에게 보여질 수 있다. 또한, 마커에 있어서는 도 18에 도시된 원형의 커서(52)가 사용될 수 있다. 그러나, 정보입력자(10)가 용이하게 인식할 수 있는 조건은 만족한다면 임의 형상의 마커를 채용할 수 있다.
다음의 스텝(252)에서는 디스플레이(12)에 표시된 마커를 표시하는 동작의 실행을 정보입력자(10)에게 요청하는 메시지를 디스플레이(12)에 표시하도록 정보 처리 장치(14)에게 지시한다. 따라서, 정보처리장치(14)는 디스플레이(12)에 상기 메시지를 표시하고 정보입력자(10)는 표시된 메시지에 따라 직립상태(도 12(A))에서 팔을 들어올려 손을 디스플레이(12)측으로 향하게 하고, 디스플레이(12)에 표시된 3-D 화상이 표시된 가상의 3-D공간에 마커가 존재하는 방향으로 손을 향하게 하는 것과 동시에 가상 3-D 공간에 있는 마커까지의 거리에 대응하게 팔을 굴곡 또는 신장시킨다.
정보입력자(10)가 가상 3-D 공간에서 먼거리에 위치되도록 인식된 물체를 지시할 때는 팔을 신장시킨다(도 14(A)참조). 가장 3-D 공간에 있어서 가까운 거리에 위치되도록 인식된 물체를 지시할때는 팔을 굴곡시킨다 (도 14(c))참조. 상기한 바와같이, 마커가 가상 3-D 공간내의 뉴트랄 포인트에 위치되더라도 보일 수 있기 때문에 그 마커를 지시하는 동작에서는 정보입력자(10)의 팔이 도 14(B)에 도시된 바와같이 반 굴곡 상태가 된다.
스텝(254)에서는 기준점/특징점 좌표연산처리에 의한 처리결과(기준점(PO) 및 특징점(Px)의 3-D 좌표)를 캡츄어하고, 스텝(256)에서는 정보입력자가 디스플레이(12)의 표시면을 지시하는 지시동작을 행하는지를 판정한다. 기준점/특징점 좌표 연산처리에서는 정보입력자(10)가 지시동작을 행하는 경우(즉, 스텝(218)의 판정이 긍정적인 경우)에만 특징점(Px)의 3-D 좌표를 연산하기 때문에 스텝(254)의 판정은 특징점(Px)의 3-D 좌표가 연산되는지를 판정하므로서 수행된다.
스텝(256)의 판정이 부정적인 경우에는 스텝(254)로 돌아가서 정보입력자(10)가 지시동작을 행할 때까지 스텝(254,256)을 반복한다. 스텝(256)의 판정이 긍정적인 경우에는 스텝(258)로 이행하여 스텝(254)에서 캡츄어된 기준점(Po) 및 특징점(Px)의 3-D 좌표로부터 기준점(PO)와 특징점(PX) 사이의 거리(K)를 연산한다. 거리(K)는 정보입력자(10)와 정보입력자(10)을 포함하는 가상 3-D 있는 뉴트랄 포인트 사이의 거리(Lmid)(가상거리)에 대응되는데 거리(Kmia)로서 기억장치에 기억된다.
다음의 스텝9260)에서는 팔을 전 스트로크 범위에 걸쳐 굴곡 또는 신장하는 동작의 실행을 정보입력자(10)에게 요청하는 메시지를 디스플레이(12)에 표시하도록 거리전환조절 설정 처리가 정보처리장치(14)에 지시한다. 따라서, 정보처리장치(14)는 디스플레이(12)에 메시지를 표시한다. 정보입력자(10)는 팔을 신장하고 굴곡하는 동작을 반복한다.
다음의 스텝(262)에서는 거리 변환 조절 설절처리가 기준점/특징점 좌표연산 처리에 의한 처리결과를 캡츄어한다. 스텝(264)에서는 정보입력자(10)가 디스플레이(12)의 표시면을 지시하는 동작을 행하는지 여부를 판정한다. 스텝(264)의 판정이 부정적인 경우에는 스텝(262)로 돌아가고 정보입력자(10)가 지시동작을 행할 때까지 스텝(262,264)을 반복한다. 스텝(264)의 판정이 긍정적이면 스텝(266)으로 이행한다.
스텝(266)에서는 스텝(262)에서 캡츄어된 기준점(Po) 및 특징점(Px)의 3-D 좌표에 기초하여 기준점(Po) 과 특징점(Px) 사이의 거리(K)를 연산, 기억하고 거리(K)의 변화가 있는지 그리고 증가방향에서 감소방향으로 또는 감소방향에서 증가방향으로 거리(K)의 변화방향이 변하는지 여부를 판정한다. 이 판정은 스텝(266)을 1회 및 2회 실행할 때 무조건적으로 부정한다. 그러나, 스텝(266)이 2회 이상 실행될때는 금회연산된 거리(K)의 값을 전회에 연산된 거리(K)의 값을 비교하여 거리(K)의 변화방향을 판단한다. 스텝(266)이 3회이상 실행되었을때는 금회에 판단된 거리(K)의 변화방향을 전회판단된 거리(K)의 변화방향을 비교하여 판정을 행한다.
상기 판정이 부정적인 경우에는 스텝(262)로 돌아가서 스텝(262-262)를 반복한다. 한편, 거리(K)의 방향변화가 있을때에는 정보입력자(10)의 팔이 똑바로 신장된 상태(도 14(a)참조) 또는 굴곡된 상태(도 14(c)참조)일 수 있다. 따라서, 스텝(266)에서의 판정이 긍정적이어서 스텝(268)로 이행한다. 스텝(268)에서는 기준점(Po)과 특징점(Px) 사이의 거리(K)(거리(K)는 정보입력자(10)의 팔을 완전히 신장시킨 상태에서 최대 그리고 팔을 완전히 굴곡시킨 상태에서 최소를 나타낸다)를 기억한다. 다음의 스텝(270)에서는 거리(K)의 최대값(Kmax) 및 최소값(Kmin) 모두가 얻어지는지를 판정한다. 판정이 스텝(270)에서 부정적인 경우에는 스텝(262)로 돌아가서 스텝(262-270)을 반복한다.
스텝(270)에서 최대값(Kmax) 및 최소값(Kmin) 모두가 얻어진 후 스텝(272)로 이행한다. 스텝(272)에서는 정보입력자(10)의 기준점(Po)과 특징점(Px) 사이의 거리(K)를 정보입력자(10)와 정보입력자(10)가 지시하는 장소사이의 거리(L)(가상거리)로 변환하기 위한 거리 변환 조건을 설정한다. 이 거리 변환 조건은 3-D 화상이 나타내는 가상 3-D공간에 있어서, 정보입력자(10)으로 부터 보았을때 가장 앞쪽의 장소와 정보입력자(10) 사이의 거리를 Lmin, 정보입력자(10)으로 부터 보았을 때 가장 깊은 쪽의 장소와 정보입력자(10) 사이의 거리를 Lmax및 뉴트랄 포인트와 정보입력자(10) 사이의 거리(가상거리)를 Lmid라 할 때에 예를들면 도 15에 도시된 바와같이 거리(Kmin)이 거리(Kmin)으로, 거리(Kmax)가 거리(Lmax)로, 거리(Kmid)가 거리(Lmid)가 거리(Lmid)가 되도록 최소자승법을 사용하여 정한다.
정보입력자의 팔의 길이등은 개인차가 있고, 따라서, 팔을 굴곡신장시켰을대의 거리(K)의 변화폭(Kmax-Kmin) 역시 개인차가 있다. 그러나, 상술한 거리 변환 조건 설정처리는 정보입력공간에 정보입력자(10)가 올때마다 실행된다. 이 처리는 정보입력자(10)의 기준점(PO)과 특징점(Px)의 거리(K)의 최대값 및 최소값을 구하고 거리(K)의 변화폭(Kmax-Kmin)이 가상 3-D 공간내의 각 장소와 정보입력자(10) 사이의 거리(L)의 변화폭(Lmax-Lmin)에 대응하도록 거리변환조건을 정한다. 그 결과, 다른 정보입력자(10)가 정보입력공간으로 왔을 때에 거리변환조건으로서 새로운 정보입력자(10)의 팔의 길이등에 따라 적절한 변환조건을 얻을 수 있다.
또한, 상기의 거리 변환 조건은 정보입력자(10)가 뉴트랄 포인트를 지시하는 동작을 행할 때 기준점(Po)와 특징점(Px) 사이의 거리(K)도 고려하여 변환특성을 정하기 때문에 변환특성이 정보입력자(10)의 감각에 합치되어 정보입력자(10)에 의해 지시된 장소와 정보입력자(10) 사이의 거리(L)을 정확히 판단할 수 있다.
상기한 바와같이 거리 변환 조건 설정 처리를 행한 후 다음 스텝(156) (도 6참조)에서는 클릭 동작 속도 설정처리를 행한다. 이 클릭동작속도 설정처리에 대해서는 도 9의 플로우챠트를 참조하여 설명한다. 또한, 클릭 동작 속도 설정처리는 제 7발명에 따른 역치 설정수단에 대응한다.
스텝(290)에서는 클릭동작의 실행을 정보입력자(10)에게 요청하는 메시지를 디스플레이(12)에 표시하도록 클릭 동작 속도 설정처리가 정보처리장치(14)에 지시한다. 정보처리장치는 디스플레이(12)에 상기 메시지를 표시한다. 본 실시형태에서는 정보입력자(10)가 전방으로 손을 빠르게 이동시키는 동작(도 16(A)참조, 이하 전진클릭이라 함) 및 정보입력자(10)가 후방으로 손을 빠르게 이동시키는 동작(도 16(B) 참조 이하, 후진 클릭이라 함)을 클릭동작으로서 정한다. 디스플레이(12)에 상기 메시지를 표시할때에 정보입력자(10)는 팔을 굴곡 및 신장시켜 전진 클릭 동작 또는 후진 클릭 동작을 반복한다.
스텝(292)에서는 기준점/특징점 좌표 연산처리에 의한 처리결과(기준점 (Po) 및 특징점(Px)의 3-D 좌표)를 캡츄어한다. 스텝(294)에서는 정보입력자(10)가 디스플레이(12)를 지시하는 지시동작을 행하는지를 판정한다. 스텝(294)의 판정이 부정적인 경우에는 스텝(292)로 돌아가서 정보입력자(10)가 지시동작을 행할때까지 스텝(292,294)을 반복한다. 스텝(294)의 판정이 긍정적인 경우에는 스텝(296)으로 이행한다.
스텝(296)에서는 스텝(292)에서 캡츄어된 기준점(Po) 및 특징점(Px)의 3-D 좌표로부터 기준점(Po) 및 특징점(Px) 사이의 거리(K)를 연산한다. 또한, 스텝(296)이 반복적으로 실행된다. 그러나, 스텝(296)이 2회동안 실행될 때에는 금회 연산된 거리(K)의 값과 전회연산된 거리(K)의 값의 차이에 기초하여 거리(K)의 변화속도(V)(기준점(Po)에 대한 특징점(Px)의 위치 이동속도)를 연산하여 연산결과를 기억한다.
스텝(298)에서는 클릭동작의 실행을 요청하는 메시지를 디스플레이(12)에 표시한 후 소정시간이 경과했는지 여부를 판정한다. 판정이 부정적인 경우에는 스텝(292)로 돌아가서 스텝(292-298)을 반복한다. 따라서, 클릭동작의 실행을 요청하는 메시지를 표시하는 것부터 소정시간이 경과할때까지의 사이에는 기준점(Po) 및 특징점(Px) 사이의 거리(K)의 변화속도가 (V)가 반복적으로 연산, 기억된다.
스텝(298)의 판정이 긍정적인 경우에는 스텝(300)으로 이행하여 먼저 연산, 기억된 변화속도(V)를 캡츄어하고 정보입력자(10)가 1회의 클릭동작을 행하는 동안의 변화속도(V)의 추이에 기초하여 클릭동작속도(Vo)(본 발명의 제 5-제 7발명에 따른 역치에 대응한다)를 설정, 기억한다. 클릭동작속도(Vo)는 후술하는 처리에 있어서, 정보입력자(10)가 클릭동작을 행하는지를 판정하기 위한 역치로서 사용된다. 이러한 이유 때문에, 정보입력자(10)가 클릭동작을 행하는지 확실하게 판정하기 위해서 클릭동작(Vo)에 있어서는 예를들면 정보입력자(10)의 1회클릭동작에서 변화속도(V)의 평균치보다 약간 낮은 값이 설정될 수 있다. 또한, 정보입력자(10)의 1회클릭동작에서 변화속도(V)의 최소값을 클릭동작속도(Vo)에 대하여 설정할 수 있다.
정보입력자(10)가 팔을 굴곡 또는 신장시켜 클릭동작을 행할때 특징점(Px)의 이동 속도(변화속도(V))는 정보입력자(10)마다 다르다. 그러나, 상기의 클릭동작속도 설정처리는 정보입력공간에 정보입력자(10)가 올 때 마다 실행되기 때문에 정보입력공간에 새로운 정보입력자(10)가 올 때 정보입력공간으로 오는 새로운 정보입력자(10)의 체격과 근력등에 따른 적절한 값이 클릭동작속도(Vo)로서 새로 설정된다.
상술한 클릭동작 설정처리를 종료한 후 지시판단처리(도 6A-도 6D 참조)의 스텝(158)로 이행한다. 스텝(158)에서 그리고 그 이후에서 정보입력자(10)가 지시동작을 행하는지 판단하기 위한 판단처리가 실행된다. 즉, 스텝(158)에서는 기준점/특징점 좌표연산처리에 의한 처리결과(기준점(Po) 및 특징점(Px)의 3-D 좌표)를 캡츄어한다. 스탭(160)에서는 정보입력자(10)가 지시동작을 행하는지 여부를 판정한다.
스텝(160)의 판정이 부정적인 경우에는 스텝(194)로 이행하여 정보입력자(10)가 정보입력공간으로 부터 떠났는지 여부를 판정한다. 스텝(150)에서와 마찬가지로 이 판정에 있어서도 화상(A) 및 화상(B)로 부터 고휘도이고 소정값 이상 면적의화상부가 없는지등의 극히 간단한 판단처리가 이루어진다. 상기 판정이 부정적인 경우에는 스텝(158)로 돌아가서 스텝(158,160,194)를 반복한다.
또한, 스텝(160)의 판정이 긍정적인 경우에는 스텝(162)로 이행하여 앞 스텝(158)에서 캡츄어된 기준점(Po) 특징점(Px)의 3-D좌표에 기초하여 상기한 기준점과 특징점을 연결하는 가상선(도 17A, B의 가상선(54)참조)과 디스플레이(12)의 표시면을 포함하는 평면의 교점(도 17A, B의 점(S)참조)의 좌표(평면좌표)를 연산한다. 스텝(164)에서는 스텝(162)에서 구해진 교점(S)의 좌표에 기초하여 정보입력자(10)가 디스플레이(12)의 표시면상을 지시하는지 여부를 판정한다. 이 판정이 부정적인 경우에는 스텝(194)으로 이행하여 스텝(158-164) 및 스텝(194)을 반복한다.
한편, 스텝(164)의 판정이 긍정적인 경우에는 디스플레이(12)에 표시된 3-D 화상이 나타나는 가상 3-D 공간내의 특정장소를 정보입력자(10)가 지시하는 것을 판단한다. 이를 위해 스텝(166)으로 이행하여 앞서 캡츄어된 기준점(Po) 및 특징점(Px)의 3-D 좌표에 기초하여 정보입력자(10)가 지시하는 장소가 존재하는 방향으로서 기준점(Po) 와 특징점(Px)을 연결하는 가상선이 연장하는 방향(즉, 기준점(Po)에서 특징점(Px)로의 방향)을 연산한다.
스텝(158)에서는 앞서 캡츄어된 기준점(Po) 및 특징점(Px)의 3-D좌표에 기초하여 기준점(Po) 및 특징점(Px)의 거리(K)를 연산한다. 상기한 거리변환 조건설정처리(도 8A-도 8C 참조)에서 설정된 거리변환조건(도 15참조)에 따라서 도 18에 도시된 바와같이 기준점(Po)와 특징점(Px) 사이의 거리(K)를 정보입력자(10)와 정보입력자(10)가 지시한 장소의 거리(L)(가상거리)로 변환한다. 스텝(170)에서는 정보입력자(10)에 의해 지시된 장소가 정보입력자(10)를 포함하는 가상 3-D공간에 있어서 기준점(Po)으로 부터 스텝(166)에서 연산된 방향으로 스텝(168)에서 구해진 거리(L)만큼 떨어진 장소에 있게 판정하여 가상 3-D 공간에 있는 정보입력자(10)에 의해 지시된 장소의 3-D 좌표값을 연산한다.
따라서, 디스플레이(12)에 표시된 3-D 화상이 나타나는 가상 3-D공간내의 임의의 장소를 정보입력자(10)가 지시할때도 지시된 장소의 3-D좌표를 판단할 수 있다. 또한, 상기 스텝(166-170)은 본 발명의 판단수단에 대응한다.
스텝(172)에서는 스텝(170)에서 연산된 지시장소의 3-D 좌표를 기억장치(24)에 기억시킨 좌표데이타에 따라 디스플레이(12)의 표시면상에 있는 지시장소의 위치(2-D좌표)로 변환하고 (함수식을 사용하는 연산에 의해 구해질 수 있다). 상기 위치에 커서(52)가 표시되도록 정보처리장치(14)에 지시한다(도 18참조). 디스플레이(12)에 표시한 커서(52)의 크기는 스텝(168)에서 구해진 거리(L)가 커짐에 따라 감소될 수 있다.
본 실시형태에서는 정보입력자(10)가 디스플레이(12)로의 3-D화상의 표시배율의 변경(줌인 또는 줌 아웃)을 지시할 수 있다. 즉, 정보입력자(10)에 의한 가상 3-D공간내의 특정장소를 지시하는 동작과 정보입력자(10)에 의한 3-D 화상의 디스플레이(12)로의 표시배율의 변경을 지시하는 동작을 구별하기 위해서 예를들면, 정보입력자(10)가 지시동작을 행할때에는 정보입력자(10)가 손의 형상을 엄지와 엄지이외의 모든 손가락을 절곡시키는 형상(도 19A 참조)으로 하고, 정보입력자(10)가 지시배율의 변경을 지시할때에는 정보입력자(10)가 손의 형상을 엄지 이외의 모든 손가락을 펴는 형상(도 19B 참조)으로 미리 정해진다.
다음 스텝(174)에서는 정보입력자(10)의 손이 특정의 형상(엄지를 제외한 모든 손가락을 편 형상)인지 여부를 판정한다. 즉, 정보입력자(10)가 3-D 화상의 표시배율변경을 지시하는지 연부를 판정한다. 또한, 이 스텝(174)는 제 4발명에 따른 판정 수단에 대응한다.
스텝(174)의 판정이 부정적인 경우에는 정보입력자(10)가 3-D화상의 표시배율변경을 지시하는 동작을 지시하지 않았다는 것을 판단하고 스텝(176)으로 이행하여 앞의 스텝(168)에서 연산된 거리(k)의 변화가 있는지를 판정한다. 스텝(168)은 정보입력자(10)가 디스플레이(12)의 표시면을 지시하는 동작을 수행하는 동안 스텝(164)의 판정이 긍정적인 동안) 반복적으로 실행된다. 그러나, 스텝(168)에서 최초로 거리(K)가 연산된 경우에는 거리(K)의 변화유무를 판정할 수 없기 때문에 스텝(176)의 판정은 무조건 부정적이다.
스텝(176)의 판정이 긍정적인 경우에는 스텝(178)로 이행하여 거리(K)의 변화속도(V)를 연산하므로서 연산된 변화속도(V)가 역치(클릭동작속도 설정처리에 의해 설정된 클릭동작속도(VO)) 이상인지 판정한다. 또한, 스텝(178)에서도 스텝(168)에서 최초로 거리(K)가 연산될 때는 거리(K)의 변화속도(V)를 연산할 수 없기 때문에 판정은 무조건 부정적이다. 스텝(176) 또는 스텝(178)의 판정이 부정적인 경우에는 정보입력자(10)가 클릭동작을 행하지 않은 것으로 판단하여 스텝(194)로 이행한다.
또한, 스텝(176,178)의 판정이 각각 긍정적인 경우에는 정보입력자(10)가 클릭동작을 행한 것으로 판단하고 스텝(180)에서 거리(K)의 변화방향을 판정하고 판정결과에 따라 분기한다. 거리(K)가 증가방향으로 변화된 경우에는 정보입력자(10)가 팔을 앞으로 빠르게 펴는 전진 클릭동작을 행하는 것으로 판단하여 스텝(182)로 이행하고 거리에서 전진 클릭이 행해졌다는 것을 나타내는 정보를 정보처리장치(14)로 출력하고 스텝(194)로 이행한다. 또한, 거리(K)가 감소방향으로 변화된 경우에는 정보입력자(10)가 팔을 빠르게 굽히는 후진 클릭동작을 행한 것으로 판단하여 스텝(184)을 이행하고 거기에서 후진 클릭이 있었다는 것을 나타내는 정보를 정보처리장치(14)로 출력하고 스텝(194)로 이행한다.
정보처리장치(14)로 "전진클릭동작" 또는 "후진클릭동작"이 행해졌다는 것을 나타내는 정보가 출력된 경우에는 정보입력자(10)에 의한 현재 지시장소가 정보입력자(10)에 의해 클릭된 것으로 판단한다. "전진클릭동작"이 행해진 경우에는 정보입력자(10)에 의한 현재 지시장소에 대응하는 제 1처리를 행하고 "후진클릭동작"이 행해진 경우에는 현재의 지시장소에 대응하는 제 2처리(제 1처리와 다른 처리)를 행한다. 또한, 제 1처리와 제 2처리는 제 5발명에 따른 소정의 처리(보다 상세하게는, 제 6발명에 따른 제 1소정의 처리와 제 2소정의 처리)에 대응하여, 예를들면, 가상 3-D 공간내의 정보입력자(10)에 의한 지시장소에 관련한 처리 (정보입력자(10)에 의한 지시장소에 위치하는 물체레 관련한 처리)를 행한다(구체적인 예는 후술함).
이 방법에서 스텝(178-184)은 실제로 제 1처리 와 제 2처리를 행하는 정보처리장치(14)와 제 5발명에 따른 처리 수단(보다 상세하게는 제 6발명)에 대응한다.
한편, 스텝(174)의 판정이 긍정적인 경우에는 스텝(186)으로 이행하여 앞의 스텝(168)에서 연산된 거리(k)의 변화가 있는지 여부를 판정한다. 또한, 스텝(186)에서도 스텝(168)에서 최초로 거리(K)가 연산될 때에는 거리(K)의 변화 유무를 판정할 수 없기 때문에 판정이 무조건적으로 부정이다. 스텝(186)의 판정이 부정인 경우에는, 정보입력자(10)의 손이 3-D 화상의 표시배율의 변경을 지시하도록 하는 형상임에도 불구하고 어느 정도가 표시배율을 변경하는데 필요한가에 대해 지시되지 않았다는 사실을 고려할 때 스텝(194)로 이행한다.
스텝(186)의 판정이 긍정적인 경우에는 스텝(188)로 이행하여 거리(K)의 변화량을 연산하고 소정의 변환조건에 따라 거리(K)의 변화량을 3-D화상의 표시배율 변화량으로 변환한다. 스텝(190)에서는 스텝(188)에서 연산된 표시배율의 변경량에 따라 디스플레이(12)상에 표시될 3차원 화상의 표시배율이 변경된다. 정보입력자(10)에 의한 현재의 지시장소(즉, 스텝(170)에서 연산된 3-D좌표에 대응하는 장소)가 디스플레이(12)의 표시면상의 대략 중심에 위치되도록 디스플레이(12)상에 3차원적 화상을 재표시하도록 정보처리장치(14)에 지시힌다.
따라서, 예를들면, 도 20A에 도시된 바와같이 우주공간을 나타내는 3 차원적 화상을 디스플레이(12)에 표시하고, 정보입력자(10)가 상기 3차원 화상중의 스페이스 셔틀(54)을 지시하는 상태에서, 정보입력자(10)에 의해 3차원적 화상의 확대표시(줌인)이 지시된 경우에는 도 20B에 도시된 바와같이 디스플레이(12) 표시면의 중심에 스페이스 셔틀(54)이 위치하고 표시배율의 변경량에 따라 3차원적 화상이 확대 표시되도록 3차원적 화상이 재표시된다.
또한, 상기 상태에서 정보입력자(10)에 의해 3차원적 화상의 축소 표시(줌아웃)가 지시된 경우에는 도 20C에 도시된 바와같이 디스플레이(12) 표시면의 중심에 스페이스 셔틀(54)이 위치하고 표시배율의 변경량에 따라 3차원적 화상이 축소표시되도록 하는 방법으로 3차원적 화상이 재표시된다.
이 방법에서, 스텝(186-190)은 실제로 3차원적 화상의 표시를 제어하는 정보처리장치(14)에 대응하고 표시제어수단은 제 4발명에 대응한다. 상기 표시배율의 변경에 응답하여 가상 3-D공간내의 정보입력자(10)에 의해 지시된 각 장소와 정보입력자(10) 사이의 가상거리도 변화하기 때문에 상기 스텝(190)에서는 가상거리의 변화에 따라 거리 변화조건이 수정된다. 다음 스텝(192)에서는 재표시된 3차원적 화상에 따라 커서(52)를 재표시하고 스텝(194)로 이행한다
정보입력공간에 도착한 정보입력자(10)가 디스플레이(12)에 표시된 3차원적 화상이 표시하는 가상 3-D 공간내의 임의의 장소를 지시하는 동작을 행할 때 디스플레이(12) 표시면상의 지시된 장소에 대응하는 위치에 커서(52)가 표시된다. 정보입력자(10)가 "전진 클릭 동작" 또는 "후진 클릭 동작"을 행하면 소정의 처리(예를들면, 정보입력자(10)에 의해 지시된 장소에 관련된 처리)가 실행될 수 있다.
정보입력자(10)의 손이 엄지이외의 모든 손가락을 편 형상이고, 디스플레이(12)에 표시된 3차원적 화상의 표시배율이 소정배율을 갖도록 정보입력자(10)가 팔을 굴곡 또는 신장할 때는 디스플레이에 표시된 3차원적 화상의 소정 표시배율이 소정배율로 변경되고, 정보입력자(10)에 의해 지시된 장소를 중심으로 재표시될 수 있다. 그러나, 정보입력자(10)가 팔을 완전히 굴곡 또는 신장시켰을때도 3차원적 화상의 표시배율변화가 부족한 경우에는 일단 손의 형상을 엄지와 집게 손가락을 제외한 모든 손가락이 주먹에 가깝게 되도록 변화시키고 표시배율 지시동작을 반복하여 팔을 원래의 굴곡 또는 신장 위치로 복귀시키면 표시배율이 더 증가 또는 감소될 수 있다.
정보입력자(10)가 정보입력공간에서 나갔을 때 스텝(194)의 판정이 긍정인 경우에는 스텝(196)에는 기준점/특징점 좌표연산처리(도 7A-도 7C) 입력공간으로 다시 올때까지 기다린다. 정보입력자(10)가 정보입력공간으로 다시 올때는 스텝(152) 이후의 처리가 반복된다.
핸드포인팅 입력장치(20)의 콘트롤러에서 상기 지시판단처리를 실행하므로서 정보입력자(10)에 의해 지시된 디스플레이(12) 표시면상의 위치 및 클릭동작의 시행여부를 실시간에 판단 할 수 있고 따라서, 정보 처리 장치(14)에서 실행된 처리와 조합하여 각종 이용형태로 지시판정처리를 사용할 수 있다
예를들면, 다수의 선박이 나란히 있는 상황을 부감 촬영한 3차원적 화상을 디스플레이(12)상에 표시할 수 있다. 3차원적 화상으로 나타나는 가상 3-D 공간내의 특정선박을 이용자(정보입력자(10))가 지시하는 상태에서 특정의 지시(예를들면, 전진 클릭동작)가 있는 경우에는 지시된 선박의 데이타가 디스플레이되고, 또 다른 특정 지시동작(예를들면, 후진 클릭동작)이 있는 경우에는 상기 선박 및 선택된 선박과 관련한 어떤 다른 선박이 다른 선박과 구별되어 표시된다. 이용자의 지시(지시동작)에 따라 디스플레이가 확대된 경우에는 상기 선박이 확대되어 디스플레이의 중심에 있도록 표시된다. 따라서, 선박 데이타 베이스로 부터 정보를 검색하기 위한 인터페이스로 이용될 수 있다. 본 발명은 선박대신에 자동차, 항공기, 자전거, 전기제품, 기계부품등에 적용될 수 있다.
또한, 빌딩을 설계하는 과정에서 작성된 CAD 데이타에 기존하여 철골 조립단계의 빌딩내부를 촬상한 것에 상당하는 3-D 화상 데이타를 생성하여 디스플레이(12)상에 표시할 수 있다. 3-D 화상의 표시는 사용자의 지시에 응답하여 그들의 빌딩내를 이동하더라도 사용자에게 보이도록 변화될 수 있다. 3차원 화상이 나타나는 가상 3-D 공간내의 특정장소를 설계자(정보입력자)가 지시하는 상태에서 특정의 지시(예를들면, 전진 클릭)이 있는 경우에는, 예를들면 지시장소를 설비배관을 배설위치의 시점 또는 종점으로서 기억한다. 다른 특정의 지시(예를들면, 후진클릭)이 있는 경우에는 예를들면, 각종 설비배관을 일람표시하여 이들로부터 설비배관의 종류를 선택한다. 선택된 설비배관은 3-D 화상으로 중첩하는 설비배관의 시점과 종점사이에서 표시된다. 이것은 설비배관의 배설 상황을 입체적으로 확인할 수 있게 한다. 본 발명은 빌딩등의 건물내부의 설비 배관등의 설계를 지원하는 설계 지원 시스템으로 이용가능한다.
또다른 예로서, 크레인의 원격 조정실에 디스플레이(12)를 배설할 수 있다. 크레인에 설치된 다수의 비데오 카메라가 작업상황을 촬상하여 얻은 3차원적 화상을 디스플레이(12)상에 표시한다. 3차원적 화상이 나타내는 3-D 공간내의 특정장소를 조작자(정보입력자)가 지시하는 상태에서 특정지시(예를들면, 전진클릭)가 있는 경우에는 예를들면, 특정장소를 향하여 크레인의 아암을 회전이동시킬 수 있다. 다른 특정의 지시(예를들면, 후진클릭)이 있는 경우에는 예를들면, 특정장소를 향하여 크레인의 아암을 상하이동시킬 수 있다. 따라서, 본 발명은 매우 높은 곳으로 올라가지 않더라도 조작자가 크레인 작업할 수 있는 3차원적 조작시스템으로 사용될 수 있다.
또한, 예를들면 차량을 나타내는 3차원적 화상을 디스플레이(12)상에 표시할 수 있다. 이용자(정보입력자)가 예를들면, 차량의 본네트를 지시하는 상황에서 특정의 지시(예를들면, 전진 클릭)를 한 경우에는 차량의 본네트가 열려진 상태를 나타내도록 3-D 화상이 변한다. 또한, 이용자가 예를들면 차량의 엔진을 지시하는 상황에서 특정의 지시(예를들면, 전진클릭)를 한 경우에는 엔진의 성능등을 3-O 화상을 중첩하여 표시할 수 있다. 다른 특정의 지시(예를들면, 후진클릭)가 있는 경우에는 지시가 취소되는 지시로서 판정되어 엔진성능등의 표시가 소거된다. 따라서, 본 발명은 차량의 가상 쇼우룸(show room)으로 이용될 수 있다. 이 경우, 예를들면 앞서 설명한 표시배율의 변경을 지시하는 동작을 차량의 배향을 변화시키는 동작으로서 사용할 수 있다. 예를들면, 이용자가 차량의 전방측을 지시하는 상태에서 줌인 또는 줌아웃에 상당하는 동작을 행한 경우에 차량 전체를 시계방향 또는 반시계방향으로 회전하는 것으로 나타낼 수 있다.
또한, 예를들면 디스플레이(12), 핸드포인팅 입력장치(20) 및 정보처리장치(14)를 어뮤즈먼트(amusement) 시설의 3-D 시뮬레이션게임을 행하는 게임기로서 동작시킬 수 있다.
상기에서는 두 대의 비데오 카메라(36A,36B)를 설치한 예가 설명되었지만 본 발명이 이에 한정되는 것은 아니며, 다수의 비데오 카메라가 정보입력공간 각각을 촬상하여 정보입력자(10)로 부터의 지시를 판단하는데 이용될 수 있다.
또한, 상기에서는 거리변환조건이 정보입력자(10)가 뉴트럴 포인트를 지시할 때의 기준점(P0)과 특징점(Px) 사이의 거리(K)를 고려하여 설정되었다. 그러나, 본 발명은 이것으로 제한되지는 않는다. 거리변환조건은 단순히 거리(K)의 최대값(Kmax)와 최소값(Kmin)에 기초하여 설정될 수 있다. 이 경우에, 거리변환조건의 변환 특성은 선형(예를들면, 거리(K)에 비례하여 거리(L)이 변화하는 변환 특성)으로 이루어질 수 있다. 그러나, 특히 3차원적 화상이 나타나는 가상 3-D 공간이 깊이가 매우 긴 공간인 경우(예를들면, 우주공간을 나타내는 3차원적 화상을 표시 수단에 표시한 경우 등)에는 변환 특성을 비선형(예를들면, 기준점과 특징점 사이의 거리 변화의 n승(n≥2)에 비례하여 인식대상자와 특정장소 사이의 거리를 변화시키는 변환 특성 등)으로 하는 것이 바람직하다.
또한, 상기에서는 정보입력자(10)가 디스플레이(12)에 표시된 3차원적 화상이 나타내는 가상 3-D공간내의 임의의 장소를 지시하는 것을 예로서 설명하였다. 그러나, 정보입력자가 지시하는 대상은 가상의 3-D 공간으로 제한되지 않는다. 본 발명은 정보입력자 실제의 3-D 공간내의 임의의 장소를 지시하는 경우에도 적용가능하다. 정보입력자가 실제의 3-D공간내의 임의의 장소를 지시하는 이용형태에서는 예를들면, 극장등에서 스폿라이트의 조사방향과 어레이 상에 배치된 다수의 스피커에 의해서 형성되는 음향비임의 방향을 오퍼레이터(정보입력자)가 지시하는 방향으로 향하게 한다.
이상 설명한 바와같이 제 1발명에서의 핸드포인팅 장치는 인식대상자가 3-D공간내의 특정장소를 지시하는 상황을 복수의 방향으로 부터 촬상하여 얻은 복수의 화상으로 부터 인식대상자에 상당하는 화상부를 추출하고, 인식대상자가 팔을 굴곡 및 신장시키므로서 위치가 변화하는 특징점 및 인식대상자가 팔을 굴곡 및 신장시켜도 위치가 변화하지 않는 기준의 3-D좌표를 구하고, 기준점에서 특징점으로 향하는 방향에 기초하여 특정장소가 3-D 공간내에 존재하는 방향을 판단함과 동시에 기준점과 특징점 사이의 거리에 기초하여 깊이 방향을 따라 3-D공간내의 특정장소의 위치를 판단하여 3-D공간내의 특정장소의 3-D좌표를 판단하도록 한다. 그 결과 정보입력자가 3-D공간내의 임의의 장소를 지시하는 경우에도 정보입력자에 의해 지시된 장소의 3-D좌표를 판단하는 우수한 효과를 갖는다.
제 3발명에 따른 핸드포인팅 장치는, 제 2발명에 있어서, 인식대상자가 팔을 굴곡 및 신장시키는 동작을 행할때의 기준점과 특징점 사이의 거리변화폭에 기초하여 기준점과 특징점 사이의 거리를 인식대상자와 특정장소의 거리로 변환하는 변환조건의 변환특성을 설정할 수 있기 때문에 개개의 인식대상자의 체격에 따라 변환특성을 얻을 수 있다. 그 결과, 개개의 인식대상자의 체격에 구애받지 않고 인식대상자가 지시하는 특정장소의 깊이 방향에 따른 특정장소의 위치를 정확하게 판단할 수 있는 우수한 효과를 갖는다.
제 4발명에 따른 핸드포인팅 장치는, 제 1발명에 있어서, 인식대상자의 손이 특정형상으로 있는 상태에서, 그리고 기준점과 특징점 사이의 거리가 변화하는 경우에는 표시 수단에 표시된 3차원적 화상이 확대/감소된 상태로 표시되게 제어할 수 있다. 상기 효과 이외에 인식대상자에 의한 3차원적 화상의 표시 배율 변경 지시에 따라 표시수단에 표시된 3차원적 화상의 표시배율을 확실하게 변경할 수 있는 우수한 효과가 있다.
제 5발명에 따른 핸드포인팅 장치는, 제 1발명에 있어서, 기준점과 특징점 사이의 거리변화속도가 역치 이상인 경우에 소정의 처리를 행하기 때문에, 상기 효과 이외에 인식대상자에 의한 소정처리의 실행을 지시하는 동작을 확실하게 검출할 수 있는 우수한 효과를 갖는다.
제 6발명에 따른 핸드포인팅 장치는 기준점과 특징점 사이의 거리가 역치 이상의 변화속도로 증가된 경우에 제 1의 소정처리를 행하고, 기준점과 특징점 사이의 거리가 역치이상의 변화속도로 감소된 경우에는 상기 제 1소정처리와 다른 제 2소정처리를 행한다. 그 결과 상기한 효과 이외에 제 1소정처리 및 제 2소정처리 중 하나를 인식대상자가 선택할 수 있으며, 제 1소정처리 및 제 2소정처리로 부터 인식대상자에 의해 선택된 처리를 확실하게 실행할 수 있는 우수한 효과를 갖는다.
제 7발명에 따른 핸드포인팅 장치는, 제 5발명에 있어서, 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할 때 기준점과 특징점 사이의 거리변화속도에 기초하여 역치를 설정한다. 상기한 효과이외에 개개의 인식대상자의 체격, 근력등에 따른 역치를 얻을 수 있고, 개개의 인식대상자의 체격과 근력등에 다름에도 불구하고 인식대상자에 의한 소정처리의 실행을 지시하는 동작을 확실히 검지하여 소정의 처리를 실행할 수 있는 우수한 효과를 갖는다.

Claims (18)

  1. 서로 다른 복수의 방향으로부터 인식대상자를 촬상하는 촬상수단;
    인식대상자가 3-D 공간내의 특정장소를 지시하는 상황을 상기 촬상 수단이 복수의 방향으로부터 촬상하여 얻은 복수의 화사응로부터 상기 인식대상자에 상당하는 화상부를 추출하고, 인식대상자가 팔을 굴곡 또는 신장시키는 위치가 변화하는 특징점 및 인식대상자가 팔을 굴곡 또는 신장시킬때에도 위치가 변화하지 않는 기준점의 3-D좌표를 구하는 연산수단 ; 및
    상기 기준점으로부터 상기 특징점으로 향하는 방향에 기초하여 상기 3-D 공간내의 상기 특정장소가 존재하는 방향을 판단함과 아울러 상기 기준점과 상기 특징점 사이의 거리에 기초하여 3-D 공간의 깊이 방향을 따라 상기 특정장소의 위치를 판단하여 상기 3-D 공간내의 특정장소의 3-D 좌표를 판단하는 판단수단을 포함하는 것을 특징으로 하는 핸드포인팅 장치.
  2. 제 1항에 있어서, 상기 판단수단이 소정의 변환조건에 따라 상기 기준점과 특징점 사이의 거리를 인식대상자와 상기 특정장소 사이의 거리로 변환하여 3-D 공간내 깊이 방향으로의 특정장소의 위치를 판단하는 핸드포인팅 장치.
  3. 제 2항에 있어서, 팔을 굴곡 및 신장시키는 동작을 행하도록 인식대상자에게 요총하고, 인식대상자가 팔을 굴곡 및 신장시키는 동작을 행할 때 상기 기준점과 특징점 사이의 거리 변화폭에 기초하여 상기 기준점과 특징점 사이의 거리를 인식대상자와 특정 장소 사이의 거리로 변환하는 변환조건을 미리 설정하는 변환조건 설정수단을 더 포함하는 핸드포인팅 장치.
  4. 제 1항에 있어서,
    3차원적 화상을 표시하는 표시수단 ;
    상기 표시수단에 3차원적 화상을 표시시키는 표시제어수단 ;
    인식대상자의 손이 특정의 형상인지를 판정하는 판정수단을 더 포함하고,
    상기 3차원적 화상은 가상의 3-D공간을 나타내는 화상으로서 일점 투시법 및 이점 투시법에 맞게 형성된 화상, 액정셔터 또는 렌티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하고, 인식대상자는 상기 표시수단에 표시된 3차원적 화상이 나타나는 가상의 3-D공간내의 특정장소를 지시하고,
    상기 표시제어수단은 인식대상자의 손이 특정형상으로 있는 것을 판정한 상태에서, 상기 기준점과 특징점 사이의 거리가 변하는 경우에 상기 표시수단에 표시된 3차원적 화상이 상기 기준점과 특징점 사이의 거리변화에 따라 확대 또는 감소표시되도록 하는 상기 표시수단을 제어하는 것을 특징으로 하는 핸드포인팅 장치.
  5. 제 1항에 있어서, 상기 기준점과 특징점 사이의 거리변화 속도를 검출하고, 상기 기준점과 특징점 사이의 거리변화속도가 역치 이상인 경우에 소정의 처리를 행하는 처리수단을 더 포함하는 핸드포인팅 장치.
  6. 제 5항에 있어서, 상기 처리수단이 상기 기준점과 특징점 사이의 거리가 상기 역치이상의 변화속도로 증가할 때 제 1소정의 처리를 행하고, 상기 기준점과 특징점 사이의 거리가 상기 역치 이상의 변화속도로 감소할 때 상기 제 1소정처리와 다른 제 2소정처리를 행하는 핸드포인팅 장치.
  7. 제 5항에 있어서, 상기 처리수단이 소정처리를 행하도록 팔을 굴곡 또는 신장시키는 동작을 행할 것을 인식대상자에게 요청하고, 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할 때 상기 기준점과 특징점 사이의 거리 변화 속도에 기초하여 상기 역치를 미리 설정하는 역치설정수단을 더 포함하는 핸드포인팅 장치.
  8. 제 7항에 있어서, 상기 역치 설정수단이 역치로서 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할 때 거리변화속도의 평균값 이하인 값을 설정하는 핸드포인팅 장치.
  9. 제 7항에 있어서, 상기 역치 설정수단이 역치로서 인식대상자가 팔을 굴곡 또는 신장시키는 동작을 행할 때 거리 변화속도의 최소값을 설정하는 핸드포인팅 장치.
  10. 제 3항에 있어서,
    3차원적 화상을 표시하는 표시수단 ;
    표시수단에 3차원적 화상을 표시시키기 위한 표시제어수단 ; 및
    인식대상자에 의해 쉽게 인식될 수 있는 임의 형태를 갖는 마커를 표시하는 마커 표시수단을 더 포함하고,
    상기 3차원적 화상은 가상의 3-D공간을 나타내는 화상으로서 일점 투시법 및 이점 투시법에 맞게 형성된 화상, 액정 셔터 또는 렌티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하며 ;
    상기 변환조건 설정수단은 3-D 공간내의 깊이방향에 따른 중간부에 위치된 마커에 의해 마크된 단일 장소를 인식대상자가 지시하도록 하여 이 시점에서 기준점과 특징점 사이의 거리에 기초하여 변환조건을 설정하는 것을 특징으로 하는 핸드포인팅 장치.
  11. 제 3항에 있어서,
    3차원적 화상을 표시하는 표시수단 ;
    표시수단에 3차원적 화상을 표시시키기 위한 표시제어 수단 ; 및
    인식대상자에 의해 쉽게 인식될 수 있는 임의 형태를 갖는 마커를 표시하는 마커 표시수단을 더 포함하고,
    상기 3차원적 화상은 가상의 3-D공간을 나타내는 화상으로서 일점 투시법 및 이점 투시법에 맞게 형성된 화상, 액정 셔터 또는 렌티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하며 ;
    상기 변환조건 설정수단은 3-D 공간내의 깊이방향에 따른 마커에 의해 마크된 복수의 다른 장소를 인식대상자가 지시하도록 하여 기준점과 특징점 사이의 거리에 기초하여 변환조건을 설정하는 것을 특징으로 하는 핸드포인팅 장치.
  12. 제 3항에 있어서, 변환조건은 기준점과 특징점 사이의 거리 변화에 응답하여 인식대상자와 인식대상자에 의해 지시된 3-D 공간내의 특정장소 사이의 거리가 선형적으로 변화하는 변환특성인 핸드포인팅 장치.
  13. 제 3항에 있어서, 변환 조건은 기준점과 특징점 사이의 거리변화에 응답하여 인식대상자와 인식대상자에 의해 지시된 3-D공간내의 특정장소 사이의 거리가 비선형적으로 변화하는 변환특성인 핸드포인팅 장치.
  14. 제 4항에 있어서, 표시제어수단이 기준점과 특징점 사이의 거리 변화에 따라 표시수단에 표시된 3차원적 화상의 표시 배율을 변화시키므로서 확대 또는 축소되도록 표시수단상에 3차원적 화상을 표시시키는 것을 특징으로 하는 핸드포인팅 장치.
  15. 제 3항에 있어서,
    3차원적 화상을 표시하는 표시수단 ;
    표시수단에 3차원적 화상을 표시시키기 위한 표시제어 수단을 포함하고 ;
    상기 3차원적 화상은 가상의 3-D공간을 나타내는 화상으로서 일점 투시법 및 이점 투시법에 맞게 형성된 화상, 액정 셔터 또는 렌티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하며 ;
    상기 변환조건 설정수단은 확대 또는 축소된 상태로 표시수단에 표시된 3차원적 화상의 표시 배율 변화에 따른 변환조건을 수정하는 것을 특징으로 하는 핸드포인팅 장치.
  16. 제 3항에 있어서,
    3차원적 화상을 표시하는 표시수단 ;
    표시수단에 3차원적 화상을 표시시키기 위한 표시제어 수단을 포함하고 ;
    상기 3차원적 화상은 가상의 3-D공간을 나타내는 화상으로서 일점 투시법 및 이점 투시법에 맞게 형성된 화상, 액정 셔터 또는 렌티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하며 ;
    상기 표시수단에 표시된 3차원적 화사으이 표시배율은 기준점과 특징점 사이의 거리 변화에 따라 선형적으로 변할 수 있는 것을 특징으로 하는 핸드포인팅 장치.
  17. 제 3항에 있어서,
    3차원적 화상을 표시하는 표시수단 ;
    표시수단에 3차원적 화상을 표시시키기 위한 표시제어 수단을 포함하고 ;
    상기 3차원적 화상은 가상의 3-D공간을 나타내는 화상으로서 일점 투시법 및 이점 투시법에 맞게 형성된 화상, 액정 셔터 또는 렌티큘라렌즈를 사용하는 화상 및 홀로그래피 기술을 적용하여 표시된 입체화상을 포함하며 ;
    상기 표시수단에 표시된 3차원적 화상의 표시배율은 기준점과 특징점 사이의 거리 변화에 따라 비선형적으로 변할 수 있는 것을 특징으로 하는 핸드포인팅 장치.
  18. 제 7항에 있어서, 상기 역치 설정수단이 인식대상자가 다른 인식대상자로 바뀔때 마다 역치를 설정하는 핸드포인팅 장치.
KR1019980046007A 1997-10-29 1998-10-27 핸드포인팅장치 KR100331693B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9-296788 1997-10-29
JP29678897A JP3795647B2 (ja) 1997-10-29 1997-10-29 ハンドポインティング装置

Publications (2)

Publication Number Publication Date
KR19990037502A true KR19990037502A (ko) 1999-05-25
KR100331693B1 KR100331693B1 (ko) 2002-09-26

Family

ID=17838146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980046007A KR100331693B1 (ko) 1997-10-29 1998-10-27 핸드포인팅장치

Country Status (5)

Country Link
US (1) US6434255B1 (ko)
EP (1) EP0913790B1 (ko)
JP (1) JP3795647B2 (ko)
KR (1) KR100331693B1 (ko)
DE (1) DE69817498T2 (ko)

Families Citing this family (140)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116763B2 (en) * 1998-06-10 2006-10-03 Henry Sifuentes Voice and motion activated telephone
GB2345538B (en) * 1998-11-06 2003-12-17 David James Optical tracker
JP2000222117A (ja) * 1999-01-29 2000-08-11 Takenaka Komuten Co Ltd ハンドポインティング装置、指示位置表示方法及び記録媒体
US7113918B1 (en) * 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US6519359B1 (en) * 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US6753879B1 (en) * 2000-07-03 2004-06-22 Intel Corporation Creating overlapping real and virtual images
US6531999B1 (en) * 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
GB2378497B (en) * 2000-09-26 2003-12-31 Eugenio Bustamante Providing input signals
JP2002196877A (ja) * 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
JP2002196874A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
DE10133126A1 (de) * 2001-07-07 2003-01-16 Philips Corp Intellectual Pty Richtungssensitives Audioaufnahmesystem mit Anzeige von Aufnahmegebiet und/oder Störquelle
JP2003084229A (ja) * 2001-09-14 2003-03-19 Takenaka Komuten Co Ltd 指示位置表示装置及び方法
DE10207880C1 (de) * 2002-02-21 2003-07-31 Demag Cranes & Components Gmbh Steuereinrichtung zum Steuern eines Hebezeugs
US20030164875A1 (en) * 2002-03-01 2003-09-04 Myers Kenneth J. System and method for passive three-dimensional data acquisition
US20030164841A1 (en) * 2002-03-01 2003-09-04 Edward Greenberg System and method for passive three-dimensional data acquisition
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
JP3734167B2 (ja) 2002-07-10 2006-01-11 マツダ株式会社 企画支援プログラム、方法、装置並びに記録媒体
US6996460B1 (en) * 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
KR100575906B1 (ko) * 2002-10-25 2006-05-02 미츠비시 후소 트럭 앤드 버스 코포레이션 핸드 패턴 스위치 장치
US7317812B1 (en) 2002-11-15 2008-01-08 Videomining Corporation Method and apparatus for robustly tracking objects
AU2003301043A1 (en) 2002-12-13 2004-07-09 Reactrix Systems Interactive directed light/sound system
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US20070098250A1 (en) * 2003-05-01 2007-05-03 Delta Dansk Elektronik, Lys Og Akustik Man-machine interface based on 3-D positions of the human body
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
US7536032B2 (en) 2003-10-24 2009-05-19 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
EP1676442A2 (en) 2003-10-24 2006-07-05 Reactrix Systems, Inc. Method and system for managing an interactive video display system
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
WO2005078558A1 (en) * 2004-02-16 2005-08-25 Simone Soria A process for generating command signals, in particular for disabled users
JP2005242694A (ja) 2004-02-26 2005-09-08 Mitsubishi Fuso Truck & Bus Corp ハンドパターンスイッチ装置
WO2005091651A2 (en) * 2004-03-18 2005-09-29 Reactrix Systems, Inc. Interactive video display system
JP4708422B2 (ja) * 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7893920B2 (en) 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4563723B2 (ja) * 2004-05-10 2010-10-13 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
EP3693889A3 (en) * 2005-01-07 2020-10-28 QUALCOMM Incorporated Detecting and tracking objects in images
JP2006244329A (ja) * 2005-03-07 2006-09-14 Hitachi Ltd 携帯端末および情報処理装置、システム
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
JP5424373B2 (ja) * 2006-03-09 2014-02-26 任天堂株式会社 画像処理装置、画像処理プログラム、画像処理システム、および画像処理方法
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8384665B1 (en) * 2006-07-14 2013-02-26 Ailive, Inc. Method and system for making a selection in 3D virtual environment
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
EP2153377A4 (en) * 2007-05-04 2017-05-31 Qualcomm Incorporated Camera-based user input for compact devices
KR101141087B1 (ko) 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8031210B2 (en) * 2007-09-30 2011-10-04 Rdv Systems Ltd. Method and apparatus for creating a composite image
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
MY147059A (en) * 2007-11-23 2012-10-15 Mimos Berhad Apparatus and method for multiple-touch spatial sensors
KR101537524B1 (ko) * 2007-11-29 2015-07-21 코닌클리케 필립스 엔.브이. 사용자 인터페이스를 제공하는 방법
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US20090237356A1 (en) * 2008-03-24 2009-09-24 Microsoft Corporation Optical pointing device
JP5120754B2 (ja) * 2008-03-28 2013-01-16 株式会社国際電気通信基礎技術研究所 動作検出装置
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
KR200452031Y1 (ko) 2008-08-12 2011-02-01 (주)티원시스템즈 공간 터치를 이용한 선택 메뉴 인식 시스템
WO2010030296A1 (en) * 2008-09-15 2010-03-18 Hewlett-Packard Development Company, L.P. Touchscreen display with plural cameras
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8379987B2 (en) * 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9417700B2 (en) 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
TWI431512B (zh) 2010-06-23 2014-03-21 Ind Tech Res Inst 三維控制端點之辨識方法及應用其之電腦可讀取媒體
KR20120000161A (ko) * 2010-06-25 2012-01-02 삼성전자주식회사 포인팅 디바이스와 이의 제어 방법, 입체 영상용 안경 및 디스플레이 장치
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
JP5640680B2 (ja) 2010-11-11 2014-12-17 ソニー株式会社 情報処理装置、立体視表示方法及びプログラム
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
KR101381928B1 (ko) * 2011-02-18 2014-04-07 주식회사 브이터치 포인터를 사용하지 않는 가상 터치 장치 및 방법
US9081430B2 (en) 2011-04-22 2015-07-14 Panasonic Intellectual Property Corporation Of America Pointing control device, integrated circuit thereof and pointing control method
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
JP2013069273A (ja) * 2011-09-07 2013-04-18 Nitto Denko Corp 入力体の動き検出方法およびそれを用いた入力デバイス
TW201324259A (zh) * 2011-09-07 2013-06-16 Nitto Denko Corp 使用者介面顯示裝置
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US8884928B1 (en) 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
WO2013136333A1 (en) * 2012-03-13 2013-09-19 Eyesight Mobile Technologies Ltd. Touch free user interface
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
CN103324327B (zh) * 2012-03-22 2016-04-06 深圳泰山在线科技有限公司 虚拟屏实现方法和系统
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
KR101533320B1 (ko) * 2012-04-23 2015-07-03 주식회사 브이터치 포인터가 불필요한 3차원 객체 정보 획득 장치
JP2013242850A (ja) * 2012-04-27 2013-12-05 Nitto Denko Corp 表示入力装置
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
EP2879022A4 (en) * 2012-07-27 2016-03-23 Nec Solution Innovators Ltd THREE-DIMENSIONAL USER INTERFACE DEVICE AND THREE-DIMENSIONAL OPERATING PROCESS
WO2014016992A1 (ja) * 2012-07-27 2014-01-30 Ｎｅｃソフト株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
US10186057B2 (en) * 2012-11-22 2019-01-22 Sharp Kabushiki Kaisha Data input device, data input method, and non-transitory computer readable recording medium storing data input program
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
CN104035552B (zh) * 2013-03-08 2017-08-25 广州三星通信技术研究有限公司 三维操作方法和三维操作装置
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
CN105051650A (zh) * 2013-03-19 2015-11-11 日本电气方案创新株式会社 三维解锁设备、三维解锁方法和程序
JP2016529533A (ja) * 2013-05-31 2016-09-23 フリーダム サイエンティフィック インコーポレイテッド ベクトルに基づくカスタマイズ可能な指示インディシア
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
CN105612473B (zh) * 2013-09-12 2018-08-28 三菱电机株式会社 操作输入装置及方法
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
EP2851281B1 (en) * 2013-09-19 2016-04-06 Airbus Operations GmbH System and method for interactive visualization of information in an aircraft cabin
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
JP6170457B2 (ja) * 2014-03-27 2017-07-26 京セラドキュメントソリューションズ株式会社 プレゼンテーション管理装置およびプレゼンテーション管理プログラム
CN104978012B (zh) 2014-04-03 2018-03-16 华为技术有限公司 一种指向交互方法、装置及系统
US10452195B2 (en) 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
JP6472252B2 (ja) * 2015-01-20 2019-02-20 Ｎｔｔテクノクロス株式会社 仮想タッチパネルポインティングシステム
JP6087963B2 (ja) * 2015-02-17 2017-03-01 レノボ・シンガポール・プライベート・リミテッド ステレオ・カメラによる物体の存在の判別方法、デバイス制御システム、およびコンピュータ・プログラム
FI20155599A (fi) * 2015-08-21 2017-02-22 Konecranes Global Oy Nostolaitteen ohjaaminen
JP6467516B2 (ja) * 2015-09-29 2019-02-13 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
CN105536205A (zh) * 2015-12-08 2016-05-04 天津大学 一种基于单目视频人体动作感知的上肢训练系统
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
EP3316186B1 (en) 2016-10-31 2021-04-28 Nokia Technologies Oy Controlling display of data to a person via a display apparatus
JP2020086939A (ja) 2018-11-26 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP7048520B2 (ja) * 2019-01-31 2022-04-05 株式会社日立製作所 頭部装着型表示装置および仮想空間表示制御方法
JP7198416B2 (ja) * 2019-05-29 2023-01-04 トヨタ紡織株式会社 乗物用調光システム
JP2021189659A (ja) * 2020-05-28 2021-12-13 ソニーセミコンダクタソリューションズ株式会社 情報処理装置及びユーザの入力操作に基づく情報処理方法並びに該方法を実行するためのコンピュータプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
JPH02132510A (ja) * 1988-11-12 1990-05-22 Sony Corp 入力装置
JP3114813B2 (ja) 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
JP2746790B2 (ja) * 1992-03-02 1998-05-06 富士写真フイルム株式会社 立体画像記録方法および立体画像記録装置
JP2853451B2 (ja) * 1992-05-22 1999-02-03 ヤマハ株式会社 動作検出装置および楽音制御装置
JPH05324181A (ja) * 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
EP0571702A3 (en) 1992-05-26 1994-10-12 Takenaka Corp Handheld input device and wall computer unit.
JP3218716B2 (ja) * 1992-07-31 2001-10-15 ソニー株式会社 入力装置、及び入力システム
US5499306A (en) * 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH0793089A (ja) * 1993-09-22 1995-04-07 Hitachi Ltd 画像編集装置
JPH07182100A (ja) * 1993-12-22 1995-07-21 Toshiba Corp ３次元表示ポインティング装置
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
JP3529510B2 (ja) * 1995-09-28 2004-05-24 株式会社東芝 情報入力装置および情報入力装置の制御方法
JPH08329222A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ３次元位置認識装置
JPH08328735A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ハンドポインティング入力装置
JPH0916312A (ja) * 1995-06-28 1997-01-17 Nomura Kogeisha:Kk 立体画像表示装置用入力装置
JPH0962437A (ja) * 1995-08-23 1997-03-07 Nec Corp コンピュータ入力装置
JPH09212288A (ja) * 1996-01-31 1997-08-15 Canon Inc 情報入力システムおよび情報入力方法
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置

Also Published As

Publication number Publication date
US6434255B1 (en) 2002-08-13
EP0913790B1 (en) 2003-08-27
DE69817498D1 (de) 2003-10-02
JP3795647B2 (ja) 2006-07-12
KR100331693B1 (ko) 2002-09-26
JPH11134089A (ja) 1999-05-21
EP0913790A1 (en) 1999-05-06
DE69817498T2 (de) 2004-06-17

Similar Documents

Publication Publication Date Title
KR100331693B1 (ko) 핸드포인팅장치
US6385331B2 (en) Hand pointing device
KR101650799B1 (ko) 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US20240058086A1 (en) Hand controller for robotic surgery system
JP6938369B2 (ja) 定量的な３次元イメージングに基づく触覚フィードバックを用いる手術システム
CN102449577B (zh) 虚拟桌面坐标变换
KR100298240B1 (ko) 정보입력장치,정보입력방법및고체촬상장치
WO2011065035A1 (ja) ロボットの教示データを作成する方法およびロボット教示システム
WO2011065034A1 (ja) ロボットの動作を制御する方法およびロボットシステム
CN111194122A (zh) 一种体感互动灯光控制系统
JP3792907B2 (ja) ハンドポインティング装置
JP2009258884A (ja) ユーザインタフェイス
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
JP2003076488A (ja) 指示位置判断装置及び方法
JP2000222098A (ja) ハンドポインティング装置、指示位置表示方法及び記録媒体
CN110900606B (zh) 一种基于小型机械臂手眼联动系统及其控制方法
RU151793U1 (ru) Узел технического зрения учебного робота
JP2022128087A (ja) 計測システム及び計測プログラム
JP2000222117A (ja) ハンドポインティング装置、指示位置表示方法及び記録媒体
JPH1186006A (ja) 指標抽出検出追跡装置
CN104951738A (zh) 体感侦测方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110223

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee