KR101347232B1 - 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체 - Google Patents

화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체 Download PDF

Info

Publication number
KR101347232B1
KR101347232B1 KR1020127001932A KR20127001932A KR101347232B1 KR 101347232 B1 KR101347232 B1 KR 101347232B1 KR 1020127001932 A KR1020127001932 A KR 1020127001932A KR 20127001932 A KR20127001932 A KR 20127001932A KR 101347232 B1 KR101347232 B1 KR 101347232B1
Authority
KR
South Korea
Prior art keywords
operator
virtual
image
operation surface
dimensional imaging
Prior art date
Application number
KR1020127001932A
Other languages
English (en)
Other versions
KR20120040211A (ko
Inventor
켄지 이즈미
Original Assignee
시마네켄
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시마네켄 filed Critical 시마네켄
Publication of KR20120040211A publication Critical patent/KR20120040211A/ko
Application granted granted Critical
Publication of KR101347232B1 publication Critical patent/KR101347232B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 정확한 조작의 판정을 가능하게 하는 것을 과제로 한다. 화상판독부(301)에 있어서 비디오 카메라(201)로 촬영된 데이터를 판독하고(S401), 그 데이터로부터 조작자의 화상을 화상추출부(302)에 의해 추출한다(S402). 이와 같은 준비 결과, 추출된 조작자(102)의 화상에 근거하여 가상조작면 및 조작영역을 형성한다(S403). 성인 조작자(810)에 대해서는 신장(시선의 위치)이나 팔의 길이를 고려하여 조작영역(811)과 같이 형성할 수 있고, 아동 조작자(820)의 경우에는 신장도 보다 작고, 팔도 짧아지므로, 이에 맞추어 조작영역(821)을 설정할 수 있다.

Description

화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체{Image Recognition Apparatus, Operation Determining Method, and Computer-Readable Medium}
본 발명은 화상인식장치 및 조작판정방법에 관한 것이고, 보다 상세하게는, 비디오 카메라 등에 의하여 촬영한 화상으로부터 측정대상의 동작을 판정하는 화상인식장치 및 조작판정방법에 관한 것이다.
최근에는 컴퓨터나 전자기기와 인간과의 인터페이스, 즉 맨머신 인터페이스로서 다양한 기기, 수법이 제안되고 있고, 특히 게임기나 조작 가이드 기기 등에서는 카메라로 조작자 전체 혹은 일부를 촬영하여, 그 화상에 따라서 조작자의 의사를 판단하여 동작하는 기술이 제안되고 있다. 예를 들어, 일본공개특허공보 2004-078977호에는, CCD 카메라로 촬영한 화상 속 물체의 형상, 움직임을 인식하는 호스트 컴퓨터와, 호스트 컴퓨터에 의하여 인식된 물체의 형상, 움직임을 표시하는 디스플레이를 구비하고, CCD 카메라에 유저가 마주하여 손짓 등에 의해서 지시를 주면, 지시한 손짓이 디스플레이의 표시화면 상에 표시되고, 표시화면 상에 표시된 가상 스위치 등을 손짓에 의하여 화살표 커서의 아이콘으로 선택할 수 있어, 마우스 등의 입력장치를 필요로 하지 않고, 매우 간편하게 기기를 조작할 수 있는 기술이 제안되고 있다.
더욱이, 최근에는 손가락 동작이나 형상을 촬영한 화상으로부터 어떠한 종류의 제스쳐로 인식하고, 조작입력을 하는 입력 시스템도 제안되고 있다. 예를 들어, 제스쳐에 의한 화상조작에서의 프레젠테이션이나, 터치 패널을 필요로 하지 않는 비접촉 키오스크 단말에 사용할 수 있는 입력장치에 있어서, 대화면을 마주보는 조작자가 통상의 화면 하부의 위치에 설치된 카메라를 향하여 다양한 조작을 하면, 그 내용이 대화면에 비추어진다. 이와 같이 촬영된 화상으로부터 조작자의 형상, 움직임을 본 기술분야에서 알려진 방법에 의하여 추출하고, 예를 들어 미리 설정되어 데이터 베이스에 저장된 패턴과 비교함으로써, 조작자의 형상, 움직임의 의미를 판정하여 기기의 제어에 이용한다.
한편, 조작자의 화상의 판독 기술로는, 도 13에 나타내는 바와 같이, 삼차원 또는 입체 대응 카메라로 조작자를 촬영하고, 입체화상을 재현할 수도 있게 되어, 시큐리티 체크 등의 용도에 이용되고 있다. 입체화상을 재현함으로써, 조작자의 움직임을 입체적으로 파악할 수 있어, 예를 들어 조작자의 특히 손의 움직임을 앞뒤로도 인식할 수 있기 때문에, 이차원 화상을 이용한 것에 비하여 제스쳐의 다양성이 증대된다. 또한, 복수의 조작자가 화상으로서 추출되어도, 다수인 경우에는 입체화상이므로 전후 관계를 알 수 있어, 가장 앞의 조작자의 움직임만을 추출하여, 조작의 입력에 사용할 수도 있다.
하지만, 종래의 제스쳐 조작은 디팩트 스탠다드(defact standard) 등의 어떠한 표준적인 제스쳐가 확립되어 있지 않아, 검지에서의 XY 좌표의 포인팅 조작 이외에는 유저가 어떠한 동작으로 무엇을 할 수 있는지를 직감적으로 인식할 수 없다. '클릭', '더블클릭', '드래그' 등의 클릭 조작을 몇 초간의 대기시간 동안 좌표에 고정함으로써 지시하는 경우는 있지만, 설정된 대기시간이 너무 길어지는 등에 의해 쾌적한 조작을 저해하는 경우도 적지 않다. 따라서, 클릭이나 결정(더블클릭 등) 등의 조작을 알기 쉽게, 그리고 쾌적하게 하는 현실적인 수법이 없다는 문제가 있다.
또한, 종래의 제스쳐 검출장치는, 터치 패널 등의 조작자가 직접 접촉할 수 있는 입력장치와는 달리, 조작자의 명확한 의사를 파악하기 어렵다. 즉, 대개 조작자가 어떠한 동작을 하여도 그것이 입력을 의도한 것인지, 단순히 습관적으로 움직인 것인지 판정하는 것이 쉽지 않다는 문제가 있다. 그 결과, 예를 들어 단순한 제스쳐를 부자연적으로 눈에 띄는 형태로 하지 않으면 인식할 수 없고, 제스쳐에 대한 사전 결정이 필요하거나, 복잡한 제스쳐는 사용할 수 없는 등의 문제가 있다.
본 발명은 이와 같은 문제를 감안하여 이루어진 것으로, 조작자에게 어떠한 입력으로 연결되는 조작을 하고 있는 상태에 있다는 것을 인식시킨 후에 장치에 대하여 동작을 하게 함으로써, 정확한 조작의 판정을 가능하게 하는 화상인식장치 및 조작판정방법을 제공하는 것을 목적으로 한다.
이와 같은 목적을 달성하기 위하여, 청구항 1에 기재된 발명은, 조작자의 화상을 판독하여 입체 화상 데이터를 생성하는 삼차원 촬상수단과, 상기 삼차원 촬상수단에 의하여 판독된 조작자의 화상에 근거하여, 그 조작자에게 있어서 조작하기 쉽도록, 상기 삼차원 촬상수단과 상기 조작자와의 사이의, 그 조작자의 머리부와 몸통부에서 형성되는 평면으로부터, 그 조작자의 팔의 길이에 근거하는 거리의 위치에 가상조작면을 형성하는 조작면 형성수단과, 그 형성된 가상조작면에 대한 조작자의 적어도 일부의 화상의 움직임을 상기 삼차원 촬상수단으로 판독하여, 상기 조작자의 일부가 상기 가상조작면을 가로지르면, 그 움직임이, 그 가로지른 위치에 근거하는 조작인지 아닌지를 판정하는 조작판정수단과, 상기 조작면 형성수단에 의하여 형성되는 가상조작면에 대하여, 상기 삼차원 촬상수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면과의 위치관계로부터 그 거리를 산출하여, 그 거리에 따라서 변화시키고, 그 조작자의 일부가 상기 가상조작면에 근접하고 있다는 것을 나타내는 표시를 표시하게 하여, 판정하고자 하는 조작을 나타내는 상기 조작자가 시인(視認) 가능한 화상표시수단과, 상기 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 한다.
청구항 2에 기재된 발명은, 청구항 1에 기재된 화상인식장치에 있어서, 상기 가상조작면과의 위치관계에 근거하여 정해지는 2개 이상의 가상조작계층 중 어느 영역 안에서 상기 조작자의 움직임이 판독되면, 그 가상조작계층에 미리 할당된 조작 종류별 및 상기 가상조작계층 안에서의 조작자의 움직임에 근거하여 상기 조작의 내용을 결정하는 조작내용 결정수단을 구비한 것을 특징으로 한다.
청구항 3에 기재된 발명은, 청구항 1 또는 2에 기재된 화상인식장치에 있어서, 상기 화상표시수단은 상기 조작자의 일부가 상기 가상조작면에 대하여 상기 삼차원 촬상수단측에 있을 때에는 그 표시의 변화를 정지시켜서 판정되는 조작을 나타내는 것을 특징으로 한다.
청구항 4에 기재된 발명은, 청구항 1 내지 3 중 어느 한 항에 기재된 화상인식장치에 있어서, 상기 조작판정수단은 상기 조작자의 일부가 상기 가상조작면보다 상기 삼차원 촬상수단측에 있을 때에 조작이라고 판정하는 것을 특징으로 한다.
청구항 5에 기재된 발명은, 청구항 1 내지 4 중 어느 한 항에 기재된 화상인식장치에 있어서, 상기 조작판정수단은 상기 조작자의 일부의 상기 가상조작면보다 상기 삼차원 촬상수단측에 있는 부분의 형상 또는 움직임에 의하여 어떠한 조작이 이루어지고 있는지를 판정하는 것을 특징으로 한다.
청구항 6에 기재된 발명은, 청구항 5에 기재된 화상인식장치에 있어서, 상기 조작판정수단은 미리 조작자의 일부의 형상 또는 움직임과 대응하는 조작내용을 저장하는 기억수단을 검색하여, 합치하는 형상 또는 움직임에 대응하는 조작을 입력하는 조작으로 판정하는 것을 특징으로 한다.
청구항 7에 기재된 발명은, 청구항 1 내지 6 중 어느 한 항에 기재된 화상인식장치에 있어서, 상기 조작면 형성수단은 상기 화상표시수단의 위치에 근거하여 상기 가상조작면의 위치 및 각도를 조정하는 것을 특징으로 한다.
삭제
삭제
삭제
삭제
청구항 8에 기재된 발명은, 화상인식장치에 의해서 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법에 있어서, 삼차원 촬상수단에 의하여 조작자의 화상을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상단계와, 상기 삼차원 촬상수단에 의해 판독된 조작자의 화상에 근거하여, 그 조작자에게 있어서 조작하기 쉽도록, 상기 삼차원 촬상수단과 상기 조작자와의 사이의, 그 조작자의 머리부와 몸통부에서 형성되는 평면으로부터, 그 조작자의 팔의 길이에 근거하는 거리의 위치에 가상조작면을 형성하는 조작면 형성단계와, 그 형성된 가상조작면에 대한 조작자의 적어도 일부의 화상의 움직임을 상기 삼차원 촬상수단으로 판독하고, 상기 조작자의 일부가 상기 가상조작면을 가로지르면, 그 움직임이, 그 가로지른 위치에 근거하는 조작인지 아닌지를 판정하는 조작판정단계와, 상기 조작면 형성단계에 있어서 형성되는 가상조작면에 대하여, 상기 삼차원 촬상수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면과의 위치관계로부터 그 거리를 산출하여, 그 거리에 따라서 변화시키고, 그 조작자의 일부가 상기 가상조작면에 근접하고 있다는 것을 나타내는 표시를 표시하게 하여, 판정하고자 하는 조작을 나타내는 상기 조작자가 시인(視認) 가능한 화상표시단계와, 상기 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 한다.
청구항 9에 기재된 발명은, 화상인식장치에게 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법을 실행시키는 프로그램을 저장한 컴퓨터 판독가능한 매체로서, 그 조작판정방법은, 삼차원 촬상수단에 의하여, 조작자의 화상을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상단계와, 삼차원 촬상수단에 의해 판독된 조작자의 화상에 근거하여, 그 조작자에게 있어서 조작하기 쉽도록, 상기 삼차원 촬상수단과 상기 조작자와의 사이의, 그 조작자의 머리부와 몸통부에서 형성되는 평면으로부터, 그 조작자의 팔의 길이에 근거하는 거리의 위치에 가상조작면을 형성하는 조작면 형성단계와, 그 형성된 가상조작면에 대한 조작자의 적어도 일부의 화상의 움직임을 상기 삼차원 촬상수단으로 판독하고, 상기 조작자의 일부가 상기 가상조작면을 가로지르면, 그 움직임이, 그 가로지른 위치에 근거하는 조작인지 아닌지를 판정하는 조작판정단계와, 상기 조작면 형성단계에 있어서 형성되는 가상조작면에 대하여, 상기 삼차원 촬상수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면과의 위치관계로부터 그 거리를 산출하여, 그 거리에 따라서 변화시키고, 그 조작자의 일부가 상기 가상조작면에 근접하고 있다는 것을 나타내는 표시를 표시하게 하여, 판정하고자 하는 조작을 나타내는 상기 조작자가 시인(視認) 가능한 화상표시단계와, 상기 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 한다.
본 발명은 조작자의 화상을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상수단과, 삼차원 촬상수단에 의해 판독된 조작자의 화상에 근거하여 가상조작면을 형성하는 조작면 형성수단과, 형성된 가상조작면에 대한 조작자의 적어도 일부 화상의 움직임을 삼차원 촬상수단으로 판독하고, 조작자의 일부와 가상조작면의 위치관계에 근거하여 상기 움직임이 조작인지 아닌지를 판정하는 조작판정수단과, 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력수단을 구비함으로써, 조작에 숙달되지 않은 특수한 제스쳐를 기억하지 않고, 신체 전체 또는 일부를 동작하게 함으로써 조작자의 의사를 정확하게 나타내는 조작으로서 판정할 수 있게 된다.
도 1은 본 실시형태의 조작입력 시스템의 일례를 나타내는 도면이다.
도 2는 본 실시형태의 조작입력 시스템의 컴퓨터와의 관계를 모식적으로 나타내는 블록도이다.
도 3은 본 실시형태의 컴퓨터의 CPU 안에서 처리되는 프로그램의 기능 모듈의 일례를 나타내는 블록도이다.
도 4는 본 실시형태의 처리를 나타내는 플로차트이다.
도 5는 본 발명의 일 실시형태에 따른 조작면 형성기준에 의해 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 6은 본 발명의 일 실시형태에 따른 조작면 형성기준에 의해 형성되는 가상의 조작면의 모습을 나타내는 도면이다.
도 7은 종래의 3D 카메라를 사용한 복수의 조작자의 화상을 판독한 경우의 화상의 일례를 나타내는 도면이다.
도 8은 본 발명의 일 실시형태에 따른 조작입력지원의 조작영역설정의 일례를 나타내는 도면이다.
도 9는 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 일례를 나타내는 도면이다.
도 10은 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 다른 예를 나타내는 도면이다.
도 11은 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 다른 예를 나타내는 도면이다.
도 12는 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의해 조작영역을 조정하는 방법을 설명하기 위한 도면이다.
도 13은 종래의 3D 카메라를 이용한 조작자의 화상을 판독하는 방법을 나타내는 도면이다.
도 14는 본 발명의 일 실시형태의 마커에 근거하는 가상조작면을 이용한 조작입력 시스템의 일례를 나타내는 도면이다.
도 15는 본 발명의 다른 일 실시형태에 따른 조작입력방법의 구체적인 조작의 일례를 나타내는 도면이다.
도 16은 본 발명의 일 실시형태에 따른 화면 또는 카메라의 위치에 의한 조작영역의 조정의 일례를 나타내는 도면이다.
도 17은 본 발명의 일 실시형태에 따른 조작입력지원의 구체적인 표시의 일례를 나타내는 도면이다.
도 18은 본 발명의 일 실시형태에 따른 가상의 조작면 및 조작영역의 모습을 나타내는 도면이다.
도 19는 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 아이콘의 관계를 나타내는 도면이다.
도 20은 본 발명의 일 실시형태에 따른 조작입력화면의 구체적인 표시의 일례를 나타내는 도면이다.
도 21은 본 발명의 일 실시형태에 따른 조작입력화면에서 사용 가능한 다양한 아이콘의 예를 나타내는 도면이다.
도 22는 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 아이콘의 관계를 나타내는 도면이다.
도 23은 본 발명의 일 실시형태에 따른 조작입력화면의 메뉴 버튼의 색이 변하는 모습을 나타내는 도면이다.
도 24는 본 발명의 일 실시형태에 따른 조작입력화면의 메뉴 버튼의 농담이 변하는 모습을 나타내는 도면이다.
도 25는 본 실시형태에 의해 화면에 표시된 도형을 이동시키는 지시를 입력하는 일례의 표시화면을 나타내는 도면이다.
도 26은 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
도 27은 본 발명의 다른 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
도 28은 본 발명의 또 다른 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
도 29는 본 발명의 일 실시형태에 따른 가상조작면 및 조작면 형성기준의 모습을 나타내는 도면이다.
도 30은 본 발명의 일 실시형태에 따른 프로젝터에 의한 화면 또는 카메라의 위치에 의한 조작영역의 조정의 일례를 나타내는 도면이다.
도 31은 본 발명의 일 실시형태에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
이하, 도면을 참조하면서 본 발명의 실시형태에 대하여 상세하게 설명한다.
(제 1 실시형태)
도 1은 본 실시형태의 조작입력 시스템의 일례를 나타내는 도면이다. 본 실시형태의 모니터(111)는, 조작자(102)의 앞면에 배치되고, 조작자(102)는 모니터(111)와의 사이의 일정한 위치에 가상의 조작면이 있다고 생각하고, 손가락 등의 형상이 조작판정의 대상이 되는 것을 의식하여 조작입력 시스템에 대하여 조작을 할 수 있다. 모니터(111)에는 본 시스템이 목적으로 하는 다양한 어플리케이션용의 각종 영상이 표시되는데, 이와 더불어 후술하는 바와 같이 조작입력을 지원 즉, 예를 들어 대상이 되는 조작자(102)의 부위 등을 화면 구석 쪽에 표시하고, 조작자(102)에게 현시점에서 조작으로서 판정될 수 있는 동작을 인식시킬 수 있다. 조작자(102)의 움직임은 비디오 카메라(201)에 의해 촬영되고, 촬영된 영상은 컴퓨터(110)로 처리되며, 조작자(102)의 위치, 신장 및 팔의 길이 등에 의해, 또는 신장이나 어깨 폭 등의 신체 치수 정보에 의해 최적의 가상조작면 및 이것을 포함하는 조작영역의 위치와 크기를 설정하고, 가상조작면으로부터 모니터(111)측으로 나온 부분의 제스쳐가 어떠한 조작을 의미하는지를 판정한다. 즉, 컴퓨터(110)는 비디오 카메라(201)로부터 얻어진 데이터로부터 조작자(102)의 입체화상을 작성하는 동시에, 가상조작면의 위치를 산출하고, 더욱이 후술하는 비디오 카메라(201)나 모니터(111)의 위치나 배치형태에 의해 가상조작면의 위치 및 크기 등을 조정하여, 가상조작면을 기준으로 조작자(102)의 손가락 등이 비디오 카메라(201)측으로 나와 있는지 아닌지를 결정하고, 그 부분을 조작의 대상으로 하여서 조작 내용을 판정한다.
도 1에서는, 화상을 취득하기 위하여 비디오 카메라(201)를 모니터(111) 상부에 부착하여 촬영하고 있는데, 도 8 내지 12와 같이 필요한 화상이 얻어진다면 이에 한정되지 않고, 적외선 카메라 등 본 기술분야에서 알려진 어떠한 촬상수단을 사용할 수도 있고, 설치장소도 모니터 부근의 어느 곳을 선택할 수도 있다. 여기에서, 본 실시형태에서는 비디오 카메라(201)로서 삼차원(또는 3D) 카메라를 사용함으로써, 조작자를 포함하여 입체화상을 작성할 수 있도록 한다.
더욱이, 본 실시형태의 시스템에는 도시하지 않은 스피커 등의 음성출력장치를 부착하고 있어, 표시내용이나 조작에 관한 정보를 음성으로 조작자에게 전달할 수도 있다. 이와 같은 기능을 설정함으로써, 디스플레이에 조작내용을 화상으로 표시하는 것 뿐만 아니라, 지시사항이나 결과에 대하여 마찬가지로 음성으로 내보냄으로써 가상조작면을 알 수 있기 때문에, 시각장애가 있는 조작자라도 조작할 수 있게 된다.
도 5 및 6은, 가상조작면의 역할을 구체적으로 설명하기 위한 도면이다. 본 실시형태의 가상조작면(701)은, 조작자(102)의 신장이나 팔의 길이, 또는 신장이나 어깨 폭 등의 신체치수 정보에 근거하여 설정되고, 유저(102)는 자신이 자연스러운 형태로 팔을 뻗은 곳에 조작면(701)이 가상적으로 존재한다고 보고, 다양한 조작을 하고자 하는 경우에는 조작면(701)을 기준으로 손(601)을 앞으로 내밀어 제스쳐를 취하거나 할 수 있다. 또한, 가상조작면을 포함하는 조작영역에서의 유저가 임의의 포즈를 취한 후에, 가상조작면의 전방으로 밀어내는(결정) 동작으로 액션을 결정하거나, 조작을 결정하고나서 밀어내는 판단의 기준으로 할 수 있으므로, 유저가 인식하기 쉬워, 조작성이 종래의 터치 패널 조작에 가깝게 된다. 한편, 조작의 변형은 종래의 터치 패널보다 압도적으로 늘어난다(양손 조작이나, 행동, 복수의 손가락 등).
본 실시형태에서, 도 5 및 6에 나타내는 바와 같은 가상조작면(701)은, 카메라(201)가 조작자(102)의 화상을 파악하면 실시간으로 형성되도록 되어 있는데, 조작자가 조작을 개시하기까지는 조작자가 서있는 위치가 일정하지 않으므로, 가상조작면이 정해지지 않아 조작판정도 쉽지 않다. 거기에서, 본 실시형태에서는, 조작자의 신체가 삼차원 카메라의 촬상 범위 내에서 일정 시간 정지한 타이밍으로 가상조작면의 설정처리를 개시한다.
이와 같이 본 실시형태의 가상조작면의 형성은 실시간으로 할 수 있는데, 이러한 경우에도 어떠한 방법으로 조작자가 서있는 위치를 그 시스템에게 있어서 최적의 일정한 범위로 제한함으로써, 조작판정을 보다 정확하게 할 수 있다. 예를 들어, 도시하지 않았지만, 바닥면에 서있는 위치를 나타내는 발형상을 그려 두거나, 모니터나 시스템의 배치에 의하여 조작자에게 일정한 제한범위의 존재를 인식시키거나, 칸막이를 세우거나 하여서 일정 범위 내에서 조작을 하게 할 수도 있다. 조작자가 자연스럽게 인식할 수 있는 가상조작면의 위치나 크기 등은 조작자와 모니터의 위치관계에 크게 영향을 받아, 시스템 전체적으로 모니터, 카메라, 조작자의 위치 등은 미리 상정해 두는 편이 좋으므로, 이와 같이 제한함으로써 조작자는 대략적으로 가상조작면이 존재하는 위치를 추측하여 조작을 할 수 있다.
또한, 도 7에 나타내는 바와 같이, 본 실시형태에 있어서 조작대상자가 복수명 존재하는 즉, 복수의 인물이 카메라(201)에 의해 판독되는 경우, 그 중에서 예를 들어 가장 앞줄에 있는 자(710)를 조작자(102)로 특정하여 가상조작면을 형성한다. 물론, 복수의 인물 중 누구를 조작자(102)로 선택할지는 시스템에 따라서 다양하게 결정할 수 있는데, 가장 앞면의 우선 유저 이외에는 조작영역을 제공하지 않음으로써 오동작이나 오입력을 방지할 수 있다(싱글 입력의 경우).
도 2는 본 실시형태의 화상인식장치의 컴퓨터(110)의 구조를 모식적으로 나타내는 블록도이다. 컴퓨터(110)에는 모니터(701)에 부착되어 조작자(102) 등을 촬영하는 비디오 카메라(201)가 접속되어서, 촬영한 화상이 컴퓨터(110)에 입력된다. 촬영에 의해 얻어진 화상은, CPU(210)에 있어서 본 실시형태의 특징인 화상의 추출, 위치의 산출 등이 이루어져, 산출된 위치에 근거하여 조작면으로부터 비디오 카메라측에 신체의 일부가 나왔는지 여부를 결정한다. 컴퓨터(110)는 일반적으로 CPU(210)를 구비하고, ROM(211) 등에 기억된 프로그램을 RAM(212) 상에서 실행하여, 화상인식장치로부터 입력된 화상에 근거한 처리결과를 모니터(111) 등에 출력한다. 본 실시형태에서는, 모니터(111)가 주로 조작자가 체험하고자 하는 다양한 어플리케이션에 의하여 제공되는 각종 영상을 출력하지만, 후술하는 바와 같이 조작입력의 지원이 되는 정보도 표시한다.
도 3은 본 실시형태의 컴퓨터(110)의 CPU(210) 안에서 처리되는 프로그램의 기능 모듈의 일례를 나타내는 블록도이다. 도 3에 나타내는 바와 같이, 본 시스템에서의 처리는 화상판독부(301), 화상추출부(302), 화상위치 산출부(303) 및 조작판정부(304)에 의해 실행된다. 한편, 본 실시형태에서는, 비디오 카메라(201)로부터의 화상을 수취하고나서 데이터를 출력하기까지의 처리를 4개의 모듈에 의하여 실행하는데, 이에 한정되지 않고, 그 밖의 모듈을 사용하거나, 보다 적은 모듈로 처리할 수도 있다.
(본 실시형태의 처리)
본 실시형태에서는, 도 6에 나타내는 바와 같이, 비디오 카메라(201)로 찰영된 조작자(102)의 화상에 근거하여 가상조작면을 형성하고, 마찬가지로 촬영된 조작자(102)의 일부인 손이나 손가락의 위치를 결정하는 동시에, 가상의 조작면(701)과 조작자(102)의 손가락(601)의 위치관계를 산출하는 처리를 한다. 본 실시형태에서는, 이와 같은 처리를 하는 전제로서, 본 기술분야에서 알려진 초기설정, 예를 들어 본 실시형태의 화상인식장치가 새롭게 설치된 경우를 상정하면, 사전 준비로서 이용하는 비디오 카메라(201)의 이용 렌즈의 왜곡, 모니터(111)와 렌즈의 거리 등의 정보를 장치에 입력해 둘 필요가 있다. 더욱이, 임계값 설정 등을 사전에 조정해 둔다. 시스템의 초기설정이 종료되면, 본 실시형태의 처리를 하게 되는데, 이러한 처리에 대해서는 도 4를 참조하여 다음에 설명한다.
도 4는 본 실시형태의 처리의 플로차트이다. 우선, 화상판독부(301)에 있어서 비디오 카메라(201)로 촬영된 데이터를 판독하고(S401), 그 데이터로부터 조작자의 화상을 화상추출부(302)에 의하여 추출한다(S402).
이와 같은 준비 결과, 추출된 조작자(102)의 화상에 근거하여 가상조작면 및 조작영역을 형성한다(S403). 여기에서, 조작면의 형상은 도 8 등을 참조하면 바닥면에서 수직으로 세워진 직사각형인데, 이에 한정되지 않고, 조작자의 조작형태에 따라서 다양한 형상, 크기의 조작면을 형성할 수 있다.
여기에서, 조작영역이란 본 실시형태의 특징인 가상조작면을 포함하여, 조작자의 조작의 주체가 되는 손이나 손가락 등이 주로 움직이는 영역이고, 후술하는 가상조작면에 이르기까지의 지원에서 설명하는 바와 같이, 조작자의 몸통에서 가상조작면을 넘는 일정한 영역이 본원발명의 조작인식을 위하여 사용된다. 예를 들어, 도 8에 나타내는 바와 같이, 성인 조작자(810)에 대해서는 신장(시선의 위치)이나 팔길이를 고려하여 조작영역(811)과 같이 형성할 수 있고, 아동 조작자(820)의 경우에는 신장도 보다 작고, 팔도 짧으므로, 이에 맞추어 조작영역(821)을 설정할 수 있다. 이와 같은 조작영역 중에 가상조작면을 설정하면, 조작자가 자연스럽게 손이나 손가락을 움직임으로써, 손이나 손가락의 움직임으로 조작자가 의도하고 있는 조작을 판정할 수 있게 된다.
보다 구체적으로는. 예를 들어 깊이는 조작자가 전방으로 손을 뻗은 손가락 끝까지, 가로폭은 조작자가 바로 옆으로 손을 뻗은 경우의 좌우손목의 길이까지, 높이는 조작자의 머리의 위치에서 허리의 위치까지의 범위로 할 수 있다. 또한, 본 실시형태의 시스템의 대상자를 초등학교 저학년에서 성인으로 하는 경우, 신장의 폭은 대략 100~195㎝ 정도까지가 되고, 그 신장의 차이로 조작영역 또는 가상 조작면의 상하위치의 보정 폭은 약 100㎝가 필요해진다.
한편, 가상조작면, 조작영역은 그때마다 실행할 수도 있고, 일정한 조건하에서 실행하도록 할 수도 있고, 또는 이들의 설정 타이밍을 미리 또는 그때마다 선택할 수도 있다.
조작판정부(304)는 조작입력 시스템이 형성된 가상조작면과 조작자(102)의 상대관계를 이용하여(S404), 조작자(102)의 일부가 조작면의 비디오 카메라(201)에서 볼 때 근처에 오면 조작이 개시되었다고 판정하고(S405), 각 부분의 형상(손을 펼치고 있거나, 손가락을 2개 세우고 있는 등)이나 움직임으로부터 그 형상, 움직임이 미리 상정된 어떠한 조작인지를 판정한다(S406). 여기에서, 어떠한 형상, 움직임이 어떠한 조작에 대응하는지는 시스템 독자적으로 결정할 수도 있고, 본 기술분야에서 알려진 어떠한 수법을 적용하여 결정할 수도 있다. 판정한 결과는 그와 같은 조작의 입력이 있었던 것으로 해서 컴퓨터(110)에서 실행되고(S407), 처음부터 가상조작면으로부터 앞쪽으로 손이 나와 있지 않은 경우, 조작이 이루어지지 않은 것으로 판정하여 종료된다(S408). 조작내용의 판정은 여기에서 설명한 수법에 한정되지 않고, 본 실시형태에서 알려진 어떠한 방법도 이용할 수 있다. 또한, 구체적인 판정방법도 생략하였지만, 일반적으로는 미리 정해진 제스쳐 등의 조작자의 신체의 형상, 움직임과, 그것이 의미하는 조작내용을 데이터 베이스 등에 저장해 두고, 화상추출 후에 이 데이터 베이스에 액세스하여, 조작내용을 판정한다. 이때에도 물론 화상인식 기술이나 인공지능 등을 본 기술분야에서 알려진 수법에 의하여 이용하여, 판정 정밀도를 향상시킬 수도 있다.
여기에서, 조작자가 아동인 경우와 성인인 경우에서 가상조작면을 어느 위치에 어느 정도의 크기로 형성할지가 바뀐다는 것은 이해되는데, 조작자의 신장 등의 체형의 차이와 더불어, 카메라(201)의 위치나 모니터(111)의 위치나 부착 각도에 의해서도 더욱 가상조작면을 조정할 필요가 있다. 통상적으로 삼차원 카메라는 CCD나 렌즈면에 대하여 평행하거나 동심원상으로 대상물까지의 거리계측을 할 수 있다. 모니터가 조작자의 시선 높이에 설치되고, 카메라가 근접한 위치에 있으며, 각각이 바닥면에 수직설치되는 경우, 조작자도 서 있는 위치라면 적정 조작영역을 생성한 후에 상호의 위치관계 등, 특별히 조정이나 보정을 할 필요는 없다고 말할 수 있다. 하지만, 천장 벽걸이형 모니터인 경우나 초대형 모니터 또는 프로젝터 등을 이용하는 경우, 카메라 설치위치나 모니터 및 조작자의 위치관계는 다양한 상황이 상정된다.
일반적으로, 조작자는 조작대상 화면을 보면서 입력조작을 하므로, 항상 조작자의 시선과 조작대상 화면을 연결하는 직선에 수직으로 가상조작면을 배치하고, 그에 따른 조작영역을 생성하지 않으면, 조작자의 Z방향으로의 입력 스트로크 각도가 일치하지 않아, 조작자가 목표로 한 포인트에 대한 입력 조작을 하여도 입력에 따라서 어떠한 각도로 어긋나 버려서 정상 조작이 불가능해지게 된다. 따라서, 가상조작면을 형성하는 경우에는 모니터, 카메라 및 조작자의 위치, 배치형태에 따라서 형성되는 각도, 크기 또는 경우에 따라 위치를 조정할 필요가 있다.
도 9를 참조하면, 도 8에 나타내는 바와 같이 조작자(820)에 맞추어 조작영역(821) 및 가상조작면(601)이 정해지는데, 도 9에 나타내는 예와 같이 카메라(201)가 모니터(111)의 상부에 배치된 경우, 가상조작면(601)은 조작자(820)가 팔을 뻗는 방향(910)으로 수직이지 않으면 조작자(820)는 가상조작면에 대한 양호한 조작감을 얻지 못하므로, 카메라(201)의 시야방향에 수직인 평면이 되지 않는다.
또한, 도 10을 참조하면, 모니터(111) 자체가 위쪽에 설치되고, 더욱이 각도를 가지고 설치되어 있으므로, 가상조작면(701)은 조작자(820)가 모니터(111)를 올려다 보며 조작할 수 있도록 위쪽으로 경사진 방향(1010)에 수직인 면이 된다. 이러한 경우에도 도 9에 나타내는 예와 마찬가지로, 카메라(201)의 시야(1011)는 시선방향(1010)과 일정한 각도를 가지고 경사져 있으므로, 카메라(201)로 판독한 정보를 경사진 가상조작면(701)에 맞추도록 보정할 필요가 있다. 더욱이, 도 11을 참조하면, 카메라(201)가 모니터(111)에서 떨어져 바닥 가까이에 놓여져 있어, 조작자(820)의 시선(1010)과 카메라(201)의 시야는 보다 큰 각도가 주어지므로, 그만큼 보정이 필요하다.
도 12는 가상조작면(701) 및 조작영역(821)을 정하는 일례를 설명하기 위한 도면이다. 본 실시형태에서는, 가상조작면을 형성하기 위하여 모니터(111) 및 카메라(201)의 위치, 설치방법(어느 정도의 각도로 설치되어 있는지 등), 조작자(820)가 서있는 위치, 신장 등의 정보를 사용한다. 즉, 일례로서 우선 조작자(820)의 모니터(111)에 대한 눈의 높이(신장), 서있는 위치에서 조작자의 시선에 수직인 가상조작면(701)을 산출한다. 다음으로, 조작자(820)의 머리와 몸통을 연결하는 선 A-B와 카메라(201)의 시야의 중심선(1201)의 각도를 측정하고, 가상조작면 및 조작영역의 기울기를 보정한다. 팔의 스트로크는 조작자의 화상에서 추출하여도 좋고, 얻어진 신장 정보로부터 별도의 신장마다의 평균적인 팔길이의 정보로부터 정하여도 좋다, 또는, 후술하는 제 2 실시형태의 조작면 형성기준과 마찬가지의 마커 등을 사용하여, 가상조작면의 위치, 크기, 각도 등을 설정할 수도 있다. 예를 들어, 시스템을 설치하는 단계에서 마커가 부착된 받침대나 가드바 등을 최적의 위치에 두고 카메라로 촬상하여, 이들의 촬상된 마커의 위치에 의해 가상조작면을 설정하고, 실제로 사용할 때에는 최초로 둔 받침대나 가드바는 제거하고 조작자의 체형 등에 의해 보정을 하여 가상조작면 및 조작영역을 형성할 수 있다.
본 실시형태의 가상조작면 및 조작영역은, 이상과 같이 카메라, 모니터 및 조작자의 위치, 배치상태 등에 근거하여 자연스러운 조작과 보다 쉬운 조작 판정이 가능하도록 정해지고, 실제 조작자의 움직임을 검출하여 어떠한 조작이 이루어지고 있는지를 판정한다. 단, 여기에서 설명하지 않은 구체적인 처리, 예를 들어 삼차원 카메라의 화상으로부터 어떻게 위치나 형상을 특정하는지, 조작자의 일부가 가상조작면을 통하였는지 아닌지의 판정처리 등 본 실시형태의 실시에 있어서 필요한 처리는 본 실시분야에서 알려진 어떠한 방법을 사용하여도 달성할 수 있다.
(조작입력의 지원)
이상에서 설명한 바와 같이, 단순히 삼차원 비디오 카메라에 의해 가상조작면을 형성하는 것만으로 조작자는 공간상에 터치 패널과 같은 조작면을 인식할 수 있고, 이러한 조작면에 대하여 각종 조작을 함으로써 신체의 전부 또는 일부를 이용한 조작입력이 가능하게 되는데, 더욱이 가상의 조작면에 대한 조작자의 영상을 모니터(111)에 표시하는 등 조작입력을 지원함으로써, 보다 쉽게 본 실시형태의 시스템을 활용할 수 있다.
도 17은 이와 같은 조작입력의 지원이 되는 가이던스를 모니터(111)에 표시하고 있는 일례를 나타내는 도면이다. 예를 들어, 모니터(111)의 중심부에 표시되어 있는 화상의 어딘가를 포인터로 가리키는 경우, 조작자는 가상적 조작면을 표시된 화상과 겹치게 하고, 손가락을 내밀어서 원하는 장소를 가리킬 수 있는데, 그와 같이 가리키는 모습을 도 17에 나타내는 포인터(901)와 같이 표시함으로써, 조작자는 현재 이루어지고 있는 조작을 인식하여 확인하면서 다음 조작을 실행할 수 있다. 이러한 예에서는, 예를 들어 포인터(901)는 조작면에서 손가락을 내밀면 화면에 표시되고 움츠리면 사라지거나, 또는 농담을 주어서 표시하게 되어 있어, 손의 움직임과 모니터(111)에 표시되는 포인터의 모습에 의해 조작자는 자연스러운 형태로 본 실시형태의 입력법을 실행할 수 있는 것이다. 마찬가지로 조작자 자신의 모습을 도 5 및 6에 나타내는 바와 같은 형태로 나타낸 조작화면(902)을 모니터(111)의 우측 상단 구석에 작게 표시하여서 현재 어떤 동작을 하고, 시스템에서는 어떠한 조작으로 판정되고 있는지를 표시할 수 있으며, 손의 움직임을 그래프화한 꺾은선 그래프(903)를 나타내어, 손의 전후의 움직임이 어떻게 되어 있는지를 조작자 자신에게 인식시키는 등에 의해 보다 정확한 조작을 기대할 수 있다. 또한, 도시하지 않았지만, 시스템에서 사용할 수 있는 제스쳐를 가이던스에 표시하고, 그에 따라서 조작입력하도록 조작자에게 재촉하여 지원할 수도 있다.
(가상조작면의 앞쪽 조작지원)
본 실시형태에서는 조작자가 공간상에 가상적으로 형성된 가상조작면을 기준으로 거기에 마치 터치 패널과 같은 입력기기가 존재하는 것처럼 조작함으로써, 그 조작내용을 확실하게 판정하도록 하는 것인데, 조작자의 일부인 손 또는 손가락 등이 가상조작면에 이르기까지, 즉 조작자가 어떠한 조작을 실행하고자 손 또는 손가락을 움직이기 시작하고나서 가상조작면을 누르기까지를 조작지원함으로써, 조작입력을 더욱 쉽고 보다 정밀하게 할 수 있다.
기본적으로는, 이와 같은 조작지원의 원리는 가상조작면에 대한 조작자의 부위, 예를 들어 손 또는 손가락 위치의 움직임에 맞추어 모니터(111) 위에 조작자가 어떠한 조작을 하고자 하는지를 시각적으로 표시하게 함으로써, 조작자를 유도하여 정확한 조작입력을 가능하게 하는 것이다.
이러한 점에 대하여 도 18 및 19를 참조하여 설명하면, 본 실시형태에서는 조작자가 일정한 서있는 위치에서 조작할 수 있는 경우에는 미리 설정된 그 서있는 위치에서 가상조작면에 대한 조작이 적합한 위치에, 또는 조작자가 서있는 위치에 맞추어 적당한 위치에 가상조작면(701)을 형성한다. 마찬가지로 도 18에 나타내는 바와 같이, 조작자(820)의 적당한 조작영역(821)을 설정해 둔다. 상술한 바와 같이 모니터(111)에는 현재 어떠한 조작이 이루어지려고 하고 있는지를 다향한 형태로 나타냄으로써 조작자가 자기의 조작을 인식할 수 있도록 한다.
이와 같은 형태 중 하나에 대하여 도 19를 참조하여 설명하면, 조작자가 시스템에 대하여 어떠한 조작을 하고자 하는 경우, 본 예에서는 모니터(111)에 대하여 팔(2401)을 앞뒤로 움직임으로써 손 또는 손가락(601)의 위치가 바뀌므로, 그 모습을 모니터(111)에 표시하면, 내민 손가락(601)이 일정한 위치에 올 때, 모니터(111)의 화면상에서 지시된 항목이 실행되는 등 시스템적으로 일정한 처리가 이루어진다. 도 19의 예에서는, 가상조작면(701)에 대한 손가락(601)의 위치(깊이)에 의하여 아이콘의 크기가 변하도록 되어 있어, 가상조작면에 가까워질수록 아이콘이 작아져서 조작자에게는 자신의 조작에 의해 일정한 장소로 포커스되고 있는 것을 인식할 수 있게 되어 있다. 그리고, 아이콘이 가장 작아진 위치에서 조작이 확정되어 그에 따른 처리가 실행된다.
이상의 조작의 결과, 아이콘이 모니터(111)의 화면(2501) 위에서 어떻게 변하는지를 나타낸 것이 도 20이다. 도 20을 참조하면, 모니터(111)의 화면(2501)에는, 예를 들어 TV 프로그램표가 표시되어 있고, 어떤 프로그램에 관한 조작을 하려 하고 있다. 이와 같은 상태에서, 예를 들어 조작자가 '설정변경' 메뉴 버튼을 선택하고자 하는 경우, 조작자는 상술한 바와 같이 모니터(111)를 향하여 손가락(601)을 내밀어 선택하고자 한다. 본 실시형태에서는 손가락(601)이 가상조작면에 대하여 일정 거리까지 가까워지면 화면(2501)에 아이콘(2503)이 표시된다. 이러한 아이콘은 손가락의 위치가 아직 멀기 때문에 도 19에 나타내는 아이콘 중 오른쪽에 있는 비교적 큰 아이콘이 표시된다. 조작자가 더욱 팔(2401)을 뻗으면, 이 아이콘은 목표인 선택항목 '설정변경'에 가까워질수록 작아져서 일정한 크기의 아이콘(2502)이 되면 특별한 아이콘이 되어서 손가락이 가상조작면을 스칠 때 가리키는 위치의 항목이 선택되었다고 판정된다.
이와 같이, 도 20의 예에서는, 손가락(601)의 위치에 따라서 화면(2501)에 표시되는 아이콘의 크기를 바꿈으로써, 조작자는 자기의 동작이 시스템에서 어떻게 인식되고 있는지를 파악할 수 있고, 가상조작면의 위치를 직감적으로 인식하여, 메뉴의 선택 등의 조작을 할 수 있다. 여기에서, 손가락(601), 팔(2401)을 포함하는 조작자 전체 및 각 부위의 위치나 크기는, 조작자의 전체 화상과 마찬가지로 삼차원 카메라를 사용하여 추출할 수 있다. 이에 의해 화면 안의 물체는 깊이까지 포함하여 파악할 수 있으므로, 이들 정보에 근거하여 가상조작면과의 거리나 위치관계를 산출할 수 있다. 단, 본 실시형태에서 사용하는 삼차원 카메라나 위치의 추출, 거리의 산출 등은 본 기술분야에서 알려진 어떠한 방법도 사용할 수 있으므로, 여기에서는 그에 대한 설명을 생략한다.
여기에서 화면에 표시되는 아이콘은 원형으로 조작자의 동작에 맞추어 크기를 바꾸는데, 이에 한정되지 않고, 도 21에 나타내는 바와 같이 다양한 형태의 아이콘을 사용하여 다양하게 변화시킬 수 있다. 즉, 도 21을 참조하면, (1)은 손가락 형태의 아이콘이고, 상술한 도 20의 예와 마찬가지로 가상조작면에 가까워질수록 작아진다. (2)는 원형으로 점차 작아지는데, 입력 또는 선택이 확정되면 특별한 형상으로 변하여 확정된 것이 나타난다. 이러한 아이콘이나 다른 아이콘의 경우도 형상이나 크기의 변화 대신에, 아울러 아이콘의 색을 변화시킬 수도 있다. 예를 들어, 청, 녹, 황, 적 등 한색계에서 난색계로 변화시킴으로써, 직감적으로 조작이 포커스되어 확정되는 것을 조작자가 인식할 수 있다. (3)은 X와 같은 형상으로, 멀리 있을 때에는 클 뿐만 아니라 흐릿하고, 가까워질수록 아이콘의 크기가 작아지는 동시에 흐릿함이 사라지며 샤프한 형상이 된다. (4)는 아이콘 전체의 크기가 변하지 않고, 그 속에 그려진 도형이 형상변화하여 포커스되는 모습을 인식하도록 되어 있다. 이러한 경우, 도형의 색도 변화시킬 수 있다. 도 21에 나타내는 (5)도 형상을 변화시키는 것이다. 도 21에 있어서, 손가락의 움직임에 따라서 아이콘의 형상이나 색 등이 변하여 가상조작면을 넘어가는 순간, 테두리 안(2601)에 나타내는 바와 같이 다양한 형상이나 색으로 변하거나 점멸하여서 조작으로서 판정된 것을 조작자에게 인식시키도록 할 수도 있다. 또한, 도시하지 않았지만, 이 밖의 아이콘의 변화로는 처음에는 투명하고 손가락이 가상조작면에 가까워질수록 불투명하게 되는 변화도 효과적이다.
여기에서, 아이콘의 변형 중 특별히 형상을 변화시키지 않고 색이나 농도를 변화시키는 경우에는, 도 22에 나타내는 바와 같이 아이콘은 별로 이동하지 않고 손가락(601)을 가깝게 가져가면 색이 난색계가 되거나 짙어져서 입력을 확정할 수 있다.
또한, 이상의 예에서는 조작의 판정상황을 확인하기 위하여 아이콘을 표시하고, 조작자의 동작에 따라서 색이나 형상을 변화시켰지만, 예를 들어 도 23이나 24에 나타내는 바와 같이, 처음부터 메뉴와 같이 지시하는 위치가 미리 고정되어 있는 경우에는 일부러 아이콘을 표시하지 않아도 손가락(601)이 가리키는 위치가 메뉴의 어느 항목 버튼에 가장 가까운지에 의해 결정되고, 손가락(601)의 움직임, 특히 가상조작면으로부터의 거리에 따라서 가리키는 항목 버튼을 칠하는 색 또는 농도를 변화시킴으로써, 가상조작면의 위치를 인식시켜서 조작입력을 쉽게 할 수 있다. 도 23은 손가락(601)이 가까워질수록 그 선택되어 있는 버튼의 색을 한색계에서 난색계로 변화시키는 예를 나타내는 도면이다. 이러한 예의 색의 선택으로는, 예를 들어 (2)청, (3)녹, (4)황, (5)적과 같이 하면 조작자는 직감적으로 적색이 되면 확정된다고 인식할 수 있다. 마찬가지로, 도 24는 버튼을 칠하는 농도를 변화시키는 예를 나타내는 도면이다.
동일한 메뉴의 선택예로서는, 도 26에 나타내는 바와 같은 일례도 있으므로 설명하자면, 예를 들어 도 19의 손가락(601)이 가상조작면(701)의 근처의 일정한 영역에 들어오면, 화면 상에 메뉴(4301)가 표시되고, 그 손가락(601)이 더욱 가상조작면(701)에 가까워지면, 도 26에 나타내는 메뉴의 예를 들어 항목(4302) 위에 큰 아이콘(2610)이 표시된다. 그 후, 가상조작면(701)까지 손가락(601)이 도달하면, 항목(4302)의 선택이 확정되어 작은 아이콘(2611)이 표시되고 이것이 통지된다. 그 후, 손가락(601)을 좌우상하로 움직임으로써, 메뉴의 선택항목이 이동하여서 원하는 항목에서 일정 시간 정지하면, 선택된 항목에 따른 처리가 이루어지도록 할 수도 있다. 또한, 선택이 실행되기 전에 손가락(601)이 가상조작면(701)의 앞쪽의 일정 영역보다 뒤쪽으로 움직이면, 메뉴를 소거하도록 할 수도 있다. 도 31도 도 26과 마찬가지로 손가락(601)이 가상조작면(701) 근처의 일정 영역에 들어가면, 메뉴를 표시하는데, 여기에서는 비디오 영상제어의 예이다. 이러한 예에서도 도 26에 나타내는 예와 마찬가지로 큰 아이콘(3110) 및 작은 아이콘(3111)에 의해 메뉴의 조작이 가능해진다.
그리고, 다른 입력조작의 예를 도 25를 참조하여 설명한다. 도 25는 본 실시형태에 의해 화면에 표시된 도형을 이동시키는 지시를 입력하는 일례의 표시화면을 나타내는 도면이다. 지시는 조작자의 손 또는 손가락이 가상조작면에 접촉하여 움직이게 함으로써 이루어진다. 우선, 손가락 등을 화면에 가까이 가져가면 화면(4211)의 아이콘(4201)에서 화면(4212)의 아이콘(4202)으로 아이콘을 축소시켜서 가상조작면에 근접하고 있다는 것을 나타낸다. 그 후, 가상조작면에 닿으면 화면(4213)의 아이콘(4203)과 같이, 예를 들어 색을 변화시켜서 방치하고, 그 상태로 위를 향해서 손가락 등을 움직이면 화면(4214)의 고무밴드(4204) 등을 표시시켜서 이동방향을 나타냄으로써, 조작자가 자기의 조작을 확인할 수 있다. 또한, 오른쪽 방향으로 손가락을 움직이면 화면(4215)의 고무밴드(4205)를 표시할 수 있다. 이와 같이, 가상조작면에 손가락 등이 도달한 후의 상하좌우의 드래그 거리에 따라서 신축되는 고무밴드(상기 도면에서는 화살표)를 출현시켜서(아이콘(4203)의 위치는 가상조작면에서 빠져나올 때까지 고정), 신축거리에 따라서 이동 스피드, 뻗는 각도에 따라서 3D 공간 내에서의 이동하는 방향을 변화시킬 수 있다(화살표 끝이 팔 끝이나 손가락 끝의 움직임에 추종함).
이상, 도 18에 나타내는 바와 같은 조작자와 모니터가 거의 같은 위치에 있는 즉, 가상조작면이 조작자의 수평방향 전면에 거의 수직으로 형성되는 경우에 대하여, 본 실시형태의 원리를 설명하였는데, 이러한 원리는 이와 같은 조작자와 모니터의 위치관계나 형상에는 영향을 받지 않아, 각종 배치나 구성이 가능하다. 예를 들어, 도 10 내지 12에 나타내는 바와 같은 시스템의 배치에서도 응용할 수 있다. 이러한 경우, 삼차원 카메라(201)도 모니터(111)와 함께 기울어져 있으므로, 기본적으로는 상술한 수평위치에 배치된 경우와 크게 상이하지는 않지만, 카메라를 다른 위치로 설치하였다고 하여도, 본 기술분야에서 알려진 어떠한 방법으로 위치 보정 등을 함으로써 조작자의 부위와 가상조작면의 위치관계를 산출하여 조작을 판정할 수 있다.
(가상조작면의 깊이의 조작 - 가상조작계층)
본 실시형태에서는, 조작자가 공간 상에 가상적으로 형성된 가상조작면을 기준으로 거기에 마치 터치 패널과 같은 입력기기가 존재하는 것처럼 조작함으로써, 그 조작내용을 확실하게 판정하고자 하는 것인데, 이와 같이 판정된 조작내용을 가상조작면에서 안쪽방향인, 즉 조작자에서 멀어지는 방향으로의 가상조작면과 조작자의 손 등의 신체의 일부 또는 몸에 걸친 물체의 위치관계로 결정한다. 예를 들어, 조작자로부터 멀어지는 방향인 Z축 방향으로 2층 또는 3층에 조작영역을 가상조작계층으로서 설정하고, 조작자의 손이 어느 층에 들어가 있는지에 따라 조작의 종류를 결정하며, 그 층 안에서의 손의 움직임에 의해 조작내용을 결정한다, 이때, 조작자가 시인하고 있는 표시화면 상에 손의 위치나 조작의 종류 등을 표시하게 하면, 조작자는 조작의 인식을 보다 쉽게 할 수 있다. 한편, 조작자의 일부와 각 계층을 분할하는 면의 Z방향의 거리는, 상술한 형성된 가상조작면과 조작자의 일부의 거리를 산출하는 수법에 의하여 취득할 수 있다.
보다 구체적으로 설명하면, 도 27에 나타내는 트리거면(701)은 본 실시형태의 가상조작면으로, 상술한 실시형태 중 어느 것을 이용하여 손가락(601)이 트리거면(701)에서 Z축 방향에 들어가면 조작이 이루어졌다고 판정된다. 더욱이, 트리거면(701)으로부터 앞의 조작영역을 계층 A~C의 3계층에 면(4501, 4502)으로 분할하고, 각각 상이한 조작의 종류를 할당한다. 도 27의 예에서는, 계층(A)에는 오브젝트의 회전의 조작을, 계층(B)에는 확대축소의 조작을, 조작 (C)에는 오브젝트의 이동의 조작을 각각 할당하고 있다. 각 계층에 있어서 손가락(601)을 움직임으로써 결정되는 조작이 실행된다. 예를 들어, 계층(A)에 있어서는 트리거면(701)을 손가락(601)이 통과했을 때에 손가락(601)을 나타내는 아이콘, 예를 들어 회전 아이콘(4503)이 나타내는 위치를 중심으로 지정된 오브젝트가 손가락(601)의 움직임에 맞추어 회전한다. 계층(B)에 있어서는, 예를 들어 모니터(111)에 확대축소 아이콘(4504)을 표시하고, 손가락(601)을 Z방향으로 움직이면 오브젝트가 확대되고, 반대방향으로 움직이면 오브젝트가 축소되도록 할 수 있다.
마찬가지로, 계층(C)에서는 모니터(111)에 표시된 지정된 오브젝트 위의 손가락(601)의 위치에 이동 아이콘(4505)을 표시하여 손가락(601)의 움직임에 맞추어 이동하도록 할 수 있다. 여기에서, 계층 사이를 나누는 면(4501, 4502)은 각 계층이 같은 두께가 되도록 배치할 수도 있고, 계층에 할당된 조작종류에 따라서 상이한 두께가 되도록 배치할 수도 있다, 예를 들어, 도 27의 예에서는 계층(B)에는 확대축소 조작이 할당되어 있는데, 확대축소를 전후 움직임으로 실현해야만 하기 때문에, 계층(A)이나 계층(C)에 비하여 통상적으로는 Z방향의 움직임이 커지므로, 계층(B)을 보다 두껍게 함으로써 조작을 쉽게 할 수도 있다.
도 28은 본 실시형태의 다른 아이콘의 예를 나타내는 도면이다. 도 28에 나타내는 예에서는, 계층(A)에는 모니터(111) 상에서의 조작위치를 특정하는 조작을, 계층(B)에는 특정된 위치에서의 오브젝트를 '움켜쥐는' 동작을, 계층(C)에는 움켜쥔 오브젝트를 던지거나 이동시키는 조작을 각각 할당하고 있다.
이와 같이, 가상조작면에 의하여 조작으로 판정된 후의 조작내용의 판정시에, 손가락이나 손의 움직임뿐만 아니라 그 Z방향의 위치 즉, 가상조작계층에 따라서 조작의 종류를 특정하도록 할 수 있으므로, 손가락이나 손의 움직임만으로는 다양한 제스쳐 패턴을 많이 준비하면서, 유저가 그들을 기억할 필요가 있는 것에 비해, 단순한 동작만으로 복수의 조작을 나누어 사용할 수 있게 된다.
한편, 상술한 특히 도 27에 나타나는 예에서는, 손이나 손가락 등의 일련의 동작을 각 계층 사이에서 연속적으로 행할 수 있는 조작을 배치하도록 되어 있는데, 연속적으로 조작할 수 없는 배치의 경우(도 28에 나타내는 예)는, 다음과 같은 2가지 점이 문제가 된다. 즉, (1)목적으로 하는 가상조작계층에 도달하기 전에 다른 계층을 통과하여 조작자가 원하지 않는 지시를 주거나, (2)목적으로 하는 조작을 끝내고 손을 조작영역에서 빼는 경우, 다른 가상조작계층을 통과하여 조작자가 원하지 않는 지시를 주는 점이다. 상기의 문제를 회피하기 위해서는, 예를 들어 다음의 방법 등이 생각된다. 즉, 조작하는 쪽과 반대 손을 조작영역 안에 넣는 멀티 센싱 상태(예를 들어, 오른손으로 조작하고 있는 경우, 왼손을 조작영역 안에 넣은 상태)를 조작없음(또는 그 반대로 조작있음)의 상태로 설정하여, 조작하는 쪽과 반대 손의 출입에 의하여 각 계층의 조작의 여부를 판단하도록 한다(이러한 예에서는 양손 조작에 의하지만, XY평면 상에 탈출용 영역을 설치하는 등 다양한 방법을 생각할 수 있다).
이상의 본 실시형태를 이용하면, 조작자는 미리 제스쳐를 기억하거나 결정해 두는 일 없이, 그 움직임에 의하여 시스템을 조작할 수 있는 것 외에, 조작자의 자세나 각 부위, 예를 들어 손의 움직임을 알 수 있으므로 신체 전체를 사용한 게임에 이용하여 이른바 복합현실감(MR)을 실현할 수도 있다.
(제 2 실시형태)
본 실시형태는, 조작면 형성기준을 제외하고 기본적으로 상술한 제 1 실시형태의 시스템 구성과 동일하다. 즉, 본 실시형태에서는, 제 1 실시형태의 시스템 및 처리를 근거로, 도 14에 나타내는 바와 같이 조작자에게도 지각 가능한 일정한 마커(101)와 같은 조작면 형성기준이라는 개념을 도입함으로써, 조작자가 이것을 표시로 가상조작면의 인식을 보다 용이하게 할 수 있다. 즉, 도 14 등에 나타내는 마커(101)는 조작자(102)가 가상조작면을 인식하기 위한 조작면 형성기준이고, 유저(102)는 도 16에 나타내는 바와 같이 바닥면에 나타내어진 마커(101)의 위쪽에 조작면(701)이 가상적으로 존재한다고 파악하여 다양한 조작을 하고, 마커(101)를 기준으로 손(601)을 앞으로 내밀어 제스쳐를 나타내거나 할 수 있다. 마커(101)의 가로 폭은 조작면의 폭으로 할 수도 있다. 또한, 보조 마커 등에 의해 마커(101)의 전후를 구별하거나, 보조 마커를 사용하여 조작영역을 확정하거나, 삼차원 패스 계산 요소로 하거나 할 수 있고, 형상이나 방향도 자유로워서 측정에 적합한 영역을 나타내도록 하여도 좋다.
이와 같은 마커(101)를 구비한 조작입력 시스템에서는, 도 16에 나타내는 바와 같이 마커(101)의 상부에 조작면(701)이 가상적으로 형성되고, 조작자(102)는 마커(101)로부터 가상적인 조작면(701)을 상정하여 손(601)을 내밀거나, 모니터(111)와 연동시켜서 화면 상의 일부와 조작면(701)을 터치 패널로 보고 터치하도록 손(601)을 움직이거나 함으로써 입력조작을 쉽게 할 수 있다. 또한, 조작영역에서 유저가 임의의 포즈를 취한 후에, 선분 앞쪽으로 내미는(결정) 동작으로 액션을 결정하거나, 조작을 결정하고나서 내미는 판단의 기준으로 하거나 할 수 있으므로, 유저가 인지하기 쉬워 조작성이 종래의 터치 패널 조작에 가깝게 된다.
본 실시형태에서 가상조작면은 도 16 등을 참조하면 마커의 바로 위에 수직으로 형성되고 있도록 나타내고 있지만, 도 9 내지 11에 나타내는 바와 같은 시스템의 배치의 경우에는, 예를 들어 가상조작면의 밑변만 조작면 형성기준에 맞추어 가상조작면 전체를 기울이거나, 형성되는 위치를 신장에 맞추어 위치를 바꾸거나 할 수 있다. 이러한 경우, 예를 들어 우선 마커(101)에 의해 일정한 조작면을 산출해 두고, 그 후에 조작자의 화상에 의해 보정을 함으로써 적절한 위치에 가상조작면을 형성하도록 조정하여도 좋다. 또는, 계측된 마커(101)의 위치와, 미리 설정된 모니터(111) 및 카메라(201)의 위치에 근거하여 조작면을 산출해 두고, 더욱이 조작자의 화상으로부터 신장, 팔의 길이 등을 추출하고 이들 정보를 더하여 가상조작면의 위치, 크기 및 각도 등을 보정할 수도 있다.
또한, 조작면 형성기준인 마커는 시인 가능하고, 조작자가 마커를 시인하여 이것을 기준으로서 대략적으로 가상조작면이 존재하는 위치를 추측하여 조작을 행한다. 따라서, 가상조작면은 마커 위쪽에 형성할 필요가 있는데, 조작자에서 볼 때 전후 위치관계에 대해서는 조작자나 시스템 전체의 상황에 따라서 변할 가능성이 있다. 일반적으로는, 도 27에 나타내는 바와 같이, 예를 들어 바닥면 등에 마커(4401)를 배치한 경우 등은 조작자(102)의 눈의 위치에서 보면 마커(4401)의 바로 위에 가까운 위치에 서는 경우가 많다고 생각되므로, 마커(4401)의 조작자(102)와 반대측에 조금 벗어난 위치(4402)에 가상조작면(701)을 형성하는 편이 팔의 움직임에 여유가 생겨서 자연스러운 조작이 가능한 경우도 있다고 생각된다. 한편, 후술하는 바와 같은 도 15에 나타내는 책상의 가장자리에 마커(1902)를 부착한 경우에는, 마커를 부착한 반대측 가장자리에 의해 조작자의 동작이 제한된다. 즉, 이러한 가장자리보다 앞면에는 몸을 조작면에 가깝게 할 수 없으므로 책상의 폭을 조작하기 쉽도록 적당하게 취할 수 있다. 이러한 경우, 가상조작면은 마커의 바로 위에 형성되는 편이 조작자에 의해 쉽게 가상조작면을 인식시킬 수 있다고 생각된다. 제 1 실시형태에서는, 조작자의 팔의 길이를 측정하여 이와 같은 전후 위치를 설정하고 있는데, 조작자에게도 지각 가능한 마커에 의하면 보다 객관적인 조작면의 형성이 가능해진다.
이와 같이, 상술한 제 1 실시형태에서는 가상조작면을 포함하는 조작영역을 팔의 스트로크 등을 고려하여 설정하고 있는데, 마커를 다양하게 조합함으로써 보다 객관적으로, 즉 어떠한 조작자가 있어도 눈으로 보고 일정한 정확도로 인식할 수 있게 조작영역을 확정할 수 있다.
더욱이, 본 실시형태와 같은 조작면 형성기준은, 캡쳐한 화면상에서 광범위하게 적당하면서 동시에 측정 마커를 분산배치할 수 있으므로, 매우 신뢰성이 높은 측정이 가능해진다. 또한, 이와 같은 효과와 함께, 항상 마커가 카메라의 촬영 범위 안에 있는 것이 보증되는 캘리브레이션 시스템과 병용할 수 있어, 장소 절감·다기능 장치를 실현할 수 있으므로, 기본적으로 처음 설치한 캘리브레이션 후에 매회 다시 측정할 필요가 없다.
마커(101)는 이와 같이 비디오 카메라(201)에 의해 촬영되어 조작면 형성기준이 되고, 이것을 쉽게 하기 위하여 마커 소재는 본 기술분야에서 알려진 다양한 것을 이용할 수 있는데, 통상적으로는 사용하는 카메라에 의해 적당한 것이 선택된다. 예를 들어, 통상의 카메라의 경우에는 배경색채에서 두드러지는 특징이 있는 컬러링이 필요하고, 적외선 카메라를 사용할 때에는 재귀성 반사재 등을 사용할 수 있다. 한편, 레이저광은 흑색부분 등 반사가 적은 색, 소재의 경우에는 반사광을 측정하기 어려우므로 레이저광에 의하여 마커나 재귀성 반사재 등을 사용하지 않고 흑색 바 등을 사용함으로써, 레이저광이 조사된 부분은 반사되지 않고 화면 상 결손이 발생하므로, 이렇게 하여도 바의 위치를 검출할 수 있다.
예를 들어, 일정한 컬러링에 의하여 마커를 붙이고 있는 경우, 구체적으로는 다음과 같이 처리하여 마커를 추출할 수 있다. 화상판독부(301)에 있어서 비디오 카메라(201)로 촬영된 데이터를 판독하고, 그 데이터로부터 마커(101)의 예를 들어 컬러 화상의 경우, 화상 추출부(302)에 의해 미리 마커로서 결정해 둔 색 영역을 빼내어 마커(101)의 화상만을 추출한다. 구체적으로는, 본 실시형태에서는 컬러 NTSC 신호의 휘도 신호(Y)와 색차 신호(U, V)의 각각에 상하의 임계값을 설정하여 모든 임계값을 만족시키는 화소를 추출하는데, 이에 한정되지 않고, 본 기술분야에서 알려진 어떠한 방법을 사용할 수도 있다. 이와 같이 해서, 마커(101)의 위치를 삼차원적으로 파악하고, 가상의 조작면이 어떠한 것이 되는지를 산출하여 데이터 베이스에 기록해 둔다. 컬러 추출이 종료되면, 더욱이 보조 마커가 있는 경우에는 보조 마커도 마찬가지 처리를 하여 추출한 후, 화상위치 산출부(303)에 의해 추출된 마커 부분을 흑백의 2값화하여, 비디오 카메라(201)가 촬영한 화상으로부터 추출한 마커의 가로세로 변을 구성하는 픽셀수를 계산한다. 취득한 화상의 가로세로 변의 길이나 경사를 기준이 되는 화상과 비교하여 촬상 공간의 왜곡이나 스케일을 산출한다. 본 실시형태에서는, 왜곡이나 스케일을 산출하는 경우에, 이 밖에 적어도 4점 이상의 부분에 마커를 설치하여 기준으로 할 수도 있다. 예를 들어, 4점 이상의 기준점이 있으면 그것을 연결한 선분으로 하여 캘리브레이션을 행할 수 있다.
마커는 이와 같이 적절한 소재를 바닥면에 붙임으로써 사용할 수 있는데, 이에 한정되지 않고, 직접 바닥면에 도포하거나, 본 기술분야에서 알려진 임의의 부착방법을 사용할 수 있다. 또한, 상기 설명에서는 조작면 형성기준으로서 마커(101)를 이용한다고 하였는데, 이에 한정되지 않고, 임의의 부재나 구조를 입체측정기준으로 이용할 수 있다. 예를 들어, 마커는 도 1에 나타내는 바와 같은 형태가 아닌 다양한 형태의 도형으로 할 수 있고, 몇 가지 점에 일정한 면적을 가지는 마커를 복수개 설치하도록 하여도 좋다.
또한, 조작면 형성기준으로는, 입체물, 예를 들어 도 15에 나타내는 책상 형상의 입체물(1901)에 마커(1902, 1903)를 붙여서 조작면 형성기준으로 함으로써 가상조작면(701)을 형성하고, 이에 대하여 예를 들어 손가락(601) 등으로 조작함으로써, 입력조작을 가능하게 할 수도 있다. 한편, 도 16을 참조하면, 가상조작면의 형상은 바닥면에서 수직으로 세운 직사각형인데, 이에 한정되지 않고, 마커(101)의 형상이나 배치의 방법으로 다양한 형상, 크기의 조작면을 형성할 수 있다. 예를 들어, 도 15에 나타내는 마커(101)는 모니터(111) 면에 평행한 일정한 길이의 직선이므로, 가상의 조작면은 조작면(701)과 같이 되는데, 마커를 비스듬히 일정한 각도로 기울인 직선으로 할 수도 있고, 그 경우에는 형상이 도 15에 나타내는 조작면(701)과 같지만, 방향이 모니터(111)와 일정한 각도를 가지고 비스듬히 놓인 것이 된다. 이러한 경우에도, 조작자(102)는 마커로 비스듬히 배치된 조작면이 가상으로 형성되어 있다고 파악할 수 있으므로, 그 조작면을 의식하여 조작하면 된다. 또한, 입체적으로 보조 마커를 배치하고, 바닥면에 대해서도 일정한 각도를 가진 경사면의 조작면으로 하거나, 곡면의 조작면으로 할 수도 있다. 한편, 본 실시형태는, 마커 등에 의해 형성된 가상의 조작면을 기준으로 하여 처리하도록 설명하였는데, 당업자라면 이해할 수 있는 바와 같이, 실제 계산처리에서는 조작면에서 조작자의 위치를 계산하지 않아도 좋다. 가상의 조작면은 어디까지나 조작자가 의식하여 조작입력을 하도록 하기 위한 것이기 때문이다.
그리고, 도 15에 나타내는 바와 같은 마커 부착 받침대를 사용하는 경우, 후술하는 도 18에 나타내는 바와 같이, 예를 들어 마커(1903)를 사용하여 조작자(102)의 상반신만을 대상 영역(2301)으로 하여, 가상조작면(701)으로부터 앞면에 나온 부분의 움직임만을 조작으로서 판정하는 것도 가능하다. 이와 같이 함으로써, 조작자가 도 15에 나타내는 바와 같은 받침대를 몸의 지지대로 하여 입력조작을 하는 경우에 하반신, 특히 다리가 가상조작면에서 앞으로 나와도 어디까지나 상반신의 움직임만을 조작으로서 인식하도록 할 수 있다.
조작면 형성기준을 이용하여 가상조작면 등을 형성하는 경우, 입체 마커로 측정하여 기준면 및 측정 영역을 설정한 후에, 입체 마커는 제거하고, 생성된 기준면을 알 수 있도록 바닥에 라인 등의 마킹만을 사후 설치할 수도 있다. 예를 들어, 입체 가이드 바 등을 남기지 않도록 좁은 곳 등 항상 입체 마커를 설치하는 것이 적합하지 않은 환경에 있어서 이러한 가상조작면의 형성방법이 유효하다. 또한, 바닥 평면 캘리브레이션 패턴의 경우, 3D 카메라의 설치각도에 따라서는 입체보다 측정하기 어려운 경우나 바닥면 이용 하에서의 적성(내마모나 슬립 방지 등)을 갖춘 좋은 소재 선정이 어려운 경향이 있으므로, 캘리브레이션기가 없는 간이한 바닥 마킹으로 바꾸는 편이 실시하기 쉽다. 또한, 상기와 마찬가지로 측정한 후, 캘리브레이션 기능(마커)을 가지지 않는 입체 가이드로 바꾼다. 디자인을 중시하는 경우나 저렴한 타입으로의 변경으로서 효과적이고, 유저는 변함없이 시인할 수 있다.
상기한 것 모두 캘리브레이션 후에 유저가 그 위치를 시인할 수 있어, 이동 제한으로 이어지는 다른 수단(입체 또는 평면)으로 변경하는 방법이 된다. 더욱이, 카메라측에서만 캘리브레이션 수법에 상관없이 미리 사용하기 쉬운 거리나 위치에 기준면을 설정하고, 그 후에 유저측이 인지할 수 있도록 그 면(영역)에 바닥 라인이나 입체 가이드를 사후 설치한다.
여기에서, 본 실시형태에서의 마커와 가상조작면의 관계를 도 29를 참조하여 설명한다. 본 실시형태에서는 기본적으로 책상이나 받침대 등의 가장자리에 마커를 부착하여 마커의 위쪽에 형성된 가상조작면에 대하여 조작자가 접촉하거나, 손을 이동시키거나 하여서 시스템에 입력조작이라는 것을 인식시킨다. 이때, 책상이나 받침대에 마커가 부착되어 있지 않은 가장자리는 조작자의 동작을 제한하고, 적당하게 들어올린 손이 가상조작면에 자연스럽게 접촉하는 것을 지원한다. 이러한 개념을 도 29를 참조하여 설명하면, 조작면 형성수단인 마커(4402)의 위쪽에 가상조작면(701)이 형성되어 있는 한편, 조작자(102)는 어떠한 동작제한수단(4401)에 의해 가상조작면으로부터 일정한 거리가 유지됨으로써 자연스럽게 앞으로 나온 손(601)에 의해 가상조작면에 대하여 조작을 할 수 있다. 본 실시형태에서는, 가상조작면(701)은 마커(4402) 바로 위에 형성되어 있는데, 제 1 실시형태에서 서술한 바와 같이 마커(4402)를 기준으로 앞뒤로 이동시킬 수도 있다. 예를 들어, 동작제한수단(4401)은 기본적으로 고정되어 있으므로, 조작자(102)의 체형에 따라서는 마커(4402)의 바로 위에 가상조작면이 형성되면, 너무 가깝이거나 너무 깊어지거나 하여 사용감이 나빠질 가능성도 있다. 이러한 경우에, 조작자마다 마커(4402)로부터 가상조작면이 형성되는 위치를 전후시킬 수도 있다.
이상, 본 실시형태에서는, 가상조작면을 조작자에게 지각 가능한 조작면 형성기준 및 조작자 자신을 삼차원 카메라로 촬영한 화상에 근거하여 형성하므로, 가상조작면의 위치를 객관적으로 특정하기 쉽고, 조작자의 신장 등도 더하여져 있으므로, 조작자는 보다 위화감 없이 자연스러운 조작감을 얻을 수 있다.
(제 3 실시형태)
본 실시형태는, 기본적으로 상술한 제 1 및 제 2 실시형태의 시스템 구성과 마찬가지인데, 모니터 대신에 표시용으로서 프로젝터를 이용한 점이 상이하다. 즉, 본 실시형태에서는, 제 1 및 제 2 실시형태와 그 처리는 기본적으로 동일하지만, LCD나 플라즈마 등의 모니터(111) 대신에 도 30에 나타내는 바와 같이 프로젝터(3011)로부터 영상을 스크린(3010)에 투영하는 것에 의하여 조작자에게 다양한 정보를 통지한다. 본 실시형태의 시스템에서는, 제 1 실시형태 등에서 LCD 등을 배치하고 있는 표시면에는 스크린만이 배치되어 있으므로, 영상을 투영하는 프로젝터(3011), 카메라(201) 및 이들을 제어하는 컴퓨터는 도 30에 나타내는 바와 같이 일체형으로 할 수 있다. 이와 같은 일체형 시스템은 통상 조작자와 스크린 사이에 놓여 있으므로, 예를 들어 도면에 나타내는 바와 같이 진입금지영역을 인식키시기 위하여 가이드 바(2012)가 놓이고, 이것을 제 2 실시형태와 같은 조작면 형성기준으로 할 수도 있다.
본 실시형태는, 제 1 실시형태와 표시 방법이 상이할 뿐으로, 표시면 자체는 크게 다르지 않으므로, 가상조작면 및 조작영역의 설정, 그리고 조작의 판정처리 등은 기본적으로 제 1 또는 제 2 실시형태와 동일하다. 단, 상술한 바와 같이 프로젝터, 카메라 및 컴퓨터가 일체형이 되어서 조작자와 표시면(스크린(3010)) 사이에 배치되므로, 카메라(201)의 위치가 약간 다르고, 카메라가 표시면의 하부 등에 설치되는 제 1 실시형태 등의 경우와 비교하면 조작영역 등의 각도의 조정 폭이 커진다. 또한, 가이드 바(3012)와 가상조작면(701)의 위치관계는, 제 2 실시형태에서 설명한 경우와는 달리, 가이드 바(3012)의 바로 위에 가상조작면(701)이 형성되는 것으로 한정되지 않는다. 이것은, 예를 들어 도 14에 나타내는 바와 같은 조작자에게도 지각 가능한 일정한 마커(101)와 같이 바닥에 의식적으로 그려져 있는 경우와, 침입방지용을 겸하는 본 실시형태의 가이드 바(3012)와는 조작면 형성기준으로서의 역할은 동일하지만, 가상조작면을 형성하는 위치는 조작자와의 위치관계, 조작자와의 관계에 의해 다르기 때문이다. 본 기술분야에서 알려진 어떠한 지식을 이용하여 시스템에 따라서 가이드 바(3012)를 기준으로 안쪽 또는 앞쪽으로 가상조작면을 형성할 수 있다.
이상, 본 실시형태에서는 표시용으로 프로젝터를 사용함으로써, 프로젝터, 카메라 및 컴퓨터를 일체형으로 할 수 있어, 설치나 취급이 쉽고, 화면이 대형인 경우에는 대형 LCD를 사용하는 것에 비해 설치의 용이성이나 비용 면에서 유리하다.
111: 모니터
201: 비디오 카메라
811, 821: 조작영역

Claims (13)

  1. 조작자의 화상을 판독하여 입체 화상 데이터를 생성하는 삼차원 촬상수단과,
    상기 삼차원 촬상수단에 의하여 판독된 조작자의 화상에 근거하여, 그 조작자에게 있어서 조작하기 쉽도록, 상기 삼차원 촬상수단과 상기 조작자와의 사이의, 그 조작자의 머리부와 몸통부에서 형성되는 평면으로부터, 그 조작자의 팔의 길이에 근거하는 거리의 위치에 가상조작면을 형성하는 조작면 형성수단과,
    그 형성된 가상조작면에 대한 조작자의 적어도 일부의 화상의 움직임을 상기 삼차원 촬상수단으로 판독하여, 상기 조작자의 일부가 상기 가상조작면을 가로지르면, 그 움직임이, 그 가로지른 위치에 근거하는 조작인지 아닌지를 판정하는 조작판정수단과,
    상기 조작면 형성수단에 의하여 형성되는 가상조작면에 대하여, 상기 삼차원 촬상수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면과의 위치관계로부터 그 거리를 산출하여, 그 거리에 따라서 변화시키고, 그 조작자의 일부가 상기 가상조작면에 근접하고 있다는 것을 나타내는 표시를 표시하게 하여, 판정하고자 하는 조작을 나타내는 상기 조작자가 시인(視認) 가능한 화상표시수단과,
    상기 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 하는 화상인식장치.
  2. 제 1 항에 있어서,
    상기 가상조작면과의 위치관계에 근거하여 정해지는 2개 이상의 가상조작계층 중 어느 영역 안에서 상기 조작자의 움직임이 판독되면, 그 가상조작계층에 미리 할당된 조작 종류별 및 상기 가상조작계층 안에서의 조작자의 움직임에 근거하여 상기 조작의 내용을 결정하는 조작내용 결정수단을 구비한 것을 특징으로 하는 화상인식장치.
  3. 제 1 항에 있어서,
    상기 화상표시수단은 상기 조작자의 일부가 상기 가상조작면에 대하여 상기 삼차원 촬상수단측에 있을 때에는 그 표시의 변화를 정지시켜서 판정되는 조작을 나타내는 것을 특징으로 하는 화상인식장치.
  4. 제 1 항에 있어서,
    상기 조작판정수단은 상기 조작자의 일부가 상기 가상조작면보다 상기 삼차원 촬상수단측에 있을 때에 조작이라고 판정하는 것을 특징으로 하는 화상인식장치.
  5. 제 1 항에 있어서,
    상기 조작판정수단은 상기 조작자의 일부의 상기 가상조작면보다 상기 삼차원 촬상수단측에 있는 부분의 형상 또는 움직임에 의하여 어떠한 조작이 이루어지고 있는지를 판정하는 것을 특징으로 하는 화상인식장치.
  6. 제 5 항에 있어서,
    상기 조작판정수단은 미리 조작자의 일부의 형상 또는 움직임과 대응하는 조작내용을 저장하는 기억수단을 검색하여, 합치하는 형상 또는 움직임에 대응하는 조작을 입력하는 조작으로 판정하는 것을 특징으로 하는 화상인식장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 조작면 형성수단은 상기 화상표시수단의 위치에 근거하여 상기 가상조작면의 위치 및 각도를 조정하는 것을 특징으로 하는 화상인식장치.
  8. 화상인식장치에 의해서 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법에 있어서,
    삼차원 촬상수단에 의하여 조작자의 화상을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상단계와,
    상기 삼차원 촬상수단에 의해 판독된 조작자의 화상에 근거하여, 그 조작자에게 있어서 조작하기 쉽도록, 상기 삼차원 촬상수단과 상기 조작자와의 사이의, 그 조작자의 머리부와 몸통부에서 형성되는 평면으로부터, 그 조작자의 팔의 길이에 근거하는 거리의 위치에 가상조작면을 형성하는 조작면 형성단계와,
    그 형성된 가상조작면에 대한 조작자의 적어도 일부의 화상의 움직임을 상기 삼차원 촬상수단으로 판독하고, 상기 조작자의 일부가 상기 가상조작면을 가로지르면, 그 움직임이, 그 가로지른 위치에 근거하는 조작인지 아닌지를 판정하는 조작판정단계와,
    상기 조작면 형성단계에 있어서 형성되는 가상조작면에 대하여, 상기 삼차원 촬상수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면과의 위치관계로부터 그 거리를 산출하여, 그 거리에 따라서 변화시키고, 그 조작자의 일부가 상기 가상조작면에 근접하고 있다는 것을 나타내는 표시를 표시하게 하여, 판정하고자 하는 조작을 나타내는 상기 조작자가 시인(視認) 가능한 화상표시단계와,
    상기 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 하는 조작판정방법.
  9. 화상인식장치에서 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법을 실행시키는 프로그램을 저장한 컴퓨터 판독가능한 매체로서, 그 조작판정방법은,
    삼차원 촬상수단에 의하여, 조작자의 화상을 판독하여 입체화상 데이터를 생성하는 삼차원 촬상단계와,
    삼차원 촬상수단에 의해 판독된 조작자의 화상에 근거하여, 그 조작자에게 있어서 조작하기 쉽도록, 상기 삼차원 촬상수단과 상기 조작자와의 사이의, 그 조작자의 머리부와 몸통부에서 형성되는 평면으로부터, 그 조작자의 팔의 길이에 근거하는 거리의 위치에 가상조작면을 형성하는 조작면 형성단계와,
    그 형성된 가상조작면에 대한 조작자의 적어도 일부의 화상의 움직임을 상기 삼차원 촬상수단으로 판독하고, 상기 조작자의 일부가 상기 가상조작면을 가로지르면, 그 움직임이, 그 가로지른 위치에 근거하는 조작인지 아닌지를 판정하는 조작판정단계와,
    상기 조작면 형성단계에 있어서 형성되는 가상조작면에 대하여, 상기 삼차원 촬상수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면과의 위치관계로부터 그 거리를 산출하여, 그 거리에 따라서 변화시키고, 그 조작자의 일부가 상기 가상조작면에 근접하고 있다는 것을 나타내는 표시를 표시하게 하여, 판정하고자 하는 조작을 나타내는 상기 조작자가 시인(視認) 가능한 화상표시단계와,
    상기 움직임이 조작이라고 판정되면, 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 하는 프로그램을 저장한 컴퓨터 판독가능한 매체.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
KR1020127001932A 2009-08-12 2010-08-12 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체 KR101347232B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-187449 2009-08-12
JP2009187449A JP4701424B2 (ja) 2009-08-12 2009-08-12 画像認識装置および操作判定方法並びにプログラム
PCT/JP2010/005058 WO2011018901A1 (ja) 2009-08-12 2010-08-12 画像認識装置および操作判定方法並びにプログラム

Publications (2)

Publication Number Publication Date
KR20120040211A KR20120040211A (ko) 2012-04-26
KR101347232B1 true KR101347232B1 (ko) 2014-01-03

Family

ID=43586084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127001932A KR101347232B1 (ko) 2009-08-12 2010-08-12 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체

Country Status (7)

Country Link
US (2) US8890809B2 (ko)
EP (1) EP2466423B1 (ko)
JP (1) JP4701424B2 (ko)
KR (1) KR101347232B1 (ko)
CN (2) CN102473041B (ko)
CA (2) CA2886208A1 (ko)
WO (1) WO2011018901A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
GB2488785A (en) * 2011-03-07 2012-09-12 Sharp Kk A method of user interaction with a device in which a cursor position is calculated using information from tracking part of the user (face) and an object
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
JP5864043B2 (ja) * 2011-04-12 2016-02-17 シャープ株式会社 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
JP2012252386A (ja) * 2011-05-31 2012-12-20 Ntt Docomo Inc 表示装置
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP5921835B2 (ja) * 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
JP5581292B2 (ja) * 2011-09-30 2014-08-27 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
CN104012073B (zh) * 2011-12-16 2017-06-09 奥林巴斯株式会社 拍摄装置及其拍摄方法、存储能够由计算机来处理的追踪程序的存储介质
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095678A1 (en) 2011-12-23 2013-06-27 Intel Corporation Mechanism to provide feedback regarding computing system command gestures
WO2013095671A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Transition mechanism for computing system utilizing user sensing
WO2013095677A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
JP2013134549A (ja) * 2011-12-26 2013-07-08 Sharp Corp データ入力装置およびデータ入力方法
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置
EP2610714B1 (en) * 2012-01-02 2016-08-10 Alcatel Lucent Depth camera enabled pointing behavior
US9222767B2 (en) 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
JP5586641B2 (ja) * 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
US20130239041A1 (en) * 2012-03-06 2013-09-12 Sony Corporation Gesture control techniques for use with displayed virtual keyboards
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101424562B1 (ko) * 2012-06-11 2014-07-31 한국과학기술원 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템
JP2014002502A (ja) * 2012-06-18 2014-01-09 Dainippon Printing Co Ltd 手のばし検出装置、手のばし検出方法及びプログラム
JP5654526B2 (ja) * 2012-06-19 2015-01-14 株式会社東芝 情報処理装置、キャリブレーション方法及びプログラム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法
JP5921981B2 (ja) * 2012-07-25 2016-05-24 日立マクセル株式会社 映像表示装置および映像表示方法
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
CN104813258B (zh) * 2012-11-22 2017-11-10 夏普株式会社 数据输入装置
JP5950806B2 (ja) * 2012-12-06 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
US20140340498A1 (en) * 2012-12-20 2014-11-20 Google Inc. Using distance between objects in touchless gestural interfaces
JP6167529B2 (ja) * 2013-01-16 2017-07-26 株式会社リコー 画像投影装置、画像投影システム、制御方法およびプログラム
JP6029478B2 (ja) * 2013-01-30 2016-11-24 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
JP5950845B2 (ja) * 2013-02-07 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
JP2018088259A (ja) * 2013-03-05 2018-06-07 株式会社リコー 画像投影装置、システム、画像投影方法およびプログラム
US9519351B2 (en) * 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
JP6207240B2 (ja) * 2013-06-05 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
WO2015002421A1 (ko) * 2013-07-02 2015-01-08 (주) 리얼밸류 휴대용 단말기의 제어방법, 이를 실행하기 위한 프로그램을 저장한 기록매체, 애플리케이션 배포서버 및 휴대용 단말기
WO2015002420A1 (ko) * 2013-07-02 2015-01-08 (주) 리얼밸류 휴대용 단말기의 제어방법, 이를 실행하기 위한 프로그램을 저장한 기록매체, 애플리케이션 배포서버 및 휴대용 단말기
JP6248462B2 (ja) * 2013-08-08 2017-12-20 富士ゼロックス株式会社 情報処理装置及びプログラム
KR102166330B1 (ko) * 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
JP6213193B2 (ja) * 2013-11-29 2017-10-18 富士通株式会社 動作判定方法及び動作判定装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
CN103713823B (zh) * 2013-12-30 2017-12-26 深圳泰山体育科技股份有限公司 实时更新操作区位置的方法及系统
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
US20150323999A1 (en) * 2014-05-12 2015-11-12 Shimane Prefectural Government Information input device and information input method
KR101601951B1 (ko) * 2014-09-29 2016-03-09 주식회사 토비스 공간 터치 입력이 수행되는 곡면디스플레이 장치
JP6460094B2 (ja) 2014-12-26 2019-01-30 株式会社ニコン 検出装置、空中像制御装置、検出方法および検出プログラム
CN106062683B (zh) 2014-12-26 2021-01-08 株式会社尼康 检测装置、电子设备、检测方法以及程序
JP6520918B2 (ja) 2014-12-26 2019-05-29 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
CN104765459B (zh) * 2015-04-23 2018-02-06 无锡天脉聚源传媒科技有限公司 虚拟操作的实现方法及装置
CN104866096B (zh) * 2015-05-18 2018-01-05 中国科学院软件研究所 一种利用上臂伸展信息进行命令选择的方法
CN104978033A (zh) * 2015-07-08 2015-10-14 北京百马科技有限公司 一种人机交互设备
KR101685523B1 (ko) * 2015-10-14 2016-12-14 세종대학교산학협력단 사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템
KR101717375B1 (ko) * 2015-10-21 2017-03-17 세종대학교산학협력단 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
CN105404384A (zh) * 2015-11-02 2016-03-16 深圳奥比中光科技有限公司 手势操作方法、利用手势定位屏幕光标的方法及手势系统
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
JP6569496B2 (ja) * 2015-11-26 2019-09-04 富士通株式会社 入力装置、入力方法、及びプログラム
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
CN109643206B (zh) * 2016-06-28 2023-05-02 株式会社尼康 控制装置、显示装置、程序及检测方法
JP6230666B2 (ja) * 2016-06-30 2017-11-15 シャープ株式会社 データ入力装置、データ入力方法、及びデータ入力プログラム
JP6676213B2 (ja) * 2016-07-22 2020-04-08 グーグル エルエルシー 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出
WO2018083737A1 (ja) * 2016-11-01 2018-05-11 マクセル株式会社 表示装置及び遠隔操作制御装置
JP6246310B1 (ja) 2016-12-22 2017-12-13 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および、装置
CN108345377A (zh) * 2017-01-25 2018-07-31 武汉仁光科技有限公司 一种基于Kinect的自适应用户身高的交互方法
KR101821522B1 (ko) * 2017-02-08 2018-03-08 윤일식 모니터를 이용한 엘리베이터 동작제어장치 및 방법
KR102610690B1 (ko) * 2017-02-24 2023-12-07 한국전자통신연구원 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법
CN107015644B (zh) * 2017-03-22 2019-12-31 腾讯科技（深圳）有限公司 虚拟场景中游标的位置调节方法及装置
KR101968547B1 (ko) * 2017-07-17 2019-04-12 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method
CN107861403B (zh) * 2017-09-19 2020-11-13 珠海格力电器股份有限公司 一种电器的按键锁定控制方法、装置、存储介质及电器
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
JP7058198B2 (ja) * 2018-08-21 2022-04-21 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
JP2022521360A (ja) 2019-02-18 2022-04-06 アーク リソー ホールディングス， エルエルシー ポインティングコントローラを使用したスマートデバイスとの相互作用
BR112022018723A2 (pt) 2020-03-20 2022-12-27 Huawei Tech Co Ltd Métodos e sistemas para o controle de um dispositivo com base em gestos manuais
EP4115264A4 (en) * 2020-03-23 2023-04-12 Huawei Technologies Co., Ltd. METHODS AND SYSTEMS FOR CONTROLLING A DEVICE BASED ON HAND GESTURES
CN111880657B (zh) * 2020-07-30 2023-04-11 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
JP7041211B2 (ja) * 2020-08-03 2022-03-23 パラマウントベッド株式会社 画像表示制御装置、画像表示システム及びプログラム
TWI813907B (zh) * 2020-09-30 2023-09-01 優派國際股份有限公司 觸控顯示裝置及其操作方法
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JP2006209359A (ja) * 2005-01-26 2006-08-10 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2001236179A (ja) * 2000-02-22 2001-08-31 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
JP4974319B2 (ja) * 2001-09-10 2012-07-11 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
HU0401034D0 (en) * 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
WO2006003586A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Zooming in 3-d touch interaction
EP1821182B1 (en) * 2004-10-12 2013-03-27 Nippon Telegraph And Telephone Corporation 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US20060267927A1 (en) * 2005-05-27 2006-11-30 Crenshaw James E User interface controller method and apparatus for a handheld electronic device
ITUD20050152A1 (it) * 2005-09-23 2007-03-24 Neuricam Spa Dispositivo elettro-ottico per il conteggio di persone,od altro,basato su visione stereoscopica,e relativo procedimento
US8217895B2 (en) * 2006-04-28 2012-07-10 Mtekvision Co., Ltd. Non-contact selection device
CN200947919Y (zh) * 2006-08-23 2007-09-19 陈朝龙 辅助鼠标操作的支撑结构
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
KR100827243B1 (ko) * 2006-12-18 2008-05-07 삼성전자주식회사 3차원 공간상에서 정보를 입력하는 정보 입력 장치 및 그방법
CN101064076A (zh) * 2007-04-25 2007-10-31 上海大学 远景定向查询展示装置及方法
US8963828B2 (en) * 2007-06-04 2015-02-24 Shimane Prefectural Government Information inputting device, information outputting device and method
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8289316B1 (en) * 2009-04-01 2012-10-16 Perceptive Pixel Inc. Controlling distribution of error in 2D and 3D manipulation
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8261211B2 (en) * 2009-10-01 2012-09-04 Microsoft Corporation Monitoring pointer trajectory and modifying display interface
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JP2006209359A (ja) * 2005-01-26 2006-08-10 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム

Also Published As

Publication number Publication date
KR20120040211A (ko) 2012-04-26
US9535512B2 (en) 2017-01-03
US20150130715A1 (en) 2015-05-14
CN102473041A (zh) 2012-05-23
JP4701424B2 (ja) 2011-06-15
US8890809B2 (en) 2014-11-18
EP2466423B1 (en) 2018-07-04
EP2466423A1 (en) 2012-06-20
CA2768893A1 (en) 2011-02-17
CA2768893C (en) 2015-11-17
CN104615242A (zh) 2015-05-13
JP2011039844A (ja) 2011-02-24
EP2466423A4 (en) 2015-03-11
CA2886208A1 (en) 2011-02-17
US20120119988A1 (en) 2012-05-17
CN102473041B (zh) 2015-01-07
WO2011018901A1 (ja) 2011-02-17

Similar Documents

Publication Publication Date Title
KR101347232B1 (ko) 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체
KR101227610B1 (ko) 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
US10606441B2 (en) Operation control device and operation control method
CN110199251B (zh) 显示装置和远程操作控制装置
US9329691B2 (en) Operation input apparatus and method using distinct determination and control areas
KR101541803B1 (ko) 화상인식장치 및 조작판정방법, 그리고 프로그램
JP5450791B2 (ja) 立体表示装置及び立体撮影装置、並びに利き目判定方法及びこれに用いる利き目判定プログラム並びに記録媒体
US10477090B2 (en) Wearable device, control method and non-transitory storage medium
CN116126170A (zh) 显示装置及控制装置
JP2013016060A (ja) 操作入力装置および操作判定方法並びにプログラム
JPWO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161021

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171013

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 6