KR101227610B1 - 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체 - Google Patents

화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체 Download PDF

Info

Publication number
KR101227610B1
KR101227610B1 KR1020107027198A KR20107027198A KR101227610B1 KR 101227610 B1 KR101227610 B1 KR 101227610B1 KR 1020107027198 A KR1020107027198 A KR 1020107027198A KR 20107027198 A KR20107027198 A KR 20107027198A KR 101227610 B1 KR101227610 B1 KR 101227610B1
Authority
KR
South Korea
Prior art keywords
operator
virtual
image
dimensional
manipulation
Prior art date
Application number
KR1020107027198A
Other languages
English (en)
Other versions
KR20110008313A (ko
Inventor
켄지 이즈미
Original Assignee
시마네켄
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 시마네켄 filed Critical 시마네켄
Publication of KR20110008313A publication Critical patent/KR20110008313A/ko
Application granted granted Critical
Publication of KR101227610B1 publication Critical patent/KR101227610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/219—Input arrangements for video game devices characterised by their sensors, purposes or types for aiming at specific areas on the display, e.g. light-guns
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/49—Saving the game status; Pausing or ending the game
    • A63F13/497—Partially or entirely replaying previous game actions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
    • A63F2300/634—Methods for processing data by generating or executing the game program for controlling the execution of the game in time for replaying partially or entirely the game actions since the beginning of the game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

정확한 조작 판정을 가능하게 하기 위한 것으로, 조작자(102)의 화상을 추출하고(S403), 조작판정부(304)는 조작입력시스템의 마커(101)의 비디오 카메라(201)로부터 보아 안쪽에 서는 조작자(102)와 마커(101)의 상대관계를 이용하여(S404), 조작자(102)의 일부가 조작면의 비디오 카메라(201)로부터 보아 앞에 오면, 조작이 시작되었다고 판단하고(S405), 각부의 형상(손을 벌리고 있음, 혹은 손가락을 2개 세우고 있음 등)이나 움직임으로부터 그 형상, 움직임이 미리 상정된 어느 조작인지를 판정한다(S406).

Description

화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체{IMAGE RECOGNIZING APPARATUS, OPERATION JUDGING METHOD, AND COMPUTER-READABLE RECORDING MEDIUM FOR RECORDING PROGRAM THEREFOR}
본 발명은 화상인식장치 및 조작판정방법에 관한 것으로, 보다 상세히는, 비디오 카메라 등에 의해 촬영한 화상으로부터 측정대상의 동작을 판정하는 화상인식장치 및 조작판정방법에 관한 것이다.
근래, 컴퓨터나 전자기기와 사람 사이의 인터페이스 즉, 맨 머신 인터페이스(man-machine interface)로서 여러가지 기기, 방법이 제안되고 있으며, 특히 게임기나 조작 가이드 기기 등에서는 카메라로 조작자 전체 혹은 일부를 촬영하고, 그 화상에 따라 조작자의 의지를 판단하여 동작하는 기술이 제안되고 있다. 예를 들어, 일본특허공개공보 2004-78977호에는, CCD 카메라로 촬영한 화상 중의 물체의 형상, 움직임을 인식하는 호스트 컴퓨터와, 호스트 컴퓨터에 의해 인식된 물체의 형상, 움직임을 표시하는 디스플레이를 구비하고, 사용자가 CCD 카메라를 향하여 손짓 등에 의해 지시를 주면, 주어진 손짓이 디스플레이의 표시화면 상에 표시되고, 표시화면 상에 표시한 가상 스위치 등을 손짓에 의해 화살표 커서의 아이콘으로 선택할 수 있어서, 마우스 등의 입력장치가 필요하지 않으며, 매우 간단한 기기조작이 가능해진 기술이 제안되고 있다.
최근에는 더욱이, 손가락의 움직임이나 형상을 촬영한 화상으로부터 어느 종류의 제스처(gesture)로서 인식하여 조작입력을 하는 입력시스템도 제안되고 있다. 예를 들어, 도 14를 참조하면, 제스처에 의한 화면조작에 따른 프레젠테이션이나, 터치패널이 필요없는 비접촉 키오스크(kiosk) 단말에 사용할 수 있는 입력장치가 나타나 있다. 대화면을 마주본 조작자가 통상 (A)의 위치에 설치된 카메라를 향하여 여러가지 조작을 하면, 그 내용이 대화면에 나타난다. 이와 같이 촬영된 화상으로부터 조작자의 형상, 움직임을 본 기술분야에서 알려진 방법에 의해 추출하고, 예를 들어, 미리 정해져서 데이터베이스에 저장된 패턴과 비교함으로써, 조작자의 형상, 움직임의 의미를 판정하여 기기의 제어에 이용한다.
한편, 조작자의 화상을 판독하는 기술로는, 도 15에 나타내는 바와 같이, 3차원 또는 입체 대응 카메라로 조작자를 촬영하여 입체화상을 재현하는 것도 가능해졌으며, 보안검사 등의 용도에 사용되고 있다. 입체화상을 재현함으로써 조작자의 움직임을 입체적으로 파악할 수 있고, 예를 들어, 도 16에 나타내는 바와 같이, 조작자의 특히 손의 움직임을 전후로도 인식할 수 있기 때문에, 제스처의 다양성이 증대된다. 또한, 여러 조작자가 화상으로 추출되어도, 많은 사람의 위치관계를 입체화상을 이용하여 식별할 수 있기 때문에, 맨 앞의 조작자의 움직임만 추출하여 조작의 입력에 사용할 수도 있다.
하지만, 종래의 제스처 조작은, 사실상의 표준(de facto standard)이라는 어떠한 표준적인 제스처가 확립되어 있지 않고, 검지손가락에 의한 XY 좌표의 포인팅 조작 이외에는 사용자가 어떠한 동작으로 무엇이 가능한지를 직감적으로 인식할 수 없다. '클릭', '더블클릭', '드래그' 등의 클릭 조작을 수초 동안의 대기시간 동안 좌표에 고정함으로써 지시하는 것은 있지만, 설정된 대기시간이 너무 길어서 쾌적한 조작을 저해하는 등의 경우도 적지 않다. 따라서, 클릭이나 결정(더블클릭 등) 등의 조작을 알기 쉽고, 또한 원활하게 실행할 수 있는 현실적인 방법이 없다는 문제가 있었다.
또한, 종래의 제스처 검출장치는, 터치패널이라는 직접 조작자가 만질 수 있는 입력장치와는 달리, 조작자의 정확한 의사를 판독하기가 어렵다. 즉, 조작자가 어떠한 동작을 하여도, 그것이 입력을 의도한 것인지 단순히 버릇으로 움직인 것인지를 판정하기가 쉽지 않다는 문제가 있다. 그 결과, 예를 들어, 단순한 제스처라 하더라도 그것을 부자연스럽게 그리고 눈에 띄는 형태로 하지 않으면 인식할 수 없고, 또한 제스처에 대한 사전 결정이 필요하거나, 복잡한 제스처는 사용할 수 없다는 문제가 있다.
본 발명은 이와 같은 문제에 감안하여 이루어진 것으로, 조작자에게 어떠한 입력으로 이어지는 조작을 하고 있는 상태에 있다는 것을 인식시킨 후에 장치에 대하여 동작을 하게 함으로써, 정확한 조작 판정을 할 수 있게 하는 화상인식장치 및 조작판정방법을 제공하는 것을 목적으로 한다. 그 결과, 조작에 익숙하지 않은 특수한 제스처를 익히지 않고, 몸 전체 혹은 일부를 동작하여 그 동작을 정확히 조작자가 의도한 조작으로서 판정할 수 있게 된다.
이와 같은 목적을 달성하기 위하여, 청구항 1에 기재된 발명은, 화상인식장치로서, 조작자의 적어도 일부의 상(像)을 판독하여 입체화상 데이터를 생성하는 3차원 촬영수단과, 조작자가 소정의 공간상의 가상조작면을 파악하도록 설치되어 조작자가 지각가능하고, 촬영수단의 촬영범위 내에 미리 배치된 조작면 형성기준과, 3차원 촬영수단에 의해 판독된 조작면 형성기준에 의해 가상조작면을 형성하고, 형성된 가상조작면에 대한 조작자의 동작을 3차원 촬영수단으로 판독하여, 조작자의 일부와 가상조작면의 위치관계에 근거하여 동작이 조작인지 여부를 판정하는 조작판정수단과, 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 한다.
청구항 2에 기재된 발명은, 청구항 1에 기재된 화상인식장치에 있어서, 가상조작면은 조작면 형성기준으로부터 위쪽으로 투사한 면인 것을 특징으로 한다.
청구항 3에 기재된 발명은, 청구항 2에 기재된 화상인식장치에 있어서, 조작면 형성기준의 조작자측에 조작자의 동작을 제한하는 동작제한수단을 더욱 구비한 것을 특징으로 한다.
청구항 4에 기재된 발명은, 청구항 1에 기재된 화상인식장치에 있어서, 가상조작면은 조작면 형성기준의 조작자와 반대측에 있는 소정의 위치로부터 위쪽으로 투사한 면인 것을 특징으로 한다.
청구항 5에 기재된 발명은, 청구항 1 내지 청구항 4 중 어느 하나에 기재된 화상인식장치에 있어서, 조작판정수단은 조작자의 일부가 가상조작면보다 3차원 촬영수단측에 있을 때 조작이라고 판정하는 것을 특징으로 한다.
청구항 6에 기재된 발명은, 청구항 1 내지 청구항 4 중 어느 하나에 기재된 화상인식장치에 있어서, 조작판정수단은 조작자의 일부의, 가상조작면보다 3차원 촬영수단측에 있는 부분의 형상 또는 움직임에 의해 어느 조작이 이루어지고 있는지를 판정하는 것을 특징으로 한다.
청구항 7에 기재된 발명은, 청구항 6에 기재된 화상인식장치에 있어서, 조작판정수단은 미리 조작자의 일부의 형상 또는 움직임과 대응지어진 조작내용을 저장하는 기억수단을 검색하여, 합치하는 형상 또는 움직임에 대응하는 조작을 입력할 조작이라고 판정하는 것을 특징으로 한다.
청구항 8에 기재된 발명은, 청구항 1 내지 청구항 7 중 어느 하나에 기재된 화상인식장치에 있어서, 조작면 형성기준은 조작자가 있는 바닥면에 나타나 있는 것을 특징으로 한다.
청구항 9에 기재된 발명은, 청구항 1 내지 청구항 7 중 어느 하나에 기재된 화상인식장치에 있어서, 조작자와 3차원 촬영수단 사이에 배치된 입체물을 더욱 구비하고, 조작면 형성기준은 입체물의 소정의 바깥둘레인 것을 특징으로 한다.
청구항 10에 기재된 발명은, 청구항 9에 기재된 화상인식장치에 있어서, 입체물은 테이블인 것을 특징으로 한다.
청구항 11에 기재된 발명은, 청구항 1 내지 청구항 10 중 어느 하나에 기재된 화상인식장치에 있어서, 조작면 형성기준은 판독된 화상으로부터의 추출이 용이해지도록 3차원 촬영수단에 촬영되는 소정의 면에 마커(marker)를 가지는 것을 특징으로 한다.
청구항 12에 기재된 발명은, 청구항 1 내지 청구항 11 중 어느 하나에 기재된 화상인식장치에 있어서, 조작자와 대면하여 배치된 화상표시수단을 더욱 구비하고, 조작판정수단은 조작자가 조작의 판정결과를 인식할 수 있도록 화상표시수단에 현시점의 조작판정결과를 표시하게 하는 것을 특징으로 한다.
청구항 13에 기재된 발명은, 청구항 1 내지 청구항 12 중 어느 하나에 기재된 화상인식장치에 있어서, 가상조작면과의 위치관계에 근거하여 정해지는 2개 이상의 가상조작계층 중 어느 영역 안에서 조작자의 동작이 이루어지면, 가상조작계층에 미리 할당된 조작종류별 및 가상조작계층 안에서의 조작자의 동작에 근거하여 조작의 내용을 결정하는 조작내용 결정수단을 더욱 구비한 것을 특징으로 한다.
청구항 14에 기재된 발명은, 화상인식장치에 의해 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법으로서, 조작자가 소정의 공간상의 가상조작면을 파악하도록 설치되어 조작자가 지각가능하고, 소정의 촬영수단의 촬영범위 내에 미리 배치된 조작면 형성기준, 및 소정의 촬영수단의 촬영범위 내의 조작자의 적어도 일부의 상을 판독하여 입체화상을 생성하는 3차원 촬영단계와, 3차원 촬영단계에서 판독된 조작면 형성기준에 의해 가상조작면을 형성하고, 형성된 가상조작면에 대한 3차원 촬영수단으로 판독된 조작자의 동작이 조작자의 일부와 가상조작면의 위치관계에 근거하여 조작인지 여부를 판정하는 조작판정단계와, 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 한다.
청구항 15에 기재된 발명은, 화상인식장치가 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법을 실행하게 하는 프로그램으로서, 조작판정방법은, 조작자가 소정의 공간상의 가상조작면을 파악하도록 설치되어 조작자가 지각가능하고, 소정의 촬영수단의 촬영범위 내에 미리 배치된 조작면 형성기준, 및 소정의 촬영수단의 촬영범위 내의 조작자의 적어도 일부의 상을 판독하여 입체화상을 생성하는 3차원 촬영단계와, 3차원 촬영단계에서 판독된 조작면 형성기준에 의해 가상조작면을 형성하고, 형성된 가상조작면에 대한 3차원 촬영수단으로 판독된 조작자의 동작이 조작자의 일부와 가상조작면의 위치관계에 근거하여 조작인지 여부를 판정하는 조작판정단계와, 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 한다.
청구항 16에 기재된 발명은, 화상인식장치로서, 조작자의 적어도 일부의 상을 판독하여 입체화상을 생성하는 3차원 촬영수단과, 3차원 촬영수단의 촬영범위 내의 미리 정해진 위치 및 크기로 조작자의 조작의 기준이 되는 가상조작면을 형성하고, 형성된 가상조작면에 대한 조작자의 동작을 3차원 촬영수단으로 판독하여, 가상조작면에 대한 조작자의 부위의 위치관계에 근거하여 동작이 조작인지 여부를 판정하는 조작판정수단과, 조작판정수단에 의해 인식되는 가상조작면에 대하여 3차원 촬영수단의 반대측에서의 조작자의 일부와 가상조작면의 위치관계로부터 거리를 산출하여, 거리에 따라 변하는 표시(標示)를 표시하여 판정하려는 조작을 나타내고, 조작자가 시인할 수 있는 화상표시수단과, 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 한다.
청구항 17에 기재된 발명은, 청구항 16에 기재된 화상인식장치에 있어서, 표시는 조작자의 부위와 가상조작면의 거리가 가까워질 때마다 작아지는 것을 특징으로 한다.
청구항 18에 기재된 발명은, 청구항 16에 기재된 화상인식장치에 있어서, 표시는 조작자의 부위와 가상조작면의 거리가 가까워질 때마다 색상이 변하는 것을 특징으로 한다.
청구항 19에 기재된 발명은, 청구항 16에 기재된 화상인식장치에 있어서, 표시는 조작자의 부위와 가상조작면의 거리가 가까워질 때마다 투명도가 낮아지는 것을 특징으로 한다.
청구항 20에 기재된 발명은, 청구항 16에 기재된 화상인식장치에 있어서, 조작자의 부위와 가상조작면의 거리가 가까워질 때마다 표시와 화상표시수단에 표시되어 있는 조작대상화상의 콘트라스트가 커지는 것을 특징으로 한다.
청구항 21에 기재된 발명은, 청구항 16에 기재된 화상인식장치에 있어서, 표시는 조작자의 부위와 가상조작면의 거리가 가까워질 때마다 형상이 변하는 것을 특징으로 한다.
청구항 22에 기재된 발명은, 청구항 16 내지 청구항 21 중 어느 하나에 기재된 화상인식장치에 있어서, 조작자의 부위는 복수이고, 표시는 여러 조작자의 부위에 각각 대응하여 복수개 표시되는 것을 특징으로 한다.
청구항 23에 기재된 발명은, 청구항 16 내지 청구항 22 중 어느 하나에 기재된 화상인식장치에 있어서, 가상조작면과의 위치관계에 근거하여 정해지는 2개 이상의 가상조작계층 중 어느 한 영역 안에서 조작자의 동작이 이루어지면, 가상조작계층에 미리 할당된 조작종류별 및 가상조작계층 안에서의 조작자의 동작에 근거하여 조작의 내용을 결정하는 조작내용 결정수단을 더욱 구비한 것을 특징으로 한다.
본 발명에 따르면, 조작자에게 어떠한 입력으로 이어지는 조작을 하고 있는 상태에 있다는 것을 인식시킨 후에 장치에 대하여 동작하게 함으로써, 정확한 조작 판정을 할 수 있게 하는 화상인식장치 및 조작판정방법을 제공하여, 조작에 익숙하지 않은 특수한 제스처를 익히지 않고, 몸 전체 혹은 일부를 동작하여 그 동작을 정확히 조작자가 의도한 조작으로서 판정할 수 있게 된다.
도 1은 본 실시예의 조작면 형성기준인 마커를 바닥면에 표시한 조작입력시스템의 일례를 나타내는 도면이다.
도 2는 본 실시예의 조작입력시스템의 컴퓨터와의 관계를 모식적으로 나타내는 블록도이다.
도 3은 본 실시예의 컴퓨터의 CPU 안에서 처리되는 프로그램의 기능모듈의 일례를 나타내는 블록도이다.
도 4는 본 실시예의 처리의 흐름도이다.
도 5는 본 실시예의 마커의 역할을 구체적으로 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 조작면 형성기준에 의해 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 조작면 형성기준에 의해 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 조작면 형성기준에 의해 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 조작입력지원의 구체적인 표시의 일례를 나타내는 도면이다.
도 10은 본 발명의 다른 일실시예에 따른 조작면 형성기준에 의해 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 11은 본 발명의 또 다른 일실시예에 따른 조작면 형성기준에 의해 형성되는 가상적인 조작면의 모습을 나타내는 도면이다.
도 12는 본 발명의 또 다른 일실시예에 따른 조작입력방법의 구체적인 조작의 일례를 나타내는 도면이다.
도 13은 본 발명의 또 다른 일실시예에 따른 조작입력방법의 구체적인 조작의 일례를 나타내는 도면이다.
도 14는 종래의 대화면을 사용한 제스처에 의한 입력시스템을 설명하는 도면이다.
도 15는 종래의 3D 카메라를 이용한 조작자의 화상취입방법을 나타내는 도면이다.
도 16은 종래의 3D 카메라를 이용한 여러 조작자의 화상을 취입하였을 경우의 화상의 일례를 나타내는 도면이다.
도 17은 본 발명의 또 다른 일실시예에 따른 구체적인 조작장치의 일례를 나타내는 도면이다.
도 18은 본 발명의 또 다른 일실시예에 따른 조작입력시스템의 컴퓨터와의 관계를 모식적으로 나타내는 블록도이다.
도 19는 본 발명의 또 다른 일실시예에 따른 다른 구체적인 조작장치의 일례를 나타내는 도면이다.
도 20은 본 발명의 또 다른 일실시예에 따른 구체적인 조작장치의 조작지시영역의 패턴투영법의 일례를 나타내는 도면이다.
도 21은 본 발명의 또 다른 일실시예에 따른 구체적인 조작입력방법의 구체적인 조작의 일례를 나타내는 도면이다.
도 22는 본 발명의 일실시예에 따른 가상조작면을 이용한 조작입력시스템의 일례를 나타내는 도면이다.
도 23은 본 발명의 일실시예에 따른 가상적인 조작면 및 조작영역의 모습을 나타내는 도면이다.
도 24는 본 발명의 일실시예에 따른 조작자의 움직임과 화면에 표시되는 아이콘의 관계를 나타내는 도면이다.
도 25는 본 발명의 일실시예에 따른 조작입력화면의 구체적인 표시의 일례를 나타내는 도면이다.
도 26은 본 발명의 일실시예에 따른 조작입력화면에서 사용가능한 여러가지 아이콘의 예를 나타내는 도면이다.
도 27은 본 발명의 일실시예에 따른 조작자의 움직임과 화면에 표시되는 아이콘의 관계를 나타내는 도면이다.
도 28은 본 발명의 일실시예에 따른 조작입력화면의 메뉴버튼의 색이 변하는 모습을 나타내는 도면이다.
도 29는 본 발명의 일실시예에 따른 조작입력화면의 메튜버튼의 농담이 변하는 모습을 나타내는 도면이다.
도 30은 본 발명의 일실시예의 변형예에 따른 가상적인 조작면 및 조작자의 조작 모습을 나타내는 도면이다.
도 31은 본 발명의 일실시예의 멀티터치에 따른 가상적인 조작면 및 조작자의 조작 모습을 나타내는 도면이다.
도 32는 본 발명의 일실시예의 멀티터치에 따른 가상적인 조작면 및 투영화상 이미지를 나타내는 횡면도이다.
도 33은 본 발명의 일실시예의 멀티터치에 따른 가상적인 조작면 및 투영화상 이미지를 나타내는 정면도이다.
도 34는 본 발명의 일실시예의 멀티터치에 따른 가상적인 조작면 및 투영화상 이미지를 나타내는 정면도이다.
도 35는 본 발명의 일실시예에 따른 멀티터치 조작에 의해 화면 상에 표시된 화상이 변하는 모습을 나타내는 도면이다.
도 36은 본 발명의 일실시예의 멀티터치에 따른 가상적인 조작면 및 투영화상 이미지를 나타내는 횡면도이다.
도 37은 본 발명의 일실시예의 멀티터치에 따른 가상적인 조작면 및 투영화상 이미지를 나타내는 정면도이다.
도 38은 본 발명의 일실시예의 가상적인 조작면과 침입방지가드의 관계를 나타내는 도면이다.
도 39는 본 발명의 또 다른 일실시예에 따른 구체적인 조작장치의 조작지시영역의 패턴투영법의 일례를 나타내는 도면이다.
도 40은 본 발명의 일실시예에 따른 복수의 조작면 형성기준에 의해 형성되는 복수의 가상적인 조작면의 모습을 나타내는 도면이다.
도 41은 본 발명의 일실시예에 따른 복수의 조작면 형성기준에 의해 형성되는 복수의 가상적인 조작면의 모습을 나타내는 도면이다.
도 42는 본 실시예에 의해 화면에 표시된 도형을 이동시키는 지시를 입력하는 일례의 표시화면을 나타내는 도면이다.
도 43은 본 발명의 일실시예에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
도 44는 본 발명의 침입방지가드가 없는 경우의 일실시예의 가상적인 조작면과 마커의 관계를 나타내는 도면이다.
도 45는 본 발명의 다른 일실시예에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
도 46은 본 발명의 또 다른 일실시예에 따른 조작자의 움직임과 화면에 표시되는 메뉴의 관계를 나타내는 도면이다.
이하, 도면을 참조하면서 본 발명의 실시예에 대하여 상세히 설명한다.
(제1 실시예)
도 1은 본 실시예의 조작면 형성기준인 마커(101)를 바닥면에 표시한 조작입력시스템의 일례를 나타내는 도면이다. 본 실시예의 마커(101)는 조작자와 모니터(111) 사이에 배치되고, 조작자(102)는 이 마커(101)로부터 표시화면측으로 나온 부분의 움직임, 형상이 조작판정의 대상이 되는 것을 의식하여, 조작입력시스템에 대하여 조작을 할 수 있다. 모니터(111)에는 본 시스템이 목적으로 하는 여러가지 어플리케이션용 각종 영상이 표시되는데, 이와 함께 후술하는 바와 같이 조작입력을 지원 즉, 예를 들어 대상이 되는 조작자(102)의 부위 등을 화면의 모퉁이 쪽에 표시하여, 조작자(102)에게 현시점에서 조작으로서 판정될 수 있는 동작을 인식시킬 수 있다. 조작자(102)의 움직임은 비디오 카메라(201)에 의해 촬영되며, 촬영된 영상은 컴퓨터(110)에서 처리되어, 조작자(102)의 마커(101)를 나온 부분의 제스처가 어떠한 조작을 의미하는지를 판정한다. 컴퓨터(110)는 비디오 카메라(201)로부터 얻어진 데이터로부터 조작자(102)의 입체화상을 작성하는 동시에, 마커(101)에 의해 형성되는 가상조작면의 위치를 산출하고, 가상조작면을 기준으로 조작자(102)의 손가락 등이 비디오 카메라(201) 측으로 나와 있는지 여부를 결정하여, 그 부분을 조작의 대상으로 하여 조작 내용을 판정한다.
본 실시예에서는, 화상을 취득하기 위하여 비디오 카메라(201)를 모니터(111)의 상부에 설치하여 촬영하였는데, 필요한 화상이 얻어진다면 이것으로 한정되지 않고, 적외선 카메라 등 본 기술분야에서 알려진 어떠한 촬영수단을 이용하여도 되고, 설치장소도 모니터 부근 어느 곳이든 선택할 수 있다. 여기서, 본 실시예에서는, 비디오 카메라(201)로서 3차원(혹은 3D) 카메라를 이용함으로써, 조작자 및 조작면 기준을 포함하여 입체화상을 작성할 수 있도록 한다. 또한, 적외선 카메라와 비디오 카메라를 융합하여 사용할 수도 있다. 즉, 예를 들어, 후술하는 재귀성 반사재를 마커로서 사용하는 경우, 적외선 카메라는 오직 조작면 형성기준의 캘리브레이션(calibration)용으로 사용하고, 조작자의 움직임은 통상의 비디오 카메라로 포착하는 방식으로 2종류의 카메라를 이용할 수 있다.
더욱이, 본 실시예의 시스템에는 도시하지 않은 스피커 등의 음성출력장치를 설치하고 있어서, 표시내용이나 조작에 관한 정보를 음성으로 조작자에게 전할 수도 있다. 이와 같은 기능을 설치함으로써, 디스플레이에 조작내용을 화상으로 표시할 뿐만 아니라, 지시사항이나 결과을 동시에 음성으로 흘림으로써 조작면 기준을 알 수 있기 때문에, 시각장해가 있는 조작자도 조작을 할 수 있게 된다.
도 5는 마커(101)의 역할을 구체적으로 설명하기 위한 도면이다. 마커(101)는 조작자(102)가 가상조작면을 인식하기 위한 조작면 형성기준으로, 사용자(102)는 도 6에 나타내는 바와 같이, 바닥면에 나타내어진 마커(101)의 위쪽에 조작면이 가상적으로 존재한다고 파악하여 여러가지 조작 예를 들어, 조작을 하려고 하는 경우에는 마커(101)를 기준으로 손(601)을 앞으로 내밀어 제스처를 나타낼 수 있다. 마커(101)의 폭은 조작면의 폭도 된다. 또한, 보조마커(501)는 마커(101)의 전후를 구별하는 마커이며, 보조마커(501)를 이용하여 조작영역을 확정하거나 3차원 퍼스펙티브(perspective) 계산요소로 할 수도 있으며, 형상이나 방향도 자유롭고, 측정에 적합한 영역을 나타내도록 하여도 된다. 이와 같은 마커(101)를 구비한 조작입력시스템에서는, 도 7에 나타내는 바와 같이, 마커(101)의 상부에 조작면(701)이 가상적으로 형성되고, 조작자(102)는 마커(101)로부터 가상적인 조작면(701)을 상정하여 손(601)을 내밀거나, 모니터(111)와 연동시켜서 화면 상의 일부와 조작면(701)을 터치패널에 보여서 터치하듯이 손(601)을 움직임으로써, 입력조작을 쉽게 실시할 수 있다. 또한, 가상조작화면영역(선분(線分)의 수직 위쪽에 위치)의 사용자가 임의의 포즈를 취한 후에, 선분의 앞쪽으로 밀어내는(결정) 동작으로 액션을 결정하거나, 조작을 결정하고 나서 밀어낸다는 판단의 기준으로 할 수도 있기 때문에, 사용자가 인지하기 쉽고, 종래의 터치패널 조작에 가까운 조작성을 얻을 수 있다. 한편, 조작 변화(variation)은 종래의 터치패널보다 압도적으로 늘어난다(양손조작이나, 행동, 여러 손가락 등).
본 실시예에서 가상조작면은, 도 5 내지 도 8 등에 나타내는 바와 같이, 마커의 바로 위에 형성되도록 나타나 있는데, 마커의 위쪽이라고 하여 반드시 바로 위가 아니어도 된다. 즉, 조작면 형성기준인 마커는 시인할 수 있으며, 따라서 조작자가 마커를 시인하여 이것을 기준으로 대략 가상조작면이 존재하는 위치를 추측하여 조작을 할 수 있다. 따라서, 가상조작면은 마커의 위쪽에 형성해야 하지만, 조작자가 볼 때 전후의 위치관계는 조작자나 시스템 전체의 상황에 따라서 변할 수 있다. 일반적으로는 도 44에 나타내는 바와 같이, 예를 들어, 바닥면 등에 마커(4401)를 배치한 경우에는, 조작자(102)의 눈 위치로부터 보아 마커(4401)의 바로 위와 가까운 위치에 서는 경우가 많을 것이기 때문에, 마커(4401)의 조작자(102)와 반대측으로 조금 어긋난 위치(4402)에 가상조작면(701)을 형성하는 편이 팔의 움직임에 여유가 생겨서 자연스러운 조작이 가능할 수도 있을 것이다. 한편, 후술하는 제2 실시예와 같이 도 21에 나타내는 책상 가장자리에 마커(1902)를 붙인 경우에는, 마커를 붙인 쪽과 반대측 가장자리에 의해 조작자는 동작이 제한, 즉 그 가장자리보다 앞면으로는 몸을 조작면에 가까이 할 수 없기 때문에, 책상의 폭을 조작하기 쉽게 적당히 할 수 있다. 이 경우, 가상조작면을 마커의 바로 위에 형성하는 편이 조작자가 가상조작면을 쉽게 인식할 수 있을 것이다.
본 실시예와 같은 조작면 기준은, 캡처한 화면 상에서 광범위하고 적당하게 동시에 측정 마커를 분산배치할 수 있기 때문에, 매우 신뢰성이 높은 측정이 가능해진다. 더욱이, 이와 같은 효과와 함께, 항상 마커가 카메라의 촬영범위 내에 있는 것이 보증되는 캘리브레이션 시스템과 병용할 수 있어서, 공간절약·다기능의 장치를 실현할 수 있고, 기본적으로 첫번째 설치된 캘리브레이션 후, 매번 재측정할 필요가 없다.
마커(101)는, 이와 같이 비디오 카메라(201)에 의해 촬영되어 조작면 형성기준이 되며, 이를 쉽게 하기 위하여, 마커의 소재로는 본 기술분야에서 알려진 여러가지 것을 사용할 수 있는데, 통상은 사용하는 카메라에 따라 적당한 것이 선택된다. 예를 들어, 통상 카메라의 경우, 배경색채로부터 눈에 띄는 특징적인 컬러링이 필요하고, 적외선 카메라를 사용할 때는, 재귀성 반사재 등을 사용할 수 있다. 한편, 레이저광은 흑색부분 등 반사가 적은 색, 소재인 경우에는 반사광을 측정하기 어렵기 때문에, 레이저광에 의해 마커나 재귀성 반사재 등을 사용하지 않고 흑색 바 등을 사용함으로써, 레이저광이 조사된 부분은 반사되지 않고 화면상 결손이 발생하기 때문에, 이와 같이 하여도 바의 위치를 검출할 수 있다.
마커는 이와 같이 적절한 소재를 바닥면에 붙임으로써 사용할 수 있는데, 이것으로 한정되지 않고, 직접 바닥면에 도포하거나, 본 기술분야에서 알려진 임의의 부착방법을 사용할 수도 있다. 또한, 상기 설명에서는 조작면 형성기준으로서 마커(101)를 사용하였는데, 이것으로 한정되지 않고, 임의의 부재나 구조를 입체측정기준으로서 사용할 수 있다. 예를 들어, 마커는 도 1에 나타내는 바와 같은 형태가 아닌 여러가지 형태의 도형으로 할 수 있으며, 몇가지 점에서 일정한 면적을 가지는 마커를 복수개 설치하여도 된다.
도 2는 본 실시예의 화상인식장치의 컴퓨터(110)의 구조를 모식적으로 나타내는 블록도이다. 컴퓨터(110)에는, 모니터(701)의 상부 등에 설치되어 조작자(102) 및 마커(101) 등을 촬영하는 비디오 카메라(201)가 접속되며, 촬영한 화상이 컴퓨터(110)에 입력된다. 촬영에 의해 얻어진 화상은 CPU(210)에서 본 실시예의 특징인 화상 추출, 위치 산출 등이 이루어지고, 산출한 위치로부터 조작면으로부터 비디오 카메라측으로 몸의 일부가 나왔는지 여부를 결정한다. 컴퓨터(110)는 일반적으로 CPU(210)를 가지고, ROM(211) 등에 기억된 프로그램을 RAM(212) 상에서 실행하여, 화상인식장치로부터 입력한 화상에 근거한 처리결과를 모니터(111) 등에 출력한다. 본 실시예에서 모니터(111)는 주로 조작자가 체험하려고 하는 여러가지 어플리케이션에 의해 제공되는 각종 영상을 출력하는 것인데, 후술하는 바와 같이 조작입력의 지원이 되는 정보도 표시한다.
도 3은 본 실시예의 컴퓨터(110)의 CPU(210) 안에서 처리되는 프로그램의 기능 모듈의 일례를 나타내는 블록도이다. 도 3에 나타내는 바와 같이, 본 시스템에서의 처리는 화상판독부(301), 화상추출부(302), 화상위치산출부(303) 및 조작판정부(304)에 의해 실행된다. 한편, 본 실시예에서는 비디오 카메라(201)로부터의 화상을 받고 나서 데이터를 출력할 때까지의 처리를 4개의 모듈에 의해 실행하였는데, 이것으로 한정되지 않고, 그 밖의 모듈을 사용하거나, 혹은 보다 적은 모듈로 처리할 수도 있다.
(본 실시예의 처리)
본 실시예에서는, 도 8에 나타내는 바와 같이, 비디오 카메라(201)로 촬영된 마커(101)를 기준으로, 마찬가지로 촬영한 조작자(102)의 위치를 결정하는 동시에, 마커(101)의 위쪽에 조작면(701)이 형성되어 있다고 가상하여, 가상적인 조작면(701)과 조작자(102)의 위치관계를 산출하는 처리를 한다. 본 실시예에서는 이와 같은 처리를 하는 전제로서, 본 기술분야에서 알려진 초기설정 예를 들어, 본 실시예의 화상인식장치가 새로 설치된 경우를 상정하면, 사전준비로서 이용할 비디오 카메라(201)의 이용렌즈의 비틀림, 마커(102)와 렌즈의 거리 등의 정보를 장치에 입력하여 둘 필요가 있다. 더욱이, 임계치 설정 등을 미리 조정하여 둔다. 시스템의 초기설정이 종료되면 본 실시예의 처리를 하게 되는데, 이 처리에 대해서는 도 4를 참조하여 아래에 설명한다.
도 4는 본 실시예의 처리의 흐름도이다. 먼저, 화상판독부(301)에서 비디오 카메라(201)로 촬영된 데이터를 판독하고(S401), 그 데이터로부터 마커(101) 예를 들어, 컬러화상인 경우, 화상추출부(302)에 의해 미리 마커로서 결정하여 둔 색영역을 빼내어, 마커(101)의 화상만 추출한다(S402). 구체적으로는, 본 실시예에서는, 컬러-NTSC 신호의 휘도신호(Y)와 색차신호(U, V) 각각에 상하임계치를 설정하고 모든 임계치를 만족하는 화소를 추출하는데, 이것으로 한정되지 않고, 본 실시예에서 알려진 어느 방법이든 사용할 수도 있다. 이와 같이 하여 마커(101)의 위치가 3차원적으로 파악되면, 가상적인 조작면이 어떠한 것이 되는지를 산출하여 데이터베이스에 기억시켜 둔다.
여기서, 조작면의 형상은 도 8 등을 참조하면 바닥면으로부터 수직으로 세워진 직사각형이 되는데, 이것으로 한정되지 않고, 마커(101)의 형상이나 배치의 방법으로 여러가지 형상, 크기의 조작면을 형성할 수 있다. 예를 들어, 도 8에 나타내는 마커(101)는, 모니터(111)의 면에 평행한 일정한 길이의 직선이기 때문에, 가상적인 조작면은 조작면(701)과 같이 되는데, 마커를 비스듬하게 일정한 각도를 가진 직선으로 할 수도 있고, 그 경우, 형상은 도 8에 나타내는 조작면(701)과 같지만, 방향이 모니터(111)와 일정한 각도를 가지고 비스듬하게 놓이게 된다. 이 경우에도, 조작자(102)는 마커에서 비스듬하게 배치된 조작면이 가상적으로 형성되어 있다고 파악할 수 있기 때문에, 그 조작면을 의식하여 조작을 하면 된다. 또한, 입체적으로 보조마커를 배치하여, 바닥면에 대해서도 일정한 각도를 가진 경사면의 조작면으로 하거나, 곡면 조작면으로 할 수도 있다. 한편, 본 실시예에서는 마커 등에 의해 형성된 가상적인 조작면을 기준으로 처리하도록 설명하였는데, 당업자라면 이해할 수 있듯이, 실제 계산처리에서는 조작면으로부터 조작자의 위치를 계산하지 않아도 된다. 가상적인 조작면은 어디까지나 조작자가 의식하여 조작입력을 하게 하기 위한 것이기 때문이다.
컬러 추출이 종료되면, 더욱이 보조마커(501)도 마찬가지 처리를 하여 추출한 후, 화상위치산출부(303)에 의해, 추출한 마커부분을 흑백 2치화하고, 비디오 카메라(201)가 촬영한 화상으로부터 추출한 마커의 가로세로의 변을 구성하는 픽셀수를 계산한다. 취득한 화상의 가로세로 변의 길이나 경사를 기준이 되는 화상과 비교하여 촬영 공간의 비틀림이나 스케일(scale)을 산출한다. 본 실시예에서는, 비틀림이나 스케일을 산출하는 경우, 그 밖에 적어도 4점 이상의 부분에 마커를 설치하여 기준으로 할 수도 있다. 예를 들어, 4점 이상의 기준점이 있으면 그것을 이어서 선분으로 하고, 캘리브레이션하는 것이 가능하다.
이와 같은 준비 결과, 실제로 조작자(102)의 화상을 추출하고(S403), 조작판정부(304)는 조작입력시스템의 마커(101)의 비디오 카메라(201)로부터 보아 안쪽에 선 조작자(102)와 마커(101)의 상대관계를 이용하여(S404), 조작자(102)의 일부가 조작면의 비디오 카메라(201)로부터 보아 앞에 오면 조작이 개시되었다고 판단하고(S405), 각부의 형상(손을 벌리고 있다, 혹은 손가락을 2개 세우고 있다 등)이나 움직임으로부터 그 형상, 움직임이 미리 상정된 어느 조작인지를 판정한다(S406). 여기서, 어떠한 형상, 움직임이 어떠한 조작에 대응하는지는, 시스템 독자적으로 결정할 수도 있고, 본 기술분야에서 알려진 어느 방법을 사용하여 결정할 수도 있다. 판정한 결과는 그와 같은 조작의 입력이 있었던 것으로 하여 컴퓨터(110)에서 실행되고(S407), 원래 가상조작면으로부터 앞쪽으로 손이 나와 있지 않은 경우, 조작은 이루어지지 않았다고 판정하여 종료한다(S408). 조작내용의 판정은 여기서 사용한 방법으로 한정되지 않고, 본 실시예에서 알려진 어느 방법이든 사용할 수 있다. 또한, 구체적인 판정방법도 생략하였는데, 일반적으로는 미리 정해진 제스처 등의 조작자의 신체의 형상 및 움직임과, 그것이 의미하는 조작내용을 데이터베이스 등에 저장하여 두고, 화상추출후에 이 데이터베이스에 접속하여 조작내용을 판정한다. 이 때도 물론, 화상인식기술이나 인공지능 등을 본 기술분야에서 알려진 방법으로 이용하여, 판정정밀도를 향상시킬 수도 있다.
여기서, 조작자의 상과 조작면형성기준의 화상을 대비하고, 비틀림 대응정보인 미리 산출하여 둔 화상의 비틀림이나 스케일에 근거하여, 조작자의 각 부위의 위치나 자세를 판정한다. 여기서는, 자세히 기재하지 않았지만, 마찬가지로, 조작자의 상도 본 기술분야에서 알려진 어느 방법에 의해 추출한다. 예를 들어, 미리 조작자의 배면을 특징적인 것으로 해둠으로써, 조작자의 상을 추출하기 쉽게 하는 등을 생각할 수 있다.
또한, 본 실시예에서 가상조작면의 형성을 조작자의 동작을 인식할 때 실행하는데, 이는 예를 들어 시스템 전체가 소규모이며, 비교적 빈번하게 조작면 형성기준과 카메라의 위치가 변하는 경우에 유효하지만, 박물관 전시와 같이 한번 설정하면 위치관계가 그다지 빈번하게 변경되지 않는 경우 등에는, 미리 가상조작면을 추출하여 두고 어느 방법으로 수치화해서 기억시켜 두어서, 조작자가 입력할 때 처음부터 추출하지 않고 조작을 판정할 수도 있다. 이와 같은 처리를 함으로써, 가상조작면을 형성하는 처리를 생략하여 전체적으로 효율적인 처리가 가능하다.
(조작입력의 지원)
이상 설명한 바와 같이, 단지 3차원 비디오 카메라 및 마커(101)와 같은 조작면 형성기준을 설치하는 것 만으로, 조작자는 공간상에 터치패널과 같은 조작면을 지각, 상정할 수 있으며, 이 조작면에 대하여 여러가지 조작을 함으로써 신체 전부 또는 일부를 이용한 조작입력이 가능해지는데, 더욱이 가상적인 조작면에 대한 조작자의 영상을 모니터(111)에 표시하는 등 조작입력을 지원함으로써, 보다 쉽게 본 실시예의 시스템을 활용할 수 있다.
도 9는 이와 같은 조작입력의 지원이 되는 가이던스(guidance)를 모니터(111)에 표시하고 있는 일례를 나타내는 도면이다. 예를 들어, 모니터(111)의 중심부에 표시되어 있는 화상 중 어느 곳을 포인터로 가리키는 경우, 조작자는 가상적인 조작면을 표시된 화상과 겹치고, 손가락을 내밀므로써 원하는 장소를 가리킬 수 있는데, 그와 같이 가리키는 모습을 도 9에 나타내는 포인터(901)와 같이 표시함으로써, 조작자는 현재 이루어지고 있는 조작을 인식하여 확인하면서 다음 조작을 실행할 수 있다. 이 예에서 말하면, 예를 들어, 포인터(901)는, 조작면으로부터 손가락을 내밀면 화면에 표시되고 움츠리면 사라지도록, 혹은 농담을 주어 표시하도록 되어 있으며, 손의 움직임과 모니터(111)에 표시되는 포인터의 모습으로부터 조작자가 자연스러운 형태로 본 실시예의 입력방법을 실행할 수 있다. 마찬가지로, 조작자 자신의 모습을 도 6 내지 도 8에 나타낸 바와 같은 형태로 나타낸 조작화면(902)을 모니터(111)의 오른쪽 위의 모퉁이에 작게 표시하여, 현재 어떠한 움직임을 하여 시스템에서는 어떠한 조작이라고 판정되고 있는지를 표시할 수 있고, 또한 손의 움직임을 그래프화한 절선 그래프(903)를 나타내어, 손의 전후의 움직임이 어떻게 되고 있는지를 조작자 자신이 의식하게 하는 등에 의해, 보다 정확한 조작을 기대할 수 있다. 또한, 도시하지 않았지만, 시스템에서 사용할 수 있는 제스처를 가이던스에 표시하여, 그에 따라 조작입력을 하도록 조작자를 재촉하도록 하여 지원할 수도 있다.
이상, 본 실시예를 사용하면, 조작자는 미리 제스처를 기억하거나 결정해둘 필요없이, 그 움직임에 의해 시스템을 조작할 수 있을 뿐 아니라, 조작자의 자세나 각 부, 예를 들어 손의 움직임을 알 수 있기 때문에, 신체 전체를 사용한 게임에 이용하여 이른바, 복합현실감(MR)을 실현할 수도 있다.
(제2 실시예)
본 실시예는 기본적으로 상술한 제1 실시예의 시스템 구성과 같은데, 보다 구체적인 사용상황에 따른 것이다. 즉, 본 실시예에서는, 제1 실시예의 시스템 및 처리에 근거하여, 일정한 입체물 예를 들어, 도 21에 나타내는 책상모양의 입체물(1901)에 마커(1902, 1903)를 사용하여 조작면 형성기준으로 함으로써 가상조작면(701)을 형성하고, 이에 대하여 예를 들어, 손가락(601) 등으로 조작함으로써 입력조작을 가능하게 한다. 이하, 본 실시예에서는 입체물의 예로서 거실의 테이블을 사용하고, 가정내 소파 등에 착석하여 조작하는 경우를 상정하여 설명하는데, 이것으로 한정되지 않고, 연단, 받침대, 혹은 도 17에 나타내는 바(1702)와 같은 가드(guard) 등 여러가지 용도의 것을 사용할 수 있다. 여기서, 모니터(111)는 가정의 거실 등에 놓인 대화면 TV 등을 상정한다.
또한, 도 21에 나타내는 바와 같은 마커부착 받침대를 사용하는 경우, 후술하는 도 23에 나타내는 바와 같이, 예를 들어 마커(1903)를 이용하여 조작자(102)의 상반신만을 대상영역(2301)으로 하고, 가상조작면(701)으로부터 앞면으로 나온 부분의 움직임만을 조작으로서 판정할 수도 있다. 이와 같이 함으로써, 조작자가 도 21에 나타내는 바와 같은 받침대를 몸의 받침으로 하여 입력조작을 하는 경우, 하반신 특히, 발이 가상조작면으로부터 앞으로 나와도, 어디까지나 상반신의 움직임만을 조작으로서 인식하도록 할 수 있다.
여기서, 본 실시예에서의 마커와 가상조작면의 관계를 도 38 및 도 39를 참조하여 설명한다. 본 실시예에서는, 기본적으로 책상이나 받침대 등의 가장자리에 마커를 사용하여, 마커의 위쪽에 형성된 가상조작면에 조작자가 접촉하거나 손을 이동시켜서 시스템에 입력조작인 것을 인식시킨다. 이 때, 책상이나 받침대의 마커가 붙지 않은 가장자리는 조작자의 동작을 제한하고, 적당히 들어올린 손이 가상조작면에 자연스럽게 닿는 것을 지원한다. 이러한 개념을 도 38을 참조하여 설명하면, 조작면 형성수단인 마커(3801)의 위쪽에 가상조작면(701)이 형성되는데, 한편 조작자(102)는 어떠한 동작제한수단(3802)에 의해 가상조작면으로부터 일정한 거리가 유지되어, 자연스럽게 앞으로 나온 손(601)에 의해 가상조작면에 대하여 조작을 할 수 있다. 본 실시예에서는, 가상조작면(701)은 마커(3801)의 바로 위에 형성되어 있는데, 제1 실시예에서 설명한 바와 같이, 마커(3801)를 기준으로 전후로 이동시킬 수도 있다. 예를 들어, 동작제한수단(3802)은 기본적으로 고정이기 때문에, 조작자(102)의 체형에 따라서는 마커(3801)의 바로 위에 가상조작면이 형성되면, 너무 앞이거나, 너무 안이어서 사용감이 나빠질 수도 있다. 이 경우, 조작자마다 마커(3801)로부터 가상조작면이 형성되는 위치를 전후로 이동시킬 수 있다.
도 39는 이와 같은 동작제한수단으로서 가이드 바를 사용한 경우의 일례를 나타내는 도면이다. 가이드 바(3902)는 이와 같은 조작판 위에서 동작할 때의 불안정을 방지하기 위하여, 통상은 난간으로서 혹은 몸을 기댈 수 있도록 되어 있는데, 본 실시예의 조작입력을 할 때는 동작제한수단으로서 작용하여, 가상조작면을 사용한 양호한 조작감에 일조한다.
도 10을 참조하면, 본 실시예에서 조작자(102)는 착좌 상태에서 대화면 TV를 조작하는데, 조작면 형성기준은 테이블(1001) 위에 설정된 마커(1002) 및 보조마커(1003, 1004)가 되고, 조작자(102)는 이 마커들에 의해 대충 조작면(701)이 마커(1002)의 위쪽에 형성되어 있는 것으로 상정하여, 그 조작면에 여러가지 접속을 하여 원하는 조작을 가능하게 한다. 상술한 바와 같이, 예를 들어, 대화면 TV(111)의 화면과 조작면(701)을 겹치고 화면 위에 채널 배열을 표시하여, 조작면(701) 위로 손가락(601)으로 가리킴으로써 원하는 채널로 전환할 수 있다.
여기서, 보조마커(1003)는 조작면의 기울기를 결정하는 것으로, 도 10을 참조하면, 테이블의 다리에 설치되어 있기 때문에, 테이블(100)의 윗면에 거의 수직하고, 가상조작면도 테이블(1001)의 윗면에 수직하게 형성되어 있다. 따라서, 보조마커(1003)를 수직과 다른 각도로 설치하였을 경우, 조작면은 수직하지 않고 비스듬하게 형성되게 된다. 또한, 보조마커(1004)는 전후의 판단 및 퍼스펙티브 계산을 하기 위한 것이다. 이와 같은 본 실시예를 사용함으로써, 가정에서 편안하게 TV 시청을 즐길 때, TV를 조작하려고 하나 리모콘이 보이지 않을 때에도 일일이 리모콘을 찾지 않고 원격조작이 가능해진다.
(제3 실시예)
본 실시예는 기본적으로 상술한 제1 실시예의 시스템 구성과 같은데, 보다 구체적인 사용상황에 따른 제2 실시예와는 다른 시스템을 대상으로 한다. 즉, 본 실시예에서는 제2 실시예와 달리, 예를 들어 도 11에 나타내는 바와 같이 병원내 침대 등에 누워서 조작하는 경우를 상정한다. 여기서, 모니터(111)는 병실에 놓인 TV 등을 상정한다.
본 실시예에서는 조작자(102)는 침대에서 조금 일어난 상태에서 TV를 조작하는데, 조작면 형성기준은 침대용 테이블(1102) 위에 설정된 마커(1101) 및 보조마커(1103)가 되고, 조작자(102)는 이 마커들에 의해 대충 조작면(701)이 마커(1101)의 위쪽에 형성되어 있는 것으로 상정하고, 그 조작면에 여러가지 접속을 하여 원하는 조작을 가능하게 한다. 구체적으로는, 도 21에 나타내는 바와 같이, 마커(1101)로부터 TV(111)측으로 손가락을 내밀어 조작중인 것을 시스템이 인식하게 하는데, 본 실시예에서는 손가락(601)의 형상에 의해 조작내용을 나타낸다. 도 13에 나타내는 바와 같이, TV를 향하여 오른손 손가락(1301)으로 '1'을, 왼손 손가락(1302)으로 '2'를 나타냄으로써, 본 실시예의 조작입력시스템에서는 '21'채널로 바꾸는 지시라고 판단한다. 이와 같이, 조작면(701) 위에 손가락(601)으로 가리킴으로써 원하는 채널로 전환할 수 있으며, 가드에 의해 가상조작영역을 인식하기 쉬워진다. 사용자가 조작한다 하지 않는다는 의사를 판정라인(긴변)으로부터 앞으로 내밀고, 내밀지 않음으로써 확인할 수 있으며, 특정한 제스처와 제스처의 중간동작부분을 판정라인의 안쪽에서 실행하고, 제스처 결정후에 판정라인으로부터 카메라측으로 내밀므로써, 종래의 문제점이었던 애매함이나 오류를 피할 수 있다.
(제4 실시예)
본 실시예에서는, 상술한 제1 실시예에 더하여, 보조적인 인력방법을 조합함으로써, 더욱 조작이 직감적으로 인식하기 쉬운 장치를 제공한다. 즉, 상술한 제1 실시예의 화상인식장치에 마루매트센서를 접속하고, 마루매트에서 동작모드를 지시하면서 3차원 촬영장치를 사용한 화상인식장치에 의해 제스처 등의 조작자의 조작을 보다 확실하게 인식한다. 구체적으로는, 예를 들어, 도 17에 나타내는 바와 같은 마루매트(1701) 위의 L 또는 R을 밟으면 조작모드로 들어가서 조작자의 동작을 제스처로서 인식처리를 하고, 그 이외일 때는 조작자의 동작은 대상 외라고 하여 처리를 하지 않는다. 이 경우, 가상조작면은 바(1702, 1703)를 기준으로 형성된다.
도 18은 본 실시예의 화상인식장치의 컴퓨터(110)의 구조를 모식적으로 나타내는 블록도이다. 컴퓨터(110)에는, 모니터의 상부 등에 설치되어 조작자 및 바(1702, 1703)에 붙은 마커 등을 촬영하는 비디오 카메라가 접속되며, 촬영한 화상이 컴퓨터(110)에 입력된다. 촬영에 의해 얻어진 화상은 CPU(210)에서 본 실시예의 특징인 화상 추출, 위치 산출 등이 이루어지고, 산출한 위치로부터 조작면으로부터 비디오 카메라 측으로 몸의 일부가 나왔는지 여부를 결정한다. 컴퓨터(110)는 일반적으로 CPU(210)를 구비하고, ROM(211) 등에 기억된 프로그램을 RAM(212) 상에서 실행하여, 화상인식장치로부터 입력한 화상에 근거한 처리결과를 모니터 등에 출력한다. 본 실시예에서 모니터는 주로 조작자가 체험하려고 하는 여러가지 어플리케이션에 의해 제공되는 각종 영상을 출력하는 것인데, 후술하는 바와 같이 조작입력의 지원이 되는 정보도 표시한다. 도 18을 참조하면, 더욱이 본 실시예의 조작입력장치는, 표면에 마루매트센서(1701)가 깔려 있고, 예를 들어, "L" 또는 "R"로 표시된 영역을 발로 밟아서 압력이 가해지면 그 위치에 따른 신호를 출력한다. 이와 같이, 발로 조작을 하는 경우에는, 조작자에 따라서는 불안정해질 가능성이 있기 때문에, 바(1702)는 이와 같은 경우에도 손으로 잡아서 자세를 안정시킬 수 있기 때문에 유효하다.
본 실시예의 마루매트센서는 본 기술분야에서 알려진 어떤 기술이라도 이용할 수도 있다. 예를 들어, 압력센서를 이용하거나 정전기를 이용한 센서 등 그 밖의 기술을 이용하여도, 다리가 놓인 위치를 나타내는 신호를 출력할 수 있는 것이면 어느 기술이든지 사용할 수 있다. 출력한 신호는 CPU(1802)에서 정보입력에 의해 처리되고, 즉 "R" 혹은 "L" 등의 데이터로 변환되어, 변환된 데이터는 인터페이스(1803)를 통하여 컴퓨터(110)에 송신된다. 컴퓨터(110)는 마루매트센서로부터의 데이터와 상술한 가상조작면에 대하여 이루어진 동작을 융합하여 조작자가 하려는 조작을 특정하는 처리를 실행한다. 즉, 예를 들어, "R"을 밟으면서 실시한 동작이 조작을 의미하는 것으로 하면, 조작자는 어떠한 조작을 하려고 할 때만 "R"을 밟으면 되고, 컴퓨터(110)에 조작으로서 인식시키려고 하는 경우에는 "R"을 밟으면서 미리 정해진 제스처를 나타냄으로써 컴퓨터(110)는 조작자의 동작 중에서 적절히 시스템에 대한 조작을 특정하여 처리할 수 있다.
도 17에서는 바(1702, 1703)를 나타내었는데, 예를 들어, 도 19에 나타내는 바와 같은 책상모양의 입체물에 마커를 사용하여 조작면 형성기준으로 할 수도 있다. 이 경우, 도 17에 나타내는 바와 같이 주로 발로 지시하는 "R"이나 "L"이 나타내어진 영역(1710)이 배치되어 있다. 이와 같은 "R" 등이 나타내어진 영역(1710)은, 마루매트나 바닥면에 기입되거나 인쇄되거나 혹은 시트를 붙일 수 있는 것 외에, 도 20에 나타내는 바와 같이, 패턴을 투영하기 위한 투영수단인 LED 스포트라이트나 액정 프로젝터 등을 바 지지부(1703) 등에 설치하여 마루매트센서 상에 투영하면, 투영라이트(2002)가 마루매트 상에 입력문자 등의 패턴을 형성할 수 있다. 즉, 바 지지부(1703)에 투영용 유닛을 설치하여 비스듬하게 투영하도록 하면, 조작자의 발(2001)에 방해받지 않기 때문에 그림자로 마루매트센서 패턴이 잘 투영되지 않는 것을 피할 수 있다. 이와 같이 패턴을 투영하면, 입력하는 데이터에 따라서 조작자가 알기 쉬운 패턴을 동적으로 형성할 수 있다. 한편, 도 19에 나타내는 예에서는 바닥면에 표시된 패턴(1710)을 밟아서 조작개시를 알릴 수 있기 때문에, 본 실시예의 가상조작면을 사용하지 않아도 제스처에 의해 여러가지 입력을 실시할 수도 있다.
(제5 실시예)
본 실시예에서는, 상술한 제1 실시예와는 기본적인 개념은 일치하지만, 다른 방법에 의해 마찬가지의 효과를 얻는 발명을 사용한다. 즉, 본 실시예도 조작자가 공간상에 가상적으로 형성된 가상조작면을 기준으로, 거기에 마치 터치패널과 같은 입력기기가 존재하는 것처럼 조작함으로써, 그 조작내용을 확실하게 판정하려는 것인데, 제1 실시예와는 달리, 조작자가 지각할 수 있는 조작면 형성기준, 예를 들어 도 1의 마커(101) 등을 사용하지 않고 조작을 판정하는 것이다. 이 때문에, 본 실시예에서는 상술한 제4 실시예에서 사용한 것과 같은 보조적인 입력방법을 조합함으로써, 조작자가 자신의 조작을 시스템으로 어떻게 인식하고 있는지를 직감적으로 인식하기 쉬운 장치를 제공한다.
기본적으로는, 본 실시예의 원리는 가상조작면에 대한 조작자의 부위 예를 들어, 손 혹은 손가락의 위치의 움직임에 맞추어서 모니터(111) 상에 조작자가 어떠한 조작을 하려고 하고 있는지를 비쥬얼로 표시함으로써, 조작자를 유도하여 정확한 조작입력을 가능하게 한다는 것이다. 구체적으로는, 도 22에 나타내는 바와 같이, 제1 실시예에 있는 바와 같은 마커(101)가 존재하지 않기 때문에 조작자(102)는 기본적으로 어디에 가상조작면이 형성되어 있는지 인식할 수 없다. 그래서, 마커 등의 기준면을 사용하지 않은 조작자의 직감을 이용함으로써, 조작자가 일정한 범위 내에서 가상조작면의 존재를 인식할 수 있도록 하고, 그것을 기준으로 조작함으로써 시스템측에서 그 조작을 판정할 수 있게 한다.
이 점에 대하여 도 23 및 도 24를 참조하여 설명하면, 본 실시예에서는, 미리 조작자가 일정한 스탠드 위치에서 조작할 수 있는 경우에는 미리 설정된 그 스탠드 위치에서 가상조작면에 대한 조작이 적합한 위치, 혹은 조작자의 스탠드 위치에 맞추어서 적절히 적당한 위치에 가상조작면(701)을 형성한다. 마찬가지로, 도 23에 나타내는 바와 같이, 조작자(102)의 적당한 조작범위(2301)를 설정하여 둔다. 상술한 바와 같이 모니터(111)에는 현재 어떠한 조작이 이루어지려고 하고 있는지를 여러가지 형태로 나타냄으로써, 조작자가 자신의 조작을 인식할 수 있게 한다.
이와 같은 형태 중 하나에 대하여 도 24를 참조하여 설명하면, 조작자는 시스템에 대하여 어떠한 조작을 하려고 하는 경우, 본 실시예에서는 모니터(111)에 대하여 팔(2401)을 전후로 움직임으로써 손 혹은 손가락(601)의 위치가 변하기 때문에, 그 모습을 모니터(111)에 표시하면, 내민 손가락(601)이 일정한 위치까지 왔을 때, 모니터(111)의 화면 상에서 지시된 항목이 실행되는 등 시스템으로서 일정한 처리가 이루어진다. 도 24의 예에서는, 가상조작면(701)에 대한 손가락(601)의 위치(깊이)에 의해 아이콘의 크기가 변하도록 되어 있으며, 가상조작면에 가까워질수록 아이콘이 작아져서 조작자가 자신의 조작에 의해 일정한 장소에 포커스되고 있는 것을 인식할 수 있게 되어 있다. 그리고, 아이콘이 가장 작아진 위치에서 조작이 확정되어 그에 따른 처리가 실행된다.
이상의 조작 결과에 의해 아이콘이 모니터(111)의 화면(2501) 상에서 어떻게 변하는가를 나타낸 것이 도 25이다. 도 25를 참조하면, 모니터(111)의 화면(2501)에는 예를 들어, TV 방송표가 표시되어 있고, 어느 방송에 관한 조작을 하려고 하고 있다. 이와 같은 상태에서 예를 들어, 조작자가 '설정변경'의 메뉴 버튼을 선택하려고 하는 경우, 조작자는 상술한 바와 같이 모니터(111)를 향하여 손가락(601)을 내밀어서 선택하려고 한다. 본 실시예에서 조작자는 가상조작면이 어디에 있는지 정확하게 인식하지 못하지만, 손가락(601)이 가상조작면에 대하여 일정한 거리까지 가까워지면 화면(2501)에 아이콘(2503)이 표시된다. 이 아이콘은 손가락의 위치가 아직 멀기 때문에, 도 24에 나타내는 아이콘 중 오른쪽에 있는 비교적 큰 것이 표시된다. 조작자가 팔(2401)을 더 뻗으면, 이 아이콘은 목표인 선택항목 '설정변경'에 가까워지면서 작아져서 일정한 크기의 아이콘(2502)일 때 아이콘이 가리키는 위치의 항목이 선택되었다고 판정된다.
이와 같이, 도 25의 예에서는, 손가락(601)의 위치에 따라서 화면(2501)에 표시되는 아이콘의 크기를 변화시킴으로써, 조작자는 자신의 동작이 시스템에서 어떻게 인식되고 있는지를 파악할 수 있으며, 가상조작면의 대략의 위치를 인식하여 직감적으로 메뉴 선택 등의 조작을 할 수 있다. 여기서, 손가락(601), 팔(2401)을 포함하는 조작자 전체 및 각 부위의 위치나 크기는, 제1 실시예와 마찬가지로 3차원 카메라를 사용함으로써 추출할 수 있다. 이에 의해, 화면 안의 물체는 깊이도 포함하여 파악할 수 있기 때문에, 이 정보들에 근거하여 가상조작면과의 거리나 위치관계를 산출할 수 있다. 단, 본 실시예에서 사용하는 3차원 카메라나 위치의 추출, 거리 산출 등은 본 기술분야에서 알려진 어느 방법이든 사용할 수 있기 때문에, 여기서는 그 설명을 생략한다.
본 실시예에서 화면에 표시되는 아이콘은 원형으로 조작자의 동작에 맞추어서 크기가 변하는데, 이것으로 한정되지 않고, 도 26에 나타내는 바와 같이 여러가지 형태의 아이콘을 사용하여 여러가지로 변화시킬 수 있다. 즉, 도 26을 참조하면, (1)은 손가락 형태의 아이콘으로, 상술한 도 25의 예와 마찬가지로 가상조작면에 가까워질수록 작아지도록 되어 있다. (2)는 원형으로 점차 작아지도록 되어 있는데, 입력 혹은 선택이 확정되면 특별한 형상으로 변하여 확정한 것이 나타난다. 이 아이콘이나 다른 아이콘의 경우에도 형상이나 크기의 변화 대신, 혹은 그에 맞추어 아이콘의 색을 바꿀 수도 있다. 예를 들어, 청색, 녹색, 황색, 적색 등 한색계로부터 난색계로 변화시킴으로써 직감적으로 조작이 포커스되어 확정되는 것을 조작자가 인식할 수 있다. (3)은 X와 같은 형상으로, 멀리 있는 경우에는 클 뿐만 아니라 선염(渲染)이 들어가 있고, 가까워짐에 따라서 아이콘의 크기가 작아지는 동시에, 선염이 지워져서 샤프한 형상이 된다. (4)는 아이콘 전체의 크기는 변하지 않고, 안에 그려진 도형의 형상이 변하여 포커스되는 모습을 인식하도록 되어 있다. 이 경우, 도형의 색도 변화시킬 수 있다. 도 26에 나타내는 (5)도 형상을 변화시키는 것이다. 도 26에서, 손가락의 움직임에 따라 아이콘의 형상이나 색 등이 변해서, 가상조작면을 넘으면 그 순간에 란(2601)에 나타내는 바와 같이 여러가지 형상이나 색으로 변화시키거나, 점멸시켜서 조작으로서 판정된 것을 조작자가 인식하도록 할 수도 있다. 또한, 도시하지 않았지만, 그 밖의 아이콘의 변화로는 처음에 투명하다가 손가락이 가상조작면에 가까워짐에 따라 불투명해지는 변화도 효과적이다.
여기서, 아이콘의 변화 중, 특히 형상은 그다지 변화시키지 않고 색이나 농도를 변화시키는 경우, 도 27에 나타내는 바와 같이, 아이콘은 그다지 이동하지 않고 손가락(601)이 가까워지면 색이 난색계가 되거나 짙어져서 입력을 확정할 수 있다.
또한, 이상의 예에서는 조작의 판정 상황을 확인하기 위하여 아이콘을 표시하여 조작자의 동작에 따라 색이나 형상을 변화시켰는데, 예를 들어, 도 28 및 도 29에 나타내는 바와 같이, 원래 메뉴와 같이 미리 지시하는 위치가 고정되어 있는 경우에는, 일부러 아이콘을 표시하지 않아도 손가락(601)이 가리키는 위치가 메뉴의 어느 항목 버튼에 가장 가까운가에 따라 결정하고, 손가락(601)의 움직임 특히 가상조작면으로부터의 거리에 따라 가리켜진 항목 버튼을 칠하는 색 또는 칠하는 농도를 변화시킴으로써 가상조작면의 위치를 인식하게 하여 조작입력을 용이하게 할 수 있다. 도 28은 손가락(601)이 가까워짐에 따라 선택된 버튼의 색을 한색계로부터 난색계로 변화시키는 예를 나타내는 도면이다. 이러한 예에서 색의 선택으로는 예를 들어, (2) 청색, (3) 녹색, (4) 황색, (5) 적색과 같이 하면 조작자는 직감적으로 적색이 되면 확정된다고 인식할 수 있다. 마찬가지로, 도 29는 버튼의 칠해진 농도를 변화시키는 예를 나타내는 도면이다.
마찬가지의 메뉴의 선택예로서 도 43에 나타내는 바와 같은 일례도 있으므로 설명하면, 예를 들어, 도 24의 손가락(601)이 가상조작면(701)을 넘은 위치까지 늘어나면, 화면 상에 메뉴(4301)가 표시되고, 그 손가락(601)의 X-Y방향의 위치에 따라 항목(4302)이 선택되어 있는 것을 나타낸다. 그 후, 손가락(601)을 좌우상하로 움직임으로써 메뉴의 선택항목이 이동하여 원하는 항목에서 일정 시간 정지하면 선택된 항목에 따른 처리가 이루어진다. 또한, 선택이 실행되기 전에 손가락(601)이 가상조작면(701)보다 뒤쪽으로 움직이면 메뉴를 소거할 수도 있다.
더욱이, 다른 입력조작의 예를 도 42를 참조하여 설명한다. 도 42는 본 실시예에 의해 화면에 표시된 도형을 이동시키는 지시를 입력하는 일례의 표시화면을 나타내는 도면이다. 지시는 조작자의 손 또는 손가락을 가상조작면에 대어 움직임으로써 이루어진다. 먼저, 손가락 등을 화면에 가까이 대면, 화면(4211)의 아이콘(4201)으로부터 화면(4212)의 아이콘(4202)으로 아이콘을 축소시켜서 가상조작면에 접근하고 있는 것을 나타낸다. 그 후, 가상조작면에 닿으면 화면(4213)의 아이콘(4203)과 같이 예를 들어, 색을 변화시켜서 방치하고, 그 상태에서 위를 향하여 손가락 등을 움직이면, 화면(4214)의 러버밴드(rubber band)(4204) 등을 표시하여 이동방향을 나타냄으로써, 조작자가 자신의 조작을 확인할 수 있다. 또한, 오른쪽으로 손가락을 움직이면, 화면(4215)의 러버밴드(4205)를 표시할 수 있다. 이와 같이, 가상조작면에 손가락 등이 도달한 후의 상하좌우의 드래그 거리에 따라 신축하는 러버밴드(상기 도면에서는 화살표)를 출현시켜서(아이콘(4203)의 위치는 가상조작면으로부터 빠질 때까지 고정), 신축거리에 따라 이동속도, 늘어나는 각도에 따라서 3D 공간 안에서의 이동방향을 변화시킬 수 있다(화살표 선단이 팔 끝이나 손가락 끝의 움직임에 추종함).
이상, 도 22 및 도 23에 나타내는 바와 같이 조작자와 모니터가 거의 같은 높이에 있는 즉, 가상조작면이 조작자의 수평방향 앞면에 거의 수직하게 형성되는 경우에 대하여 본 실시예의 원리를 설명하였는데, 이 원리는 이와 같은 조작자와 모니터의 위치관계나 형상에는 영향을 받지 않고, 여러가지 배치나 구성이 가능하다. 예를 들어, 제2~제4 실시예에서 설명한 바와 같은 소파나 침대에서의 조작에도 응용할 수 있고, 물론 받침대를 사용할 수도 있다.
더욱이, 도 30에 나타내는 바와 같이, 모니터(111)가 조작자(102)의 비스듬하게 상부에 설치되어 있는 경우에도, 가상조작면을 기울여서 형성하고, 조작영역(2301)도 그것에 맞추어 기울임으로써, 상술한 경우와 마찬가지로 조작자(102)는 도 30에 나타내는 바와 같이, 모니터(111)를 쳐다보고 손가락을 전후로 움직임으로써 조작을 할 수 있다. 이 경우, 3차원 카메라(201)도 모니터(111)와 함께 기울어져 있기 때문에, 기본적으로는 상술한 수평위치에 배치된 경우와 큰 차이는 없지만, 카메라를 다른 위치에 설치하더라도, 본 기술분야에서 알려진 어느 방법으로 위치보정 등을 함으로써, 조작자의 부위와 가상조작면의 위치관계를 산출하여 조작을 판정할 수 있다.
또한, 제4 실시예와 같이 본 실시예의 화상인식장치에 마루매트센서를 접속하여, 마루매트에서 동작모드를 지시하면서 3차원 촬영장치를 사용한 화상인식장치에 의해 제스처 등의 조작자의 조작을 보다 확실하게 인식한다. 구체적으로는, 예를 들어, 도 17에 나타내는 바와 같은 마루매트(1701) 상의 L 또는 R을 밟으면 조작모드로 들어가서 조작자의 동작을 제스처로서 인식처리를 실행하고, 그 이외일 때는 조작자의 동작을 대상 외라고 하여 처리를 하지 않는다. 이 경우에 가상조작면은 바(1702, 1703)를 기준으로 형성된다.
(제6 실시예)
본 실시예는 상술한 제1 내지 제5 실시예 중 어느 한 실시예를 기본으로 하여 사용할 수 있는데, 특히 제4 및 제5 실시예에서 실시하는 것이 유효하다. 본 실시예는 기본적으로 상술한 실시예와 같은 구성, 배치의 시스템을 사용할 수 있다. 조작자의 부위 검출이나 가상조작면과의 위치관계 산출도 마찬가지이다. 즉, 제4 실시예를 기본으로 하면, 조작자는 예를 들어, 마커를 기준으로 가상조작면의 위치를 인식하여 그 가상조작면에 대하여 여러가지 동작을 함으로써 일정한 조작으로 판정한다. 또한, 제5 실시예를 기본으로 하는 경우, 마커 등의 기준을 사용하지 않고 모니터 화면의 아이콘 등의 움직임에 의해 조작자가 자신의 움직임이 어떻게 조작으로서 판정되고 있는지를 인식하여 동작함으로써 조작이 판정되는데, 어느 실시예에서도 반드시 한정하지는 않지만, 조작자의 한 부위에 의해 시스템에 접속하는 예에 대해서만 설명하였다. 본 실시예에서는 도 31에 나타내는 바와 같이, 조작자는 한 부위뿐만 아니라, 여러 부위 예를 들어, 두 손이나 여러 손가락 등을 사용하여 동시에 시스템 접속한다.
종래, 본 실시예가 처리하려고 하는 이른바 멀티터치를 입력시스템으로서 사용하는 것은 쉽지 않았다. 예를 들어, 어느 방법에 의하는지에 상관없이, 종래의 터치패널은 패널상의 각 점에서 접촉을 검지하는데, 동시에 복수의 접촉이 있으면 어느 점에서 접촉을 검출하였는지를 검지할 수 없었다. 본 실시예는 상술한 바와 같이 3차원 카메라를 사용하여 조작자의 각 부위를 각각 입체적으로 인식할 수 있기 때문에, 예를 들어, 가상조작면을 기준으로 가상조작면에 닿은 여러 부위의 위치를 동시에 정확하게 검출할 수 있다. 따라서, 본 실시예에서는 도 31에 나타내는 바와 같이 2개의 팔 혹은 여러 손가락을 사용하여 동시에 가상조작면 위에서 조작시킴으로써, 시스템으로서 복수의 위치를 지시하거나, 복수의 버튼을 동시에 누를 수 있다.
또한, 이와 같은 복수 부위를 사용한 조작으로는, 여러 손가락을 이용하여 직감적인 제스처 예를 들어, 화상의 일부를 잡아 당겨 늘리는 등의 동작에 의해 확대동작을 가능하게 할 수 있다. 이와 같이 함으로써, 미리 시스템마다 정해진 특수한 제스처를 학습하지 않고 복잡한 조작입력을 할 수 있게 된다. 예를 들어, 도 32 내지 도 35를 참조하여 모니터(111)에 표시된 화상을 늘리는 조작을 멀티터치에 의해 실행하는 예를 설명한다.
도 32를 참조하면, 조작자(102)는 가상조작면(701)을 기준으로 하여 왼손(3101) 및 오른손(3102)을 모니터를 향하여 내민다. 조작자(102)가 조작하려고 하는 화상의 가상조작면 위의 투사한 화상 이미지(3203)를 가상조작면(701)으로부터 내민 손가락(3201, 3202)으로 지시함으로써, 모니터(111) 상에서는 대상화상의 가장자리가 두 손으로 잡힌듯한 표시가 이루어지고, 손가락(3201, 3202)을 벌림으로써 예를 들어, 도 33에 나타내는 바와 같은 상태로부터 도 34에 나타내는 바와 같은 상태로 팔을 벌림으로써 대상화상이 늘어난다. 한편, 도 32에 나타내는 가상 이미지(3203)는 가상조작면(701)에 대하여 약간 기울어져 있는데, 이는 예를 들어, 조작자(102)가 손가락(3202)을 모니터(111) 측으로 내밀므로써, 대상화상을 깊이방향으로도 신장, 이동시킬 수 있는 것을 나타내고 있는 것이다.
즉, 가로면으로부터 본 도 32의 조작 모습을 정면에서 본 것이 도 33 및 도 34이고, 맨처음 표시된 화상의 가상조작면 위의 가상 이미지(3203)는, 이 조작에 의해 가장자리가 도 33의 손가락(3201, 3202) 위치로부터 도 34에 나타내는 바와 같이 손가락(3401, 3402) 위치로 움직이고, 화상 이미지(3403)와 같이 늘어난다. 이상의 조작에 따른 모니터(111) 상의 화상의 모습을 나타내는 도면이 도 35이다. 도 35에 나타내는 바와 같이, 모니터(111)에는 맨처음 상태 (1)에서의 화상(3503)의 가장자리(3501, 3502)가 손가락(3201, 3202)으로 지시되고 있는 것이 나타나 있으며, 그 후 조작자에 의해 팔이 벌려지면 서서히 상태 (2)를 통하여 최종적으로 상태 (3)의 화상(3503)까지 늘어난다. 이와 같이 하여 본 실시예의 멀티터치를 이용함으로써 단지 메뉴버튼이나 아이콘을 누르는 것 뿐만 아니라, 모니터 상에 표시된 화상을 잡거나 늘릴 수 있다.
또한, 도 36 및 도 37에 멀티터치를 이용하는 다른 예를 나타낸다. 도 36을 참조하면, 여러 손가락(3601)을 가상조작면(701)을 넘어 앞으로 내놓음으로써, 모니터상에 표시된 예를 들어, 컵 등의 화상 이미지(3602)를 잡는 조작이라고 판정하고, 이에 의해, 그 후의 팔의 움직임으로 컵을 이동시키는 등의 처리를 실행할 수 있다. 이 모습을 정면에서 본 도면이 도 37이다. 한편, 가상조작면(701)은 모니터(111)에 완전히 투영하여도 되고, 일부로 할 수도 있다.
이상, 본 실시예를 이용하면, 상술한 제1 내지 제5 실시예에서 복수 부위를 동시에 이용할 수 있기 때문에, 복잡한 조작이나 복수의 동시조작 등이 가능해지고 보다 효과적인 입력환경을 제공할 수 있다.
(제7 실시예)
본 실시예는 상술한 제1 내지 제4 실시예와 마찬가지의 구성을 사용하는데, 여러 조작자 각각을 위한 조작면 형성기준을 가진다는 점이 다르다. 여러 조작자가 조작입력을 동시에 하는 경우로는, 예를 들어, 대전(對戰)형 게임과 같이 각 조작자의 조작이 서로 작용하여 컴퓨터의 처리나 화면표시가 이루어진다. 한편, 각각의 처리를 각 조작자가 예를 들어, 화면을 조작자의 수만큼 나누어 처리하는 형태도 있다. 어느 경우이든 어느 조작자가 어느 조작을 하였는지를 명확하게 판별할 필요가 있다. 본 실시예에서는 조작면 형성기준에 ID 식별기능 예를 들어, 색을 나누는, 서로 다른 형상을 가지게 하는, 바코드 등의 부호를 붙임으로써, 또는 단순히 좌우, 상하, 전후 등의 위치관계로 식별가능할 때는 그 위치관계 등에 의해, 조작면 형성기준을 판별하고, 그 기준을 이용하여 입력되는 조작을 다른 조작면 형성기준에 의한 것과 나누어 처리한다.
조작면 형성기준에 실시하는 ID 식별기능은, 상술한 바와 같은 본 실시예의 조작해석을 위하여 사용하는 3차원 카메라에 의해 식별가능한 것이어도 되고, 다른 방법 예를 들어, 무선태그와 같은 것으로 위치관계를 판별하고, 3차원 카메라의 영상과 조합하는 방법에 의해 달성할 수 있는데, 더욱이 이것으로 한정되지 않는다.
도 40은 이와 같은 복수의 조작면 형성기준을 사용한 시스템의 일례를 나타내는 도면이다. 이 예에서는 책상(4005)의 상면에 사용한 마커(4001, 4002)에 가상조작면을 형성하고, 그 형성된 가상조작면에 대하여 각각 조작자(4003, 4004)가 손 등을 움직임으로써 그 동작을 조작이라고 인식하게 하여, 조작자(4003, 4004)의 조작을 판별하고, 그 후의 처리를 한다. 한편, 본 실시예에서는 마커(4001, 4002)와는 그 색에 의해 식별할 수 있도록 되어 있다. 마찬가지로, 도 41은 이와 같은 복수의 조작면 형성기준을 이용한 시스템의 다른 일례를 나타내는 도면이다. 마커(4101, 4102)에 의해 각 조작자(4103, 4104)의 조작을 나누어 처리할 수 있다. 이 예에서 마커의 식별은 색 또는 형상으로 식별가능한 것으로 한다.
이상과 같이, 본 실시예에서는 복수의 조작면 형성기준을 각각 식별가능하게 사용함으로써 여러 조작자의 개별 조작입력을 가능하게 하는데, 마커 혹은 조작자의 식별 이외에는 제1 내지 제4 실시예의 장치 또는 방법이 사용된다. 한편, 도 40 및 도 41은 모두 조작자가 2명인데, 본 실시예는 조작자가 보다 많은 경우에도 적용할 수 있다.
(제8 실시예)
본 실시예는 상술한 제1 내지 제7 실시예 중 어느 하나를 사용하면서, 더욱이 판정되는 조작에 다양성을 부여하는 것이다. 즉, 본 실시예도 조작자가 공간 상에 가상적으로 형성된 가상조작면을 기준으로, 거기에 마치 터치패널과 같은 입력기기가 존재하는 것처럼 조작함으로써 그 조작내용을 확실하게 판정하려는 것인데, 이와 같이 하여 판정된 조작 내용을 가상조작면으로부터 깊이 방향인 조작자로부터 멀어지는 방향에 대한 가상조작면과 조작자의 손 등의 신체 일부 혹은 몸에 붙인 물체의 위치관계로 결정한다. 예를 들어, 조작자로부터 멀어지는 방향인 z축방향으로 2층 혹은 3층으로 조작영역을 가상조작계층으로서 설정하고, 조작자의 손이 어느 층에 들어가 있는지에 따라 조작의 종류를 결정하고, 그 층 안에서의 손의 움직임에 의해 조작내용을 결정한다. 이 때, 조작자가 시인하고 있는 표시화면 상에 손의 위치나 조작의 종류 등을 표시하면, 조작자가 보다 쉽게 조작을 인식할 수 있다. 한편, 조작자의 일부와 각 계층을 분할하는 면의 z방향의 거리는 제1 실시예 등에서 설명한 방법으로 취득할 수 있다.
본 실시예를 도면을 참조하여 보다 구체적으로 설명하면, 도 45에 나타내는 트리거면(701)은 제1 내지 제7 실시예와 마찬가지로 본 발명의 가상조작면이고, 상술한 실시예 중 어느 하나를 이용하여 손가락(601)이 트리거면(701)으로부터 z축방향으로 들어가면, 조작이 이루어졌다고 판정된다. 본 실시예에서는 더욱이 트리거면(701)으로부터 앞의 조작영역을 계층 A 내지 계층 C의 3계층으로 면(4501, 4502)으로 분할하고, 각각 다른 조작의 종류를 할당한다. 도 45의 예에서는, 계층 A에는 오브젯의 회전 조작을, 계층 B에는 확대축소 조작을, 계층 C에는 오브젯의 이동 조작을 각각 할당하고 있다. 각 계층에서 손가락(601)을 움직임으로써 정해진 조작이 실행된다. 예를 들어, 계층 A에서는 트리거면(701)을 손가락(601)이 통과하였을 때 손가락(601)을 가리키는 아이콘, 예를 들어 회전 아이콘(4503)이 가리키는 위치를 중심으로 지정된 오브젯이 손가락(601)의 움직임에 맞추어 회전하다. 계층 B에서는 예를 들어, 모니터(111)에 확대축소 아이콘(4504)을 표시하고, 손가락(601)을 z방향으로 움직이면 오브젯이 확대되고, 반대방향으로 움직이면 오브젯이 축소하도록 할 수 있다.
마찬가지로, 계층 C에서는 모니터(111)에 표시된 지정한 오브젯 상의 손가락(601)의 위치에 이동 아이콘(4505)을 표시하고, 손가락(601)의 움직임에 맞추어서 이동하도록 할 수 있다. 여기서, 계층 사이를 나누는 면(4501, 4502)은 각 계층이 같은 두께가 되도록 배치할 수도 있고, 계층에 할당된 조작종류에 따라서 서로 다른 두께가 되도록 배치할 수도 있다. 예를 들어, 도 45의 예에서는, 계층 B에는 확대축소 조작이 할당되어 있는데, 확대축소를 전후의 움직임으로 표현하여야 하므로, 계층 A나 계층 C와 비교하여 통상은 z방향의 움직임이 커지기 때문에, 계층 B를 보다 두껍게 함으로써 조작을 쉽게 할 수도 있다.
도 46은 본 실시예의 다른 아이콘의 예를 나타내는 도면이다. 도 46에 나타내는 예에서는, 계층 A에는 모니터(111) 상에서의 조작위치를 특정하는 조작을, 계층 B에는 특정된 위치에서의 오브젯을 '쥐는' 조작을, 계층 C에서는 쥔 오브젯을 던지거나 혹은 이동시키는 조작을 각각 할당하고 있다.
이상과 같이, 본 실시예에서는 가상조작면에 의해 조작이라고 판정된 후의 조작내용의 판정시에 손가락이나 손의 움직임 뿐만 아니라, 그 z방향의 위치 즉, 가상조작계층에 따라 조작의 종류를 특정하도록 할 수 있기 때문에, 손가락이나 손의 움직임만으로는 여러가지 제스처 패턴을 많이 준비하고, 또한 사용자가 그것들을 기억하여야 하는데 비해, 단순한 동작만으로 복잡한 조작을 가려 쓸 수 있게 된다.
한편, 상술한 특히 도 45에 나타내는 예에서는, 손이나 손가락 등의 일련의 움직임을 각 계층 사이에서 연속적으로 실시할 수 있는 조작을 배치하도록 되어 있는데, 연속적으로 조작할 수 없는 배치의 경우(도 46에 나타내는 예)에는, 다음과 같은 2가지 점에서 문제가 된다. 즉, (1) 목적으로 하는 가상조작계층에 도달하기 전에 다른 계층을 통과하여 조작자가 원하지 않는 지시를 부여하거나, (2) 목적으로 하는 조작을 마치고 손을 조작영역으로부터 빼는 경우, 다른 가상조작계층을 통과하여 조작자가 원하지 않는 지시를 부여하는 점이다. 상기 문제를 피하기 위해서는, 예를 들어, 다음의 방법 등을 생각할 수 있다. 즉, 조작하는 쪽과 반대쪽 손을 조작영역 안에 끼워넣는 등의 멀티센싱 상태(예를 들어, 오른손으로 조작하고 있는 경우, 왼손을 조작영역 안으로 넣은 상태)를 조작없음(혹은 그 반대로 조작있음) 상태로 설정하여, 조작하는 쪽과 반대쪽 손을 넣고뺌으로써 각 계층의 조작을 할지 여부를 판단하도록 한다(이 예에서는, 두손 조작에 의하는데, XY평면상에 탈출용 영역을 설치하는 등, 여러가지 방법을 생각할 수 있다).
101: 마커 102: 조작자
110: 컴퓨터 111: 모니터
201: 비디오 카메라 210: CPU
211: ROM 212: RAM
301: 화상판독부 302: 화상추출부
303: 화상위치산출부 304: 조작판정부
501: 보조마커 601: 손
701: 조작면 901: 포인터
902: 조작화면 903: 절선 그래프
1001: 테이블 1002: 마커
1003, 1004: 보조마커 1101: 마커
1102: 침대용 테이블 1103: 보조마커
1301: 오른손 손가락 1302: 왼손 손가락
1701: 마루매트 1702, 1703: 바
1802: CPU 1803: 인터페이스
1901: 입체물 1902, 1903: 마커
2001: 다리 2002: 투영라이트
2301: 대상영역 2401: 팔
2501: 화면 2502, 2503: 아이콘
3101: 왼손 3102: 오른손
3201, 3202: 손가락 3203: 가상 이미지
3401, 3402: 손가락 3403: 화상 이미지
3501, 3502: 가장자리 3503: 화상
3601: 손가락 3602: 화상 이미지
3801: 마커 3802: 동작제한수단
3902: 가이드 바 4001, 4002: 마커
4003, 4004: 조작자 4005: 책상
4101, 4102: 마커 4103, 4104: 조작자
4201, 4202, 4203: 아이콘 4204, 4205: 러버밴드
4211, 4212, 4213, 4214, 4215: 화면

Claims (24)

  1. 조작자의 적어도 일부의 상을 판독하여 입체화상 데이터를 생성하는 3차원 촬영수단과,
    상기 조작자가 소정의 공간상의 가상조작면을 파악하도록 설치되어 상기 조작자가 지각가능한 조작면 형성기준과,
    상기 조작면 형성기준에 의해 상기 가상조작면을 형성하고, 상기 형성된 가상조작면에 대한 조작자의 동작을 상기 3차원 촬영수단으로 판독하여, 상기 조작자의 일부와 상기 가상조작면의 위치관계에 근거하여 상기 동작이 조작인지 여부를 판정하는 조작판정수단과,
    상기 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 하는 화상인식장치.
  2. 제 1 항에 있어서,
    상기 가상조작면은 상기 조작면 형성기준으로부터 위쪽으로 투사한 면인 것을 특징으로 하는 화상인식장치.
  3. 제 2 항에 있어서,
    상기 조작면 형성기준의 조작자측에 조작자의 동작을 제한하는 동작제한수단을 더욱 구비한 것을 특징으로 하는 화상인식장치.
  4. 제 1 항에 있어서,
    상기 가상조작면은 상기 조작면 형성기준의 조작자와 반대측에 있는 소정의 위치로부터 위쪽으로 투사한 면인 것을 특징으로 하는 화상인식장치.
  5. 제 1 항에 있어서,
    상기 조작판정수단은 상기 조작자의 일부가 상기 가상조작면보다 상기 3차원 촬영수단측에 있을 때 조작이라고 판정하는 것을 특징으로 하는 화상인식장치.
  6. 제 1 항에 있어서,
    상기 조작판정수단은 상기 조작자의 일부의, 상기 가상조작면보다 상기 3차원 촬영수단측에 있는 부분의 형상 또는 움직임에 의해 어느 조작이 이루어지고 있는지를 판정하는 것을 특징으로 하는 화상인식장치.
  7. 제 6 항에 있어서,
    상기 조작판정수단은 미리 조작자의 일부의 형상 또는 움직임과 대응지어진 조작내용을 저장하는 기억수단을 검색하여, 합치하는 형상 또는 움직임에 대응하는 조작을 입력할 조작이라고 판정하는 것을 특징으로 하는 화상인식장치.
  8. 제 1 항에 있어서,
    상기 조작면 형성기준은 조작자가 있는 바닥면에 나타나 있는 것을 특징으로 하는 화상인식장치.
  9. 제 1 항에 있어서,
    상기 조작자와 상기 3차원 촬영수단 사이에 배치된 입체물을 더욱 구비하고,
    상기 조작면 형성기준은 상기 입체물의 소정의 바깥둘레인 것을 특징으로 하는 화상인식장치.
  10. 제 9 항에 있어서,
    상기 입체물은 테이블인 것을 특징으로 하는 화상인식장치.
  11. 제 1 항에 있어서,
    상기 조작면 형성기준은 판독된 화상으로부터의 추출이 용이해지도록 상기 3차원 촬영수단에 촬영되는 소정의 면에 마커를 가지는 것을 특징으로 하는 화상인식장치.
  12. 제 1 항에 있어서,
    상기 조작자와 대면하여 배치된 화상표시수단을 더욱 구비하고,
    상기 조작판정수단은 조작자가 조작의 판정결과를 인식할 수 있도록 상기 화상표시수단에 현시점의 조작판정결과를 표시하게 하는 것을 특징으로 하는 화상인식장치.
  13. 제 1 항에 있어서,
    상기 가상조작면과의 위치관계에 근거하여 정해지는 2개 이상의 가상조작계층 중 어느 영역 안에서 상기 조작자의 동작이 이루어지면, 상기 가상조작계층에 미리 할당된 조작종류별 및 상기 가상조작계층 안에서의 조작자의 동작에 근거하여 상기 조작의 내용을 결정하는 조작내용 결정수단을 더욱 구비한 것을 특징으로 하는 화상인식장치.
  14. 화상인식장치에 의해 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법으로서,
    상기 조작자가 소정의 공간상의 가상조작면을 파악하도록 설치되어 상기 조작자가 지각가능한 조작면 형성기준 및 소정의 촬영수단의 촬영범위 내의 조작자의 적어도 일부의 상을 판독하여 입체화상을 생성하는 3차원 촬영단계와,
    상기 조작면 형성기준에 의해 상기 가상조작면을 형성하고, 상기 형성된 가상조작면에 대한 상기 3차원 촬영단계에서 판독된 조작자의 동작이 상기 조작자의 일부와 상기 가상조작면의 위치관계에 근거하여 조작인지 여부를 판정하는 조작판정단계와,
    상기 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 하는 조작판정방법.
  15. 화상인식장치가 조작자의 화상을 인식하여 조작내용을 판정하는 조작판정방법을 실행하게 하는 프로그램을 기록한 컴퓨터 판독가능한 기록매체로서, 상기 조작판정방법은,
    상기 조작자가 소정의 공간상의 가상조작면을 파악하도록 설치되어 상기 조작자가 지각가능한 조작면 형성기준 및 소정의 촬영수단의 촬영범위 내의 조작자의 적어도 일부의 상을 판독하여 입체화상을 생성하는 3차원 촬영단계와,
    상기 조작면 형성기준에 의해 상기 가상조작면을 형성하고, 상기 형성된 가상조작면에 대한 상기 3차원 촬영단계에서 판독된 조작자의 동작이 상기 조작자의 일부와 상기 가상조작면의 위치관계에 근거하여 조작인지 여부를 판정하는 조작판정단계와,
    상기 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력단계를 구비한 것을 특징으로 하는 프로그램을 기록한 컴퓨터 판독가능한 기록매체.
  16. 조작자의 적어도 일부의 상을 판독하여 입체화상을 생성하는 3차원 촬영수단과,
    상기 3차원 촬영수단의 촬영범위 내의 미리 정해진 위치 및 크기로 조작자가 인식할 수 있는 조작면 형성기준을 설치하여 조작자의 조작의 기준이 되는 가상조작면을 형성하고, 상기 형성된 가상조작면에 대한 조작자의 동작을 상기 3차원 촬영수단으로 판독하여, 상기 가상조작면에 대한 상기 조작자의 부위의 위치관계에 근거하여 상기 동작이 조작인지 여부를 판정하는 조작판정수단과,
    상기 조작판정수단에 의해 인식되는 상기 가상조작면에 대하여 상기 3차원 촬영수단의 반대측에서의 상기 조작자의 일부와 상기 가상조작면의 위치관계로부터 상기 거리를 산출하여, 상기 거리에 따라 변하는 표시를 표시하여 판정하려는 조작을 나타내고, 상기 조작자가 시인할 수 있는 화상표시수단과,
    상기 동작이 조작이라고 판정되면 소정의 신호를 출력하는 신호출력수단을 구비한 것을 특징으로 하는 화상인식장치.
  17. 제 16 항에 있어서,
    상기 표시는 상기 조작자의 부위와 상기 가상조작면의 거리가 가까워질 때마다 작아지는 것을 특징으로 하는 화상인식장치.
  18. 제 16 항에 있어서,
    상기 표시는 상기 조작자의 부위와 상기 가상조작면의 거리가 가까워질 때마다 색상이 변하는 것을 특징으로 하는 화상인식장치.
  19. 제 16 항에 있어서,
    상기 표시는 상기 조작자의 부위와 상기 가상조작면의 거리가 가까워질 때마다 투명도가 낮아지는 것을 특징으로 하는 화상인식장치.
  20. 제 16 항에 있어서,
    상기 조작자의 부위와 상기 가상조작면의 거리가 가까워질 때마다 상기 표시와 상기 화상표시수단에 표시되어 있는 조작대상화상의 콘트라스트가 커지는 것을 특징으로 하는 화상인식장치.
  21. 제 16 항에 있어서,
    상기 표시는 상기 조작자의 부위와 상기 가상조작면의 거리가 가까워질 때마다 형상이 변하는 것을 특징으로 하는 화상인식장치.
  22. 제 16 항에 있어서,
    상기 조작자의 부위는 복수이고, 상기 표시는 상기 여러 조작자의 부위에 각각 대응하여 복수개 표시되는 것을 특징으로 하는 화상인식장치.
  23. 제 16 항에 있어서,
    상기 가상조작면과의 위치관계에 근거하여 정해지는 2개 이상의 가상조작계층 중 어느 한 영역 안에서 상기 조작자의 동작이 이루어지면, 상기 가상조작계층에 미리 할당된 조작종류별 및 상기 가상조작계층 안에서의 조작자의 동작에 근거하여 상기 조작의 내용을 결정하는 조작내용 결정수단을 더욱 구비한 것을 특징으로 하는 화상인식장치.
  24. 제 1 항에 있어서,
    상기 조작면 형성기준은, 상기 3차원 촬영수단의 촬영범위 내에 미리 배치되고,
    상기 가상조작면은, 상기 3차원 촬영수단에 의해 판독된 상기 조작면 형성기준에 의해 형성되는 것을 특징으로 하는 화상인식장치.
KR1020107027198A 2008-06-03 2009-06-02 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체 KR101227610B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2008146231 2008-06-03
JPJP-P-2008-146231 2008-06-03
JP2008207388A JP4318056B1 (ja) 2008-06-03 2008-08-11 画像認識装置および操作判定方法
JPJP-P-2008-207388 2008-08-11
PCT/JP2008/071268 WO2009147758A1 (ja) 2008-06-03 2008-11-21 画像認識装置および操作判定方法並びにプログラム
WOPCT/JP2008/071268 2008-11-21
PCT/JP2009/060095 WO2009148064A1 (ja) 2008-06-03 2009-06-02 画像認識装置および操作判定方法並びにプログラム

Publications (2)

Publication Number Publication Date
KR20110008313A KR20110008313A (ko) 2011-01-26
KR101227610B1 true KR101227610B1 (ko) 2013-02-07

Family

ID=41076632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107027198A KR101227610B1 (ko) 2008-06-03 2009-06-02 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체

Country Status (9)

Country Link
US (1) US8456416B2 (ko)
EP (2) EP2853991A1 (ko)
JP (2) JP4318056B1 (ko)
KR (1) KR101227610B1 (ko)
CN (1) CN102057347B (ko)
CA (1) CA2726895C (ko)
TW (2) TWI534661B (ko)
WO (2) WO2009147758A1 (ko)
ZA (1) ZA201009250B (ko)

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180746B1 (en) 2009-02-26 2019-01-15 Amazon Technologies, Inc. Hardware enabled interpolating sensor and display
US9740341B1 (en) 2009-02-26 2017-08-22 Amazon Technologies, Inc. Capacitive sensing with interpolating force-sensitive resistor array
JP2010205223A (ja) * 2009-03-06 2010-09-16 Seiko Epson Corp 仮想対象に対するジェスチャーに従う制御を行うシステム及び装置
US9244562B1 (en) 2009-07-31 2016-01-26 Amazon Technologies, Inc. Gestures and touches on force-sensitive input devices
US9785272B1 (en) 2009-07-31 2017-10-10 Amazon Technologies, Inc. Touch distinction
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
JP5412227B2 (ja) * 2009-10-05 2014-02-12 日立コンシューマエレクトロニクス株式会社 映像表示装置、および、その表示制御方法
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
US8462110B2 (en) * 2009-11-03 2013-06-11 Hewlett-Packard Development Company, L.P. User input by pointing
US9293060B2 (en) 2010-05-06 2016-03-22 Ai Cure Technologies Llc Apparatus and method for recognition of patient activities when obtaining protocol adherence data
US8605165B2 (en) 2010-10-06 2013-12-10 Ai Cure Technologies Llc Apparatus and method for assisting monitoring of medication adherence
US9183601B2 (en) 2010-03-22 2015-11-10 Ai Cure Technologies Llc Method and apparatus for collection of protocol adherence data
JP4783456B2 (ja) * 2009-12-22 2011-09-28 株式会社東芝 映像再生装置及び映像再生方法
US20110157015A1 (en) * 2009-12-25 2011-06-30 Cywee Group Limited Method of generating multi-touch signal, dongle for generating multi-touch signal, and related control system
JP5114795B2 (ja) * 2010-01-29 2013-01-09 島根県 画像認識装置および操作判定方法並びにプログラム
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US8593512B2 (en) * 2010-02-05 2013-11-26 Creative Technology Ltd Device and method for scanning an object on a working surface
JP2013080266A (ja) * 2010-02-08 2013-05-02 Nextedge Technology Inc 入力装置
JP5740822B2 (ja) 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5873445B2 (ja) * 2010-03-15 2016-03-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 少なくとも１つのデバイスを制御するための方法及びシステム
KR101743948B1 (ko) * 2010-04-07 2017-06-21 삼성전자주식회사 인터렉티브 디스플레이에서 근접 센싱을 위한 방법 및 근접 센싱 이미지를 처리하는 방법
US9883786B2 (en) 2010-05-06 2018-02-06 Aic Innovations Group, Inc. Method and apparatus for recognition of inhaler actuation
US9875666B2 (en) 2010-05-06 2018-01-23 Aic Innovations Group, Inc. Apparatus and method for recognition of patient activities
US10116903B2 (en) 2010-05-06 2018-10-30 Aic Innovations Group, Inc. Apparatus and method for recognition of suspicious activities
JP5709405B2 (ja) * 2010-05-18 2015-04-30 株式会社タイトー 画像認識によるラクガキ装置
WO2011145180A1 (ja) 2010-05-18 2011-11-24 富士通株式会社 ポインタ情報処理装置、ポインタ情報処理プログラムおよび会議システム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
JP5625643B2 (ja) 2010-09-07 2014-11-19 ソニー株式会社 情報処理装置、および情報処理方法
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
CA2811868C (en) * 2010-09-22 2017-05-09 Shimane Prefectural Government Operation input apparatus, operation input method, and program
JP5515067B2 (ja) * 2011-07-05 2014-06-11 島根県 操作入力装置および操作判定方法並びにプログラム
JP5167523B2 (ja) * 2010-09-22 2013-03-21 島根県 操作入力装置および操作判定方法並びにプログラム
JP2012089112A (ja) * 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
JP5580156B2 (ja) * 2010-09-27 2014-08-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
WO2012050606A2 (en) * 2010-10-12 2012-04-19 New York University Apparatus for sensing utilizing tiles, sensor having a set of plates, object identification for multi-touch surfaces, and method
KR20120062170A (ko) * 2010-12-06 2012-06-14 삼성전자주식회사 가상 모니터 제어장치 및 그 제어방법
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
US20140317577A1 (en) * 2011-02-04 2014-10-23 Koninklijke Philips N.V. Gesture controllable system uses proprioception to create absolute frame of reference
US8497838B2 (en) * 2011-02-16 2013-07-30 Microsoft Corporation Push actuation of interface controls
US20120218395A1 (en) * 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
US9116553B2 (en) 2011-02-28 2015-08-25 AI Cure Technologies, Inc. Method and apparatus for confirmation of object positioning
WO2012120521A1 (en) * 2011-03-04 2012-09-13 Hewlett-Packard Development Company, L.P. Gestural interaction identification
JP2012190183A (ja) * 2011-03-09 2012-10-04 Sony Corp 画像処理装置および方法、並びにプログラム
US9067136B2 (en) * 2011-03-10 2015-06-30 Microsoft Technology Licensing, Llc Push personalization of interface controls
JP2012215963A (ja) 2011-03-31 2012-11-08 Hitachi Consumer Electronics Co Ltd 映像表示装置
US8860805B2 (en) 2011-04-12 2014-10-14 Lg Electronics Inc. Electronic device and method of controlling the same
WO2012141351A1 (en) * 2011-04-12 2012-10-18 Lg Electronics Inc. Electronic device and method of controlling the same
CN103608761B (zh) 2011-04-27 2018-07-27 日本电气方案创新株式会社 输入设备、输入方法以及记录介质
KR101514168B1 (ko) 2011-04-28 2015-04-21 엔이씨 솔루션 이노베이터 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및 기록 매체
WO2012151395A2 (en) * 2011-05-03 2012-11-08 Ivi Media Llc Providing an adaptive media experience
JP2012243007A (ja) * 2011-05-18 2012-12-10 Toshiba Corp 映像表示装置及びそれを用いた映像領域選択方法
JP6074170B2 (ja) * 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP4945694B2 (ja) * 2011-06-27 2012-06-06 株式会社東芝 映像再生装置及び映像再生方法
CN103635868A (zh) * 2011-07-01 2014-03-12 英派尔科技开发有限公司 自适应用户接口
US9030487B2 (en) * 2011-08-01 2015-05-12 Lg Electronics Inc. Electronic device for displaying three-dimensional image and method of using the same
JP5921835B2 (ja) 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
US20130055143A1 (en) * 2011-08-31 2013-02-28 Smart Technologies Ulc Method for manipulating a graphical user interface and interactive input system employing the same
US9128520B2 (en) * 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
KR101822661B1 (ko) 2011-10-27 2018-01-26 삼성전자주식회사 비전 인식 장치 및 방법
KR101396488B1 (ko) * 2011-11-09 2014-05-20 포항공과대학교 산학협력단 신호 입력 장치 및 신호 입력 방법
US9052819B2 (en) 2012-01-25 2015-06-09 Honeywell International Inc. Intelligent gesture-based user's instantaneous interaction and task requirements recognition system and method
JP5715977B2 (ja) * 2012-03-05 2015-05-13 東芝テック株式会社 操作支援表示装置およびプログラム
JP2013205983A (ja) 2012-03-27 2013-10-07 Sony Corp 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9170648B2 (en) * 2012-04-03 2015-10-27 The Boeing Company System and method for virtual engineering
US20130265240A1 (en) * 2012-04-06 2013-10-10 At&T Intellectual Property I, Lp Method and apparatus for presenting a virtual touchscreen
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9293016B2 (en) 2012-04-24 2016-03-22 At&T Intellectual Property I, Lp Method and apparatus for processing sensor data of detected objects
JP5148004B1 (ja) * 2012-04-26 2013-02-20 株式会社三菱東京Ｕｆｊ銀行 情報処理装置、電子機器およびプログラム
JP2013257686A (ja) 2012-06-12 2013-12-26 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
JP5507773B1 (ja) 2012-07-13 2014-05-28 太郎 諌山 要素選択装置、要素選択方法、および、プログラム
JP5565886B2 (ja) * 2012-08-17 2014-08-06 Ｎｅｃシステムテクノロジー株式会社 入力装置、入力方法、及びプログラム
FR2995704B1 (fr) * 2012-09-19 2015-12-25 Inst Nat De Sciences Appliquees Methode de selection de mode d'interactivite
JP6232694B2 (ja) * 2012-10-15 2017-11-22 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム
US9571816B2 (en) 2012-11-16 2017-02-14 Microsoft Technology Licensing, Llc Associating an object with a subject
JP6058978B2 (ja) 2012-11-19 2017-01-11 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 画像処理装置及び画像処理方法、撮影装置、並びにコンピューター・プログラム
JP5950806B2 (ja) * 2012-12-06 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
KR101956073B1 (ko) 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
JP6070211B2 (ja) * 2013-01-22 2017-02-01 株式会社リコー 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
JP5950845B2 (ja) * 2013-02-07 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
US9251701B2 (en) * 2013-02-14 2016-02-02 Microsoft Technology Licensing, Llc Control device with passive reflector
US9519351B2 (en) * 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
US9399111B1 (en) 2013-03-15 2016-07-26 Aic Innovations Group, Inc. Method and apparatus for emotional behavior therapy
JP6051991B2 (ja) * 2013-03-21 2016-12-27 富士通株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
WO2014162762A1 (ja) * 2013-04-02 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9436851B1 (en) 2013-05-07 2016-09-06 Aic Innovations Group, Inc. Geometric encrypted coded image
JP2014219938A (ja) * 2013-05-10 2014-11-20 株式会社ゲッシュ 入力支援装置、入力支援方法、および、プログラム
KR102091000B1 (ko) * 2013-05-31 2020-04-14 삼성전자 주식회사 사용자 제스처를 이용한 데이터 처리 방법 및 장치
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
TWI508027B (zh) 2013-08-08 2015-11-11 Huper Lab Co Ltd 三維偵測裝置及其偵測影像之方法
TWI545461B (zh) * 2014-01-03 2016-08-11 由田新技股份有限公司 校正方法及電子裝置
TW201528049A (zh) * 2014-01-03 2015-07-16 Utechzone Co Ltd 基於圖樣的校正方法及電子裝置
US9740923B2 (en) * 2014-01-15 2017-08-22 Lenovo (Singapore) Pte. Ltd. Image gestures for edge input
US20150254881A1 (en) * 2014-03-10 2015-09-10 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10022622B2 (en) 2014-04-21 2018-07-17 Steelseries Aps Programmable actuation inputs of an accessory and methods thereof
US10675532B2 (en) 2014-04-21 2020-06-09 Steelseries Aps Variable actuators of an accessory and methods thereof
KR101655810B1 (ko) 2014-04-22 2016-09-22 엘지전자 주식회사 차량용 디스플레이 장치
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US9575560B2 (en) * 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9679113B2 (en) 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
EP4206870A1 (en) * 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
JP6008904B2 (ja) * 2014-07-03 2016-10-19 Ｎｅｃパーソナルコンピュータ株式会社 表示制御装置、表示制御方法、及び、プログラム
KR101488662B1 (ko) * 2014-07-31 2015-02-04 스타십벤딩머신 주식회사 Nui 장치를 통하여 사용자와 상호작용하는 인터페이스 제공방법 및 제공장치
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP2016091192A (ja) * 2014-10-31 2016-05-23 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
JP2016110249A (ja) * 2014-12-03 2016-06-20 日本ユニシス株式会社 空間手書き入力システム、空間手書き入力方法およびコンピュータプログラム
KR101609263B1 (ko) * 2014-12-04 2016-04-05 현대모비스 주식회사 적외선을 이용하여 제스쳐를 인식하기 위한 장치 및 그 방법
KR20170101769A (ko) 2014-12-26 2017-09-06 가부시키가이샤 니콘 검출 장치 및 프로그램
WO2016103522A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
US9454235B2 (en) * 2014-12-26 2016-09-27 Seungman KIM Electronic apparatus having a sensing unit to input a user command and a method thereof
WO2016103520A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 検出装置、電子機器、検出方法およびプログラム
JP6472252B2 (ja) * 2015-01-20 2019-02-20 Ｎｔｔテクノクロス株式会社 仮想タッチパネルポインティングシステム
JP6053845B2 (ja) * 2015-03-09 2016-12-27 株式会社ソニー・インタラクティブエンタテインメント ジェスチャ操作入力処理装置、３次元ディスプレイ装置およびジェスチャ操作入力処理方法
KR102279790B1 (ko) 2015-03-10 2021-07-19 엘지전자 주식회사 차량용 디스플레이 장치
KR102423120B1 (ko) 2015-04-30 2022-07-19 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
DE102015006613A1 (de) * 2015-05-21 2016-11-24 Audi Ag Bediensystem und Verfahren zum Betreiben eines Bediensystems für ein Kraftfahrzeug
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
US9703387B2 (en) * 2015-08-31 2017-07-11 Konica Minolta Laboratory U.S.A., Inc. System and method of real-time interactive operation of user interface
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10963063B2 (en) * 2015-12-18 2021-03-30 Sony Corporation Information processing apparatus, information processing method, and program
CA2957105A1 (en) * 2016-02-03 2017-08-03 Op-Hygiene Ip Gmbh Interactive display device
JP6259172B1 (ja) * 2016-03-29 2018-01-10 株式会社齋藤創造研究所 入力装置および画像表示システム
JP6822473B2 (ja) * 2016-06-28 2021-01-27 株式会社ニコン 表示装置
CN106331808B (zh) * 2016-08-29 2019-11-29 天脉聚源(北京)传媒科技有限公司 一种更换电视台频道的方法和装置
US10325407B2 (en) 2016-09-15 2019-06-18 Microsoft Technology Licensing, Llc Attribute detection tools for mixed reality
CN106980362A (zh) 2016-10-09 2017-07-25 阿里巴巴集团控股有限公司 基于虚拟现实场景的输入方法及装置
JP6260673B2 (ja) * 2016-10-20 2018-01-17 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107024981B (zh) * 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
US20180158244A1 (en) * 2016-12-02 2018-06-07 Ayotle Virtual sensor configuration
CN110199251B (zh) * 2017-02-02 2022-06-24 麦克赛尔株式会社 显示装置和远程操作控制装置
JP6315127B2 (ja) * 2017-04-10 2018-04-25 船井電機株式会社 入力装置、空中像インタラクションシステム、及び入力方法
KR102074680B1 (ko) * 2017-12-15 2020-04-08 (주)브이알에이포인트 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치
US11107265B2 (en) * 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
JP2019123503A (ja) * 2019-02-25 2019-07-25 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
KR102088335B1 (ko) * 2019-04-01 2020-03-12 주식회사 마이베네핏 학습과 운동이 동시에 가능한 혼합 현실 기반의 학습 게임 제공 시스템
JP6752349B1 (ja) * 2019-12-26 2020-09-09 株式会社ドワンゴ コンテンツ配信システム、コンテンツ配信方法、およびコンテンツ配信プログラム
JP7100100B2 (ja) * 2020-10-26 2022-07-12 パイオニア株式会社 虚像表示装置、制御方法、プログラム、及び記憶媒体
JP7534206B2 (ja) 2020-12-17 2024-08-14 シャープ株式会社 表示装置、表示方法、及び表示プログラム
JP2022181876A (ja) * 2021-05-27 2022-12-08 セイコーエプソン株式会社 複合機、複合機の表示制御方法、及び表示制御プログラム
KR102664254B1 (ko) * 2022-04-01 2024-05-08 한국생산기술연구원 비전 인공지능 기반 수신호 인식 장치 및 이를 이용한 수신호 인식 방법
TWI843315B (zh) * 2022-12-05 2024-05-21 中華電信股份有限公司 在擴增實境中融合環景影像之方法及執行該方法之電腦程式產品
EP4400942A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface control method, system, computer program and computer-readable medium
EP4400955A1 (en) * 2023-01-12 2024-07-17 ameria AG Touchless user interface control method for presentations

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP2004139155A (ja) 2002-10-15 2004-05-13 Tamura Seisakusho Co Ltd 指定位置特定装置、その方法およびそのプログラム
JP2005190283A (ja) * 2003-12-26 2005-07-14 Nec Access Technica Ltd 情報入力装置
JP2005196530A (ja) 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4764885A (en) * 1986-04-25 1988-08-16 International Business Machines Corporaton Minimum parallax stylus detection subsystem for a display device
JPH08212005A (ja) * 1995-02-07 1996-08-20 Hitachi Ltd ３次元位置認識型タッチパネル装置
KR19990008158A (ko) 1995-04-28 1999-01-25 모리시타요우이치 인터페이스 장치
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5929841A (en) * 1996-02-05 1999-07-27 Sharp Kabushiki Kaisha Data input unit
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
AU2439399A (en) * 1998-02-09 1999-08-23 Haim Azaria Video camera computer touch screen system
JP2001013314A (ja) 1999-07-01 2001-01-19 Sony Corp 固体撮像装置の製造方法
WO2001078052A1 (en) * 2000-04-05 2001-10-18 Dimensional Media Associates, Inc. Methods and apparatus for virtual touchscreen computer interface controller
US6937742B2 (en) * 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP2003125472A (ja) * 2001-10-16 2003-04-25 Nippon Hoso Kyokai <Nhk> 電化製品制御方法および電化製品制御装置ならびに電化製品制御システムプログラム
GB0204652D0 (en) * 2002-02-28 2002-04-10 Koninkl Philips Electronics Nv A method of providing a display gor a gui
US20060256081A1 (en) * 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
JP4723799B2 (ja) * 2003-07-08 2011-07-13 株式会社ソニー・コンピュータエンタテインメント 制御システムおよび制御方法
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP4438351B2 (ja) 2003-08-22 2010-03-24 富士ゼロックス株式会社 指示入力装置、指示入力システム、指示入力方法、及びプログラム
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2005189426A (ja) * 2003-12-25 2005-07-14 Nippon Telegr & Teleph Corp <Ntt> 情報表示装置および情報入出力装置
US20080288895A1 (en) * 2004-06-29 2008-11-20 Koninklijke Philips Electronics, N.V. Touch-Down Feed-Forward in 30D Touch Interaction
JP2006107170A (ja) * 2004-10-06 2006-04-20 Matsushita Electric Ind Co Ltd ３次元ｇｕｉを用いた情報選択装置
FR2895811B1 (fr) * 2006-01-04 2008-03-14 Bernard Szajner Procede d'interaction en temps reel avec des images en relief
JP2007206833A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 生体照合方法および生体照合装置
JP4127296B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
GB0808061D0 (en) * 2008-05-02 2008-06-11 Univ Teeside Computer input device
JP5262681B2 (ja) 2008-12-22 2013-08-14 ブラザー工業株式会社 ヘッドマウントディスプレイ及びそのプログラム
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP2004139155A (ja) 2002-10-15 2004-05-13 Tamura Seisakusho Co Ltd 指定位置特定装置、その方法およびそのプログラム
JP2005190283A (ja) * 2003-12-26 2005-07-14 Nec Access Technica Ltd 情報入力装置
JP2005196530A (ja) 2004-01-08 2005-07-21 Alpine Electronics Inc 空間入力装置及び空間入力方法

Also Published As

Publication number Publication date
TWI450132B (zh) 2014-08-21
CA2726895A1 (en) 2009-12-10
EP2287708B1 (en) 2017-02-01
CN102057347A (zh) 2011-05-11
WO2009148064A1 (ja) 2009-12-10
TW201506696A (zh) 2015-02-16
CA2726895C (en) 2014-04-08
JP2014098941A (ja) 2014-05-29
TW200951777A (en) 2009-12-16
US8456416B2 (en) 2013-06-04
JP5604739B2 (ja) 2014-10-15
US20110141009A1 (en) 2011-06-16
TWI534661B (zh) 2016-05-21
EP2287708A1 (en) 2011-02-23
JP2010015553A (ja) 2010-01-21
KR20110008313A (ko) 2011-01-26
WO2009147758A1 (ja) 2009-12-10
ZA201009250B (en) 2011-08-31
EP2853991A1 (en) 2015-04-01
EP2287708A4 (en) 2014-05-21
JP4318056B1 (ja) 2009-08-19
CN102057347B (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
KR101227610B1 (ko) 화상인식장치 및 조작판정방법과 이를 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
KR101347232B1 (ko) 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체
CN110199251B (zh) 显示装置和远程操作控制装置
KR101522991B1 (ko) 조작입력장치 및 방법, 그리고 프로그램
JP4900741B2 (ja) 画像認識装置および操作判定方法並びにプログラム
US20120056989A1 (en) Image recognition apparatus, operation determining method and program
KR101797260B1 (ko) 정보 처리 장치, 정보 처리 시스템 및 정보 처리 방법
JP7369834B2 (ja) 表示装置
KR102118421B1 (ko) 카메라 커서 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171115

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181128

Year of fee payment: 7