WO2011018901A1 - 画像認識装置および操作判定方法並びにプログラム - Google Patents

画像認識装置および操作判定方法並びにプログラム Download PDF

Info

Publication number
WO2011018901A1
WO2011018901A1 PCT/JP2010/005058 JP2010005058W WO2011018901A1 WO 2011018901 A1 WO2011018901 A1 WO 2011018901A1 JP 2010005058 W JP2010005058 W JP 2010005058W WO 2011018901 A1 WO2011018901 A1 WO 2011018901A1
Authority
WO
WIPO (PCT)
Prior art keywords
operator
image
operation surface
virtual
movement
Prior art date
Application number
PCT/JP2010/005058
Other languages
English (en)
French (fr)
Inventor
泉　賢二
Original Assignee
島根県
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 島根県 filed Critical 島根県
Priority to US13/384,682 priority Critical patent/US8890809B2/en
Priority to EP10808086.2A priority patent/EP2466423B1/en
Priority to CN201080035693.8A priority patent/CN102473041B/zh
Priority to CA2768893A priority patent/CA2768893C/en
Priority to KR1020127001932A priority patent/KR101347232B1/ko
Publication of WO2011018901A1 publication Critical patent/WO2011018901A1/ja
Priority to US14/522,087 priority patent/US9535512B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Definitions

  • the present invention relates to an image recognition apparatus and an operation determination method, and more particularly, to an image recognition apparatus and an operation determination method for determining an operation of a measurement target from an image captured by a video camera or the like.
  • Patent Document 1 includes a host computer that recognizes the shape and movement of an object in an image captured by a CCD camera, and a display that displays the shape and movement of the object recognized by the host computer. If you give an instruction by hand gesture or the like, the given hand gesture will be displayed on the display screen of the display, you can select the virtual switch etc. displayed on the display screen with the arrow cursor icon by hand gesture, and input devices such as a mouse There has been proposed a technique that enables operation of a very simple device without being required.
  • an operation input is performed by recognizing as a kind of gesture from an image obtained by capturing the movement and shape of a finger.
  • an operator who faces a large screen usually points to a camera installed at the bottom of the screen.
  • the contents are displayed on the large screen.
  • the operator's shape and movement are extracted from the image thus captured by a method known in the art, and compared with, for example, a predetermined pattern stored in the database, the operator's shape, Determine the meaning of the movement and use it to control the device.
  • the operator's image reading technology can be used to reproduce a stereoscopic image by photographing the operator with a three-dimensional or stereoscopic camera. Used for applications.
  • reproducing the stereoscopic image it is possible to grasp the movement of the operator in a three-dimensional manner. For example, since the movement of the operator, particularly the movement of the hand, can be recognized back and forth, the gesture can be compared with that using a two-dimensional image. Variety increases. Also, even if multiple operators are extracted as images, if it is a large number of people, it is a three-dimensional image, so the context can be known, and only the movement of the first operator can be extracted and used for operation input .
  • the conventional gesture detection device is difficult to capture the clear intention of the operator.
  • An object is to provide an image recognition device and an operation determination method that enable determination.
  • the invention described in claim 1 is an image recognition apparatus comprising: a three-dimensional imaging unit that reads an operator's image and generates stereoscopic image data; and a three-dimensional imaging unit.
  • the operation surface forming means for forming the virtual operation surface, and the movement of at least a part of the image of the operator with respect to the formed virtual operation surface is read by the three-dimensional imaging means,
  • Operation determining means for determining whether or not the movement is an operation based on a positional relationship between a part of the operator and the virtual operation surface, and outputs a predetermined signal when the movement is determined to be an operation.
  • a signal output means is a signal output means.
  • the operation determining unit determines that the operation is performed when a part of the operator is located closer to the three-dimensional imaging unit than the virtual operation surface. It is characterized by that.
  • the operation determining means is a shape of a part of the operator that is closer to the three-dimensional imaging means than the virtual operation surface or It is characterized by determining which operation is performed by movement.
  • the operation determining means searches for a storage means for storing operation contents associated with a part of the shape or movement of the operator in advance. The operation corresponding to the matching shape or movement is determined as the input operation.
  • the image recognition device further includes an image display unit disposed so as to face the operator, and the operation determination unit is operated by the operator.
  • the present operation determination result is displayed on the image display means so that the operation determination result can be recognized.
  • the image recognition device further includes image display means arranged to face the operator, and the operator is within the virtual operation hierarchy area.
  • image display means arranged to face the operator, and the operator is within the virtual operation hierarchy area.
  • the operator on the opposite side of the three-dimensional imaging means with respect to the virtual operation surface formed by the operation surface forming means is characterized by comprising an image display means that allows an operator to visually recognize an operation to be determined by calculating a distance from a positional relationship between a part and a virtual operation surface and displaying a sign that changes according to the distance. To do.
  • the image display means stops the change of the indication when a part of the operator is on the three-dimensional imaging means side with respect to the virtual operation surface. It is characterized by showing an operation to be determined.
  • operation content determination means is provided for determining the content of the operation based on the operation type pre-assigned to the virtual operation hierarchy and the movement of the operator in the virtual operation hierarchy.
  • the operation surface forming unit forms a virtual operation surface at a position corresponding to the position information of the upper body of the operator. It is characterized by.
  • the operation surface forming means adjusts the position and angle of the virtual operation surface based on the position of the image display means. It is characterized by.
  • an operation determination method for determining an operation content by recognizing an operator's image by an image recognition device, and reading the operator's image to generate stereoscopic image data.
  • a step an operation surface forming step for forming a virtual operation surface based on the image of the operator read by the three-dimensional imaging means, and the movement of at least a part of the image of the operator with respect to the formed virtual operation surface,
  • An operation determination step that is read by the three-dimensional imaging means and determines whether or not the movement is an operation based on a positional relationship between a part of the operator and the virtual operation surface, and when the movement is determined to be an operation
  • a signal output step for outputting a predetermined signal.
  • a program for causing an image recognition apparatus to execute an operation determination method for recognizing an operator's image and determining an operation content.
  • the operation determination method reads an operator's image.
  • a three-dimensional imaging step for generating stereoscopic image data, an operation surface forming step for forming a virtual operation surface based on the operator's image read by the three-dimensional imaging means, and an operator's operation on the formed virtual operation surface
  • a signal output step of outputting a predetermined signal when it is determined that the operation is an operation.
  • the present invention includes a three-dimensional imaging unit that reads an operator image to generate stereoscopic image data, and an operation surface forming unit that forms a virtual operation surface based on the operator image read by the three-dimensional imaging unit.
  • the movement of at least a part of the image of the operator with respect to the formed virtual operation surface is read by the three-dimensional imaging means, and the movement is an operation based on the positional relationship between the part of the operator and the virtual operation surface.
  • FIG. 1 is a diagram illustrating an example of an operation input system according to the present embodiment.
  • FIG. 2 is a block diagram schematically showing a relationship between the operation input system of this embodiment and a computer.
  • FIG. 3 is a block diagram illustrating an example of functional modules of a program processed in the CPU of the computer according to the present embodiment.
  • FIG. 4 is a flowchart of processing according to this embodiment.
  • FIG. 5 is a diagram illustrating a virtual operation surface formed based on the operation surface formation reference according to the embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a virtual operation surface formed based on the operation surface formation reference according to the embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of an operation input system according to the present embodiment.
  • FIG. 2 is a block diagram schematically showing a relationship between the operation input system of this embodiment and a computer.
  • FIG. 3 is a block diagram illustrating an example of functional modules of a program processed in the CPU of the computer according to
  • FIG. 7 is a diagram illustrating an example of an image when a plurality of operator images are captured using a conventional 3D camera.
  • FIG. 8 is a diagram showing an example of operation area setting for operation input support according to an embodiment of the present invention.
  • FIG. 9 is a diagram illustrating an example of adjustment of the operation region depending on the screen or the position of the camera according to the embodiment of the present invention.
  • FIG. 10 is a diagram illustrating another example of the adjustment of the operation area according to the screen or the position of the camera according to the embodiment of the present invention.
  • FIG. 11 is a diagram showing another example of the adjustment of the operation area depending on the screen or the position of the camera according to the embodiment of the present invention.
  • FIG. 12 is a diagram for explaining a method of adjusting the operation area according to the screen or the position of the camera according to the embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an operator image capturing method using a conventional 3D camera.
  • FIG. 14 is a diagram illustrating an example of an operation input system using a virtual operation surface based on a marker according to an embodiment of the present invention.
  • FIG. 15 is a diagram illustrating an example of a specific operation of the operation input method according to another embodiment of the present invention.
  • FIG. 16 is a diagram illustrating an example of adjustment of the operation area depending on the screen or the position of the camera according to the embodiment of the present invention.
  • FIG. 17 is a diagram showing an example of a specific display of operation input support according to an embodiment of the present invention.
  • FIG. 18 is a diagram illustrating a virtual operation surface and an operation region according to the embodiment of the present invention.
  • FIG. 19 is a diagram showing a relationship between an operator's movement and an icon displayed on the screen according to the embodiment of the present invention.
  • FIG. 20 is a diagram showing an example of a specific display of the operation input screen according to the embodiment of the present invention.
  • FIG. 21 is a diagram showing examples of various icons that can be used on the operation input screen according to the embodiment of the present invention.
  • FIG. 22 is a diagram showing a relationship between an operator's movement and an icon displayed on the screen according to the embodiment of the present invention.
  • FIG. 23 is a diagram illustrating a state in which the color of the menu button on the operation input screen according to the embodiment of the present invention changes.
  • FIG. 24 is a diagram illustrating a state in which the shading of the menu button on the operation input screen according to the embodiment of the present invention changes.
  • FIG. 25 is a diagram illustrating an example display screen for inputting an instruction to move a graphic displayed on the screen according to the present embodiment.
  • FIG. 26 is a diagram showing a relationship between an operator's movement and a menu displayed on the screen according to the embodiment of the present invention.
  • FIG. 27 is a diagram showing a relationship between an operator's movement and a menu displayed on the screen according to another embodiment of the present invention.
  • FIG. 28 is a diagram showing a relationship between an operator's movement and a menu displayed on the screen according to still another embodiment of the present invention.
  • FIG. 29 is a diagram showing a virtual operation surface and an operation surface formation reference according to an embodiment of the present invention.
  • FIG. 30 is a diagram showing an example of adjustment of the operation area depending on the screen or the position of the camera by the projector according to the embodiment of the present invention.
  • FIG. 31 is a diagram showing a relationship between an operator's movement and a menu displayed on the screen according to the embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of an operation input system according to the present embodiment.
  • the monitor 111 according to the present embodiment is arranged in front of the operator 102, and the operator 102 considers that the virtual operation surface is at a certain position between the operator 111 and the shape of a finger or the like is determined as an operation. It is possible to perform operations on the operation input system in consideration of becoming a target of the operation.
  • the monitor 111 displays various images for various applications intended by the system.
  • the monitor 111 supports operation input as described later, that is, for example, displays a portion of the target operator 102 as a screen. It is possible to make the operator 102 recognize an action that can be determined as an operation at the present time.
  • the movement of the operator 102 is photographed by the video camera 201, and the photographed image is processed by the computer 110, and is optimal depending on the position, height and arm length of the operator 102, or body dimension information such as height and shoulder width.
  • the position and size of the virtual operation surface and the operation area including the virtual operation surface are set, and it is determined what kind of operation the gesture of the portion that protrudes from the virtual operation surface to the monitor 111 side means. That is, the computer 110 creates a stereoscopic image of the operator 102 from the data obtained from the video camera 201, calculates the position of the virtual operation surface, and further positions and arrangement modes of the video camera 201 and the monitor 111 described later. To adjust the position and size of the virtual operation surface, determine whether or not the finger of the operator 102 comes out on the video camera 201 side with reference to the virtual operation surface, and operate the contents with the portion as the operation target Determine.
  • the video camera 201 is attached to the upper part of the monitor 111 in order to acquire an image.
  • the present invention is not limited to this as long as necessary images can be obtained as shown in FIGS. Any imaging means known in the art can be used, and the installation location can be selected anywhere near the monitor.
  • a three-dimensional (or 3D) camera as the video camera 201, a stereoscopic image including the operator can be created.
  • a voice output device such as a speaker (not shown) is attached to the system of the present embodiment, and information regarding display contents and operations can be transmitted to the operator by voice.
  • a voice output device such as a speaker (not shown) is attached to the system of the present embodiment, and information regarding display contents and operations can be transmitted to the operator by voice.
  • the virtual operation surface 701 of the present embodiment is set based on the height and arm length of the operator 102 or body dimension information such as height and shoulder width, and the user 102 stretches his arm in a natural shape.
  • the hand 601 can be projected forward with the operation surface 701 as a reference to show a gesture.
  • the action is determined by pushing (determining) the operation to the front of the virtual operation surface, or the operation is determined and then pushed out. Therefore, it is easy for the user to recognize and the operability is close to that of a conventional touch panel operation.
  • operation variations are overwhelmingly larger than conventional touch panels (two-hand operation, behavior, multiple fingers, etc.).
  • the virtual operation surface 701 as shown in FIGS. 5 and 6 is formed in real time when the camera 201 captures the image of the operator 102, but until the operator starts the operation. Since the operator's standing position is not constant, the virtual operation surface is not determined and the operation determination is not easy. Therefore, in the present embodiment, the setting process of the virtual operation surface is started when the operator's body is stationary for a certain time within the imaging range of the three-dimensional camera.
  • the virtual operation surface of the present embodiment can be formed in real time, but even in this case, the operation position can be limited by limiting the operator's standing position to a certain range optimum for the system.
  • the determination can be made more accurate.
  • a footprint indicating the standing position is drawn on the floor, or the operator can recognize the presence of a certain limited range by placing a monitor or system, or make a screen to operate within a certain range. It can also be made to do.
  • the position and size of the virtual operation surface that the operator can recognize naturally is greatly influenced by the positional relationship between the operator and the monitor, and the position of the monitor, camera, operator, etc. are assumed in advance throughout the system. Since it is better, by restricting in this way, the operator can generally perform an operation by estimating the position where the virtual operation surface exists.
  • the person 710 in the front row is identified as the operator 102 and virtual Form the operating surface.
  • which of the plurality of persons to select as the operator 102 can be variously determined depending on the system.
  • malfunctions and input errors can be caused by not providing an operation area for other than the foremost priority user. Can be prevented (in case of single input).
  • FIG. 2 is a block diagram schematically showing the structure of the computer 110 of the image recognition apparatus of this embodiment.
  • the computer 110 is connected to a monitor 701 and connected to a video camera 201 that captures the operator 102 and the like, and the captured image is captured by the computer 110.
  • the CPU 210 performs image extraction, position calculation, and the like, which are features of the present embodiment, in the CPU 210, and whether a part of the body comes out from the operation surface to the video camera based on the calculated position. To decide.
  • the computer 110 generally includes a CPU 210, executes a program stored in the ROM 211 or the like on the RAM 212, and outputs a processing result based on an image input from the image recognition apparatus to the monitor 111 or the like.
  • the monitor 111 mainly outputs various videos provided by various applications that the operator wants to experience, but also displays information that assists the operation input as will be described later. .
  • FIG. 3 is a block diagram showing an example of a functional module of a program processed in the CPU 210 of the computer 110 of this embodiment.
  • the processing in this system is executed by an image reading unit 301, an image extraction unit 302, an image position calculation unit 303, and an operation determination unit 304.
  • the processing from the reception of an image from the video camera 201 to the output of data is executed by four modules.
  • the present invention is not limited to this, and other modules are used or fewer modules. Can also be processed.
  • a virtual operation surface is formed based on the image of the operator 102 photographed by the video camera 201, and the positions of the hands and fingers that are part of the operator 102 that is also photographed. And processing for calculating the positional relationship between the virtual operation surface 701 and the finger 601 of the operator 102 is performed.
  • initial settings known in the art for example, when the image recognition apparatus of the present embodiment is newly installed, a video camera used as a preliminary preparation It is necessary to input information such as the distortion of the used lens 201 and the distance between the monitor 111 and the lens to the apparatus. Further, the threshold setting or the like is adjusted in advance. When the initial setting of the system is completed, the processing of this embodiment is performed. This processing will be described below with reference to FIG.
  • FIG. 4 is a flowchart of processing according to this embodiment.
  • data captured by the video camera 201 is read by the image reading unit 301 (S401), and an image of the operator is extracted from the data by the image extracting unit 302 (S402).
  • a virtual operation surface and an operation area are formed based on the extracted image of the operator 102 (S403).
  • the shape of the operation surface is a rectangle standing upright from the floor surface, but is not limited to this, and the operation surface has various shapes and sizes depending on the operation mode of the operator. Can be formed.
  • the operation area includes a virtual operation surface that is a feature of the present embodiment, and is an area in which a hand, a finger, or the like that is a main operation of the operator is mainly moved.
  • a certain area beyond the virtual operation surface from the operator's trunk is used for the operation recognition of the present invention.
  • an adult operator 810 can be formed like an operation region 811 in consideration of the height (the position of the line of sight) and the length of the arm, and the child operator 820 In this case, since the height and the arm become shorter, the operation area 821 can be set accordingly. If a virtual operation surface is set in such an operation area, the operator can move the hand or finger naturally so that the operation intended by the operator can be determined by the movement of the hand or finger. become.
  • the depth is up to the fingertip where the operator has extended his hand
  • the horizontal width is the length of the left and right wrists when the operator has extended his hand
  • the height is the height of the operator.
  • the range can be from the head position to the waist position.
  • the target person of the system of the present embodiment is an elementary school elementary school student to an adult
  • the height width is approximately 100 cm to 195 cm
  • the correction width of the vertical position of the operation area or the virtual operation surface is as the height difference. , About 100 cm is required.
  • the virtual operation surface and the operation area can be executed each time, can be executed under a certain condition, or the setting timing can be selected in advance or each time.
  • the operation determination unit 304 uses the relative relationship between the virtual operation surface on which the operation input system is formed and the operator 102 (S404), and a part of the operator 102 comes to the front as viewed from the video camera 201 on the operation surface. It is determined that the operation has been started (S405), and the shape and movement are assumed in advance from the shape and movement of each part (open hand, two fingers, etc.) and movement. Is determined (S406). Here, what type of shape and movement corresponds to what type of operation can be determined independently by the system, or can be determined by adopting any method known in this technical field. The determination result is executed by the computer 110 assuming that such an operation has been input (S407).
  • the process ends (S408).
  • the determination of the operation content is not limited to the method described here, and any method known in the present embodiment can be used. Although a specific determination method has also been omitted, generally, the shape and movement of the operator's body, such as a predetermined gesture, and the operation content meaning the same are stored in a database or the like, and after image extraction Then, this database is accessed to determine the operation content. Also in this case, of course, it is possible to improve the determination accuracy by using an image recognition technique, artificial intelligence, or the like by a method known in the technical field.
  • the virtual operation surface is formed at which position and with a certain size depending on whether the operator is a child or an adult.
  • a three-dimensional camera can measure the distance to an object in parallel or concentric with a CCD or lens surface. If the monitor is installed at the height of the operator's line of sight, the cameras are close to each other, and each is installed vertically on the floor surface, if the operator is also in a standing position, the mutual operation will be It can be said that there is no need for adjustment or correction, such as the positional relationship.
  • various situations are assumed for the camera installation position and the positional relationship with the monitor and the operator.
  • a virtual operation surface In general, an operator performs an input operation while looking at an operation target screen. Therefore, a virtual operation surface must always be arranged perpendicular to a straight line connecting the operator's line of sight and the operation target screen, and an operation area along the line must be generated. Even if the angle of the push stroke in the operator's Z direction is inconsistent and the operator pushes to the point that the operator is aiming at, the flow will flow along one of the angles along with the push. It will not be possible. Therefore, when forming the virtual operation surface, it is necessary to adjust the angle, size, or position depending on the positions of the monitor, the camera and the operator, and the arrangement mode.
  • the operation area 821 and the virtual operation surface 601 are determined according to the operator 820 as shown in FIG. 8, but the camera 201 is arranged on the upper part of the monitor 111 as in the example shown in FIG. 9.
  • the virtual operation surface 601 is not perpendicular to the direction 910 in which the operator 820 extends the arm, the operator 820 cannot obtain a good operation feeling on the virtual operation surface. It will not be.
  • the virtual operation surface 701 tilts upward so that the operator 820 can look up and operate the monitor 111.
  • the field of view 1011 of the camera 201 is tilted at a constant angle with the line-of-sight direction 1010 as in the example shown in FIG. 9, it is necessary to correct the information read by the camera 201 so that it matches the tilted virtual operation surface 701. There is. Further, referring to FIG. 11, since the camera 201 is placed away from the monitor 111 and near the floor, the line of sight 1110 of the operator 820 and the field of view of the camera 201 have a larger angle. is necessary.
  • FIG. 12 is a diagram for explaining an example for defining the virtual operation surface 701 and the operation area 821.
  • information such as the position of the monitor 111 and the camera 201, the installation method (how much is installed), the standing position of the operator 820, the height, and the like are used. . That is, as an example, first, the virtual operation surface 701 perpendicular to the operator's line of sight is calculated from the eye height (height) of the operator 820 with respect to the monitor 111 and the standing position.
  • the angle between the line AB connecting the head and the trunk of the operator 820 and the center line 1210 of the visual field of the camera 201 is measured, and the inclination of the virtual operation surface and the operation area is corrected.
  • the arm stroke may be extracted from the image of the operator, or may be determined from the information on the average arm length for each height separately from the obtained height information.
  • the position, size, angle, and the like of the virtual operation surface can be set using a marker similar to the operation surface formation reference of the second embodiment described later.
  • the virtual operation surface and the operation area of the present embodiment are determined so that natural operation and easier operation determination can be performed based on the positions, arrangement modes, and the like of the camera, the monitor, and the operator. It is determined which operation is being performed by detecting the movement of the operator.
  • specific processing that is not described here, such as how to specify the position and shape from the image of the three-dimensional camera, whether or not part of the operator has passed through the virtual operation surface, etc. Processing necessary for implementation of the embodiment can be achieved using any method known in the art.
  • Operaation input support As described above, an operator can recognize an operation surface such as a touch panel in space simply by forming a virtual operation surface with a 3D video camera, and various operations can be performed on the operation surface. By doing this, operation input using all or part of the body is possible, but it is easier by supporting operation input such as displaying an operator's image of the virtual operation surface on the monitor 111.
  • the system of this embodiment can be utilized.
  • FIG. 17 is a diagram illustrating an example in which guidance for assisting such an operation input is displayed on the monitor 111.
  • the operator points the desired place by superimposing the virtual operation surface on the displayed image and protruding a finger.
  • the operator can execute the next operation while recognizing and confirming the currently performed operation.
  • the pointer 901 is displayed on the screen when a finger is protruded from the operation surface, and disappears when the finger is retracted, or is displayed with shading, and is displayed on the monitor and the movement of the hand.
  • an operation screen 902 representing the state of the operator itself as shown in FIGS. 5 and 6 is displayed in a small size in the upper right corner of the monitor 111, and what kind of movement is currently performed in the system. It is possible to display whether it is determined to be an operation, and by showing a line graph 903 in which the movement of the hand is graphed, by making the operator himself / herself aware of the movement of the hand before and after, Accurate operation can be expected.
  • gestures that can be used in the system can be displayed in the guidance, and the operator can be urged to input an operation following the gesture.
  • an operator operates the input device such as a touch panel as if there is an input device on the basis of a virtual operation surface virtually formed in the space, thereby ensuring the operation content.
  • the virtual operation surface until the hand or finger that is part of the operator reaches the virtual operation surface, that is, after the operator starts moving the hand or finger to perform some operation.
  • the principle of such operation support is based on the operation of the operator on the monitor 111 in accordance with the movement of the position of the operator, for example, the hand or finger on the virtual operation surface.
  • the operator is guided to enable accurate operation input.
  • FIGS. 18 and 19 when the operator can operate at a certain standing position in advance, it is appropriate to operate the virtual operation surface at the standing position.
  • the virtual operation surface 701 is formed at an appropriate position according to the position or the operator's standing position.
  • an appropriate operation area 821 for the operator 820 is set. As described above, what kind of operation is currently being performed on the monitor 111 is shown in various forms so that the operator can recognize his / her own operation.
  • FIG. 20 shows how the icon changes on the screen 2501 of the monitor 111 as a result of the above operation.
  • a television program guide is displayed on the screen 2501 of the monitor 111, and an operation relating to a certain program is about to be performed.
  • the operator wants to select the “change setting” menu button, the operator tries to select the menu 601 by projecting the finger 601 toward the monitor 111 as described above.
  • an icon 2503 is displayed on the screen 2501. Since this finger is still far away, a relatively large icon on the right side of the icon shown in FIG. 19 is displayed.
  • the icon approaches the target selection item “setting change”, becomes smaller and becomes a special icon when the icon 2502 has a certain size, and the finger crosses the virtual operation surface. It is determined that the item at the position pointed to is selected.
  • the operator can see how the operation is recognized by the system. It is possible to grasp and intuitively recognize the position of the virtual operation surface and perform operations such as menu selection.
  • the entire operator including the finger 601 and the arm 2401 and the position and size of each part can be extracted by using a three-dimensional camera, as in the overall image of the operator.
  • the object in the screen can be grasped including the depth, the distance and the positional relationship with the virtual operation surface can be calculated based on the information.
  • any method known in this technical field can be used for the three-dimensional camera used in the present embodiment, position extraction, distance calculation, and the like, description thereof is omitted here.
  • the icons displayed on the screen are circular and change in size according to the operation of the operator.
  • the present invention is not limited to this, and various forms of icons can be used as shown in FIG. it can. That is, referring to FIG. 21, (1) is an icon in the form of a finger, which is made smaller as it approaches the virtual operation surface as in the example of FIG. (2) shows a circular shape that gradually becomes smaller, but changes to a special shape when input or selection is confirmed, and is confirmed.
  • the color of the icon can be changed instead of or together with the change in shape and size. For example, by changing from a cold color system to a warm color system such as blue, green, yellow, and red, the operator can intuitively recognize that the operation is focused and determined.
  • (3) is a shape like X, and when it is far away, it is not only large but also blurred. As it gets closer, the size of the icon becomes smaller and the blur disappears and becomes a sharp shape.
  • the size of the entire icon is not changed, and the figure drawn therein is recognized to change its shape and become focused. In this case, the color of the figure can also be changed.
  • (5) shown in FIG. 21 also changes the shape. In FIG. 21, the shape and color of the icon change according to the movement of the finger. When the virtual operation surface is exceeded, the shape and color are changed or blinked as shown in a column 2601 at that moment. It is also possible to make the operator recognize that it has been determined as an operation. In addition, although not shown in the figure, as other icon changes, a change that is transparent at first and becomes opaque as the finger approaches the virtual operation surface is also effective.
  • FIG. 23 is a diagram illustrating an example in which the color of the selected button is changed from a cold color system to a warm color system as the finger 601 approaches.
  • FIG. 24 is a diagram illustrating an example of changing the fill density of the button.
  • FIG. 26 A similar menu selection example is also shown in FIG. 26.
  • the menu 4301 is displayed on the screen.
  • a large icon 2610 is displayed on, for example, the item 4302 of the menu shown in FIG.
  • the selection of the item 4302 is confirmed and a small icon 2611 is displayed to notify this.
  • the finger 601 left and right and up and down the selected item in the menu moves, and when the desired item is stopped for a certain period of time, processing corresponding to the selected item can be performed.
  • FIG. 31 also shows a menu when the finger 601 is in a certain area in front of the virtual operation surface 701 as in FIG. 26, but here is an example of video image control.
  • the menu can be operated by the large icon 3110 and the small icon 3111 as in the example shown in FIG.
  • FIG. 25 is a diagram illustrating an example display screen for inputting an instruction to move a graphic displayed on the screen according to the present embodiment.
  • the instruction is given by moving the operator's hand or finger while touching the virtual operation surface.
  • the icon is reduced from the icon 4201 on the screen 4211 to the icon 4202 on the screen 4212 to indicate that the user is approaching the virtual operation surface.
  • the icon 4203 on the screen 4213 is changed and left as it is, for example, and if the finger is moved upward in that state, the rubber band 4204 etc. on the screen 4214 is displayed and moved.
  • the operator can confirm his / her own operation. Further, when the finger is moved in the right direction, the rubber band 4205 of the screen 4215 can be displayed. In this way, a rubber band (arrow in the above figure) that expands and contracts according to the drag distance of the up / down / left / right after the finger or the like arrives on the virtual operation surface (the position of the icon 4203 is fixed until it comes off the virtual operation surface), The moving direction in the 3D space can be changed according to the moving speed and the extending angle according to the expansion / contraction distance (the tip of the arrow follows the movement of the arm tip or fingertip).
  • the principle of this embodiment has been described in the case where the operator and the monitor are almost at the same height as shown in FIG. 18, that is, the virtual operation surface is formed substantially perpendicular to the front surface in the horizontal direction of the operator.
  • this principle is not affected by the positional relationship and shape between the operator and the monitor, and various arrangements and configurations are possible.
  • the present invention can be applied to a system arrangement as shown in FIGS.
  • the three-dimensional camera 201 is also tilted together with the monitor 111, there is basically no significant difference from the case where the three-dimensional camera 201 is disposed at the horizontal position described above.
  • By performing position correction or the like by any of the methods known in (1) it is possible to determine the operation by calculating the positional relationship between the operator's part and the virtual operation surface.
  • the operator can operate as if there is an input device such as a touch panel on the basis of a virtual operation surface virtually formed in the space, thereby ensuring the operation content.
  • the content of the operation thus determined is determined from the virtual operation surface in the direction away from the virtual operation surface and the body such as the operator's hand in the direction away from the operator. It is determined by the positional relationship of some or worn objects.
  • the operation area is set as a virtual operation hierarchy in two or three layers in the z-axis direction, which is the direction away from the operator, and the type of operation is determined according to which layer the operator's hand is in,
  • the operation content is determined by the movement of the hand in the layer.
  • the operator can more easily recognize the operation.
  • the distance in the z direction between a part of the operator and the plane dividing each layer can be obtained by a method of calculating the distance between the formed virtual operation surface and a part of the operator.
  • the trigger surface 701 shown in FIG. 27 is a virtual operation surface of the present embodiment.
  • the operation area ahead of the trigger plane 701 is divided into three levels A to C by planes 4501 and 4502, and different types of operations are assigned to each.
  • an object rotation operation is assigned to the hierarchy A
  • an enlargement / reduction operation is assigned to the hierarchy B
  • an object movement operation is assigned to the hierarchy C.
  • An operation determined by moving the finger 601 in each layer is executed.
  • an icon indicating the finger 601 when the finger 601 passes through the trigger surface 701, an icon indicating the finger 601, for example, an object designated around the position indicated by the rotation icon 4503 rotates in accordance with the movement of the finger 601.
  • an enlargement / reduction icon 4504 is displayed on the monitor 111, and the object is enlarged when the finger 601 is moved in the z direction, and the object is reduced when the finger 601 is moved in the opposite direction.
  • a movement icon 4505 can be displayed at the position of the finger 601 on the designated object displayed on the monitor 111, and can be moved in accordance with the movement of the finger 601.
  • the planes 4501 and 4502 separating the layers can be arranged so that each layer has the same thickness, or can be arranged so as to have different thicknesses according to the operation type assigned to the layer.
  • an operation of enlargement / reduction is assigned to the hierarchy B.
  • the enlargement / reduction must be expressed by a forward / backward movement, it is usually in the z direction compared to the hierarchy A and hierarchy C. Since the movement becomes large, the operation can be facilitated by making the layer B thicker.
  • FIG. 28 is a diagram showing an example of another icon of the present embodiment.
  • the operation for specifying the operation position on the monitor 111 is performed for the hierarchy A
  • the operation for “grabbing” the object at the specified position is performed for the hierarchy B
  • the grasped object is thrown for the hierarchy C. Or each operation to move is allocated.
  • a multi-sensing state in which a hand opposite to the one to be operated is inserted into the operation area is set to no operation (or vice versa).
  • it is determined whether or not to operate each level by putting in and out the hand opposite to the one to be operated in this example, depending on the two-hand operation, but on the XY plane)
  • Various methods such as providing a slip-through area are conceivable).
  • the operator can operate the system by the movement without memorizing or arranging the gesture in advance, and the posture of the operator and each part, for example, the movement of the hand
  • so-called mixed reality (MR) can be realized in a game using the whole body.
  • the present embodiment is basically the same as the system configuration of the first embodiment described above except for the operation surface formation reference. That is, in the present embodiment, based on the system and processing of the first embodiment, by introducing the concept of an operation surface formation standard like a certain marker 101 that can be perceived by the operator as shown in FIG. The operator can easily recognize the virtual operation surface using this as a mark. That is, the marker 101 shown in FIG. 14 or the like is an operation surface formation reference for the operator 102 to recognize the virtual operation surface. As shown in FIG. 16, the user 102 has the marker 101 shown on the floor surface.
  • the horizontal width of the marker 101 can be the width of the operation surface.
  • the front and back of the marker 101 can be distinguished by an auxiliary marker or the like, the operation area can be determined by using the auxiliary marker, and a three-dimensional perspective calculation element can be used. It is also possible to indicate an area suitable for the above.
  • an operation surface 701 is virtually formed on the upper portion of the marker 101 as shown in FIG. 16, and the operator 102 moves the virtual operation surface 701 from the marker 101. It is possible to easily perform an input operation by projecting the hand 601 or moving the hand 601 so that a part of the screen and the operation surface 701 are touched as if touching the touch panel in conjunction with the monitor 111. Can do.
  • the action can be determined by pushing (decision) pushing forward in the line segment, or it can be used as a criterion for the decision to push out after deciding the operation. It is easy for the user to recognize and the operability is close to that of a conventional touch panel operation.
  • the virtual operation surface is shown to be formed vertically right above the marker.
  • Only the bottom of the virtual operation surface can be tilted according to the operation surface formation reference, or the position where the virtual operation surface is formed can be changed according to the height.
  • a fixed operation surface may be first calculated by the marker 101 and then adjusted by an operator's image so that the virtual operation surface is formed at an appropriate position.
  • the operation surface is calculated based on the measured position of the marker 101 and the positions of the monitor 111 and the camera 201 set in advance, and the height, arm length, etc. are extracted from the operator's image.
  • the position, size, angle, and the like of the virtual operation surface can be corrected in consideration of these pieces of information.
  • the marker that is the operation surface formation reference can be visually recognized, and the operator visually recognizes the marker and uses the marker as a reference, and operates by estimating the position where the virtual operation surface exists. Therefore, the virtual operation surface needs to be formed above the marker, but the positional relationship before and after the operator may change depending on the situation of the operator and the entire system. In general, as shown in FIG. 27, for example, when a marker 4401 is arranged on the floor or the like, it is likely that the operator 102 often stands at a position immediately above the marker 4401 from the position of the eyes of the operator 102.
  • the operation region including the virtual operation surface is set in consideration of the arm stroke and the like.
  • the markers in various ways, more objectively, that is, what Even if there is an operator, the operation area can be determined so that it can be recognized with a certain degree of accuracy.
  • the operation surface formation standard as in this embodiment can disperse and arrange the measurement markers over a wide range on the captured screen at an appropriate time, measurement with very high reliability is possible.
  • it can be used in combination with a calibration system that guarantees that the marker is always within the shooting range of the camera, thus realizing a space-saving and multifunctional device. There is no need to remeasure every time after initial installation calibration.
  • the marker 101 is photographed by the video camera 201 and becomes an operation surface formation reference.
  • various kinds of marker materials known in this technical field can be used.
  • the appropriate camera is selected depending on the camera to be used. For example, in the case of a normal camera, a characteristic coloring that stands out from the background color is necessary, and when an infrared camera is used, a retroreflective material or the like can be used.
  • a black bar or the like is used without using a marker or a retroreflective material with the laser beam. As a result, the portion irradiated with the laser light is not reflected and a defect occurs on the screen, so that the position of the bar can be detected in this way as well.
  • the marker when a marker is attached by a certain coloring, the marker can be extracted by specifically processing as follows.
  • the image reading unit 301 data captured by the video camera 201 is read, and in the case of, for example, a color image of the marker 101, a color region previously determined as a marker by the image extracting unit 302 is extracted from the data. Extract only images.
  • upper and lower threshold values are set for each of the luminance signal Y and the color difference signals U and V of the color NTSC signal, and pixels that satisfy all the threshold values are extracted. Any method known in the art can be used. In this way, the position of the marker 101 is grasped three-dimensionally, what the virtual operation surface looks like is calculated and stored in the database.
  • a marker when calculating a distortion and a scale, can be provided at at least four points or more as a reference. For example, if there are four or more reference points, they can be connected to form a line segment for calibration.
  • the marker can be used by sticking an appropriate material to the floor surface in this way, but it is not limited to this and can be applied directly to the floor surface or using any attachment method known in the art. Can be.
  • the marker 101 is used as the operation surface formation reference.
  • the present invention is not limited to this, and any member or structure can be used as the three-dimensional measurement reference.
  • the marker may be a figure of various shapes instead of the shape shown in FIG. 1, and a plurality of markers having a certain area may be provided at some points.
  • a virtual operation surface 701 is formed by attaching markers 1902 and 1903 to a three-dimensional object, for example, a desk-shaped three-dimensional object 1901 shown in FIG.
  • an input operation can be performed by performing an operation with a finger 601 or the like.
  • the shape of the virtual operation surface is a rectangle standing vertically from the floor surface.
  • the shape is not limited to this, and the operation surface has various shapes and sizes depending on the shape and arrangement of the marker 101. Can be formed. For example, since the marker 101 shown in FIG.
  • auxiliary markers can be arranged three-dimensionally to make a sloped operation surface having a certain angle with respect to the floor surface, or a curved operation surface.
  • the processing is described based on a virtual operation surface formed by a marker or the like.
  • a virtual operation surface formed by a marker or the like.
  • any of the above is a method in which the user can visually recognize the position after calibration, and is replaced with another means (three-dimensional or ⁇ plane) leading to movement restriction. Furthermore, without relying on the calibration method only on the camera side, a reference plane is set at a distance and position that is easy to use in advance, and then a floor line or a solid guide is installed afterwards on the plane (area) so that the user can recognize it. .
  • a marker is basically attached to the edge of a desk or table, and the operator touches the virtual operation surface formed above the marker or moves the hand to perform input operations to the system. Recognize that there is. At this time, the edge of the desk or table that is not provided with a marker restricts the operation of the operator, and supports a moderately held hand to naturally touch the virtual operation surface. This concept will be described with reference to FIG. 38.
  • a virtual operation surface 701 is formed above the marker 4402 serving as an operation surface forming unit.
  • the operator 102 is fixed from the virtual operation surface by some kind of operation restriction unit 4401.
  • the virtual operation surface can be operated with the hand 601 that has been put forward naturally.
  • the virtual operation surface 701 is formed immediately above the marker 4402.
  • the virtual operation surface 701 can be moved back and forth with the marker 4402 as a reference.
  • the operation restriction unit 4401 is basically fixed, depending on the body shape of the operator 102, if a virtual operation surface is formed directly above the marker 4402, it may be too close or too deep to be unusable. There is also a possibility. In this case, the position where the virtual operation surface is formed can be moved back and forth from the marker 4402 for each operator.
  • the virtual operation surface is formed based on the operation surface formation standard that can be perceived by the operator and the image of the operator himself / herself captured by the three-dimensional camera. Since it is easy to specify and the height of the operator is taken into account, the operator can obtain a natural operation feeling without a sense of incongruity.
  • the present embodiment is basically the same as the system configuration of the first and second embodiments described above, except that a projector is used for display instead of a monitor. That is, in this embodiment, the processing is basically the same as in the first and second embodiments, but instead of the monitor 111 such as an LCD or plasma, an image is projected from the projector 3011 to the screen 3010 as shown in FIG. Various information is notified to the operator by projecting. In the system of the present embodiment, only the screen is disposed on the display surface on which the LCD or the like is disposed in the first embodiment or the like. Therefore, the projector 3011 that projects the image, the camera 201, and the computer that controls these are shown in FIG. As shown in FIG.
  • a guide bar 3012 is placed to recognize the entry prohibition area, and this is used as in the second embodiment. It can also be used as a standard for forming an operation surface.
  • This embodiment is different from the first embodiment only in the display method, and the display surface itself is not greatly different. Therefore, the setting of the virtual operation surface and the operation region, the operation determination processing, etc. are basically the first or This is the same as in the second embodiment.
  • the projector, the camera, and the computer are integrated, and are arranged between the operator and the display surface (screen 3010). Therefore, the position of the camera 201 is slightly different, and the camera is positioned below the display surface.
  • the adjustment range of the angle of the operation region or the like becomes larger.
  • the positional relationship between the guide bar 3012 and the virtual operation surface 701 is different from the case described in the second embodiment, and the virtual operation surface 701 is not always formed directly above the guide bar 3012.
  • the guide bar 3012 according to the present embodiment which serves as an intrusion prevention, and the case where it is consciously drawn on the floor like a certain marker 101 that can be perceived by the operator as shown in FIG. This is because although the role as the operation surface formation reference is the same, the position where the virtual operation surface is formed differs depending on the positional relationship with the operator and the relationship with the operator.
  • a virtual operation surface can be formed on the back side or the near side based on the guide bar 3012 according to the system.
  • a projector, a camera, and a computer can be integrated by using a projector for display, installation and handling are easy, and a large LCD is used when the screen is large. This is advantageous in terms of ease of installation and cost.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　的確な操作の判定を可能にすること。画像読取部（３０１）においてビデオカメラ（２０１）で撮影されたデータを読取り（Ｓ４０１）、そのデータから操作者の像を、画像抽出部（３０２）により抽出する（Ｓ４０２）。このような準備の結果、抽出した操作者（１０２）の画像に基づいて仮想操作面および操作領域を形成する（Ｓ４０３）。大人の操作者（８１０）については、身長（視線の位置）や腕の長さを考慮して操作領域（８１１）のように形成することができるし、子供の操作者（８２０）の場合、身長もより低くなり、腕も短くなるので、これにあわせて操作領域（８２１）を設定することができる。

Description

画像認識装置および操作判定方法並びにプログラム
　本発明は、画像認識装置および操作判定方法に関し、より詳細には、ビデオカメラ等により撮影した画像から測定対象の動作の判定を行う画像認識装置および操作判定方法に関する。
　近年、コンピュータや電子機器と人間とのインタフェース、すなわちマンマシンインタフェースとして様々な機器、手法が提案されており、特にゲーム機や操作ガイド機器などではカメラで操作者全体、あるいは一部を撮影し、その画像に応じて操作者の意志を判断して動作する技術が提案されてきている。例えば、特許文献１には、ＣＣＤカメラで撮像した画像中の物体の形状、動きを認識するホストコンピュータと、ホストコンピュータによって認識した物体の形状、動きを表示するディスプレイとを備え、ＣＣＤカメラにユーザが向い、手振り等によって指示を与えると、与えた手振りがディスプレイの表示画面上に表示され、表示画面上に表示した仮想スイッチ等を手振りによって矢印カーソルのアイコンで選択でき、マウス等の入力装置を必要とせず、非常に簡便な機器の操作が可能となる技術が提案されている。
　最近ではさらに、手指の動きや形状を撮像した画像から、ある種のジェスチャとして認識して、操作入力をする入力システムも提案されている。例えば、ジェスチャによる画面操作でのプレゼンテーションや、タッチパネルを必要としない非接触キオスク端末に用いることができる入力装置において、大画面に向き合った操作者は、通常画面下部の位置に設置されたカメラに向けて種々の操作を行うと、その内容が大画面に映し出される。このように撮影された画像から操作者の形状、動きを、本技術分野で知られた方法により抽出し、例えば予め定められ、データベースに格納されたパターンと比較することにより、操作者の形状、動きの意味を判定し機器の制御に用いる。
　一方、操作者の画像の読み取り技術としては、図１３に示すように、三次元または立体対応のカメラで操作者を撮影し、立体画像を再現することも可能となっており、セキュリティチェックなどの用途に用いられている。立体画像を再現することにより、操作者の動きを立体的に把握することができ、例えば操作者の、特に手の動きが前後にも認識できるため、二次元画像を用いたものに比べジェスチャのバラエティが増大する。また、複数の操作者が画像として抽出されても、多人数であれば立体画像であるため前後関係がわかり、一番前の操作者の動きのみ抽出し、操作の入力に使用することもできる。
特開２００４－０７８９７７号公報
　しかしながら、従来のジェスチャ操作はデファクトスタンダードといった何らかの標準的なジェスチャが確立されておらず、人差し指でのＸＹ座標のポインティング操作以外はユーザがどのような動作で何ができるのかが直感的に認識できない。「クリック」、「ダブルクリック」、「ドラッグ」等・・・、クリック操作を何秒間かのウェイト時間の間座標に固定することで指示するものはあるが、設定されたウェイト時間が長すぎる等により快適な操作を阻害することも少なくない。したがって、クリックや決定（ダブルクリック等）などの操作をわかり易く、かつ快適にする現実的な手法がないという問題がある。
　また、従来のジェスチャ検出装置は、タッチパネルといった直接操作者が触れることができる入力装置とは異なり、操作者の明確な意思を汲み取りにくい。すなわち、そもそも操作者が何らかの動作を行っても、それが入力を意図したものなのか、単に癖で動いてしまったのか判定することが容易ではないという問題がある。この結果、例えば単純なジェスチャを不自然に目立つ形で行わなければ認識できず、またジェスチャについての事前の取り決めが必要だったり、複雑なジェスチャは使用できなかったりという問題がある。
　本発明は、このような問題に鑑みてなされたもので、操作者に何らかの入力につながる操作をしている状態にあることを認識させた上で装置に対し動作させることにより、的確な操作の判定を可能にする画像認識装置および操作判定方法を提供することを目的とする。
　このような目的を達成するために、請求項１に記載の発明は、画像認識装置であって、操作者の像を読取って立体画像データを生成する三次元撮像手段と、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成手段と、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定手段と、動きが操作であると判定されると、所定の信号を出力する信号出力手段とを備えたことを特徴とする。
　請求項２に記載の発明は、請求項１に記載の画像認識装置において、操作判定手段は、操作者の一部が仮想操作面よりも三次元撮像手段側にあるとき操作であると判定することを特徴とする。
　請求項３に記載の発明は、請求項１または２に記載の画像認識装置において、操作判定手段は、操作者の一部の、仮想操作面よりも三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする。
　請求項４に記載の発明は、請求項３に記載の画像認識装置において、操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする。
　請求項５に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作者と対面して配置された画像表示手段をさらに備え、操操作判定手段は、操作者が操作の判定結果を認識できるように、画像表示手段に現時点の操作判定結果を表示させることを特徴とする。
　請求項６に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作者と対面して配置された画像表示手段をさらに備え、仮想操作階層の領域内で操作者の動きが読取られると、画像表示手段に仮想操作階層に予め割当てられた標示を表示することを特徴とする。
　請求項７に記載の発明は、請求項１ないし４のいずれかに記載の画像認識装置において、操作面形成手段により形成される仮想操作面に対し、三次元撮像手段の反対側における操作者の一部と仮想操作面との位置関係から距離を算出して距離に応じ変化する標示を表示させて、判定しようとする操作を示す操作者が視認可能な画像表示手段を備えたことを特徴とする。
　請求項８に記載の発明は、請求項７に記載の画像認識装置において、画像表示手段は、操作者の一部が仮想操作面に対し三次元撮像手段側にあるときは標示の変化を停止させて判定される操作を示すことを特徴とする。
　請求項９に記載の発明は、請求項１ないし８のいずれかに記載の画像認識装置において、仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で操作者の動きが読取られると、仮想操作階層に予め割当てられた操作種別および仮想操作階層内での操作者の動きに基づいて操作の内容を決定する操作内容決定手段を備えたことを特徴とする。
　請求項１０に記載の発明は、請求項１ないし９のいずれかに記載の画像認識装置において、操作面形成手段は、操作者の上半身の位置情報に応じた位置に仮想操作面を形成することを特徴とする。
　請求項１１に記載の発明は、請求項１ないし１０のいずれかに記載の画像認識装置において、操作面形成手段は、画像表示手段の位置に基づいて仮想操作面の位置および角度を調整することを特徴とする。
　請求項１２に記載の発明は、画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
　請求項１３に記載の発明は、画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、操作判定方法は、操作者の像を読取って立体画像データを生成する三次元撮像ステップと、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて動きが操作であるか否かを判定する操作判定ステップと、動きが操作であると判定されると、所定の信号を出力する信号出力ステップとを備えたことを特徴とする。
　本発明は、操作者の像を読取って立体画像データを生成する三次元撮像手段と、三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成手段と、形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、三次元撮像手段で読取って、操作者の一部と仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定手段と、動きが操作であると判定されると、所定の信号を出力する信号出力手段とを備えることにより、操作に習熟していない特殊なジェスチャを覚えることなく、身体全体あるいは一部を動作させることにより、操作者の意志を的確に示す操作として判定することが可能になる。
図１は、本実施形態の操作入力システムの一例を示す図である。 図２は、本実施形態の操作入力システムのコンピュータとの関係を模式的に示すブロック図である。 図３は、本実施形態のコンピュータのＣＰＵ内で処理されるプログラムの機能モジュールの一例を示すブロック図である。 図４は、本実施形態の処理のフローチャートである。 図５は、本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図６は、本発明の一実施形態にかかる操作面形成基準により形成される仮想的な操作面の様子を示す図である。 図７は、従来の３Ｄカメラを用いた複数の操作者の画像取り込んだ場合の画像の一例を示す図である。 図８は、本発明の一実施形態にかかる操作入力支援の操作領域設定の一例を示す図である。 図９は、本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の一例を示す図である。 図１０は、本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の別の例を示す図である。 図１１は、本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の別の例を示す図である。 図１２は、本発明の一実施形態にかかる画面またはカメラの位置により操作領域を調整する方法を説明するための図である。 図１３は、従来の３Ｄカメラを用いた操作者の画像取り込み方法を示す図である。 図１４は、本発明の一実施形態のマーカに基づく仮想操作面を用いた操作入力システムの一例を示す図である。 図１５は、本発明の別の一実施形態にかかる操作入力方法の具体的な操作の一例を示す図である。 図１６は、本発明の一実施形態にかかる画面またはカメラの位置による操作領域の調整の一例を示す図である。 図１７は、本発明の一実施形態にかかる操作入力支援の具体的な表示の一例を示す図である。 図１８は、本発明の一実施形態にかかる仮想的な操作面および操作領域の様子を示す図である。 図１９は、本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 図２０は、本発明の一実施形態にかかる操作入力画面の具体的な表示の一例を示す図である。 図２１は、本発明の一実施形態にかかる操作入力画面で使用可能な種々のアイコンの例を示す図である。 図２２は、本発明の一実施形態にかかる操作者の動きと画面に表示されるアイコンとの関係を示す図である。 図２３は、本発明の一実施形態にかかる操作入力画面のメニューボタンの色の変化する様子を示す図である。 図２４は、本発明の一実施形態にかかる操作入力画面のメニューボタンの濃淡の変化する様子を示す図である。 図２５は、本実施形態により画面に表示された図形を移動させる指示を入力する一例の表示画面を示す図である。 図２６は、本発明の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 図２７は、本発明の別の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 図２８は、本発明のさらに別の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。 図２９は、本発明の一実施形態にかかる仮想操作面および操作面形成基準の様子を示す図である。 図３０は、本発明の一実施形態にかかるプロジェクタによる画面またはカメラの位置による操作領域の調整の一例を示す図である。 図３１は、本発明の一実施形態にかかる操作者の動きと画面に表示されるメニューとの関係を示す図である。
　以下、図面を参照しながら本発明の実施形態について詳細に説明する。
（第１実施形態）
　図１は、本実施形態の操作入力システムの一例を示す図である。本実施形態のモニタ１１１は、操作者１０２の前面に配置され、操作者１０２は、モニタ１１１との間の一定の位置に仮想的な操作面があると考えて、指などの形状が操作判定の対象になることを意識して操作入力システムに対し操作を行うことができる。モニタ１１１には、本システムが目的とする様々なアプリケーション用の種々の映像が表示されるが、これに加え後述するように操作入力を支援、すなわち例えば対象となる操作者１０２の部位などを画面の隅の方に表示して、操作者１０２に、現時点で操作として判定されうる動作を認識させることができる。操作者１０２の動きはビデオカメラ２０１により撮影され、撮影された映像はコンピュータ１１０で処理され、操作者１０２の位置、身長および腕の長さなどにより、あるいは身長や肩幅等の身体寸法情報により最適な仮想操作面およびこれを含む操作領域の位置および大きさを設定し、仮想操作面からモニタ１１１側に出た部分のジェスチャがどのような操作を意味するかを判定する。すなわち、コンピュータ１１０は、ビデオカメラ２０１から得られたデータから、操作者１０２の立体画像を作成するとともに、仮想操作面の位置を算出し、さらに後述するビデオカメラ２０１やモニタ１１１の位置や配置態様により仮想操作面の位置および大きさなどを調整し、仮想操作面を基準に操作者１０２の手指などがビデオカメラ２０１側に出ているか否かを決定し、その部分を操作の対象として操作内容を判定する。
　図１では、画像を取得するためにビデオカメラ２０１をモニタ１１１の上部に取りつけ撮影しているが、図８ないし１２のように必要な画像が得られればこれに限られることなく、赤外線カメラ等、本技術分野で知られたいずれの撮像手段を用いることもでき、設置場所もモニタの付近の何処を選択することもできる。ここで、本実施形態ではビデオカメラ２０１として三次元（あるいは３Ｄ）カメラを用いることにより、操作者を含め立体画像が作成できるようにする。
　さらに、本実施形態のシステムには図示しないスピーカ等の音声出力装置を取り付けられており、表示内容や操作に関する情報を音声で操作者に伝えることもできる。このような機能を設けることにより、ディスプレイに操作内容を画像で表示するだけではなく、指示事項や結果について、同時に音声で流すことで仮想操作面が判るため、視覚障害のある操作者でも操作することが可能になる。
　図５および６は、仮想操作面の役割を具体的に説明するための図である。本実施形態の仮想操作面７０１は、操作者１０２の身長や腕の長さ、あるいは身長や肩幅等の身体寸法情報に基づいて設定され、ユーザ１０２は、自分が自然な形で腕を伸ばしたところに操作面７０１が仮想的に存在すると捉え、種々の操作をしようとする場合は操作面７０１を基準に手６０１を前に突き出してジェスチャを示したりすることができる。また、仮想操作面を含む操作領域でのユーザが任意のポーズを取った後に、仮想操作面の前方へ押し出す（決定）動作でアクションを決定したり、操作を決定してから押し出すという判断の基準としたりすることができるため、ユーザが認知しやすく、操作性は従来のタッチパネル操作に近いものとなる。一方、操作バリエーションは、従来のタッチパネルより圧倒的に増える（両手操作や、振舞、複数指等）。
　本実施形態で、図５および６に示すような仮想操作面７０１は、カメラ２０１が操作者１０２の像を捉えるとリアルタイムで形成されるようになっているが、操作者が操作を開始するまでは、操作者の立位置が一定しないため、仮想操作面が定まらず操作判定も容易ではない。そこで、本実施形態では、操作者の身体が三次元カメラの撮像範囲内で一定時間静止したタイミングで仮想操作面の設定処理を開始する。
　このように本実施形態の仮想操作面の形成はリアルタイムで行うことができるが、この場合でも、何らかの方法で操作者の立位置を、そのシステムにとって最適な一定の範囲に制限することによって、操作判定をより正確にすることができる。例えば、図示しないが床面に立位置を示す足形を描いておくとか、モニタやシステムの配置により操作者に一定の制限範囲の存在を認識させたり、衝立を立てたりして一定範囲内で操作を行うようにさせることもできる。操作者が自然に認識できる仮想操作面の位置や大きさなどは、操作者とモニタとの位置関係に大きく影響され、システム全体でモニタ、カメラ、操作者の位置などは予め想定しておいた方が良いことから、このように制限することにより操作者は概ね仮想操作面が存在する位置を推測して操作を行うことができる。
　また、図７に示すように、本実施形態において操作対象者が複数存在、すなわち複数の人物がカメラ２０１により読み取られる場合、そのうちから例えば最前列にいる者７１０を操作者１０２と特定して仮想操作面を形成する。もちろん、複数者のうちのいずれを操作者１０２として選択するかは、システムに応じて種々定めることができるが、最前面の優先ユーザ以外には、操作領域を提供しないことで、誤動作や誤入力を防止できる（シングル入力の場合）。
　図２は、本実施形態の画像認識装置のコンピュータ１１０の構造を模式的に示すブロック図である。コンピュータ１１０には、モニタ７０１に取り付けられ、操作者１０２などを撮影するビデオカメラ２０１が接続され、撮影した画像がコンピュータ１１０に取り込まれる。撮影により得られた画像は、ＣＰＵ２１０において本実施形態の特徴である画像の抽出、位置の算出などが行われ、算出した位置に基づいて操作面からビデオカメラ側に身体の一部が出たかどうかを決定する。コンピュータ１１０は、一般にＣＰＵ２１０を備え、ＲＯＭ２１１等に記憶されたプログラムをＲＡＭ２１２上で実行して、画像認識装置から入力した画像に基づいた処理結果をモニタ１１１等に出力する。本実施形態では、モニタ１１１は、主に操作者が体験しようとする様々なアプリケーションにより提供される種々の映像を出力するものだが、後述するように操作入力の支援となるような情報も表示する。
　図３は、本実施形態のコンピュータ１１０のＣＰＵ２１０内で処理されるプログラムの機能モジュールの一例を示すブロック図である。図３に示すように、本システムにおける処理は、画像読取部３０１、画像抽出部３０２、画像位置算出部３０３および操作判定部３０４により実行される。なお、本実施形態では、ビデオカメラ２０１からの画像を受取ってからデータの出力を行うまでの処理を４つのモジュールにより実行するがこれに限られることなく、その他のモジュールを用い、あるいはより少ないモジュールで処理することもできる。
（本実施形態の処理）
　本実施形態では、図６に示すように、ビデオカメラ２０１で撮影された操作者１０２の像に基づいて仮想操作面を形成し、同じく撮影した操作者１０２の一部である手や指の位置を定めるとともに、仮想的な操作面７０１と操作者１０２の手指６０１との位置関係を算出する処理を行う。本実施形態では、このような処理を行う前提として、本技術分野で知られた初期設定、例えば本実施形態の画像認識装置が新たに設置された場合を想定すると、事前準備として利用するビデオカメラ２０１の利用レンズの歪み、モニタ１１１とレンズとの距離等の情報を装置に入力しておく必要がある。さらに閾値設定等を予め調整しておく。システムの初期設定が終了すると、本実施形態の処理を行うこととなるが、この処理については図４を参照して以下に説明する。
　図４は、本実施形態の処理のフローチャートである。まず、画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り（Ｓ４０１）、そのデータから操作者の像を、画像抽出部３０２により抽出する（Ｓ４０２）。
　このような準備の結果、抽出した操作者１０２の画像に基づいて仮想操作面および操作領域を形成する（Ｓ４０３）。ここで、操作面の形状は図８などを参照すると床面から垂直に立てた長方形となっているが、これに限られず、操作者の操作態様に応じて様々な形状、大きさの操作面を形成することができる。
　ここで、操作領域とは本実施形態の特徴である仮想操作面を含み、操作者の操作の主体となる手や指などが主に動かされる領域であり、後述する仮想操作面に至るまでの支援で説明するように、操作者の胴体から仮想操作面を越えた一定の領域が本願発明の操作認識のために用いられる。例えば、図８に示すように大人の操作者８１０については、身長（視線の位置）や腕の長さを考慮して操作領域８１１のように形成することができるし、子供の操作者８２０の場合、身長もより低くなり、腕も短くなるので、これにあわせて操作領域８２１を設定することができる。このような操作領域の中に仮想操作面を設定すれば、操作者が自然に手や指を動かすことにより、手や指の動きで操作者が意図している操作を判定することができるようになる。
　より具体的には、例えば、奥行きは、操作者が前方に手を伸ばした指先まで、横幅は、操作者が真横に手を伸ばした場合の左右手首の長さまで、高さは、操作者の頭の位置から腰の位置までの範囲とすることができる。また、本実施形態のシステムの対象者を小学校低学年から成人とした場合、身長の幅はおおよそ１００ｃｍないし１９５ｃｍ程度までになり、その身長差として操作領域または仮想操作面の上下位置の補正幅は、約１００ｃｍ必要となる。
　なお、仮想操作面、操作領域は、その都度実行することもできるし、一定の条件のもと実行するようにすることもでき、あるいはこれらの設定タイミングを予めあるいはその都度選択することもできる。
　操作判定部３０４は、操作入力システムの形成された仮想操作面と、操作者１０２との相対関係を用い（Ｓ４０４）、操作者１０２の一部が操作面のビデオカメラ２０１から見て手前に来ると、操作が開始されたと判断し（Ｓ４０５）、各部の形状（手を開いている、あるいは指を２本立てているなど）や動きから、その形状、動きが予め想定されたいずれの操作であるかを判定する（Ｓ４０６）。ここで、どのような形状、動きがどのような操作に対応するかは、システム独自に取り決めることもできるし、本技術分野で知られたいずれかの手法を取り入れて決定することもできる。判定した結果は、そのような操作の入力があったものとしてコンピュータ１１０で実行され（Ｓ４０７）、もともと仮想操作面から手前側に手が出ていない場合、操作は行われていないと判定して終了する（Ｓ４０８）。操作内容の判定はここで説明した手法に限られることなく本実施形態で知られたいずれの方法も用いることができる。また、具体的な判定方法も省略したが、一般には予め定めたジェスチャなどの操作者の身体の形状、動きと、それが意味する操作内容とをデータベース等に格納しておいて、画像抽出後、このデータベースにアクセスして、操作内容を判定する。この際にももちろん、画像認識技術や人工知能などを本技術分野で知られた手法により利用し、判定精度を向上させることもできる。
　ここで、操作者が子供の場合と大人の場合とで、仮想操作面をどの位置にどの程度の大きさで形成するかが変わることが理解されるが、さらに操作者の身長などの体形の差に加え、カメラ２０１の位置やモニタ１１１の位置や取付角度によっても、仮想操作面を調整する必要がある。通常、三次元カメラは、ＣＣＤやレンズ面に対して平行か、同心円状に対象物までの距離計測を行うことができる。モニタが操作者の目線の高さに設置され、カメラが近接した位置にあり、それぞれが床面に垂直設置の場合、操作者も立位であれば適正操作領域を生成する上で、相互の位置関係等、特に調整や補正の必要は無いと言える。しかし、天井つり下げ型モニタの場合や超大型モニタあるいはプロジェクタ等を利用する場合、カメラ設置位置やモニタおよび操作者との位置関係は、様々な状況が想定される。
　一般に、操作者は操作対象画面を見ながら入力操作を行うので、常に操作者の目線と操作対象画面とを結ぶ直線に垂直に仮想操作面を配置し、それに沿った操作領域を生成しなければ、操作者のＺ方向への押し込みストロークの角度が不一致を起こし、操作者が狙ったポイントへの押し込み操作をしても、押し込みに伴い、いずれかの角度に沿って流れてしまい正常な操作ができなくなることになる。したがって、仮想操作面を形成する場合は、モニタ、カメラおよび操作者の位置、配置態様に応じて形成する角度、大きさ、あるいは場合により位置を調整する必要がある。
　図９を参照すると、図８に示したように操作者８２０に合わせて操作領域８２１および仮想操作面６０１が定められるが、図９に示す例のようにカメラ２０１がモニタ１１１の上部に配置された場合、仮想操作面６０１は、操作者８２０が腕を伸ばす方向９１０に垂直でなければ操作者８２０は仮想操作面に対する良好な操作感が得られないから、カメラ２０１の視野方向に垂直な平面にはならない。
　また、図１０を参照すると、モニタ１１１自体が上方に設置され、しかも角度をもって取り付けられているため、仮想操作面７０１は、操作者８２０がモニタ１１１を見上げて操作できるように、上方への傾きを持つ方向１０１０に垂直な面になる。この場合も、図９に示す例と同様にカメラ２０１の視野１０１１は視線方向１０１０と一定の角度をもって傾いているため、カメラ２０１で読取った情報を傾いた仮想操作面７０１に合わせるよう補正する必要がある。さらに、図１１を参照すると、カメラ２０１がモニタ１１１から離れ床の近くに置かれていて、操作者８２０の視線１１１０とカメラ２０１の視野とは、より大きな角度が付くため、その分の補正が必要である。
　図１２は、仮想操作面７０１および操作領域８２１を定める一例を説明するための図である。本実施形態では、仮想操作面を形成するために、モニタ１１１およびカメラ２０１の位置、設置方法（どの程度の角度で設置されているかなど）、操作者８２０の立ち位置、身長などの情報を用いる。すなわち、一例としては先ず、操作者８２０のモニタ１１１に対する目の高さ（身長）、立ち位置から操作者の視線に垂直な仮想操作面７０１を算出する。次に操作者８２０の頭と胴体とを結ぶ線Ａ－Ｂと、カメラ２０１の視野の中心線１２１０の角度を測定し、仮想操作面および操作領域の傾きを補正する。腕のストロークは、操作者の像から抽出しても良いし、得られた身長の情報から、別途身長ごとの平均的な腕の長さの情報から定めてもよい。あるいは、後述する第２実施形態の操作面形成基準と同様のマーカなどを用いて、仮想操作面の位置、大きさ、角度などを設定することもできる。例えば、システムを設置する段階で、マーカの付された台やガードバーなどを最適な位置に置いてカメラで撮像し、これらの撮像されたマーカの位置により仮想操作面の設定を行い、実際に使用するときは、最初に置いた台やガードバーは取り去って、操作者の体形等により補正をかけて仮想操作面および操作領域を形成することができる。
　本実施形態の仮想操作面および操作領域は、以上の通りカメラ、モニタおよび操作者の位置、配置態様などに基づいて、自然な操作とより容易な操作判定が可能なように定められ、実際の操作者の動きを検出して、いずれの操作が行われているかが判定される。ただし、ここで説明をしない具体的な処理、例えば三次元カメラの像からどのように位置や形状を特定するか、操作者の一部が仮想操作面を通ったか否かの判定処理など、本実施形態の実装に際して必要な処理は、本技術分野で知られたいずれの方法を用いても達成することができる。
（操作入力の支援）
　以上説明したように、単に三次元ビデオカメラにより仮想操作面を形成するだけで、操作者は空間上にタッチパネルのような操作面を認識することができ、この操作面に対し、種々の操作を行うことにより、身体の全部または一部を用いた操作入力が可能となるが、さらに仮想的な操作面に対する操作者の映像をモニタ１１１に表示する等、操作入力を支援することにより、より容易に本実施形態のシステムを活用することができる。
　図１７は、このような操作入力の支援となるガイダンスをモニタ１１１に表示している一例を示す図である。例えば、モニタ１１１の中心部に表示されている画像のどこかをポインタで指し示す場合、操作者は仮想的操作面を表示された画像と重ね合わせて、手指を突き出すことにより所望の場所を指し示すことができるが、そのように指し示す様子を図１７に示すポインタ９０１のように表示することにより、操作者は現在行われている操作を認識し確認しながら、次の操作を実行することができる。この例で言うと、たとえば、ポインタ９０１は、操作面から手指を突き出すと画面に表示され、引っ込めると消える、あるいは濃淡をつけて表示するようになっており、手の動きとモニタ１１１に表示されるポインタの様子から、操作者は自然な形で、本実施形態の入力法を実行することができるのである。同様に操作者自身の様子を図５および６に示したような形で表した操作画面９０２を、モニタ１１１の右上隅に小さく表示させて現在どのような動きをして、システムではどのような操作と判定されているかを表示することができ、また、手の動きをグラフ化した折線グラフ９０３を示して、手の前後の動きがどうなっているかを操作者自身に意識させる等により、より的確な操作が期待できる。また、図示しないが、システムで使用することができるジェスチャをガイダンスに表示して、それに倣って操作入力をするよう操作者に促すようにして支援することもできる。
（仮想操作面の手前側の操作支援）
　本実施形態では、操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、操作者の一部である手または指などが仮想操作面に至るまで、つまり操作者が何らかの操作を実行しようと手または指を動かし始めてから、仮想操作面を押下するまでの間も操作支援することにより、さらに操作入力を容易に、より高精度に行うようにすることができる。
　基本的には、このような操作支援の原理は仮想操作面に対する操作者の部位、例えば手あるいは指の位置の動きにあわせて、モニタ１１１上に操作者がどのような操作をしようとしているかをビジュアルに表示させることにより、操作者を誘導して的確な操作入力を可能にするというものである。
　この点について、図１８および１９を参照して説明すると、本実施形態では予め操作者が一定の立ち位置で操作しうる場合は予め設定された、その立ち位置で仮想操作面への操作が適した位置に、あるいは操作者の立ち位置に合わせて適宜適当な位置に仮想操作面７０１を形成する。同様に図１８に示すように、操作者８２０の適当な操作領域８２１を設定しておく。上述のとおりモニタ１１１には現在どのような操作が行われようとしているかを様々な形態で示すことにより、操作者が自己の操作を認識できるようにする。
　このような形態の１つについて図１９を参照して説明すると、操作者はシステムに対し何らかの操作を行おうとする場合、本例ではモニタ１１１に対し、腕２４０１を前後に動かすことにより、手あるいは指６０１の位置が変化するため、その様子をモニタ１１１に表示すると、突き出した指６０１が一定の位置まで来ると、そのときモニタ１１１の画面上で指示された項目が実行される等、システムとして一定の処理が行われる。図１９の例では、仮想操作面７０１に対する指６０１の位置（深さ）によってアイコンの大きさが変化するようになっており、仮想操作面に近づくほどアイコンが小さくなって操作者には自己の操作により一定の場所にフォーカスされていることが認識できるようになっている。そして、最もアイコンが小さくなった位置で、操作が確定しそれに応じた処理が実行される。
　以上の操作の結果、アイコンがモニタ１１１の画面２５０１上でどのように変化するかを示したのが図２０である。図２０を参照すると、モニタ１１１の画面２５０１には例えばテレビ番組表が表示されており、ある番組に関する操作を行おうとしている。このような状態で、例えば操作者が「設定変更」のメニューボタンを選択しようとする場合、操作者は上述のようにモニタ１１１に向かって指６０１を突き出して選択しようとする。本実施形態では、指６０１が仮想操作面に対し一定の距離まで近づくと、画面２５０１にアイコン２５０３が表示される。このアイコンは指の位置がまだ遠いため図１９に示すアイコンのうち右の方にある比較的大きなものが表示される。操作者がさらに腕２４０１を伸ばすと、このアイコンは目標である選択項目「設定変更」に近づきつつ、小さくなり一定の大きさのアイコン２５０２のときに特別なアイコンとなり、指が仮想操作面を横切ると指し示す位置の項目が選択されたと判定される。
　このように、図２０の例では、指６０１の位置に応じて画面２５０１に表示されるアイコンの大きさを変化させることにより、操作者は自己の動作がシステムでどのように認識されているかを把握することができ、仮想操作面の位置を直感的に認識して、メニューの選択などの操作を行うことができる。ここで、指６０１、腕２４０１を含む操作者全体及び各部位の位置や大きさは、操作者の全体像と同様三次元カメラを用いることにより抽出することができる。これにより画面内の物体は奥行きも含めて把握することができるから、これらの情報に基づき仮想操作面との距離や位置関係を算出することができる。ただし、本実施形態で使用する三次元カメラや位置の抽出、距離の算出などは本技術分野で知られたいずれの方法も用いることができるので、ここではその説明を省略する。
　ここで画面に表示されるアイコンは円形で操作者の動作に合わせて大きさが変化するが、これに限られず図２１に示すように様々な形態のアイコンを用い、様々な変化をさせることができる。すなわち、図２１を参照すると、（１）は指の形態のアイコンであり、上述の図２０の例と同様に仮想操作面に近づくほどに小さくするようになっている。（２）は、円形で次第に小さくなるようになっているが、入力あるいは選択が確定すると特別な形状に変化して確定したことが示される。このアイコンや他のアイコンの場合も形状や大きさの変化に代えて、あるいは合わせてアイコンの色を変化させることもできる。例えば、青、緑、黄、赤等、寒色系から暖色系に変化させることにより、直感的に操作がフォーカスされ確定することを操作者は認識することができる。（３）は、Ｘのような形状で、遠くにある場合は大きいだけでなくぼかしが入っており、近づくにしたがって、アイコンの大きさが小さくなるとともに、ぼかしが消えシャープな形状になる。（４）はアイコン全体の大きさは変化することなく、中に描かれた図形が形状変化を起こしてフォーカスされる様子を認識するようになっている。この場合、図形の色も変化させることができる。図２１に示す（５）も、形状を変化させるものである。図２１において、指の動きに応じてアイコンの形状や色などが変化していき、仮想操作面を越えるとその瞬間に、欄２６０１に示すように種々の形状や色に変化させたり、点滅させたりして操作として判定されたことを操作者に認識させるようにすることもできる。また、図示しないがこの他のアイコンの変化としては最初透明で、指が仮想操作面に近づくほどに不透明になるような変化も効果的である。
　ここで、アイコンのバリエーションのうち特に形状をあまり変化させず色や濃さを変化させる場合は、図２２に示すようにアイコンはあまり移動せず指６０１を近づけていくと、色が暖色系になったり濃くなったりして、入力を確定することができる。
　また、以上の例では操作の判定状況を確認するためアイコンを表示させ、操作者の動作に応じて色や形状を変化させたが、例えば図２３や図２４に示すように元々メニューのように予め指示する位置が固定されているような場合は、わざわざアイコンを表示しなくても、指６０１が指し示す位置がメニューのどの項目ボタンに最も近いかにより決定し、指６０１の動き、特に仮想操作面からの距離に応じて指し示されている項目ボタンを塗りつぶす色または塗りつぶす濃さを変化させることにより、仮想操作面の位置を認識させ、操作入力を容易にすることができる。図２３は、指６０１が近づくにしたがって、その選択されているボタンの色を寒色系から暖色系に変化させる例を示す図である。この例の色の選択としては、例えば（２）青、（３）緑、（４）黄、（５）赤のようにすると操作者は直感的に赤になると確定されると認識することができる。同様に、図２４は、ボタンの塗りつぶしの濃さを変化させる例を示す図である。
　同様なメニューの選択例としては、図２６に示すような一例もあるので説明すると、例えば図１９の指６０１が仮想操作面７０１の手前の一定の領域にはいると、画面上にメニュー４３０１が表示され、その指６０１がさらに仮想操作面７０１に近づくと、図２６に示すメニューの例えば項目４３０２上に大きなアイコン２６１０が表示される。その後、仮想操作面７０１まで指６０１が到達すると、項目４３０２の選択が確定し小さいアイコン２６１１が表示されて、このことが通知される。その後、指６０１を左右上下に動かすことで、メニューの選択項目が移動して行き所望の項目で一定時間静止すると、選択された項目に応じた処理が行われるようにすることもできる。また、選択が実行される前に指６０１が仮想操作面７０１の手前の一定の領域より後方へ動かされるとメニューを消去するようにすることもできる。図３１も、図２６と同様に指６０１が仮想操作面７０１の手前の一定の領域にはいると、メニューを表示するが、ここではビデオ映像制御の例である。この例でも図２６に示す例と同様に大きいアイコン３１１０および小さいアイコン３１１１によりメニューの操作が可能となる。
　さらに、別の入力操作の例を図２５を参照して説明する。図２５は、本実施形態により画面に表示された図形を移動させる指示を入力する一例の表示画面を示す図である。指示は操作者の手または指を仮想操作面に触れて動かすことにより行う。まず、指などを画面に近づけていくと画面４２１１のアイコン４２０１から画面４２１２のアイコン４２０２へとアイコンを縮小させて仮想操作面に接近していることを示す。その後、仮想操作面に触れると画面の４２１３のアイコン４２０３のように例えば色を変化させて放置し、その状態で上に向けて指などを動かすと画面４２１４のラバーバンド４２０４などを表示させて移動方向を示すことにより、操作者が自己の操作を確認することができる。また、右方向に指を動かすと、画面４２１５のラバーバンド４２０５を表示することができる。このように、仮想操作面に指等が到達後の上下左右のドラッグ距離に応じて伸縮するラバーバンド(上図では矢印）を出現させ（アイコン４２０３の位置は仮想操作面から抜けるまで固定）、伸縮距離に応じて移動スピード、伸ばす角度に応じて３Ｄ空間内での移動する方向を変化させることができる（矢印先端が腕先や指先の動きに追随する）。
　以上、図１８に示すような操作者とモニタとがほぼ同じ高さにある、すなわち仮想操作面が操作者の水平方向前面にほぼ垂直に形成される場合について、本実施形態の原理を説明してきたが、この原理はこのような操作者とモニタとの位置関係や形状には影響されることはなく、種々の配置や構成が可能である。例えば、図１０ないし１２に示すようなシステムの配置でも応用することができる。この場合、三次元カメラ２０１もモニタ１１１とともに傾いているので、基本的には上述の水平位置に配置された場合と大きな相違はないが、カメラを別な位置に設置したとしても、本技術分野で知られたいずれかの方法で位置補正などを行なうことで、操作者の部位と仮想操作面との位置関係を算出して、操作を判定することができる。
（仮想操作面の奥側の操作　－　仮想操作階層）
　本実施形態では、操作者が空間上に仮想的に形成された仮想操作面を基準に、そこにあたかもタッチパネルのような入力機器が存在するかのように操作することにより、その操作内容を確実に判定しようとするものであるが、このようにして判定された操作の内容を仮想操作面から奥側方向である、操作者から離れる方向への仮想操作面と操作者の手等の身体の一部あるいは身につけた物体の位置関係で決定する。例えば、操作者から離れる方向であるｚ軸方向に２層あるいは３層に操作領域を仮想操作階層として設定し、操作者の手がどの層に入っているかにより操作の種別を決定して、その層内での手の動きにより操作内容を決定する。この際、操作者が視認している表示画面上に手の位置や操作の種別などを表示させれば、より操作者は操作の認識を容易にすることができる。なお、操作者の一部と各階層を分割する面とのｚ方向の距離は、上述した形成された仮想操作面と操作者の一部との距離を算出する手法によって取得することができる。
　より具体的に説明すると、図２７に示すトリガ面７０１は、本実施形態の仮想操作面であり、上述の実施形態のいずれかを用いて指６０１がトリガ面７０１からｚ軸方向に入ると、操作が行われたと判定される。さらに、トリガ面７０１から先の操作領域を階層ＡないしＣの３階層に面４５０１および４５０２で分割し、各々異なる操作の種別を割当てる。図２７の例では、階層Ａにはオブジェクトの回転の操作を、階層Ｂには拡大縮小の操作を、階層Ｃにはオブジェクトの移動の操作をそれぞれ割当てている。各階層において指６０１を動かすことにより決められた操作が実行される。例えば、階層Ａにおいては、トリガ面７０１を指６０１が通過した際に指６０１を示すアイコン、例えば回転アイコン４５０３が示す位置を中心に指定されたオブジェクトが指６０１の動きに合わせて回転する。階層Ｂにおいては、例えばモニタ１１１に拡大縮小アイコン４５０４を表示し、指６０１をｚ方向に動かすとオブジェクトが拡大され、反対方向に動かすとオブジェクトが縮小するようにすることができる。
　同様に、階層Ｃではモニタ１１１に表示された指定したオブジェクト上の指６０１の位置に移動アイコン４５０５を表示し、指６０１の動きに合わせて移動するようにすることができる。ここで、階層間を区切る面４５０１および４５０２は各階層が同じ厚さになるように配置することもでき、階層に割当てられた操作種別に応じて異なる厚さになるよう配置することもできる。例えば図２７の例では、階層Ｂには拡大縮小の操作が割当てられているが、拡大縮小を前後の動きで表現しなければならないため、階層Ａや階層Ｃと比較して通常はｚ方向の動きが大きくなることから、階層Ｂをより厚くすることによって操作を容易にすることもできる。
　図２８は、本実施形態の別のアイコンの例を示す図である。図２８に示す例では、階層Ａにはモニタ１１１上での操作位置を特定する操作を、階層Ｂには特定された位置におけるオブジェクトを「掴む」操作を、階層Ｃには掴んだオブジェクトを投げるあるいは移動させる操作をそれぞれ割当てている。
　以上のように、仮想操作面により操作と判定された後の操作内容の判定の際に、指や手の動きだけでなく、そのｚ方向の位置、すなわち仮想操作階層に応じて操作の種別を特定するようにすることができるため、指や手の動きのみでは様々なジェスチャーパターンを数多く準備し、かつユーザがそれらを覚える必要があるのに比較して、単純な動作のみで複雑な操作を使い分けできることとなる。
　なお、上述の、特に図２７に示す例では、手や指などの一連の動きを各階層間で連続的に行える操作を配置するようになっているが、連続的に操作できないような配置の場合（図２８に示す例）は、次のような２つの点が問題となる。すなわち、（１）目的とする仮想操作階層に到達する前に他の階層を通過し、操作者が欲しない指示を与えてしまう、（２）目的の操作を終え、手を操作領域から抜く場合、他の仮想操作階層を通過し、操作者が欲しない指示を与えてしまう、という点である。上記の問題を回避するためには、例えば次の方法などが考えられる。すなわち、操作する方と反対の手を操作領域内に差し込むようなマルチセンシングの状態（例えば、右手で操作している場合、左手を操作領域内に入れた状態）を、操作なし（あるいはその逆に、操作あり）の状態と設定し、操作する方と反対の手の出し入れによって、各階層の操作を行うか否かを判断するようにする（この例では両手操作によるが、XY平面上にすり抜け用エリアを設ける等、様々な方法が考えられる）。
　以上本実施形態を用いると、操作者は予めジェスチャを覚えたり、取り決めておいたりすることなく、その動きによりシステムの操作を行うことができるほか、操作者の姿勢や各部、例えば手の動きが分かるので身体全体を使用したゲームに用いて、いわゆる複合現実感（ＭＲ）を実現することもできる。
（第２実施形態）
　本実施形態は、操作面形成基準を除き基本的に上述の第１実施形態のシステム構成と同様である。すなわち、本実施形態では、第１実施形態のシステムおよび処理を踏まえ、図１４に示すように操作者にも知覚可能な一定のマーカ１０１のような操作面形成基準と言う概念を導入することにより、操作者はこれを目印に仮想操作面の認識がより容易になる。すなわち、図１４等に示すマーカ１０１は、操作者１０２が仮想操作面を認識するための操作面形成基準であり、ユーザ１０２は、図１６に示すように、床面に示されたマーカ１０１の上方に操作面７０１が仮想的に存在すると捉えて種々の操作をして、マーカ１０１を基準に手６０１を前に突き出してジェスチャを示したりすることができる。マーカ１０１の横幅は操作面の幅とすることもできる。また、補助マーカ等により、マーカ１０１の前後を区別したり、補助マーカを用いて、操作領域を確定したり、３次元パース計算要素としたりすることもでき、形状や方向も自由であり、測定に適したエリアを示すようにしても良い。
　このような、マーカ１０１を備えた操作入力システムでは、図１６に示すようにマーカ１０１の上部に操作面７０１が仮想的に形成され、操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。また、操作領域でユーザが任意のポーズを取った後に、線分の前方へ押し出す（決定）動作でアクションを決定したり、操作を決定してから押し出すという判断の基準としたりすることができるため、ユーザが認知しやすく、操作性は従来のタッチパネル操作に近いものとなる。
　本実施形態で、仮想操作面は図１６などを参照するとマーカの真上に垂直に形成されているように示されているが、図９ないし１１に示すようなシステムの配置の場合は、例えば仮想操作面の底辺のみ操作面形成基準に合わせて仮想操作面全体は傾けたり、形成される位置を身長に合わせて位置を変えたりすることができる。この場合、例えば先ずマーカ１０１により一定の操作面を算出しておいて、その後操作者の像により補正をすることによって適切な位置に仮想操作面を形成するよう調整してもよい。あるいは、計測されたマーカ１０１の位置と、予め設定されたモニタ１１１およびカメラ２０１の位置とに基づいて、操作面を算出しておき、さらに操作者の像から身長、腕の長さなどを抽出してこれらの情報を加味して仮想操作面の位置、大きさおよび角度などを補正することもできる。
　また、操作面形成基準であるマーカは視認可能であり、操作者がマーカを視認してこれを基準とし、概ね仮想操作面が存在する位置を推測して操作を行う。したがって、仮想操作面はマーカの上方に形成する必要があるが、操作者から見て前後の位置関係については操作者やシステム全体の状況に応じて変化する可能性がある。一般的には、図２７に示すように、例えば床面などにマーカ４４０１を配置した場合などは操作者１０２の目の位置からするとマーカ４４０１の真上に近い位置に立つことが多いと考えられるので、マーカ４４０１の操作者１０２と反対側に少しずらした位置４４０２に仮想操作面７０１を形成した方が腕の動きに余裕ができて自然な操作が可能な場合もあると考えられる。一方、後述するような図１５に示す机の縁にマーカ１９０２を貼り付けたような場合は、マーカを貼り付けた反対側の縁により操作者は動作を制限される、すなわちこの縁より前面には体を操作面に近づけることはできないから机の幅を操作しやすいように適当に取ることができる。この場合、仮想操作面はマーカの真上に形成するほうが操作者により容易に仮想操作面を認識させることができると考えられる。第１実施形態では、操作者の腕の長さを測定してこのような前後の位置を設定しているが、操作者にも知覚可能なマーカによるとより客観的な操作面の形成が可能となる。
　このように、上述の第１実施形態では仮想操作面を含む操作領域として腕のストローク等を考慮して設定しているが、マーカを様々に組み合わせることにより、より客観的に、すなわちどのような操作者があっても目で見て一定の正確さで認識できるように操作領域を確定することができる。
　さらに、本実施形態のような操作面形成基準は、キャプチャした画面上で広範囲、適度かつ同時に測定マーカを分散配置することができるため、非常に信頼性の高い測定が可能となる。また、このような効果とともに、常にマーカがカメラの撮影範囲内にあることが保証されるキャリブレーションシステムと併用することができ、省スペース・多機能な装置を実現することができ、基本的に初回設置のキャリブレーション後、毎回再測定する必要がない。
　マーカ１０１は、このようにビデオカメラ２０１により撮影されて操作面形成基準となり、これを容易にするため、マーカ素材は本技術分野で知られた種々のものを用いることができるが、通常は使用するカメラにより適当なものが選択される。例えば、通常カメラの場合、背景色彩から際立つような特徴あるカラーリングが必要であり、赤外線カメラを使用するときは、再帰性反射材などを使用することができる。一方、レーザ光は、黒色部分等、反射が少ないような色、素材の場合は反射光を測定しにくいので、レーザ光によりマーカや再帰性反射材などを使用することなく黒色のバーなどを使用することにより、レーザ光が照射された部分は反射されずに画面上欠損が発生するので、このようにしてもバーの位置を検出することができる。
　例えば、一定のカラーリングによりマーカを付している場合、具体的には次のように処理してマーカを抽出することができる。画像読取部３０１においてビデオカメラ２０１で撮影されたデータを読取り、そのデータからマーカ１０１の、例えばカラー画像の場合、画像抽出部３０２により、予めマーカとして決めておいた色領域を抜き出してマーカ１０１の画像のみを抽出する。具体的には、本実施形態では、カラーＮＴＳＣ信号の輝度信号Ｙと色差信号Ｕ、Ｖの各々に上下の閾値を設定して全ての閾値を満たす画素を抽出するが、これに限られず本技術分野で知られたいずれの方法を用いることもできる。このようにして、マーカ１０１の位置を三次元的に把握し、仮想的な操作面がどの様なものとなるのかを算出してデータベースに記憶しておく。カラー抽出が終了すると、さらに補助マーカがある場合は補助マーカも同様の処理を行って抽出した後、画像位置算出部３０３により、抽出したマーカ部分を白黒の２値化し、ビデオカメラ２０１の撮影した画像から抽出したマーカの縦横の辺を構成するピクセル数を計算する。取得した画像の縦横の辺の長さや傾斜を、基準となる画像と比較して撮像空間の歪みやスケールを割り出す。本実施形態では、歪みやスケールを算出する場合に、この他に少なくとも４点以上の箇所にマーカを設けて基準とすることもできる。例えば、４点以上の基準点が有ればそれを結んで線分とし、キャリブレーションを行うことが可能である。
　マーカはこのように適切な素材を床面に貼り付けることにより使用することができるが、これに限られることなく直接床面に塗布したり、本技術分野で知られた任意の付着方法を用いたりすることができる。また、上記の説明では、操作面形成基準としてマーカ１０１を用いることとしたが、これに限られることなく任意の部材や構造を立体測定基準として用いることができる。例えば、マーカは図１に示すような形ではなく様々な形の図形とすることができ、いくつかの点に一定の面積を有するマーカを複数設けるようにしてもよい。
　また、操作面形成基準としては、立体物、例えば図１５に示す机状の立体物１９０１にマーカ１９０２、１９０３を付して操作面形成基準とすることにより仮想操作面７０１を形成し、これに対し例えば指６０１等で操作を行うことで、入力操作を可能とすることもできる。なお、図１６を参照すると仮想操作面の形状は床面から垂直に立てた長方形となっているが、これに限られず、マーカ１０１の形状や配置の仕方で様々な形状、大きさの操作面を形成することができる。例えば、図１５に示すマーカ１０１は、モニタ１１１の面に平行な一定の長さの直線であるため、仮想的な操作面は操作面７０１のようになるが、マーカを斜めに一定の角度をつけた直線とすることもでき、その場合、形状は図１５に示す操作面７０１と同じであるが、向きがモニタ１１１と一定の角度を持って斜めに置かれたものとなる。この場合も、操作者１０２は、マーカで斜めに配置された操作面が仮想的に形成されていると捉えることができるから、その操作面を意識して操作を行えばよい。また、立体的に補助マーカを配置して、床面に対しても一定の角度を持った斜面の操作面にしたり、曲面の操作面にしたりすることもできる。なお、本実施形態は、マーカなどにより形成された仮想的な操作面を基準にして処理を行うように説明するが、当業者であれば理解できるように、実際の計算処理では、操作面から操作者の位置を計算しなくてもよい。仮想的な操作面は、あくまでも操作者が意識して操作入力を行うようにするためのものだからである。
　また、図１５に示すようなマーカ付置き台を使用する場合、後述する図１８に示すように、例えばマーカ１９０３を用いて操作者１０２の上半身のみを対象エリア２３０１として、仮想操作面７０１から前面に出た部分の動きのみを操作として判定することもできる。このようにすることにより、操作者が図１５に示すような置き台を体の支えにして入力操作を行う場合に下半身、特に足が仮想操作面から前に出ても、あくまで上半身の動きのみを操作として認識するようにすることができる。
　操作面形成基準を用いて仮想操作面などを形成する場合、立体マーカで測定して基準面および測定エリアを設定した後に、立体マーカは取り去り、生成した基準面が判るように床にライン等のマーキングのみを事後設置することもできる。例えば、立体ガイドバー等を残せないような狭いところ等、常に立体マーカを設置するのが不向きな環境において、このような仮想操作面の形成方法が有効である。また、床平面キャリブレーションパターンの場合、３Ｄカメラの設置角度によっては、立体のそれよりも測定しにくい場合や、床面利用下における適性（耐摩耗やスリップ防止等）を備えた良い素材選定が難しい傾向があるためキャリブレーション機の無い簡易な床マーキングとして置き換える方が実施しやすい。また、上記と同様に測定後、キャリブレーション機能（マーカ）を持たない立体ガイドに置き換える。デザイン重視の場合や安価なタイプへの置き換えとして有効であり、ユーザからは変わらず視認できる。
　上記のいずれもキャリブレーション後にユーザがその位置を視認でき、移動制限に繋がる別の手段（立体 or 平面）に置き換える方法となる。さらに、カメラ側のみでキャリブレーション手法に頼らず、予め使いやすい距離や位置に基準面を設定し、その後、ユーザ側が認知できるように、その面（エリア）に床ラインか立体ガイドを事後設置する。
　ここで、本実施形態におけるマーカと仮想操作面との関係を図２９を参照して説明する。本実施形態では基本的に机や台などの縁にマーカを付してマーカの上方に形成された仮想操作面に対し操作者が接触したり、手を移動させたりしてシステムに入力操作であることを認識させる。この際、机や台のマーカの付されていない縁は操作者の動作を制限し、適度にかざした手が仮想操作面に自然に触れることを支援する。この概念を図３８を参照して説明すると、操作面形成手段であるマーカ４４０２の上方に仮想操作面７０１が形成されるが、一方操作者１０２は、何らかの動作制限手段４４０１により仮想操作面から一定の距離が保たれることになり、自然に前に出した手６０１により仮想操作面に対し操作を行うことができる。本実施形態では、仮想操作面７０１は、マーカ４４０２の真上に形成されているが、第１実施形態で述べたようにマーカ４４０２を基準に前後に移動させることもできる。例えば、動作制限手段４４０１は基本的に固定であるから、操作者１０２の体形によってはマーカ４４０２の真上に仮想操作面が形成されると、手前過ぎたり、奥過ぎたりして使用感が悪くなる可能性もある。この場合に、操作者ごとにマーカ４４０２から、仮想操作面が形成される位置を前後させることもできる。
　以上、本実施形態では、仮想操作面を操作者に知覚可能な操作面形成基準および操作者自身を三次元カメラで撮影した像に基づいて形成することから、仮想操作面の位置が客観的に特定しやすく、操作者の身長なども加味されるので、操作者はより違和感なく自然な操作感を得ることができる。
（第３実施形態）
　本実施形態は、基本的に上述の第１および第２実施形態のシステム構成と同様であるが、モニタの替わりに表示用としてプロジェクタを用いた点が異なる。すなわち、本実施形態では、第１および２実施形態とその処理は基本的に同じであるが、ＬＣＤやプラズマなどのモニタ１１１の替わりに、図３０に示すようにプロジェクタ３０１１から映像をスクリーン３０１０に投影することによって操作者に様々な情報を通知する。本実施形態のシステムでは、第１実施形態などでＬＣＤ等を配置している表示面にはスクリーンだけが配置されるので、映像を投影するプロジェクタ３０１１、カメラ２０１およびこれらを制御するコンピュータは図３０に示すように一体型にすることができる。このような一体型のシステムは通常操作者とスクリーンとの間におかれるので、例えば図に示すように進入禁止領域を認識させるためにガイドバー３０１２が置かれ、これを第２実施形態のような操作面形成基準として流用することもできる。
　本実施形態は、第１実施形態と表示の方法が異なるだけで、表示面自体は大きく異なることはないから、仮想操作面および操作領域の設定並びに操作の判定処理などは基本的に第１または２実施形態と同様である。ただし、上述のようにプロジェクタ、カメラおよびコンピュータが一体型となって、操作者と表示面（スクリーン３０１０）との間に配置されるのでカメラ２０１の位置が若干異なり、カメラが表示面の下部などに設置される第１実施形態などの場合と比較すると、操作領域などの角度の調整幅が大きくなる。また、ガイドバー３０１２と仮想操作面７０１との位置関係は、第２実施形態で説明した場合とは異なり、ガイドバー３０１２の真上に仮想操作面７０１が形成されるとは限らない。これは、例えば図１４に示すような操作者にも知覚可能な一定のマーカ１０１のように床に意識的に描かれている場合と、侵入防止用を兼ねる本実施形態のガイドバー３０１２とは操作面形成基準としての役割は同一であるものの、仮想操作面を形成する位置は操作者との位置関係、操作者との関係により異なってくるからである。本技術分野で知られたいずれかの知識を用いて、システムに応じてガイドバー３０１２を基準に奥側あるいは手前側に仮想操作面を形成することができる。
　以上、本実施形態では表示用にプロジェクタを用いることにより、プロジェクタ、カメラおよびコンピュータが一体型とすることができるため、設置や取扱が容易となり、また画面が大型する場合、大型ＬＣＤを使用するのに比べ、設置容易性や費用の点で有利となる。

Claims (13)

  1. 　操作者の像を読取って立体画像データを生成する三次元撮像手段と、
    　前記三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成手段と、
    　当該形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定手段と、
    　前記動きが操作であると判定されると、所定の信号を出力する信号出力手段と
    　を備えたことを特徴とする画像認識装置。
  2. 　前記操作判定手段は、前記操作者の一部が前記仮想操作面よりも前記三次元撮像手段側にあるとき操作であると判定することを特徴とする請求項１に記載の画像認識装置。
  3. 　前記操作判定手段は、前記操作者の一部の、前記仮想操作面よりも前記三次元撮像手段側にある部分の形状または動きによりいずれの操作が行われているかを判定することを特徴とする請求項１または２に記載の画像認識装置。
  4. 　前記操作判定手段は、予め操作者の一部の形状または動きと対応付けた操作内容を格納する記憶手段を検索して、合致する形状または動きに対応する操作を、入力する操作と判定することを特徴とする請求項３に記載の画像認識装置。
  5. 　操作者と対面して配置された画像表示手段をさらに備え、
    　前記操操作判定手段は、操作者が操作の判定結果を認識できるように、前記画像表示手段に現時点の操作判定結果を表示させることを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
  6. 　操作者と対面して配置された画像表示手段をさらに備え、
    　前記仮想操作階層の領域内で前記操作者の動きが読取られると、前記画像表示手段に該仮想操作階層に予め割当てられた標示を表示することを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
  7. 　前記操作面形成手段により形成される仮想操作面に対し、前記三次元撮像手段の反対側における前記操作者の一部と前記仮想操作面との位置関係から当該距離を算出して該距離に応じ変化する標示を表示させて、判定しようとする操作を示す前記操作者が視認可能な画像表示手段
    　を備えたことを特徴とする請求項１ないし４のいずれかに記載の画像認識装置。
  8. 　前記画像表示手段は、前記操作者の一部が前記仮想操作面に対し前記三次元撮像手段側にあるときは該標示の変化を停止させて判定される操作を示すことを特徴とする請求項７に記載の画像認識装置。
  9. 　前記仮想操作面との位置関係に基づいて定められる２つ以上の仮想操作階層のいずれかの領域内で前記操作者の動きが読取られると、該仮想操作階層に予め割当てられた操作種別および前記仮想操作階層内での操作者の動きに基づいて前記操作の内容を決定する操作内容決定手段
    　を備えたことを特徴とする請求項１ないし８のいずれかに記載の画像認識装置。
  10. 　前記操作面形成手段は、前記操作者の上半身の位置情報に応じた位置に前記仮想操作面を形成することを特徴とする請求項１ないし９のいずれかに記載の画像認識装置。
  11. 　前記操作面形成手段は、前記画像表示手段の位置に基づいて前記仮想操作面の位置および角度を調整することを特徴とする請求項１ないし１０のいずれかに記載の画像認識装置。
  12. 　画像認識装置によって、操作者の画像を認識して操作内容を判定する操作判定方法であって、
    　操作者の像を読取って立体画像データを生成する三次元撮像ステップと、
    　前記三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、
    　当該形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定ステップと、
    　前記動きが操作であると判定されると、所定の信号を出力する信号出力ステップと
    　を備えたことを特徴とする操作判定方法。
  13. 　画像認識装置に、操作者の画像を認識して操作内容を判定する操作判定方法を実行させるプログラムであって、該操作判定方法は、
    　操作者の像を読取って立体画像データを生成する三次元撮像ステップと、
    　前記三次元撮像手段により読取られた操作者の像に基づいて、仮想操作面を形成する操作面形成ステップと、
    　当該形成された仮想操作面に対する操作者の少なくとも一部の像の動きを、前記三次元撮像手段で読取って、前記操作者の一部と前記仮想操作面との位置関係に基づいて該動きが操作であるか否かを判定する操作判定ステップと、
    　前記動きが操作であると判定されると、所定の信号を出力する信号出力ステップと
    　を備えたことを特徴とするプログラム。
PCT/JP2010/005058 2009-08-12 2010-08-12 画像認識装置および操作判定方法並びにプログラム WO2011018901A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US13/384,682 US8890809B2 (en) 2009-08-12 2010-08-12 Image recognition apparatus, operation determining method and computer-readable medium
EP10808086.2A EP2466423B1 (en) 2009-08-12 2010-08-12 Image recognition apparatus, operation determining method, and program
CN201080035693.8A CN102473041B (zh) 2009-08-12 2010-08-12 图像识别装置、操作判断方法以及程序
CA2768893A CA2768893C (en) 2009-08-12 2010-08-12 Image recognition apparatus, operation determining method and program
KR1020127001932A KR101347232B1 (ko) 2009-08-12 2010-08-12 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체
US14/522,087 US9535512B2 (en) 2009-08-12 2014-10-23 Image recognition apparatus, operation determining method and computer-readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009187449A JP4701424B2 (ja) 2009-08-12 2009-08-12 画像認識装置および操作判定方法並びにプログラム
JP2009-187449 2009-08-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/384,682 A-371-Of-International US8890809B2 (en) 2009-08-12 2010-08-12 Image recognition apparatus, operation determining method and computer-readable medium
US14/522,087 Continuation US9535512B2 (en) 2009-08-12 2014-10-23 Image recognition apparatus, operation determining method and computer-readable medium

Publications (1)

Publication Number Publication Date
WO2011018901A1 true WO2011018901A1 (ja) 2011-02-17

Family

ID=43586084

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005058 WO2011018901A1 (ja) 2009-08-12 2010-08-12 画像認識装置および操作判定方法並びにプログラム

Country Status (7)

Country Link
US (2) US8890809B2 (ja)
EP (1) EP2466423B1 (ja)
JP (1) JP4701424B2 (ja)
KR (1) KR101347232B1 (ja)
CN (2) CN104615242A (ja)
CA (2) CA2768893C (ja)
WO (1) WO2011018901A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046768A1 (ja) * 2011-09-30 2013-04-04 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
EP2610714A1 (en) * 2012-01-02 2013-07-03 Alcatel Lucent International Depth camera enabled pointing behavior
CN104012073A (zh) * 2011-12-16 2014-08-27 奥林巴斯映像株式会社 拍摄装置及其拍摄方法、存储能够由计算机来处理的追踪程序的存储介质
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method
US20220334648A1 (en) * 2021-04-15 2022-10-20 Canon Kabushiki Kaisha Wearable information terminal, control method thereof, and storage medium

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
GB2488785A (en) * 2011-03-07 2012-09-12 Sharp Kk A method of user interaction with a device in which a cursor position is calculated using information from tracking part of the user (face) and an object
GB2488784A (en) * 2011-03-07 2012-09-12 Sharp Kk A method for user interaction of the device in which a template is generated from an object
JP5864043B2 (ja) * 2011-04-12 2016-02-17 シャープ株式会社 表示装置、操作入力方法、操作入力プログラム、及び記録媒体
JP2012252386A (ja) * 2011-05-31 2012-12-20 Ntt Docomo Inc 表示装置
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
JP5921835B2 (ja) * 2011-08-23 2016-05-24 日立マクセル株式会社 入力装置
EP2795430A4 (en) * 2011-12-23 2015-08-19 Intel Ip Corp TRANSITION MECHANISM FOR A COMPUTER SYSTEM WITH USER DETECTION
WO2013095679A1 (en) * 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing coordinated two-hand command gestures
WO2013095677A1 (en) 2011-12-23 2013-06-27 Intel Corporation Computing system utilizing three-dimensional manipulation command gestures
US10345911B2 (en) 2011-12-23 2019-07-09 Intel Corporation Mechanism to provide visual feedback regarding computing system command gestures
JP2013134549A (ja) * 2011-12-26 2013-07-08 Sharp Corp データ入力装置およびデータ入力方法
JP2013132371A (ja) * 2011-12-26 2013-07-08 Denso Corp 動作検出装置
US9222767B2 (en) 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
JP5586641B2 (ja) * 2012-02-24 2014-09-10 東芝テック株式会社 商品読取装置及び商品読取プログラム
US20130239041A1 (en) * 2012-03-06 2013-09-12 Sony Corporation Gesture control techniques for use with displayed virtual keyboards
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR101424562B1 (ko) * 2012-06-11 2014-07-31 한국과학기술원 공간 인식 장치, 이의 동작 방법 및 이를 포함하는 시스템
JP2014002502A (ja) * 2012-06-18 2014-01-09 Dainippon Printing Co Ltd 手のばし検出装置、手のばし検出方法及びプログラム
JP5654526B2 (ja) * 2012-06-19 2015-01-14 株式会社東芝 情報処理装置、キャリブレーション方法及びプログラム
JP2014029656A (ja) * 2012-06-27 2014-02-13 Soka Univ 画像処理装置および画像処理方法
JP5921981B2 (ja) * 2012-07-25 2016-05-24 日立マクセル株式会社 映像表示装置および映像表示方法
US20140123077A1 (en) * 2012-10-29 2014-05-01 Intel Corporation System and method for user interaction and control of electronic devices
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
CN104813258B (zh) * 2012-11-22 2017-11-10 夏普株式会社 数据输入装置
JP5950806B2 (ja) * 2012-12-06 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
US20140340498A1 (en) * 2012-12-20 2014-11-20 Google Inc. Using distance between objects in touchless gestural interfaces
JP6167529B2 (ja) * 2013-01-16 2017-07-26 株式会社リコー 画像投影装置、画像投影システム、制御方法およびプログラム
JP6029478B2 (ja) * 2013-01-30 2016-11-24 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
JP5950845B2 (ja) * 2013-02-07 2016-07-13 三菱電機株式会社 入力装置、情報処理方法、及び情報処理プログラム
JP2018088259A (ja) * 2013-03-05 2018-06-07 株式会社リコー 画像投影装置、システム、画像投影方法およびプログラム
US9519351B2 (en) * 2013-03-08 2016-12-13 Google Inc. Providing a gesture-based interface
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
JP6207240B2 (ja) * 2013-06-05 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
WO2015002420A1 (ko) * 2013-07-02 2015-01-08 (주) 리얼밸류 휴대용 단말기의 제어방법, 이를 실행하기 위한 프로그램을 저장한 기록매체, 애플리케이션 배포서버 및 휴대용 단말기
WO2015002421A1 (ko) * 2013-07-02 2015-01-08 (주) 리얼밸류 휴대용 단말기의 제어방법, 이를 실행하기 위한 프로그램을 저장한 기록매체, 애플리케이션 배포서버 및 휴대용 단말기
JP6248462B2 (ja) * 2013-08-08 2017-12-20 富士ゼロックス株式会社 情報処理装置及びプログラム
KR102166330B1 (ko) * 2013-08-23 2020-10-15 삼성메디슨 주식회사 의료 진단 장치의 사용자 인터페이스 제공 방법 및 장치
JP6213193B2 (ja) * 2013-11-29 2017-10-18 富士通株式会社 動作判定方法及び動作判定装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
CN103713823B (zh) * 2013-12-30 2017-12-26 深圳泰山体育科技股份有限公司 实时更新操作区位置的方法及系统
EP2916209B1 (en) * 2014-03-03 2019-11-20 Nokia Technologies Oy Input axis between an apparatus and a separate apparatus
US20150323999A1 (en) * 2014-05-12 2015-11-12 Shimane Prefectural Government Information input device and information input method
KR101601951B1 (ko) * 2014-09-29 2016-03-09 주식회사 토비스 공간 터치 입력이 수행되는 곡면디스플레이 장치
WO2016103522A1 (ja) 2014-12-26 2016-06-30 株式会社ニコン 制御装置、電子機器、制御方法およびプログラム
JP6460094B2 (ja) 2014-12-26 2019-01-30 株式会社ニコン 検出装置、空中像制御装置、検出方法および検出プログラム
EP3239816A4 (en) 2014-12-26 2018-07-25 Nikon Corporation Detection device, electronic instrument, detection method, and program
US9984519B2 (en) 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
CN104765459B (zh) * 2015-04-23 2018-02-06 无锡天脉聚源传媒科技有限公司 虚拟操作的实现方法及装置
CN104866096B (zh) * 2015-05-18 2018-01-05 中国科学院软件研究所 一种利用上臂伸展信息进行命令选择的方法
CN104978033A (zh) * 2015-07-08 2015-10-14 北京百马科技有限公司 一种人机交互设备
KR101685523B1 (ko) * 2015-10-14 2016-12-14 세종대학교산학협력단 사용자의 신체적 특징과 뇌파 집중 지수를 이용한 가상 모니터 개념의 인터페이스 방법 및 그 시스템
KR101717375B1 (ko) * 2015-10-21 2017-03-17 세종대학교산학협력단 가상 모니터 기반의 핸드 마우스를 이용한 게임 인터페이스 방법 및 그 시스템
US10216405B2 (en) * 2015-10-24 2019-02-26 Microsoft Technology Licensing, Llc Presenting control interface based on multi-input command
CN105404384A (zh) * 2015-11-02 2016-03-16 深圳奥比中光科技有限公司 手势操作方法、利用手势定位屏幕光标的方法及手势系统
US10610133B2 (en) 2015-11-05 2020-04-07 Google Llc Using active IR sensor to monitor sleep
JP6569496B2 (ja) * 2015-11-26 2019-09-04 富士通株式会社 入力装置、入力方法、及びプログラム
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
WO2018003862A1 (ja) * 2016-06-28 2018-01-04 株式会社ニコン 制御装置、表示装置、プログラムおよび検出方法
JP6230666B2 (ja) * 2016-06-30 2017-11-15 シャープ株式会社 データ入力装置、データ入力方法、及びデータ入力プログラム
US20180024623A1 (en) * 2016-07-22 2018-01-25 Google Inc. Detecting user range of motion for virtual reality user interfaces
WO2018083737A1 (ja) * 2016-11-01 2018-05-11 マクセル株式会社 表示装置及び遠隔操作制御装置
JP6246310B1 (ja) 2016-12-22 2017-12-13 株式会社コロプラ 仮想空間を提供するための方法、プログラム、および、装置
CN108345377A (zh) * 2017-01-25 2018-07-31 武汉仁光科技有限公司 一种基于Kinect的自适应用户身高的交互方法
KR101821522B1 (ko) * 2017-02-08 2018-03-08 윤일식 모니터를 이용한 엘리베이터 동작제어장치 및 방법
KR102610690B1 (ko) * 2017-02-24 2023-12-07 한국전자통신연구원 외곽선과 궤적 표현을 활용한 사용자 입력 표현 장치 및 그 방법
CN107015644B (zh) * 2017-03-22 2019-12-31 腾讯科技（深圳）有限公司 虚拟场景中游标的位置调节方法及装置
KR101968547B1 (ko) * 2017-07-17 2019-04-12 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN107861403B (zh) * 2017-09-19 2020-11-13 珠海格力电器股份有限公司 一种电器的按键锁定控制方法、装置、存储介质及电器
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
US20200012350A1 (en) * 2018-07-08 2020-01-09 Youspace, Inc. Systems and methods for refined gesture recognition
JP7058198B2 (ja) * 2018-08-21 2022-04-21 グリー株式会社 画像表示システム、画像表示方法及び画像表示プログラム
WO2020170105A1 (en) 2019-02-18 2020-08-27 Purple Tambourine Limited Interacting with a smart device using a pointing controller
WO2021184356A1 (en) 2020-03-20 2021-09-23 Huawei Technologies Co., Ltd. Methods and systems for hand gesture-based control of a device
EP4115264A4 (en) * 2020-03-23 2023-04-12 Huawei Technologies Co., Ltd. METHODS AND SYSTEMS FOR CONTROLLING A DEVICE BASED ON HAND GESTURES
CN111880657B (zh) * 2020-07-30 2023-04-11 北京市商汤科技开发有限公司 一种虚拟对象的控制方法、装置、电子设备及存储介质
JP7041211B2 (ja) * 2020-08-03 2022-03-23 パラマウントベッド株式会社 画像表示制御装置、画像表示システム及びプログラム
TWI813907B (zh) * 2020-09-30 2023-09-01 優派國際股份有限公司 觸控顯示裝置及其操作方法
CN113569635B (zh) * 2021-06-22 2024-07-16 深圳玩智商科技有限公司 一种手势识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP2006209359A (ja) * 2005-01-26 2006-08-10 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3749369B2 (ja) * 1997-03-21 2006-02-22 株式会社竹中工務店 ハンドポインティング装置
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP2001236179A (ja) * 2000-02-22 2001-08-31 Seiko Epson Corp 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6911995B2 (en) * 2001-08-17 2005-06-28 Mitsubishi Electric Research Labs, Inc. Computer vision depth segmentation using virtual surface
JP4974319B2 (ja) * 2001-09-10 2012-07-11 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
HU0401034D0 (en) * 2004-05-24 2004-08-30 Ratai Daniel System of three dimension induting computer technology, and method of executing spatial processes
WO2006003586A2 (en) * 2004-06-29 2006-01-12 Koninklijke Philips Electronics, N.V. Zooming in 3-d touch interaction
CN101308442B (zh) * 2004-10-12 2012-04-04 日本电信电话株式会社 三维指示方法和三维指示装置
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US20060267927A1 (en) * 2005-05-27 2006-11-30 Crenshaw James E User interface controller method and apparatus for a handheld electronic device
ITUD20050152A1 (it) * 2005-09-23 2007-03-24 Neuricam Spa Dispositivo elettro-ottico per il conteggio di persone,od altro,basato su visione stereoscopica,e relativo procedimento
US8217895B2 (en) * 2006-04-28 2012-07-10 Mtekvision Co., Ltd. Non-contact selection device
CN200947919Y (zh) * 2006-08-23 2007-09-19 陈朝龙 辅助鼠标操作的支撑结构
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8354997B2 (en) * 2006-10-31 2013-01-15 Navisense Touchless user interface for a mobile device
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
KR100827243B1 (ko) * 2006-12-18 2008-05-07 삼성전자주식회사 3차원 공간상에서 정보를 입력하는 정보 입력 장치 및 그방법
CN101064076A (zh) * 2007-04-25 2007-10-31 上海大学 远景定向查询展示装置及方法
US8963828B2 (en) * 2007-06-04 2015-02-24 Shimane Prefectural Government Information inputting device, information outputting device and method
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
JP4318056B1 (ja) * 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8289316B1 (en) * 2009-04-01 2012-10-16 Perceptive Pixel Inc. Controlling distribution of error in 2D and 3D manipulation
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
JP4701424B2 (ja) * 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
US8261211B2 (en) * 2009-10-01 2012-09-04 Microsoft Corporation Monitoring pointer trajectory and modifying display interface
US20120056989A1 (en) * 2010-09-06 2012-03-08 Shimane Prefectural Government Image recognition apparatus, operation determining method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0612177A (ja) * 1992-06-29 1994-01-21 Canon Inc 情報入力方法及びその装置
JP2004013314A (ja) * 2002-06-04 2004-01-15 Fuji Xerox Co Ltd 位置測定用入力支援装置
JP2006209359A (ja) * 2005-01-26 2006-08-10 Takenaka Komuten Co Ltd 指示動作認識装置、指示動作認識方法及び指示動作認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YASUAKI NAKATSUGU: "A method for specifying cursor Position by finger pointing", ITE TECHNICAL REPORT, vol. 26, no. 8, 29 January 2002 (2002-01-29), pages 55 - 60, XP008168559 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046768A1 (ja) * 2011-09-30 2013-04-04 楽天株式会社 検索装置、検索方法、記録媒体、ならびに、プログラム
CN104012073A (zh) * 2011-12-16 2014-08-27 奥林巴斯映像株式会社 拍摄装置及其拍摄方法、存储能够由计算机来处理的追踪程序的存储介质
CN104012073B (zh) * 2011-12-16 2017-06-09 奥林巴斯株式会社 拍摄装置及其拍摄方法、存储能够由计算机来处理的追踪程序的存储介质
CN107197141A (zh) * 2011-12-16 2017-09-22 奥林巴斯株式会社 拍摄装置及其拍摄方法、存储能够由计算机来处理的追踪程序的存储介质
CN107197141B (zh) * 2011-12-16 2020-11-03 奥林巴斯株式会社 拍摄装置及其拍摄方法、存储能够由计算机来处理的追踪程序的存储介质
EP2610714A1 (en) * 2012-01-02 2013-07-03 Alcatel Lucent International Depth camera enabled pointing behavior
US11036351B2 (en) 2017-08-04 2021-06-15 Sony Corporation Information processing device and information processing method
US20220334648A1 (en) * 2021-04-15 2022-10-20 Canon Kabushiki Kaisha Wearable information terminal, control method thereof, and storage medium

Also Published As

Publication number Publication date
US20150130715A1 (en) 2015-05-14
JP2011039844A (ja) 2011-02-24
CA2886208A1 (en) 2011-02-17
JP4701424B2 (ja) 2011-06-15
CA2768893A1 (en) 2011-02-17
KR20120040211A (ko) 2012-04-26
EP2466423A4 (en) 2015-03-11
CN102473041B (zh) 2015-01-07
US20120119988A1 (en) 2012-05-17
KR101347232B1 (ko) 2014-01-03
CA2768893C (en) 2015-11-17
US9535512B2 (en) 2017-01-03
EP2466423B1 (en) 2018-07-04
CN102473041A (zh) 2012-05-23
US8890809B2 (en) 2014-11-18
CN104615242A (zh) 2015-05-13
EP2466423A1 (en) 2012-06-20

Similar Documents

Publication Publication Date Title
JP4701424B2 (ja) 画像認識装置および操作判定方法並びにプログラム
JP5604739B2 (ja) 画像認識装置および操作判定方法並びにプログラム
JP5167523B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP4900741B2 (ja) 画像認識装置および操作判定方法並びにプログラム
KR101522991B1 (ko) 조작입력장치 및 방법, 그리고 프로그램
JP5515067B2 (ja) 操作入力装置および操作判定方法並びにプログラム
JP5114795B2 (ja) 画像認識装置および操作判定方法並びにプログラム
JP4678428B2 (ja) 仮想空間内位置指示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080035693.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10808086

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13384682

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010808086

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2768893

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20127001932

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE