WO2014034527A1 - 情報入力装置 - Google Patents

情報入力装置 Download PDF

Info

Publication number
WO2014034527A1
WO2014034527A1 PCT/JP2013/072463 JP2013072463W WO2014034527A1 WO 2014034527 A1 WO2014034527 A1 WO 2014034527A1 JP 2013072463 W JP2013072463 W JP 2013072463W WO 2014034527 A1 WO2014034527 A1 WO 2014034527A1
Authority
WO
WIPO (PCT)
Prior art keywords
information input
unit
projection
detection unit
image
Prior art date
Application number
PCT/JP2013/072463
Other languages
English (en)
French (fr)
Inventor
昌史 井出
Original Assignee
シチズンホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シチズンホールディングス株式会社 filed Critical シチズンホールディングス株式会社
Priority to JP2014532969A priority Critical patent/JPWO2014034527A1/ja
Priority to EP13833575.7A priority patent/EP2889733A1/en
Priority to US14/423,501 priority patent/US20150186039A1/en
Priority to CN201380045274.6A priority patent/CN104583921A/zh
Publication of WO2014034527A1 publication Critical patent/WO2014034527A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3161—Modulator illumination systems using laser light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Definitions

  • the present invention relates to an information input device, and more particularly to an information input device using a projected input image.
  • an information input device such as a remote control is generally used to input information for operating a television, a video, or the like.
  • a remote control is generally used to input information for operating a television, a video, or the like.
  • the place where the remote control or the like is placed is unknown, and it cannot be used when it is desired to use it.
  • a video showing an operation unit having a plurality of input keys is projected from the video projection device, and a finger movement on the projected video is detected by image recognition processing to determine which input key is operated.
  • An information input device is known (see, for example, Patent Document 1).
  • the information input device described in Patent Document 1 discriminates the finger on the projected video from the image read by the imaging unit by edge detection, and then moves the finger from top to bottom, that is, the video is projected. The finger contact with the surface is detected.
  • various input operations can be performed without operating the information input device itself.
  • the user wears a projector, receives an input operation image (pattern) such as a dial pad projected by the projector from a wall, table, palm, etc., and attaches the projected input operation image to the user's fingertip
  • an input operation image such as a dial pad projected by the projector from a wall, table, palm, etc.
  • a gesture interface that is an information input device that can be worn on the body so that an input corresponding to an image of a pointed part is made when indicated by a designated instrument (see, for example, Patent Document 2).
  • the computer analyzes the image captured by the camera, tracks the movement of the instrument attached to the fingertip of the user, and inputs corresponding to the input operation video such as a dial pad It is determined whether or not there is. Further, since the image from the projector is projected after being reflected by the mirror, the projection position of the input operation video can be arbitrarily changed by the user manually changing the position of the mirror.
  • Such an information input device is also referred to as a virtual remote controller, and anyone can easily perform an input operation by projecting an input operation image (pattern) on something at an arbitrary place.
  • a visible laser light source is generally used as a light source of a projector that projects an input operation image. If the visible laser light irradiates the eyes of the user, for example, the eyes may be damaged.
  • an object of the present invention is to provide an information input device that prevents as much as possible that a visible laser beam that projects an information input image irradiates a protection target site such as a user's eye.
  • the information input device includes a projection unit that projects an information input image with visible laser light, a movable support unit that mounts the projection unit so that the projection position of the information input image by the projection unit can be changed, and an information input image
  • a first detection unit that captures a detected region capable of projecting the image
  • a second that is mounted on the movable support unit and detects an object entering a predetermined region including the projection position of the information input image and a distance to the object.
  • the first detection unit Based on the image data captured by the detection unit, the first detection unit, the information input detection unit that determines the input operation image for the information input image and detects the information input, and the information detected by the second detection unit And a discrimination control unit that discriminates whether or not a singular object has entered the predetermined area based on the above, and stops the projection by the projection unit when it is determined that the singular object has entered.
  • the information input detection unit determines an input operation image for the information input image based on the image data captured by the first detection unit and the information detected by the second detection unit. It is preferable to detect information input.
  • the discrimination control unit discriminates whether or not a specific object has entered the predetermined region based on the image data captured by the first detection unit and the information detected by the second detection unit. However, when it is determined that a singular object has entered, it is preferable to stop projection by the projection unit.
  • the discrimination control unit discriminates a human eye, nose, ear, mouth, facial contour or face as a specific object.
  • the second detection unit includes an infrared light emission unit, an infrared detection unit, and a scanning unit that two-dimensionally scans a predetermined region with the infrared beam emitted from the infrared light emission unit.
  • the second detection unit detects a distance to an object entering a predetermined area using a random dot pattern.
  • the second detection unit detects the distance to the object entering the predetermined area using the position detection element.
  • the first detection unit preferably includes an infrared light emitting unit and an infrared camera.
  • the first detection unit and the second detection unit use infrared rays whose linear polarization directions are orthogonal to each other. Thereby, the interference between both detection parts can be prevented.
  • the first detection unit and the second detection unit use infrared rays having different wavelengths. This also prevents interference between the two detection units.
  • the infrared light emitting unit of the first detecting unit and the infrared light emitting unit of the second detecting unit have different light emission timings. This also prevents interference between the two detection units.
  • the first detection unit has a camera module in which a camera that captures a color image and an infrared camera that acquires depth information are combined.
  • an object for projecting the information input image is determined based on the image data captured by the first detection unit, and the position of the object is tracked and information is input to the projection unit. It is preferable to further include a projection position control unit that controls the movable support unit to project the image for use.
  • the second detection unit since the second detection unit is mounted on the movable support unit together with the projection unit, the detection region including the projection position of the information input image by the projection unit is always monitored, and the region It is possible to detect the object entering the top and the distance to the object. Then, based on the information detected by the second detection unit, the determination control unit determines whether or not a singular object such as a face or an eye has entered, and stops the projection by the projection unit when determining that a singular object has entered. Therefore, it is possible to greatly reduce the possibility that the visible laser light is irradiated for a long time on the site to be protected such as human eyes.
  • FIG. 1 is an external perspective view showing an overall configuration of an information input device 1.
  • FIG. 3 is a block diagram illustrating a configuration example of a control system of the information input device 1.
  • FIG. 4 is a schematic cross-sectional view showing a specific configuration example of a second detection unit 25.
  • FIG. 3 is a plan view showing an example of a MEMS mirror 251.
  • FIG. 5 is a flowchart illustrating an example of processing for initial setting by a control unit 50. It is a figure which shows an example of the image
  • FIG. 1 is an external perspective view showing an overall configuration of an information input device 1.
  • FIG. 3 is a block diagram illustrating a configuration example of a control system of the information input device 1.
  • FIG. 4 is a schematic cross-section
  • 5 is a flowchart illustrating an example of processing for information input by a control unit 50. It is a figure which shows an example of the approaching object grouped by the control part. 5 is a flowchart illustrating an example of processing for detecting the entry of a specific object by a control unit 50. It is a conceptual diagram of the vicinity of a projection area when information input image 70 is projected on the palm of a user by information input device 1 to input information. 4 is a flowchart illustrating an example of processing for palm detection by the control unit 50.
  • FIG. 6 is a schematic configuration diagram showing another example of the projection device 30. It is a schematic sectional drawing which shows the specific structural example of the 2nd detection part 125 in the case of using a random dot pattern.
  • FIG. 1 is an external perspective view showing the overall configuration of the information input device 1.
  • FIG. 2 is a block diagram illustrating a configuration example of a control system of the information input device 1.
  • FIG. 3 is a schematic cross-sectional view illustrating a specific configuration example of the second detection unit 25.
  • FIG. 4 is a plan view showing an example of the MEMS mirror 251.
  • the information input device 1 includes a pan head 10, a first detection unit 20, a second detection unit 25, and a projection device 30 (only the projection unit 30a is shown in FIG. 1). And a control unit 50 and the like.
  • the pan / tilt head 10 includes a base 11 fixed to the gantry 2 indicated by a broken line in FIG. 1, a first rotating portion 12 rotated in the ⁇ direction by the first motor 15 shown in FIG. 2, and a ⁇ direction by the second motor 16. It has the 2nd rotation part 13 etc. which are rotated.
  • the first detection unit 20 is fixed to the base 11 of the camera platform 10, and includes a first infrared light emitting unit 21, an infrared camera 22, and the like.
  • the second detection unit 25 is mounted on the second rotation unit 13 of the camera platform 10 together with the projection unit 30a of the projection device 30, and includes a second infrared light emitting unit 26, an infrared detection unit 27, and the like.
  • the projection device 30 is composed of an ultra-compact projector using visible laser light sources of RGB colors, and a projection unit (projection head) 30 a is attached to the second rotating unit 13 of the camera platform 10. Then, according to the image data received from the control unit 50, the information input image 70 is projected at a desired position on the table 40 that is the projection surface.
  • the projection device 30 includes, for example, a visible laser light source, a fiber pigtail module, an RGB fiber combiner, a visible single mode fiber, a projection unit 30a that is a projection head, and the like.
  • the visible laser light source is a light source for each color of RGB composed of a semiconductor laser (laser diode).
  • the fiber pigtail module introduces the RGB laser beams emitted from the laser light sources into the RGB laser light fibers.
  • the RGB fiber combiner combines light from RGB laser light fibers.
  • the visible single mode fiber guides the combined light to the projection unit 30a.
  • the projection unit 30a projects an information input image with the visible laser beam guided thereby.
  • the portions other than the visible single mode fiber and the projection unit 30a may be stored in the base 11 of the camera platform 10 together with the control unit 50, or a control box is separately attached to the platform 2 and stored therein. Also good. Since the projection unit 30a is attached to the second rotation unit 13 of the camera platform 10, and its direction can be arbitrarily changed by the rotation of the first rotation unit 12 and the second rotation unit 13, the projection position of the information input image 70 Can be changed arbitrarily.
  • the projection device 30 may be a projection device using a monochromatic visible laser light source or the like. Further, as long as the projection device 30 can be configured to be ultra-small, the entire projector device 30 may be attached to the second rotating unit 13 of the camera platform 10.
  • the upper surface of the table 40 is the projection surface.
  • the user can touch the floor, wall, board, user's palm or the like with a fingertip, and projects a predetermined information input image. Any member can be used as the projection surface as long as it can be used.
  • the first detection unit 20 irradiates the entire detection region 80 on which the information input image 70 can be projected with the infrared rays from the first infrared light emitting unit 21, and the reflected light reflected from the object existing in the detection region 80. Is received by the infrared camera 22 and imaged.
  • the first detection unit 20 controls the position coordinate data and depth data for each pixel of the image captured by the infrared camera 22 (data on the distance between the infrared camera 22 and the imaging object corresponding to each pixel) and the control unit 50. Output to.
  • an area including the entire upper surface of the table 40 that is a projection surface of the information input image 70 is set as a detection area 80.
  • the first infrared light emitting unit 21 is a semiconductor laser (laser diode) that emits infrared light.
  • laser light having a wavelength of 1400 nm to 2600 nm in near infrared rays does not reach the retina and is not easily damaged by the eyes, and thus is called an eye-safe laser. Therefore, it is preferable to use laser light in this wavelength band.
  • the oscillation wavelength of the semiconductor laser in this case is preferably in the range of 800 nm to 1100 nm, which is longer than the visible range and is sensitive to Si-based CMOS and CCD cameras.
  • a polarizing plate 23 is disposed on the front surface of the first infrared light emitting unit 21.
  • the polarizing plate 23 emits only linearly polarized light (for example, P-polarized) infrared light having a fixed polarization direction out of the emitted infrared laser light.
  • a polarizing plate 24 is also disposed on the front surface of the infrared camera 22. Thereby, the infrared camera 22 receives and captures only the infrared light of the linearly polarized light (for example, P-polarized light) having the same polarization direction as that of the outgoing light among the reflected light from the object.
  • the second detection unit 25 irradiates a predetermined area including the projection position of the information input image 70 from the second infrared light emitting unit 26, and the infrared detection unit 27 reflects the reflected light from the object that has entered the area. Receives and detects light. Then, the second detection unit 25 outputs position coordinate data of the object and depth data indicating the distance to the object to the control unit 50.
  • the second infrared light emitting unit 26 is also a semiconductor laser (laser diode) that emits infrared light, and preferably emits an eye-safe laser in the same manner as the first infrared light emitting unit 21.
  • a semiconductor laser laser diode
  • the oscillation wavelength of the semiconductor laser is preferably in the range of 800 nm to 1100 nm, which is longer than the visible range and is sensitive to Si-based photodiodes.
  • the infrared detection unit 27 includes a photodiode as a light receiving element.
  • the infrared detector 27 calculates the position coordinate data of the object from the detection signal of the photodiode, the intensity ratio between the detection signal and the emitted light of the infrared laser, the irradiation angle of the infrared laser, and the like, and detects the detected object by the TOF method.
  • a calculation unit for calculating the distance to the depth data may be included in the control unit 50.
  • the TOF (Time of Flight) method is based on the flight time (delay time) and the speed of light (3 ⁇ 10 8 m / s) until the light emitted from the light source is reflected by the object and reaches the sensor.
  • This is a distance measurement method for calculating the distance to an object.
  • the time from when the second infrared light emitting unit 26 emits the infrared laser to when the reflected light is detected by the photodiode of the infrared detecting unit 27 is measured, and the speed of light is set at that time. By multiplying, depth data can be calculated.
  • a polarizing plate 28 is disposed in front of the second infrared light emitting unit 26.
  • the polarizing plate 28 emits only linearly polarized light (for example, S-polarized light) in a fixed direction whose polarization direction is orthogonal to the infrared linear polarization direction used in the first detection unit 20 among the emitted infrared laser light.
  • a polarizing plate 29 is also arranged on the front surface of the infrared detector 27.
  • the infrared detection unit 27 receives and detects only the infrared light of the linearly polarized light (for example, S-polarized light) having the same polarization direction as that of the outgoing light among the reflected light from the object.
  • the linearly polarized light for example, S-polarized light
  • the first detector 20 and the second detector 25 use infrared rays whose linear polarization directions are orthogonal to each other. Therefore, when the irradiated object has a characteristic that the depolarization is small, the mutual interference between the infrared light received by the infrared camera 22 and the infrared light received by the infrared detection unit 27 can be reduced, and the SN ratio can be improved.
  • the second detection unit 25 may be configured as shown in FIG. 3, for example.
  • a second infrared light emitting unit 26 using a laser diode or the like and an infrared detection unit 27 using a photodiode or the like are included in a housing 252 provided with a transparent window 253 at the bottom.
  • the outgoing optical axis and the received optical axis are arranged so as to be orthogonal to each other.
  • the polarizing plate 28, the beam splitter 250, and the MEMS mirror 251 as the scanning unit are sequentially arranged along the infrared outgoing optical axis of the second infrared light emitting unit 26.
  • the beam splitter 250 and the MEMS mirror 251 are installed such that the semi-reflecting surface of the beam splitter 250 and the mirror surface at the neutral time of the MEMS mirror 251 form an angle of approximately 5 ° to 45 ° with respect to the infrared outgoing optical axis.
  • a polarizing plate 29 is disposed between the infrared detector 27 and the beam splitter 250.
  • the mirror surface 251a is connected to the subframe 251c by a pair of second support portions 251e so as to be rotatable in the direction of arrow a.
  • the frame 251c is connected to the main frame 251b by a pair of first support portions 251d so as to be rotatable in a direction indicated by an arrow b. Since the positional relationship between the second support part 251e and the first support part 251d is in the orthogonal direction, the mirror surface 251a is held so as to be rotatable in two axial directions with respect to the main frame 251b.
  • the MEMS mirror 251 is formed of a single plate.
  • the first support portion 251d and the second support portion 251e have elasticity, and when an external force is applied, the mirror surface 251a is resonated two-dimensionally at the natural frequency and rotated (vibrated) within the range of the elasticity. it can.
  • the MEMS mirror 251 may be of a type in which the second support portion 251e is driven in a resonance mode and the first support portion 251d is forcibly driven without using resonance. Examples of means for applying an external force include an electromagnetic coil and a piezoelectric element.
  • Rotation in the direction indicated by arrows a and b in FIG. 4 corresponds to the directions indicated by arrows a and b in FIG.
  • a predetermined area can be two-dimensionally scanned in the direction indicated by the arrow C and in the direction perpendicular to the arrow C (perpendicular to the plane of the paper) with an infrared beam emitted by a one-dot chain line. it can. Therefore, a high-speed raster scan can be performed with respect to a predetermined region by a minute spot infrared beam.
  • the predetermined area is a detection area by the second detection unit 25.
  • the predetermined area always includes the projection position of the information input image 70 by the projection unit 30a, and is slightly wider than the projection area.
  • the scanning unit instead of the MEMS mirror 251 that rotates or vibrates two-dimensionally, a combination of two vibrating mirrors such as a MEMS mirror that rotates or vibrates one-dimensionally may be used as the scanning unit.
  • the beam splitter 250 is a polarizing beam splitter, the polarizing plates 28 and 29 can be omitted.
  • the control unit 50 includes a microcomputer including a CPU 51, a RAM 52, a ROM 53, an I / O 54, and the like.
  • the CPU 51 is a central processing unit that performs various calculations and processes.
  • the ROM 53 is a read-only memory that stores an operation program executed by the CPU 51 and fixed data.
  • the RAM 52 is a random access memory that temporarily stores input data and data processed by the CPU 51.
  • the I / O 54 is an input / output port for transmitting / receiving data to / from the camera platform 10, the first detection unit 20, the projection device 30, and the operated device 60.
  • the control unit 50 may further include a nonvolatile RAM (NVRAM), a hard disk device (HDD), and the like.
  • NVRAM nonvolatile RAM
  • HDD hard disk device
  • the control unit 50 is for information input projected by the projection unit 30a of the projection device 30 based on image data captured by the first detection unit 20 or based on information detected by the second detection unit 25. It functions as an information input detection unit that detects an input operation by discriminating an input operation image such as a fingertip on the image 70. The control unit 50 outputs the detected information input data to the operated device 60. Further, the control unit 50 determines whether or not a singular object has entered the predetermined area based on the information detected by the second detection unit 25. When determining that the singular object has entered, the control unit 50 uses the projection control signal to determine whether or not the singular object has entered. It functions as a discrimination control unit that stops the projection of the information input image 70 by the 30 projection units 30a.
  • control unit 50 drives and controls the first motor 15 and the second motor 16 of the camera platform 10 according to the control data, and rotates the first rotating unit 12 and the second rotating unit 13 in FIG. 1 to project the projecting unit 30a.
  • the information input image 70 can be projected to a desired position on the table 40.
  • the control unit 50 drives and controls the first motor 15 to rotate the first rotating unit 12 in the ⁇ direction
  • the information input image 70 moves in the direction of the arrow A.
  • control unit 50 controls the second motor 16 to rotate the second rotating unit 13 in the ⁇ direction
  • the information input image 70 moves in the direction of arrow B.
  • the operated device 60 is a device that executes various processes based on information input data.
  • an air conditioner for example, an air conditioner, a network access device, a personal computer, a television, a radio, a CD, a DVD, a VTR, or other various recording media.
  • a recording / reproducing apparatus for example, an air conditioner, a network access device, a personal computer, a television, a radio, a CD, a DVD, a VTR, or other various recording media.
  • a recording / reproducing apparatus is a device that executes various processes based on information input data.
  • an air conditioner for example, an air conditioner, a network access device, a personal computer, a television, a radio, a CD, a DVD, a VTR, or other various recording media.
  • a recording / reproducing apparatus for example, an air conditioner, a network access device, a personal computer, a television, a radio, a CD, a DVD, a VTR, or other various recording media.
  • FIG. 5 is a flowchart showing an example of processing for initial setting by the control unit 50.
  • the CPU 51 of the control unit 50 controls the pan head 10, the first detection unit 20, the second detection unit 25, and the projection device 30 according to a program stored in advance in the ROM 53 of the control unit 50. Execute.
  • the step is abbreviated as “S”.
  • a display and an operation unit (keyboard and mouse) (not shown) are connected to the control unit 50 via the I / O 54. Then, the control unit 50 displays an image based on the image data captured by the infrared camera 22 of the first detection unit 20 on the display, and waits for the user to specify the position of the projection surface using the operation unit (S10). ). When the position of the projection surface is designated, the control unit 50 stores position coordinate data indicating the range of the projection surface in the RAM 52 or the like (S11). Since S10 and S11 are initialization processes, if initialization is performed once at the time of installation and initialization data is recorded, it can be omitted from the next startup unless the installation location and conditions are changed. .
  • FIG. 6 is a diagram illustrating an example of an image based on image data captured by the infrared camera 22 of the first detection unit 20 displayed on the display. For example, by designating four points C1 to C4 on the table 40, the surface in the region connecting the four points is designated as the projection surface 41. If the difference between the projection surface 41 and the background is clearly determined, the control unit 50 may automatically specify the projection surface 41 using a known image processing technique. In addition, when the entire range captured by the first detection unit 20 is the projection surface 41, S10 may be omitted.
  • control unit 50 acquires depth data of the projection surface 41 from the first detection unit 20 (S12), and stores the depth data for each pixel included in the region designated as the projection surface 41 in the RAM 52. (S13).
  • FIG. 7 is a diagram for explaining the depth data on the projection surface 41.
  • the point D1 of the projection surface 41 just below the first detection unit 20 and the point D2 of the projection surface 41 located away from the first detection unit 20 are on the same table 40.
  • the depth data from the first detection unit 20 and the second detection unit 25 there is a difference in the depth data from the first detection unit 20 and the second detection unit 25. Therefore, the position coordinate data and the depth data are acquired and recorded in advance for all the pixels on the projection surface 41.
  • the control unit 50 transmits predetermined image data to the projection device 30, causes the projection unit 30a to project the reference projection image 71 of FIG. 6 onto the projection surface 41, and transmits predetermined control data to the camera platform 10. Then, the camera platform 10 is controlled to move the reference projection image 71 to the reference position (S14).
  • the reference projection image 71 is composed of five black dots displayed in a circular frame, as indicated by reference numerals 71-1 to 71-7 in FIG.
  • the reference projection image 71 shown in FIG. 6 is an example, and other images may be used.
  • a reference projection image 71-1 in FIG. 6 is a reference projection image that is projected directly below the camera platform 10 and at the reference position in this example.
  • the positional relationship between the camera platform 10 and the projection surface 41, the reference position of the projection image, and the like can be determined as appropriate according to the situation.
  • control unit 50 acquires position coordinate data from the first detection unit 20 and the second detection unit 25 (S15). Then, the control unit 50 specifies the position of the reference projection image 71 using five black spots (S16), and the correspondence between the control data transmitted to the camera platform 10 and the position coordinate data of the specified reference projection image 71 is determined. The relationship is stored in a data table configured on the RAM 52 (S17).
  • control unit 50 determines whether or not the entire area of the projection surface 41 has been moved (S18). If there is an area that has not yet moved (No in S18), the process returns to S14. In this way, the control unit 50 moves the reference projection image 71 sequentially from 71-2 to 71-7 in FIG. 6 at predetermined time intervals, and covers the entire area of the projection surface 41 as described above in S14. The processes of S17 are repeated. Note that the reference projection images 71-2 to 71-7 shown in FIG. 6 are examples, and the amount of movement for moving the reference projection image 71 in order to specify the position can be determined as appropriate.
  • the controller 50 completes a data table representing the correspondence between the position coordinate data of the projection image and the control data for the entire area of the projection surface 41 by repeating the processes of S14 to S17 a predetermined number of times. Then, when the control unit 50 determines that all areas of the projection surface 41 have been moved (Yes in S18), the data table is completed, and the processing in FIG. 5 ends.
  • control unit 50 can control the camera platform 10 to move the projection image by the projection unit 30a to an arbitrary position on the designated projection surface 41. . Conversely, the control unit 50 can specify the position on the projection surface 41 of the currently projected projection image by using the data table.
  • FIG. 8 is a diagram illustrating an example of an information input image projected by the projection device 30.
  • the information input image 70 shown in FIG. 8 includes a playback button 72, a fast forward button 73, a rewind button 74, a channel up button 75, and a channel down button 76 of a video rape recorder (VTR).
  • VTR video rape recorder
  • FIG. 9 is a diagram showing another example of the information input image.
  • the information input image 70 'shown in FIG. 9 includes a rotation button 77 for rotating the information input image 70' in addition to the buttons of the information input image 70 shown in FIG. Note that these information input images are merely examples, and the projection device 30 can project various types of information input images based on image data from the control unit 50.
  • the control unit 50 can determine the type of the input button included in the information input image and the arrangement position in the information input image based on the image data transmitted to the projection device 30. Furthermore, the control unit 50 can specify the position of the information input image on the projection surface 41 based on the control data transmitted to the camera platform 10 and the data table created in S17 of FIG. Therefore, the control unit 50 can specify the position of each input button on the projection surface 41 based on the image data transmitted to the projection device 30 and the control data transmitted to the camera platform 10.
  • FIG. 10 is a flowchart showing an example of processing for information input by the control unit 50.
  • the CPU 51 of the control unit 50 controls the pan head 10, the first detection unit 20, the second detection unit 25, and the projection device 30 according to a program stored in advance in the ROM 53 of the control unit 50. Execute.
  • the control unit 50 first acquires the image data transmitted to the projection device 30 and the control data transmitted to the camera platform 10 (S20). Next, the control unit 50 acquires position coordinate data and depth data from the first detection unit 20 and the second detection unit 25 (S21). Note that the order of S20 and S21 may be reversed.
  • the control unit 50 specifies the contour region of the image based on the position coordinate data acquired in S21 (S22). At that time, the control unit 50 takes the difference between the depth data of the projection surface recorded in S12 of FIG. 5 and the depth data acquired in S21 of FIG. 10, and the difference is within a predetermined threshold value (for example, within 10 mm). By extracting the pixels, the contour region of the approaching object (for example, the contour region 90 of the hand as shown in FIG. 11 described later) is specified.
  • a predetermined threshold value for example, within 10 mm
  • control unit 50 groups regions having substantially the same depth data among the contour regions specified in S22 (S23).
  • FIG. 11 is a diagram illustrating an example of an approaching object grouped by the control unit 50.
  • the approaching object is a hand, and its contour region 90 is specified in S22.
  • the contour region 90 is a group having the same depth data as a whole.
  • control unit 50 specifies the approach position and fingertip position of the approaching object to the projection surface based on the contour region grouped in S23 (S24).
  • the control unit 50 determines that the approaching object has entered the projection surface 41 from one side 40 a of the projection surface 41, and specifies the entry positions E 1 and E 2 .
  • the approach positions E 1 and E 2 correspond to a contact point between the contour area 90 of the approaching object and one side 40a of the projection surface 41.
  • the control unit 50 when the middle point of entry position E 1 and E 2 minus side 40a and the vertically linearly of the projection surface 41, the contour region 90 at a position farthest from a projection surface of a side 40a identifying the point E 3 overlapping as fingertip position.
  • Method of identifying the fingertip position above based on entry position E 1 and E 2 is one example, it may specify the fingertip position by other methods using the entry position E 1 and E 2.
  • the control unit 50 determines whether or not the approaching object is performing an information input operation (S25). Even if an entering object exists in the detection area 80 shown in FIG. 1, there may be a case where an information input operation is not intended simply by entering. Therefore, for example, the control unit 50, the point E 3 of the fingertip position shown in FIG. 11 when in the on the projection surface 41, it is determined that the fingertip of the contour area 90 is performing an information input operation.
  • Control unit 50 whether the point E 3 of the fingertip position is on the projection surface 41, and the depth data of the projection surface 41, previously acquired in S12 of FIG. 5, a fingertip position acquired in S21 of FIG. 10 the difference point between the depth data of E 3 may be determined based on whether it is within a predetermined ⁇ (for example, within 10 mm). That is, the control unit 50, the depth data of the point E 3 of fingertip position, when the difference between the depth data of the projection surface 41 at the position coordinates exist that point E 3 is within a predetermined threshold, the fingertip position information It is determined that the input operation is intended.
  • the control unit 50 continues the depth data of the point E 3 at the fingertip position and the projection at the position coordinates where the point E 3 exists for a predetermined time (for example, 1 second) or longer.
  • a predetermined time for example, 1 second
  • control unit 50 determines that the fingertip position is intended for an information input operation (Yes in S25), based on the image data transmitted to the projection device 30 and the control data transmitted to the camera platform 10, FIG. The position on the projection surface 41 of each input button included in the information input image 70 as shown in FIG.
  • the control unit 50 determines that the fingertip position is not intended for the information input operation (No in S25)
  • the process of FIG. 10 ends.
  • the control unit 50 After identifying the position on the projection plane 41 of the input buttons, the control unit 50, a point E 3 of the fingertip position specified in S24, the position on the projection plane 41 of the input buttons identified in S26
  • the information input content is specified based on (S27). For example, the control unit 50, when the coordinates of the points E 3 of the fingertip position is within the range of the play button 72 in FIG. 8, the information input content is identified as "reproduction". Further, when there is no input button that matches the position coordinate data of the fingertip position point E 3 , it may be specified that there is no information input content, or other information input (for information input as described later) It may be determined that there has been an image position movement or the like).
  • control unit 50 executes the process corresponding to the information input content specified in S27 for the operated device 60 of FIG. 2 (S28), and ends the series of processes. For example, when the content of the specified information input is “reproduction”, the control unit 50 transmits a signal for “reproduction” to the operated device 60. The control unit 50 repeatedly executes the processing flow shown in FIG. 10 at predetermined time intervals.
  • the processing flow shown in FIG. 10 is repeatedly executed by the control unit 50. Accordingly, when a user touches a predetermined input button (for example, the playback button 72) of the information input image 70 projected on the projection surface 41 with a fingertip, for example, “ It becomes possible to input information such as “play”.
  • a predetermined input button for example, the playback button 72
  • FIG. 12 is a flowchart illustrating an example of processing for detecting the entry of a specific object by the control unit 50.
  • the processing flow shown in FIG. 12 is executed by the CPU 51 of the control unit 50 controlling the camera platform 10, the second detection unit 25, and the projection device 30 according to a program stored in advance in the ROM 53 of the control unit 50.
  • the control unit 50 determines whether or not the information input image is being projected by the projection device 30 (S30). If the information input image is being projected (Yes in S30), the second detection unit 25 is activated (S30). S31). Alternatively, the control unit 50 is further away from the projection surface 41 (on the table 40) by a predetermined distance or more in the detection region 80 based on the detection information (position coordinate data and depth data) by the first detection unit 20. When an object is detected at the position, the second detection unit 25 may be activated in S31.
  • control unit 50 acquires position coordinate data and depth data of the object detected at each scanning point in the predetermined area (S32).
  • control part 50 specifies the outline area
  • control unit 50 determines whether the entry of a singular object is detected by determining whether a contour pattern having a depth within a preset range is approximate or similar to a pattern of a singular object stored in advance in the ROM 53 or the like. Judge whether or not.
  • pattern data indicating a characteristic shape of a protection target region such as a human eye, nose, ear, mouth, facial contour, or face is stored in the ROM 53 or the like as detection target data of a specific object.
  • the control unit 50 performs the projection when the information input image is projected, or when an object that may be a singular object is detected in the detection area 80 based on the detection information by the first detection unit 20.
  • the second detection unit 25 that can always scan a predetermined region including the projection region of the information input image by the unit 30a at high speed is activated. Then, based on the detection information, when a specific object such as a face or an eye enters, the second detection unit 25 detects it quickly and accurately by the TOF method, whereby the information input image 70 by the projection device 30 is detected. Projection can be stopped. Therefore, safety can be greatly improved.
  • the refresh rate of the infrared camera 22 is about 30 frames per second, the detection information by the first detection unit 20 alone cannot follow a fast movement of a human face or the like. For this reason, taking advantage of the high speed of the second detection unit 25, it is quickly detected that a face or eyes enter the image irradiation area, and the irradiation of the visible laser beam is stopped. Moreover, since the second detection unit 25 is integrally mounted together with the projection unit 30a of the projection device 30 on the second rotation unit 13 that is a movable support unit of the camera platform 10, the information input image 70 by the projection unit 30a. The predetermined area including the projection area of the information input image 70 can always be scanned at a high speed even if the projection position of the image is moved.
  • FIG. 13 is a conceptual diagram in the vicinity of the projection area when the information input image 70 is projected onto the palm of the user by the information input device 1 to input information.
  • a small pan-tilt mount can be used instead of the pan / tilt head 10 of FIG.
  • the first detection unit 20 described above is necessary, but the first detection unit 20 is not shown in FIG.
  • Projection apparatus 30 such as a laser projector shown in FIG. 2 emits visible laser beams of RGB colors in accordance with image data received from control unit 50, and the ultra-compact projection unit shown in FIG. It guides to 30a with an optical fiber.
  • the information input image 70 is projected from the projection unit 30 a onto the palm of the left hand 180 that is the projection surface.
  • the projection device 30 projects the information input image 70 with visible laser light
  • the information input image 70 is always projected regardless of the distance between the projection surface and the projection unit 30a. It has a characteristic that it can be formed on the surface (focus-free characteristic). If a predetermined information input image can be projected, a projection device other than a projector using RGB light emitting lasers can be used.
  • the palm of the user's left hand 180 is used as the projection surface, but other parts of the user's body can be used as the projection surface as long as the projection surface can be recognized to some extent.
  • the control unit 50 shown in FIG. 2 determines that the information input image 70 projected by the projection device 30 on the palm of the user's left hand 180 is touched with the fingertip of the user's right hand 190, and the input information Processing such as outputting input data to the operated device 60 is executed.
  • the control unit 50 determines the palm of the user's left hand 180, which is an object for projecting the information input image 70, based on the information captured by the infrared camera 22 of the first detection unit 20. Then, the control unit 50 controls the first motor 15 and the second motor 16 based on the control data to track the object, and the information input image 70 is placed on the palm of the user's left hand 180 by the projection unit 30a. Project.
  • the control unit 50 controls the first motor 15 of the camera platform 10 to rotate the first rotating unit 12 shown in FIG. 1 in the ⁇ direction
  • the information input image 70 shown in FIG. Move to.
  • the control unit 50 controls the second motor 16 of the camera platform 10 to rotate the second rotation unit 13 in the ⁇ direction
  • the information input image 70 moves in the direction of arrow B.
  • the controller 50 recognizes the palm region by a method described later, the controller 50 calculates the spatial coordinates (x, y, z) from the position data (x, y) and the depth data (r), and uses the data table, The information input image 70 is projected on the palm position.
  • control unit 50 functions as a projection position control unit that changes the projection position of the information input image 70 by tracking the palm position of the left hand 180 of the user, which is the object.
  • control unit 50 functions as an information input detection unit that detects information input to the information input image 70 based on detection information from the first detection unit 20 or the second detection unit 25.
  • FIG. 14 is a flowchart showing an example of processing for palm detection by the control unit 50.
  • the processing flow shown in FIG. 14 is executed by the CPU 51 of the control unit 50 controlling the pan head 10, the first detection unit 20, and the projection device 30 according to a program stored in advance in the ROM 53 of the control unit 50.
  • control unit 50 acquires position coordinate data and depth data from the first detection unit 20 (S40).
  • control unit 50 identifies an area where the contour of the object exists based on the position data acquired in S40 (S41).
  • control part 50 groups the area
  • the control unit 50 determines whether or not the contour area of the objects grouped in S42 is a part ahead of the wrist that is the target part by comparing with a pattern stored in advance in the ROM 53 or the like. (S43). For example, when the user is sitting, there may be a plurality of groups of contour regions of the approaching object (feet, face, shoulder, etc.), but by performing pattern recognition, it is ahead of the wrist that is the target part. Only the part of can be identified.
  • FIG. 15 is an explanatory diagram showing an example in which the contour of the part ahead of the user's left wrist is identified. The same applies to the case of identifying the contour of the part ahead of the right wrist.
  • the control unit 50 detects the palm region 200 of the left hand 180 indicated by a broken-line circle in FIG. (S44) and stored in the RAM 52 shown in FIG.
  • the detection of the palm region 200 is performed from the identified outline (outer shape) of the left hand 180 as follows, for example.
  • a straight line N4 connecting the finger tip position N1 and the midpoint N5 of the wrist positions N2 and N3 is drawn, and on the straight line N4, only a quarter of the distance between the finger tip position N1 and the midpoint N5 is drawn.
  • a circular region having a center at the center point N6 far from the center point N5 and having a radius between the center point N6 and the center point N5 is defined as a palm region 200.
  • the method for determining the palm region 200 is not limited to this, and other methods may be adopted.
  • control unit 50 determines the spatial coordinates (x, y, z) of the center point N6 from the position data (x, y) and the depth data (r) of the center point N6 of the palm region 200. Then, the control unit 50 controls the camera platform 10 using the data table created in S17 of FIG. 5, and projects the information input image 70 at a position in the palm region 200 (S45). Thus, the control unit 50 ends the series of operations. Note that the control unit 50 executes the processing flow shown in FIG. 14 at predetermined time intervals (for example, 1 second) until the target part (the part ahead of the left wrist) is recognized.
  • predetermined time intervals for example, 1 second
  • FIG. 16 is a diagram illustrating a state in which the information input image 70 is projected onto the detected palm region 200. Since the size of the projected image is determined by the distance between the projection unit 30a and the palm region 200, the information input image 70 may not fit in the palm region 200 when images of the same size are always projected. It is possible.
  • control unit 50 performs enlargement / reduction of the projection image based on the depth data of the center point N6 shown in FIG. 15, and controls so that the information input image 70 fits in the palm region 200. Further, when the control unit 50 detects the palm of the user, the control unit 50 controls the pan head 10 to change the direction of the projection unit 30a so as to track the user's palm. Move the projection position.
  • FIG. 17 is a flowchart showing an example of processing for inputting information with the palm by the control unit 50.
  • the CPU 51 of the control unit 50 controls the pan head 10, the first detection unit 20, the second detection unit 25, and the projection device 30 according to a program stored in advance in the ROM 53 of the control unit 50. Execute.
  • the control unit 50 first determines whether or not the target part (the part ahead of the left wrist) has been recognized (S50), and proceeds to the following steps only when the target part is recognized.
  • control unit 50 acquires the image data transmitted to the projection device 30 and the control data transmitted to the camera platform 10 (S51). Next, the control unit 50 acquires position coordinate data and depth data mainly from the second detection unit 25 (S52). Note that the order of S51 and S52 may be reversed.
  • control unit 50 specifies the contour data of the detected object based on the position coordinate data acquired in S52 (S53). And the control part 50 groups the outline area
  • FIG. 18 is a diagram illustrating an example of a contour region of the user's left hand 180 grouped by the control unit 50 in S54 of FIG. 17 and an object entering the palm region 200 (in this example, the user's right hand 190).
  • the control unit 50 identifies the entry positions 01 and 02 of the right hand 190 that is an entry object to the palm region 200 in S55.
  • the control unit 50 identifies the midpoint 03 of the entry positions 01 and 02, and overlaps the contour included in the right hand 190 at a position farthest from the midpoint 03 on the perpendicular line 04 extended from the midpoint 03. 05 is specified as the fingertip position.
  • the contour region included in the right hand 190 that is located farthest from the midpoint 03 of the entry positions 01 and 02 may be specified as the fingertip position.
  • the above-described fingertip position specifying method based on the entry position of the right hand 190 is an example, and the fingertip position may be specified by another method.
  • the control unit 50 determines whether or not the right hand 190 that is the approaching object is performing an information input operation (S56). Even if the right hand 190 exists in the palm region 200, there may be a case where the information input operation is not intended simply by entering. Therefore, for example, when the fingertip position point 05 is on the palm region 200, the control unit 50 determines that the fingertip of the right hand 190 is performing an information input operation.
  • the control unit 50 determines whether or not the fingertip position point 05 is on the palm region 200 if the difference between the depth data of the palm region 200 and the depth data of the fingertip position point 05 is within a predetermined threshold (for example, within 10 mm). Judgment based on whether or not there is.
  • the control unit 50 continues the difference between the depth data of the point 05 of the fingertip position and the depth data of the palm region 200 within a predetermined threshold continuously for a predetermined time (for example, 1 second) or more. In some cases, it may be determined that information has been input.
  • control unit 50 determines that the fingertip position is intended for an information input operation (Yes in S56), based on the image data transmitted to the projection device 30 and the control data transmitted to the camera platform 10, FIG. As shown in FIG. 5, the position of each input button included in the information input image 70 projected on the palm area 200 in the palm area 200 is specified (S57).
  • the control unit 50 specifies the information input content based on the fingertip position point 05 specified in S55 and the position of each input button specified in S57 in the palm region 200 (S58). For example, if the coordinates of the point 05 of the fingertip position are within the range of the playback button 72 as shown in FIG. 18, the control unit 50 specifies that the information input content is “playback”. Further, when there is no input button that coincides with the fingertip position point 05, it may be specified that there is no information input content.
  • control unit 50 executes processing corresponding to the information input content specified in S58 for the operated device 60 (S59), and ends the series of processing. For example, when the content of the specified information input is “reproduction”, the control unit 50 transmits a signal for “reproduction” to the operated device 60.
  • the process flow shown in FIG. 17 is executed when the target part is recognized according to the process flow shown in FIG. Accordingly, when the user touches a predetermined input button (for example, the playback button 72) of the information input image 70 projected on the palm area 200 with a fingertip, for example, “playback” is virtually performed without using a device such as a remote controller. Can be input.
  • a predetermined input button for example, the playback button 72
  • the control unit 50 determines whether or not the user's left hand 180 has been recognized as the target part, detects the palm area 200 from the target part, and inputs the information input image to the palm area 200. 70 is controlled to be projected.
  • the control unit 50 always tracks the target part even when the target part once detected moves (for example, when the user moves or moves the left hand 180), and always displays the information input image 70 in the palm region 200. It is preferable to have a tracking function for projecting.
  • the process proceeds to the subsequent steps. However, it may proceed to the subsequent steps only when the predetermined authentication is performed and it is authenticated that it is the target part of the registered user.
  • a method of fingerprint authentication of a finger included in the left hand 180 recognized as an entering object in order to detect a palm region, a palm fold, a blood vessel arrangement, or the like can be considered.
  • the control unit 50 quickly detects the entry of the singular object based on the detection information by the second detection unit 25 during the information input image projection.
  • the control unit 50 detects a singular object such as the face 100 or the eye 101
  • the control unit 50 generates a warning sound, transmits a projection stop signal to the projection device 30, and projects the information input image 70 with visible laser light. Stop.
  • the safety for the eyes can be greatly improved.
  • the first detection unit 20 and the second detection unit 25 are Infrared rays whose linear polarization directions are orthogonal to each other are used.
  • the first detection unit 20 and the second detection unit 25 use infrared rays having different wavelengths, and receive each infrared ray by the infrared camera 22 and the infrared detection unit 27 via filters, respectively.
  • interference can be prevented by the wavelength multiplexing method.
  • the first infrared light emitting unit 21 of the first detection unit 20 and the second infrared light emitting unit 26 of the second detection unit 25 irradiate each infrared ray at different light emission timings, that is, with a time difference, and Multiplexing can also prevent interference. Furthermore, interference may be prevented by appropriately combining these methods.
  • the infrared camera 22 shown in FIG. 2 may be used in combination with a monochrome camera that captures a monochrome image having sensitivity to visible light, or a color camera that captures a color image.
  • the first detection unit 20 may include a camera module that combines a camera that captures a color image and an infrared camera that acquires depth information. Thereby, it becomes possible to confirm a projection image in real time using a visible light camera.
  • color data such as RGB can also be detected. For this reason, even if a ring or a wristwatch is worn on the finger or arm of the detection target hand, they can be identified by the color data, and only the skin color image area of the hand can be accurately recognized.
  • the second infrared light emitting unit 26 of the second detection unit 25 shown in FIG. for example, the projection surface 30a irradiates the projection surface with an infrared beam as well as the projection light of the information input image by the visible laser beam, and the infrared detection unit such as a photodiode reflects the light reflected from the object through the infrared bandpass filter. Is received.
  • FIG. 19 is a schematic configuration diagram showing another example of the projection device 30.
  • the projection device 30 includes a scanning projection unit 31, a single mode fiber 32, a broadband fiber combiner 33, and a fiber pixel.
  • the tail module 34 is configured.
  • the laser light emitted from the laser light source for each of the R, G, and B colors of visible light and the laser light source for infrared (IR) is introduced into each optical fiber by the fiber pictail module 34.
  • the broadband fiber combiner 33 multiplexes the R, G, B, and IR laser beams guided by the optical fibers.
  • the single mode fiber 32 guides the combined light to the scanning projection unit 31.
  • the laser light emitted from the single mode fiber 32 is irradiated toward the MEMS mirror 31b by the irradiation optical system 31a, and the reflected light from the MEMS mirror 31b passes on the projection surface through the projection optical system 31c. Projected.
  • the projected laser beam can be two-dimensionally scanned at high speed. This makes it possible to share the second infrared light emitting unit 26 with the projection device 30.
  • a beam splitter is disposed between the irradiation optical system 31a and the MEMS mirror 31b in FIG. 19 to separate reflected light from an object irradiated with infrared rays, and through an infrared bandpass filter, an infrared detection unit such as a photodiode. It can also be detected by receiving light.
  • the random dot pattern method uses the principle of triangulation and uses the autocorrelation properties such as m-sequence code to calculate the distance from the horizontal displacement of the pattern.
  • the lightness and darkness of the overlap due to the bit shift is detected as an autocorrelation value.
  • the position where the correlation value is the highest can be detected as a deviation amount by repeatedly performing the cross-correlation process with the original pattern.
  • the random dot pattern method records the original m-sequence code pattern in the electronic memory at the time of measurement, and sequentially compares it with the reflection pattern, so that everything from random dot pattern generation to comparison is electronic. It can be done by processing. Since this method makes it easy to change the dot density according to the distance to be detected, it is compared with a method in which a random optical dot pattern is optically spread in space by combining a fixed optical hologram pattern with an irradiation laser. Thus, it is possible to acquire depth information with high accuracy. Furthermore, if some functions such as generation of random dot patterns are replaced with hardware circuits such as shift registers, the calculation load can be easily reduced.
  • FIG. 20 is a schematic cross-sectional view showing a specific configuration example of the second detection unit 125 when a random dot pattern is used.
  • a dot pattern generated using an m-sequence code known as pseudo-random noise is output from the second infrared light emitting unit 26, scanned by the MEMS mirror 251, and an image of a random dot pattern is projected.
  • a line image sensor 127 is disposed as an infrared detection unit at a position away from the projection point of the image by a distance d. The line image sensor 127 detects reflected light from an object of an infrared beam having a random dot pattern projected by scanning the MEMS mirror 251.
  • the distance Z to the object can be obtained from the following equation based on the principle of triangulation.
  • the line image sensor 127 integrates the random dot pattern reflected from the object for each line scan of the MEMS mirror 251 and acquires it as one-dimensional image information.
  • the control unit 50 in FIG. 2 compares the acquired pattern with the original pattern, performs cross-correlation value coincidence detection, measures the horizontal displacement, and acquires distance data from the triangulation conversion formula. . By performing this for each line scan, the distance to the object can be detected almost in real time. At this time, the random dot pattern of each line may be the same pattern.
  • the line image sensor 127 is one-dimensional (line-shaped), it can obtain only depth data on a one-dimensional line, unlike a normally used two-dimensional random dot pattern.
  • the line image sensor 127 is synchronized with one line scan of the MEMS mirror 251, the line position in the frame generated by the MEMS mirror 251 is known in the direction orthogonal to the line scan. For this reason, it is possible to reconstruct the acquired data as two-dimensional data.
  • the singular object is determined together with the image data captured by the first detection unit, even if only the one-dimensional line depth data can be obtained by the line image sensor 127, there is a problem in practical use. Must not.
  • the second detection unit 125 can follow the movement of the object and obtain the distance to the object in units of line scans. It becomes possible to measure.
  • PSD Position Sensitive Device
  • control unit 50 In the case of a line image sensor, the control unit 50 needs to construct the entire image from the amount of light received for each cell inside the sensor, but in the PSD method, information on the barycentric position of the light amount is output from the position detection element itself. By monitoring this information, changes in the horizontal position can be determined, and the distance to the object can be measured. Therefore, there is an advantage that the configuration of the control unit 50 can be further simplified.
  • the present invention relates to information on a virtual remote controller that remotely operates various operated devices such as an air conditioner, a network access device, a personal computer, a television, a radio, a recording / reproducing device for various recording media such as a CD, a DVD, or a VTR. It can be used as an input device.
  • various operated devices such as an air conditioner, a network access device, a personal computer, a television, a radio, a recording / reproducing device for various recording media such as a CD, a DVD, or a VTR. It can be used as an input device.

Abstract

　情報入力用画像を投影する可視レーザ光が顔や目を照射することを防ぐ情報入力装置を提供する。情報入力装置は、情報入力用画像を可視レーザ光で投影する投影部と、投影部による情報入力用画像の投影位置を変更可能なように投影部を搭載する可動支持部と、情報入力用画像を投影可能な被検知領域を撮像する第１検知部と、可動支持部に搭載され、情報入力用画像の投影位置を含む所定領域上に進入する物体及び物体までの距離を検知する第２検知部と、第１検知部によって撮像された画像データに基づいて、情報入力用画像に対する入力操作を判別して情報入力を検出する情報入力検出部と、第２検知部によって検知された情報に基づいて所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影部による投影を停止させる判別制御部とを有する。

Description

情報入力装置
　本発明は情報入力装置に関し、特に投影された入力用画像を用いた情報入力装置に関する。
　例えば、テレビ、ビデオ等を操作するための情報入力を行うために、リモコン等の情報入力装置を利用することが一般的に行われている。しかしながら、いざ利用しようとすると、リモコン等の置き場所が不明であったりして、利用したい時に利用できないといった不具合があった。
　そこで、映像投射装置から複数の入力キーを有する操作部を示す映像を投影し、その投影された映像上における指の動きを画像認識処理により検出して、どの入力キーに対する操作がなされたかを判別する情報入力装置が知られている（例えば、特許文献１参照）。特許文献１に記載された情報入力装置は、投影された映像上の指を撮像部で読み取った画像からエッジ検出によって判別した上で、指の上から下への動き、すなわち映像が投影されている面に対する指の接触を検出している。これによって、情報入力機器自体を操作することなく、種々の入力操作を行うことができる。
　また、ユーザがプロジェクタを身に着け、そのプロジェクタが投影するダイアルパッド等の入力操作用映像（パターン）を壁、テーブル、又は手のひら等で受け、投影された入力操作用映像をユーザの指先に装着された器具で指し示すと、指し示された部分の映像に対応する入力がなされるような、体に装着可能な情報入力装置であるジェスチャインタフェイスも知られている（例えば、特許文献２参照）。
　特許文献２に記載のジェスチャインタフェイスでは、カメラが撮像した画像をコンピュータが画像解析して、ユーザの指先に装着された器具の動きを追跡し、ダイアルパッド等の入力操作用映像に対応した入力があるか否かが判断される。また、プロジェクタからの画像は、ミラーで反射されてから投影されるため、ミラーの位置をユーザがマニュアルで変更することによって、入力操作用映像の投影場所を任意に変更することができる。
特開平１１－９５８９５号公報（図１） 米国公開２０１０／０１９９２３２号公報（図１、図２、図１２）
　このような情報入力装置は、バーチャルリモコンとも称され、任意の場所で入力操作用映像（パターン）を何かに投影して、誰でも容易に入力操作を行うことができる。しかしながら、入力操作用映像を投影するプロジェクタの光源には、一般に可視レーザ光源が使用されている。その可視レーザ光が例えばユーザの目を照射すると目を傷める恐れがある。
　そこで、本発明は、情報入力用画像を投影する可視レーザ光がユーザの目のような保護対象部位を照射することを極力防ぐ情報入力装置を提供することを目的とする。
　情報入力装置は、情報入力用画像を可視レーザ光で投影する投影部と、投影部による情報入力用画像の投影位置を変更可能なように投影部を搭載する可動支持部と、情報入力用画像を投影可能な被検知領域を撮像する第１検知部と、可動支持部に搭載され、情報入力用画像の投影位置を含む所定領域上に進入する物体及びその物体までの距離を検知する第２検知部と、第１検知部によって撮像された画像データに基づいて、情報入力用画像に対する入力操作画像を判別して情報入力を検出する情報入力検出部と、第２検知部によって検知された情報に基づいて所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影部による投影を停止させる判別制御部とを有することを特徴とする。
　上記の情報入力装置では、情報入力検出部は、第１検知部によって撮像された画像データと第２検知部によって検知された情報とに基づいて、情報入力用画像に対する入力操作画像を判別して情報入力を検出することが好ましい。
　上記の情報入力装置では、判別制御部は、第１検知部によって撮像された画像データと第２検知部によって検知された情報とに基づいて、所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影部による投影を停止させることが好ましい。
　上記の情報入力装置では、判別制御部は、人の目、鼻、耳、口、顔の輪郭又は顔を特異物体として判別することが好ましい。
　上記の情報入力装置では、第２検知部は、赤外線発光部と、赤外線検知部と、赤外線発光部が出射する赤外線ビームによって所定領域を２次元に走査させる走査部とを有することが好ましい。
　上記の情報入力装置では、第２検知部は、ランダム・ドット・パターンを用いて、所定領域上に進入する物体までの距離を検知することが好ましい。
　上記の情報入力装置では、第２検知部は、位置検出素子を用いて、所定領域上に進入する物体までの距離を検知することが好ましい。
　上記の情報入力装置では、第１検知部は、赤外線発光部と赤外線カメラとを有することが好ましい。
　その場合、上記の情報入力装置では、第１検知部と第２検知部は、直線偏光方向が互いに直交する赤外線を使用することが好ましい。これにより、両検知部間の混信を防ぐことができる。
　あるいは、上記の情報入力装置では、第１検知部と第２検知部は、互いに異なる波長の赤外線を使用することが好ましい。これによっても、両検知部間の混信を防ぐことができる。
　あるいは、上記の情報入力装置では、第１検知部の赤外線発光部と第２検知部の赤外線発光部は、発光タイミングが異なることが好ましい。これによっても、両検知部間の混信を防ぐことができる。
　上記の情報入力装置では、第１検知部は、カラー画像を撮像するカメラと深度情報を取得する赤外線カメラとを複合したカメラモジュールを有することが好ましい。
　上記の情報入力装置では、第１検知部によって撮像された画像データに基づいて、情報入力用画像を投影するための対象物を判別し、その対象物の位置を追尾して投影部に情報入力用画像を投影させるように可動支持部を制御する投影位置制御部をさらに有することが好ましい。
　上記の情報入力装置によれば、第２検知部が投影部と共に可動支持部に搭載されているので、投影部による情報入力用画像の投影位置を含む被検知領域を常に監視して、その領域上に進入する物体及びその物体までの距離を検知することができる。そして、その第２検知部によって検知された情報に基づいて判別制御部が顔や目のような特異物体の進入の有無を判別し、特異物体が進入したと判断したときには投影部による投影を停止させるので、人の目等の保護対象部位を可視レーザ光が長時間照射する恐れを大幅に減らすことができる。
情報入力装置１の全体構成を示す外観斜視図である。 情報入力装置１の制御系の構成例を示すブロック図である。 第２検知部２５の具体的な構成例を示す概略断面図である。 ＭＥＭＳミラー２５１の一例を示す平面図である。 制御部５０による初期設定のための処理の一例を示すフローチャートである。 制御部５０に接続された図示しないディスプレイ上に表示される第１検知部２０の赤外線カメラ２２による撮像データに基づく映像の一例を示す図である。 被投影面４１上の深度データを説明するための図である。 投影装置３０が投影する情報入力用画像の例を示す図である。 投影装置３０が投影する情報入力用画像の他の例を示す図である。 制御部５０による情報入力のための処理の一例を示すフローチャートである。 制御部５０がグルーピングした進入物体の一例を示す図である。 制御部５０による特異物体の進入検知のための処理の一例を示すフローチャートである。 情報入力装置１によってユーザの手のひらに情報入力用画像７０を投影して情報入力を行う場合の投影領域付近の概念図である。 制御部５０による手のひら検知のための処理の一例を示すフローチャートである。 ユーザの左手首より先の部分の輪郭が識別された場合の例を示す説明図である。 検出された手のひら領域２００に情報入力用画像７０が投影された状態を示す図である。 制御部５０による手のひらでの情報入力のための処理の一例を示すフローチャートである。 制御部５０がグルーピングしたユーザの左手１８０の輪郭領域と、手のひら領域２００への進入物体の一例を示す図である。 投影装置３０の他の例を示す概略構成図である。 ランダム・ドット・パターンを用いる場合の第２検知部１２５の具体的な構成例を示す概略断面図である。
　以下、図面を参照して、情報入力装置について説明する。ただし、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。なお図面の説明において、同一又は相当要素には同一の符号を付し、重複する説明は省略する。また、説明のため、部材の縮尺は適宜変更している。
　図１は、情報入力装置１の全体構成を示す外観斜視図である。図２は、情報入力装置１の制御系の構成例を示すブロック図である。図３は、第２検知部２５の具体的な構成例を示す概略断面図である。図４は、ＭＥＭＳミラー２５１の一例を示す平面図である。
　情報入力装置１は、図１及び図２に示すように、雲台１０、第１検知部２０、第２検知部２５、投影装置３０（図１にはその投影部３０ａのみを示している）、及び制御部５０等を有する。
　雲台１０は、図１に破線で示す架台２に固定される基部１１、図２に示す第１モータ１５によってθ方向に回転される第１回転部１２、及び第２モータ１６によってφ方向に回転される第２回転部１３等を有する。
　第１検知部２０は、雲台１０の基部１１に固定されており、第１の赤外線発光部２１と赤外線カメラ２２等を含んでいる。第２検知部２５は、雲台１０の第２回転部１３に投影装置３０の投影部３０ａと共に搭載されており、第２の赤外線発光部２６と赤外線検知部２７等を含んでいる。
　投影装置３０は、ＲＧＢ各色の可視レーザ光源を用いた超小型プロジェクタから構成され、その投影部（プロジェクションヘッド）３０ａが雲台１０の第２回転部１３に取り付けられている。そして、制御部５０から受信する画像データに応じて、被投影面であるテーブル４０上の所望の位置に情報入力用画像７０を投影する。
　投影装置３０は、例えば、可視レーザ光源と、ファイバピグテイルモジュールと、ＲＧＢファイバコンバイナと、可視シングルモードファイバと、プロジェクションヘッドである投影部３０ａ等を有する。可視レーザ光源は、半導体レーザ（レーザダイオード）から構成されるＲＧＢ各色の光源である。ファイバピグテイルモジュールは、その各レーザ光源が発光するＲＧＢの各レーザ光をそれぞれＲＧＢレーザ光用ファイバへ導入する。ＲＧＢファイバコンバイナは、ＲＧＢレーザ光用ファイバからの光を合成する。可視シングルモードファイバは、その合成された光を投影部３０ａへ導く。投影部３０ａは、それによって導かれた可視レーザ光によって情報入力用画像を投影する。
　なお、可視シングルモードファイバと投影部３０ａ以外の部分は、制御部５０と共に雲台１０の基部１１内に収納してもよいし、架台２に別途制御ボックスを取り付けて、その中に収納してもよい。投影部３０ａは雲台１０の第２回転部１３に取り付けられており、第１回転部１２と第２回転部１３の回転によってその向きを任意に変えられるので、情報入力用画像７０の投影位置を任意に変更することができる。
　所定の情報入力用画像を投影することが可能であれば、投影装置３０は、単色の可視レーザ光源等を用いた投影装置でもよい。また、投影装置３０を超小型に構成できれば、その全体を雲台１０の第２回転部１３に取り付けてもよい。図１に示した例では、テーブル４０の上面を被投影面としているが、床、壁、ボード、あるいはユーザの手のひら等、ユーザが指先で触れることができ、所定の情報入力用画像を投影することができるものであれば、任意の部材を被投影面として利用することができる。
　第１検知部２０は、第１の赤外線発光部２１からの赤外線によって、情報入力用画像７０を投影可能な検知領域８０全体を照射し、その検知領域８０内に存在する物体から反射する反射光を赤外線カメラ２２で受光して撮像する。第１検知部２０は、その赤外線カメラ２２で撮像した画像のピクセル毎の位置座標データと深度データ（赤外線カメラ２２とその各ピクセルに対応する撮像物体との間の距離のデータ）を制御部５０に出力する。図１に示す例では、情報入力用画像７０の被投影面であるテーブル４０の上面全体を含む領域を検知領域８０としている。
　なお、第１の赤外線発光部２１は、赤外線を発光する半導体レーザ（レーザダイオード）である。赤外線のうち特に、近赤外線における１４００ｎｍ～２６００ｎｍの波長のレーザ光は、網膜まで到達せず、目に損傷を与えにくいのでアイセーフレーザと称される。したがって、この波長帯のレーザ光を使用するのが好ましい。しかしながら、この波長領域では、例えばＩｎＧａＡｓ系の赤外線カメラを用いる必要があり高価なため、実際には低コストのＳｉ系のＣＭＯＳ又はＣＣＤカメラを使うこともある。この場合の半導体レーザの発振波長は、可視域より長波長側であり、かつＳｉ系のＣＭＯＳやＣＣＤカメラで感度のある、８００ｎｍ～１１００ｎｍの範囲がよい。
　また、図２に示すように、第１の赤外線発光部２１の前面には、偏光板２３が配置される。偏光板２３は、発光した赤外線のレーザ光のうち、偏光方向が一定方向の直線偏光（例えばＰ偏光）の赤外線のみを出射する。赤外線カメラ２２にも、その前面に偏光板２４が配置される。これにより、赤外線カメラ２２は、物体からの反射光のうち偏光方向が出射光と同じ一定方向の直線偏光（例えばＰ偏光）の赤外線のみを受光して撮像する。
　第２検知部２５は、第２の赤外線発光部２６から情報入力用画像７０の投影位置を含む所定領域に赤外線を照射し、その領域上に進入した物体からの反射光を赤外線検知部２７で受光して検知する。そして第２検知部２５は、その物体の位置座標データ及びその物体までの距離を示す深度データを制御部５０に出力する。
　第２の赤外線発光部２６も、赤外線を発光する半導体レーザ（レーザダイオード）であり、第１の赤外線発光部２１と同様にアイセーフレーザを発光するものが好ましい。しかしながら、１４００ｎｍより長い波長領域では、例えばＩｎＧａＡｓ系の赤外線センサを用いる必要があり高価なため、実際には低コストのＳｉ系のフォトダイオードを使うこともある。半導体レーザの発振波長は、可視域より長波長側であり、かつＳｉ系のフォトダイオードで感度のある、８００ｎｍ～１１００ｎｍの範囲がよい。
　赤外線検知部２７は、受光素子としてフォトダイオードを備える。また、赤外線検知部２７は、フォトダイオードの検知信号や、その検知信号と赤外線レーザの出射光との強度比、赤外線レーザの照射角度等から物体の位置座標データを算出し、ＴＯＦ法によって検知物体までの距離すなわち深度データを算出する演算部も備える。ただし、その演算部の機能は、制御部５０に含めてもよい。
　ＴＯＦ（Time of Flight）法は、光源から出た光が対象物で反射してセンサに届くまでの光の飛行時間（遅れ時間）と光の速度（３×１０８ｍ／ｓ）から、対象物までの距離を算出する距離測定方法である。図２に示す例では、第２の赤外線発光部２６が赤外線レーザを出射してから、その反射光を赤外線検知部２７のフォトダイオードが検知するまでの時間を計測して、その時間に光速を乗じれば深度データを算出することができる。
　また、第２検知部２５においても、図２に示すように、第２の赤外線発光部２６の前面には、偏光板２８が配置される。偏光板２８は、発光した赤外線のレーザ光のうち、偏光方向が第１検知部２０で使用される赤外線の直線偏光方向と直交する一定方向の直線偏光（例えばＳ偏光）の赤外線のみを出射する。赤外線検知部２７にも、その前面に偏光板２９が配置される。これにより、赤外線検知部２７は、物体からの反射光のうち偏光方向が出射光と同じ一定方向の直線偏光（例えばＳ偏光）の赤外線のみを受光して検知する。
　このように、第１検知部２０と第２検知部２５は、直線偏光方向が互いに直交する赤外線を使用する。これによって、被照射物体が偏光解消が少ない特性を持つ場合、赤外線カメラ２２が受光する赤外線と赤外線検知部２７が受光する赤外線との相互混信を低減させ、ＳＮ比を向上させることができる。
　第２検知部２５は、具体的には、例えば図３に示すように構成するとよい。図３に示す第２検知部２５では、下部に透明窓２５３を設けた筐体２５２内に、レーザダイオード等による第２の赤外線発光部２６とフォトダイオード等による赤外線検知部２７とが、その赤外線の出射光軸と受光光軸とが互いに直交するように配置されている。
　そして、第２の赤外線発光部２６の赤外線の出射光軸に沿って、偏光板２８とビームスプリッタ２５０と走査部であるＭＥＭＳミラー２５１とが順次配置される。ビームスプリッタ２５０とＭＥＭＳミラー２５１は、ビームスプリッタ２５０の半反射面とＭＥＭＳミラー２５１の中立時におけるミラー面が赤外線の出射光軸に対して略５°から４５°の角度をなすように設置される。赤外線検知部２７とビームスプリッタ２５０との間には、偏光板２９が配置される。
　ＭＥＭＳミラー２５１では、図４にその一例の平面図を示すように、ミラー面２５１ａが一対の第２支持部２５１ｅによってサブフレーム２５１ｃに対して矢示ａ方向に回動可能に接続され、そのサブフレーム２５１ｃは一対の第１支持部２５１ｄによってメインフレーム２５１ｂに対して矢示ｂ方向に回動可能に接続される。第２支持部２５１ｅと第１支持部２５１ｄとの位置関係が直交方向となっているため、ミラー面２５１ａは、メインフレーム２５１ｂに対して二軸方向に回動可能に保持されている。
　ＭＥＭＳミラー２５１は１枚板で形成される。第１支持部２５１ｄと第２支持部２５１ｅは弾性を有し、外力が与えられるとその弾性の範囲内でミラー面２５１ａを固有振動数で２次元に共振させ、回動（振動）させることができる。ＭＥＭＳミラー２５１は、第２支持部２５１ｅを共振モードで駆動し、第１支持部２５１ｄを共振を用いない強制駆動とする方式でもよい。外力を与える手段としては、電磁コイルやピエゾ素子等がある。
　図４における矢示ａ方向と矢示ｂ方向の回動が、図３における矢示ａ方向と矢示ｂ方向に相当する。ミラー面２５１ａをその各方向に回動させることによって、一点鎖線で示す射出する赤外線ビームで、矢示Ｃ方向及びそれに直交する（紙面に垂直な）方向に、所定領域を２次元走査することができる。したがって、所定領域に対して微小スポットの赤外線ビームによって、高速のラスタスキャンを行うことができる。その所定領域が第２検知部２５による検知領域である。その所定領域は、投影部３０ａによる情報入力用画像７０の投影位置を常に含み、その投影領域よりやや広い。
　このように２次元に回動又は振動するＭＥＭＳミラー２５１に代えて、１次元に回動又は振動するＭＥＭＳミラー等の振動ミラーを２枚組み合わせたものを、走査部として使用してもよい。また、ビームスプリッタ２５０を偏光ビームスプリッタにすれば、偏光板２８，２９を省略することも可能である。
　制御部５０は、ＣＰＵ５１、ＲＡＭ５２、ＲＯＭ５３及びＩ／Ｏ５４等から構成されるマイクロコンピュータを備えている。ＣＰＵ５１は、各種演算及び処理を行う中央処理部である。ＲＯＭ５３は、ＣＰＵ５１が実行する動作プログラム及び固定データを格納したリードオンリメモリである。ＲＡＭ５２は、入力データやＣＰＵ５１が処理するデータを一次的に記憶するランダムアクセスメモリである。Ｉ／Ｏ５４は、雲台１０、第１検知部２０、投影装置３０及び被操作装置６０との間でデータの送受信を行うための入力・出力ポートである。制御部５０は、さらに、不揮発性ＲＡＭ（ＮＶＲＡＭ）やハードディスク装置（ＨＤＤ）等を備えてもよい。
　制御部５０は、第１検知部２０によって撮像された画像データに基づいて、あるいはさらに第２検知部２５によって検知された情報に基づいて、投影装置３０の投影部３０ａによって投影された情報入力用画像７０に対する指先等の入力操作画像を判別して情報入力を検出する情報入力検出部として機能する。制御部５０は、その検出した情報入力データを被操作装置６０へ出力する。また、制御部５０は、第２検知部２５によって検知された情報に基づいて所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには投影制御信号によって投影装置３０の投影部３０ａによる情報入力用画像７０の投影を停止させる判別制御部として機能する。
　また、制御部５０は、制御データによって雲台１０の第１モータ１５及び第２モータ１６を駆動制御し、図１における第１回転部１２と第２回転部１３を回動させて投影部３０ａの向きを変更し、情報入力用画像７０をテーブル４０上の所望の位置に投影させることができる。制御部５０が第１モータ１５を駆動制御して第１回転部１２をθ方向に回転させると、情報入力用画像７０は矢印Ａの方向に移動する。制御部５０が第２モータ１６を制御して第２回転部１３をφ方向に回転させると、情報入力用画像７０は矢印Ｂの方向に移動する。
　被操作装置６０は、情報入力データに基づいて各種の処理を実行する装置であり、例えば、エアコン、ネットワークへのアクセス装置、パーソナルコンピュータ、テレビ、ラジオ、ＣＤやＤＶＤ又はＶＴＲ等の各種記録媒体の記録再生装置等である。
　図５は、制御部５０による初期設定のための処理の一例を示すフローチャートである。図５に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０、第２検知部２５及び投影装置３０を制御して実行する。以下ではステップを「Ｓ」と略記する。
　まず、制御部５０に、Ｉ／Ｏ５４を介して不図示のディスプレイ及び操作部（キーボード及びマウス）を接続する。そして、制御部５０は、第１検知部２０の赤外線カメラ２２による撮像データに基づく映像をディスプレイ上に表示させ、ユーザが操作部を利用して被投影面の位置を指定するのを待つ（Ｓ１０）。被投影面の位置が指定されると、制御部５０は、被投影面の範囲を示す位置座標データをＲＡＭ５２等に記憶する（Ｓ１１）。Ｓ１０とＳ１１は初期化の処理のため、設置時に一度初期化を行って初期化データを記録しておけば、設置場所や条件を変更しない限り次回の起動時からは省略することが可能である。
　図６は、ディスプレイ上に表示される第１検知部２０の赤外線カメラ２２による撮像データに基づく映像の一例を示す図である。例えば、テーブル４０上のＣ１～Ｃ４の４点を指定することによって、その４点を結ぶ領域内の面を被投影面４１として指定する。なお、被投影面４１と背景との差が明確に判別される場合には、公知の画像処理技術を利用して、制御部５０が自動的に被投影面４１を指定してもよい。また、第１検知部２０が撮像する範囲全てが被投影面４１である場合には、Ｓ１０を省略してもよい。
　次に、制御部５０は、第１検知部２０から被投影面４１の深度データを取得し（Ｓ１２）、被投影面４１として指定された領域に含まれるピクセル毎の深度データをＲＡＭ５２に記憶する（Ｓ１３）。
　図７は、被投影面４１上の深度データを説明するための図である。図７に示すように、第１検知部２０の直下にある被投影面４１の点Ｄ１と第１検知部２０から離れた位置にある被投影面４１の点Ｄ２では、同じテーブル４０上でありながら、第１検知部２０及び第２検知部２５からの深度データに差が出てしまう。そこで、被投影面４１の全てのピクセルについて、位置座標データ及び深度データを予め取得して記録しておく。
　次に、制御部５０は、投影装置３０に所定の画像データを送信して図６の基準投影画像７１を投影部３０ａにより被投影面４１に投射させ、雲台１０に所定の制御データを送信して雲台１０を制御して基準投影画像７１を基準位置に移動させる（Ｓ１４）。基準投影画像７１は、図６に符号７１－１～７１－７で示すように、円形の枠内に表示された５つの黒点から構成される。なお、図６に示す基準投影画像７１は一例であって、他の画像を利用してもよい。また、図６における基準投影画像７１－１は、雲台１０の直下であって本例における基準位置に投影された基準投影画像である。なお、雲台１０と被投影面４１との位置関係及び投影画像の基準位置等は、状況に応じて適宜定めることが可能である。
　次に、制御部５０は、第１検知部２０及び第２検知部２５から位置座標データを取得する（Ｓ１５）。そして、制御部５０は、５つの黒点を利用して基準投影画像７１の位置を特定し（Ｓ１６）、雲台１０へ送信した制御データと特定された基準投影画像７１の位置座標データとの対応関係を、ＲＡＭ５２上に構成されたデータテーブルに記憶する（Ｓ１７）。
　その後、制御部５０は、被投影面４１の全ての領域を移動したか否かを判断する（Ｓ１８）。まだ移動していない領域がある場合（Ｓ１８でＮｏ）には、処理はＳ１４に戻る。こうして、制御部５０は、所定の時間間隔で基準投影画像７１を図６の７１－２から７１－７へ順次移動させながら、被投影面４１の全ての領域をカバーするように、上述したＳ１４～Ｓ１７の処理を繰り返し行う。なお、図６で示した基準投影画像７１－２～７１－７は一例であって、位置を特定するために基準投影画像７１を移動させる１回の移動量等は適宜定めることができる。
　制御部５０は、Ｓ１４～Ｓ１７の処理を所定回数繰り返すことによって、被投影面４１の全領域について、投影画像の位置座標データと制御データとの対応関係を表すデータテーブルを完成させる。そして、被投影面４１の全ての領域を移動したと制御部５０が判断する（Ｓ１８でＹｅｓ）と、データテーブルが完成したので図５の処理は終了する。
　制御部５０は、完成したデータテーブルを利用することによって、指定された被投影面４１上の任意の位置に、雲台１０を制御して投影部３０ａによる投影画像を移動させることが可能になる。逆に、制御部５０は、そのデータテーブルを利用することによって、現在投影されている投影画像の被投影面４１上の位置を特定することもできる。
　図８は、投影装置３０が投影する情報入力用画像の例を示す図である。図８に示す情報入力用画像７０には、ビデオレープレコーダ（ＶＴＲ）の再生ボタン７２、早送りボタン７３、巻き戻しボタン７４、チャンネルアップボタン７５及びチャンネルダウンボタン７６が含まれている。情報入力用画像７０におけるそれぞれ破線で囲まれた領域に後述するように指先位置がある場合、各ボタンに対応した情報入力がなされたと判断される。
　図９は情報入力用画像の他の例を示す図である。図９に示す情報入力用画像７０′は、図８に示した情報入力用画像７０の各ボタンに加えて、情報入力用画像７０′を回転させるための回転ボタン７７を含んでいる。なお、これらの情報入力用画像は一例であって、投影装置３０は、制御部５０からの画像データに基づいて、様々な種類の情報入力用画像を投影することが可能である。
　制御部５０は、投影装置３０へ送信する画像データに基づいて、情報入力用画像に含まれる入力ボタンの種類及び情報入力用画像内の配置位置を判断することができる。さらに、制御部５０は、雲台１０へ送信した制御データ及び図５のＳ１７で作成したデータテーブルに基づいて、情報入力用画像の被投影面４１上の位置を特定することができる。したがって、制御部５０は、投影装置３０へ送信する画像データ及び雲台１０へ送信した制御データに基づいて、各入力ボタンの被投影面４１上の位置を特定することができる。
　図１０は、制御部５０による情報入力のための処理の一例を示すフローチャートである。図１０に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０、第２検知部２５及び投影装置３０を制御して実行する。
　制御部５０は、最初に、投影装置３０へ送信する画像データ及び雲台１０へ送信した制御データを取得する（Ｓ２０）。次に、制御部５０は、第１検知部２０及び第２検知部２５から位置座標データ及び深度データを取得する（Ｓ２１）。なお、Ｓ２０とＳ２１の順番は逆でもよい。
　次に、制御部５０は、Ｓ２１で取得した位置座標データに基づいて、画像の輪郭領域を特定する（Ｓ２２）。その際、制御部５０は、図５のＳ１２で記録した被投影面の深度データと図１０のＳ２１で取得した深度データとの差分を取り、差分が所定闘値以内（例えば、１０ｍｍ以内）の画素を抽出することによって、進入物体の輪郭領域（例えば、後述する図１１に示すような手の輪郭領域９０）を特定する。
　次に、制御部５０は、Ｓ２１で取得した深度データに基づいて、Ｓ２２で特定した輪郭領域のうち、ほぼ同じ深度データを有する領域をグルーピングする（Ｓ２３）。
　図１１は、制御部５０がグルーピングした進入物体の一例を示す図である。図１１に示す例では、進入物体は手であり、その輪郭領域９０がＳ２２で特定される。また、輪郭領域９０は全体がほぼ同じ深度データを有する一つのグループである。
　そして、制御部５０は、Ｓ２３でグルーピングした輪郭領域に基づいて、進入物体の被投影面への進入位置及び指先位置を特定する（Ｓ２４）。
　図１１に示す例では、制御部５０は、被投影面４１の一辺４０ａから進入物体が被投影面４１へ進入したものと判断して、進入位置Ｅ１及びＥ２を特定する。進入位置Ｅ１及びＥ２は、進入物体の輪郭領域９０と被投影面４１の一辺４０ａとの接点に相当する。そして、制御部５０は、進入位置Ｅ１及びＥ２の中点から被投影面４１の一辺４０ａと垂直に直線を引いた場合に、最も被投影面の一辺４０ａから離れた位置で輪郭領域９０に重なる点Ｅ３を指先位置として特定する。進入位置Ｅ１及びＥ２に基づく上述した指先位置の特定方法は一例であって、進入位置Ｅ１及びＥ２を利用した他の方法によって指先位置を特定してもよい。
　次に、制御部５０は、進入物体が情報入力操作を行っているか否かの判断を行う（Ｓ２５）。図１に示した検知領域８０内に進入物体が存在したとしても、単に進入しただけであって情報入力操作が意図されていない場合も有り得る。そこで、例えば、制御部５０は、図１１に示した指先位置の点Ｅ３が被投影面４１上にある場合に、輪郭領域９０の指先が情報入力操作を行っていると判断する。
　制御部５０は、指先位置の点Ｅ３が被投影面４１上にあるか否かを、図５のＳ１２で予め取得した被投影面４１の深度データと、図１０のＳ２１で取得した指先位置の点Ｅ３の深度データとの差が、所定闘値以内（例えば１０ｍｍ以内）であるか否かに基づいて判断する。すなわち、制御部５０は、指先位置の点Ｅ３の深度データと、その点Ｅ３が存在する位置座標における被投影面４１の深度データとの差が所定閾値以内の場合に、指先位置は情報入力操作を意図したものであると判断する。
　なお、チャタリング等によって、指先位置の点Ｅ３の深度データが短い期間で変動する可能性がある。そこで、誤検知を防止するために、制御部５０は、所定時間（例えば１秒）以上連続して、指先位置の点Ｅ３の深度データと、その点Ｅ３が存在する位置座標における被投影面４１の深度データとの差が所定閾値以内である場合に、情報入力があったと判断してもよい。
　指先位置が情報入力操作を意図したものであると制御部５０が判断した場合（Ｓ２５でＹｅｓ）は、投影装置３０へ送信した画像データ及び雲台１０へ送信した制御データに基づいて、図８に示したような情報入力用画像７０に含まれる各入力ボタンの被投影面４１上の位置を特定する（Ｓ２６）。指先位置が情報入力操作を意図したものではないと制御部５０が判断した場合（Ｓ２５でＮｏ）は、図１０の処理は終了する。
　Ｓ２６で各入力ボタンの被投影面４１上の位置を特定したら、制御部５０は、Ｓ２４で特定した指先位置の点Ｅ３と、Ｓ２６で特定した各入力ボタンの被投影面４１上の位置とに基づいて、情報入力内容を特定する（Ｓ２７）。例えば、制御部５０は、指先位置の点Ｅ３の座標が図８の再生ボタン７２の範囲内にある場合には、情報入力内容が「再生」であると特定する。また、指先位置の点Ｅ３の位置座標データと一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定してもよいし、後述するような他の情報入力（情報入力用画像の位置移動等）があったと判断してもよい。
　次に、制御部５０は、Ｓ２７で特定した情報入力内容に対応した処理を図２の被操作装置６０に対して実行して（Ｓ２８）、一連の処理を終了する。例えば、特定された情報入力の内容が「再生」である場合には、制御部５０は、被操作装置６０に「再生」のための信号を送信する。制御部５０は、図１０に示す処理フローを、所定の時間間隔で繰り返し実行する。
　図１０に示す処理フローは、制御部５０により繰り返し実行される。したがって、被投影面４１に投影されている情報入力用画像７０の所定の入力ボタン（例えば再生ボタン７２）にユーザが指先で触れることにより、リモコン等の機器を利用することなく、バーチャルで例えば「再生」という情報入力を行うことが可能になる。
　次に、図１における投影部３０ａによるテーブル４０上への情報入力用画像７０の投影空間（投影部３０ａとテーブル４０上の情報入力用画像７０との間）への、人の顔や目等の特異物体の進入検知について説明する。
　図１２は、制御部５０による特異物体の進入検知のための処理の一例を示すフローチャートである。図１２に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第２検知部２５及び投影装置３０を制御して実行する。
　制御部５０は、先ず、投影装置３０による情報入力用画像投影中か否かを判断し（Ｓ３０）、情報入力用画像投影中であれば（Ｓ３０でＹｅｓ）第２検知部２５を起動させる（Ｓ３１）。あるいは、制御部５０は、さらに、第１検知部２０による検知情報（位置座標データ及び深度データ）に基づき、検知領域８０内において被投影面４１（テーブル４０上）から予め定めた距離以上離れた位置に物体を検知したときに、Ｓ３１で第２検知部２５を起動させてもよい。
　Ｓ３０で情報入力用画像投影中でなかった（Ｓ３０でＮｏ）か、あるいはさらに第１検知部２０による検知情報から被投影面４１から所定距離以上離れた位置に物体が検知されない場合は、情報入力用画像が投影され物体が検知されるのを待つか、図１２の処理を終了してもよい。その場合は、所定の時間間隔でＳ３０を実行するとよい。
　制御部５０は、第２検知部２５を起動させると、所定領域内の各走査点で検出される物体の位置座標データ及び深度データを取得する（Ｓ３２）。
　そして、制御部５０は、その取得した位置座標データに基づき、物体の輪郭領域を特定する（Ｓ３３）。さらに、制御部５０は、深度データに基づいて、略同じ深度データの輪郭領域をグルーピングする（Ｓ３４）。その後、制御部５０は、第１検知部２０により物体が検知されているか否かを判断する（Ｓ３５）。物体が検知されない場合（Ｓ３５でＮｏ）は処理を終了する。一方、物体が検知されている場合（Ｓ３５でＹｅｓ）には、制御部５０は、第２検知部２５によるグルーピングされた輪郭領域のデータに基づいて、特異物体の進入検知か否かを判断する（Ｓ３６）。例えば、予め設定された範囲内の深度を有する輪郭パターンが、予めＲＯＭ５３等に記憶されている特異物体のパターンと近似又は類似するか等の判断によって、制御部５０は、特異物体の進入検知か否かを判断する。
　そのため、例えば人の目、鼻、耳、口、顔の輪郭又は顔等の保護対象部位の特徴的な形状を示すパターンデータを、特異物体の検出対象データとしてＲＯＭ５３等に記憶させておく。
　その結果、特異物体の進入検知ではないと判断された場合（Ｓ３６でＮｏ）は、図１２の処理は終了する。一方、特異物体の進入検知であると判断された場合（Ｓ３６でＹｅｓ）には、制御部５０は、図２に示した投影装置３０への投影制御信号を投影停止信号にして、情報入力用画像の投影を停止させる（Ｓ３７）。このとき警告音も発生させて注意を喚起するとよい。その後、図１２の処理は終了する。
　このように、特異物体の進入が検知された場合には図１に示した投影部３０ａからのＲＧＢの可視レーザ光の照射を停止して、可視レーザ光が人の顔や目を照射するのを防ぐことができる。
　このように、情報入力用画像投影中に、あるいは、さらに第１検知部２０による検知情報に基づき検知領域８０内に特異物体の可能性がある物体を検知したときに、制御部５０は、投影部３０ａによる情報入力用画像の投影領域を含む所定領域を常に高速スキャン可能な第２検知部２５を起動する。そして、その検知情報に基づき、顔や目のような特異物体が進入した場合に第２検知部２５がＴＯＦ法によりそれを迅速かつ精度よく検出することで、投影装置３０による情報入力用画像７０の投影を停止させることができる。したがって、安全性を大幅に向上させることができる。
　赤外線カメラ２２のリフレッシュレートは１秒間に３０フレーム程度であるため、第１検知部２０による検知情報だけでは、人の顔等の速い移動に追従できない。このため、第２検知部２５の高速性を生かして、画像照射エリアに顔や目が進入するのを迅速に検知して、可視レーザ光の照射を停止させる。しかも、第２検知部２５は、投影装置３０の投影部３０ａと共に雲台１０の可動支持部である第２回転部１３に一体的に搭載されているので、投影部３０ａによる情報入力用画像７０の投影位置が移動しても、情報入力用画像７０の投影領域を含む所定領域を常に高速スキャンすることができる。
　図１３は、情報入力装置１によってユーザの手のひらに情報入力用画像７０を投影して情報入力を行う場合の投影領域付近の概念図である。この場合、図１の雲台１０に代えて小型のパンティルト架台を使用することもできる。なお、その場合でも上述した第１検知部２０は必要であるが、図１３では、第１検知部２０の図示は省略している。
　図２に示したレーザプロジェクタ等の投影装置３０は、制御部５０から受信した画像データに応じてＲＧＢ各色の可視レーザ光を発光し、その可視レーザ光を図１に示した超小型の投影部３０ａへ光ファイバで導く。そして、図１３に示す例では、投影部３０ａから情報入力用画像７０を被投影面である左手１８０の手のひらの上に投影する。
　このように、投影装置３０は、可視レーザ光によって情報入力用画像７０を投影するため、被投影面と投影部３０ａとの間の距離に拘わらず、常に良好な情報入力用画像７０を被投影面上に形成することができるという特性（フォーカスフリー特性）を有している。なお、所定の情報入力用画像を投影することが可能であれば、ＲＧＢ各色発光レーザを用いたプロジェクタ以外の投影装置を使用することもできる。
　図１３の例では、ユーザの左手１８０の手のひらを被投影面としているが、ある程度平面であって認識可能であれば、ユーザの身体の他の部分を被投影面とすることもできる。
　図２に示した制御部５０は、投影装置３０がユーザの左手１８０の手のひら上に投影した情報入力用画像７０がユーザの右手１９０の指先でタッチされたことを判断して、入力された情報入力データを被操作装置６０へ出力する等の処理を実行する。
　制御部５０は、第１検知部２０の赤外線カメラ２２によって撮像された情報に基づいて、情報入力用画像７０を投影するための対象物であるユーザの左手１８０の手のひらを判別する。すると、制御部５０は、制御データに基づいて第１モータ１５及び第２モータ１６を制御してその対象物を追尾し、投影部３０ａによって情報入力用画像７０をユーザの左手１８０の手のひら上に投影させる。
　なお、制御部５０が雲台１０の第１モータ１５を制御して図１に示した第１回転部１２をθ方向に回転させると、図１３に示す情報入力用画像７０は矢印Ａの方向に移動する。制御部５０が雲台１０の第２モータ１６を制御して第２回転部１３をφ方向に回転させると、情報入力用画像７０は矢印Ｂの方向に移動する。制御部５０は、後述する方式で手のひら領域を認識した場合、その位置データ（ｘ、ｙ）と深度データ（ｒ）から空間座標（ｘ、ｙ、ｚ）を割り出し、データテーブルを利用して、手のひら位置に情報入力用画像７０を投影させる。
　すなわち、制御部５０は、対象物であるユーザの左手１８０の手のひらの位置を追尾して情報入力用画像７０の投影位置を変化させる投影位置制御部として機能する。また、制御部５０は、第１検知部２０又は第２検知部２５による検知情報に基づいて情報入力用画像７０への情報入力を検出する情報入力検出部として機能する。
　図１４は、制御部５０による手のひら検知のための処理の一例を示すフローチャートである。図１４に示す処理フローは、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０及び投影装置３０を制御して実行する。
　制御部５０は、先ず、第１検知部２０から位置座標データ及び深度データを取得する（Ｓ４０）。次に、制御部５０は、Ｓ４０で取得した位置データに基づいて、物体の輪郭が存在する領域を特定する（Ｓ４１）。そして、制御部５０は、Ｓ４０で取得した深度データに基づいて、輪郭が存在する領域のうち、ほぼ同じ深度データを有する領域をグルーピングする（Ｓ４２）。
　次に、制御部５０は、Ｓ４２でグルーピングした物体の輪郭領域が、対象部位である手首より先の部分であるか否かを、予めＲＯＭ５３等に記憶されているパターンと比較することによって判断する（Ｓ４３）。例えばユーザが座っている場合には、進入物体の輪郭領域のグループが複数識別される可能性があるが（足、顔、肩等）、パターン認識を行うことによって、対象部位である手首より先の部分だけを識別することが可能になる。
　図１５は、ユーザの左手首より先の部分の輪郭が識別された場合の例を示す説明図である。右手首より先の部分の輪郭を識別する場合も同様である。
　進入物体が対象部位であるユーザの左手１８０であるとＳ４３で判断した場合は、制御部５０は、図１５に破線の円で示す左手１８０の手のひら領域２００を検出し、手のひら領域２００の深度データを取得して（Ｓ４４）、図２に示したＲＡＭ５２等に記憶する。
　手のひら領域２００の検出は、識別された左手１８０の輪郭（外形）から、例えば次のように行われる。図１５において、指の先端位置Ｎ１と手首位置Ｎ２及びＮ３の中点Ｎ５とを結ぶ直線Ｎ４を引き、直線Ｎ４上で指の先端位置Ｎ１と中点Ｎ５との間の距離の１／４だけ中点Ｎ５から離れた中心点Ｎ６を中心とし、中心点Ｎ６と中点Ｎ５との間の距離を半径とする円形領域を手のひら領域２００とする。なお、手のひら領域２００を決定する方式は、これに限定されず、他の方式を採用してもよい。
　次に、制御部５０は、手のひら領域２００の中心点Ｎ６の位置データ（ｘ、ｙ）と深度データ（ｒ）から、中心点Ｎ６の空間座標（ｘ、ｙ、ｚ）を割り出す。そして、制御部５０は、図５のＳ１７で作成したデータテーブルを利用して雲台１０を制御し、手のひら領域２００内の位置に情報入力用画像７０を投影させる（Ｓ４５）。これで制御部５０は一連の動作を終了する。なお、制御部５０は、図１４に示す処理フローを、対象部位（左手首より先の部分）を認識するまで、所定の時間（例えば１秒）間隔で実行する。
　図１６は、検出された手のひら領域２００に情報入力用画像７０が投影された状態を示す図である。なお、投影画像の大きさは投影部３０ａと手のひら領域２００との距離によって決まるので、常に同じ大きさの画像を投影した場合には、手のひら領域２００内に情報入力用画像７０が収まらないことが有り得る。
　そこで、制御部５０は、図１５に示した中心点Ｎ６の深度データに基づいて投影画像の拡大／縮小を行い、丁度手のひら領域２００内に情報入力用画像７０が収まるように制御する。また、制御部５０は、ユーザの手のひらを検出すると、それを追尾するように、雲台１０を制御して投影部３０ａの向きを変化させて、手のひらの移動に合わせて情報入力用画像７０の投影位置を移動させる。
　図１７は、制御部５０による手のひらでの情報入力のための処理の一例を示すフローチャートである。図１７に示す処理フローも、制御部５０のＲＯＭ５３に予め記憶されたプログラムに従って、制御部５０のＣＰＵ５１が雲台１０、第１検知部２０、第２検知部２５及び投影装置３０を制御して実行する。
　制御部５０は、先ず、対象部位（左手首より先の部分）を認識した否かを判断し（Ｓ５０）、対象部位を認識した場合にのみ、以下のステップに進む。
　Ｓ５０で対象部位を認識すると、制御部５０は、投影装置３０へ送信した画像データ及び雲台１０へ送信した制御データを取得する（Ｓ５１）。次に、制御部５０は、主に第２検知部２５から位置座標データ及び深度データを取得する（Ｓ５２）。なお、Ｓ５１とＳ５２の順番は逆でもよい。
　次に、制御部５０は、Ｓ５２で取得した位置座標データに基づいて検出物体の輪郭データを特定する（Ｓ５３）。そして、制御部５０は、Ｓ５２で取得した深度データに基づいて、深度データが略同じ輪郭領域をグルーピングする（Ｓ５４）。さらに、制御部５０は、そのグルーピングした輪郭領域に基づいて、手のひら領域２００への進入物体の進入位置及び指先位置を特定する（Ｓ５５）。なお、Ｓ５４でグルーピングされた進入物体が複数存在する可能性もあるが、制御部５０は、手のひら領域２００の範囲内の位置座標（ｘ、ｙ）を有するもののみを進入物体として認識する。
　図１８は、制御部５０が図１７のＳ５４でグルーピングしたユーザの左手１８０の輪郭領域と、手のひら領域２００への進入物体（この例ではユーザの右手１９０）の一例を示す図である。制御部５０は、手のひら領域２００への進入物体である右手１９０の進入位置０１及び０２をＳ５５で特定する。次に、制御部５０は、進入位置０１及び０２の中点０３を特定し、中点０３から伸ばした垂線０４上において、中点０３から最も離れた位置で右手１９０に含まれる輪郭と重なる点０５を指先位置として特定する。
　なお、進入位置０１及び０２の中点０３から最も離れた位置に存在する右手１９０に含まれる輪郭領域を指先位置と特定してもよい。右手１９０の進入位置に基づく上述した指先位置の特定方法は一例であって、他の方法によって指先位置を特定してもよい。
　次に、制御部５０は、進入物体である右手１９０が情報入力操作を行っているか否かの判断を行う（Ｓ５６）。手のひら領域２００内に右手１９０が存在したとしても、単に進入しただけであって情報入力操作が意図されていない場合も有り得る。そこで、例えば、制御部５０は、指先位置の点０５が手のひら領域２００上にある場合に、右手１９０の指先が情報入力操作を行っていると判断する。
　制御部５０は、指先位置の点０５が手のひら領域２００上にあるか否かを、手のひら領域２００の深度データと指先位置の点０５の深度データとの差が所定閾値以内（例えば１０ｍｍ以内）であるか否かに基づいて判断する。
　なお、チャタリング等によって、指先位置の点０５の深度データが短い期間で変動する可能性がある。そこで、誤検知を防止するために、制御部５０は、所定時間（例えば１秒）以上連続して、指先位置の点０５の深度データと手のひら領域２００の深度データとの差が所定閾値以内である場合に、情報入力があったと判断してもよい。
　指先位置が情報入力操作を意図したものであると制御部５０が判断した場合（Ｓ５６でＹｅｓ）は、投影装置３０へ送信した画像データ及び雲台１０へ送信した制御データに基づいて、図１８に示すように手のひら領域２００に投影された情報入力用画像７０に含まれる各入力ボタンの手のひら領域２００中の位置を特定する（Ｓ５７）。
　次に、制御部５０は、Ｓ５５で特定した指先位置の点０５と、Ｓ５７で特定した各入力ボタンの手のひら領域２００内での位置とに基づいて、情報入力内容を特定する（Ｓ５８）。例えば、制御部５０は、指先位置の点０５の座標が図１８に示すように再生ボタン７２の範囲内にある場合には、情報入力内容が「再生」であると特定する。また、指先位置の点０５と一致する入力ボタンが存在しない場合には、情報入力内容が存在しないと特定してもよい。
　その後、制御部５０は、Ｓ５８で特定した情報入力内容に対応した処理を被操作装置６０に対して実行して（Ｓ５９）、一連の処理を終了する。例えば、特定された情報入力の内容が「再生」である場合には、制御部５０は、被操作装置６０に「再生」のための信号を送信する。
　一方、指先位置が情報入力操作を意図したものではないと制御部５０が判断した場合（Ｓ５６でＮｏ）は、そのまま図１７の処理を終了する。
　図１７に示した処理フローは、図１４に示した処理フローに従って対象部位が認識された場合に実行される。したがって、手のひら領域２００に投影されている情報入力用画像７０の所定の入力ボタン（例えば再生ボタン７２）にユーザが指先で触れることにより、リモコン等の機器を利用することなく、バーチャルで例えば「再生」という情報入力を行うことができる。
　図１７に示した処理フローでは、制御部５０は、対象部位としてユーザの左手１８０を認識したか否かを判断し、対象部位から手のひら領域２００を検出して、手のひら領域２００に情報入力用画像７０を投影するように制御する。ここで、制御部５０は、一旦検出した対象部位が移動した場合（例えば、ユーザが移動したり左手１８０を動かしたりした場合）でも対象部位を追尾して手のひら領域２００に常に情報入力用画像７０を投影させる追尾機能を有することが好ましい。
　また、図１７のＳ５０においては、対象部位が認識された場合にその後のステップに進むようにした。しかしながら、所定の認証を行い、登録されたユーザの対象部位であることが認証された場合にのみ、その後のステップへ進んでもよい。認証の方法としては、手のひら領域を検出するために進入物体として認識された左手１８０に含まれる指の指紋認証、手のひらの皺、血管の配置等によるものが考えられる。
　ところで、このようにユーザの手のひら等の体の一部を被投影面として利用して、そこに情報入力用画像７０を投影して情報入力を行う場合には、図１３に破線で示す投影領域にユーザの顔１００や目１０１等が進入し易くなる。そのため、この場合も、図１２によって説明したように、情報入力用画像投影中に、制御部５０が、第２検知部２５による検知情報に基づいて特異物体の進入を迅速に検知する。そして、制御部５０は、顔１００又は目１０１等の特異物体を検知したときには、警告音を発生させ、投影装置３０に投影停止信号を送信して可視レーザ光による情報入力用画像７０の投影を停止させる。これによって、目に対する安全性を大幅に向上させることができる。
　情報入力装置１では、図２に示した第１検知部２０と第２検知部２５における赤外線の混信を防ぐために、偏光多重方式を採用し、第１検知部２０と第２検知部２５は、直線偏光方向が互いに直交する赤外線を使用する。しかしながら、偏光多重方式では、偏光解消物体に赤外線を照射したときに混信が発生しＳＮ比が低下する。このため、偏光多重方式に代えて、第１検知部２０と第２検知部２５は、互いに異なる波長の赤外線を使用し、それぞれフィルタを介して赤外線カメラ２２及び赤外線検知部２７で各赤外線を受光して、波長多重方式で混信を防ぐこともできる。
　あるいは、第１検知部２０の第１の赤外線発光部２１と第２検知部２５の第２の赤外線発光部２６は、異なる発光タイミングで、すなわち時間差を持たせて各赤外線を照射して、時間多重方式で混信を防ぐこともできる。さらに、これらの各方式を適宜組み合わせて混信を防止してもよい。
　また、図２に示した赤外線カメラ２２を、可視光に感度を持つモノクロ画像を撮像するモノクロカメラ、又はカラー画像を撮像するカラーカメラと併用してもよい。例えば、第１検知部２０は、カラー画像を撮像するカメラと深度情報を取得する赤外線カメラとを複合したカメラモジュールを有してもよい。これにより、可視光カメラを使って投射画像をリアルタイムに確認することが可能となる。
　例えば、カラー画像を撮像するカラーカメラを使用した場合には、ＲＧＢ等のカラーデータも検知することができる。このため、検知対象の手の指や腕に指輪や腕時計等が装着されていても、それらをカラーデータによって識別でき、手の肌色の画像領域のみを正確に認識することができる。
　さらに、図２に示した第２検知部２５の第２の赤外線発光部２６を投影装置３０と共用することも可能である。この場合、例えば、投影部３０ａから被投影面に、可視レーザ光による情報入力用画像の投影光と共に赤外線ビームも照射し、赤外線バンドパスフィルタを通してフォトダイオード等の赤外線検知部が物体からの反射光を受光する。
　図１９は、投影装置３０の他の例を示す概略構成図である。第２の赤外線発光部２６を投影装置３０と共用する場合、例えば図１９に示すように、投影装置３０は、走査方式の投影部３１、シングルモードファイバ３２、広帯域のファイバコンバイナ３３、及びファイバピクテイルモジュール３４等によって構成される。この構成において、可視光のＲ、Ｇ、Ｂ各色用のレーザ光源と赤外線（ＩＲ）用のレーザ光源が発光する各レーザ光は、ファイバピクテイルモジュール３４によってそれぞれ各光ファイバに導入される。そして、広帯域のファイバコンバイナ３３は、各光ファイバによって導かれたＲ、Ｇ、Ｂ、ＩＲの各レーザ光を合波する。シングルモードファイバ３２は、その合波光を走査方式の投影部３１へ導く。
　投影部３１では、シングルモードファイバ３２から出射されるレーザ光が、照射光学系３１ａによってＭＥＭＳミラー３１ｂに向けて照射され、ＭＥＭＳミラー３１ｂによる反射光が、投射光学系３１ｃを通して上述した被投影面に投射される。そのＭＥＭＳミラー３１ｂを直交する２軸に関して振動させることによって、投射するレーザ光を高速で２次元走査することができる。これにより、第２の赤外線発光部２６を投影装置３０と共用することが可能になる。さらに、図１９における照射光学系３１ａとＭＥＭＳミラー３１ｂの間にビームスプリッタを配置して、赤外線が照射された物体からの反射光を分離し、赤外線バンドパスフィルタを通してフォトダイオード等の赤外線検知部で受光して検知することもできる。
　第２検知部による検知物体までの距離の測定方法には、上記のＴＯＦ法以外にランダム・ドット・パターンを用いる方法がある。ＴＯＦ法では、リアルタイムで高分解能を得るために常時高速で演算しなければならず、ＣＰＵ５１に演算能力の高いものを用いる必要がある。ランダム・ドット・パターンの方法は、三角測量の原理を用い、ｍ系列符号等の自己相関特性を利用して、パターンの水平方向のズレ量から距離を算出する方法であり、得られたイメージ画像のビットシフトによる重なりの明暗を自己相関値として検出する。この方法では、元のパターンとの相互相関処理を繰り返して行うことで、相関値の最も高い位置をズレ量として検出することができる。
　また、ランダム・ドット・パターンの方法は、計測時に電子メモリに元のｍ系列符号のパターンを記録し、反射パターンと逐次比較することにより、ランダム・ドット・パターンの発生から比較までをすべて電子的処理で行うことが可能である。この方法は、検出したい距離に応じてドットの密度を変えることが容易なため、固定の光学的ホログラムパターンを照射用レーザと組み合わせて光学的にランダム・ドット・パターンを空間に展開する方法と比較して、高精度な深さ情報の取得が可能となる。さらに、ランダム・ドット・パターンの発生といった一部機能をシフトレジスタ等のハードウェア回路に置き換えれば、容易に演算負荷を減らすことができる。
　図２０は、ランダム・ドット・パターンを用いる場合の第２検知部１２５の具体的な構成例を示す概略断面図である。疑似ランダムノイズとして知られるｍ系列符号を使って生成されたドットパターンが第２の赤外線発光部２６から出力され、ＭＥＭＳミラー２５１により走査されて、ランダム・ドット・パターンの画像が投射される。画像の投射点から距離ｄだけ離れた位置に、赤外線検知部としてラインイメージセンサ１２７が配置さる。ラインイメージセンサ１２７は、ＭＥＭＳミラー２５１の走査により投射されたランダム・ドット・パターンの赤外線ビームの、物体からの反射光を検知する。
　ラインイメージセンサ１２７から元パターンとなる基準面までの距離をＬ、水平方向のＭＥＭＳミラー２５１の走査で発生させたある特定パターンの位置ズレ量を距離Ｌの基準面上でのズレに換算した値をＷとすると、三角測量の原理により物体までの距離Ｚは以下の式から得られる。
　Ｚ＝（ｄ・Ｌ）／（ｄ＋Ｗ）　…（１）
　ラインイメージセンサ１２７は、ＭＥＭＳミラー２５１の１ラインスキャン毎に、物体から反射されたランダム・ドット・パターンを積分し、１次元画像情報として取得する。図２の制御部５０は、取得されたパターンを元のパターンと比較し、相互相関値の一致検出を行って水平方向の位置ズレ量を計測し、三角測量の換算式から距離データを取得する。これをラインスキャン毎に行うことで、ほぼリアルタイムで物体までの距離を検出することができる。このとき、各ラインのランダム・ドット・パターンは同一パターンでも構わない。
　ラインイメージセンサ１２７は、１次元（ライン状）であるため、通常用いられる２次元のランダム・ドット・パターンの場合と異なり、１次元のライン上の深さデータしか得ることができない。しかしながら、ラインイメージセンサ１２７はＭＥＭＳミラー２５１の１ラインスキャンと同期しているため、ラインスキャンと直交する方向では、ＭＥＭＳミラー２５１の発生するフレーム内のライン位置がわかる。このため、取得されたデータを２次元データとして再構築することが可能である。また、第１検知部によって撮像された画像データと合わせて特異物体の判断が行われるため、ラインイメージセンサ１２７により１次元のライン上の深さデータしか得られなくても、実用上は問題とはならない。
　このように、第２検知部１２５は、物体の動きに追従し、ラインスキャン単位で物体までの距離を得ることができるから、簡便な構成にもかかわらず、動いている物体でも高速に距離を計測することが可能となる。
　他にも、検知物体までの距離を計測する方法として、ＰＳＤ方式がある。これは、赤外線検知部として、上記のラインイメージセンサ１２７に代えて位置検出素子（ＰＳＤ：Position Sensitive Device）を用いて、物体からの赤外線反射光の光量重心位置を検知するものである。ＰＳＤ方式は、ランダム・ドット・パターンを用いた方法と同様に、三角測量の原理により、物体までの距離の変化を水平方向の位置ズレ量から計測するものであり、水平方向の位置の変化に伴う物体からの反射角度の変化を光量の重心位置の変化として検知する。ラインイメージセンサの場合、制御部５０がセンサ内部のセル毎の受光量からイメージ全体を構築する必要があるが、ＰＳＤ方式では、位置検出素子自体から光量の重心位置の情報が出力されるため、この情報をモニタするだけで水平方向の位置の変化が判り、物体までの距離を計測できる。そのため、制御部５０の構成をさらに簡略化できるメリットがある。
　以上、本発明による情報入力装置の実施形態とその種々の変更例について説明したが、これに限るものではなく、特許請求の範囲に記載した事項の範囲内で、さらに種々の変更や追加、あるいは省略、組合せ等が可能であることは言うまでもない。
　本発明は、例えばエアコン、ネットワークへのアクセス装置、パーソナルコンピュータ、テレビ、ラジオ、ＣＤやＤＶＤ又はＶＴＲ等の各種記録媒体の記録再生装置等の各種の被操作装置を遠隔操作する、バーチャルリモコンの情報入力装置として利用できる。
　１　　情報入力装置
　１２　　第１回転部
　１３　　第２回転部
　２０　　第１検知部
　２１　　第１の赤外線発光部
　２２　　赤外線カメラ
　２５　　第２検知部
　２６　　第２の赤外線発光部
　２７　　赤外線検知部
　３０　　投影装置
　３０ａ　　投影部
　５０　　制御部
　７０　　情報入力用画像
　２５１　　ＭＥＭＳミラー

Claims (13)

  1. 　情報入力用画像を可視レーザ光で投影する投影部と、
    　前記投影部による前記情報入力用画像の投影位置を変更可能なように前記投影部を搭載する可動支持部と、
    　前記情報入力用画像を投影可能な被検知領域を撮像する第１検知部と、
    　前記可動支持部に搭載され、前記情報入力用画像の投影位置を含む所定領域上に進入する物体及び物体までの距離を検知する第２検知部と、
    　前記第１検知部によって撮像された画像データに基づいて、前記情報入力用画像に対する入力操作画像を判別して情報入力を検出する情報入力検出部と、
    　前記第２検知部によって検知された情報に基づいて前記所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには前記投影部による投影を停止させる判別制御部と、
    　を有することを特徴とする情報入力装置。
  2. 　前記情報入力検出部は、前記第１検知部によって撮像された画像データと前記第２検知部によって検知された情報とに基づいて、前記情報入力用画像に対する入力操作画像を判別して情報入力を検出する、請求項１に記載の情報入力装置。
  3. 　前記判別制御部は、前記第１検知部によって撮像された画像データと前記第２検知部によって検知された情報とに基づいて、前記所定領域上への特異物体の進入の有無を判別し、特異物体の進入有りと判別したときには前記投影部による投影を停止させる、請求項１又は２に記載の情報入力装置。
  4. 　前記判別制御部は、人の目、鼻、耳、口、顔の輪郭又は顔を特異物体として判別する、請求項１から３のいずれか一項に記載の情報入力装置。
  5. 　前記第２検知部は、赤外線発光部と、赤外線検知部と、前記赤外線発光部が出射する赤外線ビームによって前記所定領域を２次元に走査させる走査部と、を有する、請求項１から４のいずれか一項に記載の情報入力装置。
  6. 　前記第２検知部は、ランダム・ドット・パターンを用いて、前記所定領域上に進入する物体までの距離を検知する、請求項５に記載の情報入力装置。
  7. 　前記第２検知部は、位置検出素子を用いて、前記所定領域上に進入する物体までの距離を検知する、請求項５に記載の情報入力装置。
  8. 　前記第１検知部は、赤外線発光部と赤外線カメラとを有する、請求項１から７のいずれか一項に記載の情報入力装置。
  9. 　前記第１検知部と前記第２検知部は、直線偏光方向が互いに直交する赤外線を使用する、請求項８に記載の情報入力装置。
  10. 　前記第１検知部と前記第２検知部は、互いに異なる波長の赤外線を使用する、請求項８に記載の情報入力装置。
  11. 　前記第１検知部の赤外線発光部と前記第２検知部の赤外線発光部は、発光タイミングが異なる、請求項８記載の情報入力装置。
  12. 　前記第１検知部は、カラー画像を撮像するカメラと深度情報を取得する赤外線カメラとを複合したカメラモジュールを有する、請求項１から７のいずれか一項に記載の情報入力装置。
  13. 　前記第１検知部によって撮像された画像データに基づいて、前記情報入力用画像を投影するための対象物を判別し、前記対象物の位置を追尾して前記投影部に前記情報入力用画像を投影させるように前記可動支持部を制御する投影位置制御部をさらに有する、請求項１から１２のいずれか一項に記載の情報入力装置。
PCT/JP2013/072463 2012-08-27 2013-08-22 情報入力装置 WO2014034527A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014532969A JPWO2014034527A1 (ja) 2012-08-27 2013-08-22 情報入力装置
EP13833575.7A EP2889733A1 (en) 2012-08-27 2013-08-22 Information input device
US14/423,501 US20150186039A1 (en) 2012-08-27 2013-08-22 Information input device
CN201380045274.6A CN104583921A (zh) 2012-08-27 2013-08-22 信息输入装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012186611 2012-08-27
JP2012-186611 2012-08-27
JP2013-066186 2013-03-27
JP2013066186 2013-03-27

Publications (1)

Publication Number Publication Date
WO2014034527A1 true WO2014034527A1 (ja) 2014-03-06

Family

ID=50183342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072463 WO2014034527A1 (ja) 2012-08-27 2013-08-22 情報入力装置

Country Status (5)

Country Link
US (1) US20150186039A1 (ja)
EP (1) EP2889733A1 (ja)
JP (1) JPWO2014034527A1 (ja)
CN (1) CN104583921A (ja)
WO (1) WO2014034527A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201064A (ja) * 2014-04-09 2015-11-12 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
WO2016017096A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法
WO2018146922A1 (ja) * 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN108427243A (zh) * 2018-03-16 2018-08-21 联想(北京)有限公司 一种投影防护方法及投影设备
JP2018529124A (ja) * 2015-09-08 2018-10-04 マイクロビジョン，インク． 混合モードの深度検出

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430083B2 (en) * 2013-12-11 2016-08-30 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
JP6618249B2 (ja) * 2014-02-18 2019-12-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 投影システムおよび半導体集積回路
WO2016017101A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9762873B2 (en) 2015-09-04 2017-09-12 Microvision, Inc. Dynamic constancy of brightness or size of projected content in a scanning display system
CN105208308B (zh) * 2015-09-25 2018-09-04 广景视睿科技（深圳）有限公司 一种获取投影仪的最佳投影焦点的方法及系统
CN105242781A (zh) * 2015-09-25 2016-01-13 宋彦震 交互式手势扫描矩阵及其控制方法
CN105589607B (zh) * 2016-02-14 2018-09-07 京东方科技集团股份有限公司 触控系统、触控显示系统和触控交互方法
US20170277944A1 (en) * 2016-03-25 2017-09-28 Le Holdings (Beijing) Co., Ltd. Method and electronic device for positioning the center of palm
WO2018008226A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN106530343A (zh) * 2016-10-18 2017-03-22 深圳奥比中光科技有限公司 一种基于目标深度图像的投影装置和投影方法
CN109001883B (zh) * 2017-06-06 2021-06-01 广州立景创新科技有限公司 镜头结构及其组装方法
CN208589037U (zh) * 2017-08-01 2019-03-08 苹果公司 电子设备
CN107369156B (zh) * 2017-08-21 2024-04-12 上海图漾信息科技有限公司 深度数据检测系统及其红外编码投影装置
EP3714310B1 (en) * 2017-11-22 2024-03-06 Alltec Angewandte Laserlicht Technologie GmbH Electromagnetic radiation steering mechanism
EP3729243A4 (en) * 2017-12-19 2021-09-15 Datalogic IP Tech S.r.l. SYSTEMS AND METHODS THAT MAY BE CARRIED BY A USER TO COLLECT DATA AND PROVIDE INFORMATION
CN108281100B (zh) * 2018-01-16 2021-08-24 歌尔光学科技有限公司 激光投影仪控制方法、设备及激光投影仪
US10616425B2 (en) * 2018-03-26 2020-04-07 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method
CN109031868B (zh) * 2018-07-26 2020-09-22 漳州万利达科技有限公司 一种带眼睛防护功能的超短焦桌面投影仪
DE102018125956A1 (de) * 2018-10-18 2020-04-23 Karl Storz Se & Co. Kg Verfahren und System zur Steuerung von Geräten in steriler Umgebung
DE102018220693B4 (de) 2018-11-30 2022-08-18 Audi Ag Steuerungssystem und Verfahren zum Steuern einer Funktion eines Fahrzeugs, sowie Fahrzeug mit einem solchen
CN109509407B (zh) * 2018-12-12 2021-12-10 深圳市万普拉斯科技有限公司 显示装置
US11488361B1 (en) * 2019-02-15 2022-11-01 Meta Platforms Technologies, Llc Systems and methods for calibrating wearables based on impedance levels of users' skin surfaces
CN110146159B (zh) * 2019-05-05 2024-03-29 深圳市锐伺科技有限公司 一种tof光投射模块的光功率检测装置和方法
US10747371B1 (en) * 2019-06-28 2020-08-18 Konica Minolta Business Solutions U.S.A., Inc. Detection of finger press from live video stream
CN111093066A (zh) * 2019-12-03 2020-05-01 耀灵人工智能(浙江)有限公司 一种动态平面投影方法及系统
US11106328B1 (en) 2020-07-28 2021-08-31 Qualcomm Incorporated Private control interfaces for extended reality
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
DE102021115090A1 (de) 2021-06-11 2022-12-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Bereitstellung einer Benutzerschnittstelle auf einer Hand
US11430132B1 (en) * 2021-08-19 2022-08-30 Unity Technologies Sf Replacing moving objects with background information in a video scene
CN114721552B (zh) * 2022-05-23 2022-08-23 北京深光科技有限公司 基于红外与可见光的触控识别方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195895A (ja) 1997-09-18 1999-04-09 Sony Corp 情報入力装置
JP2000194302A (ja) * 1998-12-28 2000-07-14 Brother Ind Ltd 投影表示装置
WO2009022659A1 (ja) * 2007-08-10 2009-02-19 Panasonic Electric Works Co., Ltd. 画像表示装置
WO2009031094A1 (en) * 2007-09-04 2009-03-12 Philips Intellectual Property & Standards Gmbh Laser scanning projection device with eye detection unit
US20100199232A1 (en) 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
WO2011012168A1 (en) * 2009-07-31 2011-02-03 Lemoptix Sa Optical micro-projection system and projection method

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4621292A (en) * 1983-10-19 1986-11-04 Matsushita Electric Industrial Co., Ltd. Automatic focusing device for a video camera
US5528263A (en) * 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
DE19640404A1 (de) * 1996-09-30 1998-04-09 Ldt Gmbh & Co Vorrichtung zur Darstellung von Bildern
DE19746864A1 (de) * 1997-10-22 1999-04-29 Jun Hartmut Neven System zur Analyse von Fingerbewegungen durch Distanzsensoren zur Bestimmung von virtuellen Tastendrücken
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
TW200627244A (en) * 2005-01-17 2006-08-01 Era Optoelectronics Inc Data input device
US8356704B2 (en) * 2006-01-31 2013-01-22 Andrew Flessas Robotically controlled entertainment elements
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
US8290208B2 (en) * 2009-01-12 2012-10-16 Eastman Kodak Company Enhanced safety during laser projection
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
EP2638431A1 (en) * 2010-11-12 2013-09-18 3M Innovative Properties Company Interactive polarization-selective projection display
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US8179604B1 (en) * 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US9521276B2 (en) * 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195895A (ja) 1997-09-18 1999-04-09 Sony Corp 情報入力装置
JP2000194302A (ja) * 1998-12-28 2000-07-14 Brother Ind Ltd 投影表示装置
WO2009022659A1 (ja) * 2007-08-10 2009-02-19 Panasonic Electric Works Co., Ltd. 画像表示装置
WO2009031094A1 (en) * 2007-09-04 2009-03-12 Philips Intellectual Property & Standards Gmbh Laser scanning projection device with eye detection unit
US20100199232A1 (en) 2009-02-03 2010-08-05 Massachusetts Institute Of Technology Wearable Gestural Interface
WO2011012168A1 (en) * 2009-07-31 2011-02-03 Lemoptix Sa Optical micro-projection system and projection method

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015201064A (ja) * 2014-04-09 2015-11-12 株式会社東芝 情報処理装置、映像投影装置、情報処理方法及びプログラム
WO2016017096A1 (ja) * 2014-07-30 2016-02-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10175825B2 (en) 2014-07-30 2019-01-08 Sony Corporation Information processing apparatus, information processing method, and program for determining contact on the basis of a change in color of an image
JP2018529124A (ja) * 2015-09-08 2018-10-04 マイクロビジョン，インク． 混合モードの深度検出
WO2018079446A1 (ja) * 2016-10-27 2018-05-03 日本電気株式会社 情報入力装置および情報入力方法
JPWO2018079446A1 (ja) * 2016-10-27 2019-09-19 日本電気株式会社 情報入力装置および情報入力方法
US10955971B2 (en) 2016-10-27 2021-03-23 Nec Corporation Information input device and information input method
WO2018146922A1 (ja) * 2017-02-13 2018-08-16 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN108427243A (zh) * 2018-03-16 2018-08-21 联想(北京)有限公司 一种投影防护方法及投影设备

Also Published As

Publication number Publication date
US20150186039A1 (en) 2015-07-02
JPWO2014034527A1 (ja) 2016-08-08
EP2889733A1 (en) 2015-07-01
CN104583921A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
WO2014034527A1 (ja) 情報入力装置
US10397535B2 (en) Optical micro-projection system and projection method
US9229584B2 (en) Information input apparatus
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
KR20210049868A (ko) 눈의 시선 방향을 검출하기 위한 방법
KR20070108146A (ko) 눈으로부터의 반사를 이용하는 홍채 화상 형성
EP3191888A1 (en) Scanning laser planarity detection
JP2015111772A (ja) 投影装置
JP5971053B2 (ja) 位置検出装置及び画像表示装置
JP6231541B2 (ja) 画像投影装置
US20130127716A1 (en) Projector
KR101106894B1 (ko) 광학 네비게이션 시스템 및 방법
WO2012014690A1 (ja) プロジェクタ
JP2016142737A (ja) ２個の物体の目標位置偏差を検出する装置ならびに方法
US20110090508A1 (en) Device and method for interferometric vibration measurement of an object
JP2017520755A (ja) ３ｄ粗レーザスキャナ
US20200229969A1 (en) Corneal topography mapping with dense illumination
JP6501444B2 (ja) プロジェクション装置を備えた、とりわけ通信機器である電子機器、および、電子機器の動作方法
US11675427B2 (en) Eye tracking based on imaging eye features and assistance of structured illumination probe light
WO2016208266A1 (ja) 画像投影装置
JP7101250B2 (ja) 情報処理装置およびプレイフィールド逸脱検知方法
US11852823B2 (en) Device and method for measuring depth of object
JP7266151B2 (ja) 指示位置検出装置、指示位置検出方法、指示位置検出プログラム、及び投影システム
JP2016192799A (ja) 位置検出装置及び画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833575

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014532969

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013833575

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013833575

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14423501

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE