WO2020129536A1 - 画像処理装置、および検出機能付き表示装置 - Google Patents

画像処理装置、および検出機能付き表示装置 Download PDF

Info

Publication number
WO2020129536A1
WO2020129536A1 PCT/JP2019/045724 JP2019045724W WO2020129536A1 WO 2020129536 A1 WO2020129536 A1 WO 2020129536A1 JP 2019045724 W JP2019045724 W JP 2019045724W WO 2020129536 A1 WO2020129536 A1 WO 2020129536A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
illumination light
position detection
illumination
image recognition
Prior art date
Application number
PCT/JP2019/045724
Other languages
English (en)
French (fr)
Inventor
正博 安藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980082512.8A priority Critical patent/CN113168266A/zh
Priority to US17/413,816 priority patent/US11429229B2/en
Publication of WO2020129536A1 publication Critical patent/WO2020129536A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G06V40/1318—Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Definitions

  • the present disclosure relates to an image processing device that performs position detection and image recognition, and a display device with a detection function.
  • Detection by adding a touch detection (position detection) function for detecting the position of a finger or the like on the projection surface of an image and an image recognition function for recognizing an image of a card or media on the projection surface to a projector as a display device A display device with a function has been proposed (see Patent Document 1).
  • position detection and image recognition are performed based on an imaging result obtained by appropriately switching between position detection illumination light and image recognition illumination light.
  • the timing at which the position detection illumination light and the image recognition illumination light actually switch may not be accurately known depending on the system delay and the like. For this reason, useless waiting time increases, and the real-time property of position detection and image recognition deteriorates.
  • An image processing apparatus includes a position detection illumination unit that emits position detection illumination light used for position detection of a position detection target, and an image used for image recognition of an image recognition target.
  • the position detection illumination unit and the image recognition illumination unit are controlled so that the image recognition illumination unit that emits the recognition illumination light and the position detection illumination light and the image recognition illumination light are emitted from different timings.
  • the imaging control unit Based on the brightness information of the image captured by the imaging unit, the imaging control unit, the imaging unit in which the illumination light for position detection and the illumination light for image recognition enter at different timings, and the illumination light for position detection and image recognition
  • the position of the object to be detected is detected based on the imaging result of the imaging unit in the state where it is switched to the illumination light for position detection, and the imaging unit in the state where it is switched to the illumination light for image recognition.
  • an image processing unit for performing image recognition of the image recognition object based on the image pickup result of.
  • a display device with a detection function generates an image projection illumination unit that emits image projection illumination light, and modulates the image projection illumination light based on image data to generate image light.
  • a light valve a position detection illumination unit that emits position detection illumination light used to detect the position of the object to be detected, and an image recognition illumination unit that emits image recognition illumination light that is used to recognize the image of the object to be recognized.
  • An illumination unit an illumination control unit that controls the position detection illumination unit and the image recognition illumination unit so that the position detection illumination light and the image recognition illumination light are emitted at different timings, and the position detection illumination.
  • the image pickup unit in which the light and the image recognition illumination light are incident at different timings, and based on the brightness information of the image captured by the image pickup unit, the switching between the position detection illumination light and the image recognition illumination light is determined, and the position is determined.
  • the position of the object to be detected is detected based on the imaging result of the imaging unit in the state of switching to the illumination light for detection, and the object to be recognized of image is detected based on the imaging result of the imaging unit in the state of switching to the illumination light for image recognition.
  • an image processing unit that performs image recognition of the image.
  • switching between position detection illumination light and image recognition illumination light is determined based on luminance information of an image captured by an imaging unit. It The image processing unit detects the position of the object to be detected based on the image pickup result of the image pickup unit in the state of being switched to the position detection illumination light, and the image pickup result of the image pickup unit in the state of being switched to the image recognition illumination light. Based on this, image recognition of the image recognition object is performed.
  • FIG. 1 is a configuration diagram schematically showing an example of a display device with a detection function according to a first embodiment of the present disclosure. It is a block diagram which shows roughly the functional structural example of the display device with a detection function which concerns on 1st Embodiment. It is a block diagram which shows schematically one structural example which looked at the display device with a detection function which concerns on 1st Embodiment from the side surface direction. It is a block diagram which shows roughly the example of 1 structure of the imaging part in the display device with a detection function which concerns on 1st Embodiment.
  • FIG. 1 is a configuration diagram schematically showing an example of a display device with a detection function according to a first embodiment of the present disclosure. It is a block diagram which shows roughly the functional structural example of the display device with a detection function which concerns on 1st Embodiment. It is a block diagram which shows schematically one structural example which looked at the display device with a detection function which concerns on 1st Embodiment from the side surface direction.
  • FIG. 5 is an explanatory diagram showing an example of a spectrum of illumination light and a transmission characteristic of a bandpass filter of an image pickup unit in the display device with a detection function according to the first embodiment. It is explanatory drawing which shows typically an example of the imaging result of a to-be-recognized object. It is explanatory drawing which shows an example of the imaging result of a to-be-detected object typically. It is explanatory drawing which shows an example of the exposure timing of the image sensor by a rolling shutter system. It is explanatory drawing which shows typically an example of the captured image at the time of switching the illumination light for position detection, and the illumination light for image recognition in the case of imaging by the rolling shutter system.
  • Comparative example> (Outline and problems of display device with detection function according to comparative example) As a comparative example, an outline and problems of the display device with a detection function proposed in Patent Document 1 (International Publication No. 2018/051886) will be described.
  • the position detection and the image recognition are performed based on the imaging result obtained by appropriately switching the position detection illumination light and the image recognition illumination light.
  • the timing at which the position detection illumination light and the image recognition illumination light are actually switched may depend on system delay or the like, and the switching timing may not be accurately known.
  • Patent Document 1 position detection and image recognition are performed at the same time by changing the wavelength of illumination light for position detection and image recognition, and adopting a structure in which two wavelengths are used to capture images separately. Methods have been proposed that allow it to be done. However, in this method, the size of the apparatus becomes large because two image pickup elements are required, and the advantage of portability is lost as compared with the case where position detection and image recognition are performed by one image pickup element. And the cost will increase.
  • Patent Document 1 the wavelength of illumination light is changed for position detection and image recognition, and a light receiving region for position detection and a light receiving region for image recognition are separately provided, so that one image sensor is provided.
  • the pixels of one image sensor are divided into half for position detection and half for image recognition, so the resolution deteriorates to half, and it is difficult to obtain sufficient imaging performance. Becomes
  • the real-time property of the position detection and the image recognition is improved without causing the device to be complicated and upsized by using the two image pickup devices and without degrading the resolution of the picked-up image by half. It is desired to develop a technology capable of doing so.
  • FIG. 1 schematically shows a configuration example of a display device with a detection function according to the first embodiment of the present disclosure.
  • FIG. 2 schematically shows a functional configuration example of a display device with a detection function.
  • FIG. 3 schematically shows a configuration example of the display device with a detection function as viewed from the side.
  • FIG. 4 schematically shows a configuration example of the imaging unit 5 in the display device with the detection function.
  • FIG. 5 shows an example of spectra of a plurality of illumination lights used in a display device with a detection function and transmission characteristics of the bandpass filter 52 of the imaging unit 5.
  • the display device with a detection function has a function as a projector for projecting an image on the projection surface 30, and a position and operation of the position-detected object 71 such as a human finger on the projection surface 30. It has a touch detection (position detection) function of detecting, and a function of recognizing an image recognition object 72 such as a card or a medium on the projection surface 30.
  • the card as the image-recognized object 72 may be a card used in a game, such as a trading card.
  • the media as the image recognition object 72 are package media such as CD (Compact Disc) (registered trademark), DVD (Digital Versatile Disc) (registered trademark), and BD (Blu-ray Disc) (registered trademark). May be.
  • the projection surface 30 may be a projection screen.
  • the projection surface 30 may be the surface of a desk, the floor surface, or the like.
  • the projection surface 30 may be a wall surface or the like.
  • the display device with a detection function according to the first embodiment includes an image projection illumination unit 1, a position detection illumination unit 2, an image recognition illumination unit 3, The projection optical system 4, the imaging unit 5, the detected image processing unit 6, the illumination control unit 7, and the display control unit 8 are provided.
  • the display device with a detection function according to the first embodiment further includes a light valve 21 and a polarization separation element 23.
  • the video projection illumination unit 1 emits video projection illumination light 41.
  • the light valve 21 is illuminated by the image projection illumination light 41 emitted from the image projection illumination unit 1 via the polarization separation element 23.
  • the image projection illumination unit 1 has an illumination optical system 10 and a light source unit 11, as shown in FIG.
  • the light source unit 11 has, for example, as shown in FIG. 5, a laser light source that emits light having R (red), G (green), and B (blue) spectra.
  • the light source unit 11 includes, for example, a blue laser 11B that emits B light, a green laser 11G that emits G light, and a red laser 11R that emits R light.
  • Each of the red laser 11R, the green laser 11G, and the blue laser 11B may be controlled to emit light by a field-sequential method, for example, by an emission control unit (not shown).
  • the illumination optical system 10 generates illumination light 41 for image projection having an RGB spectrum based on the light from the light source unit 11.
  • the illumination optical system 10 may include a condenser lens that collects each color light from the light source unit 11, a light homogenizing member that homogenizes each color light, and an optical path combining member that combines the optical paths of the respective colors.
  • the light valve 21 modulates the image projection illumination light 41 based on the image data supplied from the display controller 8 to generate the image light 44.
  • the light valve 21 is, for example, a reflective liquid crystal element such as LCOS (Liquid Crystal On Silicon).
  • the image light 44 generated by the light valve 21 is projected onto the projection surface 30 via the polarization separation element 23 and the projection optical system 4.
  • the position detecting illumination unit 2 emits the position detecting illumination light 42 used for detecting the position of the detected object 71 on the projection surface 30.
  • the position detecting illumination unit 2 is provided, for example, in the lower portion of the main body 100.
  • the position detecting illumination unit 2 emits the position detecting illumination light 42 so as to cover at least the projection area 31 of the image light 44 on the projection surface 30 from a predetermined height.
  • the image recognition illumination unit 3 emits image recognition illumination light 43 used for image recognition of the image recognition object 72 on the projection surface 30.
  • the image recognition illumination unit 3 illuminates at least an area including the projection area 31 of the image light 44 on the projection surface 30 with the image recognition illumination light 43.
  • the wavelength bands of the position detection illumination light 42 and the image recognition illumination light 43 are different from the wavelength band of the image projection illumination light 41, as shown in FIG.
  • the center wavelength and the center wavelength of the image recognition illumination light 43 are substantially the same.
  • the wavelength band of the image projection illumination light 41 is the visible region
  • the wavelength bands of the position detection illumination light 42 and the image recognition illumination light 43 are the near infrared region.
  • the position detection illumination section 2 and the image recognition illumination section 3 each include, for example, a near infrared light source.
  • the wavelength band of the image recognition illumination light 43 is preferably wider than the wavelength band of the position detection illumination light 42, for example.
  • the illumination control unit 7 controls the position detection illumination unit 2 to switch the position detection illumination light 42 on (outgoing) and off (non-emission) and to turn on the image recognition illumination light 43 through the image recognition illumination unit 3. Switching control between (emission) and off (non-emission) is performed.
  • the illumination control unit 7 controls the position detection illumination unit 2 and the image recognition illumination unit 3 so that the position detection illumination light 42 and the image recognition illumination light 43 are emitted at different timings.
  • the illumination control unit 7 In the position detection mode in which the detected image processing unit 6 detects the position of the position detection object 71, the illumination control unit 7 outputs only the position detection illumination light 42 out of the position detection illumination light 42 and the image recognition illumination light 43.
  • the position detection illumination unit 2 and the image recognition illumination unit 3 are controlled so as to emit the light.
  • the illumination control unit 7 selects one of the position detection illumination light 42 and the image recognition illumination light 43.
  • the position detecting illuminating unit 2 and the image recognizing illuminating unit 3 are controlled so as to emit 43.
  • the illumination control unit 7 controls the position detection illumination unit 2 and the image recognition illumination unit 3 so that the illumination period of the position detection illumination light 42 is longer than the illumination period of the image recognition illumination light 43. Is desirable. Further, it is desirable that the illumination control unit 7 controls the position detection illumination unit 2 so that the position detection illumination light 42 is emitted for a period of at least 3 frames.
  • the detected image processing unit 6 is an image processing unit that detects the position of the detected object 71 and recognizes the image of the image-recognized object 72 based on the imaging result of the imaging unit 5.
  • the detection image processing unit 6 analyzes the detection signal from the imaging unit 5, for example, and acquires the position data (coordinate data) of the detected object.
  • the detected image processing unit 6 may have a function of analyzing not only the position of the position-detected object 71 but also a motion such as a gesture motion by the position-detected object 71.
  • the detection image processing unit 6 determines switching between the position detection illumination light 42 and the image recognition illumination light 43 based on the brightness information of the image captured by the image capturing unit 5.
  • the detected image processing unit 6 detects the position of the position detection object 71 based on the image pickup result of the image pickup unit 5 in the state where the position detection illumination light 42 is switched. Further, the detected image processing unit 6 performs image recognition of the image recognition object 72 based on the imaging result of the imaging unit 5 in the state where the illumination light 43 for image recognition is switched.
  • the detection image processing unit 6 determines switching between the position detection illumination light 42 and the image recognition illumination light 43 based on, for example, the histogram of the luminance distribution of the captured image. The method of determining the switching between the position detection illumination light 42 and the image recognition illumination light 43 by the detected image processing unit 6 will be described in detail later.
  • the video data supplied from the display control unit 8 may include video data including information related to the image of the image recognition object 72 recognized by the detected image processing unit 6.
  • the projection optical system 4 has a projection lens 24 as shown in FIG.
  • the projection lens 24 may be an ultra short focus lens.
  • the projection optical system 4 has a function as an imaging optical system for position detection and image recognition in addition to a function for projecting an image.
  • the image light 44 generated by the light valve 21 is incident on the projection optical system 4, and the image recognition illumination light 43 and the scattered light La of the position detection illumination light 42 by the position detection target 71 are projected on the projection surface. It is taken in from the 30 side.
  • the image pickup section 5 has an image pickup element 22 and an image pickup optical system 25.
  • the position detection illumination light 42 and the image recognition illumination light 43 enter the imaging unit 5 at different timings.
  • the image sensor 22 is composed of a solid-state image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • the image sensor 22 is arranged at a position optically conjugate with the projection surface 30.
  • the image pickup device 22 is arranged at a position optically conjugate with the light valve 21. More specifically, when the light valve 21 is a reflective liquid crystal element, the display surface (liquid crystal surface) that creates an image and the image pickup surface of the image pickup element 22 are arranged so as to be optically conjugate with each other. There is.
  • the scattered light La of the position detection illumination light 42 and the image recognition illumination light 43 are incident on the imaging element 22 via the projection optical system 4 and the polarization separation element 23.
  • the image pickup device 22 is capable of performing image pickup at least in an area substantially the same as the projection area 31 on the projection surface 30.
  • the image pickup optical system 25 is arranged between the optical conjugate plane 50 of the light valve 21 and the image pickup element 22, as shown in FIG.
  • the imaging optical system 25 has a reduction optical system 51 including a plurality of relay lenses 53, and a bandpass filter 52, as shown in FIG. 4, for example.
  • a position optically conjugate with the light valve 21 can be provided farther than the conjugate plane 50. Further, by disposing the reduction optical system 51, the size of the image sensor 22 can be made smaller than that of the light valve 21 while being arranged at a position optically conjugate with the light valve 21.
  • the band pass filter 52 is provided to separate the illumination light 41 for image projection, the illumination light 42 for position detection, and the illumination light 43 for image recognition.
  • the band pass filter 52 has a transmission characteristic that suppresses the image projection illumination light 41 and transmits the central band of the position detection illumination light 42 and the image recognition illumination light 43. ing.
  • the bandpass filter 52 Since the light that forms an image on the image sensor 22 is weak, it is important to insert the bandpass filter 52 for the purpose of preventing signal saturation during image recognition and position detection.
  • the characteristics of the bandpass filter 52 By setting the characteristics of the bandpass filter 52 to the characteristics of transmitting visible light and infrared light other than near-infrared while transmitting in the near-infrared region, the function as a projector and the functions of position detection and image recognition are obtained. It is possible to achieve both.
  • position detection light sintered light La of the position detection illumination light 42
  • image recognition light image It is possible to guide the recognition illumination light 43
  • the central wavelengths of the position detection illumination light 42 and the image recognition illumination light 43 be substantially in the same wavelength band as described above, which is rate-controlled by this characteristic.
  • the polarization separation element 23 is, for example, as shown in FIG. 4, a polarization beam splitter having four optical surfaces.
  • the two surfaces facing in the horizontal direction in FIG. 4 are referred to as a first optical surface and a third optical surface
  • the two surfaces facing in the vertical direction are referred to as a second optical surface and a fourth optical surface.
  • the image projection illumination light 41 from the image projection illumination unit 1 is incident on the first optical surface.
  • the light valve 21 is arranged on the second optical surface side of the polarization separation element 23.
  • the imaging unit 5 is arranged on the third optical surface side of the polarization separation element 23.
  • the projection optical system 4 is arranged on the fourth optical surface side of the polarization separation element 23.
  • the polarization separation element 23 separates the incident light into a first polarization component (for example, S polarization component) and a second polarization component (for example, P polarization component), and emits them in mutually different directions.
  • the polarization separation element 23 selectively reflects the specific first polarized light component and selectively transmits the specific second polarized light component.
  • the polarization separation element 23 reflects the first polarization component included in the image projection illumination light 41 that has entered the first optical surface toward the light valve 21.
  • the light that has been modulated by the light valve 21 and has been converted into the second polarization component exits from the fourth optical surface of the polarization separation element 23 and enters the projection optical system 4 as image light 44.
  • the scattered light La of the position detection illumination light 42 and the image recognition illumination light 43 are incident on the fourth optical surface of the polarization separation element 23 via the projection optical system 4.
  • the polarization separation element 23 reflects the scattered light La of the position detection illumination light 42 and the first polarization component included in the image recognition illumination light 43 toward the imaging unit 5 via the third optical surface.
  • FIG. 6 schematically shows an example of the image pickup result of the image recognition object 72 by the image pickup unit 5.
  • the image pickup result of FIG. 6 schematically shows an example of the image pickup result of the image recognition object 72 in the image recognition mode while projecting the image light 44.
  • the image recognition mode here is a state in which the image recognition illumination is on and the position detection illumination is off.
  • the information of the image recognition target object 72 arranged in the projection area 31 is used for image recognition as shown in FIG. 6 without being affected by the image information projected on the projection surface 30 by the image light 44.
  • the information of the brightness illuminated by the illumination light 43 can be captured by the image sensor 22.
  • the detected image processing unit 6 performs image processing on the detection signal from the image pickup device 22 and individually recognizes the image recognition object 72.
  • the image-recognized object 72 is a card, a CD, or the like
  • the detected image processing unit 6 recognizes individual image-recognized objects 72 by recognizing feature points such as a pattern printed on the surface.
  • the detected image processing unit 6 feeds back information related to the recognized image recognition object 72 to the display control unit 8.
  • the display controller 8 supplies the light valve 21 with image data including information related to the recognized image-recognition object 72. Thereby, the information related to the recognized image-recognition object 72 can be projected as an image.
  • FIG. 6 schematically shows an image of the image-recognition object 72 captured by the image sensor 22, but as can be seen from FIG. 6, the image captured by the image sensor 22 has a trapezoidal distortion or a position. There is almost no gap. Temporarily, in the case of an image captured by a camera provided separately from the display device with a detection function, a position shift is likely to occur, and the display device with a detection function according to the first embodiment is projected.
  • the styles (imaging styles) are different, and trapezoidal distortion easily occurs due to the shift of the angle of view of the camera and the image relationship with the object.
  • the projection optical system 4 is arranged on the optical path from the image recognition object 72 to the image sensor 22, and the optical system for image recognition is for image projection. It is partially shared with the optical system of. This suppresses trapezoidal distortion and displacement. In order to suppress the occurrence of trapezoidal distortion and displacement, it is desirable to use the ultra short focus projection lens 24 in the projection optical system 4.
  • FIG. 7 schematically shows an example of an image pickup result of the position detection object 71 by the image pickup unit 5.
  • the image pickup result of FIG. 7 schematically shows an example of the image pickup result of the position detection object 71 in the position detection mode while projecting the image light 44.
  • the position detection mode here is a state in which the image recognition illumination is off and the position detection illumination is on.
  • the display device with a detection function according to the first embodiment has not only image recognition but also a position detection function, and can realize a touch interaction function that follows an intuitive operation on a tablet terminal or the like. .. As a result, a more natural operation for the user and a video experience intended by the video providing side can be realized.
  • the position detecting illumination unit 2 has a wide angle widening position detecting illumination light 42 that covers at least the projection area 31 of the image light 44 on the projection surface 30 from a predetermined height. Is emitted from the lower part of the main body 100. Thereby, at least the projection area 31 on the projection surface 30 is covered with the near-infrared light barrier by the position detection illumination light 42 from a predetermined height. By covering with such a near-infrared light barrier, the position detection illumination light 42 does not diffuse unless there is an instruction by the position detection object 71 such as a finger.
  • the projection area 31 is pointed by a finger or the like, the near-infrared light barrier is blocked, and scattered light La of the position detection illumination light 42 hitting the finger or the like is generated.
  • the scattered light La of the position detecting illumination light 42 enters the image pickup element 22 via the projection optical system 4 and the polarization separation element 23, as in the case of the image recognition described above.
  • the image pickup device 22 and the projection surface 30 are arranged at positions that are in an optically conjugate relationship, the image projection position and the position pointed by a finger or the like have a 1:1 relationship.
  • the position (coordinates) pointed by the finger or the like on the projection surface 30 can be specified.
  • the detected image processing unit 6 feeds back the specified position information to the display control unit 8 to reflect it on the projected image data.
  • the user can operate the video with his finger or the like acting like a mouse pointer.
  • the detection image processing unit 6 specifies a position designated by a finger or the like, it is possible to extract a position signal by separating it from a noise component by binarizing a detection signal by providing an appropriate threshold value, for example. it can.
  • the image recognition illumination light 43 is projected onto the projection surface 30. When illuminated, the noise level becomes very high and it becomes difficult to extract the position signal. Therefore, in the position detection mode, it is desirable to turn off the image recognition illumination light 43 at an appropriate timing.
  • the position detecting illumination unit 2 emits the position detecting illumination light 42 from the predetermined height with respect to the projection surface 30.
  • the position detecting illumination unit 2 detects the position of light that is substantially parallel to the projection surface 30 from a position higher than the height at which the image recognition object 72 is overlapped on the projection surface 30 by a predetermined number. It is desirable to emit as the illumination light 42 for use.
  • the position detection illumination light 42 when detecting the position detection object 71 such as a finger, the near infrared light barrier by the position detection illumination light 42 is blocked by the finger or the like.
  • the scattered light La generated in this case is detected.
  • the vicinity of the projection surface 30 is not pointed by a finger or the like, it is desirable that the scattered light La is not generated. Therefore, when the height of the position detection illumination light 42 with respect to the projection surface 30 is too low, the scattered light La is generated by the image recognition target 72 arranged on the projection surface 30, and thus the scattered light La is scattered by the image recognition target 72. It is desirable that the position detection illumination light 42 be emitted from a height at which the position does not occur.
  • the image-recognition object 72 is a card, but in that case, there may be a form in which a plurality of cards are stacked and used. In this case, the predetermined number may be a plurality of sheets. Further, when the image-recognition object 72 is a package medium such as a CD or a DVD, it is usually possible that the medium is not used by overlapping. In this case, the predetermined number can be one.
  • the outgoing diffusion angle ⁇ 2 of the image recognition illumination light 43 is preferably larger than the outgoing diffusion angle ⁇ 1 of the position detection illumination light 42, as shown in FIG. Further, it is desirable that the exit diffusion angle ⁇ 2 of the image recognition illumination light 43 be 10 times or more the size of the exit diffusion angle ⁇ 1 of the position detection illumination light 42.
  • the outgoing diffusion angles ⁇ 1 and ⁇ 2 are diffusion angles in the direction perpendicular to the projection surface 30.
  • the outgoing diffusion angle ⁇ 1 of the position detecting illumination light 42 may be within 2°.
  • the outgoing diffusion angle ⁇ 2 of the illumination light 43 for image recognition depends on the size of the projection area 31, but may be 30° or more.
  • the emission position P3 of the image recognition illumination light 43 in the image recognition illumination unit 3 is the emission position of the position detection illumination light 42 in the position detection illumination unit 2 with respect to the projection plane 30, as shown in FIG. It is desirable to be farther than P2.
  • the emission position P1 of the image light 44 in the projection optical system 4 is, as shown in FIG. 3, higher than the emission position P2 of the position detection illumination light 42 in the position detection illumination section 2 with respect to the projection surface 30. It is desirable to be far away. Further, as shown in FIG. 3, the emission position P3 of the image recognition illumination light 43 in the image recognition illumination unit 3 is higher than the emission position P1 of the image light 44 in the projection optical system 4 with respect to the projection surface 30. It is desirable to be far away.
  • FIG. 8 shows an example of the exposure timing of the image sensor 22 by the rolling shutter method.
  • FIG. 9 schematically shows an example of a captured image at the time of switching between the position detection illumination light and the image recognition illumination light in the case of performing imaging by the rolling shutter method.
  • the image recognition mode and the position detection mode are switched at a predetermined timing, and the image recognition and the position detection are alternately performed in a time division manner.
  • the display device with a detection function according to the first embodiment it is possible to perform position detection and image recognition at substantially the same timing by performing mode switching at high speed.
  • the image pickup unit 5 when the image pickup device 22 performs the image pickup by the rolling shutter method such as the CMOS sensor, an image as shown in FIG. 9 is generated when the illumination light is switched.
  • VD indicates the timing of the vertical sync signal.
  • FIG. 8 shows an example of the exposure timing for each horizontal pixel line of the image sensor 22. In the rolling shutter system, as shown in FIG. 8, the exposure timing is different for each horizontal pixel line, and the pixel data is transferred for each horizontal pixel line. Therefore, even if the illumination light is switched at any timing, an image in which the image of the switching illumination light and the image of the switching illumination light coexist occurs.
  • a captured image as shown in FIG. 6 is obtained before the switching.
  • the captured image as shown in FIG. 7 is obtained after the switching, but in reality, immediately after the switching, as shown in FIG. 9, the image by the illumination light before the switching and the illumination light after the switching are obtained.
  • a captured image in which the image due to is mixed is generated. Therefore, by determining the image in which the two illumination lights are mixed, it is possible to determine the end timing of the switching of the illumination lights.
  • the image acquired after the image in which the two illumination lights are mixed is an image in which the illumination lights are completely switched.
  • FIG. 10 shows an example of a histogram of the brightness distribution of the captured image in the position detection mode in the state where the position detection illumination light 42 as shown in FIG. 7 is used for illumination.
  • FIG. 11 shows an example of a histogram of the luminance distribution of the captured image in the image recognition mode in the state where the image is illuminated only by the image recognition illumination light 43 as shown in FIG. 10 and 11, the horizontal axis represents luminance and the vertical axis represents the number of pixels.
  • the brightness distribution is biased to the dark side.
  • the brightness distribution is biased toward the bright side. Therefore, when the difference between the upper brightness and the lower brightness of the acquired image is significantly different, it is found that the image as shown in FIG. 9 during the switching of the illumination light is acquired, and the image acquired thereafter is acquired. Shows that the image becomes after the switching of the illumination light.
  • the detection image processing unit 6 can determine the switching between the position detection illumination light 42 and the image recognition illumination light 43 based on the histogram of the brightness distribution of the captured image.
  • the detection image processing unit 6 uses, for example, the position detection illumination light 42 and the image recognition illumination based on the brightness information of at least one line of pixels in the captured image and the brightness information of one line of pixels in the lower portion.
  • the switching to the light 43 can be determined. As described above, in a captured image in which two types of illumination light are mixed as shown in FIG. 9, the difference between the brightness of the upper part and the brightness of the lower part of the image is significantly different. It is possible to determine the switching of the illumination light based on the brightness and the brightness of the pixel for one line at the bottom.
  • the detection image processing unit 6 may determine switching between the position detection illumination light 42 and the image recognition illumination light 43, for example, based on the luminance information of all pixels of the captured image. As shown in FIGS. 10 and 11, since the brightness distribution of the captured image in the position detection mode and the brightness distribution of the captured image in the image recognition mode are totally different, based on the brightness information of all pixels, It is possible to determine the switching of illumination light.
  • the detected image processing unit 6 uses, for example, the position detection illumination light 42 based on either the brightness information of the pixels for one line in the upper part or the brightness information of the pixels for one line in the lower part in the captured image.
  • the switching between the image recognition illumination light 43 and the image recognition illumination light 43 may be determined. For example, as the specifications of the image sensor 22, if it is known in advance whether the pixel data is switched from the upper side or the lower side, the brightness of the pixel for one line on the upper side or the lower side where the pixel data switching ends. It is possible to judge the switching of illumination light just by looking at the distribution.
  • the illumination control unit 7 and the image recognition unit 2 detect the position so that the illumination period of the position detection illumination light 42 is longer than the illumination period of the image recognition illumination light 43. It is desirable to control the lighting unit 3 for use. Further, it is desirable that the illumination control unit 7 controls the position detection illumination unit 2 so that the position detection illumination light 42 is emitted for a period of at least 3 frames.
  • FIG. 12 is a timing chart showing an example of the switching timing of the position detection illumination light 42 and the image recognition illumination light 43.
  • the upper part of FIG. 12 shows an example in which the illumination period for the position detection illumination light 42 is longer than the illumination period for the image recognition illumination light 43.
  • the upper side of FIG. 12 shows an example in which the ratio of the illumination period of the position detection illumination light 42 and the image recognition illumination light 43 is converted into the number of frames to 8:2.
  • an example on the upper side of FIG. 12 an example in which the illumination period by the image recognition illumination light 43 and the illumination period by the position detection illumination light 42 are the same is shown on the lower side of FIG.
  • the example on the lower side of FIG. 12 shows an example in which the ratio of the illumination period by the position detection illumination light 42 and the illumination period by the image recognition illumination light 43 is converted into the number of frames to be 2:2.
  • the image recognition mode is characterized in that the real-time property is not impaired even if the image is not frequently recognized.
  • the position detection mode a considerable real-time property such as detecting the position of a moving finger or the like is required. Therefore, it is preferable to reduce the undetectable period as much as possible.
  • the illumination period in the position detection mode is set to 3 frames or more continuously as in the example on the upper side of FIG. 12, it is possible to reduce the number of times the illumination is switched within a unit time. Therefore, the number of times images before and after switching are mixed can be reduced by the characteristics of the rolling shutter, and the position detection image and the image recognition image can be acquired at the same ratio as in the lower example of FIG.
  • the number of effective image frames that can be acquired in a unit time can be increased as compared with the case of performing.
  • the continuous illumination period for the position detection illumination light 42 is preferably 0.5 seconds or less, for example. ..
  • the continuous illumination period of the position detecting illumination light 42 is, for example, 12 frames or less.
  • the resolution of a captured image can be improved without inviting the device to be complicated and large due to the use of two image capturing elements. It is possible to improve the real-time property of position detection and image recognition without degrading to 1/2.
  • the image processing device of the present technology is also applied to display devices other than the projector. It is possible. Further, the image processing device of the present technology can be applied to a device having no image display function.
  • the present technology may have the following configurations. According to the present technology having the following configuration, it is possible to improve the real-time property of position detection and image recognition.
  • a position detection illumination unit that emits position detection illumination light used for position detection of a position detection object
  • An image recognition illumination section that emits image recognition illumination light used for image recognition of an image recognition object
  • An illumination control unit that controls the position detection illumination unit and the image recognition illumination unit, so that the position detection illumination light and the image recognition illumination light are emitted at different timings.
  • An imaging unit in which the position detection illumination light and the image recognition illumination light are incident at different timings, Based on the luminance information of the image captured by the image capturing unit, the switching between the position detecting illumination light and the image recognition illumination light is determined, and the image capturing result of the image capturing unit in the state of being switched to the position detecting illumination light.
  • an image processing unit for performing image recognition of the object to be recognized based on the image pickup result of the image pickup unit in the state of being switched to the image recognition illumination light.
  • An image processing device provided.
  • (3) The image processing unit based on at least the luminance information of the pixels for one line in the upper portion and the luminance information of the pixels for one line in the lower portion of the captured image, the illumination light for position detection and the illumination light for image recognition.
  • the image processing apparatus according to (1) or (2) above, which determines whether to switch between and.
  • the image processing unit determines switching between the position detection illumination light and the image recognition illumination light based on the luminance information of all pixels of the captured image.
  • (1) to (3) The image processing apparatus described in 1.
  • the image processing unit based on either the brightness information of the pixel for one line in the upper portion or the brightness information of the pixel for one line in the lower portion of the captured image, the illumination light for position detection and the image recognition.
  • the illumination control unit controls the position detection illumination unit and the image recognition illumination unit such that an illumination period of the position detection illumination light is longer than an illumination period of the image recognition illumination light.
  • the image processing apparatus according to any one of (1) to (5) above.
  • An image projection illumination unit that emits image projection illumination light, A light valve that generates the image light by modulating the image projection illumination light based on the image data;
  • a position detection illumination unit that emits position detection illumination light used for position detection of a position detection object,
  • An image recognition illumination section that emits image recognition illumination light used for image recognition of an image recognition object,
  • An illumination control unit that controls the position detection illumination unit and the image recognition illumination unit, so that the position detection illumination light and the image recognition illumination light are emitted at different timings.
  • An imaging unit in which the position detection illumination light and the image recognition illumination light are incident at different timings, Based on the luminance information of the image captured by the image capturing unit, the switching between the position detecting illumination light and the image recognition illumination light is determined, and the image capturing result of the image capturing unit in the state of being switched to the position detecting illumination light.
  • an image processing unit for performing image recognition of the object to be recognized based on the image pickup result of the image pickup unit in the state of being switched to the image recognition illumination light.
  • a display device with a detection function (10) The display device with a detection function according to (9), further including a projection optical system that projects the image light onto a projection surface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Projection Apparatus (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Abstract

本開示の画像処理装置は、被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで出射されるように、位置検出用照明部および画像認識用照明部を制御する照明制御部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりを判断し、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う画像処理部とを備える。

Description

画像処理装置、および検出機能付き表示装置
　本開示は、位置検出と画像認識とを行う画像処理装置、および検出機能付き表示装置に関する。
　表示装置としてのプロジェクタに、映像の投影面上における指等の位置を検出するタッチ検出（位置検出）機能と、投影面上におけるカードやメディア等の画像認識を行う画像認識機能とを付加した検出機能付き表示装置が提案されている（特許文献１参照）。この検出機能付き表示装置では、例えば、位置検出用照明光と画像認識用照明光とを適宜切り替えて撮像された撮像結果に基づいて、位置検出と画像認識とを行う。
国際公開第２０１８／０５１８８６号
　上記の検出機能付き表示装置では、位置検出用照明光と画像認識用照明光とが実際に切り替わるタイミングがシステム遅延等に依存して正確に分からない場合があり得る。このため、無駄な待ち時間が多くなり、位置検出と画像認識とのリアルタイム性が低下する。
　位置検出および画像認識のリアルタイム性を向上させることが可能な画像処理装置、および検出機能付き表示装置を提供することが望ましい。
　本開示の一実施の形態に係る画像処理装置は、被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで出射されるように、位置検出用照明部および画像認識用照明部を制御する照明制御部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりを判断し、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う画像処理部とを備える。
　本開示の一実施の形態に係る検出機能付き表示装置は、映像投影用照明光を出射する映像投影用照明部と、映像データに基づいて映像投影用照明光を変調して映像光を生成するライトバルブと、被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで出射されるように、位置検出用照明部および画像認識用照明部を制御する照明制御部と、位置検出用照明光と画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりを判断し、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う画像処理部とを備える。
　本開示の一実施の形態に係る画像処理装置、または検出機能付き表示装置では、撮像部による撮像画像の輝度情報に基づいて、位置検出用照明光と画像認識用照明光との切り替わりが判断される。画像処理部は、位置検出用照明光に切り替わった状態における撮像部の撮像結果に基づいて被位置検出物の位置検出を行うと共に、画像認識用照明光に切り替わった状態における撮像部の撮像結果に基づいて被画像認識物の画像認識を行う。
本開示の第１の実施の形態に係る検出機能付き表示装置の一例を概略的に示す構成図である。 第１の実施の形態に係る検出機能付き表示装置の機能的な構成例を概略的に示すブロック図である。 第１の実施の形態に係る検出機能付き表示装置を側面方向から見た一構成例を概略的に示す構成図である。 第１の実施の形態に係る検出機能付き表示装置における撮像部の一構成例を概略的に示す構成図である。 第１の実施の形態に係る検出機能付き表示装置における照明光のスペクトルと撮像部のバンドパスフィルタの透過特性との一例を示す説明図である。 被画像認識物の撮像結果の一例を模式的に示す説明図である。 被位置検出物の撮像結果の一例を模式的に示す説明図である。 ローリングシャッタ方式による撮像素子の露光タイミングの一例を示す説明図である。 ローリングシャッタ方式による撮像を行った場合における位置検出用照明光と画像認識用照明光との切り替わり時の撮像画像の一例を模式的に示す説明図である。 位置検出モード時の撮像画像の輝度分布のヒストグラムの一例を示す説明図である。 画像認識モード時の撮像画像の輝度分布のヒストグラムの一例を示す説明図である。 位置検出用照明光と画像認識用照明光との切り替えタイミングの一例を示すタイミングチャートである。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　０．比較例
　１．第１の実施の形態（図１～図１２）
　　１．１　構成
　　１．２　動作
　　１．３　効果
　２．その他の実施の形態
＜０．比較例＞
（比較例に係る検出機能付き表示装置の概要と課題）
　比較例として、特許文献１（国際公開第２０１８／０５１８８６号）で提案されている検出機能付き表示装置の概要と課題について説明する。この比較例に係る検出機能付き表示装置では、例えば、位置検出用照明光と画像認識用照明光とを適宜切り替えて撮像された撮像結果に基づいて、位置検出と画像認識とを行う。この比較例に係る検出機能付き表示装置では、位置検出用照明光と画像認識用照明光とが実際に切り替わるタイミングがシステム遅延等に依存していて切り替わりタイミングが正確に分からない場合があり得る。このため、例えば、システム的に起こり得る最も長い待ち時間を入れて、照明光の切り替わりの完了とすることが考えられるが、この場合、無駄な待ち時間が多くなり、位置検出と画像認識とのリアルタイム性が損なわれる。
　また、特許文献１には、位置検出用と画像認識用とで照明光の波長を変え、それぞれの波長を２つの撮像素子で別々に撮像する構造にすることで位置検出と画像認識とを同時に行うことを可能にする方法が提案されている。しかしながら、この方法では、撮像素子が２つ必要になることで、装置のサイズが大きくなってしまい、１つの撮像素子で位置検出と画像認識とを行う場合に比べて、ポータブル化のメリットが損なわれてしまい、また、コストも高くなってしまう。
　また、特許文献１には、位置検出用と画像認識用とで照明光の波長を変えると共に、位置検出用の受光領域と画像認識用の受光領域とを別々に設けることで、１つの撮像素子によって位置検出と画像認識とを同時に行うことを可能にする方法が提案されている。しかしながら、この方法では、１つの撮像素子の画素を位置検出用と画像認識用とで半分ずつ分け合うことになるため、解像度が１／２に劣化してしまい、十分な撮像性能を得ることが困難となる。
　そこで、２つの撮像素子を用いることによる装置の複雑化および大型化を招くことなく、また、撮像画像の解像度を１／２に劣化させることもなく、位置検出および画像認識のリアルタイム性を向上させることが可能な技術の開発が望まれる。
　以下の第１の実施の形態では、本技術の画像処理装置を検出機能付き表示装置としてのプロジェクタに適用した例を説明する。
＜１．第１の実施の形態＞
［１．１　構成］
　図１は、本開示の第１の実施の形態に係る検出機能付き表示装置の一構成例を概略的に示している。図２は、検出機能付き表示装置の機能的な構成例を概略的に示している。図３は、検出機能付き表示装置を側面方向から見た一構成例を概略的に示している。図４は、検出機能付き表示装置における撮像部５の一構成例を概略的に示している。図５は、検出機能付き表示装置に用いられる複数の照明光のスペクトルと撮像部５のバンドパスフィルタ５２の透過特性との一例を示している。
　第１の実施の形態に係る検出機能付き表示装置は、映像を投影面３０に投影するプロジェクタとしての機能と、投影面３０上における例えば人の指等の被位置検出物７１の位置や動作を検出するタッチ検出（位置検出）機能と、投影面３０上におけるカードやメディア等の被画像認識物７２を画像認識する機能とを有している。被画像認識物７２としてのカードは、例えばトレーディングカード等のゲームに用いられるカードであってもよい。被画像認識物７２としてのメディアは、ＣＤ（Compact Disc）（登録商標）、ＤＶＤ（Digital Versatile Disc）（登録商標）、およびＢＤ（Blu-ray Disc）（登録商標）のようなパッケージメディアであってもよい。
　なお、投影面３０は投影用のスクリーンであってもよい。また、投影面３０は机の表面や床面等であってもよい。また、投影面３０は、壁面などであってもよい。
　図１および図２に示したように、第１の実施の形態に係る検出機能付き表示装置は、映像投影用照明部１と、位置検出用照明部２と、画像認識用照明部３と、投影光学系４と、撮像部５と、検出画像処理部６と、照明制御部７と、表示制御部８とを備えている。第１の実施の形態に係る検出機能付き表示装置は、さらに、ライトバルブ２１と、偏光分離素子２３とを備えている。
　映像投影用照明部１は、映像投影用照明光４１を出射する。ライトバルブ２１は、偏光分離素子２３を介して、映像投影用照明部１から出射された映像投影用照明光４１によって照明される。
　映像投影用照明部１は、図４に示したように、照明光学系１０と、光源部１１とを有している。光源部１１は、例えば、図５に示したように、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）のスペクトルを持つ光を発するレーザ光源を有している。光源部１１は、例えば、Ｂ光を発する青色レーザ１１Ｂと、Ｇ光を発する緑色レーザ１１Ｇと、Ｒ光を発する赤色レーザ１１Ｒとを有している。赤色レーザ１１Ｒ、緑色レーザ１１Ｇ、および青色レーザ１１Ｂはそれぞれ、例えば図示しない発光制御部によってフィールドシーケンシャル方式で発光制御されてもよい。
　照明光学系１０は、光源部１１からの光に基づいてＲＧＢのスペクトルを持つ映像投影用照明光４１を生成する。照明光学系１０は、光源部１１からの各色光を集光するコンデンサレンズ、各色光を均一化する光均一化部材、および各色の光路を合成する光路合成部材等を有していてもよい。
　ライトバルブ２１は、表示制御部８から供給された映像データに基づいて映像投影用照明光４１を変調して映像光４４を生成する。ライトバルブ２１は、例えばＬＣＯＳ（Liquid Crystal On Silicon）等の反射型の液晶素子である。ライトバルブ２１で生成された映像光４４は、偏光分離素子２３、および投影光学系４を介して投影面３０に投影される。
　位置検出用照明部２は、投影面３０上における被位置検出物７１の位置検出に用いられる位置検出用照明光４２を出射する。位置検出用照明部２は、例えば本体１００の下部に設けられている。位置検出用照明部２は、少なくとも投影面３０における映像光４４の投影エリア３１を所定の高さから覆うように位置検出用照明光４２を出射する。
　画像認識用照明部３は、投影面３０上における被画像認識物７２の画像認識に用いられる画像認識用照明光４３を出射する。画像認識用照明部３は、少なくとも投影面３０における映像光４４の投影エリア３１を含む領域を画像認識用照明光４３によって照明する。
　位置検出用照明光４２および画像認識用照明光４３の波長帯域は、例えば、図５に示したように、映像投影用照明光４１の波長帯域とは異なり、かつ、位置検出用照明光４２の中心波長と画像認識用照明光４３の中心波長とが互いに略同一となっている。
　図５に示したように、例えば、映像投影用照明光４１の波長帯域は可視域であり、位置検出用照明光４２および画像認識用照明光４３の波長帯域は近赤外域となっている。位置検出用照明部２および画像認識用照明部３はそれぞれ、例えば、近赤外光源を含んでいる。画像認識用照明光４３の波長帯域は、例えば、位置検出用照明光４２の波長帯域よりも広いことが望ましい。
　照明制御部７は、位置検出用照明部２による位置検出用照明光４２のオン（出射）、オフ（非出射）の切り替え制御と、画像認識用照明部３による画像認識用照明光４３のオン（出射）、オフ（非出射）の切り替え制御とを行うようになっている。
　照明制御部７は、位置検出用照明光４２と画像認識用照明光４３とが互いに異なるタイミンクで出射されるように、位置検出用照明部２および画像認識用照明部３を制御する。照明制御部７は、検出画像処理部６において被位置検出物７１の位置検出を行う位置検出モード時には、位置検出用照明光４２および画像認識用照明光４３のうち位置検出用照明光４２のみを出射させるように、位置検出用照明部２および画像認識用照明部３を制御する。また、照明制御部７は、検出画像処理部６において被画像認識物７２の画像認識を行う画像認識モード時には、位置検出用照明光４２および画像認識用照明光４３のうち、画像認識用照明光４３を出射させるように、位置検出用照明部２および画像認識用照明部３を制御する。
　照明制御部７は、画像認識用照明光４３による照明期間よりも位置検出用照明光４２による照明期間の方が長くなるように、位置検出用照明部２および画像認識用照明部３を制御することが望ましい。また、照明制御部７は、位置検出用照明光４２が少なくとも３フレームの期間に亘って出射されるように、位置検出用照明部２を制御することが望ましい。
　検出画像処理部６は、撮像部５の撮像結果に基づいて、被位置検出物７１の位置検出および被画像認識物７２の画像認識を行う画像処理部となっている。検出画像処理部６は、例えば、撮像部５からの検出信号を解析して、検出された物体の位置データ（座標データ）を取得する。検出画像処理部６は、被位置検出物７１の位置だけでなく、被位置検出物７１によるジェスチャー動作等の動きを解析する機能を有していてもよい。
　検出画像処理部６は、撮像部５による撮像画像の輝度情報に基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断する。検出画像処理部６は、位置検出用照明光４２に切り替わった状態における撮像部５の撮像結果に基づいて被位置検出物７１の位置検出を行う。また、検出画像処理部６は、画像認識用照明光４３に切り替わった状態における撮像部５の撮像結果に基づいて被画像認識物７２の画像認識を行う。
　検出画像処理部６は、例えば、撮像画像の輝度分布のヒストグラムに基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断する。この検出画像処理部６による位置検出用照明光４２と画像認識用照明光４３との切り替わりの判断手法については、後に詳述する。
　表示制御部８から供給される映像データには、検出画像処理部６によって認識された被画像認識物７２の画像に関連する情報を含む映像データが含まれていてもよい。
　投影光学系４は、図２に示したように、投射レンズ２４を有している。投射レンズ２４は、超短焦点レンズであってもよい。投影光学系４は、映像を投影するための機能の他、位置検出および画像認識のための結像光学系としての機能を有している。投影光学系４には、ライトバルブ２１で生成された映像光４４が入射すると共に、画像認識用照明光４３と、被位置検出物７１による位置検出用照明光４２の散乱光Ｌａとが投影面３０側から取り込まれる。
　撮像部５は、撮像素子２２と、撮像光学系２５とを有している。撮像部５には、位置検出用照明光４２と画像認識用照明光４３とが互いに異なるタイミンクで入射する。
　撮像素子２２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの固体撮像素子で構成されている。撮像素子２２は、投影面３０と光学的に共役な位置に配置されている。また、撮像素子２２は、ライトバルブ２１と光学的に共役な位置に配置されている。より具体的には、ライトバルブ２１が反射型の液晶素子である場合、映像を作り出す表示面（液晶面）と撮像素子２２の撮像面とが光学的に共役な位置となるように配置されている。撮像素子２２には、投影光学系４および偏光分離素子２３を介して、位置検出用照明光４２の散乱光Ｌａおよび画像認識用照明光４３が入射する。撮像素子２２は、少なくとも投影面３０上の投影エリア３１と略同一のエリアを撮像エリアとした撮像を行うことが可能となっている。
　撮像光学系２５は、図４に示したように、ライトバルブ２１の光学的な共役面５０と撮像素子２２との間に配置されている。撮像光学系２５は、例えば図４に示したように、複数枚のリレーレンズ５３を含む縮小光学系５１と、バンドパスフィルタ５２とを有している。
　リレーレンズ５３を含む縮小光学系５１を配置することで、ライトバルブ２１と光学的に共役な位置を共役面５０よりも遠方に設けることができる。また、縮小光学系５１を配置することで、ライトバルブ２１と光学的に共役な位置に配置しつつ、撮像素子２２のサイズをライトバルブ２１よりも小さくすることができる。
　バンドパスフィルタ５２は、映像投影用照明光４１と位置検出用照明光４２および画像認識用照明光４３とを分離するために設けられている。バンドパスフィルタ５２は、例えば図５に示したように、映像投影用照明光４１を抑制し、位置検出用照明光４２および画像認識用照明光４３の中心帯域を透過するような透過特性とされている。
　撮像素子２２上に結像する光は微弱であるため、画像認識および位置検出の際に信号のサチレーションを防ぐ目的でバンドパスフィルタ５２を挿入することが重要となる。バンドパスフィルタ５２の特性を、近赤外領域を透過し、可視光、および近赤外以外の赤外光は抑制する特性にすることにより、プロジェクタとしての機能と位置検出および画像認識の機能とを両立させることが可能となる。バンドパスフィルタ５２によって位置検出および画像認識の際に不要となる光を抑制することで、撮像素子２２上には位置検出光（位置検出用照明光４２の散乱光Ｌａ）と画像認識光（画像認識用照明光４３）とを信号光として導くことが可能となる。これにより、撮像素子２２上でＳ／Ｎのよい鮮明な画像情報を得ることが可能となる。この特性に律速し、上述したように、位置検出用照明光４２および画像認識用照明光４３の中心波長は略同一の波長帯とすることが望ましい。
　偏光分離素子２３は、例えば図４に示したように、４つの光学面を有する偏光ビームスプリッタとなっている。ここでは、図４における水平方向に対向する２つの面を第１の光学面および第３の光学面とし、垂直方向に対向する２つの面を第２の光学面および第４の光学面として説明する。図４に示したように、第１の光学面には、映像投影用照明部１からの映像投影用照明光４１が入射する。ライトバルブ２１は、偏光分離素子２３の第２の光学面側に配置されている。偏光分離素子２３の第３の光学面側には、撮像部５が配置されている。偏光分離素子２３の第４の光学面側には、投影光学系４が配置されている。
　偏光分離素子２３は、入射した光を第１の偏光成分（例えばＳ偏光成分）と第２の偏光成分（例えばＰ偏光成分）とに分離し、それぞれを互いに異なる方向に出射する。偏光分離素子２３は、特定の第１の偏光成分を選択的に反射させると共に、特定の第２の偏光成分を選択的に透過させる。偏光分離素子２３は、第１の光学面に入射した映像投影用照明光４１に含まれる第１の偏光成分をライトバルブ２１に向けて反射する。ライトバルブ２１で変調され、第２の偏光成分とされた光が、偏光分離素子２３の第４の光学面から出射し、映像光４４として投影光学系４に入射する。
　また、偏光分離素子２３の第４の光学面には、投影光学系４を介して位置検出用照明光４２の散乱光Ｌａと画像認識用照明光４３とが入射する。偏光分離素子２３は、位置検出用照明光４２の散乱光Ｌａおよび画像認識用照明光４３に含まれる第１の偏光成分を第３の光学面を介して撮像部５に向けて反射する。
［１．２　動作］
（画像認識について）
　図６は、撮像部５による被画像認識物７２の撮像結果の一例を模式的に示している。
　図６の撮像結果は、映像光４４を投影しつつ、画像認識モードにした場合の被画像認識物７２の撮像結果の一例を模式的に示している。ここでの画像認識モードとは、画像認識用照明オン、かつ位置検出照明オフにした状態とする。
　上記の構成により、映像光４４によって投影面３０に投影された映像情報には影響を受けずに、投影エリア３１に配置された被画像認識物７２の情報を、図６のように画像認識用照明光４３で照らされた輝度の情報として、撮像素子２２によって撮像することができる。検出画像処理部６は、撮像素子２２による検出信号を画像処理し、被画像認識物７２を個体認識する。被画像認識物７２がカードやＣＤ等の場合、検出画像処理部６は、表面に印刷された絵柄といった特徴点を認識することで、被画像認識物７２を個体認識する。検出画像処理部６は、認識した被画像認識物７２に関連する情報を表示制御部８にフィードバックする。表示制御部８は、認識した被画像認識物７２に関連する情報が含まれる映像データをライトバルブ２１に供給する。これにより、認識した被画像認識物７２に関連する情報を映像として投影することができる。
　図６は、撮像素子２２によって撮像された被画像認識物７２の画像を模式的に示しているが、図６を見ても分かるとおり、撮像素子２２で撮像された画像には台形歪や位置ずれはほとんど無い。仮に、検出機能付き表示装置とは別体として設けられたカメラで撮像した画像の場合には、位置ずれが発生しやすく、また、第１の実施の形態に係る検出機能付き表示装置とは投射スタイル（撮像スタイル）が異なり、カメラの画角や物体との像関係のずれにより台形歪が容易に発生してしまう。第１の実施の形態に係る検出機能付き表示装置の構成では、被画像認識物７２から撮像素子２２に至る光路上に投影光学系４が配置され、画像認識のための光学系が映像投影用の光学系と部分的に共通化されている。これにより、台形歪や位置ずれの発生が抑制される。台形歪や位置ずれの発生を抑制するために、投影光学系４に超短焦点の投射レンズ２４を用いることが望ましい。
（位置検出について）
　図７は、撮像部５による被位置検出物７１の撮像結果の一例を模式的に示している。図７の撮像結果は、映像光４４を投影しつつ、位置検出モードにした場合の被位置検出物７１の撮像結果の一例を模式的に示している。ここでの位置検出モードとは、画像認識用照明オフ、かつ位置検出照明オンにした状態とする。
　第１の実施の形態に係る検出機能付き表示装置では、画像認識だけではなく、位置検出機能があり、タブレット端末等での直感的な操作を踏襲したタッチインタラクションの機能を実現可能となっている。これにより、ユーザに対して、より自然な操作や、映像提供側が意図した映像体験を実現することができる。
　位置検出用照明部２は、図１および図３に示すように、少なくとも投影面３０における映像光４４の投影エリア３１を所定の高さから覆うように広角で広げられた位置検出用照明光４２を、本体１００の下部から出射する。これにより、少なくとも投影面３０における投影エリア３１が、所定の高さから位置検出用照明光４２による近赤外光バリアで覆われる。このような近赤外光バリアで覆うことにより、指等の被位置検出物７１による指示が無い場合は位置検出用照明光４２は拡散しない。一方、指等で投影エリア３１を指し示した場合には、近赤外光バリアを遮る形となり、指等に当たった位置検出用照明光４２の散乱光Ｌａが生じる。この位置検出用照明光４２の散乱光Ｌａが、上記した画像認識の場合と同様に、投影光学系４および偏光分離素子２３を介して、撮像素子２２に入射する。ここで、撮像素子２２と投影面３０は光学的に共役の関係にある位置に配置してあるため、映像投影位置と指等による指し示した位置とが１：１の関係にある。従って、検出画像処理部６によって撮像素子２２の撮像結果に基づく検出信号を解析することで、投影面３０上で指等で指し示した位置（座標）を特定することができる。検出画像処理部６は、特定した位置情報を表示制御部８にフィードバックすることで、投影する映像データに反映させる。これにより、ユーザは指等をマウスのポインタのような役割として、映像を操作することが可能となる。
　検出画像処理部６において、指等で指示した位置を特定する場合、例えば、適切なしきい値を設けて検出信号を２値化することで、ノイズ成分と分離して位置信号を抽出することができる。ただし、第１の実施の形態検出機能付き表示装置では、位置検出用照明光４２および画像認識用照明光４３の中心波長を略同一にしているため、画像認識用照明光４３を投影面３０に照らしていると、ノイズレベルが非常に高くなり、位置信号を抽出することが困難となる。従って、位置検出モードでは、画像認識用照明光４３を適切なタイミングでオフすることが望ましい。
（位置検出用照明光４２の高さと被画像認識物７２の高さとの関係）
　位置検出用照明部２は、上述したように、投影面３０に対して所定の高さから位置検出用照明光４２を出射する。この場合において、位置検出用照明部２は、投影面３０に対して被画像認識物７２を所定数重ねた高さよりも高い位置から、投影面３０に対して略平行となる光を、位置検出用照明光４２として出射することが望ましい。
　上述したように、本実施の形態に係る検出機能付き表示装置では、指等の被位置検出物７１を検出する場合、指等によって位置検出用照明光４２による近赤外光バリアが遮られた場合に発生する散乱光Ｌａを検出する。このため、指等で投影面３０の近傍を指し示していない場合には、散乱光Ｌａが発生しない状態にすることが望ましい。従って、位置検出用照明光４２の投影面３０に対する高さが低すぎると、投影面３０に配置される被画像認識物７２によって散乱光Ｌａが発生しまうので、被画像認識物７２によって散乱光Ｌａが発生しないような高さから位置検出用照明光４２を出射することが望ましい。
　なお、上記した所定数とは、想定される被画像認識物７２に応じた数に設定することが望ましい。例えば、本実施の形態に係る装置をカードゲームに適用する場合、被画像認識物７２はカードになるが、その場合、カードは複数枚重ねて使用する形態があり得る。この場合、所定数とは複数枚となり得る。また、被画像認識物７２がＣＤやＤＶＤ等のパッケージメディアである場合、通常は、メディアを重ねて使用しない形態であり得る。この場合、所定数とは１枚となり得る。
（画像認識用照明光４３の拡散角について）
　画像認識用照明光４３の出射拡散角θ２は、図３に示したように、位置検出用照明光４２の出射拡散角θ１よりも大きいことが望ましい。また、画像認識用照明光４３の出射拡散角θ２の大きさは、位置検出用照明光４２の出射拡散角θ１の大きさの１０倍以上であることが望ましい。なお、ここでいう出射拡散角θ１，θ２とは、投影面３０に対して垂直方向の拡散角である。
　例えば、位置検出用照明光４２の出射拡散角θ１は２°以内であってもよい。また、画像認識用照明光４３の出射拡散角θ２は、投影エリア３１の大きさにも依存するが、３０°以上であってもよい。
（各照明光の出射位置）
　画像認識用照明部３における画像認識用照明光４３の出射位置Ｐ３は、図３に示したように、投影面３０に対して、位置検出用照明部２における位置検出用照明光４２の出射位置Ｐ２よりも遠方であることが望ましい。
　また、投影光学系４における映像光４４の出射位置Ｐ１は、図３に示したように、投影面３０に対して、位置検出用照明部２における位置検出用照明光４２の出射位置Ｐ２よりも遠方であることが望ましい。また、画像認識用照明部３における画像認識用照明光４３の出射位置Ｐ３は、図３に示したように、投影面３０に対して、投影光学系４における映像光４４の出射位置Ｐ１よりも遠方であることが望ましい。
（位置検出用照明光４２と画像認識用照明光４３との切り替わりの判断について）
　図８は、ローリングシャッタ方式による撮像素子２２の露光タイミングの一例を示している。図９は、ローリングシャッタ方式による撮像を行った場合における位置検出用照明光と画像認識用照明光との切り替わり時の撮像画像の一例を模式的に示している。
　第１の実施の形態に係る検出機能付き表示装置では、例えば、画像認識モードと位置検出モードとを所定のタイミングで切り替え、画像認識と位置検出とを時分割で交互に行う。この際、第１の実施の形態に係る検出機能付き表示装置では、モードの切り替えを高速に行うことにより、位置検出と画像認識とを略同時に近いタイミングで行うことが可能となる。しかしながら、特に、撮像部５において、撮像素子２２がＣＭＯＳセンサ等のローリングシャッタ方式による撮像を行うものである場合、照明光の切り替え時に図９に示すような画像が発生してしまう。
　図８において、ＶＤは垂直同期信号のタイミングを示す。図８には、撮像素子２２の各水平画素ラインごとの露光タイミングの一例を示す。ローリングシャッタ方式では、図８に示したように、露光タイミングが１水平画素ラインごとに異なり、１水平画素ラインごとに画素データのデータ転送を行う。このため、どのタイミングで照明光を切り替えても、切り替えの照明光による画像と切り替え後の照明光による画像とが混在した画像が発生してしまう。
　例えば、画像認識用照明光４３から位置検出用照明光４２に切り替える場合、切り替え前には理想的には図６に示したような撮像画像が得られる。切り替え後には理想的には図７に示したような撮像画像が得られるが、実際には切り替え直後には、図９に示したように、切り替え前の照明光による画像と切り替え後の照明光による画像とが混在した撮像画像が発生してしまう。従って、この２つの照明光が混在した画像を判別することで、照明光の切り替えの終了タイミングを判断することが可能となる。２つの照明光が混在した画像の後に取得される画像は、完全に照明光が切り替わった状態における画像になる。
　図１０は、図７に示したような位置検出用照明光４２のみによって照明された状態における位置検出モード時の撮像画像の輝度分布のヒストグラムの一例を示している。図１１は、図６に示したような画像認識用照明光４３のみによって照明された状態における画像認識モード時の撮像画像の輝度分布のヒストグラムの一例を示している。図１０および図１１において、横軸は輝度、縦軸は画素数を示す。
　図１０に示したように、位置検出モード時の撮像画像の輝度分布のヒストグラムは、輝度分布が暗い方に偏っている。逆に、図１１に示したように、画像認識モード時の撮像画像の輝度分布のヒストグラムは、輝度分布が明るい方に偏っている。従って、取得された画像の上部の輝度と下部の輝度との差が著しく異なる場合、照明光の切り替え途中の図９のような画像が取得されたことが判明するため、その後に取得される画像は、照明光の切り替わり後の画像になることがわかる。
　以上のことから、検出画像処理部６は、撮像画像の輝度分布のヒストグラムに基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断することが可能となる。
　検出画像処理部６は、例えば、少なくとも撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とに基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断することができる。上述したように、図９に示したような２つの照明光が混在した撮像画像では、画像の上部の輝度と下部の輝度との差が著しく異なるため、例えば最上部の１ライン分の画素の輝度と最下部の１ライン分の画素の輝度とに基づいて、照明光の切り替わりを判断することが可能となる。
　また、検出画像処理部６は、例えば、撮像画像の全画素の輝度情報に基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断するようにしてもよい。図１０および図１１に示したように、位置検出モード時の撮像画像の輝度分布と画像認識モード時の撮像画像の輝度分布は全体的に異なっているので、全画素の輝度情報に基づいて、照明光の切り替わりを判断することが可能となる。
　また、検出画像処理部６は、例えば、撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とのいずれか一方に基づいて、位置検出用照明光４２と画像認識用照明光４３との切り替わりを判断するようにしてもよい。例えば、撮像素子２２の仕様として、画素データの切り替わりが上側から切り替わるのか、下側から切り替わるのかが、あらかじめ分かっていれば、画素データの切り替わりが終わる上側または下側の１ライン分の画素の輝度分布を見るだけで、照明光の切り替わりの判断が可能となる。
（位置検出用照明光４２と画像認識用照明光４３との各照明期間について）
　以下で説明するように、照明制御部７は、画像認識用照明光４３による照明期間よりも位置検出用照明光４２による照明期間の方が長くなるように、位置検出用照明部２および画像認識用照明部３を制御することが望ましい。また、照明制御部７は、位置検出用照明光４２が少なくとも３フレームの期間に亘って出射されるように、位置検出用照明部２を制御することが望ましい。
　図１２は、位置検出用照明光４２と画像認識用照明光４３との切り替えタイミングの一例を示すタイミングチャートである。図１２の上側には、画像認識用照明光４３による照明期間よりも位置検出用照明光４２による照明期間の方を長くした例を示す。図１２の上側には、一例として、位置検出用照明光４２による照明期間と画像認識用照明光４３による照明期間との割合をフレーム数に換算して８：２にした例を示す。図１２の上側の例では、図１２の下側には、画像認識用照明光４３による照明期間と位置検出用照明光４２による照明期間とを同じにした例を示す。図１２の下側の例では、位置検出用照明光４２による照明期間と画像認識用照明光４３による照明期間との割合をフレーム数に換算して２：２にした例を示す。
　上述したように、照明光の切り替わり直後のタイミングでは図９のような２つの照明光が混在した画像が取得される。この画像は、図１２に示したように位置検出用または画像認識用の画像としては使えない捨てフレームとなる。ここで、画像認識モードと位置検出モードの特性として、画像認識モードでは、画像の認識を頻繁に行わなくてもリアルタイム性を損ねることはないという特徴がある。一方、位置検出モードでは、動いている指等の位置検出するなど、かなりのリアルタイム性が必要となるため、できるだけ検出不可能な期間を少なくすることが好ましい。
　従って、１秒間に取得できる画像のフレーム数に対して、画像認識モード時には少な目に、位置検出モード時には多めにフレームを割り当てることで、位置検出と画像認識のどちらもリアルタイム性を高めることができる。その際に、位置検出モード時の照明期間を図１２の上側の例のように、３フレーム以上、連続して取るようにすると、単位時間内に発生する照明の切り替え回数を減らすことができる。このため、ローリングシャッタの特性によって、切り替え前後の画像が混在する回数を減らすことができ、図１２の下側の例のように位置検出用の画像と画像認識用の画像とを同じ割合で取得する場合に比べて、単位時間内に取得できる有効画像のフレーム数を増やすことができる。
　なお、位置検出用照明光４２による照明期間を長くしすぎると、画像認識のリアルタイム性が低下するため、位置検出用照明光４２による連続する照明期間は例えば０．５秒以下にすることが好ましい。１秒間の撮像フレーム数が３０フレームの場合、位置検出用照明光４２による連続する照明期間は、例えば１２フレーム以下にすることが好ましい。
［１．３　効果］
　以上説明したように、第１の実施の形態に係る検出機能付き表示装置によれば、２つの撮像素子を用いることによる装置の複雑化および大型化を招くことなく、また、撮像画像の解像度を１／２に劣化させることもなく、位置検出および画像認識のリアルタイム性を向上させることが可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．その他の実施の形態＞
　本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、上記第１の実施の形態では、本技術の画像処理装置を検出機能付き表示装置としてのプロジェクタに適用した場合について説明したが、本技術の画像処理装置はプロジェクタ以外の表示装置にも適用可能である。また、本技術の画像処理装置は、画像表示の機能を有さない装置にも適用可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、位置検出および画像認識のリアルタイム性を向上させることが可能となる。
（１）
　被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
　被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
　前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
　を備える
　画像処理装置。
（２）
　前記画像処理部は、前記撮像画像の輝度分布のヒストグラムに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
　上記（１）に記載の画像処理装置。
（３）
　前記画像処理部は、少なくとも前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
　上記（１）または（２）に記載の画像処理装置。
（４）
　前記画像処理部は、前記撮像画像の全画素の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
　上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
　前記画像処理部は、前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とのいずれか一方に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
　上記（１）または（２）に記載の画像処理装置。
（６）
　前記照明制御部は、前記画像認識用照明光による照明期間よりも前記位置検出用照明光による照明期間の方が長くなるように、前記位置検出用照明部および前記画像認識用照明部を制御する
　上記（１）ないし（５）のいずれか１つに記載の画像処理装置。
（７）
　前記照明制御部は、前記位置検出用照明光が少なくとも３フレームの期間に亘って出射されるように、前記位置検出用照明部を制御する
　上記（６）に記載の画像処理装置。
（８）
　前記撮像部は、ローリングシャッタ方式による撮像を行う
　上記（１）ないし（７）のいずれか１つに記載の画像処理装置。
（９）
　映像投影用照明光を出射する映像投影用照明部と、
　映像データに基づいて前記映像投影用照明光を変調して映像光を生成するライトバルブと、
　被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
　被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
　前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
　を備える
　検出機能付き表示装置。
（１０）
　前記映像光を投影面に投影する投影光学系、をさらに備える
　上記（９）に記載の検出機能付き表示装置。
　本出願は、日本国特許庁において２０１８年１２月２０日に出願された日本特許出願番号第２０１８－２３７８９９号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (10)

  1. 　被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
    　被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
    　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
    　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
    　前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
    　を備える
    　画像処理装置。
  2. 　前記画像処理部は、前記撮像画像の輝度分布のヒストグラムに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    　請求項１に記載の画像処理装置。
  3. 　前記画像処理部は、少なくとも前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とに基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    　請求項１に記載の画像処理装置。
  4. 　前記画像処理部は、前記撮像画像の全画素の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    　請求項１に記載の画像処理装置。
  5. 　前記画像処理部は、前記撮像画像における上部の１ライン分の画素の輝度情報と下部の１ライン分の画素の輝度情報とのいずれか一方に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断する
    　請求項１に記載の画像処理装置。
  6. 　前記照明制御部は、前記画像認識用照明光による照明期間よりも前記位置検出用照明光による照明期間の方が長くなるように、前記位置検出用照明部および前記画像認識用照明部を制御する
    　請求項１に記載の画像処理装置。
  7. 　前記照明制御部は、前記位置検出用照明光が少なくとも３フレームの期間に亘って出射されるように、前記位置検出用照明部を制御する
    　請求項６に記載の画像処理装置。
  8. 　前記撮像部は、ローリングシャッタ方式による撮像を行う
    　請求項１に記載の画像処理装置。
  9. 　映像投影用照明光を出射する映像投影用照明部と、
    　映像データに基づいて前記映像投影用照明光を変調して映像光を生成するライトバルブと、
    　被位置検出物の位置検出に用いられる位置検出用照明光を出射する位置検出用照明部と、
    　被画像認識物の画像認識に用いられる画像認識用照明光を出射する画像認識用照明部と、
    　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで出射されるように、前記位置検出用照明部および前記画像認識用照明部を制御する照明制御部と、
    　前記位置検出用照明光と前記画像認識用照明光とが互いに異なるタイミンクで入射する撮像部と、
    　前記撮像部による撮像画像の輝度情報に基づいて、前記位置検出用照明光と前記画像認識用照明光との切り替わりを判断し、前記位置検出用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被位置検出物の位置検出を行うと共に、前記画像認識用照明光に切り替わった状態における前記撮像部の撮像結果に基づいて前記被画像認識物の画像認識を行う画像処理部と
    　を備える
    　検出機能付き表示装置。
  10. 　前記映像光を投影面に投影する投影光学系、をさらに備える
    　請求項９に記載の検出機能付き表示装置。
PCT/JP2019/045724 2018-12-20 2019-11-22 画像処理装置、および検出機能付き表示装置 WO2020129536A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980082512.8A CN113168266A (zh) 2018-12-20 2019-11-22 具有检测功能的图像处理设备和显示设备
US17/413,816 US11429229B2 (en) 2018-12-20 2019-11-22 Image processing apparatus and display apparatus with detection function

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-237899 2018-12-20
JP2018237899A JP2020101878A (ja) 2018-12-20 2018-12-20 画像処理装置、および検出機能付き表示装置

Publications (1)

Publication Number Publication Date
WO2020129536A1 true WO2020129536A1 (ja) 2020-06-25

Family

ID=71100429

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045724 WO2020129536A1 (ja) 2018-12-20 2019-11-22 画像処理装置、および検出機能付き表示装置

Country Status (4)

Country Link
US (1) US11429229B2 (ja)
JP (1) JP2020101878A (ja)
CN (1) CN113168266A (ja)
WO (1) WO2020129536A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023149537A1 (ja) * 2022-02-07 2023-08-10 パナソニックＩｐマネジメント株式会社 投影撮像光学系及び投写型映像表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344069A (ja) * 2000-03-31 2001-12-14 Seiko Epson Corp 画像処理を用いた指示位置の検出
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
JP2013196475A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
US20140313166A1 (en) * 2012-01-11 2014-10-23 Smart Technologies Ulc Interactive input system and method
JP2016186674A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP2017021861A (ja) * 2016-11-01 2017-01-26 日立マクセル株式会社 プロジェクタ及びヘッドマウント型表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4497890B2 (ja) * 2003-10-30 2010-07-07 キヤノン株式会社 投射型画像表示装置
JP2009031798A (ja) * 2008-07-28 2009-02-12 Seiko Epson Corp 画像表示方法及び装置並びにプロジェクタ
JP5423222B2 (ja) * 2009-08-07 2014-02-19 ソニー株式会社 位置検出装置および位置検出方法
JP2012014668A (ja) * 2010-06-04 2012-01-19 Sony Corp 画像処理装置、画像処理方法、プログラム、および電子装置
JP6128008B2 (ja) * 2013-08-26 2017-05-17 ソニー株式会社 投射型表示装置
CN104092941A (zh) * 2014-07-10 2014-10-08 深圳市得意自动化科技有限公司 摄像元件的摄像方法
WO2016017315A1 (ja) * 2014-07-29 2016-02-04 ソニー株式会社 投射型表示装置
WO2017060993A1 (ja) * 2015-10-07 2017-04-13 日立マクセル株式会社 映像表示装置およびこれに用いる操作検出方法
WO2018051886A1 (ja) * 2016-09-13 2018-03-22 ソニー株式会社 検出機能付き表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344069A (ja) * 2000-03-31 2001-12-14 Seiko Epson Corp 画像処理を用いた指示位置の検出
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
US20140313166A1 (en) * 2012-01-11 2014-10-23 Smart Technologies Ulc Interactive input system and method
JP2013196475A (ja) * 2012-03-21 2013-09-30 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
JP2016186674A (ja) * 2015-03-27 2016-10-27 セイコーエプソン株式会社 インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP2017021861A (ja) * 2016-11-01 2017-01-26 日立マクセル株式会社 プロジェクタ及びヘッドマウント型表示装置

Also Published As

Publication number Publication date
JP2020101878A (ja) 2020-07-02
US20220019301A1 (en) 2022-01-20
US11429229B2 (en) 2022-08-30
CN113168266A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
KR100917524B1 (ko) 위치 검출 장치
JP5431312B2 (ja) プロジェクタ
CN109922323B (zh) 具有图像拾取功能的投影显示器
US20120280941A1 (en) Projection display system for table computers
US8690340B2 (en) Combined image projection and capture system using on and off state positions of spatial light modulator
US20150042564A1 (en) Projector
US9785267B2 (en) Display apparatus, display system, and control method
JP6525603B2 (ja) 撮像装置
US10671221B2 (en) Display apparatus with detection function
WO2020129536A1 (ja) 画像処理装置、および検出機能付き表示装置
JP2012018214A (ja) 投写型映像表示装置
WO2020250739A1 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP7062751B2 (ja) 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
JP2011043689A (ja) プロジェクタ装置及びプロジェクタ制御方法
JP6883256B2 (ja) 投影装置
JP2012145646A (ja) 投写型映像表示装置
JP2016057363A (ja) 投影装置
JP2013026656A (ja) 撮影装置、撮影方法、および撮影プログラム
US10474020B2 (en) Display apparatus and method for controlling display apparatus to display an image with an orientation based on a user's position
US8573786B2 (en) Projector apparatus and method for dynamically masking objects
JP2016220080A (ja) 撮像装置及び投影システム
JP2019109273A (ja) プロジェクタ
JP6969606B2 (ja) 検出機能付きプロジェクタ
JP2017201380A (ja) 投影撮像装置
JP2010276912A (ja) 投写型映像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19897609

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19897609

Country of ref document: EP

Kind code of ref document: A1