WO2020194853A1 - 撮像装置および判定方法 - Google Patents

撮像装置および判定方法 Download PDF

Info

Publication number
WO2020194853A1
WO2020194853A1 PCT/JP2019/045572 JP2019045572W WO2020194853A1 WO 2020194853 A1 WO2020194853 A1 WO 2020194853A1 JP 2019045572 W JP2019045572 W JP 2019045572W WO 2020194853 A1 WO2020194853 A1 WO 2020194853A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
polarization
illumination
light
component
Prior art date
Application number
PCT/JP2019/045572
Other languages
English (en)
French (fr)
Inventor
大山　実
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019057822A external-priority patent/JP2020159791A/ja
Priority claimed from JP2019057823A external-priority patent/JP2020159792A/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2020194853A1 publication Critical patent/WO2020194853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/21—Polarisation-affecting properties
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units

Definitions

  • the present invention relates to an imaging device and a determination method.
  • a head-up display has been used in which an image display light is projected onto a windshield of a vehicle or the like, and a virtual image based on the image display light is superimposed on the scenery outside the vehicle.
  • a user such as a driver visually recognizes the image display light reflected by the windshield.
  • the reflectance of a general windshield made of glass or the like has polarization dependence, and the P polarization component is less likely to be reflected than the S polarization component.
  • the S polarized light component that is easily reflected by the windshield is shielded by the polarized sunglasses, which makes it difficult to see the image display light.
  • a display device has been proposed in which the image display light is easily visible even when polarized sunglasses are used (see, for example, Patent Document 1).
  • the image display light will be dark for users who do not use polarized sunglasses.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for detecting the presence or absence of the use of polarized sunglasses.
  • the image pickup apparatus of an aspect of the present invention captures a camera, a first illumination light linearly polarized in the first direction, and a second illumination light linearly polarized in a second direction orthogonal to the first direction.
  • a lighting device capable of selectively irradiating an object, a first image including an imaged object irradiated with the first illumination light, and a second image including an imaged object irradiated with the second illumination light are captured from a camera.
  • the image acquisition unit to be acquired and an image processing unit for determining whether or not the imaging target includes a linear polarizer based on the first image and the second image are provided.
  • Another aspect of the present invention is a determination method.
  • the first image of the imaged object irradiated with the first illumination light linearly polarized in the first direction and the second illumination light linearly polarized in the second direction orthogonal to the first direction are irradiated. It is determined whether or not the imaging target includes a linear polarizer based on the second image obtained by imaging the imaging target.
  • Another aspect of the present invention is an imaging device.
  • This imaging device selectively transmits the first linear polarization component of the incident light directed to the imaging element and the second linear polarization component orthogonal to the first linear polarization component toward the imaging element. Based on the mechanism, the first image in which the first linearly polarized light component of the incident light is imaged, and the second image in which the second linearly polarized light component of the incident light is imaged, whether or not the imaged object includes a linearly polarizing element is determined. It includes an image processing unit for determining.
  • Another aspect of the present invention is a determination method.
  • the first image of the first linearly polarized light component of the incident light directed to the image sensor and the second linearly polarized light component orthogonal to the first linearly polarized light component of the incident light directed to the image sensor are imaged. Based on the image, it is determined whether or not the image pickup target of the image pickup device includes a linear polarizer.
  • 9 (a) and 9 (b) are diagrams schematically showing the configuration of the lighting device according to another modified example. It is a figure which shows typically the installation example of the image pickup apparatus which concerns on 2nd Embodiment. It is a figure which shows typically the structure of the image pickup apparatus which concerns on 2nd Embodiment. It is a figure which shows typically the structure of the polarization control mechanism which concerns on 2nd Embodiment. It is a block diagram which shows typically the functional structure of the control device which concerns on 2nd Embodiment. It is a timing chart which shows the operation of a camera schematically. 15 (a) and 15 (b) are diagrams schematically showing the configuration of the camera according to the modified example.
  • 16 (a) and 16 (b) are diagrams schematically showing the configuration of a camera according to another modified example.
  • 17 (a) and 17 (b) are diagrams schematically showing the configuration of a camera according to still another modified example.
  • 18 (a)-(f) are diagrams schematically showing polarized light according to the third embodiment. It is a figure which shows typically the determination method of the polarized sunglasses which concerns on 3rd Embodiment.
  • 20 (a) and 20 (b) are diagrams schematically showing the configuration of the camera according to the third embodiment.
  • 21 (a)-(d) are diagrams schematically showing the operation of the polarization control mechanism.
  • FIG. 1 is a diagram schematically showing an installation example of the image pickup apparatus 10 according to the first embodiment.
  • the image pickup device 10 and the virtual image display device 50 are installed in the vehicle 60, which is an example of the moving body.
  • the image pickup device 10 is a so-called driver monitor, and images the face of the driver 70 of the vehicle 60 to monitor the state of the driver 70.
  • the virtual image display device 50 is a so-called head-up display, and projects an image display light 52 on the windshield 62 to present the virtual image 54 in front of the vehicle 60 in the traveling direction (right direction in FIG. 1).
  • the driver 70 visually recognizes the virtual image 54 superimposed on the real landscape through the windshield 62.
  • the traveling direction (front-rear direction) of the vehicle 60 is the z direction
  • the top-bottom direction (vertical direction) of the vehicle 60 is the y direction
  • the left-right direction of the vehicle 60 is the x direction.
  • the image pickup device 10 is configured to be able to determine whether or not the sunglasses 72 used by the driver 70 are polarized sunglasses.
  • the polarized sunglasses are sunglasses capable of shielding or reducing the reflected light on the water surface, and include a linear polarizer that shields or reduces the S-polarizing component and transmits the P-polarizing component.
  • ordinary sunglasses do not contain a linear polarizer and include an ND (Neutral Density) filter that attenuates the intensity of incident light.
  • the background that requires the detection of polarized sunglasses is the polarization dependence of the reflectance of the image display light 52 in the windshield 62.
  • FIG. 2 is a graph showing the reflectance of the windshield 62. It is known that the reflectance of a general windshield 62 made of glass or the like has polarization dependence, and the reflectance Rp of the P polarization component is lower than the reflectance Rs of the S polarization component. Therefore, among the image display lights 52 shown in FIG. 1, the reflectance of the first display light 52s of the S polarization component is relatively high, and the reflectance of the second display light 52p of the P polarization component is relatively low. In particular, at an incident angle (for example, 53 degrees) called Brewster's angle ⁇ B , the reflectance Rp of the P-polarized light component becomes 0. As shown in FIG.
  • the image display light 52 projected from the virtual image display device 50 is obliquely input-reflected with respect to the windshield 62, and the input / reflection angle ⁇ at the windshield 62 is the Brewster angle ⁇ B. Can take close values.
  • the first display light 52s of the S polarization component easily reaches the eyes of the driver 70, and the second display light 52p of the P polarization component does not easily reach the eyes of the driver 70.
  • the driver 70 is using polarized sunglasses, the first display light 52s of the S polarized component is shielded or reduced by the polarized sunglasses.
  • the second display light 52p of the P polarization component must be used.
  • the driver 70 does not use polarized sunglasses, it is possible to provide a brighter and more visible virtual image 54 by using the first display light 52s of the S polarization component. Therefore, in the present embodiment, it is possible to automatically determine whether or not polarized sunglasses are used, and to provide an image display light 52 having a more appropriate polarized component depending on whether or not polarized sunglasses are used.
  • the S-polarized light component in the configuration of FIG. 1 is a light component linearly polarized in the first direction orthogonal to both the incident direction and the reflected direction of the image display light 52 in the windshield 62, and is the left-right direction of the vehicle 60 ( It corresponds to a light component linearly polarized in the x direction).
  • the P polarization component is a light component linearly polarized in the second direction orthogonal to the first direction, and is along the yz plane defined in the vertical direction (y direction) and the front-rear direction (z direction) of the vehicle 60. It corresponds to a light component linearly polarized in the direction.
  • the image pickup device 10 is configured to irradiate the illumination light 12 toward the face of the driver 70 to be imaged.
  • the image pickup apparatus 10 selects the first illumination light 12s of the S-polarized component linearly polarized in the first direction and the second illumination light 12p of the P-polarized component linearly polarized in the second direction toward the driver 70. It is configured to irradiate the target.
  • the image pickup apparatus 10 acquires a first image of the driver 70 irradiated with the first illumination light 12s and a second image of the driver 70 irradiated with the second illumination light 12p.
  • the image pickup apparatus 10 determines whether or not the driver 70 is using polarized sunglasses by comparing the first image and the second image.
  • FIG. 3 is a diagram schematically showing a method for determining polarized sunglasses.
  • the image is acquired by the image pickup apparatus 10 in three cases: (a) when the naked eye is not using sunglasses, (b) when using normal sunglasses which are not polarized sunglasses, and (c) when using polarized sunglasses.
  • the first image and (ii) the second image are shown.
  • FIG. 3 also shows histograms of the (iii) difference image and the (iv) difference image corresponding to the difference between the first image and the second image.
  • the histogram is a graph of the distribution of the brightness values of each pixel constituting the image, and is represented by a graph in which the horizontal axis is the brightness value and the vertical axis is the number of pixels.
  • the brightness value of the difference image (that is, the difference value between the first brightness value and the second brightness value). ) Becomes almost zero, and almost nothing appears in the difference image.
  • the peak 74 is detected only in the vicinity where the luminance value becomes zero.
  • the appearance of the polarized sunglasses differs between the first image of the S-polarized illumination and the second image of the P-polarized illumination. Since the polarized sunglasses shield the S-polarized component, the polarized sunglasses appear black in the first image of the S-polarized illumination. On the other hand, since polarized sunglasses transmit the P-polarized component, the polarized sunglasses can be seen through in the second image of P-polarized illumination. As a result, in the difference image, the absolute value of the brightness value in the region of the polarized sunglasses (that is, the difference value between the first brightness value and the second brightness value) becomes large, and the polarized sunglasses appear to be emphasized.
  • the first luminance value of the polarized sunglasses region in the first image is relatively small (that is, dark) and the second luminance value of the polarized sunglasses region in the second image is relatively large (that is, bright), in the difference image.
  • the brightness value in the polarized sunglasses region is a negative value (for example, ⁇ n).
  • the first peak 74a is detected in the vicinity where the luminance value becomes zero
  • the second peak 74b is detected in the vicinity where the luminance value becomes ⁇ n. In this way, by comparing the first image of the S-polarized illumination and the second image of the P-polarized illumination, the presence or absence of the polarized sunglasses can be detected.
  • FIG. 4 is a diagram schematically showing the configuration of the image pickup apparatus 10 according to the first embodiment.
  • the image pickup device 10 includes a lighting device 20, a camera 22, and a control device 24.
  • the camera 22 targets the driver 70 in front of the image pickup shaft 16.
  • the lighting device 20 irradiates the illumination light 12 toward the driver 70 in front of the illumination shaft 14.
  • the control device 24 controls the operations of the camera 22 and the lighting device 20.
  • the illumination axis 14 and the image pickup axis 16 are drawn so as to be parallel, but the illumination axis 14 and the image pickup axis 16 do not necessarily have to be parallel.
  • FIG. 5 is a diagram schematically showing the configuration of the lighting device 20 according to the first embodiment.
  • the lighting device 20 includes a first light source 30s, a second light source 30p, a drive circuit 32, a combiner element 34, a projection lens 36, and a light diffusing plate 38.
  • the first light source 30s generates S-polarized first illumination light 12s linearly polarized in the first direction
  • the second light source 30p generates P-polarized second illumination light 12p linearly polarized in the second direction.
  • the first light source 30s and the second light source 30p are, for example, laser light sources having an oscillation mode of linearly polarized light, and are arranged so that the polarization directions differ from each other by 90 degrees.
  • the first light source 30s and the second light source 30p are configured to output, for example, an infrared laser.
  • the first light source 30s and the second light source 30p may output a visible light laser, or may output a red, green, or blue laser light.
  • Each of the first light source 30s and the second light source 30p is driven by the drive circuit 32, and the lighting timing and the extinguishing timing are controlled.
  • the combiner element 34 is arranged on the illumination shaft 14, and the first illumination light 12s emitted from the first light source 30s and the second illumination light 12p emitted from the second light source 30p are combined on the illumination shaft 14. Wave.
  • An example of the combiner element 34 is a polarization beam splitter, which transmits the first illumination light 12s and reflects the second illumination light 12p to combine the two.
  • the projection lens 36 is arranged on the illumination shaft 14 and projects the illumination light 12 combined by the combine element 34 toward the illumination target.
  • the light diffusing plate 38 is arranged on the illumination shaft 14 and is configured to diffuse and homogenize the illumination light 12 transmitted through the projection lens 36.
  • the light diffusing plate 38 is preferably a polarization preserving type in which the polarization direction is preserved before and after the incident of the light diffusing plate 38.
  • FIG. 6 is a block diagram schematically showing the functional configuration of the control device 24 according to the first embodiment.
  • the control device 24 includes a lighting control unit 40, an image pickup control unit 42, an image acquisition unit 44, an image processing unit 46, and an output unit 48.
  • Each functional block shown in the figure can be realized by elements and mechanical devices such as the CPU and memory of a computer in terms of hardware, and by a computer program or the like in terms of software, but here, by linking them. It is drawn as a functional block to be realized. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by combining hardware and software.
  • the lighting control unit 40 controls the operation of the lighting device 20 to switch the operation mode of the lighting device 20.
  • the illumination device 20 has a first illumination mode in which only the first light source 30s is turned on to generate the first illumination light 12s, and a second illumination mode in which only the second light source 30p is turned on to generate the second illumination light 12p. It has a third illumination mode in which both the first light source 30s and the second light source 30p are turned on to generate unpolarized illumination light 12.
  • the lighting control unit 40 switches between the first lighting mode, the second lighting mode, and the third lighting mode by controlling the operation of the drive circuit 32.
  • the image pickup control unit 42 controls the operation of the camera 22 in synchronization with the operation of the lighting device 20.
  • the image pickup control unit 42 causes the camera 22 to take a first image at the timing when the first illumination light 12s is applied to the image pickup target.
  • the image pickup control unit 42 causes the camera 22 to take a second image at the timing when the image pickup target is irradiated with the second illumination light 12p.
  • the image pickup control unit 42 causes the camera 22 to take a third image at the timing when the unpolarized illumination light 12 is applied to the image pickup target.
  • the third image is an image when the image pickup device 10 is operated as a driver monitor to image the driver 70, and is, for example, an image constituting a moving image.
  • FIG. 7 is a timing chart schematically showing the operations of the lighting device 20 and the camera 22.
  • the first period T1 is a first illumination mode in which only the first light source 30s is turned on to generate the first illumination light 12s.
  • the second period T2 is a second illumination mode in which only the second light source 30p is turned on to generate the second illumination light 12p.
  • the third period T3 is a third illumination mode in which both the first light source 30s and the second light source 30p are turned on to generate unpolarized illumination light 12.
  • the camera 22 captures a first image in the first period T1, a second image in the second period T2, and a third image (moving image) in the third period T3.
  • the lighting control unit 40 periodically switches between the first period T1, the second period T2, and the third period T3 to enable acquisition of the first image and the second image for detecting polarized sunglasses, and at the same time, It enables the acquisition of a third image (moving image) for the driver monitor.
  • the illumination control unit 40 switches the illumination mode in synchronization with the frame rate of the camera 22, sets the first illumination mode in the first frame, sets the second illumination mode in the second frame, and sets the second illumination mode in the third and subsequent frames. 3 Lighting mode. Therefore, it can be said that the lighting control unit 40 sets the basic lighting mode as the third lighting mode and intermittently inserts the first lighting mode and the second lighting mode.
  • the cycle for switching to the first lighting mode and the second lighting mode is not particularly limited, but is, for example, 1 second, 5 seconds, 10 seconds, 30 seconds, 1 minute, 5 minutes, and the like. Further, the lighting control unit 40 switches between the first lighting mode and the second lighting mode between adjacent frames of the camera 22. This minimizes the change in the imaging target between the acquisition timings of the first image and the second image, and prevents the difference between the first image and the second image due to factors other than polarization.
  • the image acquisition unit 44 acquires an image captured by the camera 22.
  • the image acquisition unit 44 acquires a first image captured in the first illumination mode and a second image captured in the second illumination mode.
  • the image acquisition unit 44 may acquire a third image (moving image) to be captured in the third illumination mode.
  • the image processing unit 46 determines whether or not polarized sunglasses are included in the imaging target based on the first image and the second image acquired by the image acquisition unit 44. As shown in FIG. 3, the image processing unit 46 generates a difference image between the first image and the second image, and the difference image has a “specific area” in which the absolute value of the brightness value of each pixel is equal to or greater than the reference value. Determined to include polarized sunglasses if present. As shown in FIG. 3, the image processing unit 46 may determine the presence or absence of polarized sunglasses based on the histogram of the difference image. For example, in the histogram of FIG.
  • the image processing unit 46 may determine whether or not polarized sunglasses are included in consideration of the sign (positive or negative) of the brightness value of the pixel in the specific region in the difference image. For example, the brightness value of the pixel in the specific region of the first image using S-polarized illumination is relatively small (that is, dark), and the brightness value of the pixel in the specific region of the second image using P-polarized illumination is relatively large. It may be determined that polarized sunglasses are included only if they are (ie, bright).
  • the image processing unit 46 identifies the contour of the driver 70's face and the position of the eyes by using an image analysis technique such as pattern matching, and when a specific area exists in a range overlapping the face or a specific area is located at the eye position.
  • the image processing unit 46 may determine whether or not polarized sunglasses are used only when the driver 70 does not tilt his head and the left-right direction of the vehicle 60 matches the left-right direction of both eyes of the driver 70 or the left-right direction of the sunglasses. ..
  • the image processing unit 46 may evaluate the state of the driver 70 based on the third image (moving image) acquired by the image acquisition unit 44.
  • the image processing unit 46 detects dozing when the driver 70's eyes are closed continuously for a predetermined time, and the line-of-sight direction of the driver 70 is continuously directed to a direction different from the front of the vehicle for a predetermined time. In some cases, inattentive driving may be detected.
  • the output unit 48 outputs the determination result by the image processing unit 46 to the external device.
  • the output unit 48 outputs, for example, a signal indicating a determination result of whether or not polarized sunglasses are used to the virtual image display device 50.
  • the output unit 48 may output a signal relating to the state or state change of the driver 70 to any device mounted on the vehicle 60, or may output the image data acquired by the image acquisition unit 44.
  • the virtual image display device 50 can generate an appropriate image display light 52 depending on whether or not polarized sunglasses are used. For example, when polarized sunglasses are not used, the windshield 62 generates S-polarized first display light 52s which is easily reflected, and when polarized sunglasses are used, it is visible through polarized sunglasses. It is possible to generate a second display light 52p of P-polarized light. As a result, the power consumption of the virtual image display device 50 can be reduced as compared with the case where both the first display light 52s and the second display light 52p are generated regardless of whether or not the polarized sunglasses are used.
  • the driver 70 is using polarized sunglasses while using the image pickup device 10 as a driver monitor.
  • the polarized sunglasses can be obtained without substantially affecting the acquisition of the third image (moving image) as the driver monitor.
  • the first image and the second image used for the determination can be acquired.
  • the face of the driver 70 is further radiated by irradiating both the first illumination light 12s and the second illumination light 12p. Can be illuminated brightly. As a result, a clearer image of the driver 70 can be captured, and the determination accuracy as a driver monitor can be improved.
  • FIGS 8 (a) and 8 (b) are diagrams schematically showing the configuration of the lighting device 120 according to the modified example.
  • the lighting device 20 according to the above-described embodiment is used in that the first illumination light 112s and the second illumination light 112p are generated by using an unpolarized light source 130 such as an LED (Light Emitting Diode). It's different.
  • an unpolarized light source 130 such as an LED (Light Emitting Diode). It's different.
  • the lighting device 120 includes a light source 130 and a polarization switching mechanism 132.
  • the light source 130 produces unpolarized or randomly polarized illumination light 112, and produces illumination light 112 containing at least two linearly polarized components orthogonal to each other.
  • the light source 130 and the polarization switching mechanism 132 are arranged on the illumination shaft 114 of the illumination device 120.
  • the polarization switching mechanism 132 includes a polarization filter 134 and a motor 136.
  • the polarizing filter 134 has a disk shape, and the first region 134a, the second region 134b, and the third region 134c are provided at different positions in the circumferential direction.
  • the first region 134a and the second region 134b are provided with linear polarizers, while the third region 134c is not provided with a polarizer.
  • the first region 134a and the second region 134b are provided with linear polarizing elements having the same orientation of the polarization axis A.
  • the motor 136 rotates the polarizing filter 134 in the R direction to switch the regions 134a to 134c of the polarizing filter 134 arranged on the illumination shaft 114.
  • the motor 136 is a drive unit that displaces the linear polarizer provided in the polarizing filter 134 with respect to the illumination shaft 114.
  • the motor 136 changes the direction of the polarizing axis A of the linear polarizing element by rotating the polarizing filter 134, and aligns it with the direction of the polarizing axis A that transmits the S polarization component or the P polarization component.
  • the polarizing filter 134 functions as a first linear polarizer that transmits the S polarization component. Therefore, when the first region 134a is arranged on the illumination shaft 114, only the S polarization component is transmitted through the polarizing filter 134 that functions as the first linear polarizer, and the first illumination light 112s that is S-polarized illumination is generated.
  • the polarizing filter 134 functions as a second linear polarizer that transmits the P polarization component.
  • the second region 134b is arranged on the illumination shaft 114, only the P-polarizing component is transmitted through the polarizing filter 134 that functions as the second linear polarizing element, and the second illumination light 112p that is P-polarized illumination is generated. Will be done.
  • the polarization switching mechanism 132 is configured to switch the polarization state of the illumination light 112 projected from the illumination device 120.
  • the operation of the lighting device 120 is controlled by, for example, the above-mentioned lighting control unit 40.
  • the illumination control unit 40 controls the operation of the motor 136, and has a first illumination mode in which the first region 134a is arranged on the illumination shaft 114 and a second illumination mode in which the second region 134b is arranged on the illumination shaft 114. And the third illumination mode in which the third region 134c is arranged on the illumination shaft 114.
  • the motor 136 may be configured as a stepping motor, or may be configured to instantaneously switch between the illumination modes by instantaneously rotating the polarizing filter 134 by a predetermined angle.
  • the motor 136 may be configured to maintain each illumination mode for a certain period of time by keeping the polarizing filter 134 stationary in each illumination mode without rotating it. Even when the lighting device 120 according to this modification is used, the same effect as that of the above-described embodiment can be obtained.
  • the polarization axes A of the linearly polarized lighters provided in the first region 134a and the second region 134b do not have to be common, and the first linearly polarizer that transmits the S polarization component through the first region 134a A second linear polarizer may be provided so as to transmit the P polarization component in the second region 134b.
  • the range occupied by each region 134a to 134c of the polarizing filter 134 is not limited to that shown, and at least one of each region 134a to 134c may occupy a wider range than the shown region, and is shown. It may occupy a smaller area than the area.
  • 9 (a) and 9 (b) are diagrams schematically showing the configuration of the lighting device 220 according to another modified example.
  • This modification differs from the above modification in that the polarizing filter is configured to slide instead of rotating.
  • the lighting device 220 includes a light source 230 and a polarization switching mechanism 232.
  • the light source 230 produces unpolarized or randomly polarized illumination light 212, and produces illumination light 212 containing at least two linearly polarized components orthogonal to each other.
  • the light source 230 and the polarization switching mechanism 232 are arranged on the illumination shaft 214 of the illumination device 220.
  • the polarization switching mechanism 232 includes a polarization filter 234 and a motor 236.
  • the polarizing filter 234 has a rectangular shape, and a first region 234a, a second region 234b, and a third region 234c are provided at different positions in the longitudinal direction (S direction).
  • the first region 234a is provided with a first linear polarizer that transmits the S polarization component
  • the second region 234b is provided with a second linear polarizer that transmits the P polarization component.
  • No polarizer is provided in the third region 234c.
  • the motor 236 slides the polarizing filter 234 in the S direction to switch the regions 234a to 234c of the polarizing filter 234 arranged on the illumination shaft 214.
  • the motor 236 is a drive unit that displaces the first linear polarizer and the second linear polarizer provided on the polarizing filter 234 with respect to the illumination shaft 214.
  • the first region 234a When the first region 234a is arranged on the illumination shaft 214, that is, when the first linear polarizer is inserted on the illumination shaft 214, only the S polarization component passes through the polarization filter 234, so that the S polarization illumination can be used. A certain first illumination light 212s is generated.
  • the second region 234b is arranged on the illumination axis 214, that is, when the second linear polarizer is inserted on the illumination axis 214, only the P polarization component passes through the polarization filter 234, so that the P-polarized illumination can be used.
  • a certain second illumination light 212p is generated.
  • the polarization switching mechanism 232 is configured to switch the polarization state of the illumination light 212 projected from the illumination device 220.
  • the operation of the lighting device 220 is controlled by, for example, the above-mentioned lighting control unit 40.
  • the illumination control unit 40 controls the operation of the motor 236 and has a first illumination mode in which the first region 234a is arranged on the illumination shaft 214 and a second illumination mode in which the second region 234b is arranged on the illumination shaft 214. And the third illumination mode in which the third region 234c is arranged on the illumination shaft 214. Even when the lighting device 220 according to this modification is used, the same effect as that of the above-described embodiment can be obtained.
  • a first illuminating device for projecting S-polarized illumination onto an imaging target and a second illuminating device for projecting P-polarized illumination on an imaging target may be provided separately.
  • a first laser light source having a linearly polarized oscillation mode may be used, or a first unpolarized or randomly polarized light source and a first linear polarizer may be combined.
  • a second laser light source having a linearly polarized oscillation mode may be used, or an unpolarized or randomly polarized second light source and a second linear polarizer may be combined.
  • FIG. 10 is a diagram schematically showing an installation example of the image pickup apparatus 310 according to the second embodiment.
  • the imaging device 310 according to the present embodiment is configured to image the face of the driver 70 to be imaged separately into an S-polarized light component and a P-polarized light component.
  • the image pickup apparatus 310 has a first image in which the first linearly polarized light component 18s, which is an S-polarized light component, of the incident light 18 incident along the imaging axis 16 is captured, and a second straight line, which is a P-polarized light component of the incident light 18.
  • a second image in which the polarization component 18p is captured is acquired.
  • the image pickup apparatus 10 determines whether or not the driver 70 is using polarized sunglasses by comparing the first image and the second image.
  • the present embodiment will be described focusing on the differences from the above-described first embodiment.
  • FIG. 11 is a diagram schematically showing the configuration of the image pickup apparatus 310 according to the second embodiment.
  • the image pickup device 310 includes a lighting device 320, a camera 322, and a control device 324.
  • the camera 322 targets the driver 70 in front of the image pickup shaft 16 as an image pickup target.
  • the lighting device 320 irradiates the lighting light 312 toward the driver 70 in front of the lighting shaft 14.
  • the control device 324 controls the operation of the camera 322 and the lighting device 320.
  • the illumination axis 14 and the image pickup axis 16 are drawn so as to be parallel, but the illumination axis 14 and the image pickup axis 16 do not necessarily have to be parallel.
  • the illumination device 320 generates illumination light 312 including both the S polarization component 312s and the P polarization component 312p.
  • the lighting device 320 has, for example, an unpolarized or non-polarized light source such as an LED (Light Emitting Diode), and generates illumination light 312 having the same light intensity of each of the S-polarized light component 312s and the P-polarized light component 312p. To do.
  • the lighting device 320 may have two laser light sources having a linearly polarized light oscillation mode, and by arranging the two laser light sources so that the polarization directions differ from each other by 90 degrees, the S polarization component 312s and the P polarization component 312p The light intensity of each of the above may be about the same.
  • the illumination device 320 is configured to generate, for example, infrared illumination light 312.
  • the illuminating device 320 may generate visible illuminating light 312, or may generate red, green, blue, or white illuminating light 312.
  • the lighting device 320 may not be provided in the imaging device 310.
  • the camera 322 includes a polarization control mechanism 326 and an image sensor 328.
  • the polarization control mechanism 326 controls the polarization of the incident light 18 incident on the image pickup device 328.
  • the polarization control mechanism 326 has a first polarization state that transmits the first linear polarization component (S polarization component) 18s, a second polarization state that transmits the second linear polarization component (P polarization component) 18p, and a first linear polarization. It is configured to be able to switch between a fully transmitted state that transmits both the component and the second linearly polarized light component.
  • the image sensor 328 can capture a first image composed of the first linearly polarized light component when the polarization control mechanism 326 is in the first polarized state, and the second linearly polarized light component when the polarization control mechanism 326 is in the second polarized state.
  • a second image composed of can be imaged.
  • the image pickup device 328 can capture a normal image composed of both the first linear polarization component and the second linear polarization component when the polarization control mechanism 326 is in the fully transmitted state.
  • the normal image is an image when the image pickup device 310 is operated as a driver monitor to image the driver 70, and is, for example, an image constituting a moving image.
  • FIG. 13 is a diagram schematically showing the configuration of the polarization control mechanism 326 according to the second embodiment.
  • the image sensor 328 has a plurality of pixels 330 arranged in a two-dimensional array.
  • the polarization control mechanism 326 is arranged in front of the plurality of pixels 330.
  • the polarization control mechanism 326 includes a first polarization control element 326s and a second polarization control element 326p.
  • the first polarization control element 326s and the second polarization control element 326p are arranged in series on the imaging shaft 16.
  • Each of the first polarization control element 326s and the second polarization control element 326p is an active polarizer, and is configured to be able to electrically switch the transmission and shielding of the linearly polarized light component in a specific direction.
  • the first polarization control element 326s is arranged so that the first linear polarization component (S polarization component) 18s is constantly transmitted and the transmission and shielding of the second linear polarization component (P polarization component) 18p can be electrically switched. ..
  • the second polarization control element 326p is arranged so that the second linear polarization component (P polarization component) 18p is constantly transmitted, while the transmission and shielding of the first linear polarization component (S polarization component) 18s can be electrically switched.
  • the above-mentioned first polarization state, second polarization state and total transmission state are realized. Specifically, by turning on the first polarization control element 326s and turning off the second polarization control element 326p, the first polarization state in which the second linear polarization component is shielded and the first linear polarization component is transmitted is transmitted. Become. On the contrary, by turning off the first polarization control element 326s and turning on the second polarization control element 326p, a second polarization state is obtained in which the first linear polarization component is shielded and the second linear polarization component is transmitted. Further, by turning off both the first polarization control element 326s and the second polarization control element 326p, a fully transmitted state is obtained in which both the first linear polarization component and the second linear polarization component are transmitted.
  • FIG. 13 is a block diagram schematically showing the functional configuration of the control device 324 according to the second embodiment.
  • the control device 324 includes a polarization control unit 340, an image pickup control unit 342, an image acquisition unit 344, an image processing unit 346, and an output unit 348.
  • Each functional block shown in the figure can be realized by elements and mechanical devices such as the CPU and memory of a computer in terms of hardware, and by a computer program or the like in terms of software, but here, by linking them. It is drawn as a functional block to be realized. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by combining hardware and software.
  • the polarization control unit 340 controls the operation of the polarization control mechanism 326 to control the polarization state of the incident light 18 incident on the image pickup device 328.
  • the polarization control unit 340 switches between the first polarization state, the second polarization state, and the total transmission state by switching the operations of the first polarization control element 326s and the second polarization control element 326p.
  • the image pickup control unit 342 controls the operation of the image pickup element 328 in synchronization with the operation of the polarization control mechanism 326.
  • the image pickup control unit 342 causes the image pickup device 328 to take a first image at the timing when the polarization control mechanism 326 is in the first polarization state.
  • the image pickup control unit 342 causes the image pickup device 328 to take a second image at the timing when the polarization control mechanism 326 is in the second polarization state.
  • the image pickup control unit 342 causes the image pickup element 328 to take a normal image (moving image) at the timing when the polarization control mechanism 326 is in the fully transmitted state.
  • FIG. 14 is a timing chart schematically showing the operation of the polarization control mechanism 326 and the image pickup device 328.
  • the first period T1 of FIG. 14 is the first polarization state in which the first polarization control element 326s is turned on and the second polarization control element 326p is turned off
  • the second period T2 is the first polarization control element 326s off.
  • This is the second polarization state in which the second polarization control element 326p is turned on
  • the third period T3 is the total transmission state in which both the first polarization control element 326s and the second polarization control element 326p are turned off.
  • the image sensor 328 captures a first image in the first period T1, a second image in the second period T2, and a normal image (moving image) in the third period T3.
  • the polarization control unit 340 periodically switches between the first period T1, the second period T2, and the third period T3, thereby enabling acquisition of the first image and the second image for detecting the polarized sunglasses, and at the same time. Enables acquisition of normal images (moving images) for driver monitors. For example, the polarization control unit 340 switches the polarization state in synchronization with the frame rate of the image sensor 328, sets the first state in the first frame, sets the second state in the second frame, and fully transmits in the third and subsequent frames. Make it a state. Therefore, it can be said that the polarization control unit 340 intermittently inserts the first polarization state and the second polarization state while setting the total transmission state as the basic polarization state.
  • the period for switching between the first polarized state and the second polarized state is not particularly limited, and is, for example, 1 second, 5 seconds, 10 seconds, 30 seconds, 1 minute, 5 minutes, and the like. Further, the polarization control unit 340 switches between the first polarization state and the second polarization state between adjacent frames of the image sensor 328. This minimizes the change in the imaging target between the acquisition timings of the first image and the second image, and prevents the difference between the first image and the second image due to factors other than polarization.
  • the image acquisition unit 344 acquires an image captured by the image sensor 328.
  • the image acquisition unit 344 acquires a first image captured in the first polarized state and a second image captured in the second polarized state.
  • the image acquisition unit 344 may acquire a normal image (moving image) to be captured in a fully transparent state.
  • the image processing unit 346 determines whether or not polarized sunglasses are included in the imaging target based on the first image and the second image acquired by the image acquisition unit 344. As shown in FIG. 3, the image processing unit 346 generates a difference image between the first image and the second image, and the difference image has a “specific area” in which the absolute value of the brightness value of each pixel is equal to or greater than the reference value. Determined to include polarized sunglasses if present. As shown in FIG. 3, the image processing unit 346 may determine the presence or absence of polarized sunglasses based on the histogram of the difference image. For example, in the histogram of FIG.
  • the image processing unit 346 may determine whether or not polarized sunglasses are included in consideration of the sign (positive or negative) of the brightness value of the pixel in the specific region in the difference image. For example, the brightness value of the pixel in the specific region of the first image in which the S polarization component is imaged is relatively small (that is, dark), and the brightness value of the pixel in the specific region in the second image in which the P polarization component is imaged is relatively small. Polarized sunglasses may be determined to be included only if they are large (ie, bright).
  • the image processing unit 346 identifies the contour of the driver 70's face and the position of the eyes by using an image analysis technique such as pattern matching, and when a specific area exists in a range overlapping the face or a specific area is located at the eye position. You may determine that you are using polarized sunglasses if they are present. The image processing unit 346 may determine whether or not polarized sunglasses are used only when the driver 70 does not tilt his head and the left-right direction of the vehicle 60 matches the left-right direction of both eyes of the driver 70 or the left-right direction of the sunglasses. Good.
  • an image analysis technique such as pattern matching
  • the image processing unit 346 may evaluate the state of the driver 70 based on the normal image (moving image) acquired by the image acquisition unit 344.
  • the image processing unit 346 detects drowsy driving when the driver 70's eyes are closed continuously for a predetermined time, or the line-of-sight direction of the driver 70 is continuously directed to a direction different from the front of the vehicle for a predetermined time. If you are there, you may detect inattentive driving.
  • the output unit 348 outputs the determination result by the image processing unit 346 to the external device.
  • the output unit 348 outputs, for example, a signal indicating a determination result of whether or not polarized sunglasses are used to the virtual image display device 50.
  • the output unit 348 may output a signal relating to the state or state change of the driver 70 to any device mounted on the vehicle 60, or may output the image data acquired by the image acquisition unit 344.
  • the virtual image display device 50 can generate an appropriate image display light 52 depending on whether or not polarized sunglasses are used. For example, when polarized sunglasses are not used, the windshield 62 generates S-polarized first display light 52s which is easily reflected, and when polarized sunglasses are used, it is visible through polarized sunglasses. It is possible to generate a second display light 52p of P-polarized light. As a result, the power consumption of the virtual image display device 50 can be reduced as compared with the case where both the first display light 52s and the second display light 52p are generated regardless of whether or not the polarized sunglasses are used.
  • the driver 70 is using polarized sunglasses while using the image pickup device 310 as a driver monitor.
  • the polarized sunglasses can be obtained without substantially affecting the acquisition of a normal image (moving image) as a driver monitor.
  • the first image and the second image used for the determination can be acquired.
  • the image sensor is obtained by imaging the incident light 18 including both the first linearly polarized light component 18s and the second linearly polarized light component 18p.
  • the face of the driver 70 can be imaged in a state where the amount of incident light 18 incident on the 328 is larger. As a result, a clearer image of the driver 70 can be captured, and the determination accuracy as a driver monitor can be improved.
  • 15 (a) and 15 (b) are diagrams schematically showing the configuration of the camera 422 according to the modified example.
  • This modification is different from the camera 322 according to the second embodiment described above in that the polarization state of the incident light 18 incident on the image sensor 328 is switched by rotating the polarizing filter 434.
  • the camera 422 includes a polarization control mechanism 426 and an image sensor 328.
  • the polarization control mechanism 426 is arranged on the image pickup axis 16 of the image pickup element 328.
  • the polarization control mechanism 426 includes a polarization filter 434 and a motor 436.
  • the polarizing filter 434 has a disk shape, and the first region 434a, the second region 434b, and the third region 434c are provided at different positions in the circumferential direction.
  • the first region 434a and the second region 434b are provided with linear polarizers, while the third region 434c is not provided with a polarizer.
  • the first region 434a and the second region 434b are provided with linear polarizers having the same orientation of the polarization axis A.
  • the motor 436 rotates the polarizing filter 434 in the R direction to switch the regions 434a to 434c of the polarizing filter 434 arranged on the imaging shaft 16.
  • the motor 436 is a drive unit that displaces the linear polarizer provided on the polarizing filter 434 with respect to the image pickup shaft 16.
  • the motor 436 changes the direction of the polarizing axis A of the linear polarizer by rotating the polarizing filter 434, and aligns it with the direction of the polarizing axis A that transmits the S polarization component or the P polarization component.
  • the polarizing filter 434 functions as the first linear polarizer that transmits the S polarization component.
  • the polarizing filter 434 functions as the first linear polarizer, and the first image is transmitted by the image pickup element 328. It is imaged.
  • the second region 434b is arranged on the image pickup axis 16, that is, when the polarizing filter 434 is rotated 90 degrees from the state of FIG. 15B, the direction of the polarizing axis A of the linear polarizer is in the vertical direction. Therefore, the polarizing filter 434 functions as a second linear polarizer that transmits the P polarization component.
  • the second region 434b is arranged on the image pickup axis 16
  • the polarizing filter 434 functioning as the second linear polarizer
  • the second image is transmitted by the image pickup element 328. Is imaged.
  • the third region 434c is arranged on the image pickup axis 16, that is, when the linear polarizer is not inserted on the image pickup axis 16, the incident light 18 passes through the polarizing filter 434 as it is, and the normal image is captured by the image pickup element 328. Will be done.
  • the polarization control mechanism 426 can switch the polarization state of the incident light 18 toward the image pickup device 328.
  • the operation of the polarization control mechanism 426 is controlled by the above-mentioned polarization control unit 340.
  • the polarization control unit 340 controls the operation of the motor 436, and has a first polarization state in which the first region 434a is arranged on the image pickup shaft 16 and a second polarization state in which the second region 434b is arranged on the image pickup shaft 16. And the total transmission state in which the third region 434c is arranged on the image pickup axis 16.
  • the motor 436 may be configured by a stepping motor, or may be configured to instantaneously switch the polarization state by instantaneously rotating the polarizing filter 434 by a predetermined angle.
  • the motor 436 may be configured to maintain a first polarized state, a second polarized state, or a total transmission state for a certain period of time by stationary the polarizing filter 434 without rotating it. Even when the camera 422 according to the present modification is used, the same effect as that of the second embodiment described above can be obtained.
  • the polarization axes A of the linearly polarized lighters provided in the first region 434a and the second region 434b do not have to be common, and the first linearly polarizer that transmits the S polarization component through the first region 434a A second linear polarizer may be provided so as to transmit the P polarization component in the second region 434b.
  • the range occupied by each region 434a to 434c of the polarizing filter 134 is not limited to that shown, and at least one of each region 434a to 434c may occupy a wider range than the shown region, and is shown. It may occupy a smaller area than the area.
  • 16 (a) and 16 (b) are diagrams schematically showing the configuration of the camera 522 according to another modified example. This modification differs from the above modification in that the polarizing filter is configured to slide instead of rotating.
  • the camera 522 includes a polarization control mechanism 526 and an image sensor 328.
  • the polarization control mechanism 526 is arranged on the image pickup axis 16 of the image pickup element 328.
  • the polarization control mechanism 526 includes a polarization filter 534 and a motor 536.
  • the polarizing filter 534 has a rectangular shape, and a first region 534a, a second region 534b, and a third region 534c are provided at different positions in the longitudinal direction (S direction).
  • the first region 534a is provided with a first linear polarizer that transmits the S polarization component
  • the second region 534b is provided with a second linear polarizer that transmits the P polarization component.
  • No polarizer is provided in the third region 534c.
  • the motor 536 slides the polarizing filter 534 in the S direction to switch the regions 534a to 534c of the polarizing filter 534 arranged on the imaging shaft 16.
  • the motor 536 is a drive unit that displaces the first linear polarizer and the second linear polarizer provided on the polarizing filter 534 with respect to the imaging shaft 16.
  • the first region 534a When the first region 534a is arranged on the image pickup axis 16, that is, when the first linear polarizer is inserted on the image pickup axis 16, only the S polarization component 18s of the incident light 18 passes through the polarization filter 534. , The first image is imaged by the image sensor 328.
  • the second region 534b is arranged on the image pickup axis 16, that is, when the second linear polarizer is inserted on the image pickup axis 16, only the P polarization component 18p of the incident light 18 passes through the polarization filter 534.
  • the second image is imaged by the image sensor 328.
  • the polarization control mechanism 526 can switch the polarization state of the incident light 18 toward the image pickup device 328.
  • the operation of the polarization control mechanism 526 is controlled by the above-mentioned polarization control unit 340.
  • the polarization control unit 340 controls the operation of the motor 536, and has a first polarization state in which the first region 534a is arranged on the image pickup shaft 16 and a second polarization state in which the second region 534b is arranged on the image pickup shaft 16. And the total transmission state in which the third region 534c is arranged on the image pickup axis 16. Even when the camera 522 according to the present modification is used, the same effect as that of the second embodiment described above can be obtained.
  • 17 (a) and 17 (b) are diagrams schematically showing the configuration of the camera 622 according to still another modified example.
  • the first embodiment and the second embodiment and the modification are described in that the first linear polarizing filter 634s and the second linear polarizing filter 634p are arranged so as to correspond to each of the plurality of pixels 330 of the image pickup device 328. Is different from.
  • the camera 622 includes a polarization control mechanism 626 and an image sensor 328.
  • the image sensor 328 has a plurality of pixels 330 arranged in a two-dimensional array.
  • the polarization control mechanism 626 has a plurality of polarization filters 634 arranged corresponding to each of the plurality of pixels 330.
  • a first linear polarization filter 634s that transmits a first linear polarization component is arranged in one of two adjacent pixels (for example, pixel 330a), and the other of the two adjacent pixels (for example, a second linear polarization filter 634p that transmits a second linear polarization component (P polarization component) is arranged in the pixel 330b).
  • the first linear polarizing filter 634s and the second linear polarizing filter 634p are arranged in a checkered pattern.
  • the first linear polarizing filter 634s and the second linear polarizing filter 634p may be arranged in a striped pattern.
  • the image sensor 328 simultaneously generates a first image in which the first linear polarization component is imaged and a second image in which the second linear polarization component is imaged by capturing an image to be imaged via the polarization control mechanism 626. To do.
  • the first image is imaged using a group of pixels in which the first linear polarizing filter 634s is arranged among the plurality of pixels 330.
  • the second image is imaged using a group of pixels in which the second linear polarizing filter 634p is arranged among the plurality of pixels 330.
  • the image sensor 328 is configured to output, for example, a normal image captured by using all of the plurality of pixels 330.
  • the image acquisition unit 344 acquires a normal image from the image sensor 328, and the image processing unit 346 separates the first image and the second image from the acquired normal image.
  • the image processing unit 346 determines whether or not polarized sunglasses are included in the imaging target by comparing the first image and the second image.
  • the image processing unit 346 may evaluate the state of the driver 70 using a normal image captured by using all of the plurality of pixels 330.
  • the image sensor 328 separates the first image captured by using the pixel group in which the first linear polarizing filter 634s is arranged and the second image captured by using the pixel group in which the second linear polarizing filter 634p is arranged. It may be configured to output to.
  • the image acquisition unit 344 acquires the first image and the second image from the image sensor 328, and the image processing unit 346 compares the first image and the second image to see if the image pickup target includes polarized sunglasses. Judge whether or not.
  • the image processing unit 346 generates a normal image corresponding to the case where an image is taken using all of the plurality of pixels 330 by synthesizing the first image and the second image, and uses the normal image to display the state of the driver 70. You may evaluate it.
  • the first image, the second image, and the normal image can be constantly acquired.
  • the first image and the second image used for determining the polarized sunglasses can be acquired without affecting the acquisition of the normal image (moving image) as the driver monitor.
  • the first image and the second image can be acquired at all times, when the driver 70 puts on or takes off the polarized sunglasses, the change in the use or non-use of the polarized sunglasses can be detected immediately.
  • the third embodiment not only general polarized sunglasses that shield the S-polarized light component can be detected, but also three-dimensional glasses (3D glasses) in which different polarizers are used for the right eye and the left eye can be detected. Will be done.
  • the 3D glasses are configured so that the right eye and the left eye can separately see the display light having parallax, and the right eye lens and the left eye lens are configured to transmit polarized light orthogonal to each other.
  • 18 (a) to 18 (f) are diagrams schematically showing polarized light according to the third embodiment, and show examples of polarized light orthogonal to each other.
  • the Jones vector u j * with an asterisk (*) represents the complex conjugate of the original Jones vector u j .
  • FIG. 18 (a) shows the first linearly polarized light (S polarized light), and FIG. 18 (b) shows the second linearly polarized light (P polarized light).
  • S polarized light S polarized light
  • P polarized light P polarized light
  • the P-polarized light of (b) is u 2 (x, y).
  • FIG. 18 (c) shows the third linearly polarized light (right 45 degree polarized light), and shows the linearly polarized light obtained by rotating the P polarized light of FIG. 18 (b) by 45 degrees to the right.
  • FIG. 18 (d) shows the fourth linearly polarized light (left 45 degree polarized light), and shows the linearly polarized light obtained by rotating the P polarized light of FIG. 18 (b) to the left by 45 degrees.
  • FIG. 18 (e) shows clockwise circular polarization
  • FIG. 18 (f) shows counterclockwise circular polarization
  • FIG. 19 is a diagram schematically showing a method for determining polarized sunglasses according to the third embodiment.
  • the lens for the right eye is shown on the left side and the lens for the left eye is shown on the right side on the paper.
  • (A) shows general polarized sunglasses that shield the S-polarized light component and allow the P-polarized light component to pass through
  • (b) to (d) are 3D sunglasses in which orthogonal polarizers are used for the right eye and the left eye. Shows glasses.
  • FIG. B shows 3D glasses in which a linear polarizer that transmits P-polarized light (vertical direction of the paper surface) is used for the right eye and a linear polarizer that transmits S-polarized light (horizontal direction of the paper surface) is used for the left eye. ..
  • a linear polarizer that transmits a third linearly polarized light (right 45 degree polarized light) rotated 45 degrees to the right for the right eye is used, and a fourth linearly polarized light (45 degree rotated left) is used for the left eye.
  • the 3D glasses which use the linear polarized light which transmits are shown.
  • (D) shows 3D glasses in which a circular polarized light that transmits clockwise circularly polarized light is used for the right eye and a circularly polarized light that transmits counterclockwise circularly polarized light is used for the left eye.
  • the rotation direction in “rotate 45 degrees to the right or left” or “rotate clockwise or counterclockwise” is based on the imaging system of the camera that images the driver 70. That is, when the driver 70 or the sunglasses 72 is viewed from the front, the direction of the right-hand screw is the direction of rotation on the right side with respect to the direction toward the driver 70 or the sunglasses 72, and the direction of the left-hand screw is the direction of rotation on the left side.
  • "right 45-degree polarized light” rotated 45 degrees to the right means linearly polarized light obtained by rotating P-polarized light (second linearly polarized light) whose polarization direction is up and down on a paper surface by 45 degrees to the right.
  • “left 45 degree polarized light” rotated 45 degrees to the left means linearly polarized light obtained by rotating P polarized light 45 degrees to the left.
  • polarized sunglasses or 3D glasses of (a) to (d) in addition to acquiring the first image in which the S-polarized component is imaged and the second image in which the P-polarized component is imaged, in addition to the acquisition.
  • a third image of a linearly polarized light component rotated 45 degrees to the right also called a third linearly polarized light component
  • a fourth image of a linearly polarized light component rotated 45 degrees to the left also called a fourth linearly polarized light component.
  • the right eye lens and the left eye lens are different from each other in (i) the first image (S polarized image) and (ii) the second image (P polarized image). Therefore, the 3D glasses of (b) can be detected based on the first image and the second image.
  • the right eye lens and the left eye lens are projected in different modes in the (iii) third image (right 45 degree polarized image) and (iv) fourth image (left 45 degree polarized image). Therefore, the 3D glasses of (c) can be detected based on the third image and the fourth image.
  • the right eye lens and the left eye lens are projected in the same manner in all the images (i) to (iv), so that the 3D glasses of (d) are used.
  • it cannot be detected it can be detected that at least the polarized sunglasses of (a) or the 3D glasses of (b) or (c) are not used. That is, according to the present embodiment, the direction of the polarization axis of the linearly polarized light included in the imaging target can be determined, and it can be specified whether it is S-polarized light, P-polarized light, right-handed 45-degree polarized light, or left-handed 45-degree polarized light. ..
  • 20 (a) and 20 (b) are diagrams schematically showing the configuration of the camera 722 according to the third embodiment.
  • the camera 722 is orthogonal to the first image of the S polarization component, the second image of the P polarization component, the third image of the right 45 degree polarization component, and the fourth image of the left 45 degree polarization component. It is configured so that a normal image obtained by capturing both of the polarized light components can be captured.
  • the camera 722 according to the present embodiment is configured in the same manner as the modified example according to the second embodiment shown in FIGS. 15A and 15B, but the configuration and operation of the polarizing filter 734 are different.
  • the camera 722 includes a polarization control mechanism 726 and an image sensor 328.
  • the polarization control mechanism 726 is arranged on the image pickup axis 16 of the image pickup element 328.
  • the polarization control mechanism 726 includes a polarization filter 734 and a motor 736.
  • the polarizing filter 734 has a disk shape and has a first region 734a provided with a linear polarizer and a second region 734b not provided with a linear polarizer.
  • the first region 734a is a fan-shaped region that occupies a range of about 270 degrees in the disk-shaped polarizing filter 734.
  • the second region 734b is a fan-shaped region that occupies the remaining range of about 90 degrees in the disk-shaped polarizing filter 734.
  • the motor 736 rotates the polarizing filter 734 in the R direction to change the direction of the polarizing axis A in the first region 734a that overlaps the image pickup shaft 16.
  • the 20B shows the polarization filter 734 in the initial arrangement, and the direction of the polarization axis A of the linear polarizing element provided in the first region 734a is the direction in which the S polarization component is transmitted.
  • the motor 736 may be a stepping motor as in the above embodiment.
  • 21 (a)-(d) are views schematically showing the operation of the polarization control mechanism 726, and the direction of the polarization axis A of the linear polarizing element provided in the first region 734a is changed by the rotation of the polarization filter 734. Show how to make it.
  • 21 (a) shows a case where the polarizing filter 734 is rotated by ⁇ 1 (45 degrees) to the right from the initial arrangement of FIG. 20 (b). By rotating the polarizing filter 734 to the right by 45 degrees, the direction of the polarizing axis A of the linear polarizing element provided in the first region 734a is the direction in which the left 45 degree polarizing component is transmitted.
  • FIG. 21 (b) shows a case where the polarizing filter 734 is rotated by ⁇ 2 (90 degrees) to the right from the initial arrangement of FIG. 20 (b).
  • the direction of the polarizing axis A of the linear polarizing element provided in the first region 734a is the direction in which the P polarizing component is transmitted.
  • FIG. 21 (c) shows the case where the polarizing filter 734 is rotated by ⁇ 3 (135 degrees) to the right from the initial arrangement of FIG. 20 (b).
  • the direction of the polarizing axis A of the linear polarizing element provided in the first region 734a is the direction in which the right 45 degree polarizing component is transmitted.
  • P polarized light component the second linearly polarized light component
  • FIG. 21 (d) shows the case where the polarizing filter 434 is rotated by ⁇ 4 (270 degrees) to the right from the initial arrangement of FIG. 20 (b).
  • the second region 734b without the linear polarizer is arranged on the imaging shaft 16.
  • S-polarized light component first linearly polarized light component
  • P-polarized light component second linearly polarized light component
  • this embodiment can also be realized by using other configurations.
  • the first image, the second image, and the third image are formed. It may be configured so that an image, a fourth image and a normal image can be acquired.
  • the configuration shown in FIGS. 17A and 17B by arranging four types of linear polarizing filters for a plurality of pixels of the image pickup device, the first image, the second image, and the third image are arranged. It may be configured so that an image, a fourth image and a normal image can be acquired.
  • the fifth image in which the clockwise circular polarization component is imaged and the sixth image in which the counterclockwise circular polarization component is imaged can be acquired. May be good.
  • the polarization control mechanism is configured to realize a fifth polarized state in which the clockwise circular polarization component is transmitted toward the image pickup element and a sixth polarization state in which the counterclockwise circular polarization component is transmitted toward the image pickup element. May be done.
  • the determination of whether or not the polarized sunglasses used by the driver 70 are used has been described.
  • it may be applied to determine whether or not an arbitrary linear polarizer is included in the imaging target. For example, the first image of the imaged object irradiated with the first illumination light linearly polarized in the first direction and the second illumination light linearly polarized in the second direction orthogonal to the first direction were irradiated. It may be determined whether or not the imaged object includes a linear polarizer based on the second image obtained by capturing the imaged object.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置１０は、カメラと、第１方向に直線偏光された第１照明光１２ｓと、第１方向と直交する第２方向に直線偏光された第２照明光１２ｐとをカメラ２２の撮像対象に向けて選択的に照射可能な照明装置と、第１照明光１２ｓが照射された撮像対象を含む第１画像と、第２照明光１２ｐが照射された撮像対象を含む第２画像とをカメラ２２から取得する画像取得部と、第１画像および第２画像に基づいて撮像対象に直線偏光子が含まれるか否かを判定する画像処理部と、を備える。

Description

撮像装置および判定方法
　本発明は、撮像装置および判定方法に関する。
　近年、画像表示光を車両のウィンドシールドなどに投射し、画像表示光に基づく虚像を車外の風景に重畳して表示するヘッドアップディスプレイが使用されている。運転者等のユーザは、ウィンドシールドに反射された画像表示光を視認する。ガラスなどで構成される一般的なウィンドシールドの反射率には偏光依存性があり、Ｓ偏光成分に比べてＰ偏光成分が反射されにくいことが知られている。ユーザが偏光サングラスを使用している場合、ウィンドシールドで反射されやすいＳ偏光成分が偏光サングラスにより遮蔽されるため、画像表示光が視認しにくくなる。偏光サングラスの使用時にも画像表示光が視認しやすくなるようにした表示装置が提案されている（例えば、特許文献１参照）。
特開２０１３－５７８９７号公報
　ウィンドシールドにて反射されにくいＰ偏光成分を主に用いると、偏光サングラスを使用していないユーザにとっては画像表示光が暗くなってしまう。偏光サングラスの使用有無に応じて適切な画像表示光を提供するため、偏光サングラスの使用有無を検知できることが好ましい。
　本発明は、上述の事情に鑑みてなされたものであり、偏光サングラスの使用有無を検知する技術を提供することを目的とする。
　本発明のある態様の撮像装置は、カメラと、第１方向に直線偏光された第１照明光と、第１方向と直交する第２方向に直線偏光された第２照明光とをカメラの撮像対象に向けて選択的に照射可能な照明装置と、第１照明光が照射された撮像対象を含む第１画像と、第２照明光が照射された撮像対象を含む第２画像とをカメラから取得する画像取得部と、第１画像および第２画像に基づいて撮像対象に直線偏光子が含まれるか否かを判定する画像処理部と、を備える。
　本発明の別の態様は、判定方法である。この方法は、第１方向に直線偏光された第１照明光が照射された撮像対象を撮像した第１画像と、第１方向と直交する第２方向に直線偏光された第２照明光が照射された撮像対象を撮像した第２画像とに基づいて、撮像対象に直線偏光子が含まれるか否かを判定する。
　本発明の別の態様は、撮像装置である。この撮像装置は、撮像素子と、撮像素子に向かう入射光の第１直線偏光成分と、第１直線偏光成分と直交する第２直線偏光成分とを撮像素子に向けて選択的に透過させる偏光制御機構と、入射光の第１直線偏光成分を撮像した第１画像と、入射光の第２直線偏光成分を撮像した第２画像とに基づいて撮像対象に直線偏光子が含まれるか否かを判定する画像処理部と、を備える。
　本発明の別の態様は、判定方法である。この方法は、撮像素子に向かう入射光のうち第１直線偏光成分を撮像した第１画像と、撮像素子に向かう入射光の第１直線偏光成分と直交する第２直線偏光成分を撮像した第２画像とに基づいて、撮像素子の撮像対象に直線偏光子が含まれるか否かを判定する。
　なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
　本発明によれば、偏光サングラスの使用有無を検知する技術を提供できる。
第１の実施の形態に係る撮像装置の設置例を模式的に示す図である。 ウィンドシールドの反射率を示すグラフである。 偏光サングラスの判定方法を模式的に示す図である。 第１の実施の形態に係る撮像装置の構成を模式的に示す図である。 第１の実施の形態に係る照明装置の構成を模式的に示す図である。 第１の実施の形態に係る制御装置の機能構成を模式的に示すブロック図である。 照明装置およびカメラの動作を模式的に示すタイミングチャートである。 図８（ａ），（ｂ）は、変形例に係る照明装置の構成を模式的に示す図である。 図９（ａ），（ｂ）は、別の変形例に係る照明装置の構成を模式的に示す図である。 第２の実施の形態に係る撮像装置の設置例を模式的に示す図である。 第２の実施の形態に係る撮像装置の構成を模式的に示す図である。 第２の実施の形態に係る偏光制御機構の構成を模式的に示す図である。 第２の実施の形態に係る制御装置の機能構成を模式的に示すブロック図である。 カメラの動作を模式的に示すタイミングチャートである。 図１５（ａ），（ｂ）は、変形例に係るカメラの構成を模式的に示す図である。 図１６（ａ），（ｂ）は、別の変形例に係るカメラの構成を模式的に示す図である。 図１７（ａ），（ｂ）は、さらに別の変形例に係るカメラの構成を模式的に示す図である。 図１８（ａ）－（ｆ）は、第３の実施の形態に係る偏光を模式的に示す図である。 第３の実施の形態に係る偏光サングラスの判定方法を模式的に示す図である。 図２０（ａ），（ｂ）は、第３の実施の形態に係るカメラの構成を模式的に示す図である。 図２１（ａ）－（ｄ）は、偏光制御機構の動作を模式的に示す図である。
　以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
（第１の実施の形態）
　図１は、第１の実施の形態に係る撮像装置１０の設置例を模式的に示す図である。本実施の形態では、移動体の一例である車両６０に撮像装置１０および虚像表示装置５０が設置される。撮像装置１０は、いわゆるドライバモニタであり、車両６０の運転者７０の顔面を撮像して運転者７０の状態をモニタリングする。虚像表示装置５０は、いわゆるヘッドアップディスプレイであり、ウィンドシールド６２に画像表示光５２を投射し、車両６０の進行方向（図１の右方向）の前方に虚像５４を提示する。運転者７０は、ウィンドシールド６２を介して現実の風景に重畳される虚像５４を視認する。図１において、車両６０の進行方向（前後方向）をｚ方向、車両６０の天地方向（上下方向）をｙ方向、車両６０の左右方向をｘ方向としている。
　本実施の形態に係る撮像装置１０は、運転者７０が使用するサングラス７２が偏光サングラスであるか否かを判定可能となるよう構成される。ここで、偏光サングラスとは、水面での反射光を遮蔽または低減可能なサングラスであり、Ｓ偏光成分を遮蔽または低減し、Ｐ偏光成分を透過させる直線偏光子を含む。一方、通常のサングラスには直線偏光子が含まれず、入射する光の強度を減衰させるＮＤ（Neutral Density）フィルタを含む。偏光サングラスの検出が必要となる背景として、ウィンドシールド６２における画像表示光５２の反射率の偏光依存性が挙げられる。
　図２は、ウィンドシールド６２の反射率を示すグラフである。ガラスなどで構成される一般的なウィンドシールド６２の反射率には偏光依存性があり、Ｓ偏光成分の反射率Ｒｓに比べてＰ偏光成分の反射率Ｒｐが低いことが知られている。したがって、図１に示す画像表示光５２のうち、Ｓ偏光成分の第１表示光５２ｓの反射率が相対的に高く、Ｐ偏光成分の第２表示光５２ｐの反射率が相対的に低い。特にブリュースター角θＢといわれる入射角（例えば５３度）ではＰ偏光成分の反射率Ｒｐが０になる。図１に示されるように、虚像表示装置５０から投射される画像表示光５２は、ウィンドシールド６２に対して斜めに入反射し、ウィンドシールド６２での入反射角φがブリュースター角θＢの近い値を取りうる。その結果、Ｓ偏光成分の第１表示光５２ｓは運転者７０の目に到達しやすく、Ｐ偏光成分の第２表示光５２ｐは運転者７０の目に到達しにくい。
　このとき、運転者７０が偏光サングラスを使用していたとすると、Ｓ偏光成分の第１表示光５２ｓが偏光サングラスによって遮蔽または低減されてしまう。その結果、運転者７０に画像表示光５２を視認させるためにはＰ偏光成分の第２表示光５２ｐを利用しなければならない。一方、運転者７０が偏光サングラスを使用していない場合、Ｓ偏光成分の第１表示光５２ｓを利用した方がより明るくて視認性の高い虚像５４を提供できる。そこで、本実施の形態では、偏光サングラスの使用有無を自動判定し、偏光サングラスの使用有無に応じてより適切な偏光成分を有する画像表示光５２を提供できるようにする。
　なお、図１の構成におけるＳ偏光成分は、ウィンドシールド６２における画像表示光５２の入射方向と反射方向の双方に直交する第１方向に直線偏光された光成分であり、車両６０の左右方向（ｘ方向）に直線偏光された光成分に相当する。一方、Ｐ偏光成分は、第１方向と直交する第２方向に直線偏光された光成分であり、車両６０の上下方向（ｙ方向）および前後方向（ｚ方向）で規定されるｙｚ平面に沿う方向に直線偏光された光成分に相当する。
　図１において、撮像装置１０は、撮像対象となる運転者７０の顔面に向けて照明光１２を照射するよう構成される。撮像装置１０は、第１方向に直線偏光されたＳ偏光成分の第１照明光１２ｓと、第２方向に直線偏光されたＰ偏光成分の第２照明光１２ｐとを運転者７０に向けて選択的に照射するよう構成される。撮像装置１０は、第１照明光１２ｓが照射された運転者７０を撮像した第１画像と、第２照明光１２ｐが照射された運転者７０を撮像した第２画像とを取得する。撮像装置１０は、第１画像と第２画像を比較することで、運転者７０が偏光サングラスを使用しているか否かを判定する。
　図３は、偏光サングラスの判定方法を模式的に示す図である。図３では、（ａ）サングラスを使用していない裸眼時、（ｂ）偏光サングラスではない通常サングラスの使用時、および（ｃ）偏光サングラスの使用時、の三つの場合において撮像装置１０により取得される（ｉ）第１画像および（ｉｉ）第２画像を示している。図３では、第１画像と第２画像の差分に対応する（ｉｉｉ）差分画像および（ｉｖ）差分画像のヒストグラムも示している。ここで、「差分画像」とは、第１画像を構成する各画素の輝度値（第１輝度値ともいう）から第２画像を構成する各画素の輝度値（第２輝度値ともいう）を減算した差分値（＝第１輝度値－第２輝度値）により各画素の輝度値が構成される画像のことである。またヒストグラムは、画像を構成する各画素の輝度値の分布をグラフ化したものであり、横軸を輝度値とし、縦軸を画素数としたグラフで表される。
　（ａ）の裸眼時では、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像がほぼ同じとなるため、差分画像の輝度値（つまり、第１輝度値と第２輝度値の差分値）がほぼゼロとなり、差分画像にほぼ何も写らない状態となる。その結果、差分画像のヒストグラムでは、輝度値がゼロとなる近傍にのみピーク７４が検出される。（ｂ）の通常サングラスの使用時も同様であり、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像がほぼ同じとなるため、差分画像にほぼ何も写らない状態となり、差分画像のヒストグラムにおいても輝度値がゼロとなる近傍にのみピーク７４が検出される。（ｃ）の偏光サングラスの使用時では、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像とで偏光サングラスの見え方が異なる。偏光サングラスはＳ偏光成分を遮蔽するため、Ｓ偏光照明の第１画像では偏光サングラスが黒く写る。一方、偏光サングラスはＰ偏光成分を透過するため、Ｐ偏光照明の第２画像では偏光サングラスが透けて写る。その結果、差分画像では偏光サングラスの領域の輝度値（つまり、第１輝度値と第２輝度値の差分値）の絶対値が大きくなり、偏光サングラスが強調されて見える。第１画像における偏光サングラスの領域の第１輝度値は相対的に小さく（つまり暗く）、第２画像における偏光サングラスの領域の第２輝度値は相対的に大きい（つまり明るい）ため、差分画像における偏光サングラスの領域の輝度値は負の値（例えば－ｎ）となる。その結果、差分画像のヒストグラムでは、輝度値がゼロとなる近傍に第１ピーク７４ａが検出されるとともに、輝度値が－ｎとなる近傍に第２ピーク７４ｂが検出される。このようにして、Ｓ偏光照明の第１画像とＰ偏光照明の第２画像を比較することで、偏光サングラスの使用有無を検出できる。
　図４は、第１の実施の形態に係る撮像装置１０の構成を模式的に示す図である。撮像装置１０は、照明装置２０と、カメラ２２と、制御装置２４とを備える。カメラ２２は、撮像軸１６の前方にある運転者７０を撮像対象とする。照明装置２０は、照明軸１４の前方にある運転者７０に向けて照明光１２を照射する。制御装置２４は、カメラ２２および照明装置２０の動作を制御する。図示する例において、照明軸１４と撮像軸１６が平行となるように描かれているが、照明軸１４と撮像軸１６は必ずしも平行でなくてもよい。
　図５は、第１の実施の形態に係る照明装置２０の構成を模式的に示す図である。照明装置２０は、第１光源３０ｓと、第２光源３０ｐと、駆動回路３２と、合波素子３４と、投射レンズ３６と、光拡散板３８とを含む。
　第１光源３０ｓは、第１方向に直線偏光されたＳ偏光の第１照明光１２ｓを生成し、第２光源３０ｐは、第２方向に直線偏光されたＰ偏光の第２照明光１２ｐを生成する。第１光源３０ｓおよび第２光源３０ｐは、例えば、直線偏光の発振モードを有するレーザ光源であり、偏光方向が互いに９０度異なるように配置されている。第１光源３０ｓおよび第２光源３０ｐは、例えば、赤外光のレーザを出力するよう構成される。第１光源３０ｓおよび第２光源３０ｐは、可視光のレーザを出力してもよく、赤色、緑色または青色のレーザ光を出力してもよい。第１光源３０ｓおよび第２光源３０ｐのそれぞれは、駆動回路３２により駆動され、点灯タイミングおよび消灯タイミングが制御される。
　合波素子３４は、照明軸１４上に配置され、第１光源３０ｓから出射される第１照明光１２ｓと、第２光源３０ｐから出射される第２照明光１２ｐとを照明軸１４上で合波する。合波素子３４の一例は、偏光ビームスプリッタであり、第１照明光１２ｓを透過させ、第２照明光１２ｐを反射させることで両者を合波させる。
　投射レンズ３６は、照明軸１４上に配置され、合波素子３４により合波された照明光１２を照明対象に向けて投射する。光拡散板３８は、照明軸１４上に配置され、投射レンズ３６を透過した照明光１２を拡散して均質化するよう構成される。光拡散板３８は、光拡散板３８の入射前後で偏光方向が保存される偏光保存型であることが好ましい。
　図６は、第１の実施の形態に係る制御装置２４の機能構成を模式的に示すブロック図である。制御装置２４は、照明制御部４０と、撮像制御部４２と、画像取得部４４と、画像処理部４６と、出力部４８とを備える。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　照明制御部４０は、照明装置２０の動作を制御して照明装置２０の動作モードを切り替える。照明装置２０は、第１光源３０ｓのみを点灯させて第１照明光１２ｓを生成する第１照明モードと、第２光源３０ｐのみを点灯させて第２照明光１２ｐを生成する第２照明モードと、第１光源３０ｓおよび第２光源３０ｐの双方を点灯させて無偏光の照明光１２を生成する第３照明モードとを有する。照明制御部４０は、駆動回路３２の動作を制御することにより、第１照明モード、第２照明モードおよび第３照明モードを切り替える。
　撮像制御部４２は、照明装置２０の動作と同期してカメラ２２の動作を制御する。撮像制御部４２は、撮像対象に第１照明光１２ｓが照射されるタイミングでカメラ２２に第１画像を撮像させる。撮像制御部４２は、撮像対象に第２照明光１２ｐが照射されるタイミングでカメラ２２に第２画像を撮像させる。撮像制御部４２は、撮像対象に無偏光の照明光１２が照射されるタイミングでカメラ２２に第３画像を撮像させる。ここで、第３画像とは、撮像装置１０をドライバモニタとして動作させて運転者７０を撮像する場合の画像であり、例えば動画像を構成する画像である。
　図７は、照明装置２０およびカメラ２２の動作を模式的に示すタイミングチャートである。第１期間Ｔ１は、第１光源３０ｓのみを点灯させて第１照明光１２ｓを生成する第１照明モードである。第２期間Ｔ２は、第２光源３０ｐのみを点灯させて第２照明光１２ｐを生成する第２照明モードである。第３期間Ｔ３は、第１光源３０ｓおよび第２光源３０ｐの双方を点灯させて無偏光の照明光１２を生成する第３照明モードである。カメラ２２は、第１期間Ｔ１において第１画像を撮像し、第２期間Ｔ２において第２画像を撮像し、第３期間Ｔ３において第３画像（動画像）を撮像する。
　照明制御部４０は、第１期間Ｔ１、第２期間Ｔ２および第３期間Ｔ３を周期的に切り替えることにより、偏光サングラスを検出するための第１画像および第２画像の取得を可能にするとともに、ドライバモニタ用の第３画像（動画像）の取得を可能にする。照明制御部４０は、例えば、カメラ２２のフレームレートに同期して照明モードを切り替え、第１フレームにて第１照明モードとし、第２フレームにて第２照明モードとし、第３フレーム以降において第３照明モードとする。したがって、照明制御部４０は、基本の照明モードを第３照明モードとし、間欠的に第１照明モードおよび第２照明モードを挿入するとも言える。第１照明モードおよび第２照明モードに切り替える周期は特に限られないが、例えば、１秒、５秒、１０秒、３０秒、１分、５分などである。また、照明制御部４０は、カメラ２２の隣接フレーム間で第１照明モードと第２照明モードを切り替えるようにする。これにより、第１画像と第２画像の取得タイミング間での撮像対象の変化を最小化し、第１画像と第２画像の間に偏光以外の要素で差が生じるのを防ぐようにする。
　図６に戻り、画像取得部４４は、カメラ２２が撮像する画像を取得する。画像取得部４４は、第１照明モードにて撮像される第１画像と、第２照明モードで撮像される第２画像とを取得する。画像取得部４４は、第３照明モードにて撮像する第３画像（動画像）を取得してもよい。
　画像処理部４６は、画像取得部４４が取得する第１画像および第２画像に基づいて、撮像対象に偏光サングラスが含まれるか否かを判定する。画像処理部４６は、図３に示されるように、第１画像および第２画像の差分画像を生成し、差分画像に各画素の輝度値の絶対値が基準値以上となる「特定領域」が存在する場合に偏光サングラスが含まれると判定する。画像処理部４６は、図３に示されるように、差分画像のヒストグラムに基づいて偏光サングラスの有無を判定してもよい。例えば、図３のヒストグラムにおいて、横軸の輝度値の絶対値が基準値以上となる位置（例えば輝度値－ｎ）において縦軸の画素数が所定値以上となるピーク（例えば第２ピーク７４ｂ）が含まれる場合に偏光サングラスがあると判定する。
　画像処理部４６は、差分画像における特定領域の画素の輝度値の符号（正負）を考慮して偏光サングラスが含まれるか否かを判定してもよい。例えば、Ｓ偏光照明を用いる第１画像の特定領域の画素の輝度値が相対的に小さく（つまり、暗く）、Ｐ偏光照明を用いる第２画像の特定領域の画素の輝度値が相対的に大きい（つまり、明るい）場合にのみ偏光サングラスが含まれていると判定してもよい。画像処理部４６は、パターンマッチング等の画像解析技術を用いて運転者７０の顔面の輪郭や目の位置を特定し、顔面と重なる範囲に特定領域が存在する場合や目の位置に特定領域が存在する場合に偏光サングラスを使用していると判定してもよい。画像処理部４６は、運転者７０が首を傾げておらず、車両６０の左右方向と運転者７０の両目またはサングラスの左右方向が一致する場合にのみ偏光サングラスの使用有無を判定してもよい。
　画像処理部４６は、画像取得部４４が取得する第３画像（動画像）に基づいて、運転者７０の状態を評価してもよい。画像処理部４６は、運転者７０の目が閉じた状態が所定時間連続する場合に居眠りを検知したり、運転者７０の視線方向が所定時間連続して車両前方とは異なる方向に向いている場合に脇見運転を検知したりしてもよい。
　出力部４８は、画像処理部４６による判定結果を外部装置に出力する。出力部４８は、例えば、虚像表示装置５０に偏光サングラスの使用有無の判定結果を示す信号を出力する。出力部４８は、車両６０に搭載される任意の機器に運転者７０の状態または状態変化に関する信号を出力してもよいし、画像取得部４４が取得した画像データを出力してもよい。
　本実施の形態によれば、撮像装置１０を用いて運転者７０が偏光サングラスを使用しているか否かを自動判定できる。これにより、虚像表示装置５０は、偏光サングラスの使用有無に応じて適切な画像表示光５２を生成できる。例えば、偏光サングラスを使用していない場合にはウィンドシールド６２での反射されやすいＳ偏光の第１表示光５２ｓを生成するようにし、偏光サングラスを使用している場合には偏光サングラス越しに視認可能なＰ偏光の第２表示光５２ｐを生成するようにできる。その結果、偏光サングラスの使用有無に拘わらずに第１表示光５２ｓおよび第２表示光５２ｐの双方を生成する場合に比べて虚像表示装置５０の消費電力を低減することができる。また、第１表示光５２ｓおよび第２表示光５２ｐの双方を生成するために複数の光源を同時点灯させる必要がなくなるため、複数の光源の同時点灯による動作温度の上昇を防ぐことができ、光源の長寿命化を実現できる。
　本実施の形態によれば、撮像装置１０をドライバモニタとして使用しつつ、運転者７０が偏光サングラスを使用しているか否かを自動判定できる。照明装置２０の動作モードを間欠的に第１照明モードおよび第２照明モードに切り替えることで、ドライバモニタとしての第３画像（動画像）の取得に実質的な影響を及ぼすことなく、偏光サングラスの判定に用いる第１画像および第２画像を取得できる。また、ドライバモニタとしての第３画像（動画像）を取得するための第３照明モードにおいて、第１照明光１２ｓおよび第２照明光１２ｐの双方を照射することで、運転者７０の顔面をより明るく照明できる。これにより、運転者７０のより鮮明な画像を撮像でき、ドライバモニタとしての判定精度を高めることができる。
　図８（ａ），（ｂ）は、変形例に係る照明装置１２０の構成を模式的に示す図である。本変形例では、ＬＥＤ（Light Emitting Diode）などの無偏光の光源１３０を用いて、第１照明光１１２ｓおよび第２照明光１１２ｐが生成される点で上述の実施の形態に係る照明装置２０と相違する。
　図８（ａ）に示されるように、照明装置１２０は、光源１３０と、偏光切替機構１３２とを含む。光源１３０は、無偏光またはランダム偏光の照明光１１２を生成し、少なくとも互いに直交する二つの直線偏光成分を含む照明光１１２を生成する。光源１３０および偏光切替機構１３２は、照明装置１２０の照明軸１１４上に配置される。偏光切替機構１３２は、偏光フィルタ１３４と、モータ１３６とを有する。
　図８（ｂ）に示されるように、偏光フィルタ１３４は、円盤形状であり、周方向に異なる位置に第１領域１３４ａ、第２領域１３４ｂおよび第３領域１３４ｃが設けられる。第１領域１３４ａおよび第２領域１３４ｂには直線偏光子が設けられる一方、第３領域１３４ｃには偏光子が設けられていない。なお、第１領域１３４ａおよび第２領域１３４ｂには、偏光軸Ａの向きが同じ直線偏光子が設けられている。モータ１３６は、偏光フィルタ１３４をＲ方向に回転させ、照明軸１１４上に配置される偏光フィルタ１３４の領域１３４ａ～１３４ｃを切り替える。モータ１３６は、偏光フィルタ１３４に設けられる直線偏光子を照明軸１１４に対して変位させる駆動部である。
　モータ１３６は、偏光フィルタ１３４を回転させることにより、直線偏光子の偏光軸Ａの向きを変化させ、Ｓ偏光成分またはＰ偏光成分を透過させる偏光軸Ａの向きに合わせる。図８（ｂ）に示される状態では、直線偏光子の偏光軸Ａの向きが左右方向であるため、偏光フィルタ１３４がＳ偏光成分を透過させる第１直線偏光子として機能する。したがって、照明軸１１４上に第１領域１３４ａが配置される場合、第１直線偏光子として機能する偏光フィルタ１３４をＳ偏光成分のみが透過し、Ｓ偏光照明である第１照明光１１２ｓが生成される。一方、照明軸１１４上に第２領域１３４ｂが配置される場合、つまり、図８（ｂ）の状態から偏光フィルタ１３４を９０度回転させた場合、直線偏光子の偏光軸Ａの向きが上下方向となるため、偏光フィルタ１３４がＰ偏光成分を透過させる第２直線偏光子として機能する。その結果、照明軸１１４上に第２領域１３４ｂが配置される場合、第２直線偏光子として機能する偏光フィルタ１３４をＰ偏光成分のみが透過し、Ｐ偏光照明である第２照明光１１２ｐが生成される。照明軸１１４上に第３領域１３４ｃが配置される場合、つまり、照明軸１１４上に直線偏光子が挿入されない場合、無偏光の照明光が偏光フィルタ１３４をそのまま透過するため、無偏光の照明光１１２が生成される。このようにして、偏光切替機構１３２は、照明装置１２０から投射される照明光１１２の偏光状態を切り替えるよう構成される。
　照明装置１２０は、例えば、上述の照明制御部４０により動作が制御される。照明制御部４０は、モータ１３６の動作を制御し、照明軸１１４上に第１領域１３４ａが配置される第１照明モードと、照明軸１１４上に第２領域１３４ｂが配置される第２照明モードと、照明軸１１４上に第３領域１３４ｃが配置される第３照明モードとを切り替える。モータ１３６は、ステッピングモータで構成されてもよく、偏光フィルタ１３４を瞬間的に所定の角度だけ回転させることで、各照明モードを瞬時に切り替えるよう構成されてもよい。モータ１３６は、各照明モードにおいて偏光フィルタ１３４を回転させずに静止させることで、各照明モードが一定時間にわたって維持するように構成されもよい。本変形例に係る照明装置１２０を用いる場合であっても、上述の実施の形態と同様の効果を奏することができる。
　さらなる変形例では、第１領域１３４ａと第２領域１３４ｂに設けられる直線偏光子の偏光軸Ａが共通していなくてもよく、第１領域１３４ａにＳ偏光成分を透過させる第１直線偏光子が設けられ、第２領域１３４ｂにＰ偏光成分を透過させる第２直線偏光子が設けられてもよい。また、偏光フィルタ１３４の各領域１３４ａ～１３４ｃが占める範囲は図示されるものに限られず、各領域１３４ａ～１３４ｃの少なくとも一つが図示される領域よりも広い範囲を占めてもよいし、図示される領域よりも狭い範囲を占めてもよい。
　図９（ａ），（ｂ）は、別の変形例に係る照明装置２２０の構成を模式的に示す図である。本変形例では、偏光フィルタを回転させるのではなく、スライドさせるように構成される点で上述の変形例と相違する。
　図９（ａ）に示されるように、照明装置２２０は、光源２３０と、偏光切替機構２３２とを含む。光源２３０は、無偏光またはランダム偏光の照明光２１２を生成し、少なくとも互いに直交する二つの直線偏光成分を含む照明光２１２を生成する。光源２３０および偏光切替機構２３２は、照明装置２２０の照明軸２１４上に配置される。偏光切替機構２３２は、偏光フィルタ２３４と、モータ２３６とを有する。
　図９（ｂ）に示されるように、偏光フィルタ２３４は、長方形状であり、長手方向（Ｓ方向）に異なる位置に第１領域２３４ａ、第２領域２３４ｂおよび第３領域２３４ｃが設けられる。第１領域２３４ａにはＳ偏光成分を透過させる第１直線偏光子が設けられ、第２領域２３４ｂにはＰ偏光成分を透過させる第２直線偏光子が設けられる。第３領域２３４ｃには偏光子が設けられていない。モータ２３６は、偏光フィルタ２３４をＳ方向にスライドさせ、照明軸２１４上に配置される偏光フィルタ２３４の領域２３４ａ～２３４ｃを切り替える。モータ２３６は、偏光フィルタ２３４に設けられる第１直線偏光子および第２直線偏光子を照明軸２１４に対して変位させる駆動部である。
　照明軸２１４上に第１領域２３４ａが配置される場合、つまり、照明軸２１４上に第１直線偏光子が挿入される場合、Ｓ偏光成分のみが偏光フィルタ２３４を透過するため、Ｓ偏光照明である第１照明光２１２ｓが生成される。照明軸２１４上に第２領域２３４ｂが配置される場合、つまり、照明軸２１４上に第２直線偏光子が挿入される場合、Ｐ偏光成分のみが偏光フィルタ２３４を透過するため、Ｐ偏光照明である第２照明光２１２ｐが生成される。照明軸２１４上に第３領域２３４ｃが配置される場合、つまり、照明軸２１４上に直線偏光子が挿入されない場合、無偏光の照明光が偏光フィルタ２３４をそのまま透過するため、無偏光の照明光２１２が生成される。このようにして、偏光切替機構２３２は、照明装置２２０から投射される照明光２１２の偏光状態を切り替えるよう構成される。
　照明装置２２０は、例えば、上述の照明制御部４０により動作が制御される。照明制御部４０は、モータ２３６の動作を制御し、照明軸２１４上に第１領域２３４ａが配置される第１照明モードと、照明軸２１４上に第２領域２３４ｂが配置される第２照明モードと、照明軸２１４上に第３領域２３４ｃが配置される第３照明モードとを切り替える。本変形例に係る照明装置２２０を用いる場合であっても、上述の実施の形態と同様の効果を奏することができる。
　なお、さらなる変形例においては、Ｓ偏光照明を撮像対象に投射するための第１照明装置と、Ｐ偏光照明を撮像対象に投射する第２照明装置とが別々に設けられてもよい。第１照明装置として、直線偏光の発振モードを有する第１レーザ光源を用いてもよいし、無偏光またはランダム偏光の第１光源と第１直線偏光子を組み合わせてもよい。同様に、第２照明装置として、直線偏光の発振モードを有する第２レーザ光源を用いてもよいし、無偏光またはランダム偏光の第２光源と第２直線偏光子を組み合わせてもよい。
（第２の実施の形態）
　図１０は、第２の実施の形態に係る撮像装置３１０の設置例を模式的に示す図である。本実施の形態に係る撮像装置３１０は、撮像対象となる運転者７０の顔面をＳ偏光成分とＰ偏光成分とに分けて撮像するよう構成される。撮像装置３１０は、撮像軸１６に沿って入射する入射光１８のうちＳ偏光成分である第１直線偏光成分１８ｓを撮像した第１画像と、入射光１８のうちＰ偏光成分である第２直線偏光成分１８ｐを撮像した第２画像とを取得する。撮像装置１０は、第１画像と第２画像を比較することで、運転者７０が偏光サングラスを使用しているか否かを判定する。以下、本実施の形態について、上述の第１の実施の形態との相違点を中心に説明する。
　図１１は、第２の実施の形態に係る撮像装置３１０の構成を模式的に示す図である。撮像装置３１０は、照明装置３２０と、カメラ３２２と、制御装置３２４とを備える。カメラ３２２は、撮像軸１６の前方にある運転者７０を撮像対象とする。照明装置３２０は、照明軸１４の前方にある運転者７０に向けて照明光３１２を照射する。制御装置３２４は、カメラ３２２および照明装置３２０の動作を制御する。図示する例において、照明軸１４と撮像軸１６が平行となるように描かれているが、照明軸１４と撮像軸１６は必ずしも平行でなくてもよい。
　照明装置３２０は、Ｓ偏光成分３１２ｓおよびＰ偏光成分３１２ｐの双方を含む照明光３１２を生成する。照明装置３２０は、例えば、ＬＥＤ（Light Emitting Diode）などの無偏光または非偏光の光源を有し、Ｓ偏光成分３１２ｓおよびＰ偏光成分３１２ｐのそれぞれの光強度が同程度となる照明光３１２を生成する。照明装置３２０は、直線偏光の発振モードを有する二つのレーザ光源を有してもよく、二つのレーザ光源の偏光方向が互いに９０度異なるように配置することでＳ偏光成分３１２ｓおよびＰ偏光成分３１２ｐのそれぞれの光強度が同程度となるようにしてもよい。照明装置３２０は、例えば、赤外光の照明光３１２を生成するよう構成される。照明装置３２０は、可視光の照明光３１２を生成してもよく、赤色、緑色、青色または白色の照明光３１２を生成してもよい。なお、照明装置３２０を撮像装置３１０に設けない構成としてもよい。
　カメラ３２２は、偏光制御機構３２６と、撮像素子３２８とを含む。偏光制御機構３２６は、撮像素子３２８に入射する入射光１８の偏光を制御する。偏光制御機構３２６は、第１直線偏光成分（Ｓ偏光成分）１８ｓを透過させる第１偏光状態と、第２直線偏光成分（Ｐ偏光成分）１８ｐを透過させる第２偏光状態と、第１直線偏光成分と第２直線偏光成分の双方を透過させる全透過状態とを切替可能となるよう構成される。撮像素子３２８は、偏光制御機構３２６が第１偏光状態であれば第１直線偏光成分で構成される第１画像を撮像でき、偏光制御機構３２６が第２偏光状態であれば第２直線偏光成分で構成される第２画像を撮像できる。撮像素子３２８は、偏光制御機構３２６が全透過状態であれば、第１直線偏光成分と第２直線偏光成分の双方で構成される通常画像を撮像できる。ここで、通常画像とは、撮像装置３１０をドライバモニタとして動作させて運転者７０を撮像する場合の画像であり、例えば動画像を構成する画像である。
　図１３は、第２の実施の形態に係る偏光制御機構３２６の構成を模式的に示す図である。撮像素子３２８は、二次元アレイ状に配列される複数の画素３３０を有する。偏光制御機構３２６は、複数の画素３３０の手前に配置されている。偏光制御機構３２６は、第１偏光制御素子３２６ｓと、第２偏光制御素子３２６ｐとを有する。第１偏光制御素子３２６ｓおよび第２偏光制御素子３２６ｐは、撮像軸１６上に直列的に配置されている。
　第１偏光制御素子３２６ｓおよび第２偏光制御素子３２６ｐのそれぞれは、アクティブ偏光子であり、特定方向の直線偏光成分の透過および遮蔽を電気的に切替できるように構成される。第１偏光制御素子３２６ｓは、第１直線偏光成分（Ｓ偏光成分）１８ｓを常時透過させ、第２直線偏光成分（Ｐ偏光成分）１８ｐの透過および遮蔽を電気的に切替できるように配置される。第２偏光制御素子３２６ｐは、第２直線偏光成分（Ｐ偏光成分）１８ｐを常時透過させる一方、第１直線偏光成分（Ｓ偏光成分）１８ｓの透過および遮蔽を電気的に切替できるように配置される。
　第１偏光制御素子３２６ｓおよび第２偏光制御素子３２６ｐのそれぞれの動作を切り替えることで、上述の第１偏光状態、第２偏光状態および全透過状態が実現される。具体的には、第１偏光制御素子３２６ｓをオンとし、第２偏光制御素子３２６ｐをオフとすることで、第２直線偏光成分を遮蔽して第１直線偏光成分を透過させる第１偏光状態となる。逆に、第１偏光制御素子３２６ｓをオフとし、第２偏光制御素子３２６ｐをオンとすることで、第１直線偏光成分を遮蔽して第２直線偏光成分を透過させる第２偏光状態となる。また、第１偏光制御素子３２６ｓおよび第２偏光制御素子３２６ｐの双方をオフとすることで、第１直線偏光成分および第２直線偏光成分の双方を透過させる全透過状態となる。
　図１３は、第２の実施の形態に係る制御装置３２４の機能構成を模式的に示すブロック図である。制御装置３２４は、偏光制御部３４０と、撮像制御部３４２と、画像取得部３４４と、画像処理部３４６と、出力部３４８とを備える。図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
　偏光制御部３４０は、偏光制御機構３２６の動作を制御して撮像素子３２８に入射する入射光１８の偏光状態を制御する。偏光制御部３４０は、第１偏光制御素子３２６ｓおよび第２偏光制御素子３２６ｐのそれぞれの動作を切り替えることで、上述の第１偏光状態、第２偏光状態および全透過状態を切り替える。
　撮像制御部３４２は、偏光制御機構３２６の動作と同期して撮像素子３２８の動作を制御する。撮像制御部３４２は、偏光制御機構３２６が第１偏光状態となるタイミングで撮像素子３２８に第１画像を撮像させる。撮像制御部３４２は、偏光制御機構３２６が第２偏光状態となるタイミングで撮像素子３２８に第２画像を撮像させる。撮像制御部３４２は、偏光制御機構３２６が全透過状態となるタイミングで撮像素子３２８に通常画像（動画像）を撮像させる。
　図１４は、偏光制御機構３２６および撮像素子３２８の動作を模式的に示すタイミングチャートである。図１４の第１期間Ｔ１は、第１偏光制御素子３２６ｓをオンにして第２偏光制御素子３２６ｐをオフにする第１偏光状態であり、第２期間Ｔ２は、第１偏光制御素子３２６ｓをオフにして第２偏光制御素子３２６ｐをオンにする第２偏光状態であり、第３期間Ｔ３は、第１偏光制御素子３２６ｓおよび第２偏光制御素子３２６ｐの双方をオフにする全透過状態である。撮像素子３２８は、第１期間Ｔ１において第１画像を撮像し、第２期間Ｔ２において第２画像を撮像し、第３期間Ｔ３において通常画像（動画像）を撮像する。
　偏光制御部３４０は、第１期間Ｔ１、第２期間Ｔ２および第３期間Ｔ３を周期的に切り替えることにより、偏光サングラスを検出するための第１画像および第２画像の取得を可能にするとともに、ドライバモニタ用の通常画像（動画像）の取得を可能にする。偏光制御部３４０は、例えば、撮像素子３２８のフレームレートに同期して偏光状態を切り替え、第１フレームにて第１状態とし、第２フレームにて第２状態とし、第３フレーム以降において全透過状態とする。したがって、偏光制御部３４０は、全透過状態を基本の偏光状態としつつ、間欠的に第１偏光状態および第２偏光状態を挿入するとも言える。第１偏光状態および第２偏光状態に切り替える周期は特に限られないが、例えば、１秒、５秒、１０秒、３０秒、１分、５分などである。また、偏光制御部３４０は、撮像素子３２８の隣接フレーム間で第１偏光状態と第２偏光状態を切り替えるようにする。これにより、第１画像と第２画像の取得タイミング間での撮像対象の変化を最小化し、第１画像と第２画像の間に偏光以外の要素で差が生じるのを防ぐようにする。
　図１３に戻り、画像取得部３４４は、撮像素子３２８が撮像する画像を取得する。画像取得部３４４は、第１偏光状態にて撮像される第１画像と、第２偏光状態で撮像される第２画像とを取得する。画像取得部３４４は、全透過状態にて撮像する通常画像（動画像）を取得してもよい。
　画像処理部３４６は、画像取得部３４４が取得する第１画像および第２画像に基づいて、撮像対象に偏光サングラスが含まれるか否かを判定する。画像処理部３４６は、図３に示されるように、第１画像および第２画像の差分画像を生成し、差分画像に各画素の輝度値の絶対値が基準値以上となる「特定領域」が存在する場合に偏光サングラスが含まれると判定する。画像処理部３４６は、図３に示されるように、差分画像のヒストグラムに基づいて偏光サングラスの有無を判定してもよい。例えば、図３のヒストグラムにおいて、横軸の輝度値の絶対値が基準値以上となる位置（例えば輝度値－ｎ）において縦軸の画素数が所定値以上となるピーク（例えば第２ピーク７４ｂ）が含まれる場合に偏光サングラスがあると判定する。
　画像処理部３４６は、差分画像における特定領域の画素の輝度値の符号（正負）を考慮して偏光サングラスが含まれるか否かを判定してもよい。例えば、Ｓ偏光成分を撮像した第１画像の特定領域の画素の輝度値が相対的に小さく（つまり、暗く）、Ｐ偏光成分を撮像した第２画像の特定領域の画素の輝度値が相対的に大きい（つまり、明るい）場合にのみ偏光サングラスが含まれていると判定してもよい。画像処理部３４６は、パターンマッチング等の画像解析技術を用いて運転者７０の顔面の輪郭や目の位置を特定し、顔面と重なる範囲に特定領域が存在する場合や目の位置に特定領域が存在する場合に偏光サングラスを使用していると判定してもよい。画像処理部３４６は、運転者７０が首を傾げておらず、車両６０の左右方向と運転者７０の両目またはサングラスの左右方向とが一致する場合にのみ偏光サングラスの使用有無を判定してもよい。
　画像処理部３４６は、画像取得部３４４が取得する通常画像（動画像）に基づいて、運転者７０の状態を評価してもよい。画像処理部３４６は、運転者７０の目が閉じた状態が所定時間連続する場合に居眠り運転を検知したり、運転者７０の視線方向が所定時間連続して車両前方とは異なる方向に向いている場合に脇見運転を検知したりしてもよい。
　出力部３４８は、画像処理部３４６による判定結果を外部装置に出力する。出力部３４８は、例えば、虚像表示装置５０に偏光サングラスの使用有無の判定結果を示す信号を出力する。出力部３４８は、車両６０に搭載される任意の機器に運転者７０の状態または状態変化に関する信号を出力してもよいし、画像取得部３４４が取得した画像データを出力してもよい。
　本実施の形態によれば、撮像装置３１０を用いて運転者７０が偏光サングラスを使用しているか否かを自動判定できる。これにより、虚像表示装置５０は、偏光サングラスの使用有無に応じて適切な画像表示光５２を生成できる。例えば、偏光サングラスを使用していない場合にはウィンドシールド６２での反射されやすいＳ偏光の第１表示光５２ｓを生成するようにし、偏光サングラスを使用している場合には偏光サングラス越しに視認可能なＰ偏光の第２表示光５２ｐを生成するようにできる。その結果、偏光サングラスの使用有無に拘わらずに第１表示光５２ｓおよび第２表示光５２ｐの双方を生成する場合に比べて虚像表示装置５０の消費電力を低減することができる。また、第１表示光５２ｓおよび第２表示光５２ｐの双方を生成するために複数の光源を同時点灯させる必要がなくなるため、複数の光源の同時点灯による動作温度の上昇を防ぐことができ、光源の長寿命化を実現できる。
　本実施の形態によれば、撮像装置３１０をドライバモニタとして使用しつつ、運転者７０が偏光サングラスを使用しているか否かを自動判定できる。偏光制御機構３２６の偏光状態を間欠的に第１偏光状態および第２偏光状態に切り替えることで、ドライバモニタとしての通常画像（動画像）の取得に実質的な影響を及ぼすことなく、偏光サングラスの判定に用いる第１画像および第２画像を取得できる。また、ドライバモニタとしての通常画像（動画像）を取得するための全透過状態において、第１直線偏光成分１８ｓおよび第２直線偏光成分１８ｐの双方を含む入射光１８を撮像することで、撮像素子３２８に入射する入射光１８の光量がより多い状態で運転者７０の顔面を撮像できる。これにより、運転者７０のより鮮明な画像を撮像でき、ドライバモニタとしての判定精度を高めることができる。
　図１５（ａ），（ｂ）は、変形例に係るカメラ４２２の構成を模式的に示す図である。本変形例では、偏光フィルタ４３４を回転させることにより撮像素子３２８に入射する入射光１８の偏光状態を切り替える点で上述の第２の実施の形態に係るカメラ３２２と相違する。
　図１５（ａ）に示されるように、カメラ４２２は、偏光制御機構４２６と、撮像素子３２８とを含む。偏光制御機構４２６は、撮像素子３２８の撮像軸１６上に配置される。偏光制御機構４２６は、偏光フィルタ４３４と、モータ４３６とを有する。
　図１５（ｂ）に示されるように、偏光フィルタ４３４は、円盤形状であり、周方向に異なる位置に第１領域４３４ａ、第２領域４３４ｂおよび第３領域４３４ｃが設けられる。第１領域４３４ａおよび第２領域４３４ｂには直線偏光子が設けられる一方、第３領域４３４ｃには偏光子が設けられていない。なお、第１領域４３４ａおよび第２領域４３４ｂには、偏光軸Ａの向きが同じ直線偏光子が設けられている。モータ４３６は、偏光フィルタ４３４をＲ方向に回転させ、撮像軸１６上に配置される偏光フィルタ４３４の領域４３４ａ～４３４ｃを切り替える。モータ４３６は、偏光フィルタ４３４に設けられる直線偏光子を撮像軸１６に対して変位させる駆動部である。
　モータ４３６は、偏光フィルタ４３４を回転させることにより、直線偏光子の偏光軸Ａの向きを変化させ、Ｓ偏光成分またはＰ偏光成分を透過させる偏光軸Ａの向きに合わせる。図１５（ｂ）に示される状態では、直線偏光子の偏光軸Ａの向きが左右方向であるため、偏光フィルタ４３４がＳ偏光成分を透過させる第１直線偏光子として機能する。したがって、撮像軸１６上に第１領域４３４ａが配置される場合、第１直線偏光子として機能する偏光フィルタ４３４を入射光１８のＳ偏光成分１８ｓのみが透過し、撮像素子３２８により第１画像が撮像される。一方、撮像軸１６上に第２領域４３４ｂが配置される場合、つまり、図１５（ｂ）の状態から偏光フィルタ４３４を９０度回転させた場合、直線偏光子の偏光軸Ａの向きが上下方向となるため、偏光フィルタ４３４がＰ偏光成分を透過させる第２直線偏光子として機能する。その結果、撮像軸１６上に第２領域４３４ｂが配置される場合、第２直線偏光子として機能する偏光フィルタ４３４を入射光１８のＰ偏光成分１８ｐのみが透過し、撮像素子３２８により第２画像が撮像される。撮像軸１６上に第３領域４３４ｃが配置される場合、つまり、撮像軸１６上に直線偏光子が挿入されない場合、入射光１８が偏光フィルタ４３４をそのまま透過し、撮像素子３２８により通常画像が撮像される。このようにして、偏光制御機構４２６は、撮像素子３２８に向かう入射光１８の偏光状態を切り替えることができる。
　偏光制御機構４２６は、上述の偏光制御部３４０により動作が制御される。偏光制御部３４０は、モータ４３６の動作を制御し、撮像軸１６上に第１領域４３４ａが配置される第１偏光状態と、撮像軸１６上に第２領域４３４ｂが配置される第２偏光状態と、撮像軸１６上に第３領域４３４ｃが配置される全透過状態とを切り替える。モータ４３６は、ステッピングモータで構成されてもよく、偏光フィルタ４３４を瞬間的に所定の角度だけ回転させることで、偏光状態を瞬時に切り替えるよう構成されてもよい。モータ４３６は、偏光フィルタ４３４を回転させずに静止させることで、第１偏光状態、第２偏光状態または全透過状態が一定時間にわたって維持するように構成されもよい。本変形例に係るカメラ４２２を用いる場合であっても、上述の第２の実施の形態と同様の効果を奏することができる。
　さらなる変形例では、第１領域４３４ａと第２領域４３４ｂに設けられる直線偏光子の偏光軸Ａが共通していなくてもよく、第１領域４３４ａにＳ偏光成分を透過させる第１直線偏光子が設けられ、第２領域４３４ｂにＰ偏光成分を透過させる第２直線偏光子が設けられてもよい。また、偏光フィルタ１３４の各領域４３４ａ～４３４ｃが占める範囲は図示されるものに限られず、各領域４３４ａ～４３４ｃの少なくとも一つが図示される領域よりも広い範囲を占めてもよいし、図示される領域よりも狭い範囲を占めてもよい。
　図１６（ａ），（ｂ）は、別の変形例に係るカメラ５２２の構成を模式的に示す図である。本変形例では、偏光フィルタを回転させるのではなく、スライドさせるように構成される点で上述の変形例と相違する。
　図１６（ａ）に示されるように、カメラ５２２は、偏光制御機構５２６と、撮像素子３２８を含む。偏光制御機構５２６は、撮像素子３２８の撮像軸１６上に配置される。偏光制御機構５２６は、偏光フィルタ５３４と、モータ５３６とを有する。
　図１６（ｂ）に示されるように、偏光フィルタ５３４は、長方形状であり、長手方向（Ｓ方向）に異なる位置に第１領域５３４ａ、第２領域５３４ｂおよび第３領域５３４ｃが設けられる。第１領域５３４ａにはＳ偏光成分を透過させる第１直線偏光子が設けられ、第２領域５３４ｂにはＰ偏光成分を透過させる第２直線偏光子が設けられる。第３領域５３４ｃには偏光子が設けられていない。モータ５３６は、偏光フィルタ５３４をＳ方向にスライドさせ、撮像軸１６上に配置される偏光フィルタ５３４の領域５３４ａ～５３４ｃを切り替える。モータ５３６は、偏光フィルタ５３４に設けられる第１直線偏光子および第２直線偏光子を撮像軸１６に対して変位させる駆動部である。
　撮像軸１６上に第１領域５３４ａが配置される場合、つまり、撮像軸１６上に第１直線偏光子が挿入される場合、入射光１８のうちＳ偏光成分１８ｓのみが偏光フィルタ５３４を透過し、撮像素子３２８により第１画像が撮像される。撮像軸１６上に第２領域５３４ｂが配置される場合、つまり、撮像軸１６上に第２直線偏光子が挿入される場合、入射光１８のうちＰ偏光成分１８ｐのみが偏光フィルタ５３４を透過し、撮像素子３２８により第２画像が撮像される。撮像軸１６上に第３領域５３４ｃが配置される場合、つまり、撮像軸１６上に直線偏光子が挿入されない場合、入射光１８が偏光フィルタ５３４をそのまま透過し、撮像素子３２８により通常画像が撮像される。このようにして、偏光制御機構５２６は、撮像素子３２８に向かう入射光１８の偏光状態を切り替えることができる。
　偏光制御機構５２６は、上述の偏光制御部３４０により動作が制御される。偏光制御部３４０は、モータ５３６の動作を制御し、撮像軸１６上に第１領域５３４ａが配置される第１偏光状態と、撮像軸１６上に第２領域５３４ｂが配置される第２偏光状態と、撮像軸１６上に第３領域５３４ｃが配置される全透過状態とを切り替える。本変形例に係るカメラ５２２を用いる場合であっても、上述の第２の実施の形態と同様の効果を奏することができる。
　図１７（ａ），（ｂ）は、さらに別の変形例に係るカメラ６２２の構成を模式的に示す図である。本変形例では、撮像素子３２８の複数の画素３３０のそれぞれに対応するように第１直線偏光フィルタ６３４ｓおよび第２直線偏光フィルタ６３４ｐが配置される点で上述の第２の実施の形態および変形例と相違する。
　図１７（ａ）に示されるように、カメラ６２２は、偏光制御機構６２６と、撮像素子３２８とを含む。撮像素子３２８は、二次元アレイ状に配列される複数の画素３３０を有する。偏光制御機構６２６は、複数の画素３３０のそれぞれに対応して配置される複数の偏光フィルタ６３４を有する。偏光制御機構６２６は、隣接する二つの画素の一方（例えば画素３３０ａ）に第１直線偏光成分（Ｓ偏光成分）を透過させる第１直線偏光フィルタ６３４ｓが配置され、隣接する二つの画素の他方（例えば画素３３０ｂ）に第２直線偏光成分（Ｐ偏光成分）を透過させる第２直線偏光フィルタ６３４ｐが配置されるよう構成される。
　図１７（ｂ）に示されるように、第１直線偏光フィルタ６３４ｓおよび第２直線偏光フィルタ６３４ｐは市松模様となるように配置される。なお、第１直線偏光フィルタ６３４ｓおよび第２直線偏光フィルタ６３４ｐは、縞状に配置されてもよい。
　撮像素子３２８は、偏光制御機構６２６を介して撮像対象の画像を撮像することにより、第１直線偏光成分を撮像した第１画像と、第２直線偏光成分を撮像した第２画像とを同時に生成する。第１画像は、複数の画素３３０のうち第１直線偏光フィルタ６３４ｓが配置される画素群を用いて撮像される。第２画像は、複数の画素３３０のうち第２直線偏光フィルタ６３４ｐが配置される画素群を用いて撮像される。
　撮像素子３２８は、例えば、複数の画素３３０の全てを用いて撮像した通常画像を出力するよう構成される。この場合、画像取得部３４４は、撮像素子３２８から通常画像を取得し、画像処理部３４６は、取得した通常画像から第１画像と第２画像を分離する。画像処理部３４６は、第１画像と第２画像を比較することで、撮像対象に偏光サングラスが含まれるか否かを判定する。画像処理部３４６は、複数の画素３３０の全てを用いて撮像された通常画像を用いて運転者７０の状態を評価してもよい。
　撮像素子３２８は、第１直線偏光フィルタ６３４ｓが配置される画素群を用いて撮像した第１画像と、第２直線偏光フィルタ６３４ｐが配置される画素群を用いて撮像した第２画像とを別々に出力するよう構成されてもよい。この場合、画像取得部３４４は、撮像素子３２８から第１画像と第２画像を取得し、画像処理部３４６は、第１画像と第２画像を比較して撮像対象に偏光サングラスが含まれるか否かを判定する。画像処理部３４６は、第１画像と第２画像を合成することで複数の画素３３０の全てを用いて撮像した場合に相当する通常画像を生成し、通常画像を用いて運転者７０の状態を評価してもよい。
　本変形例によれば、偏光状態の切替が不要なため、第１画像、第２画像および通常画像を常時取得することができる。その結果、ドライバモニタとしての通常画像（動画像）の取得に影響を及ぼすことなく、偏光サングラスの判定に用いる第１画像および第２画像を取得できる。また、第１画像および第２画像についても常時取得できることから、運転者７０が偏光サングラスを着けたり外したりする場合に、偏光サングラスの使用有無の変化を即時に検出できる。
（第３の実施の形態）
　第３の実施の形態では、Ｓ偏光成分を遮蔽する一般的な偏光サングラスを検出するだけでなく、右目用と左目用に異なる偏光子が用いられる立体メガネ（３Ｄメガネ）を検出できるように構成される。３Ｄメガネは、右目と左目のそれぞれで視差のある表示光を別々に視覚できるように構成され、右目用レンズと左目用レンズのそれぞれが互いに直交する偏光を透過させるように構成される。
　図１８（ａ）～（ｆ）は、第３の実施の形態に係る偏光を模式的に示す図であり、互いに直交する偏光の例を示している。ここで、「互いに直交する偏光」とは、偏光のｘ方向成分およびｙ方向成分をジョーンズベクトルｕｊ（ｊ＝１，２）を用いて複素表記した場合にｕ１ ＊・ｕ２＝０となる二つの偏光のことをいう。ここで、アスタリスク（＊）が付されたジョーンズベクトルｕｊ ＊は、元のジョーンズベクトルｕｊの複素共役を表す。
　図１８（ａ）は、第１直線偏光（Ｓ偏光）を示し、図１８（ｂ）は、第２直線偏光（Ｐ偏光）を示す。これらをジョーンズベクトルｕ（ｘ，ｙ）で表現すれば、（ａ）のＳ偏光はｕ１（ｘ、ｙ）＝（１，０）であり、（ｂ）のＰ偏光はｕ２（ｘ，ｙ）＝（０，１）であり、ｕ１ ＊・ｕ２＝０となって互いに直交する。したがって、第１直線偏光（Ｓ偏光）と第２直線偏光（Ｐ偏光）は互いに直交する偏光である。
　図１８（ｃ）は、第３直線偏光（右４５度偏光）を示し、図１８（ｂ）のＰ偏光を右に４５度回転させた直線偏光を示す。図１８（ｄ）は、第４直線偏光（左４５度偏光）を示し、図１８（ｂ）のＰ偏光を左に４５度回転させた直線偏光を示す。これらをジョーンズベクトルｕ（ｘ，ｙ）で表現すれば、（ｃ）の右４５度偏光はｕ３（ｘ、ｙ）＝１／√２（１，１）であり、（ｄ）の左４５度偏光はｕ４（ｘ，ｙ）＝（１／√２）（１，－１）であり、ｕ３ ＊・ｕ４＝０となって互いに直交する。したがって、第３直線偏光（右４５度偏光）と第４直線偏光（左４５度偏光）は互いに直交する偏光である。
　図１８（ｅ）は、右回り円偏光を示し、図１８（ｆ）は、左回り円偏光を示す。これらをジョーンズベクトルｕ（ｘ，ｙ）で表現すれば、（ｅ）の右回り円偏光はｕ５（ｘ、ｙ）＝１／√２（１，ｉ）であり、（ｆ）の左回り円偏光はｕ６（ｘ，ｙ）＝（１／√２）（１，－ｉ）であり、ｕ５ ＊・ｕ６＝０となって互いに直交する。したがって、右回り円偏光と左回り円偏光は互いに直交する偏光である。
　図１９は、第３の実施の形態に係る偏光サングラスの判定方法を模式的に示す図である。（ａ）～（ｄ）に模式的に示すサングラスは、紙面上において左側に右目用レンズが示され、右側に左目用レンズが示されている。（ａ）は、Ｓ偏光成分を遮蔽してＰ偏光成分を透過させる一般的な偏光サングラスを示し、（ｂ）～（ｄ）は、右目用と左目用に互いに直交する偏光子が用いられる３Ｄメガネを示している。（ｂ）は、右目用にＰ偏光（紙面の上下方向）を透過させる直線偏光子が用いられ、左目用にＳ偏光（紙面の左右方向）を透過させる直線偏光子が用いられる３Ｄメガネを示す。（ｃ）は、右目用に右に４５度回転させた第３直線偏光（右４５度偏光）を透過させる直線偏光子が用いられ、左目用に左に４５度回転させた第４直線偏光（左４５度偏光）を透過させる直線偏光子が用いられる３Ｄメガネを示す。（ｄ）は、右目用に右回り円偏光を透過させる円偏光子が用いられ、左目用に左回り円偏光を透過させる円偏光子が用いられる３Ｄメガネを示す。
　ここで、「右または左に４５度回転」もしくは「右回りまたは左回り」における回転方向は、運転者７０を撮像するカメラの撮像系を基準としている。つまり、運転者７０またはサングラス７２を正面視したときに、運転者７０またはサングラス７２に向かう方向を基準として右ねじとなる方向が右側の回転方向であり、左ねじとなる方向が左側の回転方向である。また、右に４５度回転させた「右４５度偏光」とは、紙面において偏光方向が上下方向となるＰ偏光（第２直線偏光）を右に４５度回転させた直線偏光のことをいう。同様に、左に４５度回転させた「左４５度偏光」とは、Ｐ偏光を左に４５度回転させた直線偏光のこという。
　本実施の形態では、（ａ）～（ｄ）の偏光サングラスまたは３Ｄメガネを判別するために、Ｓ偏光成分を撮像した第１画像およびＰ偏光成分を撮像した第２画像の取得に加えて、右に４５度回転させた直線偏光成分（第３直線偏光成分ともいう）を撮像した第３画像および左に４５度回転させた直線偏光成分（第４直線偏光成分ともいう）を撮像した第４画像を取得する。図１９において、（ａ）～（ｄ）の偏光サングラスまたは３Ｄメガネを撮像対象とした場合の（ｉ）第１画像（Ｓ偏光画像）、（ｉｉ）第２画像（Ｐ偏光画像）、（ｉｉｉ）第３画像（右４５度偏光画像）、および（ｉｖ）第４画像（左４５度偏光画像）を模式的に示している。
　図示されるように、（ｂ）の３Ｄメガネでは、（ｉ）第１画像（Ｓ偏光画像）と（ｉｉ）第２画像（Ｐ偏光画像）において、右目用レンズと左目用レンズが互いに異なる態様で写し出されるため、第１画像と第２画像に基づいて（ｂ）の３Ｄメガネを検出できる。（ｃ）の３Ｄメガネでは、（ｉｉｉ）第３画像（右４５度偏光画像）と（ｉｖ）第４画像（左４５度偏光画像）において、右目用レンズと左目用レンズが互いに異なる態様で写し出されるため、第３画像と第４画像に基づいて（ｃ）の３Ｄメガネを検出できる。なお、（ｄ）の３Ｄメガネでは、（ｉ）～（ｉｖ）の画像の全てにおいて右目用レンズと左目用レンズが同じ態様で写し出されるため、（ｄ）の３Ｄメガネを使用していることを検出できないが、少なくとも（ａ）の偏光サングラス、または、（ｂ）もしくは（ｃ）の３Ｄメガネを使用していないことを検出できる。つまり、本実施の形態によれば、撮像対象に含まれる直線偏光子の偏光軸の方向を判定し、Ｓ偏光、Ｐ偏光、右４５度偏光、左４５度偏光のいずれであるかを特定できる。
　図２０（ａ），（ｂ）は、第３の実施の形態に係るカメラ７２２の構成を模式的に示す図である。カメラ７２２は、Ｓ偏光成分を撮像した第１画像、Ｐ偏光成分を撮像した第２画像、右４５度偏光成分を撮像した第３画像、左４５度偏光成分を撮像した第４画像および直交する偏光成分の双方を撮像した通常画像を撮像可能となるよう構成される。本実施の形態に係るカメラ７２２は、図１５（ａ），（ｂ）に示す第２の実施の形態に係る変形例と同様に構成されるが、偏光フィルタ７３４の構成および動作が異なる。
　図２０（ａ）に示すように、カメラ７２２は、偏光制御機構７２６と、撮像素子３２８とを含む。偏光制御機構７２６は、撮像素子３２８の撮像軸１６上に配置される。偏光制御機構７２６は、偏光フィルタ７３４と、モータ７３６とを有する。
　図２０（ｂ）に示されるように、偏光フィルタ７３４は、円盤形状であり、直線偏光子が設けられる第１領域７３４ａと、直線偏光子が設けられていない第２領域７３４ｂとを有する。第１領域７３４ａは、円盤形状の偏光フィルタ７３４のうち約２７０度の範囲を占める扇状領域である。第２領域７３４ｂは、円盤形状の偏光フィルタ７３４のうち残りの約９０度の範囲を占める扇状領域である。モータ７３６は、偏光フィルタ７３４をＲ方向に回転させ、撮像軸１６上と重なる第１領域７３４ａの偏光軸Ａの向きを変化させる。図２０（ｂ）は、初期配置の偏光フィルタ７３４を示し、第１領域７３４ａに設けられる直線偏光子の偏光軸Ａの向きがＳ偏光成分を透過させる方向となっている。これにより、撮像素子３２８に向けて第１直線偏光成分（Ｓ偏光成分）を透過させる第１偏光状態を実現でき、撮像素子３２８を用いてＳ偏光成分を撮像した第１画像を取得できる。モータ７３６は、上述の実施の形態と同様にステッピングモータであってもよい。
　図２１（ａ）－（ｄ）は、偏光制御機構７２６の動作を模式的に示す図であり、偏光フィルタ７３４の回転により第１領域７３４ａに設けられる直線偏光子の偏光軸Ａの向きを変化させる様子を示す。図２１（ａ）は、図２０（ｂ）の初期配置から偏光フィルタ７３４を右にθ１（４５度）回転させたときを示している。偏光フィルタ７３４を右に４５度回転させることで、第１領域７３４ａに設けられる直線偏光子の偏光軸Ａの向きが左４５度偏光成分を透過させる方向となっている。これにより、撮像素子３２８に向けて第２直線偏光成分（Ｐ偏光成分）に対して左に４５度回転した第４直線偏光成分を透過させる第４偏光状態を実現でき、撮像素子３２８を用いて左４５度偏光成分を撮像した第４画像を取得できる。
　図２１（ｂ）は、図２０（ｂ）の初期配置から偏光フィルタ７３４を右にθ２（９０度）回転させたときを示している。偏光フィルタ７３４を右に９０度回転させることで、第１領域７３４ａに設けられる直線偏光子の偏光軸Ａの向きがＰ偏光成分を透過させる方向となっている。これにより、撮像素子３２８に向けて第２直線偏光成分（Ｐ偏光成分）を透過させる第２偏光状態を実現でき、撮像素子３２８を用いてＰ偏光成分を撮像した第２画像を取得できる。
　図２１（ｃ）は、図２０（ｂ）の初期配置から偏光フィルタ７３４を右にθ３（１３５度）回転させたときを示している。偏光フィルタ７３４を右に１３５度回転させることで、第１領域７３４ａに設けられる直線偏光子の偏光軸Ａの向きが右４５度偏光成分を透過させる方向となっている。これにより、撮像素子３２８に向けて第２直線偏光成分（Ｐ偏光成分）に対して右に４５度回転した第３直線偏光成分を透過させる第３偏光状態を実現でき、撮像素子３２８を用いて右４５度偏光成分を撮像した第３画像を取得できる。
　図２１（ｄ）は、図２０（ｂ）の初期配置から偏光フィルタ４３４を右にθ４（２７０度）回転させたときを示している。偏光フィルタ７３４を右に２７０度回転させることで、直線偏光子が設けられていない第２領域７３４ｂが撮像軸１６上に配置される。これにより、撮像素子３２８に向けて第１直線偏光成分（Ｓ偏光成分）および第２直線偏光成分（Ｐ偏光成分）の双方を透過させる全透過状態を実現でき、撮像素子３２８を用いて通常画像を取得できる。
　なお、本実施の形態は、他の構成を用いて実現することもできる。例えば、図１６（ａ），（ｂ）に示した構成と同様、４種類の直線偏光子を有する偏光フィルタを撮像軸１６に対してスライドさせることで、第１画像、第２画像、第３画像、第４画像および通常画像を取得できるように構成してもよい。その他、図１７（ａ），（ｂ）に示した構成と同様に、撮像素子の複数の画素に対して４種類の直線偏光フィルタを配置することで、第１画像、第２画像、第３画像、第４画像および通常画像を取得できるように構成してもよい。
　本実施の形態において、（ｄ）の３Ｄメガネを検出するために、右回り円偏光成分を撮像した第５画像と、左回り円偏光成分を撮像した第６画像を取得できるように構成してもよい。この場合、偏光制御機構は、右回り円偏光成分を撮像素子に向けて透過させる第５偏光状態と、左回り円偏光成分を撮像素子に向けて透過させる第６偏光状態とを実現するよう構成されてもよい。
　以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
　上述の実施の形態および変形例では、運転者７０が使用する偏光サングラスの使用有無の判定に適用する例について述べた。さらなる変形例では、撮像対象に任意の直線偏光子が含まれるか否かの判定に適用してもよい。例えば、第１方向に直線偏光された第１照明光が照射された撮像対象を撮像した第１画像と、第１方向と直交する第２方向に直線偏光された第２照明光が照射された撮像対象を撮像した第２画像とに基づいて、撮像対象に直線偏光子が含まれるか否かを判定してもよい。
　本発明によれば、偏光サングラスの使用有無を検知する技術を提供できる。
　１０…撮像装置、１２…照明光、１２ｓ…第１照明光、１２ｐ…第２照明光、１４…照明軸、２０…照明装置、２２…カメラ、４０…照明制御部、４２…撮像制御部、４４…画像取得部、４６…画像処理部、６０…車両、７０…運転者。３１０…撮像装置、１８…入射光、３２２…カメラ、３２４…制御装置、３２６…偏光制御機構、３２６ｓ…第１偏光制御素子、３２６ｐ…第２偏光制御素子、３２８…撮像素子、３４０…偏光制御部、３４２…撮像制御部、３４４…画像取得部、３４６…画像処理部、３４８…出力部。

Claims (13)

  1. 　カメラと、
    　第１方向に直線偏光された第１照明光と、前記第１方向と直交する第２方向に直線偏光された第２照明光とを前記カメラの撮像対象に向けて選択的に照射する照明装置と、
    　前記第１照明光が照射された前記撮像対象を含む第１画像と、前記第２照明光が照射された前記撮像対象を含む第２画像とを前記カメラから取得する画像取得部と、
    　前記第１画像および前記第２画像に基づいて前記撮像対象に直線偏光子が含まれるか否かを判定する画像処理部と、を備えることを特徴とする撮像装置。
  2. 　前記カメラは、車両の運転者の顔面を撮像対象とし、
    　前記第１方向は、前記第１照明光の照明方向および前記車両の上下方向の双方に直交する方向であり、
    　前記第２方向は、前記第２照明光の照明方向および前記第１方向の双方に直交する方向であり、
    　前記画像処理部は、前記運転者の顔面と重なる範囲に前記第１方向の直線偏光成分を遮蔽する直線偏光子が含まれるか否かを判定することを特徴とする請求項１に記載の撮像装置。
  3. 　前記照明装置は、前記第１照明光を生成する第１光源と、前記第２照明光を生成する第２光源と、前記第１照明光と前記第２照明光を照明軸上で合波する合波素子とを含み、
    　前記第１光源を点灯させる第１期間と、前記第２光源を点灯させる第２期間とを切り替える照明制御部と、
    　前記第１期間において前記カメラに前記第１画像を撮像させ、前記第２期間において前記カメラに前記第２画像を撮像させる撮像制御部と、をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
  4. 　前記照明制御部は、前記第１期間と、前記第２期間と、前記第１光源および前記第２光源の双方を点灯させる第３期間とを周期的に切り替え、
    　前記撮像制御部は、前記第３期間において前記カメラに第３画像を撮像させることを特徴とする請求項３に記載の撮像装置。
  5. 　前記照明装置は、互いに直交する二つの直線偏光成分を含む照明光を生成する光源と、前記第１照明光を生成するために前記照明光の照明軸上に挿入可能な第１直線偏光子と、前記第２照明光を生成するために前記照明軸上に挿入可能な第２直線偏光子と、前記第１直線偏光子および前記第２直線偏光子を前記照明軸に対して変位させる駆動部と、を含み、
    　前記第１直線偏光子を前記照明軸上に挿入させる第１期間と、前記第２直線偏光子を前記照明軸上に挿入させる第２期間とを切り替える照明制御部と、
    　前記第１期間において前記カメラに前記第１画像を撮像させ、前記第２期間において前記カメラに前記第２画像を撮像させる撮像制御部と、をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
  6. 　前記照明制御部は、前記第１期間と、前記第２期間と、前記第１直線偏光子および前記第２直線偏光子の双方を前記照明軸上から待避させる第３期間とを周期的に切り替え、
    　前記撮像制御部は、前記第３期間において前記カメラに第３画像を撮像させることを特徴とする請求項５に記載の撮像装置。
  7. 　第１方向に直線偏光された第１照明光が照射された撮像対象を撮像した第１画像と、前記第１方向と直交する第２方向に直線偏光された第２照明光が照射された前記撮像対象を撮像した第２画像とに基づいて、前記撮像対象に直線偏光子が含まれるか否かを判定することを特徴とする判定方法。
  8. 　撮像素子と、
    　前記撮像素子に向かう入射光の第１直線偏光成分と、前記第１直線偏光成分と直交する第２直線偏光成分とを前記撮像素子に向けて選択的に透過させる偏光制御機構と、
    　前記入射光の第１直線偏光成分を撮像した第１画像と、前記入射光の第２直線偏光成分を撮像した第２画像とに基づいて撮像対象に直線偏光子が含まれるか否かを判定する画像処理部と、を備えることを特徴とする撮像装置。
  9. 　前記撮像対象は、車両の運転者の顔面であり、
    　前記第１直線偏光成分は、前記撮像素子の撮像方向および前記車両の上下方向の双方に直交する第１方向の直線偏光成分であり、
    　前記第２直線偏光成分は、前記撮像方向および前記第１方向の双方に直交する第２方向の直線偏光成分であり、
    　前記画像処理部は、前記運転者の顔面と重なる範囲に前記第１方向の直線偏光成分を遮蔽する直線偏光子が含まれるか否かを判定することを特徴とする請求項８に記載の撮像装置。
  10. 　前記偏光制御機構は、前記第１直線偏光成分を透過させる第１偏光状態と、前記第２直線偏光成分を透過させる第２偏光状態とを切替可能となるよう構成され、
    　前記偏光制御機構を前記第１偏光状態または前記第２偏光状態に切り替え、前記第１偏光状態において前記撮像素子に前記第１画像を撮像させ、前記第２偏光状態において前記撮像素子に前記第２画像を撮像させる撮像制御部をさらに備えることを特徴とする請求項８または９に記載の撮像装置。
  11. 　前記偏光制御機構はさらに、前記第２直線偏光成分に対して右に４５度回転した第３直線偏光成分を透過させる第３偏光状態と、前記第２直線偏光成分に対して左に４５度回転した第４直線偏光成分を透過させる第４偏光状態とに切替可能となるよう構成され、
    　前記撮像制御部は、前記偏光制御機構を前記第３偏光状態または前記第４偏光状態に切り替え、前記第３偏光状態において前記入射光の前記第３直線偏光成分を撮像した第３画像を前記撮像素子に撮像させ、前記第４偏光状態において前記入射光の前記第４直線偏光成分を撮像した第４画像を前記撮像素子に撮像させ、
    　前記画像処理部は、前記第１画像、前記第２画像、前記第３画像および前記第４画像に基づいて撮像対象に含まれる直線偏光子の偏光軸の方向を判定することを特徴とする請求項１０に記載の撮像装置。
  12. 　前記撮像素子は、二次元アレイ状に配列された複数の画素を有し、
    　前記偏光制御機構は、前記複数の画素のそれぞれに対応して配置される複数の偏光フィルタを有し、隣接する二つの画素の一方に前記第１直線偏光成分を透過させる第１直線偏光フィルタが配置され、隣接する二つの画素の他方に前記第２直線偏光成分を透過させる第２直線偏光フィルタが配置されるよう構成され、
    　前記第１画像は、前記第１直線偏光フィルタが配置される画素群を用いて撮像され、前記第２画像は、前記第２直線偏光フィルタが配置される画素群を用いて撮像されることを特徴とする請求項８または９に記載の撮像装置。
  13. 　撮像素子に向かう入射光のうち第１直線偏光成分を撮像した第１画像と、前記撮像素子に向かう入射光の前記第１直線偏光成分と直交する第２直線偏光成分を撮像した第２画像とに基づいて、前記撮像素子の撮像対象に直線偏光子が含まれるか否かを判定することを特徴とする判定方法。
PCT/JP2019/045572 2019-03-26 2019-11-21 撮像装置および判定方法 WO2020194853A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-057823 2019-03-26
JP2019057822A JP2020159791A (ja) 2019-03-26 2019-03-26 撮像装置および判定方法
JP2019-057822 2019-03-26
JP2019057823A JP2020159792A (ja) 2019-03-26 2019-03-26 撮像装置および判定方法

Publications (1)

Publication Number Publication Date
WO2020194853A1 true WO2020194853A1 (ja) 2020-10-01

Family

ID=72610832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045572 WO2020194853A1 (ja) 2019-03-26 2019-11-21 撮像装置および判定方法

Country Status (1)

Country Link
WO (1) WO2020194853A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516882A (ja) * 2010-01-07 2013-05-13 ３ディー スイッチ エス．アール．エル． 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法
JP2016130066A (ja) * 2015-01-13 2016-07-21 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
WO2016178357A1 (ja) * 2015-05-06 2016-11-10 日本精機株式会社 ヘッドアップディスプレイ
JP2018205319A (ja) * 2017-06-08 2018-12-27 ビステオン グローバル テクノロジーズ インコーポレイテッド 視認者のアイウェアの偏光を検出するシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013516882A (ja) * 2010-01-07 2013-05-13 ３ディー スイッチ エス．アール．エル． 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法
JP2016130066A (ja) * 2015-01-13 2016-07-21 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
WO2016178357A1 (ja) * 2015-05-06 2016-11-10 日本精機株式会社 ヘッドアップディスプレイ
JP2018205319A (ja) * 2017-06-08 2018-12-27 ビステオン グローバル テクノロジーズ インコーポレイテッド 視認者のアイウェアの偏光を検出するシステム

Similar Documents

Publication Publication Date Title
EP3091387A1 (en) Autofocus head mounted display device
US6215532B1 (en) Image observing apparatus for observing outside information superposed with a display image
JP2008276328A (ja) 顔画像撮像装置
JP2013516882A (ja) 立体視眼鏡を認識する装置および方法、ならびに、立体視ビデオストリームの表示を制御する方法
US11675206B1 (en) Display with a resolution enhanced region
US20180272538A1 (en) System
EP1718083A3 (en) Highly efficient single panel and two panel projection engines
WO2018154564A1 (en) Pupil tracking in an image display system
JP2020159792A (ja) 撮像装置および判定方法
US20080304013A1 (en) Projection Type Stereoscopic Display Apparatus
EP2693253A1 (en) Windshield display system
JP4341308B2 (ja) 空中像表示装置
TWI402603B (zh) 光學引擎
US11663937B2 (en) Pupil tracking in an image display system
WO2020194853A1 (ja) 撮像装置および判定方法
JP2020159791A (ja) 撮像装置および判定方法
JP2007082107A (ja) 映像提示・撮像装置
US20160063326A1 (en) Illumination imaging device and gaze detecting apparatus
JP3297504B2 (ja) 光学装置
JP5538983B2 (ja) 肌観察装置
JP2006340755A (ja) 眼科検査装置
JP4426992B2 (ja) 合成映像撮影装置
WO2020194855A1 (ja) 虚像表示装置および撮像装置
JP7127590B2 (ja) 虚像表示装置
EP3555693B1 (en) Imaging system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19921580

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19921580

Country of ref document: EP

Kind code of ref document: A1