WO2018096953A1 - 撮像装置、表示システムおよび方法 - Google Patents

撮像装置、表示システムおよび方法 Download PDF

Info

Publication number
WO2018096953A1
WO2018096953A1 PCT/JP2017/040616 JP2017040616W WO2018096953A1 WO 2018096953 A1 WO2018096953 A1 WO 2018096953A1 JP 2017040616 W JP2017040616 W JP 2017040616W WO 2018096953 A1 WO2018096953 A1 WO 2018096953A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
vehicle
imaging
image
imaging unit
Prior art date
Application number
PCT/JP2017/040616
Other languages
English (en)
French (fr)
Inventor
亨 高清水
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17873993.4A priority Critical patent/EP3547021A1/en
Priority to US16/342,305 priority patent/US11124117B2/en
Priority to JP2018552504A priority patent/JPWO2018096953A1/ja
Publication of WO2018096953A1 publication Critical patent/WO2018096953A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088—Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Definitions

  • the present technology relates to an imaging device, a display system, and a method, and more particularly, to an imaging device, a display system, and a method that can improve visibility.
  • a transparent member is arranged instead of the mirror at the mirror position of the door mirror and a camera is provided inside the door mirror, an image of the rear of the vehicle is captured by the camera via the transparent member, and the image is displayed on the display unit in the vehicle interior. Can be displayed.
  • the driver can check the rear of the vehicle by looking at the image.
  • the driver or the like cannot check the rear of the vehicle using the door mirror.
  • the present technology has been made in view of such a situation, and is intended to improve visibility.
  • An imaging device is disposed at a position intersecting an optical axis of an imaging unit and the imaging unit, and a light control element that changes light transmittance or reflectance when a predetermined condition is satisfied With.
  • the light control device can be made of an electrochromic material, a thermochromic material, or a gas chromic material.
  • the light control element can change the transmittance or the reflectance according to an applied voltage or current.
  • the light control element may be in a mirror state that reflects incident light or in a transmissive state that transmits incident light according to an applied voltage or current.
  • the imaging device can be attached to a vehicle.
  • the imaging unit may be arranged at a position where an image behind the vehicle can be captured.
  • the image pickup apparatus can be arranged in a position that can pick up an image of the periphery of the vehicle and is visible to a passenger in the vehicle seat.
  • an imaging unit and a dimming element that is disposed at a position that intersects with the optical axis of the imaging unit and that changes light transmittance or reflectance when a predetermined condition is satisfied.
  • a display system includes an imaging unit and a light control element that is disposed at a position intersecting with the optical axis of the imaging unit, and changes a light transmittance or reflectance when a predetermined condition is satisfied. And a display unit that displays an image captured by the imaging unit.
  • the light control device can be made of an electrochromic material, a thermochromic material, or a gas chromic material.
  • the light control element can change the transmittance or the reflectance according to an applied voltage or current.
  • the light control element may be in a mirror state that reflects incident light or in a transmissive state that transmits incident light according to an applied voltage or current.
  • the display system may further include a control unit that changes the dimming element to either the transmission state or the mirror surface state in accordance with a user operation.
  • the display system may further include a warning output unit that outputs a warning when the image is not input to the display unit.
  • the display system may further include a determination unit that determines the visibility of the image based on the image, and a warning output unit that outputs a warning according to a determination result by the determination unit.
  • the imaging unit and the light control element may be attached to a vehicle.
  • the imaging unit may be arranged at a position where an image behind the vehicle can be captured.
  • the imaging unit can image the surroundings of the vehicle, and the light control element can be arranged at a position that can be seen by a passenger in the seat of the vehicle.
  • the display method includes an imaging unit and a dimming element that is disposed at a position intersecting with the optical axis of the imaging unit, and changes a light transmittance or reflectance when a predetermined condition is satisfied. And a display system for displaying an image picked up by the image pickup unit, wherein the image pickup unit picks up the image by receiving light incident through the dimming element. And the display unit displays the image.
  • the imaging unit a light control element that is disposed at a position intersecting the optical axis of the imaging unit, and that changes a light transmittance or reflectance when a predetermined condition is satisfied
  • a display system including a display unit that displays an image picked up by the image pickup unit, the image is picked up by receiving light incident through the dimming element by the image pickup unit, and the display unit An image is displayed.
  • the visibility can be improved.
  • the present technology is not limited to an automobile such as an electric vehicle or a hybrid electric vehicle, but also includes a motorcycle, a bicycle, an electric wheelchair, personal mobility, It can be applied to mobile objects such as airplanes, ships, trains, and robots.
  • an imaging unit 22 including a camera is disposed inside a housing of a door mirror 21 of the vehicle 11, and an imaging unit is externally provided on the front surface of the imaging unit 22.
  • a plate-shaped light control element 23 that adjusts the amount of light incident on 22 is disposed.
  • the left side is the front of the vehicle 11 in the figure
  • the right side is the rear of the vehicle 11 in the figure.
  • the imaging unit 22 is fixed to the housing of the door mirror 21 of the vehicle 11 so that an area behind the vehicle 11 becomes a field of view, that is, an image of an area behind the vehicle 11 can be taken.
  • the field of view of the imaging unit 22 is drawn by a dotted line in the drawing.
  • the light control element 23 is fixed at a position on the front surface of the image pickup unit 22, more specifically at a position intersecting with the optical axis of the image pickup unit 22. Therefore, the light from the rear of the vehicle 11 enters the imaging unit 22 via the light control element 23.
  • the light control element 23 is made of a material whose light transmittance or reflectance changes, for example, when a predetermined condition is satisfied.
  • the light control element 23 can be made of, for example, an electrochromic material whose light transmittance is reversibly changed by applying current or voltage, a thermochromic material whose light transmittance is changed depending on temperature, or a control of atmospheric gas.
  • a gas chromic material whose light transmittance changes can be used.
  • the transmittance or reflectance changes when a voltage equal to or higher than a predetermined threshold voltage is applied.
  • the dimmer 23 when the dimmer 23 is in a non-energized state, for example, when a voltage less than the threshold voltage is applied to the dimmer 23, the dimmer 23 transmits substantially all of the incident light (hereinafter also referred to as a transmissive state). )
  • the light control element 23 is in a state of reflecting most of the incident light and functioning as a mirror (hereinafter also referred to as a mirror surface state).
  • the light control element 23 when the light control element 23 is comprised with an electrochromic material, the light control element 23 is either a permeation
  • the dimming element 23 is in a transmissive state when no current is supplied, but the dimming element 23 may be in a transmissive state when energized.
  • the description will be continued assuming that the light control element 23 is made of an electrochromic material.
  • the door mirror 21 provided with the imaging unit 22 and the light control element 23 as described above is fixed in the vicinity of the door of the vehicle 11 and can be seen by a passenger such as a driver in the vehicle interior of the vehicle 11. That is, in the vehicle 11, the imaging unit 22 is disposed at a position where an image behind the vehicle 11 can be captured, and the dimming element 23 is disposed at a position that can be seen by a passenger such as a driver in a seat of the vehicle 11. On the other hand, a door mirror 21 that functions as an imaging device is attached.
  • the door mirror 21 is located at substantially the same height as the steering wheel 51 when viewed from the driver in the driver's seat, and the driver is outside the light control element 23 provided on the door mirror 21. Can be visually recognized with a sufficient size.
  • parts corresponding to those in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the driver can visually recognize the surface on the outside of the light control element 23 (hereinafter also referred to as a visual field) with a sufficient size.
  • the field plane that is, the dimming element 23 is in a transmissive state, so that the driver can visually confirm the imaging unit 22 disposed behind the field plane through the field plane.
  • a display unit 52 composed of a liquid crystal display or the like is also arranged.
  • the display unit 52 may be provided integrally with the vehicle 11 such as provided on a meter panel, or may be attached to the vehicle 11.
  • the display unit 52 may be a transmissive display device provided so as to be superimposed on the windshield.
  • the vehicle 11 to which the present technology is applied is provided with an in-vehicle display system including the door mirror 21 and the display unit 52.
  • the vehicle 11 is controlled so that the driver or the like can check the rear of the vehicle 11 with high visibility by appropriately changing the dimming element 23 to either the transmission state or the mirror surface state.
  • the imaging unit 22 receives and photoelectrically converts light incident through the light control element 23 to capture a moving image (hereinafter also referred to as a captured image) having a region behind the vehicle 11 as a subject.
  • the image signal of the obtained captured image is supplied to the display unit 52, and the captured image is displayed on the display unit 52.
  • the driver or the like can check the state behind the vehicle 11 without looking at the field of view by looking at the captured image displayed on the display unit 52 in this way.
  • the light control element 23 when the light control element 23 is in the transmissive state, more light is incident on the image pickup unit 22 than when there is a half mirror at least at the position of the light control element 23. A captured image can be obtained. Thereby, the captured image in which the rear of the vehicle 11 is clearly visible can be presented to the driver or the like, and the visibility can be improved.
  • the dimming element 23 is controlled to be in a mirror state, and the display of the captured image on the display unit 52 is appropriately stopped.
  • the field of view functions as a mirror. Therefore, the driver or the like can visually confirm the state behind the vehicle 11 by viewing the field of view.
  • the light control element 23 when the light control element 23 is in the mirror state, more light is reflected on the field of view than when there is a half mirror at least at the position of the light control element 23. Therefore, it is possible to confirm the state behind the vehicle 11 with sufficient brightness, that is, sufficiently clearly for a driver who visually confirms the visual field, and to improve visibility.
  • the shape of the visual field of the light control element 23 may be a planar shape, but may be a convex shape or the like in order to ensure a wider field of view for the driver or the like.
  • the imaging device including the imaging unit 22 and the dimming element 23 is the door mirror 21
  • the imaging device including the imaging unit 22 and the dimming element 23 may be an inner mirror, a fender mirror, or the like. It can be applied to a mirror or the like for confirming a direction that is difficult to see from a driver or the like.
  • the imaging device including the imaging unit 22 and the dimming element 23 is arranged at a position that can capture a desired region around the vehicle 11 and is visible to a passenger such as a driver in the seat of the vehicle 11. Just do it.
  • FIG. 3 is a diagram illustrating a functional configuration example of the vehicle 11.
  • the same reference numerals are given to the portions corresponding to those in FIG. 2, and description thereof will be omitted as appropriate.
  • 3 includes an imaging unit 22, a light control element 23, a traveling state detection unit 81, a control unit 82, a display unit 52, an audio output unit 83, and an input unit 84.
  • the traveling state detection unit 81 travels the vehicle 11 such as the vehicle speed and the traveling direction of the vehicle 11 based on the image signal of the captured image supplied from the imaging unit 22 and the output of other sensors provided in the vehicle 11. The state is detected, and the detection result is supplied to the control unit 82. In addition, the traveling state detection unit 81 may detect an object such as an obstacle from the captured image and supply the detection result to the control unit 82.
  • the control unit 82 controls the operation of the entire vehicle 11.
  • control unit 82 variably controls the dimming element 23 to either the transmission state or the specular state by applying a voltage to the dimming element 23 based on the signal supplied from the input unit 84.
  • the imaging unit 22 is caused to capture a captured image.
  • control unit 82 controls the driving of an engine and a brake (not shown) based on the detection result of the driving state supplied from the driving state detection unit 81, the detection result of the object, and the like. Driving assistance is realized, and various image displays on the display unit 52 and audio output from the audio output unit 83 are controlled.
  • the display unit 52 is connected to the imaging unit 22 by, for example, electrical wiring, and receives the image signal of the captured image from the imaging unit 22 and displays the captured image. Further, when the image signal is not supplied from the imaging unit 22, the display unit 52 displays a warning that the captured image cannot be displayed, or controls the audio output unit 83 to output the warning by voice. To do.
  • the audio output unit 83 includes, for example, a speaker and outputs various types of audio according to the control of the display unit 52 and the control unit 82.
  • the input unit 84 includes buttons, switches, and the like, and supplies a signal corresponding to an operation of a user such as a driver to the control unit 82.
  • a user such as a driver
  • the vehicle 11 is provided with a dimming switch as the input unit 84, and the driver or the like operates the dimming switch so that the dimming element 23 is in either the transmission state or the mirror surface state. State control can be instructed so as to be in a state.
  • the imaging process by the vehicle 11 will be described below with reference to the flowchart of FIG. For example, after the vehicle 11 is activated, this imaging process is continuously repeated until the vehicle 11 is deactivated.
  • step S11 the control unit 82 controls the voltage applied to the dimming element 23 to be less than the threshold voltage, thereby bringing the dimming element 23 into a transmission state. Thereby, light from the outside enters the imaging unit 22 via the light control element 23.
  • the light control element 23 is controlled to be continuously in the transmission state. It should be noted that once the light control element 23 is brought into the mirror state due to a failure of the imaging unit 22 or the like, it may be kept in the mirror state until a specific operation is performed.
  • step S12 the imaging unit 22 starts capturing a captured image.
  • control unit 82 instructs the imaging unit 22 to start imaging. Then, the imaging unit 22 captures a captured image in accordance with an instruction from the control unit 82 and supplies the obtained image signal to the traveling state detection unit 81 and the display unit 52.
  • the traveling state detection unit 81 detects the traveling state of the vehicle 11 based on the image signal of the captured image supplied from the imaging unit 22 and supplies the detection result to the control unit 82. Based on the detection result of the traveling state supplied from the traveling state detection unit 81, the control unit 82 appropriately executes a process for realizing the traveling support of the vehicle 11.
  • step S13 the display unit 52 determines whether or not there is an input (supply) of the image signal of the captured image from the imaging unit 22.
  • the determination as to whether or not an image signal of the captured image is input may be performed by the traveling state detection unit 81 instead of the display unit 52, and the determination result may be supplied to the control unit 82.
  • the control unit 82 controls the display unit 52 and the voice output unit 83 according to the determination result from the traveling state detection unit 81, and appropriately outputs a warning.
  • step S13 If it is determined in step S13 that an image signal is input, that is, if an image signal is supplied from the imaging unit 22 to the display unit 52, the process proceeds to step S14.
  • step S14 the display unit 52 displays a captured image based on the image signal supplied from the imaging unit 22. Accordingly, the driver or the like can check the rear of the vehicle 11 with high visibility by looking at the captured image.
  • step S16 When the captured image is displayed on the display unit 52, the process proceeds to step S16.
  • step S13 determines whether image signal is input, that is, if no image signal is supplied from the imaging unit 22 to the display unit 52. If it is determined in step S13 that no image signal is input, that is, if no image signal is supplied from the imaging unit 22 to the display unit 52, the process proceeds to step S15.
  • step S15 the voice output unit 83 outputs a warning voice message.
  • the display unit 52 instructs the audio output unit 83 to output a warning. Then, the audio output unit 83 reproduces, as a warning, an audio message notifying the driver or the like that the captured image cannot be displayed based on the audio signal recorded in advance. Further, the display unit 52 may display a text message or an image notifying that the captured image cannot be displayed as a warning.
  • any one of the warning voice reproduction by the voice output unit 83 and the warning display by the display unit 52 may be performed, or both of them may be performed. Also good. Furthermore, a warning may be output by vibration, or any combination of voice, image, vibration, and the like may be performed.
  • the driver or the like When a warning is output from the display unit 52 or the audio output unit 83, the driver or the like does not display a captured image with the subject behind the vehicle 11 on the display unit 52, that is, the imaging unit 22 or the like has failed. It is possible to easily and instantly grasp the situation where the problem occurs.
  • the driver or the like determines whether to check the rear of the vehicle 11 visually by changing the dimming element 23 to the mirror surface state, Depending on the determination, the dimming switch as the input unit 84 is appropriately operated.
  • the driver or the like operates the dimming switch as the input unit 84 as appropriate when he / she determines that there is some problem even when the warning is not issued.
  • step S16 the control unit 82 determines whether or not the dimming element 23 is in a mirror state.
  • step S16 If it is determined in step S16 that the mirror surface state is not set, the dimming element 23 remains in the transmissive state, and the imaging process ends.
  • step S17 the control unit 82 applies a voltage equal to or higher than the threshold voltage to the dimming element 23 so that the dimming element 23 is in the specular state, and imaging processing is performed. Ends.
  • the control unit 82 controls the imaging unit 22 to stop capturing the captured image.
  • the dimming element 23 is set in the transmission state to display the captured image on the display unit 52, and the imaging unit 22 or the like is faulty.
  • a warning is output.
  • the vehicle 11 switches the state of the light control element 23 from a permeation
  • the dimming element 23 when the captured image is displayed, the dimming element 23 is set in the transmission state so that the wavelength transmittance does not decrease as in the case of using a half mirror or the like, so that a captured image with good image quality can be obtained. it can. Further, when the imaging unit 22 or the like fails, the driver or the like can visually confirm the rear of the vehicle 11 with high visibility by setting the light control element 23 to a mirror surface state.
  • the direction of the visual field of the imaging unit 22 that is, the direction of the imaging direction is not intended due to vibration or impact during traveling, rain or snow, the inside of the door mirror 21
  • the field of view of the imaging unit 22 may deteriorate due to cloudiness or dirt.
  • an unintended direction in the captured image that is, a region in a direction different from the rear of the vehicle 11 is captured as a subject, or the subject on the captured image becomes unclear, so that the rear of the vehicle 11 is clearly displayed. It becomes difficult to confirm.
  • a warning is output to the driver or the like even when an unintended direction is imaged, or when the imaging environment such as weather such as rain or clouding inside the door mirror 21 is bad, An appropriate action may be taken by operating the dimming switch.
  • the vehicle 11 when a warning is output when an unintended direction is being imaged or when the imaging environment is poor, the vehicle 11 performs, for example, an imaging process illustrated in FIG.
  • step S41 and step S42 is the same as the process of step S11 and step S12 of FIG. 4, the description is abbreviate
  • step S43 the display unit 52 displays a captured image based on the image signal supplied from the imaging unit 22.
  • step S44 the traveling state detection unit 81 determines whether or not the visibility behind the vehicle 11 is sufficient based on the image signal of the captured image supplied from the imaging unit 22. That is, visibility determination processing is performed.
  • the traveling state detection unit 81 obtains a contrast evaluation value indicating the degree of contrast of the captured image based on the image signal, and the visibility is sufficient when the value of the contrast evaluation value is equal to or greater than a predetermined threshold value. Is determined.
  • the imaging direction of the imaging unit 22 changes due to impact or the like, and only the sky is reflected as the subject. Since the contrast of the captured image is lowered, the contrast evaluation value is also lowered.
  • the contrast of the captured image is also reduced when the field of view of the image capturing unit 22 is blocked or an image signal is output, but the pixel of the image capturing unit 22 malfunctions, and the captured image becomes black or white. Therefore, the contrast evaluation value is also low.
  • the traveling state detection unit 81 determines that the visibility is insufficient when the contrast evaluation value is less than the threshold value.
  • the running state detection unit 81 obtains a difference between frames of the captured image, and when the obtained difference is large, that is, the sum of the pixel value differences of pixels having the same positional relationship in different frames of the captured image is a predetermined value.
  • the visibility may be insufficient when it is equal to or greater than the threshold value.
  • the field of view of the imaging unit 22 changes drastically due to an impact on the imaging unit 22 and the imaging unit 22 faces an unintended direction such as above the vehicle 11.
  • the difference between the frames increases.
  • the traveling state detection unit 81 determines that the visibility is insufficient when the difference between frames of the captured image is equal to or greater than the threshold value.
  • the method for determining whether the visibility of the subject behind the vehicle 11 on the captured image, that is, behind the vehicle 11, is sufficient is not limited to the above-described contrast evaluation value or the difference between frames of the captured image. May be performed.
  • the sensor detects a change in the orientation of the imaging unit 22 viewed from the vehicle 11, that is, a shift in the fixed position of the imaging unit 22, and determines whether the visibility is sufficient based on the detection result. May be. Further, visibility may be determined by combining a plurality of arbitrary methods such as a method using a contrast evaluation value.
  • the traveling state detection unit 81 When the traveling state detection unit 81 performs the visibility determination process based on the image signal of the captured image, the traveling state detection unit 81 supplies the result of the determination process to the control unit 82.
  • step S45 the control unit 82 determines whether the visibility behind the vehicle 11 in the captured image is sufficient based on the result of the determination process supplied from the traveling state detection unit 81.
  • step S45 If it is determined in step S45 that the visibility is sufficient, the process of step S46 is skipped, and then the process proceeds to step S47.
  • step S45 determines whether the visibility is not sufficient. If it is determined in step S45 that the visibility is not sufficient, the control unit 82 instructs the audio output unit 83 to output a warning, and the process proceeds to step S46.
  • step S46 the voice output unit 83 outputs a warning voice message in accordance with an instruction from the control unit 82, and then the process proceeds to step S47.
  • step S46 a voice message notifying the driver or the like that the captured image is unclear is reproduced as a warning.
  • the control unit 82 may control the display unit 52, and the display unit 52 may output a warning by a text message or the like.
  • a warning may be output by combining voices from the output unit 83.
  • the driver or the like can easily and instantaneously grasp the situation that the rear of the vehicle 11 cannot be confirmed with sufficient visibility in the captured image.
  • the driver or the like confirms the display unit 52 or the like in response to the warning, the driver or the like operates the dimming switch as the input unit 84 as necessary.
  • step S45 If it is determined in step S45 that the visibility is sufficient, or if a warning is output in step S46, then the processing in step S47 and step S48 is performed, and the imaging process ends. Note that the processing in step S47 and step S48 is the same as the processing in step S16 and step S17 in FIG.
  • the vehicle 11 determines whether the visibility behind the vehicle 11 on the captured image is sufficient based on the image signal of the captured image, and outputs a warning according to the determination result. Moreover, the vehicle 11 switches the state of the light control element 23 from a permeation
  • a warning is output according to whether there is an input of an image signal of the captured image, as in the imaging process described with reference to FIG. 4. You may do it.
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology can be configured as follows.
  • An imaging unit An imaging apparatus comprising: a light control element that is disposed at a position that intersects with the optical axis of the imaging unit, and that changes a light transmittance or reflectance when a predetermined condition is satisfied.
  • the light control element includes an electrochromic material, a thermochromic material, or a gas chromic material.
  • the light control element changes the transmittance or the reflectance according to an applied voltage or current.
  • the light control element is in a mirror state that reflects incident light or is in a transmissive state that transmits incident light according to an applied voltage or current.
  • the imaging device according to any one of (1) to (4), wherein the imaging device is attached to a vehicle.
  • the imaging device according to (5), wherein the imaging unit is disposed at a position where an image behind the vehicle can be captured.
  • the imaging apparatus according to (5), wherein the imaging apparatus is capable of imaging the surroundings of the vehicle and is located at a position that can be seen by an occupant in a seat of the vehicle.
  • the light control element changes the transmittance or the reflectance according to an applied voltage or current.
  • the dimming element is in a mirror state that reflects incident light or is in a transmissive state that transmits incident light in accordance with an applied voltage or current.
  • a determination unit configured to determine visibility in the image based on the image;
  • the imaging unit is disposed at a position where an image behind the vehicle can be captured.
  • a display method comprising: a display unit that displays an image captured by the imaging unit; The imaging unit captures the image by receiving light incident through the light control element, A display method including a step in which the display unit displays the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Nonlinear Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Optics & Photonics (AREA)
  • Blocking Light For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、視認性を向上させることができるようにする撮像装置、表示システムおよび方法に関する。 撮像装置は、撮像部と、撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子とを備える。本技術は車両の表示システムに適用することができる。

Description

撮像装置、表示システムおよび方法
　本技術は撮像装置、表示システムおよび方法に関し、特に、視認性を向上させることができるようにした撮像装置、表示システムおよび方法に関する。
　従来、乗用車等の車両のドアミラー内に、後方確認用のカメラを内蔵する技術が知られている。
　例えば、ドアミラーのミラー位置にミラーに代えて透明部材を配置し、ドアミラー内部にカメラを設ければ、その透明部材を介してカメラにより車両後方の画像を撮像し、車室内の表示部に画像を表示させることができる。
　このようにすれば、運転者等は画像を見ることで車両後方を確認することができる。しかし、この場合、カメラが故障したときには運転者等はドアミラーを用いて車両後方を確認することができなくなってしまう。
　そこで、ドアミラーのミラー位置にハーフミラーを配置することで、カメラにより撮像された画像だけでなく、運転者等がドアミラーのハーフミラー部分を見て目視でも車両後方を確認することができるようにした技術が提案されている（例えば、特許文献１参照）。
特開平７－１８６８３１号公報
　しかしながら、上述した技術では、十分な視認性で車両後方を確認することは困難であった。
　具体的には、ドアミラーにカメラとハーフミラーを設ける技術では、外部からドアミラーに入射する光の半分がハーフミラーで反射され、残りの半分の光がカメラへと入射されることになる。そのため、カメラでは十分な光量を確保することができず、画像が暗くなって視認性が低下してしまう。すなわち、ハーフミラーの透過率が十分ではないため、実質的にカメラの性能が低下してしまう。
　また、カメラが故障した際などには、ユーザはハーフミラー部分を見ることで車両後方を確認することができるが、ハーフミラーの反射率が低いため視認性が低下し、十分に車両後方を確認することができないことがあった。
　本技術は、このような状況に鑑みてなされたものであり、視認性を向上させることができるようにするものである。
　本技術の第１の側面の撮像装置は、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子とを備える。
　前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成されるようにすることができる。
　前記調光素子を、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化するものとすることができる。
　前記調光素子を、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となるものとすることができる。
　前記撮像装置は、車両に取り付けられているようにすることができる。
　前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されているようにすることができる。
　前記撮像装置は、前記車両の周囲を撮像可能であり、かつ前記車両の座席にいる乗員から見える位置に配置されているようにすることができる。
　本技術の第１の側面においては、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子とが設けられる。
　本技術の第２の側面の表示システムは、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、前記撮像部により撮像された画像を表示する表示部とを備える。
　前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成されるようにすることができる。
　前記調光素子を、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化するものとすることができる。
　前記調光素子を、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となるものとすることができる。
　表示システムには、使用者の操作に応じて、前記調光素子を前記透過状態または前記鏡面状態の何れかに変化させる制御部をさらに設けることができる。
　表示システムには、前記表示部への前記画像の入力がない場合、警告を出力する警告出力部をさらに設けることができる。
　表示システムには、前記画像に基づいて、前記画像における視認性の判定を行う判定部と、前記判定部による判定結果に応じて警告を出力する警告出力部とをさらに設けることができる。
　前記撮像部および前記調光素子は、車両に取り付けられているようにすることができる。
　前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されているようにすることができる。
　前記撮像部は前記車両の周囲を撮像可能であり、前記調光素子は前記車両の座席にいる乗員から見える位置に配置されているようにすることができる。
　本技術の第２の側面の表示方法は、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、前記撮像部により撮像された画像を表示する表示部とを備える表示システムの表示方法であって、前記撮像部が前記調光素子を介して入射した光を受光することにより前記画像を撮像し、前記表示部が前記画像を表示するステップを含む。
　本技術の第２の側面においては、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、前記撮像部により撮像された画像を表示する表示部とを備える表示システムにおいて、前記撮像部により前記調光素子を介して入射した光を受光することにより前記画像が撮像され、前記表示部により前記画像が表示される。
　本技術の第１の側面および第２の側面によれば、視認性を向上させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術について説明する図である。 本技術について説明する図である。 車両の構成例を示す図である。 撮像処理を説明するフローチャートである。 撮像処理を説明するフローチャートである。
　以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術について〉
　本技術は、車両のドアミラーにカメラを内蔵するとともにカメラの光軸と交差する位置に調光素子を設けることで、車両後方を確認するときの視認性を向上させることができるようにするものである。
　なお、以下では、本技術が乗用車（自動車）に適用される場合を例として説明するが、本技術は電気自動車やハイブリッド電気自動車等の自動車の他、自動二輪車、自転車、電動車椅子、パーソナルモビリティ、飛行機、船舶、電車、ロボット等の移動体に適用可能である。
　それでは以下、より具体的な実施の形態について説明する。
　本技術を適用した車両では、例えば図１に示すように車両１１のドアミラー２１の筐体内部にカメラからなる撮像部２２が配置されており、その撮像部２２の前面には、外部から撮像部２２へと入射する光の光量を調整する板状の調光素子２３が配置されている。
　図１に示す例では、図中、左側が車両１１の前方となっており、図中、右側が車両１１の後方となっている。
　撮像部２２は、車両１１の後方の領域が視野となるように、すなわち車両１１の後方の領域の画像を撮像することができるように、車両１１のドアミラー２１の筐体に固定されている。この例では、図中の点線により撮像部２２の視野の範囲が描かれている。
　また、撮像部２２の前面の位置、より詳細には撮像部２２の光軸と交差する位置に調光素子２３が固定されている。したがって、車両１１後方からの光は調光素子２３を介して撮像部２２に入射することになる。
　調光素子２３は、例えば所定の条件が満たされると光の透過率または反射率が変化する材料により構成されている。
　調光素子２３を構成する材料は、例えば電流や電圧を加えることにより可逆的に光の透過率が変化するエレクトロクロミック材料、温度により光の透過率が変化するサーモクロミック材料、雰囲気ガスの制御により光の透過率が変化するガスクロミック材料などとすることができる。
　例えば調光素子２３がエレクトロクロミック材料により構成される場合、所定の閾値電圧以上の電圧が印加されると透過率または反射率が変化する。
　具体的には、調光素子２３は無通電の状態、例えば閾値電圧未満の電圧が調光素子２３に印加された状態では、入射した光の略全部を透過させる状態（以下、透過状態とも称する）となる。
　逆に、調光素子２３に閾値電圧以上の電圧が印加された状態では、調光素子２３は入射した光の殆どを反射してミラーとして機能する状態（以下、鏡面状態とも称する）となる。
　このように調光素子２３がエレクトロクロミック材料により構成される場合、調光素子２３は、閾値電圧以上の電圧が印加された状態であるか否かに応じて、透過状態または鏡面状態の何れかの状態となる。
　なお、ここでは無通電時に調光素子２３が透過状態となる例について説明するが、通電時に調光素子２３が透過状態とされるようにしてもよい。また、以下では、調光素子２３がエレクトロクロミック材料により構成されるものとして説明を続ける。
　以上のような撮像部２２と調光素子２３が設けられたドアミラー２１は、車両１１のドア付近に固定され、車両１１の車室内にいる運転者等の乗員により視認できるようになされている。すなわち、撮像部２２が車両１１後方の画像を撮像可能な位置に配置され、かつ調光素子２３が車両１１の座席にいる運転者等の乗員から見える位置に配置されるように、車両１１に対して、撮像装置として機能するドアミラー２１が取り付けられている。
　例えば図２に示すように、ドアミラー２１は運転席にいる運転者から見てステアリングホイール５１と略同じ高さの位置にあり、運転者は、ドアミラー２１に設けられた調光素子２３の外部側の表面を十分な大きさで視認することができる。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
　図２では、運転者からは調光素子２３の外部側の表面（以下、視野面とも称する）を十分な大きさで視認することができる。この例では視野面、つまり調光素子２３は透過状態となっているため、運転者には視野面を通してその後ろ側に配置されている撮像部２２を目視で確認することができる。
　また、運転者の前方のステアリングホイール５１近傍には、液晶ディスプレイなどからなる表示部５２も配置されている。なお、表示部５２は、メータパネルに設けられるようにするなど、車両１１に一体的に設けられるようにしてもよいし、車両１１に取り付けられるようにしてもよい。また、表示部５２は、ウィンドシールドに重畳されて設けられた透過型の表示デバイスであってもよい。
　このように本技術を適用した車両１１には、ドアミラー２１や表示部５２などからなる車載用の表示システムが設けられている。
　車両１１では、適宜、調光素子２３を透過状態または鏡面状態の何れかの状態に変化させて、運転者等が高い視認性で車両１１の後方を確認することができるように制御される。
　例えば調光素子２３が透過状態である場合、外部からの光、特に車両１１の後方からの光は殆ど調光素子２３を透過し、撮像部２２へと入射する。撮像部２２は、調光素子２３を介して入射した光を受光して光電変換することで、車両１１の後方の領域を被写体とする動画像（以下、撮像画像とも称する）を撮像し、得られた撮像画像の画像信号を表示部５２へと供給して、表示部５２に撮像画像を表示させる。
　運転者等は、このようにして表示部５２に表示された撮像画像を見ることで、視野面を見ることなく、車両１１の後方の状態を確認することができる。
　しかも、調光素子２３が透過状態である場合、少なくとも調光素子２３の位置にハーフミラーがあるときよりも、より多くの光が撮像部２２へと入射するため、撮像部２２では十分な明るさの撮像画像を得ることができる。これにより、車両１１後方が鮮明に写った撮像画像を運転者等に提示することができ、視認性を向上させることができる。
　また、故障等の何らかの理由により表示部５２に撮像画像が表示されないときなどには、調光素子２３が鏡面状態となるように制御され、適宜、表示部５２での撮像画像の表示が停止される。
　この場合、外部からの光は殆ど調光素子２３の表面、つまり視野面で反射するため、視野面はミラーとして機能する。したがって、運転者等は、視野面を見ることにより目視で車両１１の後方の状態を確認することができる。
　しかも、調光素子２３が鏡面状態である場合、少なくとも調光素子２３の位置にハーフミラーがあるときよりも、より多くの光が視野面で反射される。そのため、視野面を目視で確認する運転者等には十分な明るさで、つまり十分鮮明に車両１１後方の状態を確認することができ、視認性を向上させることができる。
　なお、調光素子２３の視野面の形状は、平面形状とされてもよいが、運転者等の視野をより広く確保するため、凸面形状などとされるようにしてもよい。
　また、ここでは、撮像部２２と調光素子２３からなる撮像装置がドアミラー２１である場合について説明するが、その他、撮像部２２と調光素子２３からなる撮像装置は、インナーミラーやフェンダーミラーなど、運転者等から見ることが困難である方向を確認するためのミラー等に適用することができる。そのような場合、撮像部２２と調光素子２３からなる撮像装置は、車両１１周囲の所望の領域を撮像可能であり、かつ車両１１の座席にいる運転者等の乗員から見える位置に配置されればよい。
〈車両の構成例〉
　次に、以上において説明した車両１１の機能的な構成例について説明する。
　図３は、車両１１の機能的な構成例を示す図である。なお、図３において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　図３に示す車両１１は、撮像部２２、調光素子２３、走行状態検出部８１、制御部８２、表示部５２、音声出力部８３、および入力部８４を有している。
　走行状態検出部８１は、撮像部２２から供給された撮像画像の画像信号や、車両１１に設けられた他のセンサ等の出力に基づいて、車両１１の車速や走行方向などの車両１１の走行状態を検出し、その検出結果を制御部８２に供給する。その他、走行状態検出部８１では、撮像画像から障害物等のオブジェクトが検出され、その検出結果が制御部８２に供給されるようにしてもよい。
　制御部８２は、車両１１全体の動作を制御する。
　例えば制御部８２は、入力部８４から供給された信号に基づいて調光素子２３に電圧を印加するなどして、調光素子２３を透過状態または鏡面状態の何れかの状態に可変制御したり、調光素子２３が透過状態であるときに撮像部２２に撮像画像を撮像させたりする。
　また、制御部８２は、走行状態検出部８１から供給された走行状態の検出結果や、オブジェクトの検出結果等に基づいて、図示せぬエンジンやブレーキの駆動を制御するなどして、車両１１の運転支援を実現したり、表示部５２への各種の画像の表示や音声出力部８３からの音声の出力を制御したりする。
　表示部５２は、例えば電気配線により撮像部２２に接続されており、撮像部２２から撮像画像の画像信号の供給を受けて、撮像画像を表示する。また、表示部５２は、撮像部２２から画像信号が供給されない場合には、撮像画像が表示できない旨の警告を自身が表示したり、音声出力部８３を制御して警告を音声により出力させたりする。
　音声出力部８３は、例えばスピーカなどからなり、表示部５２や制御部８２の制御に従って各種の音声を出力する。
　入力部８４は、ボタンやスイッチなどからなり、運転者等の使用者の操作に応じた信号を制御部８２に供給する。例えば車両１１には入力部８４としての調光用スイッチが設けられており、運転者等は調光用スイッチを操作することで、調光素子２３が透過状態または鏡面状態のうちの何れかの状態となるように状態制御を指示することができる。
〈撮像処理の説明〉
　続いて、車両１１の具体的な動作について説明する。
　すなわち、以下、図４のフローチャートを参照して、車両１１による撮像処理について説明する。この撮像処理は、例えば車両１１が起動された後、車両１１の起動が停止されるまで継続して繰り返し行われる。
　ステップＳ１１において、制御部８２は、調光素子２３に印加する電圧が閾値電圧未満となるように制御して調光素子２３を透過状態とする。これにより、外部からの光が調光素子２３を介して撮像部２２に入射する。
　車両１１では、撮像部２２等に故障がなく、撮像画像の撮像および表示に必要な各ブロックが正常に動作しているときには、継続して調光素子２３が透過状態となるように制御される。なお、撮像部２２の故障等により、一度、調光素子２３が鏡面状態とされた後は、特定の操作が行われるまで継続して鏡面状態のままとされるようにしてもよい。
　ステップＳ１２において、撮像部２２は撮像画像の撮像を開始する。
　すなわち、制御部８２は、撮像部２２に対して撮像の開始を指示する。すると、撮像部２２は、制御部８２の指示に従って撮像画像を撮像し、得られた画像信号を走行状態検出部８１および表示部５２に供給する。
　また、走行状態検出部８１は、撮像部２２から供給された撮像画像の画像信号等に基づいて、車両１１の走行状態を検出し、その検出結果を制御部８２に供給する。制御部８２は、走行状態検出部８１から供給された走行状態の検出結果に基づいて、適宜、車両１１の走行支援を実現する処理を実行する。
　ステップＳ１３において、表示部５２は、撮像部２２から撮像画像の画像信号の入力（供給）があるか否かを判定する。
　なお、撮像画像の画像信号の入力があるか否かの判定は、表示部５２ではなく走行状態検出部８１で行われ、その判定結果が制御部８２に供給されるようにしてもよい。そのような場合には、制御部８２は、走行状態検出部８１からの判定結果に応じて表示部５２や音声出力部８３を制御し、適宜、警告を出力させる。
　ステップＳ１３において、画像信号の入力があると判定された場合、すなわち撮像部２２から表示部５２へと画像信号が供給された場合、処理はステップＳ１４へと進む。
　ステップＳ１４において、表示部５２は、撮像部２２から供給された画像信号に基づいて、撮像画像を表示する。これにより、運転者等は、撮像画像を見て高い視認性で車両１１の後方を確認することができるようになる。
　表示部５２に撮像画像が表示されると、その後、処理はステップＳ１６へと進む。
　一方、ステップＳ１３において、画像信号の入力がないと判定された場合、すなわち撮像部２２から表示部５２へと画像信号が供給されなかった場合、処理はステップＳ１５へと進む。
　ステップＳ１５において、音声出力部８３は警告の音声メッセージを出力する。
　すなわち、画像信号の入力がなく、表示部５２に撮像画像が表示されていない場合、表示部５２は音声出力部８３に警告の出力を指示する。すると、音声出力部８３は予め記録している音声信号に基づいて、運転者等に対して、撮像画像が表示できない旨を通知する音声メッセージを警告として再生する。また、撮像画像が表示できない旨を通知する文字メッセージや画像を表示部５２が警告として表示するようにしてもよい。
　なお、警告の出力として、例えば音声出力部８３による警告音声の再生、および表示部５２による警告表示のうちの何れか一方が行われるようにしてもよいし、それらの両方が行われるようにしてもよい。さらに、振動により警告の出力が行われるようにしてもよいし、音声、画像、振動などの任意のものが組み合わせられて行われるようにしてもよい。
　表示部５２や音声出力部８３により警告が出力されると、運転者等はその警告により、車両１１後方を被写体とする撮像画像が表示部５２に表示されていない、つまり撮像部２２等の故障が発生しているという状況を簡単かつ瞬時に把握することができる。
　例えば運転者等は、警告に応じて表示部５２の表示等を確認した後、調光素子２３を鏡面状態に変化させて視野面で目視による車両１１後方の確認を行うかを判断し、その判断に応じて、適宜、入力部８４としての調光用スイッチを操作する。
　その他、運転者等は、警告が発せられていないときでも、何らかの不具合があると判断したときには、適宜、入力部８４としての調光用スイッチを操作する。
　ステップＳ１４において撮像画像が表示されたか、またはステップＳ１５において警告が出力されると、ステップＳ１６において、制御部８２は、調光素子２３を鏡面状態とするか否かを判定する。
　例えば入力部８４としての調光用スイッチから制御部８２に対して、調光素子２３を鏡面状態に変化させる旨の信号が供給された場合、調光素子２３を鏡面状態とすると判定される。
　ステップＳ１６において鏡面状態としないと判定された場合、調光素子２３は透過状態のままとされ、撮像処理は終了する。
　これに対して、ステップＳ１６において鏡面状態とすると判定された場合、ステップＳ１７において制御部８２は、調光素子２３に閾値電圧以上の電圧を印加して調光素子２３を鏡面状態とし、撮像処理は終了する。
　これにより、車両１１後方からの光の殆どが調光素子２３で反射されるようになり、運転者等は調光素子２３の視野面を見て車両１１の後方を鮮明に確認することができるようになる。また、制御部８２は、調光素子２３を鏡面状態とすると、撮像部２２を制御して撮像画像の撮像を停止させる。
　以上のようにして、車両１１は撮像部２２等に故障がない正常状態のときには調光素子２３を透過状態として撮像画像を表示部５２に表示させ、撮像部２２等に故障が発生し、撮像画像の表示ができないときには警告を出力する。また、車両１１は運転者等による調光用スイッチの操作に応じて調光素子２３の状態を透過状態から鏡面状態へと切り替える。
　このようにすることで、調光素子２３を透過状態として撮像画像により車両１１後方の画像を運転者等に提示するときでも、調光素子２３を鏡面状態として視野面において目視で車両１１の後方を確認できるようにするときでも、車両１１後方の視認性を向上させることができる。また、車両１１後方の視認性を向上させることで、安全性を向上させることができる。
　特に、撮像画像を表示させるときには調光素子２３を透過状態とすることで、ハーフミラー等を用いたときのように波長透過率の低下が生じないので、良好な画質の撮像画像を得ることができる。また、撮像部２２等の故障時には、調光素子２３を鏡面状態とすることで、運転者等は目視により車両１１後方を高い視認性で確認することができる。
〈第２の実施の形態〉
〈撮像処理の説明〉
　なお、以上においては撮像部２２等が故障し、表示部５２で撮像画像を表示することができない場合に警告を出力する例について説明した。
　しかし、撮像部２２等に故障は発生していないが、走行時の振動や衝撃により撮像部２２の視野の方向、つまり撮像方向が意図しない方向を向いてしまったり、雨や雪、ドアミラー２１内部の曇りや汚れなどにより撮像部２２の視界が悪くなってしまったりすることがある。
　そのような場合、撮像画像には意図しない方向、つまり車両１１後方とは異なる方向の領域が被写体として写っていたり、撮像画像上の被写体が不鮮明になってしまったりして、車両１１後方をはっきりと確認することが困難になってしまう。
　そこで、意図しない方向が撮像されている場合や、雨等の天候やドアミラー２１内部の曇りなどの撮像環境が悪い場合にも運転者等に対して警告が出力されるようにし、運転者等が調光用スイッチを操作するなどして適切に対処できるようにしてもよい。
　意図しない方向が撮像されているときや、撮像環境が悪いときに警告を出力する場合、車両１１では、例えば図５に示す撮像処理が行われる。
　以下、図５のフローチャートを参照して、車両１１による撮像処理について説明する。なお、ステップＳ４１およびステップＳ４２の処理は図４のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。
　ステップＳ４３において、表示部５２は撮像部２２から供給された画像信号に基づいて、撮像画像を表示する。
　ステップＳ４４において、走行状態検出部８１は、撮像部２２から供給された撮像画像の画像信号に基づいて、車両１１後方の視認性が十分であるか否かの判定を行う。すなわち、視認性の判定処理が行われる。
　例えば走行状態検出部８１は、画像信号に基づいて撮像画像のコントラストの度合いを示すコントラスト評価値を求め、そのコントラスト評価値の値が予め定められた閾値以上である場合、視認性が十分であると判定する。
　例えば雨や雪により視界が悪い場合や、ドアミラー２１内部が曇っていたり汚れていたりする場合、衝撃等により撮像部２２の撮像方向が変化して空のみが被写体として写っている場合などにおいては、撮像画像のコントラストが低くなるので、コントラスト評価値も低くなる。
　また、撮像部２２の視界が遮られたり、画像信号は出力されるものの撮像部２２の画素等に不具合が生じたりして、撮像画像が真っ黒や真っ白になってしまう場合にも撮像画像のコントラストが低くなるので、コントラスト評価値も低くなる。
　このようにコントラスト評価値が低い場合には、撮像画像において、空間上の所望する方向である車両１１の後方を鮮明に確認できない可能性が高い。そこで走行状態検出部８１は、コントラスト評価値が閾値未満であるときには、視認性が不十分であると判定する。
　さらに、例えば走行状態検出部８１は、撮像画像のフレーム間で差分を求め、得られた差分が大きいとき、すなわち撮像画像の異なるフレームにおける同じ位置関係の画素の画素値の差分の総和が所定の閾値以上であるときに視認性が不十分であるとしてもよい。
　例えば車両１１の走行中において、撮像部２２に対する衝撃等により撮像部２２の視野が急激に大きく変化し、撮像部２２が車両１１の上方など意図しない方向を向いてしまった場合には、撮像画像のフレーム間の差分は大きくなる。
　そこで走行状態検出部８１は、撮像画像のフレーム間の差分が閾値以上であるときには、視認性が不十分であると判定する。
　なお、撮像画像上の車両１１後方、つまり車両１１後方にある被写体の視認性が十分であるかの判定は、上述したコントラスト評価値や撮像画像のフレーム間の差分に限らず、どのような方法により行われてもよい。例えばセンサにより車両１１から見た撮像部２２の向きの変化、つまり撮像部２２の固定位置のずれを検出し、その検出結果に基づいて、視認性が十分であるかの判定が行われるようにしてもよい。また、コントラスト評価値を用いる方法など、任意の複数の方法を組み合わせて視認性の判定を行うようにしてもよい。
　走行状態検出部８１は、撮像画像の画像信号に基づいて視認性の判定処理を行うと、その判定処理の結果を制御部８２に供給する。
　ステップＳ４５において、制御部８２は、走行状態検出部８１から供給された判定処理の結果に基づいて、撮像画像における、車両１１後方の視認性が十分であるか否かを判定する。
　ステップＳ４５において視認性が十分であると判定された場合、ステップＳ４６の処理はスキップされて、その後、処理はステップＳ４７へと進む。
　これに対して、ステップＳ４５において視認性が十分でないと判定された場合、制御部８２は、音声出力部８３に警告の出力を指示し、処理はステップＳ４６へと進む。
　ステップＳ４６において、音声出力部８３は、制御部８２の指示に従って警告の音声メッセージを出力し、その後、処理はステップＳ４７へと進む。
　例えばステップＳ４６では、運転者等に対して、撮像画像が不鮮明であること等を通知する音声メッセージが警告として再生される。また、図４のステップＳ１５における場合と同様に、制御部８２が表示部５２を制御し、表示部５２が文字メッセージ等により警告を出力するようにしてもよいし、表示部５２による表示と音声出力部８３による音声などを組み合わせて警告を出力してもよい。
　このようにして警告を出力することで、運転者等は、撮像画像では車両１１後方を十分な視認性で確認できないという状況を簡単かつ瞬時に把握することができる。運転者等は、警告に応じて表示部５２等を確認すると、必要に応じて入力部８４としての調光用スイッチを操作する。
　ステップＳ４５において視認性が十分であると判定されたか、またはステップＳ４６において警告が出力されると、その後、ステップＳ４７およびステップＳ４８の処理が行われて撮像処理は終了する。なお、これらのステップＳ４７およびステップＳ４８の処理は、図４のステップＳ１６およびステップＳ１７の処理と同様であるので、その説明は省略する。
　以上のようにして、車両１１は撮像画像の画像信号に基づいて、撮像画像上での車両１１後方の視認性が十分であるかを判定し、その判定結果に応じて警告を出力する。また、車両１１は運転者等による調光用スイッチの操作に応じて調光素子２３の状態を透過状態から鏡面状態へと切り替える。このようにすることで、車両１１後方の視認性を向上させることができるだけでなく、安全性も向上させることができる。
　なお、図５を参照して説明した撮像処理においても、図４を参照して説明した撮像処理における場合と同様に、撮像画像の画像信号の入力があるか否かに応じて警告を出力するようにしてもよい。
　ところで、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、本技術は、以下の構成とすることも可能である。
（１）
　撮像部と、
　前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と
　を備える撮像装置。
（２）
　前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
　（１）に記載の撮像装置。
（３）
　前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
　（１）に記載の撮像装置。
（４）
　前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
　（３）に記載の撮像装置。
（５）
　前記撮像装置は、車両に取り付けられている
　（１）乃至（４）の何れか一項に記載の撮像装置。
（６）
　前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
　（５）に記載の撮像装置。
（７）
　前記撮像装置は、前記車両の周囲を撮像可能であり、かつ前記車両の座席にいる乗員から見える位置に配置されている
　（５）に記載の撮像装置。
（８）
　撮像部と、
　前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
　前記撮像部により撮像された画像を表示する表示部と
　を備える表示システム。
（９）
　前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
　（８）に記載の表示システム。
（１０）
　前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
　（８）に記載の表示システム。
（１１）
　前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
　（１０）に記載の表示システム。
（１２）
　使用者の操作に応じて、前記調光素子を前記透過状態または前記鏡面状態の何れかに変化させる制御部をさらに備える
　（１１）に記載の表示システム。
（１３）
　前記表示部への前記画像の入力がない場合、警告を出力する警告出力部をさらに備える
　（８）乃至（１２）の何れか一項に記載の表示システム。
（１４）
　前記画像に基づいて、前記画像における視認性の判定を行う判定部と、
　前記判定部による判定結果に応じて警告を出力する警告出力部と
　をさらに備える（８）乃至（１３）の何れか一項に記載の表示システム。
（１５）
　前記撮像部および前記調光素子は、車両に取り付けられている
　（８）乃至（１４）の何れか一項に記載の表示システム。
（１６）
　前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
　（１５）に記載の表示システム。
（１７）
　記撮像部は前記車両の周囲を撮像可能であり、前記調光素子は前記車両の座席にいる乗員から見える位置に配置されている
　（１５）に記載の表示システム。
（１８）
　撮像部と、
　前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
　前記撮像部により撮像された画像を表示する表示部と
　を備える表示システムの表示方法であって、
　前記撮像部が前記調光素子を介して入射した光を受光することにより前記画像を撮像し、
　前記表示部が前記画像を表示する
　ステップを含む表示方法。
　１１　車両，　２１　ドアミラー，　２２　撮像部，　２３　調光素子，　５２　表示部，　８１　走行状態検出部，　８２　制御部，　８３　音声出力部，　８４　入力部

Claims (18)

  1. 　撮像部と、
    　前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と
    　を備える撮像装置。
  2. 　前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
    　請求項１に記載の撮像装置。
  3. 　前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
    　請求項１に記載の撮像装置。
  4. 　前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
    　請求項３に記載の撮像装置。
  5. 　前記撮像装置は、車両に取り付けられている
    　請求項１に記載の撮像装置。
  6. 　前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
    　請求項５に記載の撮像装置。
  7. 　前記撮像装置は、前記車両の周囲を撮像可能であり、かつ前記車両の座席にいる乗員から見える位置に配置されている
    　請求項５に記載の撮像装置。
  8. 　撮像部と、
    　前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
    　前記撮像部により撮像された画像を表示する表示部と
    　を備える表示システム。
  9. 　前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
    　請求項８に記載の表示システム。
  10. 　前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
    　請求項８に記載の表示システム。
  11. 　前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
    　請求項１０に記載の表示システム。
  12. 　使用者の操作に応じて、前記調光素子を前記透過状態または前記鏡面状態の何れかに変化させる制御部をさらに備える
    　請求項１１に記載の表示システム。
  13. 　前記表示部への前記画像の入力がない場合、警告を出力する警告出力部をさらに備える
    　請求項８に記載の表示システム。
  14. 　前記画像に基づいて、前記画像における視認性の判定を行う判定部と、
    　前記判定部による判定結果に応じて警告を出力する警告出力部と
    　をさらに備える請求項８に記載の表示システム。
  15. 　前記撮像部および前記調光素子は、車両に取り付けられている
    　請求項８に記載の表示システム。
  16. 　前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
    　請求項１５に記載の表示システム。
  17. 　記撮像部は前記車両の周囲を撮像可能であり、前記調光素子は前記車両の座席にいる乗員から見える位置に配置されている
    　請求項１５に記載の表示システム。
  18. 　撮像部と、
    　前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
    　前記撮像部により撮像された画像を表示する表示部と
    　を備える表示システムの表示方法であって、
    　前記撮像部が前記調光素子を介して入射した光を受光することにより前記画像を撮像し、
    　前記表示部が前記画像を表示する
    　ステップを含む表示方法。
PCT/JP2017/040616 2016-11-22 2017-11-10 撮像装置、表示システムおよび方法 WO2018096953A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17873993.4A EP3547021A1 (en) 2016-11-22 2017-11-10 Image pickup device, display system, and display method
US16/342,305 US11124117B2 (en) 2016-11-22 2017-11-10 Imaging device, display system, and display method
JP2018552504A JPWO2018096953A1 (ja) 2016-11-22 2017-11-10 撮像装置、表示システムおよび方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-226479 2016-11-22
JP2016226479 2016-11-22

Publications (1)

Publication Number Publication Date
WO2018096953A1 true WO2018096953A1 (ja) 2018-05-31

Family

ID=62196237

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040616 WO2018096953A1 (ja) 2016-11-22 2017-11-10 撮像装置、表示システムおよび方法

Country Status (4)

Country Link
US (1) US11124117B2 (ja)
EP (1) EP3547021A1 (ja)
JP (1) JPWO2018096953A1 (ja)
WO (1) WO2018096953A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019077366A (ja) * 2017-10-25 2019-05-23 アルパイン株式会社 車両用ドアミラー装置
JP2019081395A (ja) * 2017-10-27 2019-05-30 京セラ株式会社 サイドミラー装置、サイドミラーシステム、および車両
CN110300257A (zh) * 2019-06-13 2019-10-01 广东技术师范大学天河学院 一种基于深度学习的人脸追踪安防监控系统及其使用方法
JP2020079025A (ja) * 2018-11-13 2020-05-28 トヨタ自動車株式会社 車両用ミラーシステム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890494B1 (en) * 2017-03-30 2021-01-12 Apple Inc. Camera attachment and image data processing for temperature measurement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05294183A (ja) * 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
JPH07186831A (ja) 1993-12-28 1995-07-25 Mitsubishi Electric Corp 自動車の後側方監視装置
JP2006298318A (ja) * 2005-04-25 2006-11-02 Aisin Aw Co Ltd 周辺監視装置
JP2010188903A (ja) * 2009-02-19 2010-09-02 Denso Corp 車外映像表示システムおよび車両
JP2010530157A (ja) * 2007-06-08 2010-09-02 ソニー エリクソン モバイル コミュニケーションズ， エービー 電子装置用の薄いアクティブ型カメラ用カバー
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5523811A (en) * 1992-04-17 1996-06-04 Canon Kabushiki Kaisha Camera device for moving body
EP1263626A2 (en) * 2000-03-02 2002-12-11 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2009180822A (ja) * 2008-01-29 2009-08-13 Olympus Corp 撮像装置
JP2014183206A (ja) 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
JP6464479B2 (ja) * 2015-03-31 2019-02-06 パナソニックＩｐマネジメント株式会社 電子ミラー装置
JP6757176B2 (ja) * 2015-05-21 2020-09-16 日東電工株式会社 調光フィルムおよびその製造方法、ならびに調光素子
CN105807526A (zh) * 2016-04-18 2016-07-27 京东方科技集团股份有限公司 可在显示态和镜面态之间相互切换的显示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05294183A (ja) * 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
JPH07186831A (ja) 1993-12-28 1995-07-25 Mitsubishi Electric Corp 自動車の後側方監視装置
JP2006298318A (ja) * 2005-04-25 2006-11-02 Aisin Aw Co Ltd 周辺監視装置
JP2010530157A (ja) * 2007-06-08 2010-09-02 ソニー エリクソン モバイル コミュニケーションズ， エービー 電子装置用の薄いアクティブ型カメラ用カバー
JP2010188903A (ja) * 2009-02-19 2010-09-02 Denso Corp 車外映像表示システムおよび車両
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3547021A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019077366A (ja) * 2017-10-25 2019-05-23 アルパイン株式会社 車両用ドアミラー装置
JP2019081395A (ja) * 2017-10-27 2019-05-30 京セラ株式会社 サイドミラー装置、サイドミラーシステム、および車両
JP2020079025A (ja) * 2018-11-13 2020-05-28 トヨタ自動車株式会社 車両用ミラーシステム
JP7063245B2 (ja) 2018-11-13 2022-05-09 トヨタ自動車株式会社 車両用ミラーシステム
CN110300257A (zh) * 2019-06-13 2019-10-01 广东技术师范大学天河学院 一种基于深度学习的人脸追踪安防监控系统及其使用方法
CN110300257B (zh) * 2019-06-13 2020-12-08 广东技术师范大学天河学院 一种基于深度学习的人脸追踪安防监控系统及其使用方法

Also Published As

Publication number Publication date
EP3547021A4 (en) 2019-10-02
JPWO2018096953A1 (ja) 2019-10-17
US20190270409A1 (en) 2019-09-05
EP3547021A1 (en) 2019-10-02
US11124117B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
WO2018096953A1 (ja) 撮像装置、表示システムおよび方法
US10029621B2 (en) Rear view camera system using rear view mirror location
JP6725377B2 (ja) カメラモニターシステム
JP6617688B2 (ja) 車両用ミラーシステム
JP2004058828A (ja) 車両前方表示システム
US10596970B2 (en) Auto-switch display intelligent rearview mirror system
JP2010130646A (ja) 車両周辺確認装置
JP2006298318A (ja) 周辺監視装置
JP2009078597A (ja) 後方確認システム
JPH05294183A (ja) 車載監視カメラ装置
JP2017058600A (ja) 表示制御装置、画像表示システム、及び、表示制御方法
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP2011189775A (ja) 車両の後側方確認装置
US11390216B2 (en) Electronic mirror system for a vehicle
CN111347998B (zh) 移动体用拍摄系统
US20180077330A1 (en) Vehicular visual recognition device
CN111469777A (zh) 车辆显示装置
JP6990205B2 (ja) 運転支援装置、車両及び車両用制御装置
US11584299B2 (en) Driver-assisting system for an industrial vehicle
KR20110087085A (ko) 카메라 영상 표시 기능이 구비된 차량용 사이드 미러 시스템
CN111216635A (zh) 车载装置
JP5892416B2 (ja) 車両後方監視装置
CN212447305U (zh) 一种车辆前视拓展影像系统
JP5098925B2 (ja) 車両用映像表示装置
JP2010089768A (ja) 車両用表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17873993

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018552504

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017873993

Country of ref document: EP

Effective date: 20190624