WO2018110183A1 - 撮像制御装置、撮像制御方法、プログラムおよび記録媒体 - Google Patents

撮像制御装置、撮像制御方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
WO2018110183A1
WO2018110183A1 PCT/JP2017/040867 JP2017040867W WO2018110183A1 WO 2018110183 A1 WO2018110183 A1 WO 2018110183A1 JP 2017040867 W JP2017040867 W JP 2017040867W WO 2018110183 A1 WO2018110183 A1 WO 2018110183A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
target
unit
distance
imaging control
Prior art date
Application number
PCT/JP2017/040867
Other languages
English (en)
French (fr)
Inventor
岩井　浩
岩村　宏
柴田　修
智宏 本多
朋史 永田
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2018556514A priority Critical patent/JP6890263B2/ja
Publication of WO2018110183A1 publication Critical patent/WO2018110183A1/ja
Priority to US16/437,965 priority patent/US11487009B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Definitions

  • the present disclosure relates to an imaging control device, an imaging control method, a program, and a recording medium.
  • Patent Document 1 a moving object or a stationary measurement object (hereinafter referred to as “target”) is captured as an image, and a distance of the TOF (Time-Of-Flight) method is used as a sensor for measuring the distance to the target.
  • An image sensor is disclosed.
  • Such a distance image sensor of the TOF method has an infrared light irradiation part and an infrared light receiving part. Based on the time difference or phase difference between the irradiation timing of the irradiation light irradiated by the infrared light irradiation unit and the light reception timing of the reflected light (that is, the light reflected from the target by the infrared light reception unit). The distance between the distance image sensor and the target is measured.
  • This disclosure intends to provide a technique for accurately measuring the distance to the target.
  • a target is irradiated when it is determined that the surrounding state corresponds to a predetermined situation based on the image data, and the recognition unit determines that the predetermined state corresponds to the predetermined situation.
  • a control unit that controls the infrared light irradiation unit so as to increase the number of transmission pulses to be transmitted.
  • one form of the present disclosure may be any one of a method, a program, and a non-temporary tangible recording medium on which the program is recorded.
  • the distance to the target can be accurately measured.
  • Schematic diagram showing a configuration of an imaging apparatus incorporating an imaging control apparatus according to an embodiment of the present disclosure Schematic diagram showing the configuration of an imaging control apparatus according to an embodiment of the present disclosure Schematic diagram for explaining the configuration of a distance image sensor of the TOF method
  • the schematic diagram which shows the state of the irradiation light of the state which is not implementing the imaging control method of embodiment, and reflected light The schematic diagram which shows the state of the irradiation light of the state which is implementing the imaging control method of embodiment, and reflected light
  • the schematic diagram which shows the modification of the irradiation light of the state which is implementing the imaging control method of embodiment, and reflected light Figure showing visible image data of a black car The figure which displayed the distance image data of the car shown in FIG.
  • FIG. 5A obtained in the state which does not implement the imaging control method of embodiment
  • Flow chart for distance detection method Flowchart for processing to detect target color Schematic diagram of a car with three corners visible
  • the distance image sensor disclosed in Patent Document 1 has a low distance measurement accuracy when there is a situation in which the light intensity of the reflected light received by the infrared light receiving unit is reduced. there is a possibility.
  • FIG. 1 is a block diagram illustrating an example of a configuration example of an imaging apparatus.
  • the imaging apparatus 100 shown in FIG. 1 includes visible image data that is an image for confirming the appearance of a target, infrared image data (hereinafter referred to as “IR image data”), and the imaging apparatus 100 and the target. Image data such as distance image data related to the distance is generated. The imaging device also generates target ID (identification) data related to the target.
  • IR image data infrared image data
  • image data such as distance image data related to the distance is generated.
  • the imaging device also generates target ID (identification) data related to the target.
  • the imaging device 100 as described above is mounted on a vehicle as a device that images the surroundings (typically forward) of the vehicle, for example.
  • the image data and the target ID data generated by the imaging apparatus 100 are obtained from an ECU (Electronic Control Unit) of an advanced driving assistance system (Advanced Driving Assistant System, hereinafter referred to as “ADAS”) arranged at the subsequent stage of the imaging apparatus 100. Sent to.
  • ECU Electronic Control Unit
  • ADAS Advanced Driving Assistant System
  • the imaging device 100 includes an infrared light irradiation unit 110, an infrared light receiving unit 120, a visible light receiving unit 130, and an imaging control device 140.
  • the infrared light irradiation unit 110 emits an infrared light pulse (hereinafter referred to as “transmission pulse”) toward at least an imaging range related to distance image data. Specifically, for example, the infrared light irradiation unit 110 emits irradiation light 111a and 111b as shown in FIGS. 4A and 4B. The irradiation lights 111a and 111b will be described later.
  • the conditions (for example, width, amplitude, pulse interval, number of pulses, etc.) of the transmission pulse irradiated by the infrared light irradiation unit 110 are controlled by the imaging control device 140 described later.
  • the infrared light receiving unit 120 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and receives infrared light to generate IR image data.
  • CMOS Complementary Metal Oxide Semiconductor
  • the light receiving conditions (exposure time, exposure timing, number of exposures, etc.) of the infrared light receiving unit 120 are controlled by an imaging control device 140 described later.
  • the visible light receiving unit 130 is, for example, a CMOS image sensor, and receives visible light of black and white BW (Black and White) or visible light of color RGB (Red Green Blue) to generate visible image data. .
  • the light receiving conditions (exposure time, exposure timing, number of exposures, etc.) of the visible light receiving unit 130 are controlled by an imaging control device 140 described later.
  • the infrared light receiving unit 120 and the visible light receiving unit 130 are configured by a common image sensor 160.
  • the infrared light receiving unit 120 and the visible light receiving unit 130 may be configured by different image sensors.
  • an optical system for introducing light (infrared light and visible light) into the infrared light receiving unit 120 and the visible light receiving unit 130 is a common optical system.
  • the optical systems for introducing light into the infrared light receiving unit 120 and the visible light receiving unit 130 may be different optical systems.
  • the imaging control device 140 controls each unit constituting the imaging device 100.
  • the imaging control device 140 includes a recognition unit 141, a control unit 142, and an output unit 150.
  • the imaging control device 140 includes, for example, an input terminal 140A, an output terminal 140B, a microprocessor 140C, a program memory 140D, and a main memory 140E shown in FIG.
  • the program memory holds the program P1.
  • the program memory may be a nonvolatile semiconductor memory such as an EEPROM (Electrically-Erasable-and Programmable-Read-Only-Memory).
  • the main memory stores various data related to program execution.
  • the main memory may be a volatile semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory).
  • the microprocessor reads out the program from the program memory and executes the program using the main memory, thereby realizing various functions of the imaging control device 140.
  • the function of the imaging control apparatus 140 may be realized as a logic circuit such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit), or a program.
  • a logic circuit such as an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit), or a program.
  • the recognition unit 141 determines whether or not the surrounding situation corresponds to a predetermined situation based on the visible image data generated by the visible light receiving unit 130.
  • the recognition unit 141 includes a distance detection unit 143, a contour extraction unit 144, a color detection unit 145, a backlight detection unit 146, a fog detection unit 147, and a target extraction unit 148. Note that the recognition unit 141 does not necessarily have all the above-described configurations, and may have only a part of the configuration.
  • the predetermined situation is a situation in which the light intensity of the reflected light, which is the light reflected from the target by the irradiation light 111a and 111b of the infrared light irradiation unit 110, is reduced.
  • the predetermined situation refers to a situation in which backlight is present in the surroundings, a situation in which fog is present in the surroundings, and a color whose reflectivity with respect to IR light is lower than a predetermined threshold related to reflectivity. (For example, black and gray, hereinafter referred to as “low reflection color”).
  • the distance detection unit 143 detects the distance to the target based on the IR image data generated by the infrared light receiving unit 120. Further, the distance detection unit 143 generates distance image data based on the detected distance. A method by which the distance detection unit 143 detects the distance will be described later.
  • the distance detection unit 143 can extract part of the IR image data by dividing the IR image data into regions. Then, distance image data is generated based on the extracted part of the IR image data.
  • the part of IR image data includes, for example, IR image data related to the target.
  • the contour extracting unit 144 extracts the contour of the target from the visible image data generated by the visible light receiving unit 130 or the IR image data generated by the infrared light receiving unit 120, and generates contour data. Note that when the contour extracting unit 144 extracts the contour of the target from the IR image data and generates the contour data, the imaging apparatus 100 may not include the visible light receiving unit 130.
  • the contour extracting unit 144 extracts a contour 200 as shown in FIG. 5C from the visible image data.
  • visible image data or IR image data may be simply referred to as image data.
  • the color detection unit 145 determines whether the target has a low reflection color based on the visible image data or the IR image data. Note that, for example, a value related to luminance is set as the predetermined threshold value related to reflectance.
  • the color detection unit 145 determines whether or not a low-reflective color portion exists in the target contour extracted by the contour extraction unit 144 in the visible image data or IR image data. The color detection unit 145 detects the ratio of the area of the low reflection color portion to the total area in the contour.
  • the backlight detection unit 146 determines whether there is backlight based on the visible image data or the IR image data.
  • the presence / absence of backlight is determined based on, for example, information on luminance in visible image data or IR image data.
  • various conventionally known methods can be adopted as a method for determining the presence or absence of backlight.
  • the fog detection unit 147 determines the presence or absence of fog based on visible image data or IR image data. Note that the presence / absence of fog is also determined based on, for example, information on luminance of visible image data or IR image data. In addition, various conventionally known methods can be adopted as a method for determining the presence or absence of backlight.
  • the target extraction unit 148 extracts a target (in other words, a target) from the distance image data generated by the distance detection unit 143. Then, the target extraction unit 148 extracts distance image data of a portion corresponding to the target from the distance image data generated by the distance detection unit 143. Note that when the imaging apparatus 100 is mounted on a vehicle, the target is various objects related to traveling of the vehicle, such as another vehicle, a pedestrian, or a sign.
  • the target extraction unit 148 determines whether or not there is a portion in which the distance is not properly detected in the distance image data regarding the target.
  • the target extraction unit 148 determines that the distance image data regarding the target is not appropriate, the target extraction unit 148 instructs the contour extraction unit 144 to extract the target contour from the visible image data or the IR image data. .
  • the target extraction unit 148 instructs the contour extraction unit 144 directly or via the control unit 142 described later.
  • the target extraction unit 148 increases the number of transmission pulses of the infrared light irradiation unit 110 with respect to the control unit 142 or Can give instructions to reduce. Note that the contour extraction unit 144 may issue an instruction to increase or decrease the number of transmission pulses instead of the target extraction unit 148.
  • the target extraction unit 148 or the contour extraction unit 144 instructs the control unit 142 to increase or decrease the number of transmission pulses
  • the frame rate of the IR image data is transmitted to the control unit 142. Give an instruction to lower.
  • the target extraction unit 148 generates target target ID data.
  • the target extraction unit 148 then assigns a target ID to the target in the distance image data.
  • the recognition unit 141 outputs output data such as target ID data, IR image data, distance image data, and visible image data from the output terminal of the output unit 150.
  • This output data is transmitted to the above-mentioned ADAS ECU, for example.
  • the output data includes at least one of target ID data, IR image data, distance image data, and visible image data.
  • the control unit 142 controls the width, amplitude (intensity), pulse interval, transmission pulse number, and the like of the transmission pulse irradiated by the infrared light irradiation unit 110.
  • control unit 142 controls the infrared light irradiation unit 110 to increase or decrease the number of transmission pulses.
  • the control unit 142 performs infrared light irradiation so as to increase or decrease the number of transmission pulses.
  • the unit 110 is controlled.
  • the vehicle speed or the relative speed between the imaging device 100 and the target
  • the number of transmission pulses need not be increased.
  • the vehicle speed is acquired from, for example, the ECU of the vehicle.
  • the control unit 142 may control the infrared light irradiation unit 110 to increase or decrease the number of transmission pulses and increase the intensity (luminance) of the transmission pulses.
  • control unit 142 determines whether or not a predetermined situation is satisfied based on the visible image data.
  • the recognition unit 141 may be controlled so as to perform the determination.
  • the control unit 142 increases or decreases the number of transmission pulses and controls the distance detection unit 143 so as to divide the IR image data generated by the infrared light receiving unit 120 into regions and extract a part of the IR image data. May be.
  • control unit 142 may control the distance detection unit 143 to generate the distance image data based on the extracted part of the IR image data.
  • the part of IR image data includes, for example, IR image data related to the target.
  • the control unit 142 performs control related to the exposure time and timing of the infrared light receiving unit 120. In addition, the control unit 142 performs control related to the exposure time and timing of the visible light receiving unit 130.
  • the infrared light receiving unit 120 and the visible light receiving unit 130 are configured by a common image sensor. For this reason, the exposure time and timing of the infrared light receiving unit 120 and the visible light receiving unit 130 are synchronized.
  • the infrared light receiving unit 120 and the visible light receiving unit 130 may be configured by different image sensors.
  • the control unit 142 controls the infrared light receiving unit 120 and the visible light receiving unit 130 so that the IR image data, the distance image data, and the visible light image data correspond one-to-one.
  • control unit 142 sets a frame rate related to IR image data generated by the infrared light receiving unit 120 and visible image data generated by the visible light receiving unit 130.
  • control unit 142 sets a frame rate for IR image data and visible image data according to the number of transmission pulses irradiated by the infrared light irradiation unit 110.
  • control unit 142 sets the frame rate for the IR image data to be smaller than that in the normal state.
  • the control unit 142 relates to the IR image data. It is not necessary to lower the frame rate.
  • control unit 142 does not have to lower the frame rate related to the IR image data.
  • control unit 142 may set a frame rate related to IR image data according to the vehicle speed acquired from the ECU of the vehicle.
  • control unit 142 may not reduce the frame rate related to IR image data.
  • the output unit 150 has an output terminal.
  • the output unit 150 outputs an output signal from an output terminal to, for example, an ADAS ECU.
  • the output signal includes, for example, at least one kind of data among IR image data, visible image data, distance image data, and target ID data.
  • the visible image data is generated based on visible light received by the visible light receiving unit 130.
  • the visible image data is used when the contour extracting unit 144 extracts the target contour.
  • the visible image data is used when the backlight detection unit 146 detects backlight.
  • the visible image data is used when the fog detection unit 147 detects fog.
  • the visible image data is generated in a one-to-one correspondence with the IR image data generated by the infrared light receiving unit 120. Therefore, the target position in the visible image data and the target position in the IR image data have a one-to-one correspondence.
  • the visible image data is output from the output terminal of the output unit 150 as part of the output data.
  • the IR image data is generated based on the IR light received by the infrared light receiving unit 120.
  • the IR image data is sent to the distance detection unit 143 and used to generate the distance image data.
  • the IR image data is output from the output terminal of the output unit 150 as a part of the output data. Further, the IR image data is sent to the contour extracting unit 144 and used for contour extraction.
  • the distance image data is generated based on the distance data to the target detected by the distance detection unit 143.
  • the distance image data is generated as data having coordinate information and distance information.
  • the distance image data is output from the output terminal of the output unit 150 as a part of the output data.
  • the target ID data is an identifier given to a target (that is, a target) extracted from the distance image data by the target extraction unit 148.
  • the target ID data is output from the output terminal of the output unit 150 as part of the output data.
  • data generated by the imaging apparatus 100 is stored in a recording medium such as a memory (not shown) included in the imaging apparatus 100, for example.
  • the output unit 150 may output the data from the recording medium at an appropriate timing.
  • the distance to the target is measured by a TOF type distance image sensor.
  • the distance image sensor includes the infrared light irradiation unit 110, the infrared light receiving unit 120, and the distance detection unit 143 described above.
  • the TOF type distance image sensor has irradiation timings of irradiation lights 111 a and 111 b irradiated by the infrared light irradiation unit 110, and irradiation lights 111 a and 111 b are targets (in the case of FIG. 3, people).
  • the distance Z to the target is measured based on the time difference or phase difference between the reflected light 112a and 112b, which is the reflected light, and the light receiving timing in the infrared light receiving unit 120.
  • the distance image sensor can employ various types of TOF sensors.
  • FIG. 6 is a flowchart of the distance detection method.
  • FIG. 7 is a flowchart regarding color detection processing.
  • the target is a black automobile 201 as shown in FIG. 5A
  • the black portion of the color is hatched.
  • the imaging control method of the present embodiment first generates IR image data based on the IR light received by the infrared light receiving unit 120 in Step 10 of FIG.
  • step 11 the distance detection unit 143 generates distance image data based on the distance data detected from the IR image data.
  • the distance detection method will be described later.
  • step 12 the target extraction unit 148 extracts a target from the distance image data.
  • step 13 the target extraction unit 148 generates target ID data related to the target and assigns the target ID to the target.
  • the target extraction unit 148 determines whether or not there is a non-detection unit in the distance image data of the target.
  • the non-detecting part is a part where the distance cannot be accurately detected.
  • FIG. 5A shows the visible image data of a black automobile.
  • FIG. 5B displays the distance image data of the automobile shown in FIG. 5A obtained without performing the imaging control method of the present embodiment.
  • FIG. 5C shows the contour of the target extracted from the visible image data by the contour extraction unit superimposed on the distance image of FIG. 5B. Furthermore, FIG. 5D displays the distance image data of the automobile shown in FIG. 5A obtained in a state where the imaging control of the present embodiment is performed.
  • the case where the non-detection part exists in the distance image data regarding the target includes a case where the distance image data of the automobile 201 illustrated in FIG. 5A is in the state illustrated in FIG. 5B.
  • the distance image data of the automobile 201 shown in FIG. 5A is in the state shown in FIG. 5D.
  • distance image data of a portion other than the light, license plate, and front grille of the automobile 201 that is, the black portion
  • the distance of the black portion of the automobile 201 shown in FIG. 5A is not accurately detected.
  • a portion corresponding to the black portion (slanted lattice portion) of the automobile 201 shown in FIG. 5A becomes a non-detection portion.
  • step 14 If it is determined in step 14 that there is no non-detection part (step 14: NO), the current distance detection process is terminated without performing the imaging control method of the present embodiment.
  • step 14 determines whether the surrounding situation corresponds to a predetermined situation.
  • the recognition unit 141 determines the presence or absence of backlight, fog, and low reflection color based on the visible image data generated by the visible light receiving unit 130.
  • the backlight detection is performed by the backlight detection unit 146.
  • the fog detection is performed by the fog detection unit 147.
  • the detection of the low reflection color is performed by the color detection unit 145.
  • FIG. 7 is a flowchart regarding color detection processing.
  • step 14 of FIG. 6 The following processing is performed when it is determined in step 14 of FIG. 6 that the non-detection portion exists in the distance image data regarding the target.
  • the target is the automobile 201 in FIG. 5A.
  • the target is not limited to an automobile.
  • the target extraction unit 148 instructs the contour extraction unit 144 to extract the contour of the target.
  • the target is, for example, an article (that is, the automobile 201 in FIG. 5A) having a light, a license plate, and a front grill in the distance image data shown in FIG. 5B.
  • the contour extracting unit 144 extracts the target contour from the visible light image data. Specifically, the contour extracting unit 144 extracts the contour 200 of the automobile 201 from the visible image data shown in FIG. 5A.
  • step 152 the color detection unit 145 detects a low reflection color from the target contour extracted by the contour extraction unit 144 from the visible image data. Specifically, black or gray existing inside the outline 200 of the automobile 201 is detected from the visible image data shown in FIG. 5A. Then, the color detection process ends, and the process returns to step 15 in FIG.
  • the low reflection color is detected if the area of the low reflection color portion is equal to or less than a predetermined threshold value regarding the area. You may not have.
  • corner portions in other words, corner portions of the front end portion and the width direction both end portions of the automobile 201a and two rear end portions and width direction both end portions thereof are used. Based on the colors of the three corner portions 202a, 202b, and 203a that can be detected from the visible image data among the corner portions (in other words, the corner portions), it is determined whether or not a low reflection color exists. May be.
  • step 16 the recognition unit 141 determines whether or not a predetermined situation has been detected (in other words, it corresponds to the predetermined situation). If it is determined in step 16 that the predetermined situation is not met (step 16: NO), the current distance detection process is terminated without performing the imaging control method of the present embodiment.
  • the predetermined situation is not met is a situation in which no backlight or fog is detected from the visible light image data and no low reflection color is detected from the target in the visible light image data.
  • step 16 determines whether the predetermined situation is met (step 15: YES). If it is determined in step 16 that the predetermined situation is met (step 15: YES), the process proceeds to step 17.
  • step 17 the recognition unit 141 instructs the control unit 142 to increase the number of transmission pulses of the infrared light irradiation unit 110.
  • step 18 the control unit 142 controls the infrared light irradiation unit 110 so as to increase the number of transmission pulses more than the number of transmission pulses in the normal state.
  • the control unit 142 controls the exposure time and timing related to the infrared light receiving unit 120 and the visible light receiving unit 130 according to the number of transmission pulses irradiated by the infrared light irradiation unit 110.
  • control unit 142 may set the frame rate for IR image data and visible image data as described above according to the number of transmission pulses irradiated by the infrared light irradiation unit 110.
  • control state IR image data Data (hereinafter referred to as “control state IR image data”) is generated.
  • step 20 the distance detection unit 143 generates distance image data (hereinafter referred to as “control state distance image data”) based on the distance data detected from the control state IR image data. Then, the control unit 142 returns the process to step 14.
  • control state distance image data distance image data
  • the distance image data in the control state need not be generated for all of the IR image data in the control state. That is, based on the function of the distance detection unit 143, the distance detection unit 143 divides the IR image data in the controlled state into regions, and extracts a part of IR image data including data related to the target. Then, the distance detection unit 143 may generate distance image data based on this part of the IR image data. If only a part of the distance image data is processed in this way, the processing load of the distance detection unit 143 can be reduced, so that the reduction rate of the frame rate can be reduced.
  • control unit 142 sets the number of transmission pulses to normal.
  • the infrared light irradiation unit 110 is controlled to return to the number of transmission pulses in the state. And this distance detection process is complete
  • an indirect TOF method or a direct TOF method can be employed as the distance image sensor.
  • the same operation and effect can be obtained regardless of the method of the distance image sensor.
  • a first pulse 113 which is first irradiated, the irradiated apart by a pulse interval L 1 first pulse 113 It consists of two pulses 114.
  • the amplitude H 1 and the width T p of the first pulse 113 and the second pulse 114 are equal.
  • control unit 142 controls the infrared light irradiation unit 110 so as to irradiate a number of transmission pulses having a margin with respect to the upper limit of the irradiation capability.
  • FIG. 4A shows only one set of pulses including the first pulse 113 and the second pulse 114 for convenience of explanation.
  • the irradiation light can be constituted by a plurality of sets of pulses.
  • the infrared light receiving unit 120 is controlled by the control unit 142 so that exposure is performed at a timing synchronized with the timing of the first pulse 113 and the second pulse 114.
  • the infrared light receiving unit 120 performs the S 0 exposure, the S 1 exposure, and the BG exposure on the reflected light 112a that is the light reflected from the target by the irradiation light 111a. Perform three exposures.
  • the S 0 exposure starts exposure at the same time as the irradiation of the first pulse 113 (that is, the rising edge of the first pulse 113), and the exposure time T 0 is set in advance in relation to the irradiation light 111a. Exit after exposure.
  • the S 0 exposure is exposure for receiving the reflected light of the first pulse 113.
  • the received light data (in other words, light amount information) D 0 by S 0 exposure is the reflected light component S 0 of the first pulse 113 with a diagonal lattice and the background component BG with a satin pattern in FIG. 4A. Is included. It reflected light 112a is, since the damping than the irradiation light 111a, the amplitude of H 2 reflected light component S 0 is smaller than the amplitude H 1 of the first pulse 113.
  • a time difference ⁇ t exists between the rising edge of the first pulse 113 and the rising edge of the reflected light component S 0 of the first pulse 113. That is, the reflected light component S 0 of the first pulse 113 rises with a time difference ⁇ t after the rise of the first pulse 113.
  • the time difference ⁇ t is the time required for the light to reciprocate along the path of the distance Z (see FIG. 3) from the imaging device 100 to the target.
  • S 1 exposure, irradiation end of the second pulse 114 i.e., the falling edge of the second pulse 114) simultaneously with the exposure begins, and ends with exposure only S 0 exposure similar exposure time T 0.
  • the S 1 exposure is exposure for receiving the reflected light of the second pulse 114.
  • a part of the reflected light component S 1 can be expressed by the following equation (1).
  • the exposure timing without the reflected light component of the first pulse 113 and second pulse 114 begins and ends with exposure only S 0 exposure and S 1 exposure and the same exposure time T 0.
  • the BG exposure is exposure for receiving only an infrared light component (in other words, a background component) in external light. Therefore, the light reception data D BG by BG exposure includes only the background component BG indicated by the satin pattern in FIG. 4A.
  • the distance Z from the imaging device 100 to the target can be calculated by the following equations (2) to (4).
  • T p is the width of the first pulse 113 and the second pulse 114
  • c is the speed of light.
  • D BG in the following expression is light reception data generated by the above-described BG exposure.
  • the detection accuracy of the distance Z may possibly be lowered.
  • the control is performed.
  • the unit 142 controls the infrared light irradiation unit 110 so as to increase the number of transmission pulses.
  • the irradiation light 111b of the infrared light irradiation unit 110 includes a pulse set that is twice that in the normal state. That is, the irradiation light 111b in the control state has two sets of pulse sets similar to those in the normal state shown in FIG. 4A.
  • the amplitude H 1 and width T p of the first pulse 113 and the second pulse 114 constituting the pulse set are the same as in the normal state.
  • control unit 142 sets the frame rate related to the visible image data generated by the visible light receiving unit 130 and the IR image data generated by the infrared light receiving unit 120 that has received the reflected light 112b, to the frame in the normal state. It is lower than the rate.
  • the irradiation light 111b shown in FIG. 4B is obtained by doubling the number of transmission pulses of the irradiation light 111a shown in FIG. 4A for convenience of explanation.
  • the irradiation light in the control state is not limited to the case of FIG. 4B.
  • the exposure timing of the infrared light receiving unit 120 is the same as that shown in FIG. 4A. In other words, the infrared light receiving unit 120 performs three exposures of S 0 exposure, S 1 exposure, and BG exposure for each of the two pulse sets constituting the irradiation light 111b.
  • the reflected light component S 0 of the first pulse 113 of the first pulse set and the reflected light component S 0 of the first pulse 113 of the second pulse set are added.
  • the reflection light component S 0 is calculated by the equation (2).
  • a partial component S 1 of the reflected light component of the second pulse 114 in the first pulse set and a partial component S 1 of the reflected light component of the second pulse 114 in the second pulse set are obtained. to add. Note that a part of the reflected light component S 1 is calculated by the above equation (3).
  • the distance Z from the imaging device 100 to the target is detected by substituting the added value into the above equation (4).
  • white noise since white noise is reduced in the above addition, the influence of white noise on the detection accuracy of the distance Z can be suppressed.
  • imaging is performed even when backlighting or fog is present in the surroundings, or when the target has a low-reflected light reflection color (that is, in a predetermined situation).
  • the distance from the apparatus 100 to the target can be detected with high accuracy. As a result, it is possible to generate distance image data that accurately reflects the distance to the target.
  • control is performed to increase the number of transmission pulses of the infrared light irradiation unit 110 when a predetermined situation is met.
  • the intensity of the reflected light component of the first pulse 113 and the second pulse 114 is reduced (in other words, the SN ratio is If it is smaller, the infrared light irradiation unit 110 is controlled so as to irradiate the irradiation light 111b having a larger number of transmission pulses than the irradiation light 111a in the normal state.
  • the reflected light components S 0 of the reflected light 112 b and a part of the reflected light components S 1 of the reflected light 112 b are added.
  • the S / N ratio of data used for distance detection increases, and the distance Z can be detected with high accuracy.
  • a diagonal lattice is attached to the portion 300 that is close to each other, and a satin pattern is attached to the portion 301 that is far away.
  • the control unit 142 may reduce the number of transmission pulses as a condition for the transmission pulses irradiated by the infrared light irradiation unit 110. Specifically, there is a non-detection unit in step 14, and when the reflectance received by the infrared light receiving unit 120 is higher than a predetermined value, such as the reflected light from the reflector in steps 15 and 16, or the luminance data is saturated.
  • the control unit 142 instructs the infrared light irradiation unit 110 to reduce the number of transmission pulses in step 17, and the infrared light irradiation unit 110 performs control to reduce the number of transmission pulses in step 18. May be.
  • control unit 142 can also control the infrared light receiving unit 120 to perform exposure at the timing shown in FIG. 4C in the control state. Specifically, the control unit 142 controls the infrared light receiving unit 120 so as to omit the second BG exposure among the exposures illustrated in FIG. 4B.
  • each configuration of the recognition unit 141 and the control unit 142 of the imaging control device 140 may be realized by a computer program.
  • the computer program may be provided by being stored in a recording medium such as a DVD (Digital Versatile Disc) or may be stored in a recording medium such as a server device on the network so as to be downloadable via the network.
  • the recognition unit 141 and the control unit 142 of the imaging control device 140 can be realized as physical circuits such as LSI (Large-Scale Integration).
  • the imaging control device, the imaging control method, the program, and the recording medium according to the present disclosure are suitable for an imaging device mounted on a vehicle, for example.
  • Imaging device 110 Infrared light irradiation part 111a, 111b Irradiation light 112a, 112b Reflected light 113 1st pulse 114 2nd pulse 120 Infrared light receiving part 130 Visible light receiving part 140 Imaging control device 141 Recognition part 142 Control part 143 Distance Detection unit 144 Contour extraction unit 145 Color detection unit 146 Backlight detection unit 147 Fog detection unit 148 Target extraction unit 150 Output unit 160 Image sensor 201, 201a Automobile 200 Contour 202a, 202b Corner portion 203a Corner portion 300 Near portion 301 Distant portion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

撮像制御装置（１４０）が、画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部（１４１）と、認識部（１４１）が所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部（１１０）を制御する制御部（１４２）と、を有している。

Description

撮像制御装置、撮像制御方法、プログラムおよび記録媒体
　本開示は、撮像制御装置、撮像制御方法、プログラムおよび記録媒体に関する。
　特許文献１には、移動または静止する測定対象物（以下、「ターゲット」という）を画像としてとらえると共にこのターゲットとの距離を測定するためのセンサとして、ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式の距離画像センサが開示されている。
　このようなＴＯＦ方式の距離画像センサは、赤外光照射部と赤外光受光部とを有している。そして、赤外光照射部が照射した照射光の照射タイミングと、反射光（つまり、照射光がターゲットで反射された光）の赤外光受光部における受光タイミングとの時間差または位相差に基づいて、距離画像センサとターゲットとの距離を測定する。
特開昭５９－７９１７３号公報
　本開示は、ターゲットまでの距離を精度よく測定する技術を提供しようとするものである。
　本開示の一形態は、画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部と、認識部が所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御する制御部と、を有した撮像制御装置である。
　なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
　本開示によれば、ターゲットまでの距離を精度よく測定できる。
本開示の実施の形態に係る撮像制御装置が組み込まれた撮像装置の構成を示す概略図 本開示の実施の形態に係る撮像制御装置の構成を示す模式図 ＴＯＦ方式の距離画像センサの構成を説明するための模式図 実施の形態の撮像制御方法を実施していない状態の照射光および反射光の状態を示す模式図 実施の形態の撮像制御方法を実施している状態の照射光および反射光の状態を示す模式図 実施の形態の撮像制御方法を実施している状態の照射光および反射光の変形例を示す模式図 黒い自動車の可視画像データを表示した図 実施の形態の撮像制御方法を実施しない状態で得られる図５Ａに示す自動車の距離画像データを表示した図 輪郭抽出部が抽出した輪郭を図５Ｂの距離画像に表示した図 実施の形態の撮像制御方法を実施した状態で得られる図５Ａに示す自動車の距離画像データを表示した図 距離検出方法に関するフローチャート ターゲットの色を検出する処理に関するフローチャート 三箇所のコーナー部が見えている状態の自動車の模式図
　本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１等に開示された距離画像センサは、例えば、周囲に赤外光受光部が受光する上記反射光の光強度を低下させるような状況が存在する場合に、距離の測定精度が低下する可能性がある。
　（実施の形態）
　図１～８を参照して、本開示に係る実施の形態について説明する。なお、以下の実施の形態の説明において、その構成要素（要素ステップなどを含む）は、必須であることを明示した場合および原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。なお、以下の実施の形態で説明する赤外光は近赤外光であってもよい。
　[１　撮像装置について]
　まず、図１を参照して、本開示に係る撮像制御装置が組み込まれる撮像装置１００の構成の概略について説明する。図１は、撮像装置の構成例の一例を示すブロック図である。
　図１に示す撮像装置１００は、ターゲットの外観を確認するための画像である可視画像データ、および、赤外画像データ（以下、「ＩＲ画像データ」という）、ならびに、撮像装置１００とターゲットとの距離に関する距離画像データなどの画像データを生成する。また、撮像装置は、ターゲットに関する物標ＩＤ（identification）データを生成する。
　上述のような撮像装置１００は、例えば、車両の周囲（典型的には前方）を撮像する装置として車両に搭載される。そして、撮像装置１００が生成した画像データおよび物標ＩＤデータは、撮像装置１００の後段に配置された先進運転支援システム（Advanced Driving Assistant System、以下、「ＡＤＡＳ」という）のＥＣＵ（Electronic Control Unit）に送信される。
　[１．1　撮像装置の具体的構成について]
　以下、図１に示す撮像装置１００の具体的構成について説明する。撮像装置１００は、赤外光照射部１１０と、赤外光受光部１２０と、可視光受光部１３０と、撮像制御装置１４０と、を有している。
　[１．２　赤外光照射部について]
　赤外光照射部１１０は、少なくとも距離画像データに関する撮像範囲に向けて赤外光パルス（以下、「送信パルス」という）を照射する。具体的には、例えば、赤外光照射部１１０は、図４Ａ、４Ｂに示すような照射光１１１ａ、１１１ｂを照射する。照射光１１１ａ、１１１ｂについては後述する。
　赤外光照射部１１０が照射する送信パルスの条件（例えば、幅、振幅、パルス間隔、パルス数など）は、後述する撮像制御装置１４０により制御される。
　[１．３　赤外光受光部について]
　赤外光受光部１２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、赤外光を受光して、ＩＲ画像データを生成する。
　赤外光受光部１２０の、受光の条件（露光時間、露光タイミング、露光回数など）は、後述する撮像制御装置１４０により制御される。
　[１．４　可視光受光部について]
　可視光受光部１３０は、例えばＣＭＯＳイメージセンサであって、白黒ＢＷ（Black and White）の可視光、または、カラーＲＧＢ（Red Green Blue）の可視光をそれぞれ受光して、可視画像データを生成する。
　可視光受光部１３０の受光の条件（露光時間、露光タイミング、露光回数など）は、後述する撮像制御装置１４０により制御される。
　本実施の形態の場合、赤外光受光部１２０と可視光受光部１３０とは、共通のイメージセンサ１６０により構成されている。ただし、赤外光受光部１２０と可視光受光部１３０とを異なるイメージセンサにより構成することもできる。
　また、本実施の形態の場合、赤外光受光部１２０および可視光受光部１３０に光（赤外光および可視光）を導入する光学系（図示省略）は、共通の光学系である。ただし、赤外光受光部１２０および可視光受光部１３０に光を導入する光学系は、異なる光学系でもよい。
　[１．５　撮像制御装置について]
　撮像制御装置１４０は、撮像装置１００を構成する各部の制御を行う。撮像制御装置１４０は、認識部１４１と、制御部１４２と、出力部１５０と、を有している。
　撮像制御装置１４０は、例えば図２に示す、入力端子１４０Ａ、出力端子１４０Ｂ、マイクロプロセッサ１４０Ｃ、プログラムメモリ１４０Ｄおよびメインメモリ１４０Ｅなどにより構成する。
　上記プログラムメモリは、プログラムＰ１を保持する。プログラムメモリは、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）のような不揮発性半導体メモリであってよい。
　上記メインメモリには、プログラムの実行に関する各種データが格納される。メインメモリは、ＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ（Dynamic Random Access Memory）のような揮発性半導体メモリであってよい。
　マイクロプロセッサは、プログラムメモリからプログラムを読み出して、上記メインメモリを用いてプログラムを実行することにより、撮像制御装置１４０が有する各種機能を実現する。
　また、撮像制御装置１４０の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などの論理回路、あるいは、プログラムとして実現されてもよい。
　以下、撮像制御装置１４０が有する各種機能について説明する。
　[１．６　認識部について]
　認識部１４１は、可視光受光部１３０が生成する可視画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する。認識部１４１は、距離検出部１４３と、輪郭抽出部１４４と、色検出部１４５と、逆光検出部１４６と、霧検出部１４７と、物標抽出部１４８と、を有している。なお、認識部１４１は、必ずしも上述した全ての構成を有する必要はなく、一部の構成のみを有してもよい。
　所定の状況とは、赤外光照射部１１０の照射光１１１ａ、１１１ｂがターゲットで反射された光である反射光の光強度を低下させるような状況である。具体的には、所定の状況とは、周囲に逆光が存在している状況、周囲に霧が存在している状況、および、ＩＲ光に対する反射率が、反射率に関する所定の閾値よりも低い色（例えば、黒、グレーであって、以下、「低反射色」という）を有している状況である。
　[１．７　距離検出部について]
　距離検出部１４３は、赤外光受光部１２０が生成するＩＲ画像データに基づいて、ターゲットまでの距離を検出する。また、距離検出部１４３は、検出した距離に基づいて距離画像データを生成する。距離検出部１４３が、距離を検出する方法については後述する。
　距離検出部１４３は、ＩＲ画像データを領域分割して一部のＩＲ画像データを抽出できる。そして、抽出した一部のＩＲ画像データに基づいて、距離画像データを生成する。なお、一部のＩＲ画像データとは、例えば、ターゲットに関するＩＲ画像データを含む。
　[１．８　輪郭抽出部について]
　輪郭抽出部１４４は、可視光受光部１３０が生成する可視画像データまたは赤外光受光部１２０が生成するＩＲ画像データから、ターゲットの輪郭を抽出し、輪郭データを生成する。なお、輪郭抽出部１４４がＩＲ画像データからターゲットの輪郭を抽出して輪郭データを生成する場合、撮像装置１００は可視光受光部１３０を有しなくてもよい。
　具体的には、ターゲットの可視画像データまたはＩＲ画像データが図５Ａに示す自動車２０１である場合、輪郭抽出部１４４は、この可視画像データから図５Ｃに示すような輪郭２００を抽出する。なお、可視画像データまたはＩＲ画像データを単に画像データと称することもある。
　[１．９　色検出部について]
　色検出部１４５は、可視画像データまたはＩＲ画像データに基づいて、ターゲットが低反射色を有しているか否かを判定する。なお、反射率に関する所定の閾値は、例えば、輝度に関する値を設定する。
　具体的には、色検出部１４５は、可視画像データまたはＩＲ画像データのうち、輪郭抽出部１４４が抽出したターゲットの輪郭内に、低反射色の部分が存在するか否かを判定する。色検出部１４５は、輪郭内の全面積に対する、低反射色の部分の面積の割合を検出する。
　[１．１０　逆光検出部について]
　逆光検出部１４６は、可視画像データまたはＩＲ画像データに基づいて、逆光の有無を判定する。なお、逆光の有無は、例えば、可視画像データまたはＩＲ画像データにおける輝度に関する情報に基づいて判定する。この他、逆光の有無を判定する方法は、従来から知られている各種方法を採用できる。
　[１．１１　霧検出部について]
　霧検出部１４７は、可視画像データまたはＩＲ画像データに基づいて、霧の有無を判定する。なお、霧の有無に関しても、例えば、可視画像データまたはＩＲ画像データの輝度に関する情報に基づいて判定する。この他、逆光の有無を判定する方法は、従来から知られている各種方法を採用できる。
　[１．１２　物標抽出部について]
　物標抽出部１４８は、距離検出部１４３が生成する距離画像データから、ターゲット（換言すれば、物標）を抽出する。そして、物標抽出部１４８は、距離検出部１４３が生成する距離画像データのうち、ターゲットに相当する部分の距離画像データを抽出する。なお、撮像装置１００が車両に搭載されている場合には、ターゲットは、他の車両、歩行者または標識など、車両の走行に関連する各種物体である。
　また、物標抽出部１４８は、ターゲットに関する距離画像データ内に、距離が適切に検出されていない部分が存在するか否かを判定する。
　また、物標抽出部１４８は、ターゲットに関する距離画像データが適切でないと判定した場合には、輪郭抽出部１４４に対して、可視画像データまたはＩＲ画像データからターゲットの輪郭を抽出するように指示する。物標抽出部１４８は、輪郭抽出部１４４への指示を、直接または後述する制御部１４２を介して行う。
　また、色検出部１４５が、ターゲットが低反射色を有していると判定した場合、物標抽出部１４８は、制御部１４２に対して、赤外光照射部１１０の送信パルス数を増やすまたは減らす旨の指示を出すことができる。なお、送信パルス数を増やすまたは減らす旨の指示は、物標抽出部１４８の代わりに輪郭抽出部１４４が出してもよい。
　また、物標抽出部１４８または輪郭抽出部１４４は、制御部１４２に対して、送信パルス数を増やすまたは減らす旨の指示を出した場合に、制御部１４２に対して、ＩＲ画像データのフレームレートを下げる旨の指示を出す。
　さらに、物標抽出部１４８は、ターゲットの物標ＩＤデータを生成する。そして、物標抽出部１４８は、距離画像データにおけるターゲットに対して物標ＩＤを付与する。
　なお、認識部１４１は、物標ＩＤデータやＩＲ画像データ、距離画像データ、可視画像データ等の出力データを出力部１５０の出力端子から出力する。この出力データは、例えば、上述のＡＤＡＳのＥＣＵに送信される。なお、この出力データは、物標ＩＤデータ、ＩＲ画像データ、距離画像データまたは可視画像データのうちの少なくとも一つのデータを含んでいる。
　[１．１３　制御部について]
　制御部１４２は、赤外光照射部１１０が照射する送信パルスの幅や振幅（強度）、パルス間隔、送信パルス数などを制御する。
　具体的には、認識部１４１が所定の状況に該当すると判定した場合に、制御部１４２は、送信パルス数を増やすまたは減らすように赤外光照射部１１０を制御する。
　また、ターゲットが低反射色を有している（つまり、所定の状況に該当する）と認識部１４１が判定した場合に、制御部１４２は、送信パルス数を増やすまたは減らすように赤外光照射部１１０を制御する。なお、車両速度（または、撮像装置１００とターゲットとの相対速度）が、速度に関する所定の閾値を超える場合には送信パルス回数を増加しなくてもよいことはもちろんのことである。なお、車両速度は、例えば、車両のＥＣＵ等から取得する。
　制御部１４２は、送信パルス数を増やすまたは減らすと共に、送信パルスの強度（光度）を上げるように赤外光照射部１１０を制御してもよい。
　また、距離画像データにおけるターゲットの輪郭内に、距離に関する所定の閾値以上の距離差を有する部分が存在する場合に、制御部１４２は、可視画像データに基づいて所定の状況に該当するか否かの判定を実施するように、認識部１４１を制御してもよい。
　制御部１４２は、送信パルス数を増やすまたは減らすと共に、赤外光受光部１２０が生成するＩＲ画像データを領域分割して、一部のＩＲ画像データを抽出するように距離検出部１４３を制御してもよい。
　この場合に、制御部１４２は、抽出した一部のＩＲ画像データに基づいて距離画像データを生成するように距離検出部１４３を制御してもよい。なお、一部のＩＲ画像データとは、例えば、ターゲットに関するＩＲ画像データを含む。
　制御部１４２は、赤外光受光部１２０の露光時間およびタイミングに関する制御を行う。また、制御部１４２は、可視光受光部１３０の露光時間およびタイミングに関する制御を行う。
　本実施の形態の場合、赤外光受光部１２０と可視光受光部１３０とを共通のイメージセンサにより構成している。このため、赤外光受光部１２０と可視光受光部１３０との露光時間およびタイミングは同期している。
　なお、赤外光受光部１２０と可視光受光部１３０とを異なるイメージセンサにより構成することもできる。この場合には、制御部１４２は、ＩＲ画像データ、距離画像データおよび可視光画像データが一対一で対応するように、赤外光受光部１２０および可視光受光部１３０を制御する。
　また、制御部１４２は、赤外光受光部１２０が生成するＩＲ画像データ、および、可視光受光部１３０が生成する可視画像データに関するフレームレートを設定する。
　具体的には、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、ＩＲ画像データおよび可視画像データに関するフレームレートを設定する。
　例えば、制御部１４２は、赤外光照射部１１０が照射する送信パルス数が通常状態よりも増えている場合には、ＩＲ画像データに関するフレームレートを通常状態よりも小さく設定する。
　また、色検出部１４５がターゲットの輪郭内の全面積に対する、低反射色部分の面積率が、面積率に関する所定の閾値以下であると判定した場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
　また、ターゲットが移動物体である場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
　また、制御部１４２は、車両のＥＣＵから取得した車両速度に応じて、ＩＲ画像データに関するフレームレートを設定してもよい。
　具体的には、車両速度（または、撮像装置１００とターゲットとの相対速度）が速度に関する所定の閾値以上の場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
　[１．１４　出力部について]
　出力部１５０は、出力端子を有している。出力部１５０は、出力端子から出力信号を、例えばＡＤＡＳのＥＣＵに出力する。なお、出力信号には、例えば、ＩＲ画像データ、可視画像データ、距離画像データまたは物標ＩＤデータのうちの少なくとも１種類のデータが含まれる。
　[２　撮像装置が生成する撮像データについて]
　以下、撮像装置１００が生成する可視画像データ、ＩＲ画像データ、距離画像データおよび物標ＩＤデータについて説明する。
　[２．１　可視画像データについて]
　可視画像データは、可視光受光部１３０が受光する可視光に基づいて生成される。可視画像データは、輪郭抽出部１４４がターゲットの輪郭を抽出する際に使用される。
　また、可視画像データは、逆光検出部１４６が逆光を検出する際に使用される。また、可視画像データは、霧検出部１４７が霧を検出する際に使用される。
　本実施の形態の場合、可視画像データは、赤外光受光部１２０で生成されるＩＲ画像データと、一対一に対応した状態で生成される。従って、可視画像データにおけるターゲットの位置と、ＩＲ画像データにおけるターゲットの位置とは、一対一に対応している。なお、可視画像データは、出力データの一部として出力部１５０の出力端子から出力される。
　[２．２　ＩＲ画像データについて]
　ＩＲ画像データは、赤外光受光部１２０が受光するＩＲ光に基づいて生成される。ＩＲ画像データは、距離検出部１４３に送られて距離画像データの生成に使用される。また、ＩＲ画像データは、出力データの一部として出力部１５０の出力端子から出力される。さらに、ＩＲ画像データは、輪郭抽出部１４４に送られて、輪郭抽出に使用される。
　[２．３　距離画像データについて]
　距離画像データは、距離検出部１４３が検出したターゲットまでの距離データに基づいて生成される。距離画像データは、座標情報および距離情報を有するデータとして生成される。距離画像データは、出力データの一部として出力部１５０の出力端子から出力される。
　[２．４　物標ＩＤデータについて]
　物標ＩＤデータは、物標抽出部１４８が距離画像データから抽出した物標（つまり、ターゲット）に対して付与される識別子である。物標ＩＤデータは、出力データの一部として出力部１５０の出力端子から出力される。
　なお、撮像装置１００が生成するデータは、例えば、撮像装置１００が有するメモリ（図示省略）などの記録媒体に記憶される。この場合には、出力部１５０は、適宜のタイミングで上記記録媒体から上記データを出力してもよい。
　[３　距離検出方法について]
　以下、図１、３、６、７を参照して、図１に示す撮像装置１００により、ターゲットまでの距離を測定する方法について説明する。
　[３．１　距離画像センサについて]
　先ず、撮像装置１００が有する距離画像センサの構成について、図１、３を参照して簡単に説明する。
　図１に示す撮像装置１００の場合、ターゲットまでの距離の測定を、ＴＯＦ方式の距離画像センサにより行う。距離画像センサは、上述した赤外光照射部１１０、赤外光受光部１２０および距離検出部１４３により構成されている。
　ＴＯＦ方式の距離画像センサは、図３に示すように、赤外光照射部１１０が照射した照射光１１１ａ、１１１ｂの照射タイミングと、照射光１１１ａ、１１１ｂがターゲット（図３の場合、人）で反射された光である反射光１１２ａ、１１２ｂの赤外光受光部１２０における受光タイミングとの時間差または位相差に基づいて、ターゲットまでの距離Ｚを測定する。なお、距離画像センサは、各種方式のＴＯＦセンサを採用できる。
　[３．２　距離検出方法について]
　次に、図１に示す撮像装置１００を使用して行う距離検出方法について、図６、７を参照して説明する。なお、図６は、距離検出方法のフローチャートである。図７は、色検出処理に関するフローチャートである。
　なお、以下の説明では、ターゲットが、図５Ａに示すような黒い自動車２０１である場合について説明する。図５Ａでは、色の黒い部分に斜格子を付している。
　本実施の形態の撮像制御方法は、先ず、図６のステップ１０において、赤外光受光部１２０が受光したＩＲ光に基づいてＩＲ画像データを生成する。
　次に、ステップ１１において、距離検出部１４３は、ＩＲ画像データから検出した距離データに基づいて距離画像データを生成する。なお、距離の検出方法については後述する。
　次に、ステップ１２において、物標抽出部１４８は、距離画像データからターゲットを抽出する。
　次に、ステップ１３において、物標抽出部１４８は、物標に関する物標ＩＤデータを生成すると共に、物標に物標ＩＤを付与する。
　次に、ステップ１４において、物標抽出部１４８は、物標の距離画像データ内の、非検出部の有無を判定する。なお、非検出部とは、距離を正確に検出できていない部分である。
　ターゲット（換言すれば、物標）の距離画像データ内に非検出部が存在する場合について、図５Ａ～５Ｄを参照して説明する。なお、図５Ａは、黒い自動車の可視画像データを表示したものである。図５Ｂは、本実施の形態の撮像制御方法を実施しない状態で得られた図５Ａに示す自動車の距離画像データを表示したものである。
　また、図５Ｃは、輪郭抽出部が可視画像データから抽出した物標の輪郭を図５Ｂの距離画像に重ねて表示したものである。さらに、図５Ｄは、本実施の形態の撮像制御を実施した状態で得られた図５Ａに示す自動車の距離画像データを表示したものである。
　なお、物標に関する距離画像データ内に非検出部が存在する場合とは、例えば、図５Ａに示す自動車２０１の距離画像データが、図５Ｂに示す状態である場合が挙げられる。
　即ち、正確な距離が検出されている場合には、図５Ａに示す自動車２０１の距離画像データは図５Ｄに示す状態となる。ところが、図５Ｂに示す距離画像データは、自動車２０１のライト、ナンバープレートおよびフロントグリル以外の部分（つまり、黒色部分）の距離画像データが適切に生成されていない。
　換言すれば、図５Ａに示す自動車２０１の黒色部分の距離が正確に検出されていない。この場合には、図５Ｂに示す距離画像データのうち、図５Ａに示す自動車２０１の黒色部分（斜格子部分）に相当する部分が、非検出部となる。
　ステップ１４において、「非検出部なし」と判定した場合（ステップ１４：ＮＯ）には、本実施の形態の撮像制御方法を実施せずに、今回の距離検出処理を終了する。
　一方、ステップ１４において、「非検出部あり」と判定した場合（ステップ１４：ＹＥＳ）には、認識部１４１は、ステップ１５において、周囲の状況が所定の状況に該当するかを検出する。
　具体的には、ステップ１５において、認識部１４１は、可視光受光部１３０が生成する可視画像データに基づいて、逆光、霧および低反射色の有無を判定する。なお、逆光の検出は逆光検出部１４６で行われる。また、霧の検出定は霧検出部１４７で行われる。さらに、低反射色の検出は色検出部１４５で行われる。
　以下、ステップ１５において、色検出部１４５がターゲットの色を検出する方法について説明する。
　[３．３　低反射色を検出する方法について]
　図７は、色検出処理に関するフローチャートである。
　以下の処理は、図６のステップ１４において、ターゲットに関する距離画像データに非検出部が存在すると判定された場合に行う。以下の説明は、ターゲットを図５Ａの自動車２０１とした場合について説明する。ただし、ターゲットは自動車に限定されるものではない。
　先ず、ステップ１５０において、物標抽出部１４８は、輪郭抽出部１４４に対して、ターゲットの輪郭を抽出するように指示する。具体的には、ターゲットとは、例えば、図５Ｂに示す距離画像データにおけるライト、ナンバープレートおよびフロントグリルを有する物品（即ち、図５Ａの自動車２０１）である。
　次に、ステップ１５１において、輪郭抽出部１４４は、可視光画像データからターゲットの輪郭を抽出する。具体的には、輪郭抽出部１４４は、図５Ａに示す可視画像データから自動車２０１の輪郭２００を抽出する。
　次に、ステップ１５２において、色検出部１４５は、可視画像データのうち、輪郭抽出部１４４が抽出したターゲットの輪郭の内から、低反射色を検出する。具体的には、図５Ａに示す可視画像データのうち、自動車２０１の輪郭２００の内側に存在する黒またはグレーを検出する。そして、色検出処理を終了して、処理を図６のステップ１５に戻す。
　なお、可視画像データのうちのターゲットの輪郭内から低反射色が検出された場合でも、低反射色の部分の面積が、面積に関する所定の閾値以下である場合には、低反射色が検出されなかったとしてもよい。
　また、例えば、図８に示す自動車２０１ａのように、自動車２０１ａの前端部かつ幅方向両端部の二箇所のコーナー部（換言すれば、隅部）および同じく後端部かつ幅方向両端部の二箇所のコーナー部（換言すれば、隅部）のうち、可視画像データで検出可能な三箇所のコーナー部２０２ａ、２０２ｂ、２０３ａの色に基づいて、低反射色が存在するか否かを判定してもよい。
　次に、ステップ１６において、認識部１４１は、所定の状況が検出された（換言すれば、所定の状況に該当する）か否かを判定する。ステップ１６で、所定の状況に該当しないと判定された場合（ステップ１６：ＮＯ）には、本実施の形態の撮像制御方法を実施せずに今回の距離検出処理を終了する。
　なお、所定の状況に該当しない場合とは、可視光画像データから、逆光、霧が検出されず、かつ、可視光画像データ内のターゲットから低反射色が検出されていない状況である。
　一方、ステップ１６において、所定の状況に該当すると判定された場合（ステップ１５：ＹＥＳ）には、処理をステップ１７に進める。
　次に、ステップ１７において、認識部１４１は、制御部１４２に対して、赤外光照射部１１０の送信パルス数を増やす旨の指示を出す。
　次に、ステップ１８において、制御部１４２は、送信パルス数を通常状態の送信パルス数よりも増やすように赤外光照射部１１０を制御する。これと共に、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、赤外光受光部１２０および可視光受光部１３０に関する露光時間およびタイミングを制御する。
　さらに、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、前述したようにＩＲ画像データおよび可視画像データに関するフレームレートを設定してもよい。
　次に、ステップ１９において、赤外光受光部１２０は、赤外光照射部１１０が照射する送信パルス数を増やした状態（以下、「制御状態」という）で受光したＩＲ光に基づいてＩＲ画像データ（以下、「制御状態のＩＲ画像データ」という）を生成する。
　次に、距離検出部１４３は、ステップ２０において、制御状態のＩＲ画像データから検出した距離データに基づいて距離画像データ（以下、「制御状態の距離画像データ」という）を生成する。そして、制御部１４２は、処理をステップ１４に戻す。
　なお、制御状態の距離画像データは、制御状態のＩＲ画像データの全てに対して生成される必要はない。すなわち、距離検出部１４３が有する機能に基づいて、距離検出部１４３は、制御状態のＩＲ画像データを領域分割して、ターゲットに関するデータを含んだ一部のＩＲ画像データを抽出する。そして、距離検出部１４３は、この一部のＩＲ画像データに基づいて距離画像データを生成してもよい。このように距離画像データの一部のみを処理するようにすれば、距離検出部１４３の処理の負担を減らすことができるため、フレームレートの下げ幅を小さくできる。
　なお、制御状態でステップ１４に戻った後、制御状態の距離画像データのうちのターゲットに関する距離画像データに、非検出部が存在していない場合には、制御部１４２は、送信パルス数を通常状態の送信パルス数に戻すように赤外光照射部１１０を制御する。そして、今回の距離検出処理を終了する。
　なお、本実施の形態では可視光画像データからターゲットの輪郭を抽出する場合について説明したが、例えば、ＩＲ画像データに基づく距離画像が図５Ｂに示す状況であった場合には、距離画像と内部テーブルに記憶されたパターンとを照合することによって低反射色の物標であることを判断し、同様の手順により送信パルス回数を増加させることで同等の効果が期待できることは言うまでもない。
　[４　距離検出方法および本実施の形態の作用・効果について]
　次に、図４Ａ、４Ｂを参照して、距離検出方法および本実施の形態の作用・効果について説明する。以下の説明は、いわゆる間接ＴＯＦ方式の距離画像センサにより距離を検出する方法の一例である。
　なお、本実施の形態に係る撮像制御方法を実施する場合には、距離画像センサとして、間接ＴＯＦ方式または直接ＴＯＦ方式のものを採用できる。また、本実施の形態に係る撮像制御方法によれば、距離画像センサの方式に拘わらず、同様の作用・効果を得られる。
　［４．１　距離検出方法について］
　先ず、制御部１４２が、送信パルス数を増やすように赤外光照射部１１０を制御していない状態（以下、「通常状態」という）でターゲットまでの距離を検出する方法について、図４Ａを参照して説明する。
　通常状態において、赤外光照射部１１０の照射光１１１ａは、図４Ａに示すように、最初に照射される第一パルス１１３と、第一パルス１１３とパルス間隔Ｌ１だけ空けて照射される第二パルス１１４とからなる。第一パルス１１３および第二パルス１１４の振幅Ｈ１および幅Ｔｐは、それぞれ等しい。
　なお、通常状態では、制御部１４２は、照射能力の上限に対して余裕を持った数の送信パルスを照射するように、赤外光照射部１１０を制御している。
　図４Ａには、説明の便宜上、第一パルス１１３および第二パルス１１４からなる一組のパルスセットのみを図示している。ただし、複数組のパルスセットにより照射光を構成することもできる。
　赤外光受光部１２０は、第一パルス１１３および第二パルス１１４のタイミングと同期したタイミングで露光するように制御部１４２により制御されている。本実施の形態の場合、図４Ａに示すように、赤外光受光部１２０は、照射光１１１ａがターゲットで反射した光である反射光１１２ａに対してＳ０露光、Ｓ１露光およびＢＧ露光の３回の露光を行う。
　具体的には、Ｓ０露光は、第一パルス１１３の照射開始（つまり、第一パルス１１３の立ち上り）と同時に露光を開始し、照射光１１１ａとの関係で予め設定される露光時間Ｔ０だけ露光して終了する。Ｓ０露光は、第一パルス１１３の反射光を受光するための露光である。
　なお、Ｓ０露光による受光データ（換言すれば、光量情報）Ｄ０は、図４Ａにおいて、斜格子を付した第一パルス１１３の反射光成分Ｓ０、および、梨地模様を付した背景成分ＢＧを含んでいる。反射光１１２ａは、照射光１１１ａよりも減衰しているため、反射光成分Ｓ０の振幅Ｈ２は、第一パルス１１３の振幅Ｈ１よりも小さい。
　ここで、第一パルス１１３の立ち上りと、第一パルス１１３の反射光成分Ｓ０の立ち上りとの間には、時間差Δｔが存在している。即ち、第一パルス１１３の反射光成分Ｓ０は、第一パルス１１３の立ち上がりから時間差Δｔだけ遅れて立ち上る。
　時間差Δｔは、撮像装置１００からターゲットまでの距離Ｚ（図３参照）の経路を、光が往復するのに要した時間である。
　Ｓ１露光は、第二パルス１１４の照射終了（つまり、第二パルス１１４の立ち下り）と同時に露光を開始し、Ｓ０露光と同様の露光時間Ｔ０だけ露光して終了する。Ｓ１露光は、第二パルス１１４の反射光を受光するための露光である。
　Ｓ１露光による受光データＤ１は、第二パルス１１４の反射光成分の一部の成分Ｓ１（図４Ａの斜格子部分）、および、同じく図４Ａの梨地模様で示す背景成分ＢＧを含んでいる。
　なお、反射光成分の一部の成分Ｓ１は、次の式（１）で表せる。
Figure JPOXMLDOC01-appb-M000001
　ＢＧ露光は、第一パルス１１３および第二パルス１１４の反射光成分を含まないタイミングで露光を開始し、Ｓ０露光およびＳ１露光と同じ露光時間Ｔ０だけ露光して終了する。
　ＢＧ露光は、外光中の赤外光成分（換言すれば、背景成分）のみを受光するための露光である。従って、ＢＧ露光による受光データＤＢＧは、図４Ａの梨地模様で示す背景成分ＢＧのみを含む。
　上述のような照射光１１１ａと反射光１１２ａとの関係から、撮像装置１００からターゲットまでの距離Ｚは、以下の式（２）～（４）で算出できる。「Ｔｐ」は第一パルス１１３および第二パルス１１４の幅であり、「ｃ」は光速である。なお、以下の式のＤＢＧは、上述のＢＧ露光により生成された受光データである。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　ところで、上述のような方法により距離Ｚを検出する場合、第一パルス１１３および第二パルス１１４の反射光成分の振幅が小さい（換言すれば、強度が低下している）と、受光データＤ０および受光データＤ１のＳＮ比が小さくなって、距離Ｚの検出精度が低下してしまう可能性がある。
　そこで、本実施の形態の撮像制御方法の場合には、第一パルス１１３および第二パルス１１４の反射光成分の光強度が低下する状況（つまり、所定の状況）が存在する場合には、制御部１４２が、送信パルス数を増やすように赤外光照射部１１０を制御する。
　以下、制御状態でターゲットまでの距離を検出する方法について、図４Ｂを参照して説明する。
　以下の説明では、１フレーム当たりの送信パルス数を通常状態の送信パルス数の２倍に増やした例について説明する。なお、通常状態の説明と重複する部分の説明については省略する。
　制御状態において、赤外光照射部１１０の照射光１１１ｂは、図４Ｂに示すように、通常状態の２倍のパルスセットで構成されている。すなわち、制御状態の照射光１１１ｂは、図４Ａに示す通常状態と同様のパルスセットを、二組有している。パルスセットを構成する第一パルス１１３および第二パルス１１４の振幅Ｈ１および幅Ｔｐは、通常状態と同様である。
　制御状態においては、第一パルス１１３および第二パルス１１４からなる二組のパルスセットにより、距離画像データの１フレームを構成している。これに伴い、制御部１４２は、可視光受光部１３０が生成する可視画像データ、および、反射光１１２ｂを受信した赤外光受光部１２０が生成するＩＲ画像データに関するフレームレートを、通常状態のフレームレートよりも下げている。
　なお、図４Ｂに示す照射光１１１ｂは、説明の便宜上、図４Ａに示す照射光１１１ａの送信パルス数を２倍に増やしたものである。ただし、制御状態の照射光は、図４Ｂの場合に限定されない。
　赤外光受光部１２０の露光のタイミングは、図４Ａに示す場合と同様である。即ち、赤外光受光部１２０は、照射光１１１ｂを構成する２個のパルスセットのそれぞれに対して、Ｓ０露光、Ｓ１露光およびＢＧ露光の３回の露光を行う。
　特に、制御状態においては、１個目のパルスセットの第一パルス１１３の反射光成分Ｓ０と、２個目のパルスセットの第一パルス１１３の反射光成分Ｓ０とを加算する。なお、反射光成分Ｓ０は、上記式（２）により算出する。
　一方、１個目のパルスセットにおける第二パルス１１４の反射光成分の一部の成分Ｓ１と、２個目のパルスセットにおける第二パルス１１４の反射光成分の一部の成分Ｓ１とを加算する。なお、反射光成分の一部の成分Ｓ１は、上記式（３）により算出する。
　そして、加算した値を、上記式（４）に代入することにより、撮像装置１００からターゲットまでの距離Ｚを検出する。なお、上述の加算の際に、ホワイトノイズは低減されるため、距離Ｚの検出精度へのホワイトノイズの影響は抑えられる。
　［４．２　本実施の形態の作用・効果］
　以上のように、本実施の形態によれば、周囲に逆光、霧が存在したり、ターゲットが低反射光反射色を有している場合（つまり、所定の状況に該当する場合）でも、撮像装置１００からターゲットまでの距離を、精度よく検出できる。この結果、ターゲットまでの距離を正確に反映した距離画像データを生成できる。
　すなわち、本実施の形態の場合、所定の状況に該当する場合に、赤外光照射部１１０の送信パルス数を増やす制御を行う。
　具体的には、本実施の形態の撮像制御方法を実施していない通常状態において、第一パルス１１３および第二パルス１１４の反射光成分の強度が低下している（換言すれば、ＳＮ比が小さくなっている）場合に、通常状態の照射光１１１ａよりも送信パルス数を増やした照射光１１１ｂを照射するように、赤外光照射部１１０を制御する。
　そして、反射光１１２ｂの反射光成分Ｓ０同士、および、反射光１１２ｂの反射光成分の一部の成分Ｓ１同士を加算する。この結果、距離の検出に使用するデータのＳＮ比が大きくなり、距離Ｚを精度よく検出することができる。
　従って、図５Ｂに示すように、ターゲットに関する距離画像データに非検出部が存在した場合でも、本実施の形態の撮像制御方法を実施して距離Ｚを精度よく検出できれば、図５Ｄに示すような、ターゲットまでの距離を正確に反映した距離画像データを生成できる。
　なお、図５Ｄは、説明の便宜のため、距離が近い部分３００に斜格子を付すと共に、距離が遠い部分３０１に梨地模様を付している。
　［５　付記］
　図６のフローチャートのステップ１７、１８において、制御部１４２は、赤外光照射部１１０が照射する送信パルスの条件として、送信パルス数を減らすようにしてもよい。具体的には、ステップ１４で非検出部が存在し、ステップ１５、１６で反射板による反射光など、赤外光受光部１２０で受光した反射率が所定よりも高い場合や輝度データが飽和している場合に、制御部１４２は赤外光照射部１１０に対し、ステップ１７で送信パルス数を減らす指示を行い、赤外光照射部１１０はステップ１８で送信パルス数を減らす制御を行うようにしてもよい。
　また、他の例として、制御部１４２は、制御状態において、図４Ｃに示すタイミングで露光を行うように、赤外光受光部１２０を制御することもできる。具体的には、制御部１４２は、図４Ｂに示す各露光のうちの２回目のＢＧ露光を省略するように、赤外光受光部１２０を制御する。
　また、撮像制御装置１４０の認識部１４１および制御部１４２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ（Digital Versatile Disc）等のような記録媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置などの記録媒体に格納されても良い。
　また、撮像制御装置１４０の認識部１４１および制御部１４２は、それぞれＬＳＩ（Large-Scale Integration）等の物理的な回路として実現することもできる。
　本開示に係る撮像制御装置、撮像制御方法、プログラムおよび記録媒体は、例えば、車両に搭載される撮像装置に好適である。
　１００　撮像装置
　１１０　赤外光照射部
　１１１ａ，１１１ｂ　照射光
　１１２ａ，１１２ｂ　反射光
　１１３　第一パルス
　１１４　第二パルス
　１２０　赤外光受光部
　１３０　可視光受光部
　１４０　撮像制御装置
　１４１　認識部
　１４２　制御部
　１４３　距離検出部
　１４４　輪郭抽出部
　１４５　色検出部
　１４６　逆光検出部
　１４７　霧検出部
　１４８　物標抽出部
　１５０　出力部
　１６０　イメージセンサ
　２０１，２０１ａ　自動車
　２００　輪郭
　２０２ａ，２０２ｂ　コーナー部
　２０３ａ　コーナー部
　３００　近い部分
　３０１　遠い部分

Claims (17)

  1. 　ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定する距離検出部と、
    　画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部と、
    　前記認識部が前記所定の状況に該当すると判定した場合に、前記ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御する制御部と、
    　を備える撮像制御装置。
  2. 　前記所定の状況は、前記送信パルスに対する反射率が、反射率に関する所定の閾値よりも低い色である低反射色を前記ターゲットが有している状況である、請求項１に記載の撮像制御装置。
  3. 　前記距離検出部は、前記距離検出部が生成する赤外画像データに基づいて距離画像データを生成し、前記距離画像データから前記ターゲットを抽出し、前記ターゲットに物標ＩＤ（identification）を付与する、請求項２に記載の撮像制御装置。
  4. 　前記認識部は、前記画像データから前記ターゲットの輪郭を抽出し、前記輪郭内に前記低反射色が存在するか否かを判定する、請求項３に記載の撮像制御装置。
  5. 　前記認識部は、前記距離画像データにおける前記輪郭の内側に相当する部分に、所定の大きさ以上の距離差を有する部分が存在するか否かを判定し、前記距離差を有する部分が存在すると判定した場合に、前記画像データに基づいて前記所定の状況に該当するか否かを判定する、請求項４に記載の撮像制御装置。
  6. 　前記制御部は、前記送信パルスの数に応じて、前記距離検出部が生成する赤外画像データのフレームレートを、前記制御を実行する以前のフレームレートよりも下げる、請求項２に記載の撮像制御装置。
  7. 　前記制御部は、前記画像データにおいて、前記ターゲット全体に対する、前記ターゲットのうちの前記低反射色の部分の面積率が、面積率に関する所定の閾値以下であるか否かを判定し、前記面積率が前記面積率に関する所定の閾値以下であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
  8. 　前記制御部は、前記ターゲットが移動物体であるか否かを判定し、前記ターゲットが移動物体であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
  9. 　前記制御部は、前記送信パルスの数を増やすと共に、前記送信パルスのパルス強度を上げるように前記赤外光照射部を制御する、請求項２に記載の撮像制御装置。
  10. 　前記認識部は、前記ターゲットが自動車である場合に、前記自動車の四箇所のコーナー部のうち、前記画像データで検出可能な三箇所のコーナー部の色に基づいて前記低反射色の検出を行う、請求項２に記載の撮像制御装置。
  11. 　前記認識部は、前記距離検出部が生成する赤外画像データから、前記ターゲットに関するデータを領域分割した一部の赤外画像データを抽出し、前記一部の赤外画像データに基づいて距離画像データを生成する、請求項２に記載の撮像制御装置。
  12. 　前記制御部は、前記低反射色を前記ターゲットが有していると前記認識部が判定し、かつ、前記ターゲットとの相対速度が、速度に関する所定の閾値以下の場合に、前記制御を実行する、請求項２に記載の撮像制御装置。
  13. 　前記所定の状況が、逆光が存在する状況である、請求項１に記載の撮像制御装置。
  14. 　前記所定の状況が、霧が存在する状況である、請求項１に記載の撮像制御装置。
  15. 　ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定するステップと、
    　画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
    　前記所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御するステップと、
    　を備えた撮像制御方法。
  16. 　コンピュータに、
    　ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定するステップと、
    　画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
    　前記所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御するステップと、
    　を実行させるプログラム。
  17. 　コンピュータに、
    　ＴＯＦ（Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ）方式によりターゲットまでの距離を測定する
    　画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
    　前記所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御するステップと、
    　を実行させるプログラムを記録した記録媒体。
PCT/JP2017/040867 2016-12-14 2017-11-14 撮像制御装置、撮像制御方法、プログラムおよび記録媒体 WO2018110183A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018556514A JP6890263B2 (ja) 2016-12-14 2017-11-14 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
US16/437,965 US11487009B2 (en) 2016-12-14 2019-06-11 Image capture control device, image capture control method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-242521 2016-12-14
JP2016242521 2016-12-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/437,965 Continuation US11487009B2 (en) 2016-12-14 2019-06-11 Image capture control device, image capture control method, and recording medium

Publications (1)

Publication Number Publication Date
WO2018110183A1 true WO2018110183A1 (ja) 2018-06-21

Family

ID=62559016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/040867 WO2018110183A1 (ja) 2016-12-14 2017-11-14 撮像制御装置、撮像制御方法、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US11487009B2 (ja)
JP (1) JP6890263B2 (ja)
WO (1) WO2018110183A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020084943A1 (ja) * 2018-10-24 2020-04-30 コニカミノルタ株式会社 画像処理装置、制御プログラム、および画像処理方法
JPWO2020066236A1 (ja) * 2018-09-27 2021-08-30 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2023286542A1 (ja) * 2021-07-16 2023-01-19 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
WO2023181662A1 (ja) * 2022-03-24 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554310B2 (ja) * 2015-04-28 2019-07-31 浜松ホトニクス株式会社 距離測定装置
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
WO2021054342A1 (ja) * 2019-09-20 2021-03-25 ソニー株式会社 情報処理装置および制御方法
DE102020202329A1 (de) 2020-02-24 2021-08-26 Psa Automobiles Sa Umgebungserkennungssystem eines Kraftfahrzeugs, Verfahren zum Betrieb eines Umgebungserkennungssystems, Computerprogrammprodukt sowie Kraftfahrzeug

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117412A1 (en) * 2001-12-21 2003-06-26 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
JP2007271373A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 物体検出装置
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
WO2014207992A1 (ja) * 2013-06-26 2014-12-31 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
US20150285623A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5979173A (ja) 1982-10-27 1984-05-08 Mitsubishi Electric Corp 赤外追尾センサ−
JPH07280940A (ja) 1994-04-12 1995-10-27 Mitsubishi Electric Corp 車両用レーダ装置
JP2010535334A (ja) * 2007-08-01 2010-11-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 車両位置測定システム及び方法
US8743176B2 (en) * 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
US9523765B2 (en) * 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
US11076115B2 (en) * 2015-04-14 2021-07-27 Sony Corporation Solid-state imaging apparatus, imaging system, and distance measurement method
JP2018163110A (ja) 2017-03-27 2018-10-18 パナソニックＩｐマネジメント株式会社 周辺監視システムおよび撮像装置
US20190072648A1 (en) 2017-09-01 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Imaging control apparatus, imaging control method, imaging control program, and recording medium having imaging control program recorded thereon

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117412A1 (en) * 2001-12-21 2003-06-26 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
JP2007271373A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 物体検出装置
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
WO2014207992A1 (ja) * 2013-06-26 2014-12-31 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法
WO2014207983A1 (ja) * 2013-06-27 2014-12-31 パナソニックＩｐマネジメント株式会社 距離測定装置
US20150285623A1 (en) * 2014-04-08 2015-10-08 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020066236A1 (ja) * 2018-09-27 2021-08-30 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
JP7281775B2 (ja) 2018-09-27 2023-05-26 パナソニックＩｐマネジメント株式会社 奥行取得装置、奥行取得方法およびプログラム
WO2020084943A1 (ja) * 2018-10-24 2020-04-30 コニカミノルタ株式会社 画像処理装置、制御プログラム、および画像処理方法
JPWO2020084943A1 (ja) * 2018-10-24 2021-09-24 コニカミノルタ株式会社 画像処理装置、制御プログラム、および画像処理方法
JP7201002B2 (ja) 2018-10-24 2023-01-10 コニカミノルタ株式会社 画像処理装置、制御プログラム、および画像処理方法
WO2023286542A1 (ja) * 2021-07-16 2023-01-19 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
JP7220835B1 (ja) * 2021-07-16 2023-02-10 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
WO2023181662A1 (ja) * 2022-03-24 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Also Published As

Publication number Publication date
US11487009B2 (en) 2022-11-01
JP6890263B2 (ja) 2021-06-18
US20190293791A1 (en) 2019-09-26
JPWO2018110183A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
WO2018110183A1 (ja) 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
CN106662651B (zh) Tof相机系统以及用于测量与该系统的距离的方法
US9767545B2 (en) Depth sensor data with real-time processing of scene sensor data
US10255682B2 (en) Image detection system using differences in illumination conditions
CN110799918A (zh) 车辆用的方法、设备和计算机程序
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
US20170278260A1 (en) Image processing apparatus, image processing method, and non-transitory recording medium storing program
WO2017098709A1 (ja) 画像認識装置および画像認識方法
JP2009257983A (ja) 車両用距離画像データ生成装置および車両用距離画像データの生成方法
US20190072648A1 (en) Imaging control apparatus, imaging control method, imaging control program, and recording medium having imaging control program recorded thereon
WO2020184447A1 (ja) ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
CN112739980A (zh) 多阶段有源光深度系统
WO2020196513A1 (ja) 物体検出装置
US20140375821A1 (en) Detection system
JP2008059260A (ja) 移動検出画像生成装置
JP2010121995A (ja) 車両用距離画像データ生成装置
KR20100008107A (ko) 영상 처리 방법
US10025999B2 (en) Brightness range based obstacle detection apparatus and method
JP2023101522A (ja) 撮像装置、情報処理装置、撮像方法、およびプログラム
JP2010054461A (ja) 車両用距離画像データ生成装置
JP2009150862A (ja) 距離計測装置、距離計測方法および車両
US11275952B2 (en) Monitoring method, apparatus and system, electronic device, and computer readable storage medium
JP2010071704A (ja) 車両用距離画像データ生成装置及び方法
WO2019175920A1 (ja) 霧特定装置、霧特定方法及び霧特定プログラム
JP2019045303A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17881780

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018556514

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17881780

Country of ref document: EP

Kind code of ref document: A1