WO2014068858A1 - 車両用画像処理装置 - Google Patents

車両用画像処理装置 Download PDF

Info

Publication number
WO2014068858A1
WO2014068858A1 PCT/JP2013/005995 JP2013005995W WO2014068858A1 WO 2014068858 A1 WO2014068858 A1 WO 2014068858A1 JP 2013005995 W JP2013005995 W JP 2013005995W WO 2014068858 A1 WO2014068858 A1 WO 2014068858A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
luminance
vehicle
image
image processing
Prior art date
Application number
PCT/JP2013/005995
Other languages
English (en)
French (fr)
Inventor
一路 星屋
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to CN201380056517.6A priority Critical patent/CN104782115B/zh
Priority to US14/428,060 priority patent/US9798940B2/en
Publication of WO2014068858A1 publication Critical patent/WO2014068858A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Definitions

  • the present disclosure relates to a vehicle image processing apparatus.
  • a portable information terminal device with a camera has been devised that can determine the commercial power supply frequency in the region in use and automatically suppress the occurrence of flicker itself (see Patent Document 1).
  • a camera has been devised that can prevent flicker and adjust the amount of light without using an electronic shutter by changing the frame rate of the image sensor in accordance with the frequency or brightness of the illumination (Patent Document). 2).
  • Patent Document 3 since the exposure time or aperture diameter of the camera is changed according to the brightness of the face image, the exposure process becomes complicated, and the aperture variable mechanism is required, which increases the cost of the camera. To do.
  • An object of the present disclosure is to provide an image processing apparatus for a vehicle that can acquire an image suitable for analysis at a low cost regardless of a change in light environment.
  • an image processing apparatus for a vehicle so as to include an imaging unit, a luminance acquisition unit, a luminance estimation unit, and an imaging mode setting unit.
  • the photography unit periodically photographs the interior of the vehicle.
  • the luminance acquisition unit acquires the luminance of the captured image captured by the imaging unit.
  • the luminance estimation unit estimates a periodic change in the luminance of a captured image that is subsequently captured based on the luminance change history.
  • the shooting mode setting unit sets the shooting mode of the shooting unit based on the estimation result of the periodic change in luminance of the shot image.
  • the vehicle image processing apparatus 1 includes a driver monitor ECU (hereinafter abbreviated as “ECU”) 10, a photographing unit 40 connected to the ECU 10, and a vehicle speed sensor 41 (vehicle speed) that detects the vehicle speed. Also referred to as a detector).
  • the navigation device 50 may be connected to the ECU 10 via the in-vehicle LAN 60 so that data communication is possible.
  • the ECU 10 includes a calculation unit 20, an image processing unit 26, a memory 27 (also referred to as an imaging mode storage unit), and a signal input / output circuit (hereinafter abbreviated as “I / F”) 30 (also referred to as a map information acquisition unit). .
  • the calculation unit 20 is also referred to as the calculation circuit 20, and includes a luminance acquisition unit 21, a luminance estimation unit 22, a shooting mode setting unit 23, a shooting control unit 24, and a determination unit 25.
  • the luminance acquisition unit 21 determines, for example, the driver's face position among the captured images processed by the image processing unit 26 (see Patent Document 3 for details of the determination of the face position), and the luminance of the driver's face image. To get.
  • the luminance is acquired by, for example, comparing reference data for each luminance stored in the memory 27 in advance with a face image.
  • Each unit of the arithmetic unit 20 includes a CPU, various memories, and the like, and may be configured in hardware as one or a plurality of ICs or ASICs. It may be built in.
  • the luminance estimation unit 22 estimates whether or not the luminance change has periodicity from the luminance of the face image stored retroactively in the memory 27.
  • the shooting mode setting unit 23 sets a shooting mode based on the estimation result of the luminance estimation unit 22 (details will be described later).
  • the imaging control unit 24 controls the operation of the imaging unit 40 based on the imaging mode set by the imaging mode setting unit 23 (details will be described later).
  • the determination unit 25 determines whether or not to execute a photographing mode control process described later (see FIG. 6).
  • the image processing unit 26 analyzes a photographed image photographed by the photographing unit 40 using a known technique such as pattern recognition.
  • a general binarization process is performed on the photographed image to convert it into digital multi-valued image data for each pixel.
  • a desired image portion for example, a driver's face is extracted from the obtained multi-value image data using a general image processing method.
  • the memory 27 is composed of a nonvolatile memory such as a flash memory, for example, and stores a control program and data necessary for the operation of the vehicle image processing apparatus 1.
  • Various functions as the vehicle image processing apparatus 1 are realized by the CPU included in the calculation unit 20 executing the control program.
  • the signal input / output circuit 30 includes a waveform shaping circuit, an A / D conversion circuit, a D / A conversion circuit, a voltage conversion circuit, and the like. Further, an output signal from the vehicle speed sensor 41 is input to the signal input / output circuit 30. The input signal is subjected to waveform shaping and voltage conversion as necessary, and then A / D converted to a value (digital value) that can be calculated by the calculation unit 20.
  • the imaging unit 40 is, for example, a camera using a known CMOS sensor or CCD sensor. An infrared camera may be used.
  • the imaging unit 40 captures an imaging target or captures an image of the imaging target at a predetermined timing (for example, an imaging cycle), and outputs the captured image to the image processing unit 26.
  • the object to be imaged is, for example, a predetermined area in the vehicle interior around the driver's seat including the driver, or an object existing there.
  • the navigation device 50 is, for example, a known device that detects the current position of a vehicle based on a received GPS signal, displays the current position of the vehicle on map data, and guides a route to a set destination. is there. Further, the navigation device 50 outputs map information (details will be described later) of the current position of the vehicle to the vehicle image processing device 1.
  • the photographing mode control process executed in the calculation unit 20 will be described. This process is included in the control program stored in the memory 27, and is repeatedly executed at a predetermined timing together with other processes included in the control program.
  • each section is expressed as S11, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.
  • each of the above sections or a combination thereof includes not only (i) a section of software combined with a hardware unit (eg, a computer), but also (ii) hardware (eg, an integrated circuit, As a section of (wiring logic circuit), it can be realized with or without the function of related devices.
  • the hardware section can be configured inside the microcomputer.
  • the shooting mode setting unit 23 sets the shooting cycle to f0 (default value) (S11).
  • the photographing control unit 24 controls the photographing unit 40 to photograph the driver's face image at the above-described photographing cycle f0 (S12).
  • the luminance acquisition unit 21 acquires the luminance of the photographed image (that is, the driver's face image) from the image data photographed by the photographing unit 40 and processed by the image processing unit 26 (S13).
  • the luminance is stored in the memory 27 in association with the image capturing timing.
  • the shooting timing may be the date and time (for example, acquired from the navigation device 50) or the system time (for example, the counter value of the CPU).
  • the luminance estimation unit 22 estimates the luminance change period of the past photographed image stored in the memory 27 as follows (S14).
  • the brightness of the captured image is determined. For example, when the brightness of the captured image exceeds a predetermined brightness threshold, it is determined that the brightness of the captured image is “bright”, and when the brightness of the captured image falls below the brightness threshold, the brightness of the image is “dark”. It is determined that
  • the above-described configuration corresponds to the luminance estimation unit that estimates and calculates the cycle in which the luminance of the captured image changes, and changes the shooting mode based on the cycle.
  • the shooting mode can be set according to the cycle in which the luminance of the shot image changes.
  • a state in which “bright” continues for m ⁇ 2 times and subsequently “dark” continues for n ⁇ 2 times (m and n are positive integers, and the lower limit of the number of consecutive times is 0) is predetermined.
  • it is repeated (for example, 5 times)
  • the luminance estimation unit continues for a predetermined time when the luminance of the captured image exceeds a predetermined luminance threshold, and then continues for a predetermined time when the luminance of the image is lower than the luminance threshold. This corresponds to the case where the luminance of the image changes periodically. With this configuration, it is possible to estimate a periodic change in luminance with a relatively simple configuration.
  • the photographing mode setting unit 23 sets the photographing period to f1.
  • the photographing cycle f1 is set to a value that reduces the number of photographed images that are determined to be “dark” in brightness (S16).
  • the imaging unit images the interior of the vehicle at a predetermined imaging cycle
  • the imaging mode setting unit sets the imaging cycle so as to suppress variations in luminance for each periodically captured image. It corresponds to what to set.
  • the shooting mode setting unit corresponds to setting the shooting cycle to a value different from that set when the brightness of the shot image changes depending on the cycle.
  • vehicle speed information is acquired from the vehicle speed sensor 41, and the vehicle speed at this time is set to v1 (S17).
  • the imaging cycle f1 and the vehicle speed v1 are associated and stored in the memory 27.
  • the luminance change period is estimated based on the change amount of the vehicle speed (S19). Note that the amount of change in vehicle speed exceeds x described later. Generally, when the vehicle speed decreases, the luminance change cycle becomes longer, and when the vehicle speed increases, the luminance change cycle becomes shorter.
  • the relationship between the change amount of the vehicle speed and the increase / decrease of the luminance change period may be stored in advance in the memory 27 as map data, and the luminance change period may be estimated with reference to the map data.
  • the imaging period is changed to f2 (S20).
  • the imaging cycle f2 and the vehicle speed v2 are associated and stored in the memory 27.
  • the shooting period f2 is set so as not to be a value close to the shooting period f1.
  • the above-described configuration includes a vehicle speed detection unit (41) that detects the speed of the vehicle, and the luminance estimation unit determines whether the speed of the vehicle after the change is based on the amount of change in the speed of the vehicle when the speed of the vehicle changes.
  • the period at which the luminance of the captured image changes is estimated and calculated, and the imaging mode setting unit corresponds to setting the imaging mode of the imaging unit based on the estimation calculation result of the luminance estimation unit.
  • vehicle speed information is acquired from the vehicle speed sensor 41 (S21).
  • the shooting cycle is returned to f1 without estimating the shooting cycle (S23 or S16).
  • the above-described configuration includes the shooting mode storage unit (27) that stores the vehicle speed and the shooting mode of the shooting unit in association with each other, and the shooting mode setting unit changes the speed of the vehicle after the speed of the vehicle changes. Is stored in the shooting mode storage unit, it corresponds to setting the shooting mode associated with the speed of the vehicle without performing the luminance estimation calculation by the luminance estimation unit. With this configuration, the photographing mode of the photographing unit can be set in a short time.
  • FIG. 3 shows a change in luminance of a captured image according to the prior art in time series.
  • the image 101 is the oldest photographed image, and the image 115 is the latest photographed image.
  • FIG. 4 shows a change in luminance of a captured image according to the present disclosure in time series.
  • the image 201 is the oldest photographed image, and the image 215 is the latest photographed image.
  • the captured image repeats light and dark with a slow cycle.
  • the images 101 to 105 and the images 110 to 114 represent “bright”, and the images 106 to 109 and the image 115 represent “dark”.
  • “light” is repeated 5 times and “dark” is 4 times as one cycle, and light and dark are repeated. This is different from the period of light and darkness caused by the shadow caused by the above-described structure.
  • this light / dark repetition is detected, and the repetition period is estimated and calculated. Then, when it is estimated that light and dark are periodically repeated according to the estimated calculation period, it is determined that the photographing period is close to a multiple of the light and dark period caused by the shadow caused by the structure, and the photographing period is set to be different. To do. That is, it is assumed that it is not close to a multiple of the light / dark cycle due to the shadow, and that the brightness of the captured image does not repeat light / dark periodically.
  • the images other than the image 214 are in the “bright” state. That is, the image other than the image 214 has a luminance that exceeds at least the above-described threshold value. As a result, the number of captured images that can accurately read the state of the face increases.
  • the photographing unit photographs the interior of the vehicle in a predetermined exposure state
  • the photographing mode setting unit corresponds to the one that changes the exposure state based on the estimation calculation result of the luminance estimation unit.
  • the exposure mode for example, the shutter speed of the camera
  • T0 default value
  • the photographing control unit 24 controls the photographing unit 40 so as to photograph the driver's face image at the above-described exposure time T0 (S32).
  • the luminance acquisition unit 21 acquires the luminance of the captured image (that is, the driver's face image) from the captured image captured by the capturing unit 40 and processed by the image processing unit 26 (S33). Similar to FIG. 2, the luminance is stored in the memory 27 in association with the photographing timing.
  • the luminance estimation unit 22 estimates the luminance change period of the past photographed image stored in the memory 27 as in FIG. 2 (S34).
  • the brightness of the captured image at the next capturing timing is estimated based on the brightness change period (S36). ).
  • the photographing mode setting unit 23 sets the exposure time to T1.
  • the exposure time T1 is set so that the number of photographed images that are determined to be light and dark is “dark”, for example, T1> T0.
  • the exposure time is T0 set in step S31 described above. It remains.
  • the period of change in the brightness of the above-described captured image can be estimated at the timing before the image 201 is captured, and “dark” continues four times before the image 201 is captured.
  • the next five captured images that is, the images 201 to 205) can be estimated to be “bright”. Therefore, the exposure time at this time may be T0.
  • the exposure time at this time is T1.
  • the images 210 to 214 are “bright”.
  • the images 206 to 209 that are “dark” are “bright”, and therefore the number of images that can accurately read the state of the face (those that are “bright”) is large. Become. Many images suitable for analysis can be acquired, and stable recognition processing results can be obtained.
  • the map information of the current position of the vehicle may be acquired from the navigation device 50, and the shooting mode control process (FIG. 2 or FIG. 5) may be executed based on the map information.
  • An example is shown in FIG. Whether or not this configuration includes a map information acquisition unit (30) that acquires map information including the current position where the vehicle is traveling, and sets the shooting mode of the shooting unit by the shooting mode setting unit based on the map information. This corresponds to the one provided with a determination unit (25) for determining whether or not.
  • a map information acquisition unit (30) that acquires map information including the current position where the vehicle is traveling, and sets the shooting mode of the shooting unit by the shooting mode setting unit based on the map information.
  • This corresponds to the one provided with a determination unit (25) for determining whether or not.
  • map information is acquired from the navigation apparatus 50 (S51).
  • ⁇ When the current position is in the tunnel.
  • ⁇ When the current position is the digging part.
  • ⁇ When the current position is a forest area.
  • buildings, street trees, or street lights line up along the road you are currently driving.
  • piers are standing along the road that is currently running.
  • the shooting mode control process (FIG. 2 or 5) is executed (S54).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

　車両の室内を周期的に撮影する撮影部（４０）と、撮影部が撮影した撮影画像の輝度を取得する輝度取得部（２１）と、輝度の変化の履歴に基づいて、以降に撮影する撮影画像の輝度の周期的な変化を推定する輝度推定部（２２）と、撮影画像の輝度の周期的な変化の推定結果に基づいて、撮影部の撮影態様を設定する撮影態様設定部（２３）と、を備える。

Description

車両用画像処理装置 関連出願の相互参照
　本開示は、２０１２年１０月３０日に出願された日本出願番号２０１２－２３８４３９号に基づくもので、ここにその記載内容を援用する。
　本開示は、車両用画像処理装置に関する。
　運転者が脇見運転や居眠り運転等をしているか否かを判別するために、運転者の顔画像から顔の向きや眼の状態を読み取って、必要に応じて警報を発する等の処理が行われている。しかし、車両は移動するため、運転者を撮影する光環境等も随時変化する。そのため、顔画像が暗すぎたりハレーションを起こしたりして、その正確な解析が困難となり、顔の状態（例えば、顔の向きや、視線の方向、眼の開閉状態等）を正確に読み取ることができない場合がある。このような状態が継続すると、適切に警報を発することが困難となるおそれがある。
　そこで、使用されている地域の商用電源周波数を判定して、フリッカの発生自体を自動的に抑制できるカメラ付き携帯情報端末装置が考案されている（特許文献１参照）。
　また、照明の周波数あるいは明るさに応じて、撮像素子のフレームレートを変更することで、電子シャッタを使用せずに、フリッカ対策、および光量調整を可能とするカメラが考案されている（特許文献２参照）。
　また、運転者を撮影する光環境の変化によらず、適切な警報を提供できる車載用画像処理装置が考案されている（特許文献３参照）。
　また、撮像対象の周囲の明暗にかかわらず鮮明な撮像画像を取得できる画像処理装置が考案されている（特許文献４参照）。
特開２００３－０６０９８４号公報 特開２００２－１６５１４１号公報 特開２００９－１１６７４２号公報 特開２００９－０１７４７４号公報
　上述のように、車両は移動するため、特許文献１および２のような、照明の周波数あるいは明るさに応じて、撮像素子のフレームレートを変更する構成では、車両の移動に伴う光環境の変化には対応することができない。
　また、特許文献３の構成では、顔画像の明度に応じてカメラの露光時間あるいは絞り径を変化させているため、露光処理が複雑になる、絞り可変機構を必要とするためカメラのコストが増大する。
　また、特許文献４の構成では、ナビゲーション装置からの現在地情報に基づいて、撮像画像の明暗を判定しているため、ナビゲーション装置あるいは現在地情報を取得する装置が必要となり、コストが増大する。
　橋脚、高速道路の街灯など道路付近に概ね均等な間隔で並んでいる構造物によって生ずる影の中を走行するときには、走行速度に応じた周期的な明暗が発生する。このとき、この明暗の周期が、撮影（露光）の周期の倍数に近いとき、撮影した画像がゆっくりとした周期で明暗を繰り返す現象が起きる。よって、特許文献４の構成は、トンネルのように明暗の変化の周期が比較的長い場合には適しているが、他の構造物に対しては対応できない。
　本開示の目的は、低コストで、光環境の変化によらず、解析に適した画像の取得を可能とする車両用画像処理装置を提供することにある。
　上記課題を解決するために、本開示の一つの観点によれば、車両用画像処理装置は、撮影部、輝度取得部、輝度推定部、と撮影態様設定部を含むように提供される。　撮影部は、車両の室内を周期的に撮影する。輝度取得部は、撮影部が撮影した撮影画像の輝度を取得する。輝度推定部は、輝度の変化の履歴に基づいて、以降に撮影する撮影画像の輝度の周期的な変化を推定する。撮影態様設定部は、撮影画像の輝度の周期的な変化の推定結果に基づいて、撮影部の撮影態様を設定する。
　上記構成によって、上述のような、撮影画像がゆっくりとした周期で明暗を繰り返す現象の発生を防ぐことができる。また、撮影画像の輝度のムラが少なくなり、解析に適した画像を数多く取得でき、安定した認識処理結果を得ることができる。本来は、例えば道路沿いの構造物が生ずる影による明暗の周期を測定し、その明暗の周期と撮影周期との関係を調べる必要があるが、本構成によって、撮影画像の輝度変化をもって、明暗の周期と撮影周期との関係を推定することができ、結果として、撮影周期が影による明暗の周期の倍数に近い値にならないようにすることができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
本開示の車両用画像処理装置の構成例を示す図、 撮影様態制御処理を説明するフロー図、 従来技術による撮影画像の輝度の変化を示す図、 本開示による撮影画像の輝度の変化を示す図、 撮影様態制御処理の別例を説明するフロー図、 車両の現在位置を反映した撮影様態制御処理を説明するフロー図。
　以下、本開示の車両用画像処理装置について、図面を用いて説明する。図１のように、車両用画像処理装置１は、ドライバモニタＥＣＵ（以下、「ＥＣＵ」と略称）１０、および該ＥＣＵ１０に接続された撮影部４０と車両の速度を検出する車速センサ４１（車速検出部とも言う）を含む。また、ＥＣＵ１０にナビゲーション装置５０が、車内ＬＡＮ６０を介してデータ通信可能に接続された構成としてもよい。
　ＥＣＵ１０は、演算部２０、画像処理部２６、メモリ２７（撮影態様記憶部とも言う）、および信号入出力回路（以下、「Ｉ／Ｆ」と略称）３０（地図情報取得部とも言う）を含む。
　演算部２０は、演算回路２０とも言及され、輝度取得部２１、輝度推定部２２、撮影態様設定部２３、撮影制御部２４、判定部２５を含む。輝度取得部２１は、画像処理部２６において処理された撮影画像のうち、例えば運転者の顔位置を判別し（顔位置の判別の詳細については特許文献３参照）、運転者の顔画像の輝度を取得する。輝度は、例えば、予めメモリ２７に記憶された輝度ごとの基準データと、顔画像とを照合することにより取得する。
　演算部２０の各部は、ＣＰＵ、各種メモリ等を含んで、１つあるいは複数のＩＣあるいはＡＳＩＣ等としてハードウエア的に構成されていてもよいし、その一部および全部がソフトウエア的にメモリ上に構築されていてもよい。
　輝度推定部２２は、メモリ２７に過去に遡って記憶してある顔画像の輝度から、輝度の変化に周期性があるか否かを推定する。撮影態様設定部２３は、輝度推定部２２の推定結果に基づいて、撮影態様を設定する（詳細は後述）。撮影制御部２４は、撮影態様設定部２３が設定した撮影態様に基づいて、撮影部４０の動作を制御する（詳細は後述）。
　判定部２５は、後述の撮影様態制御処理を実行するか否かの判定を行う（図６参照）。
　画像処理部２６は、公知のパターン認識などの技術によって撮影部４０が撮影した撮影画像の解析を行う。画像処理部２６では、例えば、撮影画像に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する。そして、得られた多値画像データから、一般的な画像処理手法を用いて所望の画像部分（例えば、運転者の顔）を抽出する。
　メモリ２７は、例えばフラッシュメモリ等の不揮発性メモリで構成され、制御プログラムや、車両用画像処理装置１の動作に必要なデータを記憶する。演算部２０に含まれるＣＰＵが制御プログラムを実行することで、車両用画像処理装置１としての各種機能を実現する。
　信号入出力回路３０は、波形整形回路、Ａ／Ｄ変換回路、Ｄ／Ａ変換回路、電圧変換回路等を含む。また、信号入出力回路３０には、車速センサ４１からの出力信号が入力される。入力された信号は、必要に応じて波形整形および電圧変換が行われ、その後Ａ／Ｄ変換され、演算部２０において演算可能な値（デジタル値）となる。
　撮影部４０は、例えば、周知のＣＭＯＳセンサあるいはＣＣＤセンサを用いたカメラである。赤外線カメラを用いてもよい。撮影部４０は、予め定められたタイミング（例えば、撮影周期）で、撮影対象を撮影し、あるいは撮影対象のイメージをキャプチャして、撮影画像を画像処理部２６に出力する。撮影対象は、例えば運転者を含む運転席周辺の、車両の室内の予め定められたエリア、あるいはそこに存在する物である。
　ナビゲーション装置５０は、例えば、受信したＧＰＳ信号に基づいて車両の現在位置を検出し、地図データ上に車両の現在位置を表示するとともに、設定された目的地までの経路を案内する周知のものである。また、ナビゲーション装置５０は、車両用画像処理装置１に、車両の現在位置の地図情報（詳細は後述）を出力する。
　尚、本願では、「情報」は不可算名詞のみならず可算名詞としても使用される。
　図２を用いて、演算部２０において実行される撮影様態制御処理について説明する。なお、本処理は、メモリ２７に記憶された制御プログラムに含まれ、制御プログラムに含まれる他の処理とともに、予め定められたタイミングで繰り返し実行される。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１1と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。また、上記の複数のセクションの各々あるいは組合わさったものは、(i)ハードウエアユニット（例えば、コンピュータ）と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウエア（例えば、集積回路、配線論理回路）のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアのセクションは、マイクロコンピュータの内部に構成されることもできる。
　まず、撮影態様設定部２３で、撮影周期をｆ０（デフォルト値）に設定する（Ｓ１１）。なお、撮影周期は、撮影部４０が画像を撮影する周期、すなわち、図３の隣り合う画像（例えば、画像１０１と画像１０２）の撮影間隔で、例えば、ｆ０＝１０ｍｓである。
　次に、撮影制御部２４において、上述の撮影周期ｆ０で運転者の顔画像を撮影するよう撮影部４０を制御する（Ｓ１２）。次に、輝度取得部２１において、撮影部４０が撮影して画像処理部２６が処理した画像データから、撮影画像（すなわち、運転者の顔画像）の輝度を取得する（Ｓ１３）。該輝度は、画像の撮影タイミングと関連付けてメモリ２７に記憶する。撮影タイミングは、日時（例えば、ナビゲーション装置５０から取得）でもよいし、システム時間（例えば、ＣＰＵのカウンタ値）でもよい。
　次に、輝度推定部２２において、以下のように、メモリ２７に記憶されている過去の撮影画像の輝度の変化周期を推定する（Ｓ１４）。まず、撮影画像の明暗を判定する。例えば、撮影画像の輝度が予め定められた輝度閾値を超えるとき該撮影画像の明暗は「明」であると判定し、撮影画像の輝度が該輝度閾値を下回るとき該画像の明暗は「暗」であると判定する。
　上述の構成が、輝度推定部は、撮影画像の輝度が変化する周期を推定演算し、その周期に基づいて、撮影態様を変更するものに相当する。本構成によって、撮影態様を、撮影画像の輝度が変化する周期に応じて設定することができる。
　そして、例えば、「明」がｍ±２回連続し、続いて「暗」がｎ±２回（ｍ，ｎは正の整数で、連続回数の下限値は０）連続する状態が、予め定められた回数（例えば５回）繰り返されたとき、撮影画像の輝度が所定時間以上周期的に変化していると判定する。このとき、この周期も算出しておく。
　上述の構成が、輝度推定部は、撮影画像の輝度が予め定められた輝度閾値を超える状態が所定時間継続し、その後、該画像の輝度が該輝度閾値を下回る状態が所定時間継続したとき、該画像の輝度が周期的に変化しているとするものに相当する。本構成によって、比較的簡易な構成で輝度の周期的変化を推定できる。
　撮影画像の輝度が所定時間以上周期的に変化しているとき（Ｓ１５：Ｙｅｓ）、撮影態様設定部２３で、撮影周期をｆ１に設定する。撮影周期ｆ１は、明暗が「暗」であると判定される撮影画像の数が少なくなる値に設定する（Ｓ１６）。
　上述の構成が、撮影部は、予め定められた撮影周期で車両の室内を撮影し、撮影態様設定部は、周期的に撮影される撮影画像ごとの輝度のばらつきを抑制するように撮影周期を設定するものに相当する。本構成によって、撮影画像がゆっくりとした周期で明暗を繰り返す現象の発生を防ぐことができる。
　より詳しくは、撮影態様設定部は、撮影周期を、撮影画像の輝度が周期により変化する状態のときに設定されたものとは異なるものに設定するものに相当する。
　次に、車速センサ４１から車速情報を取得し、このときの車速をｖ１とする（Ｓ１７）。このとき、上述の撮影周期ｆ１と車速ｖ１とを関連付けてメモリ２７に記憶する。
　この後、車速がｖ１からｖ２に変化したとき（Ｓ１８：Ｙｅｓ）、車速の変化量に基づいて、輝度の変化周期を推定する（Ｓ１９）。なお、車速の変化量は、後述のｘを上回るものとする。一般に、車速が低下したときは輝度の変化周期が長くなり、車速が増加したときは輝度の変化周期が短くなる。車速の変化量と輝度の変化周期の増減との関係を、予めメモリ２７にマップデータとして記憶しておき、該マップデータを参照して輝度の変化周期を推定してもよい。
　そして、推定した輝度の変化周期に基づいて、撮影周期をｆ２に変更する（Ｓ２０）。このとき、撮影周期ｆ２と車速ｖ２とを関連付けてメモリ２７に記憶する。無論、撮影周期ｆ２は、撮影周期ｆ１に近い値にならないように設定する。
　上述の構成が、車両の速度を検出する車速検出部（４１）を備え、輝度推定部は、車両の速度が変化したとき、車両の速度の変化量に基づいて、変化後の車両の速度における撮影画像の輝度が変化する周期を推定演算し、撮影態様設定部は、輝度推定部の推定演算結果に基づいて、撮影部の撮影態様を設定するものに相当する。本構成によって、撮影画像の輝度の変化から推定するよりも短時間で撮影部の撮影態様を設定することができる。
　次に、車速センサ４１から車速情報を取得する（Ｓ２１）。そして、この車速と上述のｖ１との差がｘ以下のとき（Ｓ２２：Ｙｅｓ）、撮影周期の推定を行うことなく、撮影周期をｆ１に戻す（Ｓ２３あるいはＳ１６）。
　上述の構成が、車両の速度と撮影部の撮影態様とを関連付けて記憶する撮影態様記憶部（２７）を備え、撮影態様設定部は、車両の速度が変化したとき、変化後の車両の速度が撮影態様記憶部に記憶されているとき、輝度推定部による輝度の推定演算を行うことなく、該車両の速度に関連付けられた撮影態様に設定するものに相当する。本構成によって、短時間で撮影部の撮影態様を設定することができる。
　図３および図４を用いて、図２の撮影様態制御処理を実行したときの、撮影画像の輝度の変化について説明する。図３に、従来技術による撮影画像の輝度の変化を時系列で示す。画像１０１が最古の撮影画像で、画像１１５が最新の撮影画像である。図４に、本開示による撮影画像の輝度の変化を時系列で示す。画像２０１が最古の撮影画像で、画像２１５が最新の撮影画像である。
　図３のように、撮影画像の輝度の明暗の周期が、撮影周期の倍数に近いとき、撮影画像がゆっくりとした周期で明暗を繰り返す。図３では、画像１０１～１０５および画像１１０～１１４が「明」を、画像１０６～１０９および画像１１５が「暗」を表している。つまり、「明」が５回、「暗」が４回を１周期として、明暗を繰り返している。これは、上述の構造物によって生ずる影による明暗の周期とは異なる。
　本開示では、この明暗の繰り返しを検出し、その繰り返しの周期を推定演算する。そして、推定演算した周期によって明暗を周期的に繰り返していると推定したとき、撮影周期が、上述の構造物によって生ずる影による明暗の周期の倍数に近いと判定し、撮影周期を異なるものに設定する。すなわち、影による明暗の周期の倍数に近くないもの、撮影画像の輝度が明暗を周期的に繰り返さないものとする。
　図４では、撮影画像の輝度の明暗の周期を、図３とは異なるものとしたため、画像２１４以外の画像は「明」状態となっている。つまり、画像２１４以外の画像は、少なくとも、上述の閾値を上回る輝度となっている。これによって、顔の状態を正確に読み取ることができる撮影画像の枚数が多くなる。
　図５を用いて、撮影様態制御処理の別例について説明する。本構成が、撮影部は、予め定められた露光状態で車両の室内を撮影し、撮影態様設定部は、輝度推定部の推定演算結果に基づいて、露光状態を変化させるものに相当する。本構成によって、撮影画像がゆっくりとした周期で明暗を繰り返す現象の発生を防ぐことができる。また、撮影画像の輝度のムラが少なくなり、安定した認識処理結果を得ることができる。
　まず、撮影態様設定部２３で、撮影部４０が画像を撮影する際の露光時間（例えば、カメラのシャッター速度）をＴ０（デフォルト値）に設定する（Ｓ３１）。次に、撮影制御部２４において、上述の露光時間Ｔ０で運転者の顔画像を撮影するよう撮影部４０を制御する（Ｓ３２）。
　次に、輝度取得部２１において、撮影部４０が撮影して画像処理部２６が処理した撮影画像から、該撮影画像（すなわち、運転者の顔画像）の輝度を取得する（Ｓ３３）。図２と同様に、該輝度は、撮影タイミングと関連付けてメモリ２７に記憶する。
　次に、輝度推定部２２において、図２と同様に、メモリ２７に記憶されている過去の撮影画像の輝度の変化周期を推定する（Ｓ３４）。そして、撮影画像の輝度が所定時間以上周期的に変化していると判定したとき（Ｓ３５：Ｙｅｓ）、輝度の変化周期に基づいて、次の撮影タイミングでの撮影画像の輝度を推定する（Ｓ３６）。
　次の撮影タイミングでの撮影画像の輝度が閾値を下回る（すなわち、「暗」と判定される）推定したとき（Ｓ３７：Ｙｅｓ）、撮影態様設定部２３で、露光時間をＴ１に設定する。露光時間Ｔ１は、明暗が「暗」であると判定される撮影画像の数が少なくなる値、例えば、Ｔ１＞Ｔ０となるように設定する。
　一方、次の撮影タイミングでの撮影画像の輝度が閾値を上回る（すなわち、「明」と判定される）推定したとき（Ｓ３７：Ｎｏ）、露光時間は、上述のステップＳ３１で設定されたＴ０のままである。
　図３および図４を用いて、図５における撮影画像の輝度の変化について説明する。上述のように、図３では、撮影画像の輝度の明暗の変化の周期が、撮影周期の倍数に近いとき、撮影画像がゆっくりとした周期で明暗を繰り返す。つまり、「明」が５回連続した後に、「暗」が４回連続する。
　一方、図４では、画像２０１を撮影する前のタイミングで、上述の撮影画像の明暗の変化の周期が推定できていて、画像２０１を撮影する前に「暗」が４回連続していたとすると、次の５枚の撮影画像（つまり、画像２０１～画像２０５）は「明」であると推定できる。よって、このときの露光時間はＴ０でよい。画像２０５を撮影したとき、「明」が５回連続したので、次回以降の４枚の撮影画像（つまり、画像２０６～画像２０９）は「暗」であると推定できる。よって、このときの露光時間をＴ１とする。同様に、画像２１０～画像２１４は、「明」であると推定できる。これにより、従来技術による方法では、「暗」となる画像２０６～画像２０９が「明」となるので、顔の状態を正確に読み取ることができる画像（「明」となるもの）の枚数が多くなる。そして、解析に適した画像を数多く取得でき、安定した認識処理結果を得ることができる。
　ナビゲーション装置５０から車両の現在位置の地図情報を取得し、地図情報に基づいて撮影態様制御処理（図２あるいは図５）を実行するようにしてもよい。図６にその一例を示す。本構成が、車両が走行中の現在位置を含む地図情報を取得する地図情報取得部（３０）を備え、地図情報に基づいて、撮影態様設定部による撮影部の撮影態様の設定を行うか否かを判定する判定部（２５）を備えるものに相当する。本構成によって、必要な場所においてのみ撮影態様の設定を行うことができるので、安定した認識処理結果を得ることができるとともに、処理負荷の低減につながる。
　まず、ナビゲーション装置５０から地図情報を取得する（Ｓ５１）。次に、地図情報に基づいて撮影態様制御処理を実行する必要があるか否かを、判定部２５（図１参照）において判定する（Ｓ５２）。以下のうちの少なくとも一つが成立するとき、撮影態様制御処理を実行する必要があると判定する。
・現在位置がトンネル内であるとき。
・現在位置が掘割部であるとき。
・現在位置が森林地帯であるとき。
・現在走行中の道路に沿ってビル、街路樹、あるいは街路灯が立ち並んでいるとき。
・現在走行中の道路に沿って橋脚が立ち並んでいるとき。
　撮影態様制御処理を実行する必要があると判定したとき（Ｓ５３：Ｙｅｓ）、撮影態様制御処理（図２あるいは図５）を実行する（Ｓ５４）。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (7)

  1. 　車両の室内を周期的に撮影する撮影部（４０）と、
    　前記撮影部が撮影した撮影画像の輝度を取得する輝度取得部（２１）と、
    　前記輝度の変化の履歴に基づいて、以降に撮影する撮影画像の輝度の周期的な変化を推定する輝度推定部（２２）と、
    　前記撮影画像の輝度の周期的な変化の推定結果に基づいて、前記撮影部の撮影態様を設定する撮影態様設定部（２３）と、
    　を備える車両用画像処理装置。
  2. 　前記輝度推定部は、前記撮影画像の輝度が変化する周期を推定演算し、その周期に基づいて、前記撮影態様を変更する請求項１に記載の車両用画像処理装置。
  3. 　前記撮影部は、予め定められた撮影周期で前記車両の室内を撮影し、
    　前記撮影態様設定部は、周期的に撮影される前記撮影画像ごとの輝度のばらつきを抑制するように前記撮影周期を設定する請求項２に記載の車両用画像処理装置。
  4. 　前記車両の速度を検出する車速検出部（４１）を備え、
    　前記輝度推定部は、前記車両の速度が変化したとき、前記車両の速度の変化量に基づいて、変化後の車両の速度における前記撮影画像の輝度が変化する周期を推定演算し、
    　前記撮影態様設定部は、前記輝度推定部の推定演算結果に基づいて、前記撮影部の撮影態様を設定する請求項３に記載の車両用画像処理装置。
  5. 　前記車両の速度と前記撮影部の撮影態様とを関連付けて記憶する撮影態様記憶部（２７）を備え、
    　前記撮影態様設定部は、前記車両の速度が変化したとき、変化後の車両の速度が前記撮影態様記憶部に記憶されているとき、前記輝度推定部による輝度の推定演算を行うことなく、該車両の速度に関連付けられた撮影態様に設定する請求項４に記載の車両用画像処理
    装置。
  6. 　前記撮影部は、予め定められた露光状態で前記車両の室内を撮影し、
    　前記撮影態様設定部は、前記輝度推定部の推定演算結果に基づいて、前記露光状態を変化させる請求項１ないし請求項５のいずれか１項に記載の車両用画像処理装置。
  7. 　前記車両が走行中の現在位置を含む地図情報を取得する地図情報取得部（３０）を備え、
    　前記地図情報に基づいて、前記撮影態様設定部による前記撮影部の撮影態様の設定を行うか否かを判定する判定部（２５）を備える請求項１ないし請求項６のいずれか１項に記載の車両用画像処理装置。
PCT/JP2013/005995 2012-10-30 2013-10-08 車両用画像処理装置 WO2014068858A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380056517.6A CN104782115B (zh) 2012-10-30 2013-10-08 车辆用图像处理装置
US14/428,060 US9798940B2 (en) 2012-10-30 2013-10-08 Vehicular image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012238439A JP5800288B2 (ja) 2012-10-30 2012-10-30 車両用画像処理装置
JP2012-238439 2012-10-30

Publications (1)

Publication Number Publication Date
WO2014068858A1 true WO2014068858A1 (ja) 2014-05-08

Family

ID=50626813

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005995 WO2014068858A1 (ja) 2012-10-30 2013-10-08 車両用画像処理装置

Country Status (4)

Country Link
US (1) US9798940B2 (ja)
JP (1) JP5800288B2 (ja)
CN (1) CN104782115B (ja)
WO (1) WO2014068858A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3044504A1 (fr) * 2015-12-01 2017-06-02 Valeo Comfort & Driving Assistance Dispositif de capture d'image et dispositif de surveillance d'un conducteur utilisant un tel dispositif de capture d'image
JP2019514302A (ja) * 2016-05-25 2019-05-30 エムテクビジョン カンパニー リミテッド 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
JP6652090B2 (ja) * 2017-03-10 2020-02-19 オムロン株式会社 運転モード切替制御装置、システム、方法、およびプログラム
JP6822325B2 (ja) * 2017-06-21 2021-01-27 日本電気株式会社 操縦支援装置、操縦支援方法、プログラム
JP7051667B2 (ja) * 2018-11-26 2022-04-11 本田技研工業株式会社 車載装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165141A (ja) * 2000-11-27 2002-06-07 Sony Corp 固体撮像素子の駆動方法、及びカメラ
JP2006025140A (ja) * 2004-07-07 2006-01-26 Denso Corp 車両の車室照明装置
JP2009017474A (ja) * 2007-07-09 2009-01-22 Fujitsu Ten Ltd 画像処理装置および画像処理方法
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4094834B2 (ja) 2001-08-20 2008-06-04 三菱電機株式会社 カメラ付き携帯情報端末装置
KR100488728B1 (ko) * 2003-05-15 2005-05-11 현대자동차주식회사 자동차의 2중 노출 카메라 시스템 및 영상 취득방법
US7222019B2 (en) * 2004-01-14 2007-05-22 Yamaha Hatsudoki Kabushiki Kaisha Vehicle image display apparatus and vehicle having the same
US7982772B2 (en) * 2004-03-30 2011-07-19 Fujifilm Corporation Image correction apparatus and image correction method for correcting image blur using a mobile vector
JP4047301B2 (ja) * 2004-05-18 2008-02-13 キヤノン株式会社 撮像装置及びその制御方法
JP2008515309A (ja) * 2004-09-29 2008-05-08 レイフ コミュニケーションズ エルエルシー ポータブルデジタル装置の制御
US7920175B2 (en) * 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
CN1968500A (zh) * 2006-04-13 2007-05-23 华为技术有限公司 控制移动通讯设备功能的方法及设备
JP2009116742A (ja) * 2007-11-08 2009-05-28 Aisin Seiki Co Ltd 車載用画像処理装置、画像処理方法、および、プログラム
KR101097017B1 (ko) * 2007-11-19 2011-12-20 후지쯔 가부시끼가이샤 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
JP4433046B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4525812B2 (ja) * 2008-08-08 2010-08-18 株式会社デンソー 露出設定装置、露出設定プログラム、および画像処理装置
KR101039248B1 (ko) * 2009-07-09 2011-06-07 엠텍비젼 주식회사 차량용 영상 저장 장치 및 그 설치 상태 통지 방법
TWI422946B (zh) * 2009-10-30 2014-01-11 Univ Nat Chiao Tung 照明控制模組、包含其之攝影機及照明控制方法
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
US20110292241A1 (en) * 2010-05-30 2011-12-01 Logitech Europe S.A. Extended flicker cancellation for auto exposure for a video camera
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
JP5375814B2 (ja) * 2010-12-22 2013-12-25 株式会社デンソー 露出制御装置
JP5246254B2 (ja) * 2010-12-24 2013-07-24 株式会社デンソー 車載カメラの露出制御値の決定方法
JP6041593B2 (ja) * 2012-09-14 2016-12-14 キヤノン株式会社 固体撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165141A (ja) * 2000-11-27 2002-06-07 Sony Corp 固体撮像素子の駆動方法、及びカメラ
JP2006025140A (ja) * 2004-07-07 2006-01-26 Denso Corp 車両の車室照明装置
JP2009017474A (ja) * 2007-07-09 2009-01-22 Fujitsu Ten Ltd 画像処理装置および画像処理方法
WO2012172842A1 (ja) * 2011-06-13 2012-12-20 本田技研工業株式会社 運転支援装置

Also Published As

Publication number Publication date
JP2014090275A (ja) 2014-05-15
JP5800288B2 (ja) 2015-10-28
CN104782115A (zh) 2015-07-15
US9798940B2 (en) 2017-10-24
CN104782115B (zh) 2017-11-10
US20150254517A1 (en) 2015-09-10

Similar Documents

Publication Publication Date Title
US11409303B2 (en) Image processing method for autonomous driving and apparatus thereof
WO2014068858A1 (ja) 車両用画像処理装置
US9077907B2 (en) Image processing apparatus
CN104134352A (zh) 基于长短曝光结合的视频车辆特征检测系统及其检测方法
JP2014157433A (ja) 視差検出装置、視差検出方法
US10462378B2 (en) Imaging apparatus
WO2018076281A1 (zh) 停车位状态的检测方法、检测装置和电子设备
JP3570198B2 (ja) 画像処理方法およびその装置
JP3995671B2 (ja) 画像処理装置
KR102000426B1 (ko) 카메라 신호제어 및 시간 스케쥴링을 통한 차량 번호판 식별 방법 및 시스템
CN108961169A (zh) 监控抓拍方法及装置
JP4247547B2 (ja) カメラ用露光量制御方法および装置
JP4244361B1 (ja) 映像補正装置、映像補正方法、及び映像補正プログラム
KR101615381B1 (ko) 이미지 획득 방법 및 디지털 카메라 시스템
JP3767571B2 (ja) カメラ式車両感知器の露光制御方法及び装置
JP2018045268A (ja) 映像出力システム
CN111596090A (zh) 车辆行驶速度的测量方法、装置、车辆和介质
JP5310162B2 (ja) 車両灯火判定装置
JP2004185537A (ja) 走行車両検知システム
JP6314667B2 (ja) 撮像装置、画像補正プログラムおよび画像処理装置
JP2014203114A (ja) 物体認識装置
JP2019012958A (ja) 撮影制御装置、車両用撮影装置、撮影制御方法およびプログラム
JP2009044451A (ja) 画像処理装置、車載用画像処理装置および車載用画像処理方法
JP2007166142A (ja) 撮像装置
JP2009077279A (ja) 画像認識装置、車載用画像認識装置および車載用画像認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13850225

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14428060

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13850225

Country of ref document: EP

Kind code of ref document: A1