JP6536946B2 - Imaging device, imaging method, program, and mobile device control system - Google Patents
Imaging device, imaging method, program, and mobile device control system Download PDFInfo
- Publication number
- JP6536946B2 JP6536946B2 JP2015134538A JP2015134538A JP6536946B2 JP 6536946 B2 JP6536946 B2 JP 6536946B2 JP 2015134538 A JP2015134538 A JP 2015134538A JP 2015134538 A JP2015134538 A JP 2015134538A JP 6536946 B2 JP6536946 B2 JP 6536946B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- light
- imaging
- exposure
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、撮像装置、撮像方法、プログラムおよび移動体機器制御システムに関するものである。 The present invention relates to an imaging device, an imaging method, a program, and a mobile device control system.
従来、自車両前方の物体(他車両、白線、路面、人物、障害物等)を認識するためのセンシング用の画像と自車両のフロントガラスに付着している雨滴等の付着物を検出するための付着物検出用の画像とを単一の画像センサで撮像する撮像装置が知られている。 Conventionally, in order to detect an object for sensing an object in front of the host vehicle (other vehicle, white line, road surface, person, obstacle, etc.) and an object for sensing such as raindrops attached to the windshield of the host vehicle An image pickup apparatus is known which picks up an image for detecting an attached matter with a single image sensor.
例えば、特許文献1には、前記センシング用の画像を取得するための撮像フレーム(センシング用フレーム)を30回連続して撮像するたびに前記付着物検出用の画像を取得するための撮像フレーム(付着物検出用フレーム)を1回撮像することを繰り返す撮像装置が開示されている。この撮像装置は、センシング用フレームについては自動露光制御で露光量を自動調整しながら撮像する一方、付着物検出用フレームについては付着物の検出に適した固定露光量で撮像する。 For example, in Patent Document 1, an imaging frame for acquiring the image for detecting the attached matter every time the imaging frame (frame for sensing) for acquiring the image for sensing (frame for sensing) is taken 30 times consecutively There is disclosed an imaging device which repeats imaging of an attached matter detection frame) once. The imaging apparatus performs imaging while automatically adjusting the exposure amount of the sensing frame by automatic exposure control, while imaging the attached object detection frame with a fixed exposure amount suitable for detecting the attached object.
連続撮像されるセンシング用フレーム間に付着物検出用フレームの撮像を行う撮像装置においては、付着物検出用のフレーム時間を長くするほど、その付着物検出用フレームの前後のセンシング用フレームの間の時間間隔が広がる。センシング用フレーム間の時間間隔が広いほど、前のセンシング用フレームの撮像時点から後のセンシング用フレームの撮像時点までの経過時間が長くなる。そのため、前後のセンシング用フレームの間で、自車両前方の状況(自車両前方の各種物体の相対位置など)の変化が大きくなり、物体の認識精度が低下するなどの不具合を引き起こす。したがって、付着物検出用フレームのフレーム時間はできるだけ短くすることが望ましい。 In an imaging device that performs imaging of an attached matter detection frame between sensing frames that are continuously imaged, the longer the attached object detection frame time, the longer the interval between the sensing frames before and after the attached matter detection frame. The time interval spreads. The longer the time interval between the sensing frames, the longer the elapsed time from the imaging point of the previous sensing frame to the imaging point of the later sensing frame. Therefore, a change in a situation in front of the host vehicle (a relative position of various objects in front of the host vehicle, etc.) increases between the front and rear sensing frames, causing a problem such as a decrease in object recognition accuracy. Therefore, it is desirable to make the frame time of the deposit detection frame as short as possible.
ところが、付着物検出用フレームのフレーム時間を短くすると、次のような問題が発生することが判明した。
付着物検出用フレームの直後のセンシング用フレームを自動露光制御で撮像する場合、トンネル内や夜間などの暗い環境下などにおいては、当該センシング用フレームの露光時間が長く設定される場合がある。ここでいう露光時間とは、撮像装置における画像センサの受光素子が撮像光を受光し始めてから受光を終えるまでの受光時間を意味する。画像センサから各受光素子の受光量データを出力するタイミングは予め固定されていることから、露光時間が長く設定されると、その分だけ受光開始時期が早くなる。
However, it has been found that the following problem occurs when the frame time of the attached matter detection frame is shortened.
When the sensing frame immediately after the attached matter detection frame is imaged by automatic exposure control, the exposure time of the sensing frame may be set long in a dark environment such as in a tunnel or at night. The exposure time mentioned here means a light reception time from when the light receiving element of the image sensor in the imaging apparatus starts receiving the imaging light to when the light reception is finished. Since the timing at which the light receiving amount data of each light receiving element is output from the image sensor is fixed in advance, when the exposure time is set long, the light reception start timing becomes earlier by that amount.
通常、センシング用フレームのフレーム時間は、自動露光制御により設定可能な上限値に露光時間が設定される場合でも、その受光開始時期が直前のセンシング用フレームにおける露光期間に重なるような事態が起きない。しかしながら、付着物検出用フレームのフレーム時間を短くするために、付着物検出用フレームのフレーム時間をセンシング用フレームのフレーム時間よりも短い時間に設定すると、付着物検出用フレームの直後のセンシング用フレームにおける受光開始時期が付着物検出用フレームの露光期間に重なる事態が起こり得る。このような事態が起こると、付着物検出用フレーム及びその直後のセンシング用フレームの少なくとも一方のフレームについて正常な受光量データを取得することができなくなるという問題が発生し得る。 Normally, even when the exposure time is set to the upper limit value that can be set by automatic exposure control, the light reception start timing does not overlap with the exposure period of the immediately preceding sensing frame even when the exposure time is set to the upper limit that can be set by automatic exposure control . However, if the frame time of the attached matter detection frame is set to a time shorter than the frame time of the sensing frame in order to shorten the frame time of the attached matter detection frame, the sensing frame immediately after the attached matter detection frame It may happen that the light reception start time at the time when the light reception start time overlaps the exposure period of the deposit detection frame. When such a situation occurs, there may occur a problem that it is not possible to obtain normal received light amount data for at least one of the attached matter detection frame and the sensing frame immediately after that.
上述した課題を解決するために、本発明は、光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得する物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置であって、前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。 In order to solve the problems described above, the present invention irradiates the light transmitting member with light from a light source to obtain an attached matter detection image for detecting the attached matter attached to the light transmitting member. An object recognition frame for obtaining an object recognition image for receiving light other than the light source and recognizing an object other than the attached object after imaging the attached object detection frame with the image sensor It is an imaging device which repeats a series of imaging operations of imaging a plurality of sheets, and a frame time of the attached matter detection frame is set shorter than a frame time of the object recognition frame, and the attached matter detection frame The exposure time in the frame for object recognition immediately after this is set to an exposure time in which the exposure time of the frame for object recognition does not overlap the exposure time of the frame for detecting an attached matter. The features.
本発明によれば、付着物検出用フレームのフレーム時間を短く設定しても、付着物検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得可能であるという優れた効果が奏される。 According to the present invention, an excellent effect is obtained that even when the frame time of the attached matter detection frame is set short, normal received light amount data can be acquired for both the attached matter detection frame and the sensing frame immediately after that. Is played.
〔実施形態1〕
以下、本発明に係る撮像装置を適用した移動体機器制御システムの一実施形態(以下、本実施形態を「実施形態1」という。)について説明する。
なお、本発明に係る撮像装置は、移動体機器制御システムに限らず、例えば、撮像画像に基づいて物体認識を行う物体認識装置を搭載したその他のシステムにも適用できる。
Embodiment 1
Hereinafter, an embodiment (hereinafter, this embodiment will be referred to as “embodiment 1”) of a mobile device control system to which an imaging device according to the present invention is applied will be described.
The imaging device according to the present invention is not limited to the mobile device control system, and can be applied to, for example, other systems equipped with an object recognition device that performs object recognition based on a captured image.
図1は、本実施形態1における移動体機器制御システムの概略構成を示す模式図である。
移動体機器制御システムは、移動体である自動車などの自車両100に搭載された撮像装置で撮像した撮像画像を利用して、ヘッドランプの配光制御、ワイパーの駆動制御、その他の車載機器の制御を行うものである。
FIG. 1 is a schematic view showing a schematic configuration of a mobile device control system in the first embodiment.
The mobile device control system is configured to control light distribution of a headlamp, drive control of a wiper, and other in-vehicle devices using a captured image captured by an imaging device mounted on the vehicle 100 such as a mobile vehicle. It controls.
本実施形態1の移動体機器制御システムは、図1に示すように、撮像部を有する撮像ユニット101と、露光制御ユニット109と、画像解析ユニット102と、車両走行制御ユニット108と、ワイパー制御ユニット106と、ヘッドランプ制御ユニット103とを主に備えている。ここで、車両走行制御ユニット108、ワイパー制御ユニット106、ヘッドランプ制御ユニット103は、自車両100に搭載されている各種車載機器を制御する制御部として機能する。 As shown in FIG. 1, the mobile device control system according to the first embodiment includes an imaging unit 101 having an imaging unit, an exposure control unit 109, an image analysis unit 102, a vehicle travel control unit 108, and a wiper control unit. 106 and a headlamp control unit 103 are mainly provided. Here, the vehicle travel control unit 108, the wiper control unit 106, and the headlamp control unit 103 function as a control unit that controls various in-vehicle devices mounted in the host vehicle 100.
本実施形態1の移動体機器制御システムに設けられる撮像部は、撮像ユニット101に設けられており、走行する自車両100の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両100のフロントガラス105のルームミラー付近に設置される。撮像ユニット101の撮像部で撮像された撮像画像データは、画像解析ユニット102に入力される。露光制御ユニット109は、撮像ユニット101の撮像部の露光制御を行う。 The imaging unit provided in the mobile device control system according to the first embodiment is provided in the imaging unit 101, and images a region in front of the traveling vehicle 100 in the traveling direction as an imaging region. It is installed near the room mirror of the windshield 105 of 100. The captured image data captured by the imaging unit of the imaging unit 101 is input to the image analysis unit 102. The exposure control unit 109 performs exposure control of the imaging unit of the imaging unit 101.
画像解析ユニット102は、撮像部から送信されてくる撮像画像データを解析し、
自車両100の前方に存在する他車両の位置、方角、距離を算出したり、フロントガラス105に付着する雨滴や付着物などの付着物を検出したり、撮像領域内に存在する路面上の白線(区画線)等の検出対象物を検出したり、雨量を算出したりする。他車両の検出では、他車両のテールランプを識別することで自車両100と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両100とは反対方向へ進行する対向車両を検出する。
The image analysis unit 102 analyzes captured image data transmitted from the imaging unit,
Calculates the position, direction, and distance of other vehicles that are ahead of the vehicle 100, detects deposits such as raindrops and deposits on the windshield 105, and detects white lines on the road surface within the imaging area Detect detection objects such as (section lines) or calculate rainfall. In the detection of the other vehicle, the preceding vehicle traveling in the same traveling direction as the own vehicle 100 is detected by identifying the tail lamps of the other vehicle, and the headlamps of the other vehicle are identified in the opposite direction Detect oncoming vehicles.
画像解析ユニット102の算出結果は、ヘッドランプ制御ユニット103に送られる。ヘッドランプ制御ユニット103は、例えば、画像解析ユニット102が算出した距離データから、自車両100の車載機器であるヘッドランプ104を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両100のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両100の運転者の視界確保を実現できるように、ヘッドランプ104のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ104の部分的な遮光制御を行ったりする。 The calculation result of the image analysis unit 102 is sent to the headlamp control unit 103. The headlamp control unit 103 generates, for example, a control signal for controlling the headlamp 104 which is an on-vehicle device of the host vehicle 100 from the distance data calculated by the image analysis unit 102. Specifically, for example, it is possible to prevent the driver of another vehicle from being blinded by preventing the strong light of the headlamp of the vehicle 100 from being incident on the eyes of the driver of the preceding vehicle or the oncoming vehicle. The switching of the high beam and the low beam of the headlamp 104 is controlled, and the partial light blocking control of the headlamp 104 is performed so that the driver's view can be secured.
画像解析ユニット102の算出結果は、ワイパー制御ユニット106にも送られる。ワイパー制御ユニット106は、自車両100の車載機器であるワイパー107を制御して、自車両100のフロントガラス105に付着した雨滴や付着物などの付着物を除去する。ワイパー制御ユニット106は、画像解析ユニット102が検出した付着物検出結果を受けて、ワイパー107を制御する制御信号を生成する。ワイパー制御ユニット106により生成された制御信号がワイパー107に送られると、自車両100の運転者の視界を確保するべく、ワイパー107を稼動させる。 The calculation result of the image analysis unit 102 is also sent to the wiper control unit 106. The wiper control unit 106 controls the wiper 107, which is an on-vehicle device of the vehicle 100, to remove deposits such as raindrops and deposits attached to the windshield 105 of the vehicle 100. The wiper control unit 106 generates a control signal for controlling the wiper 107 in response to the deposit detection result detected by the image analysis unit 102. When the control signal generated by the wiper control unit 106 is sent to the wiper 107, the wiper 107 is operated to secure the visibility of the driver of the host vehicle 100.
また、画像解析ユニット102の算出結果は、車両走行制御ユニット108にも送られる。車両走行制御ユニット108は、画像解析ユニット102が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両100が外れている場合等に、自車両100の運転者へ警告を報知したり、自車両100のハンドルやブレーキを制御したりするなどの車線維持制御を行う。 The calculation result of the image analysis unit 102 is also sent to the vehicle travel control unit 108. Based on the white line detection result detected by the image analysis unit 102, the vehicle travel control unit 108 warns the driver of the own vehicle 100, for example, when the vehicle 100 is out of the lane area divided by the white line. Lane maintenance control such as informing and controlling the steering wheel and the brake of the host vehicle 100 is performed.
図2は、撮像ユニット101の概略構成を示す模式図である。
図3は、撮像ユニット101に設けられる撮像部200の概略構成を示す説明図である。
撮像ユニット101は、撮像部200と、光源202と、これらを収容する撮像ケース201とから構成されている。撮像ユニット101は自車両100のフロントガラス105の内壁面側に設置される。撮像部200は、図3に示すように、撮像レンズ204と、光学フィルタ205と、画像センサ206とから構成されている。光源202は、フロントガラス105に向けて光を照射し、その光がフロントガラス105の外壁面で反射したときにその反射光が撮像部200へ入射するように配置されている。
FIG. 2 is a schematic view showing a schematic configuration of the imaging unit 101. As shown in FIG.
FIG. 3 is an explanatory view showing a schematic configuration of the imaging unit 200 provided in the imaging unit 101. As shown in FIG.
The imaging unit 101 includes an imaging unit 200, a light source 202, and an imaging case 201 that accommodates these. The imaging unit 101 is installed on the inner wall surface side of the windshield 105 of the vehicle 100. As shown in FIG. 3, the imaging unit 200 includes an imaging lens 204, an optical filter 205, and an image sensor 206. The light source 202 emits light toward the windshield 105, and when the light is reflected by the outer wall surface of the windshield 105, the light is arranged to be incident on the imaging unit 200.
本実施形態1において、光源202は、フロントガラス105の外壁面に付着した付着物(以下、付着物が雨滴である場合を例に挙げて説明する。)を検出するためのものである。フロントガラス105の外壁面に雨滴203が付着している場合、光源202から照射された光は、フロントガラス105の外壁面と外気との界面で反射し、その反射光が撮像部200へ入射する。このような撮像部200の撮像画像データから、フロントガラス105に付着する雨滴203の検出を行う。 In the first embodiment, the light source 202 is for detecting a deposit attached to the outer wall surface of the windshield 105 (hereinafter, the case where the deposit is a raindrop will be described as an example). When raindrops 203 adhere to the outer wall surface of the windshield 105, the light emitted from the light source 202 is reflected at the interface between the outer wall surface of the windshield 105 and the outside air, and the reflected light is incident on the imaging unit 200 . From such captured image data of the imaging unit 200, the raindrops 203 attached to the windshield 105 are detected.
また、本実施形態1において、撮像ユニット101は、図2に示すとおり、撮像部200や光源202を、フロントガラス105とともに撮像ケース201で覆っている。このように撮像ケース201で覆うことにより、フロントガラス105の内壁面が曇るような状況であっても、撮像ユニット101で覆われたフロントガラス105が曇ってしまう事態を抑制できる。よって、フロントガラス105の曇りによって画像解析ユニット102が誤解析するような事態を抑制でき、画像解析ユニット102の解析結果に基づく各種制御動作を適切に行うことができる。 In the first embodiment, the imaging unit 101 covers the imaging unit 200 and the light source 202 together with the windshield 105 with the imaging case 201 as shown in FIG. By covering with the imaging case 201 as described above, even when the inner wall surface of the windshield 105 is cloudy, it is possible to suppress the situation where the windshield 105 covered by the imaging unit 101 becomes cloudy. Therefore, the situation where the image analysis unit 102 misanalyzes due to the fogging of the windshield 105 can be suppressed, and various control operations based on the analysis result of the image analysis unit 102 can be appropriately performed.
ただし、フロントガラス105の曇りを撮像部200の撮像画像データから検出して、例えば自車両100の空調設備を制御する場合には、撮像部200に対向するフロントガラス105の部分が他の部分と同じ状況となるように、撮像ケース201の一部に空気の流れる通路を形成してもよい。 However, when the fogging of the windshield 105 is detected from the captured image data of the imaging unit 200 and, for example, the air conditioning equipment of the own vehicle 100 is controlled, the portion of the windshield 105 facing the imaging unit 200 A passage through which air flows may be formed in part of the imaging case 201 so as to achieve the same situation.
ここで、本実施形態1では、撮像レンズ204の焦点位置は、無限遠又は無限遠とフロントガラス105との間に設定している。これにより、フロントガラス105上に付着した雨滴203の検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部200の撮像画像データから適切な情報を取得することができる。 Here, in the first embodiment, the focal position of the imaging lens 204 is set between infinity or infinity and the windshield 105. Thus, not only when detecting raindrops 203 attached on the windshield 105 but also when detecting a leading vehicle or an oncoming vehicle or detecting a white line, appropriate information is taken from the captured image data of the imaging unit 200. It can be acquired.
例えば、フロントガラス105上に付着した雨滴203の検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、撮像画像データ上の雨滴候補画像が円形状であるかどうかを判断してその雨滴候補画像が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス105との間に焦点が合っている方が、多少ピンボケして、雨滴の形状認識率(円形状)が高くなり、雨滴検出性能が高い。 For example, when the raindrops 203 attached on the windshield 105 are detected, the shape of the raindrop image on the captured image data is often circular, so is the raindrop candidate image on the captured image data circular? A shape recognition process is performed to determine whether or not the raindrop candidate image is a raindrop image. When such shape recognition processing is performed, it is between infinity or infinity and the windshield 105 as described above, as the imaging lens 204 is focused on the raindrops 203 on the outer wall surface of the windshield 105. When the in-focus state is achieved, the raindrop shape recognition rate (circular shape) becomes high with some blurring, and the raindrop detection performance is high.
図4は、フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
図5は、無限遠に焦点が合っている場合における、雨滴検出用の撮像画像データである赤外光画像データを示す説明図である。
フロントガラス105の外壁面上の雨滴203に撮像レンズ204の焦点が合っている場合、図4に示すように、雨滴に映り込んだ背景画像203aまでが撮像される。このような背景画像203aは雨滴203の誤検出の原因となる。また、図4に示すように雨滴の一部203bだけ弓状等に輝度が大きくなる場合があり、その大輝度部分の形状すなわち雨滴画像の形状は太陽光の方向や街灯の位置などによって変化する。このような種々変化する雨滴画像の形状を形状認識処理で対応するためには処理負荷が大きく、また認識精度の低下を招く。
FIG. 4 is an explanatory view showing infrared light image data which is captured image data for raindrop detection when the imaging lens 204 is in focus on the raindrop 203 on the outer wall surface of the windshield 105.
FIG. 5 is an explanatory view showing infrared light image data which is captured image data for detecting raindrops when the image is focused at infinity.
When the imaging lens 204 is in focus on the raindrops 203 on the outer wall surface of the windshield 105, as shown in FIG. 4, even the background image 203a reflected in the raindrops is imaged. Such a background image 203 a causes erroneous detection of the raindrops 203. Further, as shown in FIG. 4, the luminance may increase in a bow shape or the like by only a portion 203b of the raindrop, and the shape of the large luminance portion, that is, the shape of the raindrop image changes depending on the direction of sunlight or the position of a street lamp . In order to correspond to the shape of such a varying raindrop image by shape recognition processing, the processing load is large, and the recognition accuracy is lowered.
これに対し、無限遠に焦点が合っている場合には、図5に示すように、多少のピンボケが発生する。そのため、背景画像203aの映り込みが撮像画像データに反映されず、雨滴203の誤検出が軽減される。また、多少のピンボケが発生することで、太陽光の方向や街灯の位置などによって雨滴画像の形状が変化する度合いが小さくなり、雨滴画像の形状は常に略円形状となる。よって、雨滴203の形状認識処理の負荷が小さく、また認識精度も高い。 On the other hand, when the camera is in focus at infinity, some defocusing occurs as shown in FIG. Therefore, the reflection of the background image 203a is not reflected on the captured image data, and the erroneous detection of the raindrop 203 is reduced. In addition, the occurrence of slight defocusing reduces the degree to which the shape of the raindrop image changes depending on the direction of sunlight, the position of the streetlight, and the like, and the shape of the raindrop image always has a substantially circular shape. Therefore, the load of the shape recognition processing of the raindrops 203 is small, and the recognition accuracy is also high.
ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、画像センサ206上のテールランプの光を受光する受光素子が1個程度になることがある。この場合、詳しくは後述するが、テールランプの光がテールランプ色(赤色)を受光する赤色用受光素子に受光されないおそれがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ204の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。 However, when the camera is in focus at infinity, there may be only one light receiving element for receiving the light of the tail lamp on the image sensor 206 when identifying the tail lamp of the preceding vehicle traveling in the distance. In this case, although the details will be described later, there is a risk that the light of the tail lamp is not received by the red light receiving element that receives the tail lamp color (red), and in that case, the tail lamp can not be recognized and the preceding vehicle can not be detected. In order to avoid such a defect, it is preferable to focus the imaging lens 204 in front of infinity. As a result, the tail lamp of the preceding vehicle traveling far away is defocused, so the number of light receiving elements that receive the light of the tail lamp can be increased, and the recognition accuracy of the tail lamp is improved, and the detection accuracy of the preceding vehicle is improved.
撮像ユニット101の光源202には、発光ダイオード(LED)や半導体レーザ(LD)などを用いることができる。また、光源202の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源202の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサ206の受光感度がおよぶ範囲の波長、例えば800nm以上1000nm以下の赤外光領域の波長を選択するのが好ましい。本実施形態1の光源202は、赤外光領域の波長を有する光を照射するものである。 A light emitting diode (LED), a semiconductor laser (LD), or the like can be used as the light source 202 of the imaging unit 101. Further, as the emission wavelength of the light source 202, for example, visible light or infrared light can be used. However, in order to avoid dazzles the driver or pedestrian of the oncoming vehicle with the light of the light source 202, the wavelength is longer than visible light and the wavelength of the light receiving sensitivity of the image sensor 206 is, for example, 800 nm or more It is preferable to select a wavelength of infrared light region of 1000 nm or less. The light source 202 of Embodiment 1 emits light having a wavelength in the infrared light region.
ここで、フロントガラス105で反射した光源202からの赤外波長光を撮像部200で撮像する際、撮像部200の画像センサ206では、光源202からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源202からの赤外波長光をこのような大光量の外乱光と区別するためには、光源202の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源202を用いることは困難である場合が多い。 Here, when the infrared wavelength light from the light source 202 reflected by the front glass 105 is imaged by the imaging unit 200, the image sensor 206 of the imaging unit 200 may, for example, receive sunlight in addition to the infrared wavelength light from the light source 202. Also, disturbance light with a large amount of light including the infrared wavelength light of Therefore, to distinguish the infrared wavelength light from the light source 202 from the disturbance light of such a large light amount, it is necessary to make the light emission amount of the light source 202 sufficiently larger than the disturbance light, but such a large light emission Using an amount of light source 202 is often difficult.
そこで、本実施形態1においては、例えば、図6に示すように光源202の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図7に示すように透過率のピークが光源202の発光波長とほぼ一致したバンドパスフィルタを介して、光源202からの光を画像センサ206で受光するように構成する。これにより、光源202の発光波長以外の光を除去して受光できるので、画像センサ206で受光される光源202からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源202でなくても、光源202からの光を外乱交と区別することが可能となる。 Therefore, in the first embodiment, for example, as shown in FIG. 6, a cut filter that cuts light having a wavelength shorter than the light emission wavelength of the light source 202, or a peak of transmittance as shown in FIG. The light from the light source 202 is configured to be received by the image sensor 206 through a band pass filter that substantially matches the emission wavelength of the light source 202. As a result, light other than the emission wavelength of the light source 202 can be removed and received, so that the light quantity from the light source 202 received by the image sensor 206 becomes relatively larger than the disturbance light. As a result, even if it is not the light source 202 with a large light emission amount, it is possible to distinguish the light from the light source 202 from the disturbance.
ただし、本実施形態1においては、撮像画像データから、フロントガラス105上の雨滴203を検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源202が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサ206で受光できず、これらの検出に支障をきたす。 However, in the first embodiment, not only the raindrops 203 on the windshield 105 are detected from the captured image data, but also detection of a preceding vehicle or an oncoming vehicle or detection of a white line is performed. Therefore, when the wavelength band other than the infrared wavelength light irradiated by the light source 202 is removed from the entire captured image, the light of the wavelength band necessary for the detection of the preceding vehicle or the oncoming vehicle or the detection of the white line is received by the image sensor 206 It is not possible to interfere with these detections.
そこで、本実施形態1では、撮像画像データの画像領域を、フロントガラス105上の雨滴203を検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源202が照射する赤外波長光以外の波長帯を除去するフィルタ(以下、「雨滴検出用フィルタ」という場合もある。)を、光学フィルタ205に配置している。すなわち、雨滴検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在する領域を撮像した撮像画像データの領域である。また、車両検出用画像領域は、撮像領域のうち、雨滴検出用フィルタが存在しない領域を撮像した撮像画像データの領域である。 Therefore, in the first embodiment, the image area of the captured image data is a raindrop detection image area for detecting raindrops 203 on the windshield 105, and detection of a preceding vehicle or an oncoming vehicle or detection of a white line. A filter (also referred to as a "raindrop detection filter") that divides the vehicle detection image area and removes wavelength bands other than the infrared wavelength light emitted by the light source 202 only for the portion corresponding to the raindrop detection image area ) Is disposed in the optical filter 205. That is, the raindrop detection image area is an area of captured image data obtained by imaging an area where a raindrop detection filter is present in the imaging area. Further, the vehicle detection image area is an area of captured image data obtained by imaging an area in the imaging area where the raindrop detection filter does not exist.
図8(a)は、光学フィルタ205の断面図である。
本実施形態1の光学フィルタ205は、図8(a)に示すように、基板221の撮像レンズ側205aの面には、赤外光および可視光相当を透過する分光フィルタ層224が形成されている。また、基板221の画像センサ側205bの面には、偏光フィルタ層222、SOG(Spin On Glass)層223、雨滴検出用フィルタである赤外光透過フィルタ212が順に形成されている。
FIG. 8A is a cross-sectional view of the optical filter 205.
In the optical filter 205 of the first embodiment, as shown in FIG. 8A, a spectral filter layer 224 that transmits infrared light and visible light is formed on the surface on the imaging lens side 205a of the substrate 221. There is. Further, on the surface on the image sensor side 205b of the substrate 221, a polarization filter layer 222, an SOG (Spin On Glass) layer 223, and an infrared light transmission filter 212 which is a raindrop detection filter are formed in order.
このようにフィルタ層を光学フィルタ205の基板221の両面に形成することにより、光学フィルタ205の反りを抑制することが可能となる。基板221の片側面の面にだけ多層膜を形成すると応力がかかり、反りが生じる。しかしながら、図8(a)のように基板221の両面に多層膜を形成した場合は、応力の効果が相殺されるため、反りを抑制することができる。 By thus forming the filter layers on both sides of the substrate 221 of the optical filter 205, it is possible to suppress the warping of the optical filter 205. When a multilayer film is formed only on the surface of one side surface of the substrate 221, stress is applied and warpage occurs. However, in the case where multilayer films are formed on both surfaces of the substrate 221 as shown in FIG. 8A, the effect of stress is offset, so that warpage can be suppressed.
ここで、基板221は、可視光域に対して透明な材料、例えば、ガラス、サファイア、水晶などで構成することができる。本実施形態1では、ガラス、特に、安価で、また耐久性もある石英(屈折率1.46)やテンパックスガラス(屈折率1.51)を基板221の材料として用いる。 Here, the substrate 221 can be made of a material that is transparent to the visible light range, such as glass, sapphire, or quartz. In the first embodiment, glass, in particular, inexpensive and durable quartz (refractive index 1.46) or tempered glass (refractive index 1.51) is used as the material of the substrate 221.
また、基板221の光学フィルタ205a側の面に形成された分光フィルタ層224は、波長範囲400nm〜670nmのいわゆる可視光領域と、波長範囲940〜970nmの赤外光領域の双方を透過するフィルタである。なお、可視光領域は車両周辺情報を検出するのに用い、赤外光領域は雨滴を検出するために用いる。また、分光フィルタ層224は、波長700〜940nmの範囲の光を透過しない(透過率5%以下が望ましい)。これは、この波長範囲を取り込んだ場合、得られる画像データは全体的に赤くなってしまい、テールランプの赤色を示す部分などを抽出することが困難となることがある。そこで、赤外光をカットする特性をもつフィルタを形成してやれば、外乱となる他の色の光を除去できるため、例えばテールランプの検出精度を向上させることができる。 The spectral filter layer 224 formed on the surface of the substrate 221 on the side of the optical filter 205a is a filter that transmits both a so-called visible light region of a wavelength range of 400 nm to 670 nm and an infrared light region of a wavelength range of 940 to 970 nm. is there. The visible light region is used to detect vehicle peripheral information, and the infrared light region is used to detect raindrops. In addition, the spectral filter layer 224 does not transmit light in the wavelength range of 700 to 940 nm (a transmittance of 5% or less is desirable). In this case, when this wavelength range is taken in, the image data obtained as a whole becomes red, and it may be difficult to extract a portion showing the red of the tail lamp and the like. Therefore, by forming a filter having a characteristic of cutting infrared light, it is possible to remove light of another color that is a disturbance, for example, it is possible to improve the detection accuracy of the tail lamp.
また、光学フィルタ205b側の面に形成された偏光フィルタ層222は、S偏光成分をカットし、P偏光成分のみを透過するフィルタである。この偏光フィルタ層222により、外乱要因や不要反射光(映りこみ光)をカットすることができる。 The polarization filter layer 222 formed on the surface on the optical filter 205b side is a filter that cuts the S-polarization component and transmits only the P-polarization component. The polarization filter layer 222 can cut disturbance factors and unwanted reflection light (reflection light).
本実施形態1では、偏光フィルタ層222は、ワイヤグリッド偏光子で形成されている。ワイヤグリッドは、アルミなどの金属で構成された導電体線が特定のピッチで格子状に配列してなるものであり、そのピッチが入射光(例えば、可視光の波長400nmから800nm)に比べてかなり小さいピッチ(例えば、2分の1以下)であれば、導電体線に対して平行に振動する電場ベクトル成分の光をほとんど反射し、導電体線に対して垂直な電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。 In the first embodiment, the polarization filter layer 222 is formed of a wire grid polarizer. In the wire grid, conductor wires made of metal such as aluminum are arranged in a lattice at a specific pitch, and the pitch is smaller than that of incident light (for example, wavelength 400 nm to 800 nm of visible light). A relatively small pitch (for example, half or less) reflects most of the light of the electric field vector component oscillating parallel to the conductor wire and the light of the electric field vector component perpendicular to the conductor wire Because it transmits almost, it can be used as a polarizer that produces single polarization.
なお、ワイヤグリッド偏光子においては、金属ワイヤ断面積が増加すると、消光比が増加すること、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。ワイヤグリッドの断面構造において溝方向の偏光方向の光が入射したときは遮光し、溝と直交する方向の偏光方向の光が入射したときは透過する。 In the wire grid polarizer, when the metal wire cross-sectional area is increased, the extinction ratio is increased, and the transmittance is decreased for a metal wire having a predetermined width or more with respect to the period width. In addition, when the cross-sectional shape orthogonal to the longitudinal direction of the metal wire is a tapered shape, the wavelength dispersion of the transmittance and the polarization degree is small in a wide band, and high extinction ratio characteristics are exhibited. In the cross-sectional structure of the wire grid, light is blocked when light in the polarization direction in the groove direction is incident, and light is transmitted when light in the polarization direction in the direction orthogonal to the grooves is incident.
本実施形態1では、偏光フィルタ層222の偏光子として、ワイヤグリッド構造を用いているため、以下のような利点がある。すなわち、ワイヤグリッド構造は、よく知られる半導体プロセス、すなわちアルミ薄膜を蒸着した後にパターニングを行いメタルエッチングなどの手法によりワイヤグリッドのサブ波長凹凸構造を形成すればよい。よって、撮像素子の画素サイズ相当(数ミクロンレベル)で偏光子の方向を調整することが可能であるため、本実施例のような画素単位で透過偏光軸が選択できる。また、ワイヤグリッド構造は上述のとおり、アルミなどの金属で作製されるため、耐熱性に優れ、車載用途には好適である。 In Embodiment 1, since a wire grid structure is used as a polarizer of the polarization filter layer 222, the following advantages can be obtained. That is, in the wire grid structure, the sub-wavelength uneven structure of the wire grid may be formed by a well-known semiconductor process, that is, patterning after depositing an aluminum thin film and performing a method such as metal etching. Therefore, since it is possible to adjust the direction of the polarizer by the pixel size (several microns level) of the image pickup device, the transmission polarization axis can be selected in pixel units as in this embodiment. Further, as described above, since the wire grid structure is made of metal such as aluminum, it has excellent heat resistance and is suitable for in-vehicle use.
本実施形態1のSOG層223は、使用帯域の光に透明な基板と、基板上で直線状に延びたワイヤグリッドの凸部は使用帯域の光の波長よりも小さいピッチで配列されている。そのアルミ凸部の間には基板221よりも屈折率の低いか同等の無機材料が充填された充填部が形成されてなる。この充填部はワイヤグリッド構造の凸部も覆うように形成されてなる。 In the SOG layer 223 of Embodiment 1, the substrate transparent to light in the use band and the convex portions of the wire grid linearly extended on the substrate are arranged at a pitch smaller than the wavelength of the light in the use band. Between the aluminum convexes, a filling portion filled with an inorganic material having a refractive index lower than or equal to that of the substrate 221 is formed. The filling portion is formed to also cover the convex portion of the wire grid structure.
SOG層223の形成材料としては、偏光フィルタ層222の偏光子の偏光特性を劣化させないために、その屈折率が空気の屈折率=1に極力近い低屈折率材料であることが好ましい。例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、ポーラスシリカ(SiO2)、ポーラスフッ化マグネシウム(MgF)、ポーラスアルミナ(Al2O3)などが挙げられる。また、これらの低屈折率の程度はセラミックス中の空孔の数や大きさ(ポーラス度)によって決まるものである。このうち、特に、基板221の主成分がシリカの水晶やガラスからなる場合にはポーラスシリカ(n=1.22〜1.26)であれば、基板221よりも屈折率が小さくなり好適である。 As a forming material of the SOG layer 223, in order not to degrade the polarization properties of the polarizer of the polarization filter layer 222, it is preferable that the refractive index be a low refractive index material as close as possible to the refractive index of air = 1. For example, a porous ceramic material formed by dispersing fine pores in a ceramic is preferable, and porous silica (SiO 2 ), porous magnesium fluoride (MgF), porous alumina (Al 2 O 3 ), etc. are mentioned. Be Further, the degree of these low refractive indices is determined by the number and size (porosity) of the pores in the ceramic. Among these, when the main component of the substrate 221 is made of quartz crystal or glass of silica, the refractive index is preferably smaller than that of the substrate 221 if porous silica (n = 1.22 to 1.26). .
SOG層223の形成方法としては、無機系塗布膜(SOG)生成方法を用いる。すなわち、シラノール[Si(OH)4]をアルコールに溶かした溶剤を基板上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で形成される。 As a method of forming the SOG layer 223, a method of forming an inorganic coating film (SOG) is used. That is, a solvent in which silanol [Si (OH) 4 ] is dissolved in alcohol is spin-coated on a substrate, and then the solvent component is volatilized by heat treatment to form a dehydration polymerization reaction of silanol itself.
SOG層223を用いることにより、偏光フィルタ層222がサブ波長サイズのワイヤグリッド構造であるため、SOG層223の上に形成される赤外光透過フィルタ212に比べ強度的には弱い。とくに光学フィルタ205は、画像センサ206に密着配置することが望まれるため、そのハンドリングにおいては光学フィルタ205と画像センサ206の撮像素子面が接触する可能性もあるが、強度的に弱い偏光フィルタ層222はSOG層223で保護されているため、ワイヤグリッド構造を損傷することなく光学フィルタ205タを実装することができる。なお分光フィルタ層224もSOG層223で保護することも可能である。 By using the SOG layer 223, since the polarization filter layer 222 has a wire grid structure with a sub-wavelength size, its intensity is weaker than that of the infrared light transmission filter 212 formed on the SOG layer 223. In particular, since it is desirable that the optical filter 205 be disposed in close contact with the image sensor 206, there is a possibility that the optical filter 205 and the image pickup device surface of the image sensor 206 contact in its handling. Since the 222 is protected by the SOG layer 223, the optical filter 205 can be mounted without damaging the wire grid structure. The spectral filter layer 224 can also be protected by the SOG layer 223.
また、SOG層223を設けることにより、ワイヤグリッド部への付着物進入も抑制できる。ワイヤグリッドの凸部の高さは一般に使用波長の半分以下で構成される。一方、分光フィルタは使用波長同等から数倍の高さとなり、かつ厚みを増すほど遮断波長での透過率特性を急峻に出来る。そして、SOG層223は厚さが増すほど、その上面の平坦性確保が難しくなるとともに、充填領域の均質性が損なわれるなどの理由により、厚くするのは適切ではない。本実施形態1では偏光フィルタ層222をSOG層223で覆ったのちに赤外光透過フィルタ212を形成しているため、SOG層223を安定的に形成することができる。またSOG層223の上面に形成する赤外光透過フィルタ212もその特性を最適に形成することが可能である。 In addition, by providing the SOG layer 223, it is possible to suppress the invading matter to the wire grid portion. The height of the convex portion of the wire grid is generally configured to be half or less of the used wavelength. On the other hand, the spectral filter has a height equal to or several times that of the used wavelength, and as the thickness is increased, the transmittance characteristic at the cutoff wavelength can be made steeper. Further, as the thickness of the SOG layer 223 increases, it becomes more difficult to ensure the flatness of the upper surface thereof, and it is not appropriate to increase the thickness because the uniformity of the filling region is impaired. In the first embodiment, since the infrared light transmission filter 212 is formed after the polarization filter layer 222 is covered with the SOG layer 223, the SOG layer 223 can be stably formed. The infrared light transmission filter 212 formed on the upper surface of the SOG layer 223 can also be formed optimally.
図8(b)は、光学フィルタ205の画像センサ側の正面図である。
図9は、撮像画像データの画像例を示す説明図である。
光学フィルタ205は、図8(b)に示すように、車両検出用画像領域213である撮像画像中央部(撮像領域の高さ2/4に相当する部分)に対応する箇所に配置される領域211と、雨滴検出用画像領域214である撮像画像上部(撮像領域高さ1/4に相当する部分)及び撮像画像下部(撮像領域高さ1/4に相当する部分)に対応する箇所に配置される赤外光透過フィルタ212とに、領域分割されている。赤外光透過フィルタ212には、図6に示したカットフィルタや図7に示したバンドパスフィルタを用いる。
FIG. 8B is a front view of the optical filter 205 on the image sensor side.
FIG. 9 is an explanatory view showing an image example of captured image data.
As shown in FIG. 8B, the optical filter 205 is an area disposed at a position corresponding to the center of the captured image (the area corresponding to the height 2/4 of the imaging area) which is the vehicle detection image area 213. 211, and disposed at a position corresponding to the upper part of the captured image (a part corresponding to 1/4 of the imaging area height) and the lower part of the captured image (a part corresponding to the imaging area 1/4) And the infrared light transmission filter 212 is divided into regions. As the infrared light transmission filter 212, the cut filter shown in FIG. 6 or the band pass filter shown in FIG. 7 is used.
対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の画像は、主に撮像画像上下方向中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在し、撮像画像上部には自車両前方の空の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部や上部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは白線の検出と雨滴の検出とを両立して行う場合には、図9に示すように、撮像画像下部と上部を雨滴検出用画像領域214とし、残りの撮像画像中央部を車両検出用画像領域213とし、これに対応して赤外光透過フィルタ212を設けるのが好適である。 Headlamps of oncoming vehicles, tail lamps of preceding vehicles, and white lines often exist mainly at the center of the captured image in the vertical direction, and an image of the closest road surface ahead of the vehicle exists at the lower part of the captured image. It is normal that there is an image of the sky ahead of the host vehicle at the top. Therefore, the head lamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the information necessary for identifying the white line are concentrated at the central portion of the captured image, and the information at the lower and upper portions of the captured image is not very important in the identification. Therefore, when performing detection of an oncoming vehicle, a preceding vehicle, or a white line and detection of raindrops from a single captured image data, as shown in FIG. It is preferable that the area 214 be the remaining center of the captured image be the vehicle detection image area 213, and the infrared light transmission filter 212 be provided correspondingly.
ただし、本実施形態1においては、撮像画像上部を雨滴検出用画像領域214とし、残りの撮像画像中央部及び下部を車両検出用画像領域213とする。これは、後述するように、雨滴検出用の撮像フレームのフレーム時間を短くするのに好適だからである。 However, in the first embodiment, the upper part of the captured image is used as the raindrop detection image area 214, and the remaining central part and the lower part of the captured image are used as the vehicle detection image area 213. This is because, as described later, this is suitable for shortening the frame time of the imaging frame for raindrop detection.
撮像部200の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態1では、撮像画像下部に対応する箇所に図6に示したカットフィルタや図7に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。 When the imaging direction of the imaging unit 200 is inclined downward, the hood of the host vehicle may intrude into the lower part in the imaging region. In this case, the sunlight reflected by the bonnet of the own vehicle, the tail lamp of the preceding vehicle, and the like become disturbance light, and this is included in the captured image data to cause erroneous identification of the headlamp of the oncoming vehicle, the tail lamp of the preceding vehicle, and the white line. Become. Even in such a case, in the first embodiment, since the cut filter shown in FIG. 6 and the band pass filter shown in FIG. 7 are arranged in the part corresponding to the lower part of the captured image, the sunlight reflected by the bonnet The disturbance light such as the tail lamp of the preceding vehicle is removed. Therefore, the identification accuracy of the headlamp of the oncoming vehicle and the tail lamp of the preceding vehicle and the white line is improved.
ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別することが必要となる。そこで、本実施形態1では、後述するように、光学フィルタ205の後段フィルタ220に、テールランプの色に合わせた赤色フィルタあるいはシアンフィルタ(テールランプの色の波長帯のみを透過させるフィルタ)を配置し、赤色光の受光量を検知できるようにしている。 Here, when detecting a leading vehicle, detection of the leading vehicle is performed by identifying a tail lamp on the captured image, but the tail lamp has a smaller amount of light compared to the headlamp of the oncoming vehicle, and disturbance such as a street lamp Since a large amount of light is also present, it is difficult to detect the tail lamp with high accuracy from only simple luminance data. Therefore, it is necessary to use spectral information to identify the tail lamp and to identify the tail lamp based on the amount of received red light. Therefore, in the first embodiment, as described later, a red filter or a cyan filter (a filter that transmits only the wavelength band of the color of the tail lamp), which is matched to the color of the tail lamp, is disposed in the rear stage filter 220 of the optical filter 205, The amount of received red light can be detected.
ただし、本実施形態1の画像センサ206を構成する各受光素子は、赤外波長帯の光に対しても感度を有するので、赤外波長帯を含んだ光を画像センサ206で受光すると、得られる撮像画像は全体的に赤みを帯びたものとなってしまう。その結果、テールランプに対応する赤色の画像部分を識別することが困難となる場合がある。そこで、本実施形態1では、光学フィルタ205の前段フィルタ210において、車両検出用画像領域213に対応する箇所を赤外光カットフィルタ領域211としている。これにより、テールランプの識別に用いる撮像画像データ部分から赤外波長帯が除外されるので、テールランプの識別精度が向上する。 However, since each light receiving element constituting the image sensor 206 according to the first embodiment has sensitivity to light in the infrared wavelength band, it is obtained when the light including the infrared wavelength band is received by the image sensor 206. The captured image becomes reddish as a whole. As a result, it may be difficult to identify the red image portion corresponding to the tail lamp. Therefore, in the first embodiment, in the pre-stage filter 210 of the optical filter 205, a portion corresponding to the vehicle detection image area 213 is used as the infrared light cut filter area 211. As a result, since the infrared wavelength band is excluded from the captured image data portion used for identifying the tail lamp, the identification accuracy of the tail lamp is improved.
図10は、本実施形態1における撮像部200の詳細を示す説明図である。
この撮像部200は、主に、撮像レンズ204と、光学フィルタ205と、受光素子が2次元配置された画素アレイを有する画像センサ206を含んだセンサ基板207と、センサ基板207から出力されるアナログ電気信号(画像センサ206上の各受光素子が受光した受光量)をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部208とから構成されている。被写体(識別対象物)を含む撮像領域からの光は、撮像レンズ204を通り、光学フィルタ205を透過して、画像センサ206でその光強度に応じた電気信号に変換される。信号処理部208では、画像センサ206から出力される電気信号(アナログ信号)が入力されると、その電気信号から、撮像画像データとして、画像センサ206上における各画素の明るさ(輝度)を示すデジタル信号を、画像の水平・垂直同期信号とともに後段のユニットへ出力する。
FIG. 10 is an explanatory view showing the details of the imaging unit 200 in the first embodiment.
The imaging unit 200 mainly includes a sensor substrate 207 including an imaging lens 204, an optical filter 205, and an image sensor 206 having a pixel array in which light receiving elements are two-dimensionally arranged, and an analog output from the sensor substrate 207 A signal processing unit 208 generates and outputs captured image data obtained by converting an electric signal (the amount of light received by each light receiving element on the image sensor 206) into a digital electric signal. Light from an imaging region including a subject (identification target) passes through the imaging lens 204, passes through the optical filter 205, and is converted into an electrical signal according to the light intensity by the image sensor 206. When the electric signal (analog signal) output from the image sensor 206 is input to the signal processing unit 208, the electric signal indicates the brightness (brightness) of each pixel on the image sensor 206 as captured image data. The digital signal is output to the subsequent unit along with the horizontal and vertical synchronization signals of the image.
図11は、光学フィルタ205と画像センサ206とを光透過方向に対して直交する方向から見たときの模式拡大図である。
画像センサ206は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などを用いた受光素子であり、画素ごとにフォトダイオード206Aを用いている。フォトダイオード206Aは、画素ごとに2次元的にアレイ配置されており、フォトダイオード206Aの集光効率を上げるために、各フォトダイオード206Aの入射側にはマイクロレンズ206Bが設けられている。この画像センサ206がワイヤボンディングなどの手法によりPWB(Printed Wiring Board)に接合されてセンサ基板207が形成されている。
FIG. 11 is a schematic enlarged view when the optical filter 205 and the image sensor 206 are viewed from the direction orthogonal to the light transmission direction.
The image sensor 206 is a light receiving element using a charge coupled device (CCD), a complementary metal oxide semiconductor (CMOS), or the like, and uses a photodiode 206A for each pixel. The photodiodes 206A are two-dimensionally arrayed for each pixel, and in order to increase the light collection efficiency of the photodiodes 206A, the microlenses 206B are provided on the incident side of each photodiode 206A. The image sensor 206 is bonded to a PWB (Printed Wiring Board) by a method such as wire bonding to form a sensor substrate 207.
画像センサ206の露光方式としては、全受光素子で同時に受光(同時露光)して各受光素子の信号を読み出すグローバルシャッタ方式や、所定の受光素子ラインごとに順次受光(ライン露光)して各受光素子の信号を読み出すローリングシャッタ方式を採用することができる。本実施形態1ではローリングシャッタ方式を採用する例について説明する。 As an exposure method of the image sensor 206, a global shutter method of receiving light simultaneously (simultaneous exposure) by all the light receiving elements and reading out the signal of each light receiving element, or sequentially receiving light (line exposure) for each predetermined light receiving element line A rolling shutter system that reads out the signal of the element can be adopted. In the first embodiment, an example in which a rolling shutter system is adopted will be described.
光学フィルタ205と画像センサ206はUV接着剤で接合してもよいし、撮影に用いる有効画素範囲外をスペーサなどで支持した状態で有効画素外の四辺領域でUV接着や熱圧着してやればよい。光学フィルタ205と画像センサ206を密着接合することにより、雨滴検出用画像領域214と車両検出用画像領域213の境界が明確になり、雨滴有無の判別精度が上げられる。 The optical filter 205 and the image sensor 206 may be bonded by a UV adhesive, or UV bonding or thermocompression bonding may be performed in the four side areas outside the effective pixel while the outside of the effective pixel range used for imaging is supported by a spacer. By closely bonding the optical filter 205 and the image sensor 206, the boundary between the raindrop detection image area 214 and the vehicle detection image area 213 becomes clear, and the determination accuracy of the presence or absence of raindrops can be raised.
次に、本実施形態1による、ワイパー107やウォッシャーを制御するための付着物検出が可能である。ここで、付着物とは、雨滴であるが、この他、鳥の糞、隣接車両からの跳ねてきた路面上の水しぶきなどを含めることもできる。 Next, the deposit detection for controlling the wiper 107 and the washer according to the first embodiment is possible. Here, the deposits are raindrops, but can also include bird droppings, splashes on the road surface that bounce off from adjacent vehicles, and the like.
図12は、付着物検出を説明するための図である。
光源202は、フロントガラスの外側面の正反射光が撮像レンズの光軸と略一致するように配置される。撮像部200が受光する光線について、図中の光線A〜Eの標記を用いて説明する。
FIG. 12 is a diagram for explaining the attached matter detection.
The light source 202 is disposed so that the specularly reflected light on the outer surface of the windshield substantially matches the optical axis of the imaging lens. The rays received by the imaging unit 200 will be described using the marks of rays A to E in the drawing.
光線Aは、光源202から出射してフロントガラスを通過した光線であり、フロントガラス105の撮像部200から見て外側に雨滴が付着していない場合はそのまま外部に漏れる。なお、光源202としてはアイセーフ帯の波長・光量の光源を選択されるとともに、図12に示すように上側に向けて光を出力することにより安全性がより図られている。 A light ray A is a light ray emitted from the light source 202 and having passed through the windshield, and when no raindrop adheres to the outside as viewed from the imaging unit 200 of the windshield 105, the ray leaks to the outside as it is. In addition, while selecting the light source of the wavelength and light quantity of an eye-safe zone as a light source 202, as shown in FIG. 12, safety is further achieved by outputting light toward upper side.
光線Bは、光源202からの出射光のうち、フロントガラス105の内壁面に入射するときにその内壁面で反射された光線である。一般に、光線Bの偏光成分は、S偏光成分であることが知られている。このような光は、本来の雨滴検出にとっては不要光となり誤検出の原因となるが、本実施形態1では、光学フィルタ205の偏光フィルタ層222によりS偏光成分をカットされるようになっているため不要光を除去することが可能である。 The ray B is a ray of the light emitted from the light source 202 which is reflected by the inner wall surface of the windshield 105 when the light ray is incident on the inner wall surface. In general, it is known that the polarization component of light ray B is an S polarization component. Such light is unnecessary light for original raindrop detection and causes erroneous detection. However, in the first embodiment, the S polarization component is cut by the polarization filter layer 222 of the optical filter 205. Therefore, unnecessary light can be removed.
光線Cは、光源202からの出射光のうち、フロントガラス105の内壁面で反射されずにフロントガラス105内を透過し、画像センサ206に入射する光線である。フロントガラス105内に入射した光は、フロントガラス105の外壁面に雨滴が付着している場合にはその雨滴内部で多重反射して撮像部200側に向けて再度フロントガラス内を透過し、撮像部の光学フィルタ205に到達する。フロントガラス105内を透過した光線Cの成分は、P偏光成分がS偏光成分に比べて多くなるので、分光フィルタ層224を透過し、続く偏光フィルタ層222ではP偏光成分が透過するようにワイヤグリッド構造の溝方向が形成されているため、ここをも通過する。このとき、雨滴検出用画像領域に対応して光源202の波長に合わせた赤外光透過フィルタ212が形成されているが、光線Cはここを透過し、画像センサ206に到達する。 A ray C is a ray of the light emitted from the light source 202 which is not reflected by the inner wall surface of the windshield 105 but passes through the inside of the windshield 105 and enters the image sensor 206. When raindrops adhere to the outer wall surface of the windshield 105, light incident on the inside of the windshield 105 is multiple-reflected inside the raindrops and transmitted again through the windshield toward the imaging unit 200 side for imaging Arrives at the optical filter 205 of the The component of the light beam C transmitted in the windshield 105 has a P-polarization component more than a S-polarization component, so the light passes through the spectral filter layer 224 and the subsequent polarization filter layer 222 transmits the P-polarization component in a wire Since the groove direction of the grid structure is formed, it also passes through here. At this time, the infrared light transmission filter 212 matched to the wavelength of the light source 202 is formed corresponding to the raindrop detection image area, but the light ray C is transmitted therethrough to reach the image sensor 206.
光線Dは、光源202ではなく、フロントガラス105の外側から入射して撮像部200に到達する光のうち、雨滴検出用画像領域に対応する画像センサ部分に到達する光線であり。この光線Dは、赤外光透過フィルタでその多くがカットされるので、雨滴検出用画像領域についてはフロントガラス105外側の外乱光もカットされる構成となっている。 The light ray D is not a light source 202 but a light ray that arrives at the imaging unit 200 from the outside of the windshield 105 and reaches the image sensor portion corresponding to the raindrop detection image area. Most of the light ray D is cut by the infrared light transmission filter, so that disturbance light outside the windshield 105 is also cut in the raindrop detection image area.
光線Eは、雨滴検出用画像領域以外の画像領域、すなわち赤外光透過フィルタ212が存在しない車両検出用画像領域に対応する光学フィルタ部分を通過する光線である。この光線Eは、可視域および赤外光のみ透過するとともに、P偏光成分のみとなり不要光がカットされた状態で画像センサ206に到達し、各種アプリケーション用の信号として検出される。 The light beam E is a light beam passing through an image area other than the raindrop detection image area, that is, an optical filter portion corresponding to the vehicle detection image area where the infrared light transmission filter 212 is not present. The light beam E transmits only the visible region and infrared light, and reaches only the P-polarization component and reaches the image sensor 206 in a state where unnecessary light is cut, and is detected as a signal for various applications.
光源202は、雨滴と空気の境界面のいずれかの面での反射光が撮像されるように、フロントガラス105への入射角度が設定される。雨滴からの反射光が最も強くなるレイアウトは、図12に示すように、フロントガラス105面の法線に対して撮像部200の光軸と略反対側の位置に設置された場合、および撮像部200の光軸とほぼ同じ光軸となるように配置した場合であり、反射光が最も小さいのはフロントガラス105の法線と光源の光軸がほぼ一致した場合である。 The light source 202 is set to have an angle of incidence on the windshield 105 so that the reflected light on any surface of the raindrop-air interface can be imaged. The layout in which the reflected light from the raindrops is the strongest is, as shown in FIG. 12, when installed at a position substantially opposite to the optical axis of the imaging unit 200 with respect to the normal to the front surface of the windshield 105; It is a case where it arrange | positions so that it may become an optical axis substantially the same as the optical axis of 200, and reflected light is the smallest when the normal line of the windshield 105 and the optical axis of a light source correspond substantially.
なお、光源202は、赤外光透過フィルタ212の領域にのみ照射するように配置することができる。これにより、車両検出用画像領域からのノイズ成分を回避することができる。また、光源202を複数設けてもよい。この場合は、偏光フィルタ層222の各領域の偏光子パタンは、複数の光源202のうち偏光子パタンへの入射光量が最も大きい光源がフロントガラス105へ向かって出射する光の光軸と、撮像レンズの光軸との2つの光軸で形成される面に対して平行な偏光成分のみを透過するように設定される。 The light source 202 can be arranged to irradiate only the region of the infrared light transmission filter 212. Thereby, noise components from the vehicle detection image area can be avoided. In addition, a plurality of light sources 202 may be provided. In this case, the polarizer pattern of each region of the polarization filter layer 222 is an optical axis of light emitted from the light source 202 having the largest amount of incident light to the polarizer pattern toward the windshield 105, It is set to transmit only the polarization component parallel to the plane formed by the two optical axes with the optical axis of the lens.
光源202の発光方法としては、連続発光(CW発光ともいう。)の他、特定のタイミングでパルス発光させてもよい。発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。また、複数の光源202を設置した場合には、複数の光源202を同時に発光させてもよいし、順次発光させてもよい。順次発光させた場合は、その発光のタイミングと撮影のタイミングとを同期することにより、外乱光による影響をより減少させることができる。 As a light emission method of the light source 202, pulse emission may be performed at a specific timing in addition to continuous emission (also referred to as CW emission). By synchronizing the light emission timing and the imaging timing, the influence of disturbance light can be further reduced. When a plurality of light sources 202 are installed, the plurality of light sources 202 may emit light simultaneously or may emit light sequentially. When light is sequentially emitted, the influence of disturbance light can be further reduced by synchronizing the light emission timing and the imaging timing.
ここで、発明者らが撮影した実験結果を図13、図14に示す。
図13は雨滴が付着している状態の実験結果を示す図である。
図14は雨滴が付着していない状態の実験結果を示す図である。
なお、この実験結果を示す図は、画像領域の下部が雨滴検出用画像領域となっている例である。
Here, the experimental result which the inventors image | photographed is shown in FIG. 13, FIG.
FIG. 13 is a diagram showing experimental results in a state in which raindrops are attached.
FIG. 14 is a diagram showing experimental results in a state in which no raindrops are attached.
The figure showing this experimental result is an example in which the lower part of the image area is the raindrop detection image area.
図15は、雨滴量が異なる雨滴検出用画像領域の状態を示す拡大図である。
図15に示す撮影画像の輝度の標準偏差値を計算すると、それぞれ、左の画像から、20、27、39となり、輝度の標準偏差値と雨量との間には相関があることがわかる。このため、本実施形態1では、画像解析ユニット102において、雨滴検出用画像領域の撮像画像から、輝度の標準偏差値に関する値を算出し、この標準偏差値に基づき、雨量の測定を行っている。なお、標準偏差に代えて分散値を用いてもよい。
FIG. 15 is an enlarged view showing the state of the raindrop detection image area having different amounts of raindrops.
When the standard deviation value of the luminance of the photographed image shown in FIG. 15 is calculated, it can be seen that the values on the left image are 20, 27 and 39, and there is a correlation between the standard deviation value of the luminance and the rainfall. Therefore, in the first embodiment, the image analysis unit 102 calculates a value related to the standard deviation value of luminance from the captured image of the raindrop detection image area, and measures the rainfall based on the standard deviation value. . It should be noted that the variance may be used instead of the standard deviation.
次に、本実施形態1における撮像部200の撮像動作について説明する。
本実施形態1の撮像部200は、自車両100の前方領域からの光を受光して前方領域に存在する物体(他車両、白線、路面、人物、障害物等)を認識するための物体認識用画像を取得するための物体認識用フレームと、光源202からの光を照射してフロントガラス上の雨滴を検出するための雨滴検出用画像を取得するための雨滴検出用フレームとを個別に撮像する。具体的には、物体認識用フレームを複数枚撮像するたびに1枚の雨滴検出用フレームを撮像するという一連の撮像動作を繰り返し行う。
Next, the imaging operation of the imaging unit 200 in the first embodiment will be described.
The imaging unit 200 according to the first embodiment receives an light from the front area of the vehicle 100 to recognize an object (other vehicle, a white line, a road surface, a person, an obstacle, etc.) existing in the front area. The object recognition frame for acquiring the for-use image and the raindrop detection frame for acquiring the raindrop detection image for detecting the raindrop on the windshield by irradiating the light from the light source 202 separately Do. Specifically, a series of imaging operations of imaging one raindrop detection frame each time a plurality of object recognition frames are imaged are repeatedly performed.
図16は、比較例における撮像動作の一例を簡易的に示したタイミングチャートである。
図16には、フレーム同期信号、ライン読出信号、フレーム番号、露光期間が同じ時間軸にそって並べて表示されている。露光期間については、縦軸方向が受光素子ラインの位置に対応している。画像センサ206の各受光素子の受光量は、ライン読出信号に合わせて受光素子ラインごとに読み出されて出力される。
FIG. 16 is a timing chart simply showing an example of the imaging operation in the comparative example.
In FIG. 16, the frame synchronization signal, the line readout signal, the frame number, and the exposure period are displayed side by side along the same time axis. For the exposure period, the vertical axis direction corresponds to the position of the light receiving element line. The amount of light received by each light receiving element of the image sensor 206 is read out and output for each light receiving element line according to the line read signal.
図17(a)は、センシング用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
図17(b)は、雨滴検出用フレームにおける、ローリングシャッタ方式によるデータ読み出しタイミングと露光期間の関係を説明する説明図である。
本実施形態1(本比較例も同様)は、ローリングシャッタ方式を採用しており、センシング用フレームでは、図17(a)に示すように、画像センサ206の受光素子ライン・・・,N,N+1,N+2,・・・ごとのライン読出信号(水平同期信号)の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。雨滴検出用フレームでも、図17(b)に示すように、画像センサ206の受光素子ライン・・・,M,M+1,M+2,・・・ごとのライン読出信号(水平同期信号)の各タイミングを基準にして、設定された露光時間に応じた受光開始時間が受光素子ラインごとに異なる。
FIG. 17A is an explanatory view for explaining the relationship between data reading timing and exposure period according to the rolling shutter method in the sensing frame.
FIG. 17B is an explanatory view for explaining the relationship between data reading timing and exposure period according to the rolling shutter method in the raindrop detection frame.
In the first embodiment (same as in the present comparative example), a rolling shutter method is adopted, and in the sensing frame, as shown in FIG. 17A, the light receiving element lines of the image sensor 206,. The light reception start time according to the set exposure time differs for each light receiving element line based on each timing of the line read signal (horizontal synchronization signal) for each of N + 1, N + 2,. Even in the raindrop detection frame, as shown in FIG. 17B, each timing of the line readout signal (horizontal synchronization signal) of the light receiving element lines..., M, M + 1, M + 2,. As a reference, the light reception start time according to the set exposure time differs for each light receiving element line.
本実施形態1(本比較例も同様)は、車両検出用画像領域213の画像を取得するための4つの物体認識用フレームとしてのセンシング用フレームと、雨滴検出用画像領域214の画像を取得するための1つの付着物検出用フレームとしての雨滴検出用フレームを、順次撮像するという撮像動作を繰り返し行う。 In the first embodiment (the same as in the comparative example), sensing frames as four object recognition frames for acquiring an image of the vehicle detection image area 213 and an image of the raindrop detection image area 214 are acquired. An imaging operation of sequentially imaging the raindrop detection frame as one attached object detection frame is repeatedly performed.
フレーム番号B0の撮像フレームは、車線維持制御(LDW:Lane Departure Warning)に用いられるセンシング用フレームである。この撮像フレームB0は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。したがって、例えば、昼間のように明るい環境下であれば短い露光時間が設定され、夜間のように暗い環境下であれば長い露光時間が設定される。 The imaging frame of frame number B0 is a sensing frame used for lane maintenance control (LDW: Lane Departure Warning). The imaging frame B0 is an automatic exposure frame in which the exposure time at the time of imaging operation is automatically controlled within a predetermined time range. Therefore, for example, a short exposure time is set in a bright environment such as daytime, and a long exposure time is set in a dark environment such as nighttime.
フレーム番号A1の撮像フレームは、ヘッドランプの配光制御(AHB:Auto High Beam)に用いられるセンシング用フレームである。この撮像フレームA1は、撮像動作時の露光時間が固定である固定露光フレームである。 The imaging frame of frame number A1 is a sensing frame used for light distribution control (AHB: Auto High Beam) of a headlamp. The imaging frame A1 is a fixed exposure frame in which the exposure time at the time of imaging operation is fixed.
フレーム番号B2の撮像フレームは、衝突回避制御(FCW:Front Collision Warning)に用いられるセンシング用フレームである。この撮像フレームB2は、撮像動作時の露光時間が所定の時間範囲内で自動露光制御される自動露光フレームである。 The imaging frame of frame number B2 is a sensing frame used for collision avoidance control (FCW: Front Collision Warning). The imaging frame B2 is an automatic exposure frame in which the exposure time at the time of imaging operation is automatically controlled within a predetermined time range.
フレーム番号A3の撮像フレームは、第2フレーム目の撮像フレームと同様、ヘッドランプの配光制御に用いられるセンシング用フレームで、撮像動作時の露光時間が固定である固定露光フレームである。 The imaging frame of the frame number A3 is a sensing frame used for light distribution control of the headlamp as in the case of the imaging frame of the second frame, and is a fixed exposure frame in which the exposure time at the time of imaging operation is fixed.
フレーム番号R4の撮像フレームは、ワイパーの駆動制御等に用いられる雨滴検出用フレームである。この撮像フレームR4は、撮像動作時の露光時間がごく短時間に固定された固定露光フレームである。雨滴検出用画像領域214の画像を取得するための1つの雨滴検出用フレームは、光源202からの比較的強い光を受光することから、画像センサ206の信号が飽和してしまうのを防ぐために、光源202からの照明光以外の外乱光の影響を小さくするために、なるべく露光時間を短くするのが好ましい。また、光源202からの光量はほぼ一定であることから、固定露光時間とすることができる。 The imaging frame of frame number R4 is a raindrop detection frame used for drive control and the like of the wiper. The imaging frame R4 is a fixed exposure frame in which the exposure time at the time of imaging operation is fixed in a very short time. Since one raindrop detection frame for acquiring the image of the raindrop detection image area 214 receives relatively strong light from the light source 202, the signal of the image sensor 206 is prevented from being saturated. In order to reduce the influence of disturbance light other than the illumination light from the light source 202, it is preferable to shorten the exposure time as much as possible. Further, since the light quantity from the light source 202 is substantially constant, the fixed exposure time can be obtained.
本実施形態1(比較例も同様)においては、センシング用フレームB0〜A3の撮像を所定回数(例えば7回)繰り返した後に1回の雨滴検出用フレームR4の撮像を行うという撮像動作を繰り返し実行する。 In the first embodiment (the same as in the comparative example), the imaging operation of repeatedly imaging the sensing frame B0 to A3 a predetermined number of times (for example, seven times) and then imaging the raindrop detection frame R4 is repeatedly performed. Do.
本実施形態1(比較例も同様)では、図16に示すように、センシング用フレームB0〜A3のフレーム時間Ftよりも、雨滴検出用フレームR4のフレーム時間Rtが短く設定されている。雨滴検出用フレームR4の露光時間は、上述したとおり、光源202からの強い光を受光することを考慮して、センシング用フレームB0〜A3で設定される露光時間よりも大幅に短いので、雨滴検出用フレームR4のフレーム時間Rtをセンシング用フレームB0〜A3のフレーム時間Ftよりも短く設定できる。しかも、本実施形態1では、雨滴検出用フレームR4で撮像する雨滴検出用画像領域の受光素子ラインが、センシング用フレームB0〜A3で撮像する車両検出用画像領域よりも数が少なく、かつ、画像センサから初めに読み出される受光素子ライン部分(撮像画像上部に対応する部分)であることから、雨滴検出用フレームR4のフレーム時間Rtをセンシング用フレームB0〜A3のフレーム時間Ftよりも特に短く設定できるようになっている。 In the first embodiment (similar to the comparative example), as shown in FIG. 16, the frame time Rt of the raindrop detection frame R4 is set shorter than the frame time Ft of the sensing frames B0 to A3. Since the exposure time of the raindrop detection frame R4 is significantly shorter than the exposure time set in the sensing frames B0 to A3 in consideration of receiving strong light from the light source 202 as described above, raindrop detection is performed. The frame time Rt of the frame R4 can be set shorter than the frame time Ft of the sensing frames B0 to A3. Moreover, in the first embodiment, the number of light receiving element lines of the raindrop detection image area imaged by the raindrop detection frame R4 is smaller than that of the vehicle detection image areas imaged by the sensing frames B0 to A3, and Since it is the light receiving element line part (part corresponding to the upper part of the captured image) read out from the sensor first, the frame time Rt of the raindrop detection frame R4 can be set particularly shorter than the frame time Ft of the sensing frames B0 to A3. It is supposed to be.
ところが、比較例においては、雨滴検出用フレームR4の直後のセンシング用フレームB0が自動露光制御される自動露光フレームである。そのため、トンネル内や夜間などの暗い環境下などにおいては、図16に示すように、センシング用フレームB0の露光時間が長く設定され、センシング用フレームB0における各受光素子の受光開始時期が早くなる場合がある。そして、雨滴検出用フレームR4のフレーム時間Rtが短く設定されていることから、その直後のセンシング用フレームB0の露光時間が長く設定されると、図16に示すように、雨滴検出用フレームR4の露光期間ER4にその直後のセンシング用フレームB0の露光期間EB0が重なる事態が起こり得る。このような事態が起こると、雨滴検出用フレームR4及びその直後のセンシング用フレームB0の少なくとも一方のフレームについて正常な受光量データを取得できなくなる。 However, in the comparative example, the sensing frame B0 immediately after the raindrop detection frame R4 is an automatic exposure frame in which automatic exposure control is performed. Therefore, in a dark environment such as in a tunnel or at night, as shown in FIG. 16, the exposure time of the sensing frame B0 is set long, and the light reception start time of each light receiving element in the sensing frame B0 becomes early. There is. Then, since the frame time Rt of the raindrop detection frame R4 is set short, if the exposure time of the sensing frame B0 immediately after that is set long, as shown in FIG. 16, the raindrop detection frame R4 is A situation may occur where the exposure period EB0 of the sensing frame B0 immediately thereafter overlaps with the exposure period ER4. When such a situation occurs, it is not possible to acquire normal received light amount data for at least one of the raindrop detection frame R4 and the sensing frame B0 immediately after that.
〔構成例1〕
図18は、本実施形態1における撮像動作の一例を簡易的に示したタイミングチャートである。
本実施形態1では、雨滴検出用フレームR4の直後のセンシング用フレームB0については、自動露光制御により変更可能な露光時間の上限値が雨滴検出用フレームR4の露光期間ER4に当該センシング用フレームB0の露光期間EB0’が重ならない露光時間以下に設定されている。そのため、トンネル内や夜間などの暗い環境下であっても、露光制御ユニット109により、センシング用フレームB0の露光時間が当該上限値を超えて設定されることはない。よって、図18に示すように、雨滴検出用フレームR4の露光期間ER4に当該センシング用フレームB0の露光期間EB0’が重なる事態が起こらない。
[Configuration Example 1]
FIG. 18 is a timing chart simply showing an example of the imaging operation in the first embodiment.
In the first embodiment, for the sensing frame B0 immediately after the raindrop detection frame R4, the upper limit of the exposure time that can be changed by automatic exposure control is within the exposure period ER4 of the raindrop detection frame R4. The exposure period EB0 'is set equal to or less than the exposure time which does not overlap. Therefore, even in a dark environment such as in a tunnel or at night, the exposure control unit 109 does not set the exposure time of the sensing frame B0 beyond the upper limit. Therefore, as shown in FIG. 18, the exposure period EB0 ′ of the sensing frame B0 does not overlap the exposure period ER4 of the raindrop detection frame R4.
ただし、本実施形態1では、雨滴検出用フレームR4の露光期間ER4中に光源202から光が照射されている関係で、その直後のセンシング用フレームB0に光源202からの光が影響しないように、一定のマージンをもたせている。詳しくは、雨滴検出用フレームR4の露光期間ER4の終期(最後に読み出されるラインのライン読出信号のタイミング)と、その直後のセンシング用フレームB0の露光期間EB0の始期(最後に読み出されるラインのライン読出信号のタイミング)との間に、一定のブランク期間Gtが設けられるようにしている。 However, in the first embodiment, since light is emitted from the light source 202 during the exposure period ER4 of the raindrop detection frame R4, the light from the light source 202 does not affect the sensing frame B0 immediately after that. It has a certain margin. Specifically, the end of the exposure period ER4 of the raindrop detection frame R4 (the timing of the line readout signal of the line read last) and the start of the exposure period EB0 of the sensing frame B0 immediately thereafter (the line of the line read last A fixed blank period Gt is provided between the read signal timing and the read signal timing).
ここで、雨滴検出用フレームR4の直後に位置しないセンシング用フレームB0については、自動露光制御により変更可能な露光時間の上限値を制限する必要はない。よって、本実施形態1では、暗い環境下であれば、図18に示すように、雨滴検出用フレームR4の直後に位置しないセンシング用フレームB0の露光時間が通常どおり長く設定される。そのため、暗い環境下においては、雨滴検出用フレームR4の直後のセンシング用フレームB0の露光時間EB0’と、雨滴検出用フレームR4の直後ではないセンシング用フレームB0との間で露光時間EB0とが異なるものとなる。このようなセンシング用フレームB0間で露光時間の違いが生じると、両者の間で全体的な受光量の違いが生まれ、白線認識精度を低下させるなどの不具合を引き起こすおそれがある。 Here, for the sensing frame B0 not positioned immediately after the raindrop detection frame R4, it is not necessary to limit the upper limit of the exposure time that can be changed by automatic exposure control. Therefore, in the first embodiment, under a dark environment, as shown in FIG. 18, the exposure time of the sensing frame B0 not positioned immediately after the raindrop detection frame R4 is set to be long as usual. Therefore, in a dark environment, the exposure time EB0 'of the sensing frame B0 immediately after the raindrop detection frame R4 is different from the exposure time EB0 between the sensing frame B0 which is not immediately after the raindrop detection frame R4. It becomes a thing. If a difference in exposure time occurs between such sensing frames B0, a difference in overall received light amount is generated between the two, which may cause a defect such as a decrease in white line recognition accuracy.
そこで、本実施形態1において、画像解析ユニット102は、画像変換手段として機能し、雨滴検出用フレームR4の直後ではないセンシング用フレームB0の露光時間EB0が前記上限値を超えて設定されたとき、雨滴検出用フレームR4の直後のセンシング用フレームB0で撮像した撮像画像を、当該露光時間EB0に基づいて、当該露光時間EB0に対応した撮像画像へと変換する画像変換処理を実施する。具体的には、例えば、雨滴検出用フレームR4の直後のセンシング用フレームB0で画像センサ206から出力される信号値(受光量)を、そのセンシング用フレームB0の露光時間EB0’と雨滴検出用フレームR4の直後ではないセンシング用フレームB0の露光時間EB0との差分に応じて増大させる。これにより、センシング用フレームB0間における露光時間の違いに基づく信号値(受光量)の違いが軽減され、白線認識精度の低下を抑制することができる。 Therefore, in the first embodiment, when the image analysis unit 102 functions as an image conversion unit and the exposure time EB0 of the sensing frame B0 not immediately after the raindrop detection frame R4 is set to exceed the upper limit value, Based on the exposure time EB0, an image conversion process is performed to convert the captured image captured by the sensing frame B0 immediately after the raindrop detection frame R4 into a captured image corresponding to the exposure time EB0. Specifically, for example, the signal value (light reception amount) output from the image sensor 206 in the sensing frame B0 immediately after the raindrop detection frame R4 is set to the exposure time EB0 'of the sensing frame B0 and the raindrop detection frame It is increased according to the difference from the exposure time EB0 of the sensing frame B0 which is not immediately after R4. As a result, the difference in signal value (the amount of light received) based on the difference in exposure time between the sensing frames B0 is reduced, and a decrease in white line recognition accuracy can be suppressed.
〔構成例2〕
本実施形態1は、雨滴検出用フレームR4の直後のセンシング用フレームB0について自動露光制御の露光時間の上限値を制限する一例であるが、他の例でも、当該センシング用フレームB0の露光期間EB0’が雨滴検出用フレームR4の露光期間ER4に重なる事態を防止することは可能である。
例えば、雨滴検出用フレームR4の直後のセンシング用フレームB0については、自動露光制御を行わず固定の露光時間とする例が挙げられる。このときの固定露光時間は、雨滴検出用フレームR4の露光期間ER4に当該センシング用フレームB0の露光期間EB0’が重ならない露光時間以下に設定される。
[Configuration Example 2]
Although the first embodiment is an example in which the upper limit value of the exposure time of the automatic exposure control is limited for the sensing frame B0 immediately after the raindrop detection frame R4, the exposure period EB0 of the sensing frame B0 is also limited in the other example. It is possible to prevent the situation in which 'overlaps with the exposure period ER4 of the raindrop detection frame R4.
For example, as for the sensing frame B0 immediately after the raindrop detection frame R4, there is an example in which automatic exposure control is not performed and the exposure time is fixed. The fixed exposure time at this time is set equal to or less than the exposure time in which the exposure period EB0 ′ of the sensing frame B0 does not overlap the exposure period ER4 of the raindrop detection frame R4.
この例においても、センシング用フレームB0間で露光時間の違いが生じることになる。よって、雨滴検出用フレームR4の直後に位置する固定露光時間に設定されたセンシング用フレームB0で撮像した撮像画像については、雨滴検出用フレームR4の直後に位置しない自動露光制御されたセンシング用フレームB0の露光時間EB0に基づいて、当該露光時間EB0に対応した撮像画像へと変換する画像変換処理を実施するのがよい。 Also in this example, a difference in exposure time occurs between the sensing frames B0. Therefore, for a captured image captured by the sensing frame B0 set to the fixed exposure time positioned immediately after the raindrop detection frame R4, the automatic exposure controlled sensing frame B0 not positioned immediately after the raindrop detection frame R4 It is preferable to carry out an image conversion process for converting into a captured image corresponding to the exposure time EB0 based on the exposure time EB0.
〔構成例3〕
センシング用フレームB0の露光期間EB0’が雨滴検出用フレームR4の露光期間ER4に重なる事態を防止する他の例としては、図19に示す例が挙げられる。
この例は、図19に示すように、車線維持制御に用いられるセンシング用フレームB0とヘッドランプの配光制御に用いられるセンシング用フレームA1の位置を入れ替え、雨滴検出用フレームR4の直後に、固定露光時間のセンシング用フレームA1が位置するようにしたものである。このときの固定露光時間は、雨滴検出用フレームR4の露光期間ER4に当該センシング用フレームA1の露光期間EA1が重ならない露光時間以下に設定される。
[Configuration Example 3]
As another example for preventing the situation in which the exposure period EB0 ′ of the sensing frame B0 overlaps the exposure period ER4 of the raindrop detection frame R4, an example shown in FIG. 19 can be given.
In this example, as shown in FIG. 19, the positions of the sensing frame B0 used for lane keeping control and the sensing frame A1 used for light distribution control of a headlamp are interchanged and fixed immediately after the raindrop detection frame R4. The sensing frame A1 for the exposure time is positioned. The fixed exposure time at this time is set equal to or less than the exposure time when the exposure period EA1 of the sensing frame A1 does not overlap the exposure period ER4 of the raindrop detection frame R4.
この例においては、センシング用フレームA1間で露光時間の違いが生じることがないので、上述した画像変換処理を実施する必要はない。 In this example, since a difference in exposure time does not occur between the sensing frames A1, there is no need to perform the image conversion process described above.
次に、本実施形態1における光源202の発光制御について説明する。
雨滴検出用フレームR4で撮像する撮像画像は、雨滴検出用画像領域のみで十分であるため、雨滴検出用フレームR4で読み出すデータは、雨滴検出用画像領域に対応するライン分、すなわち、撮像画像の上部に対応するライン分だけでよい。そのため、光源202で光を照射すべき期間も、雨滴検出用画像領域に対応するラインの露光期間だけでよい。
Next, light emission control of the light source 202 in the first embodiment will be described.
Since the captured image captured in the raindrop detection frame R4 is sufficient for only the raindrop detection image area, the data read out in the raindrop detection frame R4 corresponds to the line corresponding to the raindrop detection image area, that is, the captured image Only the line corresponding to the upper part is sufficient. Therefore, the period during which light is to be emitted by the light source 202 may be only the exposure period of the line corresponding to the raindrop detection image area.
光源202から光が照射されている期間は、その光が車両検出用画像領域に対応する画像センサ部分にも入射し、車両検出用画像領域の外乱光となり得る。よって、雨滴検出用画像領域に対応するラインの露光期間だけ光源202から光を照射するように光源202を発光制御すれば、雨滴検出用フレームR4のフレーム時間を短くしても、光源202からの光がその前後に位置するセンシング用フレームA3,B0の外乱光となることはない。 During a period in which light is emitted from the light source 202, the light also enters the image sensor portion corresponding to the vehicle detection image area, and may become disturbance light of the vehicle detection image area. Therefore, if the light source 202 is controlled to emit light from the light source 202 only during the exposure period of the line corresponding to the raindrop detection image area, even if the frame time of the raindrop detection frame R4 is shortened, the light source 202 Light does not become disturbance light of the sensing frames A3 and B0 located before and after the light.
図20は、雨滴検出用フレームR4におけるライン読出信号と光源202の発光タイミングとの関係の一例を示すタイミングチャートである。
雨滴検出用フレームR4で雨滴検出用画像領域に対応するライン分の露光期間は、常に光源202を発光させるように制御してもよい。この場合、雨滴検出用画像領域に対応する全ラインについて、光源202が発光している状態のデータが取得できる。ただし、この場合、光源202からの光以外の外乱光が画像センサ206に入射する状況だと、その外乱光成分の誤差が含まれたデータとなる。
FIG. 20 is a timing chart showing an example of the relationship between the line read signal and the light emission timing of the light source 202 in the raindrop detection frame R4.
The exposure period of the line portion corresponding to the raindrop detection image area in the raindrop detection frame R4 may be controlled so that the light source 202 always emits light. In this case, data of the light source 202 emitting light can be acquired for all the lines corresponding to the raindrop detection image area. However, in this case, when disturbance light other than the light from the light source 202 is incident on the image sensor 206, it is data including an error of the disturbance light component.
本実施形態1においては、1つの雨滴検出用フレームR4で雨滴検出用画像領域に対応するライン分の露光期間中に、光源202がONとOFFする期間が少なくとも1回ずつ存在するように、光源202を発光制御する。本実施形態1では、1ラインごとに光源202がON/OFFするように光源202を発光制御する。なお、例えば2ラインごとに光源202がON/OFFするように光源202を発光制御するようにしてもよい。各ラインの露光期間内における光源202の発光時期は、図21に示すように各ラインの露光期間の最初の時期であってもよいし、図22に示すように各ラインの露光期間の最後の時期であってもよい。 In the first embodiment, the light source 202 is turned ON and OFF at least once during the exposure period of the line corresponding to the raindrop detection image area in one raindrop detection frame R4. The light emission control of 202 is performed. In the first embodiment, the light source 202 is controlled to emit light so that the light source 202 is turned on / off for each line. For example, the light source 202 may be controlled to emit light so that the light source 202 is turned on / off every two lines. The light emission timing of the light source 202 in the exposure period of each line may be the first timing of the exposure period of each line as shown in FIG. 21 or the end of the exposure period of each line as shown in FIG. It may be time.
次に、本発明者らが行った実験例について説明する。
本実験例では、本実施形態1のように1ラインごとに光源202がON/OFFするように光源202を発光制御して雨滴検出が適切に実施できるかどうかを確認する。
Next, experimental examples conducted by the present inventors will be described.
In this experimental example, as in the first embodiment, the light source 202 is controlled to emit light so that the light source 202 is turned ON / OFF for each line, and it is confirmed whether raindrop detection can be appropriately performed.
図23は、光源202がONであるときの外乱光が含まれる雨滴検出用画像領域の画像例を示すものである。
図24は、光源202がONであるときの外乱光が含まれない雨滴検出用画像領域の画像例を示すものである。
図25は、図23に示す画像例において光源光が映し出されている画像部分を拡大した図である。
図25に示すように、光源202のON/OFFに応じて1ラインごとに高いコントラストが得られていることがわかる。
FIG. 23 shows an image example of a raindrop detection image area including disturbance light when the light source 202 is ON.
FIG. 24 shows an example image of a raindrop detection image area not including disturbance light when the light source 202 is ON.
FIG. 25 is an enlarged view of an image portion where light source light is projected in the image example shown in FIG.
As shown in FIG. 25, it can be seen that high contrast is obtained for each line according to the ON / OFF of the light source 202.
〔実施形態2〕
次に、本発明に係る撮像装置を適用した移動体機器制御システムの他の実施形態(以下、本実施形態を「実施形態2」という。)について説明する。
なお、本実施形態2は、撮像ユニット101の構成が一部異なる点を除いて、実施形態1とほぼ同様であるため、以下、実施形態1とは異なる点を中心に説明する。
Second Embodiment
Next, another embodiment (hereinafter, this embodiment will be referred to as “embodiment 2”) of a mobile device control system to which the imaging device according to the present invention is applied will be described.
The second embodiment is substantially the same as the first embodiment except that the configuration of the imaging unit 101 is partially different. Therefore, the differences from the first embodiment will be mainly described.
図26は、本実施形態2における撮像ユニット101の概略構成を示す模式図である。
本実施形態2の撮像ユニット101においては、光源202から出射した光は、図26の光路で示されるように、フロントガラス105の内壁面に設けられた反射偏向部材としてのプリズム230に入射することにより、フロントガラス105の外壁面上で全反射して撮像レンズ204に入射し、センサ基板207上の画像センサ206で受光される。
FIG. 26 is a schematic view showing a schematic configuration of the imaging unit 101 in the second embodiment.
In the imaging unit 101 according to the second embodiment, the light emitted from the light source 202 is incident on a prism 230 as a reflective deflection member provided on the inner wall surface of the windshield 105, as shown by the optical path in FIG. Thus, the light is totally reflected on the outer wall surface of the windshield 105 and is incident on the imaging lens 204, and is received by the image sensor 206 on the sensor substrate 207.
一方、フロントガラス105の外壁面に雨滴が付着した箇所においては、光源202から出射した光がフロントガラス105の外壁面を透過するため、画像センサ206で受光されることはない。上述した実施形態1では、光源202から出射した光がフロントガラス105の外壁面を透過する一方、フロントガラス105の外壁面に雨滴が付着した箇所ではその雨滴内部で乱反射した光が画像センサ206で受光される。 On the other hand, in the place where the raindrops adhere to the outer wall surface of the windshield 105, the light emitted from the light source 202 is transmitted through the outer wall surface of the windshield 105 and is not received by the image sensor 206. In the first embodiment described above, the light emitted from the light source 202 is transmitted through the outer wall surface of the windshield 105, while the light reflected irregularly in the inside of the raindrop is transmitted by the image sensor 206 at the location where the raindrops adhere to the outer wall surface of the windshield 105. Light is received.
したがって、本実施形態2においては、上述した実施形態1の雨滴検出用画像領域の画像を反転させたような画像が得られることになる。すなわち、上述した実施形態1では、図15に示したように、雨滴付着箇所の輝度が高い画像が得られるのに対し、本実施形態2では、図27に示すように、雨滴付着箇所の輝度が低い画像が得られる。したがって、上述した実施形態では、画素値の総和が大きいほど雨量が多いという関係になるが、本実施形態2においては、画素値の総和が小さいほど雨量が多いという関係になる。 Therefore, in the second embodiment, an image obtained by inverting the image of the raindrop detection image area of the first embodiment described above is obtained. That is, in the first embodiment described above, as shown in FIG. 15, an image with high luminance at the raindrop adhesion site is obtained, while in the second embodiment, the luminance at the raindrop adhesion site is as shown in FIG. Gives a low image. Therefore, in the above-described embodiment, the larger the sum of pixel values is, the larger the amount of rainfall is. However, in the second embodiment, the smaller the sum of pixel values is, the larger the amount of rainfall is.
以上、上述した実施形態1及び2の移動体機器制御システムで実行される各種処理は、ハードウェアで実現することができる他、ソフトウェアで実現することもできる。ソフトウェアで実現する場合、各種処理を実現するためにコンピュータを機能させるプログラムは、ROM等に予め組み込まれて提供される。また、プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 As described above, the various processes executed by the mobile device control system according to the first and second embodiments described above can be realized not only by hardware but also by software. In the case of software implementation, a program that causes a computer to function to implement various types of processing is provided by being incorporated in advance in a ROM or the like. In addition, the program is recorded in a computer readable recording medium such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), and the like in an installable or executable file format. It may be configured to be provided. Alternatively, the program may be stored on a computer connected to a network such as the Internet and may be provided by being downloaded via the network. Also, the program may be configured to be provided or distributed via a network such as the Internet.
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
光源202からの光をフロントガラス105等の光透過性部材に照射して該光透過性部材に付着した雨滴203等の付着物を検出するための付着物検出用画像を取得するための雨滴検出用フレームR4等の付着物検出用フレームを画像センサ206により撮像した後に、前記光源以外の光を受光して前記付着物以外の他車両、白線、路面、人物、障害物等の物体を認識するための物体認識用画像を取得するためのセンシング用フレームB0〜A3等の物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置であって、前記付着物検出用フレームのフレーム時間Rtは、前記物体認識用フレームのフレーム時間Ftよりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームB0(構成例3においてはA1)における露光時間は、該付着物検出用フレームの露光期間ER4に該物体認識用フレームの露光期間EB0’(構成例3においてはEA1’)が重ならない露光時間に設定されることを特徴とする。
本態様では、付着物検出用フレームR4のフレーム時間Rtが物体認識用フレームのフレーム時間Ftよりも短く設定されているが、付着物検出用フレームR4の露光期間ER4にその直後のセンシング用フレームB0の露光期間EB0’が重なる事態が起こらない。付着物検出用フレームR4の露光期間ER4にその直後のセンシング用フレームB0の露光期間EB0’が重ならなければ、雨滴検出用フレームR4及びその直後のセンシング用フレームB0の両方について正常な受光量データを取得できる。よって、付着物検出用フレームR4のフレーム時間Rtを短く設定しても、雨滴検出用フレームR4及びその直後のセンシング用フレームB0の両方について正常な受光量データを取得できる。
なお、付着物検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得する方法としては、当該センシング用フレームの露光時間に応じて、付着物検出用フレームとその直後のセンシング用フレームとの間にブランク時間を設ける方法が考えられる。この方法であれば、当該センシング用フレームの受光開始時期が直前の付着物検出用フレームの露光期間に重ならないようにすることも可能であるが、ブランク時間を設けた分だけ、付着物検出用フレームの前後のセンシング用フレームの間の時間間隔が広がる。よって、上述したように、前後のセンシング用フレームの間で撮像領域内の状況変化が大きくなるので、物体認識精度が低下するなどの不具合を引き起こす。また、この方法だと、ブランク時間を設けた後のフレームタイミングがズレてしまい、例えばフレーム数で経過時間を把握するようなアプリケーションなどでは正常な経過時間を把握できなくなるなどの不具合も発生する。本態様によれば、このようなブランク時間を設けることなく、付着物検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得することが可能である。
What has been described above is an example, and the present invention has unique effects in each of the following modes.
(Aspect A)
Raindrop detection for acquiring a deposit detection image for irradiating light from a light source 202 to a light transmitting member such as a windshield 105 and detecting attached matter such as raindrops 203 attached to the light transmitting member After imaging an attached matter detection frame such as the frame R4 by the image sensor 206, light other than the light source is received to recognize an object other than the attached matter, such as a vehicle, a white line, a road surface, a person or an obstacle. An imaging apparatus that repeats a series of imaging operations of imaging a plurality of object recognition frames such as sensing frames B0 to A3 for acquiring an object recognition image for image detection by the image sensor, wherein The frame time Rt of the frame is set shorter than the frame time Ft of the object recognition frame, and the object recognition frame immediately after the attached matter detection frame is set. The exposure time in B0 (A1 in Configuration Example 3) is an exposure time in which the exposure period EB0 '(EA1' in Configuration Example 3) of the object recognition frame does not overlap the exposure period ER4 of the attached object detection frame. It is characterized by being set.
In this embodiment, the frame time Rt of the attached object detection frame R4 is set to be shorter than the frame time Ft of the object recognition frame, but the sensing frame B0 immediately after that in the exposure period ER4 of the attached object detection frame R4. There is no occurrence of overlapping of the exposure periods EB0 'of. If the exposure period EB0 'of the sensing frame B0 immediately thereafter is not overlapped with the exposure period ER4 of the attached object detection frame R4, normal received light amount data of both the raindrop detection frame R4 and the sensing frame B0 immediately thereafter You can get Therefore, even if the frame time Rt of the attached object detection frame R4 is set short, normal received light amount data can be acquired for both the raindrop detection frame R4 and the sensing frame B0 immediately after that.
In addition, as a method of acquiring normal received light amount data for both the attached matter detection frame and the sensing frame immediately after that, the attached matter detection frame and the sensing immediately after that according to the exposure time of the sensing frame. It is conceivable to provide a blanking time with the frame. With this method, it is possible to prevent the light reception start timing of the sensing frame from overlapping the exposure period of the previous attached object detection frame, but for the attached object detection by the amount of blank time provided. The time interval between the sensing frames before and after the frame increases. Therefore, as described above, the situation change in the imaging region becomes large between the front and rear sensing frames, which causes a problem such as a decrease in object recognition accuracy. In addition, with this method, frame timing after providing the blank time is shifted, and for example, in an application that grasps the elapsed time by the number of frames, it becomes impossible to grasp the normal elapsed time. According to this aspect, it is possible to acquire normal received light amount data for both the attached matter detection frame and the sensing frame immediately after that without providing such a blank time.
(態様B)
前記態様Aにおいて、前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームB0,B2と、該画像センサにより固定露光時間で撮像する固定露光フレームA1,A3とを含んでおり、前記付着物検出用フレームの直後の物体認識用フレームは、前記固定露光フレームA1であって、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない固定露光時間に設定されたものであることを特徴とする。
これによれば、前記構成例3で説明したとおり、付着物検出用フレームR4の露光期間ER4にその直後のセンシング用フレームA1の露光期間EA1’が重なる事態が起こらないので、付着物検出用フレームR4のフレーム時間Rtを短く維持したまま、雨滴検出用フレームR4及びその直後のセンシング用フレームA1の両方について正常な受光量データを取得できる。
(Aspect B)
In the mode A, the object recognition frame is an automatic exposure frame B0 or B2 captured in a state where the image sensor is controlled by an automatic exposure control that changes an exposure time, and a fixed image captured by the image sensor at a fixed exposure time The object recognition frame immediately after the attached object detection frame is the fixed exposure frame A1 and includes the object recognition frame during the exposure period of the attached object detection frame. It is characterized in that it is set to a fixed exposure time in which the exposure periods of (1) and (2) do not overlap.
According to this, as described in the configuration example 3, a situation does not occur in which the exposure period EA1 ′ of the sensing frame A1 immediately thereafter overlaps the exposure period ER4 of the attached object detection frame R4. Normal light reception amount data can be acquired for both the raindrop detection frame R4 and the sensing frame A1 immediately after that while keeping the frame time Rt of R4 short.
(態様C)
前記態様Bにおいて、前記付着物検出用フレームR4の直後の固定露光フレームA1で撮像した物体認識用画像を、前記自動露光フレームを撮像したときの露光時間に基づいて、該露光時間に対応した物体認識用画像へ変換する画像解析ユニット102等の画像変換手段を有することを特徴とする。
これによれば、固定露光フレームで撮像された物体認識用画像を、自動露光フレームの露光時間に換算した画像へと変換することができるので、両フレーム間における露光時間の違いに起因した処理誤差等を軽減することができる。
(Aspect C)
In the mode B, the object recognition image captured in the fixed exposure frame A1 immediately after the attached object detection frame R4 is an object corresponding to the exposure time based on the exposure time when the automatic exposure frame is captured. It is characterized in that it has image conversion means such as an image analysis unit 102 for converting into a recognition image.
According to this, it is possible to convert the object recognition image captured in the fixed exposure frame into an image converted to the exposure time of the automatic exposure frame, so that the processing error caused by the difference in the exposure time between both frames Etc. can be reduced.
(態様D)
前記態様Aにおいて、前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームB0,B2を含んでおり、前記付着物検出用フレームR4の直後の物体認識用フレームは、前記自動露光フレームB0であって、前記自動露光制御により変更可能な露光時間の上限値が該付着物検出用フレームR4の露光期間ER4に該物体認識用フレームB0の露光期間EB0’が重ならない露光時間以下に設定されたものであることを特徴とする。
これによれば、前記構成例1で説明したとおり、付着物検出用フレームR4の露光期間ER4にその直後のセンシング用フレームB0の露光期間EB0’が重なる事態が起こらないので、付着物検出用フレームR4のフレーム時間Rtを短く維持したまま、雨滴検出用フレームR4及びその直後のセンシング用フレームB0の両方について正常な受光量データを取得できる。
(Aspect D)
In the mode A, the object recognition frame includes automatic exposure frames B0 and B2 which are imaged in a state where the image sensor is controlled by automatic exposure control for changing an exposure time, and the attached object detection frame R4 The object recognition frame immediately after is the automatic exposure frame B0, and the upper limit value of the exposure time that can be changed by the automatic exposure control is within the exposure period ER4 of the attached object detection frame R4. It is characterized in that the exposure period EB0 'is set to an exposure time or less not overlapping.
According to this, as described in the configuration example 1, there is no occurrence of overlapping of the exposure period ER0 of the sensing frame B0 immediately after that with the exposure period ER4 of the attached object detection frame R4, so the attached object detection frame Normal light reception amount data can be acquired for both the raindrop detection frame R4 and the sensing frame B0 immediately after that while keeping the frame time Rt of R4 short.
(態様E)
前記態様Dにおいて、前記付着物検出用フレームの直後ではない自動露光フレームB0の露光時間EB0が前記上限値を超えて設定されたとき、該付着物検出用フレームR4の直後の自動露光フレームB0で撮像した物体認識用画像を該露光時間に基づいて該露光時間に対応した物体認識用画像へ変換する画像変換手段を有することを特徴とする。
これによれば、付着物検出用フレームR4の直後の自動露光フレームB0で撮像された物体認識用画像を、他の自動露光フレームB0の露光時間に換算した画像へと変換することができるので、両フレーム間における露光時間の違いに起因した処理誤差等を軽減することができる。
(Aspect E)
In the mode D, when the exposure time EB0 of the automatic exposure frame B0 not immediately after the attached object detection frame is set to exceed the upper limit value, the automatic exposure frame B0 immediately after the attached object detection frame R4 is It is characterized in that it has an image conversion means for converting the picked up object recognition image into an object recognition image corresponding to the exposure time based on the exposure time.
According to this, it is possible to convert the object recognition image captured in the automatic exposure frame B0 immediately after the attached object detection frame R4 into an image converted to the exposure time of the other automatic exposure frame B0. Processing errors and the like resulting from differences in exposure time between the two frames can be reduced.
(態様F)
前記態様A〜Eのいずれかの態様において、前記付着物検出用フレームR4では、前記画像センサを構成する受光素子群の一部(画像上部に対応するライン分)であって前記物体認識用フレームで物体認識用画像を取得するときに用いる受光素子の数よりも少ない受光素子群を用いて付着物検出用画像を取得することを特徴とする。
これによれば、付着物検出用フレームR4のフレーム時間Rtを短く設定することが可能である。
(Aspect F)
In any one of the above aspects A to E, the attached object detection frame R4 is a part (a line corresponding to the upper part of the image) of the light receiving element group constituting the image sensor, and the object recognition frame The object detection image is acquired using a light receiving element group smaller than the number of light receiving elements used when acquiring an object recognition image.
According to this, it is possible to set the frame time Rt of the attached object detection frame R4 short.
(態様G)
前記態様Fにおいて、前記撮像動作は、ローリングシャッタ方式で行われるものであり、前記付着物検出用フレームR4で付着物検出用画像の撮像に用いられる受光素子群は、前記画像センサから初めにデータが出力される受光素子群であることを特徴とする。
これによれば、付着物検出用フレームR4のフレーム時間Rtをより短く設定することが可能である。
(Aspect G)
In the aspect F, the imaging operation is performed by a rolling shutter system, and the light receiving element group used for imaging the attached object detection image in the attached object detection frame R4 is firstly data from the image sensor Is a light receiving element group to be output.
According to this, it is possible to set the frame time Rt of the attached object detection frame R4 shorter.
(態様H)
前記態様A〜Gのいずれかの態様において、前記撮像動作は、ローリングシャッタ方式で行われるものであり、1つの付着物検出用フレームR4中に光源202から光が照射される露光期間と光が照射されない露光期間が含まれるように光源を制御する露光制御ユニット109等の光源制御手段を有し、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレーム中における光源から光が照射される露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。
これによれば、光が照射される露光期間における受光量と光が照射されない露光期間における受光量との差分を用いて外乱光を排除することが可能となり、付着物検出精度を高めることが可能となる。
(Aspect H)
In any of the above aspects A to G, the imaging operation is performed by a rolling shutter method, and an exposure period and light in which light is emitted from the light source 202 during one attached object detection frame R4 A light source control unit such as an exposure control unit 109 that controls the light source to include an exposure period not irradiated, and having an exposure time in the object recognition frame immediately after the attached object detection frame corresponds to the attached object detection frame The exposure period is set such that the exposure period of the object recognition frame does not overlap the exposure period during which light is emitted from the light source.
According to this, it is possible to eliminate disturbance light using the difference between the light reception amount in the exposure period in which light is irradiated and the light reception amount in the exposure period in which light is not irradiated, and it is possible to improve the detection accuracy It becomes.
(態様I)
光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像方法であって、前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。
これによれば、トンネル内や夜間などの暗い環境下であっても、付着物検出用フレームの露光期間にその直後のセンシング用フレームの露光期間が重なる事態が起こらないので、付着物検出用フレームのフレーム時間を短く維持したまま、雨滴検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得できる。
(Aspect I)
After imaging the attached matter detection frame for acquiring an attached matter detection image for irradiating the light transmitting member with light from a light source and detecting the attached matter attached to the light transmitting member A series of imaging operations of repeatedly imaging a plurality of object recognition frames for acquiring an object recognition image for receiving an light other than the light source and recognizing an object other than the attached matter; In the imaging method, the frame time of the attached matter detection frame is set to be shorter than the frame time of the object recognition frame, and the exposure time of the object recognition frame immediately after the attached matter detection frame is The exposure time of the object recognition frame is set so as not to overlap the exposure period of the attached matter detection frame.
According to this, even in a dark environment such as in a tunnel or at night, a situation in which the exposure period of the sensing frame immediately after that does not overlap with the exposure period of the attached object detection frame does not occur. Normal light reception amount data can be acquired for both the raindrop detection frame and the sensing frame immediately after that while keeping the frame time of the frame short.
(態様J)
光源からの光を光透過性部材に照射して該光透過性部材に付着した付着物を検出するための付着物検出用画像を取得するための付着物検出用フレームを画像センサにより撮像した後に、前記光源以外の光を受光して前記付着物以外の物体を認識するための物体認識用画像を取得するための物体認識用フレームを前記画像センサにより複数枚撮像するという一連の撮像動作を繰り返す撮像装置のコンピュータを機能させるためのプログラムであって、前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする。
これによれば、トンネル内や夜間などの暗い環境下であっても、付着物検出用フレームの露光期間にその直後のセンシング用フレームの露光期間が重なる事態が起こらないので、付着物検出用フレームのフレーム時間を短く維持したまま、雨滴検出用フレーム及びその直後のセンシング用フレームの両方について正常な受光量データを取得できる。
(Aspect J)
After imaging the attached matter detection frame for acquiring an attached matter detection image for irradiating the light transmitting member with light from a light source and detecting the attached matter attached to the light transmitting member A series of imaging operations of repeatedly imaging a plurality of object recognition frames for acquiring an object recognition image for receiving an light other than the light source and recognizing an object other than the attached matter; A program for causing a computer of an imaging device to function, wherein a frame time of the attached matter detection frame is set shorter than a frame time of the object recognition frame, and immediately after the attached matter detection frame. The exposure time in the object recognition frame is set to an exposure time in which the exposure period of the object recognition frame does not overlap the exposure period of the deposit detection frame. Characterized in that it is.
According to this, even in a dark environment such as in a tunnel or at night, a situation in which the exposure period of the sensing frame immediately after that does not overlap with the exposure period of the attached object detection frame does not occur. Normal light reception amount data can be acquired for both the raindrop detection frame and the sensing frame immediately after that while keeping the frame time of the frame short.
(態様K)
撮像装置で撮像した付着物検出用画像及び物体認識用画像に基づいて、自車両100等の移動体に搭載されたヘッドランプ104、ワイパー107、警告報知手段、ブレーキ等の所定の機器を制御するヘッドランプ制御ユニット103、ワイパー制御ユニット106、車両走行制御ユニット108等の移動体機器制御手段を備えた移動体機器制御システムにおいて、前記撮像装置として、前記態様A〜Hのいずれかの態様に係る撮像装置を用いることを特徴とする。
これによれば、より適切な機器制御が可能となる。
(Aspect K)
Based on the attached object detection image and the object recognition image captured by the imaging device, control predetermined devices such as the headlamp 104 mounted on a moving object such as the host vehicle 100, the wiper 107, the warning notification means, and the brake. In a mobile device control system including mobile device control means such as a headlamp control unit 103, a wiper control unit 106, and a vehicle travel control unit 108, the imaging device according to any one of the aspects A to H. An imaging apparatus is used.
According to this, more appropriate device control becomes possible.
100 自車両
101 撮像ユニット
102 画像解析ユニット
103 ヘッドランプ制御ユニット
104 ヘッドランプ
105 フロントガラス
106 ワイパー制御ユニット
107 ワイパー
108 車両走行制御ユニット
109 露光制御ユニット
200 撮像部
201 撮像ケース
202 光源
203 雨滴
204 撮像レンズ
205 光学フィルタ
206 画像センサ
207 センサ基板
208 信号処理部
213 車両検出用画像領域
214 雨滴検出用画像領域
230 プリズム
100 self-vehicle 101 imaging unit 102 image analysis unit 103 headlamp control unit 104 headlamp 105 windshield 105 wiper control unit 107 wiper 108 vehicle travel control unit 109 exposure control unit 200 imaging unit 201 imaging case 202 light source 203 raindrop 204 imaging lens 205 Optical filter 206 Image sensor 207 Sensor substrate 208 Signal processing unit 213 Vehicle detection image area 214 Raindrop detection image area 230 Prism
Claims (11)
前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、
前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする撮像装置。 After imaging the attached matter detection frame for acquiring an attached matter detection image for irradiating the light transmitting member with light from a light source and detecting the attached matter attached to the light transmitting member A series of imaging operations of repeatedly imaging a plurality of object recognition frames for acquiring an object recognition image for receiving an light other than the light source and recognizing an object other than the attached matter; An imaging device,
The frame time of the attached matter detection frame is set shorter than the frame time of the object recognition frame,
The exposure time in the object recognition frame immediately after the attached object detection frame is set to an exposure time in which the exposure period of the object recognition frame does not overlap the exposure period of the attached object detection frame. Imaging device.
前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームと、該画像センサにより固定露光時間で撮像する固定露光フレームとを含んでおり、
前記付着物検出用フレームの直後の物体認識用フレームは、前記固定露光フレームであって、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない固定露光時間に設定されたものであることを特徴とする撮像装置。 In the imaging device according to claim 1,
The object recognition frame includes an automatic exposure frame for imaging in a state where the image sensor is controlled by automatic exposure control for changing an exposure time, and a fixed exposure frame for imaging with a fixed exposure time by the image sensor,
The object recognition frame immediately after the attached object detection frame is the fixed exposure frame, and is set to a fixed exposure time in which the exposure period of the object recognition frame does not overlap the exposure period of the attached object detection frame. An imaging apparatus characterized in that
前記付着物検出用フレームの直後の固定露光フレームで取得した物体認識用画像を、前記自動露光フレームを撮像したときの露光時間に基づいて、該露光時間に対応した物体認識用画像へ変換する画像変換手段を有することを特徴とする撮像装置。 In the imaging device according to claim 2,
An image for converting an object recognition image acquired in a fixed exposure frame immediately after the attached object detection frame into an object recognition image corresponding to the exposure time based on the exposure time when the automatic exposure frame is captured An image pickup apparatus having a conversion means.
前記物体認識用フレームは、露光時間を変更する自動露光制御により前記画像センサを制御した状態で撮像する自動露光フレームを含んでおり、
前記付着物検出用フレームの直後の物体認識用フレームは、前記自動露光フレームであって、前記自動露光制御により変更可能な露光時間の上限値が該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間以下に設定されたものであることを特徴とする撮像装置。 In the imaging device according to claim 1,
The object recognition frame includes an automatic exposure frame for imaging in a state where the image sensor is controlled by automatic exposure control for changing an exposure time,
The object recognition frame immediately after the attached object detection frame is the automatic exposure frame, and the upper limit value of the exposure time that can be changed by the automatic exposure control is the object recognition during the exposure period of the attached object detection frame An imaging apparatus characterized by being set to an exposure time equal to or less than an exposure time in which the exposure periods of frames do not overlap.
前記付着物検出用フレームの直後ではない自動露光フレームの露光時間が前記上限値を超えて設定されたとき、該付着物検出用フレームの直後の自動露光フレームで撮像した物体認識用画像を該露光時間に基づいて該露光時間に対応した物体認識用画像へ変換する画像変換手段を有することを特徴とする撮像装置。 In the imaging device according to claim 4,
When the exposure time of an automatic exposure frame not immediately after the attached object detection frame is set to exceed the upper limit value, the object recognition image captured by the automatic exposure frame immediately after the attached object detection frame is exposed An image pickup apparatus comprising image conversion means for converting into an image for object recognition corresponding to the exposure time based on time.
前記付着物検出用フレームでは、前記画像センサを構成する受光素子群の一部であって前記物体認識用フレームで物体認識用画像を取得するときに用いる受光素子の数よりも少ない受光素子群を用いて付着物検出用画像を取得することを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 5.
The attached object detection frame is a part of the light receiving element group constituting the image sensor, and the number of light receiving element groups smaller than the number of light receiving elements used when acquiring an object recognition image by the object recognition frame An imaging device characterized by acquiring an attached matter detection image using the same.
前記撮像動作は、ローリングシャッタ方式で行われるものであり、
前記付着物検出用フレームで付着物検出用画像の撮像に用いられる受光素子群は、前記画像センサから初めにデータが出力される受光素子群であることを特徴とする撮像装置。 In the imaging device according to claim 6,
The imaging operation is performed by a rolling shutter method,
An image pickup apparatus characterized in that the light receiving element group used for capturing the attached object detection image in the attached object detection frame is a light receiving element group in which data is first output from the image sensor.
前記撮像動作は、ローリングシャッタ方式で行われるものであり、
1つの付着物検出用フレーム中に光源から光が照射される露光期間と光が照射されない露光期間が含まれるように光源を制御する光源制御手段を有し、
前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレーム中における光源から光が照射される露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする撮像装置。 The imaging device according to any one of claims 1 to 7.
The imaging operation is performed by a rolling shutter method,
A light source control means for controlling the light source such that an exposure period in which light is emitted from the light source and an exposure period in which light is not emitted are included in one deposit detection frame;
The exposure time in the object recognition frame immediately after the attached object detection frame is the exposure time in which the exposure period of the object recognition frame does not overlap the exposure period in which light is emitted from the light source in the attached object detection frame. An imaging device characterized by being set.
前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、
前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とする撮像方法。 After imaging the attached matter detection frame for acquiring an attached matter detection image for irradiating the light transmitting member with light from a light source and detecting the attached matter attached to the light transmitting member A series of imaging operations of repeatedly imaging a plurality of object recognition frames for acquiring an object recognition image for receiving an light other than the light source and recognizing an object other than the attached matter; An imaging method,
The frame time of the attached matter detection frame is set shorter than the frame time of the object recognition frame,
The exposure time in the object recognition frame immediately after the attached object detection frame is set to an exposure time in which the exposure period of the object recognition frame does not overlap the exposure period of the attached object detection frame. Imaging method.
前記付着物検出用フレームのフレーム時間は、前記物体認識用フレームのフレーム時間よりも短く設定されており、
前記付着物検出用フレームの直後の物体認識用フレームにおける露光時間は、該付着物検出用フレームの露光期間に該物体認識用フレームの露光期間が重ならない露光時間に設定されることを特徴とするプログラム。 After imaging the attached matter detection frame for acquiring an attached matter detection image for irradiating the light transmitting member with light from a light source and detecting the attached matter attached to the light transmitting member A series of imaging operations of repeatedly imaging a plurality of object recognition frames for acquiring an object recognition image for receiving an light other than the light source and recognizing an object other than the attached matter; A program for causing a computer of an imaging device to function,
The frame time of the attached matter detection frame is set shorter than the frame time of the object recognition frame,
The exposure time in the object recognition frame immediately after the attached object detection frame is set to an exposure time in which the exposure period of the object recognition frame does not overlap the exposure period of the attached object detection frame. program.
前記撮像装置として、請求項1乃至8のいずれか1項に記載の撮像装置を用いることを特徴とする移動体機器制御システム。 In a mobile device control system comprising mobile device control means for controlling a predetermined device mounted on a mobile based on an attached object detection image and an object recognition image captured by an imaging device,
A mobile device control system using the imaging device according to any one of claims 1 to 8 as the imaging device.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/857,932 US9426377B2 (en) | 2014-10-03 | 2015-09-18 | Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices |
EP15188090.3A EP3002711B1 (en) | 2014-10-03 | 2015-10-02 | Image capturing apparatus, image capturing method, carrier medium, and device control system for controlling vehicle-mounted devices |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014204501 | 2014-10-03 | ||
JP2014204501 | 2014-10-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016076916A JP2016076916A (en) | 2016-05-12 |
JP6536946B2 true JP6536946B2 (en) | 2019-07-03 |
Family
ID=55951828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015134538A Expired - Fee Related JP6536946B2 (en) | 2014-10-03 | 2015-07-03 | Imaging device, imaging method, program, and mobile device control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6536946B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115320625B (en) * | 2022-08-23 | 2024-06-18 | 一汽奔腾轿车有限公司 | Identification and judgment method for optimizing rainy day scene of intelligent driving system |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5561333B2 (en) * | 2011-11-02 | 2014-07-30 | 株式会社リコー | Image processing apparatus, imaging method, program, and vehicle |
JP5633503B2 (en) * | 2011-11-29 | 2014-12-03 | 株式会社リコー | Image processing system, vehicle equipped with image processing system, image processing method and program |
JP5846485B2 (en) * | 2011-11-30 | 2016-01-20 | 株式会社リコー | Adhering matter detection apparatus and adhering matter detection method |
JP2014153299A (en) * | 2013-02-13 | 2014-08-25 | C Micro:Kk | In-vehicle photographing device |
-
2015
- 2015-07-03 JP JP2015134538A patent/JP6536946B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2016076916A (en) | 2016-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5561333B2 (en) | Image processing apparatus, imaging method, program, and vehicle | |
JP6380843B2 (en) | Object detection apparatus, mobile device control system including the same, and object detection program | |
JP6468482B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE, AND MOBILE DEVICE CONTROL SYSTEM | |
EP2786558B1 (en) | Image processing system, vehicle including the same, image processing method, and computer program product | |
JP5936098B2 (en) | Imaging apparatus, object detection apparatus including the same, and optical filter | |
JP2013190416A (en) | Deposit detection device and in-vehicle equipment controller including the same | |
JP2013029451A (en) | Deposit detection device and deposit detection method | |
JP2013031054A (en) | Image pickup device and object detection device incorporating the same and optical filter and manufacturing method thereof | |
US9426377B2 (en) | Image capturing apparatus, image capturing method, storage medium, and device control system for controlling vehicle-mounted devices | |
JP5862207B2 (en) | Image processing system | |
JP5858327B2 (en) | IMAGING DEVICE, OBJECT DETECTION DEVICE HAVING THE SAME, AND POLARIZING FILTER | |
JP2013095315A (en) | Inside rear view mirror device with built-in imaging device, and vehicle equipped with the same | |
JP5839253B2 (en) | Object detection device and in-vehicle device control device including the same | |
JP6098575B2 (en) | Imaging unit, image processing apparatus, and vehicle | |
JP5887840B2 (en) | Image processing device | |
JP6536946B2 (en) | Imaging device, imaging method, program, and mobile device control system | |
JP5845820B2 (en) | Imaging unit and vehicle equipped with the same | |
JP6566308B2 (en) | Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method | |
JP5967165B2 (en) | Image processing system, wiper control system equipped with image processing system, vehicle, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190523 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6536946 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |