JP6672202B2 - In-vehicle camera system, attached matter detection device, attached matter removal method, and attached matter detection program - Google Patents
In-vehicle camera system, attached matter detection device, attached matter removal method, and attached matter detection program Download PDFInfo
- Publication number
- JP6672202B2 JP6672202B2 JP2017040427A JP2017040427A JP6672202B2 JP 6672202 B2 JP6672202 B2 JP 6672202B2 JP 2017040427 A JP2017040427 A JP 2017040427A JP 2017040427 A JP2017040427 A JP 2017040427A JP 6672202 B2 JP6672202 B2 JP 6672202B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- difference
- camera
- image
- small difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 29
- 238000000034 method Methods 0.000 title claims description 11
- 238000009825 accumulation Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 19
- 230000001186 cumulative effect Effects 0.000 description 10
- 239000000126 substance Substances 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 239000000428 dust Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、車載のカメラを含む車載カメラシステム、車載カメラシステムのカメラへの付着物を検出する付着物検出装置及び付着物検出プログラム、及び車載カメラシステムを用いた付着物除去方法に関する。 The present invention relates to an in-vehicle camera system including an in-vehicle camera, an extraneous matter detection device and an extraneous matter detection program for detecting extraneous matter on the camera of the in-vehicle camera system, and an extraneous matter removing method using the in-vehicle camera system.
近年、ドアミラーやルームミラーの代わりにカメラとディスプレイを用いた電子ミラーシステムとしての車載カメラシステムを搭載した車両が開発されている。カメラは、例えば車両の側部又は後部に取り付けられ、車両の側方ないし後方の他の車両等を撮影し、撮影画像をディスプレイに表示する。ドライバは、ドアミラーやルームミラーの代わりにこのディスプレイに表示された撮影画像を視認することで、自車両の周囲の状況を把握できる。 In recent years, vehicles equipped with a vehicle-mounted camera system as an electronic mirror system using a camera and a display instead of a door mirror or a room mirror have been developed. The camera is attached to, for example, a side portion or a rear portion of the vehicle, captures an image of another vehicle laterally or behind the vehicle, and displays a captured image on a display. The driver can grasp the situation around the host vehicle by visually checking the captured image displayed on the display instead of the door mirror or the room mirror.
この車載カメラシステムを用いて、自車両の周囲の他の車両や歩行者を検知し、ドライバに警報を発し、あるいはドライブアシスト（自動ブレーキ、車線変更の制限等）を作動させるシステムも開発されている。 Using this in-vehicle camera system, a system has been developed that detects other vehicles and pedestrians around the vehicle, issues a warning to the driver, or activates drive assist (automatic braking, restriction on lane change, etc.). I have.
外部に露出している車載のカメラには、レンズ又はレンズカバー（以下単に、「レンズカバー」という。）の表面に雨滴やごみ等が付着することがある。レンズカバーに付着物があると、自車両周辺の状況を正確に撮影することができず、ディスプレイにおける視認性が低下し、あるいは、誤った制御が行われるおそれがある。 On a vehicle-mounted camera that is exposed to the outside, raindrops, dust, and the like may adhere to the surface of a lens or a lens cover (hereinafter, simply referred to as a “lens cover”). If there is an adhered substance on the lens cover, the situation around the host vehicle cannot be accurately photographed, and the visibility on the display may be reduced, or erroneous control may be performed.
この問題を解決するために、車載カメラシステムに、カメラ（のレンズカバー）への付着物を検出する付着物検出装置と、付着物の検出結果に従って物理的な方法でレンズカバー表面の付着物を取り除く付着物除去機構を設けることが提案されている（例えば、特許文献１）。付着物除去機構としては、例えば、レンズカバーに向けて気流を吹き付けて付着物を吹き飛ばすものが知られている。 In order to solve this problem, an in-vehicle camera system is provided with an extraneous matter detection device for detecting extraneous matter on the camera (lens cover), and an extraneous matter on the lens cover surface in a physical manner according to the extraneous matter detection result. It has been proposed to provide an extraneous matter removing mechanism for removing (for example, Patent Document 1). As an attached matter removing mechanism, for example, a mechanism that blows airflow toward a lens cover to blow off attached matter is known.
しかしながら、従来の付着物検出装置では、付着物ではないが変化の少ない領域（例えば、遠景）を付着物と誤判定することがある。 However, in the conventional attached matter detection device, an area that is not an attached matter but has little change (for example, a distant view) may be erroneously determined as an attached matter.
本発明は、車載カメラシステムにおいて、カメラの撮影画像に基づいてカメラへの付着物を適切に検出することを目的とする。 An object of the present invention is to appropriately detect a substance attached to a camera based on a captured image of the camera in a vehicle-mounted camera system.
本発明の一態様の車載カメラシステムは、車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラと、前記カメラにて生成された複数フレームの前記撮影画像においてフレーム間の差分の小さい小差分領域を特定する差分処理部と、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部とを備えた構成を有している。 An on-vehicle camera system according to one embodiment of the present invention includes a camera mounted on a vehicle and continuously photographing the periphery of the vehicle to generate a plurality of continuous captured images, and a plurality of frames generated by the camera. A difference processing unit that specifies a small difference area having a small difference between frames in the captured image; and a movement of the small difference area in a vehicle traveling corresponding direction that is a moving direction of a subject in the captured image accompanying the travel of the vehicle. And an attachment presence / absence determination unit that determines the presence / absence of an attachment on the camera based on the presence / absence of the attachment.
この構成により、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。例えば、遠景については、フレーム間差分は小さくなるが、遠景による小差分領域は車両走行対応方向に移動が生じるはずであるので、そのような移動の有無によって付着物であるか遠景であるかを比較的短時間で判断できる。 With this configuration, it is possible to not only specify a small difference area having a small inter-frame difference, but also determine whether the small difference area is an adhering matter based on whether or not the small difference area has moved in the vehicle traveling direction. Therefore, the presence or absence of the deposit can be appropriately determined in a relatively short time. For example, for a distant view, the inter-frame difference is small, but the small difference region due to the distant view should move in the direction corresponding to the vehicle traveling, so whether it is an attached matter or a distant view depends on the presence or absence of such movement. Can be determined in a relatively short time.
上記の車載カメラシステムにおいて、前記差分処理部は、フレーム間の差分を累積した差分累積画像を生成し、前記差分累積画像における低輝度領域を前記小差分領域として特定してよい。 In the above-mentioned in-vehicle camera system, the difference processing unit may generate a difference accumulation image in which differences between frames are accumulated, and specify a low luminance area in the difference accumulation image as the small difference area.
この構成により、差分累積画像で小差分領域をある程度明確にした上で、その移動の有無を判断するので、より的確に付着物の有無を判定できる。 According to this configuration, the presence or absence of the movement is determined after clarifying the small difference area to some extent in the difference accumulation image, so that the presence or absence of the adhering matter can be determined more accurately.
上記の車載カメラシステムにおいて、前記差分処理部は、前記差分累積画像の前記車両走行対応方向の分布を示すヒストグラムを生成し、前記ヒストグラムに基づいて前記小差分領域を特定してよい。 In the above-described in-vehicle camera system, the difference processing unit may generate a histogram indicating a distribution of the difference accumulated image in the vehicle traveling corresponding direction, and specify the small difference area based on the histogram.
この構成により、車両走行対応方向の差分の分布を示すヒストグラムが生成されるので、車両走行対応方向に移動する背景を適切に判定できる。 According to this configuration, a histogram indicating the distribution of the difference in the vehicle traveling direction is generated, so that the background moving in the vehicle traveling direction can be appropriately determined.
上記の車載カメラシステムは、前記カメラにて生成された複数フレームの前記撮影画像の間のフレーム間差分画像を生成する差分画像生成部をさらに備えていてよく、前記差分処理部は、複数の前記フレーム間差分画像を累積することで前記差分累積画像を生成してよい。 The vehicle-mounted camera system may further include a difference image generation unit that generates an inter-frame difference image between the captured images of a plurality of frames generated by the camera, and the difference processing unit includes a plurality of the difference processing units. The difference accumulation image may be generated by accumulating the inter-frame difference images.
この構成により、容易に差分累積画像を生成できる。 With this configuration, a difference accumulation image can be easily generated.
上記の車載カメラシステムは、前記カメラにて生成された前記撮影画像に対してＲＯＩを設定するＲＯＩ設定部をさらに備えていてよく、前記差分処理部は、前記ＲＯＩ内で前記小差分領域を特定してよい。 The above-mentioned in-vehicle camera system may further include an ROI setting unit configured to set an ROI for the captured image generated by the camera, wherein the difference processing unit specifies the small difference area in the ROI. May do it.
この構成により、撮影画像における自車両の映り込み部分等、付着物と誤判定され得る部分を予め除外して付着物の判定を行うことができる。 With this configuration, it is possible to perform the determination of the attached matter by excluding in advance the part that can be erroneously determined to be the attached matter, such as the reflected part of the own vehicle in the captured image.
上記の車載カメラシステムにおいて、前記付着物有無判定部は、前記車両の走行速度に応じて前記小差分領域の移動の有無を判断するためのフレーム間隔を調整してよい。 In the above-described on-vehicle camera system, the attached matter presence / absence determining unit may adjust a frame interval for determining whether or not the small difference area has moved according to a traveling speed of the vehicle.
この構成により、例えば、走行中にのみ付着物の有無を判定し、あるいは、速度が速いほど小差分領域の移動の判定を速くする等の調整が可能となる。 With this configuration, for example, it is possible to make an adjustment such as determining the presence or absence of an adhering matter only during traveling, or making the determination of movement of the small difference area faster as the speed is higher.
上記の車載カメラシステムは、前記付着物有無判定部にて付着物があると判定されたときに、前記付着物を除去するよう作動する付着物除去機構をさらに備えていてよい。 The above-mentioned in-vehicle camera system may further include an extraneous matter removing mechanism that operates to remove the extraneous matter when the extraneous matter presence / absence determining unit determines that there is extraneous matter.
この構成により、カメラへの付着物の検出から除去までを撮影画像に基づいて自動で行うシステムが提供される。 With this configuration, there is provided a system for automatically performing the process from detection to removal of a substance attached to a camera based on a captured image.
本発明の一態様の付着物検出装置は、車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラから前記撮影画像を取得する付着物検出装置であって、前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部と、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部とを備えた構成を有している。 An attached matter detection device according to one embodiment of the present invention is an attached matter detection device that acquires the captured image from a camera that is mounted on a vehicle and continuously captures the periphery of the vehicle to generate a plurality of consecutive captured images. A difference processing unit that identifies a small difference area having a small difference in the captured images of a plurality of frames generated by the camera, and a vehicle that is a moving direction of a subject in the captured image accompanying the travel of the vehicle. An adhering substance presence / absence determining unit that determines the presence / absence of an adhering substance on the camera based on whether or not the small difference area has moved in the traveling corresponding direction.
この構成によっても、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。 According to this configuration, not only the small difference area having the small inter-frame difference is specified, but also whether or not the small difference area is an adhering matter is determined by whether or not the small difference area is moved in the direction corresponding to the vehicle traveling. Since the determination is made, the presence or absence of the deposit can be appropriately determined in a relatively short time.
本発明の一態様の付着物除去方法は、車両に搭載されたカメラで前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するステップと、制御装置において、生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定するステップと、前記制御装置において、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定するステップと、前記制御装置において、前記カメラへの付着物があると判定されたときに、付着物を除去するよう付着物除去機構を作動させる制御を行うステップとを備えた構成を有している。 The method for removing adhering matter according to one aspect of the present invention includes the steps of: continuously photographing the periphery of the vehicle with a camera mounted on the vehicle to generate captured images of a plurality of continuous frames; Identifying a small difference area having a small difference in the photographed images of a plurality of frames; and the control device further comprising: the small difference in a vehicle traveling corresponding direction which is a moving direction of a subject in the photographed image accompanying the traveling of the vehicle. Judging the presence or absence of an adhering matter on the camera based on whether or not the area has moved; and providing the controller to remove the adhering matter when it is determined that there is an adhering matter on the camera. Controlling the operation of the kimono removing mechanism.
この構成によっても、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。 According to this configuration, not only the small difference area having the small inter-frame difference is specified, but also whether or not the small difference area is an adhering matter is determined by whether or not the small difference area is moved in the direction corresponding to the vehicle traveling. Since the determination is made, the presence or absence of the deposit can be appropriately determined in a relatively short time.
本発明の一態様の付着物検出プログラムは、車両に搭載されて前記車両の周囲を連続的に撮影して連続する複数フレームの撮影画像を生成するカメラから前記撮影画像を取得する付着物検出装置のコンピュータを、前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部、及び前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部として機能させる構成を有する。 An attached matter detection program according to one aspect of the present invention includes an attached matter detection device that acquires the captured image from a camera that is mounted on a vehicle and continuously captures the periphery of the vehicle to generate a plurality of consecutive captured images. A computer, a difference processing unit that specifies a small difference area having a small difference in the captured images of a plurality of frames generated by the camera, and a vehicle that is a moving direction of a subject in the captured image as the vehicle travels It is configured to function as an attachment presence / absence determination unit that determines the presence / absence of an attachment on the camera based on the presence / absence of movement of the small difference area in the traveling corresponding direction.
この構成によっても、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。 According to this configuration, not only the small difference area having the small inter-frame difference is specified, but also whether or not the small difference area is an adhering matter is determined by whether or not the small difference area is moved in the direction corresponding to the vehicle traveling. Since the determination is made, the presence or absence of the deposit can be appropriately determined in a relatively short time.
本発明によれば、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定できる。 According to the present invention, not only is a small difference region having a small inter-frame difference specified, but also whether or not the small difference region is an adhering matter based on whether or not the small difference region has moved in the vehicle traveling direction. Is determined, the presence or absence of the attached matter can be appropriately determined in a relatively short time.
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below shows an example in which the present invention is implemented, and the present invention is not limited to the specific configuration described below. In carrying out the present invention, a specific configuration according to the embodiment may be appropriately adopted.
図１は、本発明の実施の形態の車載カメラシステムの構成を示すブロック図である。車載カメラシステム１は、カメラ１０と、付着物検出装置２０とからなる。カメラ１０は、車両に搭載される。本実施の形態では、車載カメラシステムは、従来のドアミラーに代わるものとして構成され、よって、カメラ１０は、運転席のドア及び助手席のドアの外側に設置されて車両の左右それぞれの斜め後ろを撮影する。なお、図１では、カメラ１０が１つだけ示されているが、カメラ１０は複数あってよく、複数のカメラ１０について、１つの付着物検出装置２０が共通に用いられてもよい。このように、カメラ１０は、車両の外部に露出しており、レンズカバーに雨滴やごみ等が付着し得る。 FIG. 1 is a block diagram showing a configuration of the vehicle-mounted camera system according to the embodiment of the present invention. The in-vehicle camera system 1 includes a camera 10 and an attached matter detection device 20. The camera 10 is mounted on a vehicle. In the present embodiment, the vehicle-mounted camera system is configured as a substitute for a conventional door mirror, and therefore, the camera 10 is installed outside the driver's door and the passenger's door, and obliquely behind the left and right sides of the vehicle. Shoot. Although only one camera 10 is shown in FIG. 1, a plurality of cameras 10 may be provided, and one attached matter detection device 20 may be commonly used for the plurality of cameras 10. As described above, the camera 10 is exposed to the outside of the vehicle, and raindrops, dust, and the like may adhere to the lens cover.
カメラ１０には、レンズカバーへの付着物を物理的に除去する付着物除去機構が設けられており、後述する付着物検出装置２０にて付着物が検出されたときに、この付着物除去機構を作動させて、レンズカバーへの付着物を除去する。すなわち、車載カメラシステム１の構成要素として、カメラ１０及び付着物検出装置２０の他に、付着物除去装置が含まれていてよく、あるいは、車内に設置されてカメラ１０の撮影画像を表示するディスプレイが含まれていてもよい。 The camera 10 is provided with an extraneous matter removing mechanism for physically removing extraneous matter from the lens cover. When an extraneous matter is detected by an extraneous matter detection device 20 described later, the extraneous matter removing mechanism is used. Is operated to remove the deposits on the lens cover. That is, in addition to the camera 10 and the extraneous matter detection device 20, an extraneous matter removal device may be included as a component of the on-vehicle camera system 1, or a display that is installed in a vehicle and displays a captured image of the camera 10. May be included.
カメラ１０は、連続的に撮影を行って連続する複数フレームからなる撮影画像を生成する。カメラ１０と付着物検出装置２０とは、通信可能に接続されており、撮影画像はカメラ１０から付着物検出装置２０に送信され、付着物検出装置２０は撮影画像を受信する。カメラ１０が複数ある場合には、付着物検出装置２０には、複数のカメラ１０の各々から撮影画像が送信され、付着物検出装置２０はこれらを受信する。付着物検出装置２０は、カメラ１０で生成された撮影画像に基づいて、カメラ１０のレンズカバーに付着物があることを検出する。 The camera 10 continuously performs photographing to generate a photographed image including a plurality of continuous frames. The camera 10 and the attached matter detection device 20 are communicably connected, and a captured image is transmitted from the camera 10 to the attached matter detection device 20, and the attached matter detection device 20 receives the captured image. When there are a plurality of cameras 10, the captured images are transmitted to the attached matter detection device 20 from each of the plurality of cameras 10, and the attached matter detection device 20 receives these images. The attached matter detection device 20 detects that there is an attached matter on the lens cover of the camera 10 based on the captured image generated by the camera 10.
付着物検出装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、記憶装置等からなるコンピュータで構成されており、ＣＰＵが本実施の形態の付着物検出プログラムを実行することで、図１に示すように、ＲＯＩ設定部２１、差分画像生成部２２、差分処理部２３、及び付着物有無判定部２４が構成される。 The attached matter detection device 20 is configured by a computer including a CPU, a RAM, a ROM, a storage device, and the like. When the CPU executes the attached matter detection program according to the present embodiment, as shown in FIG. The setting unit 21, the difference image generation unit 22, the difference processing unit 23, and the attached matter presence / absence determination unit 24 are configured.
なお、本実施の形態では、時間推移を離散的に示し、現在の時点を符号ｔで表し、現時点から１ステップ前の時点を符号ｔ−１で表し、現時点から２ステップ前の時点を符号ｔ−２で表す。また、１ステップは１フレームに相当するので、現時点の最新フレームを符号ｔで表し、１つ前のフレームを符号ｔ−１で表し、２つ前のフレームを符号ｔ−２で表す。 In the present embodiment, the time transition is discretely shown, the current time is represented by a symbol t, the time one step before the current time is represented by a symbol t-1, and the time two steps before the current time is represented by a symbol t. Expressed by -2. Also, since one step corresponds to one frame, the latest frame at the present time is represented by a symbol t, the immediately preceding frame is represented by a symbol t-1, and the immediately preceding frame is represented by a symbol t-2.
ＲＯＩ設定部２１は、カメラ１０から取得した撮影画像に対して、ＲＯＩ（Region Of Interest、関心領域）を設定する。図２は、ＲＯＩの例を示す図である。図２に示す例では、右側のドアに設置されたカメラ１０の撮影画像に対してＲＯＩ２０１が設定されている。撮影画像には、一部領域に自車両も映り込んでいるが、ＲＯＩ２０１はこの自車両の映り込み部分を避け、かつ付着物検知後の処理（ドライバによる視認、制御等）にとって重要性の低い領域を避けて、矩形の形状として設定される。 The ROI setting unit 21 sets an ROI (Region Of Interest) for a captured image acquired from the camera 10. FIG. 2 is a diagram illustrating an example of the ROI. In the example shown in FIG. 2, the ROI 201 is set for an image captured by the camera 10 installed on the right door. In the captured image, the own vehicle is also reflected in a part of the area. However, the ROI 201 avoids the reflected portion of the own vehicle and is less important for processing after the detection of the attached matter (visual recognition and control by the driver). It is set as a rectangular shape avoiding the area.
右側のドアに設置されたカメラ１０の撮影画像に対しては、図２に示すように、撮影画像の左上にＲＯＩ２０１が設定され、左側のドアに設置されたカメラ１０の撮影画像に対しては、図示はしないが、撮影画像の右上にＲＯＩが設定される。このように、ＲＯＩの位置はカメラ１０の設置位置によって異なっており、ＲＯＩ設定部２１は、カメラ１０ごとにあらかじめ決められた位置にＲＯＩを設定する。ＲＯＩ設定部２１は、撮影画像からＲＯＩの部分画像を切出して、切出した部分画像を差分画像生成部２２に出力する。 As shown in FIG. 2, the ROI 201 is set at the upper left of the captured image for the image captured by the camera 10 installed on the right door, and the ROI 201 is set for the image captured by the camera 10 installed on the left door. Although not shown, an ROI is set at the upper right of the captured image. As described above, the position of the ROI differs depending on the installation position of the camera 10, and the ROI setting unit 21 sets the ROI at a predetermined position for each camera 10. The ROI setting unit 21 extracts a partial image of the ROI from the captured image and outputs the extracted partial image to the difference image generation unit 22.
差分画像生成部２２は、ＲＯＩ設定部２１から時系列に順次入力される複数の部分画像に基づいてフレーム間差分画像を生成する。図３は、差分画像生成部２２におけるフレーム間差分画像生成処理を示す図である。具体的には、差分画像生成部２２は、時系列で連続した２フレームの画像（時刻ｔと時刻ｔ−１の画像）の間の差分を求めて、フレーム間差分画像を生成する。 The difference image generation unit 22 generates an inter-frame difference image based on a plurality of partial images sequentially input in time series from the ROI setting unit 21. FIG. 3 is a diagram illustrating an inter-frame difference image generation process in the difference image generation unit 22. Specifically, the difference image generation unit 22 obtains a difference between two time-series continuous images (images at time t and time t−1), and generates an inter-frame difference image.
差分画像生成部２２は、時刻ｔの画像Ｉｔの各画素の画素値Ｉｔ（ｘ，ｙ）と時刻ｔ−１の画像Ｉｔ−１の各画素の画素値Ｉｔ−１（ｘ，ｙ）との差分を画素値Ｄｔ（ｘ，ｙ）として時刻ｔのフレーム間差分画像Ｄｔを求めてもよいが、本実施の形態では、図３に示すように、差分画像生成部２２は、フレーム間差分画像Ｄｔの注目画素を含む所定の大きさのブロックでの差分を平均化して注目画素の画素値Ｄｔ（ｘ，ｙ）とする。 Difference image generation unit 22, the pixel value of each pixel of the image I t at time t I t (x, y) and the pixel value of each pixel of the image I t-1 at time t-1 I t-1 ( x, y) may be used as the pixel value D t (x, y) to obtain the inter-frame difference image D t at time t, but in the present embodiment, as shown in FIG. 3, the difference image generation unit 22 the pixel value of the pixel of interest by averaging the difference between a predetermined size of the block including the pixel of interest in the inter-frame difference image D t D t (x, y ) to.
具体的には、差分画像生成部２２は、フレーム間差分画像Ｄｔの各画素値Ｄｔ（ｘ，ｙ）を以下の式（１）で求める。
図４は、差分画像生成部２２にて生成された時刻ｔのフレーム間差分画像Ｄｔの例を示す図である。図４において、時刻ｔのフレーム間差分画像Ｄｔの各画素は、時刻ｔ−１の画像Ｉｔ−１と時刻ｔの画像Ｉｔとの差分が大きいほど高輝度に（白く）表されている。差分画像生成部２２は、フレーム間差分画像Ｄｔを生成するとそれを差分処理部２３に出力する。 Figure 4 is a diagram illustrating an example of inter-frame difference image D t at the time t generated by the difference image generation unit 22. 4, each pixel of the inter-frame difference image D t at time t, as the difference between the image I t at time t-1 of the image I t-1 and time t is larger in the high luminance (white) represented by I have. When the difference image generation unit 22 generates the inter-frame difference image Dt , it outputs it to the difference processing unit 23.
差分処理部２３は、差分累積画像生成部２３１と、ヒストグラム生成部２３２とを備えている。差分累積画像生成部２３１は、差分画像生成部２２から時系列に順次入力される複数の連続するフレーム間差分画像Ｄｔを用いて差分累積画像ＤＡｔを生成する。 The difference processing unit 23 includes a difference accumulated image generation unit 231 and a histogram generation unit 232. Accumulation differential image generating unit 231 generates a difference accumulated image DA t by using inter-frame difference image D t a plurality of successive sequentially inputted in time series from the difference image generation unit 22.
図５は、差分累積画像生成部２３１による差分累積画像の生成処理を示す図である。差分累積画像生成部２３１は、時刻ｔの差分累積画像ＤＡｔを生成するために、まず、時刻ｔのフレーム間差分画像Ｄｔから時系列で連続する過去Ｎフレーム分のフレーム間差分画像Ｄｔ〜Ｄｔ−（Ｎ−１）の輝度を累積して、Ｎで正規化することで差分累積画素値ＤＡ´ｔ（ｘ，ｙ）を求める。差分累積画像生成部２３は、さらに、差分累積画素値ＤＡ´ｔ（ｘ，ｙ）が一定の閾値Ｔより大きい場合は、差分累積画像ＤＡｔの画素値ＤＡｔ（ｘ，ｙ）を最大値である２５５にし、差分累積画素値ＤＡ´ｔ（ｘ，ｙ）が一定の閾値Ｔ以下である場合は、それをそのまま差分累積画像ＤＡｔの画素値ＤＡｔ（ｘ，ｙ）をする。 FIG. 5 is a diagram illustrating a process of generating a difference accumulated image by the difference accumulated image generation unit 231. Accumulation differential image generator 231, to generate a difference accumulated image DA t at time t, first, last N frames of the inter-frame difference image D t continuous in time series from the inter-frame difference image D t at time t輝 度 D t− (N−1) is accumulated and normalized by N to obtain a difference accumulated pixel value DA ′ t (x, y). When the accumulated difference pixel value DA ′ t (x, y) is larger than the fixed threshold T, the accumulated difference image generation unit 23 further sets the pixel value DA t (x, y) of the accumulated difference image DAt to the maximum value. If the difference cumulative pixel value DA ′ t (x, y) is equal to or less than a certain threshold value T, the pixel value DA t (x, y) of the difference cumulative image DA t is used as it is.
具体的には、差分累積画像生成部２３１は、以下の式（２）で差分累積画素値ＤＡ´ｔ（ｘ，ｙ）を求め、以下の式（３）で差分累積画像ＤＡｔの各画素値ＤＡｔ（ｘ，ｙ）を求める累積処理を行う。
図６は、時刻ｔのフレーム間差分画像Ｄｔの例を示す図であり、図７は、このフレーム間差分画像Ｄｔを含む複数のフレーム間差分画像を累積して得られた差分累積画像ＤＡｔの例を示す図である。図６及び図７から明らかなように、差分累積画像ＤＡｔでは、フレーム間差分画像Ｄｔと比較して、輝度の高い（最高値２５５）の画素が増えており、Ｎフレーム中の比較的多くのフレームにわたって輝度が変化しない部分のみが低輝度の画素として残されている。すなわち、差分累積画像ＤＡｔを生成することで、複数フレームにおける輝度変化が小さい部分（小差分領域）が特定される。 FIG. 6 is a diagram showing an example of the inter-frame difference image D t at time t. FIG. 7 is a diagram showing a difference accumulated image obtained by accumulating a plurality of inter-frame difference images including the inter-frame difference image D t. is a diagram illustrating an example of DA t. As is apparent from FIGS. 6 and 7, the accumulation differential image DA t, as compared with the inter-frame difference image D t, and increasing the pixel of high brightness (maximum value 255), relatively in the N frame Only portions where the luminance does not change over many frames are left as low-luminance pixels. That is, by generating a difference accumulated image DA t, partial luminance change in the plurality of frames is small (small difference regions) are identified.
差分累積画像生成部２３１は、生成した差分累積画像ＤＡｔをヒストグラム生成部２３２に出力する。ヒストグラム生成部２３２は、差分累積画像ＤＡｔに基づいて、部分領域ごとのヒストグラムを生成する。本実施の形態では、差分累積画像生成部２３１は、フレームごとに上記のようにして差分累積画像ＤＡｔを生成し、ヒストグラム生成部２３２も、差分累積画像ＤＡｔごと、すなわちフレームごとに、ヒストグラムを生成する。 Accumulation differential image generator 231 outputs the generated difference accumulated image DA t the histogram generation unit 232. Histogram generation unit 232, based on the accumulation differential image DA t, generates a histogram for each subregion. In this embodiment, the accumulation differential image generator 231, as described above generates a difference cumulative image DA t for each frame, the histogram generation unit 232 also each accumulation differential image DA t, i.e. for each frame, the histogram Generate
図８は、ヒストグラムを生成する部分領域（ヒストグラム生成領域）を示す図であり、図９は、各ヒストグラム生成領域において生成されたヒストグラムを示す図である。図８に示すように、ヒストグラム生成部２３２は、差分累積画像ＤＡｔを上下方向に互いに重複し、ＲＯＩの全長にわたって車両走行対応方向である左右方向（横方向）に延びる複数のヒストグラム生成領域を設定し、車両走行対応方向である左右方向の分布を示すヒストグラムを生成する。図８の例では、差分累積画像ＤＡｔを縦方向に重複する５つの領域（上から順位に第１ヒストグラム生成領域Ａ１、第２ヒストグラム生成領域Ａ２、第３ヒストグラム生成領域Ａ３、第４ヒストグラム生成領域Ａ４、第５ヒストグラム生成領域Ａ５）に分割する。 FIG. 8 is a diagram showing a partial region (histogram generation region) for generating a histogram, and FIG. 9 is a diagram showing a histogram generated in each histogram generation region. As shown in FIG. 8, the histogram generation unit 232, a difference accumulated image DA t overlap each other in the vertical direction, a plurality of histogram generation region extending in the lateral direction (lateral direction) is a vehicle traveling the corresponding direction over the entire length of the ROI Then, a histogram indicating the distribution in the left-right direction, which is the direction corresponding to the vehicle running, is generated. In the example of FIG. 8, the accumulation differential image DA t five overlapping in the longitudinal region (first histogram generation region rank from the top A1, the second histogram generation region A2, third histogram generation region A3, 4th histogram generation Area A4, and a fifth histogram generation area A5).
このとき、差分累積画像ＤＡｔの縦方向の長さ（高さ）をＨ［ピクセル］とし、横方向の長さ（幅）をＷ［ピクセル］とすると、ヒストグラム生成部２３２は、各ヒストグラム生成領域の高さｈをＨ／３として、第１ヒストグラム生成領域Ａ１と第２ヒストグラム生成領域Ａ２、第２ヒストグラム生成領域Ａ２と第３ヒストグラム生成領域Ａ３、第３ヒストグラム生成領域Ａ３と第４ヒストグラム生成領域Ａ４、及び第４ヒストグラム生成領域Ａ４と第５ヒストグラム生成領域Ａ５が、それぞれ縦方向にｈ／２だけ重なるようにする。 At this time, when the vertical length of the accumulation differential image DA t (height) and H [pixels], the lateral length (width) and W [pixel], the histogram generation unit 232, generates the histograms Assuming that the height h of the region is H / 3, the first histogram generation region A1 and the second histogram generation region A2, the second histogram generation region A2 and the third histogram generation region A3, the third histogram generation region A3 and the fourth histogram generation The region A4, and the fourth histogram generation region A4 and the fifth histogram generation region A5 are each overlapped by h / 2 in the vertical direction.
なお、ヒストグラム生成領域を互いに重複しないように設定してもよく、この場合には、図８の例では、差分累積画像ＤＡｔを第１ヒストグラム生成領域Ａ１と、第３ヒストグラム生成領域Ａ３と、第５ヒストグラム生成領域Ａ５の３つのヒストグラム生成領域に分割でき、この場合にも各ヒストグラム生成領域の縦方向の幅ｈはＨ／３となる。本実施の形態のように、ヒストグラム生成領域を図８に示すように互いに重複させることで、例えば、第１ヒストグラム生成領域Ａ１と第３ヒストグラム生成領域Ａ３に跨って存在する付着物を第２ヒストグラム生成領域Ａ２で顕著に検出できる等、縦方向の位置に関わらずに付着物を検出できる。 Incidentally, may be set so as not to overlap the histogram generation region together, in this case, in the example of FIG. 8, the accumulation differential image DA t the first histogram generation area A1, the third histogram generation region A3, The fifth histogram generation area A5 can be divided into three histogram generation areas, and also in this case, the width h in the vertical direction of each histogram generation area is H / 3. As shown in FIG. 8, by overlapping the histogram generation areas with each other as shown in FIG. The attached matter can be detected irrespective of the vertical position, for example, it can be detected remarkably in the generation area A2.
なお、本実施の形態で差分累積画像を横長のヒストグラム生成領域で縦方向に分割しているのは、本実施の形態では、カメラ１０が車両の側部に設置されており、時系列に連続する撮影画像において背景が概ね横方向に移動するからである。このように、撮影画像において、車両の走行に伴って撮影画像内において被写体が移動する方向を、本明細書では「車両走行対応方向」といい、右側のドアに設置されて車両の右側方及び右斜め後方を撮影するカメラによる撮影画像の車両走行対応方向は横方向（右方向）である。 In the present embodiment, the difference accumulation image is divided in the vertical direction in the horizontally long histogram generation area. In the present embodiment, the camera 10 is installed on the side of the vehicle, and it is continuous in time series. This is because the background moves substantially in the horizontal direction in the captured image. As described above, in the captured image, the direction in which the subject moves in the captured image along with the traveling of the vehicle is referred to as a “vehicle traveling corresponding direction” in the present specification, and is installed at the right door and on the right side of the vehicle. The direction corresponding to the vehicle traveling of the image captured by the camera that captures the diagonally right rear is the lateral direction (right direction).
したがって、カメラ１０が例えば車両の後ろ正面を撮影するように車両の後方に向けて設置されている場合には、連続する撮影画像において背景は概ね上方向に移動するので、この場合には、車両走行対応方向は縦方向（上方向）となり、縦方向に延びる複数の領域で差分累積画像を横方向に分割してよい。 Therefore, when the camera 10 is installed facing the rear of the vehicle so as to capture the front of the vehicle, for example, the background moves substantially upward in a continuous captured image. The traveling corresponding direction is the vertical direction (upward direction), and the difference accumulation image may be divided in the horizontal direction by a plurality of regions extending in the vertical direction.
ヒストグラム生成部２３２は、各領域について縦方向の画素値を累積して、車両走行対応方向である横方向の分布を示すヒストグラムを生成する。図８の例の差分累積画像からは、各ヒストグラム生成領域について図９に示すヒストグラムが生成される。なお、図９では、５つのヒストグラム生成領域について各々のヒストグラムを上から順に並べて示している。すなわち、ヒストグラム生成部２３２は、各ヒストグラム生成領域の各ｘ座標について、以下の式（４）によってヒストグラムの度数Ｆ（ｘ）を算出する。
図１０は、差分累積画像ＤＡｔの例（上段）と、差分累積画像ＤＡｔの各領域から生成されたヒストグラムの例（下段）を示す図である。ヒストグラム生成部２３２は、さらに、各領域のヒストグラムについて、２５５より小さい値がｘ方向に連続している領域を小差分領域として特定する。図１０の例では、第１ヒストグラム生成領域Ａ１からは、小差分領域ａ１と小差分領域ａ２が特定され、第２ヒストグラム生成領域Ａ２からは小差分領域ａ３と小差分領域ａ４が特定され、第３ヒストグラム生成領域Ａ３からは小差分領域ａ５が特定され、第４ヒストグラム生成領域Ａ４からは小差分領域ａ６が特定され、第５ヒストグラム生成領域Ａ５からは小差分領域ａ７が特定されている。 Figure 10 is a diagram showing an example of the difference accumulated image DA t (top), examples of the histogram generated from the respective areas of difference accumulated image DA t a (lower). The histogram generation unit 232 further specifies, as a small difference region, a region where a value smaller than 255 is continuous in the x direction with respect to the histogram of each region. In the example of FIG. 10, a small difference area a1 and a small difference area a2 are specified from the first histogram generation area A1, and a small difference area a3 and a small difference area a4 are specified from the second histogram generation area A2. A small difference area a5 is specified from the third histogram generation area A3, a small difference area a6 is specified from the fourth histogram generation area A4, and a small difference area a7 is specified from the fifth histogram generation area A5.
ヒストグラム生成部２３２は、さらに、特定した各小差分領域において度数が最小となる点（ピーク）を特定する。図１０の例では、小差分領域ａ１〜ａ７からそれぞれピークｐ１〜ｐ７が特定されている。 The histogram generation unit 232 further specifies a point (peak) at which the frequency becomes minimum in each of the specified small difference areas. In the example of FIG. 10, peaks p1 to p7 are specified from the small difference areas a1 to a7, respectively.
差分処理部２３は、上記の差分累積画像ＤＡｔの生成及びヒストグラムの生成の処理（差分処理）を行って、生成されたヒストグラムの小差分領域及びそのピークの情報をフレームごとに順次、付着物有無判定部２４に出力する。付着物有無判定部２４は、連続的に入力されるヒストグラムの小差分領域及びそのピークの情報に基づいて、付着物の有無を判定する。 Difference processing unit 23 performs the above generation and histogram processing generation of the difference accumulated image DA t (difference processing), successively small difference regions and information of the peak of the generated histogram for each frame, deposits Output to the presence / absence determination unit 24. The attached matter presence / absence determining unit 24 determines the presence or absence of attached matter based on the information of the continuously input small difference area of the histogram and its peak.
具体的には、付着物有無判定部２４は、Ｍ（Ｍは２以上の自然数）フレームの間に各小差分領域ａ１〜ａ７の端部が移動する（条件Ａ）か否かを判断する。また、付着物有無判定部２４は、各ピークｐ１〜ｐ７についても、Ｍフレームの間に移動する（条件Ｂ）か否かを判断する。そして、付着物有無判定部２４は、条件Ａ及び条件Ｂがいずれも満たされる小差分領域について、そのピークの度数が所定の閾値Ｔｒａｉｎより小さい（条件Ｃ）か否かを判断する。そして、条件Ｃを満たす場合には、その小差分領域が付着物によるものであり、よって、レンズカバーに付着物があると判定する。 Specifically, the attached matter presence / absence determining unit 24 determines whether or not the ends of the small difference areas a1 to a7 move during M (M is a natural number of 2 or more) frames (condition A). Further, the attached matter presence / absence determining unit 24 determines whether or not each of the peaks p1 to p7 also moves during M frames (condition B). Then, the attached matter presence / absence determining unit 24 determines whether or not the frequency of the peak is smaller than a predetermined threshold value T train (condition C) in the small difference region in which both the condition A and the condition B are satisfied. Then, when the condition C is satisfied, the small difference area is due to the attached matter, and thus it is determined that the attached matter is present on the lens cover.
なお、本実施の形態では、Ｍ＝５とし、閾値Ｔｒａｉｎを最大輝度２５５の８割である２０４に設定している。条件Ａ及び条件Ｂについては、Ｍフレームにわたって移動量を累積して、累積の移動量が所定の閾値を超えたときに移動したと判断してもよいし、最初の差分累積画像ＤＡｔとＭフレーム後の差分累積画像ＤＡｔ＋（Ｍ−１）とを比較して移動が生じているか否かを判断してもよい。 In the present embodiment, and M = 5, is set the threshold T rain to 204 is 80% of the maximum luminance 255. The conditions A and B, and accumulated movement distance over M frames, may be judged to have moved when the movement amount of the accumulated exceeds a predetermined threshold value, and the first difference cumulative image DA t M It may be compared with the difference accumulated image DAt + (M-1) after the frame to determine whether or not the movement has occurred.
以上のように、付着物有無判定部２４は、条件Ａ、条件Ｂ、及び条件Ｃのすべてを満たす小差分領域がある場合に、付着物があると判定する。条件Ａ又は条件Ｂを満たさない場合は、この小差分領域が撮影画像内で車両走行対応方向である横方向に徐々に移動していることを意味している。 As described above, when there is a small difference area that satisfies all of the conditions A, B, and C, the attached matter presence / absence determining unit 24 determines that there is an attached matter. When the condition A or the condition B is not satisfied, it means that the small difference area is gradually moving in the captured image in the lateral direction corresponding to the vehicle traveling direction.
車両の側面に設置されたカメラ１０の撮影画像における背景は、それが遠方にある場合（例えば、空）や車両の走行方向に変化がなない場合（例えば、トンネルの内壁）には、小差分領域となり得るが、そのような小差分領域は車両の走行に応じて撮影画像内で徐々に車両走行対応方向に移動することがある。これに対して、小差分領域が付着物によるものである場合には、走行によってもこの小差分領域が車両走行対応方向に移動することはない。よって、条件Ａ及び条件Ｂによって、小差分領域の車両走行対応方向への移動の有無を判断することで、それが付着物によるものであるか背景によるものであるのかを判断することができる。 The background in the image captured by the camera 10 installed on the side of the vehicle has a small difference when it is far away (for example, in the sky) or when there is no change in the traveling direction of the vehicle (for example, the inner wall of a tunnel). Although such a small difference region may be a region, the small difference region may gradually move in the direction corresponding to the vehicle traveling in the captured image according to the traveling of the vehicle. On the other hand, when the small difference area is caused by the adhering matter, the small difference area does not move in the direction corresponding to the vehicle traveling even when the vehicle travels. Therefore, by judging the presence or absence of the movement of the small difference area in the direction corresponding to the vehicle traveling on the condition A and the condition B, it is possible to determine whether the movement is due to the attached matter or the background.
また、条件Ｃを課すことで、車両の走行に応じてある程度の輝度変化が生じている領域について付着物であると判断でき、過検出の可能性を低減できる。なお、条件Ａ、条件Ｂ、及び条件Ｃの判断の順序は上記の例に限らず、どの順序で判断してもよい。また、条件Ａ及び条件Ｂのいずれか一方のみを判断してもよい。 Further, by imposing the condition C, it is possible to determine that an area in which a certain degree of luminance change has occurred according to the running of the vehicle is an adhering substance, and it is possible to reduce the possibility of overdetection. The order of the determination of the condition A, the condition B, and the condition C is not limited to the above example, and may be determined in any order. Alternatively, only one of the condition A and the condition B may be determined.
車載カメラシステム１は、付着物有無判定部２４にて付着物があると判定されると、この判定結果に従って、付着物除去機構を作動させて、レンズカバーの付着物を除去する。すなわち、付着物検出装置２０は、付着物の有無の判定に従って付着物除去機構を作動させる制御装置としての機能も有する。 When it is determined by the attached matter presence / absence determining section 24 that there is an attached matter, the in-vehicle camera system 1 operates the attached matter removing mechanism to remove the attached matter from the lens cover according to the determination result. That is, the attached matter detection device 20 also has a function as a control device that operates the attached matter removing mechanism according to the determination of the presence or absence of the attached matter.
なお、上記の説明から明らかなように、車両が停止しており、撮影画像に変化が生じない場合は、撮影画像のＲＯＩ全体について差分累積画像の輝度値が最低となり、全領域で条件ＡないしＣを満たして全領域に付着物があると判定されて、付着物除去装置が作動してしまう。よって、上記の付着物検出装置２０の処理は、車両が走行している間にのみ行うようにすることが望ましい。具体的には、付着物検出装置２０は、車両信号から速度情報を取得して、速度情報で動作可否と途中結果である差分累積画像等のリセット可否を判定する。 As is clear from the above description, when the vehicle is stopped and the captured image does not change, the luminance value of the difference accumulated image becomes the lowest for the entire ROI of the captured image, and the conditions A to C is satisfied, and it is determined that there is an attached matter in the entire area, and the attached matter removing device operates. Therefore, it is desirable that the processing of the attached matter detection device 20 be performed only while the vehicle is traveling. Specifically, the attached matter detection device 20 acquires speed information from the vehicle signal, and determines whether or not the operation is possible and whether or not the difference accumulated image or the like as an intermediate result is reset based on the speed information.
さらに、小差分領域の移動を判断するためのフレーム数Ｍは、車両の走行速度に応じて可変に設定してもよい。すなわち、車両の走行速度が速いほどフレーム間の差分が大きくなると考えられるので、付着物有無判定部２４は、車両の走行速度の情報を取得して、車両の走行速度が速いほど、フレーム数Ｍを小さくしてよい。 Furthermore, the number M of frames for determining the movement of the small difference area may be set variably according to the traveling speed of the vehicle. That is, it is considered that the difference between the frames increases as the traveling speed of the vehicle increases. Therefore, the attached matter presence / absence determining unit 24 acquires the information on the traveling speed of the vehicle, and determines the number of frames M as the traveling speed of the vehicle increases. May be reduced.
また、上記の実施の形態では、フレームごとに差分累積画像ＤＡｔを生成したが、付着物有無は添部２４にて、差分累積画像ＤＡｔのヒストグラムと差分累積画像ＤＡｔ−（Ｍ−１）のヒストグラムとを比較して条件Ａや条件Ｂを判断する場合には、差分処理部２３では、Ｍフレームごとに差分累積画像を生成してヒストグラムを生成してもよい。 Further, in the above embodiment, but to produce a difference accumulated image DA t for each frame, deposits whether the at添部24, histogram and the accumulation differential image DA t-differential cumulative image DA t (M-1 In the case where the condition A or the condition B is determined by comparing with the histogram of (1 ) , the difference processing unit 23 may generate a histogram by generating a difference accumulated image for each M frames.
以上のように、本実施の形態の車載カメラシステム１によれば、フレーム間差分が小さい領域の車両走行対応方向への移動の有無に基づいて付着物の有無を判断する（移動があるときは付着物ではないと判断する）。なお、本実施の形態では、Ｎフレームにわたって差分を累積することで差分が小さい部分を特定したが、このＮを大きくすることで、水滴等のように撮影画像内で移動しない部分の差分がより小さくなり、それが水滴等の付着物であることが分かるようになるが、本実施の形態では、差分累積画像を生成することで付着物の部分の差分を小さくして検出しやすくするだけでなく、フレーム間差分が小さい領域の車両走行対応方向への移動の有無に基づいて付着物の有無を判断することで、差分累積画像を生成するための累積数（上記のＮ）をさほど大きくしなくても付着物の有無を判断できることになる。したがって、本実施の形態の車載カメラシステム１によれば、レンズカバーに水滴等が付着してから比較的短時間でそれを検出して付着物除去機構を作動させることができる。 As described above, according to the on-vehicle camera system 1 of the present embodiment, the presence / absence of an adhering matter is determined based on the presence / absence of the movement in the direction corresponding to the vehicle traveling in the region where the difference between the frames is small (when there is movement). It is judged that it is not a deposit). In the present embodiment, the portion where the difference is small is specified by accumulating the difference over N frames, but by increasing this N, the difference of the portion that does not move in the captured image such as a water drop becomes larger. It becomes small and it can be seen that it is an attached matter such as a water drop, but in the present embodiment, it is only necessary to reduce the difference of the attached matter part by generating a difference accumulation image to make it easier to detect. Instead, by judging the presence / absence of an adhering matter based on the presence / absence of movement in the direction corresponding to the vehicle traveling in a region where the difference between frames is small, the cumulative number (N described above) for generating a difference cumulative image is significantly increased. It is possible to determine the presence or absence of the attached matter even without the presence. Therefore, according to the on-vehicle camera system 1 of the present embodiment, it is possible to detect the water droplets and the like on the lens cover in a relatively short time after the water droplets and the like adhere to the lens cover, and operate the attached matter removing mechanism.
本発明は、単にフレーム間差分の小さい小差分領域を特定するだけでなく、その小差分領域の車両走行対応方向への移動の有無によって、その小差分領域が付着物であるか否かを判断するので、比較的短時間で付着物の有無を適切に判定でき、車載のカメラを含む車載カメラシステム、車載カメラシステムのカメラへの付着物を検出する付着物検出装置及び付着物検出プログラム、及び車載胃カメラシステムを用いた付着物除去方法等として有用である。 The present invention not only specifies a small difference area having a small inter-frame difference, but also determines whether or not the small difference area is an adhering matter based on whether or not the small difference area has moved in a direction corresponding to vehicle travel. Therefore, the presence or absence of the attached matter can be appropriately determined in a relatively short time, the in-vehicle camera system including the in-vehicle camera, the attached matter detection device and the attached matter detection program for detecting the attached matter to the camera of the in-vehicle camera system, and It is useful as a method for removing deposits using an in-vehicle gastric camera system.
１ 車載カメラシステム
１０ カメラ
２０ 付着物検出装置
２１ ＲＯＩ設定部
２２ 差分画像生成部
２３ 差分処理部
２３１ 差分累積画像生成部
２３２ ヒストグラム生成部
２４ 付着物有無判定部
REFERENCE SIGNS LIST 1 vehicle-mounted camera system 10 camera 20 attached matter detection device 21 ROI setting unit 22 difference image generation unit 23 difference processing unit 231 difference accumulation image generation unit 232 histogram generation unit 24 attached matter determination unit
Claims (10)
前記カメラにて生成された複数フレームの前記撮影画像においてフレーム間の差分の小さい小差分領域を特定する差分処理部と、
前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部と、
を備えた車載カメラシステム。 A camera mounted on a vehicle to continuously photograph the periphery of the vehicle to generate a continuous frame of captured images,
A difference processing unit that specifies a small difference area having a small difference between frames in the captured images of a plurality of frames generated by the camera;
Adhered matter presence / absence determination for judging the presence / absence of attached matter to the camera based on the presence / absence of movement of the small difference area in a vehicle traveling corresponding direction which is a moving direction of a subject in the photographed image accompanying the traveling of the vehicle. Department and
In-vehicle camera system equipped with.
前記差分処理部は、複数の複数の前記フレーム間差分画像を累積することで前記差分累積画像を生成する、
請求項２又は３に記載の車載カメラシステム。 Further comprising a difference image generation unit that generates an inter-frame difference image between the captured images of a plurality of frames generated by the camera,
The difference processing unit generates the difference accumulated image by accumulating a plurality of the inter-frame difference images,
The vehicle-mounted camera system according to claim 2.
前記差分処理部は、前記ＲＯＩ内で前記小差分領域を特定する、
請求項１ないし４のいずれかに記載の車載カメラシステム。 An ROI setting unit that sets an ROI for the captured image generated by the camera,
The difference processing unit specifies the small difference area in the ROI,
The vehicle-mounted camera system according to claim 1.
前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部と、
前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部と、
を備えた付着物検出装置。 An adhering matter detection device that acquires the captured image from a camera that is mounted on a vehicle and continuously captures the periphery of the vehicle to generate a captured image of a plurality of continuous frames,
A difference processing unit that identifies a small difference area with a small difference in the captured images of a plurality of frames generated by the camera,
Adhered matter presence / absence determination for judging the presence / absence of attached matter to the camera based on the presence / absence of movement of the small difference area in a vehicle traveling corresponding direction which is a moving direction of a subject in the photographed image accompanying the traveling of the vehicle Department and
An adhering matter detection device comprising:
制御装置において、生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定するステップと、
前記制御装置において、前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定するステップと、
前記制御装置において、前記カメラへの付着物があると判定されたときに、付着物を除去するよう付着物除去機構を作動させる制御を行うステップと、
を備えた付着物除去方法。 A step of continuously photographing the periphery of the vehicle with a camera mounted on the vehicle to generate a continuous frame of captured images,
In the control device, a step of identifying a small difference area having a small difference in the generated captured images of the plurality of frames,
In the control device, it is determined whether or not there is any adhering matter to the camera based on whether or not the small difference area has moved in a vehicle traveling corresponding direction which is a moving direction of the subject in the photographed image accompanying the traveling of the vehicle. Steps to
In the control device, when it is determined that there is a deposit on the camera, performing a control to operate a deposit removal mechanism to remove the deposit,
An adhering matter removing method comprising:
前記カメラにて生成された複数フレームの前記撮影画像において差分の小さい小差分領域を特定する差分処理部、及び
前記車両の走行に伴う前記撮影画像内の被写体の移動方向である車両走行対応方向への前記小差分領域の移動の有無に基づいて、前記カメラへの付着物の有無を判定する付着物有無判定部、
として機能させる付着物検出プログラム。 Computer of the attached matter detection device that acquires the photographed image from a camera that is mounted on the vehicle and continuously photographs the periphery of the vehicle and generates a photographed image of a plurality of continuous frames,
A difference processing unit that identifies a small difference area having a small difference in the captured images of a plurality of frames generated by the camera; and a vehicle traveling corresponding direction that is a moving direction of a subject in the captured image accompanying the traveling of the vehicle. Based on the presence or absence of the movement of the small difference area, the presence or absence of an adhering matter to the camera,
Adhesion detection program to function as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017040427A JP6672202B2 (en) | 2017-03-03 | 2017-03-03 | In-vehicle camera system, attached matter detection device, attached matter removal method, and attached matter detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017040427A JP6672202B2 (en) | 2017-03-03 | 2017-03-03 | In-vehicle camera system, attached matter detection device, attached matter removal method, and attached matter detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018148345A JP2018148345A (en) | 2018-09-20 |
| JP6672202B2 true JP6672202B2 (en) | 2020-03-25 |
Family
ID=63591595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017040427A Expired - Fee Related JP6672202B2 (en) | 2017-03-03 | 2017-03-03 | In-vehicle camera system, attached matter detection device, attached matter removal method, and attached matter detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6672202B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532875A (en) * | 2019-07-26 | 2019-12-03 | 纵目科技（上海）股份有限公司 | Night mode camera lens pays the detection system, terminal and storage medium of object |
| CN110532876A (en) * | 2019-07-26 | 2019-12-03 | 纵目科技（上海）股份有限公司 | Night mode camera lens pays detection method, system, terminal and the storage medium of object |
| CN112967321A (en) * | 2021-03-05 | 2021-06-15 | 河北工程大学 | Moving object detection method and device, terminal equipment and storage medium |
| WO2023189980A1 (en) * | 2022-03-31 | 2023-10-05 | ヌヴォトンテクノロジージャパン株式会社 | Fixed object detection means, fixed object detection method, and program |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3807331B2 (en) * | 2002-03-06 | 2006-08-09 | 日産自動車株式会社 | Camera dirt detection device and camera dirt detection method |
| JP2012038048A (en) * | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | Obstacle detecting device for vehicle |
| WO2014017626A1 (en) * | 2012-07-27 | 2014-01-30 | 日産自動車株式会社 | Camera device, three-dimensional object detection device, and lens cleaning method |
| EP2899692B1 (en) * | 2014-01-28 | 2019-09-04 | Honda Research Institute Europe GmbH | Method, system, imaging device, movable device and program product for detecting static elements in video and image sources |
| JP6313081B2 (en) * | 2014-03-20 | 2018-04-18 | クラリオン株式会社 | In-vehicle image processing apparatus and vehicle system using the same |
-
2017
- 2017-03-03 JP JP2017040427A patent/JP6672202B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018148345A (en) | 2018-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4856612B2 (en) | Object detection device | |
| JP6672202B2 (en) | In-vehicle camera system, attached matter detection device, attached matter removal method, and attached matter detection program | |
| EP2815383B1 (en) | Time to collision using a camera | |
| JP6120395B2 (en) | In-vehicle device | |
| JP6174975B2 (en) | Ambient environment recognition device | |
| US8041079B2 (en) | Apparatus and method for detecting obstacle through stereovision | |
| EP3110145B1 (en) | External-environment recognition system, vehicle, and camera-dirtiness detection method | |
| US8670590B2 (en) | Image processing device | |
| US20150339535A1 (en) | On-vehicle image processor | |
| WO2007111220A1 (en) | Road division line detector | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| JP5760090B2 (en) | Biological recognition device | |
| US8160300B2 (en) | Pedestrian detecting apparatus | |
| JP2000030197A (en) | Device for detecting warm body | |
| US20160026878A1 (en) | Algorithm to extend detecting range for avm stop line detection | |
| JP2016206881A (en) | Lane detection device and method thereof, and lane display device and method thereof | |
| JP2009234344A (en) | Adjustment device for photographing means and object detection device | |
| KR20170055738A (en) | Apparatus and method for recognize driving lane on image | |
| JP5172422B2 (en) | Driving support system | |
| CN111046741A (en) | Method and device for identifying lane line | |
| JP4798576B2 (en) | Attachment detection device | |
| JP7247772B2 (en) | Information processing device and driving support system | |
| JP6200780B2 (en) | Lane recognition determination device | |
| CN111762100B (en) | Vehicle camera system and object detection method | |
| JP2005127781A (en) | Device for detecting deterioration of vehicle range finder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200203 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6672202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |