JP6744575B2 - 車載カメラシステム - Google Patents

Description

本発明は、車両に搭載される車載カメラシステムに関する。

特許文献１は車両用カメラ装置を開示する。車両用カメラ装置は水滴や汚れなどの付着物を検出する。付着物の検出にあたって車両用カメラ装置は一定の時間間隔で画像を記録する。車両用カメラ装置は前時刻の画像から車両の移動量に応じて現時刻の画像と同時刻の画像を演算にて生成する。生成された現時刻の画像と同時刻の画像と比較される。２つの画像の差分に応じて付着物は検出される。

特開２０１０−２７３０１４号公報

特許文献１に記載の車両用カメラ装置では、車両の移動速度を検出するセンサや、車両の進行方向を検出するセンサ、現時刻の画像と同時刻の画像を生成する演算処理装置、その他の構成要素が要求される。このとき、画像の比較にあたってフルに２フレーム分の画像メモリが用意されなければならない。したがって、製造コストは上昇してしまう。

本発明は、安価なコストで確実にレンズへの付着物やレンズ表面の異変を検出することができる車載カメラシステムを提供することを目的とする。

本発明の一形態に係る車載カメラシステムは、レンズと撮像素子とこれらを収容する筐体とを有する車載カメラと、前記レンズ表面の像を反射し、前記撮像素子上に結像させる鏡と、基準となるレンズ表面の像を記憶する記憶回路と、前記基準となるレンズ表面の像と、前記撮像素子上に結像した前記レンズ表面の像とを比較する画像処理部とを備える。

例えばレンズの表面が汚れると、鏡から反射するレンズ表面の像は変化する。変化した像が予め記録された像に照らし合わせられると、レンズ表面の変化は検出される。こうしてレンズ表面への埃や水滴等の異物の付着は検知されることができる。

車載カメラシステムは、前記筐体に固定され、前記鏡を支持するための支持アームを備えてもよい。レンズと鏡は筐体と支持アームで一体化される。したがって、製品の出荷時にレンズと鏡との間で相対的な位置関係は調整されることができる。こうしてレンズ表面への埃や水滴等の異物の付着は確実に検知されることができる。

前記鏡は、車両に取り付けられてもよい。車両に固定される鏡に組み合わせられて車載カメラシステムは実現される。

以上のように開示の車載カメラシステムによれば、安価なコストで確実にレンズへの付着物やレンズ表面の異変を検出することができる

一実施形態に係る自動車を概略的に示す斜視図である。 カメラユニットの全体構成を概略的に示す斜視図である。 カメラユニットの分解斜視図である。 カメラユニットの信号処理系統を概略的に示すブロック図である。 画像処理部の処理動作を概略的に示すフローチャートである。 映像の一具体例を示す写真である。 部分マスクを示す概念図である。 部分マスクに基づき映像から抜き出されたカメラユニット（レンズ表面）の反射像を示す写真である。 エッジ処理後のカメラユニット（レンズ表面）の反射像を示す写真である。 他の実施形態に係る車載カメラシステムの構成を概略的に示す斜視図である。

以下、添付図面を参照しつつ本発明の一実施形態を説明する。

図１は一実施形態に係る自動車１１を概略的に示す。自動車（車両）１１の車体１２には運転支援装置１３が搭載される。運転支援装置１３はナビゲーション装置１４を備える。ナビゲーション装置１４はディスプレイパネル（表示装置）を有する。ディスプレイパネルは例えば自動車１１のダッシュボードに設置されることができる。ディスプレイパネルの表示画面には地図その他の情報が表示されることができる。

運転支援装置１３は、ナビゲーション装置１４に接続される車載カメラシステムを構成するカメラユニット１６を備える。カメラユニット１６は例えば車体１２の前部に設置される。カメラユニット１６は例えば自動車１１のフロントバンパーに取り付けられる。カメラユニット１６の光軸１７は例えば自動車１１が置かれる地面に対して平行に設定される。カメラユニット１６は車体１２前方の被写体を撮像する。カメラユニット１６は光軸１７を基準として地面と平行な水平方向に少なくとも±９０°、及び地面に対し垂直方向に少なくとも±９０°の範囲の撮像を行うことができる。こうした画角範囲の実現にあたってカメラユニット１６では例えば魚眼レンズや広角レンズが用いられることができる。

カメラユニット１６は撮像画像に基づき画像信号を生成する。ナビゲーション装置１４にはカメラユニット１６から画像信号が供給される。ディスプレイパネルの表示画面には画像信号に基づき車体１２前方の画像が映し出されることができる。撮像画像は例えば自動車１１の自動運転やブレーキ支援システム、車線逸脱防止システムなどに利用されることができる。例えば画像認識技術に基づき車体１２前方の環境は把握されることができる。自動運転やブレーキ支援システム、車線逸脱防止システムなどの構築にあたって必ずしもディスプレイパネルに画像信号は供給されなくてもよい。

図２に示されるように、カメラユニット１６は筐体２１を備える。筐体２１は前側のフロントケース２１ａと後側のリアケース２１ｂとに分割される。フロントケース２１ａにはレンズ窓２２が区画される。レンズ窓２２には筐体２１の内側からレンズ２３が嵌め込まれる。こうしてレンズ２３は筐体２１に支持される。リアケース２１ｂにはケーブル２４が保持される。ケーブル２４からナビゲーション装置１４に画像信号は送信される。

レンズ２３は光軸１７回りに軸対称の形状に形成される。レンズ２３の形状に対応してレンズ窓２２の形状は中心軸ＣＸ回りに軸対称の形状となる。レンズ２３がレンズ窓２２に嵌め込まれると、レンズ２３の光軸１７はレンズ窓２２の中心軸ＣＸに一致する。

カメラユニット１６は、レンズ２３に向かってレンズ２３の表面の像を反射する位置に配置される鏡２５ａ、２５ｂ、２５ｃを備える。鏡２５ａ、２５ｂ、２５ｃの光を反射する面（鏡面）はカメラユニット１６に対向する側だけにあればよい。反射されたレンズ２３の表面の像は、カメラユニット１６に撮像画像として捉えられる。

個々の鏡２５ａ、２５ｂ、２５ｃは個別に支持アーム２６ａ、２６ｂ、２６ｃの先端に支持される。支持アーム２６ａ、２６ｂ、２６ｃは例えば筐体２１のリアケース２１ｂに固定される。中心軸ＣＸとレンズ２３の表面との交点を起点とした垂直線ＶＬは鏡２５ａの表面中央を通りかつ鏡２５ａと直交している。また、中心軸ＣＸとレンズ２３の表面との交点を起点とした水平線ＨＬは鏡２５ｂ、２５ｃの表面中央を通りかつ鏡２５ｂ、２５ｃと直交している。垂直線ＶＬおよび水平線ＨＬは仮想平面内に規定されてレンズ２３の光軸１７に直交する。水平線ＨＬは光軸１７との交点で垂直線ＶＬに直交する。水平線ＨＬは地面と平行に設定される。鏡２５ａ、２５ｂ、２５ｃは光軸１７回りで中心角９０度の間隔で配列される。

図３に示されるように、筐体２１内には撮像素子アセンブリ２８が収容される。撮像素子アセンブリ２８は実装基板２９を備える。実装基板２９には撮像素子３１が実装される。撮像素子３１の四角形状の撮像面３２には画素が配置されている。撮像面３２の輪郭は例えば正方形に形成される。撮像画像の中心は撮像面３２の対角線３３の交点で特定されることができる。撮像画像の水平線は撮像面３２の輪郭の上下二辺に平行に規定され、撮像画像の垂直線は撮像面３２の輪郭の左右二辺に平行に規定される。撮像素子３１には例えばＣＣＤ（電荷結合素子）イメージセンサやＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ、その他の固体撮像素子イメージセンサが用いられればよい。

実装基板２９はレンズホルダ３４に取り付けられる。取り付けにあたってレンズホルダ３４の固定面３４ａに実装基板２９の固定片３５が重ねられる。固定面３４ａにはねじ孔が穿たれる。ねじ孔の軸心は固定面３４ａに直交すればよい。固定片３５にはねじ３６の軸を受け入れる空間が区画される。ねじ孔にねじ３６がねじ込まれると、ねじ頭は固定面３４ａに固定片３５を押し付ける。実装基板２９とレンズホルダ３４との結合にあたってねじ止め以外の手法が用いられてもよい。

レンズホルダ３４にレンズ２３は取り付けられる。取り付けにあたってレンズ２３には金属フレーム３７が固定される。金属フレーム３７は例えば板材から打ち抜き加工される。レンズ２３は金属フレーム３７に嵌め込まれる。金属フレーム３７はレンズホルダ３４に装着される。

レンズホルダ３４には開口３８が区画される。開口３８は、レンズ２３の光軸１７回りに軸対称の形状に区画される。レンズホルダ３４にレンズ２３および実装基板２９が結合されると、レンズ２３の光軸１７は、撮像面３２に直交して撮像面３２の対角線３３の交点で撮像面３２に交差する垂線３９に一致する。ここでは、実装基板２９およびレンズホルダ３４は、撮像素子３１を支持する支持体を形成する。

撮像素子アセンブリ２８の収容空間は気密を保つように密閉される。密閉にあたってフロントケース２１ａのレンズ窓２２とレンズ２３との間にはパッキン４１が配置される。パッキン４１はレンズ窓２２の隙間を塞ぐ。同様に、フロントケース２１ａおよびリアケース２１ｂの間にはパッキン４２が装着される。パッキン４２はフロントケース２１ａおよびリアケース２１ｂの間で隙間を埋める。パッキン４２を装着した後リアケース２１ｂはフロントケース２１ａにねじ止めされればよい。

図４に示されるように、撮像素子３１には信号処理部（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）４５が接続される。信号処理部４５には撮像素子３１から撮像画像を特定する電気信号が供給される。信号処理部４５は、供給された電気信号に対してゲイン処理や輪郭強調、ガンマ処理を実施する。信号処理部４５には増幅部４６が接続される。増幅部４６は、信号処理部４５で処理された電気信号を増幅する。こうして画像信号は生成される。画像信号は例えばナビゲーション装置１４に供給される。

信号処理部４５には、予め記録された像に鏡２５から反射するレンズ２３の表面の像を照らし合わせてレンズ２３の表面の変化を検出する画像処理部４７が接続される。画像処理部４７には信号処理部４５から処理後の電気信号が供給される。画像処理部４７は、部分マスクに基づき撮像画像から少なくともレンズ２３の表面の像を含むカメラユニット１６の像以外の画像を削除する削除手段４８と、残されたカメラユニット１６の像のエッジ画像を生成するエッジ画像生成手段４９と、予め埃や水滴等の異物の付着のない状態で撮像し、その画像からカメラユニット１６の像の部分を切り出し、切り出したものからエッ画像を生成し記録した基準画像と、エッジ画像生成手段４９で生成された画像を比較してエッジの変化を検出する比較算出手段５１とを備える。比較算出手段５１は、基準画像とエッジ画像生成手段４９で生成されたエッジを比較し、予め決められた閾値よりも大きい差分を検出すると、警告信号を出力する。警告信号は、画像処理部４７に接続される通信回路５２から有線または無線で例えばナビゲーション装置１４に送信される。

画像処理部４７には記憶部５３が接続される。記憶部５３は例えばＲＯＭ（リードオンリーメモリ）から構成されればよい。記憶部５３には、比較算出手段５１で使用される基準画像５４と、削除手段４８で使用される部分マスク５５とが記録される。

次に、図５に記載のフローチャートを参照しつつカメラユニット１６の処理動作を説明する。ステップＳ１で、画像処理部４７は信号処理部４５から撮像画像の画像信号を取り込む。このとき、運転支援装置１３は映像を撮影し続ける。映像は、１秒あたりに指定されるフレーム数の画像で構成される。映像信号は信号処理部４５および増幅部４６を経てナビゲーション装置１４に供給される。映像は画像認識処理に基づき解析され自動運転やブレーキ支援システム、車線逸脱防止システムに利用される。個々の画像には、図６に示されるように、鏡２５に映るカメラユニット１６の像が含まれる。鏡２５に映るカメラユニット１６は時々刻々と撮像される。

ステップＳ２で、削除手段４８は、図７に示す部分マスク５５に基づき、図８に示されるように撮像画像の画像信号からカメラユニット１６の像の画像信号を抽出する。ステップＳ３で、エッジ画像生成手段４９は、図９に示されるように、抽出されたカメラユニット１６の像からエッジ画像を生成する。ステップＳ４で、比較算出手段５１は基準画像５４と前述のエッジ画像を比較する。差分が判定される。ここでは、例えば、１画素ごとに輝度値の差分が絶対値で算出される。絶対値が所定の閾値以上であれば、画像処理部４７はステップＳ６で警告信号を出力する。絶対値の平均値が所定の閾値を下回れば、画像処理部４７はそのまま処理を終了する。これら一連の処理は撮像素子３１の撮像動作のたびに実施されてもよく指定の時間間隔で実施されてもよい。尚、所定の閾値とは、レンズ２３に埃や水滴等の異物と付着させた状態と、異物が付着していない状態との差分を、異物の付着量を変化させながら実験的に求めることで規定すればよい。

基準画像５４および部分マスク５５の生成にあたってカメラユニット１６では予めキャリブレーションが実施される。キャリブレーションはカメラユニット１６の取り付け作業者によって実施されればよい。あるいは、本実施形態のようにレンズ２３に対して鏡２５が一体的に固定される場合には、製品の出荷前に予め記憶部５３に記録されてもよい。

図１０に示されるように、車載カメラシステムは車両としての自動車１１の車体１２に固定される鏡５６ａ、５６ｂ、５６ｃを備えてもよい。この場合には、カメラユニット１６ａは、自動車１１の車体１２に取り付けられて、レンズ２３を支持するとともに、画像処理部４５を収容する筐体２１を備える。カメラユニット２３と鏡５６ａ、５６ｂ、５６ｃとは個別に車体１２に支持される。カメラユニット２３および鏡５６ａ、５６ｂ、５６ｃが車体１２に取り付けられて初めてレンズ２３と鏡５６ａ、５６ｂ、５６ｃとの間で位置が固定される。鏡２５ａ、２５ｂ、２５ｃは前述の鏡２５ａ、２５ｂ、２５ｃと同様に構成され（配置され）ればよい。

なお、１つの鏡２５でレンズ２３の必要領域を画像として撮像できる場合には、鏡は鏡２５ａ、２５ｂ、２５ｃのうち１つあればよい。鏡５６ａ、５６ｂ、５６ｃについても同様である。

１１…車両（自動車）、１６…車載カメラシステム（カメラユニット）、２１…筐体、２３…レンズ、２５ａ、２５ｂ、２５ｃ…鏡、２６ａ…（上方の）支持アーム、２６ｂ…（左側の）支持アーム、２６ｃ…（右側の）支持アーム、３１…撮像素子、４７…画像処理部、５６ａ、５６ｂ、５６ｃ…鏡。

Claims (3)

1. レンズと撮像素子とこれらを収容する筐体とを有する車載カメラと、
   前記レンズ表面の像を反射し、前記撮像素子上に結像させる鏡と、
   基準となるレンズ表面の像を記憶する記憶部と、
   前記基準となるレンズ表面の像と、前記撮像素子上に結像した前記レンズ表面の像とを比較する画像処理部と、
   を備えることを特徴とする車載カメラシステム。
2. 請求項１に記載の車載カメラシステムにおいて、前記筐体に固定され、前記鏡を支持するための支持アームを備えることを特徴とするカメラシステム。
3. 請求項１に記載の車載カメラシステムにおいて、前記鏡は車両に固定されることを特徴とする車載カメラシステム。