JP4045862B2

JP4045862B2 - Optical axis deviation detection device for in-vehicle camera

Info

Publication number: JP4045862B2
Application number: JP2002161013A
Authority: JP
Inventors: 浩斎藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2002-06-03
Filing date: 2002-06-03
Publication date: 2008-02-13
Anticipated expiration: 2022-06-03
Also published as: JP2004001658A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載されて車両周囲の画像を撮像する車載カメラに生じた光軸ずれを検出する車載カメラの光軸ずれ検出装置に関する。
【０００２】
【従来の技術】
近年、車両周囲の画像を車載カメラで撮像し、この画像を例えば車室内に設置されたモニタ等に表示することによって、運転者の適切な運転操作を支援する試みが盛んに行われている。このような用途で用いられる車載カメラは、車両周囲の所望の領域を適切に撮像できるように、予め定められた取り付け状態で車両に取り付けられるようになっているが、例えば、取り付けの際の位置ずれや経年劣化等の様々な要因に起因して、光軸ずれが生じる場合がある。このように車載カメラに光軸ずれが生じた場合には、それを的確に検出して、その光軸ずれを補正することが求められる。
【０００３】
車載カメラの光軸ずれを検出する技術としては、例えば特開２００１−１７１５４４号公報にて開示される光軸ずれ検出装置が提案されている。この光軸ずれ検出装置は、車両が走行レーンの白線に沿って走行するように車両の操舵角制御を行う走行支援システムに適用されたものであり、車載カメラにより撮像された画像から白線を検出してこの白線に沿って走行するための目標舵角を演算し、この演算により得られた目標舵角と、運転者の操作による実際の操舵角との間に差が生じている場合に、その差分を車載カメラの光軸ずれとして検出するようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、以上のような従来の技術は、車載カメラにより撮像された画像から白線を検出することが前提となっているため、白線のない場所では、車載カメラに光軸ずれが生じても、それを的確に検出することができないという問題がある。
【０００５】
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両が走行する場所に拘わらず、また、車載カメラで車両周囲の画像を撮像するあらゆるシステムにおいて、車載カメラの光軸ずれを的確に検出できる車載カメラの光軸ずれ検出装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る車載カメラの光軸ずれ検出装置は、車載カメラと、記憶手段と、画像処理手段と、光軸ずれ判定手段とを備えて構成される。車載カメラは、車体の一部が視野内に入る取付位置にて車両に取り付けられており、車体の一部を含む画像を撮像するようになっている。特にこの車載カメラは、車両のドアミラーから車体の一部として車両側方に設けられたウインカを含む画像を撮像するカメラであり、ウインカ点灯時と非点灯時との双方の画像を撮像する。また、記憶手段には、車載カメラにより撮像される画像内において車体の一部としてのウインカが本来観測されるべき位置が予め記憶されている。
【０００７】
画像処理手段は、車載カメラにより実際に撮像された画像を処理して、この実際に撮像された画像内において車体の一部であるウインカが観測された位置を検出する。詳しくは、ウインカ点灯時に撮像された画像とウインカ非点灯時に撮像された画像との差分に基づき、これらの画像内におけるウインカの位置を特定する。そして、光軸ずれ判定手段が、記憶手段に記憶された車体の一部の本来観測されるべき位置と、画像処理手段により検出された車体の一部の実際に観測された位置とを比較して、その位置ずれを基に車載カメラの光軸ずれを判定するようになっている。
【０００８】
【発明の効果】
本発明に係る車載カメラの光軸ずれ検出装置によれば、車載カメラで車両のドアミラーからウインカを含む画像をウインカ点灯時と非点灯時との双方において撮像するようにし、これらの画像の差分から特定されるウインカの実際の画像内で観測される位置と、予め記憶手段に記憶された本来観測されるべき位置とを比較して、その位置ずれを基に車載カメラの光軸ずれを判定するようにしているので、白線の有無といった道路状況に拘わらず、任意のタイミングで車載カメラの光軸ずれを的確に検出することができる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１０】
（第１の実施形態）
本発明に係る車載カメラの光軸ずれ検出装置は、例えば図１に示すような車載システム１に適用されて、この車載システム１が備える車載カメラ２に光軸ずれが生じたときに、その車載カメラ２の光軸ずれを検出する機能を実現する。
【００１１】
図１に示す車載システム１は、車両に搭載されてこの車両（以下、自車両という。）の乗員に各種情報を提示するためのものであり、自車両後方の画像を撮像する車載カメラ２と、車室内に設置されて各種画像を表示するためのディスプレイ３と、車載カメラ２に光軸ずれが生じたときに警告音を発生するブザー４と、ディスプレイ３の表示制御をはじめとして当該車載システム１全体の動作を制御するコントロールユニット５とを備えている。
【００１２】
車載カメラ２は、自車両後端部に取り付けられて、自車両後方の様子を、所定の俯角で地面を見下ろした画像として撮像するようになっている。特に、この車載カメラ２は、自車両後端部に設けられたリアバンパが視野内に入るように自車両に取り付けられており、リアバンパを含む画像を撮像するようになっている。この車載カメラ２により撮像された自車両後方の画像（以下、実画像という。）はコントロールユニット５に供給され、必要に応じて、バックビューモニタ画像としてディスプレイ３に表示される。このバックビューモニタ画像は、例えば自車両を駐車させる場合等のように自車両を後退走行させる際に、運転者の運転操作を支援するための画像である。
【００１３】
ディスプレイ３は、例えばＬＣＤ（Liquid Crystal Display）等の表示器よりなり、コントロールユニット５による表示制御のもとで、例えばナビゲーション画像や上述したバックビューモニタ画像等の各種画像を表示する。また、このディスプレイ３は、コントロールユニット５により車載カメラ２に光軸ずれが生じていることが検出されたときに、このコントロールユニット５による制御のもとで、光軸ずれの発生を報知するメッセージを表示する。また、車載システム１においては、コントロールユニット５により車載カメラ２に光軸ずれが生じていることが検出された場合には、このコントロールユニット５による制御のもとでブザー４が駆動されて、警告音による報知も行われるようになっている。
【００１４】
コントロールユニット５は、ＣＰＵ６やＲＡＭ７、データＲＯＭ８、プログラムＲＯＭ９等がバスを介して接続されたマイクロプロセッサ構成を有しており、ＣＰＵ６がプログラムＲＯＭ９に格納された各種制御プログラムを実行することで、車載システム１全体の動作を制御するようになっている。特に、このコントロールユニット５では、ＲＡＭ７が、車載カメラ２により撮像されてＡ／Ｄ変換されれた自車両後方の実画像のデータを保持する画像メモリとして機能するようになっている。また、データＲＯＭ８には、車載カメラ２が正常な位置に取り付けられて光軸ずれが生じていない理想的な状態のときに、この車載カメラ２で撮像される画像内においてリアバンパが本来観測されるべき位置を示す画像（以下、テンプレート画像という。）が格納されている。すなわち、このデータＲＯＭ８が、車載カメラ２により撮像される画像内において自車両のリアバンパが本来観測されるべき位置を予め記憶しておく記憶手段として機能するようになっている。
【００１５】
更に、このコントロールユニット５では、プログラムＲＯＭ９にナビゲーションプログラムや後方監視プログラム、光軸ずれ検出プログラムがそれぞれ格納されており、ＣＰＵ６がこれらのプログラムを実行することで、ナビゲーション機能やバックビューモニタ機能、光軸ずれ検出機能がそれぞれ実現されるようになっている。
【００１６】
また、このコントロールユニット５には、車速センサ１０、ジャイロセンサ１１及びＧＰＳ（Global Positioning System）受信機１２が接続されており、コントロールユニット５がＧＰＳ受信機１２からのＧＰＳ信号を車速センサ１０やジャイロセンサ１１からのセンサ信号を用いて補正することで、自車両の正確な現在位置を検出できるようになっている。また、このコントロールユニット５には、ＤＶＤ（Digital Versatile Disc）ドライブ等のデータ再生装置１３が接続されており、ＤＶＤ等の記録媒体に格納された地図画像がデータ再生装置１３で読み出されコントロールユニット５に供給されるようになっている。更に、このコントロールユニット５には、ジョイスティック等の操作スイッチ１４が接続されており、この操作スイッチ１４を利用した乗員による操作入力がコントロールユニット５に供給されるようになっている。そして、車載システム１の通常動作時においては、コントロールユニット５のＣＰＵ６によってナビゲーションプログラムが実行され、データ再生装置１３によって読み出された地図画像上に、自車両の現在位置や、乗員の操作入力に応じて探索された経路等を重ねて合わせたナビゲーション画像がディスプレイ３に表示されるようになっている。
【００１７】
また、コントロールユニット５には、自車両のギヤがリバース位置にシフトされたときにオンとされるリバーススイッチ１５が接続されている。そして、このリバーススイッチ１５からのリバースオン信号が供給されると、コントロールユニット５のＣＰＵ６によって後方監視プログラムが実行され、車載カメラ２により撮像された自車両後方の実画像に距離目盛りを重ね合わせたバックビューモニタ画像がディスプレイ３に表示されるようになっている。
【００１８】
また、このコントロールユニット５には、自車両のエンジン始動時にオンとされるイグニッションスイッチ１６が接続されている。そして、このイグニッションスイッチ１６からのイグニッションオン信号が供給されると、コントロールユニット５のＣＰＵ６によって光軸ずれ検出プログラムが実行され、コントロールユニット５が、図２に示すように、バンパ位置検出部（画像処理手段）２１、バンパ位置ずれ評価部（光軸ずれ判定手段）２２及び報知制御部２３として機能するようになっている。
【００１９】
バンパ位置検出部２１は、車載カメラ２によって撮像されてＲＡＭ７に保持された自車両後方の実画像のデータを処理して、この実画像内において、自車両後端部に設けられたリアバンパが映っている位置を検出する機能を有するものである。この実画像内におけるリアバンパの位置の検出は、例えば、実画像を構成する各画素毎に隣接する画素との画素値の差分を検出し、隣接する画素間で画素値の差分が所定の値を超える位置をリアバンパと背景との境界と仮定することで容易に行える。
【００２０】
バンパ位置ずれ評価部２２は、データＲＯＭ８に格納されたテンプレート画像で示されるリアバンパの本来観測されるべき位置と、バンパ位置検出部２１によって検出された実画像内におけるリアバンパの位置とを比較して、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する機能を有するものである。
【００２１】
報知制御部２３は、バンパ位置ずれ評価部２２によって車載カメラ２に光軸ずれが生じていると判定されたときに、ディスプレイ３にその旨のメッセージを表示させると共に、ブザー４を駆動して警告音を発生させる制御を行う機能を有するものである。
【００２２】
以上のように構成される車載システム１は、自車両を後退走行させる場合を除く通常動作時においては、上述したように、コントロールユニット５のＣＰＵ６によってナビゲーションプログラムが実行され、ディスプレイ３にナビゲーション画像が表示されるようになっている。そして、自車両のギヤがリバース位置にシフトされてコントロールユニット５にリバースオン信号が供給されると、コントロールユニット５のＣＰＵ６によって後方監視プログラムが実行され、ディスプレイ３にバックビューモニタ画像が表示されるようになっている。
【００２３】
このとき、車載カメラ２の取り付け時の位置ずれや、車両の接触等のような物理的要因による位置ずれ、或いは経年劣化による位置ずれ等に起因して、当該車載カメラ２に光軸ずれが生じていると、車載カメラ２で自車両後方の実画像を適切に撮像できずに、バックビューモニタ画像の距離目盛りが実際の距離と異なってしまったり、極端な場合には観察したい領域とは全く異なる領域の画像が表示されたりして、運転者の運転操作を適切に支援できなくなるといった問題が生じる。そこで、本発明を適用した車載システム１では、イグニッションスイッチ１６がオンとされると、コントロールユニット５のＣＰＵ６が光軸ずれ検出プログラムを実行して、車載カメラ２に光軸ずれが生じているかどうかを定期的に判定して、車載カメラ２に光軸ずれが生じた場合には、その旨をメッセージとしてディスプレイ３に表示させると共に、ブザー４から警告音を発生させて、車両の乗員に報知するようにしている。
【００２４】
ここで、以上のような車載システム１において、車載カメラ２の光軸ずれを判定するコントロールユニット５による一連の処理の流れを図３のフローチャートを参照しながら説明する。この図３に示す一連の処理は、イグニッションスイッチ１６がオンとなったときにスタートし、イグニッションスイッチ１６がオフとなるまで繰り返し行われるものであり、自車両が走行中であるか停止中であるか、また、ディスプレイ３に表示されている画像がナビゲーション画像であるかバックビューモニタ画像であるかに拘わらず実施される。
【００２５】
まず、イグニッションスイッチ１６がオンとなると、コントロールユニット５により光軸ずれ検出プログラムが実行され、予め定められた光軸ずれ検出タイミングとなったかどうかが判断される（ステップＳ１−１）。この光軸ずれ検出タイミングは、要求される検出精度やコントロールユニット５の処理能力等に応じて任意に設定可能である。そして、光軸ずれ検出タイミングとなったときは、車載カメラ２により自車両後方の実画像が撮像され、コントロールユニット５のＲＡＭ７に取り込まれて保持される（ステップＳ１−２）。
【００２６】
次に、バンパ位置検出部２１により、ＲＡＭ７に保持された自車両後方の実画像内において、リアバンパが映っている位置を検出する処理が行われる。具体的には、バンパ位置検出部２１は、まず、自車両後方の実画像を下から上、左から右に順次探索して、縦方向に隣り合った画素同士の画素値の差分をそれぞれ検出する（ステップＳ１−３）。そして、この実画像を構成する各画素の中で隣り合う画素との画素値の差分が所定の値を超える画素、すなわち、この実画像の中で明るさが大きく変化する位置を特定し（ステップＳ１−４）、その位置座標を識別可能に登録しておく（ステップＳ１−５）。具体的には、例えばこの明るさが大きく変化する位置の位置座標Ｉ（ｘ、ｙ）は「１」とし、その他の位置座標Ｉ（ｘ、ｙ）を「０」として登録する。以上の処理を実画像全体の各画素に対して繰り返し行う（ステップＳ１−６）。
【００２７】
実画像の中で明るさが大きく変化する位置は、通常、図４（ａ）に示すように、実画像内において連続した線として表れ、この位置が、自車両後端部に設けられたリアバンパと背景との境界と捉えられる。そして、バンパ位置検出部２１による以上のような処理により、このリアバンパと背景との境界を示す各点の位置座標が識別可能に登録されることになる。
【００２８】
次に、バンパ位置ずれ評価部２２により、データＲＯＭ８に格納されたテンプレート画像で示されるリアバンパの本来観測されるべき位置と、バンパ位置検出部２１によって検出された実画像内におけるリアバンパの位置とが比較され、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する処理が行われる。
【００２９】
データＲＯＭ８に格納されたテンプレート画像では、例えば図４（ｂ）に示すように、本来観測されるべきリアバンパと背景との境界が線として表れ、この境界線を構成する各点の位置座標がＪ（ｘ、ｙ）として特定されている。バンパ位置ずれ評価部２２は、このテンプレート画像においてリアバンパと背景との境界線として表れる各点の位置座標Ｊ（ｘ、ｙ）と、バンパ位置検出部２１により検出された実画像内におけるリアバンパと背景との境界を示す各点の位置座標Ｉ（ｘ、ｙ）とを比較する。具体的には、バンパ位置ずれ評価部２２は、まず、図４（ｃ）に示すように、画像の横方向（ｘ軸方向）全体に亘って、同一水平位置（ｘ値）に対応するテンプレート画像上の点のｙ軸方向の位置（ｙ値）と、実画像上の点のｙ軸方向の位置（ｙ値）との差α（ｘ）を求める（ステップＳ１−７）。ここで、α（ｘ）は、画像の横方向における任意の位置（ｘ）でのテンプレート画像上の点のｙ値と、実画像上の点のｙ値との差である。次に、算出したα（ｘ）に対し、２つの評価値Ｄ１，Ｄ２をそれぞれ計算する（ステップＳ１−８）。ここで、Ｄ１はＤ１＝Σ｜α（ｘ）｜で求められる評価値であり、Ｄ２はα（ｘ）の分散、すなわちＶａｒ（α（ｘ））で表される評価値である。そして、バンパ位置ずれ評価部２２は、以上のように求めた２つの評価値をそれぞれ所定の閾値と比較して、評価値Ｄ１が所定の閾値以上の場合、或いは評価値Ｄ２が所定の閾値以上である場合に、車載カメラ２に光軸ずれが生じているものと判定する（ステップＳ１−９）。
【００３０】
バンパ位置ずれ評価部２２により車載カメラ２に光軸ずれが生じていると判定されると、次に、報知制御部２３によりディスプレイ３の表示制御が行われて、車載カメラ２に光軸ずれが生じている旨のメッセージがディスプレイ３に表示される。また、報知制御部２３によりブザー４が駆動されて警告音が発生され、車載カメラ２に光軸ずれが生じている旨が車両の乗員に報知される（ステップＳ１−１０）。車両の乗員は、この報知によって車載カメラ２に光軸ずれが生じていることを認識することができ、例えば修理工場に自車両を持ち込んで車載カメラ２の光軸調整を受けるといった適切な対応を図ることが可能となる。本発明を適用した車載システム１では、イグニッションスイッチ１６がオフとなるまで、コントロールユニット５によって以上のような一連の処理が繰り返し行われ、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定されるようになっている。
【００３１】
以上説明したように、本発明を適用した車載システム１では、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定され、車載カメラ２に光軸ずれが生じているときには、その旨が車両の乗員に報知されるようになっているので、車両の乗員に光軸調整等の適切な対応を促して、車載カメラ２で必要な画像を撮像してディスプレイ３に表示させ、運転者による運転操作を適切に支援することができる。特に、この車載システム１では、予めデータＲＯＭ８に格納されたテンプレート画像と、実際に車載カメラ２で撮像されてＲＡＭ７に取り込まれた実画像とを比較することで、車載カメラ２の光軸ずれを判定するようにしているので、白線の有無といった道路状況や車載カメラ２の用途等に拘わらず、車載カメラ２の光軸ずれを的確に検出することができる。
【００３２】
（第２の実施形態）
次に、第２の実施形態として、本発明を図５に示すような他の車載システム３０に適用した例について説明する。この第２の実施形態の車載システム３０は、自車両の乗員による指示入力に応じて、車載カメラ２で自車両左前方（左フェンダー近傍）の運転者から死角となる位置の画像を撮像してディスプレイ３に表示させ、左折時等における運転者の運転操作を支援するものであり、車載カメラ２が自車両の左側のドアミラーに内蔵されている。そして、この車載カメラ２は、自車両側方に設けられた左ウインカが視野内に入るようにサイドミラー内部に取り付けられており、左ウインカを含む画像を撮像するようになっている。
【００３３】
また、この第２の実施形態の車載システム３０は、上述した第１の実施形態の車載システム１が備えるリバーススイッチ１５に代えて、表示切り替えスイッチ３１を備えている。この表示切り替えスイッチ３１は、車載カメラ２で撮像された死角となる位置の画像をディスプレイ３に表示させる指示入力を行うためのものであり、コントロールユニット５に接続されている。なお、この表示切り替えスイッチ３１は、ナビゲーションに関する操作入力を行うための操作スイッチ１４と一体のものとして構成されていてもよい。
【００３４】
また、この第２の実施形態の車載システム３０では、コントロールユニット５に対して更にウインカスイッチ３２が接続されている。このウインカスイッチ３２は、自車両のウインカレバーが操作されて左ウインカが動作したときにオンとされるものである。また、この第２の実施形態の車載システム３０では、コントロールユニット５のデータＲＯＭ８に、車載カメラ２が正常な位置に取り付けられて光軸ずれが生じていない理想的な状態のときに、この車載カメラ２で撮像される画像内において左ウインカが本来観測されるべき位置を示す画像（以下、テンプレート画像という。）が格納されている。すなわち、このデータＲＯＭ８が、車載カメラ２により撮像される画像内において自車両の左ウインカが本来観測されるべき位置を予め記憶しておく記憶手段として機能するようになっている。更に、このコントロールユニット５のプログラムＲＯＭ９には、上述した後方監視プログラムに代えて死角補助プログラムが格納されており、ＣＰＵ６がこの死角監視プログラムを実行することで、死角補助機能が実現されるようになっている。
【００３５】
なお、この第２の実施形態の車載システム３０における他の構成については、上述した第１の実施形態の車載システム１と同様であるので、以下、この車載システム１と同様の構成については図中同一の符号を付して、重複した説明を省略する。
【００３６】
この第２の実施形態の車載システム３０では、イグニッションスイッチ１６からのイグニッションオン信号がコントロールユニット５に供給されると、コントロールユニット５のＣＰＵ６によって光軸ずれ検出プログラムが実行され、コントロールユニット５が、図６に示すように、ウインカ位置検出部（画像処理手段）３３、ウインカ位置ずれ評価部（光軸ずれ判定手段）３４及び報知制御部３５として機能するようになっている。
【００３７】
ウインカ位置検出部３３は、車載カメラ２によって撮像されてＲＡＭ７に保持された自車両左前方の死角となる位置の画像（以下、実画像という。）のデータを処理して、この実画像内において、自車両側方に設けられた左ウインカが映っている位置を検出する機能を有するものである。
【００３８】
ウインカ位置ずれ評価部３４は、データＲＯＭ８に格納されたテンプレート画像で示されるウインカの本来観測されるべき位置と、ウインカ位置検出部３３によって検出された実画像内におけるウインカの位置とを比較して、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する機能を有するものである。
【００３９】
報知制御部３５は、ウインカ位置ずれ評価部３４によって車載カメラ２に光軸ずれが生じていると判定されたときに、ディスプレイ３にその旨のメッセージを表示させると共に、ブザー４を駆動して警告音を発生させる制御を行う機能を有するものである。
【００４０】
以上のように構成される第２の実施形態の車載システム２０は、自車両の乗員から表示切り替えスイッチ３１を利用した指示入力があった場合を除く通常動作時においては、上述した第１の実施形態の車載システム１と同様に、コントロールユニット５のＣＰＵ６によってナビゲーションプログラムが実行され、ディスプレイ３にナビゲーション画像が表示されるようになっている。そして、表示切り替えスイッチ３１を利用した指示入力ががコントロールユニット５に供給されると、コントロールユニット５のＣＰＵ６によって死角補助プログラムが実行され、ディスプレイ３に自車両左前方の運転者から死角となる位置の実画像が表示されるようになっている。
【００４１】
このとき、車載カメラ２の取り付け時の位置ずれや、車両の接触等のような物理的要因による位置ずれ、或いは経年劣化による位置ずれ等に起因して、当該車載カメラ２に光軸ずれが生じていると、死角となる位置の画像を車載カメラ２で適切に撮像できずに、死角補助の機能が発揮できなくなるといった問題が生じる。そこで、この第２の実施形態の車載システム３０においても、上述した第１の実施形態の車載システム１と同様に、イグニッションスイッチ１６がオンとされると、コントロールユニット５のＣＰＵ６が光軸ずれ検出プログラムを実行して、車載カメラ２に光軸ずれが生じているかどうかを定期的に判定して、車載カメラ２に光軸ずれが生じた場合には、その旨をメッセージとしてディスプレイ３に表示させると共に、ブザー４から警告音を発生させて、車両の乗員に報知するようにしている。
【００４２】
ここで、以上のような第２の実施形態の車載システム３０において、車載カメラ２の光軸ずれを判定するコントロールユニット５による一連の処理の流れを図７のフローチャートを参照しながら説明する。この図７に示す一連の処理は、イグニッションスイッチ１６がオンとなったときにスタートし、イグニッションスイッチ１６がオフとなるまで繰り返し行われるものであり、自車両が走行中であるか停止中であるか、また、ディスプレイ３に表示されている画像がナビゲーション画像であるか自車両左前方の死角となる位置の画像であるかに拘わらず実施される。
【００４３】
まず、イグニッションスイッチ１６がオンとなると、コントロールユニット５により光軸ずれ検出プログラムが実行され、予め定められた光軸ずれ検出タイミングとなったかどうかが判断される（ステップＳ２−１）。この光軸ずれ検出タイミングは、例えば、ウインカスイッチ３２のオン／オフを基準として判断される。そして、ウインカスイッチ３２がオンとなったタイミングで、車載カメラ２により、図８（ａ）に示すような左ウインカ点灯時における自車両左前方の実画像が撮像され、コントロールユニット５のＲＡＭ７に取り込まれて保持される（ステップＳ２−２）。また、ウインカスイッチ３２がオフとなったタイミングで、車載カメラ２により、図８（ｂ）に示すような左ウインカ非点灯時における自車両左前方の実画像が撮像され、コントロールユニット５のＲＡＭ７に取り込まれて保持される（ステップＳ２−３）。
【００４４】
次に、ウインカ位置検出部３３により、ＲＡＭ７に保持された自車両左前方の実画像内において、左ウインカが映っている位置を検出する処理が行われる。具体的には、ウインカ位置検出部３３は、まず、左ウインカ点灯時に撮像された自車両左前方の実画像と、左ウインカ非点灯時に撮像された自車両左前方の実画像との差分を検出する（ステップＳ２−４）。これらの実画像の差分は、左ウインカの位置でのみ大きな値が得られるので、次に、この差分結果を所定の閾値で２値化して図８（ｃ）に示すような左ウインカの大まかな領域を特定し、更に、この領域の重心位置Ｇ（ｘ、ｙ）を求めて、この重心位置Ｇ（ｘ、ｙ）を自車両左前方の実画像内における左ウインカの位置として特定する（ステップＳ２−５）。なお、左ウインカ点灯時の実画像と左ウインカ非点灯時の実画像との差分結果にはノイズが混入している場合があり、このノイズが左ウインカの正確な位置を特定する上で妨げとなることも予想されるので、実画像間の差分を求める範囲を左ウインカが存在するであろう範囲にある程度限定したり、閾値を超える差分結果が得られた領域であってもその領域面積が所定の範囲外の場合には対象から外すといったような工夫を加えることが望ましい。
【００４５】
次に、ウインカ位置ずれ評価部３４により、データＲＯＭ８に格納されたテンプレート画像で示される左ウインカの本来観測されるべき位置と、ウインカ位置検出部３３によって検出された実画像内における左ウインカの位置とが比較され、その位置ずれの程度から、車載カメラ２に光軸ずれが生じているかどうかを判定する処理が行われる。
【００４６】
データＲＯＭ８に格納されたテンプレート画像では、例えば図８（ｄ）に示すように、本来観測されるべき左ウインカの重心位置が示されている。ウインカ位置ずれ評価部３４は、まず、このテンプレート画像で示されている左ウインカの重心位置と、ウインカ位置検出部３３により検出された実画像内における左ウインカの重心位置とを比較し、それらの位置座標の幾何学的距離ｄを算出することで、これらテンプレート画像における左ウインカの位置と実画像における左ウインカの位置との位置ずれを算出する（ステップＳ２−６）。そして、算出した距離ｄが所定の閾値以上の場合、車載カメラ２に光軸ずれが生じているものと判定する（ステップＳ２−７）。
【００４７】
ウインカ位置ずれ評価部３４により車載カメラ２に光軸ずれが生じていると判定されると、次に、報知制御部３５によりディスプレイ３の表示制御が行われて、車載カメラ２に光軸ずれが生じている旨のメッセージがディスプレイ３に表示される。また、報知制御部３５によりブザー４が駆動されて警告音が発生され、車載カメラ２に光軸ずれが生じている旨が車両の乗員に報知される（ステップＳ２−８）。車両の乗員は、この報知によって車載カメラ２に光軸ずれが生じていることを認識することができ、例えば修理工場に自車両を持ち込んで車載カメラ２の光軸調整を受けるといった適切な対応を図ることが可能となる。第２の実施形態の車載システム３０では、第１の実施形態の車載システム１と同様に、イグニッションスイッチ１６がオフとなるまで、コントロールユニット５によって以上のような一連の処理が繰り返し行われ、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定されるようになっている。
【００４８】
以上説明したように、第２の実施形態の車載システム３０においても、上述した第１の実施形態の車載システム１と同様に、車載カメラ２に光軸ずれが生じているかどうかが定期的に判定され、車載カメラ２に光軸ずれが生じているときには、その旨が車両の乗員に報知されるようになっているので、車両の乗員に光軸調整等の適切な対応を促して、車載カメラ２で必要な画像を撮像してディスプレイ３に表示させ、運転者による運転操作を適切に支援することができる。特に、この車載システム１では、予めデータＲＯＭ８に格納されたテンプレート画像と、実際に車載カメラ２で撮像されてＲＡＭ７に取り込まれた実画像とを比較することで、車載カメラ２の光軸ずれを判定するようにしているので、白線の有無といった道路状況や車載カメラ２の用途等に拘わらず、車載カメラ２の光軸ずれを的確に検出することができる。
【００４９】
また、この第２の実施形態の車載システム３０では、左ウインカ点灯時における自車両左前方の実画像と、左ウインカ非点灯時における自車両左前方の実画像とをそれぞれ車載カメラ２で撮像し、これらの画像の差分を求めてその結果に基づいて実画像内における左ウインカの位置を特定するようにしているので、例えば時間帯や天候等の様々な条件によって、実画像内において左ウインカと背景との差分が少ない場合であっても、左ウインカの位置を正確に特定し、これを基に車載カメラ２に生じた光軸ずれを的確に検出することができる。
【００５０】
更に、この第２の実施形態の車載システム３０では、左ウインカ点灯時における自車両左前方の実画像と、左ウインカ非点灯時における自車両左前方の実画像との差分結果を所定の閾値で２値化して、得られた領域の重心位置を左ウインカの位置として特定するようにしているので、例えばウインカ点灯時における車体への映り込みによる影響を低減して左ウインカの位置を更に正確に特定することができ、これを基に車載カメラ２に生じた光軸ずれをより的確に検出することができる。
【００５１】
以上、本発明の適用例として、バックビューモニタ機能を有する車載システム１及び死角補助機能を有する車載システム３０について具体的に説明したが、本発明は以上の例に限定されるものではなく、車載カメラを備え、その光軸ずれの検出が望まれるあらゆる車載システムに対して有効に適用可能である。
【００５２】
また、以上説明した例では、車載カメラ２の光軸ずれが検出された場合に、例えばディスプレイ３にその旨のメッセージを表示させたり、ブザー４を駆動して警告音を発生させることで、車載カメラ２の光軸ずれを車両の乗員に報知させるようにしているが、車載カメラ２の光軸ずれが検出された場合にその光軸ずれを自動的に補正する構成としてもよい。この場合には、車載システム１，３０に車載カメラ２の光軸方向を調整可能なアクチュエータ（カメラ位置調整手段）を設け、コントロールユニット５が、検出した車載カメラ２の光軸ずれのずれ量に応じてアクチュエータを駆動させるようにすればよい。具体的には、第１の実施形態の車載システム１においては、コントロールユニット５が、上述した評価値Ｄ１，Ｄ２を常時モニタリングしながら、これら評価値Ｄ１，Ｄ２が共に略０となるようにアクチュエータを駆動制御すればよい。また、第２の実施形態の車載システム３０においては、コントロールユニット５が、上述した幾何学的距離ｄを常時モニタリングしながら、この幾何学的距離ｄが略０となるようにアクチュエータを駆動制御すればよい。
【００５３】
この例のように、車載カメラ２の光軸ずれが検出された場合にその光軸ずれを自動的に補正するようにした場合には、自車両を修理工場に持ち込んで車載カメラ２の光軸調整を行う必要がないので、より利便性が高い。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施形態の車載システムを示すブロック図である。
【図２】前記第１の実施形態の車載システムにおいて、光軸ずれ検出プログラムが実行されることで実現されるコントロールユニットの機能ブロック図である。
【図３】前記第１の実施形態の車載システムにおいて、車載カメラの光軸ずれを判定するコントロールユニットによる一連の処理の流れを示すフローチャートである。
【図４】前記第１の実施形態の車載システムにおいて、実画像内におけるリアバンパの位置とテンプレート画像内におけるリアバンパの位置との位置ずれを検出する方法を説明する図であり、（ａ）は実画像内のリアバンパ境界線を示し、（ｂ）はテンプレート画像のリアバンパ境界線を示し、（ｃ）はこれら境界線を比較した様子を示している。
【図５】本発明を適用した第２の実施形態の車載システムを示すブロック図である。
【図６】前記第２の実施形態の車載システムにおいて、光軸ずれ検出プログラムが実行されることで実現されるコントロールユニットの機能ブロック図である。
【図７】前記第２の実施形態の車載システムにおいて、車載カメラの光軸ずれを判定するコントロールユニットによる一連の処理の流れを示すフローチャートである。
【図８】前記第２の実施形態の車載システムにおいて、実画像内における左ウインカの位置とテンプレート画像内における左ウインカの位置との位置ずれを検出する方法を説明する図であり、（ａ）は左ウインカ点灯時に撮像した実画像を示し、（ｂ）は左ウインカ非点灯時に撮像した実画像を示し、（ｃ）はこれらの実画像の差分結果を示し、（ｄ）は本来観測されるべき左ウインカの重心位置（テンプレート画像）を示している。
【符号の説明】
１車載システム
２車載カメラ
３ディスプレイ
７ブザー
５コントロールユニット
８データＲＯＭ（記憶手段）
２１バンパ位置検出部（画像処理手段）
２２バンパ位置ずれ評価部（光軸ずれ判定手段）
２３報知制御部
３０車載システム
３３ウインカ位置検出部（画像処理手段）
３４ウインカ位置ずれ評価部（光軸ずれ判定手段）
３５報知制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an optical axis deviation detection device for an in-vehicle camera that detects an optical axis deviation generated in an in-vehicle camera that is mounted on a vehicle and captures an image around the vehicle.
[0002]
[Prior art]
2. Description of the Related Art In recent years, there have been many attempts to support an appropriate driving operation of a driver by capturing an image around the vehicle with an in-vehicle camera and displaying the image on, for example, a monitor installed in a vehicle interior. In-vehicle cameras used in such applications are designed to be attached to a vehicle in a predetermined attachment state so that a desired area around the vehicle can be properly imaged. An optical axis shift may occur due to various factors such as shift and aging degradation. Thus, when an optical axis deviation occurs in the in-vehicle camera, it is required to accurately detect the optical axis deviation and correct the optical axis deviation.
[0003]
As a technique for detecting the optical axis deviation of an in-vehicle camera, for example, JP 2001-171544 A Has proposed an optical axis misalignment detection device disclosed in the above. This optical axis deviation detection device is applied to a driving support system that controls the steering angle of a vehicle so that the vehicle travels along the white line of a driving lane, and detects a white line from an image captured by an in-vehicle camera. When the target rudder angle for traveling along the white line is calculated, and there is a difference between the target rudder angle obtained by this calculation and the actual steering angle by the driver's operation, The difference is detected as an optical axis shift of the in-vehicle camera.
[0004]
[Problems to be solved by the invention]
However, since the conventional techniques as described above are based on the premise that a white line is detected from an image captured by the in-vehicle camera, even if the optical axis shift occurs in the in-vehicle camera in a place without the white line, There is a problem that it cannot be detected accurately.
[0005]
The present invention was devised in view of the above-described conventional situation, and regardless of where the vehicle travels, and in any system that captures an image around the vehicle with the in-vehicle camera, the in-vehicle camera An object of the present invention is to provide an on-vehicle camera optical axis deviation detection device capable of accurately detecting an optical axis deviation.
[0006]
[Means for Solving the Problems]
The on-vehicle camera optical axis deviation detection device according to the present invention includes an on-vehicle camera, a storage unit, an image processing unit, and an optical axis deviation determination unit. The in-vehicle camera is attached to the vehicle at an attachment position where a part of the vehicle body falls within the field of view, and takes an image including a part of the vehicle body. In particular, this in-vehicle camera is a camera that captures an image including a winker provided on the side of the vehicle as a part of a vehicle body from a door mirror of the vehicle, and captures both images when the winker is lit and when it is not lit. The storage means also includes a part of the vehicle body in the image captured by the in-vehicle camera. Winker as Is stored in advance.
[0007]
The image processing means processes an image actually captured by the in-vehicle camera, and a part of the vehicle body is included in the actually captured image. The turn signal Detect the position where is observed. For more information, Based on the difference between the image captured when the blinker is lit and the image captured when the blinker is not lit, the position of the blinker in these images is specified. Then, the optical axis misalignment determining means compares the position of the part of the vehicle body that should be originally observed stored in the storage means with the actually observed position of the part of the vehicle body detected by the image processing means. Thus, the optical axis deviation of the in-vehicle camera is determined based on the positional deviation.
[0008]
【The invention's effect】
According to the in-vehicle camera optical axis deviation detecting device according to the present invention, the in-vehicle camera detects the vehicle from the door mirror. Images that include turn signals both when the turn signals are lit and when they are not lit Like to take an image, The blinker identified from the difference between these images Since the position observed in the actual image is compared with the position to be originally observed stored in the storage means, the optical axis deviation of the in-vehicle camera is determined based on the positional deviation. Regardless of road conditions such as the presence or absence of a white line, it is possible to accurately detect the optical axis deviation of the in-vehicle camera at any timing.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0010]
(First embodiment)
The in-vehicle camera optical axis deviation detecting device according to the present invention is applied to an in-vehicle system 1 as shown in FIG. 1, for example, and when the in-vehicle camera 2 included in the in-vehicle system 1 has an optical axis deviation, the in-vehicle camera is installed. The function of detecting the optical axis deviation of the camera 2 is realized.
[0011]
An in-vehicle system 1 shown in FIG. 1 is mounted on a vehicle and presents various information to passengers of the vehicle (hereinafter referred to as own vehicle), and includes an in-vehicle camera 2 that captures an image behind the own vehicle. A display 3 installed in the vehicle interior for displaying various images, a buzzer 4 for generating a warning sound when an optical axis shift occurs in the vehicle-mounted camera 2, and the vehicle-mounted system including display control of the display 3 1 is provided with a control unit 5 for controlling the entire operation.
[0012]
The in-vehicle camera 2 is attached to the rear end of the host vehicle and captures the state behind the host vehicle as an image looking down on the ground at a predetermined depression angle. In particular, the in-vehicle camera 2 is attached to the host vehicle so that a rear bumper provided at the rear end of the host vehicle is within the field of view, and takes an image including the rear bumper. An image behind the host vehicle (hereinafter referred to as a real image) captured by the in-vehicle camera 2 is supplied to the control unit 5 and displayed on the display 3 as a back view monitor image as necessary. This back view monitor image is an image for assisting the driving operation of the driver when the host vehicle is driven backward, for example, when the host vehicle is parked.
[0013]
The display 3 includes a display such as an LCD (Liquid Crystal Display), for example, and displays various images such as a navigation image and the above-described back view monitor image under display control by the control unit 5. The display 3 also notifies the occurrence of the optical axis deviation under the control of the control unit 5 when the control unit 5 detects that the optical axis deviation has occurred in the in-vehicle camera 2. Is displayed. Further, in the in-vehicle system 1, when the control unit 5 detects that the optical axis shift has occurred in the in-vehicle camera 2, the buzzer 4 is driven under the control of the control unit 5, and a warning is given. Sound notification is also performed.
[0014]
The control unit 5 has a microprocessor configuration in which a CPU 6, a RAM 7, a data ROM 8, a program ROM 9, and the like are connected via a bus, and the CPU 6 executes various control programs stored in the program ROM 9 so that the vehicle can be mounted on the vehicle. The operation of the entire system 1 is controlled. In particular, in the control unit 5, the RAM 7 functions as an image memory that holds data of a real image behind the host vehicle that has been imaged by the in-vehicle camera 2 and A / D converted. In the data ROM 8, the rear bumper is originally observed in the image captured by the in-vehicle camera 2 when the in-vehicle camera 2 is mounted at a normal position and is in an ideal state in which the optical axis is not displaced. An image indicating a power position (hereinafter referred to as a template image) is stored. That is, the data ROM 8 functions as a storage unit that stores in advance a position where the rear bumper of the host vehicle should be originally observed in an image captured by the in-vehicle camera 2.
[0015]
Further, in the control unit 5, a navigation program, a rear monitoring program, and an optical axis deviation detection program are stored in the program ROM 9, and the CPU 6 executes these programs, so that the navigation function, back view monitor function, optical Each of the axis deviation detection functions is realized.
[0016]
The control unit 5 is connected to a vehicle speed sensor 10, a gyro sensor 11, and a GPS (Global Positioning System) receiver 12, and the control unit 5 converts the GPS signal from the GPS receiver 12 into the vehicle speed sensor 10 and the gyroscope. By correcting using the sensor signal from the sensor 11, an accurate current position of the host vehicle can be detected. The control unit 5 is connected to a data reproducing device 13 such as a DVD (Digital Versatile Disc) drive, and a map image stored in a recording medium such as a DVD is read out by the data reproducing device 13. 5 is supplied. Further, an operation switch 14 such as a joystick is connected to the control unit 5, and an operation input by an occupant using the operation switch 14 is supplied to the control unit 5. During normal operation of the in-vehicle system 1, the navigation program is executed by the CPU 6 of the control unit 5, and the current position of the own vehicle and the operation input of the passenger are input on the map image read out by the data reproducing device 13. A navigation image in which the searched routes and the like are overlapped and displayed is displayed on the display 3.
[0017]
The control unit 5 is connected to a reverse switch 15 that is turned on when the gear of the host vehicle is shifted to the reverse position. When a reverse on signal is supplied from the reverse switch 15, the rear monitoring program is executed by the CPU 6 of the control unit 5, and the distance scale is superimposed on the actual image captured by the in-vehicle camera 2. A back view monitor image is displayed on the display 3.
[0018]
The control unit 5 is connected to an ignition switch 16 that is turned on when the engine of the host vehicle is started. When the ignition on signal from the ignition switch 16 is supplied, the CPU 6 of the control unit 5 executes an optical axis deviation detection program, and the control unit 5 detects the bumper position detection unit (image) as shown in FIG. (Processing means) 21, bumper position deviation evaluation unit (optical axis deviation determination means) 22, and notification control unit 23.
[0019]
The bumper position detector 21 processes the data of the real image behind the host vehicle captured by the in-vehicle camera 2 and held in the RAM 7, and the rear bumper provided at the rear end of the host vehicle is reflected in the actual image. It has a function to detect the position. The position of the rear bumper in the actual image is detected by, for example, detecting a difference in pixel value from an adjacent pixel for each pixel constituting the actual image, and the difference in pixel value between adjacent pixels is a predetermined value. This can be done easily by assuming the position beyond the boundary between the rear bumper and the background.
[0020]
The bumper misalignment evaluation unit 22 compares the position of the rear bumper that should be originally observed indicated by the template image stored in the data ROM 8 with the position of the rear bumper in the actual image detected by the bumper position detection unit 21. The function of determining whether or not the optical axis shift has occurred in the in-vehicle camera 2 from the degree of the positional shift is provided.
[0021]
When the bumper position deviation evaluation unit 22 determines that the in-vehicle camera 2 has an optical axis deviation, the notification control unit 23 displays a message to that effect on the display 3 and drives the buzzer 4 to give a warning. It has a function of performing control to generate sound.
[0022]
In the in-vehicle system 1 configured as described above, the navigation program is executed by the CPU 6 of the control unit 5 and the navigation image is displayed on the display 3 during normal operation except when the host vehicle is traveling backward. It is displayed. When the gear of the host vehicle is shifted to the reverse position and a reverse-on signal is supplied to the control unit 5, the rear monitoring program is executed by the CPU 6 of the control unit 5, and a back view monitor image is displayed on the display 3. It is like that.
[0023]
At this time, an optical axis shift occurs in the in-vehicle camera 2 due to a position shift at the time of mounting the on-vehicle camera 2, a position shift due to a physical factor such as vehicle contact, or a position shift due to aged deterioration. If this is the case, the in-vehicle camera 2 cannot properly capture the actual image behind the host vehicle, and the distance scale of the back view monitor image may be different from the actual distance. There is a problem in that images of different areas are displayed and the driver cannot properly support the driving operation. Therefore, in the in-vehicle system 1 to which the present invention is applied, when the ignition switch 16 is turned on, the CPU 6 of the control unit 5 executes the optical axis deviation detection program to determine whether the optical axis deviation occurs in the in-vehicle camera 2. When the optical axis shift occurs in the in-vehicle camera 2, the fact is displayed on the display 3 as a message, and a warning sound is generated from the buzzer 4 to notify the vehicle occupant. I am doing so.
[0024]
Here, in the in-vehicle system 1 as described above, a flow of a series of processes by the control unit 5 that determines the optical axis deviation of the in-vehicle camera 2 will be described with reference to the flowchart of FIG. The series of processing shown in FIG. 3 starts when the ignition switch 16 is turned on and is repeatedly performed until the ignition switch 16 is turned off, and the host vehicle is running or stopped. In addition, it is performed regardless of whether the image displayed on the display 3 is a navigation image or a back view monitor image.
[0025]
First, when the ignition switch 16 is turned on, an optical axis deviation detection program is executed by the control unit 5, and it is determined whether or not a predetermined optical axis deviation detection timing has come (step S1-1). This optical axis deviation detection timing can be arbitrarily set according to the required detection accuracy, the processing capability of the control unit 5, and the like. When the optical axis deviation detection timing is reached, an in-vehicle camera 2 captures a real image behind the host vehicle, which is captured and held in the RAM 7 of the control unit 5 (step S1-2).
[0026]
Next, the bumper position detection unit 21 performs a process of detecting the position where the rear bumper is reflected in the real image behind the host vehicle held in the RAM 7. Specifically, the bumper position detection unit 21 first searches the real image behind the host vehicle sequentially from the bottom to the top and from the left to the right, and detects the difference between the pixel values of pixels adjacent in the vertical direction. (Step S1-3). Then, a pixel whose pixel value difference with an adjacent pixel among the pixels constituting the actual image exceeds a predetermined value, that is, a position where the brightness changes greatly in the actual image is specified (step S1-4), the position coordinates are registered so as to be identifiable (step S1-5). Specifically, for example, the position coordinate I (x, y) of the position where the brightness greatly changes is registered as “1”, and the other position coordinates I (x, y) are registered as “0”. The above processing is repeated for each pixel of the entire real image (step S1-6).
[0027]
The position where the brightness changes greatly in the actual image usually appears as a continuous line in the actual image as shown in FIG. 4A, and this position is a rear bumper provided at the rear end of the host vehicle. And the background. The position coordinates of each point indicating the boundary between the rear bumper and the background are registered so as to be identifiable by the above-described processing by the bumper position detection unit 21.
[0028]
Next, the bumper position deviation evaluation unit 22 determines the position of the rear bumper to be originally observed indicated by the template image stored in the data ROM 8 and the position of the rear bumper in the actual image detected by the bumper position detection unit 21. A process of determining whether or not the optical axis shift has occurred in the in-vehicle camera 2 is performed based on the degree of the positional shift.
[0029]
In the template image stored in the data ROM 8, for example, as shown in FIG. 4B, the boundary between the rear bumper and the background that should be observed appears as a line, and the position coordinates of each point constituting this boundary line are J It is specified as (x, y). The bumper position deviation evaluation unit 22 uses the position coordinates J (x, y) of each point appearing as a boundary line between the rear bumper and the background in the template image, and the rear bumper and the background in the actual image detected by the bumper position detection unit 21. Are compared with the position coordinates I (x, y) of each point indicating the boundary. Specifically, the bumper position deviation evaluation unit 22 first, as shown in FIG. 4C, a template corresponding to the same horizontal position (x value) over the entire horizontal direction (x-axis direction) of the image. A difference α (x) between the position of the point on the image in the y-axis direction (y value) and the position of the point on the actual image in the y-axis direction (y value) is obtained (step S1-7). Here, α (x) is the difference between the y value of the point on the template image and the y value of the point on the actual image at an arbitrary position (x) in the horizontal direction of the image. Next, two evaluation values D1 and D2 are calculated for the calculated α (x) (step S1-8). Here, D1 is an evaluation value obtained by D1 = Σ | α (x) |, and D2 is an evaluation value represented by variance of α (x), that is, Var (α (x)). Then, the bumper position deviation evaluation unit 22 compares the two evaluation values obtained as described above with a predetermined threshold value, respectively. When the evaluation value D1 is equal to or higher than the predetermined threshold value, or the evaluation value D2 is equal to or higher than the predetermined threshold value. When it is, it determines with the optical axis deviation having arisen in the vehicle-mounted camera 2 (step S1-9).
[0030]
If it is determined by the bumper position deviation evaluation unit 22 that an optical axis deviation has occurred in the in-vehicle camera 2, then the display control of the display 3 is performed by the notification control unit 23, and the in-vehicle camera 2 has an optical axis deviation. A message indicating that it has occurred is displayed on the display 3. Further, the buzzer 4 is driven by the notification control unit 23 to generate a warning sound, and the vehicle occupant is notified that the in-vehicle camera 2 has an optical axis shift (step S1-10). The vehicle occupant can recognize that the optical axis shift has occurred in the in-vehicle camera 2 by this notification. For example, the vehicle occupant can take an appropriate measure such as bringing the vehicle into a repair shop and receiving the optical axis adjustment of the in-vehicle camera 2. It becomes possible to plan. In the in-vehicle system 1 to which the present invention is applied, a series of processes as described above are repeatedly performed by the control unit 5 until the ignition switch 16 is turned off, and it is periodically determined whether or not the optical axis deviation occurs in the in-vehicle camera 2. Is to be judged.
[0031]
As described above, in the in-vehicle system 1 to which the present invention is applied, it is periodically determined whether or not the optical axis deviation occurs in the in-vehicle camera 2, and when the optical axis deviation occurs in the in-vehicle camera 2, that fact is indicated. Is notified to the vehicle occupant, so that the vehicle occupant is encouraged to take appropriate measures such as optical axis adjustment, and the in-vehicle camera 2 captures a necessary image and displays it on the display 3 to display the driver. It is possible to appropriately support the driving operation. In particular, in this in-vehicle system 1, the template image stored in the data ROM 8 in advance is compared with the actual image actually captured by the in-vehicle camera 2 and captured in the RAM 7, thereby reducing the optical axis deviation of the in-vehicle camera 2. Since the determination is made, the optical axis shift of the in-vehicle camera 2 can be accurately detected regardless of the road condition such as the presence or absence of a white line, the use of the in-vehicle camera 2, and the like.
[0032]
(Second Embodiment)
Next, as a second embodiment, an example in which the present invention is applied to another vehicle-mounted system 30 as shown in FIG. 5 will be described. The in-vehicle system 30 of the second embodiment captures an image of a position that becomes a blind spot from the driver on the left front side of the host vehicle (near the left fender) with the in-vehicle camera 2 in response to an instruction input by a passenger of the host vehicle. The vehicle is displayed on the display 3 and assists the driver's driving operation when turning to the left. The in-vehicle camera 2 is built in the left door mirror of the host vehicle. The in-vehicle camera 2 is attached inside the side mirror so that the left turn signal provided on the side of the host vehicle is within the field of view, and takes an image including the left turn signal.
[0033]
The in-vehicle system 30 according to the second embodiment includes a display changeover switch 31 instead of the reverse switch 15 included in the in-vehicle system 1 according to the first embodiment described above. The display changeover switch 31 is used for inputting an instruction to display on the display 3 an image of a blind spot imaged by the in-vehicle camera 2, and is connected to the control unit 5. The display changeover switch 31 may be configured integrally with the operation switch 14 for performing an operation input related to navigation.
[0034]
In the in-vehicle system 30 according to the second embodiment, a winker switch 32 is further connected to the control unit 5. The turn signal switch 32 is turned on when the turn signal lever of the host vehicle is operated and the left turn signal is operated. In the in-vehicle system 30 according to the second embodiment, the in-vehicle system 2 is mounted in the data ROM 8 of the control unit 5 in an ideal state in which the in-vehicle camera 2 is mounted at a normal position and no optical axis deviation occurs. An image (hereinafter referred to as a template image) indicating a position where the left turn signal should be observed in the image captured by the camera 2 is stored. That is, the data ROM 8 functions as a storage unit that stores in advance a position where the left turn signal of the host vehicle should be observed in an image captured by the in-vehicle camera 2. Further, a blind spot assist program is stored in the program ROM 9 of the control unit 5 in place of the rear monitoring program described above, and the blind spot assist function is realized by the CPU 6 executing this blind spot monitor program. It has become.
[0035]
The other configuration of the in-vehicle system 30 according to the second embodiment is the same as that of the in-vehicle system 1 according to the first embodiment described above. The same reference numerals are given, and duplicate descriptions are omitted.
[0036]
In the in-vehicle system 30 of the second embodiment, when the ignition on signal from the ignition switch 16 is supplied to the control unit 5, the CPU 6 of the control unit 5 executes the optical axis deviation detection program, and the control unit 5 As shown in FIG. 6, it functions as a blinker position detection unit (image processing unit) 33, a blinker position deviation evaluation unit (optical axis deviation determination unit) 34, and a notification control unit 35.
[0037]
The blinker position detection unit 33 processes data of an image (hereinafter referred to as a real image) at a position that becomes a blind spot on the left front side of the host vehicle captured by the in-vehicle camera 2 and held in the RAM 7. The vehicle has a function of detecting a position where a left turn signal provided on the side of the host vehicle is reflected.
[0038]
The winker position deviation evaluation unit 34 compares the position of the winker to be originally observed indicated by the template image stored in the data ROM 8 with the position of the winker in the actual image detected by the winker position detection unit 33. The function of determining whether or not the optical axis shift has occurred in the in-vehicle camera 2 from the degree of the positional shift is provided.
[0039]
When it is determined by the turn signal position evaluation unit 34 that the in-vehicle camera 2 has an optical axis shift, the notification control unit 35 displays a message to that effect on the display 3 and drives the buzzer 4 to give a warning. It has a function of performing control to generate sound.
[0040]
The in-vehicle system 20 of the second embodiment configured as described above is the first implementation described above during normal operation except when there is an instruction input using the display changeover switch 31 from the occupant of the host vehicle. As in the vehicle-mounted system 1, the navigation program is executed by the CPU 6 of the control unit 5, and a navigation image is displayed on the display 3. When an instruction input using the display changeover switch 31 is supplied to the control unit 5, a blind spot assist program is executed by the CPU 6 of the control unit 5, and a position where a blind spot is displayed on the display 3 from the driver on the left front side of the host vehicle. The real image is displayed.
[0041]
At this time, an optical axis shift occurs in the in-vehicle camera 2 due to a position shift at the time of mounting the on-vehicle camera 2, a position shift due to a physical factor such as vehicle contact, or a position shift due to aged deterioration. If this is the case, an image at a position that becomes a blind spot cannot be appropriately captured by the in-vehicle camera 2, and a problem that the blind spot assist function cannot be exhibited occurs. Therefore, also in the in-vehicle system 30 of the second embodiment, as in the in-vehicle system 1 of the first embodiment described above, when the ignition switch 16 is turned on, the CPU 6 of the control unit 5 detects the optical axis deviation. The program is executed to periodically determine whether or not the in-vehicle camera 2 has an optical axis deviation, and when the optical axis deviation has occurred in the in-vehicle camera 2, a message to that effect is displayed on the display 3. At the same time, a warning sound is generated from the buzzer 4 to notify the vehicle occupant.
[0042]
Here, in the in-vehicle system 30 of the second embodiment as described above, a flow of a series of processes by the control unit 5 that determines the optical axis deviation of the in-vehicle camera 2 will be described with reference to the flowchart of FIG. The series of processing shown in FIG. 7 starts when the ignition switch 16 is turned on and is repeatedly performed until the ignition switch 16 is turned off, and the host vehicle is running or stopped. In addition, it is carried out regardless of whether the image displayed on the display 3 is a navigation image or an image at a blind spot in front of the left side of the host vehicle.
[0043]
First, when the ignition switch 16 is turned on, an optical axis deviation detection program is executed by the control unit 5, and it is determined whether or not a predetermined optical axis deviation detection timing has come (step S2-1). This optical axis deviation detection timing is determined with reference to ON / OFF of the blinker switch 32, for example. Then, at the timing when the turn signal switch 32 is turned on, the in-vehicle camera 2 captures a real image of the left front of the host vehicle when the left turn signal lights as shown in FIG. (Step S2-2). In addition, at the timing when the turn signal switch 32 is turned off, the in-vehicle camera 2 captures a real image of the left front of the host vehicle when the left turn signal is not lit as shown in FIG. Captured and held (step S2-3).
[0044]
Next, the turn signal position detection unit 33 performs processing for detecting the position where the left turn signal is reflected in the real image on the left front of the host vehicle held in the RAM 7. Specifically, the blinker position detection unit 33 first detects a difference between a real image of the left front of the host vehicle captured when the left turn signal lights and a real image of the left front of the host vehicle captured when the left turn signal is not lit. (Step S2-4). Since the difference between these actual images can be obtained only at the position of the left turn signal, the difference result is binarized with a predetermined threshold value, and a rough result of the left turn signal as shown in FIG. The area is specified, and further, the center of gravity position G (x, y) of this area is obtained, and this center of gravity position G (x, y) is specified as the position of the left turn signal in the actual image on the left front of the host vehicle (step S2-5). In addition, noise may be mixed in the difference result between the actual image when the left turn signal is lit and the actual image when the left turn signal is not lit, and this noise may hinder the accurate position of the left turn signal. It is also expected that the range for obtaining the difference between the actual images will be limited to some extent that the left turn signal will be present, or even if the difference result exceeding the threshold is obtained, the area area When outside the predetermined range, it is desirable to add a device such as removing from the target.
[0045]
Next, the position of the left turn signal that is to be observed by the turn signal position evaluation unit 34 as indicated by the template image stored in the data ROM 8 and the position of the left turn signal in the actual image detected by the turn signal position detection unit 33. And a process of determining whether or not the in-vehicle camera 2 has an optical axis deviation is performed based on the degree of the positional deviation.
[0046]
In the template image stored in the data ROM 8, for example, as shown in FIG. 8D, the position of the center of gravity of the left turn signal to be observed is shown. The turn signal position evaluation unit 34 first compares the center position of the left turn signal indicated by this template image with the position of the left turn signal center in the actual image detected by the turn signal position detection unit 33. By calculating the geometric distance d of the position coordinates, the positional deviation between the position of the left turn signal in these template images and the position of the left turn signal in the actual image is calculated (step S2-6). And when the calculated distance d is more than a predetermined threshold value, it determines with the optical axis deviation having arisen in the vehicle-mounted camera 2 (step S2-7).
[0047]
If it is determined by the winker position deviation evaluation unit 34 that the optical axis deviation has occurred in the in-vehicle camera 2, then the display control of the display 3 is performed by the notification control unit 35, and the in-vehicle camera 2 has an optical axis deviation. A message to the effect is displayed on the display 3. In addition, the buzzer 4 is driven by the notification control unit 35 and a warning sound is generated to notify the vehicle occupant that the in-vehicle camera 2 has an optical axis shift (step S2-8). The vehicle occupant can recognize that the optical axis shift has occurred in the in-vehicle camera 2 by this notification. For example, the vehicle occupant can take an appropriate measure such as bringing the vehicle into a repair shop and receiving the optical axis adjustment of the in-vehicle camera 2. It becomes possible to plan. In the in-vehicle system 30 of the second embodiment, as in the in-vehicle system 1 of the first embodiment, the series of processes as described above are repeatedly performed by the control unit 5 until the ignition switch 16 is turned off. It is periodically determined whether or not the optical axis shift has occurred in the camera 2.
[0048]
As described above, in the in-vehicle system 30 according to the second embodiment, as in the in-vehicle system 1 according to the first embodiment described above, it is periodically determined whether or not the optical axis deviation occurs in the in-vehicle camera 2. When the in-vehicle camera 2 has an optical axis misalignment, the vehicle occupant is informed of this fact, so the vehicle occupant is encouraged to take appropriate measures such as adjusting the optical axis, and the in-vehicle camera 2, a necessary image can be taken and displayed on the display 3 to appropriately support the driving operation by the driver. In particular, in this in-vehicle system 1, the template image stored in the data ROM 8 in advance is compared with the actual image actually captured by the in-vehicle camera 2 and captured in the RAM 7, thereby reducing the optical axis deviation of the in-vehicle camera 2. Since the determination is made, the optical axis shift of the in-vehicle camera 2 can be accurately detected regardless of the road condition such as the presence or absence of a white line, the use of the in-vehicle camera 2, and the like.
[0049]
In the in-vehicle system 30 according to the second embodiment, the in-vehicle camera 2 captures a real image of the left front of the host vehicle when the left turn signal is lit and a real image of the left front of the host vehicle when the left turn signal is not lit. Since the difference between these images is obtained and the position of the left turn signal in the real image is specified based on the result, the left turn signal and the turn signal in the real image are determined depending on various conditions such as time zone and weather. Even when the difference from the background is small, it is possible to accurately identify the position of the left turn signal and accurately detect the optical axis shift generated in the in-vehicle camera 2 based on this.
[0050]
Further, in the in-vehicle system 30 of the second embodiment, the difference between the real image of the left front of the host vehicle when the left turn signal lights and the real image of the left front of the vehicle when the left turn signal is not turned on is determined with a predetermined threshold. The binarization is performed so that the position of the center of gravity of the obtained area is specified as the position of the left turn signal. For example, the influence of the reflection on the vehicle body when the turn signal lights is reduced, and the position of the left turn signal is more accurately determined. Based on this, it is possible to detect the optical axis shift generated in the in-vehicle camera 2 more accurately.
[0051]
As described above, the in-vehicle system 1 having the back view monitor function and the in-vehicle system 30 having the blind spot assist function have been specifically described as application examples of the present invention. However, the present invention is not limited to the above examples, The present invention can be effectively applied to any in-vehicle system that includes a camera and in which detection of the optical axis deviation is desired.
[0052]
Moreover, in the example demonstrated above, when the optical axis offset of the vehicle-mounted camera 2 is detected, a message to that effect is displayed on the display 3, or the buzzer 4 is driven to generate a warning sound, thereby Although the vehicle occupant is notified of the optical axis deviation of the camera 2, the optical axis deviation may be automatically corrected when the optical axis deviation of the in-vehicle camera 2 is detected. In this case, the in-vehicle systems 1 and 30 are provided with an actuator (camera position adjusting means) that can adjust the optical axis direction of the in-vehicle camera 2, and the control unit 5 detects the amount of deviation of the detected optical axis of the in-vehicle camera 2. The actuator may be driven accordingly. Specifically, in the in-vehicle system 1 according to the first embodiment, the control unit 5 constantly monitors the evaluation values D1 and D2 described above, and the actuator so that the evaluation values D1 and D2 are both substantially zero. May be driven and controlled. In the in-vehicle system 30 according to the second embodiment, the control unit 5 controls the actuator so that the geometric distance d becomes substantially 0 while constantly monitoring the geometric distance d described above. That's fine.
[0053]
When the optical axis deviation of the in-vehicle camera 2 is detected as in this example, when the optical axis deviation is automatically corrected, the vehicle is brought into a repair shop and the optical axis of the in-vehicle camera 2 is detected. Since there is no need to make adjustments, it is more convenient.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an in-vehicle system according to a first embodiment to which the present invention is applied.
FIG. 2 is a functional block diagram of a control unit realized by executing an optical axis deviation detection program in the in-vehicle system of the first embodiment.
FIG. 3 is a flowchart showing a flow of a series of processes by a control unit for determining an optical axis deviation of an in-vehicle camera in the in-vehicle system of the first embodiment.
FIG. 4 is a diagram for explaining a method for detecting a positional deviation between a position of a rear bumper in a real image and a position of a rear bumper in a template image in the in-vehicle system according to the first embodiment. The rear bumper boundary line in the image is shown, (b) shows the rear bumper boundary line of the template image, and (c) shows a state in which these boundary lines are compared.
FIG. 5 is a block diagram showing an in-vehicle system according to a second embodiment to which the present invention is applied.
6 is a functional block diagram of a control unit realized by executing an optical axis deviation detection program in the in-vehicle system of the second embodiment. FIG.
FIG. 7 is a flowchart showing a flow of a series of processes by a control unit for determining an optical axis shift of an in-vehicle camera in the in-vehicle system of the second embodiment.
FIG. 8 is a diagram illustrating a method for detecting a positional deviation between the position of the left turn signal in the actual image and the position of the left turn signal in the template image in the in-vehicle system according to the second embodiment; Is an actual image captured when the left winker is lit, (b) is an actual image captured when the left winker is not lit, (c) is a difference result between these actual images, and (d) is originally observed The center-of-gravity position (template image) of the left turn signal is shown.
[Explanation of symbols]
1 In-vehicle system
2 In-vehicle camera
3 Display
7 Buzzer
5 Control unit
8 Data ROM (storage means)
21 Bumper position detector (image processing means)
22 Bumper position deviation evaluation unit (optical axis deviation determination means)
23 Notification Control Unit
30 In-vehicle system
33 Winker position detection unit (image processing means)
34 Winker position deviation evaluation unit (optical axis deviation judging means)
35 Notification Control Unit

Claims

An in-vehicle camera attached to the vehicle at an attachment position where a part of the vehicle body falls within the field of view;
Storage means for storing in advance a position where a part of the vehicle body should be originally observed in an image captured by the in-vehicle camera;
Image processing means for processing an image actually captured by the in-vehicle camera and detecting a position where a part of the vehicle body is observed in the image;
The position of the part of the vehicle body stored in the storage means to be originally observed and the position of the part of the vehicle body actually detected detected by the image processing means are compared, and the position shift Optical axis deviation determination means for determining the optical axis deviation of the in-vehicle camera based on
The on-vehicle camera is a camera that captures an image including a blinker provided on a side of the vehicle as a part of the vehicle body from a door mirror of the vehicle ,
The in-vehicle camera captures both the turn signal lighting and non-lighting images,
The image processing means specifies the position of the blinker in these images based on the difference between the image captured when the blinker is lit and the image captured when the blinker is not lit.
An optical axis misalignment detection device for an in-vehicle camera.

The image processing means binarizes a difference result between an image captured when the blinker is lit and an image captured when the blinker is not lit with a predetermined threshold, and specifies the position of the center of gravity of the obtained region as the position of the blinker thing
The on-vehicle camera optical axis deviation detecting device according to claim 1.

When it is determined by the optical axis deviation determination means that the optical axis deviation has occurred in the in-vehicle camera, further provided is an informing means for informing that effect.
The optical axis deviation detection device for an in-vehicle camera according to claim 1 or 2.

Camera position adjustment means for adjusting the position of the in-vehicle camera and correcting the optical axis deviation when the optical axis deviation determination means determines that the in-vehicle camera has an optical axis deviation.
The optical axis deviation detection device for an in-vehicle camera according to claim 1 or 2.