JP4234240B2 - On-vehicle camera mounting method and image processing apparatus - Google Patents

On-vehicle camera mounting method and image processing apparatus Download PDF

Info

Publication number
JP4234240B2
JP4234240B2 JP31800898A JP31800898A JP4234240B2 JP 4234240 B2 JP4234240 B2 JP 4234240B2 JP 31800898 A JP31800898 A JP 31800898A JP 31800898 A JP31800898 A JP 31800898A JP 4234240 B2 JP4234240 B2 JP 4234240B2
Authority
JP
Japan
Prior art keywords
camera
vehicle
image
notification
mounting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31800898A
Other languages
Japanese (ja)
Other versions
JP2000142221A (en
Inventor
明宏 太田
隆一 中村
正博 馬場崎
伸和 島
謙治 岡
圭司 國友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP31800898A priority Critical patent/JP4234240B2/en
Publication of JP2000142221A publication Critical patent/JP2000142221A/en
Application granted granted Critical
Publication of JP4234240B2 publication Critical patent/JP4234240B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、車両にカメラを取付けるための車載用カメラの取付方法および画像処理装置に関する。
【0002】
【従来の技術】
従来から、車両にカメラを搭載し、車両の後方など運転者から死角になる部分の画像を撮像して運転の補助を行ったり、たとえば特開平9ー126756や特開平9ー126759に記載されているように、一対のカメラで両眼立体視法による距離測定を行ったりしている。
【0003】
車両に搭載するカメラの車体への取付けの際には、カメラの中心軸を所定の方向となるように調整する必要がある。このような調整では、従来、カメラが撮像する画像についての映像出力信号を用いて、たとえば画像の中心と所定の方向との位置関係に基づいて、画像を見ながら調整するようにしている。
【0004】
図12は、従来の車載用の画像処理のための電気的な構成を示す。カメラ1は、CCDなどの撮像素子やレンズなどの光学系部品を備え、所定の視野内の画像を撮像する。カメラ1が撮像した画像を表す映像出力信号は、カメラ1を含む画像処理装置2の画像処理部3に入力される。画像処理部3は、カメラ1が撮像した画像に基づく演算処理、たとえば両眼立体視法による距離測定のための演算処理などを行う。
【0005】
画像処理部3からの映像出力信号は、映像出力回路部4で増幅され、表示用モニタ5で画像として表示させる。カメラ1を車体の所定位置に取付ける際には、カメラ1の取付状態を調整する作業者に、現在の取付状態に対応して撮像される画像として表示する。
【0006】
【発明が解決しようとする課題】
従来の車載用カメラの取付けの際の調整は、作業者が表示用モニタ5のモニタ画面を見ながら行う。このため、表示用モニタ5に映像出力信号を供給する映像出力回路部4も必要となる。カメラ1を搭載する本来の目的は、画像処理部3で画像処理を行い、その結果で車両の運転などの支援を行うことである。したがって、カメラ1および画像処理部3が画像処理に必要な部分6である。しかしながら、調整のときにのみ使用する映像出力回路4の付加が必要となるので、コストアップにつながる。また、作業者が表示用モニタ5の画面を見ながら取付作業を行う必要があるので、カメラ1の撮像方向や取付位置周辺に対する充分な観察を行うことができない。
【0007】
本発明の目的は、車体への取付けに伴う調整を、簡単な構成で精度よく行うことができる車載用カメラの取付方法および車載用カメラの画像処理装置を提供することである。
【0008】
【課題を解決するための手段】
本発明は、カメラを車両に取付ける際に、カメラによって撮像しながら、撮像される画像を処理して、画像上の基準点の位置を算出し、
算出された基準点の位置に基づいて、カメラの取付け状態が許容範囲内にあるか否かを判定し、
判定結果を通知し、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの取付方法である。
【0009】
本発明に従えば、カメラを車両に取付ける際に、カメラは撮像を行い、撮像された画像は処理されて、画像上の基準点の位置が算出される。算出された基準点の位置に基づいて、カメラの取付状態が許容範囲内であるか否かが判定され、判定結果が通知されるので、カメラが撮像する画像を表示用モニタなどで直接見ないでも、判定結果の通知に従って、カメラの取付状態が所定の撮像方向に正確に向けられるように調整を行うことができる。
【0011】
また、基準点として画像中の路面上に引かれる白線が収斂する無限遠点を選択するので、画像中に白線が検出されれば、無限遠点を容易に検出して、カメラの取付状態調整のための基準位置として利用することができる。
【0012】
また本発明で前記基準点として、前記画像内で前記白線の最も手前側に位置する点である最近点も含むことを特徴とする。
【0013】
本発明に従えば、カメラの取付状態を調整する基準点として、画像内で白線の最も手前側に位置する点である最近点も含むので、カメラの視野が適切な範囲となるように取付状態を調整することができる。
【0014】
また本発明で前記基準点は、カメラの視野内に設置される物体の画像上に設定されることを特徴とする。
【0015】
本発明に従えば、カメラの視野内に設置される物体の画像上に基準点を設定するので、たとえば標準な調整場所を設けて調整を行ったり、車間距離表示が設けられている道路上で前方車両を視野内に捕えて調整を行い、カメラを適切な取付状態に調整することができる。
【0016】
また本発明で前記カメラには、操作部の手動操作によりその動作が制御されるモータによる駆動で取付状態を変更する機構が設けられ、
前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、前記操作部の手動操作でモータの駆動状態を制御することを特徴とする。
【0017】
本発明に従えば、カメラの取付状態の調整は、操作部の手動操作によりその動作が制御されるモータを駆動して取付状態を変更する機構で行うので、手動で直接調整するよりも、微妙な調整を容易に行うことができる。
【0018】
また本発明で前記カメラには、取付状態をモータによる駆動で変更する機構が設けられ、
前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、モータの駆動状態を自動的に制御することを特徴とする。
【0019】
本発明に従えば、カメラの取付状態の調整は、モータの駆動状態を自動的に制御して行うので、最適な状態となるように確実に調整することができる。
【0020】
また本発明で前記判定結果の通知は、音響出力で行うことを特徴とする。
【0021】
本発明に従えば、判定結果の通知を音響出力で行うので、カメラの取付状態の調整時には表示モニタ画面などを見る必要はなく、カメラの周辺や視野の方向のみの取付状態を調整することができる。
【0022】
また本発明で前記通知は、前記基準点位置からのずれ量に対応する前記音響出力の音量の変化で行うことを特徴とする。
【0023】
本発明に従えば、取付状態の調整の際に、基準位置からのずれの量が音響出力の音量の変化として通知されるので、調整の結果によるずれ量の変化が判りやすくなり、容易にずれが少なくなる方向に調整することができる。
【0024】
また本発明で前記通知は、前記基準点からのずれ量に対応する前記音響出力の音色変化で行うことを特徴とする。
【0025】
本発明に従えば、ずれ量に対応して音響出力の音色変化で通知が行われるので、音色とずれ量とを関連付けて、ずれ量の調整を容易に行うことができる。
【0026】
また本発明で前記通知は、前記基準点からのずれ量に対応する前記音響出力の音間隔変化で行うことを特徴とする。
【0027】
本発明に従えば、基準点からのずれ量に対応する通知を、音響出力の音間隔の変化で行うので、他の要因で音響出力の音色や音量が変化しても、確実にずれ量に対する許容範囲内にあるか否かを通知することができる。
【0028】
また本発明で前記判定結果の通知は、視覚表示で行うことを特徴とする。
【0029】
本発明に従えば、判定結果の通知を視覚表示で行うので、判定結果を判りやすい情報として表示することができる。
【0030】
また本発明で前記通知は、前記基準位置からのずれ量に対応して、視覚表示位置を変化させて行うことを特徴とする。
【0031】
本発明に従えば、基準位置からのずれ量に対応して、視覚表示位置が変化するので、視覚表示位置に基づいてずれ量を判断し、ずれ量が小さくなるようにカメラの取付状態を調整することができる。
【0032】
また本発明で前記通知は、前記基準位置からのずれ量に対応する速度で、視覚表示を点滅させて行うことを特徴とする。
【0033】
本発明に従えば、基準位置からのずれ量に対応する速度で視覚表示が点滅するので、点滅の速度に応じてずれ量が小さくなるようにカメラの取付状態を調整することができる。
【0034】
また本発明で前記通知は、前記基準位置からのずれ量に対応して、視覚表示の面積を変化させて行うことを特徴とする。
【0035】
本発明に従えば、ずれ量に応じて視覚表示の表示面積が変化するので、ずれ量が小さくなる方向に容易に調整することができる。
【0036】
また本発明で前記通知は、前記基準位置からの明るさが変化するように視覚表示を変化させて行うことを特徴とする。
【0037】
本発明に従えば、基準点からのずれ量に対応して視覚表示の明るさが変化するので、明るさの変化に基づいてずれ量が小さくなるようにカメラの取付状態を調整することができる。
【0038】
さらに本発明は、カメラによって撮像される画像中から、予め定められる対象物を認識する認識手段と、
認識手段によって認識される対象物の画像に基づいて、基準点位置を算出する算出手段と、
算出手段によって算出される基準点の位置と、カメラが車両に搭載される状態で撮像すべき画像中の基準点の位置とのずれ量を算出し、ずれ量が予め定める許容範囲内にあるか否かを判断する判断手段と、
判断手段の判断結果を通知する通知手段とを含み、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの画像処理装置である。
【0039】
本発明に従えば、カメラによって撮像される画像中予め定める対象物が、認識手段によって認識される。算出手段は、認識される対象物の画像に基づいて基準点の位置を算出し、基準点の位置に基づいてカメラが車両に搭載される状態で撮像する画像中の基準点の位置とのずれ量が計算され、許容範囲内にあるか否かを判断手段によって判断される。判断結果は、通知手段によって通知されるので、車載用カメラの取付状態を調整しようとするときには、通知に従って基準位置までのずれ量が小さくなるように調整して、適切な撮像状態を得ることができる。撮像した画像を表示しながら調整を行う必要がないので、画像を表す映像出力信号を増幅する出力回路などを設ける必要がなく、画像処理装置の製造原価を低減することができる。また、基準点として画像中の路面上に引かれる白線が収斂する無限遠点を選択するので、画像中に白線が検出されれば、無限遠点を容易に検出して、カメラの取付状態調整のための基準位置として利用することができる。
【0040】
【発明の実施の形態】
図1は、本発明の実施の一形態の基本的な考え方を示す。図1(a)は、撮像すべき画像10の基本的内容を示し、図1(b)は、画像10を撮像するための構成を示す。画像10は、CCDなどの撮像素子を有するカメラ11で撮像される。画像10を撮像したカメラ11からは、映像信号が出力され、カメラ11を含む画像処理装置12内の画像処理部13で処理される。本実施形態では、画像処理装置12は、カメラ11を取付ける目的の画像処理を行うとともに、カメラ11を車両に取付ける際の調整時にも、取付状態が適切であるか否かの判断を行う。画像処理装置12の判断結果は、ブザーや、発光ダイオード(以下、「LED」と略称する)や液晶表示素子(LCD)などのディスプレイなどの結果出力部14に出力され、音響出力あるいは視覚表示で判断結果の通知が行われる。画像処理装置12は、基本的に、カメラ11および画像処理部13の画像処理に必要な部分15のみで構成される。
【0041】
カメラ11が撮像する画像10には、たとえば車両の走行方向前方の路面16が撮像される。路面16には、車線の境界を示す白線17が引かれており、平坦かつ直線の路面16では、隣接する白線17は平行である。カメラ11は、透視図法に従う画像10を撮像するので、平行な白線17の先端は、無限遠点18で一致するように収斂する。また、カメラ11の視野内では、白線17の最も手前側に位置する点として、最近点19も容易に識別することができる。
【0042】
図2は、図1の構成で、カメラ11を車両に取付ける際の手順を示す。図2(a)は、全体的な取付手順を示す。ステップa1で、カメラの取付方向を認識する。図1(a)の画像10のように、路面16に白線17が引かれていれば、白線17を認識し、その延長上の無限遠点18や、最近点19の認識も行う。ステップa2では、ステップa1で認識された無限遠点18や最近点19が、画像10の上下方向で、適切な位置となるような取付角度の調整が行われる。ステップa3では、カメラ取付方法の通知に基づいて、無限遠点18や最近点19が、画像10の左右方向で適切な位置になるような調整が行われる。
【0043】
図2(b)は、図2(a)のステップa2やステップa3で、カメラのずれを調整する際に、許容範囲内であるか否かの通知手順を示す。ステップb1から手順を開始し、ステップb2では無限遠点18や最近点19などの基準点の位置を算出する。ステップb3では、本来の基準点位置と算出された基準点位置とのずれ量を演算する。ステップb4では、ずれ量が許容範囲内であるか否かを判断する。許容範囲内であると判断されるときには、ステップb5で結果出力部14としてのブザーを鳴らす。ずれ量が許容範囲外であると判断されるときには、ブザーは鳴らさない。ずれが許容範囲内であるか否かをブザーで知らせた後、ステップb6で手順を終了する。
【0044】
図3は、図2(b)に示すような、カメラ取付角度の調整のための構成を示す。図3(a)に示すように、カメラ11はたとえば車室内のルームミラー20の取付部に取付けられる。車両の運転者からは、ルームミラー20の背後側になるので、フロントガラス21を通しての前方視界を妨げないように取付けることができる。カメラ11は、車両の前方をフロントガラス21を通して撮像する。図3(b)に側方から拡大して示すように、カメラ11は、ルームミラー20とともに、車両の天井部分22に支持具23で固定される。カメラ11は、支持具23の先端部分に、ねじ24で固定されるので、ねじ24を緩めた状態で、ほぼ鉛直な軸線まわりの変位が可能で、図1(a)の画像10内で基準点となる無限遠点18や最近点19の位置を左右に調整することができる。
【0045】
図4は、図3の構成で左右方向についてのカメラ11の取付位置を通知するための基本的な考え方を示す。ねじ24を緩めて調整可能な範囲25のうち、中心から若干のずれを含む許容範囲26内で、ブザーを鳴らすようにする。このようにすれば、ブザーが鳴る位置にカメラ11を固定し、調整を終了することができる。
【0046】
図4では、許容範囲26でブザーを鳴らすか、他の範囲でブザーを鳴らさないかの違いで通知を行っているけれども、許容範囲26でブザーの音量を大音量とし、許容範囲26外の調整範囲25でブザーの音量を小音量とするような2段階の変化で通知することもできる。また、音量の段階をより多くし、さらには連続的に変化するようにすることもできる。またブザー音を鳴らすのに交流信号を加え、あるいはブザーのかわりにスピーカを用いて、音響出力の周波数や音色で通知することもできる。2段階の変化は、高音と低音とで区別し、さらに多段階に音色を変えて通知させることもできる。
【0047】
図4に示すような許容範囲の音響出力による通知では、ブザーなどの発生間隔を変えて通知することもできる。たとえば許容範囲26内で、「ピッ、ピッ、ピッ」とし、許容範囲26外のとき「ピー、ピー、ピー」とするように変えて通知することができる。さらに多段階に変えることもできる。
【0048】
図5は、本発明の実施の他の形態での画像中の基準点を示す。なお、先行して説明してある部分と対応する部分には同一の参照符を付し、重複する説明を省略する。本実施形態では、図1(a)に示す画像10中での無限遠点18および最近点19の他に、先行車両28から検出される車両検出位置29も基準点として用いる。たとえば、車間距離確認区間などを通過しているときには、先行車両28の車間距離を確認することができるので、車間距離確認区間を通過後も一定の車間距離を保って走行し、先行車両28の画像の特定の位置、たとえば重心などを車両検出位置29として画面内で適切な位置となるように調整を行う。
【0049】
図5に示すような先行車両28を利用しての車両検出位置29の調整は、図6に示すようなカメラ31を用いて行う。カメラ31は、図3(b)に示すカメラ11と同様に、支持具23で、ルームミラー20の取付部などに取付けられる。カメラ31内には、CCDカメラ32が収納され、またCCDカメラ32の撮像方向をほぼ鉛直な軸線まわりに変位させるモータ33およびモータ33の回転駆動状態を制御するスイッチ34が設けられる。車両の運転者は、ブザーなどの結果出力部13の通知に従ってスイッチ34を操作し、調整を行うことができる。CCDカメラ32の撮像方向の一定の変化に対してモータ33の回転数が多くなるように設定しておけば、スイッチ34の手動操作で撮像方向の微調整を行うことができる。このようなカメラ31は、図1の実施形態でも、図3に示すカメラ11の代りに用いることもできる。なお、カメラ11にもCCDなどを備えるCCDカメラ32と同様なCCDカメラが内蔵される。
【0050】
図7は、本発明の実施のさらに他の形態のカメラ41の概略的な構成を示す。本実施形態でも、先行する各実施形態で説明した部分と対応する部分には同一の参照符を付し、重複する説明を省略する。また、カメラ41にも図6のCCDカメラ32と同様なCCDカメラが内蔵されるけれども、図示を省略する。本実施形態で、カメラ41の撮像方向をほぼ鉛直な軸線まわりに変位させるモータ33は、カメラ41が撮像する画像を処理する画像処理用マイコン42が自動的に制御する。図2のステップb3のようにずれ量を演算して求め、ずれ量が小さくなるようにモータ33を駆動する方向や変位量を制御する。
【0051】
図8は、本発明の実施のさらに他の形態として、複数のLEDを含むLED表示器50を図1の結果出力部14として用いる場合の構成を示す。LED表示器50は、3以上の複数、たとえば3つのLED51,52,53を一次元的に配列し、点灯LED位置でカメラ11,31,41の取付け位置を通知する状態を示す。たとえば3つのLED51,52,53のうちの中央のLED52が点灯すれば取付け状態に基づく基準点の位置は許容範囲内であることが判り、左側のLED51や右側のLED53のいずれかが点灯すれば、左または右へのずれ量が多いことが判る。
【0052】
なお、点灯するLED51,52,53で取付位置の概要を示し、点灯状態を点滅させて、その点滅間隔でずれ量の程度を通知させることもできる。たとえば、ずれ量が大きいときには遅いタイミングで点滅させ、ずれ量が小さくなると点滅のタイミングを速めて、適切な調整状態への移行が容易になるように通知を行うことができる。また、点滅に代えて、表示の明るさで通知することもできる。たとえば許容範囲内では、LED51,52,53を最大電力で点灯し、許容範囲外でLED51,52,53を最小電力で点灯するように制御する。
【0053】
図9は、本発明の実施のさらに他の形態として、複数のLEDを二次元的なマトリクス状に配置して構成されるLED表示器60を用いてカメラ11,31,41の取付け状態に対する通知を行う構成を示す。本実施形態では、複数のLED61,62,…,6nによって、バーグラフ状の表示を行う。図9(a)に示すように、許容範囲内にある場合には、たとえば左半分側のLEDが点灯し、右半分側のLEDは消灯するように表示する。図9(b)に示すように、許容範囲よりも左側に偏ると、点灯するLEDの領域も左側に寄る。図9(c)に示すように、許容範囲よりも右側に偏ると、消灯するLEDの領域も右側に寄る。
【0054】
図10は、本発明の実施のさらに他の形態として、カメラ11,31,41を利用して図5に示す車両検出位置29などに対する距離測定を行う際の距離表示用の7セグメントLED71,72を調整に利用する例を示す。7セグメントLED81,82は、たとえばカメラ11,31,41を対で用いて、先行車両との間の車間距離をステレオ測距法などで求め、求められた車間距離を通知するために設けられる。図10(a)に示すように、許容範囲内にあるときは、中央寄りのセグメントを点灯させて表示を行う。図10(b)または(c)に示すように、許容範囲内から左または右にずれているときは、外寄りの左側または右側のセグメントを点灯させて表示を行う。
【0055】
図11は、本発明の実施のさらに他の形態として、図9と同様なLED表示器60を用い、十字80の表示位置で通知する例を示す。LED表示器60では、通常、カメラ11,31,41を利用して図5に示す車両検出位置29などに対する距離測定を行う際の距離表示を、ドットで数字を形成して行う。図11(a)に示すように、ずれ量が許容範囲内にある場合は十字80を中央に表示する。図11(b),(c)に示すように、許容範囲より左または右にずれるときは、十字80を左側または右側に表示する。
【0056】
なお、図8〜図11に示すようにLEDを用いる視覚的な表示は、液晶表示素子(LCD)、蛍光表示管、陰極線管(CRT)など、他の表示器を用いて行うこともできる。また、表示器は、通常他の用途に使用し、調整時にずれ量の表示に使用することができる。また、視覚的な表示による通知は、図1の実施形態での音響的な通知の代りに用いることもできる。逆に、音響的な通知を、図5以下の実施形態でも視覚的な通知の代りに用いることもできる。
【0057】
【発明の効果】
以上のように本発明によれば、カメラの取付状態が許容範囲内にあるか否かの判定結果に従ってカメラの取付状態を調整すればよいので、映像信号増幅の出力回路や表示用の表示モニタなどを設ける必要がなく、簡単な構成でカメラの取付状態の調整を行うことができる。
【0058】
また、無限遠点を基準位置としてカメラの取付状態を調整するので、遠方の視野に対して適切な状態に取付状態の調整を行うことができる。
【0059】
また本発明によれば、カメラの取付状態の調整のためのずれ量は、無限遠点と最近点とを含むので、広い範囲に亘って適切な画像が得られるように取付状態の調整を行うことができる。
【0060】
また本発明によれば、基準点がカメラの視野内に設置される物体の画像上に設定されるので、物体との間の距離などに基づいて、適切な状態に調整された画像を撮像することができるようにカメラの取付状態を調整することができる。
【0061】
また本発明によれば、カメラの取付状態の調整は、モータによって駆動される機構を、操作部の手動操作で制御して行うので、手動で直接調整するときよりも微妙な調整などを行って、より適切な状態へ調整することができる。
【0062】
また本発明によれば、カメラの取付状態の調整を自動的に行うことができ、適切な取付状態に確実に設定することができる。
【0063】
また本発明によれば、基準点からのずれ量が許容範囲内にあるか否かの通知を、音響出力によって行うので、調整のための視覚による注意力をカメラの取付位置付近に集中することができる。
【0064】
また本発明によれば、基準位置からのずれ量が音量の変化に対応して通知されるので、適切な取付状態への調整を判りやすく行うことができる。
【0065】
また本発明によれば、ずれの量に対応する音響出力の音色の変化で通知が行われるので、適切な状態への調整を音色の一定の方向への変化に基づいて行うことができる。
【0066】
また本発明によれば、音響出力の音間隔の変化でずれの変化に対応させることができるので、音間隔の変化が一定の方向となるように調整して、適切な取付状態に調整することができる。
【0067】
また本発明によれば、基準点から許容範囲内にあるか否かの通知を視覚表示で行うので、調整すべき方向なども含めた情報を有効に表示して適切な取付状態への調整を行うことができる。
【0068】
また本発明によれば、視覚表示の位置がずれ量に対応して変化するので、視覚表示位置が所定の位置となるように調整して、適切な取付状態に設定することができる。
【0069】
また本発明によれば、視覚表示の点滅でずれ量に対応する表示を行うので、点滅が一定の方向に変化するように調整して、適切な取付状態に調整することができる。
【0070】
また本発明によれば、基準点からのずれ量に対応して視覚表示の面積が変化する表示が行われるので、バーグラフのような表示に従って取付状態を適切に調整することができる。
【0071】
また本発明によれば、視覚表示の明るさがずれ量に応じて変化するので、明るさが一定の方向に変化するように調整して、適切な取付状態に設定することができる。
【0072】
さらに本発明によれば、カメラが撮像する画像から対象物を認識し、基準点の位置を算出してカメラのずれ量を算出し、許容範囲内にあるか否かを判断して判断結果を通知するので、カメラの取付状態の調整のために映像信号を画像として表示する必要はなく、映像信号出力回路などを設ける必要がなくなるので、構成の簡略化とコスト低減とを図ることができる。また、無限遠点を基準位置としてカメラの取付状態を調整するので、遠方の視野に対して適切な状態に取付状態の調整を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態の画像処理装置12によって撮像される画像を示す図、および画像処理装置12の概略的な電気的構成を示すブロック図である。
【図2】図1の実施形態でカメラ11の取付け状態の調整を行う手順と、ずれ量が許容範囲内であるか否かの表示手順とを示すフローチャートである。
【図3】図1のカメラ11の取付角度調整のための構成を示す簡略化した正面図および側面図である。
【図4】図3で、左右方向についてのカメラ11の取付け位置を通知するための基本的な考え方を示す図である。
【図5】本発明の実施の他の形態で撮像される画像を示す図である。
【図6】図5の実施形態で用いられるカメラ31の電気的構成を示すブロック図である。
【図7】本発明の実施のさらに他の形態で用いられるカメラ41の電気的構成を示すブロック図である。
【図8】本発明の実施のさらに他の形態で用いられるLED表示器50の表示状態を示す図である。
【図9】本発明の実施のさらに他の形態で用いられるLED表示器60の表示状態を示す図である。
【図10】本発明の実施のさらに他の形態で用いられる7セグメントLED71,72の表示状態を示す図である。
【図11】本発明の実施のさらに他の形態で用いられるLED表示器60の表示状態を示す図である。
【図12】従来の車載用の画像処理装置2の電気的構成を示すブロック図である。
【符号の説明】
10 画像
11,31,41 カメラ
12 画像処理装置
13 画像処理部
14 結果出力部
15 画像処理に必要な部分
17 白線
18 無限遠点
19 最近点
20 ルームミラー
23 支持部
24 ねじ
26 許容範囲
29 車両検出位置
32 CCDカメラ
33 モータ
34 スイッチ
42 画像処理用マイコン
50,60 LED表示器
71、72 7セグメントLED
80 十字
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an on-vehicle camera mounting method and an image processing apparatus for mounting a camera on a vehicle.
[0002]
[Prior art]
Conventionally, a camera is mounted on a vehicle, and an image of a blind spot from the driver such as the rear of the vehicle is taken to assist driving. For example, it is described in JP-A-9-126756 and JP-A-9-126759. As shown, distance measurement by binocular stereopsis is performed with a pair of cameras.
[0003]
When the camera mounted on the vehicle is attached to the vehicle body, it is necessary to adjust the central axis of the camera to be in a predetermined direction. In such adjustment, conventionally, adjustment is performed while viewing an image based on the positional relationship between the center of the image and a predetermined direction, for example, using a video output signal for the image captured by the camera.
[0004]
FIG. 12 shows an electrical configuration for conventional in-vehicle image processing. The camera 1 includes an image pickup element such as a CCD and optical system parts such as a lens, and picks up an image within a predetermined field of view. A video output signal representing an image captured by the camera 1 is input to the image processing unit 3 of the image processing apparatus 2 including the camera 1. The image processing unit 3 performs arithmetic processing based on an image captured by the camera 1, for example, arithmetic processing for distance measurement by binocular stereopsis.
[0005]
The video output signal from the image processing unit 3 is amplified by the video output circuit unit 4 and displayed as an image on the display monitor 5. When the camera 1 is mounted at a predetermined position on the vehicle body, it is displayed as an image that is picked up according to the current mounting state to an operator who adjusts the mounting state of the camera 1.
[0006]
[Problems to be solved by the invention]
Adjustment at the time of mounting a conventional vehicle-mounted camera is performed while an operator looks at the monitor screen of the display monitor 5. For this reason, the video output circuit unit 4 for supplying the video output signal to the display monitor 5 is also required. The original purpose of mounting the camera 1 is to perform image processing by the image processing unit 3 and to support driving of the vehicle as a result. Therefore, the camera 1 and the image processing unit 3 are portions 6 necessary for image processing. However, since it is necessary to add the video output circuit 4 that is used only for adjustment, the cost is increased. In addition, since it is necessary for the operator to perform the attachment work while looking at the screen of the display monitor 5, it is not possible to perform sufficient observation on the imaging direction of the camera 1 and the vicinity of the attachment position.
[0007]
An object of the present invention is to provide an in-vehicle camera mounting method and an in-vehicle camera image processing apparatus capable of accurately adjusting with attachment to a vehicle body with a simple configuration.
[0008]
[Means for Solving the Problems]
  The present invention calculates a position of a reference point on an image by processing an image captured while the camera is mounted on a vehicle while capturing the image by the camera.
  Based on the calculated position of the reference point, determine whether the camera mounting state is within an allowable range,
  Notification of judgment resultsAnd
  The reference point is an infinite point calculated from the white line detection position when a white line drawn on the road surface is detected in the image.This is a mounting method for a vehicle-mounted camera.
[0009]
According to the present invention, when the camera is attached to the vehicle, the camera captures an image, the captured image is processed, and the position of the reference point on the image is calculated. Based on the calculated position of the reference point, it is determined whether or not the mounting state of the camera is within an allowable range, and the determination result is notified, so the image captured by the camera is not directly viewed on a display monitor or the like. However, according to the notification of the determination result, adjustment can be performed so that the mounting state of the camera is accurately directed in a predetermined imaging direction.
[0011]
  AlsoSince the infinity point where the white line drawn on the road surface in the image converges is selected as the reference point, if the white line is detected in the image, the infinity point can be easily detected to adjust the camera mounting state. Can be used as a reference position.
[0012]
In the present invention, the reference point includes a closest point which is a point closest to the white line in the image.
[0013]
According to the present invention, the reference point for adjusting the camera mounting state includes the closest point that is the point closest to the white line in the image, so that the mounting state of the camera is within the appropriate range. Can be adjusted.
[0014]
In the present invention, the reference point is set on an image of an object placed in the field of view of the camera.
[0015]
According to the present invention, since the reference point is set on the image of the object installed in the field of view of the camera, for example, a standard adjustment place is provided for adjustment or on a road where an inter-vehicle distance display is provided. Adjustment can be performed by capturing the vehicle in front of the vehicle and the camera can be adjusted to an appropriate mounting state.
[0016]
Further, in the present invention, the camera is provided with a mechanism for changing the mounting state by driving with a motor whose operation is controlled by manual operation of the operation unit,
According to the notification of the determination result, the motor drive state is controlled by manual operation of the operation unit so that the camera mounting state is within an allowable range.
[0017]
According to the present invention, the adjustment of the camera mounting state is performed by a mechanism that changes the mounting state by driving a motor whose operation is controlled by manual operation of the operation unit. Adjustments can be made easily.
[0018]
In the present invention, the camera is provided with a mechanism for changing the mounting state by driving with a motor.
According to the notification of the determination result, the motor driving state is automatically controlled so that the camera mounting state is within an allowable range.
[0019]
According to the present invention, the adjustment of the mounting state of the camera is performed by automatically controlling the driving state of the motor, so that the camera can be reliably adjusted to be in an optimal state.
[0020]
In the present invention, the determination result is notified by sound output.
[0021]
According to the present invention, since the determination result is notified by sound output, it is not necessary to look at the display monitor screen when adjusting the camera mounting state, and it is possible to adjust the mounting state only in the direction of the periphery of the camera and the field of view. it can.
[0022]
In the present invention, the notification is performed by a change in volume of the sound output corresponding to a deviation amount from the reference point position.
[0023]
According to the present invention, when the mounting state is adjusted, the amount of deviation from the reference position is notified as a change in sound output volume. Can be adjusted in the direction of decreasing.
[0024]
In the present invention, the notification is performed by a timbre change of the sound output corresponding to a deviation amount from the reference point.
[0025]
According to the present invention, the notification is performed by the timbre change of the sound output corresponding to the shift amount, so that the shift amount can be easily adjusted by associating the timbre with the shift amount.
[0026]
In the present invention, the notification is performed by a change in sound interval of the sound output corresponding to the amount of deviation from the reference point.
[0027]
According to the present invention, since the notification corresponding to the deviation amount from the reference point is performed by the change in the sound output sound interval, even if the tone color or volume of the sound output changes due to other factors, the deviation amount is surely detected. It can be notified whether or not it is within the allowable range.
[0028]
In the present invention, the determination result is notified by visual display.
[0029]
According to the present invention, since the determination result is notified by visual display, the determination result can be displayed as easily understandable information.
[0030]
In the present invention, the notification is performed by changing a visual display position in accordance with an amount of deviation from the reference position.
[0031]
According to the present invention, since the visual display position changes in accordance with the amount of deviation from the reference position, the amount of deviation is judged based on the visual display position, and the camera mounting state is adjusted so that the amount of deviation is small. can do.
[0032]
In the present invention, the notification is performed by blinking a visual display at a speed corresponding to the amount of deviation from the reference position.
[0033]
According to the present invention, since the visual display blinks at a speed corresponding to the amount of deviation from the reference position, the camera mounting state can be adjusted so that the amount of deviation decreases according to the blinking speed.
[0034]
In the present invention, the notification is performed by changing the area of the visual display in accordance with the amount of deviation from the reference position.
[0035]
According to the present invention, since the display area of the visual display changes according to the amount of deviation, the amount of deviation can be easily adjusted.
[0036]
In the present invention, the notification is performed by changing the visual display so that the brightness from the reference position changes.
[0037]
According to the present invention, since the brightness of the visual display changes in accordance with the amount of deviation from the reference point, the camera mounting state can be adjusted so that the amount of deviation is reduced based on the change in brightness. .
[0038]
  Furthermore, the present invention provides a recognition means for recognizing a predetermined object from among images captured by a camera,
  Calculation means for calculating a reference point position based on the image of the object recognized by the recognition means;
  Calculate the amount of deviation between the position of the reference point calculated by the calculation means and the position of the reference point in the image to be captured with the camera mounted on the vehicle, and whether the amount of deviation is within a predetermined tolerance A determination means for determining whether or not,
  Notification means for notifying the judgment result of the judgment means.See
  The reference point is an infinite point calculated from the white line detection position when a white line drawn on the road surface is detected in the image.This is an image processing apparatus for a vehicle-mounted camera.
[0039]
  According to the present invention, the predetermined object in the image captured by the camera is recognized by the recognition means. The calculating means calculates the position of the reference point based on the recognized image of the object, and based on the position of the reference point, a deviation from the position of the reference point in the image captured in a state where the camera is mounted on the vehicle. The amount is calculated and determined by the determining means whether it is within an acceptable range. Since the determination result is notified by the notification means, when trying to adjust the mounting state of the in-vehicle camera, an appropriate imaging state can be obtained by adjusting the amount of deviation to the reference position according to the notification. it can. Since it is not necessary to make an adjustment while displaying the captured image, it is not necessary to provide an output circuit for amplifying a video output signal representing the image, and the manufacturing cost of the image processing apparatus can be reduced.In addition, since the infinity point where the white line drawn on the road surface in the image converges is selected as the reference point, if the white line is detected in the image, the infinity point can be easily detected to adjust the camera mounting state. Can be used as a reference position for.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows the basic concept of an embodiment of the present invention. FIG. 1A shows the basic contents of an image 10 to be captured, and FIG. 1B shows a configuration for capturing the image 10. The image 10 is picked up by a camera 11 having an image pickup device such as a CCD. A video signal is output from the camera 11 that has captured the image 10, and is processed by the image processing unit 13 in the image processing apparatus 12 including the camera 11. In the present embodiment, the image processing apparatus 12 performs image processing for the purpose of attaching the camera 11 and also determines whether or not the attachment state is appropriate at the time of adjustment when attaching the camera 11 to the vehicle. The determination result of the image processing device 12 is output to a result output unit 14 such as a buzzer, a light emitting diode (hereinafter abbreviated as “LED”), a liquid crystal display element (LCD), etc. The judgment result is notified. The image processing apparatus 12 basically includes only a portion 15 necessary for image processing of the camera 11 and the image processing unit 13.
[0041]
In the image 10 captured by the camera 11, for example, a road surface 16 ahead in the traveling direction of the vehicle is captured. A white line 17 indicating a lane boundary is drawn on the road surface 16. On a flat and straight road surface 16, adjacent white lines 17 are parallel. Since the camera 11 captures the image 10 in accordance with the perspective projection method, the tips of the parallel white lines 17 converge so that they coincide at the infinity point 18. In addition, the closest point 19 can be easily identified as the point closest to the white line 17 in the field of view of the camera 11.
[0042]
FIG. 2 shows a procedure for attaching the camera 11 to the vehicle with the configuration of FIG. FIG. 2 (a) shows the overall attachment procedure. In step a1, the camera mounting direction is recognized. If the white line 17 is drawn on the road surface 16 as in the image 10 of FIG. 1A, the white line 17 is recognized, and the infinity point 18 on the extension and the closest point 19 are also recognized. In step a2, the attachment angle is adjusted so that the infinity point 18 and the nearest point 19 recognized in step a1 are in appropriate positions in the vertical direction of the image 10. In step a3, based on the notification of the camera mounting method, adjustment is performed so that the infinity point 18 and the nearest point 19 are in appropriate positions in the left-right direction of the image 10.
[0043]
FIG. 2B shows a notification procedure as to whether or not the camera is within an allowable range when adjusting the displacement of the camera at step a2 or step a3 in FIG. The procedure starts from step b1, and in step b2, the positions of reference points such as the infinite point 18 and the nearest point 19 are calculated. In step b3, a deviation amount between the original reference point position and the calculated reference point position is calculated. In step b4, it is determined whether or not the deviation amount is within an allowable range. When it is determined that the value is within the allowable range, a buzzer as the result output unit 14 is sounded in step b5. When it is determined that the deviation amount is outside the allowable range, the buzzer does not sound. After notifying with a buzzer whether or not the deviation is within the allowable range, the procedure is terminated at step b6.
[0044]
FIG. 3 shows a configuration for adjusting the camera mounting angle as shown in FIG. As shown to Fig.3 (a), the camera 11 is attached to the attaching part of the room mirror 20 in a vehicle interior, for example. Since it is behind the rearview mirror 20 from the driver of the vehicle, it can be attached so as not to obstruct the front view through the windshield 21. The camera 11 images the front of the vehicle through the windshield 21. As shown in an enlarged view from the side in FIG. 3 (b), the camera 11 is fixed to the ceiling portion 22 of the vehicle together with the rearview mirror 20 by a support 23. Since the camera 11 is fixed to the distal end portion of the support 23 with a screw 24, the camera 11 can be displaced around a substantially vertical axis with the screw 24 loosened, and is a reference in the image 10 of FIG. The positions of the point at infinity 18 and the nearest point 19 can be adjusted to the left and right.
[0045]
FIG. 4 shows a basic concept for notifying the mounting position of the camera 11 in the left-right direction in the configuration of FIG. The buzzer is sounded within an allowable range 26 including a slight deviation from the center in the adjustable range 25 by loosening the screw 24. In this way, the camera 11 can be fixed at the position where the buzzer sounds and the adjustment can be completed.
[0046]
In FIG. 4, the notification is made depending on whether the buzzer is sounded in the allowable range 26 or not in the other range, but the buzzer volume is increased in the allowable range 26 and adjustment outside the allowable range 26 is performed. Notification can also be made in two steps such that the volume of the buzzer is reduced in the range 25. In addition, the volume level can be increased and can be changed continuously. In addition, an AC signal can be added to generate a buzzer sound, or a speaker can be used instead of a buzzer to notify the sound output frequency and tone. Two-stage changes can be distinguished between high and low tones, and notification can be made by changing the timbre in multiple stages.
[0047]
In the notification by the sound output within the allowable range as shown in FIG. 4, it is also possible to notify by changing the generation interval of the buzzer or the like. For example, the notification can be changed to “Pip, Pip, Pip” within the permissible range 26 and changed to “Pie, Peep, Peep” when outside the permissible range 26. It can also be changed in multiple stages.
[0048]
FIG. 5 shows reference points in an image according to another embodiment of the present invention. Note that the same reference numerals are given to the portions corresponding to the portions described in advance, and the overlapping description is omitted. In this embodiment, in addition to the infinity point 18 and the nearest point 19 in the image 10 shown in FIG. 1A, a vehicle detection position 29 detected from the preceding vehicle 28 is also used as a reference point. For example, since the inter-vehicle distance of the preceding vehicle 28 can be confirmed when passing through an inter-vehicle distance confirmation section or the like, the vehicle travels with a constant inter-vehicle distance after passing through the inter-vehicle distance confirmation section. A specific position of the image, for example, the center of gravity is adjusted as a vehicle detection position 29 so as to be an appropriate position on the screen.
[0049]
Adjustment of the vehicle detection position 29 using the preceding vehicle 28 as shown in FIG. 5 is performed using a camera 31 as shown in FIG. Similarly to the camera 11 shown in FIG. 3B, the camera 31 is attached to the attachment portion of the rearview mirror 20 with the support 23. A CCD camera 32 is housed in the camera 31, and a motor 33 that displaces the imaging direction of the CCD camera 32 around a substantially vertical axis and a switch 34 that controls the rotational driving state of the motor 33 are provided. The driver of the vehicle can perform adjustment by operating the switch 34 in accordance with a notification from the result output unit 13 such as a buzzer. If it is set so that the number of rotations of the motor 33 increases with respect to a fixed change in the imaging direction of the CCD camera 32, fine adjustment of the imaging direction can be performed by manual operation of the switch 34. Such a camera 31 can also be used in the embodiment of FIG. 1 instead of the camera 11 shown in FIG. The camera 11 also has a built-in CCD camera similar to the CCD camera 32 having a CCD or the like.
[0050]
FIG. 7 shows a schematic configuration of a camera 41 according to still another embodiment of the present invention. Also in this embodiment, the same reference numerals are given to the portions corresponding to the portions described in the preceding embodiments, and the overlapping description is omitted. The camera 41 also includes a CCD camera similar to the CCD camera 32 shown in FIG. In the present embodiment, the motor 33 that displaces the imaging direction of the camera 41 around a substantially vertical axis is automatically controlled by the image processing microcomputer 42 that processes the image captured by the camera 41. As shown in step b3 of FIG. 2, the amount of deviation is calculated and obtained, and the direction in which the motor 33 is driven and the amount of displacement are controlled so as to reduce the amount of deviation.
[0051]
FIG. 8 shows a configuration when an LED display 50 including a plurality of LEDs is used as the result output unit 14 of FIG. 1 as still another embodiment of the present invention. The LED display 50 indicates a state in which three or more, for example, three LEDs 51, 52, 53 are arranged one-dimensionally and the mounting positions of the cameras 11, 31, 41 are notified at the lighting LED positions. For example, if the central LED 52 of the three LEDs 51, 52, 53 is lit, it can be seen that the position of the reference point based on the mounting state is within the allowable range, and if either the left LED 51 or the right LED 53 is lit. It can be seen that the amount of deviation to the left or right is large.
[0052]
It is also possible to indicate the outline of the mounting position by the LEDs 51, 52, and 53 that are lit, blink the lighting state, and notify the degree of deviation at the blinking interval. For example, when the deviation amount is large, the flashing can be performed at a late timing, and when the deviation amount is small, the blinking timing can be accelerated so that the notification can be made so as to facilitate the transition to an appropriate adjustment state. Moreover, it can also notify by the brightness of a display instead of blinking. For example, control is performed so that the LEDs 51, 52, and 53 are lit at the maximum power within the allowable range, and the LEDs 51, 52, and 53 are lit at the minimum power outside the allowable range.
[0053]
FIG. 9 shows, as still another embodiment of the present invention, notification of the mounting state of the cameras 11, 31, 41 using an LED display 60 configured by arranging a plurality of LEDs in a two-dimensional matrix. The structure which performs is shown. In the present embodiment, a bar graph-like display is performed by the plurality of LEDs 61, 62,. As shown in FIG. 9 (a), when it is within the allowable range, for example, the left half LED is turned on and the right half LED is turned off. As shown in FIG. 9 (b), if it deviates to the left side from the allowable range, the area of the LED to be lit also moves to the left side. As shown in FIG. 9C, when the LED is shifted to the right side of the allowable range, the area of the LED to be turned off is also shifted to the right side.
[0054]
FIG. 10 shows, as still another embodiment of the present invention, 7-segment LEDs 71 and 72 for distance display when distances are measured with respect to the vehicle detection position 29 shown in FIG. 5 using the cameras 11, 31 and 41. An example of using for adjustment is shown. The 7-segment LEDs 81 and 82 are provided, for example, by using the cameras 11, 31, and 41 in pairs to determine the inter-vehicle distance from the preceding vehicle by a stereo ranging method or the like, and notifying the calculated inter-vehicle distance. As shown in FIG. 10 (a), when it is within the allowable range, the segment closer to the center is turned on for display. As shown in FIG. 10 (b) or (c), when the left or right side deviates from the permissible range, the left or right segment on the outside is turned on for display.
[0055]
FIG. 11 shows an example of notification at the display position of the cross 80 using the LED display 60 similar to FIG. 9 as still another embodiment of the present invention. In the LED display 60, the distance display when performing distance measurement with respect to the vehicle detection position 29 shown in FIG. 5 or the like using the cameras 11, 31, and 41 is usually performed by forming numbers with dots. As shown in FIG. 11A, when the amount of deviation is within the allowable range, a cross 80 is displayed at the center. As shown in FIGS. 11B and 11C, when the position deviates to the left or right from the allowable range, the cross 80 is displayed on the left or right side.
[0056]
In addition, as shown in FIGS. 8-11, the visual display using LED can also be performed using other displays, such as a liquid crystal display element (LCD), a fluorescent display tube, and a cathode ray tube (CRT). In addition, the display is usually used for other purposes and can be used for displaying the amount of deviation during adjustment. Further, the notification by visual display can be used instead of the acoustic notification in the embodiment of FIG. Conversely, acoustic notification can also be used in place of visual notification in the embodiments of FIG.
[0057]
【The invention's effect】
As described above, according to the present invention, it is only necessary to adjust the camera mounting state in accordance with the determination result of whether or not the camera mounting state is within the allowable range, so that the video signal amplification output circuit and the display monitor for display are used. It is not necessary to provide a camera or the like, and the camera mounting state can be adjusted with a simple configuration.
[0058]
  AlsoSince the camera mounting state is adjusted with the infinity point as the reference position, the mounting state can be adjusted to an appropriate state with respect to the far field of view.
[0059]
Further, according to the present invention, since the shift amount for adjusting the camera mounting state includes the infinity point and the nearest point, the mounting state is adjusted so that an appropriate image can be obtained over a wide range. be able to.
[0060]
According to the present invention, since the reference point is set on the image of the object installed in the field of view of the camera, an image adjusted to an appropriate state is captured based on the distance to the object. The mounting state of the camera can be adjusted so that it can be performed.
[0061]
Further, according to the present invention, the adjustment of the camera mounting state is performed by controlling the mechanism driven by the motor by manual operation of the operation unit. Can be adjusted to a more appropriate state.
[0062]
Further, according to the present invention, the mounting state of the camera can be automatically adjusted, and the appropriate mounting state can be reliably set.
[0063]
In addition, according to the present invention, the notification of whether or not the deviation from the reference point is within the allowable range is made by sound output, so that the visual attention for adjustment is concentrated near the camera mounting position. Can do.
[0064]
In addition, according to the present invention, since the amount of deviation from the reference position is notified in response to the change in volume, adjustment to an appropriate mounting state can be easily performed.
[0065]
Further, according to the present invention, the notification is performed by the change in the timbre of the sound output corresponding to the amount of deviation, so that the adjustment to an appropriate state can be performed based on the change in the timbre in a certain direction.
[0066]
Further, according to the present invention, the change in the sound interval of the sound output can correspond to the change in the deviation, so that the change in the sound interval is adjusted to be in a certain direction and adjusted to an appropriate mounting state. Can do.
[0067]
In addition, according to the present invention, since the notification whether or not it is within the allowable range from the reference point is made by visual display, information including the direction to be adjusted is effectively displayed to adjust to an appropriate mounting state. It can be carried out.
[0068]
Further, according to the present invention, since the position of the visual display changes corresponding to the shift amount, the visual display position can be adjusted to be a predetermined position and set to an appropriate mounting state.
[0069]
Further, according to the present invention, since the display corresponding to the shift amount is performed by the blinking of the visual display, it is possible to adjust the blinking to change in a certain direction so as to be adjusted to an appropriate mounting state.
[0070]
In addition, according to the present invention, since the display in which the area of the visual display changes corresponding to the amount of deviation from the reference point is performed, the mounting state can be appropriately adjusted according to the display like a bar graph.
[0071]
In addition, according to the present invention, the brightness of the visual display changes according to the shift amount, so that the brightness can be adjusted so as to change in a certain direction and set in an appropriate mounting state.
[0072]
  Furthermore, according to the present invention, the object is recognized from the image captured by the camera, the position of the reference point is calculated, the amount of camera deviation is calculated, and whether or not it is within the allowable range is determined. Since the notification is made, it is not necessary to display a video signal as an image for adjusting the mounting state of the camera, and it is not necessary to provide a video signal output circuit or the like, so that the configuration can be simplified and the cost can be reduced.Further, since the camera mounting state is adjusted with the infinity point as a reference position, the mounting state can be adjusted to an appropriate state with respect to a far field of view.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an image captured by an image processing apparatus 12 according to an embodiment of the present invention, and a block diagram illustrating a schematic electrical configuration of the image processing apparatus 12. FIG.
FIG. 2 is a flowchart showing a procedure for adjusting the mounting state of the camera 11 in the embodiment of FIG. 1 and a display procedure for determining whether or not the amount of deviation is within an allowable range;
FIGS. 3A and 3B are a simplified front view and side view showing a configuration for adjusting the mounting angle of the camera of FIG.
FIG. 4 is a diagram illustrating a basic concept for notifying the mounting position of the camera 11 in the left-right direction in FIG. 3;
FIG. 5 is a diagram showing an image captured in another embodiment of the present invention.
6 is a block diagram showing an electrical configuration of a camera 31 used in the embodiment of FIG.
FIG. 7 is a block diagram showing an electrical configuration of a camera 41 used in still another embodiment of the present invention.
FIG. 8 is a diagram showing a display state of an LED display 50 used in still another embodiment of the present invention.
FIG. 9 is a diagram showing a display state of an LED display 60 used in still another embodiment of the present invention.
FIG. 10 is a diagram showing a display state of 7-segment LEDs 71 and 72 used in still another embodiment of the present invention.
FIG. 11 is a diagram showing a display state of an LED display 60 used in still another embodiment of the present invention.
FIG. 12 is a block diagram showing an electrical configuration of a conventional in-vehicle image processing apparatus 2;
[Explanation of symbols]
10 images
11, 31, 41 Camera
12 Image processing device
13 Image processing unit
14 Result output section
15 Parts required for image processing
17 White line
18 Infinity point
19 Recent Points
20 room mirror
23 Support part
24 screws
26 Tolerance
29 Vehicle detection position
32 CCD camera
33 Motor
34 switch
42 Microcomputer for image processing
50, 60 LED display
71, 72 7 segment LED
80 cross

Claims (15)

カメラを車両に取付ける際に、カメラによって撮像しながら、撮像される画像を処理して、画像上の基準点の位置を算出し、
算出された基準点の位置に基づいて、カメラの取付け状態が許容範囲内にあるか否かを判定し、
判定結果を通知し、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの取付方法。
When the camera is attached to the vehicle, the captured image is processed while being imaged by the camera, the position of the reference point on the image is calculated,
Based on the calculated position of the reference point, determine whether the camera mounting state is within an allowable range,
Notify the judgment result ,
The reference point is, when the white line drawn on the road surface in the image is detected, the method of mounting the vehicle-mounted type of camera according to claim infinity point der Rukoto calculated from the white line detection position.
前記基準点として、前記画像内で前記白線の最も手前側に位置する点である最近点も含むことを特徴とする請求項記載の車載用カメラの取付方法。As the reference point, the method of mounting the vehicle-mounted camera according to claim 1, characterized in that it also comprises closest point is the point that most located on the front side of the white line in the image. 前記基準点は、カメラの視野内に設置される物体の画像上に設定されることを特徴とする請求項1または2記載の車載用カメラの取付方法。The reference point, the method of mounting the vehicle-mounted camera according to claim 1 or 2, wherein the set on an image of the object to be placed within the camera field of view. 前記カメラには、操作部の手動操作によりその動作が制御されるモータによる駆動で取付状態を変更する機構が設けられ、前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、前記操作部の手動操作でモータの駆動状態を制御することを特徴とする請求項1〜のいずれかに記載の車載用カメラの取付方法。The camera is provided with a mechanism for changing the mounting state by driving with a motor whose operation is controlled by manual operation of the operation unit so that the camera mounting state is within an allowable range in accordance with the notification of the determination result. , mounting method of the vehicle-mounted type of camera according to any one of claims 1 to 3, characterized in that to control the driving state of the motor by manual operation of the operation unit. 前記カメラには、取付状態をモータによる駆動で変更する機構が設けられ、
前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、モータの駆動状態を自動的に制御することを特徴とする請求項1〜のいずれかに記載の車載用カメラの取付方法。
The camera is provided with a mechanism for changing the mounting state by driving with a motor,
According to the notification of the determination result, so that the mounting condition of the camera is within the allowable range, the vehicle camera according to any one of claims 1 to 3, characterized in that automatically controlling the driving state of the motor Mounting method.
前記判定結果の通知は、音響出力で行うことを特徴とする請求項1〜のいずれかに記載の車載用カメラの取付方法。The determination result notification, the method of mounting the vehicle-mounted camera according to any one of claims 1 to 5, characterized in that an acoustic output. 前記通知は、前記基準点位置からのずれ量に対応する前記音響出力の音量の変化で行うことを特徴とする請求項記載の車載用カメラの取付方法。The in-vehicle camera mounting method according to claim 6 , wherein the notification is performed by a change in sound volume of the sound output corresponding to a deviation amount from the reference point position. 前記通知は、前記基準点からのずれ量に対応する前記音響出力の音色変化で行うことを特徴とする請求項記載の車載用カメラの取付方法。The in-vehicle camera mounting method according to claim 6 , wherein the notification is performed by a timbre change of the sound output corresponding to a deviation amount from the reference point. 前記通知は、前記基準点からのずれ量に対応する前記音響出力の音間隔変化で行うことを特徴とする請求項記載の車載用カメラの取付方法。The in-vehicle camera mounting method according to claim 6 , wherein the notification is performed by a change in a sound interval of the sound output corresponding to an amount of deviation from the reference point. 前記判定結果の通知は、視覚表示で行うことを特徴とする請求項1〜のいずれかに記載の車載用カメラの取付方法。The determination result notification, the method of mounting the vehicle-mounted camera according to any one of claims 1 to 5, characterized in that the visual display. 前記通知は、前記基準位置からのずれ量に対応して、視覚表示位置を変化させて行うことを特徴とする請求項10記載の車載用カメラの取付方法。The in-vehicle camera mounting method according to claim 10 , wherein the notification is performed by changing a visual display position in accordance with an amount of deviation from the reference position. 前記通知は、前記基準位置からのずれ量に対応する速度で、視覚表示を点滅させて行うことを特徴とする請求項10記載の車載用カメラの取付方法。The in-vehicle camera mounting method according to claim 10 , wherein the notification is performed by blinking a visual display at a speed corresponding to an amount of deviation from the reference position. 前記通知は、前記基準位置からのずれ量に対応して、視覚表示の面積を変化させて行うことを特徴とする請求項10記載の車載用カメラの取付方法。The method for mounting a vehicle-mounted camera according to claim 10 , wherein the notification is performed by changing an area of visual display corresponding to an amount of deviation from the reference position. 前記通知は、前記基準位置からの明るさが変化するように視覚表示を変化させて行うことを特徴とする請求項10記載の車載用カメラの取付方法。The in-vehicle camera mounting method according to claim 10 , wherein the notification is performed by changing a visual display so that brightness from the reference position changes. カメラによって撮像される画像中から、予め定められる対象物を認識する認識手段と、
認識手段によって認識される対象物の画像に基づいて、基準点位置を算出する算出手段と、
算出手段によって算出される基準点の位置と、カメラが車両に搭載される状態で撮像すべき画像中の基準点の位置とのずれ量を算出し、ずれ量が予め定める許容範囲内にあるか否かを判断する判断手段と、
判断手段の判断結果を通知する通知手段とを含み、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの画像処理装置。
Recognizing means for recognizing a predetermined object from an image captured by the camera;
Calculation means for calculating a reference point position based on the image of the object recognized by the recognition means;
Calculate the amount of deviation between the position of the reference point calculated by the calculation means and the position of the reference point in the image to be captured with the camera mounted on the vehicle, and whether the amount of deviation is within a predetermined tolerance A determination means for determining whether or not,
And notification means for notifying the result of the determination of the determination means only including,
The image processing apparatus for an in-vehicle camera, wherein the reference point is an infinite point calculated from a white line detection position when a white line drawn on a road surface is detected in an image.
JP31800898A 1998-11-09 1998-11-09 On-vehicle camera mounting method and image processing apparatus Expired - Fee Related JP4234240B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31800898A JP4234240B2 (en) 1998-11-09 1998-11-09 On-vehicle camera mounting method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31800898A JP4234240B2 (en) 1998-11-09 1998-11-09 On-vehicle camera mounting method and image processing apparatus

Publications (2)

Publication Number Publication Date
JP2000142221A JP2000142221A (en) 2000-05-23
JP4234240B2 true JP4234240B2 (en) 2009-03-04

Family

ID=18094467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31800898A Expired - Fee Related JP4234240B2 (en) 1998-11-09 1998-11-09 On-vehicle camera mounting method and image processing apparatus

Country Status (1)

Country Link
JP (1) JP4234240B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422627B1 (en) * 2001-04-10 2004-03-12 현대자동차주식회사 Calibration method of active safety system using Camera, and error detection method of the system
JP3905410B2 (en) * 2002-04-12 2007-04-18 富士重工業株式会社 Vehicle driving support device
JP2004198159A (en) * 2002-12-17 2004-07-15 Nissan Motor Co Ltd Measuring device for axis misalignment of on-vehicle sensor
US7978122B2 (en) * 2009-08-13 2011-07-12 Tk Holdings Inc. Object sensing system
KR101283586B1 (en) * 2011-04-15 2013-07-05 재단법인대구경북과학기술원 Portable apparatus for determining driving condition of automobile and method thereof
KR101418726B1 (en) 2013-08-13 2014-07-11 삼보모터스주식회사 Apparatus and method for setting a photographing range using laser pointer in vehicle type video blackbox
KR101418725B1 (en) 2013-08-13 2014-07-11 삼보모터스주식회사 Apparatus and method for setting a photographing range in vehicle type video blackbox
CN110539695B (en) * 2019-08-14 2022-12-09 东风商用车有限公司 Vehicle-mounted information display screen driving auxiliary video display system and method
CN114120560A (en) * 2021-11-05 2022-03-01 武汉市工程科学技术研究院 Security protection supervisory equipment
CN114194115B (en) * 2021-12-22 2024-03-15 数源科技股份有限公司 Method for installing vision blind area camera device

Also Published As

Publication number Publication date
JP2000142221A (en) 2000-05-23

Similar Documents

Publication Publication Date Title
US10525885B2 (en) Vehicle rear monitoring system
US6587760B2 (en) Motor vehicle parking support unit and method thereof
JP4234240B2 (en) On-vehicle camera mounting method and image processing apparatus
JP2018157403A (en) On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device
US20120002050A1 (en) Image display system
EP1452390A2 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
WO2011090163A1 (en) Parameter determination device, parameter determination system, parameter determination method, and recording medium
JP2008094221A (en) Eye state detector, and eye state detector mounting method
JP5329582B2 (en) Vehicle periphery monitoring device
CN110901531B (en) Rear display device, rear display method, and recording medium
JP2011216979A (en) Image generation apparatus, image display system, and image generation method
JP2021155033A (en) Viewing system for a vehicle and method of switching between image areas displayed by the viewing system
JP4731177B2 (en) Infrared imaging display device and infrared imaging display method for vehicle
JP2013119268A (en) Vehicular display system
JP2014010775A (en) Notification device for vehicle
JPH10322687A (en) Vehicle rear monitor device
JP4520661B2 (en) Vehicle periphery monitoring device
JP4720979B2 (en) Vehicle monitoring device
JP2006264574A (en) Car-mounted camera and car-mounted camera system
JP2014010773A (en) Display device for vehicle
JPH0475560B2 (en)
JP4026471B2 (en) Vehicle visual equipment adjustment device
JP2004082918A (en) Vehicular noctovision and rearview mirror
JP2010208372A (en) Brightness adjusting device
JP2022068233A (en) Support system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081211

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees