JP6260424B2 - 車載カメラの取り付け誤差検出装置 - Google Patents

車載カメラの取り付け誤差検出装置 Download PDF

Info

Publication number
JP6260424B2
JP6260424B2 JP2014084509A JP2014084509A JP6260424B2 JP 6260424 B2 JP6260424 B2 JP 6260424B2 JP 2014084509 A JP2014084509 A JP 2014084509A JP 2014084509 A JP2014084509 A JP 2014084509A JP 6260424 B2 JP6260424 B2 JP 6260424B2
Authority
JP
Japan
Prior art keywords
vehicle
vehicle camera
feature point
mounting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014084509A
Other languages
English (en)
Other versions
JP2015202835A (ja
JP2015202835A5 (ja
Inventor
丙辰 王
丙辰 王
真和 竹市
真和 竹市
宗昭 松本
宗昭 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2014084509A priority Critical patent/JP6260424B2/ja
Priority to PCT/JP2015/001678 priority patent/WO2015159489A1/ja
Priority to US15/128,817 priority patent/US10235772B2/en
Publication of JP2015202835A publication Critical patent/JP2015202835A/ja
Publication of JP2015202835A5 publication Critical patent/JP2015202835A5/ja
Application granted granted Critical
Publication of JP6260424B2 publication Critical patent/JP6260424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402Image calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、車載カメラの位置が適切な位置であるか否かを判定するのに好適な車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置に関する。
従来、車載カメラによる車両周囲の撮像画像の中から、車両の左右のフェンダーに設けられた2つのマーカーを検出し、各マーカーが予め設定された特定位置となるように、撮像画像中の有効領域を設定する技術が知られている(例えば、特許文献1参照)。
特開2001−233139号公報
ところで、特許文献1に記載の技術では、取り付け位置が既知のマーカーを利用して車載カメラの取り付け位置のずれを検出することから、マーカーの配置制約上、どのような車載カメラにも適用できるものではない。
本発明は、こうした問題に鑑みなされたものであり、車両に設けたマーカーを用いることなく、車載カメラの取り付け位置が適切な位置であるか否かを判定可能な、車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置を提供することを目的とする。
かかる目的を達成するためになされた本発明の車載カメラの取り付け誤差表示制御装置は、車載カメラによる撮像画像を受け取る入力部と、車載カメラが適切な位置に取り付けられたときに車載カメラによる撮像画像に映り込む車両の特徴点の位置情報を記憶する記憶手段とを備える。
そして、特徴点重畳手段が、記憶手段に記憶された位置情報に基づき、入力部から入力される撮像画像に、特徴点に基づく画像を重畳し、画像出力手段が、その特徴点に基づく画像が重畳された撮像画像を、表示装置に出力する。
このため、本発明の車載カメラの取り付け誤差表示制御装置によれば、使用者は、画像出力手段からの出力画像を表示装置に表示させて、その表示画面を確認することで、車載カメラの取り付け位置が、適切な位置からずれているか否か(換言すれば、取り付け誤差があるか否か)、または適切な位置からどの程度ずれているのかを簡単に判断することができる。
また、本発明の車載カメラの取り付け誤差表示制御装置によれば、車体にマーカーを設けることなく、車載カメラが適切な位置に取り付けられているか否かを判定できるので、車載カメラを、マーカーを撮像可能な位置に配置する必要がなく、どのような車載カメラにも適用できる。
次に、本発明の車載カメラの取り付け誤差検出装置においては、上記取り付け誤差表示制御装置と同様、入力部と、記憶手段と、を備える。
そして、特徴点検出手段が、入力部から入力される撮像画像の中から、車両の特徴点を検出し、判定手段が、その検出された撮像画像中の特徴点の位置と、記憶手段に記憶された位置情報とに基づき、車載カメラの取り付け位置が適切な位置であるか否かを判定する。また、判定手段にて、車載カメラの取り付け位置が適切な位置ではないと判定されると、報知手段が、車載カメラの取り付け不良を報知する。
このため、本発明の車載カメラの取り付け誤差検出装置によれば、車載カメラの取り付け位置が適切な位置にあるか否かを自動で判断して、車載カメラの取り付け位置が適切な位置からずれている場合には、その旨を使用者に通知することができる。
また、本発明の車載カメラの取り付け誤差検出装置によれば、車体に設けられたマーカーを利用することなく、車載カメラの取り付け位置が適切な位置にあるか否か(換言すれば取り付け誤差)を検出できるので、どのような車載カメラにも適用できる。
第1実施形態の画像処理システムの構成を表すブロック図である。 車両への車載カメラの取り付け位置を表す説明図である。 画像処理装置にて実行される初期設定処理を表すフローチャートである。 画像処理装置にて実行される画像表示処理を表すフローチャートである。 撮像画像表示処理による表示装置の表示画面を説明する説明図である。 第2実施形態の取り付け誤差判定処理を表すフローチャートである。 第3実施形態の取り付け誤差判定処理を表すフローチャートである。 第4実施形態の取り付け誤差判定処理を表すフローチャートである。 第5実施形態の取り付け誤差判定処理を表すフローチャートである。
以下、本発明が適用された実施形態について図面を用いて説明する。
なお、本発明は、下記の実施形態によって何ら限定して解釈されない。また、下記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、下記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
[第1実施形態]
図1に示すように、本実施形態の画像処理システムは、車載カメラ10と画像処理装置20と表示装置30とを備える。
車載カメラ10は、CCDやCMOS等の撮像素子を有するカメラであり、例えば、図2に示すように車両2の後方上部に設置されて、車両2の後方周辺を撮影する。
そして、車載カメラ10は、車両後方の撮像画像を、所定頻度(例えば、1秒間に60フレーム。)で画像処理装置20へ出力する。
なお、本実施形態では、車載カメラ10は、車両2の特徴点として、車両後方のバンパー4が撮像画像中に映り込むよう、車両2に取り付けられる。
次に、表示装置30は、液晶ディスプレイや有機ELディスプレイ等にて構成されており、車載カメラ10による撮像画像に基づいて画像処理装置20で処理された画像を表示する。
また、画像処理装置20は、本発明の車載カメラの取り付け誤差表示制御装置に相当するものであり、入力部22、操作部24、記憶部26、及び、制御部28を備える。
入力部22は、DRAM等の記憶デバイスからなり、車載カメラ10より逐次出力される撮影画像を取り込み、所定時間分(例えば、過去10秒分)記憶する。
操作部24は、運転者等の使用者が制御部28に対し各種操作指示を入力するためのものであり、表示装置30の表示面に設けられたタッチパネルや、表示装置30の周囲等に設置されたメカニカルなキースイッチ等にて構成される。
記憶部26は、フラッシュメモリ等の不揮発性の記憶デバイスからなり、制御部28が実行するプログラムや、車載カメラ10による撮像画像を処理するのに必要なデータを記憶するためのデバイスである。
そして、特に、本実施形態では、記憶部26には、車載カメラ10による撮像画像を表示装置30への表示画像に変換するのに必要な変換データに加えて、車載カメラ10の位置情報、撮像画像の中から車両の特徴点(本実施形態ではバンパー4)を検出するための特徴点情報、車載カメラ10が適正な位置にあるときの撮像画像中の特徴点の位置を表す基準位置情報、等が記憶される。
なお、車載カメラ10の位置情報は、例えば、車載カメラ10を適正な位置に設置してキャリブレーションを行ったときの車載カメラ10の位置を表す情報であり、車体の前後・左右・上下方向の軸上での位置(つまり、x、y、z座標)、及び、これら各軸周りの傾き(ロール、ピッチ、ヨー)を表す情報にて構成される。
また、特徴点情報は、車載カメラ10による撮像画像の中から、車体の特徴点であるバンパー4を認識するのに必要な形状データであり、特徴点の基準位置情報は、撮像画像中のバンパー4の位置(例えば中心位置)を表す座標情報である。
次に、制御部28は、CPU、RAM、ROM及びI/O等からなるマイコンにて構成されている。
そして、制御部28は、車両2に車載カメラ10が取り付けられて、外部からの指令に従い車載カメラ10のキャリブレーションを行う際には、図3に示す初期設定処理を実行し、外部からの指令に従い車載カメラ10による撮像画像を表示装置30に表示させる際には、図4に示す画像表示処理を実行する。以下、これら各処理について説明する。
図3に示す初期設定処理は、工場等で車載カメラ10が適正な位置に取り付けられた際に、車載カメラ10のキャリブレーションを行うために実行される処理であり、処理が開始されると、S110(Sはステップを表す)にて周知のキャリブレーション処理を行う。
そして、続くS120では、キャリブレーション処理によるキャリブレーションが成功したか否かを判断し、キャリブレーションが成功していれば(キャリブレ成功)、S130に移行する。また、キャリブレーションが成功していなければ、再度S110に移行して、キャリブレーション処理を継続する。
なお、S110のキャリブレーション処理では、キャリブレーション結果(例えば、車載カメラ10による撮像画像を表示装置30への表示画像(例えば鳥瞰画像)に変換するのに要する変換データ)に加えて、キャリブレーションを行った際の車載カメラ10の位置情報も記憶される。
次に、S130では、入力部22から車載カメラ10による撮像画像を取り込み、記憶部26に予め記憶されている形状データに基づき、撮像画像中の車両2の特徴点であるバンパー4を検出する。
そして、続くS140では、S130にて検出した特徴点(バンパー4)の撮像画像上での位置を、特徴点の基準位置情報として記憶部26に記憶し、当該初期設定処理を終了する。
次に、図4に示す画像表示処理は、車載カメラ10による撮像画像を、上述したキャリブレーションにより得られた変換データに基づき、車載カメラ10による撮像画像を表示用画像データに変換して、表示装置30に出力することで、表示装置30に画像(例えば鳥瞰画像)を表示させるための処理である。
この画像表示処理では、まず、S210にて、記憶部26から特徴点(バンパー4)の基準位置情報を読み出す。
次に、S220では、S210にて読み出した特徴点(バンパー4)の基準位置情報に基づき、入力部22から取得した撮像画像に、特徴点(バンパー4)の基準位置を表す画像(例えば、図5に一点鎖線で示す図柄)を重畳する。尚、本実施形態では「特徴点に基づく画像」として特徴点の基準位置を表す一点鎖線を例に挙げたが、本発明はこれに限定されるものではなく、例えばバンパーの基準位置を中心とした所定の幅を示す画像を「特徴点に基づく画像」として重畳表示させるようにしてもよい。
そして、S230では、S220にて特徴点(バンパー4)の基準位置を表す画像を重畳した撮像画像を、記憶部26に記憶された変換データに基づき、表示用画像データに変換し、表示装置30に出力する。
この結果、表示装置30には、図5に実線で示すように特徴点であるバンパー4が映り込んだ撮像画像と共に、車載カメラ10が適正な位置に取り付けられているときの特徴点の位置を表す画像が表示されることになる。
このため、使用者は、表示装置30への表示画像から、車載カメラ10の取り付け位置が適切な位置であるか否かを簡単に判断することができる。
[第2実施形態]
第2実施形態の画像処理システムは、図1に示した第1実施形態の画像処理システムと同様、車載カメラ10と画像処理装置20と表示装置30とを備える。
そして、第1実施形態の画像処理システムと異なる点は、画像処理装置20において、制御部28が、図6の取り付け誤差判定処理を実行することで、本発明の車載カメラの取り付け誤差検出装置として機能する点である。
そこで、本実施形態では、装置構成等の説明は省略し、図6の取り付け誤差判定処理について説明する。
なお、本実施形態において、制御部28は、第1実施形態と同様、図3に示す初期設定処理を実行する。また、図4に示した画像表示処理については、第1実施形態と同様に実行するようにしてもよく、単に、S210、S230の処理を実行することで、車載カメラ10による撮像画像だけを表示装置30に表示させるようにしてもよい。
図6に示す取り付け誤差判定処理は、例えば、車両2のイグニッションスイッチがオンされ、画像処理装置20が起動したときに実行される処理である。
この取り付け誤差判定処理では、まずS310にて、入力部22から車載カメラ10による撮像画像を取り込み、記憶部26に予め記憶されている形状データに基づき、撮像画像中の車両2の特徴点であるバンパー4を検出する。
次に、S320では、記憶部26から特徴点(バンパー4)の基準位置情報を読み出し、続くS330では、S310にて検出した特徴点(バンパー4)の撮像画像中での位置は、S320で読み出した基準位置情報から得られる基準位置と一致しているか否かを判断する。
なお、S330では、撮像画像中での特徴点の位置が、基準位置情報から得られる基準位置を中心とする許容範囲内にあれば、特徴点の位置が基準位置と一致していると判定する。
そして、S330にて、特徴点(バンパー4)の位置は基準位置と一致していると判断されると、当該取り付け誤差判定処理を終了する。また、S330にて、特徴点(バンパー4)の位置は基準位置と一致していないと判断されると、S340にて、車載カメラ10の取り付け不良を使用者に通知し、当該取り付け誤差判定処理を終了する。
なお、車載カメラ10の取り付け不良の通知は、例えば、車載カメラ10の取り付け不良が生じている旨を表すメッセージを表示装置30に表示させることで実行できるが、この他にも、例えば、スピーカ(図示せず)から音声にて通知するようにしてもよく、或いは、異常通知用の警報ランプ(図示せず)を点灯させることで通知するようにしてもよい。
このように、本実施形態の画像処理システムにおいては、画像処理装置20の制御部28が、本発明の車載カメラの取り付け誤差検出装置として機能することにより、車載カメラによる撮像画像中の特徴点(バンパー4)の位置が、記憶部26に基準位置情報として記憶された基準位置と一致していない場合に、車載カメラの取り付け不良を報知する。
従って、本実施形態の画像処理システムによれば、車載カメラ10の取り付け位置が、車載カメラ10のキャリブレーションを行ったときの適切な位置からずれている場合に、その旨を使用者に通知して、車載カメラ10の位置調整を促すことができる。
[第3実施形態]
第3実施形態の画像処理システムは、第2実施形態の画像処理システムにおいて、車載カメラ10による撮像画像上で特徴点の位置ずれを検出した際に、表示用画像データを補正して、表示装置30に撮像画像を正常に表示できるようにしたものである。
このため、第2実施形態の画像処理システムと異なる点は、取り付け誤差判定処理だけである。そこで、本実施形態では、取り付け誤差判定処理について説明し、他の構成等については説明を省略する。
図7に示すように、本実施形態の取り付け誤差判定処理においては、図6に示した第2実施形態と同様、S310にて、撮像画像の中から特徴点を検出し、S320にて、記憶部26から特徴点の基準位置情報を読み出し、S330にて、特徴点の位置は基準位置と一致しているか否かを判断する。
そして、S330にて、特徴点の位置は基準位置と一致していると判断されると、当該取り付け誤差判定処理を終了し、特徴点の位置は基準位置と一致していないと判断されると、S410に移行して、その特徴点の基準位置に対する位置ずれ量に基づき、位置ずれ量を最小(ゼロ)にするのに要する車載カメラ10の位置情報の補正量を算出する。
つまり、車載カメラ10のキャリブレーションを実施したときの位置情報は記憶部26に記憶されていることから、S410では、その位置情報に基づき、撮像画像上での特徴点の基準位置からのずれをなくすのに必要な車載カメラ10の位置の補正量を算出するのである。
そして、続くS420では、S410にて算出した補正量は、予め設定された所定範囲内であるか否かを判断し、補正量が所定範囲内であれば、S430に移行して、S410にて算出した補正量に基づき表示用画像データを補正して表示装置30に出力するよう、表示用画像データの出力動作を設定する。
この結果、その後制御部28にて実行される画像表示処理では、図4のS230にて表示用画像データを出力する際に、表示用画像データを、S410にて算出した補正量に基づき補正するようになり、表示装置30には、撮像画像上の特徴点の位置が略基準位置となる正常な画像が表示される。
従って、本実施形態の画像処理システムによれば、車載カメラ10の取り付け位置が適正位置からずれていても、表示装置30に所望の画像(鳥瞰画像等)を正常に表示させることができるようになる。
一方、S420にて、S410にて算出した補正量は所定範囲内にないと判断された場合には、車載カメラ10の取り付け位置のずれ量が大きいので、S440に移行する。そして、S440では、使用者に対し、車載カメラ10の取り付け不良を使用者に通知すると共に、表示装置30への表示画像の補正が必要であるか否かを問い合わせる。
なお、車載カメラ10の取り付け不良の通知及び表示画像の補正の要否の問い合わせは、表示装置30にメッセージを表示ことにより実施してもよく、スピーカ(図示せず)を利用した音声出力により実施してもよい。
次に、S450では、S440にて表示画像の補正の要否を問い合わせた結果、操作部24を介して、表示画像の補正が必要であるとの入力があったか否かを判断する。そして、表示画像の補正が必要であれば、S430に移行し、表示画像の補正が必要でなければ、S460に移行して、表示用画像データを補正することなく、そのまま表示装置30に出力するよう、表示用画像データの出力動作を設定する。
このため、車載カメラ10の位置ずれが大きい場合には、使用者は、画像処理装置20からの通知によって、その旨を検知し、車載カメラ10の位置調整を行うことができると共に、位置調整を行うまでは、表示装置30への表示画像の補正を実施させて、表示装置30に正常な画像を表示させることができる。
[第4実施形態]
第4実施形態の画像処理システムは、第2実施形態の画像処理システムにおいて、車載カメラ10による撮像画像上で特徴点の位置ずれを検出した際に、位置ずれの原因が、車載カメラ10の取り付け位置のずれ(換言すれば取り付け不良)によるものであるのか、車体の変形によるものであるのかを判定して、使用者に通知できるようにしたものである。
このため、第2実施形態の画像処理システムと異なる点は、取り付け誤差判定処理だけである。そこで、本実施形態では、取り付け誤差判定処理について説明し、他の構成等については説明を省略する。
図8に示すように、本実施形態の取り付け誤差判定処理においては、図6に示した第2実施形態と同様、S310にて、撮像画像の中から特徴点を検出し、S320にて、記憶部26から特徴点の基準位置情報を読み出し、S330にて、特徴点の位置は基準位置と一致しているか否かを判断する。
そして、S330にて、特徴点の位置は基準位置と一致していると判断されると、当該取り付け誤差判定処理を終了し、特徴点の位置は基準位置と一致していないと判断されると、S510に移行する。
S510では、撮像画像上での特徴点の基準位置に対する位置ずれ量と、記憶部26に記憶された車載カメラ10の位置情報とに基づき、車載カメラ10の現在の位置情報を算出する。
例えば、S510では、記憶部26に記憶された車載カメラ10の位置情報を構成している各パラメータ(上述したx、y、z軸方向の座標、及び、ロール、ピッチ、ヨーの角度)を所定の誤差範囲内で変化させることで、撮像画像を補正し、その撮像画像上での特徴点の位置ずれ量が最小となる各パラメータを探索することで、車載カメラ10の現在の位置情報を算出する。
次に、S520では、S510にて求めた現在の車載カメラ10の位置情報に基づき、車載カメラ10による撮像画像を補正し、続くS530にて、その補正後の撮像画像(補正画像)上での特徴点を検出し、その特徴点の位置と、記憶部26に記憶されている基準位置との類似度を算出する。
次に、S540では、S530で求めた類似度は、閾値以上であるか否かを判断する。そして、類似度が閾値以上であれば、S550に移行し、特徴点の位置ずれの原因は、車載カメラの取り付け不良によるものであると判断して、その旨を使用者に通知し、当該カメラ取り付け誤差判定処理を終了する。
また、S540にて、S530で求めた類似度は閾値未満であると判断された場合には、車載カメラ10の位置情報を補正しても特徴点の位置ずれを小さくできてないので、S560に移行する。
そして、S560では、特徴点の位置ずれの原因は、車体の変形(例えば、バンパーの凹み)によるものであると判断して、その旨を使用者に通知し、当該カメラ取り付け誤差判定処理を終了する。
このように、本実施形態の画像処理システムにおいては、車載カメラ10による撮像画像上で特徴点の位置ずれを検出した際に、位置ずれの原因が、車載カメラ10の取り付け不良によるものであるのか、車体変形によるものであるのかを特定して、使用者に通知する。
このため、使用者は、その通知によって、車載カメラ10の取り付け不良若しくは車体の変形を検知して、車両修理等の対応をとることができる。
[第5実施形態]
第5実施形態の画像処理システムは、第4実施形態と同様、車載カメラ10による撮像画像上での特徴点の位置ずれが、車載カメラ10の取り付け不良によるものであるのか、車体変形によるものであるのかを判定して、使用者に通知できるようにしたものである。
そして、第4実施形態の画像処理システムと異なる点は、撮像画像上での特徴点の位置ずれの原因を特定する際の手順だけであるので、本実施形態では、この相違点について説明し、他の構成等については説明を省略する。
図9に示すように、本実施形態の取り付け誤差判定処理においては、S330にて、特徴点の位置は基準位置と一致していないと判断されると、S610に移行し、特徴点の位置ずれの原因は、車載カメラ10の高さ方向(z軸方向)若しくは仰角方向(ピッチ方向)へのずれによるものであるか否かを推定する。
例えば、S610では、記憶部26に記憶された車載カメラ10の位置情報を構成しているパラメータの内、高さ方向(z軸方向)の座標、及び、y軸周りのピッチ角を、所定の誤差範囲内で変化させることで、撮像画像を補正し、その撮像画像上での特徴点の位置ずれ量が最小となったか否かを判断することで、位置ずれの原因が、車載カメラ10の高さ方向への変位によるものであるか、或いは、仰角方向への変位によるものであるかを推定する。
次に、S620では、S610による推定の結果、撮像画像上での特徴点の位置ずれの原因は、車載カメラ10の高さ方向若しくは仰角方向への変位によるものであったか否かを判断する。
そして、S620にて、撮像画像上での特徴点の位置ずれの原因が、車載カメラ10の高さ方向若しくは仰角方向への変位によるものであったと判断された場合には、S630にて、その原因は、車載カメラ10の取り付け不良によるものであると判断して、その旨を使用者に通知し、当該カメラ取り付け誤差判定処理を終了する。
また、S620にて、撮像画像上での特徴点の位置ずれの原因が、車載カメラ10の高さ方向若しくは仰角方向への変位によるものではない判断された場合には、S640にて、その原因は、車体変形によるものであると判断して、その旨を使用者に通知し、当該カメラ取り付け誤差判定処理を終了する。
なお、このように判定するのは、車載カメラ10は、通常、車両2に対し上下(z軸)方向及び仰角(ピッチ)方向に変位可能に取り付けられ、前後(x軸)・左右(y軸)、ロール角、ヨー角方向には変位しないためである。
そして、本実施形態の画像処理システムによれば、車載カメラ10による撮像画像上での特徴点の位置ずれが、車載カメラ10の取り付け不良によるものであるのか、車体変形によるものであるのかを特定する際に、車載カメラ10の位置情報の内、上下(z軸)方向及び仰角(ピッチ)方向のパラメータだけを変化させればよいので、第4実施形態の画像処理システムに比べて、制御部28での演算処理を簡単にすることができる。
以上、本発明の実施形態を説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内にて、種々の態様をとることができる。
例えば、上記実施形態では、車載カメラ10が、車両2の後方に配置されて、車両後方の周辺画像を撮像するのに用いられるものとして説明した。
しかし、車載カメラ10は、車両2の前方に配置されて、車両前方の周辺画像を撮像するのに用いられてもよく、或いは、車両2の左右の側方に配置されて車両側方の周辺画像を撮像するのに用いられてもよい。
そして、車載カメラ10が車両2の前方に配置されている場合には、車両2の前方に配置されたバンパーや、車両2のボンネットの先端部分を、車両2の特徴点として検出するようにすればよい。
また、車載カメラ10が車両2の側方に配置されている場合には、車両2の側方のドアを情報から見たエッジ部分を、車両2の特徴点として検出するようにすればよい。
2…車両、4…バンパー、10…車載カメラ、20…画像処理装置、22…入力部、24…操作部、26…記憶部、28…制御部、30…表示装置。

Claims (2)

  1. 車両の周囲を撮像するように車両に取り付けられた車載カメラによる撮像画像を受け取り、前記車載カメラの取り付け位置が適切な位置であるか否かを判定するのに用いられる車載カメラの取り付け誤差検出装置であって、
    前記撮像画像を受け取る入力部(22)と、
    前記車載カメラが適切な位置に取り付けられたときに前記撮像画像に映り込む前記車両の特徴点の位置情報を記憶する記憶手段(26)と、
    前記入力部から入力される前記撮像画像の中から、前記車両の特徴点を検出する特徴点検出手段と(28、S310)、
    前記特徴点検出手段にて検出された前記撮像画像中の前記特徴点の位置と、前記記憶手段に記憶された位置情報とに基づき、前記車載カメラの取り付け位置が適切な位置であるか否かを判定する判定手段(28、S330)と、
    前記判定手段にて、前記車載カメラの取り付け位置が適切な位置ではないと判定されると、前記車載カメラの取り付け不良を報知する報知手段(28、S340)と、
    を備え、
    前記報知手段は、
    前記判定手段にて前記車載カメラの取り付け位置が適切な位置ではないと判定されると、前記特徴点検出手段にて検出された前記特徴点の位置情報と前記記憶手段に記憶された位置情報とのずれ量に基づき、該ずれ量を最小にするのに要する前記車載カメラの取り付け位置を算出する(S510)と共に、該算出した車載カメラの取り付け位置に基づき、前記車載カメラによる撮像画像を補正し(S520)、
    該補正後の撮像画像の中から、前記車両の特徴点を検出して、該特徴点の位置と前記記憶手段に記憶された位置情報との類似度を算出し(S530)、
    該類似度が予め設定された閾値以上であれば、前記車載カメラの取り付け不良と判定して、該取り付け不良を報知し(S550)、
    前記類似度が前記閾値未満であれば、車体が変形していると判定して、その旨を報知する(S560)、ことを特徴とする車載カメラの取り付け誤差検出装置。
  2. 車両の周囲を撮像するように車両に取り付けられた車載カメラによる撮像画像を受け取り、前記車載カメラの取り付け位置が適切な位置であるか否かを判定するのに用いられる車載カメラの取り付け誤差検出装置であって、
    前記撮像画像を受け取る入力部(22)と、
    前記車載カメラが適切な位置に取り付けられたときに前記撮像画像に映り込む前記車両の特徴点の位置情報を記憶する記憶手段(26)と、
    前記入力部から入力される前記撮像画像の中から、前記車両の特徴点を検出する特徴点検出手段と(28、S310)、
    前記特徴点検出手段にて検出された前記撮像画像中の前記特徴点の位置と、前記記憶手段に記憶された位置情報とに基づき、前記車載カメラの取り付け位置が適切な位置であるか否かを判定する判定手段(28、S330)と、
    前記判定手段にて、前記車載カメラの取り付け位置が適切な位置ではないと判定されると、前記車載カメラの取り付け不良を報知する報知手段(28、S340)と、
    を備え、
    前記報知手段は、
    前記判定手段にて前記車載カメラの取り付け位置が適切な位置ではないと判定されると、前記特徴点検出手段にて検出された前記特徴点の位置情報と前記記憶手段に記憶された位置情報とのずれ量に基づき、前記車載カメラの取り付け位置のずれが、前記車載カメラの高さ若しくは仰角の変化によるものであるか否かを判定し(S610)、
    前記車載カメラの取り付け位置のずれが、前記車載カメラの高さ若しくは仰角の変化によるものであれば、前記車載カメラの取り付け不良と判定して、該取り付け不良を報知し(S630)、
    前記車載カメラの取り付け位置のずれが、前記車載カメラの高さ若しくは仰角の変化によるものでなければ、車体が変形していると判定して、その旨を報知する(S640)、ことを特徴とする車載カメラの取り付け誤差検出装置。
JP2014084509A 2014-04-16 2014-04-16 車載カメラの取り付け誤差検出装置 Active JP6260424B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014084509A JP6260424B2 (ja) 2014-04-16 2014-04-16 車載カメラの取り付け誤差検出装置
PCT/JP2015/001678 WO2015159489A1 (ja) 2014-04-16 2015-03-24 車載カメラの取り付け誤差表示制御装置及び取り付け誤差検出装置
US15/128,817 US10235772B2 (en) 2014-04-16 2015-03-24 Installation error display control apparatus and installation error detection apparatus of onboard camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014084509A JP6260424B2 (ja) 2014-04-16 2014-04-16 車載カメラの取り付け誤差検出装置

Publications (3)

Publication Number Publication Date
JP2015202835A JP2015202835A (ja) 2015-11-16
JP2015202835A5 JP2015202835A5 (ja) 2016-04-07
JP6260424B2 true JP6260424B2 (ja) 2018-01-17

Family

ID=54323717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014084509A Active JP6260424B2 (ja) 2014-04-16 2014-04-16 車載カメラの取り付け誤差検出装置

Country Status (3)

Country Link
US (1) US10235772B2 (ja)
JP (1) JP6260424B2 (ja)
WO (1) WO2015159489A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP7179439B2 (ja) * 2016-11-28 2022-11-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6767255B2 (ja) * 2016-12-20 2020-10-14 株式会社デンソーテン 画像処理装置及び画像処理方法
JP6794879B2 (ja) * 2017-03-10 2020-12-02 株式会社タダノ 作業車両用の人物検知システムおよびこれを備える作業車両
JP6868852B2 (ja) * 2017-03-10 2021-05-12 パナソニックIpマネジメント株式会社 カメラ状態監視装置
JP7110592B2 (ja) * 2017-12-25 2022-08-02 株式会社アイシン 画像処理装置
CN108844542B (zh) * 2018-04-23 2021-05-14 合肥工业大学 一种基于无人检测车自动定位系统的误差分析与补偿方法
JP7210906B2 (ja) * 2018-05-31 2023-01-24 株式会社デンソー 車両の自動運転制御装置及びプログラム
JP7270499B2 (ja) * 2018-10-10 2023-05-10 株式会社デンソーテン 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム
JP7081425B2 (ja) 2018-09-28 2022-06-07 コベルコ建機株式会社 取付位置認識装置
JP7200682B2 (ja) * 2019-01-11 2023-01-10 株式会社豊田自動織機 車両用撮像装置
CA3076342A1 (en) * 2019-04-24 2020-10-24 The Boeing Company Aligning sensors on vehicles using sensor output
US11639234B2 (en) 2019-04-24 2023-05-02 The Boeing Company Method, system and apparatus for aligning a removable sensor on a vehicle
JP7385412B2 (ja) * 2019-09-25 2023-11-22 株式会社Subaru 自動運転システム
US20210262804A1 (en) * 2020-02-21 2021-08-26 Canon Kabushiki Kaisha Information processing device, information processing method, and storage medium
WO2022195817A1 (ja) * 2021-03-18 2022-09-22 本田技研工業株式会社 車両、車両診断システム及び車両診断方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3268325B2 (ja) 1993-01-19 2002-03-25 アイシン精機株式会社 車上認識対象画像デ−タの前処理方法
JP3565749B2 (ja) * 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP4393659B2 (ja) 2000-02-25 2010-01-06 富士重工業株式会社 車載用プレビューセンサの位置ずれ調整装置
JP3820342B2 (ja) 2000-08-31 2006-09-13 株式会社日立製作所 車載撮像装置
US8519837B2 (en) * 2005-09-08 2013-08-27 Johnson Controls Gmbh Driver assistance device for a vehicle and a method for visualizing the surroundings of a vehicle
JP2007256030A (ja) * 2006-03-23 2007-10-04 Clarion Co Ltd 車載カメラのキャリブレーション装置およびキャリブレーション方法
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
US20130215280A1 (en) * 2011-09-13 2013-08-22 Kyocera Corporation Camera calibration device, camera and camera calibration method
JP2013129264A (ja) * 2011-12-20 2013-07-04 Honda Motor Co Ltd 車載カメラのキャリブレーション方法及び車載カメラのキャリブレーション装置
IN2015KN00315A (ja) * 2012-07-27 2015-07-10 Nissan Motor
JP2014054354A (ja) * 2012-09-12 2014-03-27 Toshiba Corp 軌道同期シャトルヘリカルスキャンct装置
JP5924227B2 (ja) 2012-10-16 2016-05-25 株式会社デンソー 車載カメラの取り付け誤差検出装置

Also Published As

Publication number Publication date
US10235772B2 (en) 2019-03-19
JP2015202835A (ja) 2015-11-16
WO2015159489A1 (ja) 2015-10-22
US20170103546A1 (en) 2017-04-13

Similar Documents

Publication Publication Date Title
JP6260424B2 (ja) 車載カメラの取り付け誤差検出装置
JP6058256B2 (ja) 車載カメラ姿勢検出装置および方法
JP4794510B2 (ja) カメラシステムおよびカメラの取り付け誤差の補正方法
WO2016056197A1 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US10099617B2 (en) Driving assistance device and driving assistance method
KR100917330B1 (ko) 차량의 탑뷰 모니터 시스템 및 방법
WO2015029443A1 (ja) 舵角補正方法、舵角補正装置、撮像装置、および舵角補正システム
US20100013930A1 (en) Video display apparatus and video display method
US20180288371A1 (en) Assistance apparatus
KR102227850B1 (ko) 차량용 후방 카메라의 영상 보정 방법
WO2019176037A1 (ja) 危険警告システム及び危険警告方法
JP5366264B2 (ja) ステレオカメラシステム及び該システムを備える車両
JP6015276B2 (ja) カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法
JP2016001378A (ja) 車載カメラの校正装置
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
JP5098981B2 (ja) 顔部位検出装置
JP2012178639A (ja) 画像処理装置、駐車制御システム、及び、画像処理方法
JP4040620B2 (ja) 車両周辺監視装置
JP5974762B2 (ja) カメラ取り付け誤差補正装置及びカメラ取り付け誤差補正方法
KR101957256B1 (ko) 차량 카메라 장착 각도 보정 장치 및 방법
JP2017112566A (ja) パラメータ特定装置
KR101856069B1 (ko) 주차 가이드라인 보정 장치 및 방법
JP2019090707A (ja) 画像処理装置及び画像処理方法
JP2019129403A (ja) カメラずれ検出装置およびカメラずれ検出方法
JP7110592B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R151 Written notification of patent or utility model registration

Ref document number: 6260424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250