JP4238663B2 - On-vehicle camera calibration method and calibration apparatus - Google Patents

On-vehicle camera calibration method and calibration apparatus Download PDF

Info

Publication number
JP4238663B2
JP4238663B2 JP2003209740A JP2003209740A JP4238663B2 JP 4238663 B2 JP4238663 B2 JP 4238663B2 JP 2003209740 A JP2003209740 A JP 2003209740A JP 2003209740 A JP2003209740 A JP 2003209740A JP 4238663 B2 JP4238663 B2 JP 4238663B2
Authority
JP
Japan
Prior art keywords
vehicle
pattern
screen
camera
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003209740A
Other languages
Japanese (ja)
Other versions
JP2005077107A (en
Inventor
久志 里中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2003209740A priority Critical patent/JP4238663B2/en
Publication of JP2005077107A publication Critical patent/JP2005077107A/en
Application granted granted Critical
Publication of JP4238663B2 publication Critical patent/JP4238663B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、車載カメラのキャリブレーション方法及びキャリブレーション装置に係り、特に、カメラを車両に搭載した際におけるカメラ光軸の方向ずれ及びその光軸回りの回転ずれを調整するうえで好適なキャリブレーション方法及びキャリブレーション装置に関する。
【０００２】
【従来の技術】
従来より、地面上に描かれたパターンを車両に固定したカメラを用いて撮影し、該撮像画像中におけるパターンの撮像データを用いてカメラの位置や俯角の誤差を計測しキャリブレーションするキャリブレーション方法が知られている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００１−１１６５１５号公報
【０００４】
【発明が解決しようとする課題】
上記の如く、上記従来の方法では、車載カメラの高さ及びカメラ光軸の俯角のみをその設置誤差として評価する。しかしながら、カメラの設置誤差は光軸回りの回転方向誤差をも含むものであるため、上記従来の方法は、その設置誤差を回転方向及び高さ，左右方向のすべての要素について精度よく評価・較正するものではない。また、仮に、カメラ設置誤差の回転方向及び高さ，左右方向のすべての要素についての評価を、地面上に描かれた一のパターンの撮像データを用いて行うこととすると、それらの要素によっては精度よい評価を得ることができない場合がある。
【０００５】
本発明は、上述の点に鑑みてなされたものであり、車載カメラのキャリブレーションを複数の要素それぞれについて精度よく行うことが可能な車載カメラのキャリブレーション方法及びキャリブレーション装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的は、請求項１に記載する如く、カメラ光軸が地面と車体から所定距離離れた所望位置で交わるように車体に配設され、撮像データに基づいて映し出された表示画面においてカメラ光軸中心よりも上方の領域が多用される車載カメラのキャリブレーション方法であって、
前記車載カメラが、地面に描かれ、前記所望位置を通る所望のカメラ光軸に垂直な線上に位置する少なくとも異なる２点を含む第１の実パターンを撮影する第１の実パターン撮影ステップと、
電子制御ユニットが、前記第１の実パターン撮影ステップにおいて前記第１の実パターンが撮影された撮像データを用いて、前記車載カメラのカメラ光軸回りの回転ずれを計測する第１の計測ステップと、
前記車載カメラが、地面に描かれ、前記第１の実パターンの位置よりも車両遠方に位置する少なくとも１点を含む第２の実パターンを撮影する第２の実パターン撮影ステップと、
電子制御ユニットが、前記第２の実パターン撮影ステップにおいて前記第２の実パターンが撮影された撮像データを用いて、前記車載カメラのカメラ光軸の方向ずれを計測する第２の計測ステップと、
を備える車載カメラのキャリブレーション方法により達成される。
【０００７】
本発明において、車載カメラのカメラ光軸回りの回転ずれの計測は、所望のカメラ光軸が地面と交わる接地点近傍の１点を通る地面上においてその所望のカメラ光軸に垂直な線上に位置する少なくとも異なる２点を含む第１の実パターンを撮影した撮影データを用いて行われる。この第１の実パターンによれば、カメラ光軸の所望のものからの回転位相誤差を最も精度よく検出することが可能となる。また、車載カメラのカメラ光軸の方向ずれの計測は、第１の実パターンの位置よりも車両遠方に位置する少なくとも１点を含む第２の実パターンを撮影した撮影データを用いて行われる。一般に、カメラは俯角を伴って車両に設置され、そのカメラの撮像画像内においてカメラ光軸の接地点よりも上方のエリアは多用される。従って、上記した第２の実パターンによれば、カメラ光軸の所望のものからの位置角度ずれをその多用エリアで最も精度良く検出することが可能となる。この点、本発明によれば、車載カメラのキャリブレーションをカメラ光軸回りの回転ずれ及びカメラ光軸の左右や上下への方向ずれそれぞれについて精度よく行うことができる。
【０００８】
尚、本発明において、「カメラ光軸に垂直な線」とは、カメラ光軸に直交する車幅方向の水平な線のことである。
【０００９】
この場合、請求項２に記載する如く、請求項１記載の車載カメラのキャリブレーション方法において、前記第１の計測ステップは、前記表示画面上に映し出された前記第１の実パターンと、該表示画面上に重畳表示された、カメラ光軸中心を通る水平な線上に位置する少なくとも異なる２点を含む第１の画面表示パターンとの相対回転位置を調整する回転入力操作量に基づいて、電子制御ユニットが前記回転ずれを計測するステップであると共に、前記第２の計測ステップは、前記表示画面上に映し出された前記第２の実パターンと、該表示画面上に重畳表示された、前記第１の画面表示パターンの位置よりも上方に位置する少なくとも１点を含む第２の画面表示パターンとの相対位置を調整する方向入力操作量に基づいて、電子制御ユニットが前記方向ずれを計測するステップであることとすればよい。
【００１０】
尚、本発明において、第１の実パターンと第１の画面表示パターンとの「相対位置」とは、回転方向の位相のことである。
【００１１】
また、請求項３に記載する如く、請求項２記載の車載カメラのキャリブレーション方法において、前記第１の計測ステップは、前記表示画面上における前記第１の実パターンと前記第１の画面表示パターンとの相対回転位置を調整する回転入力操作に従って、電子制御ユニットが該第１の画面表示パターン又は該表示画面に映し出す撮像データを回転補正する回転補正ステップを有すると共に、前記第２の計測ステップは、前記表示画面上における前記第２の実パターンと前記第２の画面表示パターンとの相対位置を調整する方向入力操作に従って、電子制御ユニットが該第２の画面表示パターン又は該表示画面に映し出す撮像データを位置補正する位置補正ステップを有することとすれば、第１の実パターンと第１の画面表示パターンとの相対位置の調整によるキャリブレーション、及び、第２の実パターンと第２の画面表示パターンとの相対位置の調整によるキャリブレーションを共に容易に実現することができる。
【００１２】
また、上記の目的は、請求項４に記載する如く、カメラ光軸が地面と車体から所定距離離れた所望位置で交わるように車体に配設され、撮像データに基づいて映し出された表示画面においてカメラ光軸中心よりも上方の領域が多用される車載カメラのキャリブレーション装置であって、
前記車載カメラにより、地面に描かれ、前記所望位置を通る所望のカメラ光軸に垂直な線上に位置する少なくとも異なる２点を含む第１の実パターンを撮影する第１の実パターン撮影手段と、
前記表示画面に、カメラ光軸中心を通る水平な線上に位置する少なくとも異なる２点を含む第１の画面表示パターンを重畳表示する第１の画面表示手段と、
前記表示画面上において、該表示画面上に映し出された前記第１の実パターンと前記第１の画面表示手段による前記第１の画面表示パターンとの相対回転位置を調整すべく回転入力操作される第１の入力操作手段と、
前記車載カメラにより、地面に描かれ、前記第１の実パターンの位置よりも車両遠方に位置する少なくとも１点を含む第２の実パターンを撮影する第２の実パターン撮影手段と、
前記表示画面に、前記第１の画面表示パターンの位置よりも上方に位置する少なくとも１点を含む第２の画面表示パターンを重畳表示する第２の画面表示手段と、
前記表示画面上において、該表示画面上に映し出された前記第２の実パターンと前記第２の画面表示手段による前記第２の画面表示パターンとの相対位置を調整すべく方向入力操作される第２の入力操作手段と、
前記第１の入力操作手段への回転入力操作量及び前記第２の入力操作手段への方向入力操作量に基づいて、車載カメラのキャリブレーションデータを生成するデータ生成手段と、
を備える車載カメラのキャリブレーション装置により達成される。
【００１３】
本発明において、表示画面には、その表示画面のカメラ光軸近傍の１点を通る水平な線上に位置する少なくとも異なる２点を含む第１の画面表示パターンが表示されると共に、第１の画面表示パターンの位置よりも上方に位置する少なくとも１点を含む第２の画面表示パターンが表示される。そして、車載カメラのキャリブレーションデータの生成は、表示画面上において第１の画面表示パターンと撮像データに基づいて映し出される地面上の実パターンとの相対回転ずれを調整する第１の入力操作手段への回転入力操作量、及び、表示画面上において第２の画面表示パターンと撮像データに基づいて映し出される地面上の実パターンとの相対回転ずれ以外の相対位置を調整する第２の入力操作手段への方向入力操作量に基づいて行われる。第１の画面表示パターンと実パターンとの比較によれば、カメラ光軸の所望のものからの回転位相誤差を最も精度よく検出することが可能となる。また、一般に、カメラは俯角を伴って車両に設置され、そのカメラの撮像画像内においてカメラ光軸の接地点よりも上方のエリアは多用される。従って、第２の画面表示パターンと実パターンとの比較によれば、カメラ光軸の所望のものからの位置角度ずれをその多用エリアで最も精度良く検出することが可能となる。この点、本発明によれば、車載カメラのキャリブレーションをカメラ光軸回りの回転ずれ及び光軸の左右や上下の方向ずれそれぞれについて精度よく行うことができる。
【００１４】
この場合、請求項５に記載する如く、請求項４記載の車載カメラのキャリブレーション装置において、前記データ生成手段は、前記第１の入力操作手段への回転入力操作量に基づいて車載カメラのカメラ光軸回りの回転ずれを計測する回転ずれ計測手段と、前記第２の入力操作手段への方向入力操作量に基づいて車載カメラのカメラ光軸の方向ずれを計測する方向ずれ計測手段と、を有することとすればよい。
【００１５】
また、請求項６に記載する如く、請求項５記載の車載カメラのキャリブレーション装置において、前記第１の入力操作手段への回転入力操作に従って、前記第１の画面表示手段による前記第１の画面表示パターン又は前記表示画面に映し出す撮像データを回転補正する回転補正手段と、前記第２の入力操作手段への方向入力操作に従って、前記第２の画面表示手段による前記第２の画面表示パターン又は前記表示画面に映し出す撮像データを位置補正する位置補正手段と、を備えることとすれば、第１の実パターンと第１の画面表示パターンとの相対位置の調整による光軸回りの回転ずれのキャリブレーション、及び、第２の実パターンと第２の画面表示パターンとの相対位置の調整による光軸の方向ずれのキャリブレーションを共に容易に実現することができる。
【００１６】
【発明の実施の形態】
図１は、本発明の一実施例の車両に搭載されるシステムの構成図を示す。本実施例のシステムは、車庫入れ駐車や縦列駐車等の車両駐車時に、車両を駐車すべき道路路面上の目標駐車位置までの誘導経路に沿って車両が移動するように車両操舵を運転者の操作によらずに自動的に実行する自動操舵制御と、車内に搭載された表示モニタの表示画面に映し出された車両周辺画像上に車両の実舵角に応じた推定移動軌跡や車幅延長線，距離目安線を重畳表示するガイドモニタ制御と、を行う駐車支援装置１０である。以下、適宜、自動操舵制御及びガイドモニタ制御を合わせて駐車アシスト制御と称す。
【００１７】
図１に示す如く、駐車支援装置１０は、駐車アシスト用電子制御ユニット（以下、駐車アシストＥＣＵと称す）１２を備えており、駐車アシストＥＣＵ１２により制御される。駐車アシストＥＣＵ１２には、バックカメラ１４が接続されている。バックカメラ１４は、車体後部中央に水平下向きに配設され、かかる配設部位から車両後方に所定角範囲で広がる領域を撮影する。バックカメラ１４は、その光軸が予め車幅方向に垂直な方向を向きつつ車体に対して所定俯角を伴いかつその光軸が路面と車体後端から１ｍ程度の距離にある後方位置で交わるように取り付けられる。バックカメラ１４の撮影した車両後方周辺の画像情報は、駐車アシストＥＣＵ１２に供給される。
【００１８】
駐車アシストＥＣＵ１２には、また、タッチディスプレイ１６が接続されている。タッチディスプレイ１６は、車両運転者が視認可能かつ操作可能な位置（例えばインパネ中央）に配設されている。駐車アシストＥＣＵ１２は、例えば車両のシフトポジションが後退位置にある場合に、バックカメラ１４による実画像をタッチディスプレイ１６に表示させる。タッチディスプレイ１６は、駐車アシストＥＣＵ１２の指令に従ってバックカメラ１４による車両後方周辺を表示画面に映し出す。また、タッチディスプレイ１６は、駐車アシストＥＣＵ１２の指令に従って駐車アシスト制御のための補助線や枠等を、バックカメラ１４による実画像上に重畳して表示する。
【００１９】
タッチディスプレイ１６には、車両運転者による操作が可能な感圧式や温感式等のタッチ操作部が設けられる。タッチ操作部は、階層的な複数のスイッチから構成されており、駐車アシストＥＣＵ１２の指令に従って表示画面上に表示される。駐車アシストＥＣＵ１２は、タッチ操作部への車両運転者のタッチ操作を検知し、かかるタッチ操作部の内容に応じた処理を実行する。尚、タッチ操作部には、駐車アシスト制御として車庫入れ駐車モードを開始するためのスイッチや縦列駐車モードを開始するためのスイッチ，運転者が車両を駐車させる目標駐車位置を指定するための矢印ボタンスイッチ等が含まれる。
【００２０】
駐車アシストＥＣＵ１２には、また、電動パワーステアリング装置（以下、ＥＰＳと称す）１８が接続されている。ＥＰＳ１８は、車両運転者によるステアリング操作によりステアリングシャフトに加わる操舵トルクを検出するトルクセンサと、車輪舵角に対応するステアリングシャフトの舵角を検出する舵角センサと、ステアリングシャフトにトルクを付与する電動モータと、を備えている。ＥＰＳ１８は、運転者のステアリング操作時にその操舵トルクをアシストするトルクを電動モータに発生させると共に、後述の如く、駐車アシスト制御に伴う車庫入れ駐車や縦列駐車等の車両駐車時に運転者によるステアリング操作を伴うことなく車両を操舵させるためのトルクを電動モータに発生させる。
【００２１】
ＥＰＳ１８は、検出したステアリングシャフトの舵角情報を駐車アシストＥＣＵ１２へ供給する。駐車アシストＥＣＵ１２は、駐車アシスト制御の実行時に、後述の如くステアリングシャフトが実現すべき目標舵角をＥＰＳ１８へ供給する。ＥＰＳ１８は、駐車アシストＥＣＵ１２からの目標舵角の供給により、駐車アシスト制御のためのトルクを電動モータに発生させる。
【００２２】
また、駐車アシストＥＣＵ１２は、データの読み出し・書き込みが可能なメモリ２０を内蔵している。メモリ２０は、後述の如く運転者による位置設定により設定された目標駐車位置の路面上（絶対座標上）の位置情報、及び、計算により生成されたその目標駐車位置までの誘導経路の経路情報、並びに、バックカメラ１４のキャリブレーション情報を記憶する。メモリ２０に記憶された目標駐車位置の位置情報及び誘導経路の経路情報は、通常、シフトポジションが後退位置からパーキング位置，中立位置等へ移行された場合や目標駐車位置に車両が近づいた場合等、駐車アシスト制御が完了した際に消去される。尚、バックカメラ１４のキャリブレーション情報は、一旦書き込まれると、再書き込みが行われるまで継続して記憶される。
【００２３】
以下、本実施例の駐車支援装置１０の基本的な動作について説明する。
【００２４】
図２は、本実施例の駐車支援装置１０において駐車アシスト制御の開始時にタッチディスプレイ１６の表示画面に映し出される画像を表した図を示す。また、図３（Ａ）は、本実施例の駐車支援装置１０において車庫入れ駐車の目標駐車位置が指定される際にタッチディスプレイ１６の表示画面に映し出される画像を表した図を、図３（Ｂ）は、本実施例の駐車支援装置１０において縦列駐車の目標駐車位置が指定される際にタッチディスプレイ１６の表示画面に映し出される画像を表した図を、それぞれ示す。
【００２５】
本実施例においては、まず、運転者は、駐車したい所望の駐車位置に対して車両をある程度の距離が確保される位置に舵角を中立位置状態（舵角ゼロ）にして停車させる。かかる状態で車両のシフトポジションが後退位置へ移行されると、タッチディスプレイ１６の表示画面にバックカメラ１４による車両後方の周辺状況が映し出される。この場合には、駐車アシスト制御の実行が許可され、ガイドモニタ制御が開始される。
【００２６】
このガイドモニタ制御は、図２に示す如く、タッチディスプレイ１６の表示画面に映し出された車両後方周辺画像上に、その画像内における道路路面に合致するように、ＥＰＳ１８の舵角センサを用いて検出される車両実舵角に応じた内輪及び外輪のそれぞれの予想進路を示す推定移動軌跡Ｘ、車体車幅の道路路面上での延長線を示す車幅延長線Ｙ、及び、車両バンパ後端からの道路路面上での距離を示す距離目安線Ｍを重畳して表示する制御である。尚、他に車両において許容される最大の舵角に応じた予想進路を示す最大舵角線を重畳表示することとしてもよいし、また、これら各軌跡や線をタッチディスプレイ１６の表示画面において形状や色彩等が互いに異なるように表示することとしてもよい。
【００２７】
また、バックカメラ１４による車両後方周辺の画像がタッチディスプレイ１６に映し出されている状態で、車両運転者により自動操舵制御による駐車支援を要求する所定スイッチがオン操作されると、自動操舵制御による自動操舵を実現すべく、表示画面上には、ガイドモニタ制御によるガイド表示が継続した状態で、駐車アシスト制御の自動操舵制御として車庫入れ駐車モードを開始するためのスイッチ、及び、縦列駐車モードを開始するためのスイッチが現れる（初期画面）。
【００２８】
かかる状態で車庫入れ駐車モードスイッチがタッチ操作されると、ガイドモニタ制御によるガイド表示が中止されると共に、タッチディスプレイ１６の表示画面には、バックカメラ１４による車両後方周辺の画像が映し出された状態で、図３（Ａ）に示す如く、道路路面上において車両が車庫入れ駐車されるべき目標駐車位置を示す枠（以下、駐車スペース枠と称す）Ｓがその画像内における道路路面に合致するように重畳表示されると共に、その道路路面上の目標駐車位置を移動・回転させて調整するための矢印ボタンスイッチＣが重畳表示される（設定画面）。
【００２９】
この際、矢印ボタンスイッチＣとしては、目標駐車位置を道路路面上において自車両に対して遠方へ移動させる上向きスイッチ、近方へ移動させる下向きスイッチ、左方へ移動させる左向きスイッチ、右方へ移動させる右向きスイッチ、反時計回り方向へ回転させる反時計向きスイッチ、及び時計回り方向へ回転させる時計向きスイッチが現れる。かかる構成において、目標駐車位置は、駐車スペース枠Ｓの表示画面上での位置操作を通じて、任意に四方へ移動可能であると共に、中心を軸にして自在に回転可能である。
【００３０】
また、タッチディスプレイ１６の表示画面で縦列駐車モードスイッチがタッチ操作されると、ガイドモニタ制御によるガイド表示が中止されると共に、その表示画面には、バックカメラ１４による車両後方周辺が映し出された状態で、図３（Ｂ）に示す如く、道路路面上において車両が縦列駐車されるべき目標駐車位置を示す駐車スペース枠Ｓがその画像内における道路路面に合致するように重畳表示されると共に、その道路路面上の目標駐車位置を移動させるための矢印ボタンスイッチＣが重畳表示される（設定画面）。
【００３１】
この際、矢印ボタンスイッチＣとしては、上記した上向きスイッチ、下向きスイッチ、左向きスイッチ、及び右向きスイッチは現れる一方、反時計向きスイッチ及び時計向きスイッチは現れない。かかる構成において、目標駐車位置は、駐車スペース枠Ｓの表示画面上での位置操作を通じて、任意に四方へ移動可能である一方、中心を軸にして回転することはなく、車両に対して前後方向および車幅方向に移動するだけである。
【００３２】
ここで、駐車スペース枠Ｓの初期表示位置は、その時点における車両位置と所定の相対位置関係にあるデフォルト位置を目標駐車位置の初期位置とした常に一定の画面内位置であったり、或いは、その時点の前に設定された目標駐車位置の初期位置に対応した画面内位置である。また、駐車スペース枠Ｓは、実道路路面上の目標駐車位置に対応するものであって、実道路路面上に投影されるものとすれば車両の車体寸法にほぼ一致した大きさを有する長方形の形状を有するが、タッチディスプレイ１６の表示画面上ではその表示画面に映し出されているバックカメラ１４による車両後方画像上（カメラ座標上）における位置に対応した形状に形成される。
【００３３】
また、矢印ボタンスイッチＣが運転者によりタッチ操作されると、そのタッチごとに、目標駐車位置が実道路路面上においてＸｃｍ（例えば５ｃｍ）移動し或いはＹ°（例えば１°）回転し、タッチディスプレイ１６の表示画面上で駐車スペース枠Ｓが変位する。尚、この際、目標駐車位置が車両に対して近い位置に存在するほど、バックカメラ１４による車両後方画像における遠近の関係からタッチディスプレイ１６の表示画面上での駐車スペース枠Ｓの移動量は大きくなる。
【００３４】
タッチディスプレイ１６の表示画面に駐車スペース枠Ｓ及び矢印ボタンスイッチＣが表示されると、以後、所定時間（例えば２ｍｓ）ごとに、その時点での車両の現在位置を誘導開始位置としてその誘導開始位置からその駐車スペース枠Ｓの操作位置に従った目標駐車位置までの誘導経路の計算が行われる。
【００３５】
また、車庫入れ駐車モードスイッチ又は縦列駐車モードスイッチがタッチ操作されると、駐車スペース枠Ｓ及び矢印ボタンスイッチＣと共に、図３（Ａ）及び（Ｂ）に示す如く、駐車スペース枠Ｓによる目標駐車位置の設定を確定するための確定ボタンスイッチＫが重畳表示される。目標駐車位置までの誘導経路が計算により生成された状態で確定ボタンスイッチＫがタッチ操作されると、目標駐車位置の指定が確定され、以後、自動操舵制御による自動操舵の実行が許可され、更に、ガイドモニタ制御によるガイド表示が再開される。尚、この際のガイド表示においては車幅延長線Ｙの表示はされなくてもよく、また、このガイドモニタ制御は自動操舵制御が完了するまで継続されることとすればよい。
【００３６】
上記の構成において、車庫入れ駐車モードにおいて、目標駐車位置までの誘導経路の計算は、自車両の最小旋回半径および自車両の現在位置とその目標駐車位置との相対位置関係から定まる所定の幾何学的な位置条件を満たす場合に、経路として順に▲１▼所定距離の直進後退区間、▲２▼クロソイドによる舵角の切り増し区間、▲３▼舵角固定による定常円旋回区間、▲４▼クロソイドによる舵角の切り戻し区間、及び▲５▼所定距離の直進後退区間の各区間が適切に形成されるように上記の相対位置関係に基づいて行われる。但し、経路初期の直進後退区間は全く形成されなくてもよい。また、縦列駐車モードにおいて、目標駐車位置までの誘導経路の計算は、自車両の最小旋回半径、及び、自車両の現在位置とその目標駐車位置との相対位置関係から定まる所定の幾何学的な位置条件を満たす場合に、経路として２円が接する状態が適切に形成されるように上記の相対位置関係に基づいて行われる。
【００３７】
車庫入れ駐車モードおよび縦列駐車モードにおいて目標駐車位置までの誘導経路が計算され、その誘導経路が車両が実際に走行し得る範囲で有効に生成されると、タッチディスプレイ１６の表示画面において、駐車アシスト制御の実行が可能であることを示すべく、駐車スペース枠Ｓ内が例えば緑色等に彩色される。目標駐車位置までの有効な誘導経路が計算により生成され、駐車スペース枠Ｓ内が緑色に彩色された状態でタッチディスプレイ１６上の確定ボタンスイッチＫがタッチ操作されると、その目標駐車位置情報および誘導経路情報がメモリ２０に記憶されると共に、タッチディスプレイ１６上の矢印ボタンスイッチＣおよび確定ボタンスイッチＫが非表示となる。
【００３８】
一方、車両と目標駐車位置との相対位置が所定の関係を満たさないこと等に起因して目標駐車位置までの有効な誘導経路が計算により生成されない場合には、駐車アシスト制御の実行が不可能であることを示すべく、駐車スペース枠Ｓ内が例えば赤色等に彩色されると共に、目標駐車位置の変更又は誘導開始位置の変更を促すべく、矢印ボタンスイッチＣおよび確定ボタンスイッチＫの表示が継続される。
【００３９】
目標駐車位置までの有効な誘導経路が生成されかつタッチディスプレイ１６上の確定ボタンスイッチＫのタッチ操作により目標駐車位置の指定が完了した状態で、運転者がブレーキ操作を解除することによりクリープ現象等によって車両が後退移動し始めると、以後、車両を目標駐車位置へ誘導するための自動操舵制御による自動操舵が実行される。具体的には、誘導開始位置からの路面に対する車両の移動量が計算され、この計算された移動量とＥＰＳ１８からの舵角情報とに基づいて、生成された目標駐車位置までの誘導経路に対する車両の位置が計算され、そして、生成された誘導経路に沿って車両を移動させるための目標舵角が算出される。算出された目標舵角は、ＥＰＳ１８へ供給される。ＥＰＳ１８は、駐車アシストＥＣＵ１２からの目標舵角に基づいて、車両を生成誘導経路に沿って移動させるべく電動モータにステアリングシャフトを回転させるためのトルクを発生させる。
【００４０】
このように本実施例の構成によれば、シフトポジションが後退位置へ移行されることにより車両が後退される際に、車両後方の周辺画像がタッチディスプレイ１６の表示画面に映し出された状態で、車両運転者がステアリング操作を行ううえで補助となる車両の予想進路等の状態を示す各種のガイド線をその画像内における道路路面に合致するように重畳表示するガイドモニタ制御を実行することができる。この場合、運転者は、タッチディスプレイ１６の表示画面を通じて補助的に、自車両が障害物や所望の駐車位置等にどの程度接近するのかを把握することが可能となるため、自車両を障害物に接触させることなく後退させるための或いは所望の駐車位置に適切に後退させるためのステアリング操作を容易に実現させることが可能となる。従って、本実施例の駐車支援装置１０によれば、車両後退時における運転者のステアリング操作の補助を行うことで、そのステアリング操作の容易化が図られている。
【００４１】
また、本実施例の構成によれば、車庫入れ駐車時および縦列駐車時に、車両運転者の操作により設定された目標駐車位置までの誘導経路に沿って車両を自動操舵させる自動操舵制御を実行することができる。かかる自動操舵制御が実行されれば、運転者がステアリング操作を行うことは不要である。このため、本実施例の駐車支援装置１０によれば、車庫入れ駐車時および縦列駐車時に、運転者のステアリング操作の負担軽減が図られている。
【００４２】
ところで、本実施例の如く、タッチディスプレイ１６の表示画面に予想進路等を示す各種のガイド線が車両後方周辺画像上に重畳表示され、また、タッチディスプレイ１６上での駐車スペース枠Ｓの位置操作に従って車両の駐車すべき目標駐車位置が指定・設定される構成においては、その機能を的確なものとするうえで、バックカメラ１４の車両への設置固定を基準どおりに正確に行い、カメラ光軸の方向及び光軸回りの回転位置を基準どおりに正確に設定する必要がある。しかし、かかるバックカメラ１４の正確な設置は困難であり、バックカメラ１４のカメラ光軸回りの回転位置やそのカメラ光軸の方向に微小なずれが発生する。このようなずれが生じている状態でガイド線がタッチディスプレイ１６の表示画面に表示され、タッチディスプレイ１６上での駐車スペース枠Ｓの位置操作に従って目標駐車位置が指定されると、それらの制御機能を十分に発揮させることができない事態が生ずる。
【００４３】
そこで、本実施例のシステムは、かかる事態の発生を防止すべく、車両の組立工場や修理工場等において、バックカメラ１４が車両に搭載され設置固定された後、その状態でカメラ光軸の軸回りの回転調整及び上下・左右の位置角度調整（方向調整）を電子ソフト的に実行するキャリブレーションを調整作業者の手入力によって行うこととしている。以下、図４乃至図８を参照して、本実施例の特徴部について説明する。
【００４４】
図４は、本実施例においてバックカメラ１４のカメラ光軸を調整するためのインフラ設備の構成を車両上方から見た際の図を示す。本実施例において、インフラ設備は、車両の組立工場や修理工場の地面に描かれた回転調整用ターゲットＴｒ及び位置調整用ターゲットＴｐを有している。回転調整用ターゲットＴｒは、バックカメラ１４のカメラ光軸回りの回転を調整する際に用いるターゲットであり、一方、位置調整用ターゲットＴｐは、バックカメラ１４のカメラ光軸の上下・左右位置を調整する際に用いるターゲットである。
【００４５】
回転調整用ターゲットＴｒは、バックカメラ１４を搭載する車両が停車すべき位置に停車された際の車体後端（バンパ端）から後方へ１ｍ離れた位置に２つ存在し、車体中心を通る車幅方向に垂直な前後方向線を挟んで互いに車幅方向線上に対向している。各回転調整用ターゲットＴｒは、上記した前後方向線から車幅方向に例えば１．４ｍ程度離れており、車幅方向長さが０．３ｍ程度でありかつ前後方向長さが０．０３ｍ程度である大きさを有している。これら一対の回転調整用ターゲットＴｒは、一のパターン（以下、このパターンを回転調整用実パターンと称す）を構成している。この場合、回転調整用実パターンは、車幅方向線上に位置する２つの回転調整用ターゲットＴｒにより構成されることとなる。
【００４６】
また、位置調整用ターゲットＴｐは、バックカメラ１４を搭載する車両が停車すべき位置に停車された際の車体後端（バンパ端）から回転調整用ターゲットＴｒの位置よりも後方へ例えば２．７ｍ離れた位置に２つ存在し、車体中心を通る車幅方向に垂直な前後方向線を挟んで互いに車幅方向線上に対向している。各位置調整用ターゲットＴｐは、上記した前後方向線から車幅方向に例えば１．６ｍ程度離れており、車幅方向長さが０．３ｍ程度でありかつ前後方向長さが０．２５ｍ程度である大きさを有している。これら一対の位置調整用ターゲットＴｐは、一のパターン（以下、このパターンを位置調整用実パターンと称す）を構成している。この場合、位置調整用実パターンは、車幅方向線上に位置する２つの位置調整用ターゲットＴｐにより構成されることとなる。
【００４７】
本実施例のシステムにおいて、調整作業者は、バックカメラ１４のカメラ光軸のキャリブレーションを行う際、まず、車両を、回転調整用ターゲットＴｒ及び位置調整用ターゲットＴｐの描かれた地面上、その回転調整用ターゲットＴｒ及び位置調整用ターゲットＴｐと所定の相対関係にある位置に停車させる。そして、かかる状態で車両において駐車アシストＥＣＵ１２に所定の設備が接続され或いは駐車アシストＥＣＵ１２の有する所定の端子が短絡される等の措置がなされると、駐車支援装置１０はバックカメラ１４のカメラ光軸を調整するキャリブレーション装置として機能することとなり、カメラ光軸の調整モードが実現される。
【００４８】
ここで、上記の如く、本実施例において、バックカメラ１４は、車体後部中央に水平下向きに配設され、その光軸が予め車幅方向に垂直な方向を向きつつ車体に対して所定俯角を伴いかつその光軸が路面と車体後端から１ｍ程度の距離にある後方位置で交わるように取り付けられる。従って、かかる所望の状態でバックカメラ１４が車両に設置固定されている場合には、車両が回転調整用ターゲットＴｒ及び位置調整用ターゲットＴｐと上記所定の相対関係にある位置に停車された際、バックカメラ１４による撮像画像内において、２つの回転調整用ターゲットＴｒが光軸中心すなわち画面中心を通る水平な線上に位置しかつ画面中心を通る鉛直な線を挟んで左右対称な位置関係に位置すると共に、２つの位置調整用ターゲットＴｐが水平な線上に位置しかつ画面中心を通る鉛直な線を挟んで左右対称な位置関係に位置することとなる。
【００４９】
一方、バックカメラ１４が車両に上記所望の状態で設置固定されていない場合には、車両が回転調整用ターゲットＴｒ及び位置調整用ターゲットＴｐと上記所定の相対関係にある位置に停車された際、バックカメラ１４による撮像画像内において、光軸回りの回転ずれ発生時は２つの回転調整用ターゲットＴｒが画面中心を通る水平な線上に位置しないと共に画面中心を通る鉛直な線を挟んで左右対称な位置関係に位置しないこととなる。また、カメラ光軸の方向ずれ発生時は２つの回転調整用ターゲットＴｒが水平な線上に位置しても画面中心を通る水平な線上には位置しない可能性があり、２つの位置調整用ターゲットＴｐが水平な線上に位置しない或いは水平な線上に位置しても画面中心を通る鉛直な線を挟んで左右対称な位置関係に位置しないこととなる。
【００５０】
この点、バックカメラ１４による撮像画像内における２つの回転調整用ターゲットＴｒを結ぶ線（回転調整用実パターンの延在方向）と水平線との相対位置具体的には相対回転ずれを検出すれば、バックカメラ１４のカメラ光軸回りの所望のものからの回転ずれを計測することができる。また、撮像画像内における位置調整用ターゲットＴｐすなわち位置調整用実パターンの上下・左右の方向ずれを検出すれば、バックカメラ１４のカメラ光軸の所望のものからの方向ずれを計測することができる。
【００５１】
図５は、本実施例においてバックカメラ１４のカメラ光軸のキャリブレーションの手順を説明するための図を示す。また、図６は、本実施例においてカメラ光軸の回転調整時にタッチディスプレイ１６の表示画面に映し出される表示を表した図を示す。更に、図７は、本実施例においてカメラ光軸の位置調整時にタッチディスプレイ１６の表示画面に映し出される表示を表した図を示す。
【００５２】
本実施例において、バックカメラ１４のカメラ光軸の調整モードは、まずその光軸回りの回転調整を行うための回転調整モードから開始される。カメラ光軸の調整モードが開始されると、以後、タッチディスプレイ１６の表示画面上には、バックカメラ１４による車両後方周辺画像が映し出される。この際、車両が地面に描かれた回転調整用ターゲットＴｒ及び位置調整用ターゲットＴｐに対して上記した所定の相対位置に停車していれば、タッチディスプレイ１６上の画像内には、その回転調整用ターゲットＴｒを有する回転調整用実パターン及び位置調整用ターゲットＴｐを有する位置調整用実パターンが含まれることとなる。
【００５３】
また、回転調整モードが開始されると、タッチディスプレイ１６の表示画面上には、バックカメラ１４による車両後方周辺画像が映し出された状態で、図６に示す如く、互いに所定距離離れて平行に並んだ複数の線により構成されるパターン（以下、このパターンを回転調整用画面表示パターンと称す）Ｐｒが重畳表示されると共に、その回転調整用画面表示パターンＰｒをその表示画面上で回転させるための回転調整用矢印ボタンスイッチＣｒが重畳表示される。
【００５４】
回転調整用画面表示パターンＰｒは、そのパターン内にタッチディスプレイ１６の表示画面におけるカメラ光軸中心すなわち画面中心を通る水平線上の点を２点以上包含し、かつ、初期状態においてその複数の線が表示画面の水平線に対して平行となるように表示される。また、回転調整用矢印ボタンスイッチＣｒとしては、回転調整用画面表示パターンＰｒを画面上において反時計回り方向へ回転させる反時計向きスイッチ、及び、時計回り方向へ回転させる時計向きスイッチが存在する。回転調整用矢印ボタンスイッチＣｒが一回操作されると、回転調整用画面表示パターンＰｒは画面上において例えば０．４°回転する。また、回転調整用矢印ボタンスイッチＣｒが継続操作されると、回転調整用画面表示パターンＰｒは画面上において所定時間ごとに連続して回転する。尚、回転調整用画面表示パターンＰｒは、複数の線が画面の水平線に対して平行である初期状態から最大で反時計回り及び時計回りにそれぞれ例えば２°ずつ回転可能である。
【００５５】
タッチディスプレイ１６の表示画面上に回転調整用画面表示パターンＰｒ及び回転調整用矢印ボタンスイッチＣｒが重畳表示されると、以後、回転調整用矢印ボタンスイッチＣｒのタッチ操作により回転調整用画面表示パターンＰｒの回転が可能となる。調整作業者は、タッチディスプレイ１６の表示画面を見ながら、回転調整用画面表示パターンＰｒの有する線がその表示画面に映し出されている画像内の回転調整用実パターンを構成する一対の回転調整用ターゲットＴｒを結ぶ線（回転調整用実パターンの延在方向）に平行となるように、回転調整用矢印ボタンスイッチＣｒをタッチ操作する。例えば、図６に示す如く回転調整モードの初期にタッチディスプレイ１６の表示画面に映し出されている画像内の回転調整用実パターンの延在方向がその表示画面の水平線に対して時計回り方向に傾いている場合には、回転調整用画面表示パターンＰｒを時計回り方向へ回転させるべく、回転調整用矢印ボタンスイッチＣｒの時計向きスイッチを操作する。そして、回転調整用画面表示パターンＰｒの有する線が回転調整用実パターンの延在方向に平行となった時点で、回転調整用矢印ボタンスイッチＣｒの操作を完了する。
【００５６】
また、タッチディスプレイ１６の表示画面上に回転調整用画面表示パターンＰｒ及び回転調整用矢印ボタンスイッチＣｒが重畳表示されると、同時に、回転調整モードの次に進むための“次へ”ボタンスイッチが重畳表示される。かかる“次へ”ボタンスイッチがタッチ操作されると、その時点での回転調整用画面表示パターンＰｒの画面上での回転量が一時記憶されると共に、回転調整モードが終了し具体的には回転調整用画面表示パターンＰｒ及び回転調整用矢印ボタンスイッチＣｒが表示画面から消去され、次に、バックカメラ１４のカメラ光軸の上下・左右位置を調整するための左右上下位置調整モードが開始される。
【００５７】
左右上下位置調整モードが開始されると、タッチディスプレイ１６の表示画面上には、バックカメラ１４による車両後方周辺画像が映し出された状態で、図７に示す如く、その表示画面に映し出される位置調整用ターゲットＴｐを包含可能な大きさを有する線で囲まれたパターン（以下、このパターンを位置調整用画面表示パターンと称す）Ｐｐが重畳表示されると共に、その位置調整用画面表示パターンＰｐをその表示画面上で左右方向及び上下方向に位置移動させるための位置調整用矢印ボタンスイッチＣｐが重畳表示される。
【００５８】
位置調整用画面表示パターンＰｐは、２つの位置調整用ターゲットＴｐそれぞれに対応して表示画面上左右対称に一つずつ設けられている。位置調整用画面表示パターンＰｐは、タッチディスプレイ１６の表示画面において上記した回転調整用画面表示パターンｐｒの位置よりも上方に位置し、かつ、初期状態において画面左右のパターンＰｐを結ぶ線が表示画面の水平線に対して平行となるように表示される。尚、上記した回転調整モードにより回転調整用画面表示パターンＰｒが回転された場合には、画面左右の位置調整用画面表示パターンＰｐを結ぶ線は、左右上下位置調整モードの開始初期においてその回転分だけ表示画面の水平線に対して傾くことになる。
【００５９】
また、位置調整用矢印ボタンスイッチＣｐとしては、位置調整用画面表示パターンＰｐを画面上において左方へ移動させる左向きスイッチ、右方へ移動させる右向きスイッチ、下方へ移動させる下向きスイッチ、及び上方へ移動させる上向きスイッチが存在する。位置調整用矢印ボタンスイッチＣｐが一回操作されると、位置調整用画面表示パターンＰｐは画面上において例えば光軸０．４°の傾き相当分だけ移動する。また、位置調整用矢印ボタンスイッチＣｐが継続操作されると、位置調整用画面表示パターンＰｐは画面上において所定時間ごとに連続して回転する。尚、位置調整用画面表示パターンＰｐは、初期状態から最大で左右方向及び上下方向にそれぞれ例えば光軸２°の傾き相当分ずつ移動可能である。
【００６０】
タッチディスプレイ１６の表示画面上に位置調整用画面表示パターンＰｐ及び位置調整用矢印ボタンスイッチＣｐが重畳表示されると、以後、位置調整用矢印ボタンスイッチＣｐのタッチ操作により位置調整用画面表示パターンＰｐの位置移動が可能となる。調整作業者は、タッチディスプレイ１６の表示画面を見ながら、位置調整用画面表示パターンＰｐにその表示画面に映し出されている画像内の位置調整用ターゲットＴｐが進入するように、位置調整用矢印ボタンスイッチＣｐをタッチ操作する。例えば、図７に示す如く左右上下位置調整モードの初期にタッチディスプレイ１６の表示画面に映し出されている画像内の位置調整用ターゲットＴｐが位置調整用画面表示パターンＰｐの左手前に位置する場合には、位置調整用画面表示パターンＰｐを左手前へ移動させるべく、位置調整用矢印ボタンスイッチＣｐの左向きスイッチ及び下向きスイッチを操作する。そして、位置調整用画面表示パターンＰｐに位置調整用ターゲットＴｐが進入した時点で、位置調整用矢印ボタンスイッチＣｐの操作を完了する。
【００６１】
また、タッチディスプレイ１６の表示画面上に位置調整用画面表示パターンＰｐ及び位置調整用矢印ボタンスイッチＣｐが重畳表示されると、同時に、左右上下位置調整モードの次に進むための“次へ”ボタンスイッチ、及び、上記した回転調整モードへ戻るための“戻る”ボタンスイッチが重畳表示される。かかる“戻る”ボタンスイッチがタッチ操作されると、再びバックカメラ１４のカメラ光軸の光軸回りの回転調整を行うための回転調整モードが実現され、光軸回りの回転調整が可能となる。一方、“次へ”ボタンスイッチがタッチ操作されると、その時点での位置調整用画面表示パターンＰｐの画面上での移動量が一時記憶されると共に、左右上下位置調整モードが終了し具体的には位置調整用画面表示パターンＰｐ及び位置調整用矢印ボタンスイッチＣｐが表示画面から消去され、次に、カメラ光軸の調整確認を行うための確認モードが開始される。
【００６２】
確認モードが開始されると、タッチディスプレイ１６の表示画面上には、バックカメラ１４による車両後方周辺画像が映し出された状態で、車両の実舵角に応じた予想進路を示す推定移動軌跡Ｘ並びに車両バンパ後端からの距離０．５ｍ及び１．０ｍを示す距離目安線Ｍ１，Ｍ２が、一時記憶された回転調整用画面表示パターンＰｒの回転量及び位置調整用画面表示パターンＰｐの移動量を考慮して、その画像内における道路路面に合致するように重畳表示される。また同時に、バックカメラ１４のカメラ光軸の調整モードを完了させるための“完了”ボタンスイッチ、及び、上記した左右上下位置調整モードへ戻るための“戻る”ボタンスイッチが重畳表示される。
【００６３】
かかる状態が実現されると、調整作業者は、表示画面上において映し出されている回転調整用ターゲットＴｒと車両バンパ後端からの距離１・０ｍを示す距離目安線Ｍ２とが重なっていることを確認する。その確認の結果、両者が重なっていないと判断した場合は、“戻る”ボタンスイッチをタッチ操作する。この場合には、再びバックカメラ１４のカメラ光軸の上下・左右の位置調整を行うための左右上下位置調整モードが実現され、更に回転調整モードの実現が可能となる。一方、回転調整用ターゲットＴｒと距離目安線Ｍ２とが重なっていると判断した場合は、“完了”ボタンスイッチをタッチ操作する。この場合には、上記した回転調整モードにおける回転調整用画面表示パターンＰｒの画面上での回転量、及び、左右上下位置調整モードにおける位置調整用画面表示パターンＰｐの画面上での移動量がメモリ２０に記憶されると共に、確認モードが終了し、バックカメラ１４のカメラ光軸の調整モードが完了する。
【００６４】
ここで、回転調整モードにおける回転調整用画面表示パターンＰｒの画面上での回転量は、回転調整用実パターンの延在方向の画面水平線に対する相対回転ずれ量に相当し、バックカメラ１４のカメラ光軸回りの所望のものからの回転ずれに相当する。また、左右上下位置調整モードにおける位置調整用画面表示パターンＰｐの画面上での移動量は、位置調整用実パターンの上下・左右の位置ずれ量に相当し、バックカメラ１４のカメラ光軸の所望のものからの方向ずれに相当する。
【００６５】
バックカメラ１４のカメラ光軸回りの所望のものからの回転ずれ及びカメラ光軸の所望のものからの方向ずれを計測できれば、車両に対する道路路面上の座標（絶対座標）とタッチディスプレイ１６の表示画面上の座標（カメラ座標）との変換に際し用いられる変換パラメータを、予めバックカメラ１４が車両に所望の状態で設置固定されたものとした場合のものからバックカメラ１４の現実の設置固定に対応したものへ補正することができ、車両に対する道路路面上の位置とタッチディスプレイ１６の表示画面上の位置との対応関係を正確に把握できる。
【００６６】
従って、タッチディスプレイ１６の表示画面上で回転調整用画面表示パターンＰｒの有する線分が回転調整用実パターンの延在方向に平行となった状態で回転調整モードを終了させ、かつ、タッチディスプレイ１６の表示画面上で位置調整用画面表示パターンＰｐに位置調整用ターゲットＴｐが進入した状態で左右上下位置調整モードを終了させ、そして、カメラ光軸の調整モードを完了させることとすれば、駐車アシストＥＣＵ１２の内蔵するメモリ２０に、バックカメラ１４のキャリブレーション情報として正確なカメラ光軸調整値を記憶させることができ、以後、その記憶された調整値を用いた絶対座標とカメラ座標との変換により車両に対する道路路面上の位置とタッチディスプレイ１６の表示画面上の位置とを正確に対応付けすることが可能となる。
【００６７】
ところで、本実施例において、バックカメラ１４の光軸が地面と交わるべき位置は、車体後端から１ｍ程度の距離にある後方位置である。また、バックカメラ１４のカメラ光軸回りの回転調整において用いられる２つの回転調整用ターゲットＴｒの地面上の位置はそれぞれ、車両が停車位置に停車された際の車体後端から後方へ１ｍ離れた位置である。すなわち、２つの回転調整用ターゲットＴｒは、地面上、所望のカメラ光軸が地面と交わるべき接地点を通るその所望のカメラ光軸に垂直な線上に位置する。
【００６８】
バックカメラ１４のカメラ光軸回りの回転位置にずれが発生していると、そのずれは、タッチディスプレイ１６上の画面中心を中心にして撮像画像を回転させる事態を引き起こす。この点、本実施例の如く、地面上において所望のカメラ光軸が地面と交わるべき接地点を通るその所望のカメラ光軸に垂直な線上に位置する２つの回転調整用ターゲットＴｒにより構成される回転調整用実パターンと、表示画面上において画面中心を通る水平線上の点を２点以上包含する回転調整用画面表示パターンＰｒとの表示画面上での相対位置の調整を行うこととすれば、回転調整用実パターンが所望のカメラ光軸が地面と交わるべき接地点を通る線上ではない２点により構成される場合に比べて、バックカメラ１４による撮像画像のレンズ歪みによる誤差が生じ難く、バックカメラ１４のカメラ光軸回りの回転位置ずれを最も精度よく検出することが可能となる。
【００６９】
また、本実施例において、バックカメラ１４のカメラ光軸の上下・左右の方向調整において用いられる位置調整用ターゲットＴｐの地面上の位置は、車両が停車位置に停車された際の車体後端から後方へ例えば２．７ｍ離れた位置である。すなわち、位置調整用ターゲットＴｐは、地面上、上記した回転調整用ターゲットＴｒの位置よりも車両遠方に位置する。
【００７０】
本実施例においては、タッチディスプレイ１６の表示画面上に表示される駐車スペース枠Ｓの位置操作に従って車両の車庫入れ駐車又は縦列駐車すべき目標駐車位置が指定・設定されるが、通常指定される目標駐車位置は、駐車開始時における車両の位置から３ｍ程度後方の位置であることが一般的であるので、車体に水平下向きに配設されるすなわち俯角を伴って設置固定されるバックカメラ１４の表示画面においては、カメラ光軸すなわち画面中心よりも上方の領域が多用される。従って、目標駐車位置が通常指定され得る近傍の位置とタッチディスプレイ１６の表示画面上の位置との対応付けを正確に行うことが、表示画面上での駐車スペース枠の位置操作に従った目標駐車位置の設定精度の向上ひいてはその目標駐車位置までの誘導経路の的確な生成を図り、自動操舵制御の機能を十分に発揮させるうえで最も効果的である。
【００７１】
この点、本実施例の如く、地面上において回転調整用ターゲットＴｒの位置よりも車両遠方の、目標駐車位置が指定される可能性の高い実用域である車体後端から後方へ２．７ｍ程度離れた位置にある位置調整用ターゲットＴｐにより構成される位置調整用実パターンと、表示画面上において回転調整用画面表示パターンＰｒの位置よりも上方に位置する位置調整用画面表示パターンＰｐとの表示画面上での相対位置の調整を行うこととすれば、位置調整用ターゲットＴｐが上記した実用域以外に位置する構成に比べて、かかる実用域でのバックカメラ１４のカメラ光軸の上下・左右の方向ずれを最も精度よく検出することが可能となる。
【００７２】
このように、本実施例のバックカメラ１４の光軸調整を行うキャリブレーション手法によれば、地面上に描かれる光軸調整用のターゲットを光軸調整の各要素（具体的にはカメラ光軸回りの回転調整とカメラ光軸の方向調整との２要素）ごとにそれぞれの要素に合わせて異ならせることで、カメラ光軸回りの回転位置ずれ及びカメラ光軸の方向ずれを共に最も高精度に検出することができる。このため、本実施例によれば、バックカメラ１４のキャリブレーションをカメラ光軸回りの回転ずれ及びカメラ光軸の上下・左右への方向ずれそれぞれについて精度よく行うことが可能となっている。
【００７３】
図８は、上記の機能を実現すべく、本実施例において駐車アシストＥＣＵ１２が実行する制御ルーチンの一例のフローチャートを示す。図８に示すルーチンは、所定時間ごとに繰り返し起動される。図８に示すルーチンが起動されると、まずステップ１００の処理が実行される。
【００７４】
ステップ１００では、バックカメラ１４のカメラ光軸を調整するための調整モードを実現すべき所定の措置がなされたか否かが判別される。その結果、否定判定がなされた場合は、以後何ら処理が進められることなく今回のルーチンは終了される。一方、肯定判定がなされた場合は、次にステップ１０２の処理が実行される。
【００７５】
ステップ１０２では、バックカメラ１４のカメラ光軸回りの回転調整を行うための回転調整モードが実現される。かかる回転調整モードでは、タッチディスプレイ１６の表示画面上に、バックカメラ１４による車両後方周辺画像が映し出された状態で、カメラ光軸中心すなわち画面中心を含む水平線に平行な線からなる回転調整用画面表示パターンＰｒ、及び、その回転調整用画面表示パターンＰｒを表示画面上で回転させるためにタッチ操作される回転調整用矢印ボタンスイッチＣｒが重畳表示される。そして、表示画面上においてその回転調整用画面表示パターンＰｒの有する線分と画像内における地面に描かれている回転調整用実パターンの延在方向との相対位置関係が、回転調整用矢印ボタンスイッチＣｒのタッチ操作による回転調整用画面表示パターンＰｒの回転により両者が平行となるように調整され、その入力操作量に基づいてバックカメラ１４のカメラ光軸回りの所望のものからの回転ずれが計測される。本ステップ１０２において回転調整モードが終了すると、次にステップ１０４の処理が実行される。
【００７６】
ステップ１０４では、バックカメラ１４のカメラ光軸の上下・左右の方向調整を行うための左右上下位置調整モードが実現される。かかる左右上下位置調整モードでは、タッチディスプレイ１６の表示画面上に、バックカメラ１４による車両後方周辺画像が映し出された状態で、上記した回転調整用画面表示パターンの位置よりも上方に位置する位置調整用画面表示パターンＰｐ、及び、その位置調整用画面表示パターンＰｐを表示画面上で位置移動させるためにタッチ操作される位置調整用矢印ボタンスイッチＣｐが重畳表示される。そして、表示画面上においてその位置調整用画面表示パターンＰｐと画像内における地面に描かれている位置調整用実パターンとの相対位置関係が、位置調整用矢印ボタンスイッチＣｐのタッチ操作による位置調整用画面表示パターンＰｐの位置移動により表示画面上で位置調整用画面表示パターンＰｐに位置調整用ターゲットＴｐが進入するように調整され、その入力操作量に基づいてバックカメラ１４のカメラ光軸の所望のものからの上下・左右の方向ずれが計測される。本ステップ１０４において左右上下調整モードが終了すると、今回のルーチンは終了される。
【００７７】
上記図８に示すルーチンによれば、回転調整用矢印ボタンスイッチＣｒの入力操作量に基づいてバックカメラ１４のカメラ光軸回りの所望のものからの回転ずれを計測することができ、また、位置調整用矢印ボタンスイッチＣｐの入力操作量に基づいてバックカメラ１４のカメラ光軸の所望のものからの上下・左右の方向ずれを計測することができる。
【００７８】
この際、カメラ光軸回りの回転調整とカメラ光軸の方向調整とで、光軸調整に用いられる地面に描かれるターゲットは異なり、表示画面上の画面表示パターンは異なる。このため、本実施例によれば、カメラ光軸回りの回転位置ずれ及び実用域でのカメラ光軸の方向ずれを共に最も高精度に検出することができ、バックカメラ１４のキャリブレーションをカメラ光軸回りの回転ずれ及びカメラ光軸の上下・左右への方向ずれそれぞれについて精度よく行うことが可能となっている。
【００７９】
また、上記の如く計測された回転ずれ量及び方向ずれ量は共に、正確なカメラ光軸調整値としてメモリ２０に記憶される。このため、本実施例によれば、カメラ光軸の調整を適切に行った以後は、表示画面上での駐車スペース枠の位置操作に従った目標駐車位置の設定精度を向上させることができ、その目標駐車位置までの誘導経路を的確に生成することができ、これにより、自動操舵制御の機能を十分に発揮させることが可能となっている。
【００８０】
尚、本実施例においては、バックカメラ１４のカメラ光軸回りの回転ずれを計測するうえで、回転調整用矢印ボタンスイッチＣｒのタッチ操作によって、タッチディスプレイ１６の表示画面上における回転調整用画面表示パターンＰｒが画面中心を中心に回転する。この回転調整用画面表示パターンＰｒと画像上の回転調整用実パターンとが平行となれば、上記回転ずれの計測が可能である。従って、本実施例によれば、タッチ操作による回転調整用画面表示パターンＰｒの回転により回転調整用実パターンと回転調整用画面表示パターンとの相対位置の調整によるカメラ光軸回りの回転ずれのキャリブレーションを容易に実現することが可能となっている。
【００８１】
また、バックカメラ１４のカメラ光軸の上下・左右の方向ずれを計測するうえで、位置調整用矢印ボタンスイッチＣｐのタッチ操作によって、タッチディスプレイ１６の表示画面上における位置調整用画面表示パターンＰｐが位置移動する。この位置調整用画面表示パターンＰｐに画像上の位置調整用実パターンが進入すれば、上記方向ずれの計測が可能である。従って、本実施例によれば、タッチ操作による位置調整用画面表示パターンＰｐの位置移動により位置調整用実パターンと位置調整用画面表示パターンとの相対位置の調整によるカメラ光軸の上下・左右の方向ずれのキャリブレーションを容易に実現することが可能となっている。
【００８２】
ところで、上記の実施例においては、バックカメラ１４が特許請求の範囲に記載した「車載カメラ」に、２つの回転調整用ターゲットＴｒを構成する回転調整用実パターンが特許請求の範囲に記載した「第１の実パターン」に、２つの位置調整用ターゲットＴｐが特許請求の範囲に記載した「第２の実パターン」に、回転調整用画面表示パターンＰｒが特許請求の範囲に記載した「第１の画面表示パターン」、位置調整用画面表示パターンＰｐが特許請求の範囲に記載した「第２の画面表示パターン」に、回転調整用矢印ボタンスイッチＣｒが特許請求の範囲に記載した「第１の入力操作手段」に、位置調整用矢印ボタンスイッチＣｐが特許請求の範囲に記載した「第２の入力操作手段」に、それぞれ相当している。
【００８３】
また、上記の実施例においては、調整モード時に駐車アシストＥＣＵ１２が、回転調整用画面表示パターンＰｒの画面上での回転量からバックカメラ１４のカメラ光軸回りの所望のものからの回転ずれを計測することにより特許請求の範囲に記載した「第１の計測ステップ」、「データ生成手段」、及び「回転ずれ計測手段」が、位置調整用画面表示パターンＰｐの画面上での移動量からバックカメラ１４のカメラ光軸の所望のものからの方向ずれを計測することにより特許請求の範囲に記載した「第２の計測ステップ」、「データ生成手段」、及び「方向ずれ計測手段」が、回転調整モード時に調整作業者による回転調整用矢印ボタンスイッチＣｒのタッチ操作に従って表示画面上において回転調整用画面表示パターンＰｒを回転させることにより特許請求の範囲に記載した「回転補正ステップ」及び「回転補正手段」が、左右上下位置調整モード時に調整作業者による位置調整用矢印ボタンスイッチＣｐのタッチ操作に従って表示画面上において位置調整用画面表示パターンＰｐを位置移動させることにより特許請求の範囲に記載した「位置補正ステップ」及び「位置補正手段」が、回転調整モード時にタッチディスプレイ１６の表示画面に回転調整用画面表示パターンＰｒを重畳表示することにより特許請求の範囲に記載した「第１の画面表示手段」が、左右上下位置調整モード時にタッチディスプレイ１６の表示画面に位置調整用画面表示パターンＰｐを重畳表示することにより特許請求の範囲に記載した「第２の画面表示手段」が、それぞれ実現されている。
【００８４】
尚、上記の実施例においては、回転調整用矢印ボタンスイッチＣｒのタッチ操作に従って表示画面上において回転調整用画面表示パターンＰｒを回転させ、また、位置調整用矢印ボタンスイッチＣｐのタッチ操作に従って表示画面上において位置調整用画面表示パターンＰｐを位置移動させることとしているが、本発明はこれに限定されるものではなく、かかるタッチ操作に従って、画面表示パターンＰｒ，Ｐｐを表示画面において固定したままで、その表示画面に映し出すバックカメラ１４による撮像画像自体を回転させ或いは位置移動させることとしてもよい。
【００８５】
また、上記の実施例においては、位置調整用ターゲットＴｐ及び位置調整用画面表示パターンＰｐをそれぞれ、表示画面の中心を通る鉛直線を挟んで左右対称な位置関係となるように１つずつ設けることとしているが、本発明はこれに限定されるものではなく、その鉛直線近傍に一つだけ設けることとしてもよく、また、３つ以上設けることとしてもよい。
【００８６】
更に、上記の実施例においては、回転調整用実パターンが、物理的に分離した２つの回転調整用ターゲットＴｒにより構成されているが、一つの線分により構成されていることとしてもよい。
【００８７】
【発明の効果】
上述の如く、請求項１、２、４、及び５記載の発明によれば、車載カメラのカメラ光軸回りの回転ずれに関するキャリブレーション、及び、車載カメラのカメラ光軸の左右や上下の方向ずれに関するキャリブレーションを共に精度よく行うことができる。
【００８８】
また、請求項３及び６記載の発明によれば、車載カメラのカメラ光軸回りの回転ずれに関するキャリブレーション、及び、車載カメラのカメラ光軸の左右や上下の方向ずれに関するキャリブレーションを共に容易に実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施例の車両に搭載されるシステムの構成図である。
【図２】本実施例の車載システムにおいて駐車アシスト制御の開始時にタッチディスプレイの表示画面に映し出される画像を表した図である。
【図３】本実施例の車載システムにおいて目標駐車位置が指定される際に表示画面に映し出される画像を表した図である。
【図４】本実施例において車載カメラのカメラ光軸を調整するためのインフラ設備の構成を車両上方から見た際の図である。
【図５】本実施例において車載カメラのカメラ光軸のキャリブレーションの手順を説明するための図である。
【図６】本実施例においてカメラ光軸の回転調整時に表示画面に映し出される表示を表した図図である。
【図７】本実施例においてカメラ光軸の位置調整時に表示画面に映し出される表示を表した図である。
【図８】本実施例の車載システムにおいて実行される制御ルーチンのフローチャートである。
【符号の説明】
１２ 駐車アシスト用電子制御ユニット（駐車アシストＥＣＵ）
１４ バックカメラ
１６ タッチディスプレイ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a calibration method and a calibration device for an in-vehicle camera, and in particular, calibration suitable for adjusting a direction deviation of a camera optical axis and a rotation deviation around the optical axis when the camera is mounted on a vehicle. The present invention relates to a method and a calibration apparatus.
[0002]
[Prior art]
Conventionally, a calibration method for photographing a pattern drawn on the ground using a camera fixed to a vehicle, and measuring and calibrating an error of the camera position and depression angle using the pattern imaging data in the captured image Is known (see, for example, Patent Document 1).
[0003]
[Patent Document 1]
JP 2001-116515 A
[0004]
[Problems to be solved by the invention]
As described above, in the conventional method, only the height of the in-vehicle camera and the depression angle of the camera optical axis are evaluated as the installation error. However, since the installation error of the camera includes the rotation direction error around the optical axis, the above conventional method accurately evaluates and calibrates the installation error for all the elements in the rotation direction, height, and left and right directions. is not. Also, if all the elements in the rotation direction, height, and left-right direction of the camera installation error are evaluated using the image data of one pattern drawn on the ground, depending on those elements, In some cases, accurate evaluation cannot be obtained.
[0005]
The present invention has been made in view of the above points, and an object of the present invention is to provide a calibration method and a calibration device for an in-vehicle camera capable of accurately performing in-vehicle camera calibration for each of a plurality of elements. And
[0006]
[Means for Solving the Problems]
According to the first aspect of the present invention, the camera light is displayed on a display screen that is disposed on the vehicle body so that the optical axis of the camera intersects at a desired position at a predetermined distance from the ground and the vehicle body, and is projected based on the imaging data. A calibration method for an in-vehicle camera in which a region above the axis center is frequently used,
The in-vehicle camera is drawn on the ground and the desired position Place A first real pattern photographing step of photographing a first real pattern including at least two different points located on a line perpendicular to a desired camera optical axis passing through;
A first measuring step in which an electronic control unit measures a rotational deviation about the camera optical axis of the in-vehicle camera using image data obtained by photographing the first actual pattern in the first actual pattern photographing step; ,
A second actual pattern imaging step in which the in-vehicle camera captures a second actual pattern drawn on the ground and including at least one point located farther from the vehicle than the position of the first actual pattern;
A second measuring step in which the electronic control unit measures the direction deviation of the camera optical axis of the in-vehicle camera using the image data obtained by photographing the second actual pattern in the second actual pattern photographing step;
This is achieved by a calibration method for an in-vehicle camera comprising:
[0007]
In the present invention, the measurement of the rotational deviation around the camera optical axis of the in-vehicle camera is performed on a line perpendicular to the desired camera optical axis on the ground passing through one point near the grounding point where the desired camera optical axis intersects the ground. This is performed using imaging data obtained by imaging the first actual pattern including at least two different points. According to the first actual pattern, it is possible to detect the rotational phase error from the desired camera optical axis with the highest accuracy. In addition, the measurement of the direction deviation of the camera optical axis of the in-vehicle camera is performed using imaging data obtained by imaging a second actual pattern including at least one point located farther from the vehicle than the position of the first actual pattern. Generally, a camera is installed in a vehicle with a depression angle, and an area above the ground point of the camera optical axis is frequently used in a captured image of the camera. Therefore, according to the above-described second actual pattern, it is possible to detect the positional angle deviation from the desired one of the camera optical axis with the highest accuracy in the multiuse area. In this regard, according to the present invention, the calibration of the in-vehicle camera can be accurately performed for each of the rotational deviation around the camera optical axis and the lateral deviation of the camera optical axis in the horizontal and vertical directions.
[0008]
In the present invention, the “line perpendicular to the camera optical axis” refers to a horizontal line in the vehicle width direction perpendicular to the camera optical axis.
[0009]
In this case, as described in claim 2, in the in-vehicle camera calibration method according to claim 1, the first measurement step includes the first actual pattern displayed on the display screen and the display. In the optical axis of the camera superimposed on the screen Heart The electronic control unit measures the rotational deviation based on a rotational input operation amount for adjusting a relative rotational position with a first screen display pattern including at least two different points located on a horizontal line passing through; In the second measurement step, at least the second actual pattern projected on the display screen and the position of the first screen display pattern superimposed on the display screen are positioned above. The electronic control unit may measure the direction deviation based on the direction input operation amount for adjusting the relative position with the second screen display pattern including one point.
[0010]
In the present invention, the “relative position” between the first actual pattern and the first screen display pattern is a phase in the rotational direction.
[0011]
Further, as described in claim 3, in the in-vehicle camera calibration method according to claim 2, the first measurement step includes: Above Relative relationship between the first actual pattern and the first screen display pattern on the display screen rotation According to the rotation input operation to adjust the position, Electronic control unit The second measurement step includes a rotation correction step for rotating and correcting the first screen display pattern or imaging data displayed on the display screen, Above According to the direction input operation for adjusting the relative position between the second actual pattern and the second screen display pattern on the display screen, Electronic control unit If there is a position correction step for correcting the position of the second screen display pattern or the image data displayed on the display screen, calibration is performed by adjusting the relative position between the first actual pattern and the first screen display pattern. In addition, both calibrations by adjusting the relative positions of the second actual pattern and the second screen display pattern can be easily realized.
[0012]
The above object is also provided in a display screen that is arranged on the vehicle body so that the optical axis of the camera intersects at a desired position at a predetermined distance from the ground and the vehicle, and is projected based on the imaging data. An in-vehicle camera calibration device in which an area above the center of the camera optical axis is frequently used,
The desired position is drawn on the ground by the in-vehicle camera. Place First real pattern photographing means for photographing a first real pattern including at least two different points located on a line perpendicular to a desired camera optical axis passing therethrough;
In the display screen, the camera optical axis Heart First screen display means for superimposing and displaying a first screen display pattern including at least two different points located on a horizontal line passing through;
On the display screen, a rotational input operation is performed to adjust a relative rotational position between the first actual pattern projected on the display screen and the first screen display pattern by the first screen display means. First input operation means;
A second real pattern photographing means for photographing a second real pattern drawn on the ground by the in-vehicle camera and including at least one point located farther from the vehicle than the position of the first real pattern;
Second screen display means for superimposing a second screen display pattern including at least one point located above the position of the first screen display pattern on the display screen;
On the display screen, a direction input operation is performed to adjust the relative position between the second actual pattern projected on the display screen and the second screen display pattern by the second screen display means. Two input operation means;
Data generating means for generating calibration data of the in-vehicle camera based on the rotational input operation amount to the first input operation means and the direction input operation amount to the second input operation means;
This is achieved by an on-vehicle camera calibration device comprising:
[0013]
In the present invention, the display screen displays a first screen display pattern including at least two different points located on a horizontal line passing through one point near the camera optical axis of the display screen, and the first screen A second screen display pattern including at least one point located above the position of the display pattern is displayed. Then, the calibration data of the in-vehicle camera is generated to the first input operation means for adjusting the relative rotational deviation between the first screen display pattern and the actual pattern on the ground projected based on the imaging data on the display screen. To the second input operation means for adjusting the rotation input operation amount and the relative position other than the relative rotational deviation between the second screen display pattern and the actual pattern on the ground projected based on the imaging data on the display screen. This is performed based on the direction input operation amount. According to the comparison between the first screen display pattern and the actual pattern, the rotational phase error from the desired camera optical axis can be detected with the highest accuracy. In general, a camera is installed in a vehicle with a depression angle, and an area above the ground point of the camera optical axis is frequently used in a captured image of the camera. Therefore, according to the comparison between the second screen display pattern and the actual pattern, it is possible to detect the positional angle deviation of the camera optical axis from the desired one with the most accurate area. In this regard, according to the present invention, the calibration of the in-vehicle camera can be accurately performed for each of the rotational deviation around the camera optical axis and the horizontal and vertical direction deviations of the optical axis.
[0014]
In this case, as described in claim 5, in the in-vehicle camera calibration apparatus according to claim 4, the data generation unit is configured to detect the camera of the in-vehicle camera based on a rotation input operation amount to the first input operation unit. A rotation deviation measuring means for measuring a rotation deviation around the optical axis, and a direction deviation measuring means for measuring the direction deviation of the camera optical axis of the in-vehicle camera based on a direction input operation amount to the second input operation means. It is sufficient to have it.
[0015]
According to a sixth aspect of the present invention, in the in-vehicle camera calibration device according to the fifth aspect, the first screen displayed by the first screen display means according to a rotational input operation to the first input operation means. Display pattern or Above According to a rotation correction means for rotationally correcting the imaging data displayed on the display screen, and the direction input operation to the second input operation means, the second screen display pattern by the second screen display means or Above And a position correction unit that corrects the position of the imaging data displayed on the display screen. Calibration of rotational deviation around the optical axis by adjusting the relative position between the first actual pattern and the first screen display pattern. In addition, it is possible to easily realize calibration of the optical axis direction deviation by adjusting the relative position between the second actual pattern and the second screen display pattern.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a configuration diagram of a system mounted on a vehicle according to an embodiment of the present invention. The system of the present embodiment controls the vehicle steering so that the vehicle moves along the guidance route to the target parking position on the road surface where the vehicle should be parked when parking the vehicle such as garage parking or parallel parking. Automatic steering control that is automatically executed regardless of operation, and estimated movement trajectory and vehicle width extension line according to the actual steering angle on the vehicle periphery image displayed on the display screen of the display monitor mounted in the vehicle , A parking support device 10 that performs guide monitor control for superimposing and displaying a distance reference line. Hereinafter, the automatic steering control and the guide monitor control are appropriately referred to as parking assist control.
[0017]
As shown in FIG. 1, the parking assist device 10 includes a parking assist electronic control unit (hereinafter referred to as a parking assist ECU) 12 and is controlled by the parking assist ECU 12. A back camera 14 is connected to the parking assist ECU 12. The back camera 14 is disposed horizontally downward in the center of the rear part of the vehicle body, and captures an area that spreads within a predetermined angular range from the disposed portion to the rear of the vehicle. The rear camera 14 has a predetermined depression angle with respect to the vehicle body while the optical axis thereof is oriented in a direction perpendicular to the vehicle width direction in advance, and the optical axis intersects the road surface at a rear position at a distance of about 1 m from the rear end of the vehicle body. Attached to. Image information around the rear of the vehicle photographed by the back camera 14 is supplied to the parking assist ECU 12.
[0018]
A touch display 16 is also connected to the parking assist ECU 12. The touch display 16 is disposed at a position where the vehicle driver can visually recognize and operate (for example, at the center of the instrument panel). For example, when the vehicle shift position is in the reverse position, the parking assist ECU 12 causes the touch display 16 to display an actual image from the back camera 14. The touch display 16 projects the vehicle rear periphery by the back camera 14 on the display screen according to the command of the parking assist ECU 12. Further, the touch display 16 superimposes and displays auxiliary lines, frames, and the like for parking assist control on the actual image by the back camera 14 in accordance with a command from the parking assist ECU 12.
[0019]
The touch display 16 is provided with a touch operation unit such as a pressure-sensitive type or a temperature-sensitive type that can be operated by a vehicle driver. The touch operation unit includes a plurality of hierarchical switches and is displayed on the display screen according to a command from the parking assist ECU 12. Parking assist ECU12 detects the touch operation of the vehicle driver to a touch operation part, and performs the process according to the content of this touch operation part. The touch operation unit includes a switch for starting the garage parking mode as a parking assist control, a switch for starting the parallel parking mode, and an arrow button for designating a target parking position where the driver parks the vehicle. A switch etc. are included.
[0020]
An electric power steering device (hereinafter referred to as EPS) 18 is also connected to the parking assist ECU 12. The EPS 18 is a torque sensor that detects a steering torque applied to a steering shaft by a steering operation by a vehicle driver, a steering angle sensor that detects a steering angle of a steering shaft corresponding to a wheel steering angle, and an electric motor that applies torque to the steering shaft. And a motor. The EPS 18 generates a torque that assists the steering torque when the driver performs a steering operation. The EPS 18 also performs a steering operation by the driver when parking the vehicle such as garage parking or parallel parking as described later. Torque is generated in the electric motor for steering the vehicle without being accompanied.
[0021]
The EPS 18 supplies the detected steering angle information of the steering shaft to the parking assist ECU 12. The parking assist ECU 12 supplies to the EPS 18 a target rudder angle that should be realized by the steering shaft as described later when the parking assist control is executed. The EPS 18 generates torque for parking assist control in the electric motor by supplying the target rudder angle from the parking assist ECU 12.
[0022]
Further, the parking assist ECU 12 has a built-in memory 20 that can read and write data. The memory 20 includes position information on the road surface (in absolute coordinates) of the target parking position set by position setting by the driver as described later, and route information of the guidance route to the target parking position generated by calculation, In addition, calibration information of the back camera 14 is stored. The position information of the target parking position and the route information of the guidance route stored in the memory 20 are usually when the shift position is shifted from the reverse position to the parking position, the neutral position, or when the vehicle approaches the target parking position, etc. It is erased when parking assist control is completed. Note that once the calibration information of the back camera 14 is written, it is continuously stored until rewriting is performed.
[0023]
Hereinafter, the basic operation of the parking assistance apparatus 10 of the present embodiment will be described.
[0024]
FIG. 2 is a diagram illustrating an image displayed on the display screen of the touch display 16 at the start of parking assist control in the parking assist device 10 of the present embodiment. FIG. 3A is a diagram showing an image displayed on the display screen of the touch display 16 when the target parking position for garage parking is designated in the parking assistance device 10 of the present embodiment. B) shows the figure showing the image displayed on the display screen of the touch display 16 when the target parking position of parallel parking is designated in the parking assistance apparatus 10 of a present Example, respectively.
[0025]
In this embodiment, first, the driver stops the vehicle at a neutral position (steering angle zero) at a position where a certain distance is ensured with respect to a desired parking position where parking is desired. When the shift position of the vehicle is shifted to the reverse position in such a state, the surrounding situation behind the vehicle by the back camera 14 is displayed on the display screen of the touch display 16. In this case, execution of parking assist control is permitted and guide monitor control is started.
[0026]
As shown in FIG. 2, this guide monitor control is detected using a steering angle sensor of EPS 18 on the vehicle rear periphery image displayed on the display screen of the touch display 16 so as to match the road surface in the image. From the estimated movement trajectory X indicating the expected course of each of the inner and outer wheels according to the actual vehicle steering angle, the vehicle width extension line Y indicating the extension line of the vehicle body width on the road surface, and the rear end of the vehicle bumper The distance guide line M indicating the distance on the road surface is superimposed and displayed. In addition, the maximum rudder angle line indicating the expected course according to the maximum rudder angle allowed in the vehicle may be superimposed and displayed, and each of these trajectories and lines may be displayed on the display screen of the touch display 16. It is good also as displaying so that a color, a color, etc. may mutually differ.
[0027]
Further, when a predetermined switch for requesting parking assistance by automatic steering control is turned on by the vehicle driver in a state in which an image of the rear periphery of the vehicle by the back camera 14 is displayed on the touch display 16, automatic operation by automatic steering control is performed. In order to realize steering, on the display screen, the guide display by the guide monitor control is continued, and the switch for starting the garage parking mode as the automatic steering control of the parking assist control and the parallel parking mode are started. The switch to do appears (initial screen).
[0028]
When the garage parking mode switch is touched in such a state, the guide display by the guide monitor control is stopped, and the display screen of the touch display 16 shows an image of the rear periphery of the vehicle by the back camera 14. Thus, as shown in FIG. 3A, a frame (hereinafter referred to as a parking space frame) S indicating a target parking position where the vehicle is to be parked and parked on the road surface matches the road surface in the image. In addition, an arrow button switch C for adjusting the target parking position on the road surface by moving and rotating is superimposed and displayed (setting screen).
[0029]
At this time, as an arrow button switch C, an upward switch for moving the target parking position far away from the host vehicle on the road surface, a downward switch for moving closer, a leftward switch for moving left, and a rightward movement A right-handed switch, a counterclockwise switch that rotates counterclockwise, and a clockwise switch that rotates clockwise appear. In such a configuration, the target parking position can be arbitrarily moved in four directions through a position operation on the display screen of the parking space frame S, and can be freely rotated around the center.
[0030]
Further, when the parallel parking mode switch is touch-operated on the display screen of the touch display 16, the guide display by the guide monitor control is stopped, and the vehicle rear periphery by the back camera 14 is displayed on the display screen. Thus, as shown in FIG. 3 (B), a parking space frame S indicating a target parking position where the vehicle should be parked in parallel on the road surface is superimposed and displayed so as to match the road surface in the image. An arrow button switch C for moving the target parking position on the road surface is superimposed and displayed (setting screen).
[0031]
At this time, as the arrow button switch C, the above-described upward switch, downward switch, leftward switch, and rightward switch appear, while the counterclockwise switch and clockwise switch do not appear. In such a configuration, the target parking position can be arbitrarily moved in all directions through a position operation on the display screen of the parking space frame S, but does not rotate around the center and is forward and backward with respect to the vehicle. It only moves in the vehicle width direction.
[0032]
Here, the initial display position of the parking space frame S is always a constant in-screen position with the default position having a predetermined relative positional relationship with the vehicle position at that time as the initial position of the target parking position, or It is the position in the screen corresponding to the initial position of the target parking position set before the time. Further, the parking space frame S corresponds to the target parking position on the actual road surface, and if projected onto the actual road surface, the parking space frame S is a rectangular shape having a size substantially corresponding to the vehicle body size. Although it has a shape, it is formed on the display screen of the touch display 16 in a shape corresponding to the position on the vehicle rear image (on the camera coordinates) by the back camera 14 projected on the display screen.
[0033]
When the arrow button switch C is touched by the driver, the target parking position moves Xcm (for example, 5 cm) or rotates Y ° (for example, 1 °) on the actual road surface every time the driver touches the touch button. The parking space frame S is displaced on the 16 display screens. At this time, the closer the target parking position is to the vehicle, the larger the movement amount of the parking space frame S on the display screen of the touch display 16 from the perspective relationship in the rear image of the vehicle by the back camera 14. Become.
[0034]
When the parking space frame S and the arrow button switch C are displayed on the display screen of the touch display 16, the current position of the vehicle at that time is set as the guidance start position every predetermined time (for example, 2 ms) thereafter. To the target parking position according to the operation position of the parking space frame S is calculated.
[0035]
When the garage parking mode switch or the parallel parking mode switch is touch-operated, the parking space frame S and the arrow button switch C together with the target parking by the parking space frame S as shown in FIGS. A confirmation button switch K for confirming the position setting is superimposed and displayed. When the confirmation button switch K is touch-operated in a state where the guidance route to the target parking position is generated by calculation, the designation of the target parking position is confirmed, and thereafter, execution of automatic steering by automatic steering control is permitted. The guide display by the guide monitor control is resumed. In the guide display at this time, the vehicle width extension line Y may not be displayed, and this guide monitor control may be continued until the automatic steering control is completed.
[0036]
In the above configuration, in the garage parking mode, the calculation of the guide route to the target parking position is a predetermined geometry determined from the minimum turning radius of the host vehicle and the relative position relationship between the current position of the host vehicle and the target parking position. When a certain position condition is satisfied, the route is as follows: (1) a straight-ahead and backward section of a predetermined distance, (2) a section where the rudder angle is increased by a clothoid, (3) a steady circle turning section by a fixed rudder angle, and (4) a clothoid Is performed based on the above relative positional relationship so that each of the steering angle switching back section and the straight traveling section of (5) a predetermined distance is appropriately formed. However, the straight forward / backward section at the beginning of the route may not be formed at all. Further, in the parallel parking mode, the calculation of the guidance route to the target parking position is performed based on a predetermined geometric shape determined from the minimum turning radius of the own vehicle and the relative positional relationship between the current position of the own vehicle and the target parking position. When the position condition is satisfied, the process is performed based on the relative positional relationship so that a state where two circles are in contact with each other is appropriately formed.
[0037]
When the guidance route to the target parking position is calculated in the garage parking mode and the parallel parking mode and the guidance route is effectively generated within the range in which the vehicle can actually travel, the parking assist is displayed on the display screen of the touch display 16. In order to show that control can be executed, the parking space frame S is colored, for example, green. When a valid guidance route to the target parking position is generated by calculation and the confirmation button switch K on the touch display 16 is touched in a state where the inside of the parking space frame S is colored green, the target parking position information and The guide route information is stored in the memory 20, and the arrow button switch C and the confirmation button switch K on the touch display 16 are not displayed.
[0038]
On the other hand, if the effective guide route to the target parking position is not generated by calculation due to the relative position of the vehicle and the target parking position not satisfying the predetermined relationship, the parking assist control cannot be executed. In order to indicate that the parking space frame S is colored in red, for example, the arrow button switch C and the confirmation button switch K are continuously displayed to prompt the target parking position or the guidance start position to be changed. Is done.
[0039]
Creep phenomenon or the like when the driver releases the brake operation in a state where the effective guidance route to the target parking position is generated and the designation of the target parking position is completed by the touch operation of the confirmation button switch K on the touch display 16 When the vehicle starts to move backward, the automatic steering by the automatic steering control for guiding the vehicle to the target parking position is subsequently executed. Specifically, the movement amount of the vehicle relative to the road surface from the guidance start position is calculated, and the vehicle with respect to the guidance route to the generated target parking position based on the calculated movement amount and the steering angle information from the EPS 18 is calculated. And a target rudder angle for moving the vehicle along the generated guidance route is calculated. The calculated target rudder angle is supplied to the EPS 18. The EPS 18 generates torque for rotating the steering shaft in the electric motor so as to move the vehicle along the generation guide route based on the target steering angle from the parking assist ECU 12.
[0040]
As described above, according to the configuration of the present embodiment, when the vehicle is moved backward by shifting the shift position to the reverse position, the surrounding image of the rear of the vehicle is displayed on the display screen of the touch display 16, It is possible to execute guide monitor control in which various guide lines indicating the state of an expected vehicle or the like that assists the vehicle driver in steering operation are superimposed and displayed so as to match the road surface in the image. . In this case, the driver can assist the vehicle through the display screen of the touch display 16 to know how close the vehicle is to the obstacle, a desired parking position, etc. It is possible to easily realize a steering operation for retreating without making contact with the vehicle or for reversing appropriately to a desired parking position. Therefore, according to the parking assistance apparatus 10 of the present embodiment, the steering operation is facilitated by assisting the driver's steering operation when the vehicle moves backward.
[0041]
In addition, according to the configuration of the present embodiment, automatic steering control for automatically steering the vehicle along the guidance route to the target parking position set by the operation of the vehicle driver is executed during parking in the garage and parallel parking. be able to. If such automatic steering control is executed, it is unnecessary for the driver to perform a steering operation. For this reason, according to the parking assistance apparatus 10 of a present Example, the burden of a driver | operator's steering operation is reduced at the time of garage parking and parallel parking.
[0042]
By the way, as in the present embodiment, various guide lines indicating the expected course and the like are superimposed on the vehicle rear periphery image on the display screen of the touch display 16 and the position operation of the parking space frame S on the touch display 16 is performed. In the configuration in which the target parking position where the vehicle is to be parked is specified and set according to the above, in order to make the function accurate, the installation and fixing of the back camera 14 to the vehicle is performed accurately according to the standard, and the camera optical axis And the rotational position around the optical axis must be set accurately according to the reference. However, accurate installation of the back camera 14 is difficult, and a slight deviation occurs in the rotational position of the back camera 14 around the camera optical axis and in the direction of the camera optical axis. When the guide line is displayed on the display screen of the touch display 16 in a state where such a shift occurs and the target parking position is designated according to the position operation of the parking space frame S on the touch display 16, the control functions thereof are performed. There is a situation in which it is not possible to fully demonstrate.
[0043]
Therefore, in order to prevent the occurrence of such a situation, the system according to the present embodiment, after the back camera 14 is mounted and fixed on the vehicle in a vehicle assembly factory, repair shop, or the like, the axis of the camera optical axis is maintained in that state. It is assumed that calibration for executing rotation adjustment around and up / down / left / right position angle adjustment (direction adjustment) by electronic software is performed manually by an adjustment operator. Hereafter, the characteristic part of a present Example is demonstrated with reference to FIG. 4 thru | or FIG.
[0044]
FIG. 4 shows a diagram of the configuration of the infrastructure equipment for adjusting the camera optical axis of the back camera 14 in this embodiment as viewed from above the vehicle. In the present embodiment, the infrastructure equipment includes a rotation adjustment target Tr and a position adjustment target Tp drawn on the ground of a vehicle assembly factory or repair factory. The rotation adjustment target Tr is a target used when adjusting the rotation of the back camera 14 around the camera optical axis, while the position adjustment target Tp adjusts the vertical and horizontal positions of the camera optical axis of the back camera 14. It is a target used when doing.
[0045]
Two rotation adjustment targets Tr exist at a position 1 m away from the rear end (bumper end) of the vehicle body when the vehicle on which the back camera 14 is mounted is stopped at a position where the vehicle should stop, and pass through the center of the vehicle body. The front and rear direction lines perpendicular to the width direction are opposed to each other on the vehicle width direction line. Each rotation adjustment target Tr is separated from the above-mentioned front-rear direction line by about 1.4 m in the vehicle width direction, has a vehicle width direction length of about 0.3 m, and a front-rear direction length of about 0.03 m. It has a certain size. The pair of rotation adjustment targets Tr constitute one pattern (hereinafter, this pattern is referred to as a rotation adjustment actual pattern). In this case, the actual rotation adjustment pattern is composed of two rotation adjustment targets Tr positioned on the vehicle width direction line.
[0046]
Further, the position adjustment target Tp is, for example, 2.7 m behind the position of the rotation adjustment target Tr from the rear end (bumper end) of the vehicle body when the vehicle on which the back camera 14 is mounted is stopped. Two of them are located at a distance from each other, and are opposed to each other on the vehicle width direction line with a front-rear direction line perpendicular to the vehicle width direction passing through the center of the vehicle body. Each position adjustment target Tp is separated from the above-described front-rear direction line by about 1.6 m in the vehicle width direction, has a vehicle width direction length of about 0.3 m, and a front-rear direction length of about 0.25 m. It has a certain size. The pair of position adjustment targets Tp constitutes one pattern (hereinafter, this pattern is referred to as a position adjustment actual pattern). In this case, the actual pattern for position adjustment is constituted by two position adjustment targets Tp located on the vehicle width direction line.
[0047]
In the system of this embodiment, when the adjustment operator calibrates the camera optical axis of the back camera 14, first, the vehicle is placed on the ground on which the rotation adjustment target Tr and the position adjustment target Tp are drawn. The vehicle is stopped at a position having a predetermined relative relationship with the rotation adjustment target Tr and the position adjustment target Tp. In such a state, when a predetermined facility is connected to the parking assist ECU 12 in the vehicle or a predetermined terminal of the parking assist ECU 12 is short-circuited, the parking assist device 10 detects the camera optical axis of the back camera 14. Functioning as a calibration device for adjusting the camera, and an adjustment mode of the camera optical axis is realized.
[0048]
Here, as described above, in the present embodiment, the back camera 14 is disposed horizontally downward in the center of the rear part of the vehicle body, and its optical axis is oriented in a direction perpendicular to the vehicle width direction in advance and has a predetermined depression angle with respect to the vehicle body. In addition, the optical axis is attached so that it intersects the road surface and a rear position at a distance of about 1 m from the rear end of the vehicle body. Accordingly, when the back camera 14 is installed and fixed in the vehicle in such a desired state, when the vehicle is stopped at the position having the predetermined relative relationship with the rotation adjustment target Tr and the position adjustment target Tp, In the image captured by the back camera 14, the two rotation adjustment targets Tr are positioned on a horizontal line passing through the center of the optical axis, that is, the center of the screen, and are positioned in a symmetrical relationship with respect to the vertical line passing through the center of the screen. At the same time, the two position adjustment targets Tp are positioned on a horizontal line and positioned in a symmetrical relationship with respect to the vertical line passing through the center of the screen.
[0049]
On the other hand, when the back camera 14 is not installed and fixed to the vehicle in the desired state, when the vehicle is stopped at the position having the predetermined relative relationship with the rotation adjustment target Tr and the position adjustment target Tp, In the image captured by the back camera 14, when rotation deviation occurs around the optical axis, the two rotation adjustment targets Tr are not positioned on a horizontal line passing through the center of the screen and are symmetrical with respect to a vertical line passing through the center of the screen. It will not be positioned. Further, when the direction of the camera optical axis is shifted, there is a possibility that the two rotation adjustment targets Tr may be positioned on the horizontal line but not on the horizontal line passing through the center of the screen. Is not positioned on a horizontal line, or even if it is positioned on a horizontal line, it is not positioned in a symmetrical positional relationship across a vertical line passing through the center of the screen.
[0050]
In this regard, if a relative position between the line connecting the two rotation adjustment targets Tr in the image captured by the back camera 14 (the extending direction of the rotation adjustment actual pattern) and the horizontal line, specifically, a relative rotation deviation is detected, It is possible to measure a rotational deviation from a desired one around the camera optical axis of the back camera 14. Further, by detecting the vertical / horizontal deviation of the position adjustment target Tp in the captured image, that is, the actual position adjustment pattern, the deviation of the camera optical axis of the back camera 14 from the desired one can be measured. .
[0051]
FIG. 5 is a diagram for explaining the calibration procedure of the camera optical axis of the back camera 14 in this embodiment. FIG. 6 is a diagram showing a display displayed on the display screen of the touch display 16 when adjusting the rotation of the camera optical axis in the present embodiment. Further, FIG. 7 is a diagram showing a display displayed on the display screen of the touch display 16 when the position of the camera optical axis is adjusted in the present embodiment.
[0052]
In the present embodiment, the camera optical axis adjustment mode of the back camera 14 starts with a rotation adjustment mode for performing rotation adjustment around the optical axis. When the camera optical axis adjustment mode is started, a vehicle rear periphery image by the back camera 14 is displayed on the display screen of the touch display 16 thereafter. At this time, if the vehicle is stopped at the predetermined relative position with respect to the rotation adjustment target Tr and the position adjustment target Tp drawn on the ground, the rotation adjustment is included in the image on the touch display 16. The actual rotation adjustment pattern having the target Tr and the actual position adjustment pattern having the position adjustment target Tp are included.
[0053]
Further, when the rotation adjustment mode is started, the vehicle rear periphery image by the back camera 14 is displayed on the display screen of the touch display 16 and is arranged in parallel at a predetermined distance as shown in FIG. A pattern composed of a plurality of lines (hereinafter referred to as a rotation adjustment screen display pattern) Pr is superimposed and displayed, and the rotation adjustment screen display pattern Pr is rotated on the display screen. A rotation adjustment arrow button switch Cr is superimposed and displayed.
[0054]
The rotation adjustment screen display pattern Pr includes two or more points on a horizontal line passing through the center of the camera optical axis on the display screen of the touch display 16, that is, the center of the screen. It is displayed so as to be parallel to the horizontal line of the display screen. The rotation adjustment arrow button switch Cr includes a counterclockwise switch that rotates the rotation adjustment screen display pattern Pr counterclockwise on the screen and a clockwise switch that rotates it clockwise. When the rotation adjustment arrow button switch Cr is operated once, the rotation adjustment screen display pattern Pr rotates, for example, 0.4 ° on the screen. When the rotation adjustment arrow button switch Cr is continuously operated, the rotation adjustment screen display pattern Pr is continuously rotated on the screen every predetermined time. The rotation adjustment screen display pattern Pr can be rotated, for example, by 2 ° at the maximum counterclockwise and clockwise from the initial state in which a plurality of lines are parallel to the horizontal line of the screen.
[0055]
When the rotation adjustment screen display pattern Pr and the rotation adjustment arrow button switch Cr are superimposed on the display screen of the touch display 16, the rotation adjustment screen display pattern Pr is subsequently touched by the rotation adjustment arrow button switch Cr. Can be rotated. The adjustment operator looks at the display screen of the touch display 16 and uses a pair of rotation adjustments constituting the actual rotation adjustment pattern in the image in which the line of the rotation adjustment screen display pattern Pr is displayed on the display screen. The rotation adjustment arrow button switch Cr is touch-operated so as to be parallel to the line connecting the targets Tr (the extending direction of the rotation adjustment actual pattern). For example, as shown in FIG. 6, the extending direction of the actual pattern for rotation adjustment in the image displayed on the display screen of the touch display 16 in the initial stage of the rotation adjustment mode is inclined clockwise with respect to the horizontal line of the display screen. If so, the clockwise switch of the rotation adjustment arrow button switch Cr is operated to rotate the rotation adjustment screen display pattern Pr in the clockwise direction. Then, when the line of the rotation adjustment screen display pattern Pr becomes parallel to the extending direction of the actual rotation adjustment pattern, the operation of the rotation adjustment arrow button switch Cr is completed.
[0056]
When the rotation adjustment screen display pattern Pr and the rotation adjustment arrow button switch Cr are superimposed on the display screen of the touch display 16, a “next” button switch for proceeding to the rotation adjustment mode is simultaneously displayed. It is displayed superimposed. When the “Next” button switch is touch-operated, the rotation amount on the screen of the rotation adjustment screen display pattern Pr at that time is temporarily stored, and the rotation adjustment mode is ended, specifically, the rotation. The adjustment screen display pattern Pr and the rotation adjustment arrow button switch Cr are erased from the display screen, and then a left / right / up / down position adjustment mode for adjusting the up / down / left / right positions of the camera optical axis of the back camera 14 is started. .
[0057]
When the left / right / up / down position adjustment mode is started, as shown in FIG. 7, the position adjustment displayed on the display screen of the vehicle rear peripheral image by the back camera 14 is displayed on the display screen of the touch display 16. A pattern Pp surrounded by a line having a size that can include the target Tp (hereinafter, this pattern is referred to as a position adjustment screen display pattern) Pp is superimposed and displayed, and the position adjustment screen display pattern Pp is A position adjustment arrow button switch Cp for moving the position in the horizontal direction and the vertical direction on the display screen is superimposed and displayed.
[0058]
One position adjustment screen display pattern Pp is provided symmetrically on the display screen in correspondence with each of the two position adjustment targets Tp. The position adjustment screen display pattern Pp is positioned above the position of the rotation adjustment screen display pattern pr described above on the display screen of the touch display 16, and a line connecting the left and right patterns Pp in the initial state is the display screen. It is displayed so as to be parallel to the horizontal line. When the rotation adjustment screen display pattern Pr is rotated in the rotation adjustment mode described above, the line connecting the left and right position adjustment screen display patterns Pp is the amount of rotation at the beginning of the left and right vertical position adjustment mode. Will only tilt with respect to the horizontal line of the display screen.
[0059]
The position adjustment arrow button switch Cp includes a left switch for moving the screen display pattern Pp for position adjustment to the left on the screen, a right switch for moving to the right, a downward switch for moving downward, and an upward movement. There is an upward switch to allow. When the position adjustment arrow button switch Cp is operated once, the position adjustment screen display pattern Pp moves on the screen by, for example, an inclination corresponding to an optical axis of 0.4 °. Further, when the position adjustment arrow button switch Cp is continuously operated, the position adjustment screen display pattern Pp continuously rotates on the screen every predetermined time. Note that the position adjustment screen display pattern Pp can be moved from the initial state in the horizontal direction and the vertical direction, for example, by an amount corresponding to the inclination of the optical axis 2 °.
[0060]
When the position adjustment screen display pattern Pp and the position adjustment arrow button switch Cp are superimposed on the display screen of the touch display 16, the position adjustment screen display pattern Pp is subsequently touched by the position adjustment arrow button switch Cp. The position can be moved. While looking at the display screen of the touch display 16, the adjustment operator moves the position adjustment arrow button so that the position adjustment target Tp in the image displayed on the display screen enters the position adjustment screen display pattern Pp. Touch the switch Cp. For example, as shown in FIG. 7, when the position adjustment target Tp in the image displayed on the display screen of the touch display 16 is positioned at the left front of the position adjustment screen display pattern Pp in the initial stage of the left / right / up / down position adjustment mode. Operates the left switch and the down switch of the position adjustment arrow button switch Cp to move the position adjustment screen display pattern Pp to the left front. When the position adjustment target Tp enters the position adjustment screen display pattern Pp, the operation of the position adjustment arrow button switch Cp is completed.
[0061]
When the position adjustment screen display pattern Pp and the position adjustment arrow button switch Cp are superimposed on the display screen of the touch display 16, a “next” button for proceeding to the left / right / up / down position adjustment mode at the same time. A switch and a “return” button switch for returning to the rotation adjustment mode are displayed in a superimposed manner. When the “return” button switch is touched, a rotation adjustment mode for adjusting the rotation of the camera optical axis of the back camera 14 around the optical axis is realized again, and the rotation adjustment around the optical axis becomes possible. On the other hand, when the “Next” button switch is touch-operated, the movement amount of the position adjustment screen display pattern Pp on the screen at that time is temporarily stored and the left / right / up / down position adjustment mode is ended. The position adjustment screen display pattern Pp and the position adjustment arrow button switch Cp are erased from the display screen, and then a confirmation mode for confirming the adjustment of the camera optical axis is started.
[0062]
When the confirmation mode is started, on the display screen of the touch display 16, an estimated movement trajectory X indicating an expected course according to the actual steering angle of the vehicle in a state in which an image behind the vehicle by the back camera 14 is projected. Distance reference lines M1 and M2 indicating distances 0.5m and 1.0m from the rear end of the vehicle bumper indicate the temporarily stored rotation amount of the rotation adjustment screen display pattern Pr and the movement amount of the position adjustment screen display pattern Pp. In consideration, the image is superimposed and displayed so as to match the road surface in the image. At the same time, a “complete” button switch for completing the camera optical axis adjustment mode of the back camera 14 and a “return” button switch for returning to the above-described left / right / up / down position adjustment mode are superimposed.
[0063]
When such a state is realized, the adjustment operator confirms that the rotation adjustment target Tr shown on the display screen and the distance reference line M2 indicating the distance 1.0 m from the rear end of the vehicle bumper overlap. Check. As a result of the confirmation, if it is determined that the two do not overlap, the “return” button switch is touch-operated. In this case, a left / right / up / down position adjustment mode for adjusting the vertical / left / right position of the camera optical axis of the back camera 14 is realized, and a rotation adjustment mode can be realized. On the other hand, when it is determined that the rotation adjustment target Tr and the distance guide line M2 overlap, the “complete” button switch is touch-operated. In this case, the rotation amount on the screen of the rotation adjustment screen display pattern Pr in the rotation adjustment mode and the movement amount on the screen of the position adjustment screen display pattern Pp in the left / right / up / down position adjustment mode are stored in the memory. 20 and the confirmation mode ends, and the camera optical axis adjustment mode of the back camera 14 is completed.
[0064]
Here, the amount of rotation on the screen of the rotation adjustment screen display pattern Pr in the rotation adjustment mode corresponds to the amount of relative rotation deviation with respect to the screen horizontal line in the extending direction of the rotation adjustment actual pattern, and the camera light of the back camera 14. This corresponds to a rotational deviation from the desired one around the axis. Further, the amount of movement of the position adjustment screen display pattern Pp on the screen in the left / right / up / down position adjustment mode corresponds to the amount of vertical / left / right displacement of the actual position adjustment pattern, and the desired optical axis of the back camera 14 This is equivalent to a deviation from the direction.
[0065]
If the rotational deviation of the back camera 14 around the camera optical axis from the desired one and the direction deviation of the camera optical axis from the desired one can be measured, the coordinates (absolute coordinates) on the road surface with respect to the vehicle and the display screen of the touch display 16 The conversion parameters used for the conversion with the upper coordinates (camera coordinates) correspond to the actual installation and fixing of the back camera 14 from the case where the back camera 14 is installed and fixed in the vehicle in a desired state in advance. Thus, the correspondence between the position on the road surface relative to the vehicle and the position on the display screen of the touch display 16 can be accurately grasped.
[0066]
Accordingly, the rotation adjustment mode is terminated in a state where the line segment of the rotation adjustment screen display pattern Pr is parallel to the extending direction of the rotation adjustment actual pattern on the display screen of the touch display 16, and the touch display 16 If the position adjustment target Tp enters the position adjustment screen display pattern Pp on the display screen, the left / right / up / down position adjustment mode is terminated and the camera optical axis adjustment mode is completed. Accurate camera optical axis adjustment values can be stored as calibration information of the back camera 14 in the memory 20 built in the ECU 12, and thereafter, by conversion between absolute coordinates and camera coordinates using the stored adjustment values. The position on the road surface with respect to the vehicle is accurately associated with the position on the display screen of the touch display 16. Theft is possible.
[0067]
By the way, in the present embodiment, the position where the optical axis of the back camera 14 should intersect with the ground is a rear position at a distance of about 1 m from the rear end of the vehicle body. The positions of the two rotation adjustment targets Tr used in the rotation adjustment around the camera optical axis of the back camera 14 are 1 m away from the rear end of the vehicle body when the vehicle is stopped at the stop position. Position. That is, the two rotation adjustment targets Tr are positioned on a line perpendicular to the desired camera optical axis passing through a grounding point where the desired camera optical axis should intersect the ground.
[0068]
If a deviation occurs in the rotational position of the back camera 14 around the optical axis of the camera, the deviation causes a situation where the captured image is rotated around the center of the screen on the touch display 16. In this regard, as in the present embodiment, the desired camera optical axis is constituted by two rotation adjustment targets Tr positioned on a line perpendicular to the desired camera optical axis passing through a grounding point that should intersect the ground on the ground. If the relative position on the display screen is adjusted with the rotation adjustment actual pattern and the rotation adjustment screen display pattern Pr including two or more points on the horizontal line passing through the screen center on the display screen, Compared to the case where the actual rotation adjustment pattern is composed of two points that are not on the line through which the desired camera optical axis intersects the ground, an error due to lens distortion of the image captured by the back camera 14 is less likely to occur. It becomes possible to detect the rotational position deviation of the camera 14 around the optical axis of the camera with the highest accuracy.
[0069]
In this embodiment, the position on the ground of the position adjustment target Tp used in the vertical / left / right direction adjustment of the camera optical axis of the back camera 14 is from the rear end of the vehicle body when the vehicle is stopped at the stop position. For example, the position is 2.7 m away from the rear. That is, the position adjustment target Tp is located farther on the ground than the position of the rotation adjustment target Tr described above.
[0070]
In the present embodiment, the target parking position to be parked in the garage or in the parallel parking is designated / set according to the position operation of the parking space frame S displayed on the display screen of the touch display 16, but is normally designated. Since the target parking position is generally a position about 3 m behind the position of the vehicle at the start of parking, the target parking position of the back camera 14 that is disposed horizontally on the vehicle body, that is, installed and fixed with a depression angle. In the display screen, an area above the camera optical axis, that is, the center of the screen is often used. Therefore, the target parking position according to the position operation of the parking space frame on the display screen can be accurately associated with the position in the vicinity where the target parking position can be normally specified and the position on the display screen of the touch display 16. It is most effective in improving the position setting accuracy and, in turn, accurately generating the guidance route to the target parking position and fully exhibiting the automatic steering control function.
[0071]
In this regard, as in this embodiment, the vehicle is far from the position of the rotation adjustment target Tr on the ground, and is about 2.7 m backward from the rear end of the vehicle body, which is a practical area where the target parking position is highly likely to be designated. Display of the actual position adjustment pattern constituted by the position adjustment target Tp at a distant position and the position adjustment screen display pattern Pp positioned above the position of the rotation adjustment screen display pattern Pr on the display screen If the relative position on the screen is adjusted, the position adjustment target Tp is up / down / right / left / right of the camera optical axis of the back camera 14 in the practical range as compared with the configuration in which the target Tp is positioned outside the practical range. It becomes possible to detect the direction deviation of the most accurately.
[0072]
As described above, according to the calibration method for adjusting the optical axis of the back camera 14 of the present embodiment, the optical axis adjustment target drawn on the ground is set to each element of the optical axis adjustment (specifically, the camera optical axis). Rotation adjustment around the camera optical axis and direction deviation of the camera optical axis can be achieved with the highest accuracy. Can be detected. For this reason, according to the present embodiment, the calibration of the back camera 14 can be accurately performed for each of the rotational deviation around the camera optical axis and the vertical and horizontal deviations of the camera optical axis.
[0073]
FIG. 8 shows a flowchart of an example of a control routine executed by the parking assist ECU 12 in this embodiment in order to realize the above function. The routine shown in FIG. 8 is repeatedly started every predetermined time. When the routine shown in FIG. 8 is started, first, the process of step 100 is executed.
[0074]
In step 100, it is determined whether or not a predetermined measure for realizing an adjustment mode for adjusting the camera optical axis of the back camera 14 has been taken. As a result, if a negative determination is made, the current routine is terminated without any further processing. On the other hand, if an affirmative determination is made, the process of step 102 is executed next.
[0075]
In step 102, a rotation adjustment mode for adjusting the rotation of the back camera 14 around the camera optical axis is realized. In such a rotation adjustment mode, a rotation adjustment screen consisting of a line parallel to a horizontal line including the center of the optical axis of the camera, that is, the center of the screen, in a state in which an image behind the vehicle is displayed on the display screen of the touch display 16. The display adjustment Pr and the rotation adjustment arrow button switch Cr touch-operated to rotate the rotation adjustment screen display pattern Pr on the display screen are displayed in a superimposed manner. Then, the relative positional relationship between the line segment of the rotation adjustment screen display pattern Pr on the display screen and the extending direction of the actual rotation adjustment pattern drawn on the ground in the image is the rotation adjustment arrow button switch. The screen display pattern Pr for rotation adjustment by the Cr touch operation is adjusted so as to be parallel to each other, and the rotational deviation of the back camera 14 from the desired one around the camera optical axis is measured based on the input operation amount. Is done. When the rotation adjustment mode ends in step 102, the process of step 104 is executed next.
[0076]
In step 104, a left / right / up / down position adjustment mode for adjusting the vertical / left / right direction of the camera optical axis of the back camera 14 is realized. In such a left / right / up / down position adjustment mode, a position adjustment located above the position of the above-described rotation adjustment screen display pattern in a state in which an image behind the vehicle by the back camera 14 is displayed on the display screen of the touch display 16. The position adjustment arrow button switch Cp that is touch-operated to move the position of the position display screen display pattern Pp and the position adjustment screen display pattern Pp on the display screen is superimposed and displayed. The relative positional relationship between the position adjustment screen display pattern Pp on the display screen and the actual position adjustment pattern drawn on the ground in the image is the position adjustment by the touch operation of the position adjustment arrow button switch Cp. The position adjustment target Tp is adjusted so that the position adjustment target Tp enters the position adjustment screen display pattern Pp on the display screen by moving the position of the screen display pattern Pp, and a desired optical axis of the back camera 14 is selected based on the input operation amount. Vertical / left / right direction deviation from the object is measured. When the left / right / up / down adjustment mode is finished in step 104, the current routine is finished.
[0077]
According to the routine shown in FIG. 8, the rotational deviation of the back camera 14 around the camera optical axis from the desired one can be measured based on the input operation amount of the rotation adjustment arrow button switch Cr. Based on the input operation amount of the adjustment arrow button switch Cp, it is possible to measure the vertical / left / right direction deviation from the desired camera optical axis of the back camera 14.
[0078]
At this time, the target drawn on the ground used for the optical axis adjustment differs between the rotation adjustment around the camera optical axis and the direction adjustment of the camera optical axis, and the screen display pattern on the display screen differs. For this reason, according to the present embodiment, both the rotational position deviation around the camera optical axis and the direction deviation of the camera optical axis in the practical range can be detected with the highest accuracy, and the calibration of the back camera 14 can be performed with the camera light. It is possible to accurately perform the rotational deviation around the axis and the vertical and horizontal deviations of the camera optical axis.
[0079]
Both the rotational deviation amount and the direction deviation amount measured as described above are stored in the memory 20 as an accurate camera optical axis adjustment value. Therefore, according to the present embodiment, after appropriately adjusting the camera optical axis, it is possible to improve the setting accuracy of the target parking position according to the position operation of the parking space frame on the display screen, The guidance route to the target parking position can be accurately generated, and thereby the automatic steering control function can be fully exhibited.
[0080]
In this embodiment, when measuring the rotational deviation of the back camera 14 around the optical axis of the camera, the rotation adjustment screen display on the display screen of the touch display 16 is performed by touching the rotation adjustment arrow button switch Cr. The pattern Pr rotates around the screen center. If the rotation adjustment screen display pattern Pr and the actual rotation adjustment pattern on the image are parallel, the rotation deviation can be measured. Therefore, according to the present embodiment, calibration of rotation deviation around the optical axis of the camera by adjusting the relative position between the actual rotation adjustment pattern and the rotation adjustment screen display pattern by rotation of the rotation adjustment screen display pattern Pr by touch operation. Can be realized easily.
[0081]
Further, when measuring the vertical / left / right direction deviation of the camera optical axis of the back camera 14, a position adjustment screen display pattern Pp on the display screen of the touch display 16 is obtained by a touch operation of the position adjustment arrow button switch Cp. Move position. If the actual position adjustment pattern on the image enters the position adjustment screen display pattern Pp, the above-mentioned direction deviation can be measured. Therefore, according to the present embodiment, the position of the position adjustment screen display pattern Pp by the touch operation is moved to adjust the relative position between the actual position adjustment pattern and the position adjustment screen display pattern. It is possible to easily realize the calibration of the direction deviation.
[0082]
By the way, in the above-described embodiment, the back camera 14 is described in the claims as "in-vehicle camera", and the actual rotation adjustment patterns constituting the two rotation adjustment targets Tr are described in the claims. In the “first actual pattern”, the two position adjustment targets Tp are described in the claims, and in the “second actual pattern”, the rotation adjustment screen display pattern Pr is described in the claims. Screen display pattern ", the position adjustment screen display pattern Pp is described in the claims" second screen display pattern ", and the rotation adjustment arrow button switch Cr is described in the claims" first display " The position adjustment arrow button switch Cp corresponds to the “second input operation means” described in the claims.
[0083]
Further, in the above-described embodiment, the parking assist ECU 12 measures the rotational deviation from the desired one around the camera optical axis of the back camera 14 from the rotation amount on the screen of the rotation adjustment screen display pattern Pr in the adjustment mode. By doing so, the “first measurement step”, “data generation means”, and “rotational deviation measurement means” described in the claims can be calculated from the amount of movement of the position adjustment screen display pattern Pp on the screen. By measuring the direction deviation from the desired one of the 14 camera optical axes, the “second measurement step”, “data generation means”, and “direction deviation measurement means” described in the claims can be rotated and adjusted. In the mode, the rotation adjustment screen display pattern Pr can be rotated on the display screen according to the touch operation of the rotation adjustment arrow button switch Cr by the adjustment operator. The “rotation correction step” and the “rotation correction means” described in the claims by the adjustment operator in the left / right / up / down position adjustment mode follow the touch operation of the position adjustment arrow button switch Cp by the adjustment operator on the display screen. By moving the position of the display pattern Pp, the “position correction step” and the “position correction means” described in the claims superimpose the rotation adjustment screen display pattern Pr on the display screen of the touch display 16 in the rotation adjustment mode. By doing so, the “first screen display means” described in the claims causes the position adjustment screen display pattern Pp to be superimposed on the display screen of the touch display 16 in the left / right / up / down position adjustment mode. Each of the “second screen display means” is realized.
[0084]
In the above embodiment, the rotation adjustment screen display pattern Pr is rotated on the display screen according to the touch operation of the rotation adjustment arrow button switch Cr, and the display screen is displayed according to the touch operation of the position adjustment arrow button switch Cp. The position adjustment screen display pattern Pp is moved on the upper side. However, the present invention is not limited to this, and the screen display patterns Pr and Pp are fixed on the display screen according to the touch operation. An image captured by the back camera 14 displayed on the display screen itself may be rotated or moved.
[0085]
Further, in the above-described embodiment, the position adjustment target Tp and the position adjustment screen display pattern Pp are provided one by one so as to have a symmetrical relationship with respect to the vertical line passing through the center of the display screen. However, the present invention is not limited to this, and only one may be provided near the vertical line, or three or more may be provided.
[0086]
Further, in the above-described embodiment, the actual rotation adjustment pattern is configured by the two physically separated rotation adjustment targets Tr, but may be configured by one line segment.
[0087]
【The invention's effect】
As described above, according to the first, second, fourth, and fifth aspects of the invention, the calibration related to the rotational deviation around the camera optical axis of the in-vehicle camera, and the horizontal and vertical direction deviations of the camera optical axis of the in-vehicle camera. Can be accurately performed together.
[0088]
According to the third and sixth aspects of the invention, both calibration relating to the rotational deviation around the camera optical axis of the in-vehicle camera and calibration relating to the lateral and vertical direction deviation of the camera optical axis of the in-vehicle camera can be easily performed. Can be realized.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a system mounted on a vehicle according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an image displayed on a display screen of a touch display when parking assist control is started in the in-vehicle system of the present embodiment.
FIG. 3 is a diagram showing an image displayed on a display screen when a target parking position is designated in the in-vehicle system of the embodiment.
FIG. 4 is a diagram of the configuration of infrastructure equipment for adjusting the camera optical axis of the in-vehicle camera in the present embodiment when viewed from above the vehicle.
FIG. 5 is a diagram for explaining a procedure for calibrating a camera optical axis of an in-vehicle camera in the present embodiment.
FIG. 6 is a diagram illustrating a display displayed on the display screen when adjusting the rotation of the camera optical axis in the present embodiment.
FIG. 7 is a diagram showing a display displayed on the display screen when adjusting the position of the camera optical axis in the present embodiment.
FIG. 8 is a flowchart of a control routine executed in the in-vehicle system of the present embodiment.
[Explanation of symbols]
12 Parking Assist Electronic Control Unit (Parking Assist ECU)
14 Back camera
16 Touch display

Claims (6)

カメラ光軸が地面と車体から所定距離離れた所望位置で交わるように車体に配設され、撮像データに基づいて映し出された表示画面においてカメラ光軸中心よりも上方の領域が多用される車載カメラのキャリブレーション方法であって、
前記車載カメラが、地面に描かれ、前記所望位置を通る所望のカメラ光軸に垂直な線上に位置する少なくとも異なる２点を含む第１の実パターンを撮影する第１の実パターン撮影ステップと、
電子制御ユニットが、前記第１の実パターン撮影ステップにおいて前記第１の実パターンが撮影された撮像データを用いて、前記車載カメラのカメラ光軸回りの回転ずれを計測する第１の計測ステップと、
前記車載カメラが、地面に描かれ、前記第１の実パターンの位置よりも車両遠方に位置する少なくとも１点を含む第２の実パターンを撮影する第２の実パターン撮影ステップと、
電子制御ユニットが、前記第２の実パターン撮影ステップにおいて前記第２の実パターンが撮影された撮像データを用いて、前記車載カメラのカメラ光軸の方向ずれを計測する第２の計測ステップと、
を備えることを特徴とする車載カメラのキャリブレーション方法。A vehicle-mounted camera that is disposed on the vehicle body so that the camera optical axis intersects the ground and a desired position at a predetermined distance from the vehicle body, and a region above the center of the camera optical axis is frequently used on the display screen projected based on the imaging data Calibration method,
The in-vehicle camera, drawn on the ground, a first actual pattern imaging step of capturing a first actual pattern comprising at least two different points located on a line perpendicular to the desired camera optical axis through the desired position location ,
A first measuring step in which an electronic control unit measures a rotational deviation about the camera optical axis of the in-vehicle camera using image data obtained by photographing the first actual pattern in the first actual pattern photographing step; ,
A second actual pattern imaging step in which the in-vehicle camera captures a second actual pattern drawn on the ground and including at least one point located farther from the vehicle than the position of the first actual pattern;
A second measuring step in which the electronic control unit measures the direction deviation of the camera optical axis of the in-vehicle camera using the image data obtained by photographing the second actual pattern in the second actual pattern photographing step;
A calibration method for an in-vehicle camera, comprising: 前記第１の計測ステップは、前記表示画面上に映し出された前記第１の実パターンと、該表示画面上に重畳表示された、カメラ光軸中心を通る水平な線上に位置する少なくとも異なる２点を含む第１の画面表示パターンとの相対回転位置を調整する回転入力操作量に基づいて、電子制御ユニットが前記回転ずれを計測するステップであると共に、
前記第２の計測ステップは、前記表示画面上に映し出された前記第２の実パターンと、該表示画面上に重畳表示された、前記第１の画面表示パターンの位置よりも上方に位置する少なくとも１点を含む第２の画面表示パターンとの相対位置を調整する方向入力操作量に基づいて、電子制御ユニットが前記方向ずれを計測するステップであることを特徴とする請求項１記載の車載カメラのキャリブレーション方法。Wherein the first measurement step, and the display screen on the displayed the first actual pattern, the display is superimposed on the screen, different at least located on a horizontal line passing through the heart during camera optical axis 2 The electronic control unit measures the rotational deviation based on a rotational input operation amount for adjusting a relative rotational position with respect to the first screen display pattern including a point, and
In the second measurement step, at least the second actual pattern projected on the display screen and the position of the first screen display pattern superimposed on the display screen are positioned above. 2. The vehicle-mounted camera according to claim 1, wherein the electronic control unit measures the direction deviation based on a direction input operation amount for adjusting a relative position with respect to a second screen display pattern including one point. Calibration method. 前記第１の計測ステップは、前記表示画面上における前記第１の実パターンと前記第１の画面表示パターンとの相対回転位置を調整する回転入力操作に従って、電子制御ユニットが該第１の画面表示パターン又は該表示画面に映し出す撮像データを回転補正する回転補正ステップを有すると共に、
前記第２の計測ステップは、前記表示画面上における前記第２の実パターンと前記第２の画面表示パターンとの相対位置を調整する方向入力操作に従って、電子制御ユニットが該第２の画面表示パターン又は該表示画面に映し出す撮像データを位置補正する位置補正ステップを有することを特徴とする請求項２記載の車載カメラのキャリブレーション方法。In the first measurement step, the electronic control unit displays the first screen display according to a rotation input operation for adjusting a relative rotation position between the first actual pattern and the first screen display pattern on the display screen. A rotation correction step for correcting rotation of the pattern or the imaging data displayed on the display screen;
In the second measurement step, the electronic control unit performs the second screen display pattern according to a direction input operation for adjusting a relative position between the second actual pattern and the second screen display pattern on the display screen. The vehicle-mounted camera calibration method according to claim 2, further comprising a position correction step for correcting the position of the imaging data displayed on the display screen. カメラ光軸が地面と車体から所定距離離れた所望位置で交わるように車体に配設され、撮像データに基づいて映し出された表示画面においてカメラ光軸中心よりも上方の領域が多用される車載カメラのキャリブレーション装置であって、
前記車載カメラにより、地面に描かれ、前記所望位置を通る所望のカメラ光軸に垂直な線上に位置する少なくとも異なる２点を含む第１の実パターンを撮影する第１の実パターン撮影手段と、
前記表示画面に、カメラ光軸中心を通る水平な線上に位置する少なくとも異なる２点を含む第１の画面表示パターンを重畳表示する第１の画面表示手段と、
前記表示画面上において、該表示画面上に映し出された前記第１の実パターンと前記第１の画面表示手段による前記第１の画面表示パターンとの相対回転位置を調整すべく回転入力操作される第１の入力操作手段と、
前記車載カメラにより、地面に描かれ、前記第１の実パターンの位置よりも車両遠方に位置する少なくとも１点を含む第２の実パターンを撮影する第２の実パターン撮影手段と、
前記表示画面に、前記第１の画面表示パターンの位置よりも上方に位置する少なくとも１点を含む第２の画面表示パターンを重畳表示する第２の画面表示手段と、
前記表示画面上において、該表示画面上に映し出された前記第２の実パターンと前記第２の画面表示手段による前記第２の画面表示パターンとの相対位置を調整すべく方向入力操作される第２の入力操作手段と、
前記第１の入力操作手段への回転入力操作量及び前記第２の入力操作手段への方向入力操作量に基づいて、車載カメラのキャリブレーションデータを生成するデータ生成手段と、
を備えることを特徴とする車載カメラのキャリブレーション装置。A vehicle-mounted camera that is disposed on the vehicle body so that the camera optical axis intersects the ground and a desired position at a predetermined distance from the vehicle body, and a region above the center of the camera optical axis is frequently used on the display screen projected based on the imaging data Calibration apparatus,
By the vehicle-mounted camera, is drawn on the ground, a first actual pattern imaging means for capturing a first actual pattern comprising at least two different points located on a line perpendicular to the desired camera optical axis through the desired position location ,
On the display screen, the first screen display means for superimposing displaying the first screen display pattern comprising at least two different points located on a horizontal line passing through the heart during camera optical axis,
On the display screen, a rotational input operation is performed to adjust a relative rotational position between the first actual pattern projected on the display screen and the first screen display pattern by the first screen display means. First input operation means;
A second real pattern photographing means for photographing a second real pattern drawn on the ground by the in-vehicle camera and including at least one point located farther from the vehicle than the position of the first real pattern;
Second screen display means for superimposing a second screen display pattern including at least one point located above the position of the first screen display pattern on the display screen;
On the display screen, a direction input operation is performed to adjust the relative position between the second actual pattern projected on the display screen and the second screen display pattern by the second screen display means. Two input operation means;
Data generating means for generating calibration data of the in-vehicle camera based on the rotational input operation amount to the first input operation means and the direction input operation amount to the second input operation means;
An in-vehicle camera calibration device comprising: 前記データ生成手段は、前記第１の入力操作手段への回転入力操作量に基づいて車載カメラのカメラ光軸回りの回転ずれを計測する回転ずれ計測手段と、前記第２の入力操作手段への方向入力操作量に基づいて車載カメラのカメラ光軸の方向ずれを計測する方向ずれ計測手段と、を有することを特徴とする請求項４記載の車載カメラのキャリブレーション装置。  The data generation means includes: a rotation deviation measuring means for measuring a rotation deviation around the camera optical axis of the in-vehicle camera based on a rotation input operation amount to the first input operation means; and a data input to the second input operation means. 5. The in-vehicle camera calibration apparatus according to claim 4, further comprising a direction deviation measuring unit that measures a direction deviation of a camera optical axis of the in-vehicle camera based on a direction input operation amount. 前記第１の入力操作手段への回転入力操作に従って、前記第１の画面表示手段による前記第１の画面表示パターン又は前記表示画面に映し出す撮像データを回転補正する回転補正手段と、
前記第２の入力操作手段への方向入力操作に従って、前記第２の画面表示手段による前記第２の画面表示パターン又は前記表示画面に映し出す撮像データを位置補正する位置補正手段と、
を備えることを特徴とする請求項５記載の車載カメラのキャリブレーション装置。Rotation correction means for rotationally correcting the first screen display pattern by the first screen display means or the imaging data displayed on the display screen in accordance with a rotation input operation to the first input operation means;
Position correction means for correcting the position of the second screen display pattern by the second screen display means or the image data displayed on the display screen in accordance with a direction input operation to the second input operation means;
The in-vehicle camera calibration device according to claim 5, further comprising:
JP2003209740A 2003-08-29 2003-08-29 On-vehicle camera calibration method and calibration apparatus Expired - Fee Related JP4238663B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003209740A JP4238663B2 (en) 2003-08-29 2003-08-29 On-vehicle camera calibration method and calibration apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003209740A JP4238663B2 (en) 2003-08-29 2003-08-29 On-vehicle camera calibration method and calibration apparatus

Publications (2)

Publication Number Publication Date
JP2005077107A JP2005077107A (en) 2005-03-24
JP4238663B2 true JP4238663B2 (en) 2009-03-18

Family

ID=34402570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003209740A Expired - Fee Related JP4238663B2 (en) 2003-08-29 2003-08-29 On-vehicle camera calibration method and calibration apparatus

Country Status (1)

Country Link
JP (1) JP4238663B2 (en)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4622637B2 (en) * 2005-04-04 2011-02-02 トヨタ自動車株式会社 In-vehicle camera attitude correction device and in-vehicle camera attitude correction method
JP4803449B2 (en) * 2006-11-17 2011-10-26 アイシン精機株式会社 On-vehicle camera calibration device, calibration method, and vehicle production method using this calibration method
JP4803450B2 (en) * 2006-11-20 2011-10-26 アイシン精機株式会社 On-vehicle camera calibration device and vehicle production method using the device
WO2008087709A1 (en) * 2007-01-16 2008-07-24 Pioneer Corporation Image processing device for vehicle, imaging device for vehicle, image processing program for vehicle, and image adjusting method for vehicle
JP4758481B2 (en) * 2007-01-16 2011-08-31 パイオニア株式会社 VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING PROGRAM
JP4555876B2 (en) * 2008-05-30 2010-10-06 株式会社日本自動車部品総合研究所 Car camera calibration method
JPWO2010007960A1 (en) * 2008-07-14 2012-01-05 クラリオン株式会社 In-vehicle camera viewpoint conversion video system and viewpoint conversion video acquisition method
JP5201356B2 (en) * 2009-02-16 2013-06-05 株式会社リコー On-vehicle camera device calibration support method, calibration support device, and on-vehicle camera device
JP5505764B2 (en) * 2009-02-23 2014-05-28 株式会社リコー On-vehicle camera device calibration support method, calibration support device, and on-vehicle camera device
JP4831374B2 (en) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 Driving support device, driving support method, and driving support program
JP4636346B2 (en) 2009-03-31 2011-02-23 アイシン精機株式会社 Car camera calibration apparatus, method, and program
JP4751939B2 (en) 2009-03-31 2011-08-17 アイシン精機株式会社 Car camera calibration system
JP4690476B2 (en) 2009-03-31 2011-06-01 アイシン精機株式会社 Car camera calibration system
US9150155B2 (en) 2010-01-13 2015-10-06 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
RU2548649C2 (en) * 2010-09-06 2015-04-20 Айсин Сейки Кабусики Кайся Driver's aid
JP5665458B2 (en) * 2010-09-27 2015-02-04 京セラ株式会社 Driving support device and display method of driving support display
JP5081313B2 (en) * 2011-04-06 2012-11-28 アイシン精機株式会社 Car camera calibration system
JP2013024656A (en) * 2011-07-19 2013-02-04 Toyota Motor Corp Optical axis adjusting system
JP5858045B2 (en) 2011-09-13 2016-02-10 トヨタ自動車株式会社 In-vehicle camera optical axis grasping device
JP6025365B2 (en) * 2012-04-04 2016-11-16 京セラ株式会社 Calibration processing apparatus, camera calibration apparatus, camera system, and camera calibration method
JP6200689B2 (en) * 2013-05-17 2017-09-20 京セラ株式会社 Calibration processing apparatus, camera calibration apparatus, and camera calibration method
CN103863205A (en) * 2014-04-03 2014-06-18 深圳市德赛微电子技术有限公司 Auxiliary installation method of camera of vehicle-mounted panoramic system and auxiliary system with same used
CN104943620A (en) * 2015-06-19 2015-09-30 寅家电子科技（上海）有限公司 Auxiliary installation system and method for vehicle-mounted camera
KR101844683B1 (en) * 2016-11-03 2018-04-02 재단법인 다차원 스마트 아이티 융합시스템 연구단 Image monitoring system for vehicleincorporating object detection and blind spot detection and operation method thereof
JP6851782B2 (en) * 2016-11-07 2021-03-31 株式会社デンソーテン Image processing equipment, image processing system and image processing method
JP6844307B2 (en) * 2017-02-24 2021-03-17 株式会社Ihi Angle of view adjustment method
JP6943328B2 (en) * 2017-02-24 2021-09-29 株式会社Ihi Angle of view adjustment method
JP2020056891A (en) * 2018-10-01 2020-04-09 パイオニア株式会社 Control method and optical apparatus
JP6673618B1 (en) * 2019-03-20 2020-03-25 東芝エレベータ株式会社 Elevator system
US12043334B2 (en) 2021-01-05 2024-07-23 Pitgarageduct Incorp Rearview mirror-type front/rear integrated simultaneous image recording apparatus for motorcycles
KR20220139506A (en) 2021-04-07 2022-10-17 현대자동차주식회사 Automatic evaluating apparatus for built-in video recording device of vehicle, system having the same, and method thereof

Also Published As

Publication number Publication date
JP2005077107A (en) 2005-03-24

Similar Documents

Publication Publication Date Title
JP4238663B2 (en) On-vehicle camera calibration method and calibration apparatus
JP3729786B2 (en) Parking assistance device
JP3551920B2 (en) In-vehicle camera calibration device and calibration method
JP3575364B2 (en) Steering support device
JP3692082B2 (en) Parking assistance device
JP4094325B2 (en) Parking driving support device
JP5212748B2 (en) Parking assistance device
US7526368B2 (en) Parking assist apparatus
US8035531B2 (en) Parking support device
JP5035321B2 (en) Vehicle periphery display control device and program for vehicle periphery display control device
WO2001085496A1 (en) Vehicle backing support apparatus
JP4900174B2 (en) Parking assistance device, parking assistance method, and computer program
JP5446500B2 (en) Parking assistance device and parking assistance method
JP5446139B2 (en) Parking assistance device and parking assistance method
JP2012076551A (en) Parking support device, parking support method, and parking support system
JP5257138B2 (en) Parking assistance device and parking assistance method
JP4052011B2 (en) Parking assistance device
JP6115249B2 (en) Parking assistance device
JP4199616B2 (en) Guidance support device
JP3395725B2 (en) Steering support device for parallel parking
JP2014193660A (en) Parking support device
JP2007210612A (en) Parking assistance device
JP2006123606A (en) Parking support device
JP4323402B2 (en) Rudder angle correction device
JP4136982B2 (en) Parking support method and parking support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4238663

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees