JP5883688B2 - 設置状態検出システム、設置状態検出装置、及び設置状態検出方法 - Google Patents

Description

本発明は、設置状態検出システム、設置状態検出装置、及び設置状態検出方法に関する。

車両を安全に運転するために、車両の周囲の情報を運転者に提示する技術が提案されている。周囲の情報には、例えば車両に設置したカメラが撮影した画像や、その画像が表す物体の位置情報がある。所望の方向にある物体が撮影されるように、カメラの位置（撮影位置）や、そのカメラの光軸方向（撮影方向）を車両毎に事前に調整する必要がある。そこで、カメラが設置されている高さや光軸方向の俯角を測定する方法が提案されてきた。

例えば、特許文献１に記載のキャリブレーション方法は、車両に固定して取り付けられた撮像手段と、撮像手段の視野内に置かれたキャリブレーションパターンと、該撮像手段によって得られるキャリブレーションパターンの画像を用いて撮像手段の車両への設置状態を計測する画像計測手段と、該撮像手段から得られる画像を処理する画像処理手段からなり、画像計測手段により計測した設置状態を画像処理手段で用いる。

特開２００１−１１６５１５号公報

しかしながら、特許文献１に記載のキャリブレーション方法では、キャリブレーションパターンを表す画像の上端と下端のズレ量から、撮像手段の傾き角や高さを設置状態として求めていた。特に撮像手段から遠方に設置されたキャリブレーションパターンを表す画像では垂直方向の座標の誤差が微小であっても、撮像手段−キャリブレーションパターン間の距離の誤差が無視できない大きさとなる。従って、撮像装置の分解能が十分に高くなければ、設置状態を十分な精度で求めることができないという課題を生じていた。

本発明は上記の点に鑑みてなされたものであり、高精度で撮像装置の設置状態を検出することができる設置状態検出システム、設置状態検出装置、設置状態検出方法、及び設置状態検出プログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、画像を撮影する撮影部と、第１目標画像を表示する第１目標画像表示部と、前記第１目標画像と同一の高さである目標画像設置高に第２目標画像を表示する第２目標画像表示部と、設置状態検出装置とを備え、前記第１目標画像から予め定めた距離である表示部間距離に前記第２目標画像が表示されている設置状態検出システムであって、前記設置状態検出装置は、前記撮影部により撮影された画像に前記第１目標画像が表示された座標に基づいて前記撮影部から前記第１目標画像までの水平方向の距離である第１目標距離を算出する距離算出部と、前記距離算出部が算出した第１目標距離、前記第１目標画像が前記撮影された画像に表示された座標、及び前記第２目標画像が前記撮影された画像に表示された座標に基づいて前記撮影部が設置されている高さ及び俯角を算出する設置状態算出部と、を備えることを特徴とする設置状態検出システムである。

（２）本発明のその他の態様は、上述の設置状態検出システムであって、前記第１目標画像表示部は、前記複数の第１目標画像を、それらの中心点から前記撮影部への方向と垂直な方向に、予め定めた目標画像間距離で離間して表示し、前記距離算出部は、前記目標画像間距離及び前記第１目標画像の各々が表示された座標間の距離に基づいて、前記第１の距離を算出することを特徴とする。

（３）本発明のその他の態様は、上述の設置状態検出システムであって、前記第２目標画像表示部は、前記撮影部からの水平方向の距離が前記第１目標距離よりも予め定めた表示部間距離だけ大きい第２目標距離に前記第２目標画像を表示し、前記設置状態算出部は、前記撮影された画像に表示された座標のうち、前記第１目標画像及び前記第２目標画像の垂直方向座標、に基づいて前記高さ及び俯角を算出することを特徴とする。

（４）本発明のその他の態様は、上述の設置状態検出システムであって、前記設置状態検出装置は、第１目標距離毎に、第１目標画像の垂直方向の座標並びに第２目標画像の垂直方向の座標と、高さ並びに俯角とを対応付けて記憶する記憶部を備え、前記設置状態算出部は、前記第１目標距離及び前記撮影された画像に表示された第１目標画像の垂直方向の座標に対応する高さ並びに俯角の第１の組と、前記第１目標距離及び前記撮影された画像に表示された第２目標画像の垂直方向の座標に対応する高さ並びに俯角の第２の組とを前記記憶部から読み出し、前記第１の組に含まれる高さ及び俯角と、前記第２の組に含まれる高さ及び俯角が一致する高さ及び俯角の組を定めることを特徴とする。

（５）本発明のその他の態様は、撮影部により撮影された画像に第１目標画像が表示された座標に基づいて前記撮影部から前記第１目標画像までの水平方向の距離である第１目標距離を算出する距離算出部と、前記距離算出部が算出した第１目標距離、前記第１目標画像が前記撮影された画像に表示された座標、及び前記第１目標画像と同一の高さである目標画像設置高であって前記第１目標画像から予め定めた表示部間距離に表示された第２目標画像が前記撮影された画像に表示された座標、に基づいて前記撮影部が設置されている高さ及び俯角を算出する設置状態算出部と、を備えることを特徴とする設置状態検出装置である。

（６）本発明のその他の態様は、画像を撮影する撮影部と、第１目標画像を表示する第１目標画像表示部と、前記第１目標画像と同一の高さである目標画像設置高に第２目標画像を表示する第２目標画像表示部と、設置状態検出装置とを備え、前記第１目標画像から予め定めた距離である表示部間距離に前記第２目標画像が表示されている設置状態検出システムにおける設置状態検出方法であって、前記設置状態検出装置は、前記撮影された画像に前記第１目標画像が表示された座標に基づいて前記撮影部から前記第１目標画像までの水平方向の距離である第１目標距離を算出する第１の過程と、前記設置状態検出装置は、前記算出した第１目標距離、前記第１目標画像が前記撮影された画像に表示された座標、及び前記第２目標画像が前記撮影された画像に表示された座標に基づいて前記撮影部が設置されている高さ及び俯角を算出する第２の過程と、を有することを特徴とする設置状態検出方法である。

本発明によれば、高精度で撮像装置の設置状態を検出することができる。

本発明の実施形態に係る設置状態検出システムの構成を示す概略図である。 本実施形態に係る第１目標画像表示部の一例を表す概略図である。 本実施形態に係る第２目標画像表示部の一例を表す概略図である。 本実施形態に係る設置状態検出装置の構成を表す概略図である。 撮影した画像の一例を表す概念図である。 距離ｗと第１目標距離ｄの対応関係の一例を示す表である。 座標値ｙ_１並びに座標値ｙ_２と高さｈ並びに仰角θとの対応関係の一例を示す表である。 本実施形態に係る設置状態検出処理を表すフローチャートである。

以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る設置状態検出システム１の構成を示す概略図である。
図１の左右方向は前後方向を表し、図１の上下方向は上下方向を表す。
設置状態検出システム１は、カメラ（撮影部）１１、設置状態検出装置１２、第１目標画像表示部２１、及び第２目標画像表示部２２を含んで構成される。
ここで、第１目標画像表示部２１、第２目標画像表示部２２及び車両３は、水平面に平行な基準面４上に置かれる。

カメラ１１は、車両３に設置され、車両３の前方の画像を撮影する。カメラは、撮影した画像を表す画像信号をフレーム毎に設置状態検出装置１２に出力する。画像信号は、静止画を表す信号であってもよい。カメラ１１は、車両３の天板の上面に設置されていてもよい。１フレームに含まれる画素数（フレームサイズ）は、例えば、投影面における水平（Ｘ）方向５１２画素×垂直（Ｙ）方向３８４画素であり、水平方向の画角（視野角とも呼ばれる）は、例えば、３６°である。
設置状態検出装置１２は、カメラ１１の設置状態をカメラ１１から入力された画像信号に基づいて検出する。カメラ１１の設置状態とは、例えばカメラ１１が設置されている高さｈ、俯角θである。高さｈは、基準面４からカメラ１１が備える光学系の撮像面に位置する焦点（視点）までの上下方向（垂直方向）の距離である。俯角θは、水平面を基準としたカメラ１１の光学系の光軸の方向である。

第１目標画像表示部２１は、２個の第１目標画像（ターゲット）を表示する表示手段である。第１目標画像表示部２１は、カメラ１１の焦点から水平方向に距離ｄだけ前方、及び基準面４から高さＨ_ｔに、２個の第１目標画像の中心点が位置するように配置される。距離ｄを第１目標距離と呼ぶことがある。高さＨ_ｔを、目標画像（ターゲット）設置高と呼ぶことがある。目標画像設置高Ｈ_ｔは、予め定めた既知の値、例えば、１ｍである。なお、第１目標画像表示部２１が第１目標画像を表示する表示面は、基準面４に対して垂直である。

第２目標画像表示部２２は、第２目標画像（ターゲット）を表示する表示手段である。第２目標画像表示部２２は、２個の第１目標画像の中心点から水平方向に距離Ｄ_ｔだけ前方、及び基準面から目標画像設置高Ｈ_ｔに第２目標画像の中心点が位置するように配置される。距離Ｄ_ｔを表示部間距離と呼ぶことがある。表示部間距離Ｄ_ｔは、予め定めた既知の値、例えば、５ｍである。従って、第２目標画像表示部２２は、カメラ１１の焦点から水平方向に距離ｄ_ｔだけ前方、及び基準面４から高さＨ_ｔに、第２目標画像の中心点が位置するように配置される。距離ｄ_ｔを第２目標距離と呼ぶことがある。第２目標距離ｄ_ｔは、第１目標距離ｄと表示部間距離Ｄ_ｔの和となる。なお、第２目標画像表示部２２が第２目標画像を表示する表示面は、基準面４に対して垂直である。
なお、第１目標画像表示部２１、第２目標画像表示部２２、第１目標画像、及び第２の目標画像が配置される位置関係を説明する際の水平方向とは、水平面、例えば基準面４に平行する方向を意味し、撮影された画像上の水平方向を意味するものではない。

次に、第１目標画像表示部２１の一例について説明する。
図２は、本実施形態に係る第１目標画像表示部２１の一例を表す概略図である。
図２における左右方向は、水平面に平行であって、図１の左右方向に垂直な方向である。
第１目標画像表示部２１は、２個の第１目標画像２１１Ｌ、２１１Ｒを表示する表示面２１２と支持部２１３を含んで構成される。
表示面２１２は、上下方向の長さよりも左右方向の長さのほうが長い四角形の平板で構成される。２個の第１目標画像２１１Ｌ、２１１Ｒの中心の高さは、それぞれ目標画像設置高Ｈ_ｔである。第１目標画像２１１Ｌの中心と２１１Ｒの中心は、左右水平に距離Ｌ_ｔで離間している。距離Ｌ_ｔは、例えば、３ｍである。距離Ｌ_ｔを、目標画像（ターゲット）間距離と呼ぶことがある。
支持部２１３は、表示面２１２を支持する支持部材である。

次に、第２目標画像表示部２２の一例について説明する。
図３は、本実施形態に係る第２目標画像表示部２２の一例を表す概略図である。
図３における左右方向は、水平面に平行であって、図１の左右方向に垂直な方向である。
第２目標画像表示部２２は、１個の第２目標画像２２１を表示する表示面２２２と支持部２２３を含んで構成される。表示面２２２は、上下方向の長さと左右方向の長さがほぼ等しい四角形の平板で構成される。第２目標画像２２１の中心の高さは、目標画像設置高Ｈ_ｔである。

第１目標画像２１１Ｌ、２１１Ｒ、及び第２目標画像２２１は、これらを撮影した画像から各々の位置を検出することができれば、いかなる形状であってもよい。図２及び図３に示す例では、第１目標画像２１１Ｌ、２１１Ｒ、及び第２目標画像２２１は、それぞれ真上から右横まで、真下から左横まで、それぞれ濃い色で塗りつぶした扇形であり、右横から真下まで、左横から真上まで、白抜きの扇形である。それぞれの扇形の中心は、各目標画像の中心に位置する。各目標画像の中心では、上下方向、左右方向の輝度の変化が急激であるため、各目標画像を表す画像から、その中心の位置を高精度に検出することができる。
なお、表示面２１２、２２２において目標画像が表示されていない部分、支持部２１３、２２３は、目標画像とは異なる色彩及び輝度であって単色であってもよい。

第１目標画像２１１Ｌ、２１１Ｒや第２目標画像２２１は、画像として認識することができれば、表示面２１２、２２２に印刷されたものであってもよいし、例えば、ディスプレイ装置のように光線の強弱によって表示されたものであってもよい。
また、それぞれ既知である、目標画像設置高Ｈ_ｔ、表示部間距離Ｄ_ｔ、目標画像間距離Ｌ_ｔを維持するために、第１目標画像表示部２１と第２目標画像表示部２２は、一体化された剛体から構成されていてもよい。

次に、本実施形態に係る設置状態検出装置１２の構成について説明する。
図４は、本実施形態に係る設置状態検出装置１２の構成を表す概略図である。
設置状態検出装置１２は、目標画像検出部１２１、距離算出部１２２、設置状態算出部１２３、設置状態記憶部１２４、及び情報出力部１２５を含んで構成される。

目標画像検出部１２１は、カメラ１１から入力された画像信号が表す各目標画像２１１Ｌ、２１１Ｒ、２２１の中心を、当該目標画像の代表点として検出する。目標画像検出部１２１は、入力された画像信号の特徴量を算出し、算出した特徴量に基づいて当該目標画像の中心を検出する。目標画像検出部１２１は、例えば、画像信号に含まれる画素毎の信号値（輝度値）から水平方向の差分値についての絶対値、及び垂直方向の差分値についての絶対値を特徴量として算出する。目標画像検出部１２１は、水平方向の差分値についての絶対値及び垂直方向についての差分値の絶対値がともに、予め定めた閾値よりも大きい画素を、目標画像の中心を表す画素として検出する。目標画像検出部１２１は、検出した画素から、各目標画像２１１Ｌ、２１１Ｒ、２２１の中心を、目標画像間における既知の位置関係を用いて識別する。例えば、目標画像２１１Ｌの中心は、Ｘ方向（水平方向）の座標値ｘ_１が最も小さく、Ｙ方向（垂直方向）の座標値ｙ_１が１番目又は２番目に大きい画素である。目標画像２１１Ｒの中心は、座標値ｘ_１が最も大きく、座標値ｙ_１が１番目又は２番目に大きい画素である。目標画像２２１の中心は、Ｙ方向（垂直方向）の座標値ｙ_２が最も小さい画素である。
目標画像位置検出部１２１は、検出した画素の座標を表す目標画像座標情報を距離算出部１２２及び設置状態算出部１２３に出力する。

図５は、カメラ１１が撮影した画像５１の一例を表す概念図である。
図５の右方向が、Ｘ方向（水平方向）、図５の下方向が、Ｙ方向（垂直方向）を表す。
図５において、画像５１の中心５２の下方に第２目標画像２２１が表されている。図５において、第２目標画像２２１の下方に、左から右へ順に第１目標画像２１１Ｌ、２１１Ｒが表されている。目標画像検出部１２１は、画像５１を表す画像信号に基づいて第１目標画像２１１Ｌ、２１１Ｒ、第２目標画像２２１の中心の画素の座標を表す目標画像座標情報を生成する。中心５２を基準とした第１目標画像２１１Ｌの中心のＹ方向における座標値と、２１１Ｒの中心のＹ方向における座標値の平均値をｙ_１と表す。第１目標画像２１１Ｌの中心と、２１１Ｒの中心との間のＸ座標間の距離をｗ（単位は、画素数）と表される。中心５２を基準とした第２目標画像２２１の中心のＹ方向の座標値をｙ_２と表す。
なお、第１目標画像２１１Ｌ、２１１Ｒが画像に表示される位置を説明する際の水平方向とは、上述のＸ方向を意味し、水平面、例えば基準面４に平行な方向を意味するものではない。

図４に戻り、目標画像検出部１２１は、目標画像の検出に失敗した場合、目標画像の検出に失敗したことを表すエラー信号を生成し、生成したエラー信号を情報出力部１２５に出力する。目標画像の検出に失敗した場合とは、例えば、３個の目標画像２１１Ｌ、２１１Ｒ、２２１の中心のうち、いずれかを検出できなかった場合である。又は、目標画像間における既知の位置関係を満足しない場合である。例えば、第１目標画像２１１Ｌの中心、２１１Ｒの中心の少なくとも一方のＹ方向の座標値ｙ_１が、第２目標画像２２１の中心のＹ方向の座標値ｙ_２と等しいか、ｙ_２よりも小さい場合である。

距離算出部１２２は、目標画像検出部１２１から入力された目標画像座標情報から第１目標画像２１１Ｌの中心及び目標画像２１１Ｒの中心の座標値を抽出する。距離算出部１２２は、抽出した座標値から第１目標画像２１１Ｌの中心と、２１１Ｒの中心との間のＸ座標間の距離ｗを算出する。距離算出部１２２は、距離ｗ及び目標画像間距離Ｌ_ｔに基づいて、例えば式（１）を用いて第１目標距離ｄを算出する。

式（１）において、ｆは、カメラ１１の光学系における焦点距離（単位は、画素数）である。この焦点距離ｆは、投影面における水平方向（又は、垂直方向）の幅ｖの光線が水平方向（又は、垂直方向）の画角（視野角）ψで焦点に収束するときの、投影面から焦点までの距離である。即ち、式（１）は、焦点距離ｆの距離ｗに対する比が、第１目標距離ｄの目標画像間距離Ｌ_ｔに対する比に相当することを表す。式（１）において、焦点距離ｆ及び距離ｗの単位は、画素数である。

なお、本実施形態では、式（１）を用いて第１目標距離ｄを算出する代わりに、設置状態記憶部１２４には、予め距離ｗと第１目標距離ｄを対応付けて記憶しておいてもよい。この場合、距離算出部１２２は、算出した距離ｗに対応する第１目標距離を設置状態記憶部１２４から読み出す。
距離算出部１２２は、距離ｗに基づいて算出又は読み出した第１目標距離ｄを表す第１目標距離情報を生成し、生成した第１目標距離情報を設置状態算出部１２３に出力する。

次に、設置状態記憶部１２４に記憶された距離ｗと第１目標距離ｄの対応関係の一例を示す。
図６は、距離ｗと第１目標距離ｄの対応関係の一例を示す表である。
左段が距離ｗ、右段が第１目標距離ｄを表す。図６においては距離ｗが４６０画素から４８９画素まで１画素間隔で、各距離ｗに対応する第１目標距離ｄを表す。図６に示す対応関係は、焦点距離ｆ＝７８８画素、目標画像間距離Ｌ_ｔ＝３ｍのもとで与えられる。

図４に戻り、設置状態算出部１２３は、目標画像検出部１２１から入力された目標画像座標情報と距離算出部１２２から入力された第１目標距離情報に基づき、カメラ１１の設置状態として高さｈ及び俯角θを算出する。ここで、設置状態算出部１２３は、目標画像座標情報から第１目標画像２１１Ｌ、２１１Ｒの中心についてＹ方向の座標値ｙ_１、第２目標画像２２１の中心についてＹ方向の座標値ｙ_２を抽出する。設置状態算出部１２３は、座標値ｙ_１、ｙ_２、第１目標距離情報ｄ、焦点距離ｆ及び目標画像設置高Ｈ_ｔに基づいて、例えば式（２）、（３）が表す関係を満たすように高さｈ及び俯角θを算出する。

式（２）は、焦点距離ｆの座標値ｙ_１に対してなす角度が、第１目標距離ｄに対して目標画像設置高Ｈ_ｔを基準とする高さｈに対してなす角度から仰角θを差し引いたものに相当することを表す。式（３）は、焦点距離ｆの座標値ｙ_２に対してなす角度が、第２目標距離ｄ_ｔに対して目標画像設置高Ｈ_ｔを基準とした高さｈに対してなす角度から仰角θを差し引いた角度差に相当することを表す。なお、式（２）、（３）において、仰角θ、ａｒｃｔａｎ（（ｈ−Ｈ_ｔ）／ｄ）及びａｒｃｔａｎ（（ｈ−Ｈ_ｔ）／ｄ_ｔ）の単位は、ラジアンである。座標値ｙ_１、ｙ_２及び焦点距離の単位は、画素数である。

但し、式（２）、（３）を用いて陽に高さｈ及び仰角θを算出することはできない。そこで、設置状態算出部１２３は、式（２）、（３）を満足する高さｈ及び仰角θを既存の数値解法、例えばニュートン法を用いて算出する。

また、本実施形態では、設置状態記憶部１２４に、第１目標距離ｄ毎に、座標値ｙ１並びに座標値ｙ_２と高さｈ並びに仰角θとを対応付けて記憶しておいてもよい。その場合、設置状態算出部１２３は、第１目標距離ｄ及び座標値ｙ_１に対応する高さｈ及び仰角θの第１の組を設置状態記憶部１２４から読み出す。設置状態算出部１２３は、第１目標距離ｄ及び座標値ｙ_２に対応する高さｈ及び仰角θの第２の組を設置状態記憶部１２４から読み出す。設置状態記憶部１２４は、読み出した第１の組に含まれる高さｈ及び仰角θと、第２の組に含まれる高さｈ及び仰角θの第２の組が合致する高さｈ及び仰角θを解として選択する。
設置状態算出部１２３は、算出又は選択した高さｈ及び仰角θを表す設置状態情報を生成し、生成した設置状態情報を情報出力部１２５に出力する。

次に、設置状態記憶部１２４に記憶された座標値ｙ_１並びに座標値ｙ_２と、高さｈ並びに仰角θとの対応関係の一例を示す。
図７は、座標値ｙ_１並びに座標値ｙ_２と高さｈ並びに仰角θとの対応関係の一例を示す表である。図７が表す対応関係は、第１目標距離ｄ＝５ｍ、目標画像設置高Ｈ_ｔ＝１ｍ、焦点距離ｆ＝７８８画素のもとで与えられる。図７は、高さ３．００ｍから２．６０ｍまで０．０２ｍ毎に降順に、仰角３．０°、３．２°、３．４°、３．６°、３．８°、４．０°各々について座標値ｙ_１及びｙ_２を対応付けて表す。
ここで、設置状態算出部１２３は、例えば、座標値ｙ_１＝２６２に対応する高さｈ、仰角θの第１の組として（２．９６、３．０）、（２．９８、３．２）、（３．０、３．４）を設置状態記憶部１２４から読み出す。次に、設置状態算出部１２３は、例えば、座標値ｙ_２＝１１２に対応する高さｈ、仰角θの第２の組として（２．９６、３．０）、（３．００、３．２）を設置状態記憶部１２４から読み出す。設置状態算出部１２３は、第１の組に含まれる高さｈと仰角θのうち第２の組に含まれる高さｈと仰角θにそれぞれ合致する高さｈ＝２．９６ｍと仰角θ＝３．０°を解として選択する。

図４に戻り、情報出力部１２５は、設置状態算出部１２３から入力された設置状態情報が表す高さｈ及び仰角θを出力する。情報出力部１２５は、例えば、高さｈ及び仰角θを表す文字を表示する。情報出力部１２５は、目標画像検出部１２１から入力されたエラー情報に基づいてカメラ１１の設置状態の検出に失敗したことを表す情報を出力する。

次に本実施形態に係る設置状態検出処理について説明する。
図８は、本実施形態に係る設置状態検出処理を表すフローチャートである。
（ステップＳ１０１）目標画像検出部１２１には、カメラ１１が撮影した画像を表す画像信号がカメラ１１から入力される。その後、ステップＳ１０２に進む。
（ステップＳ１０２）目標画像検出部１２１は、入力された画像信号に基づいて特徴量を算出し、算出した特徴量に基づいて第１目標画像２１１Ｌ、２１１Ｒの中心及び第２目標画像２２１の中心を検出する。目標画像検出部１２１が、目標画像２１１Ｌ、２１１Ｒ、２２１の中心の検出に成功した場合には（ステップＳ１０２ Ｙ）、検出した目標画像の中心座標を表す目標画像座標情報を距離算出部１２２及び設置状態算出部１２３に出力する。その後、ステップＳ１０３に進む。目標画像検出部１２１が、目標画像２１１Ｌ、２１１Ｒ、２２１の中心の検出に失敗した場合には（ステップＳ１０２ Ｎ）、エラー信号を生成し、生成したエラー信号を情報出力部１２５に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０３）距離算出部１２２は、目標画像検出部１２１から入力された目標画像座標情報から第１目標画像２１１Ｌの中心及び目標画像２１１Ｒの中心の座標値を抽出する。距離算出部１２２は、抽出した座標値から第１目標画像２１１Ｌの中心と、２１１Ｒの中心との間のＸ座標間の距離ｗを算出する。距離算出部１２２は、距離ｗ及び目標画像間距離Ｌ_ｔに基づいて、例えば式（１）を用いて第１目標距離ｄを算出する。距離算出部１２２は、算出した第１目標距離ｄを表す第１目標距離情報を生成し、生成した第１目標距離情報を設置状態算出部１２３に出力する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）設置状態算出部１２３は、目標画像検出部１２１から入力された目標画像座標情報と距離算出部１２２から入力された第１目標距離情報に基づき、式（２）、（３）を満たすように高さｈ及び俯角θを算出する。ここで、設置状態算出部１２３は、目標画像座標情報から第１目標画像２１１Ｌ、２１１Ｒの中心についてＹ方向の座標値ｙ１、第２目標画像２２１の中心についてＹ方向の座標値ｙ_２を抽出する。設置状態算出部１２３は、第１目標距離ｄ及び座標値ｙ_１に対応する高さｈ及び仰角θの第１の組を設置状態記憶部１２４から読み出す。設置状態算出部１２３は、第１目標距離ｄ及び座標値ｙ_２に対応する高さｈ及び仰角θの第２の組を設置状態記憶部１２４から読み出す。設置状態記憶部１２４は、読み出した第１の組に含まれる高さｈ及び仰角θと、第２の組に含まれる高さｈ及び仰角θの第２の組が合致する高さｈ及び仰角θを解として選択する。
設置状態算出部１２３は、算出又は選択した高さｈ及び仰角θを表す設置状態情報を生成し、生成した設置状態情報を情報出力部１２５に出力する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）情報出力部１２５は、設置状態算出部１２３から設置状態情報が入力された場合、設置状態情報が表す高さｈ及び仰角θを出力する。情報出力部１２５は、目標画像検出部１２１からエラー情報が入力された場合、カメラ１１の設置状態の検出に失敗したことを表す情報を出力する。その後、処理を終了する。

なお、上述では、カメラ１１が車両３に設置した場合の設置状態として高さｈ、仰角θを検出する場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、車両３の代わりに他の物体、例えば、取り付け部材を用いて設置した場合における設置状態を検出してもよい。
上述では、第１目標画像表示部２１に表示される第１目標画像の数が２個である場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、第１目標画像の数が２個よりも多い数、例えば３個であってもよい。

上述では、第１目標画像表示部２１に表示される複数の第１目標画像間の中心点が表示面２１２の中心に表示され、第２目標画像表示部２２の表示される第２目標画像の中心点が表示面２２２の中心に表示される場合を例にとって説明した。本実施形態ではこれには限られず、複数の第１目標画像間の中心点、第２目標画像の中心点が各々基準面４から目標画像設置高Ｈ_ｔの高さにあればよい。かつ、複数の第１目標画像間の中心点から、第２目標画像の中心点への、水平方向の距離が表示部間距離Ｄ_ｔだけ離れていればよい。

上述では、目標画像検出部１２１が、第１目標画像表示部２１に表示される複数の第１目標画像間の中心点を検出し、距離算出部１２２が検出した中心点間の距離を、目標画像間距離Ｌ_ｔとして算出する場合を例にとって説明した。本実施形態では、第１目標画像表示部２１に予め大きさ（例えば、水平方向の幅、）が第１の目標画像（例えば、線画）を少なくとも１個表示してもよい。そして、距離算出部１２２が第１の目標画像の大きさを、目標画像間距離Ｌ_ｔとして検知し、検知した目標画像間距離Ｌ_ｔに基づいて第１目標距離ｄを算出するようにしてもよい。

本実施形態は、上述のように、画像を撮影するカメラ１１と、第１目標画像２１１Ｌ、２１１Ｒを表示する第１目標画像表示部２１と、第１目標画像と同一の高さである目標画像設置高Ｈ_ｔに第２目標画像２２１を表示する第２目標画像表示部２２と、設置状態検出装置１２とを備える設置状態検出システム１に係る。また、設置状態検出システム１では、第１目標画像から予め定めた表示部間距離Ｄ_ｔに第２目標画像が表示されている。
設置状態検出装置１２は、カメラ１１により撮影された画像に第１目標画像２１１Ｌ、２１１Ｒが表示された座標に基づいてカメラ１１から第１目標画像２１１Ｌ、２１１Ｒまでの水平方向の第１目標距離ｄを算出する。設置状態検出装置１２は、第１目標距離ｄ、第１目標画像２１１Ｌ、２１１Ｒが撮影された画像に表示された座標、及び第２目標画像２２１が撮影された画像に表示された座標に基づいてカメラ１１が設置されている高さｈ及び俯角θを算出する。

これにより、本実施形態では、第１目標距離ｄと、カメラ１１が撮影した画像に第１目標画像２１１Ｌ、２１１Ｒ、第２目標画像２２１が表示された座標を用いて、カメラ１１の高さｈと俯角θを設置状態として同時に検出できる。本実施形態では、カメラ１１からの距離がより短い第１目標画像２１１Ｌ、２１１Ｒを用いることで、カメラ１１の高さｈを高精度で検出することができる。また、カメラ１１からの距離がより長い第２目標画像２２１を用いることで、カメラ１１の俯角θを高精度で検出することができる。

なお、上述した実施形態における設置状態検出装置１２の一部、例えば、目標画像検出部１２１、距離算出部１２２、設置状態算出部１２３及び情報出力部１２５をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、設置状態検出装置１２に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における設置状態検出装置１２の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。設置状態検出装置１２の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…設置状態検出システム、１１…カメラ、１２…設置状態検出装置、
１２１…目標画像検出部、１２２…距離検出部、１２３…設置状態算出部、
１２４…設置状態記憶部、１２５…情報出力部
２１…第１目標画像表示部、２１１Ｌ、２１１Ｒ…第１目標画像、２１２…表示面、
２１３…支持部、
２２…第２目標画像表示部、２２１…第２目標画像、２２２…表示面、２２３…指示部

Claims (6)

1. 画像を撮影する撮影部と、第１目標画像を表示する第１目標画像表示部と、前記第１目標画像と同一の高さである目標画像設置高に第２目標画像を表示する第２目標画像表示部と、設置状態検出装置とを備え、前記第１目標画像から予め定めた距離である表示部間距離に前記第２目標画像が表示されている設置状態検出システムであって、
   前記設置状態検出装置は、
   前記撮影部により撮影された画像に前記第１目標画像が表示された座標に基づいて前記撮影部から前記第１目標画像までの水平方向の距離である第１目標距離を算出する距離算出部と、
   前記距離算出部が算出した第１目標距離、前記第１目標画像が前記撮影された画像に表示された座標、及び前記第２目標画像が前記撮影された画像に表示された座標に基づいて前記撮影部が設置されている高さ及び俯角を算出する設置状態算出部と、
   を備えることを特徴とする設置状態検出システム。
2. 前記第１目標画像表示部は、
   前記第１目標画像として複数の第１目標画像を、各第１目標画像間の中心点から前記撮影部への方向と垂直な方向に、予め定めた目標画像間距離で離間して表示し、
   前記距離算出部は、
   前記目標画像間距離及び前記複数の第１目標画像の各々が表示された座標間の距離に基づいて、前記第１目標距離を算出することを特徴とする請求項１に記載の設置状態検出システム。
3. 前記第２目標画像表示部は、
   前記撮影部からの水平方向の距離が前記第１目標距離よりも予め定めた表示部間距離だけ大きい第２目標距離に前記第２目標画像を表示し、
   前記設置状態算出部は、
   前記撮影された画像に表示された座標のうち、前記第１目標画像及び前記第２目標画像の垂直方向座標、に基づいて前記高さ及び俯角を算出することを特徴とする請求項1又は２に記載の設置状態検出システム。
4. 前記設置状態検出装置は、
   第１目標距離毎に、第１目標画像の垂直方向の座標並びに第２目標画像の垂直方向の座標と、高さ並びに俯角とを対応付けて記憶する記憶部を備え、
   前記設置状態算出部は、前記第１目標距離及び前記撮影された画像に表示された第１目標画像の垂直方向の座標に対応する高さ並びに俯角の第１の組と、前記第１目標距離及び前記撮影された画像に表示された第２目標画像の垂直方向の座標に対応する高さ並びに俯角の第２の組とを前記記憶部から読み出し、前記第１の組に含まれる高さ及び俯角と、前記第２の組に含まれる高さ及び俯角が一致する高さ及び俯角の組を定めることを特徴とする請求項３に記載の設置状態検出システム。
5. 撮影部により撮影された画像に第１目標画像が表示された座標に基づいて前記撮影部から前記第１目標画像までの水平方向の距離である第１目標距離を算出する距離算出部と、
   前記距離算出部が算出した第１目標距離、前記第１目標画像が前記撮影された画像に表示された座標、及び前記第１目標画像と同一の高さである目標画像設置高であって前記第１目標画像から予め定めた表示部間距離に表示された第２目標画像が前記撮影された画像に表示された座標、に基づいて前記撮影部が設置されている高さ及び俯角を算出する設置状態算出部と、
   を備えることを特徴とする設置状態検出装置。
6. 画像を撮影する撮影部と、第１目標画像を表示する第１目標画像表示部と、前記第１目標画像と同一の高さである目標画像設置高に第２目標画像を表示する第２目標画像表示部と、設置状態検出装置とを備え、前記第１目標画像から予め定めた距離である表示部間距離に前記第２目標画像が表示されている設置状態検出システムにおける設置状態検出方法であって、
   前記設置状態検出装置は、前記撮影された画像に前記第１目標画像が表示された座標に基づいて前記撮影部から前記第１目標画像までの水平方向の距離である第１目標距離を算出する第１の過程と、
   前記設置状態検出装置は、前記算出した第１目標距離、前記第１目標画像が前記撮影された画像に表示された座標、及び前記第２目標画像が前記撮影された画像に表示された座標に基づいて前記撮影部が設置されている高さ及び俯角を算出する第２の過程と、
   を有することを特徴とする設置状態検出方法。
   

Images