JP6634842B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、道路を撮像したカメラ画像から道路上に存在する車両の大きさ等を推定するためには、カメラ情報および道路上のマーカ（特徴点）間の距離等の道路情報からキャリブレーション処理を行うことで、道路平面パラメータ等を推定し、その道路平面パラメータ等を用いて画像上に写った物体の大きさ等を推定する技術が開示されている（例えば、特許文献１および特許文献２参照。）。

また、キャリブレーション後の道路画像に所定方向に伸びた線画像（例えば、垂直ライン、水平ライン等）を重畳して表示画面に表示することにより、操作者が道路画像と線画像との関係を見ることで、キャリブレーション結果が適切か否かを判断する技術が開示されている（例えば、特許文献３参照。）。

特開２００３−２５９３５７号公報 特開２０１３−１４８９７１号公報 特開２０１４−１６４６９４号公報

しかしながら、上記したキャリブレーション処理では、画像上の特徴点位置の決定方法、画像上距離の計算、実空間上の距離の測定、カメラ装置等の設置等の様々な段階で誤差を含む場合が多い。具体的には、画像上に写った特徴点の位置の決定方法、道路上の距離の計測方法、カメラ光軸に沿って設置される測距センサの角度、測距センサの精度等での誤差である。これらの誤差を含む情報に基いてキャリブレーションを行うと、誤った道路平面パラメータが推定され、その結果、画像上の物体の大きさ等を正確に推定できない恐れがある。

加えて、操作者が道路画像と線画像との関係を見ることで、キャリブレーション結果が不適切であると知り得たとしても、様々な誤差を修正するのは容易ではない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、道路平面パラメータを推定するキャリブレーション処理の精度を向上させることが可能な技術を提供することにある。

上記問題を解決するために、本発明のある観点によれば、道路が撮像された撮像画像を取得する画像取得部と、前記撮像画像と前記道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定するキャリブレーション部と、前記撮像画像を表示画面に表示させる表示制御部と、を備え、前記キャリブレーション部は、前記道路平面に少なくとも一端が存在するラインの方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向とに基づいて、前記道路平面パラメータを推定する、情報処理装置が提供される。

前記表示制御部は、前記道路平面パラメータによって特定される前記道路平面に応じた所定の情報を前記撮像面における座標に変換し、変換後の情報を前記撮像画像に重畳させてよい。

前記所定の情報は、前記道路平面上の矩形枠を示す情報および前記道路平面の垂線を示す情報のうち、少なくともいずれか一方を含んでよい。

前記キャリブレーション部は、前記方向が前記撮像画像において入力された場合、かつ、前記道路平面に少なくとも一端が存在する実空間における二点間の距離が入力された場合、前記撮像画像において入力された前記方向と、道路平面パラメータを含む演算式によって表される前記方向と、実空間において入力された前記距離と、道路平面パラメータを含む演算式によって表される前記距離とに基づいて前記道路平面パラメータを推定してよい。

前記キャリブレーション部は、実空間における前記距離が入力された場合、道路平面パラメータを含む演算式によって表される前記距離と実空間において入力された前記距離とに基づいて前記道路平面パラメータを推定し、前記表示制御部は、前記道路平面パラメータによって特定される前記道路平面に応じた所定の情報を前記撮像面における座標に変換し、変換後の情報を前記撮像画像に重畳させ、前記キャリブレーション部は、前記方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と、道路平面パラメータを含む演算式によって表される前記方向と、実空間において入力された前記距離と、道路平面パラメータを含む演算式によって表される前記距離とに基づいて前記道路平面パラメータを再推定してよい。

前記キャリブレーション部は、前記方向が前記撮像画像において入力された場合、かつ、実空間における前記距離が入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向との角度差と、実空間において入力された前記距離と道路平面パラメータを含む演算式によって表される前記距離との差分値とに基づいて、前記道路平面パラメータを推定してよい。

前記キャリブレーション部は、前記方向が前記撮像画像において入力された場合、かつ、実空間における前記距離が入力された場合、前記角度差に重みが乗じられて得られた乗算値と、前記差分値に重みが乗じられて得られた乗算値とに基づいて、前記道路平面パラメータを推定してよい。

前記キャリブレーション部は、前記方向が前記撮像画像において入力された場合、かつ、前記道路平面に存在する平行な二直線が撮像画像において入力された場合、前記撮像画像において入力された前記方向と、道路平面パラメータを含む演算式によって表される前記方向と、道路平面パラメータを含む条件によって表された前記撮像画像において入力された前記二直線が満たすべき条件とに基づいて前記道路平面パラメータを推定してよい。

また、本発明の別の観点によれば、道路が撮像された撮像画像を取得することと、前記撮像画像と前記道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定することと、前記撮像画像を表示画面に表示させることと、を含み、前記道路平面に少なくとも一端が存在するラインの方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向とに基づいて、前記道路平面パラメータを推定することを含む、情報処理方法が提供される。

また、本発明の別の観点によれば、コンピュータを、道路が撮像された撮像画像を取得する画像取得部と、前記撮像画像と前記道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定するキャリブレーション部と、前記撮像画像を表示画面に表示させる表示制御部と、を備え、前記キャリブレーション部は、前記道路平面に少なくとも一端が存在するラインの方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向とに基づいて、前記道路平面パラメータを推定する、情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、道路平面パラメータを推定するキャリブレーション処理の精度を向上させることが可能となる。

本発明の一実施形態に係る情報処理装置の概要を説明するための図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 キャリブレーション部により使用されるパラメータを示す図である。 道路平面に存在する平行な二直線の入力画面の例を示す図である。 撮像画像において入力された平行な二直線のキャリブレーションへの利用について説明するための図である。 実空間におけるカメラ（撮像部）から道路までの入力画面の例を示す図である。 実空間におけるカメラ（撮像部）から道路までの高さのキャリブレーションへの利用について説明するための図である。 実空間における道路平面上の二点間の距離とこの二点に対応する撮像画像における二点との入力画面の例を示す図である。 撮像画像において入力された道路平面上の線分と線分に対応する実空間における距離とのキャリブレーションへの利用について説明するための図である。 実空間における道路平面から伸びる垂線の距離とこの垂線に対応する撮像画像における距離との入力画面の例を示す図である。 撮像画像において入力された垂線と垂線に対応する実空間において入力された距離とのキャリブレーションへの利用について説明するための図である。 道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報の例を示す図である。 道路から伸びる垂線の方向の入力画面の例を示す図である。 撮像画像における道路から伸びる垂線の方向のキャリブレーションへの利用について説明するための図である。 車両の進行方向の入力画面の例を示す図である。 撮像画像における道路上の車両の進行方向のキャリブレーションへの利用について説明するための図である。 横断方向の入力画面の例を示す図である。 撮像画像における横断方向のキャリブレーションへの利用について説明するための図である。 道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報の例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

［情報処理装置の概要］
図１は、情報処理装置の概要を説明するための図である。図１を参照しながら、情報処理装置の概要について説明する。図１に示すように、情報処理装置１０、道路平面および車両Ｖが実空間に存在する。また、撮像部が組み込まれた情報処理装置１０は、撮像方向が道路平面に向けられた状態で設置されている。道路平面上には車両Ｖが存在するため、情報処理装置１０により撮像された撮像画像Ｉｍｇ’には車両が映っている。また、図１に示すように、情報処理装置１０のレンズの中心が原点Ｏと設定されている。

図１には、車両Ｖの斜め右上を撮像するように撮像方向が向けられている例について示されているが、車両Ｖの向きは特に限定されない。

また、図１には、情報処理装置１０に撮像機能を有する撮像部が組み込まれている例が示されているが、撮像部は情報処理装置１０に組み込まれておらず情報処理装置１０の外部に設置されていてもよい。かかる場合、例えば、情報処理装置１０は、撮像部から送信された撮像画像Ｉｍｇ’を受信することにより撮像画像Ｉｍｇ’を取得してもよい。また、例えば、情報処理装置１０は、撮像部により記録媒体に記録された撮像画像Ｉｍｇ’を読み込むことにより撮像画像Ｉｍｇ’を取得してもよい。

［本実施形態の詳細］
まず、本実施形態の詳細について説明する。図２は、本実施形態に係る情報処理装置１０の機能構成を示すブロック図である。図２に示すように、本実施形態に係る情報処理装置１０は、制御部１１０、入力部１２０、撮像部１３０、記憶部１５０および表示部１９０を備える。

入力部１２０は、操作者から入力される操作を受け付ける。また、入力部１２０は、操作者から入力される操作を制御部１１０に提供することができる。本実施形態では、入力部１２０がタッチパネルである場合を主に想定するが、入力部１２０はタッチパネル以外の入力装置（例えば、マウスなど）であってもよい。撮像部１３０は、実空間を撮像することにより撮像画像を取得する。また、撮像部１３０は、撮像画像を制御部１１０に提供することができる。

記憶部１５０は、制御部１１０を動作させるためのプログラムやデータを記憶することができる。また、記憶部１５０は、制御部１１０の動作の過程で必要となる各種データを一時的に記憶することもできる。表示部１９０は、制御部１１０による制御に従って、表示画面に各種情報を表示することができる。

なお、入力部１２０、撮像部１３０、記憶部１５０および表示部１９０は、情報処理装置１０の外部に備えられていてもよい。制御部１１０は、画像取得部１１１、入力情報取得部１１２、キャリブレーション部１１３および表示制御部１１４を備える。以下、制御部１１０が備えるこれらの各機能部の詳細について説明する。

例えば、情報処理装置１０により車両Ｖに関する情報（例えば、サイズ、種別等）が判別される前に、キャリブレーションが行われる必要がある。より詳細には、車両Ｖが存在する道路の平面式（以下、「道路平面式」とも言う）を算出する処理がキャリブレーションとして行われる必要がある。以下では、情報処理装置１０によって行われるキャリブレーションについて説明する。

図３は、キャリブレーション部１１３により使用されるパラメータを示す図である。キャリブレーション部１１３は、まず、撮像部１３０を構成する撮像素子のサイズと制御部１１０に提供される撮像画像Ｉｍｇ’のサイズとに基づいて、撮像素子の単位ｐｉｘｅｌ当たりの撮像画像Ｉｍｇ’のサイズｐｉｘ＿ｄｏｔをパラメータとして算出する必要がある。撮像画像Ｉｍｇ’は、原点Ｏから焦点距離だけ離れた撮像素子の撮像面上に撮像された撮像画像Ｉｍｇに基づいて生成される。

図３に示すように、ここでは、撮像素子がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である場合を例として説明するが、ＣＣＤは撮像素子の一例に過ぎない。したがって、撮像素子はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。

ここで、ＣＣＤサイズをｃｃｄ＿ｓｉｚｅとし、撮像画像Ｉｍｇ’（横：ｗｉｄｔｈ×縦：ｈｅｉｇｈｔ）のサイズをｉｍｇ＿ｓｉｚｅとすると、キャリブレーション部１１３は、以下の（数式１）によりｐｉｘ＿ｄｏｔを算出することができる。一般的に、ＣＣＤサイズは、ＣＣＤの対角線の長さで表されるため、この（数式１）に示されるように、ｐｉｘ＿ｄｏｔは、撮像画像Ｉｍｇ’の縦横の２乗和の平方根がＣＣＤサイズで除されることにより算出される。しかし、このような手法によるパラメータｐｉｘ＿ｄｏｔの算出は一例に過ぎないため、他の手法によりパラメータｐｉｘ＿ｄｏｔが算出されてもよい。例えば、ＣＣＤの対角線の代わりにＣＣＤの縦または横の長さが用いられてもよい。

・・・（数式１）

なお、ＣＣＤサイズは、例えば、撮像部１３０から容易に取得される。また、撮像画像Ｉｍｇ’のサイズは、例えば、記憶部１５０から取得される。したがって、制御部１１０は、これらのサイズに基づいて、ＣＣＤの撮像面に撮像される撮像画像Ｉｍｇの実空間における３次元座標と制御部１１０に提供される撮像画像Ｉｍｇ’の２次元座標との対応関係を把握することができる。すなわち、制御部１１０は、この対応関係に基づいて、制御部１１０に提供される撮像画像Ｉｍｇ’の２次元座標からＣＣＤの撮像面に撮像される撮像画像Ｉｍｇの実空間における３次元座標を把握することができる。

このように算出されたパラメータを用いてキャリブレーションが行われる。まず、画像取得部１１１は、撮像部１３０によって道路が撮像された撮像画像を取得する。そして、表示制御部１１４は、撮像画像を表示画面に表示させる。キャリブレーション部１１３は、撮像画像と道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定する。

続いて、操作者は、道路平面に少なくとも一端が存在するラインの方向を撮像画像において入力する。そして、入力情報取得部１１２は、撮像画像において入力された当該ラインの方向を取得する。キャリブレーション部１１３は、撮像画像において入力された当該ラインの方向と道路平面パラメータを含む演算式によって表される当該方向とに基づいて、道路平面パラメータを推定する。かかるキャリブレーション処理によれば、道路平面パラメータをより高精度に推定することが可能となる。

また、道路平面に少なくとも一端が存在するラインの方向の他に、道路平面に少なくとも一端が存在する実空間における二点間の距離が操作者によって入力された場合、入力情報取得部１１２は、実空間において入力された平行な二直線をさらに取得する。そして、キャリブレーション部１１３は、撮像画像において入力された当該ラインの方向と、道路平面パラメータを含む演算式によって表される当該方向と、実空間において入力された当該距離と、道路平面パラメータを含む演算式によって表される当該距離とに基づいて、道路平面パラメータを推定する。

また、道路平面に少なくとも一端が存在するラインの方向の他に、道路平面に存在する平行な二直線が操作者によって撮像画像において入力された場合、入力情報取得部１１２は、撮像画像において入力された平行な二直線をさらに取得する。そして、キャリブレーション部１１３は、撮像画像において入力された当該ラインの方向と、道路平面パラメータを含む演算式によって表される当該方向と、撮像画像において入力された平行な二直線が満たすべき条件とに基づいて、道路平面パラメータを推定する。

以下の説明においては、道路平面に少なくとも一端が存在するライン２本それぞれの方向の他に、道路平面に少なくとも一端が存在する実空間における二点間の距離３つが操作者によって入力された場合、かつ、道路平面に存在する平行な二直線が操作者によって撮像画像において入力された場合を想定する。しかし、後に説明するように、本実施形態はかかる場合に限定されない。また、操作者によって入力される情報の順序は、以下に説明する順序に限定されない。

道路平面に存在する平行な二直線の入力例について説明する。図４は、道路平面に存在する平行な二直線の入力画面の例を示す図である。図４に示すように、表示制御部１１４は、入力画面Ｇ１を表示部１９０に表示させている。入力画面Ｇ１には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ１には、入力情報１として道路平面上の平行線を入力する旨の指示が含まれ、次へボタンＧ１１が含まれている。

操作者が撮像画像において平行な二直線（直線Ｌ１および直線Ｌ２）を入力すると、入力情報取得部１１２は、撮像画像において入力された平行な二直線（直線Ｌ１および直線Ｌ２）を取得する。ここで、平行な二直線それぞれの入力はどのようになされてもよい。一例として、操作者が各直線の始点から終点までドラッグ操作を行うことによって各直線の入力が可能であってよい。あるいは、撮像画像にあらかじめ表示されている各直線の始点および終点をドラッグ操作によって移動することが可能であってもよい。

例えば、操作者は、撮像画像において平行な二直線を入力し終わると、次へボタンＧ１１を押下する操作を行う。例えば、次へボタンＧ１１を押下する操作は、次へボタンＧ１１に対するタッチ操作等であってよい。入力情報取得部１１２が、次へボタンＧ１１を押下する操作を受け付けると、キャリブレーション部１１３は、撮像画像において平行な二直線をキャリブレーションに利用する。

図５は、撮像画像において入力された平行な二直線のキャリブレーションへの利用について説明するための図である。図５に示すように、本実施形態においては、原点Ｏを基準としたｘｙｚ座標系（実空間）を想定する。このｘｙｚ座標系において、道路平面式をＲ１・ｘ＋Ｒ２・ｙ＋Ｒ３・ｚ＋Ｒ４＝０とする。なお、以下の説明では、図５に示したように、原点Ｏから焦点距離ｆだけ離れた点（焦点）をｙ軸上に設定し、この焦点を通りｙ軸に垂直な平面を撮像面とし、この撮像面上に撮像画像が撮像されるものとして説明を続ける。しかし、各座標軸の設定はこのような例に限定されない。

図５には、撮像画像において入力された平行な二直線のうち、一本目の直線上の２点（点ａ１および点ａ２）が示され、二本目の直線上の２点（点ａ３および点ａ４）が示されている。ここで、点ａ１〜点ａ４は、撮像面上に存在するため、そのｙ座標は焦点距離ｆであり、実空間における点ａ１〜点ａ４の座標は、以下の（数式２）のように表現することが可能である。

・・・（数式２）

また、点ａ１に対応する道路平面上の点Ａ１は、原点Ｏと点ａ１とを通過する直線上に存在する。同様に、点ａ２に対応する道路平面上の点Ａ２は、原点Ｏと点ａ２とを通過する直線上に存在する。また、点ａ３に対応する道路平面上の点Ａ３は、原点Ｏと点ａ３とを通過する直線上に存在する。また、点ａ４対応する道路平面上の点Ａ４は、原点Ｏと点ａ４とを通過する直線上に存在する。したがって、実空間における点Ａ１〜点Ａ４の座標は、以下の（数式３）のように表現することが可能である。

・・・（数式３）

ここで、点Ａ１〜点Ａ４は、道路平面上に存在する。したがって、道路平面式Ｒ１・ｘ＋Ｒ２・ｙ＋Ｒ３・ｚ＋Ｒ４＝０と（数式３）とに基づいて、以下の（数式４）が導き出される。

・・・（数式４）

また、ベクトルＡ２−Ａ１とベクトルＡ４−Ａ３とは平行であるという条件を満たすと仮定し、（数式３）をこの条件に適用すると、以下の（数式５）によって示されるＦ１が０（ゼロ）であるという条件が導き出される。（数式５）によって示されるＦ１は、後に利用される。

・・・（数式５）

続いて、道路平面に少なくとも一端が存在する実空間における二点間の距離（一つ目）として、実空間におけるカメラ（撮像部１３０）から道路までの高さの入力例について説明する。図６は、実空間におけるカメラ（撮像部１３０）から道路までの入力画面の例を示す図である。図６に示すように、表示制御部１１４は、入力画面Ｇ２を表示部１９０に表示させている。入力画面Ｇ２には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ２には、入力情報２としてカメラ（撮像部１３０）から道路までの高さを入力する旨の指示が含まれ、入力欄Ｇ２１、戻るボタンＧ２２および次へボタンＧ２３が含まれている。

操作者が実空間におけるカメラ（撮像部１３０）から道路までの高さを入力すると、入力情報取得部１１２は、実空間において入力されたカメラ（撮像部１３０）から道路までの高さを取得する。ここで、高さの入力はどのようになされてもよい。一例として、操作者が入力欄Ｇ２１にタッチ操作を行って数値を入力することによって、高さの入力が可能であってよい。

例えば、操作者は、実空間におけるカメラ（撮像部１３０）から道路までの高さを入力し終わると、次へボタンＧ２３を押下する操作を行う。入力情報取得部１１２が、次へボタンＧ２３を押下する操作を受け付けると、キャリブレーション部１１３は、実空間におけるカメラ（撮像部１３０）から道路までの高さをキャリブレーションに利用する。一方、戻るボタンＧ２２を押下する操作が操作者によってなされ、入力情報取得部１１２が、戻るボタンＧ２２を押下する操作を受け付けると、表示制御部１１４は、入力画面Ｇ１を表示部１９０に再度表示させる。

図７は、実空間におけるカメラ（撮像部１３０）から道路までの高さのキャリブレーションへの利用について説明するための図である。図７には、実空間において入力されたカメラ（撮像部１３０）から道路までの高さＤが示されている。ここで、カメラ（撮像部１３０）の位置は原点に設定されているため、道路平面パラメータを含む演算式によって表されるカメラ（撮像部１３０）から道路までの高さから高さＤを減じた結果Ｆ２は、以下の（数式６）のように表現することが可能である。

・・・（数式６）

道路平面パラメータを含む演算式によって表されるカメラ（撮像部１３０）から道路までの高さと、実空間において入力されたカメラ（撮像部１３０）から道路までの高さＤとが完全に一致すれば、Ｆ２が０（ゼロ）であるという関係が成立する。（数式６）によって示されるＦ２は、後に利用される。

続いて、道路平面に少なくとも一端が存在する実空間における二点間の距離（二つ目）として、実空間における道路平面上の二点間の距離の入力例について説明する。また、この例では、この二点に対応する撮像画像における二点も入力される。図８は、実空間における道路平面上の二点間の距離とこの二点に対応する撮像画像における二点との入力画面の例を示す図である。図８に示すように、表示制御部１１４は、入力画面Ｇ３を表示部１９０に表示させている。入力画面Ｇ３には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ３には、入力情報３として撮像画像における道路に線分を引き、その二点に対応する実空間における二点間の距離を入力する旨の指示が含まれ、入力欄Ｇ３１、戻るボタンＧ３２および次へボタンＧ３３が含まれている。

操作者が撮像画像において道路平面上の線分Ｌ３を入力し、線分Ｌ３に対応する実空間における距離を入力欄Ｇ３１に入力すると、入力情報取得部１１２は、撮像画像において入力された道路平面上の線分Ｌ３と線分Ｌ３に対応する実空間における距離とを取得する。例えば、操作者は、入力が完了すると、次へボタンＧ３３を押下する操作を行う。入力情報取得部１１２が、次へボタンＧ３３を押下する操作を受け付けると、キャリブレーション部１１３は、撮像画像において入力された道路平面上の線分Ｌ３と線分Ｌ３に対応する実空間における距離とをキャリブレーションに利用する。一方、戻るボタンＧ３２を押下する操作が操作者によってなされ、入力情報取得部１１２が、戻るボタンＧ３２を押下する操作を受け付けると、表示制御部１１４は、入力画面Ｇ２を表示部１９０に再度表示させる。

図９は、撮像画像において入力された道路平面上の線分Ｌ３と線分Ｌ３に対応する実空間における距離とのキャリブレーションへの利用について説明するための図である。図９には、撮像画像において入力された線分Ｌ３の両端が点ｂ１および点ｂ２として示されている。ここで、点ｂ１および点ｂ２は、撮像面上に存在するため、そのｙ座標は焦点距離ｆであり、実空間における点ｂ１および点ｂ２の座標は、以下の（数式７）のように表現することが可能である。

・・・（数式７）

また、点ｂ１に対応する道路平面上の点Ｂ１は、原点Ｏと点ｂ１とを通過する直線上に存在する。同様に、点ｂ２に対応する道路平面上の点Ｂ２は、原点Ｏと点ｂ２とを通過する直線上に存在する。したがって、実空間における点Ｂ１および点Ｂ２の座標は、以下の（数式８）のように表現することが可能である。

・・・（数式８）

ここで、点Ｂ１および点Ｂ２は、道路平面上に存在する。したがって、道路平面式Ｒ１・ｘ＋Ｒ２・ｙ＋Ｒ３・ｚ＋Ｒ４＝０と（数式８）とに基づいて、以下の（数式９）が導き出される。

・・・（数式９）

また、道路平面パラメータを含む演算式によって表される実空間における点Ｂ１と点Ｂ２との距離から、実空間において入力された点Ｂ１と点Ｂ２との距離Ｗを減じた結果Ｆ３は、以下の（数式１０）のように表現することが可能である。

・・・（数式１０）

道路平面パラメータを含む演算式によって表される実空間における点Ｂ１と点Ｂ２との距離と、実空間において入力された点Ｂ１と点Ｂ２との距離Ｗとが完全に一致すれば、Ｆ３が０（ゼロ）であるという関係が成立する。（数式１０）によって示されるＦ３は、後に利用される。

続いて、道路平面に少なくとも一端が存在する実空間における二点間の距離（三つ目）として、実空間における道路平面から伸びる垂線の距離の入力例について説明する。また、この例では、この垂線に対応する撮像画像における距離も入力される。図１０は、実空間における道路平面から伸びる垂線の距離とこの垂線に対応する撮像画像における距離との入力画面の例を示す図である。図１０に示すように、表示制御部１１４は、入力画面Ｇ４を表示部１９０に表示させている。入力画面Ｇ４には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ４には、入力情報４として撮像画像における道路平面から伸びる垂線を入力し、その垂線に対応する実空間における距離を入力する旨の指示が含まれ、入力欄Ｇ４１、戻るボタンＧ４２および次へボタンＧ４３が含まれている。

操作者が撮像画像において道路平面から伸びる垂線Ｌ４を入力し、垂線Ｌ４に対応する実空間における距離を入力欄Ｇ４１に入力すると、入力情報取得部１１２は、撮像画像において入力された垂線Ｌ４と垂線Ｌ４に対応する実空間において入力された距離とを取得する。例えば、操作者は、入力が完了すると、次へボタンＧ４３を押下する操作を行う。入力情報取得部１１２が、次へボタンＧ４３を押下する操作を受け付けると、キャリブレーション部１１３は、撮像画像において入力された垂線Ｌ４と垂線Ｌ４に対応する実空間において入力された距離とをキャリブレーションに利用する。一方、戻るボタンＧ４２を押下する操作が操作者によってなされ、入力情報取得部１１２が、戻るボタンＧ４２を押下する操作を受け付けると、表示制御部１１４は、入力画面Ｇ３を表示部１９０に再度表示させる。

図１１は、撮像画像において入力された垂線Ｌ４と垂線Ｌ４に対応する実空間において入力された距離とのキャリブレーションへの利用について説明するための図である。図１１には、撮像画像において入力された垂線Ｌ４の両端が点ｃ１および点ｃ２として示されている。ここで、点ｃ１および点ｃ２は、撮像面上に存在するため、そのｙ座標は焦点距離ｆであり、実空間における点ｃ１および点ｃ２の座標は、以下の（数式１１）のように表現することが可能である。

・・・（数式１１）

また、点ｃ１に対応する道路平面上の点Ｃ１は、原点Ｏと点ｃ１とを通過する直線上に存在する。同様に、点ｃ２に対応する道路平面上の点Ｃ２は、原点Ｏと点ｃ２とを通過する直線上に存在する。したがって、実空間における点Ｃ１および点Ｃ２の座標は、以下の（数式１２）のように表現することが可能である。

・・・（数式１２）

ここで、ベクトルＣ１−Ｃ２は、道路平面式Ｒ１・ｘ＋Ｒ２・ｙ＋Ｒ３・ｚ＋Ｒ４＝０で表現される道路平面に垂直であるという条件と（数式１２）とに基づいて、以下の（数式１３）が導き出される。

・・・（数式１３）

（数式１３）をｘｙｚそれぞれの成分について記述すると、以下の（数式１４）から（数式１６）のように表現される。

・・・（数式１４）

・・・（数式１５）

・・・（数式１６）

ここで、ｘ軸が実空間における水平方向に設定されているとすると、道路平面の垂線であるベクトルＣ１−Ｃ２のｘ成分は小さいため、（数式１３）に示されたベクトルＣ１−Ｃ２のｘ成分を無視することができる。そこで、（数式１３）に示されたベクトルＣ１−Ｃ２のｙｚ成分を連立方程式として扱い、この連立方程式を解くと、以下の（数式１７）が導き出される。

・・・（数式１７）

また、点Ｃ１は、道路平面上に存在する。（なお、点Ｃ２は点Ｃ１の鉛直線上に存在する。）したがって、道路平面式Ｒ１・ｘ＋Ｒ２・ｙ＋Ｒ３・ｚ＋Ｒ４＝０と（数式１２）とに基づいて、以下の（数式１８）が導き出される。

・・・（数式１８）

また、道路平面パラメータを含む演算式によって表される実空間における点Ｃ１と点Ｃ２との距離は、以下の（数式１９）のように表される。

・・・（数式１９）

また、道路平面パラメータを含む演算式によって表される実空間における点Ｃ１と点Ｃ２との距離から、実空間において入力された点Ｃ１と点Ｃ２との距離Ｈを減じた結果Ｆ４は、以下の（数式２０）のように表現することが可能である。

・・・（数式２０）

道路平面パラメータを含む演算式によって表される実空間における点Ｃ１と点Ｃ２との距離と、実空間において入力された点Ｃ１と点Ｃ２との距離Ｗとが完全に一致すれば、Ｆ４が０（ゼロ）であるという関係が成立する。（数式２０）によって示されるＦ４は、後に利用される。

続いて、キャリブレーション部１１３は、Ｆ１〜Ｆ４の加算結果が最小となる場合を算出し、Ｆ１〜Ｆ４の加算結果が最小となる場合における道路平面パラメータ（上記したＲ１、Ｒ２、Ｒ３およびＲ４）および焦点距離ｆを特定する。Ｆ１〜Ｆ４の加算結果が最小となる場合を算出する手法は特に限定されない。例えば、Ｆ１〜Ｆ４の加算結果が最小となる場合を算出する手法は、最小二乗法であってもよいし、連立方程式の計算であってもよいし、他の手法であってもよい。

なお、キャリブレーションの計算量を軽減するため、焦点距離ｆを正とするとよい。また、道路平面に対して撮像部１３０が存在する範囲だけを道路平面パラメータの探索範囲とすればよいため、Ｒ２を正とし、Ｒ３を負とすれば、キャリブレーションの計算量が軽減される。また、Ｆ１〜Ｆ４それぞれには、重みＷ１〜Ｗ４が乗じられてから加算されてもよい。探索範囲および重みＷ１〜Ｗ４は、設定ファイルに記録されていれば、設定ファイルの更新によって探索範囲および重みＷ１〜Ｗ４を変更することが可能である。

続いて、表示制御部１１４は、道路平面パラメータによって特定される道路平面に応じた所定の情報を撮像面における座標に変換し、変換後の情報を撮像画像に重畳させる。所定の情報は特に限定されないが、道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報のうち、少なくともいずれか一方を含んでもよい。ここでは、所定の情報が道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報の両方を含む場合を想定する。

図１２は、道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報の例を示す図である。図１２に示すように、表示制御部１１４は、出力画面Ｇ５を表示部１９０に表示させている。出力画面Ｇ５には、撮像部１３０によって撮像された撮像画像が含まれている。また、出力画面Ｇ５には、出力情報として道路の垂線と道路平面を表示する旨の通知が含まれ、キャリブレーション継続ボタンＧ５１およびキャリブレーション完了ボタンＧ５２が含まれている。

ここで、出力画面Ｇ５には、道路平面パラメータによって特定される道路平面上の矩形枠が撮像面における座標に変換された後の矩形枠Ｐ１が含まれている。また、出力画面Ｇ５には、道路平面パラメータによって特定される道路平面の垂線が撮像面における座標に変換された後の垂線Ｎ１が含まれている。矩形枠Ｐ１は、道路平面から大きく外れており、垂線Ｎ１も道路平面の垂線から大きく外れてしまっている。したがって、操作者がキャリブレーション継続ボタンＧ５１を押下し、入力情報取得部１１２がキャリブレーション継続ボタンＧ５１の押下を取得した場合を想定する。

続いて、キャリブレーションの精度を向上させるため、道路平面に少なくとも一端が存在するラインの方向もキャリブレーションに利用する。まず、道路平面に少なくとも一端が存在するラインの方向の入力例（一つ目）について説明する。図１３は、道路から伸びる垂線の方向の入力画面の例を示す図である。図１３に示すように、表示制御部１１４は、入力画面Ｇ６を表示部１９０に表示させている。入力画面Ｇ６には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ６には、入力情報５として道路から伸びる垂線の方向を入力する旨の指示が含まれ、戻るボタンＧ６１および次へボタンＧ６２が含まれている。

操作者が撮像画像における道路から伸びる垂線の方向Ｌ６を入力すると、入力情報取得部１１２は、撮像画像における道路から伸びる垂線の方向Ｌ６を取得する。例えば、操作者は、撮像画像における道路から伸びる垂線の方向Ｌ６を入力し終わると、次へボタンＧ６３を押下する操作を行う。入力情報取得部１１２が、次へボタンＧ６３を押下する操作を受け付けると、キャリブレーション部１１３は、撮像画像における道路から伸びる垂線の方向Ｌ６をキャリブレーションに利用する。一方、戻るボタンＧ６１を押下する操作が操作者によってなされ、入力情報取得部１１２が、戻るボタンＧ６１を押下する操作を受け付けると、表示制御部１１４は、出力画面Ｇ５を表示部１９０に再度表示させる。

図１４は、撮像画像における道路から伸びる垂線の方向Ｌ６のキャリブレーションへの利用について説明するための図である。図１４には、撮像画像における道路から伸びる垂線の方向Ｌ６の両端が点ｄ１および点ｄ２として示されている。ここで、点ｄ１および点ｄ２は、撮像面上に存在するため、そのｙ座標は焦点距離ｆであり、実空間における点ｄ１および点ｄ２の座標は、以下の（数式２１）のように表現することが可能である。

・・・（数式２１）

また、点ｄ１に対応する道路平面上の点Ｄ１は、原点Ｏと点ｄ１とを通過する直線上に存在する。同様に、点ｄ２に対応する道路平面上の点Ｄ２は、原点Ｏと点ｄ２とを通過する直線上に存在する。したがって、実空間における点Ｄ１および点Ｄ２の座標は、以下の（数式２２）のように表現することが可能である。ただし、ベクトルＤ１−Ｄ２の長さは如何なる値であってもよいため、点Ｄ２を表す式のうち、垂線方向（Ｒ１，Ｒ２，Ｒ３）に乗じられる係数は便宜的に決めている。

・・・（数式２２）

また、点Ｄ１および点Ｄ２を撮像面上に射影した点を点Ｄ１’および点Ｄ２’とすると、点Ｄ１’および点Ｄ２’は、撮像面上に存在するため、そのｙ座標は焦点距離ｆであり、点Ｄ１と点Ｄ１’とを結ぶ直線が原点を通過し、点Ｄ２と点Ｄ２’とを結ぶ直線が原点を通過する。したがって、点Ｄ１’および点Ｄ２’の座標は、以下の（数式２３）のように表現することが可能である。

・・・（数式２３）

ここで、ベクトルＤ２’−Ｄ１’は、（数式２３）に基づいて、以下の（数式２４）のように表現することが可能である。

・・・（数式２４）

一方、ベクトルｄ２−ｄ１は、（数式２１）に基づいて、以下の（数式２５）のように表現することが可能である。

・・・（数式２５）

（数式２４）によって示されるベクトルＤ２’−Ｄ１’と（数式２５）によって示されるベクトルｄ２−ｄ１とのなす角度をθ１とすると、ｃｏｓθ１は、以下の（数式２６）のように表現することが可能である。

・・・（数式２６）

このとき、θ１をＦ５とすると、Ｆ５は、以下の（数式２７）のように表現することが可能である。

・・・（数式２７）

道路平面パラメータを含む演算式によって表される道路から伸びる垂線の方向と、撮像画像において入力された道路から伸びる垂線の方向Ｌ６とが完全に一致すれば、Ｆ５が０（ゼロ）であるという関係が成立する。（数式２７）によって示されるＦ５は、後に利用される。

続いて、道路平面に少なくとも一端が存在するラインの方向の入力例（二つ目）について説明する。図１５は、車両の進行方向の入力画面の例を示す図である。図１５に示すように、表示制御部１１４は、入力画面Ｇ７を表示部１９０に表示させている。入力画面Ｇ７には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ７には、入力情報６−１として道路上に車両の進行方向を入力する旨の指示が含まれ、戻るボタンＧ７１および次へボタンＧ７２が含まれている。

操作者が撮像画像における道路上の車両の進行方向Ｌ７１を入力すると、入力情報取得部１１２は、撮像画像における道路上の車両の進行方向Ｌ７１を取得する。例えば、操作者は、撮像画像における道路上の車両の進行方向Ｌ７１を入力し終わると、次へボタンＧ７２を押下する操作を行う。入力情報取得部１１２が、次へボタンＧ７２を押下する操作を受け付けると、キャリブレーション部１１３は、撮像画像における道路上の車両の進行方向Ｌ７１をキャリブレーションに利用する。

一方、戻るボタンＧ７１を押下する操作が操作者によってなされ、入力情報取得部１１２が、戻るボタンＧ７１を押下する操作を受け付けると、表示制御部１１４は、出力画面Ｇ６を表示部１９０に再度表示させる。なお、ここでは、操作者が道路上の車両の進行方向Ｌ７１を入力する例を説明したが、既に操作者によって撮像画像において入力された平行な二直線の一方が撮像画像における道路上の車両の進行方向Ｌ７１として用いられてもよい。

図１６は、撮像画像における道路上の車両の進行方向Ｌ７１のキャリブレーションへの利用について説明するための図である。図１６には、撮像画像における道路上の車両の進行方向Ｌ７１を示すベクトルの両端が点ｐｔ１および点ｐｔ２として示されている。ここで、撮像面における点ｐｔ１および点ｐｔ２に対応する実空間における道路平面上の点を、点ＰＴ１および点ＰＴ２とする。このとき、実空間における道路上の車両の進行方向を示すベクトルＰＴ２−ＰＴ１を、以下の（数式２８）のように定義する。

・・・（数式２８）

ここで、実空間における道路平面の垂線ベクトル（Ｒ１，Ｒ２，Ｒ３）と実空間における道路上の車両の進行方向を示すベクトルｄｉｒＶｅｃとの両方に対して垂直なベクトルＶｅｃは、以下の（数式２９）のように表現される。このベクトルＶｅｃは、車両の走行レーンを車両の進行方向に対して垂直方向に横断する方向（以下、「横断方向」とも言う。）を示すベクトル（以下、「横断ベクトル」とも言う。）に相当し、キャリブレーションに利用される。

・・・（数式２９）

図１７は、横断方向の入力画面の例を示す図である。図１７に示すように、表示制御部１１４は、入力画面Ｇ８を表示部１９０に表示させている。入力画面Ｇ８には、撮像部１３０によって撮像された撮像画像が含まれている。また、入力画面Ｇ８には、入力情報６−２として横断方向を入力する旨の指示が含まれ、戻るボタンＧ８１および次へボタンＧ８２が含まれている。

操作者が撮像画像における横断方向Ｌ７２を入力すると、入力情報取得部１１２は、撮像画像における横断方向Ｌ７２を取得する。例えば、操作者は、撮像画像における横断方向Ｌ７２を入力し終わると、次へボタンＧ８２を押下する操作を行う。入力情報取得部１１２が、次へボタンＧ８２を押下する操作を受け付けると、キャリブレーション部１１３は、撮像画像における横断方向Ｌ７２をキャリブレーションに利用する。一方、戻るボタンＧ８１を押下する操作が操作者によってなされ、入力情報取得部１１２が、戻るボタンＧ８１を押下する操作を受け付けると、表示制御部１１４は、出力画面Ｇ８を表示部１９０に再度表示させる。

図１８は、撮像画像における横断方向Ｌ７２のキャリブレーションへの利用について説明するための図である。図１８には、撮像画像における横断方向Ｌ７２を示すベクトルの両端が点ｅ１および点ｅ２として示されている。点ｅ１および点ｅ２は、撮像面上に存在するため、そのｙ座標は焦点距離ｆであり、実空間における点ｅ１および点ｅ２の座標は、以下の（数式３０）のように表現することが可能である。

・・・（数式３０）

また、点ｅ１に対応する道路平面上の点Ｅ１は、原点Ｏと点ｅ１とを通過する直線上に存在する。同様に、点ｅ２に対応する道路平面上の点Ｅ２は、原点Ｏと点ｅ２とを通過する直線上に存在する。したがって、実空間における点Ｅ１および点Ｅ２の座標は、以下の（数式３１）のように表現することが可能である。

・・・（数式３１）

ここで、点Ｅ１および点Ｅ２は、道路平面上に存在する。したがって、道路平面式Ｒ１・ｘ＋Ｒ２・ｙ＋Ｒ３・ｚ＋Ｒ４＝０と（数式３１）とに基づいて、以下の（数式３２）が導き出される。

・・・（数式３２）

また、点Ｅ１に横断ベクトルＶｅｃを加算することによって得られる点を点Ｅ３とし、点Ｅ３を撮像面上に射影した点を点ｅ３とし、ベクトルｅ３−ｅ１とベクトルｅ２−ｅ１とのなす角度をθ２とすると、ｃｏｓθ２は、以下の（数式３３）のように表現することが可能である。

・・・（数式３３）

このとき、θ２をＦ６とすると、Ｆ６は、以下の（数式３４）のように表現することが可能である。

・・・（数式３４）

道路平面パラメータを含む演算式によって表される撮像画像における横断ベクトルｅ１−ｅ３と撮像画像において入力された横断ベクトルｅ１−ｅ２とが完全に一致すれば、Ｆ６が０（ゼロ）であるという関係が成立する。（数式３４）によって示されるＦ６は、後に利用される。

続いて、キャリブレーション部１１３は、Ｆ１〜Ｆ６に基づいて道路平面パラメータを再推定する。より具体的には、Ｆ１〜Ｆ６に対して重みＷ１〜Ｗ６が乗じられて得られた乗算値Ｗ１・Ｆ１〜Ｗ６・Ｆ６に基づいて、道路平面パラメータを再推定する。例えば、キャリブレーション部１１３は、以下の（数式３５）によって示されるＣｏｓｔが最小となる場合を算出し、Ｆ１〜Ｆ４の加算結果が最小となる場合における道路平面パラメータ（上記したＲ１、Ｒ２、Ｒ３およびＲ４）および焦点距離ｆを特定する。

・・・（数式３５）

なお、上記と同様に、Ｆ１〜Ｆ６の加算結果が最小となる場合を算出する手法は特に限定されない。例えば、Ｆ１〜Ｆ６の加算結果が最小となる場合を算出する手法は、最小二乗法であってもよいし、連立方程式の計算であってもよいし、他の手法であってもよい。

また、上記したように、キャリブレーションの計算量を軽減するため、焦点距離ｆを正とするとよい。また、道路平面に対して撮像部１３０が存在する範囲だけを道路平面パラメータの探索範囲とすればよいため、Ｒ２を正とし、Ｒ３を負とすれば、キャリブレーションの計算量が軽減される。また、上記したように、探索範囲および重みＷ１〜Ｗ６は、設定ファイルに記録されていれば、設定ファイルの更新によって探索範囲および重みＷ１〜Ｗ６を変更することが可能である。

重みＷ１〜Ｗ６を設定する利点としては、様々な利点が考えられる。一つ目の利点としては、Ｆ１〜Ｆ６はオーダが異なるのが通例であるため、Ｆ１〜Ｆ６の間でオーダを調整することができるという利点が考えられる。二つ目の利点としては、Ｆ１〜Ｆ６の重要度をキャリブレーションに反映することができるという利点が考えられる。

一例として、操作者は、Ｗ１＝０．０１８１８２、Ｗ２＝０．０１８１８２、Ｗ３＝０．０３６３６４、Ｗ４＝０．０１８１８２、Ｗ５＝０．４５４５４５、および、Ｗ６＝０．０４５４５４５と設定してもよい。この例では、車両の速度の精度を求めるためには、道路平面上の二点間の距離の重要性が高いという事情に鑑み、Ｗ３を大きくしている。また、Ｗ５およびＷ６がＷ２およびＷ４の２５倍に設定されているため、Ｆ５およびＦ６における１度のずれが、Ｆ２およびＦ４における２５ｃｍのずれに相当する。

続いて、表示制御部１１４は、再推定によって得られた道路平面パラメータによって特定される道路平面に応じた所定の情報を撮像面における座標に変換し、変換後の情報を撮像画像に重畳させる。所定の情報は特に限定されないが、道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報のうち、少なくともいずれか一方を含んでもよい。ここでは、所定の情報が道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報の両方を含む場合を想定する。

図１９は、道路平面上の矩形枠を示す情報および道路平面の垂線を示す情報の例を示す図である。図１９に示すように、表示制御部１１４は、出力画面Ｇ９を表示部１９０に表示させている。出力画面Ｇ９には、撮像部１３０によって撮像された撮像画像が含まれている。また、出力画面Ｇ９には、出力情報として道路の垂線と道路平面を表示する旨の通知が含まれ、キャリブレーション継続ボタンＧ９１およびキャリブレーション完了ボタンＧ９２が含まれている。

ここで、出力画面Ｇ９には、再推定によって得られた道路平面パラメータによって特定される道路平面上の矩形枠が撮像面における座標に変換された後の矩形枠Ｐ２が含まれている。また、出力画面Ｇ９には、再推定によって得られた道路平面パラメータによって特定される道路平面の垂線が撮像面における座標に変換された後の垂線Ｎ２が含まれている。キャリブレーションの精度が向上したため、矩形枠Ｐ２は、道路平面にほぼ合致しており、垂線Ｎ２も道路平面の垂線にほぼ合致している。

以上に説明したように、本実施形態によれば、撮像画像において入力された当該ラインの方向と道路平面パラメータを含む演算式によって表される当該方向とに基づいて、道路平面パラメータを推定する。かかる構成によれば、道路平面パラメータを推定するキャリブレーション処理の精度を向上させることが可能となる。

［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記においては、撮像画像において入力されるラインの方向以外の情報（Ｆ１〜Ｆ４）に基づいてキャリブレーションが行われ、さらに高精度なキャリブレーションが必要と操作者によって判断された場合に、再度キャリブレーションが行われる例を説明した。かかる構成によって、必要な場合にのみキャリブレーションが実行され得る。しかし、最初から撮像画像において入力されるラインの方向も考慮した（Ｆ１〜Ｆ６を考慮した）キャリブレーションが実行されてもよい。

また、上記においては、撮像画像において入力されるラインの方向として二つの方向を考慮した（Ｆ５およびＦ６を考慮した）キャリブレーションが行われる例を説明した。しかし、上記したように、未知数がＲ１、Ｒ２、Ｒ３、Ｒ４およびｆの合計５つである場合には、撮像画像において入力されるラインの方向は一つ用いられればよい（例えば、Ｆ１〜Ｆ５が用いられてもよいし、Ｆ１〜Ｆ４およびＦ６が用いられてもよい）。また、事前にパラメータ（例えば、焦点距離ｆ）が存在する場合には、Ｆ１〜Ｆ６よりそのパラメータの分だけ少ない数が用いられればよい。

例えば、情報処理装置１０の制御部１１０を構成する各ブロックは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成され、記憶部１５０により記憶されているプログラムがＣＰＵによりＲＡＭに展開されて実行されることにより、その機能が実現され得る。あるいは、制御部１１０を構成する各ブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。

１０ 情報処理装置
１１０ 制御部
１１１ 画像取得部
１１２ 入力情報取得部
１１３ キャリブレーション部
１１４ 表示制御部
１２０ 入力部
１３０ 撮像部
１５０ 記憶部
１９０ 表示部

Claims (10)

1. 道路が撮像された撮像画像を取得する画像取得部と、
   前記撮像画像と前記道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定するキャリブレーション部と、
   前記撮像画像を表示画面に表示させる表示制御部と、を備え、
   前記キャリブレーション部は、
   前記道路平面に少なくとも一端が存在するラインの方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向とに基づいて、前記道路平面パラメータを推定する、
   情報処理装置。
2. 前記表示制御部は、
   前記道路平面パラメータによって特定される前記道路平面に応じた所定の情報を前記撮像面における座標に変換し、変換後の情報を前記撮像画像に重畳させる、
   請求項１に記載の情報処理装置。
3. 前記所定の情報は、前記道路平面上の矩形枠を示す情報および前記道路平面の垂線を示す情報のうち、少なくともいずれか一方を含む、
   請求項２に記載の情報処理装置。
4. 前記キャリブレーション部は、
   前記方向が前記撮像画像において入力された場合、かつ、前記道路平面に少なくとも一端が存在する実空間における二点間の距離が入力された場合、前記撮像画像において入力された前記方向と、道路平面パラメータを含む演算式によって表される前記方向と、実空間において入力された前記距離と、道路平面パラメータを含む演算式によって表される前記距離とに基づいて前記道路平面パラメータを推定する、
   請求項１に記載の情報処理装置。
5. 前記キャリブレーション部は、
   実空間における前記距離が入力された場合、道路平面パラメータを含む演算式によって表される前記距離と実空間において入力された前記距離とに基づいて前記道路平面パラメータを推定し、
   前記表示制御部は、
   前記道路平面パラメータによって特定される前記道路平面に応じた所定の情報を前記撮像面における座標に変換し、変換後の情報を前記撮像画像に重畳させ、
   前記キャリブレーション部は、
   前記方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と、道路平面パラメータを含む演算式によって表される前記方向と、実空間において入力された前記距離と、道路平面パラメータを含む演算式によって表される前記距離とに基づいて前記道路平面パラメータを再推定する、
   請求項４に記載の情報処理装置。
6. 前記キャリブレーション部は、
   前記方向が前記撮像画像において入力された場合、かつ、実空間における前記距離が入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向との角度差と、実空間において入力された前記距離と道路平面パラメータを含む演算式によって表される前記距離との差分値とに基づいて、前記道路平面パラメータを推定する、
   請求項４に記載の情報処理装置。
7. 前記キャリブレーション部は、
   前記方向が前記撮像画像において入力された場合、かつ、実空間における前記距離が入力された場合、前記角度差に重みが乗じられて得られた乗算値と、前記差分値に重みが乗じられて得られた乗算値とに基づいて、前記道路平面パラメータを推定する、
   請求項６に記載の情報処理装置。
8. 前記キャリブレーション部は、
   前記方向が前記撮像画像において入力された場合、かつ、前記道路平面に存在する平行な二直線が撮像画像において入力された場合、前記撮像画像において入力された前記方向と、道路平面パラメータを含む演算式によって表される前記方向と、道路平面パラメータを含む条件によって表された前記撮像画像において入力された前記二直線が満たすべき条件とに基づいて前記道路平面パラメータを推定する、
   請求項１に記載の情報処理装置。
9. 道路が撮像された撮像画像を取得することと、
   前記撮像画像と前記道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定することと、
   前記撮像画像を表示画面に表示させることと、を含み、
   前記道路平面に少なくとも一端が存在するラインの方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向とに基づいて、前記道路平面パラメータを推定することを含む、
   情報処理方法。
10. コンピュータを、
    道路が撮像された撮像画像を取得する画像取得部と、
    前記撮像画像と前記道路に関する道路情報とに基づいて、撮像面における座標を実空間における道路平面上の座標に変換するための道路平面パラメータを推定するキャリブレーション部と、
    前記撮像画像を表示画面に表示させる表示制御部と、を備え、
    前記キャリブレーション部は、
    前記道路平面に少なくとも一端が存在するラインの方向が前記撮像画像において入力された場合、前記撮像画像において入力された前記方向と道路平面パラメータを含む演算式によって表される前記方向とに基づいて、前記道路平面パラメータを推定する、
    情報処理装置として機能させるためのプログラム。

Images