JP5846140B2 - 情報処理装置、及びプログラム - Google Patents

Description

本発明は、情報処理装置、及びプログラムに関する。

従来、道路を撮像したカメラ画像から道路上に存在する車両の大きさ等を推定するためには、カメラ情報および道路上のマーカ（特徴点）間の距離等の道路情報からキャリブレーション処理を行うことで、道路平面パラメータ等を推定し、その道路平面パラメータ等を用いて画像上に写った物体の大きさ等を推定していた（特許文献１参照）。

特許文献１におけるキャリブレーション方法では、画像上の指定（あるいは自動的に抽出）した特徴的の位置に基いて、画像上の特徴点間の距離と、実空間上での距離を対応づけて、キャリブレーション処理が行われる。また、上記処理にカメラから道路平面までの距離をカメラ光軸に沿って計測した距離を利用することもある。

特開２００３−２５９３５７号公報

しかしながら、上記処理では画像上の特徴点位置の決定方法、画像上距離の計算、実空間上の距離の測定、カメラ装置等の設置等の様々な段階で誤差を含む場合が多い。具体的には、画像上に写った特徴点の位置の決定方法、道路上の距離の計測方法、カメラ光軸に沿って設置される測距センサの角度、測距センサの精度等などでの誤差である。これらの誤差を含む情報に基いてキャリブレーションを行うと、誤った道路平面パラメータが推定され、その結果、画像上の物体の大きさ等を正確に推定できない恐れがある。

加えて、上記キャリブレーション操作を行う人は、必ずしもキャリブレーションの理論などに精通していない人が行うことが多く、キャリブレーションが正しいか否かを簡単に確認することも求められるが、従来ではそのような手法は存在しない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、キャリブレーションに精通していない人であってもキャリブレーション結果が適切か否かの容易に判断可能な、新規かつ改良された情報処理装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、道路を撮像した撮像画像を取得する画像取得部と、前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定してキャリブレーションを行うキャリブレーション部と、キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させる表示処理部と、を備える、情報処理装置が提供される。

また、上記の情報処理装置において、前記表示処理部は、前記撮像画像中の物体の外形線に沿って前記線画像を表示させることとしても良い。

また、上記の情報処理装置において、前記線画像は、前記撮像画像の道路平面に垂直な方向に延びた垂直ラインであることとしても良い。

また、上記の情報処理装置において、前記線画像は、前記撮像画像の道路の進行方向に延びた水平ラインであることとしても良い。

また、上記の情報処理装置において、前記表示処理部は、前記撮像画像の端側に前記線画像を表示させることとしても良い。

また、上記の情報処理装置において、指定された前記線画像の表示位置を取得する位置取得部と、前記表示位置における前記線画像を計算する計算部と、を更に備え、前記表示処理部は、計算された前記線画像を前記表示位置から所定方向に延びるように表示させることとしても良い。

また、上記の情報処理装置において、前記線画像の表示位置の指定を所定範囲内に制限する位置制限部を更に備え、前記表示処理部は、前記所定範囲内に前記線画像を表示させることとしても良い。

また、上記の情報処理装置において、前記表示処理部は、前記線画像の長さも前記表示画面に一緒に表示させることとしても良い。

本発明の他の観点によれば、道路を撮像した撮像画像を取得する画像取得部と、前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定してキャリブレーションを行うキャリブレーション部と、前記撮像画像中の物体の垂直方向に延びた物体ラインを自動で抽出する物体ライン抽出部と、キャリブレーション後の撮像画像の道路平面に垂直な垂直ラインを取得し、前記垂直ラインと前記物体ラインとの成す角度を判定する判定部と、を備える、情報処理装置が提供される。

本発明の他の観点によれば、コンピュータに、道路を撮像した撮像画像を取得するステップと、前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定してキャリブレーションを行うステップと、キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させるステップと、を実行させるためのプログラムが提供される。

以上説明したように本発明によれば、キャリブレーションに精通していない人であってもキャリブレーション結果が適切か否かの容易に判断することが可能となる。

第１の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。 操作者がキャリブレーションに必要な情報を入力する入力画面８００の一例を示す図である。 キャリブレーションが正しい場合の垂直ラインの表示例を示す図である。 キャリブレーションが正しくない場合の垂直ラインの表示例を示す図である。 第１の実施形態に係る道路画像上の垂直ラインの表示処理を示すフローチャートである。 第２の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。 入力画像に対して縦エッジ抽出処理を行い２値化した２値化縦エッジ画像の一例を示す図である。 ２値化縦エッジ画像から抽出した縦ラインの表示例を示す図である。 第３の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。 操作者が道路画像で指定可能な位置の一例を説明するための模式図である。 第４の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。 操作者がキャリブレーションに必要な情報を入力する入力画面８６０の一例を示す図である。 キャリブレーションが正しい場合の水平ラインの表示例を示す図である。 キャリブレーションが正しくない場合の水平ラインの表示例を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．第１の実施形態＞
（１−１．情報処理装置の構成）
図１を参照しながら、第１の実施形態に係る情報処理装置１００の構成例について説明する。図１は、第１の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０と、表示処理部１４０とを有する。

なお、情報処理装置１００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、ディスプレイ、各種入力装置（キーボード、マウス等）等のハードウェア構成を有する。ＲＯＭには、画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０と、表示処理部１４０とを実現させるためのプログラムが記録されている。ＣＰＵは、ＲＯＭに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０と、表示処理部１４０とが実現される。

（画像取得部１１０）
画像取得部１１０は、カメラ等の撮像装置（不図示）から撮像画像を取得する。ここで、撮像装置は、道路脇の地表面よりも高い位置に設置されており、車両が通行する道路を撮像する。これにより、画像取得部１１０は、撮像画像として、道路を撮像した道路画像（図２参照）を取得する。画像取得部１１０は、取得した道路画像をキャリブレーション部１３０に出力する。

（入力情報取得部１２０）
入力情報取得部１２０は、操作者により入力されたキャリブレーションに必要な入力情報を取得する。入力情報取得部１２０は、取得した入力情報をキャリブレーション部１３０に出力する。なお、操作者は、例えばキーボードやマウス等により、図２に示すような入力画面においてキャリブレーションに必要な情報（例えば、道路情報や、撮像装置のパラメータ）を入力する。

図２は、操作者がキャリブレーションに必要な情報を入力する入力画面８００の一例を示す図である。入力画面８００は、表示画面（ディスプレイ）に表示され、例えば、画像取得部１１０により取得された道路画像を表示する道路表示領域８０２と、操作者が各種の情報を入力する情報入力領域８０４とを含む。なお、入力画面８００は、図２の形態に限定されず、道路表示領域８０２、情報入力領域８０４以外の領域を含んでも良い。

図２に示す道路表示領域８０２には、道路８０３Ａの進行方向に沿って所定間隔で設けられた車線８０３Ｂ、電柱８０３Ｃ、標識８０３Ｄ、道路脇の建物等８０３Ｅが表示されている。なお、道路表示領域８０２では、遠近法により、手前側が大きく表示され、奥側が小さく表示される。また、撮像装置の画角の影響で、表示領域の中央側に比べて、端側の方において傾き等が目立って表示されやすい。操作者は、道路表示領域８０２上に線分等の図形や情報を入力できる。図２では、操作者が、道路平面上に３本の線分Ｌ１、Ｌ２、Ｌ３を描いている。線分Ｌ１は車線８０３Ｂの長さに相当し、線分Ｌ２は二つの車線８０３Ｂ間の進行方向における間隔に相当し、線分Ｌ３は道路８０３Ａの幅に相当する。

情報入力領域８０４は、道路情報を入力する第１入力領域８０５と、撮像装置のパラメータを入力する第２入力領域８０６とを含む。第１入力領域８０５では、操作者は、道路情報として、例えば道路表示領域８０２で描いた３本の線分Ｌ１〜Ｌ３の実際の長さを入力できる。第２入力領域８０６では、操作者は、撮像装置のパラメータとして、例えば撮像装置の設置高さや、焦点距離等を入力できる。なお、撮像装置のパラメータとしては、他に、設置角度（光軸と地表面とがなす角度）、ＣＣＤサイズ等が挙げられる。

（キャリブレーション部１３０）
キャリブレーション部１３０は、画像取得部１１０から入力された道路画像と、入力情報取得部１２０から入力された入力情報（道路情報や撮像装置のパラメータ等）とに基いて、道路画像のキャリブレーションを行う。これにより、キャリブレーション部１３０は、道路平面パラメータを算出する。

ここで、道路平面パラメータは、道路画像中の２次元座標を実空間上の３次元座標に変換するための方程式である。キャリブレーションの具体的な方法は特に限定されない。キャリブレーション部１３０は、キャリブレーション結果として、道路平面パラメータ及び道路情報を含むキャリブレーション情報を表示処理部１４０に出力する。

（表示処理部１４０）
表示処理部１４０は、キャリブレーション部１３０によるキャリブレーション結果を表示画面（ディスプレイ）に表示させる。本実施形態では、表示処理部１４０は、キャリブレーション部１３０のキャリブレーション結果として得られる道路平面パラメータに基いて計算された垂直ラインを、キャリブレーション後の道路画像上に重畳表示させる。垂直ラインは、所定方向（すなわち、道路平面に垂直な方向）に延びた線画像の一例であり、例えば破線、点線、実線のいずれかが表示される。表示処理部１４０は、道路画像中の物体（建造物等）の外形線に沿って垂直ラインを表示させる。

ここで、キャリブレーション後の道路画像上に垂直ラインを重畳表示する理由を説明する。通常、道路画像では、道路平面に対して建造物（例えば、図２に示す道路脇の建物８０３Ｅや、標識８０３Ｄ、電柱８０３Ｃ）や移動体が垂直に設置されることが多い。そのため、道路画像上に垂直ラインを表示し、垂直ラインと、道路平面と垂直な物体とのエッジ線（以下、物体縦ラインとも呼ぶ）とのずれを見ることで、キャリブレーションの是非を操作者が確認することが可能となる。すなわち、垂直ラインを表示させることで、キャリブレーション後の道路画像が正しいか否かを確認可能である。

図３は、キャリブレーションが正しい場合の垂直ラインの表示例を示す図である。キャリブレーション結果が正しい場合（つまり、道路平面パラメータ等が正しい場合）には、図３に示す表示画面８１０において、垂直ラインＶ（破線）と物体縦ラインが、画像上の全ての位置においてほぼ重なる（二つのラインの間の角度が、ほぼ０度となる）。

図４は、キャリブレーションが正しくない場合の垂直ラインの表示例を示す図である。キャリブレーション結果が間違っている場合、図４に示す表示画面８２０において、垂直ラインＶ（破線）と物体縦ライン（図４では、画像中央上部のラインを除く、画像端の３本のラインにあたる）が、大きくずれている。

図４に示すように垂直ラインＶと物体縦ラインが大きくずれている場合には、キャリブレーションが間違っているとして、操作者がキャリブレーションに必要な情報を変更して入力することで、再度キャリブレーションが行われる。その後、操作者は、再度表示された垂直ラインと物体縦ラインとのずれを見ることで、正しく変更されたかを容易に把握できる。この結果、正確なキャリブレーションが可能となる。

以下において、表示処理部１４０の詳細な機能について説明する。表示処理部１４０は、図１に示すように、表示位置取得部１４１と、垂直ライン計算部１４２と、垂直ライン表示部１４３とを有する。

表示位置取得部１４１は、道路画像上で操作者が指定した垂直ラインの表示位置を取得する。例えば、操作者は、マウス等で、道路脇の建造物８０３Ｅ等の角点、電柱８０３Ｃの下端点等を指定する。図３及び図４では、操作者が指定した位置（標識８０３Ｄの下端点、ビル８０３Ｅの角点（２点）、電柱８０３Ｃの下端点）が矢印で示されている。表示位置取得部１４１は、取得した表示位置に関する情報を、垂直ライン計算部１４２に出力する。

ところで、指定する垂直ラインの表示位置は、垂直ラインの確認をしやすくする観点から、２点以上であることが望ましい。また、表示位置は、道路画像の端側（具体的には、左右の端）が望ましい。これは、キャリブレーション結果が正しくない場合に、画像の端部での垂直ラインと物体縦ラインの角度差が、画像の中央部分での垂直ラインと物体縦ラインの角度差よりも大きいために、二つのラインのずれを操作者が把握しやすいからである。

垂直ライン計算部１４２は、操作者が指定した位置における垂直ラインを計算する。垂直ライン計算部１４２は、操作者が指定した位置とキャリブレーション結果に基いて、道路平面パラメータから道路平面に垂直な垂直ラインを計算する。これにより、操作者が指定した位置での垂直ラインが決定される。垂直ライン計算部１４２は、計算結果を垂直ライン表示部１４３に出力する。

垂直ライン表示部１４３は、垂直ライン計算部１４２で計算された垂直ラインを、道路画像上の操作者が指定した位置から所定方向に延びるように重畳表示する。図３、図４では、垂直ラインＶとして、指定した位置を下端として画面端まで延びた破線が表示されている。なお、垂直ラインは、破線に限定されず、物体縦ラインと識別できれば、点線等のラインであっても良い。

上記では、垂直ラインと物体縦ラインのずれの度合いでキャリブレーションの是非を判断することとしたが、これに限定されない。例えば、表示処理部１４０は、垂直ラインの長さも一緒に表示させて、操作者にキャリブレーション結果の是非の判断に役立ててもらうことも可能である。かかる場合、操作者は、入力画面で垂直ラインの位置を指定する際に、上端も指定することで、キャリブレーション結果から垂直ラインの距離を算出し、算出値を表示することになる。例えば、図３、図４の例では、標識８０３Ｄの棒の高さを予め計測しておき、画像上で標識８０３Ｄの棒の上端、下端を指定してその長さを算出し、算出値が実空間上での値と等しい（又は近い値をとる）かも併せて判定することで、より正確な判定も可能となる。

（１−２．垂直ラインの表示処理）
図５を参照しながら、垂直ラインを道路画像上に重畳表示する際の情報処理装置１００の処理について説明する。垂直ラインの表示処理は、情報処理装置１００のＣＰＵが、ＲＯＭに記憶されたプログラム（ソフトウェア）に基いて、実行される。なお、プログラムは、例えばネットワーク等を介してダウンロードされたものであっても良い。

図５は、第１の実施形態に係る道路画像上の垂直ラインの表示処理を示すフローチャートである。図５のフローチャートは、画像取得部１１０が、撮像装置が撮像した撮像画像である道路画像を取得したところから開始される（ステップＳ１０２）。取得された道路画像は、操作者が確認できるように表示部に表示される。

その後、操作者が、入力画面（図２）でキャリブレーションに必要な情報を入力すると、入力情報取得部１２０は、入力情報を取得する（ステップＳ１０４）。次に、キャリブレーション部１３０は、取得された道路画像と入力情報に基いて、道路画像のキャリブレーションを行い道路平面パラメータを計算する（ステップＳ１０６）。

その後、操作者が入力画面において垂直ラインの表示させる位置を指定すると、表示処理部１４０は、道路画像上の指定された位置に垂直ラインを重畳表示させる（ステップＳ１０８）。すなわち、表示処理部１４０は、操作者が指定した位置情報を取得し、指定した位置（例えば、画像の端の建造物の角点）における垂直ラインを計算することで、垂直ラインを道路画像上に重畳表示させる。これにより、操作者は、表示された道路画像と垂直ラインを見ることで、キャリブレーションが適切に行われたか否かを視認できる。

例えば、キャリブレーションが正しい場合には、図３に示すように垂直ラインＶと物体縦ラインがほぼ重なる。一方で、キャリブレーションが正しくない場合には、図４に示すように垂直ラインＶと物体縦ラインが大きくずれる。なお、表示画面に、キャリブレーションが正しくか否かを示す情報を表示しても良い。例えば、垂直ラインと物体縦ラインが大きくずれている場合には、警告メッセージを表示しても良い。

操作者が上記垂直ラインを視認してキャリブレーションが適切に行われていないと判定した場合には（ステップＳ１１０：Ｎｏ）、上述したステップＳ１０４〜Ｓ１０８の処理が繰り返される。これにより、操作者は、入力情報を入れ直した後にキャリブレーションの結果を再度確認できる。そして、キャリブレーションが適切に行われるまで（ステップＳ１１０：Ｙｅｓ）、繰り返されることになる。

（１−３．有効性について）
第１の実施形態においては、キャリブレーションの結果に基づいて、垂直ラインを道路画像上に重畳表示させる。これにより、操作者は、図３や図４に示すように道路画像上の物体の物体縦ラインと垂直ラインＶとのずれを確認するだけで、キャリブレーションの是非を容易に判断できる。

例えば、物体縦ラインと垂直ラインのずれが大きいほど（物体縦ラインと垂直ラインの成す角度が大きいほど）、キャリブレーションの誤差が大きいことを示し、ずれが小さいほど（物体縦ラインと垂直ラインの角度が小さいほど）、キャリブレーションの誤差が小さい。従って、キャリブレーションに精通していない人であってもキャリブレーション結果が適切か否かの容易に判断することが可能となる。

＜２．第２の実施形態＞
第１の実施形態では、操作者が、道路画像に重畳表示された垂直ラインを見て、キャリブレーションが正しく行われか否かを判断していた。これに対して、第２の実施形態では、操作者の代わりに、情報処理装置１００が、キャリブレーションが正しく行われたか否かを判断する。

図６は、第２の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。第２の実施形態に係る情報処理装置１００は、画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０と、物体縦ライン抽出部１３２と、判定部の一例であるキャリブレーション判定部１５０とを有する。画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０は、図１に示す第１の実施形態と同様であるので、説明を省略する。

物体縦ライン抽出部１３２には、キャリブレーション部１３０に入力された道路画像と同じ道路画像が画像取得部１１０から入力される。物体縦ライン抽出部１３２は、公知の画像処理の手法により、道路画像（入力画像）の中から物体の縦ライン（垂直方向に延びた物体ラインの一例）を自動で抽出する。物体縦ライン抽出部１３２は、抽出した縦ラインの情報をキャリブレーション判定部１５０に出力する。

ここで、図７及び図８を参照しながら、縦ラインの抽出方法の一例を説明する。図７は、入力画像に対して縦エッジ抽出処理を行い２値化した２値化縦エッジ画像の一例を示す図である。図８は、２値化縦エッジ画像から抽出した縦ラインの表示例を示す図である。まず、公知の垂直線抽出フィルタ（例えば、安居院、長尾著「画像の処理と認識」昭晃堂、P.44〜P.46参照）を用いて入力画像中の縦エッジを抽出する。次に、エッジ画像を２値化して、図７に示すような２値化縦エッジ画像８３０を生成する。次に、２値化縦エッジ画像８３０から公知のハフ変換等を用いて直線抽出を行い、図８に示すような所定の長さを持つ線分を物体縦ラインとして抽出した画像８４０を生成する。このように物体縦ラインを抽出することにより、入力画像（道路画像）では、道路脇の建物８０３Ｅ、標識８０３Ｄ、電柱８０３Ｃ等の道路平面に対して垂直となる直線が多く検出されることとなる。

キャリブレーション判定部１５０は、キャリブレーションされた道路画像と、抽出された物体縦ラインとに基いて、キャリブレーションの是非を自動判定する。キャリブレーション判定部１５０は、キャリブレーション後の道路画像の道路平面に垂直な垂直ラインを計算し、垂直ラインと物体縦ラインとの成す角度を判定することで、キャリブレーションの是非を自動判定する。キャリブレーション判定部１５０は、図６に示すように、垂直ライン計算部１５１と、角度差計算部１５２と、結果判定部１５３とを有する。

垂直ライン計算部１５１は、物体縦ライン抽出部１３２が抽出した物体縦ラインから得られる道路平面上の特徴点を特定する。例えば、垂直ライン計算部１５１は、物体縦ラインの最下点が道路平面上に位置すると仮定して、特徴点を特定する。そして、垂直ライン計算部１５１は、特定された特徴点の位置における垂直ラインを計算する。垂直ライン計算部１５１は、計算した垂直ラインの情報を垂直ライン角度差計算部１５２に出力する。

角度差計算部１５２は、物体縦ライン抽出部１３２が抽出した物体縦ラインと、垂直ライン計算部１５１が計算した垂直ラインとの角度差を計算する。角度差計算部１５２は、計算した角度差の情報を結果判定部１５３に出力する。

ここで、結果判定部１５３に出力する出力角度差は、例えば以下に説明する方法１〜４のいずれかで行なう。角度差計算部１５２は、全ての物体縦ラインと垂直ラインの角度差の絶対値の平均値を出力角度差とする（方法１）。また、角度差計算部１５２は、物体縦ラインと垂直ラインの最大角度差の絶対値を出力角度差とする（方法２）。また、角度差計算部１５２は、長さが所定長以上の物体縦ラインを計算対象とし、計算対象の物体縦ラインと垂直ラインの角度差の絶対値の平均値を出力角度だとする（方法３）。また、角度差計算部１５２は、長さが所定長以上の物体縦ラインを計算対象とし、物体縦ラインと垂直ラインの最大角度差の絶対値を出力角度差とする（方法４）。

結果判定部１５３は、角度差計算部１５２が出力した出力角度差に基いて、キャリブレーションの是非を判断する。例えば、キャリブレーション結果が正しければ、物体縦ラインと垂直ラインとの角度差は０であるのに対して、キャリブレーション結果が間違っていれば、角度差は０よりも大きな値となる。そして、結果判定部１５３は、計算した角度差が所定の閾値よりも小さい場合にはキャリブレーション成功と判断し、角度差が所定の閾値以上の場合にはキャリブレーション失敗と判断する。結果判定部１５３は、判断結果を表示部に表示させても良い。また、結果判定部１５３は、角度差が所定の閾値よりも大きい場合には、表示部に警告メッセージを表示させても良い。

そして、第２の実施形態では、キャリブレーション成功と判断した場合には、判断処理を終了し、第１の実施形態と同様にキャリブレーションを再度行う。

第２の実施形態においては、操作者の代わりに情報処理装置１００が、道路画像の中から自動抽出した物体の縦ラインと、キャリブレーション後の道路画像における垂直ラインとの成す角度を判定することで、キャリブレーションの是非を自動判定する。このようにキャリブレーションの判断を自動化できるので、操作者の誤判断や手間を大幅に削減することができる。

なお、第２の実施形態では、垂直ラインを表示させないこととしたが、これに限定されない。例えば、垂直ラインを自動表示させて、第１の実施形態と同様に操作者がキャリブレーションが正しく行われたか否かを判断しても良い。

＜３．第３の実施形態＞
第１の実施形態では、操作者は、道路画像の任意の位置に、垂直ラインの表示位置を指定することができた（図３、図４参照）。これに対して、第３の実施形態では、操作者が道路画像の指定可能な垂直ラインの位置が制限されている。

図９は、第３の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。第３の実施形態に係る情報処理装置１００は、画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０と、表示処理部１４０とを有する。画像取得部１１０と、入力情報取得部１２０と、キャリブレーション部１３０は、図１に示す第１の実施形態と同様であるので、説明を省略する。

表示処理部１４０は、図９に示すように、表示位置取得部１４１と、垂直ライン計算部１４２と、垂直ライン表示部１４３に加えて、位置制限部の一例である位置入力マスク生成部１４５を有する。

位置入力マスク生成部１４５は、操作者が垂直ラインの表示位置として道路画像の特定の位置のみを指定できるマスクを生成する。例えば、垂直ライン位置入力マスク生成部１４５は、道路画像の横幅、高さに対して左右下端から所定の割合の長さの範囲のみを指定できるマスクを生成する。これにより、垂直ラインの表示位置の指定が、所定範囲内に制限される。

図１０は、操作者が道路画像で指定可能な位置の一例を説明するための模式図である。図１０に示す画面８５０において、操作者が道路画像で指定可能な位置は、道路画像の両端から画像の横幅の３０％の範囲で、かつ画像の下端から画像高さの７０％の範囲である。

ここで、図１０に示す範囲にしている理由を説明する。キャリブレーション結果が正しくない場合に、画像端側での垂直ラインと物体縦ラインの角度差は、画像中央側での垂直ラインと物体縦ラインの角度差よりも大きい。これは、画像中央側では、垂直ラインが画像上で垂直になる傾向があり、撮像装置が水平に設置されている場合には、画像上の物体（建物８０３Ｅ、電柱８０３Ｃ等）も垂直になるためである。このため、道路画像の両端から画像の横幅の３０％の範囲に限定している。また、画像上端では、垂直ラインを十分な長さで表示できないため、操作者が目視確認できない可能性がある。このため、道路画像の下端から画像高さの７０％の範囲に限定している。

なお、表示位置取得部１４１と、垂直ライン計算部１４２と、垂直ライン表示部１４３は、第１の実施形態と同様であるので、詳細な説明は省略する。また、上記では、道路画像の左右下端からの所定の割合の長さの範囲のみを指定できるとしたが、これに限定されない。例えば、道路画像上の被写体（例えば車両等）の大きさを基準に指定できる範囲を制限しても良い。

第３の実施形態においては、道路画像上の垂直ラインの表示位置の指定が、所定範囲内に制限される。操作者が指定する垂直ラインの表示位置を所定範囲内（画像の端等）に限定することで、より正確なキャリブレーションの確認が可能となる。

上述した第３の実施形態では、第１の実施形態において操作者が道路画像の指定可能な垂直ラインの位置を制限することとしたが、第２の実施形態において垂直ラインの位置を制限しても良い。すなわち、垂直ライン計算部１５１が計算する垂直ラインの位置を道路画像の端に制限しても良い。

＜４．第４の実施形態＞
第１の実施形態では、キャリブレーション結果の是非を判定するために、道路画像に垂直ラインを重畳表示していた。これに対して、第４の実施形態では、垂直ラインの代わりに、道路平面において水平で道路の進行方向に平行に延びたライン（以下、水平ラインと呼ぶ）を道路画像に重畳表示する。

図１１は、第４の実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。第４の実施形態に係る情報処理装置１００の画像取得部１１０、及びキャリブレーション部１３０は、第１の実施形態と同様であるので、以下では、入力情報取得部１２０と表示処理部１７０について説明する。

入力情報取得部１２０は、第１の実施形態と同様に、操作者により入力されたキャリブレーションに必要な入力情報を取得する。第１の実施形態では、図２に示すように水平な線分Ｌ１〜Ｌ３を入力しているが、第４の実施形態では、操作者は、垂直な線分を入力する。また、第４の実施形態では、進行方向を基準にキャリブレーション結果の是非を判断するので、操作者は道路の進行方向も入力する。

図１２は、操作者がキャリブレーションに必要な情報を入力する入力画面８６０の一例を示す図である。入力画面８６０は、図２に示す入力画面８００と同様に、画像取得部１１０により取得された道路画像を表示する道路表示領域８６２と、操作者が各種の情報を入力する情報入力領域８６４とを含む。

入力画面８６０において、操作者は、道路表示領域８７２に垂直な線分Ｌ１〜Ｌ３を入力している。なお、操作者は、進行方向を示す矢印（図１３や図１４に示す矢印Ｌ４）を入力してもよい。そして、操作者は、情報入力領域８７４の第１入力領域８７５に３本の線分Ｈ１〜Ｈ３の実際の長さを入力している。また、操作者は、第２入力領域８７６に、第１の実施形態と同様に、撮像装置のパラメータの情報を入力している。

なお、上記では、垂直な線分Ｌ１〜Ｌ３を入力することとしたが、これに限定されず、第１の実施形態と同様に、水平な線分を入力することとしても良い。

表示処理部１７０は、キャリブレーション部１３０のキャリブレーション結果として得られる道路平面パラメータに基いて計算された水平ラインを、キャリブレーション後の道路画像上に重畳表示する。水平ラインとして、例えば破線、点線、実線のいずれかが表示される。

そして、第４の実施形態では、道路画像上に水平ラインを表示し、水平ラインと、道路の進行方向を比較することで、キャリブレーションの是非を操作者が確認することが可能となる。道路画像上で水平ラインを表示させる位置は、車線８０３Ｂ（中央線や路肩線）や道路脇のエッジ線上に指定することが望ましい。これは、車線８０３Ｂやエッジ線が進行方向と平行であるため、水平ラインと車線８０３Ｂ又はエッジ線とのずれを比較することで、キャリブレーション結果の是非を容易に判定できるからである。

図１３は、キャリブレーションが正しい場合の水平ラインの表示例を示す図である。キャリブレーション結果が正しい場合（つまり、道路平面パラメータ等が正しい場合）には、図１３に示す表示画面８７０において、水平ラインＨ（破線）と進行方向とが平行となる。図１３では、水平ラインＨと車線８０３Ｂが重なっている。

図１４は、キャリブレーションが正しくない場合の水平ラインの表示例を示す図である。キャリブレーション結果が間違っている場合、図１４に示す表示画面８８０において、水平ラインＨ（破線）と進行方向とが交差する。図１４では、水平ラインＨと車線８０３Ｂ（又はエッジ線）が交差している。

図１４に示すように水平ラインＨと進行方向が交差する場合には、キャリブレーションが間違っているとして、操作者がキャリブレーションに必要な情報を変更して入力することで、再度キャリブレーションが行われる。その後、操作者は、再度表示された水平ラインと進行方向とが平行か否かを見ることで、正しく変更されたかを容易に把握できる。この結果、正確なキャリブレーションが可能となる。

第４の実施形態においては、道路の進行方向に延びた水平ラインを道路画像に重畳表示することにより、操作者は垂直ラインの代わりに水平ラインによってキャリブレーション結果の確認を行う。これにより、道路脇に建物、標識、電柱等が無い道路環境においても正確なキャリブレーションが可能となる。また、水平ラインを表示させることにより、道路平面上の進行方向に沿った線が正しいか否かを確認可能である。

＜５．まとめ＞
上述した情報処理装置によれば、キャリブレーション後の道路画像に所定方向に延びた線画像（垂直ラインや水平ライン）を重畳して表示画面に表示させる。これにより、キャリブレーションに精通していない操作者であっても、道路画像と線画像の関係（例えば、物体縦ラインと垂直ラインとのずれの度合い）を見ることで、キャリブレーション結果が適切か否かを容易に判断することが可能である。

なお、上記では、線画像として実線、破線、点線等で示される実線であることとしたが、これに限定されない。例えば、キャリブレーション結果の判定が可能であれば、線画像は、例えば曲線や、矩形状の図形等であっても良い。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

本明細書において説明した通話システム１による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。

１００ 情報処理装置
１１０ 画像取得部
１２０ 入力情報取得部
１３０ キャリブレーション部
１３２ 物体縦ライン抽出部
１４０ 表示処理部
１４１ 位置取得部
１４２ 垂直ライン計算部
１４３ 垂直ライン表示部
１４５ 位置入力マスク生成部
１５０ キャリブレーション判定部
１５２ 角度差計算部
１５３ 結果判定部

Claims (10)

1. 道路を撮像した撮像画像を取得する画像取得部と、
   前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するキャリブレーション部と、
   キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させる表示処理部と、
   指定された前記線画像の表示位置を取得する位置取得部と、
   前記表示位置における前記線画像を計算する計算部と、
   を備え、
   前記表示処理部は、計算された前記線画像を前記表示位置から所定方向に延びるように表示させる、情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記表示処理部は、前記撮像画像中の物体の外形線に沿って前記線画像を表示させる、情報処理装置。
3. 請求項１又は２に記載の情報処理装置において、
   前記線画像は、前記撮像画像の道路平面に垂直な方向に延びた垂直ラインである、情報処理装置。
4. 請求項１又は２に記載の情報処理装置において、
   前記線画像は、前記撮像画像の道路の進行方向に延びた水平ラインである、情報処理装置。
5. 請求項１〜４のいずれか１項に記載の情報処理装置において、
   前記表示処理部は、前記撮像画像の端側に前記線画像を表示させる、情報処理装置。
6. 請求項１に記載の情報処理装置において、
   前記線画像の表示位置の指定を所定範囲内に制限する位置制限部を更に備え、
   前記表示処理部は、前記所定範囲内に前記線画像を表示させる、情報処理装置。
7. 請求項１〜６のいずれか１項に記載の情報処理装置において、
   前記表示処理部は、前記線画像の長さも前記表示画面に一緒に表示させる、情報処理装置。
8. 道路を撮像した撮像画像を取得する画像取得部と、
   前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するキャリブレーション部と、
   前記撮像画像中の物体の垂直方向に延びた物体ラインを自動で抽出する物体ライン抽出部と、
   キャリブレーション後の撮像画像の道路平面に垂直な垂直ラインを取得し、前記垂直ラインと前記物体ラインとの成す角度を判定する判定部と、
   を備える、情報処理装置。
9. コンピュータに、
   道路を撮像した撮像画像を取得するステップと、
   前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するステップと、
   キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させるステップと、
   指定された前記線画像の表示位置を取得するステップと、
   前記表示位置における前記線画像を計算するステップと、
   を実行させるためのプログラムであって、
   前記撮像画像に前記線画像を重畳して前記表示画面に表示させるステップにおいては、計算された前記線画像を前記表示位置から所定方向に延びるように表示させる、
   プログラム。
10. コンピュータに、
    道路を撮像した撮像画像を取得するステップと、
    前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するステップと、
    前記撮像画像中の物体の垂直方向に延びた物体ラインを自動で抽出するステップ、
    キャリブレーション後の撮像画像の道路平面に垂直な垂直ラインを取得し、前記垂直ラインと前記物体ラインとの成す角度を判定するステップと、
    を実行させるためのプログラム。

Images