JP5846140B2 - 情報処理装置、及びプログラム - Google Patents

情報処理装置、及びプログラム Download PDF

Info

Publication number
JP5846140B2
JP5846140B2 JP2013037591A JP2013037591A JP5846140B2 JP 5846140 B2 JP5846140 B2 JP 5846140B2 JP 2013037591 A JP2013037591 A JP 2013037591A JP 2013037591 A JP2013037591 A JP 2013037591A JP 5846140 B2 JP5846140 B2 JP 5846140B2
Authority
JP
Japan
Prior art keywords
image
road
line
calibration
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013037591A
Other languages
English (en)
Other versions
JP2014164694A (ja
Inventor
孝光 渡辺
孝光 渡辺
渡辺 孝弘
孝弘 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2013037591A priority Critical patent/JP5846140B2/ja
Publication of JP2014164694A publication Critical patent/JP2014164694A/ja
Application granted granted Critical
Publication of JP5846140B2 publication Critical patent/JP5846140B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、及びプログラムに関する。
従来、道路を撮像したカメラ画像から道路上に存在する車両の大きさ等を推定するためには、カメラ情報および道路上のマーカ(特徴点)間の距離等の道路情報からキャリブレーション処理を行うことで、道路平面パラメータ等を推定し、その道路平面パラメータ等を用いて画像上に写った物体の大きさ等を推定していた(特許文献1参照)。
特許文献1におけるキャリブレーション方法では、画像上の指定(あるいは自動的に抽出)した特徴的の位置に基いて、画像上の特徴点間の距離と、実空間上での距離を対応づけて、キャリブレーション処理が行われる。また、上記処理にカメラから道路平面までの距離をカメラ光軸に沿って計測した距離を利用することもある。
特開2003−259357号公報
しかしながら、上記処理では画像上の特徴点位置の決定方法、画像上距離の計算、実空間上の距離の測定、カメラ装置等の設置等の様々な段階で誤差を含む場合が多い。具体的には、画像上に写った特徴点の位置の決定方法、道路上の距離の計測方法、カメラ光軸に沿って設置される測距センサの角度、測距センサの精度等などでの誤差である。これらの誤差を含む情報に基いてキャリブレーションを行うと、誤った道路平面パラメータが推定され、その結果、画像上の物体の大きさ等を正確に推定できない恐れがある。
加えて、上記キャリブレーション操作を行う人は、必ずしもキャリブレーションの理論などに精通していない人が行うことが多く、キャリブレーションが正しいか否かを簡単に確認することも求められるが、従来ではそのような手法は存在しない。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、キャリブレーションに精通していない人であってもキャリブレーション結果が適切か否かの容易に判断可能な、新規かつ改良された情報処理装置を提供することにある。
上記課題を解決するために、本発明のある観点によれば、道路を撮像した撮像画像を取得する画像取得部と、前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定してキャリブレーションを行うキャリブレーション部と、キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させる表示処理部と、を備える、情報処理装置が提供される。
また、上記の情報処理装置において、前記表示処理部は、前記撮像画像中の物体の外形線に沿って前記線画像を表示させることとしても良い。
また、上記の情報処理装置において、前記線画像は、前記撮像画像の道路平面に垂直な方向に延びた垂直ラインであることとしても良い。
また、上記の情報処理装置において、前記線画像は、前記撮像画像の道路の進行方向に延びた水平ラインであることとしても良い。
また、上記の情報処理装置において、前記表示処理部は、前記撮像画像の端側に前記線画像を表示させることとしても良い。
また、上記の情報処理装置において、指定された前記線画像の表示位置を取得する位置取得部と、前記表示位置における前記線画像を計算する計算部と、を更に備え、前記表示処理部は、計算された前記線画像を前記表示位置から所定方向に延びるように表示させることとしても良い。
また、上記の情報処理装置において、前記線画像の表示位置の指定を所定範囲内に制限する位置制限部を更に備え、前記表示処理部は、前記所定範囲内に前記線画像を表示させることとしても良い。
また、上記の情報処理装置において、前記表示処理部は、前記線画像の長さも前記表示画面に一緒に表示させることとしても良い。
本発明の他の観点によれば、道路を撮像した撮像画像を取得する画像取得部と、前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定してキャリブレーションを行うキャリブレーション部と、前記撮像画像中の物体の垂直方向に延びた物体ラインを自動で抽出する物体ライン抽出部と、キャリブレーション後の撮像画像の道路平面に垂直な垂直ラインを取得し、前記垂直ラインと前記物体ラインとの成す角度を判定する判定部と、を備える、情報処理装置が提供される。
本発明の他の観点によれば、コンピュータに、道路を撮像した撮像画像を取得するステップと、前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定してキャリブレーションを行うステップと、キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させるステップと、を実行させるためのプログラムが提供される。
以上説明したように本発明によれば、キャリブレーションに精通していない人であってもキャリブレーション結果が適切か否かの容易に判断することが可能となる。
第1の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。 操作者がキャリブレーションに必要な情報を入力する入力画面800の一例を示す図である。 キャリブレーションが正しい場合の垂直ラインの表示例を示す図である。 キャリブレーションが正しくない場合の垂直ラインの表示例を示す図である。 第1の実施形態に係る道路画像上の垂直ラインの表示処理を示すフローチャートである。 第2の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。 入力画像に対して縦エッジ抽出処理を行い2値化した2値化縦エッジ画像の一例を示す図である。 2値化縦エッジ画像から抽出した縦ラインの表示例を示す図である。 第3の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。 操作者が道路画像で指定可能な位置の一例を説明するための模式図である。 第4の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。 操作者がキャリブレーションに必要な情報を入力する入力画面860の一例を示す図である。 キャリブレーションが正しい場合の水平ラインの表示例を示す図である。 キャリブレーションが正しくない場合の水平ラインの表示例を示す図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<1.第1の実施形態>
(1−1.情報処理装置の構成)
図1を参照しながら、第1の実施形態に係る情報処理装置100の構成例について説明する。図1は、第1の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。情報処理装置100は、画像取得部110と、入力情報取得部120と、キャリブレーション部130と、表示処理部140とを有する。
なお、情報処理装置100は、CPU、ROM、RAM、ハードディスク、ディスプレイ、各種入力装置(キーボード、マウス等)等のハードウェア構成を有する。ROMには、画像取得部110と、入力情報取得部120と、キャリブレーション部130と、表示処理部140とを実現させるためのプログラムが記録されている。CPUは、ROMに記録されたプログラムを読みだして実行する。したがって、これらのハードウェア構成により、画像取得部110と、入力情報取得部120と、キャリブレーション部130と、表示処理部140とが実現される。
(画像取得部110)
画像取得部110は、カメラ等の撮像装置(不図示)から撮像画像を取得する。ここで、撮像装置は、道路脇の地表面よりも高い位置に設置されており、車両が通行する道路を撮像する。これにより、画像取得部110は、撮像画像として、道路を撮像した道路画像(図2参照)を取得する。画像取得部110は、取得した道路画像をキャリブレーション部130に出力する。
(入力情報取得部120)
入力情報取得部120は、操作者により入力されたキャリブレーションに必要な入力情報を取得する。入力情報取得部120は、取得した入力情報をキャリブレーション部130に出力する。なお、操作者は、例えばキーボードやマウス等により、図2に示すような入力画面においてキャリブレーションに必要な情報(例えば、道路情報や、撮像装置のパラメータ)を入力する。
図2は、操作者がキャリブレーションに必要な情報を入力する入力画面800の一例を示す図である。入力画面800は、表示画面(ディスプレイ)に表示され、例えば、画像取得部110により取得された道路画像を表示する道路表示領域802と、操作者が各種の情報を入力する情報入力領域804とを含む。なお、入力画面800は、図2の形態に限定されず、道路表示領域802、情報入力領域804以外の領域を含んでも良い。
図2に示す道路表示領域802には、道路803Aの進行方向に沿って所定間隔で設けられた車線803B、電柱803C、標識803D、道路脇の建物等803Eが表示されている。なお、道路表示領域802では、遠近法により、手前側が大きく表示され、奥側が小さく表示される。また、撮像装置の画角の影響で、表示領域の中央側に比べて、端側の方において傾き等が目立って表示されやすい。操作者は、道路表示領域802上に線分等の図形や情報を入力できる。図2では、操作者が、道路平面上に3本の線分L1、L2、L3を描いている。線分L1は車線803Bの長さに相当し、線分L2は二つの車線803B間の進行方向における間隔に相当し、線分L3は道路803Aの幅に相当する。
情報入力領域804は、道路情報を入力する第1入力領域805と、撮像装置のパラメータを入力する第2入力領域806とを含む。第1入力領域805では、操作者は、道路情報として、例えば道路表示領域802で描いた3本の線分L1〜L3の実際の長さを入力できる。第2入力領域806では、操作者は、撮像装置のパラメータとして、例えば撮像装置の設置高さや、焦点距離等を入力できる。なお、撮像装置のパラメータとしては、他に、設置角度(光軸と地表面とがなす角度)、CCDサイズ等が挙げられる。
(キャリブレーション部130)
キャリブレーション部130は、画像取得部110から入力された道路画像と、入力情報取得部120から入力された入力情報(道路情報や撮像装置のパラメータ等)とに基いて、道路画像のキャリブレーションを行う。これにより、キャリブレーション部130は、道路平面パラメータを算出する。
ここで、道路平面パラメータは、道路画像中の2次元座標を実空間上の3次元座標に変換するための方程式である。キャリブレーションの具体的な方法は特に限定されない。キャリブレーション部130は、キャリブレーション結果として、道路平面パラメータ及び道路情報を含むキャリブレーション情報を表示処理部140に出力する。
(表示処理部140)
表示処理部140は、キャリブレーション部130によるキャリブレーション結果を表示画面(ディスプレイ)に表示させる。本実施形態では、表示処理部140は、キャリブレーション部130のキャリブレーション結果として得られる道路平面パラメータに基いて計算された垂直ラインを、キャリブレーション後の道路画像上に重畳表示させる。垂直ラインは、所定方向(すなわち、道路平面に垂直な方向)に延びた線画像の一例であり、例えば破線、点線、実線のいずれかが表示される。表示処理部140は、道路画像中の物体(建造物等)の外形線に沿って垂直ラインを表示させる。
ここで、キャリブレーション後の道路画像上に垂直ラインを重畳表示する理由を説明する。通常、道路画像では、道路平面に対して建造物(例えば、図2に示す道路脇の建物803Eや、標識803D、電柱803C)や移動体が垂直に設置されることが多い。そのため、道路画像上に垂直ラインを表示し、垂直ラインと、道路平面と垂直な物体とのエッジ線(以下、物体縦ラインとも呼ぶ)とのずれを見ることで、キャリブレーションの是非を操作者が確認することが可能となる。すなわち、垂直ラインを表示させることで、キャリブレーション後の道路画像が正しいか否かを確認可能である。
図3は、キャリブレーションが正しい場合の垂直ラインの表示例を示す図である。キャリブレーション結果が正しい場合(つまり、道路平面パラメータ等が正しい場合)には、図3に示す表示画面810において、垂直ラインV(破線)と物体縦ラインが、画像上の全ての位置においてほぼ重なる(二つのラインの間の角度が、ほぼ0度となる)。
図4は、キャリブレーションが正しくない場合の垂直ラインの表示例を示す図である。キャリブレーション結果が間違っている場合、図4に示す表示画面820において、垂直ラインV(破線)と物体縦ライン(図4では、画像中央上部のラインを除く、画像端の3本のラインにあたる)が、大きくずれている。
図4に示すように垂直ラインVと物体縦ラインが大きくずれている場合には、キャリブレーションが間違っているとして、操作者がキャリブレーションに必要な情報を変更して入力することで、再度キャリブレーションが行われる。その後、操作者は、再度表示された垂直ラインと物体縦ラインとのずれを見ることで、正しく変更されたかを容易に把握できる。この結果、正確なキャリブレーションが可能となる。
以下において、表示処理部140の詳細な機能について説明する。表示処理部140は、図1に示すように、表示位置取得部141と、垂直ライン計算部142と、垂直ライン表示部143とを有する。
表示位置取得部141は、道路画像上で操作者が指定した垂直ラインの表示位置を取得する。例えば、操作者は、マウス等で、道路脇の建造物803E等の角点、電柱803Cの下端点等を指定する。図3及び図4では、操作者が指定した位置(標識803Dの下端点、ビル803Eの角点(2点)、電柱803Cの下端点)が矢印で示されている。表示位置取得部141は、取得した表示位置に関する情報を、垂直ライン計算部142に出力する。
ところで、指定する垂直ラインの表示位置は、垂直ラインの確認をしやすくする観点から、2点以上であることが望ましい。また、表示位置は、道路画像の端側(具体的には、左右の端)が望ましい。これは、キャリブレーション結果が正しくない場合に、画像の端部での垂直ラインと物体縦ラインの角度差が、画像の中央部分での垂直ラインと物体縦ラインの角度差よりも大きいために、二つのラインのずれを操作者が把握しやすいからである。
垂直ライン計算部142は、操作者が指定した位置における垂直ラインを計算する。垂直ライン計算部142は、操作者が指定した位置とキャリブレーション結果に基いて、道路平面パラメータから道路平面に垂直な垂直ラインを計算する。これにより、操作者が指定した位置での垂直ラインが決定される。垂直ライン計算部142は、計算結果を垂直ライン表示部143に出力する。
垂直ライン表示部143は、垂直ライン計算部142で計算された垂直ラインを、道路画像上の操作者が指定した位置から所定方向に延びるように重畳表示する。図3、図4では、垂直ラインVとして、指定した位置を下端として画面端まで延びた破線が表示されている。なお、垂直ラインは、破線に限定されず、物体縦ラインと識別できれば、点線等のラインであっても良い。
上記では、垂直ラインと物体縦ラインのずれの度合いでキャリブレーションの是非を判断することとしたが、これに限定されない。例えば、表示処理部140は、垂直ラインの長さも一緒に表示させて、操作者にキャリブレーション結果の是非の判断に役立ててもらうことも可能である。かかる場合、操作者は、入力画面で垂直ラインの位置を指定する際に、上端も指定することで、キャリブレーション結果から垂直ラインの距離を算出し、算出値を表示することになる。例えば、図3、図4の例では、標識803Dの棒の高さを予め計測しておき、画像上で標識803Dの棒の上端、下端を指定してその長さを算出し、算出値が実空間上での値と等しい(又は近い値をとる)かも併せて判定することで、より正確な判定も可能となる。
(1−2.垂直ラインの表示処理)
図5を参照しながら、垂直ラインを道路画像上に重畳表示する際の情報処理装置100の処理について説明する。垂直ラインの表示処理は、情報処理装置100のCPUが、ROMに記憶されたプログラム(ソフトウェア)に基いて、実行される。なお、プログラムは、例えばネットワーク等を介してダウンロードされたものであっても良い。
図5は、第1の実施形態に係る道路画像上の垂直ラインの表示処理を示すフローチャートである。図5のフローチャートは、画像取得部110が、撮像装置が撮像した撮像画像である道路画像を取得したところから開始される(ステップS102)。取得された道路画像は、操作者が確認できるように表示部に表示される。
その後、操作者が、入力画面(図2)でキャリブレーションに必要な情報を入力すると、入力情報取得部120は、入力情報を取得する(ステップS104)。次に、キャリブレーション部130は、取得された道路画像と入力情報に基いて、道路画像のキャリブレーションを行い道路平面パラメータを計算する(ステップS106)。
その後、操作者が入力画面において垂直ラインの表示させる位置を指定すると、表示処理部140は、道路画像上の指定された位置に垂直ラインを重畳表示させる(ステップS108)。すなわち、表示処理部140は、操作者が指定した位置情報を取得し、指定した位置(例えば、画像の端の建造物の角点)における垂直ラインを計算することで、垂直ラインを道路画像上に重畳表示させる。これにより、操作者は、表示された道路画像と垂直ラインを見ることで、キャリブレーションが適切に行われたか否かを視認できる。
例えば、キャリブレーションが正しい場合には、図3に示すように垂直ラインVと物体縦ラインがほぼ重なる。一方で、キャリブレーションが正しくない場合には、図4に示すように垂直ラインVと物体縦ラインが大きくずれる。なお、表示画面に、キャリブレーションが正しくか否かを示す情報を表示しても良い。例えば、垂直ラインと物体縦ラインが大きくずれている場合には、警告メッセージを表示しても良い。
操作者が上記垂直ラインを視認してキャリブレーションが適切に行われていないと判定した場合には(ステップS110:No)、上述したステップS104〜S108の処理が繰り返される。これにより、操作者は、入力情報を入れ直した後にキャリブレーションの結果を再度確認できる。そして、キャリブレーションが適切に行われるまで(ステップS110:Yes)、繰り返されることになる。
(1−3.有効性について)
第1の実施形態においては、キャリブレーションの結果に基づいて、垂直ラインを道路画像上に重畳表示させる。これにより、操作者は、図3や図4に示すように道路画像上の物体の物体縦ラインと垂直ラインVとのずれを確認するだけで、キャリブレーションの是非を容易に判断できる。
例えば、物体縦ラインと垂直ラインのずれが大きいほど(物体縦ラインと垂直ラインの成す角度が大きいほど)、キャリブレーションの誤差が大きいことを示し、ずれが小さいほど(物体縦ラインと垂直ラインの角度が小さいほど)、キャリブレーションの誤差が小さい。従って、キャリブレーションに精通していない人であってもキャリブレーション結果が適切か否かの容易に判断することが可能となる。
<2.第2の実施形態>
第1の実施形態では、操作者が、道路画像に重畳表示された垂直ラインを見て、キャリブレーションが正しく行われか否かを判断していた。これに対して、第2の実施形態では、操作者の代わりに、情報処理装置100が、キャリブレーションが正しく行われたか否かを判断する。
図6は、第2の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。第2の実施形態に係る情報処理装置100は、画像取得部110と、入力情報取得部120と、キャリブレーション部130と、物体縦ライン抽出部132と、判定部の一例であるキャリブレーション判定部150とを有する。画像取得部110と、入力情報取得部120と、キャリブレーション部130は、図1に示す第1の実施形態と同様であるので、説明を省略する。
物体縦ライン抽出部132には、キャリブレーション部130に入力された道路画像と同じ道路画像が画像取得部110から入力される。物体縦ライン抽出部132は、公知の画像処理の手法により、道路画像(入力画像)の中から物体の縦ライン(垂直方向に延びた物体ラインの一例)を自動で抽出する。物体縦ライン抽出部132は、抽出した縦ラインの情報をキャリブレーション判定部150に出力する。
ここで、図7及び図8を参照しながら、縦ラインの抽出方法の一例を説明する。図7は、入力画像に対して縦エッジ抽出処理を行い2値化した2値化縦エッジ画像の一例を示す図である。図8は、2値化縦エッジ画像から抽出した縦ラインの表示例を示す図である。まず、公知の垂直線抽出フィルタ(例えば、安居院、長尾著「画像の処理と認識」昭晃堂、P.44〜P.46参照)を用いて入力画像中の縦エッジを抽出する。次に、エッジ画像を2値化して、図7に示すような2値化縦エッジ画像830を生成する。次に、2値化縦エッジ画像830から公知のハフ変換等を用いて直線抽出を行い、図8に示すような所定の長さを持つ線分を物体縦ラインとして抽出した画像840を生成する。このように物体縦ラインを抽出することにより、入力画像(道路画像)では、道路脇の建物803E、標識803D、電柱803C等の道路平面に対して垂直となる直線が多く検出されることとなる。
キャリブレーション判定部150は、キャリブレーションされた道路画像と、抽出された物体縦ラインとに基いて、キャリブレーションの是非を自動判定する。キャリブレーション判定部150は、キャリブレーション後の道路画像の道路平面に垂直な垂直ラインを計算し、垂直ラインと物体縦ラインとの成す角度を判定することで、キャリブレーションの是非を自動判定する。キャリブレーション判定部150は、図6に示すように、垂直ライン計算部151と、角度差計算部152と、結果判定部153とを有する。
垂直ライン計算部151は、物体縦ライン抽出部132が抽出した物体縦ラインから得られる道路平面上の特徴点を特定する。例えば、垂直ライン計算部151は、物体縦ラインの最下点が道路平面上に位置すると仮定して、特徴点を特定する。そして、垂直ライン計算部151は、特定された特徴点の位置における垂直ラインを計算する。垂直ライン計算部151は、計算した垂直ラインの情報を垂直ライン角度差計算部152に出力する。
角度差計算部152は、物体縦ライン抽出部132が抽出した物体縦ラインと、垂直ライン計算部151が計算した垂直ラインとの角度差を計算する。角度差計算部152は、計算した角度差の情報を結果判定部153に出力する。
ここで、結果判定部153に出力する出力角度差は、例えば以下に説明する方法1〜4のいずれかで行なう。角度差計算部152は、全ての物体縦ラインと垂直ラインの角度差の絶対値の平均値を出力角度差とする(方法1)。また、角度差計算部152は、物体縦ラインと垂直ラインの最大角度差の絶対値を出力角度差とする(方法2)。また、角度差計算部152は、長さが所定長以上の物体縦ラインを計算対象とし、計算対象の物体縦ラインと垂直ラインの角度差の絶対値の平均値を出力角度だとする(方法3)。また、角度差計算部152は、長さが所定長以上の物体縦ラインを計算対象とし、物体縦ラインと垂直ラインの最大角度差の絶対値を出力角度差とする(方法4)。
結果判定部153は、角度差計算部152が出力した出力角度差に基いて、キャリブレーションの是非を判断する。例えば、キャリブレーション結果が正しければ、物体縦ラインと垂直ラインとの角度差は0であるのに対して、キャリブレーション結果が間違っていれば、角度差は0よりも大きな値となる。そして、結果判定部153は、計算した角度差が所定の閾値よりも小さい場合にはキャリブレーション成功と判断し、角度差が所定の閾値以上の場合にはキャリブレーション失敗と判断する。結果判定部153は、判断結果を表示部に表示させても良い。また、結果判定部153は、角度差が所定の閾値よりも大きい場合には、表示部に警告メッセージを表示させても良い。
そして、第2の実施形態では、キャリブレーション成功と判断した場合には、判断処理を終了し、第1の実施形態と同様にキャリブレーションを再度行う。
第2の実施形態においては、操作者の代わりに情報処理装置100が、道路画像の中から自動抽出した物体の縦ラインと、キャリブレーション後の道路画像における垂直ラインとの成す角度を判定することで、キャリブレーションの是非を自動判定する。このようにキャリブレーションの判断を自動化できるので、操作者の誤判断や手間を大幅に削減することができる。
なお、第2の実施形態では、垂直ラインを表示させないこととしたが、これに限定されない。例えば、垂直ラインを自動表示させて、第1の実施形態と同様に操作者がキャリブレーションが正しく行われたか否かを判断しても良い。
<3.第3の実施形態>
第1の実施形態では、操作者は、道路画像の任意の位置に、垂直ラインの表示位置を指定することができた(図3、図4参照)。これに対して、第3の実施形態では、操作者が道路画像の指定可能な垂直ラインの位置が制限されている。
図9は、第3の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。第3の実施形態に係る情報処理装置100は、画像取得部110と、入力情報取得部120と、キャリブレーション部130と、表示処理部140とを有する。画像取得部110と、入力情報取得部120と、キャリブレーション部130は、図1に示す第1の実施形態と同様であるので、説明を省略する。
表示処理部140は、図9に示すように、表示位置取得部141と、垂直ライン計算部142と、垂直ライン表示部143に加えて、位置制限部の一例である位置入力マスク生成部145を有する。
位置入力マスク生成部145は、操作者が垂直ラインの表示位置として道路画像の特定の位置のみを指定できるマスクを生成する。例えば、垂直ライン位置入力マスク生成部145は、道路画像の横幅、高さに対して左右下端から所定の割合の長さの範囲のみを指定できるマスクを生成する。これにより、垂直ラインの表示位置の指定が、所定範囲内に制限される。
図10は、操作者が道路画像で指定可能な位置の一例を説明するための模式図である。図10に示す画面850において、操作者が道路画像で指定可能な位置は、道路画像の両端から画像の横幅の30%の範囲で、かつ画像の下端から画像高さの70%の範囲である。
ここで、図10に示す範囲にしている理由を説明する。キャリブレーション結果が正しくない場合に、画像端側での垂直ラインと物体縦ラインの角度差は、画像中央側での垂直ラインと物体縦ラインの角度差よりも大きい。これは、画像中央側では、垂直ラインが画像上で垂直になる傾向があり、撮像装置が水平に設置されている場合には、画像上の物体(建物803E、電柱803C等)も垂直になるためである。このため、道路画像の両端から画像の横幅の30%の範囲に限定している。また、画像上端では、垂直ラインを十分な長さで表示できないため、操作者が目視確認できない可能性がある。このため、道路画像の下端から画像高さの70%の範囲に限定している。
なお、表示位置取得部141と、垂直ライン計算部142と、垂直ライン表示部143は、第1の実施形態と同様であるので、詳細な説明は省略する。また、上記では、道路画像の左右下端からの所定の割合の長さの範囲のみを指定できるとしたが、これに限定されない。例えば、道路画像上の被写体(例えば車両等)の大きさを基準に指定できる範囲を制限しても良い。
第3の実施形態においては、道路画像上の垂直ラインの表示位置の指定が、所定範囲内に制限される。操作者が指定する垂直ラインの表示位置を所定範囲内(画像の端等)に限定することで、より正確なキャリブレーションの確認が可能となる。
上述した第3の実施形態では、第1の実施形態において操作者が道路画像の指定可能な垂直ラインの位置を制限することとしたが、第2の実施形態において垂直ラインの位置を制限しても良い。すなわち、垂直ライン計算部151が計算する垂直ラインの位置を道路画像の端に制限しても良い。
<4.第4の実施形態>
第1の実施形態では、キャリブレーション結果の是非を判定するために、道路画像に垂直ラインを重畳表示していた。これに対して、第4の実施形態では、垂直ラインの代わりに、道路平面において水平で道路の進行方向に平行に延びたライン(以下、水平ラインと呼ぶ)を道路画像に重畳表示する。
図11は、第4の実施形態に係る情報処理装置100の機能構成の一例を示すブロック図である。第4の実施形態に係る情報処理装置100の画像取得部110、及びキャリブレーション部130は、第1の実施形態と同様であるので、以下では、入力情報取得部120と表示処理部170について説明する。
入力情報取得部120は、第1の実施形態と同様に、操作者により入力されたキャリブレーションに必要な入力情報を取得する。第1の実施形態では、図2に示すように水平な線分L1〜L3を入力しているが、第4の実施形態では、操作者は、垂直な線分を入力する。また、第4の実施形態では、進行方向を基準にキャリブレーション結果の是非を判断するので、操作者は道路の進行方向も入力する。
図12は、操作者がキャリブレーションに必要な情報を入力する入力画面860の一例を示す図である。入力画面860は、図2に示す入力画面800と同様に、画像取得部110により取得された道路画像を表示する道路表示領域862と、操作者が各種の情報を入力する情報入力領域864とを含む。
入力画面860において、操作者は、道路表示領域872に垂直な線分L1〜L3を入力している。なお、操作者は、進行方向を示す矢印(図13や図14に示す矢印L4)を入力してもよい。そして、操作者は、情報入力領域874の第1入力領域875に3本の線分H1〜H3の実際の長さを入力している。また、操作者は、第2入力領域876に、第1の実施形態と同様に、撮像装置のパラメータの情報を入力している。
なお、上記では、垂直な線分L1〜L3を入力することとしたが、これに限定されず、第1の実施形態と同様に、水平な線分を入力することとしても良い。
表示処理部170は、キャリブレーション部130のキャリブレーション結果として得られる道路平面パラメータに基いて計算された水平ラインを、キャリブレーション後の道路画像上に重畳表示する。水平ラインとして、例えば破線、点線、実線のいずれかが表示される。
そして、第4の実施形態では、道路画像上に水平ラインを表示し、水平ラインと、道路の進行方向を比較することで、キャリブレーションの是非を操作者が確認することが可能となる。道路画像上で水平ラインを表示させる位置は、車線803B(中央線や路肩線)や道路脇のエッジ線上に指定することが望ましい。これは、車線803Bやエッジ線が進行方向と平行であるため、水平ラインと車線803B又はエッジ線とのずれを比較することで、キャリブレーション結果の是非を容易に判定できるからである。
図13は、キャリブレーションが正しい場合の水平ラインの表示例を示す図である。キャリブレーション結果が正しい場合(つまり、道路平面パラメータ等が正しい場合)には、図13に示す表示画面870において、水平ラインH(破線)と進行方向とが平行となる。図13では、水平ラインHと車線803Bが重なっている。
図14は、キャリブレーションが正しくない場合の水平ラインの表示例を示す図である。キャリブレーション結果が間違っている場合、図14に示す表示画面880において、水平ラインH(破線)と進行方向とが交差する。図14では、水平ラインHと車線803B(又はエッジ線)が交差している。
図14に示すように水平ラインHと進行方向が交差する場合には、キャリブレーションが間違っているとして、操作者がキャリブレーションに必要な情報を変更して入力することで、再度キャリブレーションが行われる。その後、操作者は、再度表示された水平ラインと進行方向とが平行か否かを見ることで、正しく変更されたかを容易に把握できる。この結果、正確なキャリブレーションが可能となる。
第4の実施形態においては、道路の進行方向に延びた水平ラインを道路画像に重畳表示することにより、操作者は垂直ラインの代わりに水平ラインによってキャリブレーション結果の確認を行う。これにより、道路脇に建物、標識、電柱等が無い道路環境においても正確なキャリブレーションが可能となる。また、水平ラインを表示させることにより、道路平面上の進行方向に沿った線が正しいか否かを確認可能である。
<5.まとめ>
上述した情報処理装置によれば、キャリブレーション後の道路画像に所定方向に延びた線画像(垂直ラインや水平ライン)を重畳して表示画面に表示させる。これにより、キャリブレーションに精通していない操作者であっても、道路画像と線画像の関係(例えば、物体縦ラインと垂直ラインとのずれの度合い)を見ることで、キャリブレーション結果が適切か否かを容易に判断することが可能である。
なお、上記では、線画像として実線、破線、点線等で示される実線であることとしたが、これに限定されない。例えば、キャリブレーション結果の判定が可能であれば、線画像は、例えば曲線や、矩形状の図形等であっても良い。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
本明細書において説明した通話システム1による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
100 情報処理装置
110 画像取得部
120 入力情報取得部
130 キャリブレーション部
132 物体縦ライン抽出部
140 表示処理部
141 位置取得部
142 垂直ライン計算部
143 垂直ライン表示部
145 位置入力マスク生成部
150 キャリブレーション判定部
152 角度差計算部
153 結果判定部

Claims (10)

  1. 道路を撮像した撮像画像を取得する画像取得部と、
    前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するキャリブレーション部と、
    キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させる表示処理部と、
    指定された前記線画像の表示位置を取得する位置取得部と、
    前記表示位置における前記線画像を計算する計算部と、
    を備え、
    前記表示処理部は、計算された前記線画像を前記表示位置から所定方向に延びるように表示させる、情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記表示処理部は、前記撮像画像中の物体の外形線に沿って前記線画像を表示させる、情報処理装置。
  3. 請求項1又は2に記載の情報処理装置において、
    前記線画像は、前記撮像画像の道路平面に垂直な方向に延びた垂直ラインである、情報処理装置。
  4. 請求項1又は2に記載の情報処理装置において、
    前記線画像は、前記撮像画像の道路の進行方向に延びた水平ラインである、情報処理装置。
  5. 請求項1〜4のいずれか1項に記載の情報処理装置において、
    前記表示処理部は、前記撮像画像の端側に前記線画像を表示させる、情報処理装置。
  6. 請求項に記載の情報処理装置において、
    前記線画像の表示位置の指定を所定範囲内に制限する位置制限部を更に備え、
    前記表示処理部は、前記所定範囲内に前記線画像を表示させる、情報処理装置。
  7. 請求項1〜のいずれか1項に記載の情報処理装置において、
    前記表示処理部は、前記線画像の長さも前記表示画面に一緒に表示させる、情報処理装置。
  8. 道路を撮像した撮像画像を取得する画像取得部と、
    前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するキャリブレーション部と、
    前記撮像画像中の物体の垂直方向に延びた物体ラインを自動で抽出する物体ライン抽出部と、
    キャリブレーション後の撮像画像の道路平面に垂直な垂直ラインを取得し、前記垂直ラインと前記物体ラインとの成す角度を判定する判定部と、
    を備える、情報処理装置。
  9. コンピュータに、
    道路を撮像した撮像画像を取得するステップと、
    前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するステップと、
    キャリブレーション後の撮像画像に所定方向に延びた線画像を重畳して表示画面に表示させるステップと、
    指定された前記線画像の表示位置を取得するステップと、
    前記表示位置における前記線画像を計算するステップと、
    を実行させるためのプログラムであって、
    前記撮像画像に前記線画像を重畳して前記表示画面に表示させるステップにおいては、計算された前記線画像を前記表示位置から所定方向に延びるように表示させる、
    プログラム。
  10. コンピュータに、
    道路を撮像した撮像画像を取得するステップと、
    前記撮像画像と前記道路に関する道路情報とに基づいて、前記撮像画像中の座標を実空間上の座標に変換する道路平面パラメータを推定するステップと、
    前記撮像画像中の物体の垂直方向に延びた物体ラインを自動で抽出するステップ、
    キャリブレーション後の撮像画像の道路平面に垂直な垂直ラインを取得し、前記垂直ラインと前記物体ラインとの成す角度を判定するステップと、
    を実行させるためのプログラム。
JP2013037591A 2013-02-27 2013-02-27 情報処理装置、及びプログラム Active JP5846140B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013037591A JP5846140B2 (ja) 2013-02-27 2013-02-27 情報処理装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013037591A JP5846140B2 (ja) 2013-02-27 2013-02-27 情報処理装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2014164694A JP2014164694A (ja) 2014-09-08
JP5846140B2 true JP5846140B2 (ja) 2016-01-20

Family

ID=51615209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013037591A Active JP5846140B2 (ja) 2013-02-27 2013-02-27 情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP5846140B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6634842B2 (ja) * 2016-01-19 2020-01-22 沖電気工業株式会社 情報処理装置、情報処理方法およびプログラム
KR102328031B1 (ko) * 2016-12-08 2021-11-17 현대모비스 주식회사 탑-뷰 영상 생성 장치 및 그 방법
JP2022176839A (ja) * 2021-05-17 2022-11-30 京セラ株式会社 観察装置
JP2023109618A (ja) * 2022-01-27 2023-08-08 京セラ株式会社 状態推定装置、状態推定方法及び状態推定プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067272A (ja) * 2004-08-27 2006-03-09 Matsushita Electric Ind Co Ltd カメラキャリブレーション装置及びカメラキャリブレーション方法
JP4356573B2 (ja) * 2004-09-24 2009-11-04 株式会社日立製作所 レーダの設置情報の確認画面と調整画面の表示方法

Also Published As

Publication number Publication date
JP2014164694A (ja) 2014-09-08

Similar Documents

Publication Publication Date Title
JP6554169B2 (ja) 物体認識装置及び物体認識システム
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
EP3023913A1 (en) Crack data collection method and crack data collection program
CN110926330B (zh) 图像处理装置和图像处理方法
EP2752641A1 (en) Disparity calculation apparatus
JP6524529B2 (ja) 建築限界判定装置
JP5846140B2 (ja) 情報処理装置、及びプログラム
JP6566768B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2016004287A (ja) 車線境界線抽出装置、車線境界線抽出方法、及びプログラム
JP2018173276A (ja) 計測支援装置、計測支援方法及びプログラム
JP6561670B2 (ja) 段差検出装置及び段差検出方法
JP5618728B2 (ja) 配筋情報取得方法
KR20180098945A (ko) 고정형 단일 카메라를 이용한 차량 속도 감지 방법 및 장치
JP2012159469A (ja) 車両用画像認識装置
KR101280392B1 (ko) Slam 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법
JP2007212187A (ja) ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
JP7186821B2 (ja) 配筋検査装置、配筋検査方法およびプログラム
CN113658279A (zh) 相机内参和外参估算方法、装置、计算机设备及存储介质
US8768068B2 (en) Automated building detecting
JP2012159470A (ja) 車両用画像認識装置
JP6477340B2 (ja) 道路境界検出装置、自己位置推定装置及び道路境界検出方法
EP3333828A1 (en) Step detection device and step detection method
JP2010020404A (ja) 画像処理装置及びその方法
JP2012248004A (ja) 画像処理装置、画像認識装置及び方法
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151109

R150 Certificate of patent or registration of utility model

Ref document number: 5846140

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150