JP7315216B2 - 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法 - Google Patents

Description

本発明は、補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法に関し、より詳細には、画像に映る撮影対象物からカメラまでの距離を補正するための補正距離を算出する補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法に関する。

近年、車両やドローンなどの移動物体に対して、外界を撮影するためのカメラを設置することが多い。近時では、カメラで外界の様子を単に撮影するだけでなく、撮影された動画に基づいて、車両等の自動運転に利用可能な周囲の距離情報を取得したいという要望が存在する。

カメラで撮影対象物を撮影し、撮影された動画の動画像に基づいて、撮影対象物からカメラまでの距離を算出する方法が、既に提案されている。具体的には、横方向に移動するカメラで撮影された動画の動画像を用いて、撮影対象物からカメラまでの距離を算出する方法（ＡＭＰ（Accumulated-Motion-Parallax）法）が提案されている（例えば、特許文献１参照）。また、前方あるいは後方に移動するカメラで撮影された動画の動画像を用いて、撮影対象物からカメラまでの距離を算出する方法（ＦＭＰ（Frontward-Motion-Parallax）法）が提案されている（例えば、特許文献２参照）。さらに、移動するカメラで撮影された動画の動画像を用いて撮影対象物のoptical flowを抽出し、optical flowの値を動的視差と見なして、撮影対象物からカメラまでの距離を算出する方法が提案されている（例えば、特許文献３参照）。これらの方法は、動的視差（Motion-Parallax）を利用して、撮影対象物からカメラまでの距離を算出する点で共通している。特許文献１～特許文献３において提案される方法の総称を、動的視差法(Motion-Parallax-Method)と称する。

特開２０１８－４０７８９号公報 特開２０１９－１０１９６７号公報 特願２０１９－４１９８０号明細書

動的視差法では、カメラで撮影された動画像上の複数の撮影対象物が、わずかな時間に移動したときのそれぞれの画素の軌跡を、移動画素数として求めて、各撮影対象物毎に、カメラから撮影対象物までの距離を算出することを特徴とする。動的視差法のような公知の方法により算出される距離を、「算出距離」と称する。

具体的には、Ｍ個（Ｍ≧２）の撮影対象物の対象となる画素をそれぞれターゲットピクセルとして、Ｍ個のターゲットピクセルのうち移動画素数が最も少ない画素数をμとし、移動画素数が最も多い画素数をγとする。さらに、Ｍ個のターゲットピクセルによりそれぞれ特定される撮影対象物からカメラまでの距離のうちで最も近い距離をＺＮとし、撮影対象物からカメラまでの距離のうちで最も遠い距離をＺＬとして、定数ａおよび定数ｂを、
ａ＝ＺＬ・ｅｘｐ（（μ／（γ－μ））ｌｏｇ（ＺＬ／ＺＮ）） ・・・式１
ｂ＝（１／（γ－μ））ｌｏｇ（ＺＬ／ＺＮ） ・・・式２
により算出する。

その後、Ｍ個のターゲットピクセルのそれぞれに対応する撮影対象物からカメラまでの算出距離をＺｍ（ｍ＝１，２，・・・，Ｍ）として、算出距離Ｚｍを、定数ａおよび定数ｂと、Ｍ個の移動画素数ｑｍとに基づき、下記式３によって算出する。
Ｚｍ＝ａ・ｅｘｐ（－ｂ・ｑｍ） ・・・式３

このように、動的視差法を用いることによって、カメラで撮影された動画像のターゲットピクセルにおける移動画素数の画素数の範囲（μからγまでの範囲）と、撮影対象物からカメラまでの現実距離（現実の世界の距離）の範囲（ＺＮからＺＬまでの範囲）との対応関係を用いて、それぞれの撮影対象物毎に、撮影対象物からカメラまでの算出距離を算出することができる。特に、カメラで撮影された動画像の全ての画素を、ターゲットピクセルとして設定することにより、カメラからそれぞれの画素に映る撮影対象物までの算出距離を、全ての画素に対応させて算出することが可能になる。

しかしながら、動的視差法では、移動画素数の画素数の範囲と、撮影対象物からカメラまでの現実距離の範囲との対応関係を用いて、それぞれの撮影対象物（ターゲットピクセル）毎に算出距離を算出することを特徴とする。このため、撮影対象物からカメラまでの現実距離の範囲（ＺＮからＺＬまでの範囲）が広い場合（距離のダイナミックレンジが大きい場合）には、求められる算出距離Ｚｍの誤差が大きくなってしまうという問題があった。

さらに、optical flowを抽出して、撮影対象物からカメラまでの算出距離を算出する方法では、近接する画素が同じようなＲＧＢ情報を有する場合（このような画素の集まりをテクスチャーのない状態と称する）に、撮影対象物の動きをoptical flowとして抽出することが困難である。例えば、空や道路のアスファルトのように時間的な変化が生じにくい撮影対象物では、検出されるoptical flowの値（optical flowにより抽出された画素の軌跡の長さ）が本来検出される値よりも、小さくなってしまう傾向がある。このように、テクスチャーのない状態で示される撮影対象物は、抽出されるoptical flowの値が小さくなる傾向があるため、optical flowの値に基づいて求められた算出距離Ｚｍが、現実の距離よりも長く（遠く）なってしまうという問題があった。

さらに、動的視差法以外の方法で、カメラにより撮影された画像に映る撮影対象物からカメラまでの算出距離の算出を行う場合も存在する。例えば、複眼カメラを用いて同一の撮影対象物を異なる角度から撮影し、撮影された画像に映る撮影対象物からカメラまでの算出距離を算出したり、単眼カメラで撮影対象物を撮影しつつ、距離センサを用いて撮影対象物からカメラまでの算出距離を算出したりする方法も提案されている。

このように、動的視差法以外の方法で、画像に映る撮影対象物からカメラまでの算出距離の算出を行う場合においても、撮影環境（夜間、雷雨・濃霧などの状況）や、センサ特性の違いなどにより、撮影対象物からカメラまでの算出距離が、現実の世界における実際の距離と大きく異なる場合も生じ得るという問題があった。

本発明は、上記課題に鑑みてなされたものであり、画像に映る撮影対象物からカメラまでの距離を補正するための補正距離を算出する補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法を提供することを課題とする。

上記課題を解決するために、本発明に係る補正距離算出装置は、カメラにより画像が撮影された時の当該カメラの傾きを示すカメラの傾き情報と、前記画像が撮影された時の地面から前記カメラまでの高さを示すカメラの高さ情報と、前記画像が撮影された時の前記カメラの焦点距離を示す焦点距離情報と、現実の世界の単位長に対応する仮想世界座標系の画素数を示す対応長さ情報とを記録する記録手段と、前記仮想世界座標系は、長さの単位が画素数で示される直交した３軸の座標系からなる仮想的な３次元の座標空間であり、当該仮想世界座標系を構築するための作業エリアとして用いられるメモリと、前記記録手段に記録される前記対応長さ情報と前記カメラの高さ情報とに基づいて、現実の世界における地面から前記カメラまでの高さに対応する前記仮想世界座標系の画素数を求めて、求められた画素数を前記仮想世界座標系における仮想カメラの高さの画素数に設定して、前記メモリに当該仮想世界座標系を構築する仮想世界座標系構築手段と、前記カメラにより撮影された前記画像の中心画素の位置座標を、前記仮想世界座標系における前記仮想カメラの高さ位置を示す座標に設定し、前記記録手段に記録される前記カメラの傾き情報に基づいて、前記画像の法線方向が前記カメラの傾きに対応するように前記画像を傾けることにより、前記仮想世界座標系に前記画像を配置する画像配置手段と、前記仮想世界座標系に配置された前記画像の中心座標を（Ｘｘ，Ｘｙ，Ｘｚ）とし、前記法線の単位ベクトルを（ａ，ｂ，ｃ）として、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）を通る前記法線の単位ベクトル（ａ，ｂ，ｃ）の延長線上に位置する仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を、前記カメラの焦点距離を示す前記焦点距離情報に基づいて算出する発信源座標算出手段と、前記画像に映る前記カメラの周囲の状況に応じて、前記仮想世界座標系に仮想面を設定する仮想面設定手段と、前記仮想世界座標系において、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）から発せられる仮想レーザが、前記画像上の画素を通過して前記仮想面上の座標（ｐ，ｑ，ｒ）に到達するときに、前記画像上の前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）から、前記仮想面に前記仮想レーザが到達したときの位置座標（ｐ＊，ｑ＊，ｒ＊）までの画素数を、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）として算出する到達画素数算出手段と、前記到達画素数算出手段により算出された前記Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の画素数を、前記記録手段に記録される前記対応長さ情報に基づいて、現実の世界の長さに変換することにより、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）に対応する画素位置に映る撮影対象物から前記カメラまでの距離を、補正距離として算出する補正距離算出手段とを有することを特徴とする。

また、本発明に係る補正距離算出用プログラムは、カメラにより画像が撮影された時の当該カメラの傾きを示すカメラの傾き情報と、前記画像が撮影された時の地面から前記カメラまでの高さを示すカメラの高さ情報と、前記画像が撮影された時の前記カメラの焦点距離を示す焦点距離情報と、現実の世界の単位長に対応する仮想世界座標系の画素数を示す対応長さ情報と、を記録する記録手段と、前記仮想世界座標系は、長さの単位が画素数で示される直交した３軸の座標系からなる仮想的な３次元の座標空間であり、当該仮想世界座標系を構築するための作業エリアとして用いられるメモリとを備えた補正距離算出装置の補正距離算出用プログラムであって、前記補正距離算出装置のコンピュータに、前記記録手段に記録される前記対応長さ情報と前記カメラの高さ情報とに基づいて、現実の世界における地面から前記カメラまでの高さに対応する前記仮想世界座標系の画素数を求めさせて、求められた画素数を前記仮想世界座標系における仮想カメラの高さの画素数に設定して、前記メモリに当該仮想世界座標系を構築させる仮想世界座標系構築機能と、前記カメラにより撮影された前記画像の中心画素の位置座標を、前記仮想世界座標系における前記仮想カメラの高さ位置を示す座標に設定させ、前記記録手段に記録される前記カメラの傾き情報に基づいて、前記画像の法線方向が前記カメラの傾きに対応するように前記画像を傾けさせることにより、前記仮想世界座標系に前記画像を配置させる画像配置機能と、前記仮想世界座標系に配置された前記画像の中心座標を（Ｘｘ，Ｘｙ，Ｘｚ）とし、前記法線の単位ベクトルを（ａ，ｂ，ｃ）として、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）を通る前記法線の単位ベクトル（ａ，ｂ，ｃ）の延長線上に位置する仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を、前記カメラの焦点距離を示す前記焦点距離情報に基づいて算出させる発信源座標算出機能と、前記画像に映る前記カメラの周囲の状況に応じて、前記仮想世界座標系に仮想面を設定させる仮想面設定機能と、前記仮想世界座標系において、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）から発せられる仮想レーザが、前記画像上の画素を通過して前記仮想面上の座標（ｐ，ｑ，ｒ）に到達するときに、前記画像上の前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）から、前記仮想面に前記仮想レーザが到達したときの位置座標（ｐ＊，ｑ＊，ｒ＊）までの画素数を、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）として算出させる到達画素数算出機能と、前記到達画素数算出機能により算出された前記Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の画素数を、前記記録手段に記録される前記対応長さ情報に基づいて、現実の世界の長さに変換させることにより、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）に対応する画素位置に映る撮影対象物から前記カメラまでの距離を、補正距離として算出させる補正距離算出機能とを実現させるためのプログラムであることを特徴とする。

さらに、本発明に係る補正距離算出方法は、カメラにより画像が撮影された時の当該カメラの傾きを示すカメラの傾き情報と、前記画像が撮影された時の地面から前記カメラまでの高さを示すカメラの高さ情報と、前記画像が撮影された時の前記カメラの焦点距離を示す焦点距離情報と、現実の世界の単位長に対応する仮想世界座標系の画素数を示す対応長さ情報と、を記録する記録手段と、前記仮想世界座標系は、長さの単位が画素数で示される直交した３軸の座標系からなる仮想的な３次元の座標空間であり、当該仮想世界座標系を構築するための作業エリアとして用いられるメモリと、を備える補正距離算出装置の補正距離算出方法であって、仮想世界座標系構築手段が、前記記録手段に記録される前記対応長さ情報と前記カメラの高さ情報とに基づいて、現実の世界における地面から前記カメラまでの高さに対応する前記仮想世界座標系の画素数を求めて、求められた画素数を前記仮想世界座標系における仮想カメラの高さの画素数に設定して、前記メモリに当該仮想世界座標系を構築する仮想世界座標系構築ステップと、前記カメラにより撮影された前記画像の中心画素の位置座標を、前記仮想世界座標系における前記仮想カメラの高さ位置を示す座標に設定し、前記記録手段に記録される前記カメラの傾き情報に基づいて、前記画像の法線方向が前記カメラの傾きに対応するように前記画像を傾けることにより、画像配置手段が、前記仮想世界座標系に前記画像を配置する画像配置ステップと、前記仮想世界座標系に配置された前記画像の中心座標を（Ｘｘ，Ｘｙ，Ｘｚ）とし、前記法線の単位ベクトルを（ａ，ｂ，ｃ）として、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）を通る前記法線の単位ベクトル（ａ，ｂ，ｃ）の延長線上に位置する仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を、発信源座標算出手段が、前記カメラの焦点距離を示す前記焦点距離情報に基づいて算出する発信源座標算出ステップと、前記画像に映る前記カメラの周囲の状況に応じて、仮想面設定手段が、前記仮想世界座標系に仮想面を設定する仮想面設定ステップと、前記仮想世界座標系において、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）から発せられる仮想レーザが、前記画像上の画素を通過して前記仮想面上の座標（ｐ，ｑ，ｒ）に到達するときに、到達画素数算出手段が、前記画像上の前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）から、前記仮想面に前記仮想レーザが到達したときの位置座標（ｐ＊，ｑ＊，ｒ＊）までの画素数を、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）として算出する到達画素数算出ステップと、前記到達画素数算出ステップにおいて算出された前記Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の画素数を、前記記録手段に記録される前記対応長さ情報に基づいて、現実の世界の長さに変換することにより、補正距離算出手段が、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）に対応する画素位置に映る撮影対象物から前記カメラまでの距離を、補正距離として算出する補正距離算出ステップとを有することを特徴とする。

また、上述した補正距離算出装置において、前記仮想面設定手段は、前記画像の画像解析を行うことにより、現実の世界において前記画像を撮影したときの前記カメラの周囲の状況を判断し、当該状況に対応する前記仮想面を、前記仮想世界座標系に設定するものであってもよい。

さらに、上述した補正距離算出用プログラムは、前記コンピュータに対し、前記仮想面設定機能において、前記画像の画像解析を行わせることにより、現実の世界において前記画像を撮影したときの前記カメラの周囲の状況を判断させ、当該状況に対応する前記仮想面を、前記仮想世界座標系に設定させるプログラムであってもよい。

また、上述した補正距離算出方法は、前記仮想面設定ステップにおいて、前記仮想面設定手段が、前記画像の画像解析を行うことにより、現実の世界において前記画像を撮影したときの前記カメラの周囲の状況を判断し、当該状況に対応する前記仮想面を、前記仮想世界座標系に設定するものであってもよい。

さらに、上述した補正距離算出装置において、前記発信源座標算出手段は、前記カメラの焦点距離を示す前記焦点距離情報に基づいて係数Ｌを決定し、決定された前記係数Ｌと、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）と、前記法線の単位ベクトル（ａ，ｂ，ｃ）とを用いて、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）を、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出するものであってもよい。

また、上述した補正距離算出用プログラムは、前記コンピュータに対し、前記発信源座標算出機能において、前記カメラの焦点距離を示す前記焦点距離情報に基づいて係数Ｌを決定させ、決定された前記係数Ｌと、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）と、前記法線の単位ベクトル（ａ，ｂ，ｃ）とを用いて、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）を、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出させるプログラムであってもよい。

さらに、上述した補正距離算出方法は、前記発信源座標算出ステップにおいて、前記発信源座標算出手段が、前記カメラの焦点距離を示す前記焦点距離情報に基づいて係数Ｌを決定し、決定された前記係数Ｌと、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）と、前記法線の単位ベクトル（ａ，ｂ，ｃ）とを用いて、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）を、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出するものであってもよい。

また、上述した補正距離算出装置は、公知の方法によって、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの距離が算出距離として算出された場合に、前記公知の方法により算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記算出距離と、前記補正距離算出手段により算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記補正距離とを比較して、前記算出距離の方が前記補正距離よりも長い場合に、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの前記算出距離を前記補正距離に置き換えることにより補正を行う距離補正手段を備えるものであってもよい。

さらに、上述した補正距離算出用プログラムは、公知の方法によって、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの距離が算出距離として算出された場合に、前記コンピュータに対し、前記公知の方法により算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記算出距離と、前記補正距離算出機能に基づいて算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記補正距離とを比較させて、前記算出距離の方が前記補正距離よりも長い場合に、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの前記算出距離を前記補正距離に置き換えさせることにより補正を行わせる距離補正機能を実現させるプログラムであってもよい。

また、上述した補正距離算出装置は、前記公知の方法により、前記画像の全ての画素に対して前記算出距離が算出された場合に、前記補正距離算出手段が、前記画像の全ての画素に対応する前記補正距離を算出し、前記距離補正手段は、前記補正距離算出手段により算出された全ての画素の前記補正距離を、前記画像の各画素の画素位置に対応させて行列形式に並べた行列データを作成し、前記公知の方法により算出された全ての画素の前記算出距離を、当該画素に対応する画素位置に並べられた前記行列データの前記補正距離と比較して前記補正を行うものであってもよい。

さらに、上述した補正距離算出用プログラムは、前記公知の方法により、前記画像の全ての画素に対して前記算出距離が算出された場合に、前記コンピュータに対し、前記補正距離算出機能において、前記画像の全ての画素に対応する前記補正距離を算出させ、前記距離補正機能において、前記補正距離算出機能により算出された全ての画素の前記補正距離を、前記画像の各画素の画素位置に対応させて行列形式に並べた行列データを作成させ、前記公知の方法により算出された全ての画素の前記算出距離を、当該画素に対応する画素位置に並べられた前記行列データの前記補正距離と比較させて前記補正を行わせるプログラムであってもよい。

本発明に係る補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法は、仮想レーザの発信源から発せられた仮想レーザが画像上の画素を通過して仮想面に到達する場合における、画像上の画素の位置座標から仮想面の到達位置の座標までの仮想世界座標系の距離を求めて、求められ距離を現実の世界の長さに変換することにより補正距離を算出する。

補正距離は、現実の世界におけるカメラの周囲の状況に応じて仮想世界座標系に設定された仮想面に、画像の画素を通過した仮想レーザが到達した場合における画素の位置座標から仮想面の位置座標までの距離を算出したものであるため、現実の世界において存在する可能性が高い遠方の対象物（仮想面に該当するもの）からカメラまでの距離に対応する。

従って、カメラで撮影された画像に映る撮影対象物からカメラまでの距離が、公知の方法によって算出距離として算出され、算出距離が補正距離よりも長い（遠い）場合には、現実の世界において存在する可能性が高い遠方の対象物よりも遠い距離が、算出距離として算出されたことになる。このような場合には、補正距離を用いて算出距離を補正することにより、算出距離を、画像に映る撮影対象物からカメラまでの現実の距離に近づくように補正することができ、算出距離の精度を高めることが可能になる。

実施の形態に係る補正距離算出装置の概略構成を示したブロック図である。 仮想世界座標系に対して動画像が配置された状態を示した図である。 （ａ）２次元からなる動画像の画像座標系を示した図である。（ｂ）は、仮想世界座標系に配置された動画像を分割した状態を示した図である。 （ａ）は、現実世界におけるカメラの焦点距離と、撮影画像の撮影範囲との関係を説明した図である。（ｂ）は、（ａ）に示す撮影画像を基準として、それぞれのカメラの位置を焦点距離に応じて並べた図である。（ｃ）は、（ｂ）に示すそれぞれのカメラで撮影された動画像を基準として、動画像から仮想レーザの発信源までの距離をそれぞれ示した図である。 （ａ）は、カメラで撮影された動画像の一例を示した図である。（ｂ）は、仮想世界座標系に配置される（ａ）の動画像と、仮想レーザの発信源と、撮影対象物である仮想看板との位置関係を示した図である。 仮想レーザの発信源から発せられた仮想レーザが、動画像上の画素位置を通過して、仮想地面に到達した状態を示した図である。 実施の形態に係るＣＰＵが実行する処理を示したフローチャートである。 （ａ）は、一般道を走行する車両に設置されたカメラで撮影された動画像を示している。（ｂ）は、動的視差法によって画素毎に算出されたカメラから動画像までの算出距離を、色の明暗によってグレースケールで示した図である。 （ａ）は、図８（ａ）の動画像に対応する仮想世界座標系を構築して仮想面を設定し、動画像の各画素位置から仮想面までの補正距離を求めることにより、求められた補正距離を色の明暗によってグレースケールで示した図である。（ｂ）は、図８（ｂ）に示す動的視差法で算出した距離を補正距離で補正して、色の明暗によってグレースケールで示した図である。

以下、本発明に係る補正距離算出装置について一例を示し、図面を用いて詳細に説明する。図１は、補正距離算出装置の概略構成を示したブロック図である。補正距離算出装置１００は、記録部（記録手段、メモリ）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory：メモリ）１０３と、ＣＰＵ(Central Processing Unit：コンピュータ、仮想世界座標系構築手段、画像配置手段、発信源座標算出手段、仮想面設定手段、到達画素数算出手段、補正距離算出手段、距離補正手段）１０４とを有している。また、補正距離算出装置１００には、カメラ２００と、モニタ２１０と、ジャイロセンサ２２０とが接続されている。

カメラ２００は、周囲の様子を動画によって撮影する。カメラ２００は、例えば、車両、飛行機、ドローンなどに搭載することが可能になっている。カメラ２００には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子が設けられている。カメラ２００で撮影された動画は、補正距離算出装置１００の記録部１０１に記録される。カメラ２００により撮影された動画の１フレーム分の画像を、「動画像」と称する。

なお、補正距離算出装置１００において、後述する補正距離を算出するためには、カメラ２００で撮影された１枚の画像があれば十分である。しかしながら、補正距離算出装置１００のＣＰＵ１０４は、後述するように、動的視差法を用いてカメラ２００で撮影された動画から撮影対象物のoptical flowを検出し、動画像に映る撮影対象物からカメラまでの距離を算出距離として算出する処理を行う。このため、カメラ２００では、動画像を撮影する必要が生じる。従って、実施の形態に係るカメラ２００は、動画を撮影する機能を備えるものとし、補正距離算出装置１００は、カメラ２００で撮影された動画の１フレーム分の画像である「動画像」を利用して、補正距離を算出する。

ジャイロセンサ２２０は、カメラ２００の傾きを検出する。具体的には、カメラ２００の光軸の角度を、現実世界（カメラ２００が存在する現実の世界）において仮想的に設定されるｘ軸、ｙ軸およびｚ軸からなる３軸の回転パラメータを用いて検出する。ここで、回転パラメータを示すためのｘ軸、ｙ軸およびｚ軸は、現実世界で仮想的に設定される座標軸であるが、後述する仮想の世界においても、対応するｘ軸、ｙ軸およびｚ軸が設定される。仮想の世界のｘ軸、ｙ軸およびｚ軸からなる座標系を、仮想世界座標系と称する。仮想世界座標系の構築については後述する。ジャイロセンサ２２０によって、現実世界のカメラ２００の傾きを検出することにより、カメラ２００によって撮影された動画像の傾きを、仮想世界座標系に対応づけて設定することが可能になる。

記録部１０１には、カメラ２００により撮影された動画像が、ジャイロセンサ２２０により検出された回転パラメータに対応づけられて記録される。より詳細に説明すると、カメラ２００によって撮影された動画は、複数のフレームの画像（動画像）を時系列的に記録したデジタルデータとして、記録部１０１に記録される。例えば、Ｔ時間分の動画を、カメラ２００で撮影した場合を考える。カメラ２００が、ΔＴ時間毎に１枚の割合でフレームの画像（フレーム画像、動画像）を撮影する能力がある場合、記録部１０１には、Ｔ／ΔＴ枚のフレーム画像が時系列的に記録される。さらに、それぞれのフレーム画像（動画像）には、それぞれの時間におけるカメラ２００の傾きを示した回転パラメータが関連付けられて記録されている。

なお、補正距離算出装置１００あるいはカメラ２００に、フレームバッファーを設けて、カメラ２００で撮影された単位時間毎のフレーム画像がフレームバッファーに一時的に記録され、フレームバッファーに記録されたフレーム画像が、時系列的に記録部１０１に記録される構成であってもよい。また、記録部１０１に記録される動画像は、カメラ２００によりリアルタイムに撮影された動画像には限定されず、予めカメラ２００によって撮影された動画像（過去の動画像）であってもよい。ただし、上述したように、撮影された動画像には、撮影時におけるカメラ２００の回転パラメータが対応づけられて記録される。

カメラ２００で撮影される動画は、デジタルデータで記録されるものだけには限定されない。例えば、アナログデータで記録された動画であっても、デジタル変換処理を施すことによって、時系列的なフレーム画像として、記録部１０１に記録することが可能である。時系列的に記録されたフレーム画像を動画像として用いることにより、補正距離算出装置１００で補正距離の算出処理を行うことが可能となる。

また、カメラ２００は、周囲の景色等を動画で撮影することが可能な撮影手段であれば、その種類・構成は特に限定されない。例えば、一般的なムービーカメラであってもよく、また、スマートフォン等の携帯端末に設けられるカメラであってもよい。スマートフォンに設けられるカメラを、実施の形態に係るカメラ２００として用いる場合、スマートフォンに設けられるジャイロセンサを、実施の形態に係るジャイロセンサ２２０として用いることができる。

また、記録部１０１には、補正距離の算出処理に用いられる初期情報が記録される。例えば、カメラ２００に設けられるレンズの焦点距離の情報が記録される。カメラ２００の焦点距離の情報は、後述する仮想レーザの発信源の位置座標を示す係数Ｌを決定するために用いられる。また、記録部１０１には、上述したジャイロセンサ２２０によって求められた回転パラメータの情報、つまり、カメラ２００の傾きに関する情報が記録される。カメラ２００の傾きに関する情報は、仮想世界座標系における動画像の法線ベクトルを決定するために用いられる。さらに、記録部１０１には、後述する現実世界の単位長（例えば、１ｃｍ）に対応する仮想世界座標系の画素数に関する情報（対応長さ情報）が記録される。また、記録部１０１には、現実世界における地面からカメラ２００までの高さｈに関する情報（カメラ２００の高さ情報）が記録される。カメラ２００の高さ情報は、例えば、カメラ２００で動画が撮影された状態において、地面からカメラ２００までの高さを予め測定しておくことによって得ることができる。

記録部１０１は、一般的なハードディスク等によって構成されている。なお、記録部１０１の構成は、ハードディスクだけに限定されるものではなく、フラッシュメモリ、ＳＳＤ（Solid State Drive / Solid State Disk）などであってもよい。記録部１０１は、動画像を、時系列的な複数のフレーム画像として記録することが可能な記録媒体であり、また初期情報を記録することが可能な記録媒体であるならば、具体的な構成は特に限定されない。

ＣＰＵ１０４は、記録部１０１に時系列的に記録された複数の動画像（フレーム画像）および初期情報に基づいて、動画像に映る撮影対象物からカメラ２００までの補正距離を算出する処理を行う。ＣＰＵ１０４は、プログラム（例えば、図７に示すフローチャートに基づくプログラム）に基づいて、補正距離の算出処理を行うが、その詳細については後述する。

また、ＣＰＵ１０４は、公知の方法である動的視差法を用いて、カメラ２００で撮影された動画から撮影対象物のoptical flowを検出し、動画像に映る撮影対象物からカメラまでの距離を、算出距離として算出する処理を行う。実施の形態に係るＣＰＵ１０４では、動画像の全ての画素について算出距離の算出を行う。ＣＰＵ１０４によって算出された算出距離は、記録部１０１に記録される。

ＲＯＭ１０２には、ＣＰＵ１０４が補正距離を算出するためのプログラム（例えば、図７に示すフローチャートに基づくプログラム）や、算出距離を算出するためのプログラム等が記録される。ＲＡＭ１０３は、ＣＰＵ１０４の処理に利用される作業エリアとして用いられる。具体的に、ＲＡＭ１０３は、ＣＰＵ１０４が仮想世界座標系を構築するための作業エリアとして利用される。

実施の形態に係る補正距離算出装置１００では、プログラムが、ＲＯＭ１０２に記録される構成について説明する。しかしながら、プログラムが記録される記録媒体は、ＲＯＭ１０２だけに限定されるものではなく、記録部１０１にプログラムを記録する構成であってもよい。

モニタ２１０には、カメラ２００で撮影された動画を表示することが可能である。また、補正距離によって距離補正が行われた動画像の画素毎の算出距離の情報に基づいて、カメラ２００の周囲の状況を示す３次元動画が作成された場合には、作成された３次元動画を表示することができる。モニタ２１０として、例えば、液晶ディスプレイや、ＣＲＴディスプレイなどの一般的な表示装置が用いられる。

次に、ＣＰＵ１０４が、記録部１０１に記録された動画像（フレーム画像）と、動画像（フレーム画像）に対応づけられた初期情報とに基づいて、動画像に映った撮影対象物からカメラ２００までの距離を補正するための補正距離を算出する方法について説明する。

まず、補正距離を用いて補正を行う対象となる算出距離Ｚｍ（撮影対象物からカメラ２００までの算出距離）を、動的視差法を用いて算出する手順について簡単に説明する。既に説明したように、動的視差法では、動画に映る複数の撮影対象物が、わずかな時間で動画像上を移動したときのそれぞれの画素の軌跡を移動画素数として求めて、各撮影対象物毎に、カメラから撮影対象物までの算出距離を算出する。Ｍ個（Ｍ≧２）の撮影対象物のターゲットピクセル（移動画素数を求める対象となる画素）のうち、移動画素数が最も少ない画素数をμとし、移動画素数が最も多い画素数をγとし、さらに、Ｍ個のターゲットピクセルによりそれぞれ特定される撮影対象物からカメラまでの現実距離（現実の世界の距離）のうちで最も近い距離をＺＮとし、撮影対象物からカメラまでの現実距離のうちで最も遠い距離をＺＬとする。

この場合、移動画素数が少ない撮影対象物は、遠方に存在する撮影対象物に対応すると判断することができる。なぜならば、遠方に存在する撮影対象物と近くに存在する撮影対象物とが現実の世界において同じ距離だけ移動しても、動画像に映る撮影対象物の移動画素数が異なるためである。遠方に存在する撮影対象物と近くに存在する撮影対象物とが同じ距離だけ移動すると、遠方に存在する撮影対象物の移動画素数は、近くに存在する撮影対象物の移動画素数よりも少なくなる。このため、複数のターゲットピクセルのうち最も移動画素数が少ない撮影対象物の画素の距離（画素数μ）が、現実世界の距離のうちで最も遠い距離ＺＬに対応し、移動画素数が多い撮影対象物の画素の距離（画素数γ）が、現実世界の距離のうちで最も近い距離ＺＮに対応する。

このように、動的視差法では、ターゲットピクセルの対象となる撮影対象物の現実世界の距離範囲（ＺＮからＺＬまで範囲）と、動画像におけるターゲットピクセルの移動画素数の範囲（μからγまでの範囲）との対応関係に基づいて、撮影対象物毎（ターゲットピクセル毎）に、カメラから撮影対象物までの算出距離を求める。ここで、動的視差法により検出される画素毎の算出距離は、相対距離を検出するものである。すなわち、動的視差法では、移動画素数の値（例えば、optical flowの値）が正規化されており、現実世界の距離範囲（ダイナミックレンジ）も固定されているため、カメラから近い撮影対象物までの距離も、カメラから遠い撮影対象物までの距離も、相対的な違いがあり、絶対的な距離とは言えない。このため、ある程度の誤差が生じてしまう。

例えば、１つの動画像に、極めて遠方に位置する撮影対象物と、極めて近くに位置する撮影対象物とが同時に映っている場合には、現実世界で最も近い距離から最も遠い距離までの距離範囲が長くなる。この場合には、現実世界で最も近い距離から最も遠い距離までの距離範囲が短い場合に比べて、動的視差法により求められるターゲットピクセル毎の算出距離により大きな差が生じるおそれがある。

また、移動画素数の値を、optical flowの値によって検出する方法では、既に説明したように、テクスチャーのない状態において、optical flowの値が小さくなる傾向がある。このため、求められた算出距離が、現実世界の距離よりも遠くなってしまうという問題があった。

実施の形態では、補正距離算出装置１００のＣＰＵ１０４が、optical flowの値に基づいて、動的視差法により撮影対象物からカメラまでの算出距離を算出する処理を行い、さらに、ＣＰＵ１０４が、動的視差法により算出された算出距離を補正するための補正距離を算出する処理を行う場合について説明する。

なお、ＣＰＵ１０４によって算出される算出距離は、optical flowの値に基づく動的視差法によって算出される距離には限定されない。ＡＭＰ法やＦＭＰ法に基づく動的視差法によって算出される算出距離であってもよい。さらに、動的視差法以外の公知の方法、例えば、複眼カメラを用いたり、単眼カメラと距離センサとを用いたりすることによって、ＣＰＵ１０４で算出距離を算出する構成としてもよい。ＣＰＵ１０４では、どのような方法で算出される算出距離であっても、算出された算出距離を補正するための補正距離を算出することが可能である。

補正距離算出装置１００で補正距離を算出する処理では、次の３つの考え方を導入することを特徴とする。
［特徴１］仮想的な３次元空間を構築する。仮想的な３次元空間を仮想世界座標系と称する。
［特徴２］仮想世界座標系に対して、カメラ２００で撮影された動画像を配置し、仮想的なレーザ（仮想レーザ）の発信源を、仮想世界座標系に設定する。
［特徴３］仮想世界座標系に対して仮想的な面（仮想面）を設定する。

補正距離算出装置１００のＣＰＵ１０４は、プログラムに従って仮想世界座標系を構築し、仮想的に仮想レーザの発信源を設定し、仮想面の設定を行う。これらの３つの特徴について、詳細に説明する。

［特徴１：仮想世界座標系］
ＣＰＵ１０４は、プログラムに基づいて、メモリ空間に対して、仮想世界座標系の構築を行う。具体的には、ＣＰＵ１０４は、ピクセル単位（画素単位）の直交する３軸の座標系からなる仮想的な３次元空間を、ＣＰＵ１０４の演算処理用のメモリ空間（ＲＡＭ１０３あるいは記録部１０１）上に、仮想世界座標系として構築する。仮想世界座標系において、横方向をｘ軸方向、縦（上）方向をｙ軸方向、奥行方向をｚ軸方向とする。仮想世界座標系の距離（仮想距離）は、画素数（画素長）で示される。仮想世界座標系の仮想距離を画素数で示すことにより、現実世界の距離よりもより高い（細かい）精度で距離を示すことができる。

例えば、従来の動的視差法では、動画像に映る撮影対象物のうちで最も遠い現実世界の距離を１００ｍとし、最も近い現実世界の距離を１ｍとし、距離の基本単位を１ｍとすると、１ｍ～１００ｍまでの１００段階の精度で、現実世界における距離のダイナミックレンジが設定される。特に、カメラ２００から最も遠い撮影対象物までの現実世界の距離や、最も近い撮影対象物までの現実世界の距離は、目視で設定したり、予め測定を行ったりして決定される。このため、例えば、ナノｍｍのような詳細な精度で、現実世界における距離のダイナミックレンジを設定することは、現実的なことではなかった。

しかしながら、実施の形態に係る補正距離算出装置１００のＣＰＵ１０４では、仮想世界座標を構築し、動画像に映る撮影対象物の移動画素数に対応して、仮想世界座標系における撮影対象物までの仮想距離を、画素数を用いて示すことができる。このため、仮想世界座標系における仮想距離のダイナミックレンジを、現実世界における距離のダイナミックレンジに比べて、より精度良く、かつ柔軟に設定することが可能である。例えば、仮想世界座標における最も近い撮影対象物から最も遠い撮影対象物までの仮想距離のダイナミックレンジの精度を、十万段階の精度とすることもできる。仮想距離は、ＣＰＵ１０４の演算処理により仮想的に設定される空間の距離であるため、現実距離では想定しにくいような高精度な仮想距離（画素数）を設定することが可能である。仮想距離のダイナミックレンジを高精度に設定することにより、従来のような物理的な単位長（例えば、ｃｍやｍ等）を、ダイナミックレンジの設定で考慮する必要がなくなる。

なお、ＣＰＵ１０４では、補正距離を算出するために仮想世界座標系の構築を行うが、仮想世界座標系の距離は画素数で示されるため、動的視差法により算出された算出距離を補正するために、仮想世界座標系で求められる画素単位の補正距離（仮想距離）を、現実世界の補正距離（ｃｍやｍ等の物理的数値による距離）に変換する必要がある。この変換は、記録部１０１に記録される対応長さ情報、つまり、現実世界の単位長（例えば、１ｃｍ）に対応する仮想世界座標系の画素数に関する情報に基づいて変換される。

例えば、現実世界における１ｃｍの長さが、仮想世界座標系において４０pixelに該当する場合、つまり、対応長さ情報が４０［pixel/cm］であった場合を考える。、仮想世界座標系の補正距離（仮想距離）が、４０００００pixelであるとすると、現実世界の補正距離は、
４０００００［pixel］／４０［pixel/cm］
＝１００００［ｃｍ］
＝１００［ｍ］
により、求めることができる。

後述するように、補正距離算出装置１００のＣＰＵ１０４によって求められる、動画像上の各画素から撮影対象物までの仮想世界座標系の仮想距離を、現実世界の距離に変換することによって、現実世界の単位長で、動画像上の各画素の補正距離を求めることができる。動画像上の全ての画素に対して補正距離を求めることにより、動画像における各画素の配置に対応する補正距離を、行列形式に並べて記録することができる。ＣＰＵ１０４は、全画素の補正距離を、各画素の画素位置に対応させて行列形式に並べて、行列データを作成する。行列データを用いることにより、動画像の全て画素について算出される算出距離に対して、現実世界の距離で示される全ての画素の補正距離を、一斉に適用して、補正処理を行うことが可能になる。行列データのそれぞれの画素の補正距離を、キャリブレーションの値と称する。

仮想世界座標系は、動画像の各画素の算出距離を補正するための補正距離を算出するために設けられる仮想の座標空間である。このため、仮想空間座標系を構築する場合、ＣＰＵ１０４は、動画像に映る現実世界（動画像を撮影したカメラ２００の周囲の状況）と完全に一致するような座標空間を構築する必要はない。少なくとも、カメラ２００から撮影対象物までの算出距離の精度を向上させるために必要な対象物が、仮想世界座標系に存在していれば十分である。実施の形態では、カメラ２００から撮影対象物までの算出距離の精度を向上させるために必要な対象物として、仮想面を想定する。その一例として、仮想世界座標系に仮想地面を設定する。

現実世界におけるカメラ２００の設置状態などにより異なるが、一般的なカメラの設置状態を考慮すれば、カメラ２００で撮影した動画像に、地面が映り込む可能性は高い。例えば、走行する車両に設置されたカメラであっても、ドローンに設置されたカメラであっても、さらにはロボット等に設置されたカメラであっても、地面を基準とし走行、飛行、移動されるものにカメラが設置される。このため、地面は、カメラ２００から撮影対象物までの算出距離の精度を向上させるために必要な対象物として、最も有効なものである。地面が、現実世界および仮想世界座標系において共通した対象物となる場合には、次述するように、現実世界における地面からのカメラの高さ（位置）と、仮想世界座標系の仮想カメラの位置座標との対応関係を、決定することができる。

また、仮想世界座標系における基本的な撮影対象物を、面（仮想面）として捉えることは、カメラ２００から撮影対象物までの算出距離の精度を向上させるために対象物を設定する上で有効である。仮想世界座標系における仮想地面は、カメラ２００から撮影対象物までの算出距離の精度を向上させるために必要な対象物の一例である。仮想面は、仮想地面だけに限定されず、仮想地面以外にも、カメラ２００の右側あるいは左側に建物等が存在する場合や、高速道路用の側壁が存在する場合には、仮想面として仮想側面壁を設定することができる。仮想側面壁を設定することにより、カメラ２００から撮影対象物までの左右側方における算出距離の精度を高めることができる。同様に、カメラ２００の正面方向に仮想正面壁を設定する場合も同様である。このような、仮想世界座標系における仮想面の設定については、後述する。

次に、上述した仮想世界座標系を構築する場合には、現実世界の距離と、仮想世界座標の仮想距離との対応関係を設定する必要がある。具体的には、仮想世界座標系の単位長は画素［pixel］であり、現実世界の単位長は［ｍ］や［ｃｍ］であるため、それぞれの単位長が異なる。このため、現実世界の単位長が仮想世界座標系においてどの程度の画素数に対応するかを明確する必要が生じる。この場合に、前述した記録部１０１に記録される対応長さ情報、つまり、現実世界の単位長（例えば、１ｃｍ）に対応する仮想世界座標系の画素数に関する情報が用いられる。

また、現実世界の単位長（例えば、１ｃｍ）に対応する仮想世界座標系の画素数に関する情報（対応長さ情報）を用いても、現実世界において基準となる点（基準点）と、基準点に対応する仮想世界座標系の座標との関係を明確にしないと、現実世界と仮想世界座標系とを対応付けることができない。現実世界と仮想世界座標系との対応関係を明確にするために、実施の形態に係る補正距離算出装置１００では、カメラ２００の高さ情報を利用する。

カメラ２００の高さ情報とは、動画像を撮影したカメラ２００が、現実世界において地面からどのくらいの高さに設置されたかという情報を意味する。例えば、カメラ２００が車両に設置される場合、地面からの高さｈは、基本的に一定の値となる。例えば、カメラ２００の高さ情報の値ｈを１５０ｃｍとすると、ＣＰＵ１０４は、カメラ２００の高さ情報の値ｈ（＝１５０ｃｍ）と、仮想世界座標系における仮想カメラの高さ位置とを対応づける処理を行う。ここで、仮想世界座標系におけるカメラの高さ位置の決定は、仮想世界座標系における動画像の位置座標に影響を与えるものである。このため、実施の形態に係る補正距離算出装置１００では、動画像の中心座標（中心画素）に仮想カメラが存在すると仮定する。つまり、現実世界におけるカメラ２００の高さ位置ｈを、仮想世界座標系における動画像の中心座標（特に、ｙ軸上の座標）に対応させる処理を行う。

仮想世界座標系において仮想カメラの高さ位置を対応づけるためには、仮想世界座標の原点を予め設定する必要がある。仮想世界座標系を３次元空間（ｘ，ｙ，ｚ）で表すと、この空間の原点は（ｘ，ｙ，ｚ）＝（０，０，０）と表すことができる。上述した仮想カメラの位置（動画像の中心位置）は、原点との関係で決定されるが、仮想世界座標系の座標は、カメラから撮影対象物までの補正距離を算出するために用いられる座標系であるため、仮想世界座標系において相対的に仮想カメラの位置が決定されれば十分である。従って、原点が、仮想カメラの位置（動画像の中心位置）に対してどちら側に位置していても、問題ない。例えば、仮想世界座標系における仮想カメラの位置（動画像の中心位置）と原点位置とが一致していてもよく、あるいは異なる位置となっていても問題ない。実施の形態に係る補正距離算出装置１００では、説明の便宜上、仮想世界座標における仮想カメラの位置（動画像の中心位置）の座標を（Ｘｘ,Ｘｙ,Ｘｚ）として、Ｘｘ≧０，Ｘｙ≧０，Ｘｚ≧０となるように、仮想カメラの位置（動画像の中心位置）の座標および原点を設定する。後述する図２，図３（ｂ）では、Ｘｘ＞０，Ｘｙ＞０，Ｘｚ≧０となる座標に仮想カメラの位置の座標、つまり動画像の中心位置の座標を設定する場合を一例として示している。

ＣＰＵ１０４は、現実世界におけるカメラ２００の高さ位置ｈに対応するように、仮想世界座標系のｙ軸の座標Ｘｙの値を設定する。カメラ２００の高さ位置ｈと座標Ｘｙとの対応関係は、試験的に決定されるものではなく、任意に定めることができる。例えば、Ｘｙ＝６０００pixelのように任意の値を設定することが可能である。このＸｙ＝６０００という画素長（ピクセル長）と、現実世界におけるカメラ２００の地上からの高さｈ＝１５０ｃｍとの対応関係を示す情報が、上述した対応長さ情報である。つまり、対応長さ情報は、現実世界の単位長に対応する仮想世界座標系の画素数に関する情報に該当する。対応長さ情報は、既に説明したように、補正距離算出装置１００の記録部１０１に、初期情報として記録される。

また、現実世界と仮想世界座標系との単位長を対応させる処理だけでは、動画像に映る画素毎のカメラ２００から撮影対象物までの補正距離を求めることはできない。動画像を仮想世界座標系に設置するために、カメラ２００の光軸の傾きに関する情報を用いて、仮想世界座標系における動画像の傾きを決定する必要がある。前述したように、ジャイロセンサ２２０によって測定されたカメラ２００の傾きに関する情報を用いることにより、動画像の傾斜角度の設定を行う。

カメラ２００によって撮影された動画像は、現実世界におけるカメラの設置位置を基準として、カメラ２００の傾きに応じた方向の映像を記録したものである。カメラ２００の現実世界の傾きは、既に説明したように、ジャイロセンサ２２０によって検出されている。ジャイロセンサ２２０は、カメラ２００の光軸に対する回転パラメータを検出することにより、カメラ２００の傾きを検出する。具体的に、ジャイロセンサ２２０は、カメラ２００の傾きを、現実世界のｘ軸、ｙ軸およびｚ軸に対するそれぞれの回転パラメータとして検出する。そして、ＣＰＵ１０４は、ジャイロセンサ２２０により検出された回転パラメータを用いて、仮想世界座標系のｘ軸、ｙ軸およびｚ軸に対するそれぞれのパラメータを設定することにより、仮想世界座標系における仮想カメラの傾きを決定する。カメラ２００の傾きはカメラ２００の光軸の方向を示すものであるため、仮想世界座標系に配置される動画像の法線の方向に対応する。

以上説明したように、現実世界のカメラ２００の高さ位置ｈに対応するようにして、仮想世界座標系における仮想カメラの位置座標を決定し、現実世界におけるカメラ２００の傾きに基づいて、仮想世界座標系における仮想カメラの傾きを決定することにより、仮想世界座標系における動画像の中心位置（中心画素）と、動画像の法線とを決定することが可能になる。

また、動画像の１画素と仮想世界座標系の１画素とが等価に対応する場合には、仮想世界座標系における動画像の中心位置と法線とを決定することにより、仮想世界座標系における動画像の中心画素の位置座標（Ｘｘ,Ｘｙ,Ｘｚ）と、中心画素に対応する動画像の四角の画素位置とに基づいて、仮想世界座標系における動画像の全ての画素の位置座標を決定することができる。

動画像の画像サイズは、カメラ２００の撮影可能画素数によって異なる。例えば、近年では、ハイビジョン画質（1,280画素×720画素）、フルハイビジョン画質（1,920画素×1,080画素）、４Ｋ画質（3,840画素×2,160画素）、８Ｋ画質（7,680画素×4,320画素）で撮影可能なカメラが多く存在している。ＣＰＵ１０４は、カメラ２００で撮影された動画像の中心画素の位置と傾きとに基づき、カメラ２００で撮影された動画像の大きさに合わせて、それぞれの画素の位置座標を算出する。

実施の形態に係るＣＰＵ１０４では、動画像の画素と仮想世界座標系の画素とが等価に対応する場合について説明するが、例えば動画像の画像サイズを拡大あるいは縮小して動画像サイズを修正した上で、各画素の仮想世界座標系の位置座標を算出する構成とすることも可能である。例えば、動画像の画像サイズを拡大あるいは縮小した場合に、その拡大あるいは縮小に対応して、仮想世界座標系のスケールを修正することが可能である。また、仮想世界座標系のスケールを変更することなく、動画像の画像サイズのみを拡大あるいは縮小した場合であっても、後述する仮想レーザの発信源の座標を動画像から近づけたり遠ざけたりすることにより、適切に調整することが可能である。

図２は、カメラ２００の高さ位置情報およびカメラ２００の傾き情報に基づいて、仮想世界座標系に対して動画像が配置された状態を示した図である。図２では、動画像の法線ベクトル（ａ,ｂ,ｃ）を、紙面左上方向に伸びるようにして示している。また、図３（ａ）は、２次元からなる動画像の画像座標系を示した図である。動画像は、３次元からなる仮想世界座標系とは別に、２次元からなる画像座標系を備えており、動画像の平面上の画素を（α,β）で表すことができる。

さらに、図２に示すように、仮想世界座標系における動画像の四角について、右下角の座標をＡ点としてＡ（ｘ１,ｙ１,ｚ１）で示し、右上角をＢ点としてＢ（ｘ２,ｙ２,ｚ２）で示し、左上角をＣ点としてＣ（ｘ３,ｙ３,ｚ３）で示し、左下角をＤ点としてＤ（ｘ４,ｙ４,ｚ４）で示す。また、ＣＰＵ１０４では、既に説明したように、動画像の四角の中心となる中心画素の画素位置を（Ｘｘ,Ｘｙ,Ｘｚ）とし、仮想世界座標系における仮想カメラの位置座標を、カメラ２００によって撮影された動画像の中心画素の位置座標に設定する。

動画像の中心画素（Ｘｘ,Ｘｙ,Ｘｚ）を通る法線ベクトル（ａ,ｂ,ｃ）を備えた平面（ｘ,ｙ,ｚ）は、
ａ（ｘ－Ｘｘ）＋ｂ（ｙ－Ｘｙ）＋ｃ（ｚ－Ｘｚ）＝０・・・式４
と表すことができる。一方で、図３（ａ）に示した画像座標系の２次元平面（α、β）が、仮想世界座標系の３次元座標において点（α、β、φ）に対応する（位置する）と仮定すると、式４より、
ａ（α－Ｘｘ）＋ｂ（β－Ｘｙ）＋ｃ（φ－Ｘｚ）＝０が成立し、φを求めることができる。

従って、カメラ２００で撮影された動画像の各画素に対応する３次元座標の点（α、β、φ）を、仮想世界座標系における動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）とすると、
（ｓｘ，ｓｙ，ｓｚ）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋ｋ（α－αａ, β－βａ, φ－φａ）
として求めることができる。なお、αａはαの平均であり、βａはβの平均であり、φａはφの平均である。また、ｋは定数である。このようにして、仮想世界座標系における動画像上の位置座標（ｓｘ，ｓｙ，ｓｚ）を、求めることができる。

また、別の方法として、カメラ２００により撮影された動画像を、行列［（α,β）］の要素として捉えて、各要素（α,β）に対応させた点を（ｓｘ，ｓｙ，ｓｚ）として求めてもよい。具体的には、図３（ｂ）に示すように、仮想世界座標系に配置された動画像は通常傾きを有し、動画像の傾きは、平面における法線（ａ,ｂ,ｃ）によって表すことができる。

動画像を、図３（ａ）に示したように、２次元の画像座標系の平面（α,β）として捉えると、画像座標系の点は、行列［（α,β）］、α＝１,２,・・・,Ｍ、β＝１,２,・・・,Ｎで表すことができる。また、動画像の四角は、仮想世界座標空間において（Ｘｘ,Ｘｙ,Ｘｚ）を通る法線（ａ,ｂ,ｃ）の平面上のＡ（ｘ１,ｙ１,ｚ１）、Ｂ（ｘ２,ｙ２,ｚ２）、Ｃ（ｘ３,ｙ３,ｚ３）、Ｄ（ｘ４,ｙ４,ｚ４）に対応する。この場合に、線分ＡＢをＭ等分し、線分ＢＣをＮ等分して、それぞれの等分点から碁盤の目を作るように引いた線分の交点を、行列［（α,β）］の要素（α,β）に対応させて、その交点を（ｓｘ，ｓｙ，ｓｚ）とする。このようにして、仮想世界座標系の交点（ｓｘ，ｓｙ，ｓｚ）を求めることにより、カメラ２００により撮影された動画像の各画素の位置座標を、仮想世界座標系において求めることができる。

［特徴２：仮想レーザの発信源］
次に、ＣＰＵ１０４は、仮想世界座標系に、仮想的なレーザ（仮想レーザ）を発するための発信源を設定する。仮想レーザの発信源から、仮想世界座標系に配置された動画像の各画素に対して仮想レーザが発せられ、動画像の各画素を通過した仮想レーザが、仮想世界座標系に設定される仮想的な対象物（仮想面）に到達する場合を考える。

実施の形態に係る補正距離算出装置１００のＣＰＵ１０４では、上述したように、動画像の中心画素の位置座標を、仮想世界座標系における仮想カメラの位置座標に設定して、動画像を配置する。動画像の法線は、既に説明したように（ａ,ｂ,ｃ）とし、仮想世界座標系に動画像が配置された状態において、動画像の１画素と仮想世界座標系の１画素とが等価に対応するものとする。つまり、動画像の画素単位と仮想世界座標系の画素単位とは同等な画素である場合を考える。

仮想世界座標系における動画像の四角の座標をＡ（ｘ１,ｙ１,ｚ１）、Ｂ（ｘ２,ｙ２,ｚ２）、Ｃ（ｘ３,ｙ３,ｚ３）、Ｄ（ｘ４,ｙ４,ｚ４）とし、動画像の中心座標を（Ｘｘ,Ｘｙ,Ｘｚ）とすると、動画像の法線（ａ,ｂ,ｃ）は、仮想世界座標系に配置された動画像の２つの辺（例えば、ＡＢ辺とＡＤ辺）のベクトルの外積で計算することができる。

動画像の２つの辺（例えば、ＡＢ辺とＡＤ辺）のベクトルを、それぞれベクトルＡ,ベクトルＢとし、２つのベクトルＡ，Ｂの交点から仮想世界座標系におけるそれぞれのベクトル要素を、（Ａｘ,Ａｙ,Ａｚ）および（Ｂｘ,Ｂｙ,Ｂｚ）とすると、ベクトルＡとベクトルＢとの外積は、
（Ａｘ,Ａｙ,Ａｚ）×（Ｂｘ,Ｂｙ,Ｂｚ）
＝（ＡｙＢｚ－ＡｚＢｙ,ＡｚＢｘ－ＡｘＢｚ,ＡｘＢｙ－ＡｙＢｘ）
によって求めることができる。

ここで、（ＡｙＢｚ－ＡｚＢｙ）をａ１とし、（ＡｚＢｘ－ＡｘＢｚ）をｂ１とし、（ＡｘＢｙ－ＡｙＢｘ）をｃ１とすると、ベクトルＡとベクトルＢとの外積は、（ａ１,ｂ１,ｃ１）と表すことができる。この外積は、仮想世界座標系における動画像の法線ベクトル（ａ,ｂ,ｃ）に対応する。

法線ベクトルの大きさが「１」となるように法線ベクトルを正規化すると、法線ベクトル（ａ,ｂ,ｃ）は、
（ａ,ｂ,ｃ）
＝（ａ１／｜（ａ１,ｂ１,ｃ１）｜, ｂ１／｜（ａ１,ｂ１,ｃ１）｜,ｃ１／｜（ａ１,ｂ１,ｃ１）｜）
となる。

従って、動画像の中心位置（Ｘｘ,Ｘｙ,Ｘｚ）から長さＬの法線ベクトルの位置は、
（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）
によって表すことができる。Ｌは係数である。

図２に示すように、仮想世界座標系における仮想レーザの発信源の位置座標を（ｘ０，ｙ０，ｚ０）とすると、仮想レーザの発信源は、動画像の中心位置（Ｘｘ,Ｘｙ,Ｘｚ）から伸びる法線ベクトル上に位置することから、係数Ｌを決定することにより、
（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）・・・式５
として表すことが可能になる。

係数Ｌの長さは、仮想レーザの発信源から発せられた仮想レーザが、動画像に映る対象物の画素を通過して、仮想世界座標系に存在する仮想的な撮影対象物（仮想面）に仮想レーザが当たることを前提として決定される。具体的には、係数Ｌは、カメラ２００におけるレンズの焦点距離に基づいて求めることができる。焦点距離とは、カメラ２００のレンズの中心である主点からカメラ２００の撮像素子までの距離を意味する。

図４（ａ）は、カメラ２００の焦点距離と撮影される画像の撮影範囲との関係を説明した図である。カメラ２００におけるレンズの焦点距離が近い場合（例えば、焦点距離ｒが２４ｍｍの場合）には、より広い範囲を撮影することが可能となる。このように焦点距離が近いレンズは広角レンズと呼ばれ、広角の画角で撮影を行うことができる。また、カメラ２００においてレンズの焦点距離が遠い場合（例えば、焦点距離ｒが２００ｍｍの場合）には、レンズ正面の撮影対象物を拡大した状態で撮影することできる。この場合には、撮影範囲が広角の場合に比べて狭くなる。このように焦点距離が遠いレンズは望遠レンズと呼ばれ、望遠の画角で撮影を行うことができる。さらに、カメラにおけるレンズの焦点距離が中距離の場合（例えば、焦点距離ｒが５０ｍｍの場合）には、広角レンズよりも撮影範囲が狭いが、望遠レンズよりも撮影範囲が広い、中位の範囲で撮影を行うことができる。このように焦点距離が中距離のレンズは標準レンズと呼ばれ、標準の画角で撮影を行うことができる。

図４（ａ）に示した図では、カメラ２００の位置を固定して、カメラ２００の撮影範囲の違いを示した。一方で、図４（ｂ）では、カメラ２００で撮影される動画像の大きさを基準として、カメラ２００の位置を動画像に対して前後させた状態を示している。また、図４（ｃ）は、図４（ｂ）に示す焦点距離のレンズを用いてカメラ２００で撮影された動画像において、当該動画像から仮想レーザの発信源までの仮想距離を示した図である。

カメラ２００によって望遠レンズ（ｒ＝２００ｍｍ）で撮影対象物を撮影した場合には、図４（ｂ）に示すように、動画像の画角が狭くなってしまう。このような画角で撮影された動画像では、図４（ｃ）に示すように、仮想レーザの発信源から動画像までの仮想距離が長くなってしまう（図４（ｃ）の距離Ｌ１）。カメラ２００によって標準レンズ（ｒ＝５０ｍｍ）で撮影対象物を撮影した場合には、図４（ｂ）に示すように、動画像の画角が望遠レンズの場合に比べて広くなる。このような画角で撮影された動画像では、図４（ｃ）に示すように、仮想レーザの発信源から動画像までの仮想距離が、望遠レンズの場合に比べて短くなる（図４（ｃ）の距離Ｌ２）。さらに、カメラ２００によって広角レンズ（ｒ＝２４ｍｍ）で撮影対象物を撮影した場合には、図４（ｂ）に示すように、動画像の画角が標準レンズに比べて広くなる。このような画角で撮影された動画像では、図４（ｃ）に示すように、仮想レーザの発信源から動画像までの仮想距離が、標準レンズの場合に比べて短くなる（図４（ｃ）の距離Ｌ３）。

仮想レーザの発信源の位置は、仮想レーザが動画像の各画素を通過して、仮想世界座標系に仮想的に存在する撮影対象物に当たる場合を想定して決定される。このため、仮想世界座標系における動画像から仮想レーザの発信源までの仮想距離は、カメラ２００の画角に応じて変化することになり、結果的にカメラの焦点距離に応じて決定することができる。

従って、動画像の中心画素の位置座標（Ｘｘ,Ｘｙ,Ｘｚ）に対する、仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を示した式５の係数Ｌは、カメラ２００におけるレンズ焦点距離に基づいて決定することができる。カメラ２００におけるレンズの焦点距離は、撮影された画像のexif（Exchangeable image file format）情報や、動画のメタデータなどから求めることができる。ＣＰＵ１０４は、記録部１０１に記録されるカメラ２００の焦点距離に関する情報に基づいて係数Ｌを決定する。

なお、係数Ｌはカメラ２００の焦点距離に基づいて決定される値であるため、焦点距離が変化しないレンズを用いてカメラ２００で動画像を撮影する場合には、仮想レーザの発信源の座標を示す係数Ｌの値も変化しない。このため、カメラ２００の焦点距離に基づいて係数Ｌを一度決定しておけば、カメラ２００の焦点距離が変更されない限り、係数Ｌの値をそのまま使用し続けることができる。

また、実施の形態に係る補正距離算出装置１００では、カメラ２００の焦点距離に関する情報に基づいて係数Ｌを決定するが、動画像を撮影したカメラ２００の焦点距離に関する情報が不明な場合もあり得る。その場合には、焦点距離が明らかなカメラで撮影した動画像の画角と、焦点距離が不明なカメラで撮影した動画像の画角とを比較することにより、焦点距離が不明なカメラの焦点距離を推測することができる。このため、動画像の画角に基づいて焦点距離を判断して、係数Ｌを決定することも可能である。

さらに、焦点距離が明らかなカメラで撮影した動画像がない場合には、現実世界においてカメラから撮影対象物までの距離や撮影対象物の寸法が明らかな撮影対象物を撮影し、撮影された撮影対象物を仮想世界座標系に正確に配置することにより、動画像の中心位置から仮想レーザの発信源までの仮想距離を示す係数Ｌの値を求めることができる。

図５（ａ）は、カメラ２００で撮影された動画像の一例を示し、図５（ｂ）は、仮想世界座標系における仮想レーザの発信源の位置と、仮想世界座標系に配置された動画像の位置と、仮想世界座標系に配置された仮想撮影対象物の位置との関係を示した図を示している。例えば、図５（ａ）に示すように、動画像の中心に、起立した高さ１００ｃｍの看板の上端縁が映っている場合を考える。看板の高さを１００ｃｍ、カメラ２００の高さを１５０ｃｍ、カメラ２００の傾きが水平方向からθであるとする。図５（ａ）（ｂ）に示すように、動画像の中心画素であって、１００ｃｍの高さの看板の上端縁が映っている画素をＰ２点とすると、図５（ｂ）に示す動画像の中心であるＰ２点と、仮想世界座標系に位置する仮想看板の上端縁のＰ１点との延長線上に、仮想レーザの発信源Ｐ３が存在することになる。このＰ１点とＰ２点とを通る延長線は、動画像の法線方向と一致する。

また、図５（ａ）（ｂ）に示すように、動画像に映る看板と地面との境目をＰ４点とし、図５（ｂ）に示すように、仮想世界座標系に位置する仮想看板と仮想地面との境界をＰ５とすると、仮想世界座標系におけるＰ４点とＰ５とを通る延長線上に、仮想レーザの発信源Ｐ３が存在することになる。このように、図５（ｂ）に示す仮想世界座標系において、Ｐ１点とＰ２点との延長線と、Ｐ４点とＰ５点との延長線との交点Ｐ３が、仮想レーザの発信源の座標となる。ここで、Ｐ２点は、動画像の中心点であるため（Ｘｘ,Ｘｙ,Ｘｚ）で示すことができる。このため、仮想世界座標系におけるＰ１点の座標およびＰ５点の座標を、記録部１０１に記載される対応長さ情報と、現実世界におけるカメラ２００の高さ情報と、現実世界における看板の高さ寸法の情報とに基づいて算出し、さらに、動画像のＰ４点における仮想世界座標系の位置座標を求めることにより、点Ｐ１とＰ２との延長線とＰ４とＰ５との延長線との交点Ｐ３の座標を求めることができる。動画像の中心点である（Ｘｘ,Ｘｙ,Ｘｚ）から交点Ｐ３までの仮想距離（画素数）を算出することにより、係数Ｌを算出することが可能になる。

上述したように、現実世界におけるカメラ２００の高さ情報の値ｈ＝１５０ｃｍである場合であって、対応長さ情報が４０［pixel/cm］である場合、カメラ２００の高さｈに対応する仮想世界座標系の画素長（ピクセル長）は、６０００pixel（＝１５０ｃｍ×４０［pixel/cm］）となる。看板の高さ（現実世界で高さｈ＝１００ｃｍ）は、仮想世界座標系において４０００pixel（＝１００ｃｍ×４０［pixel/cm］）の画素長になる。仮想カメラの位置座標（動画像の中心座標）Ｐ２点から仮想看板の上端縁の位置座標Ｐ１点までの水平方向の画素数（図５（ｂ）におけるＲの長さ）は、カメラの傾きθから、Ｒ＝２０００・ｔａｎθで求めることができる。このため、仮想世界座標系における仮想看板の上端縁Ｐ１点は、動画像の中心の位置座標Ｐ２（Ｘｘ,Ｘｙ,Ｘｚ）を基準として、ｘ軸方向で－２０００pixel（６０００pixel－４０００pixel）、ｚ軸方向で、＋２０００・ｔａｎθ［pixel］の位置座標に存在すると判断できる。

また、係数Ｌは、現実世界の単位長に対応する仮想世界座標系の画素数の値によって、つまり、対応長さ情報の値によって、ある程度の範囲で誤差を許容することができる。例えば、仮想世界座標系において、仮想地面から仮想カメラの位置までの画素数を一万画素に設定した場合、係数Ｌが、約５００画素から約２０００画素までの範囲の値であれば、最終的に求められる補正距離の値に大きな差は生じない。

また、上述した法線（ａ,ｂ,ｃ）の値は、カメラ２００の傾きに対応する値であるため、カメラ２００の傾きの時間変化に伴って、変化する場合がある。例えば、車載用カメラとして、車両にカメラ２００が設置されており、仮想世界座標系のｚ軸方向を正面方向（水平方向）に向けて設置される場合には、法線の値が（ａ,ｂ,ｃ）＝（０,０,１）となる。例えば、カメラ２００が車両の側方を向いた状態で設置される場合には、法線の値が（ａ,ｂ,ｃ）＝（１,０,０）あるいは（ａ,ｂ,ｃ）＝（－１,０,０）となる。例えば、ドローンに搭載されるカメラとして、カメラ２００が真下を向いた状態でドローンに設置される場合には、法線の値が（ａ,ｂ,ｃ）＝（０,－１,０）となる。ドローンにカメラ２００が搭載されるような状態では、カメラ２００が揺れるため撮影された動画の映像もブレてしまうおそれがあるが、スタビライザー等のブレ防止機器を用いることにより、カメラ２００の揺れを抑えて画面のブレを抑制することができる。このようにカメラ２００の揺れを抑えて画面のブレを抑制することにより、法線の値の細かな変化を抑制することが可能である。

また、動的視差法を用いて、画素点（ｓｘ，ｓｙ，ｓｚ）におけるoptical flowの値を抽出することにより、動画像に映る撮影対象物の画素の時間変化を抽出することができる。仮想レーザはＣＰＵ１０４により創造される仮想のものであって、実在するものではないが、仮想レーザが通過すると仮定する画素点（ｓｘ，ｓｙ，ｓｚ）の時間変化は、optical flowの値によって求めることが可能になる。

求められたoptical flowの値には、正規化処理が施される。ここで、optical flowの値の正規化処理について簡単に説明する。動的視差法によって求められるオリジナルのoptical flowの値をｑ１とすると、正規化されたoptical flowの値ｑ２は、
ｑ２＝（γ０－μ０）・ｑ１／（γ（ｔ）－μ（ｔ））＋μ０・・・式６
で算出することができる。ここで、μ（ｔ）は、時刻ｔの動画像により求められるoptical flowの値の最小値であり、γ（ｔ）は、時刻ｔの動画像により求められるoptical flowの値の最大値を示している。また、μ０は、事前に定められる正規化されたoptical flowの値の最小値を示し、γ０は、事前に定められる正規化されたoptical flowの値の最大値を示している。また、正規化された距離範囲［μ０，γ０］に対応する、事前に測定された現実距離の距離範囲（ダイナミックレンジ）として［ＺＮ,ＺＬ］が設定される。ここで、μ０は、ＺＬに対応し、γ０はＺＮに対応している。正規化されたoptical flowの値ｑ２に対応する算出距離Ｚ∈[ＺＮ,ＺＬ]の値は、公知の方法である動的視差法を用いることによって算出することことができる。正規化されたoptical flowの値ｑ２の距離範囲は、カメラ２００により撮影された任意の時間ｔの動画像において一定であるため、相対距離範囲と見なすことができる。

[特徴３：仮想世界座標系に対して仮想面を設定する]
図２を参照して既に説明したように、ＣＰＵ１０４は、仮想レーザの発信源から発せられた仮想レーザが、仮想世界座標系に配置された動画像上の画素を通過して、仮想世界座標系に存在する仮想的な撮影対象物に当たるように、仮想レーザの発信源の設定を行う。ここで、仮想レーザが動画像に映る「地面」の画素を通過して、仮想世界座標系の仮想地面に当たる場合を考える。仮想レーザの発信源の座標は、動画像の中心座標（Ｘｘ,Ｘｙ,Ｘｚ）から撮影対象物とは反対側（図２の紙面左上方向）へ垂直に伸びる法線上であって、動画像の中心座標（Ｘｘ,Ｘｙ,Ｘｚ）からＬ画素の位置に存在すると考える。法線ベクトル（ａ,ｂ,ｃ）は正規化されたものであるため、Ｌ（ａ,ｂ,ｃ）の距離は画素数Ｌの長さに対応する。仮想レーザの発信源（ｘ０，ｙ０，ｚ０）から発せられた仮想レーザが、動画像の平面上の画素（ｓｘ，ｓｙ，ｓｚ）を通過して、仮想地面に当たる場合における仮想レーザの通過線（軌跡線）上の座標を、図２に示すように、（ｐ,ｑ,ｒ）とする。この座標（ｐ,ｑ,ｒ）は、次の式７で表すことができる。
（ｐ,ｑ,ｒ）＝（１－ｔ）（ｘ０,ｙ０,ｚ０）＋ｔ（ｓｘ，ｓｙ，ｓｚ）
・・・式７

仮想レーザの発信源の座標（ｘ０,ｙ０,ｚ０）と、動画像上の座標（ｓｘ，ｓｙ，ｓｚ）は、既に説明したように既知の座標である。また、仮想世界座標系において、仮想地面のｙ座標の値は０である。このため、図６に示すように、仮想レーザの通過線が仮想地面に当たる位置の座標を（ｐ＊_,０,ｒ＊）として表すことができる。従って、仮想地面における座標（ｐ＊_,０,ｒ＊）は、上述した式７に基づいて、次の式８として表すことができる。
（ｐ＊_,０,ｒ＊）＝（１－ｔ）（ｘ０,ｙ０,ｚ０）＋ｔ（ｓｘ，ｓｙ，ｓｚ）
・・・式８

式８のｙ座標の値が０であることから、０＝（１－ｔ）ｙ０＋ｔｓｙとなる。また、上述したようにｙ０とｓｙとは既知の座標の値であることから、ｔの値を決定することができる。ｔの値が決定されれば、ｘ０,ｚ０,ｓｘ,ｓｚが既知の値であるため、ｐ＊およびｒ＊の値を算出することができる。

仮想地面（ｐ＊_,０,ｒ＊）から動画像上の座標（ｓｘ，ｓｙ，ｓｚ）までの仮想距離は、仮想世界座標系の画素単位で∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥となる。この仮想距離は、仮想レーザの発信源より発せられた仮想レーザが、動画像上の画素座標（ｓｘ，ｓｙ，ｓｚ）を通過して、途中で障害物に遮られることなく仮想地面（ｐ＊_,０,ｒ＊）に到達したときの、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）から仮想地面（ｐ＊_,０,ｒ＊）までの仮想距離に該当する。この仮想距離は、動画像上の画素座標（ｓｘ，ｓｙ，ｓｚ）に依存している。そして、動画像上の座標（ｓｘ，ｓｙ，ｓｚ）から仮想地面（ｐ＊_,０,ｒ＊）までの、仮想レーザの通過線（軌跡線）による仮想距離のダイナミックレンジ（距離範囲）は、画素単位で[０, ∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥]（０から∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥までの範囲）と定めることができる。

従って、仮想レーザが動画像上の座標（ｓｘ，ｓｙ，ｓｚ）を通過して、仮想世界座標系の仮想地面（ｐ＊_,０,ｒ＊）に到達することが可能な場合には、動画像上の座標（ｓｘ，ｓｙ，ｓｚ）毎に、動画像上の座標（ｓｘ，ｓｙ，ｓｚ）から仮想地面（ｐ＊_,０,ｒ＊）までの仮想距離（∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥）を決定することができる。このようにして決定される、動画像の各画素から仮想地面までの仮想距離は、仮想地面に対するキャリブレーションデータとなる。

また、動画像に映る撮影対象物が地面以外の他の部分に該当する場合には、仮想世界座標系においても他の部分に該当する仮想面を設定することにより、動画像上の座標（ｓｘ，ｓｙ，ｓｚ）から仮想面までの仮想距離を決定することができる。例えば、動画像に空が映っている場合に、空に該当する仮想面として遠方の仮想正面壁を設定することにより、動画像の空に該当する画素位置に対して、動画像上の各画素から空までの仮想距離を決定することができる。

動画像の全ての画素毎に動画像からの仮想距離を決定することにより、全ての画素に対応するキャリブレーションデータを作成することができる。全ての画素のキャリブレーションデータは、仮想世界座標系における画素単位の距離データである。このため、ＣＰＵ１０４は、全ての画素のキャリブレーションデータを現実世界の長さに変換した後に、動画像の画素位置に対応させて行列形式に並べて記録することにより、行列データを作成する。行列データの要素は、仮想世界座標系における動画像上の各画素位置から仮想面までの仮想距離に対応する、現実世界の単位長の補正距離を示す。なお、行列データとして、各画素に対応する補正距離のダイナミックレンジを設定することも可能である。

このように、実施の形態に係る補正距離算出装置１００のＣＰＵ１０４において、仮想世界座標系に仮想面を設定することにより、動画像の各画素の画素位置から仮想面までの仮想距離を求めることができ、この仮想距離を用いて補正距離を算出することが可能となる。

ここで、従来の動的視差法を用いて、カメラ２００で撮影された画像に映る撮影対象物からカメラ２００までの算出距離を求める方法を、再度確認する。従来の動的視差法では、時刻ｔ－１から時刻ｔまでのわずかに時間が異なる動画像から、撮影対象物の画素のoptical flowを検出して、optical flowの値ｑ１を、画素単位の軌跡（画素数）により求める。optical flowの値ｑ１は、動画像に映る複数の撮影対象物の画素（ターゲットピクセル）毎に求められ、時刻ｔにおいてoptical flowの値が最も小さいものをμ（ｔ）、最も大きいものをγ（ｔ）とする。この場合、求められたoptical flowの値ｑ１は、μ（ｔ）≦ｑ１≦γ（ｔ）となる。その後、既に説明したように、μ０、γ０、、μ（ｔ）、γ（ｔ）を用いてoptical flowの値ｑ１を正規化することによりoptical flowの値ｑ２が算出され、正規化されたoptical flowの値ｑ２は、μ０≦ｑ２≦γ０となる。また、動的視差法では、事前に測定された撮影対象物における最も近い距離ＺＮと最も遠い距離ＺＬに基づいて、ＺＮ≦Ｚ≦ＺＬの範囲で算出距離Ｚが計算される。そして、動的視差法では、カメラ２００から撮影対象物までの算出距離を算出するための関数Ｚ（ｑ２）＝ａｅ・ｅｘｐ（ｂ・ｑ２）の係数ａおよびｂを決定する。

このように算出距離Ｚは、動画像の画素の座標（ｓｘ，ｓｙ，ｓｚ）毎に算出されるが、実施の形態に係る補正距離算出装置１００のＣＰＵ１０４では、上述した座標（ｓｘ，ｓｙ，ｓｚ）に依存する、現実世界の単位長に変換されたキャリブレーションデータ（補正距離）を用いて、動的視差法により求められた画素毎の算出距離Ｚ（ｑ２）の補正を行う。このキャリブレーションデータによる補正は、上述したように、仮想世界座標系に対して仮想面を設定することにより実現される。

既に説明したように、仮想レーザが、仮想レーザの発信源（ｘ０,ｙ０,ｚ０）から発せられ、カメラ２００で撮影された動画像上の画素（ｓｘ，ｓｙ，ｓｚ）を通過する場合には、仮想レーザの通過線（軌跡線）を、式７で表すことができる。
（ｐ,ｑ,ｒ）＝（１－ｔ）（ｘ０,ｙ０,ｚ０）＋ｔ（ｓｘ，ｓｙ，ｓｚ）
・・・式７

ここで、ｔは任意の係数である。上述したキャリブレーションデータによる補正を行うため、ＣＰＵ１０４では、仮想世界座標系において仮想レーザが到達する範囲に、仮想地面や、仮想壁や、仮想床や、仮想の物体等の仮想面を設定する。つまり、ＣＰＵ１０４は、動画像の各画素（ｓｘ，ｓｙ，ｓｚ）から仮想レーザが到達する地点までの距離範囲に、仮想面による制約を加える。

既に説明したように、仮想レーザの発信源から仮想レーザが、動画像上の座標（ｓｘ，ｓｙ，ｓｚ）を通過して、途中で障害物に遮られることなく仮想地面に到達した場合、動画像上の画素位置から仮想地面までの仮想距離は、∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥と示すことができ、この仮想距離のダイナミックレンジ（仮想距離の距離範囲）は、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）に依存する。例えば、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）に依存する仮想レーザの通過線において、仮想壁や仮想地面などの仮想レーザの到達点を想定する。この想定により、動画像の画素位置から、途中に障害がなければ仮想レーザが到達し得る位置までの最大の仮想距離は、動画像の画素位置から仮想壁や仮想地面までの仮想距離となる。

つまり、上述した仮想レーザの通過線を示す式７
（ｐ,ｑ,ｒ）＝（１－ｔ）（ｘ０,ｙ０,ｚ０）＋ｔ（ｓｘ，ｓｙ，ｓｚ）
・・・式７
において、（ｐ,ｑ,ｒ）の一部の変数の値を、仮想地面や仮想壁の存在によって生じる境界条件の値として設定することができる。

既に説明した仮想地面の場合には、（ｐ,ｑ,ｒ）における境界条件が（ｐ＊_,０,ｒ＊）となる。これらの境界条件から、式７のｔの値を求めることにより、ｐ＝ｐ＊、ｒ＝ｒ＊が決まり、動画像上の位置（ｓｘ，ｓｙ，ｓｚ）の各画素が取り得る最大の仮想距離が、∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥として求められる。画素毎に求められた動画像から撮影対象物までの仮想距離［pixel］が、仮想レーザの通過線上の座標であって、∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥よりも近い仮想距離である場合には、仮想壁や仮想地面などよりも動画像に近い位置に、仮想対象物が存在すると判断することができる。このような仮想面による制約の設定によって、仮想世界座標系における動画像上の画素位置から仮想レーザの到達点までの仮想距離の精度を高めることができる。このような制約の導入を「(x, y, z)-dependent calibration」と称する。

従来の動的視差法では、カメラ２００から撮影対象物までの算出距離を計算する場合に、仮想面等による制約が全く用いられていなかったため、動画像の画素毎に算出される算出距離のダイナミックレンジにも制約が設定されていなかった。

具体的には、動画像において撮影対象物が映る画素（ターゲットピクセル）のうち、移動画素数が最も少ない画素数μ０、および、移動画素数が最も多い画素数γ０と、撮影対象物からカメラ２００までの現実距離のうちで最も近い距離ＺＮ、および、最も遠い距離ＺＬとを用いて、動画像に映る撮影対象物の画素毎に、カメラ２００から撮影対象物までの算出距離を算出していた。この場合、動画像に映る撮影対象物が、カメラ２００から近い距離に存在する場合であっても、遠い距離に存在する場合であっても、一律に、最も近い距離ＺＮと最も遠い距離ＺＬとを用いて算出距離を求めていたため、動画像の画素毎に、カメラ２００から撮影対象物までの算出距離のダイナミックレンジに制約を設けることがなかった。

実施の形態に係る補正距離算出装置１００では、仮想距離のダイナミックレンジに制約を設定することにより補正距離を算出し、従来の動的視差法で算出されたカメラ２００から撮影対象物までの算出距離を、補正距離を用いて画素毎に補正することができる。

さらに、実施の形態に係る補正距離算出装置１００では、仮想距離のダイナミックレンジに制約を設けるだけでなく、仮想世界座標系を構築することにより、従来の動的視差法で用いられていた現実世界の距離のダイナミックレンジ［ＺＮ,ＺＬ］よりも、ダイナミックレンジの分解能を高めることができる。

例えば、μ０からγ０までの間隔が１００００pixelであるときに、ＺＮからＺＬまでの間隔を２００００pixelと仮定すると、極めて詳細な仮想距離のダイナミックレンジを設定することができる。仮想世界座標系で２００００pixelが現実世界において１００ｃｍに対応する場合には、現実世界における１／２００ｃｍが、仮想世界座標系における１画素に対応する。この場合には、対応長さ情報が、２００［pixel/cm］となる。

時刻ｔにおいて、動画像の画素位置（ｓｘ，ｓｙ，ｓｚ）で測定されるoptical flowをｑ（ｓｘ，ｓｙ，ｓｚ）とし、同時刻に動画像の画面全体で測定されるoptical flowのダイナミックレンジを［μ（ｔ），γ（ｔ）］とし、さらに事前に定められた正規化されたoptical flowのダイナミックレンジを［μ０，γ０］として、測定されたoptical flowであるｑ（ｓｘ，ｓｙ，ｓｚ）を、正規化されたoptical flowに変換する。事前に測定されて正規化された現実距離のダイナミックレンジを［ＺＮ，ＺＬ］として、正規化されたoptical flowの値ｑ２を、算出距離Ｚ∈［ＺＮ，ＺＬ］に変換する。このとき、算出距離Ｚは前述した制約によるキャリブレーションが行われていないものとする。

例えば、既に説明した仮想地面では、動画像の画素位置（ｓｘ，ｓｙ，ｓｚ）から撮影対象物までの仮想距離のダイナミックレンジにおいて、仮想地面による制約が設定されるため、距離が最大で、∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥［pixel］であった。しかしながら、現実距離のダイナミックレンジ［ＺＮ，ＺＬ］には、このような制約が入っていない。ただし、分解能が［ＺＮ，ＺＬ］という形で入っている。

そこで、動画像の画素位置（ｓｘ，ｓｙ，ｓｚ）に依存する仮想距離のダイナミックレンジを、［Ｄｍｉｎ（ｓｘ，ｓｙ，ｓｚ），Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）］［pixel］とする。例えば、一例として、［Ｄｍｉｎ（ｓｘ，ｓｙ，ｓｚ），Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）］＝［３００００，８００００］となる場合を考える。このときの３００００pixelが３ｍに対応し、８００００pixelが８ｍに対応すると、上述した正規化された現実距離のダイナミックレンジにより得られた算出距離Ｚは、
ｄ（ｓｘ，ｓｙ，ｓｚ）＝（Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）－Ｄｍｉｎ（ｓｘ，ｓｙ，ｓｚ））・Ｚ／（ＺＬ－ＺＮ）＋Ｄｍｉｎ（ｓｘ，ｓｙ，ｓｚ）
に変換することができる。この結果は、仮想世界座標系の画素単位で示された算出距離ｄ（ｓｘ，ｓｙ，ｓｚ）を示す。

ここで重要な点として、制約の設定を「(x, y, z)-dependent calibration」として適用する場合、各時刻の動画像に関して、事前に、［Ｄｍｉｎ（ｓｘ，ｓｙ，ｓｚ），Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）］を要素とする行列データを一度作成し、任意の時刻ｔにおいてカメラ２００で撮影された動画像の全ての画素（ｓｘ，ｓｙ，ｓｚ）に適用することである。

動画像の法線ベクトルが一定である場合には、動画像の全ての画素に対して、行列データを一度適用して計算するだけでよいが、時刻とともにカメラ２００の撮影方向が変化して動画像の法線ベクトルが変化する場合には、各時刻ｔ毎に行列データを適用する必要がある。法線ベクトルの変化が、首振りカメラのように周期的に変化する場合には、一周期の半分だけ行列データを作成しておく必要がある。また、仮想世界座標系において求められる動画像の画素位置から撮影対象物までの仮想距離は、画素単位の距離であるため、現実距離に変換するために、初期情報として記録部１０１に記録された「対応長さ情報」を用いて、画素長［pixel］から現実世界の距離ｃｍへ、補正距離を変換する必要がある。

仮想地面までの仮想距離に変換されたｄ（ｓｘ，ｓｙ，ｓｚ）に関し、optical flowの値に基づいて計算された動画像の画素毎の距離が、∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥よりも小さい場合には、仮想レーザの発信源から発せられた仮想レーザが仮想地面に到達するよりも手前の位置であって、仮想レーザの通過線上の位置に、仮想の障害物などが存在することになる。

また、カメラ２００で撮影した動画像の道路に該当する部分が、テクスチャーのない状態で映っている場合には、optical flowを検出してもoptical flowの値が検出されないか、あるいは極めて小さくなってしまい、optical flowの値に基づいて算出される算出距離が遠くなってしまう可能性がある。この場合には、仮想距離のダイナミックレンジの最大値として∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊_,０,ｒ＊）∥を与える。このような仮想距離のダイナミックレンジに対して最大値を設定することにより、現実世界の距離に対応した、より誤差の少ない算出距離を導くことになる。このように、仮想面の存在を制約として設定しておくことにより、「(x, y, z)-dependent calibration」を適用してキャリブレーション時の最大値を超えない仮想距離を、ダイナミックレンジの最大値とすることができる。このため、動画像においてテクスチャーのない状態の部分があっても、制約の範囲内に仮想距離でダイナミックレンジが制限されることになる。従って、このような制約を設定した仮想距離に基づいて補正距離を算出して算出距離を補正することにより、算出距離に発生する誤差を抑制することが可能にある。

動的視差法のように、道路等の制約を入れない場合には、optical flowの値の最小値μ０に対応する現実世界の距離がＺＬとなって、最も遠方の距離（例えば空に基づく距離）を基準として、カメラ２００から撮影対象物までの算出距離が算出される。このため、動的視差法に基づいて算出された算出距離は、不自然な結果を招いてしまうおそれがある。このため、仮想世界座標系において仮想地面（仮想道路）、仮想側面壁、仮想正面壁などの仮想面を設定することは、カメラ２００から撮影対象物までの仮想距離の算出においてキャリブレーションを行うことになる。実施の形態に係る補正距離算出装置１００では、仮想地面（仮想道路）、仮想側面壁、仮想正面壁などの仮想面を設定し、仮想レーザが到達する仮想面までの長さを最大の仮想距離とすることを特徴とするため、全ての物体が、仮想壁に張り付いているか、仮想地面の上に存在するという想定に基づいて、カメラ２００で撮影された動画像の画素位置から撮影対象物までの仮想距離が算出される。

また、実施の形態に係る補正距離算出装置１００では、仮想世界座標系を構築して、動画像の画素毎に撮影対象物までの仮想距離を算出するため、仮想距離に基づいて求められる補正距離によって算出距離が補正され、補正された算出距離の距離情報に基づいて３次元動画像を生成した場合であっても、動画像のブレを抑制することができる。

例えば、カメラ２００そのものが動く場合、時刻ｔに撮影された動画像における各画素の算出距離による距離情報と、時刻ｔ＋１に撮影された動画像における各画素の算出距離による距離情報とでは、距離情報の基本となるカメラ２００の位置が異なっている。このカメラ２００の位置の時間変化を考慮しないで、単に算出距離による距離情報に基づいて３次元動画像を作成すると、カメラ２００の位置の変化によってブレが発生する。特に、カメラ２００の移動速度や方向が変化する場合には、このブレが顕著になってしまうとともに、その修正が容易ではなかった。

補正距離算出装置１００では、ＣＰＵ１０４において、仮想カメラの座標（Ｘｘ,Ｘｙ,Ｘｚ）が時間経過に応じて変化することを前提にして、時刻ｔ毎に変化した仮想カメラの位置座標と、この仮想カメラの位置座標から撮影対象物までの仮想距離とを算出することにより補正距離を算出し、算出された補正距離で算出距離を補正することにより、３次元動画像を作成することができる。このように、カメラの位置変化を考慮して３次元動画像を作成することにより、作成された３次元動画像を、仮想世界座標系に沿った３次元空間の動画像とすることができる。仮想世界座標系という固定された空間に基づいて３次元動画像を作成することにより、動画像に生ずるブレを抑制することが可能になる。

上述したように、仮想世界座標系を構築すると同時に、現実世界の制約を仮想世界座標系に設定することにより、カメラ２００により撮影された動画像の画素毎に、カメラ２００から撮影対象物までの算出距離の算出精度を高めることができる。実施の形態に係る補正距離算出装置１００では、制約として仮想地面（仮想道路）を設定した場合について説明したが、制約となる仮想面は、仮想地面には限定されない。

例えば、仮想面として、仮想地面（仮想道路）だけでなく、前述したように、仮想正面壁、仮想側面壁などを任意で設定（想定）することができる。仮想地面を示す仮想世界座標系の位置座標は、仮想レーザの通過線を示す位置座標（ｐ,ｑ,ｒ）のｙの値が０となる場合、つまり（ｐ＊_,０,ｒ＊）の場合である。同様に、仮想カメラの右側に存在する仮想側面壁の位置座標は、動画像の中心位置よりも高い値を示すｘ軸上の一定値の位置座標、例えば、（Ａ１,ｑ＊,ｒ＊）（Ａ１は定数、ただしＡ１＞Ｘｘ）となる。また、仮想カメラの左側に存在する仮想側面壁の位置座標は、動画像の中心位置よりも低い値を示すｘ軸上の一定値の位置座標、例えば、（Ａ１,ｑ＊,ｒ＊）（Ａ１は定数、ただしＡ１＜Ｘｘ）となる。もし、仮想カメラの位置座標がｘ軸上の座標で０の場合には、右側に位置する仮想側面壁のｘの値は正の値となり、左側に位置する仮想側面壁のｘ軸の値は負の値となる。

さらに、仮想カメラの正面に存在する仮想正面壁の位置座標は、例えば、（ｐ＊,ｑ＊,Ａ２）（Ａ２は定数、ただしＡ２＞Ｘｚ）となる。仮想面（仮想地面、仮想側面壁、仮想正面壁等）と、仮想レーザの通過線との交点は、一意的に決まる。

また、仮想面の設定は、単一平面には限定されない。複数の面が組み合わされた複雑な形状なものであってもよく、曲面によって構成されるものであってもよい。仮想面に仮想レーザが到達した場合、仮想レーザの到達点は、仮想レーザの通過線を示す直線と、仮想面との交点として定まる。この交点の座標を（ｐ＊，ｑ＊，ｒ＊）とすると、この交点から動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）までの仮想距離は、(x, y, z)-dependent calibrationにおける仮想距離のダイナミックレンジの最大値、つまり∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊，ｑ＊，ｒ＊）∥を決定するものとなる。

つまり、動的視差法により求められるoptical flowの値を正規化した値（正規化されたoptical flowの値）と、正規化された現実距離とは対応しているが、正規化された現実距離のダイナミックレンジを示す［ＺＮ，ＺＬ］の最大値であるＺＬは、仮想世界座標系における画素単位の仮想距離の最大値∥（ｓｘ，ｓｙ，ｓｚ）-（ｐ＊，ｑ＊，ｒ＊）∥に相当する。

仮想世界座標系における動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）から撮影対象物までの仮想距離をｄ（ｓｘ，ｓｙ，ｓｚ）とし、現実世界における地上からのカメラ２００の高さ（物理的高さ）をｈ［ｃｍ］とすると、現実世界における１［ｃｍ］に対応する仮想世界座標系の画素長との対応関係（対応長さ情報）を用いることにより、現実世界におけるカメラ２００から撮影対象物までの補正距離［ｃｍ］を求めることができる。現実世界におけるカメラ２００から撮影対象物までの補正距離［ｃｍ］を、Ｄｒ（ｓｘ，ｓｙ，ｓｚ）［ｃｍ］とすると、
Ｄｒ（ｓｘ，ｓｙ，ｓｚ）
＝ｄ（ｓｘ，ｓｙ，ｓｚ）÷対応長さ情報（［pixel/cm］）・・・式９
で求めることができる。

式９による現実世界の距離［ｃｍ］と、仮想世界座標系の仮想距離［pixel］との対応関係は、仮想面（仮想地面、仮想道路、仮想側面壁、仮想正面壁、仮想曲面等）に関してもそのまま適用することができる。なお、仮想世界座標系において空に該当する範囲については、無限遠として処理するのではなく、既に説明したように、遠方に存在する有限な仮想距離の仮想正面壁を設定することにより、空に対応する補正距離の検出を行うことが可能となる。

［仮想世界座標系における仮想距離と仮想カメラの位置座標との関係］
次に、(x, y, z)-dependent calibrationの仮想距離に対する仮想カメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）の依存性について説明する。図６は、仮想レーザの発信源（ｘ０，ｙ０，ｚ０）から発せられた仮想レーザが、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）を通過して、仮想地面（ｐ＊，０，ｒ＊）に到達した状態を示した図である。

既に説明したように、仮想レーザの通過線の座標を（ｐ，ｑ，ｒ）とすると、仮想レーザの通過線の座標は、次の式７で示すことができる。
（ｐ，ｑ，ｒ）＝（１－ｔ）（ｘ０，ｙ０，ｚ０）＋ｔ（ｓｘ，ｓｙ，ｓｚ）
・・・式７

仮想レーザが仮想地面に到達したときの、仮想地面の座標は（ｐ＊，０，ｒ＊）である。このため、式７におけるｙの値ｑがｑ＝０となり、０＝（１－ｔ）ｙ０＋ｔｓｙとなる。
このｔの値をｔ＊とすると、ｔ＊＝ｙ０／（ｙ０－ｓｙ）となる。
このｔ＊の値を、式７のｘ座標とｚ座標とにおける関係式に代入することにより、
ｐ＊＝（１－ｔ＊）ｘ０＋ｔｓｘ
ｒ＊＝（１－ｔ＊）ｚ０＋ｔｓｚ
として、仮想地面の座標を求めることができる。

また、仮想レーザが仮想地面に到達したときの、仮想地面（ｐ＊，０，ｒ＊）から動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）までの仮想距離の最大値、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、
Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）＝∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊，０，ｒ＊）∥
で示される。

ここで、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）は、既に説明したように、カメラ２００で撮影された動画像の各画素に対応する３次元の点（α、β、φ）として、
（ｓｘ，ｓｙ，ｓｚ）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋ｋ（α－αａ, β－βａ, φ－φａ）
・・・・式１０
として求めることができる。αａはαの平均であり、βａはβの平均であり、φａはφの平均である。また、ｋは定数である。この式１０から明らかなように、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）は、動画像の中心位置（Ｘｘ,Ｘｙ,Ｘｚ）に関連する位置となっている。式１０のｘ座標の関係式より、仮想レーザが通過する動画像上の画素のｘ座標は、ｓｘ＝Ｘｘ＋ｋ（α－αａ）と示すことができる。

また、既に説明したように、仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）は、
（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ） ・・・式５
で示すことができる。式５のｘ座標の関係式より、仮想レーザの発信源の座標のｘ座標は、ｘ０＝Ｘｘ＋Ｌａと示すことができる。

一方で、上述した式７より、ｐ＊＝（１－ｔ＊）ｘ０＋ｔ＊ｓｘである。従って、
ｐ＊＝（１－ｔ＊）ｘ０＋ｔ＊ｓｘに対して、ｘ０＝Ｘｘ＋Ｌａと、ｓｘ＝Ｘｘ＋ｋ（α－αａ）を代入すると、
ｐ＊＝（１－ｔ＊）（Ｘｘ＋Ｌａ）＋ｔ＊（Ｘｘ＋ｋ（α－αａ））
＝Ｘｘ＋Ｌａ＋ｔ＊（ｋ（α－αａ）－Ｌａ）
従って、ｐ＊－ｓｘは、
ｐ＊－ｓｘ
＝（Ｘｘ＋Ｌａ＋ｔ＊（ｋ（α－αａ）－Ｌａ））－（Ｘｘ＋ｋ（α－αａ））
＝Ｌａ－ｋ（α－αａ）＋ｔ＊（ｋ（α－αａ）－Ｌａ）
となる。

既に説明した
Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）＝∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊，０，ｒ＊）∥
を考慮すると、Ｄｍａｘのｘの値ｓｘは、∥ｓｘ－ｐ＊∥であり、ｐ＊－ｓｘの絶対値で示されるため、上述した
ｐ＊－ｓｘ＝Ｌａ－ｋ（α－αａ）＋ｔ＊（ｋ（α－αａ）－Ｌａ）
の式から、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）のｘ座標の値∥ｐ＊－ｓｘ∥は、動画像の中心画素のｘ座標の値Ｘｘから独立であり、ｔ＊もＸｘから独立であると判断することができる。

また、同様にして、上述した式７のｚ座標の関係式より、
ｒ＊＝（１－ｔ＊）ｚ０＋ｔ＊ｓｚ
と表すことができる。
式５のｚ座標の関係式より、仮想レーザの発信源の座標のｚ座標は、
ｚ０＝Ｘｚ＋Ｌｃと
表すことができ、式１０のｚ座標の関係式より、仮想レーザが通過する動画像上の画素のｚ座標は、
ｓｚ＝Ｘｚ＋ｋ（γ－γａ）と表すことができる。

このｚ０＝Ｘｚ＋Ｌｃとｓｚ＝Ｘｚ＋ｋ（γ－γａ）とを用いて、ｒ＊＝（１－ｔ＊）ｚ０＋ｔ＊ｓｚの式を変形すると、
ｒ＊＝（１－ｔ＊）（Ｘｚ＋Ｌｃ）＋ｔ＊（Ｘｚ＋ｋ（γ－γａ））
＝Ｘｚ＋Ｌｃ＋ｔ＊（ｋ（γ－γａ）－Ｌｃ）
また、ｓｚ＝Ｘｚ＋ｋ（γ－γａ）を用いて、
ｒ＊－ｓｚ＝Ｘｚ＋Ｌｃ＋ｔ＊（ｋ（γ－γａ）－Ｌｃ）－（Ｘｚ＋ｋ（γ－γａ））
＝Ｌｃ－ｋ（γ-γａ）＋ｔ＊（ｋ（γ-γａ）－Ｌｃ）
となる。

Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）＝∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ＊，０，ｒ＊）∥を考慮すると、Ｄｍａｘのｚ座標の値ｓｚは、∥ｓｚ－ｒ＊∥であり、ｒ＊－ｓｚの絶対値で示される。このため、
ｒ＊－ｓｚ＝Ｌｃ－ｋ（γ-γａ）＋ｔ＊（ｋ（γ-γａ）－Ｌｃ）
の式から、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）のｚ座標の値∥ｐ＊－ｓｚ∥は、動画像の中心画素のｚ座標の値Ｘｚから独立であると判断できる。

一方で、式１０のｙ座標の関係式より、仮想レーザが通過する動画像上の画素のｙ座標は、
ｓｙ＝Ｘｙ＋ｋ（β－βａ）
と表すことができ、中心画素のｙ座標の値Ｘｙに依存していると判断できる。
このため、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）のｙ座標の値∥ｐ＊－ｓｙ∥は、動画像の中心画素のｙ座標の値Ｘｙに依存していると判断することができる。

上述した数式を用いて説明したように、動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）から仮想地面（仮想道路）までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、仮想世界座標系におけるカメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）（動画像の中心位置）のｘ座標の値Ｘｘには依存しない。同様に、仮想地面（仮想道路）までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、仮想世界座標系におけるカメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）のｚ座標の値Ｘｚには依存しない。しかしながら、仮想地面（仮想道路）までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、仮想世界座標系におけるカメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）のｙ座標の値Ｘｙに依存する。仮想世界座標のＸｙの値（画素数）は、現実世界における地上からカメラ２００までの高さｈに対応する値である。

上述した説明は、仮想地面（仮想道路）を想定した場合において、最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）が仮想カメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）（動画像の中心位置）のどの要素に依存するか否かの説明であるが、仮想カメラの左側あるいは右側に仮想側面壁が存在する場合や、仮想カメラの正面に仮想正面壁が存在する場合においても同様に考えることができる。

仮想側面壁の場合には、仮想側面壁に仮想レーザが到達した座標を（ｐ０，ｑ，ｒ）として境界条件を考えれば、仮想側面壁までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、Ｘｘ，ｐ０には依存するが、Ｘｙ，Ｘｚには依存しない。つまり、仮想カメラから仮想側面壁までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、仮想カメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）（動画像の中心位置）のうちｘ座標の値Ｘｘにのみ依存する。

また、仮想正面壁の場合には、仮想正面壁に仮想レーザが到達した座標を（ｐ，ｑ，ｒ０）として境界条件を考えれば、仮想正面壁までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、Ｘｚ，ｒ０には依存するが、Ｘｘ，Ｘｙには依存しない。つまり、仮想カメラから仮想正面壁までの仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、仮想カメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）（動画像の中心位置）のうちｚ座標の値Ｘｚにのみ依存する。

また、カメラ２００の傾きが変化することにより、カメラ２００により撮影された動画像の画面の法線（ａ，ｂ，ｃ）が変化する場合、仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、法線の変化に影響を受けるため、依存性を有することになる。法線の変化に対する依存性を考慮することは、事前にキャリブレーションデータによる行列データを作成するときに重要である。つまり、仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の算出において、依存性の高い要素を予め明確にしておくことにより、無駄に行列データ（キャリブレーションデータ）を作成することを防止することができ、処理負担の軽減を図ることが可能になる。

以上説明したように、ＣＰＵ１０４は、カメラの高さ情報や対応長さ情報を用いて、現実世界におけるカメラ２００の高さ位置や現実世界の単位長に対応する画素数を求めることにより、現実世界のカメラの高さに対応する、仮想世界座標系の仮想カメラの位置座標（Ｘｘ,Ｘｙ,Ｘｚ）の画素値（ｘ軸方向の画素値Ｘｘ,ｙ軸方向の画素値Ｘｙ,ｚ軸方向の画素値Ｘｚ）を求めて、仮想世界座標系を構築することができる。

また、ＣＰＵ１０４は、ジャイロセンサ２２０等を用いてカメラ２００の傾きを検出することにより、仮想世界座標系における動画像の法線ベクトルを決定することができ、カメラの焦点距離に関する情報を用いることにより、法線ベクトルの延長上に位置する仮想レーザの発信源の座標を算出することができる。

さらに、ＣＰＵ１０４は、仮想世界座標系に対して、現実世界の道路や周囲の建物等を考慮して、仮想地面（仮想道路）、仮想側面壁、仮想正面壁などの仮想面を制約条件として設定することにより、仮想世界座標系における動画像の画素毎の仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を算出することができる。

また、ＣＰＵ１０４は、仮想世界座標系における動画像の画素毎の距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を、対応長さ情報に基づいて現実世界の単位長さに変更することにより、現実世界におけるカメラ２００から撮影対象物までの補正距離を算出することができる。

このようにして、ＣＰＵ１０４で算出された画素毎の補正距離を、既に説明したキャリブレーションデータとして用いて、カメラが設定される状態に応じて事前に行列データを作成しておくことにより、動的視差法により画素毎に求められたカメラ２００から撮影対象物までの算出距離に対して、補正距離に基づく補正処理を行うことが可能になり、より正確な算出距離を算出することができる。

実施の形態に係る補正距離算出装置１００において、補正距離を用いて補正処理を行う対象となる算出距離は、既に説明したＡＭＰ（Accumulated-Motion-Parallax）法、ＦＭＰ（Frontward-Motion-Parallax）法、および、optical flowの値を動的視差と見なす動的視差法により算出された算出距離には限定されない。実施の形態に係る補正距離算出装置１００では、カメラ２００によって撮影された画像の画素毎にカメラ２００から撮影対象物までの算出距離が算出されたものであれば、いかなる方法で算出された算出距離に対しても、補正処理を行うことが可能である。

最後に、実施の形態に係る補正距離算出装置１００が車両に設置される状態において、補正距離を算出する場合を一例として示すことにより、具体的な説明を行う。図７は、補正距離算出装置１００のＣＰＵ１０４が、動的視差法により算出されたカメラ２００から撮影対象物までの算出距離を、補正距離を用いて補正する処理を示したフローチャートである。

車両が高速道路を走行する場合、一般的な高速道路では、対向車線との間に、中央分離体からなる側壁が設けられており、さらに反対側の側面には防音壁等からなる側壁が設けられている。さらに、一般的な高速道路は、２車線あるいは３車線の左右方向の広さが確保されている。従って、高速道路を走行する車両に補正距離算出装置１００が設置される場合、カメラ２００を通して撮影される車両前方の動画像には、道路と、左右の側壁とが存在する。また、車両の前方方向には、前方を走行する他の車両や、遠方のカーブに伴って正面へと回り込んだ側壁等が存在する場合もある。このような場合には、前方向に存在する他の車両や壁面が、正面壁として存在することになる。

補正距離算出装置１００のＣＰＵ１０４では、例えば、図示を省略したＧＰＳデータに基づいて、あるいは車載されるカーナビゲーションシステムの地図データに基づいて、車両が高速道路を走行しているか否かを判断することが可能である。車両が高速道路を走行していると判断した場合、ＣＰＵ１０４は、高速道路の走行状況に対応する仮想世界座標系を構築し、仮想道路と、左右の仮想側面壁と、仮想正面壁とを制約として設定する。

高速道路の１車線の道路幅は、一般的に約３．５ｍである。高速道路には、２車線あるいは３車線分の道路に加えて、路側帯も存在するため、防音壁（左側の側壁）から中央分離帯（右側の側壁）までの一般的な左右幅は、１０ｍ程度になる。車両がどの車線を走行しているかによって、左右の側壁までの距離は変化するが、ＧＰＳや地図データにより走行車線を判断することによって左右の側壁までの距離を判断することができる。あるいは、カメラ２００により撮影された動画像を画像解析することにより、走行車線を判断して左右の側壁までの距離を判断したり、ミリ波レーダー等を用いて直接左右の側壁までの距離を求めることも可能である。さらに、車両の走行車線等が判断できない場合であっても、高速道を走行していることだけ判断できれば、少なくとも左右数メートル程度の距離に側壁が存在すると想定することもできる。

ＣＰＵ１０４は、車両が高速道路を走行しており、現実世界において道路や側壁や正面壁が存在すると判断した場合、記録部１０１に記録される初期情報を読み出した後に（ステップＳ．１）、仮想世界座標系を構築する（ステップＳ．２：仮想世界座標系構築ステップ、仮想世界座標系構築機能）。この処理において、ＣＰＵ１０４は、仮想世界座標系構築手段として機能する。

具体的に、ＣＰＵ１０４は、記録部１０１から、（１）カメラ２００の焦点距離の情報、（２）カメラ２００の傾きに関する情報、（３）対応長さ情報（現実世界の単位長さに対応する仮想世界座標系の画素数に関する情報）、（４）現実世界におけるカメラ２００の高さ情報を読み出す（ステップＳ．１）。ＣＰＵ１０４が仮想世界座標系を構築する場合には、初期情報として読み出した対応長さ情報、カメラ２００の高さ情報が用いられる。

車両にカメラ２００が設置される場合、地面からカメラ２００までの高さは、一般的に一定であり、現実世界におけるカメラ２００の高さが変化する可能性は低い。記録部１０１から読み出された（３）対応長さ情報が、例えば４０［pixel/cm］であり、車両に設置されるカメラ２００の高さ（（４）現実世界におけるカメラ２００の高さ情報）が１５０ｃｍであった場合には、仮想世界座標系における仮想カメラの高さ、つまり、動画像の中心画素のｙ軸の値が、６０００pixel（＝１５０ｃｍ×４００［pixel/cm］）に設定される。ＣＰＵ１０４は、対応長さ情報と、カメラ２００の高さ情報とに基づいて、対応するスケールの仮想世界座標系を、メモリ（ＲＡＭ１０３）上に構築する。

次に、ＣＰＵ１０４は、構築された仮想世界座標系に対して、カメラ２００によって撮影された動画像を配置する処理を行う（ステップＳ．３：画像配置ステップ、画像配置機能）。この処理において、ＣＰＵ１０４は、画像配置手段として機能する。動画像の中心画素の座標（Ｘｘ，Ｘｙ，Ｘｚ）において、上述したように、ｙ軸の値Ｘｙは、Ｘｙ＝６０００pixelである。ｘ軸の値Ｘｘは、任意に設定することができるが、後述する左右の側壁までの距離を考慮して、Ｘｘ≧２００００pixelに設定することが好ましい。また、ｚ軸の値Ｘｚは、任意に設定することができる。

さらに、ＣＰＵ１０４は、記録部１０１より読み出された（２）カメラ２００の傾きに関する情報に基づいて、仮想世界座標系に配置される動画像の傾きの設定を行う。カメラ２００の傾きに関する情報により求められる情報は、ジャイロセンサ２２０によって求められた回転パラメータの情報であり、この回転パラメータの情報に基づいて決定されるｘ軸、ｙ軸、ｚ軸の傾きに対するパラメータは、動画像における法線（ａ，ｂ，ｃ）の方向に対応する。

このため、ＣＰＵ１０４は、（４）カメラ２００の高さ情報に基づき決定される動画像の中心画素の座標（Ｘｘ，Ｘｙ，Ｘｚ）と、（２）カメラ２００の傾きに関する情報に基づいて決定される動画像の法線方向とに基づいて、仮想世界座標系に対して動画像を配置することができる。このように、仮想世界座標系に対して動画像を配置することにより、動画像の四角を含む全ての動画像上の各座標の位置座標を決定することができる。

次に、ＣＰＵ１０４は、仮想レーザの発信源の位置座標を決定する処理を行う（ステップＳ．４：発信源座標算出ステップ、発信源座標算出機能）。この処理において、ＣＰＵ１０４は、発信源座標算出手段として機能する。仮想レーザの発信源の位置座標（ｘ０，ｙ０，ｚ０）は、既に説明した式５に基づいて、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出することができる。動画像の中心画素の座標（Ｘｘ，Ｘｙ，Ｘｚ）は、既にステップＳ．３の処理によって決定されており、動画像の法線（ａ,ｂ,ｃ）も、既にステップＳ．３の処理によって決定されている。このため、係数Ｌが決定されれば、仮想レーザの発信源の位置座標（ｘ０，ｙ０，ｚ０）を決定することができる。

ＣＰＵ１０４は、記録部１０１より読み出した（１）カメラ２００の焦点距離の情報に基づいて係数Ｌを決定する。既に説明したように、係数Ｌは、カメラ２００の画角に影響する係数であり、カメラ２００の焦点距離に対応する係数である。このため、ＣＰＵ１０４は、カメラ２００の焦点距離に基づいて係数Ｌを決定し、決定された係数Ｌと、既に決定されている動画像の法線（ａ,ｂ,ｃ）と、動画像の中心画素の座標（Ｘｘ，Ｘｙ，Ｘｚ）とに基づいて、仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を決定する。

次に、ＣＰＵ１０４は、仮想世界座標系に対して仮想面の設定を行う（ステップＳ．５：仮想面設定ステップ、仮想面設定機能）。この処理において、ＣＰＵ１０４は、仮想面設定手段として機能する。ＣＰＵ１０４は、カメラ２００により撮影された動画像を画像解析することにより、あるいは、ＧＰＳや地図データを利用することにより、走行車線を判断する。例えば、車両が高速道路の３車線のうちの中央の車線を走行している場合には、既に説明したように、現実世界における左右の側壁までの距離がそれぞれ５ｍ（＝５００ｃｍ）であると判断することができる。

ＣＰＵ１０４は、記録部１０１から読み出した対応長さ情報に基づいて、仮想世界座標系における左右の仮想壁までの仮想距離［pixel］を算出する。上述したように、対応長さ情報が４０［pixel/cm］である場合、仮想世界座標系における仮想カメラ（動画像の中心位置）から左側あるいは右側の仮想側面壁までの画素長は、２００００pixel（＝５００ｃｍ×４０［pixel/cm］）となる。このため、ＣＰＵ１０４は、動画像の中心の位置座標に対してｘ軸方向に＋２００００pixelの位置に存在する仮想側壁面と、動画像の中心の位置座標に対してｘ軸方向に－２００００pixelの位置に存在する仮想側壁面とを設定する。

また、補正距離算出装置１００は車両に設置されているため、ＣＰＵ１０４は、車両の走行する道路に対応する仮想道路（仮想地面）を、仮想面として設定する。既に説明したように、仮想地面は、仮想カメラ（動画像の中心位置）から６０００pixel下側に位置することになる。このため、ＣＰＵ１０４は、動画像の中心の位置座標に対してｙ軸方向に－６０００pixelの位置に存在する仮想道路を設定する。

さらに、ＣＰＵ１０４は、カメラ２００により撮影された動画像の画像解析等により、現実世界において、高速道路の前方に他車両が走行していることを判断した場合には、前方の他車両の位置に基づいて仮想正面壁を設定する。また、車両の前方に他車両等が存在しない場合であっても、カメラ２００の前面に、カーブにより回り込んだ側壁が存在する場合には、回り込んだ側壁を仮想正面壁として設定する。さらに、車両前方に広がる空や遠方の建物が、動画像の画像解析により検出される場合には、車両前方の空等を仮想正面壁として設定することができる。

このようにして、仮想世界座標系に対して、仮想道路および仮想側面壁等の仮想面（制約）を設定した後に、ＣＰＵ１０４は、動画像上の全ての画素位置（ｓｘ，ｓｙ，ｓｚ）から仮想面等を含む対象物までの仮想距離（画素数）の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を算出する（ステップＳ．６：到達画素数算出ステップ、到達画素数算出機能）。この処理において、ＣＰＵ１０４は、到達画素数算出手段として機能する。

距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、既に説明したように、仮想レーザの発信源（ｘ０，ｙ０，ｚ０）より発せられた仮想レーザが、動画像の画素位置（ｓｘ，ｓｙ，ｓｚ）を通過して、仮想面（ｐ，ｑ，ｒ）に到達した場合における各画素位置（ｓｘ，ｓｙ，ｓｚ）から仮想面（ｐ，ｑ，ｒ）までの仮想距離［pixel］を示している。また、仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、既に説明したように、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）＝∥（ｓｘ，ｓｙ，ｓｚ）－（ｐ，ｑ，ｒ）∥によって算出することができる。

次に、ＣＰＵ１０４は、算出されたターゲットピクセルの距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を画素単位の距離からｃｍ（あるいはｍ）単位の距離へと変換する（ステップＳ．７：補正距離算出ステップ、補正距離算出機能）。この処理において、ＣＰＵ１０４は、補正距離算出手段として機能する。距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）は、仮想世界座標系の画素数で示される仮想距離であるため、現実世界の距離に変換する必要がある。ＣＰＵ１０４は、記録部１０１から読み出された（３）対応長さ情報を利用して、仮想距離を現実世界の距離に変換する処理を行う。

既に説明したように、仮想世界座標系における動画像上の画素位置（ｓｘ，ｓｙ，ｓｚ）から撮影対象物までの仮想距離［pixel］をｄ（ｓｘ，ｓｙ，ｓｚ）とし、現実世界における補正距離をＤｒ（ｓｘ，ｓｙ，ｓｚ）とすると、Ｄｒ（ｓｘ，ｓｙ，ｓｚ）は、
Ｄｒ（ｓｘ，ｓｙ，ｓｚ）
＝ｄ（ｓｘ，ｓｙ，ｓｚ）÷対応長さ情報（［pixel/cm］）・・・式９
により求めることができる。このようにして、ＣＰＵ１０４は、仮想世界座標系における全画素の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の仮想距離［pixel］を、現実世界の距離［ｃｍ］に変換することにより、補正距離を算出することができる。

ＣＰＵ１０４は、動画像の全ての画素について、仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を算出した後（ステップＳ．６）、算出された仮想距離の最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を現実世界の距離に変換する（ステップＳ．７）ことにより、全ての画素に対応するキャリブレーションデータを求めることができる。ＣＰＵ１０４は、全ての画素に対応するキャリブレーションデータに基づいて、動的視差法により算出された画素毎の算出距離Ｚに対して補正を行うための、行列データを作成する（ステップＳ．８：補正距離算出ステップ、補正距離算出機能）。

そして、ＣＰＵ１０４は、動的視差法によって、動画像の全ての画素毎に求められたカメラ２００から撮影対象物までの算出距離のデータに対して、行列データを適用することにより、算出距離の補正処理を行う（ステップＳ．９：距離補正ステップ、距離補正機能）。この処理において、ＣＰＵ１０４は、距離補正手段として機能する。

具体的に、ＣＰＵ１０４では、動的視差法に基づいてターゲットピクセル毎に算出された現実世界の算出距離と、行列データに記録される対応するターゲットピクセルの補正距離（Ｄｒ（ｓｘ，ｓｙ，ｓｚ））とを比較する。そして、ＣＰＵ１０４は、動的視差法に基づいて算出された算出距離が、補正距離よりも長い（遠い）場合に、動的視差法に基づいて算出された算出距離を、補正距離に修正する処理を行う。

例えば、動画像に映る道路がアスファルト等である場合には、該当する部分の動画像がテクスチャーのない状態になってしまう。この場合には、道路のoptical flowの値が小さくなる可能性が高いため、動的視差法に基づいて算出された算出距離が、カメラ２００からアスファルトまでの現実距離よりも遠い（距離が離れている）と判断されてしまう。従って、動的視差法に基づいて算出されたカメラ２００からアスファルトまでの算出距離を、補正距離で補正（制限）することにより、現実世界におけるアスファルトまでの距離に比べて、算出距離があまりにも長い距離（遠い距離）になってしまうことを防ぐことができる。

ＣＰＵ１０４は、図７に示した処理を継続的に繰り返し実行することにより、Δｔ毎にカメラ２００で撮影される動画像に基づいて、動的視差法により算出された算出距離を、継続的に補正することが可能になる。

図８（ａ）は、一般道を走行する車両に設置されたカメラ２００で撮影された動画像を示している。また図８（ｂ）は、動的視差法によって画素毎に算出されたカメラ２００から撮影対象物までの算出距離を色の明暗によってグレースケールで示した図である。図８（ｂ）では、動画像に対してmean-shift法を適用することにより、同一対象物と判断される領域に画像の分割を行った上で、分割された領域毎に算出距離の算出が行われている。このため分割された領域毎に、同じ明暗からなる色が附されている。図８（ｂ）では、距離が長く（遠く）なるに従って明度が暗くなり、距離が短く（近く）なるに従って明度が明るくなる。しかしながら、図８（ｂ）を観察すると、現実距離の遠近関係と、明度の明暗関係とは、必ずしも適切に対応していない。

図９（ａ）は、図８（ａ）に対応する仮想世界座標系を構築し、仮想地面（仮想道路）と、左右の仮想側面壁と、正面の仮想正面壁とを仮想面として設定し、動画像の各画素位置から仮想面までの補正距離を求めることにより、求められた補正距離を色の明暗によってグレースケールで示した図である。図８（ａ）に示す動画像は、一般道を走行する車両に設置されたカメラ２００で撮影された画像であるため、画面下側の正面位置に道路が存在する。また、動画像の左右には、建物や対向車などの側壁に該当するものが存在している。さらに、正面遠方には空が存在するため、空を仮想正面壁として設定することができる。

図９（ｂ）は、図９（ａ）に示す仮想世界座標系の仮想面に基づいて、動画像の全ての画素毎に算出した補正距離を用いて、図８（ｂ）に示す動的視差法の算出距離を補正した図を示している。図９（ｂ）では、画像の中央上側部分、つまり最も遠くなる空部分が最も暗い明度となり、その部分から下側方向あるいは左右方向に進む従って、段階的に明度が明るく変化している。このように、ＣＰＵ１０４により仮想世界座標系を構築し、仮想面を設定して補正距離を算出し、算出された補正距離を用いて動的視差法で求められた算出距離を補正する。この補正により、遠方に存在する撮影対象物は算出距離が長くなり、近傍に近づくに従って撮影対象物までの算出距離が段階的に短くなるように補正を行うことができる。このため、ＣＰＵ１０４で算出した補正距離により算出距離の補正を行う前に比べて、算出距離の算出精度を高めることが可能になる。

また、ＣＰＵ１０４は、車両に設置されたカメラ２００により撮影された動画像の画像解析を行ったり、ＧＰＳおよび地図データを用いたりすることによって、動画像に映る道路状況を判断し、道路状況に対応する複数の行列データを予め作成することもできる。例えば、地図データや画像解析によって、車両が市街地の交差点に近づいた場合を想定して、予め交差点用の仮想面、例えば、仮想正面壁が左右に分離している仮想壁などに基づく行列データを作成しておく。このように、仮想世界座標系において動画像上の画素位置から仮想面までの相対的な画素長を算出し、道路状況に応じて、算出された相対的な画素長を現実世界の距離へ変換しておくことにより、道路状況に応じて予め複数の行列データとして作成しておくことができる。該当する状況に応じて、ＣＰＵ１０４が複数の行列データから適切な行列データを選択して適用することにより、カメラ２００から撮影対象物までの算出距離の補正を、迅速かつ柔軟に行うことが可能になる。

また、実施の形態に係るカメラ２００がドローンに搭載された場合、ＣＰＵ１０４は、ドローンにより撮影された動画像に基づいて、カメラ２００から撮影対象物までの算出距離を補正するための補正距離を算出することができる。この場合においても、ドローンのカメラ２００が下方向を向いた状況に応じて、１つ又は２つ程度の補正用の行列データを予め保持しておき、ドローンの周囲状況に応じてＣＰＵ１０４が行列データを選択して適用することにより、カメラ２００から撮影対象物までの算出距離を補正することができ、算出距離の算出精度を高めることが可能になる。

さらに、人間が入ることのできない環境で活動するロボットに、実施の形態に係るカメラ２００を搭載する場合においても同様に、予め複数の行列データを作成して保持しておき、ロボットの作業現場の状況に応じてＣＰＵ１０４が行列データを選択して適用することができる。このため、作業現場の状況に応じて、カメラ２００から撮影対象物までの算出距離を最適に補正することができ、算出距離の算出精度を高めることが可能になる。

ここで、行列データは、動画像の全ての画素の補正距離を算出し、算出された補正距離を、動画像の画素位置に対応させて行列形式に並べたデータである。従って、行列データは、動画像を撮影したカメラの周囲の状況を考慮して仮想世界座標系に仮想面を設定する一方で、その他の具体的な仮想撮影対象物の存在を設定せずに、動画像の画素毎に補正距離を算出して、各画素に補正距離を対応づけた画像データとして捉えることができる。つまり、仮想面以外に撮影対象物が仮想世界座標系に存在しないと想定し、カメラの周囲の状況（道路状況等）に応じてパターン化して、補正距離に基づいて事前に作成した画像データと考えることができる。ＣＰＵ１０４によって、補正距離に基づいて作成された行列データを、「基準距離画像」と称することにする。

上述した図９（ａ）は、カメラ２００の周囲の状況を示した動画像（図８（ａ））に基づいて、仮想世界座標系に仮想地面（仮想道路）と、左右の仮想側面壁と、正面の仮想正面壁とが設定された場合の「基準距離画像」を示している。それぞれの画素には、それぞれの画素に対応する補正距離が設定されているため、補正距離を色の明暗によってグレースケールで示すと、動画像のそれぞれの画素に設定される補正距離が、画素毎に変化している状態を視覚的に認識することができる。

カメラ２００で撮影された動画像には、仮想面に対応する壁や道路等の他に、様々な撮影対象物が映っている。このため、仮想世界座標系に、これらの撮影対象物が仮想撮影対象物として存在する場合を想定すると、基準距離画像における画素毎の補正距離（仮想距離）よりも手前に、仮想撮影対象物が位置することになる。つまり、動画像に仮想面に対応する壁面等以外の撮影対象物が映っている場合、撮影対象物は、基準距離画像の前景をなすものと判断することができる。

基準距離画像には、画像の全ての画素に対して画素毎に補正距離が対応付けられているため、例えば、optical flowを用いた動的視差法により算出された算出距離を、基準距離画像を用いて補正すると、動画像の全ての画素に対して、それぞれの画素毎に距離を補正することができる。このため、撮影対象物からカメラまでの全ての画素の距離精度を向上させることが可能になる。

特に、動的視差法により算出された算出距離のデータを、全ての画素の算出距離が動画像の画素位置に対応けられて記録されたデータであると考えれば、動的視差法により算出されたデータも、画像データとして捉えることができる。つまり、動的視差法により算出されたデータも、例えば「算出距離画像」という名称の画像データであると考えることができる。動的視差法によって算出された「算出距離画像」に対して、画素位置に補正距離が対応付けられた「基準距離画像」を適用することにより、それぞれの画素に対応する算出距離を補正距離で補正することができるため、一般的な画像処理に準じた処理手順によって、各画素の補正処理を漏れなく実行することが可能になる。

さらに、既に説明したように、道路や壁のようなテクスチャーのない状態となる部分では、動画像においてoptical flowが抽出できない、あるいは、optical flowの値が小さな値になってしまい、現実の距離に比べて算出距離に大きな誤差が生じる可能性がある。このような場合においても、基準距離画像を用いて算出距離の補正を行うことにより、効果的に誤差の補正を行うことが可能になる。

さらに、補正距離算出装置１００を車両に固定して車両前方の様子をカメラ２００で撮影する場合、車両が前方に移動するときのカメラ２００の向きは一定である。しかしながら、走行する車両が車線を変更したり、カーブを曲がったりする場合には、カメラ２００が車両に固定されていても、車両の移動に応じて、現実世界におけるカメラ２００の位置と向きとが変化する。このように現実世界でカメラ２００の位置と向きが変化する場合には、仮想世界座標系における動画像の中心座標（カメラ２００の位置座標）と法線ベクトルとが変化することを考慮する必要が生ずる。従って、仮想世界座標系のカメラ２００の位置座標（動画像の中心座標）（Ｘｘ，Ｘｙ，Ｘｚ）が固定であっても、法線ベクトル（ａ，ｂ，ｃ）が時間的に変化し（つまり、法線ベクトルは時間ｔの関数（ａ，ｂ，ｃ）（ｔ）となり）、この変化に伴って、仮想レーザの発信源の位置座標（ｘ０，ｙ０，ｚ０）も時間的に変化する（つまり、（ｘ０，ｙ０，ｚ０）（ｔ）となる）ものとして、取り扱う必要が生じる。

また、カメラ２００が首を振るように動く、いわゆる首振りカメラの場合には、カメラ２００の動きが周期的な動きとなるため、カメラ２００により撮影された動画像の法線ベクトルや、仮想レーザの発信源の位置座標や、動画像上の各画素の画素位置の動きが周期的に変化する。仮想世界座標系において首振りカメラの回動支点となる固定位置を（Ｘｘ，Ｘｙ，Ｘｚ）にするとき、首振りカメラの動画像の法線ベクトルは、時間ｔに応じて変化するベクトル（ａ，ｂ，ｃ）（ｔ）として表すことができる。このとき、仮想世界座標系における動画像の各画素位置は、ａ（ｔ）（ｘ－Ｘｘ）＋ｂ（ｔ）（ｙ－Ｘｙ）＋ｃ（ｔ）（ｚ－Ｘｚ）＝０として表すことができ、首振りカメラの回動支点（Ｘｘ，Ｘｙ，Ｘｚ）から仮想カメラの法線方向の長さＬの位置に存在する仮想レーザの発信源の位置も、時間とともに変化する位置座標（ｘ０，ｙ０，ｚ０）（ｔ）として表すことが可能になる。このように時間ｔに応じて周期的に変化する仮想レーザの発信源の座標と、時間ｔに応じて周期的に変化する動画像の各画素の位置座標とを考慮して、仮想レーザの発信源から動画像の各画素を通過して、仮想面に到達する点を求めることにより、仮想世界座標系における最大値Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）を、カメラの動きに対応させて求めることができる。

以上、本発明に係る補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法について、実施の形態に係る補正距離算出装置１００を一例として示し、詳細に説明を行ったが、本発明に係る補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法は、実施の形態に示した例には限定されない。

例えば、実施の形態に係る補正距離算出装置１００では、カメラ２００により撮影された動画像の全ての画素に対して、補正距離の算出を行うことにより、全ての画素に対応するキャリブレーションデータを行列データ（基準距離画像）として算出する場合について説明した。しかしながら、本発明に係る補正距離算出装置において算出する補正距離は、必ずしも動画像の全ての画素に対して算出する必要はなく、一部の画素に対応する補正距離だけを算出するものであってもよい。

１００ …補正距離算出装置
１０１ …記録部（記録手段、メモリ）
１０２ …ＲＯＭ
１０３ …ＲＡＭ（メモリ）
１０４ …ＣＰＵ（仮想世界座標系構築手段、画像配置手段、発信源座標算出手段、仮想面設定手段、到達画素数算出手段、補正距離算出手段、距離補正手段、コンピュータ）
２００ …カメラ
２１０ …モニタ
２２０ …ジャイロセンサ

Claims (13)

1. カメラにより画像が撮影された時の当該カメラの傾きを示すカメラの傾き情報と、前記画像が撮影された時の地面から前記カメラまでの高さを示すカメラの高さ情報と、前記画像が撮影された時の前記カメラの焦点距離を示す焦点距離情報と、現実の世界の単位長に対応する仮想世界座標系の画素数を示す対応長さ情報と、を記録する記録手段と、
   前記仮想世界座標系は、長さの単位が画素数で示される直交した３軸の座標系からなる仮想的な３次元の座標空間であり、当該仮想世界座標系を構築するための作業エリアとして用いられるメモリと、
   前記記録手段に記録される前記対応長さ情報と前記カメラの高さ情報とに基づいて、現実の世界における地面から前記カメラまでの高さに対応する前記仮想世界座標系の画素数を求めて、求められた画素数を前記仮想世界座標系における仮想カメラの高さの画素数に設定して、前記メモリに当該仮想世界座標系を構築する仮想世界座標系構築手段と、
   前記カメラにより撮影された前記画像の中心画素の位置座標を、前記仮想世界座標系における前記仮想カメラの高さ位置を示す座標に設定し、前記記録手段に記録される前記カメラの傾き情報に基づいて、前記画像の法線方向が前記カメラの傾きに対応するように前記画像を傾けることにより、前記仮想世界座標系に前記画像を配置する画像配置手段と、
   前記仮想世界座標系に配置された前記画像の中心座標を（Ｘｘ，Ｘｙ，Ｘｚ）とし、前記法線の単位ベクトルを（ａ，ｂ，ｃ）として、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）を通る前記法線の単位ベクトル（ａ，ｂ，ｃ）の延長線上に位置する仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を、前記カメラの焦点距離を示す前記焦点距離情報に基づいて算出する発信源座標算出手段と、
   前記画像に映る前記カメラの周囲の状況に応じて、前記仮想世界座標系に仮想面を設定する仮想面設定手段と、
   前記仮想世界座標系において、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）から発せられる仮想レーザが、前記画像上の画素を通過して前記仮想面上の座標（ｐ，ｑ，ｒ）に到達するときに、前記画像上の前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）から、前記仮想面に前記仮想レーザが到達したときの位置座標（ｐ＊，ｑ＊，ｒ＊）までの画素数を、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）として算出する到達画素数算出手段と、
   前記到達画素数算出手段により算出された前記Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の画素数を、前記記録手段に記録される前記対応長さ情報に基づいて、現実の世界の長さに変換することにより、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）に対応する画素位置に映る撮影対象物から前記カメラまでの距離を、補正距離として算出する補正距離算出手段と
   を有することを特徴とする補正距離算出装置。
2. 前記仮想面設定手段は、前記画像の画像解析を行うことにより、現実の世界において前記画像を撮影したときの前記カメラの周囲の状況を判断し、当該状況に対応する前記仮想面を、前記仮想世界座標系に設定すること
   を特徴とする請求項１に記載の補正距離算出装置。
3. 前記発信源座標算出手段は、前記カメラの焦点距離を示す前記焦点距離情報に基づいて係数Ｌを決定し、決定された前記係数Ｌと、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）と、前記法線の単位ベクトル（ａ，ｂ，ｃ）とを用いて、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）を、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出すること
   を特徴とする請求項１又は請求項２に記載の補正距離算出装置。
4. 公知の方法によって、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの距離が算出距離として算出された場合に、
   前記公知の方法により算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記算出距離と、前記補正距離算出手段により算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記補正距離とを比較して、前記算出距離の方が前記補正距離よりも長い場合に、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの前記算出距離を前記補正距離に置き換えることにより補正を行う距離補正手段を備えること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の補正距離算出装置。
5. 前記公知の方法により、前記画像の全ての画素に対して前記算出距離が算出された場合に、
   前記補正距離算出手段は、前記画像の全ての画素に対応する前記補正距離を算出し、
   前記距離補正手段は、前記補正距離算出手段により算出された全ての画素の前記補正距離を、前記画像の各画素の画素位置に対応させて行列形式に並べた行列データを作成し、前記公知の方法により算出された全ての画素の前記算出距離を、当該画素に対応する画素位置に並べられた前記行列データの前記補正距離と比較して前記補正を行うこと
   を特徴とする請求項４に記載の補正距離算出装置。
6. カメラにより画像が撮影された時の当該カメラの傾きを示すカメラの傾き情報と、前記画像が撮影された時の地面から前記カメラまでの高さを示すカメラの高さ情報と、前記画像が撮影された時の前記カメラの焦点距離を示す焦点距離情報と、現実の世界の単位長に対応する仮想世界座標系の画素数を示す対応長さ情報と、を記録する記録手段と、
   前記仮想世界座標系は、長さの単位が画素数で示される直交した３軸の座標系からなる仮想的な３次元の座標空間であり、当該仮想世界座標系を構築するための作業エリアとして用いられるメモリと、
   を備えた補正距離算出装置の補正距離算出用プログラムであって、
   前記補正距離算出装置のコンピュータに、
   前記記録手段に記録される前記対応長さ情報と前記カメラの高さ情報とに基づいて、現実の世界における地面から前記カメラまでの高さに対応する前記仮想世界座標系の画素数を求めさせて、求められた画素数を前記仮想世界座標系における仮想カメラの高さの画素数に設定して、前記メモリに当該仮想世界座標系を構築させる仮想世界座標系構築機能と、
   前記カメラにより撮影された前記画像の中心画素の位置座標を、前記仮想世界座標系における前記仮想カメラの高さ位置を示す座標に設定させ、前記記録手段に記録される前記カメラの傾き情報に基づいて、前記画像の法線方向が前記カメラの傾きに対応するように前記画像を傾けさせることにより、前記仮想世界座標系に前記画像を配置させる画像配置機能と、
   前記仮想世界座標系に配置された前記画像の中心座標を（Ｘｘ，Ｘｙ，Ｘｚ）とし、前記法線の単位ベクトルを（ａ，ｂ，ｃ）として、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）を通る前記法線の単位ベクトル（ａ，ｂ，ｃ）の延長線上に位置する仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を、前記カメラの焦点距離を示す前記焦点距離情報に基づいて算出させる発信源座標算出機能と、
   前記画像に映る前記カメラの周囲の状況に応じて、前記仮想世界座標系に仮想面を設定させる仮想面設定機能と、
   前記仮想世界座標系において、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）から発せられる仮想レーザが、前記画像上の画素を通過して前記仮想面上の座標（ｐ，ｑ，ｒ）に到達するときに、前記画像上の前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）から、前記仮想面に前記仮想レーザが到達したときの位置座標（ｐ＊，ｑ＊，ｒ＊）までの画素数を、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）として算出させる到達画素数算出機能と、
   前記到達画素数算出機能により算出された前記Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の画素数を、前記記録手段に記録される前記対応長さ情報に基づいて、現実の世界の長さに変換させることにより、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）に対応する画素位置に映る撮影対象物から前記カメラまでの距離を、補正距離として算出させる補正距離算出機能と
   を実現させることを特徴とする補正距離算出用プログラム。
7. 前記コンピュータに対し、
   前記仮想面設定機能において、前記画像の画像解析を行わせることにより、現実の世界において前記画像を撮影したときの前記カメラの周囲の状況を判断させ、当該状況に対応する前記仮想面を、前記仮想世界座標系に設定させること
   を特徴とする請求項６に記載の補正距離算出用プログラム。
8. 前記コンピュータに対し、
   前記発信源座標算出機能において、前記カメラの焦点距離を示す前記焦点距離情報に基づいて係数Ｌを決定させ、決定された前記係数Ｌと、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）と、前記法線の単位ベクトル（ａ，ｂ，ｃ）とを用いて、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）を、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出させること
   を特徴とする請求項６又は請求項７に記載の補正距離算用プログラム。
9. 公知の方法によって、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの距離が算出距離として算出された場合に、
   前記コンピュータに対し、
   前記公知の方法により算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記算出距離と、前記補正距離算出機能に基づいて算出された前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）の前記補正距離とを比較させて、前記算出距離の方が前記補正距離よりも長い場合に、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）における前記撮影対象物から前記カメラまでの前記算出距離を前記補正距離に置き換えさせることにより補正を行わせる距離補正機能を実現させること
   を特徴とする請求項６乃至請求項８のいずれか１項に記載の補正距離算出用プログラム。
10. 前記公知の方法により、前記画像の全ての画素に対して前記算出距離が算出された場合に、
    前記コンピュータに対し、
    前記補正距離算出機能において、前記画像の全ての画素に対応する前記補正距離を算出させ、
    前記距離補正機能において、前記補正距離算出機能により算出された全ての画素の前記補正距離を、前記画像の各画素の画素位置に対応させて行列形式に並べた行列データを作成させ、前記公知の方法により算出された全ての画素の前記算出距離を、当該画素に対応する画素位置に並べられた前記行列データの前記補正距離と比較させて前記補正を行わせること
    を特徴とする請求項９に記載の補正距離算出用プログラム。
11. カメラにより画像が撮影された時の当該カメラの傾きを示すカメラの傾き情報と、前記画像が撮影された時の地面から前記カメラまでの高さを示すカメラの高さ情報と、前記画像が撮影された時の前記カメラの焦点距離を示す焦点距離情報と、現実の世界の単位長に対応する仮想世界座標系の画素数を示す対応長さ情報と、を記録する記録手段と、
    前記仮想世界座標系は、長さの単位が画素数で示される直交した３軸の座標系からなる仮想的な３次元の座標空間であり、当該仮想世界座標系を構築するための作業エリアとして用いられるメモリと、
    を備える補正距離算出装置の補正距離算出方法であって、
    仮想世界座標系構築手段が、前記記録手段に記録される前記対応長さ情報と前記カメラの高さ情報とに基づいて、現実の世界における地面から前記カメラまでの高さに対応する前記仮想世界座標系の画素数を求めて、求められた画素数を前記仮想世界座標系における仮想カメラの高さの画素数に設定して、前記メモリに当該仮想世界座標系を構築する仮想世界座標系構築ステップと、
    前記カメラにより撮影された前記画像の中心画素の位置座標を、前記仮想世界座標系における前記仮想カメラの高さ位置を示す座標に設定し、前記記録手段に記録される前記カメラの傾き情報に基づいて、前記画像の法線方向が前記カメラの傾きに対応するように前記画像を傾けることにより、画像配置手段が、前記仮想世界座標系に前記画像を配置する画像配置ステップと、
    前記仮想世界座標系に配置された前記画像の中心座標を（Ｘｘ，Ｘｙ，Ｘｚ）とし、前記法線の単位ベクトルを（ａ，ｂ，ｃ）として、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）を通る前記法線の単位ベクトル（ａ，ｂ，ｃ）の延長線上に位置する仮想レーザの発信源の座標（ｘ０，ｙ０，ｚ０）を、発信源座標算出手段が、前記カメラの焦点距離を示す前記焦点距離情報に基づいて算出する発信源座標算出ステップと、
    前記画像に映る前記カメラの周囲の状況に応じて、仮想面設定手段が、前記仮想世界座標系に仮想面を設定する仮想面設定ステップと、
    前記仮想世界座標系において、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）から発せられる仮想レーザが、前記画像上の画素を通過して前記仮想面上の座標（ｐ，ｑ，ｒ）に到達するときに、到達画素数算出手段が、前記画像上の前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）から、前記仮想面に前記仮想レーザが到達したときの位置座標（ｐ＊，ｑ＊，ｒ＊）までの画素数を、Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）として算出する到達画素数算出ステップと、
    前記到達画素数算出ステップにおいて算出された前記Ｄｍａｘ（ｓｘ，ｓｙ，ｓｚ）の画素数を、前記記録手段に記録される前記対応長さ情報に基づいて、現実の世界の長さに変換することにより、補正距離算出手段が、前記画素の位置座標（ｓｘ，ｓｙ，ｓｚ）に対応する画素位置に映る撮影対象物から前記カメラまでの距離を、補正距離として算出する補正距離算出ステップと
    を有することを特徴とする補正距離算出方法。
12. 前記仮想面設定ステップにおいて、前記仮想面設定手段は、前記画像の画像解析を行うことにより、現実の世界において前記画像を撮影したときの前記カメラの周囲の状況を判断し、当該状況に対応する前記仮想面を、前記仮想世界座標系に設定すること
    を特徴とする請求項１１に記載の補正距離算出方法。
13. 前記発信源座標算出ステップにおいて、前記発信源座標算出手段は、前記カメラの焦点距離を示す前記焦点距離情報に基づいて係数Ｌを決定し、決定された前記係数Ｌと、前記画像の中心座標（Ｘｘ，Ｘｙ，Ｘｚ）と、前記法線の単位ベクトル（ａ，ｂ，ｃ）とを用いて、前記仮想レーザの前記発信源の座標（ｘ０，ｙ０，ｚ０）を、（ｘ０，ｙ０，ｚ０）＝（Ｘｘ,Ｘｙ,Ｘｚ）＋Ｌ（ａ,ｂ,ｃ）により算出すること
    を特徴とする請求項１１又は請求項１２に記載の補正距離算出方法。

Images