JP6883215B2 - 計測装置および方法、並びにプログラム - Google Patents

Description

本技術は計測装置および方法、並びにプログラムに関し、特に、より簡単かつ高精度に距離推定を行うことができるようにした計測装置および方法、並びにプログラムに関する。

従来、対象物までの距離を計測する３次元計測技術が知られている。そのような技術として、例えば所定軸を中心にカメラを回転させながら各回転位置で画像を撮影し、それらの位置で撮影された画像から対応する特徴点を抽出して、それらの特徴点から空間上の距離を計測するものが提案されている（例えば、特許文献１参照）。

特開２０００−２８３７１９号公報

しかしながら、上述した技術では、簡単かつ高精度に対象物までの距離を計測することは困難であった。

例えばカメラを回転させて各画像から距離を計測する技術では、撮影された画像から特徴点を検出したり、各特徴点についてカメラの回転方向の座標を探索したり、行列演算を行なったりしなければならず、距離計測のための演算が多く必要であった。

本技術は、このような状況に鑑みてなされたものであり、より簡単かつ高精度に距離推定を行うことができるようにするものである。

本技術の一側面の計測装置は、回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御する回転制御部と、前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像を平行化する平行化部と、前記平行化により得られた複数の平行化画像に基づいて、空間上における対象物までの距離を算出する距離演算部とを備える。

前記距離演算部には、前記複数の前記平行化画像における対応点の幾何学的関係に基づいて前記対象物までの距離を算出させることができる。

前記距離演算部には、前記平行化画像から前記対応点を含む画素列からなるライン画像を抽出させるとともに、前記複数の前記平行化画像から得られた複数の前記ライン画像を並べて合成することで得られた合成画像に基づいて前記対象物までの距離を算出させることができる。

前記距離演算部には、前記合成画像における前記対応点の軌跡の振幅に基づいて前記対象物までの距離を算出させることができる。

前記回転制御部には車両上部に設けられた前記撮影部の回転を制御させることができる。

前記撮影部を２次元の画像センサにより構成することができる。

前記撮影部をラインセンサにより構成することができる。

前記回転制御部には、前記撮影部が一定の速度で一回転するように前記撮影部の回転を制御させることができる。

本技術の一側面の計測方法またはプログラムは、回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御し、前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像を平行化し、前記平行化により得られた複数の平行化画像に基づいて、空間上における対象物までの距離を算出するステップを含む。

本技術の一側面においては、回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転が制御され、前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像が平行化され、前記平行化により得られた複数の平行化画像に基づいて、空間上における対象物までの距離が算出される。

本技術の一側面によれば、より簡単かつ高精度に距離推定を行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

本技術の適用例を示す図である。 撮影部の回転駆動について説明する図である。 撮影部の回転駆動について説明する図である。 ミラーの回転駆動について説明する図である。 距離推定について説明する図である。 距離推定について説明する図である。 合成画像について説明する図である。 距離推定について説明する図である。 ３次元計測装置の構成例を示す図である。 計測処理を説明するフローチャートである。 撮影部の駆動について説明する図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部および撮影部の設置位置の一例を示す説明図である。 コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術の概要について〉
本技術は、撮影部を予め定められた所定の軌跡で移動させながら各位置で画像を撮影し、得られた画像の対応する部分を含むライン画像を積み重ねて生成された合成画像に基づいて、空間上の対象物までの３次元距離を推定するシステムに関するものである。

本技術は、乗用車等の車両自体や、車両に搭載する計測システム、ユーザに装着するウェアラブルデバイス等の各種の電子機器、有人または無人の飛行物体などに適用することが可能である。以下では本技術を適用した３次元計測装置を車両に搭載する場合を例として説明を続ける。

本技術を適用した３次元計測装置を車両に搭載する場合、例えば図１に示すように、３次元計測装置が搭載された車両１１に撮影部１２が取り付けられて全方位の撮影が行われる。

具体的には、車両１１の上部に固定された軸１３に対して、イメージセンサ等からなるカメラなどにより構成される撮影部１２が取り付けられる。また、軸１３を回転軸として撮影部１２が回転されている状態で、複数の異なる方向の撮影画像が連続して撮影される。そして、撮影された複数の撮影画像に基づいて、実空間における撮影部１２、すなわち車両１１から、その車両１１の周囲にある各被写体（対象物）までの距離が計算により求められる。

３次元計測装置では、このようにして車両１１の上部に設けられた撮影部１２を回転させながら微細な視差を有する複数の撮影画像を連続的に撮影することで、周囲の対象物までの距離を高精度に計測可能となっている。

例えば３次元計測装置では、対象物までの距離の計測結果に基づいて、車両１１から見た各対象物までの距離（デプス）を示すデプスマップが全方位について生成される。このようなデプスマップを用いれば、全方位における物体の配置状況など、車両１１の周囲の環境を的確に把握することができ、その結果、例えば車両１１走行時の安全性を向上させることができるようになる。

なお、デプスマップの生成、つまり周囲の対象物までの距離計測は、車両１１の走行時に行われるようにするだけでなく、車両１１走行停止時にも行われるようにしてもよい。

ここで、撮影部１２の回転方法は例えば図２や図３に示す方法など、どのような方法とされてもよい。なお、図２および図３において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図２に示す例では、撮影部１２は軸１３を回転軸（回転中心）として所定半径の円上を移動するように回転され、その円の中心から見て外側の方向を撮影する。つまり、撮影部１２は、回転時の自身の軌跡である円の外側方向に向けられて軸１３に固定されている。

特に、撮影部１２は、撮影時に互いに視差を有する撮影画像を得ることができるように、撮影部１２の焦点位置と軸１３の位置とが異なる位置、つまり撮影部１２の焦点位置が軸１３の位置から一定距離だけ離れた位置となるように軸１３に取り付けられている。このように撮影部１２の焦点位置を軸１３の位置に対して一定距離だけオフセットさせることで、撮影部１２の各回転位置で撮影された撮影画像は、互いに視差を有する画像となる。

また、例えば図３に示す例では、撮影部１２は軸１３を回転軸として所定半径の円上を移動するように回転され、その円の中心方向を撮影する。つまり、撮影部１２は、回転時の自身の軌跡である円の内側方向に向けられて軸１３に固定されている。

この例においても撮影部１２は、撮影部１２の焦点位置が軸１３の位置から一定距離だけ離れた位置となるように軸１３に取り付けられており、車両１１の全方位を撮影できるようになっている。

さらに、例えば図４に示すように撮影部１２に対して車両１１の周囲からの光を導く反射部材であるミラー４１を設け、そのミラー４１を回転させるようにしてもよい。なお、図４において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。

この例では、撮影部１２の光軸４２に対してミラー４１の反射面（表面）が４５度の角度をなすようにミラー４１が配置されており、このミラー４１が光軸４２を回転軸として回転される。このようにしてミラー４１を回転させると、その回転軸に対して、光軸４２とミラー４１の交点位置を中心として撮影部１２の虚像が回転することになるので、ミラー４１を回転させながら撮影部１２で撮影を行えば、図３に示した例と同様の撮影画像群を得ることができる。

なお、ここでは１つの撮影部１２により互いに視差を有する複数の撮影画像を撮影する例、つまり互いに異なる方向を撮影した複数の撮影画像を得る例について説明したが、軸１３に複数の撮影部１２を取り付けて複数の撮影画像を得るようにしてもよい。その際、複数の撮影部１２を回転させるようにしてもよいし、十分な数の撮影部１２があるときには、撮影部１２を回転させずに撮影画像を撮影してもよい。また、撮影部１２が雨に晒されるなど天候による影響を軽減させるため、軸１３に雨除けなどを取り付けるようにしてもよい。

次に、複数の撮影画像からデプスマップを生成する具体例について説明する。以下では、図２に示したように撮影部１２が軸１３の外側に向けられて撮影が行われる場合を例として説明を続ける。

例えば図５に示すように車両１１の周囲に対象物ＯＢ１１があり、その対象物ＯＢ１１が被写体として含まれる撮影画像が撮影部１２により撮影されたとする。

ここで、例えば矢印Ａ１１に示すように車両１１、つまり撮影部１２から対象物ＯＢ１１までの距離が比較的長い、つまり対象物ＯＢ１１が遠距離にあるとする。

そのような場合に撮影部１２を回転させながら撮影を行った結果、例えば時刻ｔ乃至時刻ｔ+２の各時刻に撮影画像Ｐ１１−１乃至撮影画像Ｐ１１−３が得られ、他の時刻にも撮影画像が得られたとする。なお、以下、撮影画像Ｐ１１−１乃至撮影画像Ｐ１１−３を特に区別する必要のない場合、単に撮影画像Ｐ１１とも称することとする。

この例では、撮影画像Ｐ１１−１乃至撮影画像Ｐ１１−３には、被写体として対象物ＯＢ１１が含まれており、それらの撮影画像Ｐ１１上における対象物ＯＢ１１の位置は、撮影時における撮影部１２の位置に応じて変化している。特に、この例では撮影部１２から対象物ＯＢ１１までの距離がある程度離れているので、撮影部１２の回転移動に対する撮影画像Ｐ１１上における対象物ＯＢ１１の移動量は比較的少ない。

撮影部１２を回転移動させながら各回転位置で撮影を行い、撮影画像Ｐ１１を含む複数の撮影画像が得られると、３次元計測装置は、それらの撮影画像から対象物ＯＢ１１を含むライン画像を抽出する。ライン画像は、対象物ＯＢ１１に対応する画素、つまり対象物ＯＢ１１が被写体として写っている画素を含む、一方向に並ぶ複数の画素からなる画素列によって構成される画像である。

この例では、例えば撮影画像Ｐ１１−１乃至撮影画像Ｐ１１−３のそれぞれから、ライン画像ＬＰ１１−１乃至ライン画像ＬＰ１１−３のそれぞれが抽出されており、それらのライン画像には対応する対象物ＯＢ１１の画素、つまり対応点が含まれている。

以下、これらのライン画像ＬＰ１１−１乃至ライン画像ＬＰ１１−３を特に区別する必要のない場合、単にライン画像ＬＰ１１とも称することとする。また、以下では撮影画像Ｐ１１−１乃至撮影画像Ｐ１１−３とは異なる他の撮影画像についても単に撮影画像Ｐ１１と称することとする。同様にライン画像ＬＰ１１−１乃至ライン画像ＬＰ１１−３とは異なる他のライン画像についても単にライン画像ＬＰ１１と称することとする。

また、ここでは説明を簡単にするため、対象物ＯＢ１１が撮影部１２の回転平面上に位置している場合、すなわち、撮影部１２を回転させたときの空間上における撮影部１２の軌跡である円を含む平面上に対象物ＯＢ１１に対応する撮影部１２の受光面の画素が位置している場合について説明する。また、この場合、撮影部１２の受光面の水平方向の画素列（ライン）が撮影部１２の回転平面上にあるとする。

この場合、撮影画像Ｐ１１における対象物ＯＢ１１を含む水平方向に並ぶ画素からなる画素列をライン画像ＬＰ１１として抽出すればよい。これは、対象物ＯＢ１１についての各撮影画像Ｐ１１上のエピポーラ線は、撮影画像Ｐ１１の水平方向の画素列と平行となるからである。

３次元計測装置は、各撮影画像Ｐ１１から得られたライン画像ＬＰ１１を、それらが撮影された順番で垂直方向に並べて合成することで、１つの合成画像ＣＰ１１を生成する。ここでは、時刻ｔのライン画像ＬＰ１１−１が図中、最も上側に配置され、それ以降の時刻のライン画像ＬＰ１１が撮影時刻の古い順番に、下方向に積み重ねられて１つの合成画像ＣＰ１１とされている。

なお、ここでは合成画像ＣＰ１１を構成する各ライン画像ＬＰ１１が１ライン分の画素列からなる画像である例について説明するが、ライン画像ＬＰ１１が垂直方向に隣接して並ぶ２以上の複数の画素列からなる画像とされるようにしてもよい。これは後述する合成画像ＣＰ１２を構成する各ライン画像についても同様である。

このようにして得られた合成画像ＣＰ１１は、被写体として含まれる各時刻の対象物ＯＢ１１が含まれているため、合成画像ＣＰ１１は対象物ＯＢ１１の軌跡を示す画像であるといえる。この例では合成画像ＣＰ１１上では、各ライン画像ＬＰ１１の対象物ＯＢ１１の領域によって１つの曲線Ｌ１１が形成されている。

対象物ＯＢ１１を被写体とした撮影画像Ｐ１１の撮影時には、撮影部１２は回転移動、つまり円運動をしている。そのため、合成画像ＣＰ１１上の各時刻における対象物ＯＢ１１の領域からなる対象物ＯＢ１１の軌跡、すなわち曲線Ｌ１１はタンジェントカーブの一部分となる。つまり、合成画像ＣＰ１１では、対象物ＯＢ１１の領域からなるタンジェントカーブの一部分が観測される。

撮影画像Ｐ１１上の対象物ＯＢ１１の位置は、実空間上における撮影部１２と対象物ＯＢ１１との位置関係により定まるから、合成画像ＣＰ１１上の対象物ＯＢ１１の軌跡は、各時刻の撮影部１２と対象物ＯＢ１１との位置関係に応じて変化する。

特に、撮影部１２から対象物ＯＢ１１までの距離に応じて、撮影部１２の回転移動量に対する撮影画像Ｐ１１上の対象物ＯＢ１１の水平方向の移動量も変化する。換言すれば、撮影部１２から対象物ＯＢ１１までの距離に応じて、合成画像ＣＰ１１上における対象物ＯＢ１１の領域からなるタンジェントカーブの振幅が変化する。

例えば矢印Ａ１１に示した例と比較して、矢印Ａ１２に示すように車両１１、つまり撮影部１２から対象物ＯＢ１１までの距離が比較的短い、つまり対象物ＯＢ１１が近距離にあるとする。

そのような場合に撮影部１２を回転させながら撮影を行った結果、例えば時刻ｔ乃至時刻ｔ+２の各時刻に撮影画像Ｐ１２−１乃至撮影画像Ｐ１２−３が得られ、他の時刻にも撮影画像が得られたとする。なお、以下、撮影画像Ｐ１２−１乃至撮影画像Ｐ１２−３や他の時刻の撮影画像を特に区別する必要のない場合、単に撮影画像Ｐ１２とも称することとする。

この例では、各撮影画像Ｐ１２に被写体として対象物ＯＢ１１が含まれている。３次元計測装置が各撮影画像Ｐ１２から対象物ＯＢ１１を含むライン画像を抽出してライン画像ＬＰ１２−１乃至ライン画像ＬＰ１２−３を含む複数のライン画像が得られ、それらのライン画像を合成して合成画像ＣＰ１２を生成したとする。

なお、以下、ライン画像ＬＰ１２−１乃至ライン画像ＬＰ１２−３を含む各ライン画像を特に区別する必要のない場合、単にライン画像ＬＰ１２と称することとする。

このようにして得られた合成画像ＣＰ１２は、合成画像ＣＰ１１と同様に対象物ＯＢ１１の軌跡を示す画像となっており、各ライン画像ＬＰ１２の対象物ＯＢ１１の領域によって１つの曲線Ｌ１２が形成されている。合成画像ＣＰ１２では、対象物ＯＢ１１の領域からなる曲線Ｌ１２がタンジェントカーブの一部分となっている。

この例では、合成画像ＣＰ１１における場合よりも撮影部１２から対象物ＯＢ１１までの距離が短いので、撮影部１２の回転移動量に対する撮影画像Ｐ１２上の対象物ＯＢ１１の水平方向の移動量も大きい。そのため、合成画像ＣＰ１２における対象物ＯＢ１１の領域からなるタンジェントカーブの振幅は、合成画像ＣＰ１１における場合よりも小さくなっている。

このように撮影部１２から対象物ＯＢ１１までの距離によって、対象物ＯＢ１１の軌跡を示すタンジェントカーブの振幅は変化するので、３次元計測装置は合成画像上のタンジェントカーブの振幅に基づいて、撮影部１２（車両１１）から対象物ＯＢ１１までの距離を算出する。タンジェントカーブの振幅に基づいて距離を算出することは、各撮影画像上の同一の対象物、つまり互いに共通する対応点の幾何学的関係から距離を算出することであるといえる。

ここで、図６を参照して、各撮影画像上の共通する対応点の幾何学的関係から距離を算出する具体的な方法の例について説明する。なお、図６において図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

例えば、図５を参照して説明した対象物ＯＢ１１が図６に示す位置Ｐにあるとし、軸１３から位置Ｐまでの距離ｚを求めることを考える。

いま軸１３を原点とし、軸１３から位置Ｐへと向かう方向、つまり撮影部１２の光軸方向をＺ方向とし、撮影部１２の回転平面上におけるＺ方向と垂直な方向をＸ方向とし、Ｘ方向およびＺ方向と垂直な方向をＹ方向とする３次元直交座標系であるＸＹＺ座標系における位置Ｐの座標を（０，０，ｚ）と表すこととする。

また、軸１３から撮影部１２までの距離をｒとし、撮影部１２の焦点距離をｆとし、撮影部１２の回転角度をθとする。ここで、回転角度θは図６中、時計回りの方向が正の方向とされる。さらに、合成画像上における対象物ＯＢ１１の水平方向の位置を示す座標をｕとする。ここでは、図５に示した合成画像ＣＰ１１や合成画像ＣＰ１２の図５中、横方向が水平方向であり、特に図５中、右方向が座標ｕの正の方向とされる。

このような場合、位置ＰのＺ座標、すなわち位置Ｐまでの距離ｚについて、以下の式（１）の関係が成立する。

したがって、この式（１）から次式（２）の関係が得られる。

ここで、式（２）における距離ｒおよび焦点距離ｆは既知であり、回転角度θは撮影画像の撮影時に得ることができ、座標ｕは合成画像から得ることができる。また、合成画像を生成するために複数の撮影画像を撮影することから、各時刻における座標ｕと回転角度θのペアが得られることになる。すなわち、座標ｕと回転角度θのペアが複数得られる。

そのため、これらの座標ｕと回転角度θの複数のペアを用いれば、次式（３）の関係を満たす距離ｚを最小二乗法により求めることができる。

以上のように合成画像に基づいて最小二乗法により、軸１３から対象物ＯＢ１１までの距離ｚを求めることができる。なお、軸１３から撮影部１２までの距離ｒは既知であるから、この距離ｒと求めた距離ｚとから、撮影部１２から対象物ＯＢ１１までの距離を得ることができる。

図５の説明に戻り、例えば３次元計測装置は、計算により得られた対象物ＯＢ１１までの距離を、撮影画像Ｐ１１における対象物ＯＢ１１の画素と同じ位置関係にあるデプスマップの画素の画素値、つまり対象物までの距離を示すデプスとする。

３次元計測装置は、このようにして撮影画像Ｐ１１上の全画素について、それらの画素に写っている対象物までの距離を算出し、デプスマップを生成していく。また、３次元計測装置は、各方向を撮影して得られた撮影画像ごとにデプスマップを生成することで、全方位のデプスマップを得る。

したがって、より詳細には例えば図７に示すように、合成画像ＣＰ１１には対象物ＯＢ１１の領域からなる曲線Ｌ１１だけでなく、曲線Ｌ２１や曲線Ｌ２２など、ライン画像ＬＰ１１上の各被写体（対象物）の領域からなる複数の曲線が複数含まれている。なお、図７において図５における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

合成画像ＣＰ１１上で観察される曲線Ｌ２１や曲線Ｌ２２は、曲線Ｌ１１と同様にタンジェントカーブの一部となっているが、これらのタンジェントカーブの振幅は、対象物までの距離によって様々な振幅となっている。

また、以上においては、撮影画像における撮影部１２の回転平面に対応する画素列を処理する例について説明したが、それ以外の画素列を処理する場合には、各時刻の撮影画像におけるエピポーラ線上の画素からなる画素列を抽出してライン画像とすればよい。各撮影画像上のエピポーラ線の検出にあたっては、例えば複数の撮影画像を用いて撮影画像間の対応点を検出して撮影部１２の位置および姿勢を推定するなど、任意のアルゴリズムで位置と姿勢を推定したり、外部から撮影部１２の空間上の位置と姿勢を取得したりするなどすればよい。

しかし、各時刻の撮影画像についてエピポーラ線を求めると処理が煩雑になるので、撮影画像の平行化（Rectify）を行うようにしてもよい。また、撮影された全撮影画像に対応するデプスマップを生成すると処理量が多くなるので、基準となるいくつかの方向を基準方向とし、それらの基準方向のみデプスマップを生成するようにしてもよい。

そのような場合、例えば図８に示すように撮影部１２の回転中心Ｏから見た等間隔な方向Ｄ１１乃至方向Ｄ１６を基準方向として、各基準方向のみデプスマップを生成すればよい。この場合においても基準方向を適切に選択することで、撮影部１２（車両１１）の全方位をカバーするデプスマップ群を得ることができる。

図８に示す例では、図中、上向きの矢印により示される方向Ｄ１１を０度方向として、その方向Ｄ１１と、６０度、１２０度、１８０度、２４０度、および３００度の各角度の方向である方向Ｄ１２乃至方向Ｄ１６との合計６つの方向が基準方向とされている。

各対象物までの距離の計測時、つまりデプスマップの生成時には、上述したように撮影部１２が回転されている状態で各方向の撮影画像が撮影される。

そして、撮影により得られた各撮影画像について平行化が行われる。例えば１つの撮影画像に注目すると、その撮影画像と同じ被写体が含まれる１または複数の全ての基準方向の撮影画像に対して、注目する撮影画像の平行化が行われる。なお、以下では撮影画像の平行化により得られた画像を特に平行化画像とも称することとする。

具体的には、例えば時刻Ｔにおける撮影部１２の光軸方向（撮影方向）である、基準方向とは異なる方向Ｄ２１に注目するとし、その方向Ｄ２１を撮影して得られた撮影画像を撮影画像ＰＴと称することとする。

３次元計測装置は、撮影部１２を回転させる軸１３に取り付けられたロータリエンコーダ等から時刻Ｔにおける撮影部１２の光軸方向、つまり方向Ｄ２１を計算し、その方向Ｄ２１に最も近いＮ個の基準方向に対して撮影画像ＰＴの平行化を行う。この基準方向の個数Ｎは、例えば撮影部１２の画角に対して予め定められたものである。

例えばこの例のように６０度間隔で基準方向が定められており、撮影部１２の水平画角が９０度であるとする。そのような場合、撮影画像ＰＴは、方向Ｄ１１乃至方向Ｄ１３の３つの基準方向の撮影画像と画角が重なる、つまりそれらの撮影画像に同じ被写体が含まれるため、方向Ｄ１１乃至方向Ｄ１３の各基準方向の撮影画像に対する平行化が行われる。

具体的には、方向Ｄ１１の撮影画像に対する撮影画像ＰＴの平行化、方向Ｄ１２の撮影画像に対する撮影画像ＰＴの平行化、および方向Ｄ１３の撮影画像に対する撮影画像ＰＴの平行化が行われる。その結果、例えば方向Ｄ１１の撮影画像に対する平行化により、撮影画像ＰＴの撮影時の光軸を回転軸とする回転ずれ等が補正され、方向Ｄ１１の撮影画像上において水平方向に並ぶ各被写体が、同じように水平方向に並んでいる平行化画像を得ることができる。つまり、撮影画像ＰＴにおける各被写体が、方向Ｄ１１の撮影画像上のそれらの被写体が並ぶ方向と同じ方向に並んでいるように補正が行われた画像が平行化画像として得られる。

撮影された各撮影画像について平行化画像が生成されると、３次元計測装置は、それらの平行化画像と各基準方向の撮影画像とを用いて、基準方向ごとに図５および図６を参照して説明した処理を行い、それらの基準方向の撮影画像に対応するデプスマップを生成する。なお、デプスマップを得るための基準方向ごとの合成画像の生成時には、基準方向の撮影画像と、その基準方向の撮影画像に対する平行化により得られた平行化画像とが用いられる。

このようにして得られる基準方向のデプスマップは、撮影部１２（車両１１）から基準方向を見たときの各対象物、つまり撮影画像上の各被写体までの実空間上の距離を示す情報である。

なお、図８を参照して説明した例では、方向Ｄ１１乃至方向Ｄ１６の各基準方向について、デプスマップを生成する場合について説明した。この場合、基準方向ごとに、つまりデプスマップごとに同一の対象物までの距離が算出されることになるが、これらの距離の平均値等をその対象物までの代表距離として求めるようにしてもよい。これにより、１つの対象物に対して１つの代表距離が求めらることになる。

さらに、対象物の代表距離を求めるにあたっては、方向Ｄ１１乃至方向Ｄ１６の各基準方向のうち、最も対象物に対して正対する方向に近い基準方向のデプスマップにより示される対象物までの距離が、その対象物の代表距離とされるようにしてもよい。これは、対象物に対して正対する方向に近い基準方向のデプスマップほど、対象物までの距離の信頼度が高いからである。

〈３次元計測装置の構成例〉
次に、以上において説明した３次元計測装置の具体的な構成例について説明する。図９は、本技術を適用した３次元計測装置の一実施の形態の構成例を示す図である。

図９に示す３次元計測装置７１には、上述した撮影部１２が接続されており、撮影部１２により撮影された撮影画像が３次元計測装置７１に供給される。

なお、撮影部１２は３次元計測装置７１に設けられているようにしてもよい。また、撮影部１２は、上述した例のように受光面上に水平方向および垂直方向に並ぶ複数の画素を有する２次元画像を撮影可能なカメラ等であってもよいし、水平方向に並ぶ画素のみからなる受光面を有し、１次元画像を撮影する１次元のラインセンサであってもよい。以下では、撮影部１２が２次元画像を撮影可能なカメラ等、つまり２次元の画像センサを有するものであるとして説明を続ける。

３次元計測装置７１は、画像取得部８１、画像記憶部８２、画像処理部８３、回転制御部８４、および回転機構部８５を有している。

画像取得部８１は、撮影部１２から撮影画像を取得するとともに、取得した撮影画像に対して、必要に応じて現像処理等の各種の処理を施して画像記憶部８２に供給する。画像記憶部８２は、画像取得部８１から供給された撮影画像や、画像処理部８３から供給された平行化画像等の各種の画像や情報を記憶する。

画像処理部８３は必要に応じて画像記憶部８２に記憶されている撮影画像等を用いて、デプスマップを生成する計測処理等、各種の処理を行う。画像処理部８３は、位置姿勢特定部９１、平行化部９２、および距離演算部９３を有している。

位置姿勢特定部９１は、画像記憶部８２に記憶されている撮影画像に基づいて、例えばSLAM（Simultaneous Localization And Mapping）等により撮影画像を撮影したときの撮影部１２の３次元空間上の位置と姿勢を算出することで、各時刻の撮影部１２の位置および姿勢を特定する。ここで撮影部１２の姿勢とは撮影部１２の撮影方向、つまり光軸の方向である。

例えばSLAMにより撮影部１２の位置および姿勢が算出される場合、位置姿勢特定部９１は、３次元空間上におけるランドマークと呼ばれる任意の対象物の位置と、そのランドマークの画像から抽出された特徴量とからなる３次元マップを保持している。位置姿勢特定部９１は、必要に応じて３次元マップを更新しながら、３次元マップと撮影画像とに基づいて各時刻の撮影部１２の位置および姿勢を算出する。

なお、以下では、位置姿勢特定部９１がSLAMにより撮影部１２の位置および姿勢を特定する例について説明するが、撮影部１２の位置および姿勢を特定する方法は、他のどのような方法であってもよい。

例えば位置姿勢特定部９１が車両１１から、車両１１の車輪の回転角度と操舵角度を継続的に取得して、回転角度から車両１１の移動距離を求め、操舵角度から車両１１の方向を求めることで、車両１１、つまり撮影部１２の位置および姿勢を特定してもよい。その他、例えば位置姿勢特定部９１がGPS（Global Positioning System）やジャイロセンサ等を利用して撮影部１２の位置および姿勢を特定するようにしてもよい。

位置姿勢特定部９１が加速度センサやジャイロセンサなどの慣性計測装置（IMU（Inertial Measurement Unit））を有する場合、例えば位置姿勢特定部９１では、慣性計測装置で計測される値を積分するなどして、所定の対象物（オブジェクト）に対する撮影部１２の位置および姿勢の相対運動が計測される。

平行化部９２は、回転機構部８５から供給された撮影部１２の回転角度情報と、位置姿勢特定部９１により特定された撮影部１２の位置および姿勢とに基づいて、画像記憶部８２に記憶されている撮影画像の平行化を行う。例えば平行化部９２では、撮影画像の平行化を行う処理として、rectification処理が行われるようにすることができる。これにより、同一物体が複数の撮影画像における互いに対応するライン（画素列）、つまり同じ位置関係にある画素列上に現れるように、拡大や縮小を伴う処理が行われる。

距離演算部９３は、回転機構部８５から供給された回転角度情報、位置姿勢特定部９１により特定された撮影部１２の位置と姿勢、平行化部９２で得られた平行化画像、および画像記憶部８２に記憶されている基準方向の撮影画像に基づいて、各方位の対象物までの距離を算出する。すなわち、各基準方向のデプスマップが生成される。具体的には、例えば距離演算部９３では、上述した式（３）の関係を満たす距離が最小二乗法により求められ、デプスマップが生成される。

回転制御部８４は、画像処理部８３の指示に従って回転機構部８５の駆動を制御する。回転機構部８５は、例えば軸１３やロータリエンコーダなどからなり、回転制御部８４の制御に従って軸１３を回転中心（回転軸）として撮影部１２を回転させるとともに各時刻における撮影部１２の回転角度等を示す回転角度情報を画像処理部８３に供給する。

なお、ここでは回転機構部８５が撮影部１２を回転させる例について説明するが、例えば図４を参照して説明した構成とされる場合には、回転機構部８５は撮影部１２ではなくミラー４１を回転させる。

〈計測処理の説明〉
続いて３次元計測装置７１の具体的な動作について説明する。すなわち、以下、図１０のフローチャートを参照して、３次元計測装置７１による計測処理を説明する。なお、この計測処理は、３次元計測装置７１が搭載された車両１１の走行中に行われてもよいし、車両１１の走行停止中に行われてもよいが、以下では車両１１が走行中であるものとして説明を続ける。

ステップＳ１１において、画像取得部８１は、撮影部１２に撮影画像の撮影を開始させる。撮影部１２は、画像取得部８１の指示に従って、例えば所定の時間間隔で撮影画像を連続的に撮影し、画像取得部８１へと供給する。なお、撮影画像は動画像であってもよいし静止画像であってもよい。

画像取得部８１は、撮影部１２から供給された撮影画像に対して、必要に応じて現像処理等の各種の処理を施して画像記憶部８２に供給し、記憶させる。

ステップＳ１２において、回転制御部８４は、画像処理部８３の指示に応じて回転機構部８５の駆動を制御し、回転機構部８５は回転制御部８４の制御に従って撮影部１２の回転駆動を開始する。

このとき、例えば回転制御部８４は、撮影部１２が一定の回転速度（角速度）で回転するように回転駆動を制御する。

なお、撮影部１２の回転速度は必ずしも一定の速度である必要はなく、また撮影部１２が一回転する間は一定の速度とし、一回転するごとに回転速度を変化させるようにしてもよい。さらに車輪の回転角度など、何らかの方法により車両１１の走行速度や走行方向を取得可能な場合には、回転制御部８４が、走行速度や走行方向に応じて撮影部１２の回転速度を変化させるようにしてもよい。これにより、車両１１の走行により生じる、合成画像における対象物の軌跡の歪み等を低減させ、より高精度に距離推定を行うことができるようになる。

このようにして撮影画像の撮影が開始されるとともに、撮影部１２の回転駆動が開始されると、撮影部１２の回転移動時の各位置において撮影された撮影画像が画像記憶部８２に記憶されていく。また、このとき回転機構部８５は、各時刻における撮影部１２の回転角度情報を画像処理部８３に供給する。なお、画像処理部８３が回転機構部８５から供給された回転角度情報から得られる撮影部１２の回転位置を示す情報を画像記憶部８２に供給し、同じ時刻の回転位置を示す情報と撮影画像とを対応付けて記憶させるようにしてもよい。

ステップＳ１３において、位置姿勢特定部９１は、画像記憶部８２に記憶されている撮影画像と、保持している３次元マップとに基づいて、各撮影画像を撮影したときの撮影部１２の位置および姿勢を特定する。すなわち、SLAMにより撮影部１２の位置および姿勢が算出される。

ステップＳ１４において、平行化部９２は、回転機構部８５から供給された撮影部１２の回転角度情報と、位置姿勢特定部９１により特定された撮影部１２の位置および姿勢とに基づいて、画像記憶部８２に記憶されている撮影画像を平行化する。

具体的には、例えば平行化部９２は図８を参照して説明した処理を行って、各時刻の撮影画像から平行化画像を生成する。すなわち、平行化部９２は、回転角度情報と撮影部１２の位置および姿勢とに基づいて、処理対象とする撮影画像の撮影時の撮影部１２の光軸方向を特定し、その特定結果から平行化画像の生成を行う基準方向を特定する。そして、平行化部９２は、処理対象の撮影画像と、基準方向の撮影画像とから平行化により平行化画像を生成して画像記憶部８２に供給し、記憶させる。これにより、画像記憶部８２に少なくとも撮影画像と平行化画像が記憶されている状態となる。

ステップＳ１５において、距離演算部９３は、回転機構部８５から供給された回転角度情報、撮影部１２の位置と姿勢、画像記憶部８２に記憶されている平行化画像および基準方向の撮影画像に基づいて、各基準方向の合成画像を生成する。

すなわち、距離演算部９３は、基準方向の撮影画像の各ライン、つまり水平方向の各画素列について、そのラインをライン画像とするとともに、そのライン画像と共通する対応点が含まれている各平行化画像のラインを特定し、各平行化画像からライン画像を抽出する。ここで、平行化画像における対応点が含まれているラインの特定には、例えば回転角度情報や、撮影部１２の位置および姿勢が用いられる。

そして、距離演算部９３は、互いに共通する対応点が含まれているライン画像を時刻順に並べて合成し、合成画像を生成する。これにより、基準方向の撮影画像の水平ラインごとに、それらのラインに対応する合成画像が得られる。

なお、例えば回転角度情報や、撮影部１２の位置および姿勢に応じて、ライン画像合成時における各ライン画像の水平方向の位置が調整されるようにしてもよい。このような水平方向の合成位置の調整は、撮影部１２の回転速度が一定でない場合や、車両１１が走行している場合などに有効である。

ステップＳ１６において距離演算部９３は、基準方向の撮影画像の画素ごとに、合成画像に基づいてそれらの画素に対応する対象物（被写体）までの距離を算出し、その算出結果からデプスマップを生成する。

具体的には、例えば距離演算部９３は、合成画像を構成する基準方向のライン画像の各画素について、その画素、およびその画素と同じ輝度値（画素値）の画素からなる合成画像上の領域を検出して、検出された領域を対象物の軌跡の領域とする。このとき、合成画像上の互いに隣接する画素、より詳細には略連続して並ぶ画素からなる同じ輝度値の画素領域が対象物の軌跡を示す領域となるはずである。

さらに、距離演算部９３は、合成画像上の対象物の軌跡であるタンジェントカーブの振幅に基づいて対象物までの距離を算出する。すなわち、合成画像上の対象物に対応する画素について、その画素位置と回転角度情報とから上述した式（３）の関係を満たす距離が最小二乗法により求められ、デプスマップが生成される。

このように撮影部１２を回転させながら各時刻における基準方向のデプスマップを生成することで、継続的に全方位の対象物までの距離を計測することができる。また、距離の計測結果、つまり距離推定の結果であるデプスマップを用いれば、全方位における物体の配置状況など、車両１１の周囲の環境を的確に把握することができる。

例えば、位置姿勢特定部９１による撮影部１２の位置および姿勢の特定結果と、位置姿勢特定部９１が保持している３次元マップとから、所定時刻における車両１１（撮影部１２）から各方位の対象物までの距離を求めることができる。同様に、デプスマップからも所定時刻における車両１１から各方位の対象物までの距離を得ることができ、その距離は、対象物が静止していれば３次元マップから求められた距離と等しいはずである。

例えば画像処理部８３は、このことを利用して３次元マップから求められた距離と、デプスマップにより示される距離との差分を算出することで、その差分の大きさから車両１１の周囲に存在する移動体を検出するとともに、各時刻における検出結果から移動体の追跡を行う。つまり、移動体の位置のトラッキングが行われる。ここで、検出される移動体は、例えば歩行者や、対向車等の車両、自転車、自動二輪車、道路工事の用具等の障害物である可能性が高い。

そこで、例えば画像処理部８３は、移動体の検出結果に応じて車両１１がより安全に走行することができるように、つまり障害物等に起因する危険を容易に回避することができるように車両１１の運転者に対して、画像表示や音声等により警告を発する処理を行うなどする。これにより、車両１１走行時の安全性を向上させることができる。

ステップＳ１７において、３次元計測装置７１は、処理を終了するか否かを判定する。ステップＳ１７においてまだ処理を終了しないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返し行われる。

これに対して、ステップＳ１７において処理を終了すると判定された場合、３次元計測装置７１は各部の処理を停止させ、計測処理は終了する。

以上のようにして３次元計測装置７１は、撮影部１２を回転させながら撮影画像を撮影させ、基準方向の撮影画像と、基準方向とは異なる方向の撮影画像から得られた平行化画像とに基づいて合成画像を生成する。そして、３次元計測装置７１は、合成画像上の同じ輝度値の領域を対象物の軌跡として検出してデプスマップを生成する。

このように撮影部１２の回転中に撮影された複数の撮影画像、特に３以上の撮影画像を用いることで、より高精度に距離推定を行うことができるだけでなく、同じ輝度値の領域を対象物の軌跡を示す領域とし、その軌跡であるタンジェントカーブの振幅を用いることで、より少ない演算量で簡単に距離推定を行うことができる。

〈第１の実施の形態の変形例１〉
また、以上においては撮影部１２を回転させる例について説明したが、例えば図１１に示すように直動機構により撮影部１２を往復移動させるようにしてもよい。なお、図１１において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１１に示す例では、撮影部１２には、互いに連結された２つのアームからなる直動機構１２１が接続され、直動機構１２１の一方の端が中心位置Ｏ２１に固定され、直動機構１２１の他方の端は撮影部１２に固定されている。

撮影画像の撮影時には、回転制御部８４が中心位置Ｏ２１を中心として、その中心位置Ｏ２１に一方の端が固定されたアームを回転させることにより撮影部１２を、矢印Ｄ４１に示す方向に往復移動させる。つまり、撮影部１２が直線上を往復移動するように直動機構１２１の駆動が制御される。

このようにすることでも３次元計測装置７１では、全方位ではないものの撮影部１２の前方のデプスマップを得ることができる。この場合、合成画像上の対象物の軌跡は直線となるので、その直線の傾きに基づいて、対象物までの距離が算出されることになる。

〈応用例〉
ところで、本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車などのいずれかの種類の車両に搭載される装置として実現されてもよい。また、本開示に係る技術は、ブルドーザやクレーン車等の工事用重機、ドローン、ロボット、惑星探査機などに搭載される装置として実現されてもよい。

図１２は、本開示に係る技術が適用され得る車両制御システム２０００の概略的な構成の一例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図１２に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、CAN（Controller Area Network）、LIN（Local Interconnect Network）、LAN（Local Area Network）又はFlexRay（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１２では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

例えばマイクロコンピュータ２６１０や測位部２６４０、記憶部２６９０等から上述した３次元計測装置７１が構成されるようにしてもよい。

駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ABS（Antilock Brake System）又はESC（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮影部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮影部２４１０には、ToF（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。例えば撮影部２４１０を上述した撮影部１２としてもよい。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮影部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１３は、撮影部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮影部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮影部２９１０及び車室内のフロントガラスの上部に備えられる撮影部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮影部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮影部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮影部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１３には、それぞれの撮影部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮影範囲ａは、フロントノーズに設けられた撮影部２９１０の撮影範囲を示し、撮影範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮影部２９１２，２９１４の撮影範囲を示し、撮影範囲ｄは、リアバンパ又はバックドアに設けられた撮影部２９１６の撮影範囲を示す。例えば、撮影部２９１０，２９１２，２９１４，２９１６で撮影された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。

車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０乃至２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１２に戻って説明を続ける。車外情報検出ユニット２４００は、撮影部２４１０に車外の画像を撮影させるとともに、撮影された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮影部２４１０により撮影された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮影部２４１０により撮影された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮影するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイクロホン等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロホン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はPDA（Personal Digital Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するRAM（Random Access Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するROM（Read Only Memory）を含んでいてもよい。また、記憶部２６９０は、HDD（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、GSM（登録商標）（Global System of Mobile communications）、WiMAX、LTE（Long Term Evolution）若しくはLTE-A（LTE−Advanced）などのセルラー通信プロトコル、又は無線LAN（Ｗｉ−Ｆｉ（登録商標）ともいう）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばP2P（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はMTC（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE（Wireless Access in Vehicle Environment）、又はDSRC（Dedicated Short Range Communications）といった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるV2X通信を遂行する。

測位部２６４０は、例えば、GNSS（Global Navigation Satellite System）衛星からのGNSS信号（例えば、GPS衛星からのGPS信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。

車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な機器との間の接続を仲介する通信インターフェースである。車内機器Ｉ／Ｆ２６６０は、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）又はWUSB（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して有線接続を確立してもよい。車内機器Ｉ／Ｆ２６６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインターフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１２の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、AR（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１２に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。

なお、図９を用いて説明した３次元計測装置７１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記憶媒体を提供することもできる。記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。

〈コンピュータの構成例〉
さらに、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５００１，ROM５００２，RAM５００３は、バス５００４により相互に接続されている。

バス５００４には、さらに、入出力インターフェース５００５が接続されている。入出力インターフェース５００５には、入力部５００６、出力部５００７、記憶部５００８、通信部５００９、及びドライブ５０１０が接続されている。

入力部５００６は、キーボード、マウス、マイクロホン、撮影素子などよりなる。出力部５００７は、ディスプレイ、スピーカなどよりなる。記憶部５００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５００９は、ネットワークインターフェースなどよりなる。ドライブ５０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記憶媒体５０１１を駆動する。

以上のように構成されるコンピュータでは、CPU５００１が、例えば、記憶部５００８に記憶されているプログラムを、入出力インターフェース５００５及びバス５００４を介して、RAM５００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体５０１１に記憶して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記憶媒体５０１１をドライブ５０１０に装着することにより、入出力インターフェース５００５を介して、記憶部５００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５００９で受信し、記憶部５００８にインストールすることができる。その他、プログラムは、ROM５００２や記憶部５００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御する回転制御部と、
前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像に基づいて、空間上における対象物までの距離を算出する距離演算部と
を備える計測装置。
（２）
前記距離演算部は、前記複数の前記撮影画像における対応点の幾何学的関係に基づいて前記対象物までの距離を算出する
（１）に記載の計測装置。
（３）
前記距離演算部は、前記撮影画像から前記対応点を含む画素列からなるライン画像を抽出するとともに、前記複数の前記撮影画像から得られた複数の前記ライン画像を並べて合成することで得られた合成画像に基づいて前記対象物までの距離を算出する
（２）に記載の計測装置。
（４）
前記距離演算部は、前記合成画像における前記対応点の軌跡の振幅に基づいて前記対象物までの距離を算出する
（３）に記載の計測装置。
（５）
前記撮影画像を平行化する平行化部をさらに備え、
前記距離演算部は、前記平行化により得られた平行化画像に基づいて前記対象物までの距離を算出する
（１）乃至（４）の何れか一項に記載の計測装置。
（６）
前記回転制御部は車両上部に設けられた前記撮影部の回転を制御する
（１）乃至（５）の何れか一項に記載の計測装置。
（７）
前記撮影部は２次元の画像センサから構成される
（１）乃至（６）の何れか一項に記載の計測装置。
（８）
前記撮影部はラインセンサから構成される
（１）乃至（６）の何れか一項に記載の計測装置。
（９）
前記回転制御部は、前記撮影部が一定の速度で一回転するように前記撮影部の回転を制御する
（１）乃至（８）の何れか一項に記載の計測装置。
（１０）
回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御し、
前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像に基づいて、空間上における対象物までの距離を算出する
ステップを含む計測方法。
（１１）
回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御し、
前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像に基づいて、空間上における対象物までの距離を算出する
ステップを含む処理をコンピュータに実行させるプログラム。

１１ 車両， １２ 撮影部， ７１ ３次元計測装置， ８２ 画像記憶部， ８３ 画像処理部， ８４ 回転制御部， ８５ 回転機構部， ９１ 位置姿勢特定部， ９２ 平行化部， ９３ 距離演算部

Claims (10)

1. 回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御する回転制御部と、
   前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像を平行化する平行化部と、
   前記平行化により得られた複数の平行化画像に基づいて、空間上における対象物までの距離を算出する距離演算部と
   を備える計測装置。
2. 前記距離演算部は、前記複数の前記平行化画像における対応点の幾何学的関係に基づいて前記対象物までの距離を算出する
   請求項１に記載の計測装置。
3. 前記距離演算部は、前記平行化画像から前記対応点を含む画素列からなるライン画像を抽出するとともに、前記複数の前記平行化画像から得られた複数の前記ライン画像を並べて合成することで得られた合成画像に基づいて前記対象物までの距離を算出する
   請求項２に記載の計測装置。
4. 前記距離演算部は、前記合成画像における前記対応点の軌跡の振幅に基づいて前記対象物までの距離を算出する
   請求項３に記載の計測装置。
5. 前記回転制御部は車両上部に設けられた前記撮影部の回転を制御する
   請求項１に記載の計測装置。
6. 前記撮影部は２次元の画像センサから構成される
   請求項１に記載の計測装置。
7. 前記撮影部はラインセンサから構成される
   請求項１に記載の計測装置。
8. 前記回転制御部は、前記撮影部が一定の速度で一回転するように前記撮影部の回転を制御する
   請求項１に記載の計測装置。
9. 回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御し、
   前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像を平行化し、
   前記平行化により得られた複数の平行化画像に基づいて、空間上における対象物までの距離を算出する
   ステップを含む計測方法。
10. 回転機構の回転中心から撮影部の焦点位置までの距離が一定距離となっている状態で、前記撮影部が前記回転中心を軸として回転するように、前記回転機構による前記撮影部の回転を制御し、
    前記撮影部が回転された状態で、前記撮影部により互いに異なる位置で撮影された複数の撮影画像を平行化し、
    前記平行化により得られた複数の平行化画像に基づいて、空間上における対象物までの距離を算出する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images