JP6604934B2 - 点群画素位置決定装置、方法、及びプログラム - Google Patents

Description

本発明は、点群画素位置決定装置、方法、及びプログラムに係り、特に、３次元点の各々に対応する画像の画素位置を決定する点群画素位置決定装置、方法、及びプログラムに関する。

従来より、三次元物体と画像に写った対象物体のそれぞれからコーナーやエッジといった物体を表現する形状情報（境界や輪郭、コーナー等）を検出し、画像においても検出した形状情報と一致するように、カメラパラメータ（投影方法）を推定する技術が知られている（非特許文献１）。

Philip David, Daniel DeMenthon, Ramani Duraiswami, and Hanan Samet,"SoftPOSIT: Simultaneous Pose and Correspondence Determination", International Journal of Computer Vision (2004).

非特許文献１に記載の技術によれば、CADモデルを利用する工場のラインのような制御された環境下においては、計測ノイズの影響が少なくて物体の形状情報を正確に取得することが出来るため、この手法は有効であると考えられる。

しかし、屋外の環境下でかつ移動体の上に載せたレーザセンサを使用する場合には、計測した点群に計測誤差が大きく発生するために、物体の境界やコーナーの位置情報を正確に抽出すること自体が難しいという技術課題がある。

本発明は上記課題を考慮してなされたものであり、３次元点の各々に対応する画像の画素位置を精度良く決定する点群画素位置決定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の点群画素位置決定装置は、入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、前記画像の各画素におけるデプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する点群画素位置決定部を含んで構成されている。

本発明の点群画素位置決定方法は、点群画素位置決定部が、入力された、物体の表面上の位置を表す３次元点の集合である３次元点群と、カメラにより撮影された画像と、前記画像の各画素におけるデプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する。

また、本発明のプログラムは、コンピュータを、上記の点群画素位置決定装置の各部として機能させるためのものである。

本発明によれば、３次元点群と、カメラにより撮影された画像の各画素におけるデプスとに基づいて、３次元点群の３次元点の各々に対応する画像の画素位置を決定することにより、３次元点の各々に対応する画像の画素位置を精度良く決定することができる、という効果が得られる。

本実施形態の点群画素位置決定装置の概略構成の一例を示す構成図である。 本実施形態の点群画素位置決定装置により実行される点群画素位置決定処理の流れの一例を示すフローチャートである。 ３次元の幾何的な関係性との整合性を考慮した位置決めの一例を示す図である。 仮想画像の画素の色を算出する方法を説明するための図である。 （Ａ）透視投影行列を説明するための図、（Ｂ）物体の３次元点に背景色が対応付いてしまう例を示す図、及び（Ｃ）デプス情報を考慮して対応画素を決定する場合の問題点を説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。

［発明の概要］
まず、本発明の実施の形態における概要を説明する。

レーザーで計測した３次元点群の色付けを行う場合、従来技術では、３次元点群を描画可能な専用ソフトを用いて、手動調整によりカメラの画素と点群の対応付けをしているがコストがかかる。また、手動調整であってもレンズの歪みの影響で、部分的には正しく対応付けすることが可能であるが、レンズ周辺部分などの画素位置においては正しくない色がつきやすい。

例えば、計測時の振動やレンズ歪みの影響により、カメラキャリブレーションで求めた透視投影行列の信頼度が低い場合（図５（Ａ）参照）、多眼カメラで推定したデプス情報は、分解能が粗いため正確な対応付け困難であり、微小なずれにより、物体上の３次元点に、背景の画素の色が対応付いてしまうことがある（図５（Ｂ）参照）。ここで、図５（Ｃ）に示すように、デプス情報を考慮することにより、空（背景）と標識（前景）のように、大きなデプスの違いがある物体同士を誤って対応付けることは抑制できる。
しかしながら、対応画素の範囲（標識の内部の画素（円形領域））が絞られても、多眼カメラで求めたデプスは分解能が粗いため、円形内部のデプスがほぼ等しいデプスと推定されるため、多眼カメラにより推定したデプスを用いて、３次元点群が円形のどの位置に対応するか正確に求めることができない。

そこで、本発明の実施の形態では、多眼カメラ側のデプス情報を用いることで、背景に存在する物体の色をつくことを防ぐと共に、近傍の３次元点群との幾何的な関係性の整合性を２次元画像上でもなるべく保存するように画素位置を決定する。また、画素位置を決定し、実際の色は仮想視点を生成する際に、カメラ視点位置に近い色を使用する。

［実施形態の概説］
本実施形態の点群画素位置決定装置は、物体の表面上の位置を表す３次元点の集合である３次元点群と、ステレオカメラにより撮影された複数の画像とを入力として、３次元点の各々に対応する画像の画素位置を決定することを目的とするものである。

本実施形態における３次元情報とは、緯度、経度、及び海抜（高さ）情報でもよいし、ユーザーが設定した特定の位置を原点とした３次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザーが設定した原点における３次元ユークリッド座標系（各方向をＸ，Ｙ，Ｚ座標とする）を想定する。各座標の単位はメートル（ｍ）やセンチメートル（ｃｍ）、及びミリメートル（ｍｍ）で表現するが、他の単位でもよい。

３次元点とは、各点に上記の３次元座標に、その点群が撮影された時刻や、レーザーの反射強度等が付与されている点である。３次元点に付与される情報に制限はないが、少なくとも位置情報（Ｘ，Ｙ，Ｚ座標）と時刻が付与されたものであり、３次元点群とはその３次元点が２点以上集まった集合である。

＜本実施形態の点群画素位置決定装置１００の構成＞
次に、本発明の実施形態の点群画素位置決定装置の構成について説明する。

図１に示すように、本実施形態の点群画素位置決定装置１００は、レーザー計測部１０、多眼カメラ計測部１２、演算部２０、及び画像表示部９０を備えている。

レーザー計測部１０は、３次元点群を計測する装置であり、物体の表面上の位置を表す３次元点の集合である３次元点群を計測する。レーザー計測部１０は、レーザースキャナ又はレーザーレンジファインダであり、例えば、レーザースキャナをＧＰＳが搭載された車の上等に搭載し、移動しながら計測することで、屋外の環境の地物を被写体とし、例えば、ガードレール、道路地面、ケーブル、及び建物等であり、これら被写体表面の３次元位置を計測する。本実施形態では、３次元点群を計測する装置として、車上にＧＰＳとレーザースキャナとが搭載されているＭＭＳ（Mobile Mapping System）を想定している。

なお、３次元点群を計測する装置は、超音波センサ、マイクロソフト社のＫｉｎｅｃｔ（登録商標）のような赤外線センサ、または超音波センサ等、被写体とセンサとの距離を測定可能な装置であってもよい。

多眼カメラ計測部１２は、レーザー計測部１０による計測と共にステレオカメラにより複数の視点から撮影した複数のカメラ画像を出力する。なお、ステレオカメラではなく、ライトフィールドカメラを用いてもよい。

演算部２０は、レーザー計測情報記憶部２２、カメラ画像情報記憶部２４、点群画素位置決定部２６、及び点群色決定部２８を備えている。

レーザー計測情報記憶部２２は、レーザー計測部１０により計測された３次元点群を記憶している。

カメラ画像情報記憶部２４は、レーザー計測部１０による計測と共に多眼カメラ計測部１２のステレオカメラによって撮影された複数のカメラ画像が記憶されている。複数のカメラ画像には、撮影時に得られたカメラパラメータ（焦点距離、撮影位置、カメラ姿勢、撮影時刻）が付与されている。なお、撮影位置は、GPS情報から得られる。

点群画素位置決定部２６は、カメラ画像情報記憶部２４に記憶されている複数のカメラに基づいて、各カメラ画像の各画素におけるデプスを算出し、レーザー計測情報記憶部２２に記憶されている３次元点群と、カメラ画像情報記憶部２４に記憶されている複数のカメラ画像と、各カメラ画像の各画素におけるデプスとに基づいて、各カメラ画像について、３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置を決定する。

具体的には、点群画素位置決定部２６は、計測した時刻と撮影時刻が対応している、３次元点群及び複数のカメラ画像を入力として、カメラ画像毎に、３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置の尤度と、複数の３次元点の幾何的な関係、及び複数の３次元点に対応する画素位置の幾何的な関係の整合性とを考慮して、３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置を決定する。

点群色決定部２８は、点群画素位置決定部２６によって各カメラ画像について決定された３次元点群の３次元点の各々に対応する当該カメラ画像の画素位置に基づいて、３次元点群の３次元点の各々に付与する色を決定する。また、点群色決定部２８は、仮想的な視点から３次元点群を見たときの仮想画像を生成する。

画像表示部９０は、点群色決定部２８によって生成された仮想画像を表示する。

なお、本実施形態の点群画素位置決定装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する点群画素位置決定処理を実行するためのプログラムや各種データを記憶したＲＯＭと（Read Only Memory）、を含むコンピュータで構成することが出来る。本実施形態のＣＰＵがプログラムを実行することにより、演算部２０が有する各部として機能する。

＜本実施形態の点群画素位置決定装置１００の動作＞
次に、本実施形態の点群画素位置決定装置１００の動作について説明する。

まず、各時刻において、レーザー計測部１０によって３次元点群を計測すると共に、多眼カメラ計測部１２のステレオカメラによって撮影し、得られた３次元点群がレーザー計測情報記憶部２２に格納されると共に、撮影時に得られたカメラパラメータが付与された複数のカメラ画像がカメラ画像情報記憶部２４に記憶される。

次に、図２に示すように、本実施形態の点群画素位置決定装置１００において、点群画素位置決定処理が実行される。

ステップＳ１００で、処理対象時刻について、レーザー計測情報記憶部２２に記憶されている３次元点群を取得すると共に、カメラ画像情報記憶部２４に記憶されている複数のカメラ画像及びカメラパラメータを取得する。

ステップＳ１０２では、上記ステップＳ１００で取得した複数のカメラ画像及びカメラパラメータに基づいて、各カメラ画像の各画素のデプスを推定する。

ステップＳ１０４では、各カメラ画像について、上記ステップＳ１００で取得したカメラパラメータから、透視投影行列を算出し、透視投影行列に基づいて、上記ステップＳ１００で取得した３次元点群の各３次元点の、当該カメラ画像の対応する画素位置を推定する。

ステップＳ１０６では、各カメラ画像について、上記ステップＳ１０２で推定された当該カメラ画像の各画素のデプスと、上記ステップＳ１０４で推定された各３次元点の、当該カメラ画像の対応する画素位置とに基づいて、以下の（１）式に示すエネルギー関数Ｅを最適化するような、各３次元点の、当該カメラ画像の対応する画素位置Ｉ_uvを推定する。ここでＩ_uvは２次元ベクトルであり、カメラ画像の2次元座標の成分[u,v]で構成される。

・・・（１）

ただし、α、βは、実験的に決めるパラメータであり、

は、デプスに関して３次元点ｐ_iが画素位置Ｉ（ｕ，ｖ）である尤度を表し、デプスが近い程、尤度は大きくなる（最大1.0）。また、Ｈ（ｐ_i，ｐ_j）は、3次元点ｐ_iと3次元点ｐ_jとの幾何的な関係、及び3次元点ｐ_iと3次元点ｐ_jに対応するカメラ画像上での画素位置の幾何的な関係の整合性に応じたペナルティ項であり、3次元点ｐ_iと3次元点ｐ_jとの幾何的な関係が、対応する画素位置の幾何的な関係と近い程、大きな値になる（最大1.0）。ｑ_i，ｑ_jは、３次元点ｐ_i，ｐ_jを透視投影した際に求めた２次元画素位置（２次元ベクトル）である。また、Ｃ（ｐ_i，Ｉ_uv）は、透視投影行列に基づいて３次元点ｐ_iの画素位置と、対応する画素位置Ｉ_uvとの距離が近いほど、大きな値になる。

また、ｄｅｐｔｈ（ｐ_i）は、カメラ視点から３次元点ｐ_iまでの光軸方向の距離であり、

は、3次元点ｐ_iが対応する画素位置Ｉ_uvにおけるデプス（光軸方向の距離）である。

上記（１）式に示すエネルギー関数を最適化問題として解けばよい。例えば、反復条件付きモード(ICM:iterated conditional modes)や確率伝搬法（belief propagation）を用いることで最適解が得られる。これにより、図３に示すように、デプスの尤度が高く、かつ、近傍の３次元点群との幾何的な関係性の整合性も担保するように、各３次元点に対応する画素位置を決定する。

なお、エネルギー関数は、上記の（１）式に限定されるものではなく、以下の（２）式であってもよい。

・・・（２）

透視投影行列の精度がよい場合には、上記の（１）式のように、Ｃ（ｐ_i，Ｉ_uv）の項を残したほうが良い。

そして、ステップＳ１０８では、上記ステップＳ１０６で各カメラ画像について推定された各３次元点の、当該カメラ画像の対応する画素位置に基づいて、各３次元点に付与する色を決定し、仮想的な視点から見た仮想画像を生成し、画像表示部９０により表示する。

例えば、まず、ステレオカメラが複数のカメラから構成されている場合、仮想的な視点に近いＮ個のカメラを検出する。例えば、距離がＴＨ_d[m]以下のカメラを検出する。そして、仮想的な視点の光軸とカメラの光軸とのなす角度、又は仮想的な視点とカメラ位置との距離に応じた重みを、検出されたカメラ毎に決定する（図４参照）。このとき、仮想的な視点の光軸とカメラの光軸とのなす角度が小さいほど、又は仮想的な視点とカメラ位置との距離が近いほど、当該カメラの重みを大きくする。

そして、仮想画像における、３次元点を表わす画素位置(u,v)毎に、決定された各カメラｋの重みと、当該３次元点に対応するカメラｋの画素位置(u’,v’)の色ＲＧＢ^(k)とに基づいて、仮想画像の画素位置(u,v)の色ＲＧＢ(u,v)を、以下の（３）式に従って算出する。

・・・（３）

ただし、重みｗ_kは、以下のいずれか一方の式に従って算出される。また、色ＲＧＢ(u,v)は、具体的には[r（赤）,g（緑）,b（青）]の３原色の色の成分の大きさを並べた３次元ベクトルとする。

ここで、θは、仮想的な視点の光軸とカメラの光軸とのなす角度であり、ｄは、仮想的な視点とカメラ位置との距離である。

例えば、上記図４の例で、仮想画像のある画素が示す３次元点に対応する画素の色が、カメラ番号１では、太陽光との向きの影響で薄暗い赤色であり、カメラ番号２では、太陽光との向きの影響で明るい赤色である場合、仮想的な視点が、カメラ１から２に近づくほど、仮想画像の当該画素は、明るい色と推定される。

以上説明したように、本実施形態に係る点群画素位置決定装置によれば、３次元点群と、カメラ画像の各画素におけるデプスとに基づいて、３次元点群の３次元点の各々に対応するカメラ画像の画素位置のデプスの尤度と、複数の３次元点の幾何的な関係、及び複数の３次元点に対応する画素位置の幾何的な関係の整合性とを考慮して、３次元点群の３次元点の各々に対応するカメラ画像の画素位置を決定することにより、３次元点の各々に対応するカメラ画像の画素位置を精度良く決定し、３次元点の各々に精度良く色を付与することができる。

なお、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。

例えば、複数のカメラにより撮影された複数の画像に基づいて、カメラ画像の各画素のデプスを推定したが、これに限定されるものではない。他のセンサを用いて、カメラ画像の各画素のデプスを推定してもよい。この場合には、複数のカメラではなく、１つのカメラのカメラ画像を入力としてもよい。

また、エネルギー関数において、３次元点群の３次元点の各々に対応するカメラ画像の画素位置のデプスの尤度だけを考慮するようにしてもよい。例えば、エネルギー関数Ｅを、上記（１）式又は（２）式から、Ｈ（ｐ_i，ｐ_j）の項を除いて構成してもよい。

また、エネルギー関数において、複数の３次元点の幾何的な関係、及び複数の３次元点に対応する画素位置の幾何的な関係の整合性だけを考慮するようにしてもよい。例えば、エネルギー関数Ｅを、上記（１）式又は（２）式から、Ｄ（ｐ_i，Ｉ_uv）の項を除いて構成してもよい。

１０ レーザー計測部
１２ 多眼カメラ計測部
２０ 演算部
２２ レーザー計測情報記憶部
２４ カメラ画像情報記憶部
２６ 点群画素位置決定部
２８ 点群色決定部
９０ 画像表示部
１００ 点群画素位置決定装置

Claims (5)

1. カメラにより撮影された画像における、カメラパラメータから算出された透視投影行列から、前記画像における画素位置と、入力された物体の表面上の位置を表す３次元点群の３次元点との対応を推定する第一点群画素位置決定部と、
   前記画像と前記カメラパラメータとから、前記画像における画素毎のデプスを推定するデプス推定部と、
   前記第一点群画素位置決定部により推定された前記対応と、前記３次元点群と、前記デプス推定部により推定された前記デプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する第二点群画素位置決定部
   を含み、
   前記第二点群画素位置決定部は、
   前記３次元点群の３次元点の各々に対応する前記画像の画素位置のデプスの尤度を表す値であって、対応する３次元点のデプスと画素位置におけるデプスとの差が小さいほど大きくなる値と、
   複数の３次元点の幾何的な関係、及び前記複数の３次元点に対応する画素位置の幾何的な関係の整合性を表す値であって、前記画素位置のペアと、対応する３次元点のペアとの相対位置関係が近いほど大きくなる値と、
   前記第一点群画素位置決定部により推定された画素位置と近い画素であるほど大きくなる値と、
   から得られる値が最適化されるよう前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する
   点群画素位置決定装置。
2. レンズ歪みもしくは計測時の振動に基づく誤差が抑制された、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を推定する請求項１記載の点群画素位置決定装置。
3. 前記第二点群画素位置決定部によって決定された前記３次元点群の３次元点の各々に対応する前記画像の画素位置に基づいて、前記３次元点群の３次元点の各々に付与する色を決定する点群色決定部を更に含む請求項１又は２記載の点群画素位置決定装置。
4. 第一点群画素位置決定部が、カメラにより撮影された画像における、カメラパラメータから算出された透視投影行列から、前記画像における画素位置と、入力された物体の表面上の位置を表す３次元点群の３次元点との対応を推定し、
   デプス推定部が、前記画像と前記カメラパラメータとから、前記画像における画素毎のデプスを推定し、
   第二点群画素位置決定部が、前記第一点群画素位置決定部により推定された前記対応と、前記３次元点群と、前記デプス推定部により推定された前記デプスとに基づいて、前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する
   ことを含み、
   前記第二点群画素位置決定部が決定することでは、
   前記３次元点群の３次元点の各々に対応する前記画像の画素位置のデプスの尤度を表す値であって、対応する３次元点のデプスと画素位置におけるデプスとの差が小さいほど大きくなる値と、
   複数の３次元点の幾何的な関係、及び前記複数の３次元点に対応する画素位置の幾何的な関係の整合性を表す値であって、前記画素位置のペアと、対応する３次元点のペアとの相対位置関係が近いほど大きくなる値と、
   前記第一点群画素位置決定部により推定された画素位置と近い画素であるほど大きくなる値と、
   から得られる値が最適化されるよう前記３次元点群の３次元点の各々に対応する前記画像の画素位置を決定する
   点群画素位置決定方法。
5. コンピュータを、請求項１〜請求項３の何れか１項に記載の点群画素位置決定装置の各部として機能させるためのプログラム。