JP6546898B2 - ３次元空間特定装置、方法、及びプログラム - Google Patents

Description

本発明は、３次元空間特定装置、方法、及びプログラムに係り、特に、検出対象物が存在する３次元空間を特定する３次元空間特定装置、方法、及びプログラムに関する。

従来より、複数のカメラ画像に映された検出対象物のシルエット（カメラ画像における検出対象物が存在する２次元の領域）を抽出することで、その物体の３次元空間中での位置を、ボクセルで表現した空間で求める方法が知られている（非特許文献１）。

秦真也、有田大作、谷口倫一郎、" 視体積交差法を用いた３Dモデルに基づく任意視点カラー画像生成"、火の国情報シンポジウム、pp.68 - 75、2003年.

しかしながら、非特許文献１に記載の技術は、固定したカメラで撮影することを前提としており、シルエットを取り出すために背景差分が行われる。日照変化などの背景画像の変化については事前に学習をすることで、頑健性を向上することができるが、移動体（車）に搭載されたカメラ画像の場合、背景画像が時々刻々と変化するために学習することが難しく、背景から前景画像領域を抽出する精度が低下する。つまり、本来は検出対象物がないような、誤った領域に検出対象物があると判定される可能性があるため、本技術を適用することは難しいという技術課題がある。

本発明は上記問題点を考慮してなされたものであり、移動体から計測された画像や3次元点群を用いて、検出対象物が存在する３次元空間を精度よく特定することができる３次元空間特定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の３次元空間特定装置は、撮影範囲が重複する複数の画像の各々を表示し、前記複数の画像の各々において、検出対象物が存在する領域の指定を受け付けるインターフェース部と、前記複数の画像の各々における領域の指定に基づいて、前記検出対象物が存在する３次元空間を特定する解析部と、を含んで構成されている。

本発明の３次元空間特定方法は、インターフェース部が、撮影範囲が重複する複数の画像の各々を表示し、前記複数の画像の各々において、検出対象物が存在する領域の指定を受け付け、解析部が、前記複数の画像の各々における領域の指定に基づいて、前記検出対象物が存在する３次元空間を特定する。

また、本発明のプログラムは、コンピュータを、上記の３次元空間特定装置の各部として機能させるためのものである。

本発明によれば、撮影範囲が重複する複数の画像の各々を表示し、複数の画像の各々において、検出対象物が存在する領域の指定を受け付け、検出対象物が存在する３次元空間を特定することにより、検出対象物が存在する３次元空間を精度よく特定することができる、という効果が得られる。

第１実施形態、第２実施形態の設備検出装置の概略構成の一例を示す構成図である。 第１実施形態、第２実施形態の設備検出装置により実行される事前処理の流れの一例を示すフローチャートである。 第１実施形態、第２実施形態の設備検出装置により実行されるインタラクティブ検出処理の流れの一例を示すフローチャートである。 カメラ画像を提示するＧＵＩ画面の一例を示す図である。 第１実施形態の設備検出装置により実行される再解析対象点群決定処理の流れの一例を示すフローチャートである。 カメラ画像上においてユーザーの操作により領域が指定された様子を示す図である。 指定された領域内にある点群を検出する方法を説明するための図である。 画像指定３Ｄ点を含む画像を抽出する方法を説明するための図である。 候補画像を提示するＧＵＩ画面の一例を示す図である。 選択された候補画像上においてユーザーの操作により領域が指定された様子を示す図である。 指定された領域により３次元空間を特定する方法を説明するための図である。 指定された領域により特定された３次元空間の３次元点群を決定する方法を説明するための図である。 第２実施形態の設備検出装置により実行される再解析対象点群決定処理の流れの一例を示すフローチャートである。 仮想画像の一例を示す図である。 複数の候補画像を提示するＧＵＩ画面の一例を示す図である。 選択された候補画像上においてユーザーの操作により領域が指定された様子を示す図である。 指定された領域により３次元空間を特定する方法を説明するための図である。 オルソ画像の一例を示す図である。 撮影範囲を表示したオルソ画像の一例を示す図である。 オルソ画像上においてユーザーの操作により領域が指定された様子を示す図である。 オクルージョンの影響が少ない視点の仮想画像の一例を示す図である。 オクルージョンの影響が少ない視点の仮想画像を求める方法を説明するための図である。 オクルージョンの影響が少ない視点の仮想画像を求める方法を説明するための図である。 従来技術により画像上での指定を行った様子を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態は本発明を限定するものではない。

［発明の概要］
まず、本発明の実施の形態における概要を説明する。

インフラ設備の老朽化が進む中で、膨大な設備の管理コスト削減に向けて、３次元点群を用いた設備の状態認識技術の開発が期待されている。ここで、設備の状態認識技術とは、例えば電柱の傾きやたわみの量、電線や通信線の最低地上高さを自動で計測する技術等のことである。例えば、特許文献１（特開２０１４−１５３３６号公報）のような技術があり、以降ではインフラ設備検出技術と呼ぶこととする。
ただし、これらのインフラ設備検出技術を用いても、計測条件によっては１００％の精度で推定することは難しい。

なぜなら、例えば、レーザースキャナを搭載した計測車（MMS）と被写体との距離が離れていると、計測された3次元点の密度が小さく、被計測表面積も小さくなるために高精度な形状推定をすることが難しくなるためである。

そのため、インフラ設備検出技術により推定された結果について、ビューアソフト（GUIインターフェース）を用いて、設備管理者が後処理として正しい情報か誤った情報であるか、を確認しつつ、その情報が正しければ設備管理DBに登録をする作業が必要となる。

このとき、誤って検出した設備の情報については、登録せずに無視（もしくは目視確認によりクリック等の簡易な操作により削除）すればよいが、検出漏れが生じている設備については、再度３次元点群を用いて解析処理をしなければならない。

そもそも計測した点群の質が悪いためにインフラ設備検出技術の結果が誤ってしまうシーン（３D点群データ）に対して、再度自動検出技術を適用しても精度の向上は難しく、人手により検出精度を向上させるための有用な情報を付与する必要がある。具体的にはそのシーンに含まれる検出対象物が何であるかを指定し、かつ検出対象物が入力されたシーン（3次元点群）のどの位置に存在するのか示すことが重要となる。

以上のことから、検出精度を向上するために、GUIインターフェース等により、検出対象物を指定することと、３次元点群の再解析範囲を決定して再度検出処理を実行すること、が必要である。

このとき、検出対象物の種類の指定はGUIにより簡易に行えるが、3次元空間を指定することは難しい。図２４に示すように、ＭＭＳ（Mobile Mapping System）で計測された１枚のカメラ画像上での「領域の指定」では、奥行方向の不確実性が残るため３次元空間における再解析範囲が決定されない。ここで、「領域の指定」とは、丸や四角、矩形等の図形や曲線などの線分を描くことで処理範囲を明示することを意味する。

そこで、本発明の実施の形態では、２枚以上のカメラ画像を用いることで、２次元画像上の領域を指定することで、再解析範囲を３次元空間として指定することを実現する。また、ユーザーが領域指定すべき画像は、システム側で自動的に選択もしくは生成して表示することで、効率的に設備管理DBを更新する作業を可能とする。

［実施形態の概説］
本実施形態の設備検出装置は、物体の表面上の位置を表す３次元点の集合である３次元点群と、複数の画像とを入力として、道路周辺の設備を検出することを目的とするものである。具体的には、本実施形態の設備検出装置は、道路周辺に存在する設備として、電柱、架線、マンホール、グレーチングなどを検出対象とする。

本実施形態における３次元情報とは、緯度、経度、及び海抜（高さ）情報でもよいし、ユーザーが設定した特定の位置を原点とした３次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザーが設定した原点における３次元ユークリッド座標系（各方向をＸ，Ｙ，Ｚ座標とする）を想定する。各座標の単位はメートル（ｍ）やセンチメートル（ｃｍ）、及びミリメートル（ｍｍ）で表現するが、他の単位でもよい。

３次元点とは、各点に上記の３次元座標に、その点群が撮影された時刻や、レーザーの反射強度や赤・青・緑等の色情報等が付与されている点である。３次元点に付与される情報に制限はないが、少なくとも位置情報（Ｘ，Ｙ，Ｚ座標）と時刻が付与されたものであり、３次元点群とはその３次元点が２点以上集まった集合である。

［第１実施形態］
＜第１実施形態の設備検出装置１００の構成＞
次に、第１実施形態の設備検出装置の構成について説明する。

図１に示すように、第１実施形態の設備検出装置１００は、入力部１０、演算部２０、及び画像出力部９０を備えている。

入力部１０は、画像出力部９０により出力されたＧＵＩ画面に対する、ユーザーによる操作を受け付ける。

演算部２０は、インターフェース部２２、解析部２４、画像生成部２６、及び記憶部２８を備えている。

インターフェース部２２は、画像出力部９０により出力されるＧＵＩ画面を描画すると共に、入力部１０により受け付けたユーザーによる操作の内容を把握する。

解析部２４は、予め用意された、物体の表面上の位置を表す３次元点の集合である３次元点群を解析して、道路周辺の設備を検出する。

画像生成部２６は、予め撮影された画像に対して、解析部２４による検出結果を反映して強調表示した強調表示画像を生成すると共に、強調表示画像と撮影範囲が重複する画像を取得し、生成した強調表示画像及び取得した画像が、ＧＵＩ画面に表示されるようにインターフェース部２２へ出力する。

記憶部２８は、３次元点群記憶部３０と、画像記憶部３２と、計測ルート記憶部３４と、設備情報記憶部３６とを備えている。

３次元点群記憶部３０は、３次元点群を計測する装置によって予め計測された、物体の表面上の位置を表す３次元点の集合である３次元点群を記憶している。３次元点群を計測する装置は、レーザースキャナ、レーザーレンジファインダ、超音波センサ、マイクロソフト社のＫｉｎｅｃｔ（登録商標）のような赤外線センサ、または超音波センサ等、被写体とセンサとの距離を測定可能な装置である。例えば、レーザースキャナをＧＰＳが搭載された車の上等に搭載し、移動しながら計測することで、屋外の環境の地物を被写体とし、例えば、ガードレール、道路地面、ケーブル、及び建物等であり、これら被写体表面の３次元位置を計測する。本実施形態では、３次元点群を計測する装置として、車上にＧＰＳとレーザースキャナとが搭載されているＭＭＳ（Mobile Mapping System）を想定している。なお、３次元点群を計測する装置は、ステレオカメラにより取得した奥行き情報から求めた３次元点群を出力するものであってもよい。

画像記憶部３２は、３次元点群を計測する装置による計測と共にカメラによって撮影された複数のカメラ画像が記憶されている。複数のカメラ画像には、撮影時に得られたカメラパラメータ（焦点距離、撮影位置、カメラ姿勢、撮影時刻）が付与されている。

計測ルート記憶部３４は、３次元点群を計測する装置による計測が行われたときに当該装置を搭載した車両が走行したルート情報を記憶している。

設備情報記憶部３６は、解析部２４によって検出された道路周辺の設備の情報を記憶している。また、設備情報記憶部３６は、道路周辺の設備の情報を格納した設備管理地図を記憶している。設備管理地図では、例えば、３次元空間上での道路周辺の各設備の情報が格納されている。

インターフェース部２２は、設備管理ＧＵＩ機能描画部３８と、ユーザーＧＵＩ操作内容把握部４０と、ＧＵＩ上画像描画部４２と、を備えている。

設備管理ＧＵＩ機能描画部３８は、ユーザーによって操作される、設備管理のためのＧＵＩ機能を、画像出力部９０によって出力されるＧＵＩ画面に描画する。例えば、ユーザーによるクリック操作のためのボタンなどをＧＵＩ画面に描画する。

ユーザーＧＵＩ操作内容把握部４０は、ユーザーによるＧＵＩ画面に対する操作の内容を把握する。

ＧＵＩ上画像描画部４２は、画像生成部２６により出力された画像を、画像出力部９０によって出力されるＧＵＩ画面に描画する。

解析部２４は、インフラ設備検出部４４と、再解析処理対象点群決定部４６とを備えている。

インフラ設備検出部４４は、３次元点群記憶部３０に記憶されている３次元点群に対して点群解析を行って、道路周辺の設備を検出する。３次元点群に対する解析方法としては、従来既知の手法を用いればよく、例えば、上記特許文献１に記載の手法を用いればよい。

また、インフラ設備検出部４４は、後述するように再解析処理対象点群決定部４６によって決定された再解析処理対象の３次元点群に対して点群解析を行って、道路周辺の設備を検出する。

再解析処理対象点群決定部４６は、３次元点群記憶部３０に記憶されている３次元点群から、ＧＵＩ画面上に表示された画像に対する、ユーザーによる領域指定に基づいて、指定された領域に含まれる３次元点を検出する。

再解析処理対象点群決定部４６は、ＧＵＩ画面上に表示された複数の画像に対する、ユーザーによる領域指定に基づいて、検出対象となる設備が存在する３次元空間を特定し、設備検出のための再解析処理対象となる３次元点群を決定する。

画像生成部２６は、強調表示画像生成部４８と、ユーザー指定補助画像生成部５０とを備えている。

強調表示画像生成部４８は、インフラ設備検出部４４によって検出された道路周辺の設備と、設備情報記憶部３６に記憶されている道路周辺の設備の情報とを比較し、画像記憶部３２に記憶されている画像に対して、比較結果に応じた強調表示を行った画像を生成し、ＧＵＩ画面上に表示される画像として、ＧＵＩ上画像描画部４２へ出力する。

ユーザー指定補助画像生成部５０は、画像記憶部３２に記憶されている画像から、再解析処理対象点群決定部４６によって検出された３次元点を含む撮影範囲の画像を取得し、ＧＵＩ画面上に表示される画像として、ＧＵＩ上画像描画部４２へ出力する。

なお、本実施形態の設備検出装置１００は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、後述する事前処理及びインタラクティブ検出処理を実行するためのプログラムや各種データを記憶したＲＯＭと（Read Only Memory）、を含むコンピュータで構成することが出来る。本実施形態のＣＰＵがプログラムを実行することにより、演算部２０が有する各部として機能する。

＜第１実施形態の設備検出装置１００の動作＞
次に、第１実施形態の設備検出装置１００の動作について説明する。

まず、３次元点群を計測する装置を搭載した車両が走行しながら、各時刻において、３次元点群を計測すると共に、カメラによって撮影し、得られた３次元点群が３次元点群記憶部３０に格納されると共に、撮影時に得られたカメラパラメータが付与された複数のカメラ画像が画像記憶部３２に記憶される。

次に、図２に示すように、本実施形態の設備検出装置１００において、事前処理が実行される。

ステップＳ１００で、インフラ設備検出部４４は、３次元点群記憶部３０に記憶されている３次元点群に対して点群解析を行って、道路周辺の設備を検出し、検出された道路周辺の設備の情報を設備情報記憶部３６に格納する。

ステップＳ１０２で、強調表示画像生成部４８は、上記ステップＳ１００で検出された道路周辺の設備の各々について、画像記憶部３２に記憶されている各カメラ画像の当該設備を表す領域を、強調表示領域として算出する。これにより、自動検出で１００％の精度で設備を検出することができないことに対応して、目視で確認して間違ったものや検出漏れを見つけることができる。

ステップＳ１０４で、設備情報記憶部３６に記憶されている設備管理地図に格納されている各設備の情報と、上記ステップＳ１００で検出された道路周辺の設備の情報とを比較して、乖離している部分を、画像記憶部３２に記憶されている各カメラ画像において、強調表示領域として算出する。また、画像記憶部３２に記憶されている各カメラ画像について、上記ステップＳ１０２、Ｓ１０４で算出された強調表示領域を強調表示した画像を生成し、画像記憶部３２に格納し、事前処理ルーチンを終了する。これにより、カメラ画像上に検出結果を分かりやすく表示することができるため、効率的に目視確認ができるようになる。

次に、図３に示すように、本実施形態の設備検出装置１００において、インタラクティブ検出処理が実行される。

まず、ステップＳ１１０で、画像記憶部３２に記憶されているカメラ画像の撮影時刻を処理対象の撮影時刻として更新する。あるいは、画像記憶部３２に記憶されているカメラ画像の最初の撮影時刻を、処理対象の撮影時刻として設定する。

ステップＳ１１２では、強調表示画像生成部４８は、上記ステップＳ１１０で更新された撮影時刻に対応するカメラ画像及びカメラパラメータを、画像記憶部３２から取得し、カメラ画像をＧＵＩ上画像描画部４２へ出力する。

ステップＳ１１４では、ＧＵＩ上画像描画部４２は、画像生成部２６により出力されたカメラ画像を、画像出力部９０によって出力されるＧＵＩ画面に描画する（図４参照）。このとき、当該カメラ画像における強調表示領域を、点滅や塗りつぶし等により強調する。

ステップＳ１１６では、入力部１０によって、ユーザーによる誤検出部分（強調表示領域）に対するクリック操作を受け付けて、設備情報記憶部３６から、当該誤検出部分の設備情報を削除する。このように、カメラ画像に対するクリック操作だけで、設備の誤検出を削除することができる。

ステップＳ１１８では、再解析対象点群を決定する処理を行う。ステップＳ１１８は、図５に示す処理ルーチンによって実現される。

ステップＳ１３０では、入力部１０によって、ＧＵＩ画面のカメラ画像上における、ユーザーによる検出対象となる設備が存在する領域を指定する操作を受け付ける（図６参照）。これにより、設備の検出漏れがある場合に、当該設備が存在する領域を指定することができる。

ステップＳ１３２では、再解析処理対象点群決定部４６は、上記ステップＳ１３０によって指定された領域と、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータとに基づいて、３次元点群記憶部３０に記憶されている３次元点群から、指定された領域の範囲内の３次元点（以下、画像指定３Ｄ点とも称する。）を検出する。例えば、図７に示すように、ユーザーにより指定された領域の各画素をデプス方向に延長したときに最も撮影位置から近くに存在する３次元点からなる点群を検出する。このとき、点群欠損やユーザーの指定領域の間違いにより後方に存在する物体にも画像指定３Ｄ点が現れる場合がある。

ステップＳ１３４では、再解析処理対象点群決定部４６は、画像記憶部３２に記憶されているカメラ画像及びカメラパラメータに基づいて、上記ステップＳ１３２で検出された画像指定３Ｄ点が写っているカメラ画像を候補画像として抽出し（図８参照）、ＧＵＩ上画像描画部４２により、抽出された各候補画像を、ＧＵＩ画面上に描画して、ユーザーに提示する（図９参照）。

ステップＳ１３６では、ユーザーによる候補画像の選択を受け付ける。例えば、ユーザーがクリック操作により何れか一つの候補画像を選択する（上記図９参照）。

ステップＳ１３８では、入力部１０によって、選択された候補画像上において、ユーザーによる検出対象となる設備が存在する領域を指定する操作を受け付ける（図１０参照）。

ステップＳ１４０では、再解析処理対象点群決定部４６は、上記ステップＳ１３０によって指定された領域と、上記ステップＳ１３８によって指定された領域と、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータと、上記ステップＳ１３６で選択された候補画像及びカメラパラメータとに基づいて、３次元点群記憶部３０に記憶されている３次元点群から、指定された２つの領域の重複領域となる３次元空間内の３次元点群を検出する（図１１参照）。

例えば、図１２に示すように、上記ステップＳ１３０によって指定された領域の画素をデプス方向に延長したときに最も撮影位置から近くに存在する３次元点の位置からΔＤの範囲と、上記ステップＳ１３８によって指定された領域の画素をデプス方向に延長したときに最も撮影位置から近くに存在する３次元点の位置からΔＤの範囲とで規定される３次元空間を特定し、特定された３次元空間内の３次元点群を検出する。

ステップＳ１４２では、強調表示画像生成部４８は、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータと、上記ステップＳ１４０で検出された３次元点群とに基づいて、検出された３次元点群を強調表示したカメラ画像を生成し、ＧＵＩ上画像描画部４２により、強調表示されたカメラ画像を、ＧＵＩ画面上に描画して、ユーザーに提示して、当該処理ルーチンを終了する。なお、上記ステップＳ１３６で選択された候補画像に対して、強調表示するようにしてもよい。

このように、検出漏れとなる設備については、３次元点群を用いて再解析する必要があるが、再解析する範囲を人手で教えてあげることで、精度良く検出することが可能となる。

そして、上記図３に示すインタラクティブ検出処理のステップＳ１２０において、入力部１０によって、ユーザーによる検出対象となる設備の種類の指定（上記図４参照）を受け付けると共に、再解析の実行指示を受け付けると、上記ステップＳ１４０によって検出された３次元点群に対して、再度、点群解析を行って、道路周辺の設備を検出し、検出された道路周辺の設備の情報を設備情報記憶部３６に格納する。

ステップＳ１２２で、検出漏れの設備がないか否かを判定する。ユーザーによる「次の時刻」ボタン（上記図４参照）に対するクリック操作を受け付けると、検出漏れの設備がないと判断し、ステップＳ１２４へ進む。一方、そうでない場合には、上記ステップＳ１１８へ戻り、再び、領域の指定を受け付ける。

ステップＳ１２４では、処理対象となっている撮影時刻が、画像記憶部３２に記憶されているカメラ画像の最後の時刻であるか否かを判定する。処理対象となっている撮影時刻が、画像記憶部３２に記憶されているカメラ画像の最後の時刻でない場合には、上記ステップＳ１１０へ戻り、処理対象の撮影時刻を、次のカメラ画像の撮影時刻に更新する。一方、処理対象となっている撮影時刻が、画像記憶部３２に記憶されているカメラ画像の最後の時刻である場合には、ステップＳ１２６で、設備情報記憶部３６に記憶されている設備管理地図を更新して、インタラクティブ検出処理を終了する。

以上説明したように、第１実施形態の設備検出装置１００によれば、撮影範囲が重複する複数の画像の各々を表示し、ユーザーの操作により、複数の画像の各々において、検出対象の設備が存在する領域の指定を受け付け、検出対象の設備が存在する３次元空間を特定することにより、検出漏れの設備が存在する３次元空間を精度よく特定することができ、３次元点群の再解析を行うことができる。

［第２実施形態］
次に、第２実施形態の設備検出装置について説明する。なお、第２実施形態の設備検出装置は、第１実施形態の設備検出装置と同様の構成であるため、同一符号を付して説明を省略する。

第２実施形態では、仮想視点から見た仮想画像を生成して、ユーザーに提示し、領域の指定を受け付ける点が、第１実施形態と異なっている。

＜第２実施形態の設備検出装置１００の構成＞
第２実施形態の設備検出装置１００の画像生成部２６は、予め撮影された画像に対して、解析部２４による検出結果を反映して強調表示した強調表示画像を生成すると共に、強調表示画像の撮影範囲を表す仮想画像を生成し、生成した強調表示画像及び生成した仮想画像が、ＧＵＩ画面に表示されるようにインターフェース部２２へ出力する。

再解析処理対象点群決定部４６は、ＧＵＩ画面上に表示された強調表示画像及び仮想画像に対する、ユーザーによる領域指定に基づいて、検出対象となる設備が存在する３次元空間を特定し、設備検出のための再解析処理対象となる３次元点群を決定する。

ユーザー指定補助画像生成部５０は、ユーザーによる領域指定がされたカメラ画像の撮影範囲を表す、仮想視点から見た仮想画像を取得し、ＧＵＩ画面上に表示される画像として、ＧＵＩ上画像描画部４２へ出力する。

＜第２実施形態の設備検出装置１００の動作＞
次に、第２実施形態の設備検出装置１００の動作について説明する。なお、第１実施形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、上記図２に示すように、第２実施形態の設備検出装置１００において、第１実施形態と同様に、事前処理が実行される。

そして、上記図３に示すように、第２実施形態の設備検出装置１００において、第１実施形態と同様に、インタラクティブ検出処理が実行される。

このとき、上記ステップＳ１１８の、再解析対象点群を決定する処理は、図１３に示す処理ルーチンによって実現される。

ステップＳ１３０では、入力部１０によって、ＧＵＩ画面のカメラ画像上における、ユーザーによる検出対象となる設備が存在する領域を指定する操作を受け付ける（上記図６参照）。

ステップＳ１３２では、再解析処理対象点群決定部４６は、上記ステップＳ１３０によって指定された領域と、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータとに基づいて、３次元点群記憶部３０に記憶されている３次元点群から、指定された領域の範囲内の３次元点（画像指定３Ｄ点）を検出する。

ステップＳ２００では、ユーザー指定補助画像生成部５０は、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータに基づいて、当該カメラ画像の撮影範囲の３次元領域を算出する（図１４参照）。

ステップＳ２０２では、ユーザー指定補助画像生成部５０は、３次元点群記憶部３０に記憶されている３次元点群から、上記ステップＳ２００で算出された撮影範囲の３次元領域に含まれる３次元点群を取得し、取得した３次元点群を、複数の仮想視点の各々から見た仮想画像を、候補画像として生成する。そして、ＧＵＩ上画像描画部４２により、生成された各候補画像を、ＧＵＩ画面上に描画して、ユーザーに提示する（図１５参照）。例えば、真上から見た仮想画像、斜め方向から見た仮想画像、ＭＭＳの走行軌跡に対して垂直方向から見た仮想画像を生成する。

ステップＳ２０４では、ユーザーによる仮想画像の選択を受け付ける。例えば、ユーザーがクリック操作により何れか一つの仮想画像を選択する（上記図１５参照）。

ステップＳ２０６では、入力部１０によって、選択された仮想画像上において、ユーザーによる検出対象となる設備が存在する領域を指定する操作を受け付ける（図１６参照）。

ステップＳ２０８では、再解析処理対象点群決定部４６は、上記ステップＳ１３０によって指定された領域と、上記ステップＳ２０６によって指定された領域と、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータと、上記ステップＳ２０４で選択された仮想画像及び仮想画像の視点方向とに基づいて、３次元点群記憶部３０に記憶されている３次元点群から、指定された２つの領域の重複領域となる３次元空間内の３次元点群を検出する（図１７参照）。

例えば、上記図１２に示すように、上記ステップＳ１３０によって指定された領域の画素をデプス方向に延長したときに最も撮影位置から近くに存在する３次元点の位置からΔＤの範囲と、上記ステップＳ１３８によって指定された領域の画素をデプス方向に延長したときに最も撮影位置から近くに存在する３次元点の位置からΔＤの範囲とで規定される３次元空間を特定し、特定された３次元空間内の３次元点群を検出する。

ステップＳ１４２では、強調表示画像生成部４８は、上記ステップＳ１１２で取得したカメラ画像及びカメラパラメータと、上記ステップＳ２０８で検出された３次元点群とに基づいて、検出された３次元点群を強調表示したカメラ画像を生成し、ＧＵＩ上画像描画部４２により、強調表示されたカメラ画像を、ＧＵＩ画面上に描画して、ユーザーに提示して、当該処理ルーチンを終了する。なお、上記ステップＳ２０４で選択された仮想画像に対して、強調表示するようにしてもよい。

なお、第２実施形態の設備検出装置１００の他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。

以上説明したように、第２実施形態に係る設備検出装置によれば、撮影範囲が重複するカメラ画像と仮想画像との各々を表示し、ユーザーの操作により、カメラ画像と仮想画像との各々において、検出対象の設備が存在する領域の指定を受け付け、検出対象の設備が存在する３次元空間を特定することにより、検出漏れの設備が存在する３次元空間を精度よく特定することができ、３次元点群の再解析を行うことができる。

なお、本実施形態は一例であり、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれ、状況に応じて変更可能であることは言うまでもない。

例えば、第２実施形態の設備検出装置１００は、複数の仮想画像を生成するのではなく、真上から見たオルソ画像のみを生成してもよい。例えば、ユーザー指定補助画像生成部５０は、上記ステップＳ１１２で取得したカメラ画像のカメラパラメータから、当該カメラ画像の撮影範囲を算出し、３次元点群記憶部３０に記憶されている３次元点群から、上記算出された撮影範囲の３次元空間に含まれる３次元点群を取得し、取得した３次元点群を、真上から見たオルソ画像を生成する（図１８参照）。このとき、路面設備（例えば、マンホールや区画線、グレーチング）が検出対象であれば、地面が再解析範囲となるため、地面より上空に存在する点群を除去するようにしてもよい。そして、ユーザー指定補助画像生成部５０は、上記ステップＳ１１２で取得したカメラ画像のカメラパラメータから、オルソ画像上における、当該カメラ画像の撮影範囲を決定する（図１９参照）。そして、ＧＵＩ上画像描画部４２により、生成されたオルソ画像を、ＧＵＩ画面上に描画して、ユーザーに提示し、入力部１０によって、オルソ画像上において、ユーザーによる検出対象となる設備が存在する領域を指定する操作を受け付ける（図２０）。

また、第２実施形態の設備検出装置１００は、複数の仮想画像を生成する際に、オクルージョンの影響が少ない視点から見た仮想画像を候補画像とするようにしてもよい（図２１参照）。ユーザーにより指定された領域に含まれる点群のうち、広い面積で存在する点群の領域が、検出対象の設備が存在する確率の高い領域であるため、この領域を広く映す視点の仮想画像を候補画像とするようにしてもよい。例えば、画像指定３Ｄ点からなる点群に対して、ｋ近傍点群によるクラスタリングを行い、クラスタが一定以上の大きさの箇所は、検出対象である確率は高いと判断する（図２２参照）。そして、図２３に示すように、画像指定３Ｄ点のクラスタの重心位置から仮想カメラ視点の方向に対して様々な候補画像を生成し、画像指定３Ｄ点がなるべくオクルージョンの影響を受けない視点の仮想画像を候補画像とすればよい。

また、道路周辺の設備を検出対象物とする場合を例に説明したが、これに限定されるものではなく、道路周辺の設備以外のものを検出対象物としてもよい。

１０ 入力部
２０ 演算部
２２ インターフェース部
２４ 解析部
２６ 画像生成部
２８ 記憶部
３０ ３次元点群記憶部
３２ 画像記憶部
３４ 計測ルート記憶部
３６ 設備情報記憶部
３８ 設備管理ＧＵＩ機能描画部
４０ ユーザーＧＵＩ操作内容把握部
４２ ＧＵＩ上画像描画部
４４ インフラ設備検出部
４６ 再解析処理対象点群決定部
４８ 強調表示画像生成部
５０ ユーザー指定補助画像生成部
９０ 画像出力部
１００ 設備検出装置

Claims (7)

1. 撮影位置が付与され、かつ、撮影範囲が重複する複数の画像の各々を表示し、前記複数の画像の各々において、検出対象物が存在する領域の指定を受け付けるインターフェース部と、
   ユーザー指定補助画像生成部と、
   前記複数の画像の各々における領域の指定に基づいて、前記検出対象物が存在する３次元空間を特定する解析部と、
   を含む３次元空間特定装置であって、
   前記インターフェース部は、一つの画像を表示し、前記一つの画像において、検出対象物が存在する領域の指定を受け付け、
   前記解析部は、予め用意された、物体の表面上の位置を表す３次元点の集合である３次元点群から、前記一つの画像における領域の指定に含まれる３次元点を検出し、
   前記ユーザー指定補助画像生成部は、前記複数の画像から、前記解析部によって検出された３次元点を含む撮影範囲の画像を取得し、
   前記インターフェース部は、前記ユーザー指定補助画像生成部によって取得した、前記解析部によって検出された３次元点を含む撮影範囲の画像を表示し、前記画像において、前記検出対象物が存在する領域の指定を受け付け、
   前記解析部は、前記一つの画像における領域の指定と、前記解析部によって検出された３次元点を含む撮影範囲の画像における領域の指定とに基づいて、前記検出対象物が存在する３次元空間を特定する
   ３次元空間特定装置。
2. 撮影位置が付与され、かつ、撮影範囲が重複する複数の画像の各々を表示し、前記複数の画像の各々において、検出対象物が存在する領域の指定を受け付けるインターフェース部と、
   ユーザー指定補助画像生成部と、
   前記複数の画像の各々における領域の指定に基づいて、前記検出対象物が存在する３次元空間を特定する解析部と、
   を含む３次元空間特定装置であって、
   前記インターフェース部は、一つの画像を表示し、前記一つの画像において、検出対象物が存在する領域の指定を受け付け、
   前記解析部は、前記一つの画像の撮影範囲に対応する３次元領域を算出し、
   前記ユーザー指定補助画像生成部は、予め用意された、物体の表面上の位置を表す３次元点の集合である３次元点群から、前記解析部によって算出された３次元領域に含まれる点群を取得し、取得した点群を表し、かつ、仮想的な視点から見た仮想画像を生成し、
   前記インターフェース部は、前記ユーザー指定補助画像生成部によって生成された仮想画像を表示し、前記仮想画像において、前記検出対象物が存在する領域の指定を受け付け、
   前記解析部は、前記一つの画像における領域の指定と、前記仮想画像における領域の指定とに基づいて、前記検出対象物が存在する３次元空間を特定する
   ３次元空間特定装置。
3. 前記仮想画像を、前記解析部によって算出された３次元領域に含まれる点群を、真上から見たオルソ画像とした請求項２記載の３次元空間特定装置。
4. 前記検出対象物を、道路周辺の設備とし、
   前記解析部は、更に、前記特定した前記検出対象物が存在する３次元空間に含まれる３次元点からなる点群を解析して、道路周辺の設備を検出する請求項１〜請求項３の何れか１項記載の３次元空間特定装置。
5. インターフェース部が、撮影位置が付与され、かつ、撮影範囲が重複する複数の画像のうちの一つの画像を表示し、前記一つの画像において、検出対象物が存在する領域の指定を受け付け、
   解析部が、予め用意された、物体の表面上の位置を表す３次元点の集合である３次元点群から、前記一つの画像における領域の指定に含まれる３次元点を検出し、
   ユーザー指定補助画像生成部が、前記複数の画像から、前記解析部によって検出された３次元点を含む撮影範囲の画像を取得し、
   前記インターフェース部が、前記ユーザー指定補助画像生成部によって取得した、前記解析部によって検出された３次元点を含む撮影範囲の画像を表示し、前記画像において、前記検出対象物が存在する領域の指定を受け付け、
   前記解析部が、前記一つの画像における領域の指定と、前記解析部によって検出された３次元点を含む撮影範囲の画像における領域の指定とに基づいて、前記検出対象物が存在する３次元空間を特定する
   ３次元空間特定方法。
6. インターフェース部が、撮影位置が付与され、かつ、撮影範囲が重複する複数の画像のうちの一つの画像を表示し、前記一つの画像において、検出対象物が存在する領域の指定を受け付け、
   解析部が、前記一つの画像の撮影範囲に対応する３次元領域を算出し、
   ユーザー指定補助画像生成部が、予め用意された、物体の表面上の位置を表す３次元点の集合である３次元点群から、前記解析部によって算出された３次元領域に含まれる点群を取得し、取得した点群を表し、かつ、仮想的な視点から見た仮想画像を生成し、
   前記インターフェース部が、前記ユーザー指定補助画像生成部によって生成された仮想画像を表示し、前記仮想画像において、前記検出対象物が存在する領域の指定を受け付け、
   前記解析部が、前記一つの画像における領域の指定と、前記仮想画像における領域の指定とに基づいて、前記検出対象物が存在する３次元空間を特定する
   ３次元空間特定方法。
7. コンピュータを、請求項１〜請求項４の何れか１項に記載の３次元空間特定装置の各部として機能させるためのプログラム。