JP5638578B2 - 観測支援装置、観測支援方法およびプログラム - Google Patents

Description

本発明の実施形態は、観測支援装置、観測支援方法およびプログラムに関する。

近年、様々な分野において、３次元モデルを作成するために、対象物の３次元形状を計測する要求が高まっている。例えば地図作成や建設工事においては、地形の形状を計測する要求があり、建造物の保守点検等を行う社会インフラ部門においては、建造物の形状を計測する要求がある。他にも、映像用などに使用するために対象物の形状を計測する要求や、品質確認のために製造品の形状を計測する要求などがある。これらの要求に応じて３次元形状の計測が行われる際に、正確な３次元モデルを得るためには、計測漏れを無くすことが特に重要である。例えば、対象物を撮影した方向を記録しておき、未撮影の方向を次回の撮影方向として通知することで、計測漏れを防ぐという従来技術が知られている。

特開２００８−１５４０２７号公報

しかしながら、上記の従来技術では、対象物を撮影方向の中心に配置し、対象物の外側の全周方向から撮影が行われることを前提としているので、例えば部屋の内部から壁面（対象物）を撮影する場合などの、対象物の内側から撮影を行う場合に対応できない。そのため、次回の適切な撮影方向を通知することができず、計測漏れが発生してしまうという問題がある。

本発明が解決しようとする課題は、３次元モデルの形成対象となる対象物の３次元形状の計測漏れを防止可能な観測支援装置、観測支援方法およびプログラムを提供することである。

実施形態の観測支援装置は、取得部と判定部と生成部とを備える。取得部は、３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する。判定部は、観測情報により特定される観測方向ベクトルと、対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを判定する。生成部は、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを示す完了情報を生成する。判定部は、観測部による観測の精度を特定可能な第１精度情報に応じて、観測方向ベクトルの長さを設定する。

実施形態の観測システムの概略構成例を示す図。 被観測方向ベクトルを説明するための図。 被観測方向立体物データの例を示す図。 内側から観測を行う場合の被観測方向立体物データの一例を示す図。 観測方向ベクトルと被観測方向ベクトルとの関係を説明するための図。 被観測方向立体物データの原点の設定方法の例を説明するための図。 被観測方向立体物データの原点の設定方法の例を説明するための図。 被観測方向立体物データの原点の設定方法の例を説明するための図。 被観測方向立体物データの原点の設定方法の例を説明するための図。 完了情報の一例を示す図である。 観測システムによる処理の一例を示すフローチャート。

以下、添付図面を参照しながら、本発明に係る観測支援装置、観測支援方法およびプログラムの実施形態を詳細に説明する。以下の説明では、実空間上の座標系を（Ｘ，Ｙ，Ｚ）で表し、鉛直方向をＺ軸、水平方向をＸ軸およびＹ軸に設定し、Ｘ軸方向とＹ軸方向とは互いに直交する。なお、これに限らず、実空間上における座標系の設定方法は任意である。

図１は、３次元モデルの形成対象となる対象物を観測する観測システム１の概略構成例を示す図である。本実施形態では、観測システム１による対象物の観測結果から、対象物の３次元形状を計測することができ、その計測結果から、対象物の３次元モデルを作成することができる。対象物の３次元モデルを作成する方法としては、公知の様々な技術を利用することができる。なお、３次元モデルとは、立体物の形状を表現可能なデータである。図１に示すように、観測システム１は、観測部１００と観測支援部２００と通知部３００とを備える。

観測部１００は、３次元モデルの形成対象となる対象物を観測する。例えば観測部１００は、カメラ、レーダ、レーザースキャナなどの対象物の３次元位置を計測可能な機器で構成され得る。また、例えば観測部１００がステレオカメラで構成され、３角測量の原理によって対象物の３次元位置を計測する形態であってもよい。

観測支援部２００は、取得部２１０と判定部２２０と生成部２３０とを含む。取得部２１０は、観測部１００による観測結果を示す観測データや、観測部１００の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する。観測方向ベクトルは、どの位置からどの方向に向けて観測を行ったかを示すベクトルであると捉えることもできる。また、上述の観測情報の例としては、観測部１００の観測時における位置や姿勢を示す情報などが挙げられる。

なお、観測部１００の観測時における位置や姿勢を求める方法は任意である。例えば、ＧＰＳ、加速度計、ジャイロなどを観測部１００に付属させて計測することもできる。また、外部から、カメラ等によって観測部１００の位置や姿勢を計測することもできる。さらに、取得した複数の観測データを用いて観測部１００の位置や姿勢を推定することもできる。例えば、複数のカメラにより撮影された画像を観測データとして用いる場合、実空間上の同じ場所がそれぞれの画像上でどの程度ずれているのかを示すずれ量から観測部１００（カメラ）の位置と姿勢を推定することもできる。なお、観測部１００の観測時における位置や姿勢を計測する方法は上述の方法に限られるものではなく、上述の方法以外の方法で位置や姿勢を計測してもよい。

判定部２２０は、観測情報により特定される観測方向ベクトルと、対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを判定する。より具体的には以下のとおりである。判定部２２０は、取得部２１０により取得された観測情報から、観測方向ベクトルを特定する。例えば観測情報が、観測部１００の位置・姿勢を示す情報である場合、判定部２２０は、観測部１００の位置・姿勢を示す情報を用いて観測方向ベクトルを算出することができる。なお、観測方向ベクトルの長さは任意に設定可能である。例えば観測方向ベクトルを単位ベクトルとして扱う場合、観測方向ベクトルの長さは１に設定されてもよい。

ここで、被観測方向ベクトルとは、対象物へ向かう方向を示すベクトル、つまり、対象物の少なくとも一部を観察可能な方向を示すベクトルである。また、被観測方向ベクトルとは、対象物を観測する際に良好な観測結果が得られる可能性の高い観測方向を示すベクトルであると捉えることもできる。以下、図２を参照しながら、被観測方向ベクトルについて説明する。

図２（ａ）は、３次元モデルを作成したい対象物の例を示す図である。図２（ｂ）の矢印は、あるＸＹ平面上での被観測方向ベクトルを示し、水平方向から対象物を観測する場合、水平面（ＸＹ平面）上の全周方向にわたって観測するのが好ましいことを表している。同様に、図２（ｃ）の矢印は、あるＹＺ平面上での被観測方向ベクトルを示す。さらに、図２（ｄ）は、予め定められた複数の被観測方向ベクトルと１対１に対応し、それぞれが、対応する被観測方向ベクトルと交差する複数の面から形成される立体物を示すデータ（以下、「被観測方向立体物データ」と呼ぶ）を、対象物を覆うようにして配置した様子を示す。

本実施形態では、図２（ｅ）に示すように、被観測方向立体物データを構成する複数の面の各々は、当該面に対応する１つの被観測方向ベクトルと直交しているが、面と被観測方向ベクトルとの交差の形態は直交に限られるものではない。また、本実施形態では、被観測方向立体物データは、予め不図示のメモリに格納されており、判定部２２０は、不図示のメモリから被観測方向立体物データを読み出して、後述の判定を行う。なお、被観測方向立体物データの格納先は任意であり、例えば外部のサーバ装置に被観測方向立体物データが格納される形態であってもよい。

後述するように、判定部２２０は、観測方向ベクトルと、対象物へ向かう被観測方向ベクトルとの一致度が高い場合に、当該被観測方向ベクトルが示す方向からの対象物の観測が完了したと判定する。例えば外側から対象物の形状を計測する場合、観測方向ベクトルは、対象物の外側から対象物に向かう、つまり対象物の内側へ向かうことが想定されるので、正確な判定を行うためには、被観測方向ベクトルも対象物の内側へ向かうように配置する必要がある。一方、例えば内側から対象物の形状を計測する場合、観測方向ベクトルは、対象物の内側から対象物に向かう、つまり対象物の外側へ向かうことが想定されるので、正確な判定を行うためには、被観測方向ベクトルも対象物の外側へ向かうように配置する必要がある。

図２の例では、対象物の外側から対象物の形状を計測する場合を想定しているので、対象物の周辺（外側）から対象物へ向かうように（内側へ向かうように）、被観測方向ベクトルが配置される。また、図２の例では、被観測方向立体物データの形状は楕円球であるが、これに限られるものではなく、例えば図３（ａ）に示すように三角錐であってもよいし、図３（ｂ）に示すように、直方体（立方体）であってもよい。また、先に被観測方向立体物データを定義して、被観測方向ベクトルを特定することもできる。例えば被観測方向立体物データを楕円球として定義し、その表面を適当に区切って対象物の配置を決定すれば、区切られた各面に被観測方向ベクトルを配置することができる。また、被観測方向ベクトルの長さは任意に設定可能である。例えば被観測方向ベクトルを単位ベクトルとして扱う場合、被観測方向ベクトルの長さは１に設定されてもよい。

また、図２の例では、被観測方向ベクトルの始点は、対応する面（当該被観測方向ベクトルが交差する面）上に配置されているが、これに限らず、例えば被観測方向ベクトルの終点が、対応する面上に配置されてもよいし、被観測方向ベクトルの途中の点が、対応する面上に配置されてもよい。

図２の例では、被観測方向立体物データの内側に対象物が配置されるが、このような被観測方向ベクトルの配置では、例えば部屋の内部から壁面（対象物）の形状を計測するなどの、対象物の内側から対象物の形状を計測する場合等に対応できない。そこで、対象物の内側から対象物の形状を計測する場合は、図４に示すように、対象物の内側から対象物へ向かうように、被観測方向ベクトルが配置される。図４の被観測方向ベクトルは、図２の例とは異なり外側を向いているので、対象物の内側から対象物の形状を計測する場合にも対応することができる。図４の例では、被観測方向立体物データの形状は球であるが、これに限られるものではない。

本実施形態では、観測支援部２００は、対象物の外側から対象物の形状を計測するのか、または、対象物の内側から対象物の形状を計測するのかを示す計測情報の入力を受け付け、判定部２２０は、受け付けた計測情報に従って、対応する被観測方向立体物データを不図示のメモリから取得する（読み出す）。例えば取得した計測情報が、外側から対象物の形状を計測することを示す場合、判定部２２０は、図２に示すような被観測方向立体物データ（内側へ向かうように配置された被観測方向ベクトルと交差する面から形成される被観測方向立体物データ）を取得する。一方、計測情報が、内側から対象物の形状を計測することを示す場合、判定部２２０は、図４に示すような被観測方向立体物データ（外側へ向かうように配置された被観測方向ベクトルと交差する面から形成される被観測方向立体物データ）を取得する。なお、判定部２２０が、上述の計測情報の入力を受け付ける形態であってもよいし、取得部２１０が、上述の計測情報の入力を受け付け、受け付けた計測情報を判定部２２０へ送る形態であってもよい。または、観測支援部２２０は、取得部２１０、判定部２２０とは別に、上述の計測情報の入力を受け付ける受付部を備えており、受付部で受け付けた計測情報を判定部２２０へ送る形態であってもよい。

なお、本実施形態では、被観測方向立体物データが配置される座標を(ｘ,ｙ,ｚ)で表し、この座標の原点（０，０，０）を被観測方向立体物の基準点（基準位置）と呼ぶことにし、特に記述しない場合、実空間上の座標の原点とスケールは、被観測方向立体物データが配置される座標の原点とスケールに一致するものとする。例えば、被観測方向立体物データの形状が図２に示すような楕円球の場合、基準点を楕円球の中心とすれば、以下の式１で表すことができる。

上記式１において、ａ，ｂ，ｃは、それぞれｘ軸，ｙ軸，ｚ軸方向の径の半分の長さを示す。

次に、判定部２２０による判定方法を説明する。図５の例では、観測方向ベクトルは、（ｃ）の被観測方向ベクトルに近い（一致度が高い）ので、（ｃ）の被観測方向ベクトルが示す方向を観測することができる。一方、観測方向ベクトルは、（ｄ）および（ｅ）の各々の被観測方向ベクトルとの一致度が低いので、（ｄ）および（ｅ）の各々の被観測方向ベクトルが示す方向を観測することはできない。つまり、観測方向ベクトルと被観測方向ベクトルとの一致度から、被観測方向ベクトルが示す方向からの対象物の観測が完了したか否かを判定することができる。

本実施形態では、判定部２２０は、被観測方向立体物データを構成する複数の面と１対１に対応する複数の被観測方向ベクトルごとに、当該被観測方向ベクトルと、観測方向ベクトルとの内積を算出し、その値が閾値以上の場合は、当該被観測方向ベクトルが示す方向からの対象物の観測が完了していると判定する。判定処理が終了すると、判定部２２０は、判定処理の結果を示す判定結果情報を生成部２３０へ送る。判定結果情報は、被観測方向立体物データを構成する面ごとに、当該面に交差する被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを示す情報であればよく、判定結果情報の形態は任意である。なお、閾値は内積の取り得る範囲に応じて任意に設定可能である。例えば被観測方向ベクトルおよび観測方向ベクトルの各々の長さが１であれば内積の最大値は１となるので、閾値としては、「０．５」や「０．８」などの値に設定すればよい。閾値が大きいほど、より精度が高い観測（３次元形状の計測）を要求することになり、閾値が小さいほど、粗く簡易な観測を要求することになる。

また、判定部２２０は、観測方向ベクトルと被観測方向ベクトルの長さを調整することで、観測の精度（言い換えれば、形状計測の精度）を調整することもできる。例えば被観測方向ベクトルの長さを大きくすると、観測部１００の観測方向が、被観測方向ベクトルが示す方向からずれていても、内積は大きな値になりやすい。つまり、閾値を超え易いので、大まかな形状計測が可能になる。逆に、被観測方向ベクトルの長さを小さくすると、観測方向ベクトルが示す方向と被観測方向ベクトルが示す方向とがほぼ一致しない限り内積の値は大きくならない。つまり、閾値を超えにくいので、結果として高精度の形状計測が可能になる。

さらに、判定部２２０は、観測部１００による観測の精度（例えば観測機器の性能や観測方法の精度等）に応じて、観測方向ベクトルの長さを可変に設定することもできる。例えば精度が高い観測機器を用いて観測を行う場合は、観測方向ベクトルの長さを大きい値に設定する一方、精度が粗い観測機器を用いて観測を行う場合は、観測方向ベクトルの長さを小さい値に設定することで、観測部１００による観測精度を内積の値に反映させることが可能になる。

例えば、一般にレーザーを用いた３次元計測は、音波を用いた計測よりもその精度は高い。そこで、レーザーを用いた計測を行う場合には観測方向ベクトルを大きくし、音波を用いた計測を行う場合には観測方向ベクトルを小さくすることが好適である。また、カメラを用いた計測を行う場合、カメラの解像度やレンズの性能によっても計測の精度は変化する。カメラの解像度が高く、レンズの性能が良い場合は、精度の高い計測が可能となるので、そのような場合は、観測方向ベクトルを大きくすることが好ましい。さらに、観測精度は、観測時の外環境の状態によっても変化する。例えば、カメラを用いた計測を行う場合、対象物までの距離が遠すぎたり、周囲が暗すぎたり、逆光状態で撮影しなければならない場合等は観測精度が落ちるので、このような場合は、観測方向ベクトルを小さくすることが好ましい。

また、例えば観測部１００としてステレオカメラを用いた計測では、一般に、対象物から離れて計測するほど、その計測精度は悪化することから、観測部１００と対象物までの距離Ｌに応じた重み係数ｗ（Ｌ）を観測方向ベクトルの長さに乗算してもよい。重み係数ｗ（Ｌ）は、例えば以下の式２で表すこともできる。式２の例では、重み係数ｗ（Ｌ）の値は、距離Ｌを引数とした正規分布に従う。

本実施形態では、観測支援部２００は、観測部１００による観測の精度を特定可能な第１精度情報の入力を受け付け、判定部２２０は、受け付けた第１精度情報に応じて、観測方向ベクトルの長さを設定する。上述したように、第１精度情報には、例えば観測機器の性能を示す情報や観測方法を示す情報、現在の外環境の状態を示す情報などが含まれ得る。判定部２２０は、受け付けた第１精度情報によって特定される精度が高いほど、観測方向ベクトルの長さが長くなるよう、観測方向ベクトルの長さを設定する。なお、判定部２２０が、上述の第１精度情報の入力を受け付ける形態であってもよいし、取得部２１０が、上述の第１精度情報の入力を受け付け、受け付けた第１精度情報を判定部２２０へ送る形態であってもよい。または、観測支援部２２０は、取得部２１０、判定部２２０とは別に、上述の第１精度情報の入力を受け付ける受付部を備えており、受付部で受け付けた第１精度情報を判定部２２０へ送る形態であってもよい。

さらに、判定部２２０は、ユーザが必要とする観測精度（被観測方向ベクトルが示す方向からの観測が完了したか否かの判定に要求される精度）に応じて、観測方向ベクトルの長さを設定することもできる。例えば、ユーザが、早く計測を済ませることを要求する場合（粗い精度の観測を要求する場合）は、観測方向ベクトルを大きくして、粗い精度で観測を行うことが考えられる。逆に、ユーザが、高精度の観測を要求する場合は、観測方向ベクトルを小さくして、より精密な観測を行うことが考えられる。このように、ユーザの求める観測精度を調整する場合は、観測方向ベクトルを調整するのではなく、被観測方向ベクトルを調整してやってもよい。精度の高い計測が要求される場合、被観測方向ベクトルを小さくし、粗い精度の計測が要求される場合は、被観測方向ベクトルを大きくすることが好ましい。これは、被観測方向ベクトルを調整した結果、相対的に観測方向ベクトルを調整したことになる。

本実施形態では、観測支援部２００は、ユーザが必要とする精度（被観測方向ベクトルが示す方向からの観測が完了したか否かの判定に要求される精度）を特定可能な第２精度情報の入力を受け付け、判定部２２０は、受け付けた第２精度情報に応じて、観測方向ベクトルまたは被観測方向ベクトルの長さを設定することができる。判定部２２０は、第２精度情報によって特定される精度が高いほど、観測方向ベクトルまたは被観測方向ベクトルの長さが小さくなるよう、観測方向ベクトルまたは被観測方向ベクトルの長さを設定する。なお、判定部２２０が、上述の第２精度情報の入力を受け付ける形態であってもよいし、取得部２１０が、上述の第２精度情報の入力を受け付け、受け付けた第２精度情報を判定部２２０へ送る形態であってもよい。または、観測支援部２２０は、取得部２１０、判定部２２０とは別に、上述の第２精度情報の入力を受け付ける受付部を備えており、受付部で受け付けた第２精度情報を判定部２２０へ送る形態であってもよい。

以上においては、実空間上の座標の原点とスケールは、被観測方向立体物データが配置される座標の原点とスケールに一致するものとして説明したが、実空間上の座標の原点やスケールが、被観測方向立体物データが配置される座標の原点やスケールに一致しない場合もあり得る。対象物および観測方向ベクトルは実空間上の座標系に存在するのに対して、被観測方向立体物データは別の座標系に存在することから、精度良く内積を計算するためには、２つの座標系の関係を決定する必要がある。以下では、原点同士の関係やスケールの調整方法、すなわち２つの座標系の関係を決定する方法について説明する。

まず、スケールの調整方法について説明する。ここでは、１回以上の観測によって得られた対象物の大きさから、スケールを調整する方法が好ましい。また、観測回数が増えるにしたがい、対象物の大きさに関するデータの精度は上がっていくことから、逐次スケールの調整および観測完了の判定を行っていくのがよい。そのほかにも、予めユーザがスケールを指定しておく方法もある。例えば図２に示すように、対象物の外側から対象物の形状を計測する場合は、観測方向ベクトルと被観測方向ベクトルとの内積を精度良く計算するためには、対象物を覆うように被観測方向立体物データが配置されることが望ましい。したがって、この場合、ユーザは、被観測方向立体物データが配置される座標系のスケールを、被観測方向立体物データが対象物を覆うことができるよう、十分な大きさに指定することもできる。

次に原点同士の関係について説明する。上述の説明とは異なり、実空間上の座標の原点と、被観測方向立体物データが配置される座標の原点とが一致しない場合もあり得るが、２つの原点の関係は、単純な平行移動やアフィン変換で表すことが可能であり、２つの座標系の変換は容易であることから、精度良く内積を計算することは可能である。

また、判定部２２０は、観測方向ベクトルに基づいて、被観測方向立体物データの原点（基準位置）を決定することもできる。例えば１回の観測で被観測方向立体物データの原点を設定するのであれば、観測方向ベクトルの延長線上に、被観測方向立体物データの原点を設定する方法が考えられる。その延長線上における原点の位置は任意に設定してもよいし、スケールから決めてもよい。また、例えば２回以上の観測から、被観測方向立体物データの原点を設定する場合は、以下の方法が考えられる。

例えば、観測回数が２回の場合、図６に示すように、１回目の観測における観測方向ベクトルの延長線と、２回目の観測における観測方向ベクトルの延長線との交点を、被観測方向立体物データの原点に設定することもできる。また、１回目の観測における観測方向ベクトルの延長線と２回目の観測における観測方向ベクトルの延長線とが交差しない場合は、図７に示すように、１回目の観測における観測方向ベクトルの延長線と２回目の観測における観測方向ベクトルの延長線に直交する線分Ｙの中点を、被観測方向立体物データの原点に設定することもできる。また、例えば観測方向ベクトルが外側へ向かう場合（対象物の内側から対象物の形状を計測する場合）は、図８に示すように、１回目の観測における観測方向ベクトルが向かう方向とは反対側へ延びる（この例では内側へ向かって延びる）延長線と、２回目の観測における観測方向ベクトルが向かう方向とは反対側へ延びる（この例では内側へ向かって延びる）延長線との交点を、被観測方向立体物データの原点に設定することもできる。

また、例えば観測回数が３回以上の場合、図９に示すように、１回目の観測における観測方向ベクトルの延長線、２回目の観測における観測方向ベクトルの延長線、および、３回目の観測における観測方向ベクトルの延長線の各々からの距離の和が最小となる点を、被観測方向立体物データの原点に設定することもできる。さらに、例えばそれまでに形成された３次元モデルの重心位置を、被観測方向立体物データの原点に設定することもできる。

再び図１に戻って説明を続ける。生成部２３０は、判定部２２０から受け取った判定結果情報（判定処理の結果を示す情報）に基づいて、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを示す完了情報を生成する。完了情報の種類は任意であり、例えば画像であってもよいし、音声であってもよい。本実施形態では、生成部２３０は、被観測方向立体物データの面ごとに、当該面と交差する被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを識別可能にした画像データを、完了情報として生成する。より具体的には、生成部２３０は、被観測方向立体物データを構成する面のうち、当該面に交差する被観測方向ベクトルが示す方向からの観測が完了したと判定（観測方向ベクトルと、当該面に交差する被観測方向ベクトルとの内積が閾値以上であると判定）された面に対して特定の色（例えば赤色等）を付加した画像データを、完了情報として生成する。

図１０は、生成部２３０により生成された完了情報の一例を示す図である。図１０では、対象物の外側から対象物の形状を計測する場合を例示しており、図１０の（ａ）に示すように、被観測方向立体物データは、対象物を覆うように配置される。図１０の（ｂ）に示す位置（観測スタート時における観測部１００の位置）から図１０の（ｃ）に示す位置（現時刻での観測部１００の位置）に至るまで、対象物の観測が連続的に行われた場合、図１０の（ｄ）および（ｅ）に示すように、被観測立体物データの上部の正面と裏面の一部の観測が完了していることになる。図１０の例では、観測が完了したと判定された面（観測方向ベクトルと、当該面に交差する被観測方向ベクトルとの内積が閾値以上であると判定された面）は、赤色に表示（図１０では斜線で表示）される。つまり、観測が完了したと判定された面については、当該面に交差する被観測方向ベクトルが示す方向からの観測が完了したことを示す識別情報として、赤色の色情報が付加される。一方、未だ観測が完了していないと判定された面（観測方向ベクトルと、当該面に交差する被観測方向ベクトルとの内積が閾値未満であると判定された面）については、色情報を付加することはしない。

以上のように、本実施形態では、生成部２３０は、被観測方向立体物データを構成する面のうち、観測が完了したと判定された面に対して赤色の色情報を付加した画像データを、完了情報として生成する。ここでは、生成部２３０は、（ｄ）の画像データと（ｅ）の画像データを、完了情報として生成する。

本実施形態では、被観測方向立体物データを構成する面のうち観測が完了したと判定された面については、赤色で表示することによって、観測が完了したことを示しているが、他の方法で、観測が完了していることを示すこともできる。例えば、網掛けや斜線等のパターンを重畳または表示したり、枠線で囲んだり、赤色以外の特定の色を重畳または表示したり、黒色で表示したり、点滅表示したりすることで、観測が完了したことを示すこともできる。さらに、図１０の例では、観測が完了したと判定された面に対して色情報を付加しているが、反対に、未だ観測が完了していないと判定された面に対して色情報を付加し、観測が完了したと判定された面に対して色情報を付加しないことによって、観測が完了した面を識別することもできるし、上記の各形態を任意に組み合わせても構わない。

以上のように、本実施形態では、生成部２３０は、被観測方向立体物データの面ごとに、当該面と交差する被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを識別可能にした画像データを、完了情報として生成しているが、これに限らず、例えば生成部２３０は、被観測方向ベクトルに色を付けるなどの処理を施した画像データを、完了情報として生成してもよい。要するに、完了情報は、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを示す情報であればよい。

また、図１０の例では、色情報が付加された被観測方向立体物データの各面は無地であるが、これに限らず、例えば観測時に得られた画像等のデータを各面に重畳してもよい。また、本実施形態では、色情報が付加された被観測方向立体物データを、正面と裏面の２視点から観察したように分けた画像データを生成しているが、さらに分けた画像データ（色情報が付加された被観測方向立体物データを３以上の視点から観察したように分けた画像データ）を生成してもよいし、色情報が付加された被観測方向立体物データが自動的に回転してすべての面が観察できるような画像データを生成してもよい。また、ユーザの指示に応じて、色情報が付加された被観測方向立体物データのうち表示される部分が変化する形態であってもよい。

また、生成部２３０は、完了情報とともに、現在の観測部１００の位置を示す現在位置情報を生成することもできるし、観測部１００の軌跡を示す軌跡情報を生成することもできる。また、生成部２３０は、未観測部分をより効率的に観測するための次回の観測場所を示す情報を生成することもできる。さらに、生成部２３０は、全ての観測が完了したかどうかを示す情報を生成することもできる。つまり、生成部２３０は、予め定められた複数の被観測方向ベクトルの各々が示す方向からの対象物の観測が全て完了したか否かを示す状況情報を生成することもできる。生成部２３０は、以上のようにして生成した情報（完了情報等）を、通知部３００へ送る。

再び図１に戻って説明する。通知部３００は、生成部２３０により生成された完了情報を、観測システム１のユーザに対して通知する。例えば本実施形態のように、完了情報が画像データである場合、通知部３００は、画像を表示可能な表示装置で構成され、通知部３００は、生成部２３０により生成された完了情報を表示する。これにより、生成部２３０により生成された完了情報がユーザに通知される。表示装置の種類は任意であり、例えば通常の２Ｄ用の表示装置であってもよいし、立体映像表示装置であってもよいし、平面ではない特殊なディスプレイを有する表示装置であってもよいし、プロジェクタなどの投影型表示装置であってもよい。なお、通知部３００は、例えば通常のＴＶのような形態であってもよいし、観測機器に備え付けられた表示パネルのような形態であってもよいし、ユーザが有する携帯端末に備え付けられた表示パネルのような形態であってもよい。さらに、通知部３００は、文字を表示し、または、音声を出力することによって、完了情報の通知を補助することもできる。

また、例えば完了情報が音声データの場合、通知部３００はスピーカなどで構成され、通知部３００は、生成部２３０により生成された完了情報を音声出力する。これにより、生成部２３０により生成された完了情報がユーザに通知される。つまり、通知の形態は任意であり、画像の表示であってもよいし、音声出力であってもよい。また、通知部３００は、生成部２３０により生成された完了情報以外の情報、例えば上述の現在位置情報や状況情報などを通知することもできる。これらの情報についても、通知部３００は、画像や文字などを表示することでユーザに通知する形態であってもよいし、音声出力によってユーザに通知する形態であってもよい。

図１１は、本実施形態の観測システム１による処理の一例を示すフローチャートである。図１１に示すように、まず観測部１００は、対象物の観測を行う（ステップＳ１１０）。取得部２１０は、観測部１００による観測結果を示す観測データや、観測方向ベクトルを特定可能な観測情報（例えば観測部１００の位置や姿勢などを示す情報）を取得する（ステップＳ１２０）。判定部２２０は、上述の判定処理を行う（ステップＳ１３０）。より具体的には、判定部２２０は、取得部２１０により取得された観測情報から、観測方向ベクトルを特定する。そして、判定部２２０は、被観測方向立体物データの面ごとに、特定した観測方向ベクトルと、当該面に交差する被観測方向ベクトルとの一致度（この例では内積）から、当該被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを判定する。この判定処理が終了すると、判定部２２０は、判定処理の結果を示す判定結果情報を生成部２３０へ送る。

生成部２３０は、判定部２２０からの判定結果情報に基づいて、完了情報を生成する（ステップＳ１４０）。そして、生成部２３０は、生成した完了情報を通知部３００へ送り、通知部３００は、生成部２３０から受け取った完了情報を通知する（ステップＳ１５０）。生成部２３０は、全ての被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを判定し（ステップＳ１６０）、全ての被観測方向ベクトルが示す方向のうち未だ観測されていない方向が存在すると判定した場合（ステップＳ１６０の結果：ＮＯの場合）、処理は上述のステップＳ１１０に戻される。一方、全ての被観測方向ベクトルが示す方向からの対象物の観測が完了していると判定された場合（ステップＳ１６０の結果：ＹＥＳの場合）、処理は終了する。

以上に説明したように、本実施形態では、観測方向ベクトルと、対象物へ向かう被観測方向ベクトルとの一致度から、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを判定するので、外側から対象物を観測する場合、または、内側から対象物を観測する場合の何れにおいても、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを正確に判定することができる。そして、被観測方向ベクトルが示す方向からの対象物の観測が完了しているか否かを示す完了情報を生成することにより、未だ観測を行っていない方向があるか否かを正確に示すことができる。したがって、本実施形態によれば、３次元モデルの形成対象となる対象物の３次元形状の計測漏れを防止できる。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述の各実施形態および変形例は任意に組み合わせることもできる。

例えば上述の実施形態では、観測方向ベクトルと被観測方向ベクトルとの一致度として内積を採用しているが、これに限らず、一致度の種類は任意である。例えば観測方向ベクトルと被観測方向ベクトルとの差分や外積を一致度として採用することもできる。観測方向ベクトルと被観測方向ベクトルとの差分や外積を一致度として採用する場合、判定部２２０は、算出した差分や外積の値が所定値未満の場合は、観測方向ベクトルは被観測方向ベクトルに近い、つまり、一致度が高いと判定し、当該被観測方向ベクトルが示す方向からの対象物の観測が完了していると判定することができる。

上述の実施形態の観測支援部２００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した観測支援部２００の各部（取得部２１０、判定部２２０、生成部２３０）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、各部（取得部２１０、判定部２２０、生成部２３０）の機能のうちの少なくとも一部を個別の専用回路（ハードウェア）で実現することもできる。なお、上述した観測支援部２００は、請求項の「観測支援装置」に対応する。

また、上述の実施形態の観測支援部２００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の実施形態の観測支援部２００で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の実施形態の観測支援部２００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

１ 観測システム
１００ 観測部
２００ 観測支援部
２１０ 取得部
２２０ 判定部
２３０ 生成部
３００ 通知部

Claims (11)

1. ３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する取得部と、
   前記観測情報により特定される前記観測方向ベクトルと、前記対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する判定部と、
   前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを示す完了情報を生成する生成部と、を備え、
   前記判定部は、前記観測部による観測の精度を特定可能な第１精度情報に応じて、前記観測方向ベクトルの長さを設定する、
   観測支援装置。
2. ３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する取得部と、
   前記観測情報により特定される前記観測方向ベクトルと、前記対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する判定部と、
   前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを示す完了情報を生成する生成部と、を備え、
   前記判定部は、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かの判定に要求される精度を特定可能な第２精度情報に応じて、前記観測方向ベクトルまたは前記被観測方向ベクトルの長さを設定する、
   観測支援装置。
3. 前記判定部は、予め定められた複数の前記被観測方向ベクトルと１対１に対応し、それぞれが、対応する前記被観測方向ベクトルと交差する複数の面から形成される被観測方向立体物データの前記面ごとに、前記観測方向ベクトルと、当該面に交差する前記被観測方向ベクトルとの一致度から、当該面に交差する前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する、
   請求項１または２の観測支援装置。
4. 前記生成部は、前記面ごとに、当該面と交差する前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを識別可能にした画像データを、前記完了情報として生成する、
   請求項３の観測支援装置。
5. 前記一致度は、前記観測方向ベクトルと前記被観測方向ベクトルとの内積である、
   請求項１または２の観測支援装置。
6. 前記判定部は、前記観測方向ベクトルと前記被観測方向ベクトルとの内積の値が閾値以上の場合は、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了していると判定する、
   請求項５の観測支援装置。
7. 前記判定部は、前記観測方向ベクトルに基づいて、前記被観測方向立体物データの基準位置を決定する、
   請求項３の観測支援装置。
8. ３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する取得ステップと、
   前記観測情報により特定される前記観測方向ベクトルと、前記対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する判定ステップと、
   前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを示す完了情報を生成する生成ステップと、を含み、
   前記判定ステップでは、前記観測部による観測の精度を特定可能な第１精度情報に応じて、前記観測方向ベクトルの長さを設定する、
   観測支援方法。
9. ３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する取得ステップと、
   前記観測情報により特定される前記観測方向ベクトルと、前記対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する判定ステップと、
   前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを示す完了情報を生成する生成ステップと、を含み、
   前記判定ステップでは、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かの判定に要求される精度を特定可能な第２精度情報に応じて、前記観測方向ベクトルまたは前記被観測方向ベクトルの長さを設定する、
   観測支援方法。
10. コンピュータを、
    ３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する取得手段と、
    前記観測情報により特定される前記観測方向ベクトルと、前記対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する判定手段と、
    前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを示す完了情報を生成する生成手段として機能させ、
    前記判定手段は、前記観測部による観測の精度を特定可能な第１精度情報に応じて、前記観測方向ベクトルの長さを設定する、
    観測支援プログラム。
11. コンピュータを、
    ３次元モデルの形成対象となる対象物を観測する観測部の観測方向を示す観測方向ベクトルを特定可能な観測情報を取得する取得手段と、
    前記観測情報により特定される前記観測方向ベクトルと、前記対象物へ向かう方向を示す被観測方向ベクトルとの一致度から、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを判定する判定手段と、
    前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かを示す完了情報を生成する生成手段として機能させ、
    前記判定手段は、前記被観測方向ベクトルが示す方向からの前記対象物の観測が完了しているか否かの判定に要求される精度を特定可能な第２精度情報に応じて、前記観測方向ベクトルまたは前記被観測方向ベクトルの長さを設定する、
    観測支援プログラム。

Images