JP6652253B2 - 三次元被写体形状推定装置 - Google Patents

Description

本発明は、三次元被写体形状推定装置に関する。

自然災害や土木施工、あるいは鉱山等の現場では、日々繰り返される測量がもっとも重要なタスクである。そして、現場では測量の技術改良が強く望まれている。
一般的な測量はレーザースキャニングが利用されているが、機材が高価な上に取り扱いが難しいという短所がある。また、レーザースキャニングによって得られるデータは点データであるので、現場の全体像を把握する用途には不十分である。したがって、今日の現場では多くの場合、レーザースキャニングと写真撮影が併用されている。

一方、近年の画像処理技術及びコンピュータ処理速度の向上により、フォトグラメトリーが注目を集め始めている。フォトグラメトリー技術は、様々な角度から撮影した写真から、その画像や位置を精密にデータ化し、そこからリアルな三次元オブジェクトを再現する技術である。
なお、非特許文献１には、本発明において使用するフォトグラメトリー技術を実現するオープンソースソフトウェアが開示されている。

「Bundler: Structure from Motion (SfM) for Unordered Image Collections」Noah Snavely［２０１５年１２月２４日検索］、インターネット＜URL:http://www.cs.cornell.edu/~snavely/bundler/＞

上記の非特許文献１に開示されている技術を含め、現在、インターネットで入手可能なフォトグラメトリー技術のプログラムは、実世界中でのサイズが既知である建造物等を撮影した写真を対象に処理を行うように作られているため、撮影対象のサイズを再現することについては重要視されていない。
しかしながら、測量の現場では撮影対象の実世界中でのサイズこそが重要な情報である。そのため、一部の現場では、フォトグラメトリー技術を導入する際、撮影対象となる空間に、実世界中でのサイズが既知の基準物体を設置し、それと撮影対象を一緒に撮影することで、被写体の実世界中でのサイズを把握することが行われている。しかし、撮影対象となる空間が極めて広範囲な場合、基準物体の設置が困難となり、被写体の実世界中でのサイズを把握することが困難であった。

また、レーザースキャニングによって被写体の実世界中でのサイズを別途計測し、それを用いてフォトグラメトリー技術で生成した被写体オブジェクトの実世界中でのサイズを算出する（スケーリングパラメータを求める）手法も提案されている。しかし、フォトグラメトリー技術の最大の利点はカメラのみで被写体の三次元オブジェクトを生成できるという手軽さと低コストであり、レーザースキャニングの導入はその手軽さを大幅に損ねてしまう。

本発明はかかる点に鑑みてなされたものであり、極めて容易かつ安価な手法で、フォトグラメトリー技術で生成された実世界中でのサイズが未知の被写体の三次元オブジェクトに実世界中でのサイズを導入できる、三次元被写体形状推定装置を提供することを目的とする。

上記課題を解決するために、本発明の三次元被写体形状推定装置は、所定の撮影対象を第一の撮影ポイントにて撮影した画像データを含む第一画像ファイルと、撮影対象を第一の撮影ポイントとは異なる第二の撮影ポイントにて撮影した画像データを含む第二画像ファイルとを含む画像ファイル群を読み込み、画像ファイル群における画像データからそれぞれ特徴点を抽出し、画像ファイル群における特徴点の二次元座標情報よりなる特徴点データを出力する特徴点抽出部と、特徴点データを読み込み、画像ファイル群を構成する画像ファイルの数に一致するカメラの数と、特徴点データに存在する全ての特徴点の数と、仮想三次元空間内におけるカメラの位置を表す情報と、仮想三次元空間内における特徴点の位置を表す情報とを有する相対三次元特徴データを出力するフォトグラメトリー処理部とを具備する。データ変換処理部は、相対三次元特徴データに含まれる、第一画像ファイル及び第二画像ファイルに紐付けられるカメラの位置を表す情報に対し、第一の撮影ポイントと第二の撮影ポイントとの間の距離を与えて演算処理を行うことで、仮想三次元空間を絶対距離にて定められる三次元空間に変換する。

本発明によれば、極めて容易な手法で、実世界中でのサイズが未知のフォトグラメトリー技術に実世界中でのサイズを導入できる、三次元被写体形状推定装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態の例である三次元被写体形状推定装置に供給するための画像データを作成する手順の概要を示す概略図である。 画像ファイルを作成する第一の手順と、第一の手順で作成された画像ファイルを示す概略図である。 画像ファイルを作成する第二の手順と、第二の手順で作成された画像ファイルを示す概略図である。 携帯型無線端末と情報処理装置のハードウェア構成を示すブロック図である。 情報処理装置のソフトウェア機能を示すブロック図である。 別の形態における情報処理装置の、ソフトウェア機能を示すブロック図である。 別の形態における情報処理装置の、ソフトウェア機能を示すブロック図である。 絶対距離が与えられる前の、オブジェクトが表示部に表示されている例を示す概略図と、第一の手順または第二の手順で、絶対位置が与えられた状態の、オブジェクトが表示部に表示されている例を示す概略図と、第一の手順で、絶対位置に加え、カメラの緯度、経度、高度が与えられた状態の、オブジェクトが表示部に表示されている例を示す概略図である。

本発明の実施形態に係る三次元被写体形状推定装置は、フォトグラメトリー技術として、非特許文献１に開示されているＳＦＭ（Structure from Motion）という技術を用いる。ＳＦＭは仮想三次元空間内に推定した三次元オブジェクトを再現する技術であるが、そのオブジェクトには実世界中でのサイズが未知である。三次元被写体形状推定装置は、最低２個の画像ファイルを撮影したカメラの相対距離情報をこの三次元オブジェクトに与えることで、オブジェクトの大きさを算出する。

［全体構成］
図１は、本発明の実施形態の例である三次元被写体形状推定装置に供給するための画像ファイルを作成する手順の概要を示す概略図である。
撮影者１０１は、撮影対象の現場１０２を、最低２箇所以上の撮影ポイントからデジタルカメラにて撮影することで、現場１０２の画像ファイルを作成する。今日、撮像素子を内蔵するスマートフォン等の携帯型無線端末１０３が普及しているので、これを使用することもできる。但し、撮影の際、最低限、２箇所の撮影ポイント間の距離を取得する必要がある。望ましくは、２箇所の撮影ポイントの緯度、経度、高度が判っているとなおよい。
図１では、撮影者１０１は、第一撮影ポイントＰ１０４、第二撮影ポイントＰ１０５、そして第三撮影ポイントＰ１０６にて、現場１０２を撮影し、画像ファイルを取得している。その際、第一撮影ポイントＰ１０４と第二撮影ポイントＰ１０５の間の距離を取得するか、あるいは第一撮影ポイントＰ１０４と第二撮影ポイントＰ１０５の緯度、経度、高度を取得する。

図２Ａは、画像ファイルを作成する第一の手順を示す概略図である。
図２Ａにおいて、撮影者１０１は第一撮影ポイントＰ１０４で携帯型無線端末１０３を用いて撮影対象の現場１０２を撮影すると共に、携帯型無線端末１０３に内蔵されているＧＰＳ受信部４１０（図４Ａ参照）を稼働させて、第一撮影ポイントＰ１０４の緯度、経度及び高度を取得する。
更に、撮影者１０１は第二撮影ポイントＰ１０５においても、第一撮影ポイントＰ１０４と同様に携帯型無線端末１０３を用いて撮影対象の現場１０２を撮影すると共に、携帯型無線端末１０３に内蔵されているＧＰＳ受信部４１０を稼働させて、第一撮影ポイントＰ１０４の緯度、経度及び高度を取得する。
撮影者１０１は、第三撮影ポイントＰ１０６においては、携帯型無線端末１０３を用いて撮影対象の現場１０２を撮影するが、その際、携帯型無線端末１０３に内蔵されているＧＰＳ受信部４１０を稼働させる必要はない。

図２Ｂは、第一の手順で作成された画像ファイルを示す概略図である。
周知のＪＰＥＧフォーマットである第一画像ファイル２０１には、第一撮影ポイントＰ１０４にて撮影した画像データと共に、周知のＥＸＩＦ（Exchangeable image file format）に従って、ＧＰＳ受信部４１０で取得した、第一撮影ポイントＰ１０４の緯度、経度、高度情報が記録されている。
第二画像ファイル２０２には、第二撮影ポイントＰ１０５にて撮影した画像データと共に、ＥＸＩＦに従って、ＧＰＳ受信部４１０で取得した、第二撮影ポイントＰ１０５の緯度、経度、高度情報が記録されている。
第三画像ファイル２０３には、第三撮影ポイントＰ１０６にて撮影した画像データが記録されている。
なお、緯度、経度、高度情報はＥＸＩＦの他、ＸＭＰ（Extensible Metadata Platform）を用いたり、あるいは画像ファイルとは別にテキストファイル等で画像ファイルのファイル名と紐付けて記録してもよい。勿論、画像ファイルフォーマットもＪＰＥＧに限らない。

図３Ａは、画像ファイルを作成する第二の手順を示す概略図である。
図３Ａにおいて、撮影者１０１は第一撮影ポイントＰ１０４で携帯型無線端末１０３を用いて撮影対象の現場１０２を撮影する。
次に、撮影者１０１はロープ等の相対距離把握具３０５を用いて、第一撮影ポイントＰ１０４から一定の距離だけ離れた第二撮影ポイントＰ１０５を定める。そして、第二撮影ポイントＰ１０５においても第一撮影ポイントＰ１０４と同様に携帯型無線端末１０３を用いて撮影対象の現場１０２を撮影する。
撮影者１０１は、第三撮影ポイントＰ１０６においては、携帯型無線端末１０３を用いて撮影対象の現場１０２を撮影するが、その際、相対距離把握具３０５を用いて第三撮影ポイントＰ１０６を定める必要はない。任意の場所を第三撮影ポイントＰ１０６として定めて撮影してよい。

図３Ｂは、第二の手順で作成された画像ファイルと付加情報を示す概略図である。
周知のＪＰＥＧフォーマットである第一画像ファイル３０１には、第一撮影ポイントＰ１０４にて撮影した画像データが記録されている。
同様に、第二画像ファイル３０２には、第二撮影ポイントＰ１０５にて撮影した画像データが、第三画像ファイル３０３には、第三撮影ポイントＰ１０６にて撮影した画像データが記録されている。
これら画像ファイルとは別に、テキストファイル３０４が別途設けられる。このテキストファイル３０４には、第一画像ファイル３０１のファイル名と、第二画像ファイル３０２のファイル名と、第一撮影ポイントＰ１０４と第二撮影ポイントＰ１０５との間の距離、すなわち相対距離把握具３０５の長さが記録されている。相対距離把握具３０５の長さは、例えば１ｍである。

［ハードウェア］
図４Ａは、携帯型無線端末１０３のハードウェア構成を示すブロック図である。
携帯型無線端末１０３は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、不揮発性ストレージ４０４、表示部４０５、そして操作部４０６が、バス４０７に接続されている。携帯型無線端末１０３は更に、撮像素子４０８、図示しないアクセスポイントを通じて図示しないインターネットに接続するための無線通信部４０９、衛星の電波を受信して測位情報を出力するＧＰＳ受信部４１０を備える。表示部４０５と操作部４０６は周知のタッチパネルディスプレイ４１１を構成する。

撮影対象の現場１０２を撮影する機器の一例として、携帯型無線端末１０３を挙げたが、通信機能を有しないデジタルカメラであってもよい。デジタルカメラにＧＰＳ受信部４１０が備わっている場合は第一の手順を実行できるが、ＧＰＳ受信部４１０が備わっていない場合は第二の手順のみが実行されることとなる。また、ＧＰＳ受信部４１０がないデジタルカメラにＧＰＳ受信機を接続するか、デジタルカメラとＧＰＳ受信機をそれぞれ持ち歩き、撮影と同時に測位を実行することにより、第一の手順を遂行するようにしてもよい。

図４Ｂは、一般的なパソコンである情報処理装置４２０のハードウェア構成を示すブロック図である。
この情報処理装置４２０は、ＣＰＵ４２１、ＲＯＭ４２２、ＲＡＭ４２３、不揮発性ストレージ４２４、表示部４２５、そして操作部４２６が、バス４２７に接続されている。また、携帯型無線端末１０３から画像ファイル等を受信するために、図示しないインターネットに接続するためのＮＩＣ４２８、ＵＳＢ等のシリアルインターフェース４２９が接続されている。

本発明の実施形態に係る三次元被写体形状推定装置は、複数の画像ファイルをＳＦＭにて処理する。ＳＦＭは演算量が多いので、ＳＦＭを実施する機械は演算能力が高いパソコン等の情報処理装置４２０が好ましい。この場合は、携帯型無線端末１０３から画像ファイルを情報処理装置４２０に転送して、当該情報処理装置４２０でＳＦＭを含む演算処理を実行する。また、パソコンに携帯型無線端末１０３を外部不揮発性ストレージとして接続し、当該パソコンでＳＦＭを含む演算処理を実行してもよい。この場合、情報処理装置４２０が三次元被写体形状推定装置となる。

しかし、近年の携帯型無線端末１０３は演算能力が向上している。ＤＳＰやＧＰＵを搭載した携帯型無線端末１０３であれば、パソコンに近い実行速度にてＳＦＭを実行できる可能性がある。その場合、携帯型無線端末１０３単体で撮影作業から演算処理も完結するので、携帯型無線端末１０３が三次元被写体形状推定装置となる。
すなわち、三次元被写体形状推定装置は、計算機資源があれば、如何なる形態でもよいし、また何処で実行してもよい。

［ソフトウェア］
図５は、情報処理装置４２０のソフトウェア機能を示すブロック図である。
画像ファイル群５０２は、不揮発性ストレージ４２４に格納された画像ファイル２０１、２０２及び２０３、または画像ファイル３０１、３０２及び３０３である。
特徴点抽出部５０１は画像ファイル群５０２を読み込み、画像ファイル群５０２を構成する各々の画像ファイル中の画像データから特徴点を抽出し、画像ファイルにおける特徴点の二次元座標情報よりなる特徴点データを出力する。また、画像ファイル群５０２に含まれる画像ファイルをリスト化した画像リストを作成する。この特徴点データはＳＦＭ処理部５０３に読み込まれる。
ＳＦＭ処理部５０３は、フォトグラメトリー処理部ともいえるものであり、例えば非特許文献１に開示されるプログラムで構成される複数の画像ファイルに紐付けられる特徴点データ同士の、一致するものを推定演算し、特徴点データを仮想三次元空間内に復元することにより、相対三次元特徴データ５０４を作成する。ここで、仮想三次元空間とは、特徴点データの相対的な位置関係を表現する仮想空間であり、絶対的な長さが存在しない（実世界中でのサイズを特定できない）仮想的な空間を意味する。この、画像ファイル群５０２から特徴点抽出部５０１とＳＦＭ処理部５０３によって相対三次元特徴データ５０４を得る処理までは、従来から知られている技術である。

ここで、相対三次元特徴データ５０４の内訳を簡単に説明する。この内訳は、例えば非特許文献１及び次のｗｅｂ文書に記述されている。＜Instruction of "Bundler" URL: http://www.ite.or.jp/data/journal/passed_issues/tool1104/ ＞
相対三次元特徴データ５０４は、以下の要素よりなる。
＜１＞カメラ数ｋ（画像ファイルの数に等しい。）
＜２＞特徴点数ｎ
＜３＞０〜ｋ−１番目の画像ファイルを生成（撮影）したカメラの、仮想三次元空間内における焦点距離、歪パラメータ、カメラの姿勢を表す回転行列、カメラの位置を表す並進ベクトル（行列）
＜４＞０〜ｎ−１番目の特徴点の、仮想三次元空間内における位置、色、当該特徴点に対応する点が写っている画像ファイルの数、カメラ番号と当該カメラ画像内における二次元特徴点番号とＸ・Ｙ座標
なお、ｋとｎは自然数である。

上述したように、相対三次元特徴データ５０４の内訳には、画像ファイルを撮影したカメラの、仮想三次元空間内における位置情報が含まれている。
一般に、画像ファイルを撮影したカメラについては、仮想三次元空間内における相対位置が判るものの、その絶対距離は判らないままである。したがって、あるカメラとカメラとの間の絶対距離が判れば、絶対距離の概念がない仮想三次元空間を、絶対距離を有する三次元空間に変換することが可能になる。この結果、特徴点で得られる被写体の大きさも判ることとなる。

すなわち、特徴点抽出部５０１が作成した画像リストと、相対三次元特徴データ５０４とを突き合わせることで、画像ファイル群５０２に存在する画像ファイルと、相対三次元特徴データ５０４内のカメラ番号を紐付けることが可能になる。したがって、相対距離が判明している２個の画像ファイルがどのカメラ番号に該当するのかが判る。

上述の通り、画像ファイル群５０２から特徴点抽出部５０１とＳＦＭ処理部５０３によって相対三次元特徴データ５０４を得る処理までは、従来から用いられている技術である。
一方、カメラ間距離付与部５０５は、画像ファイル群５０２または別途テキストファイル３０４等から、二つの画像ファイルを撮影した地点間の距離を算出して、カメラを示す画像ファイル名と共に、データ変換処理部５０６に与える。

カメラ間距離付与部５０５の処理内容は、図２にて説明した第一の手順と、図３にて説明した第二の手順とで、少し異なる。
画像ファイル群５０２が第一の手順で撮影したものである場合は、カメラ間距離付与部５０５は、画像ファイル群５０２からＥＸＩＦまたはＸＭＰが記録されている最低２個の画像ファイルを抽出し、この抽出した２個の画像ファイルから、それぞれの緯度、経度、高度を取得する。そして、その２地点間の距離を算出するとともに、画像ファイルのファイル名と距離をデータ変換処理部５０６に与える。ＥＸＩＦやＸＭＰ以外に、テキストファイル３０４等で画像ファイルのファイル名と緯度、経度、高度が記録されていても同様の処理内容になる。
画像ファイル群５０２が第二の手順で撮影したものである場合は、カメラ間距離付与部５０５は、画像ファイル群５０２とは別に、最低２個の画像ファイルのファイル名と相対距離が記録されているテキストファイル３０４を読み込み、そのままその画像ファイルのファイル名と距離をデータ変換処理部５０６に与える。

データ変換処理部５０６は、相対三次元特徴データ５０４のうち、カメラ間距離付与部５０５から受け取った画像ファイルのファイル名と距離を用いて、カメラの位置データを特定する。そして、カメラ間距離を用いて、相対三次元特徴データ５０４を、絶対距離で再構築された絶対三次元特徴データ５０７に変換する。
具体的には、距離が判明している２個のカメラの仮想三次元空間内における座標情報から、仮想三次元空間内における仮想距離を算出する。次に、カメラ間距離付与部５０５が出力するカメラ間距離と、仮想距離との比率を算出する。この比率を用いて、相対三次元特徴データ５０４内における全ての特徴点とカメラの位置データに、拡大または縮小演算処理を施す。この拡大または縮小演算処理は、位置データに拡大または縮小の比率を乗算することによってなされる。データ変換処理部５０６によって算出された絶対三次元特徴データ５０７は、絶対距離にて定められる三次元空間における特徴点とカメラのデータの集合体である。

絶対三次元特徴データ５０７だけでも、撮影対象の現場１０２を復元することは可能ではあるが、単なる離散的な点の集合体では直感的なイメージを得ることが困難である。そこで、形状復元処理部５０８は画像ファイル群５０２からテクスチャを取得し、絶対三次元特徴データ５０７に当てはめて、撮影対象の現場１０２を復元したオブジェクトを表現する絶対三次元復元データ５０９を生成する。
三次元表示処理部５１０は、絶対三次元復元データ５０９を読み込み、表示部４２５に撮影対象の現場１０２を復元したオブジェクトを表示する。また、マウス等のポインティングデバイスを含む操作部４２６の操作に基づき、表示部４２５に表示されるオブジェクトに、拡大、縮小、回転等、様々な表示効果を与えることができる。

なお、図５では図示していないが、図２に示した第一の手順によって、カメラの緯度、経度、高度を得ている場合は、画像ファイル群５０２から抽出した２個の画像ファイルに基づいてカメラ間距離付与部５０５が、三次元表示処理部５１０に２個のカメラの緯度、経度、高度を与えることで、絶対三次元空間に方位を与えることができる。なお、カメラ間距離付与部５０５の代わりに、別の所定の処理を以って、三次元表示処理部５１０に２個のカメラの緯度、経度、高度を与えるようにしてもよい。これらの処理により、既存の緯度、経度を有する地図データと組み合わせることができる。

以上に説明したように、既存のＳＦＭ処理部５０３を用いた仮想三次元空間におけるオブジェクト再現技術に、カメラ間距離付与部５０５によってカメラ間距離を与え、データ変換処理部５０６によってデータ変換処理を行うことで、絶対三次元空間におけるオブジェクトを再現し、オブジェクトに長さ及び大きさを与えることが可能になる。
ところで、データ変換処理部５０６は、ＳＦＭ処理部５０３の後かつ形状復元処理部５０８の前に配置され、相対三次元特徴データ５０４に演算処理を施すに限られない。

図６は、別の形態における情報処理装置６０１の、ソフトウェア機能を示すブロック図である。図６において、図５と同一の符号を付されている機能ブロックは、等価な機能を有するので、詳細な説明を割愛する。
図６に示す情報処理装置６０１の、図５の情報処理装置４２０との相違点は、データ変換処理部５０６が形状復元処理部５０８の後かつ三次元表示処理部５１０の前に配置されている点である。このため、形状復元処理部５０８は図５の形状復元処理部５０８とは異なり、画像ファイル群５０２と相対三次元特徴データ５０４に基づいて作成される、絶対距離の概念がない相対三次元復元データ６０２を出力する。そして、データ変換処理部５０６は相対三次元復元データ６０２に対して演算処理を施すことで、絶対三次元復元データ５０９を生成する。
図５の情報処理装置４２０は形状復元処理部５０８が絶対三次元復元データ５０９を生成していたが、図６の情報処理装置６０１はデータ変換処理部５０６が絶対三次元復元データ５０９を生成する。

図７は、別の形態における情報処理装置７０１の、ソフトウェア機能を示すブロック図である。図７においても、図５と同一の符号を付されている機能ブロックは、等価な機能を有するので、詳細な説明を割愛する。
図７に示す情報処理装置７０１の、図５の情報処理装置４２０との相違点は、データ変換処理部５０６が三次元表示処理部５１０の中に配置され、相対三次元復元データ６０２に対して表示処理と共に演算処理を施すことで、表示部４２５に対しリアルタイムに絶対三次元復元データ５０９を表示する点である。
図７の場合、カメラ間距離付与部５０５からデータ変換処理部５０６へ絶対距離を与えた瞬間、表示部４２５に表示中のオブジェクトに対し、長さと大きさを明示するスケールが表示される、という視覚的効果を与えることが可能になる。

［表示例］
図８Ａは、絶対距離が与えられる前の、オブジェクトが表示部４２５に表示されている例を示す概略図である。図８Ａに示す、オブジェクトとして表示される現場１０２は、石切り場や崖等を想定している。
図８Ｂは、第一の手順または第二の手順で、絶対位置が与えられた状態の、オブジェクトが表示部４２５に表示されている例を示す概略図である。カメラ間距離が与えられることで、オブジェクトとして表示される現場１０２の大きさが判明する。そこで、表示部４２５にスケール８０１や仮想的な人間モデル８０２を表示させることで、直感的にオブジェクトの大きさを把握できる。

図８Ｃは、第一の手順で、絶対位置に加え、カメラの緯度、経度、高度が与えられた状態の、オブジェクトが表示部４２５に表示されている例を示す概略図である。カメラ間距離に加え、２箇所のカメラの緯度、経度、高度が与えられることで、オブジェクトとして表示される現場１０２の大きさに加え、オブジェクトの方位が判明する。そこで、表示部４２５にスケール８０１や仮想的な人間モデル８０２に加え、方位アイコン８０３を表示させることで、直感的にオブジェクトとして表示される現場１０２の大きさと方位を把握できる。更に、図８Ｃには図示していないが、既存の地図データと連携して、オブジェクトの周囲の地理を表示部４２５に表示させることも可能である。

本実施形態においては、三次元被写体形状推定装置を開示した。
本実施形態によれば、本来、オブジェクトの実世界中でのサイズを考慮していないＳＦＭが生成する三次元特徴データや三次元復元データに、カメラ間距離を与えて、比率を計算することで、極めて容易にオブジェクトの大きさを表現することができる。
また、携帯型無線端末１０３がＧＰＳ受信部４１０を内蔵していれば、２箇所以上、撮影対象の現場１０２を写真撮影するだけで、三次元復元したオブジェクトの大きさのみならず、方位も再現することができる。
ＧＰＳ受信部４１０を内蔵していないデジタルカメラであっても、２箇所以上、撮影対象の現場１０２を写真撮影し、その際のカメラ間距離を測定するだけで、三次元復元したオブジェクトの大きさが再現可能である。
また、本実施形態の三次元被写体形状推定装置は、レーザースキャニングを一切使用しないので、極めて簡易であり、また直感的にオブジェクトを把握することができる。

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性あるいは不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１…撮影者、１０２…現場、１０３…携帯型無線端末、２０１…第一画像ファイル、２０２…第二画像ファイル、２０３…第三画像ファイル、３０１…第一画像ファイル、３０２…第二画像ファイル、３０３…第三画像ファイル、３０４…テキストファイル、３０５…相対距離把握具、４０１…ＣＰＵ、４０２…ＲＯＭ、４０３…ＲＡＭ、４０４…不揮発性ストレージ、４０５…表示部、４０６…操作部、４０７…バス、４０８…撮像素子、４０９…無線通信部、４１０…ＧＰＳ受信部、４１１…タッチパネルディスプレイ、４２０…情報処理装置、４２１…ＣＰＵ、４２２…ＲＯＭ、４２３…ＲＡＭ、４２４…不揮発性ストレージ、４２５…表示部、４２６…操作部、４２７…バス、４２８…ＮＩＣ、４２９…シリアルインターフェース、５０１…特徴点抽出部、５０２…画像ファイル群、５０３…ＳＦＭ処理部、５０４…相対三次元特徴データ、５０５…カメラ間距離付与部、５０６…データ変換処理部、５０７…絶対三次元特徴データ、５０８…形状復元処理部、５０９…絶対三次元復元データ、５１０…三次元表示処理部、６０１…情報処理装置、６０２…相対三次元復元データ、７０１…情報処理装置、８０１…スケール、８０２…人間モデル、８０３…方位アイコン

Claims (3)

1. 所定の撮影対象を第一の撮影ポイントにて撮影した画像データを含む第一画像ファイルと、前記撮影対象を前記第一の撮影ポイントとは異なる第二の撮影ポイントにて撮影した画像データを含む第二画像ファイルとを含む画像ファイル群を読み込み、前記画像ファイル群における画像データからそれぞれ特徴点を抽出し、前記画像ファイル群における前記特徴点の二次元座標情報よりなる特徴点データを出力する特徴点抽出部と、
   前記特徴点データを読み込み、前記画像ファイル群を構成する画像ファイルの数に一致するカメラの数と、前記特徴点データに存在する全ての特徴点の数と、仮想三次元空間内における前記カメラの位置を表す情報と、前記仮想三次元空間内における前記特徴点の位置を表す情報とを有する相対三次元特徴データを出力するフォトグラメトリー処理部と、
   前記相対三次元特徴データに含まれる、前記第一画像ファイル及び前記第二画像ファイルに紐付けられる前記カメラの位置を表す情報に対し、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離を与えて演算処理を行うことで、前記仮想三次元空間を絶対距離にて定められる三次元空間に変換するデータ変換処理部と
   を具備する三次元被写体形状推定装置。
2. 前記データ変換処理部に与えられる、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離は、前記第一の撮影ポイントにおける緯度及び経度と、前記第二の撮影ポイントにおける緯度及び経度から導き出される、
   請求項１に記載の三次元被写体形状推定装置。
3. 前記データ変換処理部に与えられる、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離は、前記第一の撮影ポイントと前記第二の撮影ポイントとの間の距離を実測した結果である、
   請求項１に記載の三次元被写体形状推定装置。
   
   
   

Images