JP5122508B2 - ３次元空間データ作成方法及び３次元空間データ作成装置 - Google Patents

Description

本発明は、３次元空間データ作成技術に関し、特に、２次元空間データから３次元空間データを作成する技術に関し、より詳細には、指定された物体について、ジャイロセンサ及び位置センサを搭載したカメラで撮影された画像と、その物体が存在している２次元空間データを用いて３次元空間データを作成する技術に関するものである。
ジャイロセンサ

現在、地図のデジタル化が進んでいる。これにより、地図上に多くの情報をあわせて持たせることができるようになっており、地図の有用性はますます高くなることが予想される。また地図上に３次元モデルや３６０°視点の画像を配置したり、３次元モデルを作成し、地図に配置するサービスが提供されている。これらの技術は、多視点から撮影された画像に基づいて物体等の高さを検出し３次元モデルを作成したり、ＣＡＤを利用して３次元モデルを作成したりする技術があり、様々な方法で３次元空間データを作成することができる。

従来の３次元空間データ作成方法としては、例えば、下記特許文献１から３までに記載の技術が知られている。

特開２００３−３１７０８１号公報 特開２００２−８０１２号公報 特開２００２−１８９４１２号公報

しかしながら、現在、３次元空間データを作成する場合、例えば、一定の高度を保ったセスナ機が、地面を垂直に連続で撮影し、オーバーラップした部分を持つ撮影位置のずれた写真を数枚使用して標高を計算し、３次元空間データを作成していく方法を用いている。これに限らず、３次元空間データを作成する場合には、１つの物体を多視点から撮影した画像が必要となってくるため、手間がかかるという問題があった。

本発明は、多視点から撮影した画像を必要とせず、空間データを利用し、少なくとも１枚の画像があれば３次元空間データを作成することが出来る技術を提供することを目的とする。

本発明の一観点によれば、撮影方向及び撮影位置と関連付けされた対象物の撮影画像に基づいて、２次元空間データから３次元空間データをコンピュータ処理により作成する３次元空間データ作成方法であって、前記撮影方向及び撮影位置に基づいて、２次元空間データを格納する２次元空間データベースから前記対象物の２次元空間データを検索するステップと、検索された前記２次元空間データと前記撮影画像とを対比させて、前記対象物の前記２次元空間データの頂点と前記撮影画像の頂点とを対応付けするステップと、
前記撮影画像の中心を、撮影方向の中心とするという条件の下で、前記撮影方向及び前記撮影位置を用いて前記対象物の高さを求めるステップと、を有することを特徴とする３次元空間データ作成方法が提供される。３次元空間データを作成する際にジャイロセンサやＧＰＳを搭載したカメラで撮影された画像のみではなく、その画像に対応する２次元空間データを使用する。これより、撮影されたカメラ画像に、２次元空間データから空間座標を対応付け、空間座標から高さを計測する。

前記対象物の高さを求めるステップは、前記撮影画像の中心（撮影方向の中心）を設定し、該中心から引いた垂線と、前記対象物の輪郭との交点を設定し、該交点と前記中心との距離を、前記撮影位置と前記交点との第１の距離と、前記撮影位置と前記撮影方向から求まる撮影角度と前記撮影位置の高さとから求めた第２の距離との和と前記撮影角度とから求めるステップと、前記交点と前記中心との距離である第１の高さと前記対象物の残りの第２の高さとから前記対象物の高さを求めるステップであって、前記第２の高さを前記第１の高さと前記撮影画像のピクセル値の比から求めて加算するステップと、を有することを特徴とする。さらに、前記撮影画像では見えない位置の前記３次元空間データの座標を、前記２次元空間データに基づいて補間して求めるステップを有するようにするのが好ましい。

本発明は、上記に記載の３次元空間データ作成方法をコンピュータに実行させるためのプログラムであっても良く、該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

本発明の他の観点によれば、撮影方向及び撮影位置と関連付けされた対象物の撮影画像に基づいて、２次元空間データから３次元空間データをコンピュータ処理により作成する３次元空間データ作成装置であって、前記撮影方向及び撮影位置に基づいて、２次元空間データを格納する２次元空間データベースから前記対象物の２次元空間データを検索する検索処理部と、検索された前記２次元空間データと前記撮影画像とを対比させて、前記対象物の前記２次元空間データの頂点と前記撮影画像の頂点とを対応付けし、前記撮影画像の中心を、撮影方向の中心とするという条件の下で、前記撮影方向及び前記撮影位置を用いて前記対象物の高さを求める３次元空間データ作成部と、を有することを特徴とする３次元空間データ作成装置が提供される。

本発明によれば、カメラ画像を利用して、３次元空間データを簡単に作成することが出来るという利点がある。また複数のカメラ画像は必要でなく、カメラ画像では認識できない部分は２次元空間データを利用し補間することが可能である。

本発明の一実施の形態による３次元空間データ作成装置のシステム構造例を示す図である。 本実施の形態による３次元空間データ作成処理の流れを示すフローチャート図である。 本実施の形態によるカメラ画像の一例を示す図である。 図３に示すカメラ画像に対応する２次元空間データを示す図である。 検索された２次元空間データとカメラ画像とが対になって表示されている例を示す図である。 カメラ画像の高さ計測の様子を示す図である。 カメラ画像と２次元空間データとの関係を示す図である。 カメラ画像の中心までの高さＤ３を求めるための図形を示す図である。 建物の高さを求めるための図形を示す図である。 不可視点を考慮して２次元空間データから補間的に３次元空間データを求める様子を示す図である。 建物に３次元空間データを与えた完成図である。

以下において、本発明の一実施の形態による３次元空間データ作成技術について図面を参照しながら説明を行う。本実施の形態では、３次元空間データの作成対象として建物を例にして説明するが、対象は建物に限定されるものではない。

図１は、本発明の一実施の形態による３次元空間データ作成装置のシステム構造例を示す図である。図１に示すように、本実施の形態による３次元空間データ作成システムは、２次元空間データデータベース１０１と、３次元空間データデータベース１０２と、ホストシステム１０４と、端末１０３と、を有しており、これらが例えばＬＡＮなどにより接続可能に構成されている。端末１０３は、例えばＧＵＩなどにより、視覚的に空間データとカメラ画像とを編集するＰＣなどにより構成されている。ホストシステム１０４には、２次元空間データデータベース１０１と３次元空間データデータベース１０２とが接続されている。２次元空間データとは、本実施の形態においては、建物を対象物としているため、建物を真上から見た２次元空間データ（平面データ）を指すことになる。対象物が異なれば、２次元空間データを見る方向が異なるようにしても良い。

端末１０３の入力部１０７、表示部１０８などを利用して、利用者は、カメラ画像のデータや編集データなどをホストシステム１０４に転送することが出来る。３次元空間データベース１０２は、本実施の形態による３次元空間データ作成装置により作成された３次元空間データを格納する。

ホストシステム１０４は、検索処理部１０５と、３次元空間データ作成部１０６と、を有している。一般的には、ＣＰＵ（制御部）とメモリ（記憶部）を有しており、例えば不揮発性のメモリ（ＨＤＤなど）に格納されており、図２に示すような処理をコンピュータ（ＣＰＵ）に実行させることで、以下の機能を発揮することになる。これらの機能の詳細に関しては後述する。

図２は、本実施の形態による３次元空間データ作成方法の処理の流れを示すフローチャート図であり、例えば、図１に示すシステムによる処理の例を示す図である。図２に示す処理は、図３以降の説明において合わせて示す。

図３は、本実施の形態によるカメラ画像の一例を示す図であり、対象物は一例であるが建物である。図３に示すカメラ画像３０１は、カメラ３１４の位置（ｘ，ｙ，ｚ）から撮影した建物のカメラ画像である。カメラの位置は、３次元空間（ｘ，ｙ，ｚ）により決められる。

カメラ画像３１５における頂点Ａ’３０２〜頂点Ｆ’’ ３１３までは、建物の各頂点である。これらの頂点３０２〜３１３までのそれぞれに対して、空間座標を定義することにより、カメラ画像３０１に基づいて３次元空間データを作成することができる。

図４は、図３に示す撮影されたカメラ画像３１５に対応する対象物の２次元空間データを示す図であり、この場合には、建物を真上から見た平面図に対応するデータである。図４に示すように、２次元空間データ４０１からは、対象物である建物の各頂点Ａ４０２〜Ｆ４０７までの２次元座標（ｘ，ｙ）を取得することができる。

端末１０３からカメラ画像３１５を入力すると（図２のステップＳ１）、カメラ画像３１５のデータ、カメラ方向や位置データが、ホストシステム１０４の検索処理部１０５に渡される（図２のステップＳ２）。検索処理部１０５において、ＧＰＳによる位置データとカメラ方向の情報を検索キーとして、２次元空間データＤＢ１０１内において、カメラ画像３０１に写っている建物を含む２次元空間データ４０１を検索する（図２のステップＳ３）。

図５は図２のステップＳ３において検索された２次元空間データ４０１とカメラ画像３０１との両方が対になって端末１０３の表示部１０８に表示されている様子を示す図である（図２のステップＳ４）。

利用者は、例えばＧＵＩ操作により、カメラ画像３０１と２次元空間データ４０１との対応を取り、カメラ画像３０１に座空間標の値を定義付けする。例えば、カメラ画像３０１の頂点Ａ’ ３０２をマウス操作（白抜きの矢印参照）などにより決定し、２次元空間データ４０１の対応させたい頂点Ａ４０２をクリックすると、自動的にカメラ画像３０１に空間座標の値が設定されるようになっている。現在、点Ａにポインタがあり、この特徴点に地面の座標を与える。そして、画像の座標上の頂点Ａ’に同じ値をコピーアンドペーストする。このようにして図５の下に示すように、各頂点（特徴点、代表点）の緯度と経度とをカメラ画像において付与する。この代表点の緯度と経度も画面の下に表示されている。このようにして、データを入力することができる。

ここで、カメラ画像３０１において判断できるこの建物の頂点はＡ’３０２、Ｂ’３０３、Ｃ’ ３０４、Ｅ’３０６である。その他の頂点については、カメラ画像３０１では認識できない。このカメラ画像３０１から取得できる他の各頂点に対しても、２次元空間データ４０１の空間座標を定義することが出来る（図２のステップＳ５）。

頂点に空間座標が定義されたカメラ画像３０１と２次元空間データ４０１は、ホストシステム１０４の３次元空間データ作成部１０６に送られ、３次元空間データ作成部１０６において３次元空間データが作成される（図２のステップＳ６）。

図６Ａは、カメラ画像の高さ計測の様子を示す図である。ここで、カメラ画像の中心６０１を、撮影方向の中心とするという条件の下で高さを求めることができる。

まず、カメラ画像の中心（撮影方向の中心）６０１を設定し、そのカメラ画像の中心６０１から引いた垂線と、カメラ画像上の家枠との交点６０２をカメラ画像上で設定する。次に、設定された交点６０２の空間座標をカメラレンズモデルと２次元空間データとから計算する。

図６Ｂは、カメラ画像と２次元空間データとの関係を示す図である。カメラ画像６０４上における交点６０２は、図６Ａで設定した中心６０１から引いた垂線と、カメラ画像上の家枠（輪郭）との交点６０２と一致する。この交点６０２は、家枠の線分Ｅ’Ｄ’上に設定されている。カメラ画像６０４上の家枠の頂点Ｅ’とＤ’とは、図３のカメラ画像上の頂点Ｄ’３０５とカメラ画像上の頂点Ｅ’３０６と一致している。

カメラ画像６０４上の家枠の頂点Ｅ’とＤ’は、カメラレンズの焦点６０３を通り、２次元空間座標の頂点Ｄ（ｘ４，ｙ４）４０５と、頂点Ｅ（ｘ５，ｙ５）４０６と、対応付けられている。この頂点Ｄ４０５とＥ４０６とは、図４の頂点Ｄ４０５と頂点Ｅ４０６と一致する。つまり、カメラ画像上の交点６０２は、カメラレンズの焦点６０３を通って、線分ＤＥ上の点６０２’と対応付けることが出来る。線分ＤＥ上の点６０２’は、実際の２次元地図データ上の点となるため、頂点Ｄ４０５から線分ＤＥ上の点６０２’と、線分ＤＥ上の点６０２’から頂点Ｅ４０６までの比率から、線分ＤＥ上の点６０２’の空間座標(ｘ０１，ｙ０１)を計算することができる。つまり、図Ａの交点６０２の空間座標は、(ｘ０１，ｙ０１)であると計算することができる。

図６Ｃは、カメラ画像の中心までの高さＤ３を求めるための図形を示す図である。図６Ｄは、建物の高さを求めるための図形を示す図である。これらの図では、上記の結果から、実際の建物の高さを計算する過程を示す。

まず、図６Ｃにおいて表されている距離Ｄ１ ６０５、Ｄ２ ６０６、高さＺ ６０７、Ｄ３ ６０８を求める。高さＺ ６０７は、カメラの位置情報(ｘ，ｙ，ｚ)におけるｚである。また距離Ｄ１ ６０５は、点６０２の座標値(ｘ０１，ｙ０１)とカメラ位置情報(ｘ，ｙ，ｚ)から次の式により求めることが出来る。
Ｄ１^２＝(ｘ−ｘ０１)^２＋(ｙ−ｙ０１)^２

また、距離Ｄ２ ６０６は、カメラのジャイロ方向より角θ６０９の情報を得ることが出来るので、以下の式で計算することが出来る。
Ｄ２＝Ｚ／tanθ

従って、求めたい高さＤ３ ６０８は
Ｄ３＝（Ｄ２＋Ｄ１）ｚ／Ｄ２
で計算することができる。

図６Ｄにおける高さＤ３ ６０８と建物の残りの高さＤ４ ６１０は、例えばピクセル値の比から計算する。これにより家枠の高さをＤ３＋Ｄ４として計算することが出来る。すなわち、ガメラ画像がデジタルデータであれば、そのピクセル（画素）数が既知であるため、Ｄ３とＤ４の比もわかる。Ｄ３と、この比と、に基づいてＤ４を求めることができる。写真から直接、長さを計測しても良い。図７は、実際にカメラ画像３０１では認識できない不可視点７０２、７０３の空間座標を定義する図である。カメラの画像から頂点が取得することができなくても、２次元空間データを利用することで、この２次元空間データから補間的にカメラの画像では見えない頂点（例えば７０２、７０３）を作成することができる。対象物が建物の場合に、２次元空間データとして例えば図４に示すような平面データが得られる。この２次元空間データを用いると、３次元のカメラ画像では見えない位置、例えば、垣根などで実際に家の底部の全ての頂点が画像で見えない位置の頂点であっても補間的に全ての頂点の空間座標を得ることが出来る。

図８は、上記の結果から全ての頂点に対し、空間座標の値を与えた図である。これらの頂点で定義されている座標は、画像座標ではなく空間座標(世界測地系など)であるのでこのまま地図上に配置することも可能である（図２のステップＳ６）。

このようにして作成した３次元空間データを、３次元空間データデータベース１０２に格納する（図２のステップＳ７）。

以上に説明したように、本実施の形態による３次元空間データ作成技術によれば、カメラ画像を利用して、安価に３次元空間データを作成することが出来る。また複数のカメラ画像は必要でなく、カメラ画像では認識できない部分は２次元空間データを利用し補間することが可能である。例えば、カメラ画像から見えない家の裏側や、垣根によって家全体が見えない場合でも２次元空間データを利用して３次元空間データが作成可能である。

また作成された３次元空間データの座標は画像座標ではなく、直接測地系の座標を与えているため、そのまま地図へ投影することが出来き、簡単に3次元地図を作成することも出来る。

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。

本発明は、３次元空間データ作成装置として利用可能である。

１０１…２次元空間データデータベース、１０２…３次元空間データデータベース、１０３…端末、１０４…ホストシステム、１０７…入力部、１０８…表示部。

Claims (5)

1. 撮影方向及び撮影位置と関連付けされた対象物の撮影画像と当該対象物を真上方向から見た２次元空間データに基づいて、３次元空間データをコンピュータ処理により作成する３次元空間データ作成方法であって、
   前記撮影方向及び撮影位置に基づいて、２次元空間データを格納する２次元空間データベースから前記対象物の２次元空間データを検索するステップと、
   検索された前記２次元空間データと前記撮影画像とを対比させて、前記対象物の前記２次元空間データの頂点と前記撮影画像の頂点とを対応付けするステップと、
   前記撮影画像上には現れてない前記対象物の前記３次元空間データの座標を、前記２次元空間データの頂点に基づいて補完するステップと、
   前記撮影画像の中心を、撮影方向の中心とする条件の下で、前記撮影方向及び前記撮影位置を用いて前記対象物の高さを求めるステップと
   を有することを特徴とする３次元空間データ作成方法。
2. 前記対象物の高さを求めるステップは、
   前記撮影画像の中心（撮影方向の中心）を設定し、該中心から引いた垂線と、前記対象物の輪郭との交点を設定し、該交点と前記中心との距離を、前記撮影位置と前記交点との第１の距離と前記撮影位置と前記撮影方向から求まる撮影角度と前記撮影位置の高さとから求めた第２の距離との和と前記撮影角度とから求めるステップと、
   前記交点と前記中心との距離である第１の高さと前記対象物の残りの第２の高さとから前記対象物の高さを求めるステップであって、前記第２の高さを前記第１の高さと前記撮影画像のピクセル値の比から求めて加算するステップと
   を有することを特徴とする請求項１に記載の３次元空間データ作成方法。
3. さらに、前記撮影画像では見えない位置の前記３次元空間データの座標を、前記２次元空間データに基づいて補間して求めるステップを有することを特徴とする請求項１又は２に記載の３次元空間データ作成方法。
4. 請求項１から３までのいずれか１項に記載の３次元空間データ作成方法をコンピュータに実行させるためのプログラム。
5. 撮影方向及び撮影位置と関連付けされた対象物の撮影画像と当該対象物を真上方向から見た２次元空間データに基づいて、３次元空間データをコンピュータ処理により作成する３次元空間データ作成装置であって、
   前記撮影方向及び撮影位置に基づいて、２次元空間データを格納する２次元空間データベースから前記対象物の２次元空間データを検索する検索処理部と、
   検索された前記２次元空間データと前記撮影画像とを対比させて、前記対象物の前記２次元空間データの頂点と前記撮影画像の頂点とを対応付けし、前記撮影画像上には現れてない前記対象物の前記３次元空間データの座標を、前記２次元空間データの頂点に基づいて補完し、前記撮影画像の中心を、撮影方向の中心とする条件の下で、前記撮影方向及び前記撮影位置を用いて前記対象物の高さを求める３次元空間データ作成部と
   を有することを特徴とする３次元空間データ作成装置。

Images