JP4008686B2 - テクスチャ編集装置、テクスチャ編集システムおよび方法 - Google Patents
テクスチャ編集装置、テクスチャ編集システムおよび方法 Download PDFInfo
- Publication number
- JP4008686B2 JP4008686B2 JP2001310597A JP2001310597A JP4008686B2 JP 4008686 B2 JP4008686 B2 JP 4008686B2 JP 2001310597 A JP2001310597 A JP 2001310597A JP 2001310597 A JP2001310597 A JP 2001310597A JP 4008686 B2 JP4008686 B2 JP 4008686B2
- Authority
- JP
- Japan
- Prior art keywords
- texture
- image
- video
- dimensional model
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、実在する建物や看板、門などの建造物に対応して作成された３次元モデルの正面にテクスチャ情報を貼り合わせて仮想３次元都市空間の構築を支援するためのテクスチャ編集装置、テクスチャ編集システムおよび方法に関するものである。
【０００２】
【従来の技術】
建物の３次元モデルへの写真テクスチャの貼り付けでは、建物の撮影および建物写真と３次元モデルとの対応付け、建物写真のテクスチャ加工、３次元モデルへのテクスチャ貼り付けの順序で作業が行われる。従来例としては、文献「“景観シミュレーションのための対話的建物形状入力”（川村和也、他、情報処理学会第５７回全国大会論文集5P-5、pp.2-181〜2-182）」や、文献「“都市景観用テクスチャ作成と画像処理における作業効率の検討”（宮嶋賢、他、情報処理学会第56回全国大会論文集3R-8、pp.2-299〜2-300）」などの例を挙げることができる。
【０００３】
これらの従来手法では、３次元モデルに対応した建物の側面を複数の角度からデジタルカメラで撮影し、写真の中から切り出す建物側面部分のエッジ（建物の角、または縁）を指定して切り出し、建物の側面形状に合わせた変形処理を指示することによってテクスチャを整形する。テクスチャの整形においては、縦横比を指示して画像処理市販ツール（例えばPHOTOSHOP）を用いて変形する処理が一般的である。また、テクスチャの３次元建物モデルへの貼り付けは、３次元モデルの編集ツール（例えばMaya）を用い、操作員が貼り付ける面や位置を指示して貼り付けていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のテクスチャ貼り付け方法では、次のような問題がある。まず、映像と３次元モデルとのマッチングに関しては、１件づつ撮影を行う必要があるので、大きなビル群や、広範囲にわたる大量の建物の撮影が困難である。また、撮影した建物の映像と貼り付ける建物の３次元モデルとの対応付けは、操作員が内容を見て判断しなくてはならないので、撮影した建物の数が多いと、３次元モデルの建物と対応付ける画像の数も増え、管理が複雑になり、また大量の建物の３次元データに対して、対応した映像を大量の映像データの中から探すのに手間がかかる。
【０００５】
また、テクスチャの加工に関しては、映像の中から建物部分の画像を切り出す操作では、操作員が映像１枚１枚について映っている建物の範囲を指示しなければならないので、建物と他の物体の重なりがある場合に、重なり部分の建物側面のテクスチャは再現できない。
【０００６】
テクスチャの変形に関しては、映像の中に映っている建物の表面部分を抽出した後に建物の正面から切り出した建物部分の画像は、斜めに傾いていたり台形形状になっている。これを建物の面と同じ縦横比の形状に変形するときに、操作員が、縦横比を入力して画像編集ツールを操作しなくてはならない。このとき、３次元モデルの面の縦横比をデータの中身を調べて取得する作業も必要であるので、効率が悪い。
【０００７】
遮蔽物の除去に関しては、映像から建物が映っている部分の画像を切り出した場合に、建物の前に木や駐車中の車両などの遮蔽物が映っているときは、画像編集ツールを用いて遮蔽物を消し、代わりに本来遮蔽物の後ろに見えるであろう建物の表面テクスチャと同じような色またはパターンの図柄を描かなくてはならないという面倒な作業が必要である。
【０００８】
テクスチャの合成に関しては、建物が大きくて、１枚の映像には建物が入りきらない場合には、複数の映像から切り出した建物の画像を位置合わせを行いながらの試行錯誤によって貼り合わせているので、手間がかかる。
【０００９】
テクスチャのつなぎ目に関しては、複数の映像から切り出した建物の画像を貼り合わせる場合に、１枚１枚の映像に映っている建物の明るさが異なるため、つなぎ目で色が違って見えるという不具合が生じる。
【００１０】
テクスチャの生成に関しては、建物の３次元モデルの面のうち、貼り付け面以外の面に対応する面についてはテクスチャを貼り付けることができない。また、３次元モデルの件数と、撮影した映像に映っている建物の件数が異なっている場合はテクスチャを貼り付けることができない。
【００１１】
テクスチャの貼り付けに関しては、３次元モデルへのテクスチャの貼り付けは、３次元モデル編集ツールを用いて操作員が面や頂点を指定して貼り付けるといった作業が必要になり、面倒である。
【００１２】
さらに、全体に関わる問題として、３次元の建物モデルに対応した建物のテクスチャを撮影して、切り出し、加工し、貼り付ける場合に、上記複数の問題点を回避するためには、例えば対応する画像を探したり、加工したり、映像に映っている建物以外の遮蔽物を取り除いたりといった手作業が必要である。その結果、撮影した映像から３次元の建物モデルにテクスチャを貼り付けるまでに時間がかかる。
【００１３】
この発明は上記に鑑みてなされたもので、３次元モデル化した建物や看板の表面にテクスチャ画像を貼り付ける場合に、３次元モデルとテクスチャ画像を切り出す映像とのマッチング、切り出し、加工、遮蔽物除去など、テクスチャ画像を貼り付けるまでに行われる一連の作業が自動的に実行でき、操作員の負担を大幅に軽減できるテクスチャ編集装置、テクスチャ編集システムおよび方法を得ることを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、この発明にかかるテクスチャ編集装置は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶される３次元モデル記憶手段と、入力される指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択手段と、撮影した映像のファイル名、当該映像が動画像である場合にはさらにコマ番号、当該映像の撮影位置を示す経度と緯度と高度、および当該映像の撮像に関する情報で構成される撮影位置情報が記憶される撮影位置情報記憶手段と、入力される前記指定位置情報に基づき前記撮影位置情報記憶手段から該当する撮影位置情報を選択する選択手段と、撮影された静止画像と動画像の一方または双方がファイル名とともに記憶される映像記憶手段と、前記選択手段にて選択された撮影位置情報に基づき、前記モデル選択手段が選択した３次元モデルの位置が映っている映像を前記映像記憶手段から選択する映像選択手段と、前記モデル選択手段にて選択された３次元モデルの前記選択手段にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記映像選択手段にて選択された映像から切り出すテクスチャ切り出し手段とを備え、前記テクスチャ切り出し手段は、前記映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００１５】
この発明によれば、位置情報の指定入力があると、モデル選択手段によって、該当する３次元モデル（ファイル名）が３次元モデル記憶手段から読み出され、同時に選択手段によって、当該３次元モデルの位置が映っている映像を指定する撮影位置情報が撮影位置情報記憶手段から読み出される。また、映像選択手段では、選択手段にて選択された撮影位置情報に含まれるファイル名に基づき、モデル選択手段が選択した３次元モデルの位置が映っている映像が映像記憶手段から選択される。その結果、テクスチャ切り出し手段では、モデル選択手段にて選択された３次元モデルがそのファイル名によって３次元モデル記憶手段から読み出され、また、撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択手段にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像を切り出すことができる。
【００２０】
つぎの発明にかかるテクスチャ編集装置は、上記の発明において、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去手段を備えたことを特徴とする。
【００２１】
この発明によれば、遮蔽物除去手段では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００２２】
つぎの発明にかかるテクスチャ編集装置は、上記の発明において、前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成手段を備えたことを特徴とする。
【００２３】
この発明によれば、テクスチャ合成手段では、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００３０】
つぎの発明にかかるテクスチャ編集装置は、上記の発明において、前記テクスチャ画像を、前記モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し手段または前記テクスチャ合成手段から受け取った前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け手段を備えたことを特徴とする。
【００３１】
この発明によれば、テクスチャ貼り付け手段では、モデル選択手段にて選択された３次元モデルがＶＲＭＬ形式で記述されているので、当該３次元モデルのテクスチャ貼り付け面が曲面であっても、テクスチャ画像をテクスチャ貼り付け面に自動的に貼り付けることができる。
【００３２】
つぎの発明にかかるテクスチャ編集システムは、撮影装置とテクスチャ編集装置とで構成されるテクスチャ編集システムであって、前記撮影装置は、移動しながら周囲の映像を取得する映像取得手段と、前記映像取得手段による撮影時の位置情報を取得する位置情報取得手段と、前記映像と前記撮影位置情報とを前記テクスチャ装置に送出する通信手段とを備え、前記テクスチャ編集装置は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶される３次元モデル記憶手段と、入力された指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択手段と、前記撮影装置から送られてきた撮影位置情報と映像とを関連付けて記憶する関連付け手段と、入力された前記指定位置情報に基づき前記関連付け手段にて関連付けて記憶された撮影位置情報と映像との中から対応する撮影位置情報と映像とを選択する選択手段と、前記モデル選択手段にて選択された３次元モデルの前記選択手段にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記選択手段にて選択された映像から切り出すテクスチャ切り出し手段とを備え、前記テクスチャ切り出し手段は、前記映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００３３】
この発明によれば、撮影装置では、映像取得手段にて撮像された移動中の周囲の都市景観などの映像が映像記憶手段に蓄積される。また、映像取得手段の撮影時の位置情報が位置情報経取得手段によって取得され、それらが適宜な間隔で、通信手段によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け手段によって関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択手段によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択手段によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。また、テクスチャ切り出し手段にて、モデル選択手段にて選択された３次元モデルが３次元モデル記憶手段から読み出され、また撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択手段にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても正確に建物部分の画像を切り出すことができる。
【００３８】
つぎの発明にかかるテクスチャ編集システムは、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去手段を備えたことを特徴とする。
【００３９】
この発明によれば、テクスチャ編集装置では、遮蔽物除去手段にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００４０】
つぎの発明にかかるテクスチャ編集システムは、上記の発明において、前記テクスチャ編集装置は、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで、前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成手段を備えたことを特徴とする。
【００４１】
この発明によれば、テクスチャ編集装置では、テクスチャ合成手段にて、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせて、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００４８】
つぎの発明にかかるテクスチャ編集システムは、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像を、前記モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し手段または前記テクスチャ合成手段から受け取った前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け手段を備えたことを特徴とする。
【００４９】
この発明によれば、テクスチャ編集装置では、テクスチャ貼り付け手段にて、テクスチャ画像が、モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。
【００５０】
つぎの発明にかかるテクスチャ編集方法は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータを３次元モデル記憶手段に記憶させる３次元モデル記憶工程と、入力される指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択工程と、撮影した映像のファイル名、当該映像が動画像である場合にはさらにコマ番号、当該映像の撮影位置を示す経度と緯度と高度、および当該映像の撮像に関する情報で構成される撮影位置情報を撮影位置情報記憶手段に記憶させる工程と、入力される前記指定位置情報に基づき前記撮影位置情報記憶手段から該当する撮影位置情報を選択する選択工程と、撮影された静止画像と動画像の一方または双方がファイル名とともに映像記憶手段に記憶させる映像記憶工程と、前記選択工程にて選択された撮影位置情報に基づき、前記モデル選択工程にて選択された３次元モデルの位置が映っている映像を前記映像記憶手段から選択する映像選択工程と、前記モデル選択工程にて選択された３次元モデルの前記選択工程にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記映像選択工程にて選択された映像から切り出すテクスチャ切り出し工程と、を含み、前記テクスチャ切り出し工程は、前記映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００５１】
この発明によれば、位置情報の指定入力があると、モデル選択工程にて、該当する３次元モデル（ファイル名）が３次元モデル記憶手段から読み出され、同時に選択工程にて、当該３次元モデルの位置が映っている映像を指定する撮影位置情報が撮影位置情報記憶手段から読み出される。また、映像選択工程では、選択工程にて選択された撮影位置情報に含まれるファイル名に基づき、モデル選択工程にて選択された３次元モデルの位置が映っている映像が映像記憶手段から選択される。その結果、テクスチャ切り出し工程では、モデル選択工程にて選択された３次元モデルがそのファイル名によって３次元モデル記憶手段から読み出され、また撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択工程にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像を切り出すことができる。
【００５６】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去工程を含むことを特徴とする。
【００５７】
この発明によれば、遮蔽物除去工程では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００５８】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成工程を含むことを特徴とする。
【００５９】
この発明によれば、テクスチャ合成工程では、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせて、モデル選択工程にて選択された３次元モデルの１つの面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００６６】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ画像を、前記モデル選択工程にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し工程または前記テクスチャ合成工程にて取得された前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け工程を含むことを特徴とする。
【００６７】
この発明によれば、テクスチャ貼り付け工程では、テクスチャ画像が、モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。
【００６８】
つぎの発明にかかるテクスチャ編集方法は、撮影装置とテクスチャ編集装置とで構成されるテクスチャ編集システムにおけるテクスチャ編集方法であって、前記撮影装置は、移動しながら周囲の映像を取得する映像取得工程と、前記映像取得工程での撮影時の位置情報を取得する位置情報取得工程と、前記映像と前記撮影位置情報とを前記テクスチャ装置に通信手段を介して送出する送出工程とを含み、前記テクスチャ編集装置は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータを３次元モデル記憶手段に記憶させる３次元モデル記憶工程と、入力された指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択工程と、前記撮影装置から送られてきた撮影位置情報と映像とを関連付けて記憶する関連付け工程と、入力された前記指定位置情報に基づき前記関連付け工程にて関連付けて記憶された撮影位置情報と映像の中からと対応する撮影位置情報と映像とを選択する選択工程と、前記モデル選択工程にて選択された３次元モデルの前記選択工程にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記選択工程にて選択された映像から切り出すテクスチャ切り出し工程と含み、前記テクスチャ切り出し工程は、前記映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００６９】
この発明によれば、撮影装置では、映像取得工程にて撮像された移動中の周囲の都市景観の映像が映像記憶手段に蓄積される。また、映像取得工程での撮影時の経度緯度が経度緯度取得工程によって取得され、それらが適宜な間隔で、送出工程によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け工程にて関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択工程によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択工程によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。また、テクスチャ切り出し工程にて、モデル選択工程にて選択された３次元モデルが３次元モデル記憶手段から読み出され、また撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択工程にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像を切り出すことができる。
【００７４】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去工程を含むことを特徴とする。
【００７５】
この発明によれば、テクスチャ編集装置では、遮蔽物除去工程にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００７６】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成工程を含むことを特徴とする。
【００７７】
この発明によれば、テクスチャ編集装置では、テクスチャ合成工程にて、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせ、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００８４】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像を、前記モデル選択工程にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し工程または前記テクスチャ合成工程にて取得された前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け工程を含むことを特徴とする。
【００８５】
この発明によれば、テクスチャ編集装置では、テクスチャ貼り付け工程にて、テクスチャ画像が、モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。
【００８６】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるテクスチャ編集装置およびテクスチャ編集方法の好適な実施の形態を詳細に説明する。
【００８７】
実施の形態１．
図１は、この発明の実施の形態１であるテクスチャ編集装置の構成を示すブロック図である。実施の形態１では、３次元モデルとテクスチャ情報である映像とのマッチングを自動的に行う場合の構成例が示されている。
【００８８】
図１において、テクスチャ編集装置は、３次元モデル記憶部１０１と、モデル選択部１０２と、映像記憶部１０３と、撮影位置情報記憶部１０４と、映像選択部１０５と、地図記憶部１０６，１０７と、経度緯度発生部１０８とを備えている。
【００８９】
３次元モデル記憶部１０１には、実在する建物、看板、門などの面を持つ構造物を３次元データで表現した３次元モデルが経度緯度と関連付けられて記憶されている。図２は、３次元モデルの一例である。図２では、直方体形状の３次元モデルが示されている。図２に示すように、３次元モデルの形状は、３つ以上の頂点座標から構成できる面によって表現されている。３次元モデルデータの座標原点は、予め設定した経度、緯度、高度で定まる３次元位置である。座標系は、東西、南北、高度のそれぞれが例えばＸ軸、Ｙ軸、Ｚ軸となるように決められている。各座標のスケールは、例えば１座標間隔が１センチメートルに相当するとしている。３次元モデルデータの記述形式は、例えばＶＲＭＬ(Virtual Realty Modeling Language)形式である。
【００９０】
モデル選択部１０２は、経度緯度発生部１０８から入力する経度緯度１０９、または外部から入力される経度緯度１１０が示す地点に存在する建物や看板などに対応する３次元モデルを３次元モデル記憶部１０１から選択し、当該選択した３次元モデルのファイル名を出力する。
【００９１】
映像記憶部１０３には、建物や看板などの３次元モデルの正面に貼り付ける図柄であるテクスチャ情報としての撮影された映像が記憶されている。この実施の形態では、実在する建物や看板、街並みなどを、狭い画角のカメラで撮影した映像（動画像、静止画像）と、全方位レンズまたは全方位ミラーを用いて撮影した視野角が３６０度または１８０度の映像（動画像、静止画像）とがファイル名を付されて記憶されている。
【００９２】
図３は、映像記憶部１０３に記憶される映像の一例を示している。（ａ）は全方位レンズを建物に向けて撮影した画像の例、（ｂ）は全方位レンズを真上に向けて撮影した画像の例である。全方位レンズを用いた撮影では、図３（ａ）に示すように、建物面にカメラを向けて撮影してもよく、図３（ｂ）に示すように、レンズを真上に向けて撮影してもよい。図３（ａ）の例では、左右方向の画角は１８０度となる。また、図３（ｂ）の例では、周囲の３６０度の画像が全て映っているので、画角は３６０度となる。
【００９３】
撮影位置情報記憶部１０４には、映像記憶部１０３に記憶される映像のファイル名、その映像を撮影した位置、方向、画角などで構成される撮影位置情報が記憶されている。図４は、撮像位置情報記憶部１０４に記憶される撮像位置情報の構成および映像記憶部１０３に記憶される映像との関係を説明する図である。図４（ａ）に示すように、映像記憶部１０３に記憶される映像が、動画像である場合には、１つの動画像を構成する各コマの画像が時系列に記憶されている。１つの動画像に１つのファイル名が付され、各コマはコマ番号で識別するようになっている。図４（ａ）では、「コマ番号１５の画像」「コマ番号１６の画像」「コマ番号１７の画像」が示されている。
【００９４】
撮像位置情報は、図４（ｂ）に示すように、映像と１対１対応で規定されている。静止画像に対する撮像位置情報は、映像のファイル名、撮影位置東経、撮影位置北緯、撮影位置高度、撮影方向、撮影画角で構成される。動画像に撮像位置情報は、さらに何コマ目のコマ画像であるかというコマ番号が追加されるようになっている。図４（ｂ）では、図４（ａ）に示す動画像を対象にしているので、コマ番号１５〜１７が追加記録されている。また、図４（ｂ）では、１つの撮像位置情報に２つのファイル名が示されている。これは、撮影位置や画角が同じであれば、一度に複数の動画ファイル名の１コマまたは複数の静止画ファイル名を対応付けていてもよいことを示している。
【００９５】
ここで、撮影方向には、真北を向いた方向を基準方向として、何度東方向に向けてまたは何度西方向に向けて撮影したかという左右方向（東西方向）での角度と、水平方向を基準方向として、何度上に向けてまたは何度下に向けて撮影したかという上下方向（高度方向）での角度との２つがある。撮影画角には、カメラを向けた中心方向から左右に何度までが撮影できているかという角度と、上下に何度までが撮影できているかという角度との２つがある。また、画角と合わせて焦点距離を記述しておいてもよい。
【００９６】
全方位を撮影した画像の場合、図３（ａ）の例では、撮影方向が定まり、画角は１８０度となる。図３（ｂ）の例では、撮影方向は地上から上空へ鉛直方向であるが、東西南北方向への撮影方向を示している。したがって、図３（ｂ）のように周囲３６０度が映っている場合は、撮影位置情報における撮影方向としては、方向は特に決めずに、３６０度映っているとして、撮影方向を記録しておく。
【００９７】
映像選択部１０５は、経度緯度発生部１０８から入力する経度緯度１０９、または外部から入力される経度緯度１１０に従って撮影位置情報記憶部１０４を検索し、モデル選択部１０２で選択された３次元モデルの地理上の位置が映っている映像に対する撮影位置情報を抽出し、抽出した撮影位置情報からファイル名、または、ファイル名とコマ番号を取り出して出力する。つまり、対象映像が静止画像であればファイル名が出力され、動画像であればファイル名とコマ番号とが出力される。このとき、必要あれば撮影に関する情報も出力される。
【００９８】
また、映像選択部１０５は、必要に応じて、ファイル名に従って静止画像を映像記憶部１０３から読み出して出力し、ファイル名およびコマ番号に従って動画のコマ画像を映像記憶部１０３から読み出して出力することも行えるようになっている。地図記憶部１０６には、２次元地図（市販の地図データ）が記憶されている。例えばベクトルデータによって地図が表現されている。地図記憶部１０７には、市販の衛星写真またはビットマップ地図が記憶されている。
【００９９】
経度緯度発生部１０８は、操作員の手動操作によって経度緯度１０９を出力する機能と自動的に経度緯度１０９を出力する機能とを備えている。手動操作によって経度緯度１０９を出力する場合には、一般的な地図表示ソフトウェアが用いられる。この地図表示ソフトウェアは、操作員が住所や郵便番号、経度と緯度を入力すると、該当する地点付近の地図（２次元地図、または衛星写真、またはビットマップ形式の地図）を表示する機能を有している。そして、操作員が表示された地図上の１地点を指定すると、指定した地点の経度緯度１０９を表示するとともに、その経度緯度１０９をモデル選択部１０２と映像選択部１０５とに出力する。自動的に経度緯度１０９を出力する場合については後述する。
【０１００】
また、図１では、経度緯度１１０が外部からモデル選択部１０２と映像選択部１０５とに入力する場合があることが示されている。この外部からの経度緯度１１０は、次の２つの方法で入力される。１つは、操作員がキーボードを操作して経度緯度１１０を直接入力する方法である。２つ目は、外部に存在する処理装置における地図表示ソフトウェアを用いて指定地点の経度緯度１１０を取得する方法である。外部から経度緯度１１０を取得する場合には、地図記憶部１０６，１０７と経度緯度発生部１０８は、不要となる。この点は、以下に示す各実施の形態において同様である。
【０１０１】
次に、以上のように構成されるテクスチャ編集装置の動作を説明する。まず、モデル選択部１０２と映像選択部１０５に経度緯度を与える方法を説明する。なお、ここでは、経度緯度発生部１０８から経度緯度１０９を与える場合について説明する。
【０１０２】
操作員は、経度緯度発生部１０８が備える地図表示ソフトウェアの機能を用いてテクスチャ貼り付けを行いたい地域の地図（２次元地図、衛星写真、ビットマップ地図）を表示する。操作員は、経度緯度発生部１０８が表示する地図上で１地点を指定する。指定する地点は、地図上で建物が建っている地点である。地図と実際の街並みは、建物の建替などで異なる場合もあるので、地図上で建物が建っていなくても道路脇で建物が建っていそうな場所を指定してもよい。地図として撮影してから日数の経っていない衛星写真を使っている場合は、実際の街並みの状況とほぼ同じであるので、衛星写真の中の建物位置を指示すればよい。
【０１０３】
以上は、手動で位置指定を行う場合である。操作員は、地図上の地点を指示しなくても、自動的に地図上の地点を選ぶように設定することができる。自動的に地点を選ぶ場合は、地図を画面上に表示しなくてもよい。この場合は、表示上必要とされる地図記憶部１０６，１０７は不要になる場合がある。自動的に地図上の地点を選ぶ場合としては、例えば次のような場合を示すことができる。
【０１０４】
まず、地図データを用いる例としては、当該地図データが予め家の存在する所の位置を含んでいるような地図データであれば、地図上の家が存在する地点を順番に選択して行く設定にするとよい。また、地図データを用いない例としては、予め映像を撮影したときにＧＰＳ衛星から取得した位置情報を経度緯度発生部１０８に与え、経度緯度発生部１０８においてそのＧＰＳの位置情報に基づき、撮影点から撮影方向に向かい実空間のスケールで例えば１０ｍ先にある地点を自動的に選ぶように設定してもよい。さらに、３次元モデル記憶部１０１には、建物などの３次元モデルが既に記録されているので、経度緯度発生部１０８が３次元モデル記憶部１０１をアクセスして３次元モデル（建物）が存在する地点を順番に選ぶように設定してもよい。
【０１０５】
このようにして経度緯度発生部１０８から経度緯度１０９がモデル選択部１０２と映像選択部１０５に出力される。または、外部から経度緯度１１０がモデル選択部１０２と映像選択部１０５に入力される。
【０１０６】
モデル選択部１０２は、３次元モデル記憶部１０１から大量の３次元モデルのファイルを読み込み、経度緯度１０９または経度緯度１１０が指定した経度と緯度上にある建物等の３次元モデルを選択する。具体的には、モデル選択部１０２は、３次元モデルの座標を実際の経度緯度へ計算して換算し、経度と緯度の外接長方形の中に指定された経度緯度１０９または経度緯度１１０が入っている３次元モデルを選択する。実施の形態１では、３次元モデルが１つだけ見つかることとする。モデル選択部１０２は、選択した３次元モデルのファイル名を出力する。
【０１０７】
ここで、モデル選択部１０２が行う出力とは、選択したファイル名を画面表示すること、予め決めたファイル名のテキストファイルに選択したファイル名を書き込むこと、また、選択した３次元モデルを画面に表示することの少なくとも１つを意味する。３つ目の実例を挙げれば、ＣＯＳＭＯＰＬＡＹＥＲというソフトウェアを用いて３次元モデルを表示する例がある。
【０１０８】
また、選択した３次元モデルの表示では、例えば選択した３次元モデルが１件であっても、その周りの複数件の３次元モデル（建物）を合わせて表示すると、周りの３次元モデル（建物）との関係から選択した３次元モデル（建物）が分かり易くなるので、周りの複数件の３次元モデル（建物）を合わせて表示するようにしてもよい。この場合には、指定された経度緯度１０９または経度緯度１１０から予め設定した経度差以内で、かつ予め設定した緯度差以内に頂点座標のある３次元モデル（建物）を隣接した３次元モデル（建物）として選択する。
【０１０９】
このとき、隣接した３次元モデル（建物）は表面を白い色で表示し、指定された経度緯度１０９または経度緯度１１０にある３次元モデル（建物）は表面を青い色で表示することとする。隣接する３次元モデル（建物）のファイル名も、隣接または近くにある３次元モデル（建物）としてファイル名を画面表示するか、予め決めたファイル名のテキストファイルにファイル名を書き込むようにする。
【０１１０】
映像選択部１０５は、指定された経度緯度１０９または経度緯度１１０に基づき撮影位置情報記憶部１０４に記憶されている撮影位置情報を調べ、該当する位置が映っている映像のファイル名が記録されている撮影位置情報を選び出し、当該映像のファイル名を出力する。具体的には、映像選択部１０５では、撮影位置情報記憶部１０４に記憶されている全ての撮影位置情報を１つ１つ確認して該当する位置が映っている映像のファイル名を出力する。
【０１１１】
すなわち、映像選択部１０５では、まず、撮影位置情報記憶部１０４に記憶されている各撮影位置情報において、撮影位置の経度緯度と、指定された経度緯度１０９または経度緯度１１０とを比較する。その差が、予め設定した値以下の経度差または緯度差の撮影位置情報を候補とする。
【０１１２】
次に、その候補の中から指定された経度緯度１０９または経度緯度１１０が映っている動画像の１場面または静止画像を検索する。図５を参照して説明する。図５は、映像選択部１０５が行う撮影範囲に入っていることの確認動作を説明する図である。図５において、Ｘ軸は経度方向であり、Ｙ軸は緯度方向である。ここでは、真北をＹ軸の正方向としている。ＸＹ座標の原点Ｇは、撮影位置でる。撮影方向Ｎは、原点Ｇから見てＹ軸からＸ軸の正方向に所定角度傾いた方向にある。
【０１１３】
このＸＹ平面上において、原点Ｇから撮影方向Ｎに向かって撮影方向直線Ｃを引く。撮影方向直線Ｃは、原点で止まっており、反対方向に直線はないとする。原点Ｇを通り撮影方向直線Ｃの左右に、画角の半分の角度βだけ傾いた補助直線Ｈ１，Ｈ２を引く。このとき、撮影方向直線Ｃから時計回り方向にあるのが補助直線Ｈ１であり、反時計回り方向にあるのが補助直線Ｈ２であるとする。補助直線Ｈ１，Ｈ２に挟まれた範囲内に指定された経度緯度１０９または経度緯度１１０の地点Ｑがあるとき、この動画像の１場面または静止画像に指定された経度緯度１０９または経度緯度１１０の地点Ｑが映っていると判断する。図５では、地点Ｑは、撮影方向直線Ｃと左側の補助直線Ｈ２との間に存在することが示されている。
【０１１４】
全方位を撮影した画像のうち、図３(ａ)に示すように、撮影方向が定まる画像では、上記手法を用いる。一方、図３（ｂ）に示すように、全方向が撮影方向となる画像では、指定された経度緯度１０９または経度緯度１１０は映っていると判断し、図５に示すように、原点Ｇから指定された経度緯度１０９または経度緯度１１０の地点Ｑに向けて補助直線Ｈ３を引く。そして、この補助直線Ｈ３が真北の方向から何度東方向に向いているか、または西方向に向いているかという方角を撮影範囲として撮影位置情報に追加する。図３（ｂ）に示すような全方位を撮影した画像の場合は、指定された経度緯度１０９または経度緯度１１０に対応して、撮影位置情報に含まれる撮影方向を新たに追加するようにする。つまり、図３（ｂ）に示すように全方位が映っているという記録と、特定の指定した地点が映っている記録とを２重に持つこととする。
【０１１５】
映像選択部１０５は、指定した地点が映っていると判断した撮影位置情報にコマ番号が無いときは、動画像ではないので、静止画像を示すファイル名を選択する。コマ番号がある場合は、動画像であるので、動画像のファイル名と合わせてコマ番号を選択する。つまり、映像選択部１０５は、静止画像の場合には選択したファイル名を出力し、動画像の場合にはファイル名とコマ番号とを出力する。
【０１１６】
ここで、映像選択部１０５が行う出力とは、選択したファイル名を画面表示すること、予め決めたファイル名のテキストファイルに選択したファイル名を書き込むこと、また、選択した映像を画面に表示することの少なくともいずれか１つを意味している。表示では、静止画像の場合は該当するファイル名の画像を表示し、動画像の場合は、該当するファイル名中のコマ番号で指定されたコマ画像を表示する。動画像の表示の場合は、指定されたコマ画像の前後数コマを表示してもよい。
【０１１７】
以上のように、実施の形態１によれば、地図上で建物のある位置またはありそうな位置を経度緯度によって指定するだけで、その位置に実在する建物をモデル化した３次元モデル（ファイル名）を選択し、同時にその建物の映っている映像（ファイル名）を選択することができる。したがって、貼り付ける３次元モデル（建物）と撮影した映像の対応付けは、操作員が内容を見て判断しなくてもよくなる。また、大量の建物の３次元データの中で、指定した位置にある建物の３次元データを探す手間が省ける。さらに、選択した位置にある建物の映像を大量の映像データの中から探す手間が不要になり、操作員の負担が大幅に軽減される。
【０１１８】
そして、自動的に選択された３次元モデル（建物）と映像は、正確に１対１に対応しているが、入力された経度緯度１０９，１１０の精度や３次元モデル（建物）の位置誤差によって多少のずれが生ずる。そこで、操作員が必要に応じて確認等の処理が行えるようになっている。
【０１１９】
例えば、映像には建物が１件だけ映っているとは限らないので、３次元モデルを表示したときに隣接する３次元モデル（建物）との形状関係が解ると、選択した３次元モデル（建物）が映像中のどの建物と対応するかが分かり易くなる。そこで、実施の形態１では、操作員が必要に応じて表示操作を行うときは、選択した３次元モデル（建物）を青色で表示し、その近辺の３次元モデル（建物）を白色で表示するようにし、３次元モデル（建物）の選択結果が視覚的に分かり易くなるようにしている。
【０１２０】
また、映像選択部１０５が選択した映像も表示できるので、本装置を用いて選択した３次元モデルが正確でなかった場合には、近くに建っている建物が選択する３次元モデルである場合も多いので、これを選択できるようにしている。具体的には、操作員が、３次元モデル（建物）と映像の双方を表示し、次のような操作が行えるようになっている。
【０１２１】
すなわち、操作員は、モデル選択部１０２が青色で表示している３次元モデル（建物）と映像選択部１０５が選択した映像とを見比べて、青色で表示している３次元モデル（建物）の周辺にある白色で表示している３次元モデル（建物）の形状と位置との相対関係から、検索結果の映像を貼り付けたい３次元モデル（建物）を変更したいと判断する場合には、３次元モデル（建物）の表示を行っている画面において、青く表示している３次元モデル（建物）ではなく、周辺に白色で表示している３次元モデル（建物）の中から指定したい３次元モデル（建物）をマウスで指定する。すると、操作員が指定した３次元モデル（建物）が、恰もモデル選択部１０２の選択結果であるかのように、３次元モデルのファイル名が出力されるようになっている。
【０１２２】
その結果、本装置の出力（３次元モデルのファイル名、テクスチャ情報である映像のファイル名）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の切り出し、加工、貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、映像選択部１０５が選択した映像（テクスチャ情報）をそのファイル名に従って映像記憶部１０３から読み込み、３次元モデルに貼り付けることができる。
【０１２３】
このとき、市販の画像編集ソフトウェアを用いて事前に映像選択部１０５で選択した映像からテクスチャ画像を切り抜いたり、色を変換して加工することもできる。また、本装置にて上記のように自動的に選択された映像と３次元モデルとを表示したとき、表示した３次元モデルの形状と映像に映っている建物の形状とが異なっている場合は、隣接する３次元モデル（建物）を３次元モデル編集ソフトウェアで読み込んで形状を操作員が目視確認し、最も映像に近い建物を選択し、この選択した３次元モデル（建物）に映像から切り抜いた表面画像であるテクスチャ画像を貼り付けることも行える。
【０１２４】
実施の形態２．
図６は、この発明の実施の形態２であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態２では、実施の形態１で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の切り出し処理を行う場合の構成例が示されている。すなわち、図６に示すように、図１に示した構成において、テクスチャ切り出し部２０１が設けられている。映像選択部１０５は、選択した映像のファイル名を含む前述した撮影位置情報をテクスチャ切り出し部２０１に出力する。その他は、図１に示した構成と同様である。ここでは、実施の形態２に関わる部分を中心に説明する。
【０１２５】
図６において、テクスチャ切り出し部２０１は、モデル選択部１０２が出力するファイル名によって３次元モデル記憶部１０１から該当する３次元モデルを読み込み、映像選択部１０５が出力するファイル名によって映像記憶部１０３から該当する映像（テクスチャ情報）を読み込む。そして、モデル選択部１０２が選択した３次元モデル（建物）の正面に合わせて、映像選択部１０５が選択した映像から建物の表面画像であるテクスチャ部分（テクスチャ画像）を切り出す処理を行う。この実施の形態２では、テクスチャ切り出し部２０１は、撮影位置情報を用いて画角が１８０度または３６０度の画像からも３次元モデル（建物）のテクスチャ画像が切り出せるようになっている。
【０１２６】
次に、図６〜図１３を参照して、テクスチャ切り出し部２０１の動作について説明する。なお、図７は、映像記憶部１０５に記憶される全方位レンズを用いて撮影した画像の説明図である。図８は、図７に示すような全方位レンズを用いて撮影した画像を狭い画角の画像に変換する方式の説明図である。図９は、図８に示す変換を行う際に用いる極座標系の説明図である。図１０は、撮影位置から見た３次元モデルの画像を作成する方式の説明図である。図１１は、３次元モデルの表面選択方式の説明図である。図１２は、映像から建物面を切り出す方式の説明図である。図１３は、エッジ抽出を用いて映像から建物面を切り出す方式の説明図である。
【０１２７】
モデル選択部１０２、映像選択部１０５が３次元モデルおよび映像のファイル名を選択するまでの動作は実施の形態１と同じである。実施の形態２では、映像選択部１０５は、映像のファイル名を含む撮影位置情報を出力する。前述したように、撮影位置情報には、映像のファイル名（映像が動画像である場合には、さらにコマ番号）の他、当該映像の撮影位置および撮影に関する情報が記録されている。
【０１２８】
テクスチャ切り出し部２０１は、検索対象となっている画像が全方位レンズで撮影した画像の場合には、図７で説明するように歪みがあるので、図８で説明する全方位レンズで撮影した画像の変換方式に従って、一旦、画角が例えば９０度または６０度といった狭い画角の画像に変換してから、後述するテクスチャ切り出し処理を行う。このとき、変換した後の画像の撮影方向および画角の情報は、当然変換した後の値を用いる。なお、対象画像が全方位レンズで撮影した画像ではなく、例えば画角が４０度といったビデオカメラやデジタルカメラで撮影した画像の場合は、画像の変換は行わないで、直接後述するテクスチャ切り出し処理が行われる。
【０１２９】
図７は、全方位レンズを装着したカメラを建物に向けて撮影する場合の様子を示している。この場合には、カメラの撮影位置２０３から物体２０４を見たときに、上下左右の画角が１８０度の範囲まで撮影でき、図３（ａ）に示したような画像が得られる。
【０１３０】
図７において、全方位レンズを備えるカメラの撮影位置２０３から焦点距離（例えば８ｍｍ）２０５を半径とする半球のスクリーン２０６上に物体２０４の像が写る。半球のスクリーン２０６上の像を、撮影位置２０３を含み焦点距離２０５を半径とする円平面２０７上に射影した像２０８が物体２０４の撮影画像である。円平面２０７上に射影した像２０８から理解できるように、建物が映っている部分は、歪んでいるので、単純に建物のテクスチャ画像としては利用できない。
【０１３１】
図８において、ＸＹＺの直交３軸を定め、ＸＹ面に全方位レンズで撮影した画像が得られる半径ｒの円平面３０５を設定する。原点Ｏは、撮影点である。この円平面３０５上において、原点Ｏを中心として矩形配置される点Ｓ，Ｔ，Ｕ，Ｖが撮影された画像の頂点位置であるとする。円平面３０５からＺ軸の正方向に向かう半径ｒのスクリーン半球面３０６を設定する。このスクリーン半球面３０６は、xx+yy+zz=rr,z≧０と規定される。円平面３０５上の点Ｓ，Ｔ，Ｕ，Ｖをスクリーン半球面３０６に射影した点をＳ’，Ｔ’，Ｕ’，Ｖ’とする。次に、撮影点Ｏとスクリーン半球面３０６上の点Ｓ’，Ｔ’，Ｕ’，Ｖ’とを結ぶ線が、Ｚ軸上の任意の距離に円平面３０５と平行に定めたスクリーン平面３０７と交わる点をＳ”，Ｔ”，Ｕ”，Ｖ”とする。
【０１３２】
ここで、全方位レンズで撮影した画像中の点Ｓ，Ｔ，Ｕ，Ｖの色情報を、スクリーン平面３０７上の点Ｓ”，Ｔ”，Ｕ”，Ｖ”の値とする。これによって、全方位レンズで撮影した画像を、画角はある範囲で有限であるが、物体の像を平面上に射影した画像に変換することができる。スクリーン平面３０７上の点Ｐの位置は、図９に示すように、角度θ、φで規定する極座標で表現できる。したがって、点Ｓは、ｘ＝ｒsinθcosφ、ｙ＝ｒsinθsinφ、ｚ＝０、と表現できる。
【０１３３】
点Ｓにおける角度θ，φを求めた後、スクリーン半球面３０６上にある点Ｓ’の位置を求め、次いで撮影点Ｏと点Ｓ’とを結ぶ線がスクリーン平面３０７と交わる点Ｓ”の位置を求めることによって、点Ｓの色情報を点Ｓ”にコピーすることができる。他の３点についても同様である。このようにして、全方位画像のどの点であっても画角の狭いレンズで撮影した画像に変換できる。このとき、新しい画像の画角は、∠Ｓ”ＯＴ”または∠Ｔ”ＯＵ”となる。この円平面３０５に射影した像が全方位レンズを備えるカメラで撮影された出力画像である。
【０１３４】
今の例では、Ｚ軸の正方向をカメラの向いている方向として変換しているが、半径ｒの球面上どの位置に向いた画像でも作成できる。すなわち、この場合には、変換したい半径ｒの球面上の任意位置がＺ軸の正方向に向くように、図８における空間全体に回転行列をかけてしまえば、上記の手法によって画像の変換が可能である。
【０１３５】
以上のような画像の変換によって、図３（ａ）に示す全方位画像は、建物を中心として、例えば６０度といった狭い画角の画像に変換できる。また、図３（ｂ）に示す全方位画像は、撮影地点から、特定のビルの方向に向いて、例えば６０度といった狭い画角の画像に変換できる。
【０１３６】
次に、図１０〜図１３を参照して、テクスチャ切り出し処理について説明する。まず、図１０（ａ）（ｂ）に示す手順で、選択された３次元モデルＭ２を撮影位置Ｐ２から見た画像を作成する。図１０において、（ａ）は上から見た図、（ｂ）は作成する画像の説明図である。
【０１３７】
図１０（ａ）において、３次元モデルＭ２は、３次元座標における東西方向を経度、南北方向を緯度とした２次元空間での状態が示されている。図１０（ａ）において、撮影位置Ｐ２から撮影画角Ｇ２の範囲を示す補助直線Ｈ２１，Ｈ２２を引く。撮影位置Ｐ２からの撮影方向に直交する仮想スクリーンＳ２の線を引く。仮想スクリーンＳ２の線と補助直線Ｈ２１，Ｈ２２と交わる点をｈ’，ｒ’とする。また、３次元モデルＭ２の３頂点ＰＡ、ＰＢ、ＰＣに対して撮影位置Ｐ２から直線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ａ’，ｂ’，ｃ’を求める。ここで、点ｈ’と点ａ’との間隔をａ１とし、点ａ’と点ｂ’との間隔をｂ１とし、点ｂ’と点ｃ’との間隔をｃ１とし、点ｃ’と点ｒ’との間隔をｄ１とする。
【０１３８】
図１０（ｂ）において、テクスチャ切り出し部２０１は、幅と高さ方向の画角の比に対応した縦横比の画像枠ＧＷを作成し、ａ１：ｂ１：ｃ１：ｄ１＝Ａ１：Ｂ１：Ｃ１：Ｄ１の比と同じ比になるように、画像枠ＧＷの左端から値Ａ１の距離に位置ＰＡ、位置ＰＡから値Ｂ１の距離に位置ＰＢ、位置ＰＢから値Ｃ１の距離に位置ＰＣの点を描く。図１０（ｂ）では、真上から見た図（図１０（ａ））を元に説明している。作成した画像中で、真横から見ても同様の操作によって位置ＰＡ，ＰＢ，ＰＣの縦方向の座標位置を決めることができ、位置ＰＡ，ＰＢ，ＰＣの撮影位置から映っている３次元モデルＭ２中の位置を求めることができる。図１０（ａ）（ｂ）では３点を示したが、テクスチャ切り出し部２０１は、全ての座標について画像中の位置を求め、撮影位置Ｐ２から見た３次元モデルＭ２の画像を作成する。この作成された画像を作成画像ＭＧ２と称することとする。
【０１３９】
次に、テクスチャ切り出し部２０１は、撮影位置Ｐ２から見た３次元モデルＭ２の作成画像ＭＧ２のうち、面が見えている部分、すなわち正面（表面）を図１１に示す手順で選択する。図１１において、経度、緯度、高度の３軸によって表現できる３次元空間に設定した３次元モデルＭ２の作成画像ＭＧ２の頂点位置に、撮影位置Ｐ２の座標位置から直線を引く。
【０１４０】
図１１に示すように、撮影位置Ｐ２から頂点位置への直線が作成画像ＭＧ２の面と交差していない頂点Ａ，Ｂ，Ｃ，Ｄによって構成できる面ＡＢＣＤは、正面（表面）であると判断する。同様に、撮影位置Ｐ２から延ばした直線が作成画像ＭＧ２の面と交差する頂点Ｅ，Ｆと交差しない頂点Ａ，Ｂによって構成できる面ＡＤＦＥは正面（表面）ではないと判断する。テクスチャ切り出し部２０１は、このようにして、作成画像ＭＧ２の撮影位置Ｐ２から見える正面（表面）を構成する４頂点を選択する。図１１の例では、この４頂点がＡ，Ｂ，Ｃ，Ｄであったことが示されている。
【０１４１】
図１２において、（ａ）は画像枠と作成画像ＭＧ２との関係図、（ｂ）は映像選択部１０５の選択した映像と切り出す部分画像との関係図である。図１２（ａ）において、作成画像ＭＧ２の頂点Ａ，Ｂ，Ｃ，Ｄは、上記のようにして選択された正面を構成する頂点である。テクスチャ切り出し部２０１は、図１２（ｂ）に示すように、映像選択部１０５の選択した映像から、作成画像ＭＧ２における頂点Ａ，Ｂ，Ｃ，Ｄの位置に対応した位置Ａ’，Ｂ’，Ｃ’，Ｄ’の部分画像を切り出して出力する。
【０１４２】
図１２（ａ）において作成画像ＭＧ２の頂点Ａを例にとれば、頂点Ａの位置は、画像枠ＧＷ１の左端から右に向かった距離ｒで、かつ画像枠ＧＷ１の右端から左に向かった距離ｓであったとする。この場合、図１２（ｂ）に示すように、ｒ：ｓ＝ｒ’：ｓ’で、かつｒ’＋ｓ’が映像選択部１０５の選択した映像ＧＷ２の横幅となるような位置ｒ’，ｓ’を求める。同様の位置決めを縦方向についても行う。つまり、ｔ：ｕ＝ｔ’：ｕ’で、かつｔ’＋ｕ’が映像選択部１０５の選択した映像ＧＷ２の縦幅となるような位置ｔ’，ｕ’を求める。
【０１４３】
これによって、作成画像ＭＧ２における頂点Ａに対応する映像選択部１０５の選択した映像ＧＷ２の中の位置Ａ’を求めることができる。同様に、作成画像ＭＧ２における頂点Ｂ，Ｃ，Ｄに対応する映像選択部１０５の選択した映像ＧＷ２の中の位置Ｂ’，Ｃ’，Ｄ’を求めることができる。その結果、位置Ａ’，Ｂ’，Ｃ’，Ｄ’によって囲まれる範囲を切り出し範囲ＫＤ２として部分画像を切り出すことができる。以上の切り出し処理は、撮影位置や撮影方向が正確であることを前提としている。
【０１４４】
次に、図１３を参照して、多少のずれがあっても正確に映像選択部１０５の選択した映像の中の建物枠部分を切り出す手順について説明する。図１３において、映像選択部１０５の選択した映像（図１３（ａ））に縦方向のエッジ抽出処理（図１３（ｂ））、横方向のエッジ抽出処理（図１３（ｃ））をかける。そして、縦方向エッジの抽出結果（図１３（ｂ））の縦線と、横方向エッジの抽出結果（図１３（ｃ））の横線とを重ねて表示したときに（図１３（ｄ））、交差している点ＫＳ１および、縦エッジ、横エッジの端点が予め設定した距離よりも近い点ＫＳ２，ＫＳ３を候補として選ぶ。縦エッジ、横エッジの端点が近い点の場合、縦エッジ、横エッジの延長上の点を候補とする。次いで、候補点の中から、前述の図１２の比率を用いた計算によって求めた映像選択部１０５の選択した映像ＧＷ２の中の頂点位置に最も近い点を選択する。
【０１４５】
テクスチャ切り出し部２０１は、切り出したひし形や台形といった四角形の部分画像をファイルとして出力し、映像選択部１０５の選択した映像の中の頂点位置の情報もテキストファイルとして出力する。また、テクスチャ切り出し部２０１は、撮影位置から３次元モデルを見たときに正面を向いている面の頂点の座標をファイルにテキスト形式で出力する。
【０１４６】
テクスチャ切り出し部２０１は、３次元モデルを表示し、撮影位置から３次元モデルを見たときに正面を向いている面の色を変えて表示してもよい。また、映像選択部１０５の選択した映像を表示し、テクスチャ切り出し部２０１が求めた切り出し範囲ＫＤ２の頂点位置を画像の上にマークで表示してもよい。このとき、操作員がマークの位置をずらすと、ずらした後の位置でテクスチャを切り出すことができるようにする。
【０１４７】
以上のように、実施の形態２によれば、自動的に３次元モデルの中でテクスチャを貼り付ける面を選択し、選択した３次元モデルの面（位置）が映っている映像から３次元モデルの面に対応した部分の画像だけを切り出すことができる。したがって、３次元モデル（建物）に画像から建物表面の部分画像を切り出して貼り付けるときに、画像の中から建物部分だけを切り出す位置の指定を操作員がしなくてもよくなる。
【０１４８】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャの加工、貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ切り出し部２０１で切り出した画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換したり形状を加工しておくこともできる。
【０１４９】
実施の形態３．
図１４は、この発明の実施の形態３であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態３では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャの加工処理（変形処理）を行う場合の構成例が示されている。すなわち、図１４に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ変形部３０１が設けられている。テクスチャ切り出し部２０１の出力は、３次元モデルの正面を構成する頂点座標、および、映像選択部１０５が選択した映像から切り出した画像（テクスチャ画像）である。その他は、図６に示した構成と同様である。ここでは、実施の形態３に関わる部分を中心に説明する。
【０１５０】
図１４において、テクスチャ変形部３０１は、テクスチャ切り出し部２０１の出力を受けて、３次元モデル（建物）の正面に合わせて映像（静止画像、動画像）から切り出した建物の表面画像であるテクスチャ画像の縦横比を変形する処理を行う。
【０１５１】
次に、図１４、図１５を参照して、テクスチャ変形部３０１の動作について説明する。なお、図１５は、テクスチャ変形部３０１の動作説明図である。図１４において、テクスチャ変形部３０１は、テクスチャ切り出し部２０１から入力する３次元モデルの正面を構成する頂点座標に基づき、当該３次元モデルの正面の縦横比を計算する。次いで、テクスチャ変形部３０１は、図１５に示す手順で縦横比の変形処理を行う。
【０１５２】
図１５（ａ）は、テクスチャ切り出し部２０１から入力された画像（映像選択部１０５が選択した映像から切り出した画像）である。この切り出された画像を画像ＫＧ３と称すれば、テクスチャ変形部３０１は、この画像ＫＧ３について、縦方向の辺のうち長い方の辺が垂直となるように画像全体に回転を加える（図１５（ｂ））。
【０１５３】
次に、テクスチャ変形部３０１は、回転を加えた画像ＫＧ３を縦方向に引き伸ばして外接長方形ＧＳ３の高さと一致させる（図１５（ｃ））。また、縦方向に引き伸ばした画像ＫＧ３を横方向に引き伸ばして外接長方形ＧＳ３の幅と一致させる（図１５（ｄ））。テクスチャ変形部３０１は、このようにして外接長方形ＧＳ３と一致させた画像ＫＧ３の縦横比を３次元モデルの正面に対応した縦横比に変換し（図１５（ｅ））、３次元モデルの正面形状に対応した形状に合わせた画像ＫＧ３１を得る（図１５（ｆ））。得られた画像ＫＧ３１は、ファイル名が付されて出力される。
【０１５４】
以上のように、実施の形態３によれば、３次元モデルの正面に対応して選択された映像（静止画像、動画像）から切り出した画像を、自動的に３次元モデルの正面形状に合わせて変形することができるので、画像から建物表面の部分を切り出して３次元モデル（建物）の正面に貼り付けるときに、操作員が画像の変形を画像編集ソフトウェアを用いて行わなくてもよくなる。
【０１５５】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャの貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ変形部３０１で変形された画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換しておくこともできる。
【０１５６】
実施の形態４．
図１６は、この発明の実施の形態４であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態４では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（遮蔽物除去処理）を行う場合の構成例が示されている。すなわち、図１６に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受ける遮蔽物除去部４０１が設けられている。テクスチャ切り出し部２０１の出力は、映像選択部１０５が選択した映像から切り出した画像（テクスチャ画像）である。その他は、図６に示した構成と同様である。ここでは、実施の形態４に関わる部分を中心に説明する。
【０１５７】
図１６において、遮蔽物除去部４０１は、テクスチャ切り出し部２０１から入力される複数のテクスチャ画像を用いて、それらに映っている建物の表面画像であるテクスチャ画像の前に車や街路樹等の遮蔽物がある場合に、それを取り除いたテクスチャ画像を作成する処理を行う。
【０１５８】
次に、図１６〜図２０を参照して、遮蔽物除去部４０１の動作について説明する。なお、図１７は、テクスチャ画像が静止画像である場合の遮蔽物除去方式の説明図である。図１８〜図２０は、テクスチャ画像が動画像である場合の遮蔽物除去方式の説明図である。各図の説明では、説明の便宜から、遮蔽物除去部４０１に入力されるテクスチャ画像は、大きさが同じ長方形であるとしている。
【０１５９】
まず、図１７を参照して、テクスチャ画像が静止画像である場合の遮蔽物除去動作について説明する。この場合には、重ね合わせによる方式が用いられる。図１７（ａ）に示す３つのテクスチャ画像ＴＥ１，ＴＥ２，ＴＥ３は、それぞれ撮影した位置が異なる静止画像であり、例えば木のような遮蔽物４１１，４１２，４１３が映っている。３つのテクスチャ画像ＴＥ１，ＴＥ２，ＴＥ３のそれぞれにグレースケール化処理（図１７（ｂ））を施したテクスチャ画像ＴＥ１１，ＴＥ２１，ＴＥ３１（図１７（ｃ））に対して、排他的論理和処理（図１７（ｄ））と論理積処理（図１７（ｅ））とを施す。これによって、テクスチャ画像ＴＥ１，ＴＥ２，ＴＥ３それぞれの遮蔽物４１１，４１２，４１３の位置が明確になる。なお、図１７（ｄ）（ｅ）において、点線部分は、消えて見えない部分を示している。
【０１６０】
図１７（ｄ）において、画像４２１は、テクスチャ画像ＴＥ１１，ＴＥ２１の排他的論理和を取った画像であり、遮蔽物４１１，４１２が消えずに残っている。画像４２２は、テクスチャ画像ＴＥ２１，ＴＥ３１の排他的論理和を取った画像であり、遮蔽物４１２，４１３が消えずに残っている。画像４２３は、テクスチャ画像ＴＥ１１，ＴＥ３１の排他的論理和を取った画像であり、遮蔽物４１１，４１３が消えずに残っている。
【０１６１】
図１７（ｅ）において、画像４３１は、画像４２１，４２３の論理積を取った画像であり、テクスチャ画像ＴＥ１に映っている遮蔽物４１１が消えずに残り、存在位置が明確に示されている。画像４３２は、画像４２１，４２２の論理積を取った画像であり、テクスチャ画像ＴＥ２に映っている遮蔽物４１２が消えずに残り、存在位置が明確に示されている。画像４３３は、画像４２２，４２３の論理積を取った画像であり、テクスチャ画像ＴＥ３に映っている遮蔽物４１３が消えずに残り、存在位置が明確に示されている。
【０１６２】
例えば、テクスチャ画像ＴＥ１に映っている遮蔽物４１１を除去する場合、図１７（ｆ）に示すように、遮蔽物４１１が存在する部分の外接長方形４４１の範囲を遮蔽物４１１があることにより建物の壁面が映っていない無効部分４４２とする。そして、テクスチャ画像ＴＥ３からテクスチャ画像ＴＥ１の無効部分４４２と同じ位置の画像４４３を切り出して、無効部分４４２に貼り付ける。このとき、テクスチャ画像ＴＥ３から切り出す画像４４３が、テクスチャ画像ＴＥ３における無効部分ではないことを確認しておく。
【０１６３】
このようにテクスチャ画像ＴＥ１の無効部分４４２にテクスチャ画像ＴＥ３の無効でない部分の画像４４３を貼り付けた画像は、建物面の遮蔽物を取り除いたテクスチャ画像となる。他のテクスチャ画像ＴＥ２，ＴＥ３についても、同様の手法によって遮蔽物４１２，４１３を除去したテクスチャ画像を得ることができる。遮蔽物除去部４０１では、以上の手法によって遮蔽物を除去したテクスチャ画像が取得され、出力としてファイルに書き込まれる。
【０１６４】
次に、図１８〜図２０を参照して、テクスチャ画像が動画像である場合の遮蔽物除去動作について説明する。図１８は、コマ画像と評価位置との関係図である。目的の建物が映っているテクスチャ画像（動画像）には、連続する複数のコマ画像が映っている。ここでは、説明の便宜から、３つのコマ画像が適宜な時間間隔で映っている場合を説明する。
【０１６５】
図１８では、動画像を構成するコマ画像ＣＧ１，ＣＧ２，ＣＧ３が、画像枠４５０の下辺側に時間Ｔ１、Ｔ２、Ｔ３の順序に従って配置されている。コマ画像ＣＧ１，ＣＧ２，ＣＧ３には、例えば車など遮蔽物４５１，４５２，４５３が映っている。時間Ｔ１のコマ画像ＣＧ１は、画像枠４５０の横方向中央から右端側よりに位置し、遮蔽物４５１が右端側に映っている。時間Ｔ２のコマ画像ＣＧ２は、画像枠４５０の横方向中央に位置し、遮蔽物４５２がほぼ中央に映っている。時間Ｔ３のコマ画像ＣＧ３は、画像枠４５０の横方向中央から左端側に位置し、遮蔽物４５３が左端に映っている。なお、コマ画像ＣＧ１，ＣＧ２，ＣＧ３は、予めグレースケール化または２値化しておいてもよい。
【０１６６】
評価位置４６０を示す水平方向の直線は、画像枠４５０の上辺からｈ画素だけ下がった位置に引かれている。画素数ｈは、操作員が任意に設定するか、または、予め設定されるようになっている。
【０１６７】
図１９は、評価画像およびエッジ抽出処理の説明図である。図１９（ａ）に示す評価画像は、図１８において評価位置４６０が存在する直線上の画素を抜き出して、時間順に並べた画像である。すなわち、図１９（ａ）に示す評価画像は、「時間Ｔ１のコマ画像ＣＧ１から切り出した部分」の画像４６１と、「時間Ｔ２のコマ画像ＣＧ２から切り出した部分」の画像４６２と、「時間Ｔ３のコマ画像ＣＧ３から切り出した部分」の画像４６３とで構成されている。なお、抜き出す直線上の画素数は、垂直方向は１画素であっても数画素であってもよく、予め決めた画素数としてもよい。図１９（ａ）において、太い斜線４６５は、遮蔽物の軌跡線であり、両側の細い斜線４６７，４６８は、コマ画像の枠軌跡線である。
【０１６８】
図１９（ａ）に示す評価画像に縦方向のエッジ抽出処理を行うと、図１９（ｂ）に示すように、評価画像４７０には、斜めの線４７１，４７２，４７３，４７４が出てくる。これらの線は、次のようにして特定する。このエッジ抽出結果の線として、例えば線４７２に注目すると、評価画像４７０の上端に線４７２が接している部分４８１から、１画素下にある画素を順番に辿り、評価画像４７０の下端に線４７２が接している部分４８２への直線を求めることで、線４７２を特定する。このとき、途中に交点４８３があった場合は、直進性の高い方向へ辿ることによって、できるだけ真っ直ぐな直線となるようにする。今の例では、評価画像４７０の下端に線４７２が接している部分４８２が直進性の高い端点であり、評価画像４７０の下端に線４７１が接している部分４８４は直進性の低い端点である。
【０１６９】
図２０（ａ）では、上記のようにして特定できた直線Ｌ１，Ｌ２，Ｌ３，Ｌ４が示されている。直線Ｌ１は、線４７１に対応している。直線Ｌ２は、線４７２に対応している。直線Ｌ３は、線４７３に対応している。直線Ｌ４は、線４７４に対応している。このように、直線Ｌ１，Ｌ２，Ｌ３，Ｌ４が求まると、次に、評価画像４８７の横方向をＸ軸、縦方向をＹ軸としたときのＸＹ平面における傾きの絶対値を求める。この絶対値が大きいほど、その直線はカメラの近くにある物が映っている画像の軌跡を示している。ここで、直線Ｌ１の傾きの絶対値をＬＡ１、直線Ｌ２の傾きの絶対値をＬＡ２、直線Ｌ３の傾きの絶対値をＬＡ３、直線Ｌ４の傾きの絶対値をＬＡ４とする。
【０１７０】
予め設定した値以下の違いは無視するならば、図２０（ａ）からＬＡ１＝ＬＡ４、ＬＡ２＝ＬＡ３、ＬＡ１＜ＬＡ２となる。これは直線Ｌ２と直線Ｌ３に挟まれた部分は、直線Ｌ１と直線Ｌ４に挟まれた部分よりも手前にあることを意味している。但し、画像上の遮蔽物が画像に映っている建物の幅よりも十分狭いことを条件としている。また、建物よりも遠方の物が画面内にあまり映っていないか、評価位置の設定において、操作員がこれらの条件を満たすように設定することを前提としている。なお、評価画像中の遮蔽物の判断は、評価画像を見た操作員が評価画像上で斜めに傾く縞模様を見て傾きが大きいところが遮蔽物として判断するのでもよい。この場合は判断した位置を評価画面上で指示して遮蔽物の位置を特定するとよい。
【０１７１】
次に、評価画像４８７上の直線Ｌ２と直線Ｌ３の間が遮蔽物であるとわかった場合、評価画像４８７を作成した手順と逆の手順で、元画像中の遮蔽物のある部分を抽出できる。図１９（ａ）の評価画像では、時間Ｔ２のコマ画像ＣＧ２から切り出した部分において、遮蔽物４５２は当該コマ画像ＣＧ２の中央付近に映っているので、時間Ｔ２で映っている部分は使えない。したがって、図２０（ａ）の評価画像４８７において、時間Ｔ２のコマ画像ＣＧ２から切り出した部分に相当する水平位置線４９０と直線Ｌ２，Ｌ３との交点Ｖ１、Ｖ２の間の画像は使えない。
【０１７２】
そこで、図２０（ｂ）に示すように、時間Ｔ２における交点Ｖ１〜Ｖ２の間の部分画像を無効な部分とする。その後は、前述した図１７における補完の処理（図１７（ｆ））と同様の処理を行う。この場合の補完処理では、目的の建物が映っている複数の画像（動画の各コマ画像）における無効部分のかわりに、他のコマ画像の同じ位置の画像を貼り付ける。同じ位置というのは、画像枠４５０が同じ大きさであるとしたときの、その画像枠４５０の中の位置である。動画像の画面枠の中の位置ではない。補完した画像は遮蔽物除去部４０１の出力としてファイルに書き込まれる。
【０１７３】
なお、上記した無効部分の補完処理を行う前に、建物部分のテクスチャの切り出しを実施の形態２におけるテクスチャ切り出し部２０１と同じように行ってもよい。また、実施の形態３で示したように、建物の面の形状に合わせてテクスチャを変形する処理をして、各コマから取り出したテクスチャ画像が同じ形状になるようにしておいてもよい。
【０１７４】
以上のように、実施の形態４によれば、建物の表面を撮影した映像に映っている木や自動車等の遮蔽物を自動的に除去できるので、画像から建物表面の部分を切り出して３次元モデル（建物）の正面に貼り付けるときに、操作員が画像編集ソフトウェアを用いて画像中の遮蔽物を取り除く作業を行わなくてもよくなる。
【０１７５】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャの貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それに遮蔽物除去部４０１で遮蔽物が除去されたテクスチャ画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換しておくこともできる。
【０１７６】
なお、実施の形態４では、実施の形態２への適用例を示したが、実施の形態３のテクスチャ変形部３０１の出力結果に対して遮蔽物除去操作を行うようにしてもよい。
【０１７７】
実施の形態５．
図２１は、この発明の実施の形態５であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態５では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（合成処理）を行う場合の構成例が示されている。すなわち、図２１に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ合成部５０１が設けられている。テクスチャ切り出し部２０１の出力は、３次元モデルの正面を構成する頂点座標、および、映像選択部１０５が選択した映像から切り出したテクスチャ画像である。その他は、図６に示した構成と同様である。ここでは、実施の形態５に関わる部分を中心に説明する。
【０１７８】
図２１において、テクスチャ合成部５０１は、映像選択部１０５によって選択された映像（静止画像、動画像）の中に、１枚の映像では１件の３次元モデル（建物）の表面が入りきらない映像がある場合に、複数の映像に映っている映像を合成して１件の３次元モデル（建物）の面に貼り付けるテクスチャ画像を作成する処理を行う。
【０１７９】
次に、図２１〜図２４を参照して、テクスチャ合成部５０１の動作について説明する。なお、図２２は、合成対象テクスチャの説明図である。図２３は、選択された３次元モデルの説明図である。図２４は、合成テクスチャ画像の説明図である。
【０１８０】
映像選択部１０５は、実施の形態２で説明した動作によって、建物の映っているテクスチャ画像を検索し、図２２に示すようなテクスチャ画像５１１，５１２の２枚を選択したとする。このテクスチャ画像５１１，５１２について、テクスチャ切り出し部２０１が切り出しを行う場合について考える。テクスチャ画像５１１，５１２は、次のようなものである。
【０１８１】
図２２において、建物５２１，５２２は、上から見た状態を示している。テクスチャ画像５１１は、この建物５２１を撮影位置５３１から撮影したものである。建物５２１の横方向は、１４００画素分あるが、撮影範囲５４１は建物５２１に対し少し左側にずれたところにあるので、撮影範囲５４１には建物５２１の左側から１２００画素分が入っていて、残りの右側２００画素分は入っていない。したがって、テクスチャ画像５１１には、画像枠５５１の左端側に撮影範囲５４１のずれた分に相当する間隔を置いた位置から、画像枠５５１の右端まで建物５２１の左側から１２００画素分の建物が映っていて、残りの右側２００画素分の建物は映っていない。
【０１８２】
また、テクスチャ画像５１２は、建物５２２を撮影位置５３２から撮影したものである。建物５２２の横方向は、１４００画素分あるが、撮影範囲５４２は建物５２２に対し大きく右側にずれたところにあるので、撮影範囲５４２には建物５２２の左側から９００画素分は入っておらず、残りの右側５００画素分が入っている。したがって、テクスチャ画像５１２には、建物５２２の左側から９００画素分の建物は映っておらず、画像枠５５２の左端から５００画素分の領域に建物５２２の右側２００画素分の建物が映っており、そこから画像枠５５２の右端までは映像は映っていない。
【０１８３】
テクスチャ切り出し部２０１は、実施の形態２で説明した動作によってテクスチャ部分を切り出すが、上記のように選択されたテクスチャ画像５１１，５１２の中に建物１件分のテクスチャ画像が映っていない。そこで、テクスチャ切り出し部２０１では、まず、実施の形態２で説明したように、３次元モデル（建物）の正面を選択し、モデル選択部１０２から図２３に示すような３次元モデルの正面を構成する頂点座標Ａ，Ｂ，Ｃ，Ｄを取得する。図２３において、取得した３次元モデルの正面の縦横比は２：７であるとする。
【０１８４】
次に、テクスチャ切り出し部２０１は、実施の形態２で説明した手法によってテクスチャ画像５１１の中から頂点ＡＢＣＤに対応する点を求める。しかし、テクスチャ画像５１１では、頂点Ａ，Ｂに対応した頂点Ａ’、Ｂ’の２点しか見つからない。頂点Ｃ、Ｄに対応する点は、テクスチャ画像５１１の右外側の位置ＣＸ，ＤＸとなる。頂点Ａ’と位置ＤＸとを結ぶ線、頂点Ｂ’と位置ＣＸとを結ぶ線がテクスチャ画像５１１の右端と交わる点をＣ”，Ｄ”とすると、Ａ’Ｂ’Ｃ”Ｄ”で囲まれる面が利用できる面である。これを切り出しテクスチャ合成部５０１に出力する。図２２の例では、Ａ’Ｄ”、Ｂ’Ｃ”がそれぞれ１２００画素であり、Ａ’Ｂ’およびＣ”Ｄ”が４００画素である。３次元モデルの縦横比率が２：７である場合、横方向は１４００画素中１２００画素が映っていることになる。
【０１８５】
同様にしてテクスチャ画像５１２においても全体のうちどの範囲が映っているかを求める。図２２の例では、テクスチャ画像５１２の右端から１４００画素分あるテクスチャのうち、５００画素が映っている。テクスチャ切り出し部２０１は、これを切り出しテクスチャ合成部５０１に出力する。
【０１８６】
テクスチャ合成部５０１は、図２４に示すように、テクスチャ画像５１１から切り出された１２００画素×４００画素の利用できる面５６１と、テクスチャ画像５１２から切り出された５００画素×４００画素の利用できる面５６２とを、貼り付ける正面の縦横比と同じになるように合成する。なお、図２４では、左右の合成について示したが、上下の合成も全く同じである。また、３枚以上の画像に分かれて映っている画像についても同様である。正面から見た建物の画像のうち、右端および左端の映っていない物については、撮影した位置情報を元に撮影した映像の枠からはみ出る頂点を求めて映っているテクスチャ部分がテクスチャ画像全体のどの範囲かを判断することにより合成する。このように合成されたテクスチャ画像がテクスチャ合成部５０１の出力としてファイルに書き込まれる。
【０１８７】
以上のように、実施の形態５によれば、１枚の映像には映りきらない建物画像も、複数の画像に映っている部分部分の画像を自動的に貼り合わせて建物全体のテクスチャ画像を合成することができるので、操作員が画像編集ソフトウェアを用いて複数の画像に映っている建物部分の画像を貼り合わせなくてもよくなる。
【０１８８】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ合成部５０１で合成されたテクスチャ画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換しておくこともできる。
【０１８９】
なお、実施の形態５では、実施の形態２への適用例を示したが、実施の形態３、４に対しても同様に適用できることはいうまでもない。
【０１９０】
実施の形態６．
図２５は、この発明の実施の形態６であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態６では、実施の形態５で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（繋ぎ目の補正処理）を行う場合の構成例が示されている。すなわち、図２５に示すように、図２１に示した構成において、テクスチャ合成部５０１の出力を受けるテクスチャ補正部６０１が設けられている。その他は、図２１に示した構成と同様である。ここでは、実施の形態６に関わる部分を中心に説明する。
【０１９１】
図２５において、テクスチャ補正部６０１は、テクスチャ合成部５０１にて合成された各テクスチャ画像の色の違いを補正し、繋ぎ目を分かり難くする色補正処理を行う。
【０１９２】
次に、図２５、図２６を参照して、テクスチャ補正部６０１の動作について説明する。なお、図２６は、テクスチャ補正部６０１が行う繋ぎ目を分かり難くする色補正処理動作の説明図である。
【０１９３】
テクスチャ合成部５０１は、実施の形態５で説明したように、複数の画像から１枚のテクスチャ画像を合成し、貼り合わせた位置情報とともに、テクスチャ補正部６０１に出力する（図２６（ａ））。図２６（ａ）では、テクスチャ画像５１１（図２２）から切り出した部分画像６１１とテクスチャ画像５１２（図２２）から切り出した部分画像６１２とが繋ぎ合わされ、１つのテクスチャ画像としてテクスチャ補正部６０１に入力する場合が示されている。合成されたテクスチャ画像は、横方向の総画素数が１４００画素である。そのうち左側の１０００画素分を部分画像６１１が分担し、右側の４００画素分を部分画像６１２が分担している。
【０１９４】
部分画像６１１と部分画像６１２は、それぞれ異なる明るさになっているので、繋ぎ目で色が違って見えている。そこで、テクスチャ補正部６０１は、まず部分画像６１１と部分画像６１２の境界において、幅５画素の矩形領域６２１，６２２を切り出し（図２６（ｂ））、切り出した矩形領域６２１，６２２の画素をグレースケール化し（図２６（ｃ））、各画素には明暗の情報だけがあるようにする。このとき、１画素の値は、０〜２５５の値をもつとし、値「０」が黒で、値「２５５」が白となり、明るさを示すこととする。
【０１９５】
次に、テクスチャ補正部６０１は、切り出した矩形領域６２１，６２２の中の画素の値の平均を求める（図２６（ｄ））。図２６の例では、部分画像６１１の平均値は１３０で、部分画像６１２の平均値は１００であったとする。異なっているので、合成した境目部分で、明るさが異なっていることを示す。そこで、明るさが同じようになるように補正を行う。
【０１９６】
すなわち、テクスチャ補正部６０１は、明るさの低い部分画像６１２の各画素の値を１３０／１００＝１．３倍し、四捨五入した値を入れる（図２６（ｅ））。但し、２５５を超えた場合は２５５とする。このとき、元の画像がカラーであった場合は、各画素の各色の色要素の値を１．３倍することとする。
【０１９７】
次に、テクスチャ補正部６０１は、何も変更していない部分画像６１１と、部分画像６１２の各画素の値を１．３倍した部分画像６３２とを繋ぎ合わせて合成する（図２６（ｆ））。合成した画像６４１は、補正済みのテクスチャ画像としてファイルに書き込まれる。
【０１９８】
以上のように、実施の形態６によれば、複数の映像を繋ぎ合わせて建物全体のテクスチャ画像を合成したその合成境界での色の違いを自動的に修正することができるので、操作員が画像編集ソフトウェアを用いてテクスチャ画像の合成部分の色補正を行わなくてもよくなる。なお、色の相違を補正する場合を説明したが、パターンの相違を目立たなくする補正も行えるようになっている。
【０１９９】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ補正部６０１で補正されたテクスチャ画像を貼り付けることができる。
【０２００】
実施の形態７．
図２７は、この発明の実施の形態７であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態７では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（見えない部分に貼り付けるテクスチャ画像の生成処理）を行う場合の構成例が示されている。すなわち、図２７に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受ける側面テクスチャ生成部７０１が設けられている。その他は、図６に示した構成と同様である。ここでは、実施の形態７に関わる部分を中心に説明する。
【０２０１】
図２７において、側面テクスチャ生成部７０１は、テクスチャ切り出し部２０１から入力されるテクスチャ画像が貼り付けられる３次元モデル（建物）のテクスチャ貼り付け面以外の面に貼り付けるテクスチャ画像を、テクスチャ切り出し部２０１から入力されるテクスチャ画像に基づき作成する処理を行う。
【０２０２】
次に、図２７、図２８を参照して、側面テクスチャ生成部７０１の動作について説明する。なお、図２８は、側面テクスチャ生成部７０１が行う見えない部分のテクスチャ画像を生成する動作の説明図である。
【０２０３】
図２８では、３次元モデル（建物）が、４つの側面を持つ直方体形状をしている場合が示されている。この３次元モデルは、４つの側面として、正面７１１と右側面７１２と背面７１３と左側面７１４と備えている。正面７１１がテクスチャ貼り付け対象面であり、他の３側面はテクスチャ貼り付け対象面になっていないとする。
【０２０４】
すなわち、実施の形態２で説明したテクスチャ切り出し部２０１は、テクスチャを貼り付けるべき３次元モデルのファイル名と、テクスチャ画像を貼り付ける正面７１１の頂点座標とが分かっていて、正面７１１に貼り付けるテクスチャ画像を切り出して出力する。正面７１１に貼り付けるテクスチャ画像をテクスチャ画像ＴＧ１とすれば、このテクスチャ画像ＴＧ１には、３次元モデルの右側面７１２や背面７１３、左側面７１４に対応する映像は映っていない。
【０２０５】
そこで、側面テクスチャ生成部７０１は、テクスチャ画像ＴＧ１から右側面７１２や背面７１３、左側面７１４に貼り付けるテクスチャ画像を次のようにして生成する。側面テクスチャ生成部７０１は、まず、テクスチャ画像ＴＧ１で使用されている色の種類を調べ、一番多く使っている色Ｃ１、２番めに使っている色Ｃ２などと特定する。多くの色を使っている場合は、近い色を選ばないように、ある程度近い色は候補に選ばないようにする。色の選択は、各画素の各色成分を示す数値によって判断する。
【０２０６】
次に、側面テクスチャ生成部７０１は、右側面７１２、背面７１３、左側面７１４の各頂点座標を取得し、取得した頂点座標から右側面７１２、背面７１３、左側面７１４それぞれの縦横比を求める。次いで、右側面７１２、背面７１３、左側面７１４の縦横比に合った白色のテクスチャ画像ＴＧ２，ＴＧ３，ＴＧ４をそれぞれ作成し、これらの画像の色を一番多く使っている色Ｃ１にする。次いで、これらの画像の中に、２番めに使っている色Ｃ２の色線をランダムに入れる。色線の幅は例えば全体の１／８以下、本数は縦３本以下、横５本以下というように制限を加えておいてもよい。
【０２０７】
側面テクスチャ生成部７０１は、このようして作成したテクスチャ画像ＴＧ２，ＴＧ３，ＴＧ４を右側面７１２用、背面７１３用、左側面７１４用のテクスチャ画像として、右側面７１２、背面７１３、左側面７１４の座標とともにファイルに出力する。
【０２０８】
以上のように、実施の形態７によれば、側面テクスチャ生成部７０１は、入力されたテクスチャ画像には映っていない３次元モデル（建物）の側面や裏面用のテクスチャ画像を生成することができる。その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、入力されるテクスチャ画像を貼り付ける３次元モデルのテクスチャ貼り付け面以外の面に、側面テクスチャ生成部７０１で作成されたテクスチャ画像を貼り付けることができる。
【０２０９】
なお、実施の形態７では、実施の形態２への適用例を示したが、実施の形態３〜６に対しても同様に適用できることはいうまでもない。
【０２１０】
実施の形態８．
図２９は、この発明の実施の形態８であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態８では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（テクスチャ画像の合成、分割）を行う場合の構成例が示されている。すなわち、図２９に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ調整部８０１が設けられている。その他は、図６に示した構成と同様である。ここでは、実施の形態８に関わる部分を中心に説明する。
【０２１１】
以上説明した各実施の形態では、１回の選択操作で選択された３次元モデル（建物）と映像とは、１対１に対応しそのまま使用できる場合を説明したが、画像枠の大小関係から、３次元モデル（建物）の選択操作を複数回行う必要が生ずる場合がある。そこで、この実施の形態８では、テクスチャ切り出し部２０１は、選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となる場合と、選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となる場合とのそれぞれにおいて、対応する３次元モデル（建物）と映像とをテクスチャ調整部８０１に与える。テクスチャ調整部８０１は、選択された３次元モデル（建物）の件数と選択された映像に映っている建物の件数とが異なるときに、映像に映っている建物のテクスチャ画像を合成するか、分離することによって３次元モデル（建物）に適したテクスチャ画像を作成する処理を行うようにしている。
【０２１２】
次に、図２９〜図３４を参照して、テクスチャ切り出し部２０１とテクスチャ調整部８０１の動作について説明する。なお、図３０は、選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となる場合のテクスチャ切り出し部の動作説明図である。図３１は、選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となる場合のテクスチャ切り出し部の動作説明図である。図３２は、テクスチャ調整部８０１が合成テクスチャ画像を作成する場合の説明図である。図３３は、テクスチャ調整部８０１が分割テクスチャ画像を作成する場合の座標値取得説明図である。図３４は、テクスチャ調整部８０１が分割テクスチャ画像を作成する場合の説明図である。
【０２１３】
まず、図３０，図３１を参照して、選択された３次元モデル（建物）の件数と選択された映像に映っている建物の件数とが異なる場合のテクスチャ切り出し部２０１の動作について説明する。図３０において、選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となるケースは、選択された３次元モデル（建物）の画像枠が選択された映像のそれよりも大きい場合に起こる。
【０２１４】
図３０（ａ）に示す３次元モデル（建物）Ｍ５は、テクスチャ切り出し部２０１が図１０，図１１で説明した手順で選択された３次元モデル（建物）であり、候補点Ａ”，Ｂ”，Ｃ”，Ｄ”が求められた場合を示している。また、テクスチャ切り出し部２０１は、映像選択部１０５が選択した映像に対して図１２，図１３で説明した処理を３次元モデル（建物）Ｍ５の画像枠の範囲内において実行し、求めた縦エッジと横エッジの交差点または近くにある頂点を候補点として求め、求めた画像の候補点と３次元モデル（建物）の候補点とを重ねる。このとき、それぞれの４つの候補点が重なり閉ループを形成すれば、３次元モデル（建物）と映像が１対１に対応している。その後は、実施の形態２で説明した処理が行われる。
【０２１５】
ところが、図３０（ｂ）に示すように、映像選択部１０５が選択した映像から候補点Ｋ１，Ｋ２，Ｋ３，Ｋ４を持つ画像ＴＥ５と、候補点Ｋ５，Ｋ６，Ｋ７，Ｋ８を持つ画像ＴＥ６と抽出できる場合、候補点Ａ”は候補点Ｋ１と重なり、候補点Ｂ”は候補点Ｋ２と重なり、候補点Ｃ”は候補点Ｋ７と重なり、候補点Ｄ”は候補点Ｋ８と重なるが、候補点Ｋ１，Ｋ２，Ｋ７，Ｋ８は閉ループを形成しない。しかも、３次元モデル（建物）Ｍ５の４候補点による閉ループには、映像の複数の閉ループが接している。図示例では、Ｋ１−Ｋ２−Ｋ３−Ｋ４の閉ループとＫ５−Ｋ６−Ｋ７−Ｋ８の閉ループとが接している。
【０２１６】
このような場合、テクスチャ切り出し部２０１は、映像選択部１０５が選択した映像から抽出できた複数の閉ループ部分の画像をそれぞれ切り出す。図示例では、Ｋ１−Ｋ２−Ｋ３−Ｋ４の閉ループ部分の画像ＴＥ５と、Ｋ５−Ｋ６−Ｋ７−Ｋ８の閉ループ部分の画像ＴＥ６とを切り出し、候補点Ａ”，Ｂ”，Ｃ”，Ｄ”を持つ３次元モデル（建物）Ｍ５とともに、テクスチャ調整部８０１に出力する。このように、テクスチャ調整部８０１には、１つの３次元モデル（建物）に対して複数の建物が映っている映像が入力される。
【０２１７】
次に、図３１において、選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となるケースは、選択された映像の画像枠が選択された３次元モデル（建物）のそれよりも大きい場合に起こる。図３１（ａ）に示す３次元モデル（建物）Ｍ６は、テクスチャ切り出し部２０１にて図１０，図１１で説明した手順で選択された３次元モデル（建物）であり、候補点Ａ”，Ｂ”，Ｃ”，Ｄ”が求められた場合を示している。図３０（ｂ）に示す画像ＴＥ７は、テクスチャ切り出し部２０１が映像選択部１０５の選択した映像に対して図１２，図１３で説明した処理を実行し、求めた縦エッジと横エッジの交差点または近くにある頂点を候補点として求め、切り出された画像である。
【０２１８】
切り出した画像ＴＥ７は、候補点Ｋ１，Ｋ２，Ｋ３，Ｋ４を持つが、横幅が３次元モデル（建物）Ｍ５よりも大きいものである場合、切り出した画像ＴＥ７の候補点と３次元モデル（建物）Ｍ６の候補点とを重ねると、図３１（ｃ）に示すように、画像ＴＥ７では、候補点Ｋ１は候補点Ａ”と重なり、候補点Ｋ２は候補点Ｂ”と重なるが、候補点Ｋ３，Ｋ４は重なる対象がない。
【０２１９】
この場合には、テクスチャ切り出し部２０１は、モデル選択部１０２に対して読み出しの指示を出し、取得した１件１件の新たな３次元モデル（建物）に対し、図１０，図１１で説明したように、映像と同じ視点で見た画像を作成し、候補点を重ねる操作を繰り返す。その結果、図３１（ｄ）に示すように、画像ＴＥ７の候補点Ｋ３，Ｋ４と重なる候補点Ｇ”，Ｈ”を持つ３次元モデル（建物）Ｍ７が得られる。３次元モデル（建物）Ｍ７は、候補点Ｅ”，Ｆ”，Ｇ”，Ｈ”を持っている。このように、選択された１つの映像に対し複数の３次元モデル（建物）が選択され、テクスチャ調整部８０１に出力される。図３１では、選択された１つの映像ＴＥ７に対し、２つの３次元モデル（建物）Ｍ６，Ｍ７が選択された場合が示されている。
【０２２０】
さて、テクスチャ調整部８０１では、テクスチャ切り出し部２０１から図３０で説明した関係を持つ３次元モデル（建物）と映像が与えられた場合には、次のようにして合成テクスチャ画像を作成する。図３２において、（ａ）は、モデル選択部１０２にて選択された３次元モデル（建物）の貼り付け面の形状を示している。このように、選択された３次元モデル（建物）は１件である。これに対し、（ｂ）は、テクスチャ切り出し部２０１にて該当する位置にあるとして選択された映像を示し、切り出した建物範囲（画像枠）８１１内に２件の建物８２１，８２２が映っている。
【０２２１】
実施の形態２で説明したように、テクスチャ切り出し部２０１は、撮影位置から見た３次元モデル（建物）の画像を判断し、図１１で説明したように表が映っている面を特定し、図１２で説明したように建物部分を切り出す。図３２（ｂ）は、このようにして切り出されたテクスチャ画像である。テクスチャ調整部８０１は、図３２（ｃ）に示すように、切り出されたテクスチャ画像にエッジ抽出処理をかけ、エッジの端点、またはエッジの端点の延長線が交差する点８３１、エッジの交点のうちで、切り出した画像の四隅に一番近い各点を結んだ４点Ａ，Ｂ，Ｃ、Ｄによってできる四角形ＡＢＣＤの範囲でテクスチャ画像を切り出す。つまり、２件の建物８２１，８２２の映像を合成して１つのテクスチャ画像とする。
【０２２２】
このとき、元々切り出したテクスチャ画像の範囲８１１に建物が入りきっていないことを考慮して、切り出した画像よりも予め決められた画素数だけ上下左右に大きい画像を元の映像から切り出し、これに対して同様の切り出し処理を行ってもよい。このように切り出された画像は、２件の映像が映っているが、１件の３次元モデルに貼るためのテクスチャ画像として保存する。
【０２２３】
次に、テクスチャ調整部８０１では、テクスチャ切り出し部２０１から図３１で説明した関係を持つ３次元モデル（建物）と映像が与えられた場合には、次のようにして分割テクスチャ画像を作成する。テクスチャ調整部８０１は、モデル選択部１０２にて選択された３次元モデル（建物）が２件ある場合には、図１０で説明したような手順で、２件の３次元モデルの撮影位置から見た画像を作成し（図３３，図３４）、それぞれの画像におけるテクスチャ貼り付け面を特定し、テクスチャ切り出し部２０１にて切り出された１件の建物が映っている画像をテクスチャ画像として割り当てることを行う（図３４）。
【０２２４】
図３３は、図１０（ａ）と同様に、選択された３次元モデルＭ２，Ｍ３の撮影位置Ｐ２から見た状態を上から見た図である。図１０（ａ）と同様に、３次元モデルＭ２，Ｍ３は、３次元座標における東西方向を経度、南北方向を緯度とした２次元空間での状態が示されている。（ａ）は、撮影位置Ｐ２から見た３次元モデルＭ２，Ｍ３の頂点座標値を取得する説明図である。（ｂ）は、撮影位置Ｐ２から見た３次元モデルＭ２，Ｍ３の間隔位置座標を取得する説明図である。
【０２２５】
図３３（ａ）（ｂ）において、撮影位置Ｐ２から撮影画角Ｇ２の範囲を示す補助直線Ｈ２１，Ｈ２２を引く。撮影位置Ｐ２からの撮影方向に直交する仮想スクリーンＳ２の線を引く。仮想スクリーンＳ２の線と補助直線Ｈ２１，Ｈ２２と交わる点をｈ’，ｒ’とする。
【０２２６】
図３３（ａ）において、左側の３次元モデルＭ２では、右側の３次元モデルＭ３と反対側にある頂点ＰＡが撮影位置Ｐ２から見えている。撮影位置Ｐ２から頂点ＰＡに線（破線となっている）を引き仮想スクリーンＳ２の線と交わる点ａ’を求める。右側の３次元モデルＭ３では、左側の３次元モデルＭ２と反対側にある頂点ＰＢ，ＰＣが撮影位置Ｐ２から見えている。撮影位置Ｐ２から頂点ＰＢ，ＰＣに線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ｂ’，ｃ’を求める。ここで、点ｈ’と点ａ’との間隔をａ２とし、点ａ’と点ｂ’との間隔をｂ２とし、点ｂ’と点ｃ’との間隔をｃ２とし、点ｃ’と点ｒ’との間隔をｄ２とする。
【０２２７】
図３３（ｂ）において、左側の３次元モデルＭ２と右側の３次元モデルＭ３とが対面する所では、３次元モデルＭ２の頂点ＰＥと３次元モデルＭ３の頂点ＰＦとが、撮影位置Ｐ２から見えている。撮影位置Ｐ２から頂点ＰＥ，ＰＦに線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ｅ’，ｆ’を求める。ここで、点ｈ’と点ｅ’の間隔をｅとし、点ｅ’と点ｆ’の間隔をｆとし、点ｆ’と点ｒ’の間隔をｇとする。
【０２２８】
次に、図３４において、テクスチャ調整部８０１は、幅と高さ方向の画角の比に対応した縦横比の画像枠ＧＷを作成し、ａ２：ｂ２：ｃ２：ｄ２＝Ａ２：Ｂ２：Ｃ２：Ｄ２の比と同じ比になるように、画像枠ＧＷの左端から値Ａの距離に位置ＰＡ、位置ＰＡから値Ｂの距離に位置ＰＢ、位置ＰＢから値Ｃの距離に位置ＰＣを描く。また、ｅ：ｆ：ｇ＝Ｅ：Ｆ：Ｇの比と同じ比になるように、画像枠ＧＷの左端からＥの距離に位置ＰＥ、位置ＰＥからＦの距離に位置ＰＦを描く。位置ＰＦからＧの距離にある位置は画像枠ＧＷの右端となっている。このように、２件の３次元モデルＭ２，Ｍ３について、上から見た３次元モデルＭ２の頂点ＰＡ，ＰＥ、３次元モデルＭ３の頂点ＰＦ，ＰＢ，ＰＣ、および、３次元モデルＭ２，Ｍ３の間隔ＥＦを求め、撮影位置Ｐ２から見た２件の３次元モデルＭ２，Ｍ３の画像を作成する。これを作成画像ＧＭ２，ＧＭ３と称することとする。
【０２２９】
次に、図１１で説明した手順で、表に映っている面を特定する。この時点で、２つの３次元モデルＭ２、Ｍ３の正面が候補になっているとする。また、図１２で説明したように建物部分を切り出すと、切り出した映像には１件分の建物が映っているとする。実施の形態２では、作成画像ＧＭ２の１つの面を候補とし、図１１における面ＡＢＣＤを正面とした。実施の形態８では、図３４に示す作成画像ＧＭ２，ＧＭ３のうち、作成画像ＧＭ２の面ＰＡ−Ｐ０−ＰＥ−Ｐ１、作成画像ＧＭ３面Ｐ３−ＰＦ−Ｐ４−ＰＢをそれぞれ正面と判断する。これらの面をここでは面ＳＭ２、面ＳＭ３とする。
【０２３０】
テクスチャ調整部８０１は、このように撮影位置から見た３次元モデルの候補が２つあった場合、テクスチャ切り出し部２０１が行ったように（図１２、図１３）、面ＳＭ２、面ＳＭ３に対応したテクスチャ画像を映像選択部１０５が選択した映像の中からそれぞれ切り出す。このとき、映像選択部１０５が選択した映像からエッジ抽出した結果の画像において、面ＳＭ２、面ＳＭ３の四隅の位置に対応したエッジの端点やエッジの交点が見つからなかった場合、図１２（ａ）で説明した正面を向いている面の範囲を、面ＳＭ２、面ＳＭ３を含んで外接する長方形とし、面ＳＭ２、面ＳＭ３を合わせた範囲において図１２、図１３で説明した手順を実行して映像からテクスチャ画像を切り出す。
【０２３１】
このように切り出したテクスチャ画像は面ＳＭ２、面ＳＭ３の両方の建物の面を合わせた範囲のテクスチャ画像であり、改めてこのテクスチャ画像の面を面ＳＭ４とする。次に、面ＳＭ４を次のようにして分割する。すなわち、面ＳＭ２、面ＳＭ３の幅の比率が２：３であり、面ＳＭ２と面ＳＭ３の間隔が面ＳＭ２の幅の半分であるとする。また、面ＳＭ２、面ＳＭ３は正面から向かって左側が面ＳＭ２であったとする。ここでは、面ＳＭ２の幅：面ＳＭ２と面ＳＭ３の間隔：面ＳＭ３の幅＝２：１：３となっている。そこで、面ＳＭ４を正面から見て左から１／３の範囲の画像を面ＳＭ２に貼るためのテクスチャ画像とし、右から半分の範囲の画像を面ＳＭ３に貼るためのテクスチャ画像として出力する。
【０２３２】
なお、以上は１つのテクスチャ画像を切り出した後にこれを分割する場合を説明したが、テクスチャ調整部８０１では、面ＳＭ２と面ＳＭ３に対応した複数のテクスチャ画像を切り出すようにしてもよい。
【０２３３】
以上のように、実施の形態８によれば、テクスチャ調整部８０１は、実際の現場を撮影した映像に映っている建物の件数と、同じ場所にある３次元モデル（建物）の件数が異なっていても、適切なテクスチャ画像を切り出すことができる。その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した複数の３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ調整部８０１で分割したそれぞれのテクスチャ画像を貼り付ける。また、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを読み込み、テクスチャ調整部８０１で合成した２件以上の建物のテクスチャ画像を貼り付けることが行えるようになる。
【０２３４】
なお、実施の形態８では、実施の形態２への適用例を示したが、実施の形態３〜７に対しても同様に適用できることはいうまでもない。
【０２３５】
実施の形態９．
図３５は、この発明の実施の形態９であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態９では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の貼り付け処理を行う場合の構成例が示されている。すなわち、図３５に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ貼り付け部９０１が設けられている。その他は、図６に示した構成と同様である。ここでは、実施の形態９に関わる部分を中心に説明する。
【０２３６】
図３５において、テクスチャ貼り付け部９０１は、テクスチャ切り出し部２０１にて切り出されたテクスチャ画像を３次元モデル（建物）の正面に貼り付ける処理を行う。
【０２３７】
次に、図３５〜図３７を参照して、テクスチャ貼り付け部９０１およびテクスチャ切り出し部２０１の動作について説明する。なお、図３６は、テクスチャ切り出し部２０１がテクスチャ貼り付け面として曲面を有する３次元モデルの撮影位置から見た画像を作成する動作の説明図である。図３７は、作成した３次元モデルの表面（テクスチャ貼り付け曲面）を選択する動作の説明図である。
【０２３８】
実施の形態２で説明した手順で、モデル選択部１０２は、３次元モデル（建物）を出力し、テクスチャ切り出し部２０１は、映像からテクスチャ画像を切り出す。テクスチャ貼り付け部９０１には、選択された３次元モデルと、それに貼り付けるとして切り出されたテクスチャ画像と、そのテクスチャ画像を貼り付ける３次元モデルの貼り付け面を規定する頂点座標値とが入力される。
【０２３９】
テクスチャ貼り付け部９０１は、３次元モデルがＶＲＭＬ形式で記述されている場合には、貼り付け面の頂点座標がわかれば、ＶＲＭＬのデータ内容にテクスチャ貼り付け記述を加えるだけで貼り付け処理が実行できる。具体的には、アジソン・ウェスレイ・パブリッシャーズ・ジャパン株式会社発行の「ＶＲＭＬ２．０ハンドブック」の１９４頁に記載された方法を用いて実現することができる。すなわち、上記ハンドブックによれば、texture Image Texture 文によりテクスチャ画像を指定し、テクスチャ貼り付け面を表現しているgeometry Index FaceSet文の面に対して、texCoord Coordinate文によって指定した範囲にテクスチャ画像を貼ることができる。
【０２４０】
このように、テクスチャ貼り付け部９０１は、３次元モデルがＶＲＭＬ形式で記述されている場合には、指定した頂点座標により構成された表面に指定するテクスチャ画像を貼り付けることができる。また、テクスチャ貼り付け部９０１は、ＶＲＭＬ形式であれば、テクスチャ面が平面でない場合でも、テクスチャ面の境界を示す頂点を一筆書きの要領で指定することにより、テクスチャ貼り付け面の形状を指定することや、そのテクスチャ貼り付け面へのテクスチャ画像の貼り付けを指定することも可能である。
【０２４１】
ところで、実施の形態２では、テクスチャ切り出し部２０１は、貼り付け面として、平坦な矩形範囲を選択しているように説明したが、元々、貼り付け面が曲面である場合でも、対応するテクスチャ画像が切り出せるようになっている。これによって、テクスチャ貼り付け部９０１は、上記したようにして、曲面にテクスチャ画像の貼り付けが行えるようになる。
【０２４２】
以下に、この実施の形態９に関わる部分として、テクスチャ切り出し部２０１が、曲面に貼り付けるテクスチャ画像の切り出しを行う動作について説明する。映像選択部１０５は、選択した映像のファイル名を含む撮影位置情報（図４（ｂ））を撮影位置情報記憶部１０４から読み出してテクスチャ切り出し部２０１に出力する。
【０２４３】
テクスチャ切り出し部２０１は、実施の形態２で説明した手順で、３次元モデルの撮影位置から見た画像を作成し、テクスチャ貼り付け面である正面（表面）を特定し、次いで、特定した面が曲面である場合にはその曲面を微細な矩形状平面で表現することを行う（図３６、図３７）。
【０２４４】
図３６（ａ）に示す３次元モデルＭ４は、３次元座標における東西方向を経度、南北方向を緯度とした２次元空間での状態が示されている。この３次元モデルＭ４の撮影位置Ｐ２から見た面（テクスチャ貼り付け面）は曲面形状をしている。図３６（ａ）において、撮影位置Ｐ２から撮影画角Ｇ２の範囲を示す補助直線Ｈ２１，Ｈ２２を引く。撮影位置Ｐ２からの撮影方向に直交する仮想スクリーンＳ２の線を引く。仮想スクリーンＳ２の線と補助直線Ｈ２１，Ｈ２２と交わる点をｈ’，ｒ’とする。また３次元モデルＭ４の３頂点ＰＡ，ＰＢ，ＰＣに対して撮影位置Ｐ２から直線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ａ’，ｂ’，ｃ’を求める。ここで、点ｈ’と点ａ’の間隔をａ３とし、点ａ’と点ｂ’の間隔をｂ３とし、点ｂ’と点ｃ’の間隔をｃ３とし、点ｃ’と点ｒ’の間隔をｄ３とする。なお、頂点ＰＡと頂点ＰＢの間の曲面は、図３６（ｂ）に示すように、複数の縦に長い矩形状平面によって表現できていることとする。
【０２４５】
テクスチャ切り出し部２０１は、幅と高さ方向の画角の比に対応した縦横比の画像枠ＧＷを作成し、ａ３：ｂ３：ｃ３：ｄ３＝Ａ３：Ｂ３：Ｃ３：Ｄ３の比と同じ比になるように画像枠ＧＷの左端から値Ａ３の距離に位置ＰＡ、位置ＰＡから値Ｂ３の距離にＰＢ、位置ＰＢから値Ｃ３の距離に位置ＰＣの点を描く。このとき、位置ＰＡと位置ＰＢの間にある縦長の矩形領域の頂点は処理の対象としない。つまり、テクスチャ切り出し部２０１は、３次元モデルＭ４の頂点間の座標の距離を計算し、例えば位置ＰＡから右側に向いた一定距離以内に位置ＰＥなる頂点があるが、位置ＰＥと反対方向の左側に向いた一定距離以内に頂点がないという点だけを処理の対象とする。さらに具体的にいえば、図３６（ｂ）において、位置ＰＥでは、一定距離以内に位置ＰＡと位置ＰＦがあるが、位置ＰＥから見て位置ＰＡと反対方向から予め定めた角度以内の角度の方向に位置ＰＦがあるような位置ＰＥは処理対象としない。
【０２４６】
図３６（ｂ）では、真上から見た図（図３６（ａ））を元に説明している。作成した画像中で、真横から見ても同様の操作により位置ＰＡ，ＰＢ，ＰＣの縦方向の座標位置を決めることができ、位置ＰＡ，ＰＢ，ＰＣの撮影位置から映っている画像中の位置を求めることができる。図３６（ａ）（ｂ）では３点を示したが、テクスチャ切り出し部２０１は、処理対象とする座標について画像中の位置を求め、撮影位置Ｐ２から見た３次元モデルＭ４の画像を作成する。この画像を作成画像ＭＧ４と称することとする。
【０２４７】
次に、テクスチャ切り出し部２０１は、撮影位置Ｐ２から見た３次元モデルＭ４の作成画像ＭＧ４のうち、面が見えている部分を図３７に示す手順で選択する。図３７おいて、経度、緯度、高度の３軸によって表現できる３次元空間に設定した３次元モデルＭ４の作成画像ＭＧ４の頂点に、撮影位置Ｐ２の座標位置から直線を引く。図３７に示すように、撮影位置Ｐ２から各頂点への直線が作成画像ＭＧ４の面と交差していない頂点Ａ，Ｂ，Ｃ，Ｄによって構成できる面ＡＢＣＤは、正面（表面）であると判断する。同様に、撮影位置Ｐ２から延ばした直線が作成画像ＭＧ４の面と交差する頂点Ｅ，Ｆによって構成できる面ＡＤＦＥは正面（表面）ではないと判断する。なお、この時点においても、図３６（ｂ）に示す位置ＰＡ、位置ＰＢに対応する図３７における頂点Ａ、頂点Ｂの間にある曲面を表現するための複数の矩形領域を構成する頂点は処理対象としない。
【０２４８】
テクスチャ切り出し部２０１は、このようにして、作成画像ＭＧ４の中に撮影位置Ｐ２から見える正面（表面）にある面を構成する４頂点を選択する。図３７の例では、この４頂点がＡ，Ｂ，Ｃ，Ｄであったことが示されている。テクスチャ切り出し部２０１は、実施の形態２で説明した手順によって、切り出したひし形や台形といった四角形の部分画像をファイルとして出力し、映像選択部１０５の選択した映像の中の頂点位置の情報もテキストファイルとして出力する。また、テクスチャ切り出し部２０１は、撮影位置Ｐ２から３次元モデルＭ４を見たときに正面を向いている面の頂点座標をファイルにテキスト形式で出力する。
【０２４９】
次に、正面を向いている面が曲面である場合について説明する。テクスチャ切り出し部２０１は、図３７に示す作成画像ＭＧ４において、線ＡＢ、線ＢＣ、線ＣＤ、線ＤＡに含まれる頂点を全て読み出し、夫々の線を構成する頂点を求める。これを図３６（ｂ）を参照して説明する。図３６（ｂ）において、テクスチャ切り出し部２０１が選択した面が面ＰＡ−ＰＢ−ＰＫ−ＰＪであったとする。線ＰＡ−ＰＢの間には、縦長の矩形状領域の頂点が複数ある。
【０２５０】
間にあるという判断処理は、対象位置が、位置ＰＡから位置ＰＢを向いて上下左右に予め定めた角度以内で、かつ位置ＰＢよりも近い位置であり、位置ＰＢから位置ＰＡを向いて上下左右に予め定めた角度以内で、かつ位置ＰＡよりも近い位置であることを調べることによって行われる。
【０２５１】
線ＰＡ−ＰＢ間には、位置ＰＥ、位置ＰＦ、その他の位置が存在する。同様に、線ＰＢ−ＰＫ、線ＰＪ−ＰＡ、線ＰＫ−ＰＪについても頂点を求める。これらの頂点だけで作成画像ＭＧ４の正面を構成する頂点であるものを選択する。例えば面ＰＥ−ＰＦ−ＰＨ−ＰＧである。このように、テクスチャ貼り付け面が複数の面で構成される場合は、テクスチャ切り出し部２０１は、全ての面とその周囲の頂点の座標を出力する。
【０２５２】
したがって、テクスチャ貼り付け部９０１では、前述したＶＲＭＬのテクスチャ貼り付けの手法を用いて、モデル選択部１０２の選択した３次元モデルの表面に、その面が平面であるか曲面であるかを問わず、テクスチャ切り出し部２０１が映像から切り出した建物のテクスチャ画像を貼り付けることができる。
【０２５３】
以上のように、実施の形態９によれば、例えば、地図を表示した画面上の建物の位置を操作員が指示すると、地図に対応する実際の現場を撮影した映像に映っている建物のテクスチャ画像が自動的に切り出され、切り出された建物のテクスチャ画像がその建物を予めモデル化してある３次元モデルの表面に自動的に貼り付くようにすることができる。
【０２５４】
また、実施の形態９によれば、経度緯度発生部１０８において、操作員が地図上の建物のある場所を指示する動作をしないで済むようにすることができる。すなわち、例えば、経度緯度発生部１０８において、建物や看板などの３次元モデルデータを３次元モデル記憶部１０１から順番に読み込む。そして、１つの３次元モデルデータを読み込む毎にその３次元モデルデータの座標から、３次元モデルデータがモデル化している経度と緯度を求め、その経度緯度１０９を経度緯度発生部１０８の出力としてモデル選択部１０２と、映像選択部１０５とに伝えるようにする。
【０２５５】
この場合、経度緯度発生部１０８は、特に地図を表示しなくてもよく、地図を表示する場合でも、現在処理中の建物の位置を地図上に表示するだけでもよい。また、処理中の建物、処理済の建物、処理していないが対応する３次元モデルのある建物、処理をしたが対応する映像がみつからなかった建物の位置および建物の形状を地図上に随時表示してもよい。これによって、操作員は何の指示や入力を行わなくとも、３次元モデルと建物を撮影した映像があれば、自動的に建物が映っている映像から建物部分を切り出し、対応する３次元モデルに貼り付けることができる。また、処理過程を随時地図を見ながら確認することができる。
【０２５６】
なお、以上は、経度緯度発生部１０８から経度緯度１０９を出力する場合であるが、前述したように外部から経度緯度１１０を取得することによっても同様の作用、効果が得られる。また、実施の形態９では、実施の形態２への適用例を示したが、実施の形態３〜８に対しても同様に適用できることはいうまでもない。
【０２５７】
実施の形態１０．
図３８は、この発明の実施の形態１０であるテクスチャ編集システムの構成を示すブロック図である。この実施の形態１０では、建物や看板などの３次元モデルへのテクスチャ画像の貼り付けを実時間で可能にする構成例が示されている。
【０２５８】
図３８に示すテクスチャ編集システムは、車載装置１００１とテクスチャ編集装置１１０１とで構成されている。テクスチャ編集装置１１０１は、車載装置１００１と同じ車両に搭載され有線接続されるか、あるいは事務所などの適宜な拠点に設置され無線伝送路を介して車載装置１００１に接続されている。なお、図３８では、出力部を含む送受信系は示されていない。
【０２５９】
車載装置１００１は、車両から周囲都市景観の映像を取得するビデオカメラ１０２１と、ビデオカメラ１０２１にて取得された映像の編集等を行う画像キャプチャソフトウェア１０２２と、画像キャプチャソフトウェア１０２２にて編集等がなされた映像が記憶される映像記憶装置１０２３と、ＧＰＳ衛星電波を受信して車両の現在位置を取得するＧＰＳ装置１０２４と、ＧＰＳ装置１０２４の駆動や取得された位置情報から経度緯度を生成するＧＰＳ装置ドライバソフトウェア１０２５と、ビデオカメラ１０２１の撮影方向を検出できる方位センサ１０２６と、方位センサ１０２６の駆動や取得された角度情報からビデオカメラ１０２１の撮影方向を生成する方位センサドライバソフトウェア１０２７と、ＧＰＳ装置ドライバソフトウェア１０２５が出力する経度緯度と方位センサドライバソフトウェア１０２７が出力する撮影方向とを含む撮影位置情報が映像記憶装置１０２３に記憶される映像と関連付けて記憶される撮影位置情報記憶装置１０２８とを備えている。
【０２６０】
テクスチャ編集装置１１０１は、都市景観の映像および撮影位置情報を車載装置１００１から取得して蓄積する点を除いて、実施の形態１〜９で説明したテクスチャ編集装置の機能を有している。また、建物や看板などを３次元モデル化した３次元データが記憶される３次元モデル記憶装置１１０２と、２次元地図や衛星写真、ビットマップ地図などが記憶される地図記憶装置１１０３とは外部に抜き出して示されている。
【０２６１】
この構成によれば、車載装置１００１を搭載した車両を走行しながら、車載装置１００１で映像情報と、撮影位置および撮影方向などの撮影位置情報とを取得し、蓄積する。蓄積する過程で映像情報、撮影位置情報を随時テクスチャ編集装置１１０１に伝送することができる。
【０２６２】
テクスチャ編集装置１１０１は、事前に３次元モデル記憶装置１１０２から３次元モデルを取り込み、地図記憶装置１１０３から例えば２次元地図を取り込み、いつでも３次元モデルの地図上への表示ができるように用意している。したがって、車載装置１００１から映像情報と位置情報が送られてくると、操作員が指定した地図上の位置において、リアルタイムに、３次元モデルと映像とのマッチング（実施の形態１）、テクスチャ画像の切り出し（実施の形態２）、変形（実施の形態３）、遮蔽物除去（実施の形態４）、合成（実施の形態５）、補正（実施の形態６）、側面テクスチャ画像生成（実施の形態７）、調整（実施の形態８）、貼り付け（実施の形態９）の一連の処理が行われ、３次元モデルへのテクスチャ画像の貼り付けが行える。これによって、町並みを撮影すると同時に、従来できなかった実時間での３次元モデル（建物）へのテクスチャ画像の貼り付けができるようになる。
【０２６３】
従来では、映像を撮影するスタッフが映像を撮影し、映像編集の業者が映像中の建物を探して画像枠を抜き出し、画像加工の業者が複数枚の画像枠から画像を切り出して合成し、また遮蔽物を取り除く加工を行い、３次元モデルの加工業者が建物の面にテクスチャを貼り付けるというように、複数の業者がそれぞれの過程を専門の知識を持って処理していた。それに対し、この実施の形態１０によれば、複数業者によって行われていた膨大な作業が、撮影と同時に、画像や３次元モデル加工についてノウハウの無い操作員にも簡単にできるようになる。
【０２６４】
以上のように、実施の形態１〜１０によれば、３次元モデル（建物）に対応した建物の映像（テクスチャ情報）を撮影して、切り出し、加工し、貼り付けるテクスチャ編集において、対応する画像を探したり、加工したり、映像に映っている建物以外の遮蔽物を取り除いたりといった作業を自動化することができるので、操作員の手作業による労力を大幅に低減できるようになる。
【０２６５】
【発明の効果】
以上説明したように、この発明によれば、位置情報を指定するだけで、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが自動的に行えるようになるので、操作員は映像を検索しないで済むようになる。そして、撮影位置情報が示す撮影位置に誤差がある場合でも、正確に建物部分の画像を切り出すことができるので、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、その切り出す位置の指定操作をしないで済むようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像を得ることができる。
【０２６８】
つぎの発明によれば、上記の発明において、遮蔽物除去手段では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて画像中の遮蔽物を取り除く作業をしないで済むようになる。
【０２６９】
つぎの発明によれば、上記の発明において、テクスチャ合成手段では、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて複数の画像に映っている建造物の部分画像を貼り合わせる作業をしないで済むようになる。
【０２７３】
つぎの発明によれば、上記の発明において、テクスチャ貼り付け手段では、モデル選択手段にて選択された３次元モデルのテクスチャ貼り付け面が曲面であっても、テクスチャ画像をその選択された３次元モデルのテクスチャ貼り付け面に自動的に貼り付けることができる。したがって、操作員は、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【０２７４】
つぎの発明によれば、撮影装置では、映像取得手段にて撮像された移動中の周囲の都市景観などの映像が映像記憶手段に蓄積される。また、映像取得手段の撮影時の位置情報が位置情報取得手段によって取得され、それらが、適宜な間隔で、通信手段によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け手段によって関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択手段によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択手段によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。そして、テクスチャ切り出し手段によって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像が切り出される。したがって、都市景観などの撮影と同時に実時間で、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが行えるようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像の貼り付いた３次元モデルを得ることができる。
【０２７７】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、遮蔽物除去手段にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、都市景観などの撮影と同時に実時間で、切り出されたテクスチャ画像中の遮蔽物が自動的に除去されるので、遮蔽物のないテクスチャ画像を得ることができるようになる。
【０２７８】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ合成手段にて、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。したがって、都市景観などの撮影と同時に実時間で、複数のテクスチャ画像から３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる適切なテクスチャ画像を自動的に生成することができるようになる。
【０２８２】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ貼り付け手段にて、テクスチャ画像が、モデル選択手段にて選択された３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。したがって、都市景観などの撮影と同時に実時間で、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【０２８３】
つぎの発明によれば、位置情報を指定するだけで、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが自動的に行えるので、操作員は映像を検索しないで済むようになる。そして、撮影位置情報が示す撮影位置に誤差がある場合でも、正確に建物部分の画像を切り出すことができるので、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、その切り出す位置の指定操作をしないで済むようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像を得ることができる。
【０２８６】
つぎの発明によれば、上記の発明において、遮蔽物除去工程では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて画像中の遮蔽物を取り除く作業をしないで済むようになる。
【０２８７】
つぎの発明によれば、上記の発明において、テクスチャ合成工程では、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて複数の画像に映っている建造物の部分画像を貼り合わせる作業をしないで済むようになる。
【０２９１】
つぎの発明によれば、上記の発明において、テクスチャ貼り付け工程では、モデル選択工程にて選択された３次元モデルのテクスチャ貼り付け面が曲面であっても、テクスチャ画像をその選択された３次元モデルのテクスチャ貼り付け面に自動的に貼り付けることができる。そのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、自動的に貼り付けられる。したがって、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【０２９２】
つぎの発明によれば、撮影装置では、映像取得工程にて撮像された移動中の周囲の都市景観などの映像が映像記憶手段に蓄積される。また、映像取得工程での撮影時の位置情報が位置情報取得工程によって取得され、それらが適宜な間隔で、送出工程によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け工程によって関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択工程によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択工程によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。そして、テクスチャ切り出し工程によって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像が切り出される。したがって、都市景観などの撮影と同時に実時間で、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが行えるようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像の貼り付いた３次元モデルを得ることができる。
【０２９５】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、遮蔽物除去工程にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、都市景観などの撮影と同時に実時間で、切り出されたテクスチャ画像中の遮蔽物が自動的に除去されるので、遮蔽物のないテクスチャ画像を得ることができるようになる。
【０２９６】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ合成工程にて、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできるテクスチャ画像が自動的に生成される。したがって、都市景観などの撮影と同時に実時間で、複数のテクスチャ画像から３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる適切なテクスチャ画像を自動的に生成することができるようになる。
【０３００】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ貼り付け工程にて、テクスチャ画像が、モデル選択手段にて選択された３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。したがって、都市景観などの撮影と同時に実時間で、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１であるテクスチャ編集装置の構成を示すブロック図である。
【図２】 図１に示す３次元モデル記憶部に記憶される３次元モデルデータの説明図である。
【図３】 図１に示す映像記憶部に記憶される映像の一例を示す図である。（ａ）は全方位レンズを建物に向けて撮影した画像の例、（ｂ）は全方位レンズを真上に向けて撮影した画像の例である。
【図４】 図１に示す撮像位置情報記憶部に記憶される撮像位置情報の構成および図１に示す映像記憶部に記憶される映像との関係を説明する図である。
【図５】 図１に示す映像選択部が行う撮影範囲に入っていることの確認動作の説明図である。
【図６】 この発明の実施の形態２であるテクスチャ編集装置の構成を示すブロック図である。
【図７】 図６に示す映像記憶部に記憶される全方位レンズを用いて撮影した画像の説明図である。
【図８】 図７に示すような全方位レンズを用いて撮影した画像を狭い画角の画像に変換する方式の説明図である。
【図９】 図８に示す変換を行う際に用いる極座標系の説明図である。
【図１０】 撮影位置から見た３次元モデルの画像を作成する方式の説明図である。
【図１１】 ３次元モデルの表面選択方式の説明図である。
【図１２】 映像から３次元モデルの正面を切り出す方式の説明図である。
【図１３】 エッジ抽出を用いて映像から建物面を切り出す方式の説明図である。
【図１４】 この発明の実施の形態３であるテクスチャ編集装置の構成を示すブロック図である。
【図１５】 図１４に示すテクスチャ変形部の動作説明図である。
【図１６】 この発明の実施の形態４であるテクスチャ編集装置の構成を示すブロック図である。
【図１７】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が静止画像の場合）。
【図１８】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が動画像の場合：コマ画像と評価位置との関係図）。
【図１９】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が動画像の場合：評価画像およびエッジ抽出処理の説明図）。
【図２０】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が動画像の場合：遮蔽物除去の説明図）。
【図２１】 この発明の実施の形態５であるテクスチャ編集装置の構成を示すブロック図である。
【図２２】 図２１に示すテクスチャ合成部の動作説明図である（合成対象テクスチャの説明図）。
【図２３】 図２１に示すテクスチャ合成部の動作説明図である（選択された３次元モデルの説明図）。
【図２４】 図２１に示すテクスチャ合成部の動作説明図である（合成テクスチャ画像の説明図）。
【図２５】 この発明の実施の形態６であるテクスチャ編集装置の構成を示すブロック図である。
【図２６】 図２５に示すテクスチャ補正部の動作説明図である。
【図２７】 この発明の実施の形態７であるテクスチャ編集装置の構成を示すブロック図である。
【図２８】 図２７に示す側面テクスチャ生成部の動作説明図である。
【図２９】 この発明の実施の形態８であるテクスチャ編集装置の構成を示すブロック図である。
【図３０】 図２９に示すテクスチャ切り出し部の動作説明図である（選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となる場合）。
【図３１】 図２９に示すテクスチャ切り出し部の動作説明図である（選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となる場合）。
【図３２】 図２９に示すテクスチャ調整部の動作説明図である（合成テクスチャ画像の作成）。
【図３３】 図２９に示すテクスチャ調整部の動作説明図である（分割テクスチャ画像を作成するための座標値取得）。
【図３４】 図２９に示すテクスチャ調整部の動作説明図である（分割テクスチャ画像の作成）。
【図３５】 この発明の実施の形態９であるテクスチャ編集装置の構成を示すブロック図である。
【図３６】 図３５に示すテクスチャ貼り付け部の動作説明図である（撮影位置から見た３次元モデルの画像を作成する方式の説明図）。
【図３７】 図３５に示すテクスチャ貼り付け部の動作説明図である（３次元モデルの表面選択方式の説明図）。
【図３８】 この発明の実施の形態１０であるテクスチャ編集システムの構成を示すブロック図である。
【符号の説明】
１０１ ３次元モデル記憶部、１０２ モデル選択部、１０３ 映像記憶部、１０４ 撮影位置情報記憶部、１０５ 映像選択部、１０６，１０７ 地図記憶部、１０８ 位置情報発生部、１０９，１１０ 位置情報、２０１ テクスチャ切り出し部、３０１ テクスチャ変形部、４０１ 遮蔽物除去部、５０１ テクスチャ合成部、６０１ テクスチャ補正部、７０１ 側面テクスチャ生成部、８０１ テクスチャ調整部、９０１ テクスチャ貼り付け部、１００１ 撮影装置、１０２１ ビデオカメラ、１０２２ 画像キャプチャソフトウェア、１０２３ 映像記憶装置、１０２４ ＧＰＳ装置、１０２５ ＧＰＳ装置ドライバソフトウェア、１０２６ 方位センサ、１０２７ 方位センサドライバソフトウェア、１０２８ 撮影位置情報記憶装置、１１０１ テクスチャ編集装置、１１０２３次元モデル記憶装置、１１０３ 地図記憶装置。
【発明の属する技術分野】
この発明は、実在する建物や看板、門などの建造物に対応して作成された３次元モデルの正面にテクスチャ情報を貼り合わせて仮想３次元都市空間の構築を支援するためのテクスチャ編集装置、テクスチャ編集システムおよび方法に関するものである。
【０００２】
【従来の技術】
建物の３次元モデルへの写真テクスチャの貼り付けでは、建物の撮影および建物写真と３次元モデルとの対応付け、建物写真のテクスチャ加工、３次元モデルへのテクスチャ貼り付けの順序で作業が行われる。従来例としては、文献「“景観シミュレーションのための対話的建物形状入力”（川村和也、他、情報処理学会第５７回全国大会論文集5P-5、pp.2-181〜2-182）」や、文献「“都市景観用テクスチャ作成と画像処理における作業効率の検討”（宮嶋賢、他、情報処理学会第56回全国大会論文集3R-8、pp.2-299〜2-300）」などの例を挙げることができる。
【０００３】
これらの従来手法では、３次元モデルに対応した建物の側面を複数の角度からデジタルカメラで撮影し、写真の中から切り出す建物側面部分のエッジ（建物の角、または縁）を指定して切り出し、建物の側面形状に合わせた変形処理を指示することによってテクスチャを整形する。テクスチャの整形においては、縦横比を指示して画像処理市販ツール（例えばPHOTOSHOP）を用いて変形する処理が一般的である。また、テクスチャの３次元建物モデルへの貼り付けは、３次元モデルの編集ツール（例えばMaya）を用い、操作員が貼り付ける面や位置を指示して貼り付けていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のテクスチャ貼り付け方法では、次のような問題がある。まず、映像と３次元モデルとのマッチングに関しては、１件づつ撮影を行う必要があるので、大きなビル群や、広範囲にわたる大量の建物の撮影が困難である。また、撮影した建物の映像と貼り付ける建物の３次元モデルとの対応付けは、操作員が内容を見て判断しなくてはならないので、撮影した建物の数が多いと、３次元モデルの建物と対応付ける画像の数も増え、管理が複雑になり、また大量の建物の３次元データに対して、対応した映像を大量の映像データの中から探すのに手間がかかる。
【０００５】
また、テクスチャの加工に関しては、映像の中から建物部分の画像を切り出す操作では、操作員が映像１枚１枚について映っている建物の範囲を指示しなければならないので、建物と他の物体の重なりがある場合に、重なり部分の建物側面のテクスチャは再現できない。
【０００６】
テクスチャの変形に関しては、映像の中に映っている建物の表面部分を抽出した後に建物の正面から切り出した建物部分の画像は、斜めに傾いていたり台形形状になっている。これを建物の面と同じ縦横比の形状に変形するときに、操作員が、縦横比を入力して画像編集ツールを操作しなくてはならない。このとき、３次元モデルの面の縦横比をデータの中身を調べて取得する作業も必要であるので、効率が悪い。
【０００７】
遮蔽物の除去に関しては、映像から建物が映っている部分の画像を切り出した場合に、建物の前に木や駐車中の車両などの遮蔽物が映っているときは、画像編集ツールを用いて遮蔽物を消し、代わりに本来遮蔽物の後ろに見えるであろう建物の表面テクスチャと同じような色またはパターンの図柄を描かなくてはならないという面倒な作業が必要である。
【０００８】
テクスチャの合成に関しては、建物が大きくて、１枚の映像には建物が入りきらない場合には、複数の映像から切り出した建物の画像を位置合わせを行いながらの試行錯誤によって貼り合わせているので、手間がかかる。
【０００９】
テクスチャのつなぎ目に関しては、複数の映像から切り出した建物の画像を貼り合わせる場合に、１枚１枚の映像に映っている建物の明るさが異なるため、つなぎ目で色が違って見えるという不具合が生じる。
【００１０】
テクスチャの生成に関しては、建物の３次元モデルの面のうち、貼り付け面以外の面に対応する面についてはテクスチャを貼り付けることができない。また、３次元モデルの件数と、撮影した映像に映っている建物の件数が異なっている場合はテクスチャを貼り付けることができない。
【００１１】
テクスチャの貼り付けに関しては、３次元モデルへのテクスチャの貼り付けは、３次元モデル編集ツールを用いて操作員が面や頂点を指定して貼り付けるといった作業が必要になり、面倒である。
【００１２】
さらに、全体に関わる問題として、３次元の建物モデルに対応した建物のテクスチャを撮影して、切り出し、加工し、貼り付ける場合に、上記複数の問題点を回避するためには、例えば対応する画像を探したり、加工したり、映像に映っている建物以外の遮蔽物を取り除いたりといった手作業が必要である。その結果、撮影した映像から３次元の建物モデルにテクスチャを貼り付けるまでに時間がかかる。
【００１３】
この発明は上記に鑑みてなされたもので、３次元モデル化した建物や看板の表面にテクスチャ画像を貼り付ける場合に、３次元モデルとテクスチャ画像を切り出す映像とのマッチング、切り出し、加工、遮蔽物除去など、テクスチャ画像を貼り付けるまでに行われる一連の作業が自動的に実行でき、操作員の負担を大幅に軽減できるテクスチャ編集装置、テクスチャ編集システムおよび方法を得ることを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するために、この発明にかかるテクスチャ編集装置は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶される３次元モデル記憶手段と、入力される指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択手段と、撮影した映像のファイル名、当該映像が動画像である場合にはさらにコマ番号、当該映像の撮影位置を示す経度と緯度と高度、および当該映像の撮像に関する情報で構成される撮影位置情報が記憶される撮影位置情報記憶手段と、入力される前記指定位置情報に基づき前記撮影位置情報記憶手段から該当する撮影位置情報を選択する選択手段と、撮影された静止画像と動画像の一方または双方がファイル名とともに記憶される映像記憶手段と、前記選択手段にて選択された撮影位置情報に基づき、前記モデル選択手段が選択した３次元モデルの位置が映っている映像を前記映像記憶手段から選択する映像選択手段と、前記モデル選択手段にて選択された３次元モデルの前記選択手段にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記映像選択手段にて選択された映像から切り出すテクスチャ切り出し手段とを備え、前記テクスチャ切り出し手段は、前記映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００１５】
この発明によれば、位置情報の指定入力があると、モデル選択手段によって、該当する３次元モデル（ファイル名）が３次元モデル記憶手段から読み出され、同時に選択手段によって、当該３次元モデルの位置が映っている映像を指定する撮影位置情報が撮影位置情報記憶手段から読み出される。また、映像選択手段では、選択手段にて選択された撮影位置情報に含まれるファイル名に基づき、モデル選択手段が選択した３次元モデルの位置が映っている映像が映像記憶手段から選択される。その結果、テクスチャ切り出し手段では、モデル選択手段にて選択された３次元モデルがそのファイル名によって３次元モデル記憶手段から読み出され、また、撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択手段にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像を切り出すことができる。
【００２０】
つぎの発明にかかるテクスチャ編集装置は、上記の発明において、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去手段を備えたことを特徴とする。
【００２１】
この発明によれば、遮蔽物除去手段では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００２２】
つぎの発明にかかるテクスチャ編集装置は、上記の発明において、前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成手段を備えたことを特徴とする。
【００２３】
この発明によれば、テクスチャ合成手段では、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００３０】
つぎの発明にかかるテクスチャ編集装置は、上記の発明において、前記テクスチャ画像を、前記モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し手段または前記テクスチャ合成手段から受け取った前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け手段を備えたことを特徴とする。
【００３１】
この発明によれば、テクスチャ貼り付け手段では、モデル選択手段にて選択された３次元モデルがＶＲＭＬ形式で記述されているので、当該３次元モデルのテクスチャ貼り付け面が曲面であっても、テクスチャ画像をテクスチャ貼り付け面に自動的に貼り付けることができる。
【００３２】
つぎの発明にかかるテクスチャ編集システムは、撮影装置とテクスチャ編集装置とで構成されるテクスチャ編集システムであって、前記撮影装置は、移動しながら周囲の映像を取得する映像取得手段と、前記映像取得手段による撮影時の位置情報を取得する位置情報取得手段と、前記映像と前記撮影位置情報とを前記テクスチャ装置に送出する通信手段とを備え、前記テクスチャ編集装置は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶される３次元モデル記憶手段と、入力された指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択手段と、前記撮影装置から送られてきた撮影位置情報と映像とを関連付けて記憶する関連付け手段と、入力された前記指定位置情報に基づき前記関連付け手段にて関連付けて記憶された撮影位置情報と映像との中から対応する撮影位置情報と映像とを選択する選択手段と、前記モデル選択手段にて選択された３次元モデルの前記選択手段にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記選択手段にて選択された映像から切り出すテクスチャ切り出し手段とを備え、前記テクスチャ切り出し手段は、前記映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００３３】
この発明によれば、撮影装置では、映像取得手段にて撮像された移動中の周囲の都市景観などの映像が映像記憶手段に蓄積される。また、映像取得手段の撮影時の位置情報が位置情報経取得手段によって取得され、それらが適宜な間隔で、通信手段によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け手段によって関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択手段によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択手段によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。また、テクスチャ切り出し手段にて、モデル選択手段にて選択された３次元モデルが３次元モデル記憶手段から読み出され、また撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択手段にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても正確に建物部分の画像を切り出すことができる。
【００３８】
つぎの発明にかかるテクスチャ編集システムは、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去手段を備えたことを特徴とする。
【００３９】
この発明によれば、テクスチャ編集装置では、遮蔽物除去手段にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００４０】
つぎの発明にかかるテクスチャ編集システムは、上記の発明において、前記テクスチャ編集装置は、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで、前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成手段を備えたことを特徴とする。
【００４１】
この発明によれば、テクスチャ編集装置では、テクスチャ合成手段にて、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせて、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００４８】
つぎの発明にかかるテクスチャ編集システムは、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像を、前記モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し手段または前記テクスチャ合成手段から受け取った前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け手段を備えたことを特徴とする。
【００４９】
この発明によれば、テクスチャ編集装置では、テクスチャ貼り付け手段にて、テクスチャ画像が、モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。
【００５０】
つぎの発明にかかるテクスチャ編集方法は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータを３次元モデル記憶手段に記憶させる３次元モデル記憶工程と、入力される指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択工程と、撮影した映像のファイル名、当該映像が動画像である場合にはさらにコマ番号、当該映像の撮影位置を示す経度と緯度と高度、および当該映像の撮像に関する情報で構成される撮影位置情報を撮影位置情報記憶手段に記憶させる工程と、入力される前記指定位置情報に基づき前記撮影位置情報記憶手段から該当する撮影位置情報を選択する選択工程と、撮影された静止画像と動画像の一方または双方がファイル名とともに映像記憶手段に記憶させる映像記憶工程と、前記選択工程にて選択された撮影位置情報に基づき、前記モデル選択工程にて選択された３次元モデルの位置が映っている映像を前記映像記憶手段から選択する映像選択工程と、前記モデル選択工程にて選択された３次元モデルの前記選択工程にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記映像選択工程にて選択された映像から切り出すテクスチャ切り出し工程と、を含み、前記テクスチャ切り出し工程は、前記映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００５１】
この発明によれば、位置情報の指定入力があると、モデル選択工程にて、該当する３次元モデル（ファイル名）が３次元モデル記憶手段から読み出され、同時に選択工程にて、当該３次元モデルの位置が映っている映像を指定する撮影位置情報が撮影位置情報記憶手段から読み出される。また、映像選択工程では、選択工程にて選択された撮影位置情報に含まれるファイル名に基づき、モデル選択工程にて選択された３次元モデルの位置が映っている映像が映像記憶手段から選択される。その結果、テクスチャ切り出し工程では、モデル選択工程にて選択された３次元モデルがそのファイル名によって３次元モデル記憶手段から読み出され、また撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択工程にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像を切り出すことができる。
【００５６】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去工程を含むことを特徴とする。
【００５７】
この発明によれば、遮蔽物除去工程では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００５８】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成工程を含むことを特徴とする。
【００５９】
この発明によれば、テクスチャ合成工程では、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせて、モデル選択工程にて選択された３次元モデルの１つの面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００６６】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ画像を、前記モデル選択工程にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し工程または前記テクスチャ合成工程にて取得された前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け工程を含むことを特徴とする。
【００６７】
この発明によれば、テクスチャ貼り付け工程では、テクスチャ画像が、モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。
【００６８】
つぎの発明にかかるテクスチャ編集方法は、撮影装置とテクスチャ編集装置とで構成されるテクスチャ編集システムにおけるテクスチャ編集方法であって、前記撮影装置は、移動しながら周囲の映像を取得する映像取得工程と、前記映像取得工程での撮影時の位置情報を取得する位置情報取得工程と、前記映像と前記撮影位置情報とを前記テクスチャ装置に通信手段を介して送出する送出工程とを含み、前記テクスチャ編集装置は、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータを３次元モデル記憶手段に記憶させる３次元モデル記憶工程と、入力された指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択工程と、前記撮影装置から送られてきた撮影位置情報と映像とを関連付けて記憶する関連付け工程と、入力された前記指定位置情報に基づき前記関連付け工程にて関連付けて記憶された撮影位置情報と映像の中からと対応する撮影位置情報と映像とを選択する選択工程と、前記モデル選択工程にて選択された３次元モデルの前記選択工程にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記選択工程にて選択された映像から切り出すテクスチャ切り出し工程と含み、前記テクスチャ切り出し工程は、前記映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択することを特徴とする。
【００６９】
この発明によれば、撮影装置では、映像取得工程にて撮像された移動中の周囲の都市景観の映像が映像記憶手段に蓄積される。また、映像取得工程での撮影時の経度緯度が経度緯度取得工程によって取得され、それらが適宜な間隔で、送出工程によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け工程にて関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択工程によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択工程によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。また、テクスチャ切り出し工程にて、モデル選択工程にて選択された３次元モデルが３次元モデル記憶手段から読み出され、また撮影位置情報から撮影位置が取り出される。次いで、撮影位置から見た３次元モデルの画像が作成され、当該３次元モデルのテクスチャ貼り付け面が選択される。そして、映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出すテクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した候補点のうち、撮影位置が正確である場合に切り出すテクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出すテクスチャ画像の枠形状に存する角位置として選択し、その選択した角位置に従って、そのテクスチャ貼り付け面に対応したテクスチャ画像が映像選択工程にて選択された映像から切り出される。これによって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像を切り出すことができる。
【００７４】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去工程を含むことを特徴とする。
【００７５】
この発明によれば、テクスチャ編集装置では、遮蔽物除去工程にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、その遮蔽物が静止物である場合は、重ね合わせ方式によって検出することで、その遮蔽物が移動体である場合は、カメラ撮影位置に近い方を検出することで、当該遮蔽物を除去する処理動作が行われる。
【００７６】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成工程を含むことを特徴とする。
【００７７】
この発明によれば、テクスチャ編集装置では、テクスチャ合成工程にて、テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせ、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。
【００８４】
つぎの発明にかかるテクスチャ編集方法は、上記の発明において、前記テクスチャ編集装置は、前記テクスチャ画像を、前記モデル選択工程にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し工程または前記テクスチャ合成工程にて取得された前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け工程を含むことを特徴とする。
【００８５】
この発明によれば、テクスチャ編集装置では、テクスチャ貼り付け工程にて、テクスチャ画像が、モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。
【００８６】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかるテクスチャ編集装置およびテクスチャ編集方法の好適な実施の形態を詳細に説明する。
【００８７】
実施の形態１．
図１は、この発明の実施の形態１であるテクスチャ編集装置の構成を示すブロック図である。実施の形態１では、３次元モデルとテクスチャ情報である映像とのマッチングを自動的に行う場合の構成例が示されている。
【００８８】
図１において、テクスチャ編集装置は、３次元モデル記憶部１０１と、モデル選択部１０２と、映像記憶部１０３と、撮影位置情報記憶部１０４と、映像選択部１０５と、地図記憶部１０６，１０７と、経度緯度発生部１０８とを備えている。
【００８９】
３次元モデル記憶部１０１には、実在する建物、看板、門などの面を持つ構造物を３次元データで表現した３次元モデルが経度緯度と関連付けられて記憶されている。図２は、３次元モデルの一例である。図２では、直方体形状の３次元モデルが示されている。図２に示すように、３次元モデルの形状は、３つ以上の頂点座標から構成できる面によって表現されている。３次元モデルデータの座標原点は、予め設定した経度、緯度、高度で定まる３次元位置である。座標系は、東西、南北、高度のそれぞれが例えばＸ軸、Ｙ軸、Ｚ軸となるように決められている。各座標のスケールは、例えば１座標間隔が１センチメートルに相当するとしている。３次元モデルデータの記述形式は、例えばＶＲＭＬ(Virtual Realty Modeling Language)形式である。
【００９０】
モデル選択部１０２は、経度緯度発生部１０８から入力する経度緯度１０９、または外部から入力される経度緯度１１０が示す地点に存在する建物や看板などに対応する３次元モデルを３次元モデル記憶部１０１から選択し、当該選択した３次元モデルのファイル名を出力する。
【００９１】
映像記憶部１０３には、建物や看板などの３次元モデルの正面に貼り付ける図柄であるテクスチャ情報としての撮影された映像が記憶されている。この実施の形態では、実在する建物や看板、街並みなどを、狭い画角のカメラで撮影した映像（動画像、静止画像）と、全方位レンズまたは全方位ミラーを用いて撮影した視野角が３６０度または１８０度の映像（動画像、静止画像）とがファイル名を付されて記憶されている。
【００９２】
図３は、映像記憶部１０３に記憶される映像の一例を示している。（ａ）は全方位レンズを建物に向けて撮影した画像の例、（ｂ）は全方位レンズを真上に向けて撮影した画像の例である。全方位レンズを用いた撮影では、図３（ａ）に示すように、建物面にカメラを向けて撮影してもよく、図３（ｂ）に示すように、レンズを真上に向けて撮影してもよい。図３（ａ）の例では、左右方向の画角は１８０度となる。また、図３（ｂ）の例では、周囲の３６０度の画像が全て映っているので、画角は３６０度となる。
【００９３】
撮影位置情報記憶部１０４には、映像記憶部１０３に記憶される映像のファイル名、その映像を撮影した位置、方向、画角などで構成される撮影位置情報が記憶されている。図４は、撮像位置情報記憶部１０４に記憶される撮像位置情報の構成および映像記憶部１０３に記憶される映像との関係を説明する図である。図４（ａ）に示すように、映像記憶部１０３に記憶される映像が、動画像である場合には、１つの動画像を構成する各コマの画像が時系列に記憶されている。１つの動画像に１つのファイル名が付され、各コマはコマ番号で識別するようになっている。図４（ａ）では、「コマ番号１５の画像」「コマ番号１６の画像」「コマ番号１７の画像」が示されている。
【００９４】
撮像位置情報は、図４（ｂ）に示すように、映像と１対１対応で規定されている。静止画像に対する撮像位置情報は、映像のファイル名、撮影位置東経、撮影位置北緯、撮影位置高度、撮影方向、撮影画角で構成される。動画像に撮像位置情報は、さらに何コマ目のコマ画像であるかというコマ番号が追加されるようになっている。図４（ｂ）では、図４（ａ）に示す動画像を対象にしているので、コマ番号１５〜１７が追加記録されている。また、図４（ｂ）では、１つの撮像位置情報に２つのファイル名が示されている。これは、撮影位置や画角が同じであれば、一度に複数の動画ファイル名の１コマまたは複数の静止画ファイル名を対応付けていてもよいことを示している。
【００９５】
ここで、撮影方向には、真北を向いた方向を基準方向として、何度東方向に向けてまたは何度西方向に向けて撮影したかという左右方向（東西方向）での角度と、水平方向を基準方向として、何度上に向けてまたは何度下に向けて撮影したかという上下方向（高度方向）での角度との２つがある。撮影画角には、カメラを向けた中心方向から左右に何度までが撮影できているかという角度と、上下に何度までが撮影できているかという角度との２つがある。また、画角と合わせて焦点距離を記述しておいてもよい。
【００９６】
全方位を撮影した画像の場合、図３（ａ）の例では、撮影方向が定まり、画角は１８０度となる。図３（ｂ）の例では、撮影方向は地上から上空へ鉛直方向であるが、東西南北方向への撮影方向を示している。したがって、図３（ｂ）のように周囲３６０度が映っている場合は、撮影位置情報における撮影方向としては、方向は特に決めずに、３６０度映っているとして、撮影方向を記録しておく。
【００９７】
映像選択部１０５は、経度緯度発生部１０８から入力する経度緯度１０９、または外部から入力される経度緯度１１０に従って撮影位置情報記憶部１０４を検索し、モデル選択部１０２で選択された３次元モデルの地理上の位置が映っている映像に対する撮影位置情報を抽出し、抽出した撮影位置情報からファイル名、または、ファイル名とコマ番号を取り出して出力する。つまり、対象映像が静止画像であればファイル名が出力され、動画像であればファイル名とコマ番号とが出力される。このとき、必要あれば撮影に関する情報も出力される。
【００９８】
また、映像選択部１０５は、必要に応じて、ファイル名に従って静止画像を映像記憶部１０３から読み出して出力し、ファイル名およびコマ番号に従って動画のコマ画像を映像記憶部１０３から読み出して出力することも行えるようになっている。地図記憶部１０６には、２次元地図（市販の地図データ）が記憶されている。例えばベクトルデータによって地図が表現されている。地図記憶部１０７には、市販の衛星写真またはビットマップ地図が記憶されている。
【００９９】
経度緯度発生部１０８は、操作員の手動操作によって経度緯度１０９を出力する機能と自動的に経度緯度１０９を出力する機能とを備えている。手動操作によって経度緯度１０９を出力する場合には、一般的な地図表示ソフトウェアが用いられる。この地図表示ソフトウェアは、操作員が住所や郵便番号、経度と緯度を入力すると、該当する地点付近の地図（２次元地図、または衛星写真、またはビットマップ形式の地図）を表示する機能を有している。そして、操作員が表示された地図上の１地点を指定すると、指定した地点の経度緯度１０９を表示するとともに、その経度緯度１０９をモデル選択部１０２と映像選択部１０５とに出力する。自動的に経度緯度１０９を出力する場合については後述する。
【０１００】
また、図１では、経度緯度１１０が外部からモデル選択部１０２と映像選択部１０５とに入力する場合があることが示されている。この外部からの経度緯度１１０は、次の２つの方法で入力される。１つは、操作員がキーボードを操作して経度緯度１１０を直接入力する方法である。２つ目は、外部に存在する処理装置における地図表示ソフトウェアを用いて指定地点の経度緯度１１０を取得する方法である。外部から経度緯度１１０を取得する場合には、地図記憶部１０６，１０７と経度緯度発生部１０８は、不要となる。この点は、以下に示す各実施の形態において同様である。
【０１０１】
次に、以上のように構成されるテクスチャ編集装置の動作を説明する。まず、モデル選択部１０２と映像選択部１０５に経度緯度を与える方法を説明する。なお、ここでは、経度緯度発生部１０８から経度緯度１０９を与える場合について説明する。
【０１０２】
操作員は、経度緯度発生部１０８が備える地図表示ソフトウェアの機能を用いてテクスチャ貼り付けを行いたい地域の地図（２次元地図、衛星写真、ビットマップ地図）を表示する。操作員は、経度緯度発生部１０８が表示する地図上で１地点を指定する。指定する地点は、地図上で建物が建っている地点である。地図と実際の街並みは、建物の建替などで異なる場合もあるので、地図上で建物が建っていなくても道路脇で建物が建っていそうな場所を指定してもよい。地図として撮影してから日数の経っていない衛星写真を使っている場合は、実際の街並みの状況とほぼ同じであるので、衛星写真の中の建物位置を指示すればよい。
【０１０３】
以上は、手動で位置指定を行う場合である。操作員は、地図上の地点を指示しなくても、自動的に地図上の地点を選ぶように設定することができる。自動的に地点を選ぶ場合は、地図を画面上に表示しなくてもよい。この場合は、表示上必要とされる地図記憶部１０６，１０７は不要になる場合がある。自動的に地図上の地点を選ぶ場合としては、例えば次のような場合を示すことができる。
【０１０４】
まず、地図データを用いる例としては、当該地図データが予め家の存在する所の位置を含んでいるような地図データであれば、地図上の家が存在する地点を順番に選択して行く設定にするとよい。また、地図データを用いない例としては、予め映像を撮影したときにＧＰＳ衛星から取得した位置情報を経度緯度発生部１０８に与え、経度緯度発生部１０８においてそのＧＰＳの位置情報に基づき、撮影点から撮影方向に向かい実空間のスケールで例えば１０ｍ先にある地点を自動的に選ぶように設定してもよい。さらに、３次元モデル記憶部１０１には、建物などの３次元モデルが既に記録されているので、経度緯度発生部１０８が３次元モデル記憶部１０１をアクセスして３次元モデル（建物）が存在する地点を順番に選ぶように設定してもよい。
【０１０５】
このようにして経度緯度発生部１０８から経度緯度１０９がモデル選択部１０２と映像選択部１０５に出力される。または、外部から経度緯度１１０がモデル選択部１０２と映像選択部１０５に入力される。
【０１０６】
モデル選択部１０２は、３次元モデル記憶部１０１から大量の３次元モデルのファイルを読み込み、経度緯度１０９または経度緯度１１０が指定した経度と緯度上にある建物等の３次元モデルを選択する。具体的には、モデル選択部１０２は、３次元モデルの座標を実際の経度緯度へ計算して換算し、経度と緯度の外接長方形の中に指定された経度緯度１０９または経度緯度１１０が入っている３次元モデルを選択する。実施の形態１では、３次元モデルが１つだけ見つかることとする。モデル選択部１０２は、選択した３次元モデルのファイル名を出力する。
【０１０７】
ここで、モデル選択部１０２が行う出力とは、選択したファイル名を画面表示すること、予め決めたファイル名のテキストファイルに選択したファイル名を書き込むこと、また、選択した３次元モデルを画面に表示することの少なくとも１つを意味する。３つ目の実例を挙げれば、ＣＯＳＭＯＰＬＡＹＥＲというソフトウェアを用いて３次元モデルを表示する例がある。
【０１０８】
また、選択した３次元モデルの表示では、例えば選択した３次元モデルが１件であっても、その周りの複数件の３次元モデル（建物）を合わせて表示すると、周りの３次元モデル（建物）との関係から選択した３次元モデル（建物）が分かり易くなるので、周りの複数件の３次元モデル（建物）を合わせて表示するようにしてもよい。この場合には、指定された経度緯度１０９または経度緯度１１０から予め設定した経度差以内で、かつ予め設定した緯度差以内に頂点座標のある３次元モデル（建物）を隣接した３次元モデル（建物）として選択する。
【０１０９】
このとき、隣接した３次元モデル（建物）は表面を白い色で表示し、指定された経度緯度１０９または経度緯度１１０にある３次元モデル（建物）は表面を青い色で表示することとする。隣接する３次元モデル（建物）のファイル名も、隣接または近くにある３次元モデル（建物）としてファイル名を画面表示するか、予め決めたファイル名のテキストファイルにファイル名を書き込むようにする。
【０１１０】
映像選択部１０５は、指定された経度緯度１０９または経度緯度１１０に基づき撮影位置情報記憶部１０４に記憶されている撮影位置情報を調べ、該当する位置が映っている映像のファイル名が記録されている撮影位置情報を選び出し、当該映像のファイル名を出力する。具体的には、映像選択部１０５では、撮影位置情報記憶部１０４に記憶されている全ての撮影位置情報を１つ１つ確認して該当する位置が映っている映像のファイル名を出力する。
【０１１１】
すなわち、映像選択部１０５では、まず、撮影位置情報記憶部１０４に記憶されている各撮影位置情報において、撮影位置の経度緯度と、指定された経度緯度１０９または経度緯度１１０とを比較する。その差が、予め設定した値以下の経度差または緯度差の撮影位置情報を候補とする。
【０１１２】
次に、その候補の中から指定された経度緯度１０９または経度緯度１１０が映っている動画像の１場面または静止画像を検索する。図５を参照して説明する。図５は、映像選択部１０５が行う撮影範囲に入っていることの確認動作を説明する図である。図５において、Ｘ軸は経度方向であり、Ｙ軸は緯度方向である。ここでは、真北をＹ軸の正方向としている。ＸＹ座標の原点Ｇは、撮影位置でる。撮影方向Ｎは、原点Ｇから見てＹ軸からＸ軸の正方向に所定角度傾いた方向にある。
【０１１３】
このＸＹ平面上において、原点Ｇから撮影方向Ｎに向かって撮影方向直線Ｃを引く。撮影方向直線Ｃは、原点で止まっており、反対方向に直線はないとする。原点Ｇを通り撮影方向直線Ｃの左右に、画角の半分の角度βだけ傾いた補助直線Ｈ１，Ｈ２を引く。このとき、撮影方向直線Ｃから時計回り方向にあるのが補助直線Ｈ１であり、反時計回り方向にあるのが補助直線Ｈ２であるとする。補助直線Ｈ１，Ｈ２に挟まれた範囲内に指定された経度緯度１０９または経度緯度１１０の地点Ｑがあるとき、この動画像の１場面または静止画像に指定された経度緯度１０９または経度緯度１１０の地点Ｑが映っていると判断する。図５では、地点Ｑは、撮影方向直線Ｃと左側の補助直線Ｈ２との間に存在することが示されている。
【０１１４】
全方位を撮影した画像のうち、図３(ａ)に示すように、撮影方向が定まる画像では、上記手法を用いる。一方、図３（ｂ）に示すように、全方向が撮影方向となる画像では、指定された経度緯度１０９または経度緯度１１０は映っていると判断し、図５に示すように、原点Ｇから指定された経度緯度１０９または経度緯度１１０の地点Ｑに向けて補助直線Ｈ３を引く。そして、この補助直線Ｈ３が真北の方向から何度東方向に向いているか、または西方向に向いているかという方角を撮影範囲として撮影位置情報に追加する。図３（ｂ）に示すような全方位を撮影した画像の場合は、指定された経度緯度１０９または経度緯度１１０に対応して、撮影位置情報に含まれる撮影方向を新たに追加するようにする。つまり、図３（ｂ）に示すように全方位が映っているという記録と、特定の指定した地点が映っている記録とを２重に持つこととする。
【０１１５】
映像選択部１０５は、指定した地点が映っていると判断した撮影位置情報にコマ番号が無いときは、動画像ではないので、静止画像を示すファイル名を選択する。コマ番号がある場合は、動画像であるので、動画像のファイル名と合わせてコマ番号を選択する。つまり、映像選択部１０５は、静止画像の場合には選択したファイル名を出力し、動画像の場合にはファイル名とコマ番号とを出力する。
【０１１６】
ここで、映像選択部１０５が行う出力とは、選択したファイル名を画面表示すること、予め決めたファイル名のテキストファイルに選択したファイル名を書き込むこと、また、選択した映像を画面に表示することの少なくともいずれか１つを意味している。表示では、静止画像の場合は該当するファイル名の画像を表示し、動画像の場合は、該当するファイル名中のコマ番号で指定されたコマ画像を表示する。動画像の表示の場合は、指定されたコマ画像の前後数コマを表示してもよい。
【０１１７】
以上のように、実施の形態１によれば、地図上で建物のある位置またはありそうな位置を経度緯度によって指定するだけで、その位置に実在する建物をモデル化した３次元モデル（ファイル名）を選択し、同時にその建物の映っている映像（ファイル名）を選択することができる。したがって、貼り付ける３次元モデル（建物）と撮影した映像の対応付けは、操作員が内容を見て判断しなくてもよくなる。また、大量の建物の３次元データの中で、指定した位置にある建物の３次元データを探す手間が省ける。さらに、選択した位置にある建物の映像を大量の映像データの中から探す手間が不要になり、操作員の負担が大幅に軽減される。
【０１１８】
そして、自動的に選択された３次元モデル（建物）と映像は、正確に１対１に対応しているが、入力された経度緯度１０９，１１０の精度や３次元モデル（建物）の位置誤差によって多少のずれが生ずる。そこで、操作員が必要に応じて確認等の処理が行えるようになっている。
【０１１９】
例えば、映像には建物が１件だけ映っているとは限らないので、３次元モデルを表示したときに隣接する３次元モデル（建物）との形状関係が解ると、選択した３次元モデル（建物）が映像中のどの建物と対応するかが分かり易くなる。そこで、実施の形態１では、操作員が必要に応じて表示操作を行うときは、選択した３次元モデル（建物）を青色で表示し、その近辺の３次元モデル（建物）を白色で表示するようにし、３次元モデル（建物）の選択結果が視覚的に分かり易くなるようにしている。
【０１２０】
また、映像選択部１０５が選択した映像も表示できるので、本装置を用いて選択した３次元モデルが正確でなかった場合には、近くに建っている建物が選択する３次元モデルである場合も多いので、これを選択できるようにしている。具体的には、操作員が、３次元モデル（建物）と映像の双方を表示し、次のような操作が行えるようになっている。
【０１２１】
すなわち、操作員は、モデル選択部１０２が青色で表示している３次元モデル（建物）と映像選択部１０５が選択した映像とを見比べて、青色で表示している３次元モデル（建物）の周辺にある白色で表示している３次元モデル（建物）の形状と位置との相対関係から、検索結果の映像を貼り付けたい３次元モデル（建物）を変更したいと判断する場合には、３次元モデル（建物）の表示を行っている画面において、青く表示している３次元モデル（建物）ではなく、周辺に白色で表示している３次元モデル（建物）の中から指定したい３次元モデル（建物）をマウスで指定する。すると、操作員が指定した３次元モデル（建物）が、恰もモデル選択部１０２の選択結果であるかのように、３次元モデルのファイル名が出力されるようになっている。
【０１２２】
その結果、本装置の出力（３次元モデルのファイル名、テクスチャ情報である映像のファイル名）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の切り出し、加工、貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、映像選択部１０５が選択した映像（テクスチャ情報）をそのファイル名に従って映像記憶部１０３から読み込み、３次元モデルに貼り付けることができる。
【０１２３】
このとき、市販の画像編集ソフトウェアを用いて事前に映像選択部１０５で選択した映像からテクスチャ画像を切り抜いたり、色を変換して加工することもできる。また、本装置にて上記のように自動的に選択された映像と３次元モデルとを表示したとき、表示した３次元モデルの形状と映像に映っている建物の形状とが異なっている場合は、隣接する３次元モデル（建物）を３次元モデル編集ソフトウェアで読み込んで形状を操作員が目視確認し、最も映像に近い建物を選択し、この選択した３次元モデル（建物）に映像から切り抜いた表面画像であるテクスチャ画像を貼り付けることも行える。
【０１２４】
実施の形態２．
図６は、この発明の実施の形態２であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態２では、実施の形態１で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の切り出し処理を行う場合の構成例が示されている。すなわち、図６に示すように、図１に示した構成において、テクスチャ切り出し部２０１が設けられている。映像選択部１０５は、選択した映像のファイル名を含む前述した撮影位置情報をテクスチャ切り出し部２０１に出力する。その他は、図１に示した構成と同様である。ここでは、実施の形態２に関わる部分を中心に説明する。
【０１２５】
図６において、テクスチャ切り出し部２０１は、モデル選択部１０２が出力するファイル名によって３次元モデル記憶部１０１から該当する３次元モデルを読み込み、映像選択部１０５が出力するファイル名によって映像記憶部１０３から該当する映像（テクスチャ情報）を読み込む。そして、モデル選択部１０２が選択した３次元モデル（建物）の正面に合わせて、映像選択部１０５が選択した映像から建物の表面画像であるテクスチャ部分（テクスチャ画像）を切り出す処理を行う。この実施の形態２では、テクスチャ切り出し部２０１は、撮影位置情報を用いて画角が１８０度または３６０度の画像からも３次元モデル（建物）のテクスチャ画像が切り出せるようになっている。
【０１２６】
次に、図６〜図１３を参照して、テクスチャ切り出し部２０１の動作について説明する。なお、図７は、映像記憶部１０５に記憶される全方位レンズを用いて撮影した画像の説明図である。図８は、図７に示すような全方位レンズを用いて撮影した画像を狭い画角の画像に変換する方式の説明図である。図９は、図８に示す変換を行う際に用いる極座標系の説明図である。図１０は、撮影位置から見た３次元モデルの画像を作成する方式の説明図である。図１１は、３次元モデルの表面選択方式の説明図である。図１２は、映像から建物面を切り出す方式の説明図である。図１３は、エッジ抽出を用いて映像から建物面を切り出す方式の説明図である。
【０１２７】
モデル選択部１０２、映像選択部１０５が３次元モデルおよび映像のファイル名を選択するまでの動作は実施の形態１と同じである。実施の形態２では、映像選択部１０５は、映像のファイル名を含む撮影位置情報を出力する。前述したように、撮影位置情報には、映像のファイル名（映像が動画像である場合には、さらにコマ番号）の他、当該映像の撮影位置および撮影に関する情報が記録されている。
【０１２８】
テクスチャ切り出し部２０１は、検索対象となっている画像が全方位レンズで撮影した画像の場合には、図７で説明するように歪みがあるので、図８で説明する全方位レンズで撮影した画像の変換方式に従って、一旦、画角が例えば９０度または６０度といった狭い画角の画像に変換してから、後述するテクスチャ切り出し処理を行う。このとき、変換した後の画像の撮影方向および画角の情報は、当然変換した後の値を用いる。なお、対象画像が全方位レンズで撮影した画像ではなく、例えば画角が４０度といったビデオカメラやデジタルカメラで撮影した画像の場合は、画像の変換は行わないで、直接後述するテクスチャ切り出し処理が行われる。
【０１２９】
図７は、全方位レンズを装着したカメラを建物に向けて撮影する場合の様子を示している。この場合には、カメラの撮影位置２０３から物体２０４を見たときに、上下左右の画角が１８０度の範囲まで撮影でき、図３（ａ）に示したような画像が得られる。
【０１３０】
図７において、全方位レンズを備えるカメラの撮影位置２０３から焦点距離（例えば８ｍｍ）２０５を半径とする半球のスクリーン２０６上に物体２０４の像が写る。半球のスクリーン２０６上の像を、撮影位置２０３を含み焦点距離２０５を半径とする円平面２０７上に射影した像２０８が物体２０４の撮影画像である。円平面２０７上に射影した像２０８から理解できるように、建物が映っている部分は、歪んでいるので、単純に建物のテクスチャ画像としては利用できない。
【０１３１】
図８において、ＸＹＺの直交３軸を定め、ＸＹ面に全方位レンズで撮影した画像が得られる半径ｒの円平面３０５を設定する。原点Ｏは、撮影点である。この円平面３０５上において、原点Ｏを中心として矩形配置される点Ｓ，Ｔ，Ｕ，Ｖが撮影された画像の頂点位置であるとする。円平面３０５からＺ軸の正方向に向かう半径ｒのスクリーン半球面３０６を設定する。このスクリーン半球面３０６は、xx+yy+zz=rr,z≧０と規定される。円平面３０５上の点Ｓ，Ｔ，Ｕ，Ｖをスクリーン半球面３０６に射影した点をＳ’，Ｔ’，Ｕ’，Ｖ’とする。次に、撮影点Ｏとスクリーン半球面３０６上の点Ｓ’，Ｔ’，Ｕ’，Ｖ’とを結ぶ線が、Ｚ軸上の任意の距離に円平面３０５と平行に定めたスクリーン平面３０７と交わる点をＳ”，Ｔ”，Ｕ”，Ｖ”とする。
【０１３２】
ここで、全方位レンズで撮影した画像中の点Ｓ，Ｔ，Ｕ，Ｖの色情報を、スクリーン平面３０７上の点Ｓ”，Ｔ”，Ｕ”，Ｖ”の値とする。これによって、全方位レンズで撮影した画像を、画角はある範囲で有限であるが、物体の像を平面上に射影した画像に変換することができる。スクリーン平面３０７上の点Ｐの位置は、図９に示すように、角度θ、φで規定する極座標で表現できる。したがって、点Ｓは、ｘ＝ｒsinθcosφ、ｙ＝ｒsinθsinφ、ｚ＝０、と表現できる。
【０１３３】
点Ｓにおける角度θ，φを求めた後、スクリーン半球面３０６上にある点Ｓ’の位置を求め、次いで撮影点Ｏと点Ｓ’とを結ぶ線がスクリーン平面３０７と交わる点Ｓ”の位置を求めることによって、点Ｓの色情報を点Ｓ”にコピーすることができる。他の３点についても同様である。このようにして、全方位画像のどの点であっても画角の狭いレンズで撮影した画像に変換できる。このとき、新しい画像の画角は、∠Ｓ”ＯＴ”または∠Ｔ”ＯＵ”となる。この円平面３０５に射影した像が全方位レンズを備えるカメラで撮影された出力画像である。
【０１３４】
今の例では、Ｚ軸の正方向をカメラの向いている方向として変換しているが、半径ｒの球面上どの位置に向いた画像でも作成できる。すなわち、この場合には、変換したい半径ｒの球面上の任意位置がＺ軸の正方向に向くように、図８における空間全体に回転行列をかけてしまえば、上記の手法によって画像の変換が可能である。
【０１３５】
以上のような画像の変換によって、図３（ａ）に示す全方位画像は、建物を中心として、例えば６０度といった狭い画角の画像に変換できる。また、図３（ｂ）に示す全方位画像は、撮影地点から、特定のビルの方向に向いて、例えば６０度といった狭い画角の画像に変換できる。
【０１３６】
次に、図１０〜図１３を参照して、テクスチャ切り出し処理について説明する。まず、図１０（ａ）（ｂ）に示す手順で、選択された３次元モデルＭ２を撮影位置Ｐ２から見た画像を作成する。図１０において、（ａ）は上から見た図、（ｂ）は作成する画像の説明図である。
【０１３７】
図１０（ａ）において、３次元モデルＭ２は、３次元座標における東西方向を経度、南北方向を緯度とした２次元空間での状態が示されている。図１０（ａ）において、撮影位置Ｐ２から撮影画角Ｇ２の範囲を示す補助直線Ｈ２１，Ｈ２２を引く。撮影位置Ｐ２からの撮影方向に直交する仮想スクリーンＳ２の線を引く。仮想スクリーンＳ２の線と補助直線Ｈ２１，Ｈ２２と交わる点をｈ’，ｒ’とする。また、３次元モデルＭ２の３頂点ＰＡ、ＰＢ、ＰＣに対して撮影位置Ｐ２から直線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ａ’，ｂ’，ｃ’を求める。ここで、点ｈ’と点ａ’との間隔をａ１とし、点ａ’と点ｂ’との間隔をｂ１とし、点ｂ’と点ｃ’との間隔をｃ１とし、点ｃ’と点ｒ’との間隔をｄ１とする。
【０１３８】
図１０（ｂ）において、テクスチャ切り出し部２０１は、幅と高さ方向の画角の比に対応した縦横比の画像枠ＧＷを作成し、ａ１：ｂ１：ｃ１：ｄ１＝Ａ１：Ｂ１：Ｃ１：Ｄ１の比と同じ比になるように、画像枠ＧＷの左端から値Ａ１の距離に位置ＰＡ、位置ＰＡから値Ｂ１の距離に位置ＰＢ、位置ＰＢから値Ｃ１の距離に位置ＰＣの点を描く。図１０（ｂ）では、真上から見た図（図１０（ａ））を元に説明している。作成した画像中で、真横から見ても同様の操作によって位置ＰＡ，ＰＢ，ＰＣの縦方向の座標位置を決めることができ、位置ＰＡ，ＰＢ，ＰＣの撮影位置から映っている３次元モデルＭ２中の位置を求めることができる。図１０（ａ）（ｂ）では３点を示したが、テクスチャ切り出し部２０１は、全ての座標について画像中の位置を求め、撮影位置Ｐ２から見た３次元モデルＭ２の画像を作成する。この作成された画像を作成画像ＭＧ２と称することとする。
【０１３９】
次に、テクスチャ切り出し部２０１は、撮影位置Ｐ２から見た３次元モデルＭ２の作成画像ＭＧ２のうち、面が見えている部分、すなわち正面（表面）を図１１に示す手順で選択する。図１１において、経度、緯度、高度の３軸によって表現できる３次元空間に設定した３次元モデルＭ２の作成画像ＭＧ２の頂点位置に、撮影位置Ｐ２の座標位置から直線を引く。
【０１４０】
図１１に示すように、撮影位置Ｐ２から頂点位置への直線が作成画像ＭＧ２の面と交差していない頂点Ａ，Ｂ，Ｃ，Ｄによって構成できる面ＡＢＣＤは、正面（表面）であると判断する。同様に、撮影位置Ｐ２から延ばした直線が作成画像ＭＧ２の面と交差する頂点Ｅ，Ｆと交差しない頂点Ａ，Ｂによって構成できる面ＡＤＦＥは正面（表面）ではないと判断する。テクスチャ切り出し部２０１は、このようにして、作成画像ＭＧ２の撮影位置Ｐ２から見える正面（表面）を構成する４頂点を選択する。図１１の例では、この４頂点がＡ，Ｂ，Ｃ，Ｄであったことが示されている。
【０１４１】
図１２において、（ａ）は画像枠と作成画像ＭＧ２との関係図、（ｂ）は映像選択部１０５の選択した映像と切り出す部分画像との関係図である。図１２（ａ）において、作成画像ＭＧ２の頂点Ａ，Ｂ，Ｃ，Ｄは、上記のようにして選択された正面を構成する頂点である。テクスチャ切り出し部２０１は、図１２（ｂ）に示すように、映像選択部１０５の選択した映像から、作成画像ＭＧ２における頂点Ａ，Ｂ，Ｃ，Ｄの位置に対応した位置Ａ’，Ｂ’，Ｃ’，Ｄ’の部分画像を切り出して出力する。
【０１４２】
図１２（ａ）において作成画像ＭＧ２の頂点Ａを例にとれば、頂点Ａの位置は、画像枠ＧＷ１の左端から右に向かった距離ｒで、かつ画像枠ＧＷ１の右端から左に向かった距離ｓであったとする。この場合、図１２（ｂ）に示すように、ｒ：ｓ＝ｒ’：ｓ’で、かつｒ’＋ｓ’が映像選択部１０５の選択した映像ＧＷ２の横幅となるような位置ｒ’，ｓ’を求める。同様の位置決めを縦方向についても行う。つまり、ｔ：ｕ＝ｔ’：ｕ’で、かつｔ’＋ｕ’が映像選択部１０５の選択した映像ＧＷ２の縦幅となるような位置ｔ’，ｕ’を求める。
【０１４３】
これによって、作成画像ＭＧ２における頂点Ａに対応する映像選択部１０５の選択した映像ＧＷ２の中の位置Ａ’を求めることができる。同様に、作成画像ＭＧ２における頂点Ｂ，Ｃ，Ｄに対応する映像選択部１０５の選択した映像ＧＷ２の中の位置Ｂ’，Ｃ’，Ｄ’を求めることができる。その結果、位置Ａ’，Ｂ’，Ｃ’，Ｄ’によって囲まれる範囲を切り出し範囲ＫＤ２として部分画像を切り出すことができる。以上の切り出し処理は、撮影位置や撮影方向が正確であることを前提としている。
【０１４４】
次に、図１３を参照して、多少のずれがあっても正確に映像選択部１０５の選択した映像の中の建物枠部分を切り出す手順について説明する。図１３において、映像選択部１０５の選択した映像（図１３（ａ））に縦方向のエッジ抽出処理（図１３（ｂ））、横方向のエッジ抽出処理（図１３（ｃ））をかける。そして、縦方向エッジの抽出結果（図１３（ｂ））の縦線と、横方向エッジの抽出結果（図１３（ｃ））の横線とを重ねて表示したときに（図１３（ｄ））、交差している点ＫＳ１および、縦エッジ、横エッジの端点が予め設定した距離よりも近い点ＫＳ２，ＫＳ３を候補として選ぶ。縦エッジ、横エッジの端点が近い点の場合、縦エッジ、横エッジの延長上の点を候補とする。次いで、候補点の中から、前述の図１２の比率を用いた計算によって求めた映像選択部１０５の選択した映像ＧＷ２の中の頂点位置に最も近い点を選択する。
【０１４５】
テクスチャ切り出し部２０１は、切り出したひし形や台形といった四角形の部分画像をファイルとして出力し、映像選択部１０５の選択した映像の中の頂点位置の情報もテキストファイルとして出力する。また、テクスチャ切り出し部２０１は、撮影位置から３次元モデルを見たときに正面を向いている面の頂点の座標をファイルにテキスト形式で出力する。
【０１４６】
テクスチャ切り出し部２０１は、３次元モデルを表示し、撮影位置から３次元モデルを見たときに正面を向いている面の色を変えて表示してもよい。また、映像選択部１０５の選択した映像を表示し、テクスチャ切り出し部２０１が求めた切り出し範囲ＫＤ２の頂点位置を画像の上にマークで表示してもよい。このとき、操作員がマークの位置をずらすと、ずらした後の位置でテクスチャを切り出すことができるようにする。
【０１４７】
以上のように、実施の形態２によれば、自動的に３次元モデルの中でテクスチャを貼り付ける面を選択し、選択した３次元モデルの面（位置）が映っている映像から３次元モデルの面に対応した部分の画像だけを切り出すことができる。したがって、３次元モデル（建物）に画像から建物表面の部分画像を切り出して貼り付けるときに、画像の中から建物部分だけを切り出す位置の指定を操作員がしなくてもよくなる。
【０１４８】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャの加工、貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ切り出し部２０１で切り出した画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換したり形状を加工しておくこともできる。
【０１４９】
実施の形態３．
図１４は、この発明の実施の形態３であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態３では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャの加工処理（変形処理）を行う場合の構成例が示されている。すなわち、図１４に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ変形部３０１が設けられている。テクスチャ切り出し部２０１の出力は、３次元モデルの正面を構成する頂点座標、および、映像選択部１０５が選択した映像から切り出した画像（テクスチャ画像）である。その他は、図６に示した構成と同様である。ここでは、実施の形態３に関わる部分を中心に説明する。
【０１５０】
図１４において、テクスチャ変形部３０１は、テクスチャ切り出し部２０１の出力を受けて、３次元モデル（建物）の正面に合わせて映像（静止画像、動画像）から切り出した建物の表面画像であるテクスチャ画像の縦横比を変形する処理を行う。
【０１５１】
次に、図１４、図１５を参照して、テクスチャ変形部３０１の動作について説明する。なお、図１５は、テクスチャ変形部３０１の動作説明図である。図１４において、テクスチャ変形部３０１は、テクスチャ切り出し部２０１から入力する３次元モデルの正面を構成する頂点座標に基づき、当該３次元モデルの正面の縦横比を計算する。次いで、テクスチャ変形部３０１は、図１５に示す手順で縦横比の変形処理を行う。
【０１５２】
図１５（ａ）は、テクスチャ切り出し部２０１から入力された画像（映像選択部１０５が選択した映像から切り出した画像）である。この切り出された画像を画像ＫＧ３と称すれば、テクスチャ変形部３０１は、この画像ＫＧ３について、縦方向の辺のうち長い方の辺が垂直となるように画像全体に回転を加える（図１５（ｂ））。
【０１５３】
次に、テクスチャ変形部３０１は、回転を加えた画像ＫＧ３を縦方向に引き伸ばして外接長方形ＧＳ３の高さと一致させる（図１５（ｃ））。また、縦方向に引き伸ばした画像ＫＧ３を横方向に引き伸ばして外接長方形ＧＳ３の幅と一致させる（図１５（ｄ））。テクスチャ変形部３０１は、このようにして外接長方形ＧＳ３と一致させた画像ＫＧ３の縦横比を３次元モデルの正面に対応した縦横比に変換し（図１５（ｅ））、３次元モデルの正面形状に対応した形状に合わせた画像ＫＧ３１を得る（図１５（ｆ））。得られた画像ＫＧ３１は、ファイル名が付されて出力される。
【０１５４】
以上のように、実施の形態３によれば、３次元モデルの正面に対応して選択された映像（静止画像、動画像）から切り出した画像を、自動的に３次元モデルの正面形状に合わせて変形することができるので、画像から建物表面の部分を切り出して３次元モデル（建物）の正面に貼り付けるときに、操作員が画像の変形を画像編集ソフトウェアを用いて行わなくてもよくなる。
【０１５５】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャの貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ変形部３０１で変形された画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換しておくこともできる。
【０１５６】
実施の形態４．
図１６は、この発明の実施の形態４であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態４では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（遮蔽物除去処理）を行う場合の構成例が示されている。すなわち、図１６に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受ける遮蔽物除去部４０１が設けられている。テクスチャ切り出し部２０１の出力は、映像選択部１０５が選択した映像から切り出した画像（テクスチャ画像）である。その他は、図６に示した構成と同様である。ここでは、実施の形態４に関わる部分を中心に説明する。
【０１５７】
図１６において、遮蔽物除去部４０１は、テクスチャ切り出し部２０１から入力される複数のテクスチャ画像を用いて、それらに映っている建物の表面画像であるテクスチャ画像の前に車や街路樹等の遮蔽物がある場合に、それを取り除いたテクスチャ画像を作成する処理を行う。
【０１５８】
次に、図１６〜図２０を参照して、遮蔽物除去部４０１の動作について説明する。なお、図１７は、テクスチャ画像が静止画像である場合の遮蔽物除去方式の説明図である。図１８〜図２０は、テクスチャ画像が動画像である場合の遮蔽物除去方式の説明図である。各図の説明では、説明の便宜から、遮蔽物除去部４０１に入力されるテクスチャ画像は、大きさが同じ長方形であるとしている。
【０１５９】
まず、図１７を参照して、テクスチャ画像が静止画像である場合の遮蔽物除去動作について説明する。この場合には、重ね合わせによる方式が用いられる。図１７（ａ）に示す３つのテクスチャ画像ＴＥ１，ＴＥ２，ＴＥ３は、それぞれ撮影した位置が異なる静止画像であり、例えば木のような遮蔽物４１１，４１２，４１３が映っている。３つのテクスチャ画像ＴＥ１，ＴＥ２，ＴＥ３のそれぞれにグレースケール化処理（図１７（ｂ））を施したテクスチャ画像ＴＥ１１，ＴＥ２１，ＴＥ３１（図１７（ｃ））に対して、排他的論理和処理（図１７（ｄ））と論理積処理（図１７（ｅ））とを施す。これによって、テクスチャ画像ＴＥ１，ＴＥ２，ＴＥ３それぞれの遮蔽物４１１，４１２，４１３の位置が明確になる。なお、図１７（ｄ）（ｅ）において、点線部分は、消えて見えない部分を示している。
【０１６０】
図１７（ｄ）において、画像４２１は、テクスチャ画像ＴＥ１１，ＴＥ２１の排他的論理和を取った画像であり、遮蔽物４１１，４１２が消えずに残っている。画像４２２は、テクスチャ画像ＴＥ２１，ＴＥ３１の排他的論理和を取った画像であり、遮蔽物４１２，４１３が消えずに残っている。画像４２３は、テクスチャ画像ＴＥ１１，ＴＥ３１の排他的論理和を取った画像であり、遮蔽物４１１，４１３が消えずに残っている。
【０１６１】
図１７（ｅ）において、画像４３１は、画像４２１，４２３の論理積を取った画像であり、テクスチャ画像ＴＥ１に映っている遮蔽物４１１が消えずに残り、存在位置が明確に示されている。画像４３２は、画像４２１，４２２の論理積を取った画像であり、テクスチャ画像ＴＥ２に映っている遮蔽物４１２が消えずに残り、存在位置が明確に示されている。画像４３３は、画像４２２，４２３の論理積を取った画像であり、テクスチャ画像ＴＥ３に映っている遮蔽物４１３が消えずに残り、存在位置が明確に示されている。
【０１６２】
例えば、テクスチャ画像ＴＥ１に映っている遮蔽物４１１を除去する場合、図１７（ｆ）に示すように、遮蔽物４１１が存在する部分の外接長方形４４１の範囲を遮蔽物４１１があることにより建物の壁面が映っていない無効部分４４２とする。そして、テクスチャ画像ＴＥ３からテクスチャ画像ＴＥ１の無効部分４４２と同じ位置の画像４４３を切り出して、無効部分４４２に貼り付ける。このとき、テクスチャ画像ＴＥ３から切り出す画像４４３が、テクスチャ画像ＴＥ３における無効部分ではないことを確認しておく。
【０１６３】
このようにテクスチャ画像ＴＥ１の無効部分４４２にテクスチャ画像ＴＥ３の無効でない部分の画像４４３を貼り付けた画像は、建物面の遮蔽物を取り除いたテクスチャ画像となる。他のテクスチャ画像ＴＥ２，ＴＥ３についても、同様の手法によって遮蔽物４１２，４１３を除去したテクスチャ画像を得ることができる。遮蔽物除去部４０１では、以上の手法によって遮蔽物を除去したテクスチャ画像が取得され、出力としてファイルに書き込まれる。
【０１６４】
次に、図１８〜図２０を参照して、テクスチャ画像が動画像である場合の遮蔽物除去動作について説明する。図１８は、コマ画像と評価位置との関係図である。目的の建物が映っているテクスチャ画像（動画像）には、連続する複数のコマ画像が映っている。ここでは、説明の便宜から、３つのコマ画像が適宜な時間間隔で映っている場合を説明する。
【０１６５】
図１８では、動画像を構成するコマ画像ＣＧ１，ＣＧ２，ＣＧ３が、画像枠４５０の下辺側に時間Ｔ１、Ｔ２、Ｔ３の順序に従って配置されている。コマ画像ＣＧ１，ＣＧ２，ＣＧ３には、例えば車など遮蔽物４５１，４５２，４５３が映っている。時間Ｔ１のコマ画像ＣＧ１は、画像枠４５０の横方向中央から右端側よりに位置し、遮蔽物４５１が右端側に映っている。時間Ｔ２のコマ画像ＣＧ２は、画像枠４５０の横方向中央に位置し、遮蔽物４５２がほぼ中央に映っている。時間Ｔ３のコマ画像ＣＧ３は、画像枠４５０の横方向中央から左端側に位置し、遮蔽物４５３が左端に映っている。なお、コマ画像ＣＧ１，ＣＧ２，ＣＧ３は、予めグレースケール化または２値化しておいてもよい。
【０１６６】
評価位置４６０を示す水平方向の直線は、画像枠４５０の上辺からｈ画素だけ下がった位置に引かれている。画素数ｈは、操作員が任意に設定するか、または、予め設定されるようになっている。
【０１６７】
図１９は、評価画像およびエッジ抽出処理の説明図である。図１９（ａ）に示す評価画像は、図１８において評価位置４６０が存在する直線上の画素を抜き出して、時間順に並べた画像である。すなわち、図１９（ａ）に示す評価画像は、「時間Ｔ１のコマ画像ＣＧ１から切り出した部分」の画像４６１と、「時間Ｔ２のコマ画像ＣＧ２から切り出した部分」の画像４６２と、「時間Ｔ３のコマ画像ＣＧ３から切り出した部分」の画像４６３とで構成されている。なお、抜き出す直線上の画素数は、垂直方向は１画素であっても数画素であってもよく、予め決めた画素数としてもよい。図１９（ａ）において、太い斜線４６５は、遮蔽物の軌跡線であり、両側の細い斜線４６７，４６８は、コマ画像の枠軌跡線である。
【０１６８】
図１９（ａ）に示す評価画像に縦方向のエッジ抽出処理を行うと、図１９（ｂ）に示すように、評価画像４７０には、斜めの線４７１，４７２，４７３，４７４が出てくる。これらの線は、次のようにして特定する。このエッジ抽出結果の線として、例えば線４７２に注目すると、評価画像４７０の上端に線４７２が接している部分４８１から、１画素下にある画素を順番に辿り、評価画像４７０の下端に線４７２が接している部分４８２への直線を求めることで、線４７２を特定する。このとき、途中に交点４８３があった場合は、直進性の高い方向へ辿ることによって、できるだけ真っ直ぐな直線となるようにする。今の例では、評価画像４７０の下端に線４７２が接している部分４８２が直進性の高い端点であり、評価画像４７０の下端に線４７１が接している部分４８４は直進性の低い端点である。
【０１６９】
図２０（ａ）では、上記のようにして特定できた直線Ｌ１，Ｌ２，Ｌ３，Ｌ４が示されている。直線Ｌ１は、線４７１に対応している。直線Ｌ２は、線４７２に対応している。直線Ｌ３は、線４７３に対応している。直線Ｌ４は、線４７４に対応している。このように、直線Ｌ１，Ｌ２，Ｌ３，Ｌ４が求まると、次に、評価画像４８７の横方向をＸ軸、縦方向をＹ軸としたときのＸＹ平面における傾きの絶対値を求める。この絶対値が大きいほど、その直線はカメラの近くにある物が映っている画像の軌跡を示している。ここで、直線Ｌ１の傾きの絶対値をＬＡ１、直線Ｌ２の傾きの絶対値をＬＡ２、直線Ｌ３の傾きの絶対値をＬＡ３、直線Ｌ４の傾きの絶対値をＬＡ４とする。
【０１７０】
予め設定した値以下の違いは無視するならば、図２０（ａ）からＬＡ１＝ＬＡ４、ＬＡ２＝ＬＡ３、ＬＡ１＜ＬＡ２となる。これは直線Ｌ２と直線Ｌ３に挟まれた部分は、直線Ｌ１と直線Ｌ４に挟まれた部分よりも手前にあることを意味している。但し、画像上の遮蔽物が画像に映っている建物の幅よりも十分狭いことを条件としている。また、建物よりも遠方の物が画面内にあまり映っていないか、評価位置の設定において、操作員がこれらの条件を満たすように設定することを前提としている。なお、評価画像中の遮蔽物の判断は、評価画像を見た操作員が評価画像上で斜めに傾く縞模様を見て傾きが大きいところが遮蔽物として判断するのでもよい。この場合は判断した位置を評価画面上で指示して遮蔽物の位置を特定するとよい。
【０１７１】
次に、評価画像４８７上の直線Ｌ２と直線Ｌ３の間が遮蔽物であるとわかった場合、評価画像４８７を作成した手順と逆の手順で、元画像中の遮蔽物のある部分を抽出できる。図１９（ａ）の評価画像では、時間Ｔ２のコマ画像ＣＧ２から切り出した部分において、遮蔽物４５２は当該コマ画像ＣＧ２の中央付近に映っているので、時間Ｔ２で映っている部分は使えない。したがって、図２０（ａ）の評価画像４８７において、時間Ｔ２のコマ画像ＣＧ２から切り出した部分に相当する水平位置線４９０と直線Ｌ２，Ｌ３との交点Ｖ１、Ｖ２の間の画像は使えない。
【０１７２】
そこで、図２０（ｂ）に示すように、時間Ｔ２における交点Ｖ１〜Ｖ２の間の部分画像を無効な部分とする。その後は、前述した図１７における補完の処理（図１７（ｆ））と同様の処理を行う。この場合の補完処理では、目的の建物が映っている複数の画像（動画の各コマ画像）における無効部分のかわりに、他のコマ画像の同じ位置の画像を貼り付ける。同じ位置というのは、画像枠４５０が同じ大きさであるとしたときの、その画像枠４５０の中の位置である。動画像の画面枠の中の位置ではない。補完した画像は遮蔽物除去部４０１の出力としてファイルに書き込まれる。
【０１７３】
なお、上記した無効部分の補完処理を行う前に、建物部分のテクスチャの切り出しを実施の形態２におけるテクスチャ切り出し部２０１と同じように行ってもよい。また、実施の形態３で示したように、建物の面の形状に合わせてテクスチャを変形する処理をして、各コマから取り出したテクスチャ画像が同じ形状になるようにしておいてもよい。
【０１７４】
以上のように、実施の形態４によれば、建物の表面を撮影した映像に映っている木や自動車等の遮蔽物を自動的に除去できるので、画像から建物表面の部分を切り出して３次元モデル（建物）の正面に貼り付けるときに、操作員が画像編集ソフトウェアを用いて画像中の遮蔽物を取り除く作業を行わなくてもよくなる。
【０１７５】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャの貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それに遮蔽物除去部４０１で遮蔽物が除去されたテクスチャ画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換しておくこともできる。
【０１７６】
なお、実施の形態４では、実施の形態２への適用例を示したが、実施の形態３のテクスチャ変形部３０１の出力結果に対して遮蔽物除去操作を行うようにしてもよい。
【０１７７】
実施の形態５．
図２１は、この発明の実施の形態５であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態５では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（合成処理）を行う場合の構成例が示されている。すなわち、図２１に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ合成部５０１が設けられている。テクスチャ切り出し部２０１の出力は、３次元モデルの正面を構成する頂点座標、および、映像選択部１０５が選択した映像から切り出したテクスチャ画像である。その他は、図６に示した構成と同様である。ここでは、実施の形態５に関わる部分を中心に説明する。
【０１７８】
図２１において、テクスチャ合成部５０１は、映像選択部１０５によって選択された映像（静止画像、動画像）の中に、１枚の映像では１件の３次元モデル（建物）の表面が入りきらない映像がある場合に、複数の映像に映っている映像を合成して１件の３次元モデル（建物）の面に貼り付けるテクスチャ画像を作成する処理を行う。
【０１７９】
次に、図２１〜図２４を参照して、テクスチャ合成部５０１の動作について説明する。なお、図２２は、合成対象テクスチャの説明図である。図２３は、選択された３次元モデルの説明図である。図２４は、合成テクスチャ画像の説明図である。
【０１８０】
映像選択部１０５は、実施の形態２で説明した動作によって、建物の映っているテクスチャ画像を検索し、図２２に示すようなテクスチャ画像５１１，５１２の２枚を選択したとする。このテクスチャ画像５１１，５１２について、テクスチャ切り出し部２０１が切り出しを行う場合について考える。テクスチャ画像５１１，５１２は、次のようなものである。
【０１８１】
図２２において、建物５２１，５２２は、上から見た状態を示している。テクスチャ画像５１１は、この建物５２１を撮影位置５３１から撮影したものである。建物５２１の横方向は、１４００画素分あるが、撮影範囲５４１は建物５２１に対し少し左側にずれたところにあるので、撮影範囲５４１には建物５２１の左側から１２００画素分が入っていて、残りの右側２００画素分は入っていない。したがって、テクスチャ画像５１１には、画像枠５５１の左端側に撮影範囲５４１のずれた分に相当する間隔を置いた位置から、画像枠５５１の右端まで建物５２１の左側から１２００画素分の建物が映っていて、残りの右側２００画素分の建物は映っていない。
【０１８２】
また、テクスチャ画像５１２は、建物５２２を撮影位置５３２から撮影したものである。建物５２２の横方向は、１４００画素分あるが、撮影範囲５４２は建物５２２に対し大きく右側にずれたところにあるので、撮影範囲５４２には建物５２２の左側から９００画素分は入っておらず、残りの右側５００画素分が入っている。したがって、テクスチャ画像５１２には、建物５２２の左側から９００画素分の建物は映っておらず、画像枠５５２の左端から５００画素分の領域に建物５２２の右側２００画素分の建物が映っており、そこから画像枠５５２の右端までは映像は映っていない。
【０１８３】
テクスチャ切り出し部２０１は、実施の形態２で説明した動作によってテクスチャ部分を切り出すが、上記のように選択されたテクスチャ画像５１１，５１２の中に建物１件分のテクスチャ画像が映っていない。そこで、テクスチャ切り出し部２０１では、まず、実施の形態２で説明したように、３次元モデル（建物）の正面を選択し、モデル選択部１０２から図２３に示すような３次元モデルの正面を構成する頂点座標Ａ，Ｂ，Ｃ，Ｄを取得する。図２３において、取得した３次元モデルの正面の縦横比は２：７であるとする。
【０１８４】
次に、テクスチャ切り出し部２０１は、実施の形態２で説明した手法によってテクスチャ画像５１１の中から頂点ＡＢＣＤに対応する点を求める。しかし、テクスチャ画像５１１では、頂点Ａ，Ｂに対応した頂点Ａ’、Ｂ’の２点しか見つからない。頂点Ｃ、Ｄに対応する点は、テクスチャ画像５１１の右外側の位置ＣＸ，ＤＸとなる。頂点Ａ’と位置ＤＸとを結ぶ線、頂点Ｂ’と位置ＣＸとを結ぶ線がテクスチャ画像５１１の右端と交わる点をＣ”，Ｄ”とすると、Ａ’Ｂ’Ｃ”Ｄ”で囲まれる面が利用できる面である。これを切り出しテクスチャ合成部５０１に出力する。図２２の例では、Ａ’Ｄ”、Ｂ’Ｃ”がそれぞれ１２００画素であり、Ａ’Ｂ’およびＣ”Ｄ”が４００画素である。３次元モデルの縦横比率が２：７である場合、横方向は１４００画素中１２００画素が映っていることになる。
【０１８５】
同様にしてテクスチャ画像５１２においても全体のうちどの範囲が映っているかを求める。図２２の例では、テクスチャ画像５１２の右端から１４００画素分あるテクスチャのうち、５００画素が映っている。テクスチャ切り出し部２０１は、これを切り出しテクスチャ合成部５０１に出力する。
【０１８６】
テクスチャ合成部５０１は、図２４に示すように、テクスチャ画像５１１から切り出された１２００画素×４００画素の利用できる面５６１と、テクスチャ画像５１２から切り出された５００画素×４００画素の利用できる面５６２とを、貼り付ける正面の縦横比と同じになるように合成する。なお、図２４では、左右の合成について示したが、上下の合成も全く同じである。また、３枚以上の画像に分かれて映っている画像についても同様である。正面から見た建物の画像のうち、右端および左端の映っていない物については、撮影した位置情報を元に撮影した映像の枠からはみ出る頂点を求めて映っているテクスチャ部分がテクスチャ画像全体のどの範囲かを判断することにより合成する。このように合成されたテクスチャ画像がテクスチャ合成部５０１の出力としてファイルに書き込まれる。
【０１８７】
以上のように、実施の形態５によれば、１枚の映像には映りきらない建物画像も、複数の画像に映っている部分部分の画像を自動的に貼り合わせて建物全体のテクスチャ画像を合成することができるので、操作員が画像編集ソフトウェアを用いて複数の画像に映っている建物部分の画像を貼り合わせなくてもよくなる。
【０１８８】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ合成部５０１で合成されたテクスチャ画像を貼り付けることができる。このとき、市販の画像編集ソフトウェアを用いて画像の色を変換しておくこともできる。
【０１８９】
なお、実施の形態５では、実施の形態２への適用例を示したが、実施の形態３、４に対しても同様に適用できることはいうまでもない。
【０１９０】
実施の形態６．
図２５は、この発明の実施の形態６であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態６では、実施の形態５で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（繋ぎ目の補正処理）を行う場合の構成例が示されている。すなわち、図２５に示すように、図２１に示した構成において、テクスチャ合成部５０１の出力を受けるテクスチャ補正部６０１が設けられている。その他は、図２１に示した構成と同様である。ここでは、実施の形態６に関わる部分を中心に説明する。
【０１９１】
図２５において、テクスチャ補正部６０１は、テクスチャ合成部５０１にて合成された各テクスチャ画像の色の違いを補正し、繋ぎ目を分かり難くする色補正処理を行う。
【０１９２】
次に、図２５、図２６を参照して、テクスチャ補正部６０１の動作について説明する。なお、図２６は、テクスチャ補正部６０１が行う繋ぎ目を分かり難くする色補正処理動作の説明図である。
【０１９３】
テクスチャ合成部５０１は、実施の形態５で説明したように、複数の画像から１枚のテクスチャ画像を合成し、貼り合わせた位置情報とともに、テクスチャ補正部６０１に出力する（図２６（ａ））。図２６（ａ）では、テクスチャ画像５１１（図２２）から切り出した部分画像６１１とテクスチャ画像５１２（図２２）から切り出した部分画像６１２とが繋ぎ合わされ、１つのテクスチャ画像としてテクスチャ補正部６０１に入力する場合が示されている。合成されたテクスチャ画像は、横方向の総画素数が１４００画素である。そのうち左側の１０００画素分を部分画像６１１が分担し、右側の４００画素分を部分画像６１２が分担している。
【０１９４】
部分画像６１１と部分画像６１２は、それぞれ異なる明るさになっているので、繋ぎ目で色が違って見えている。そこで、テクスチャ補正部６０１は、まず部分画像６１１と部分画像６１２の境界において、幅５画素の矩形領域６２１，６２２を切り出し（図２６（ｂ））、切り出した矩形領域６２１，６２２の画素をグレースケール化し（図２６（ｃ））、各画素には明暗の情報だけがあるようにする。このとき、１画素の値は、０〜２５５の値をもつとし、値「０」が黒で、値「２５５」が白となり、明るさを示すこととする。
【０１９５】
次に、テクスチャ補正部６０１は、切り出した矩形領域６２１，６２２の中の画素の値の平均を求める（図２６（ｄ））。図２６の例では、部分画像６１１の平均値は１３０で、部分画像６１２の平均値は１００であったとする。異なっているので、合成した境目部分で、明るさが異なっていることを示す。そこで、明るさが同じようになるように補正を行う。
【０１９６】
すなわち、テクスチャ補正部６０１は、明るさの低い部分画像６１２の各画素の値を１３０／１００＝１．３倍し、四捨五入した値を入れる（図２６（ｅ））。但し、２５５を超えた場合は２５５とする。このとき、元の画像がカラーであった場合は、各画素の各色の色要素の値を１．３倍することとする。
【０１９７】
次に、テクスチャ補正部６０１は、何も変更していない部分画像６１１と、部分画像６１２の各画素の値を１．３倍した部分画像６３２とを繋ぎ合わせて合成する（図２６（ｆ））。合成した画像６４１は、補正済みのテクスチャ画像としてファイルに書き込まれる。
【０１９８】
以上のように、実施の形態６によれば、複数の映像を繋ぎ合わせて建物全体のテクスチャ画像を合成したその合成境界での色の違いを自動的に修正することができるので、操作員が画像編集ソフトウェアを用いてテクスチャ画像の合成部分の色補正を行わなくてもよくなる。なお、色の相違を補正する場合を説明したが、パターンの相違を目立たなくする補正も行えるようになっている。
【０１９９】
その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ補正部６０１で補正されたテクスチャ画像を貼り付けることができる。
【０２００】
実施の形態７．
図２７は、この発明の実施の形態７であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態７では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（見えない部分に貼り付けるテクスチャ画像の生成処理）を行う場合の構成例が示されている。すなわち、図２７に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受ける側面テクスチャ生成部７０１が設けられている。その他は、図６に示した構成と同様である。ここでは、実施の形態７に関わる部分を中心に説明する。
【０２０１】
図２７において、側面テクスチャ生成部７０１は、テクスチャ切り出し部２０１から入力されるテクスチャ画像が貼り付けられる３次元モデル（建物）のテクスチャ貼り付け面以外の面に貼り付けるテクスチャ画像を、テクスチャ切り出し部２０１から入力されるテクスチャ画像に基づき作成する処理を行う。
【０２０２】
次に、図２７、図２８を参照して、側面テクスチャ生成部７０１の動作について説明する。なお、図２８は、側面テクスチャ生成部７０１が行う見えない部分のテクスチャ画像を生成する動作の説明図である。
【０２０３】
図２８では、３次元モデル（建物）が、４つの側面を持つ直方体形状をしている場合が示されている。この３次元モデルは、４つの側面として、正面７１１と右側面７１２と背面７１３と左側面７１４と備えている。正面７１１がテクスチャ貼り付け対象面であり、他の３側面はテクスチャ貼り付け対象面になっていないとする。
【０２０４】
すなわち、実施の形態２で説明したテクスチャ切り出し部２０１は、テクスチャを貼り付けるべき３次元モデルのファイル名と、テクスチャ画像を貼り付ける正面７１１の頂点座標とが分かっていて、正面７１１に貼り付けるテクスチャ画像を切り出して出力する。正面７１１に貼り付けるテクスチャ画像をテクスチャ画像ＴＧ１とすれば、このテクスチャ画像ＴＧ１には、３次元モデルの右側面７１２や背面７１３、左側面７１４に対応する映像は映っていない。
【０２０５】
そこで、側面テクスチャ生成部７０１は、テクスチャ画像ＴＧ１から右側面７１２や背面７１３、左側面７１４に貼り付けるテクスチャ画像を次のようにして生成する。側面テクスチャ生成部７０１は、まず、テクスチャ画像ＴＧ１で使用されている色の種類を調べ、一番多く使っている色Ｃ１、２番めに使っている色Ｃ２などと特定する。多くの色を使っている場合は、近い色を選ばないように、ある程度近い色は候補に選ばないようにする。色の選択は、各画素の各色成分を示す数値によって判断する。
【０２０６】
次に、側面テクスチャ生成部７０１は、右側面７１２、背面７１３、左側面７１４の各頂点座標を取得し、取得した頂点座標から右側面７１２、背面７１３、左側面７１４それぞれの縦横比を求める。次いで、右側面７１２、背面７１３、左側面７１４の縦横比に合った白色のテクスチャ画像ＴＧ２，ＴＧ３，ＴＧ４をそれぞれ作成し、これらの画像の色を一番多く使っている色Ｃ１にする。次いで、これらの画像の中に、２番めに使っている色Ｃ２の色線をランダムに入れる。色線の幅は例えば全体の１／８以下、本数は縦３本以下、横５本以下というように制限を加えておいてもよい。
【０２０７】
側面テクスチャ生成部７０１は、このようして作成したテクスチャ画像ＴＧ２，ＴＧ３，ＴＧ４を右側面７１２用、背面７１３用、左側面７１４用のテクスチャ画像として、右側面７１２、背面７１３、左側面７１４の座標とともにファイルに出力する。
【０２０８】
以上のように、実施の形態７によれば、側面テクスチャ生成部７０１は、入力されたテクスチャ画像には映っていない３次元モデル（建物）の側面や裏面用のテクスチャ画像を生成することができる。その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを３次元モデル記憶部１０１から読み込み、入力されるテクスチャ画像を貼り付ける３次元モデルのテクスチャ貼り付け面以外の面に、側面テクスチャ生成部７０１で作成されたテクスチャ画像を貼り付けることができる。
【０２０９】
なお、実施の形態７では、実施の形態２への適用例を示したが、実施の形態３〜６に対しても同様に適用できることはいうまでもない。
【０２１０】
実施の形態８．
図２９は、この発明の実施の形態８であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態８では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の加工処理（テクスチャ画像の合成、分割）を行う場合の構成例が示されている。すなわち、図２９に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ調整部８０１が設けられている。その他は、図６に示した構成と同様である。ここでは、実施の形態８に関わる部分を中心に説明する。
【０２１１】
以上説明した各実施の形態では、１回の選択操作で選択された３次元モデル（建物）と映像とは、１対１に対応しそのまま使用できる場合を説明したが、画像枠の大小関係から、３次元モデル（建物）の選択操作を複数回行う必要が生ずる場合がある。そこで、この実施の形態８では、テクスチャ切り出し部２０１は、選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となる場合と、選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となる場合とのそれぞれにおいて、対応する３次元モデル（建物）と映像とをテクスチャ調整部８０１に与える。テクスチャ調整部８０１は、選択された３次元モデル（建物）の件数と選択された映像に映っている建物の件数とが異なるときに、映像に映っている建物のテクスチャ画像を合成するか、分離することによって３次元モデル（建物）に適したテクスチャ画像を作成する処理を行うようにしている。
【０２１２】
次に、図２９〜図３４を参照して、テクスチャ切り出し部２０１とテクスチャ調整部８０１の動作について説明する。なお、図３０は、選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となる場合のテクスチャ切り出し部の動作説明図である。図３１は、選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となる場合のテクスチャ切り出し部の動作説明図である。図３２は、テクスチャ調整部８０１が合成テクスチャ画像を作成する場合の説明図である。図３３は、テクスチャ調整部８０１が分割テクスチャ画像を作成する場合の座標値取得説明図である。図３４は、テクスチャ調整部８０１が分割テクスチャ画像を作成する場合の説明図である。
【０２１３】
まず、図３０，図３１を参照して、選択された３次元モデル（建物）の件数と選択された映像に映っている建物の件数とが異なる場合のテクスチャ切り出し部２０１の動作について説明する。図３０において、選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となるケースは、選択された３次元モデル（建物）の画像枠が選択された映像のそれよりも大きい場合に起こる。
【０２１４】
図３０（ａ）に示す３次元モデル（建物）Ｍ５は、テクスチャ切り出し部２０１が図１０，図１１で説明した手順で選択された３次元モデル（建物）であり、候補点Ａ”，Ｂ”，Ｃ”，Ｄ”が求められた場合を示している。また、テクスチャ切り出し部２０１は、映像選択部１０５が選択した映像に対して図１２，図１３で説明した処理を３次元モデル（建物）Ｍ５の画像枠の範囲内において実行し、求めた縦エッジと横エッジの交差点または近くにある頂点を候補点として求め、求めた画像の候補点と３次元モデル（建物）の候補点とを重ねる。このとき、それぞれの４つの候補点が重なり閉ループを形成すれば、３次元モデル（建物）と映像が１対１に対応している。その後は、実施の形態２で説明した処理が行われる。
【０２１５】
ところが、図３０（ｂ）に示すように、映像選択部１０５が選択した映像から候補点Ｋ１，Ｋ２，Ｋ３，Ｋ４を持つ画像ＴＥ５と、候補点Ｋ５，Ｋ６，Ｋ７，Ｋ８を持つ画像ＴＥ６と抽出できる場合、候補点Ａ”は候補点Ｋ１と重なり、候補点Ｂ”は候補点Ｋ２と重なり、候補点Ｃ”は候補点Ｋ７と重なり、候補点Ｄ”は候補点Ｋ８と重なるが、候補点Ｋ１，Ｋ２，Ｋ７，Ｋ８は閉ループを形成しない。しかも、３次元モデル（建物）Ｍ５の４候補点による閉ループには、映像の複数の閉ループが接している。図示例では、Ｋ１−Ｋ２−Ｋ３−Ｋ４の閉ループとＫ５−Ｋ６−Ｋ７−Ｋ８の閉ループとが接している。
【０２１６】
このような場合、テクスチャ切り出し部２０１は、映像選択部１０５が選択した映像から抽出できた複数の閉ループ部分の画像をそれぞれ切り出す。図示例では、Ｋ１−Ｋ２−Ｋ３−Ｋ４の閉ループ部分の画像ＴＥ５と、Ｋ５−Ｋ６−Ｋ７−Ｋ８の閉ループ部分の画像ＴＥ６とを切り出し、候補点Ａ”，Ｂ”，Ｃ”，Ｄ”を持つ３次元モデル（建物）Ｍ５とともに、テクスチャ調整部８０１に出力する。このように、テクスチャ調整部８０１には、１つの３次元モデル（建物）に対して複数の建物が映っている映像が入力される。
【０２１７】
次に、図３１において、選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となるケースは、選択された映像の画像枠が選択された３次元モデル（建物）のそれよりも大きい場合に起こる。図３１（ａ）に示す３次元モデル（建物）Ｍ６は、テクスチャ切り出し部２０１にて図１０，図１１で説明した手順で選択された３次元モデル（建物）であり、候補点Ａ”，Ｂ”，Ｃ”，Ｄ”が求められた場合を示している。図３０（ｂ）に示す画像ＴＥ７は、テクスチャ切り出し部２０１が映像選択部１０５の選択した映像に対して図１２，図１３で説明した処理を実行し、求めた縦エッジと横エッジの交差点または近くにある頂点を候補点として求め、切り出された画像である。
【０２１８】
切り出した画像ＴＥ７は、候補点Ｋ１，Ｋ２，Ｋ３，Ｋ４を持つが、横幅が３次元モデル（建物）Ｍ５よりも大きいものである場合、切り出した画像ＴＥ７の候補点と３次元モデル（建物）Ｍ６の候補点とを重ねると、図３１（ｃ）に示すように、画像ＴＥ７では、候補点Ｋ１は候補点Ａ”と重なり、候補点Ｋ２は候補点Ｂ”と重なるが、候補点Ｋ３，Ｋ４は重なる対象がない。
【０２１９】
この場合には、テクスチャ切り出し部２０１は、モデル選択部１０２に対して読み出しの指示を出し、取得した１件１件の新たな３次元モデル（建物）に対し、図１０，図１１で説明したように、映像と同じ視点で見た画像を作成し、候補点を重ねる操作を繰り返す。その結果、図３１（ｄ）に示すように、画像ＴＥ７の候補点Ｋ３，Ｋ４と重なる候補点Ｇ”，Ｈ”を持つ３次元モデル（建物）Ｍ７が得られる。３次元モデル（建物）Ｍ７は、候補点Ｅ”，Ｆ”，Ｇ”，Ｈ”を持っている。このように、選択された１つの映像に対し複数の３次元モデル（建物）が選択され、テクスチャ調整部８０１に出力される。図３１では、選択された１つの映像ＴＥ７に対し、２つの３次元モデル（建物）Ｍ６，Ｍ７が選択された場合が示されている。
【０２２０】
さて、テクスチャ調整部８０１では、テクスチャ切り出し部２０１から図３０で説明した関係を持つ３次元モデル（建物）と映像が与えられた場合には、次のようにして合成テクスチャ画像を作成する。図３２において、（ａ）は、モデル選択部１０２にて選択された３次元モデル（建物）の貼り付け面の形状を示している。このように、選択された３次元モデル（建物）は１件である。これに対し、（ｂ）は、テクスチャ切り出し部２０１にて該当する位置にあるとして選択された映像を示し、切り出した建物範囲（画像枠）８１１内に２件の建物８２１，８２２が映っている。
【０２２１】
実施の形態２で説明したように、テクスチャ切り出し部２０１は、撮影位置から見た３次元モデル（建物）の画像を判断し、図１１で説明したように表が映っている面を特定し、図１２で説明したように建物部分を切り出す。図３２（ｂ）は、このようにして切り出されたテクスチャ画像である。テクスチャ調整部８０１は、図３２（ｃ）に示すように、切り出されたテクスチャ画像にエッジ抽出処理をかけ、エッジの端点、またはエッジの端点の延長線が交差する点８３１、エッジの交点のうちで、切り出した画像の四隅に一番近い各点を結んだ４点Ａ，Ｂ，Ｃ、Ｄによってできる四角形ＡＢＣＤの範囲でテクスチャ画像を切り出す。つまり、２件の建物８２１，８２２の映像を合成して１つのテクスチャ画像とする。
【０２２２】
このとき、元々切り出したテクスチャ画像の範囲８１１に建物が入りきっていないことを考慮して、切り出した画像よりも予め決められた画素数だけ上下左右に大きい画像を元の映像から切り出し、これに対して同様の切り出し処理を行ってもよい。このように切り出された画像は、２件の映像が映っているが、１件の３次元モデルに貼るためのテクスチャ画像として保存する。
【０２２３】
次に、テクスチャ調整部８０１では、テクスチャ切り出し部２０１から図３１で説明した関係を持つ３次元モデル（建物）と映像が与えられた場合には、次のようにして分割テクスチャ画像を作成する。テクスチャ調整部８０１は、モデル選択部１０２にて選択された３次元モデル（建物）が２件ある場合には、図１０で説明したような手順で、２件の３次元モデルの撮影位置から見た画像を作成し（図３３，図３４）、それぞれの画像におけるテクスチャ貼り付け面を特定し、テクスチャ切り出し部２０１にて切り出された１件の建物が映っている画像をテクスチャ画像として割り当てることを行う（図３４）。
【０２２４】
図３３は、図１０（ａ）と同様に、選択された３次元モデルＭ２，Ｍ３の撮影位置Ｐ２から見た状態を上から見た図である。図１０（ａ）と同様に、３次元モデルＭ２，Ｍ３は、３次元座標における東西方向を経度、南北方向を緯度とした２次元空間での状態が示されている。（ａ）は、撮影位置Ｐ２から見た３次元モデルＭ２，Ｍ３の頂点座標値を取得する説明図である。（ｂ）は、撮影位置Ｐ２から見た３次元モデルＭ２，Ｍ３の間隔位置座標を取得する説明図である。
【０２２５】
図３３（ａ）（ｂ）において、撮影位置Ｐ２から撮影画角Ｇ２の範囲を示す補助直線Ｈ２１，Ｈ２２を引く。撮影位置Ｐ２からの撮影方向に直交する仮想スクリーンＳ２の線を引く。仮想スクリーンＳ２の線と補助直線Ｈ２１，Ｈ２２と交わる点をｈ’，ｒ’とする。
【０２２６】
図３３（ａ）において、左側の３次元モデルＭ２では、右側の３次元モデルＭ３と反対側にある頂点ＰＡが撮影位置Ｐ２から見えている。撮影位置Ｐ２から頂点ＰＡに線（破線となっている）を引き仮想スクリーンＳ２の線と交わる点ａ’を求める。右側の３次元モデルＭ３では、左側の３次元モデルＭ２と反対側にある頂点ＰＢ，ＰＣが撮影位置Ｐ２から見えている。撮影位置Ｐ２から頂点ＰＢ，ＰＣに線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ｂ’，ｃ’を求める。ここで、点ｈ’と点ａ’との間隔をａ２とし、点ａ’と点ｂ’との間隔をｂ２とし、点ｂ’と点ｃ’との間隔をｃ２とし、点ｃ’と点ｒ’との間隔をｄ２とする。
【０２２７】
図３３（ｂ）において、左側の３次元モデルＭ２と右側の３次元モデルＭ３とが対面する所では、３次元モデルＭ２の頂点ＰＥと３次元モデルＭ３の頂点ＰＦとが、撮影位置Ｐ２から見えている。撮影位置Ｐ２から頂点ＰＥ，ＰＦに線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ｅ’，ｆ’を求める。ここで、点ｈ’と点ｅ’の間隔をｅとし、点ｅ’と点ｆ’の間隔をｆとし、点ｆ’と点ｒ’の間隔をｇとする。
【０２２８】
次に、図３４において、テクスチャ調整部８０１は、幅と高さ方向の画角の比に対応した縦横比の画像枠ＧＷを作成し、ａ２：ｂ２：ｃ２：ｄ２＝Ａ２：Ｂ２：Ｃ２：Ｄ２の比と同じ比になるように、画像枠ＧＷの左端から値Ａの距離に位置ＰＡ、位置ＰＡから値Ｂの距離に位置ＰＢ、位置ＰＢから値Ｃの距離に位置ＰＣを描く。また、ｅ：ｆ：ｇ＝Ｅ：Ｆ：Ｇの比と同じ比になるように、画像枠ＧＷの左端からＥの距離に位置ＰＥ、位置ＰＥからＦの距離に位置ＰＦを描く。位置ＰＦからＧの距離にある位置は画像枠ＧＷの右端となっている。このように、２件の３次元モデルＭ２，Ｍ３について、上から見た３次元モデルＭ２の頂点ＰＡ，ＰＥ、３次元モデルＭ３の頂点ＰＦ，ＰＢ，ＰＣ、および、３次元モデルＭ２，Ｍ３の間隔ＥＦを求め、撮影位置Ｐ２から見た２件の３次元モデルＭ２，Ｍ３の画像を作成する。これを作成画像ＧＭ２，ＧＭ３と称することとする。
【０２２９】
次に、図１１で説明した手順で、表に映っている面を特定する。この時点で、２つの３次元モデルＭ２、Ｍ３の正面が候補になっているとする。また、図１２で説明したように建物部分を切り出すと、切り出した映像には１件分の建物が映っているとする。実施の形態２では、作成画像ＧＭ２の１つの面を候補とし、図１１における面ＡＢＣＤを正面とした。実施の形態８では、図３４に示す作成画像ＧＭ２，ＧＭ３のうち、作成画像ＧＭ２の面ＰＡ−Ｐ０−ＰＥ−Ｐ１、作成画像ＧＭ３面Ｐ３−ＰＦ−Ｐ４−ＰＢをそれぞれ正面と判断する。これらの面をここでは面ＳＭ２、面ＳＭ３とする。
【０２３０】
テクスチャ調整部８０１は、このように撮影位置から見た３次元モデルの候補が２つあった場合、テクスチャ切り出し部２０１が行ったように（図１２、図１３）、面ＳＭ２、面ＳＭ３に対応したテクスチャ画像を映像選択部１０５が選択した映像の中からそれぞれ切り出す。このとき、映像選択部１０５が選択した映像からエッジ抽出した結果の画像において、面ＳＭ２、面ＳＭ３の四隅の位置に対応したエッジの端点やエッジの交点が見つからなかった場合、図１２（ａ）で説明した正面を向いている面の範囲を、面ＳＭ２、面ＳＭ３を含んで外接する長方形とし、面ＳＭ２、面ＳＭ３を合わせた範囲において図１２、図１３で説明した手順を実行して映像からテクスチャ画像を切り出す。
【０２３１】
このように切り出したテクスチャ画像は面ＳＭ２、面ＳＭ３の両方の建物の面を合わせた範囲のテクスチャ画像であり、改めてこのテクスチャ画像の面を面ＳＭ４とする。次に、面ＳＭ４を次のようにして分割する。すなわち、面ＳＭ２、面ＳＭ３の幅の比率が２：３であり、面ＳＭ２と面ＳＭ３の間隔が面ＳＭ２の幅の半分であるとする。また、面ＳＭ２、面ＳＭ３は正面から向かって左側が面ＳＭ２であったとする。ここでは、面ＳＭ２の幅：面ＳＭ２と面ＳＭ３の間隔：面ＳＭ３の幅＝２：１：３となっている。そこで、面ＳＭ４を正面から見て左から１／３の範囲の画像を面ＳＭ２に貼るためのテクスチャ画像とし、右から半分の範囲の画像を面ＳＭ３に貼るためのテクスチャ画像として出力する。
【０２３２】
なお、以上は１つのテクスチャ画像を切り出した後にこれを分割する場合を説明したが、テクスチャ調整部８０１では、面ＳＭ２と面ＳＭ３に対応した複数のテクスチャ画像を切り出すようにしてもよい。
【０２３３】
以上のように、実施の形態８によれば、テクスチャ調整部８０１は、実際の現場を撮影した映像に映っている建物の件数と、同じ場所にある３次元モデル（建物）の件数が異なっていても、適切なテクスチャ画像を切り出すことができる。その結果、本装置の出力（テクスチャ画像、３次元モデル）を受ける図示しない処理装置では、画像処理ツールソフトウェアを用いてテクスチャ画像の貼り付けが簡単に行えるようになる。すなわち、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した複数の３次元モデルを３次元モデル記憶部１０１から読み込み、それにテクスチャ調整部８０１で分割したそれぞれのテクスチャ画像を貼り付ける。また、３次元モデル編集ソフトウェアを用いて、モデル選択部１０２の選択した３次元モデルを読み込み、テクスチャ調整部８０１で合成した２件以上の建物のテクスチャ画像を貼り付けることが行えるようになる。
【０２３４】
なお、実施の形態８では、実施の形態２への適用例を示したが、実施の形態３〜７に対しても同様に適用できることはいうまでもない。
【０２３５】
実施の形態９．
図３５は、この発明の実施の形態９であるテクスチャ編集装置の構成を示すブロック図である。この実施の形態９では、実施の形態２で示したテクスチャ編集装置の出力を受けて、自動的にテクスチャ画像の貼り付け処理を行う場合の構成例が示されている。すなわち、図３５に示すように、図６に示した構成において、テクスチャ切り出し部２０１の出力を受けるテクスチャ貼り付け部９０１が設けられている。その他は、図６に示した構成と同様である。ここでは、実施の形態９に関わる部分を中心に説明する。
【０２３６】
図３５において、テクスチャ貼り付け部９０１は、テクスチャ切り出し部２０１にて切り出されたテクスチャ画像を３次元モデル（建物）の正面に貼り付ける処理を行う。
【０２３７】
次に、図３５〜図３７を参照して、テクスチャ貼り付け部９０１およびテクスチャ切り出し部２０１の動作について説明する。なお、図３６は、テクスチャ切り出し部２０１がテクスチャ貼り付け面として曲面を有する３次元モデルの撮影位置から見た画像を作成する動作の説明図である。図３７は、作成した３次元モデルの表面（テクスチャ貼り付け曲面）を選択する動作の説明図である。
【０２３８】
実施の形態２で説明した手順で、モデル選択部１０２は、３次元モデル（建物）を出力し、テクスチャ切り出し部２０１は、映像からテクスチャ画像を切り出す。テクスチャ貼り付け部９０１には、選択された３次元モデルと、それに貼り付けるとして切り出されたテクスチャ画像と、そのテクスチャ画像を貼り付ける３次元モデルの貼り付け面を規定する頂点座標値とが入力される。
【０２３９】
テクスチャ貼り付け部９０１は、３次元モデルがＶＲＭＬ形式で記述されている場合には、貼り付け面の頂点座標がわかれば、ＶＲＭＬのデータ内容にテクスチャ貼り付け記述を加えるだけで貼り付け処理が実行できる。具体的には、アジソン・ウェスレイ・パブリッシャーズ・ジャパン株式会社発行の「ＶＲＭＬ２．０ハンドブック」の１９４頁に記載された方法を用いて実現することができる。すなわち、上記ハンドブックによれば、texture Image Texture 文によりテクスチャ画像を指定し、テクスチャ貼り付け面を表現しているgeometry Index FaceSet文の面に対して、texCoord Coordinate文によって指定した範囲にテクスチャ画像を貼ることができる。
【０２４０】
このように、テクスチャ貼り付け部９０１は、３次元モデルがＶＲＭＬ形式で記述されている場合には、指定した頂点座標により構成された表面に指定するテクスチャ画像を貼り付けることができる。また、テクスチャ貼り付け部９０１は、ＶＲＭＬ形式であれば、テクスチャ面が平面でない場合でも、テクスチャ面の境界を示す頂点を一筆書きの要領で指定することにより、テクスチャ貼り付け面の形状を指定することや、そのテクスチャ貼り付け面へのテクスチャ画像の貼り付けを指定することも可能である。
【０２４１】
ところで、実施の形態２では、テクスチャ切り出し部２０１は、貼り付け面として、平坦な矩形範囲を選択しているように説明したが、元々、貼り付け面が曲面である場合でも、対応するテクスチャ画像が切り出せるようになっている。これによって、テクスチャ貼り付け部９０１は、上記したようにして、曲面にテクスチャ画像の貼り付けが行えるようになる。
【０２４２】
以下に、この実施の形態９に関わる部分として、テクスチャ切り出し部２０１が、曲面に貼り付けるテクスチャ画像の切り出しを行う動作について説明する。映像選択部１０５は、選択した映像のファイル名を含む撮影位置情報（図４（ｂ））を撮影位置情報記憶部１０４から読み出してテクスチャ切り出し部２０１に出力する。
【０２４３】
テクスチャ切り出し部２０１は、実施の形態２で説明した手順で、３次元モデルの撮影位置から見た画像を作成し、テクスチャ貼り付け面である正面（表面）を特定し、次いで、特定した面が曲面である場合にはその曲面を微細な矩形状平面で表現することを行う（図３６、図３７）。
【０２４４】
図３６（ａ）に示す３次元モデルＭ４は、３次元座標における東西方向を経度、南北方向を緯度とした２次元空間での状態が示されている。この３次元モデルＭ４の撮影位置Ｐ２から見た面（テクスチャ貼り付け面）は曲面形状をしている。図３６（ａ）において、撮影位置Ｐ２から撮影画角Ｇ２の範囲を示す補助直線Ｈ２１，Ｈ２２を引く。撮影位置Ｐ２からの撮影方向に直交する仮想スクリーンＳ２の線を引く。仮想スクリーンＳ２の線と補助直線Ｈ２１，Ｈ２２と交わる点をｈ’，ｒ’とする。また３次元モデルＭ４の３頂点ＰＡ，ＰＢ，ＰＣに対して撮影位置Ｐ２から直線（破線となっている）を引き、仮想スクリーンＳ２の線と交わる点ａ’，ｂ’，ｃ’を求める。ここで、点ｈ’と点ａ’の間隔をａ３とし、点ａ’と点ｂ’の間隔をｂ３とし、点ｂ’と点ｃ’の間隔をｃ３とし、点ｃ’と点ｒ’の間隔をｄ３とする。なお、頂点ＰＡと頂点ＰＢの間の曲面は、図３６（ｂ）に示すように、複数の縦に長い矩形状平面によって表現できていることとする。
【０２４５】
テクスチャ切り出し部２０１は、幅と高さ方向の画角の比に対応した縦横比の画像枠ＧＷを作成し、ａ３：ｂ３：ｃ３：ｄ３＝Ａ３：Ｂ３：Ｃ３：Ｄ３の比と同じ比になるように画像枠ＧＷの左端から値Ａ３の距離に位置ＰＡ、位置ＰＡから値Ｂ３の距離にＰＢ、位置ＰＢから値Ｃ３の距離に位置ＰＣの点を描く。このとき、位置ＰＡと位置ＰＢの間にある縦長の矩形領域の頂点は処理の対象としない。つまり、テクスチャ切り出し部２０１は、３次元モデルＭ４の頂点間の座標の距離を計算し、例えば位置ＰＡから右側に向いた一定距離以内に位置ＰＥなる頂点があるが、位置ＰＥと反対方向の左側に向いた一定距離以内に頂点がないという点だけを処理の対象とする。さらに具体的にいえば、図３６（ｂ）において、位置ＰＥでは、一定距離以内に位置ＰＡと位置ＰＦがあるが、位置ＰＥから見て位置ＰＡと反対方向から予め定めた角度以内の角度の方向に位置ＰＦがあるような位置ＰＥは処理対象としない。
【０２４６】
図３６（ｂ）では、真上から見た図（図３６（ａ））を元に説明している。作成した画像中で、真横から見ても同様の操作により位置ＰＡ，ＰＢ，ＰＣの縦方向の座標位置を決めることができ、位置ＰＡ，ＰＢ，ＰＣの撮影位置から映っている画像中の位置を求めることができる。図３６（ａ）（ｂ）では３点を示したが、テクスチャ切り出し部２０１は、処理対象とする座標について画像中の位置を求め、撮影位置Ｐ２から見た３次元モデルＭ４の画像を作成する。この画像を作成画像ＭＧ４と称することとする。
【０２４７】
次に、テクスチャ切り出し部２０１は、撮影位置Ｐ２から見た３次元モデルＭ４の作成画像ＭＧ４のうち、面が見えている部分を図３７に示す手順で選択する。図３７おいて、経度、緯度、高度の３軸によって表現できる３次元空間に設定した３次元モデルＭ４の作成画像ＭＧ４の頂点に、撮影位置Ｐ２の座標位置から直線を引く。図３７に示すように、撮影位置Ｐ２から各頂点への直線が作成画像ＭＧ４の面と交差していない頂点Ａ，Ｂ，Ｃ，Ｄによって構成できる面ＡＢＣＤは、正面（表面）であると判断する。同様に、撮影位置Ｐ２から延ばした直線が作成画像ＭＧ４の面と交差する頂点Ｅ，Ｆによって構成できる面ＡＤＦＥは正面（表面）ではないと判断する。なお、この時点においても、図３６（ｂ）に示す位置ＰＡ、位置ＰＢに対応する図３７における頂点Ａ、頂点Ｂの間にある曲面を表現するための複数の矩形領域を構成する頂点は処理対象としない。
【０２４８】
テクスチャ切り出し部２０１は、このようにして、作成画像ＭＧ４の中に撮影位置Ｐ２から見える正面（表面）にある面を構成する４頂点を選択する。図３７の例では、この４頂点がＡ，Ｂ，Ｃ，Ｄであったことが示されている。テクスチャ切り出し部２０１は、実施の形態２で説明した手順によって、切り出したひし形や台形といった四角形の部分画像をファイルとして出力し、映像選択部１０５の選択した映像の中の頂点位置の情報もテキストファイルとして出力する。また、テクスチャ切り出し部２０１は、撮影位置Ｐ２から３次元モデルＭ４を見たときに正面を向いている面の頂点座標をファイルにテキスト形式で出力する。
【０２４９】
次に、正面を向いている面が曲面である場合について説明する。テクスチャ切り出し部２０１は、図３７に示す作成画像ＭＧ４において、線ＡＢ、線ＢＣ、線ＣＤ、線ＤＡに含まれる頂点を全て読み出し、夫々の線を構成する頂点を求める。これを図３６（ｂ）を参照して説明する。図３６（ｂ）において、テクスチャ切り出し部２０１が選択した面が面ＰＡ−ＰＢ−ＰＫ−ＰＪであったとする。線ＰＡ−ＰＢの間には、縦長の矩形状領域の頂点が複数ある。
【０２５０】
間にあるという判断処理は、対象位置が、位置ＰＡから位置ＰＢを向いて上下左右に予め定めた角度以内で、かつ位置ＰＢよりも近い位置であり、位置ＰＢから位置ＰＡを向いて上下左右に予め定めた角度以内で、かつ位置ＰＡよりも近い位置であることを調べることによって行われる。
【０２５１】
線ＰＡ−ＰＢ間には、位置ＰＥ、位置ＰＦ、その他の位置が存在する。同様に、線ＰＢ−ＰＫ、線ＰＪ−ＰＡ、線ＰＫ−ＰＪについても頂点を求める。これらの頂点だけで作成画像ＭＧ４の正面を構成する頂点であるものを選択する。例えば面ＰＥ−ＰＦ−ＰＨ−ＰＧである。このように、テクスチャ貼り付け面が複数の面で構成される場合は、テクスチャ切り出し部２０１は、全ての面とその周囲の頂点の座標を出力する。
【０２５２】
したがって、テクスチャ貼り付け部９０１では、前述したＶＲＭＬのテクスチャ貼り付けの手法を用いて、モデル選択部１０２の選択した３次元モデルの表面に、その面が平面であるか曲面であるかを問わず、テクスチャ切り出し部２０１が映像から切り出した建物のテクスチャ画像を貼り付けることができる。
【０２５３】
以上のように、実施の形態９によれば、例えば、地図を表示した画面上の建物の位置を操作員が指示すると、地図に対応する実際の現場を撮影した映像に映っている建物のテクスチャ画像が自動的に切り出され、切り出された建物のテクスチャ画像がその建物を予めモデル化してある３次元モデルの表面に自動的に貼り付くようにすることができる。
【０２５４】
また、実施の形態９によれば、経度緯度発生部１０８において、操作員が地図上の建物のある場所を指示する動作をしないで済むようにすることができる。すなわち、例えば、経度緯度発生部１０８において、建物や看板などの３次元モデルデータを３次元モデル記憶部１０１から順番に読み込む。そして、１つの３次元モデルデータを読み込む毎にその３次元モデルデータの座標から、３次元モデルデータがモデル化している経度と緯度を求め、その経度緯度１０９を経度緯度発生部１０８の出力としてモデル選択部１０２と、映像選択部１０５とに伝えるようにする。
【０２５５】
この場合、経度緯度発生部１０８は、特に地図を表示しなくてもよく、地図を表示する場合でも、現在処理中の建物の位置を地図上に表示するだけでもよい。また、処理中の建物、処理済の建物、処理していないが対応する３次元モデルのある建物、処理をしたが対応する映像がみつからなかった建物の位置および建物の形状を地図上に随時表示してもよい。これによって、操作員は何の指示や入力を行わなくとも、３次元モデルと建物を撮影した映像があれば、自動的に建物が映っている映像から建物部分を切り出し、対応する３次元モデルに貼り付けることができる。また、処理過程を随時地図を見ながら確認することができる。
【０２５６】
なお、以上は、経度緯度発生部１０８から経度緯度１０９を出力する場合であるが、前述したように外部から経度緯度１１０を取得することによっても同様の作用、効果が得られる。また、実施の形態９では、実施の形態２への適用例を示したが、実施の形態３〜８に対しても同様に適用できることはいうまでもない。
【０２５７】
実施の形態１０．
図３８は、この発明の実施の形態１０であるテクスチャ編集システムの構成を示すブロック図である。この実施の形態１０では、建物や看板などの３次元モデルへのテクスチャ画像の貼り付けを実時間で可能にする構成例が示されている。
【０２５８】
図３８に示すテクスチャ編集システムは、車載装置１００１とテクスチャ編集装置１１０１とで構成されている。テクスチャ編集装置１１０１は、車載装置１００１と同じ車両に搭載され有線接続されるか、あるいは事務所などの適宜な拠点に設置され無線伝送路を介して車載装置１００１に接続されている。なお、図３８では、出力部を含む送受信系は示されていない。
【０２５９】
車載装置１００１は、車両から周囲都市景観の映像を取得するビデオカメラ１０２１と、ビデオカメラ１０２１にて取得された映像の編集等を行う画像キャプチャソフトウェア１０２２と、画像キャプチャソフトウェア１０２２にて編集等がなされた映像が記憶される映像記憶装置１０２３と、ＧＰＳ衛星電波を受信して車両の現在位置を取得するＧＰＳ装置１０２４と、ＧＰＳ装置１０２４の駆動や取得された位置情報から経度緯度を生成するＧＰＳ装置ドライバソフトウェア１０２５と、ビデオカメラ１０２１の撮影方向を検出できる方位センサ１０２６と、方位センサ１０２６の駆動や取得された角度情報からビデオカメラ１０２１の撮影方向を生成する方位センサドライバソフトウェア１０２７と、ＧＰＳ装置ドライバソフトウェア１０２５が出力する経度緯度と方位センサドライバソフトウェア１０２７が出力する撮影方向とを含む撮影位置情報が映像記憶装置１０２３に記憶される映像と関連付けて記憶される撮影位置情報記憶装置１０２８とを備えている。
【０２６０】
テクスチャ編集装置１１０１は、都市景観の映像および撮影位置情報を車載装置１００１から取得して蓄積する点を除いて、実施の形態１〜９で説明したテクスチャ編集装置の機能を有している。また、建物や看板などを３次元モデル化した３次元データが記憶される３次元モデル記憶装置１１０２と、２次元地図や衛星写真、ビットマップ地図などが記憶される地図記憶装置１１０３とは外部に抜き出して示されている。
【０２６１】
この構成によれば、車載装置１００１を搭載した車両を走行しながら、車載装置１００１で映像情報と、撮影位置および撮影方向などの撮影位置情報とを取得し、蓄積する。蓄積する過程で映像情報、撮影位置情報を随時テクスチャ編集装置１１０１に伝送することができる。
【０２６２】
テクスチャ編集装置１１０１は、事前に３次元モデル記憶装置１１０２から３次元モデルを取り込み、地図記憶装置１１０３から例えば２次元地図を取り込み、いつでも３次元モデルの地図上への表示ができるように用意している。したがって、車載装置１００１から映像情報と位置情報が送られてくると、操作員が指定した地図上の位置において、リアルタイムに、３次元モデルと映像とのマッチング（実施の形態１）、テクスチャ画像の切り出し（実施の形態２）、変形（実施の形態３）、遮蔽物除去（実施の形態４）、合成（実施の形態５）、補正（実施の形態６）、側面テクスチャ画像生成（実施の形態７）、調整（実施の形態８）、貼り付け（実施の形態９）の一連の処理が行われ、３次元モデルへのテクスチャ画像の貼り付けが行える。これによって、町並みを撮影すると同時に、従来できなかった実時間での３次元モデル（建物）へのテクスチャ画像の貼り付けができるようになる。
【０２６３】
従来では、映像を撮影するスタッフが映像を撮影し、映像編集の業者が映像中の建物を探して画像枠を抜き出し、画像加工の業者が複数枚の画像枠から画像を切り出して合成し、また遮蔽物を取り除く加工を行い、３次元モデルの加工業者が建物の面にテクスチャを貼り付けるというように、複数の業者がそれぞれの過程を専門の知識を持って処理していた。それに対し、この実施の形態１０によれば、複数業者によって行われていた膨大な作業が、撮影と同時に、画像や３次元モデル加工についてノウハウの無い操作員にも簡単にできるようになる。
【０２６４】
以上のように、実施の形態１〜１０によれば、３次元モデル（建物）に対応した建物の映像（テクスチャ情報）を撮影して、切り出し、加工し、貼り付けるテクスチャ編集において、対応する画像を探したり、加工したり、映像に映っている建物以外の遮蔽物を取り除いたりといった作業を自動化することができるので、操作員の手作業による労力を大幅に低減できるようになる。
【０２６５】
【発明の効果】
以上説明したように、この発明によれば、位置情報を指定するだけで、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが自動的に行えるようになるので、操作員は映像を検索しないで済むようになる。そして、撮影位置情報が示す撮影位置に誤差がある場合でも、正確に建物部分の画像を切り出すことができるので、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、その切り出す位置の指定操作をしないで済むようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像を得ることができる。
【０２６８】
つぎの発明によれば、上記の発明において、遮蔽物除去手段では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて画像中の遮蔽物を取り除く作業をしないで済むようになる。
【０２６９】
つぎの発明によれば、上記の発明において、テクスチャ合成手段では、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて複数の画像に映っている建造物の部分画像を貼り合わせる作業をしないで済むようになる。
【０２７３】
つぎの発明によれば、上記の発明において、テクスチャ貼り付け手段では、モデル選択手段にて選択された３次元モデルのテクスチャ貼り付け面が曲面であっても、テクスチャ画像をその選択された３次元モデルのテクスチャ貼り付け面に自動的に貼り付けることができる。したがって、操作員は、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【０２７４】
つぎの発明によれば、撮影装置では、映像取得手段にて撮像された移動中の周囲の都市景観などの映像が映像記憶手段に蓄積される。また、映像取得手段の撮影時の位置情報が位置情報取得手段によって取得され、それらが、適宜な間隔で、通信手段によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け手段によって関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択手段によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択手段によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。そして、テクスチャ切り出し手段によって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像が切り出される。したがって、都市景観などの撮影と同時に実時間で、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが行えるようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像の貼り付いた３次元モデルを得ることができる。
【０２７７】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、遮蔽物除去手段にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、都市景観などの撮影と同時に実時間で、切り出されたテクスチャ画像中の遮蔽物が自動的に除去されるので、遮蔽物のないテクスチャ画像を得ることができるようになる。
【０２７８】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ合成手段にて、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。したがって、都市景観などの撮影と同時に実時間で、複数のテクスチャ画像から３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる適切なテクスチャ画像を自動的に生成することができるようになる。
【０２８２】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ貼り付け手段にて、テクスチャ画像が、モデル選択手段にて選択された３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。したがって、都市景観などの撮影と同時に実時間で、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【０２８３】
つぎの発明によれば、位置情報を指定するだけで、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが自動的に行えるので、操作員は映像を検索しないで済むようになる。そして、撮影位置情報が示す撮影位置に誤差がある場合でも、正確に建物部分の画像を切り出すことができるので、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、その切り出す位置の指定操作をしないで済むようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像を得ることができる。
【０２８６】
つぎの発明によれば、上記の発明において、遮蔽物除去工程では、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて画像中の遮蔽物を取り除く作業をしないで済むようになる。
【０２８７】
つぎの発明によれば、上記の発明において、テクスチャ合成工程では、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像が自動的に生成される。したがって、操作員は、映像に映っている建造物の部分を切り出して３次元モデルの正面に貼り付けるときに、画像編集ソフトウェアを用いて複数の画像に映っている建造物の部分画像を貼り合わせる作業をしないで済むようになる。
【０２９１】
つぎの発明によれば、上記の発明において、テクスチャ貼り付け工程では、モデル選択工程にて選択された３次元モデルのテクスチャ貼り付け面が曲面であっても、テクスチャ画像をその選択された３次元モデルのテクスチャ貼り付け面に自動的に貼り付けることができる。そのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、自動的に貼り付けられる。したがって、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【０２９２】
つぎの発明によれば、撮影装置では、映像取得工程にて撮像された移動中の周囲の都市景観などの映像が映像記憶手段に蓄積される。また、映像取得工程での撮影時の位置情報が位置情報取得工程によって取得され、それらが適宜な間隔で、送出工程によってテクスチャ編集装置に送られる。テクスチャ編集装置では、３次元モデル記憶手段に、建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶されている。また、撮影装置から送られてきた撮影位置情報および映像が関連付け工程によって関連付けされて逐一記憶される。そして、位置情報の指定がなされると、モデル選択工程によって、該当する３次元モデルが３次元モデル記憶手段から読み出され、同時に選択工程によって、当該３次元モデルの位置が映っている映像および撮影位置情報が読み出される。そして、テクスチャ切り出し工程によって、撮影位置情報が示す撮影位置に誤差があっても、正確に建物部分の画像が切り出される。したがって、都市景観などの撮影と同時に実時間で、テクスチャ画像を貼り付ける３次元モデルと当該３次元モデルの位置が映っているテクスチャ画像となる映像との対応付けが行えるようになるだけでなく、正確に建物部分の画像が映っているテクスチャ画像の貼り付いた３次元モデルを得ることができる。
【０２９５】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、遮蔽物除去工程にて、テクスチャ画像中、建造物の前に木や自動車などの遮蔽物が映っている場合には、当該遮蔽物を除去する処理動作が行われる。したがって、都市景観などの撮影と同時に実時間で、切り出されたテクスチャ画像中の遮蔽物が自動的に除去されるので、遮蔽物のないテクスチャ画像を得ることができるようになる。
【０２９６】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ合成工程にて、テクスチャ画像の複数個を繋ぎ合わせることで、モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできるテクスチャ画像が自動的に生成される。したがって、都市景観などの撮影と同時に実時間で、複数のテクスチャ画像から３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる適切なテクスチャ画像を自動的に生成することができるようになる。
【０３００】
つぎの発明によれば、上記の発明において、テクスチャ編集装置では、テクスチャ貼り付け工程にて、テクスチャ画像が、モデル選択手段にて選択された３次元モデルのテクスチャ貼り付け面に、そのテクスチャ貼り付け面が曲面であっても、自動的に貼り付けられる。したがって、都市景観などの撮影と同時に実時間で、位置情報を指定するだけで、自動的に、３次元モデルのテクスチャ貼り付け面が平面であるか曲面であるかを問わず、テクスチャ画像の貼り付いた３次元モデルが得られるようになる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１であるテクスチャ編集装置の構成を示すブロック図である。
【図２】 図１に示す３次元モデル記憶部に記憶される３次元モデルデータの説明図である。
【図３】 図１に示す映像記憶部に記憶される映像の一例を示す図である。（ａ）は全方位レンズを建物に向けて撮影した画像の例、（ｂ）は全方位レンズを真上に向けて撮影した画像の例である。
【図４】 図１に示す撮像位置情報記憶部に記憶される撮像位置情報の構成および図１に示す映像記憶部に記憶される映像との関係を説明する図である。
【図５】 図１に示す映像選択部が行う撮影範囲に入っていることの確認動作の説明図である。
【図６】 この発明の実施の形態２であるテクスチャ編集装置の構成を示すブロック図である。
【図７】 図６に示す映像記憶部に記憶される全方位レンズを用いて撮影した画像の説明図である。
【図８】 図７に示すような全方位レンズを用いて撮影した画像を狭い画角の画像に変換する方式の説明図である。
【図９】 図８に示す変換を行う際に用いる極座標系の説明図である。
【図１０】 撮影位置から見た３次元モデルの画像を作成する方式の説明図である。
【図１１】 ３次元モデルの表面選択方式の説明図である。
【図１２】 映像から３次元モデルの正面を切り出す方式の説明図である。
【図１３】 エッジ抽出を用いて映像から建物面を切り出す方式の説明図である。
【図１４】 この発明の実施の形態３であるテクスチャ編集装置の構成を示すブロック図である。
【図１５】 図１４に示すテクスチャ変形部の動作説明図である。
【図１６】 この発明の実施の形態４であるテクスチャ編集装置の構成を示すブロック図である。
【図１７】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が静止画像の場合）。
【図１８】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が動画像の場合：コマ画像と評価位置との関係図）。
【図１９】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が動画像の場合：評価画像およびエッジ抽出処理の説明図）。
【図２０】 図１６に示す遮蔽物除去部の動作説明図である（テクスチャ画像が動画像の場合：遮蔽物除去の説明図）。
【図２１】 この発明の実施の形態５であるテクスチャ編集装置の構成を示すブロック図である。
【図２２】 図２１に示すテクスチャ合成部の動作説明図である（合成対象テクスチャの説明図）。
【図２３】 図２１に示すテクスチャ合成部の動作説明図である（選択された３次元モデルの説明図）。
【図２４】 図２１に示すテクスチャ合成部の動作説明図である（合成テクスチャ画像の説明図）。
【図２５】 この発明の実施の形態６であるテクスチャ編集装置の構成を示すブロック図である。
【図２６】 図２５に示すテクスチャ補正部の動作説明図である。
【図２７】 この発明の実施の形態７であるテクスチャ編集装置の構成を示すブロック図である。
【図２８】 図２７に示す側面テクスチャ生成部の動作説明図である。
【図２９】 この発明の実施の形態８であるテクスチャ編集装置の構成を示すブロック図である。
【図３０】 図２９に示すテクスチャ切り出し部の動作説明図である（選択された３次元モデル（建物）の件数が１で、選択された映像に映っている建物の件数が複数となる場合）。
【図３１】 図２９に示すテクスチャ切り出し部の動作説明図である（選択された３次元モデル（建物）の件数が複数で、選択された映像に映っている建物の件数が１となる場合）。
【図３２】 図２９に示すテクスチャ調整部の動作説明図である（合成テクスチャ画像の作成）。
【図３３】 図２９に示すテクスチャ調整部の動作説明図である（分割テクスチャ画像を作成するための座標値取得）。
【図３４】 図２９に示すテクスチャ調整部の動作説明図である（分割テクスチャ画像の作成）。
【図３５】 この発明の実施の形態９であるテクスチャ編集装置の構成を示すブロック図である。
【図３６】 図３５に示すテクスチャ貼り付け部の動作説明図である（撮影位置から見た３次元モデルの画像を作成する方式の説明図）。
【図３７】 図３５に示すテクスチャ貼り付け部の動作説明図である（３次元モデルの表面選択方式の説明図）。
【図３８】 この発明の実施の形態１０であるテクスチャ編集システムの構成を示すブロック図である。
【符号の説明】
１０１ ３次元モデル記憶部、１０２ モデル選択部、１０３ 映像記憶部、１０４ 撮影位置情報記憶部、１０５ 映像選択部、１０６，１０７ 地図記憶部、１０８ 位置情報発生部、１０９，１１０ 位置情報、２０１ テクスチャ切り出し部、３０１ テクスチャ変形部、４０１ 遮蔽物除去部、５０１ テクスチャ合成部、６０１ テクスチャ補正部、７０１ 側面テクスチャ生成部、８０１ テクスチャ調整部、９０１ テクスチャ貼り付け部、１００１ 撮影装置、１０２１ ビデオカメラ、１０２２ 画像キャプチャソフトウェア、１０２３ 映像記憶装置、１０２４ ＧＰＳ装置、１０２５ ＧＰＳ装置ドライバソフトウェア、１０２６ 方位センサ、１０２７ 方位センサドライバソフトウェア、１０２８ 撮影位置情報記憶装置、１１０１ テクスチャ編集装置、１１０２３次元モデル記憶装置、１１０３ 地図記憶装置。
Claims (16)
- 建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶される３次元モデル記憶手段と、
入力される指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択手段と、
撮影した映像のファイル名、当該映像が動画像である場合にはさらにコマ番号、当該映像の撮影位置および撮像に関する情報で構成される撮影位置情報が記憶される撮影位置情報記憶手段と、
入力される前記指定位置情報に基づき前記撮影位置情報記憶手段から該当する撮影位置情報を選択する選択手段と、
撮影された静止画像と動画像の一方または双方がファイル名とともに記憶される映像記憶手段と、
前記選択手段にて選択された撮影位置情報に基づき、前記モデル選択手段が選択した３次元モデルの位置が映っている映像を前記映像記憶手段から選択する映像選択手段と、
前記モデル選択手段にて選択された３次元モデルの前記選択手段にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記映像選択手段にて選択された映像から切り出すテクスチャ切り出し手段と、を備え、
前記テクスチャ切り出し手段は、
前記映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択する、
ことを特徴とするテクスチャ編集装置。 - 前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去手段、
を備えたことを特徴とする請求項１に記載のテクスチャ編集装置。 - 前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成手段、
を備えたことを特徴とする請求項１または２に記載のテクスチャ編集装置。 - 前記テクスチャ画像を、前記モデル選択手段にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し手段または前記テクスチャ合成手段から受け取った前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け手段、
を備えたことを特徴とする請求項１〜３のいずれか一つに記載のテクスチャ編集装置。 - 撮影装置とテクスチャ編集装置とで構成されるテクスチャ編集システムであって、
前記撮影装置は、
移動しながら周囲の映像を取得する映像取得手段と、
前記映像取得手段による撮影時の位置情報を取得する位置情報取得手段と、
前記映像と前記撮影位置情報とを前記テクスチャ装置に送出する通信手段と、を備え、
前記テクスチャ編集装置は、
建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータが記憶される３次元モデル記憶手段と、
入力された指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択手段と、
前記撮影装置から送られてきた撮影位置情報と映像とを関連付けて記憶する関連付け手段と、
入力された前記指定位置情報に基づき前記関連付け手段にて関連付けて記憶された撮影位置情報と映像との中から対応する撮影位置情報と映像とを選択する選択手段と、
前記モデル選択手段にて選択された３次元モデルの前記選択手段にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記選択手段にて選択された映像から切り出すテクスチャ切り出し手段と、を備え、
前記テクスチャ切り出し手段は、
前記映像選択手段にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択する、
ことを特徴とするテクスチャ編集システム。 - 前記テクスチャ編集装置は、
前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去手段、
を備えたことを特徴とする請求項５に記載のテクスチャ編集システム。 - 前記テクスチャ編集装置は、
前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで、前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成手段、
を備えたことを特徴とする請求項５または６に記載のテクスチャ編集システム。 - 前記テクスチャ編集装置は、
前記テクスチャ画像を、前記モデル選択手段にて選択されたＶＲＭＬ形式で記述された３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し手段または前記テクスチャ合成手段から受け取った前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け手段、
を備えたことを特徴とする請求項５〜７のいずれか一つに記載のテクスチャ編集システム。 - 建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータを３次元モデル記憶手段に記憶させる３次元モデル記憶工程と、
入力される指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択工程と、
撮影した映像のファイル名、当該映像が動画像である場合にはさらにコマ番号、当該映像の撮影位置および撮像に関する情報で構成される撮影位置情報を撮影位置情報記憶手段に記憶させる工程と、
入力される前記指定位置情報に基づき前記撮影位置情報記憶手段から該当する撮影位置情報を選択する選択工程と、
撮影された静止画像と動画像の一方または双方がファイル名とともに映像記憶手段に記憶させる映像記憶工程と、
前記選択工程にて選択された撮影位置情報に基づき、前記モデル選択工程にて選択された３次元モデルの位置が映っている映像を前記映像記憶手段から選択する映像選択工程と、
前記モデル選択工程にて選択された３次元モデルの前記選択工程にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記映像選択工程にて選択された映像から切り出すテクスチャ切り出し工程と、を含み、
前記テクスチャ切り出し工程は、
前記映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択する、
ことを特徴とするテクスチャ編集方法。 - 前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去工程、
を含むことを特徴とする請求項９に記載のテクスチャ編集方法。 - 前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択手段にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成工程、
を含むことを特徴とする請求項９または１０に記載のテクスチャ編集方法。 - 前記テクスチャ画像を、前記モデル選択工程にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し工程または前記テクスチャ合成工程にて取得された前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け工程、
を含むことを特徴とする請求項９〜１１のいずれか一つに記載のテクスチャ編集方法。 - 撮影装置とテクスチャ編集装置とで構成されるテクスチャ編集システムにおけるテクスチャ編集方法であって、
前記撮影装置は、
移動しながら周囲の映像を取得する映像取得工程と、
前記映像取得工程での撮影時の位置情報を取得する位置情報取得工程と、
前記映像と前記撮影位置情報とを前記テクスチャ装置に通信手段を介して送出する送出工程と、を含み、
前記テクスチャ編集装置は、
建造物の面形状を定める３以上の頂点位置を地理上の位置と関連付けて規定される座標系を用いて表現した３次元モデルのデータを３次元モデル記憶手段に記憶させる３次元モデル記憶工程と、
入力された指定位置情報に基づき前記３次元モデル記憶手段から該当する３次元モデルを選択するモデル選択工程と、
前記撮影装置から送られてきた撮影位置情報と映像とを関連付けて記憶する関連付け工程と、
入力された前記指定位置情報に基づき前記関連付け工程にて関連付けて記憶された撮影位置情報と映像との中から対応する撮影位置情報と映像とを選択する選択工程と、
前記モデル選択工程にて選択された３次元モデルの前記選択工程にて選択された撮影位置情報から得られる撮影位置から見た画像を作成して当該３次元モデルのテクスチャ貼り付け面を選択し、前記テクスチャ貼り付け面に対応したテクスチャ画像を前記選択工程にて選択された映像から切り出すテクスチャ切り出し工程と、含み、
前記テクスチャ切り出し工程は、
前記映像選択工程にて選択された映像に縦方向および横方向のエッジ抽出処理を施し、抽出された縦エッジ画像および横エッジ画像を重ねて、端点が交差している縦エッジ画像の縦線と横エッジ画像の横線との交差端点と、所定距離以内に近接している端点を有する縦エッジ画像の縦線と横エッジ画像の横線とをそれぞれ近接端点側に延長した線上にできる交点と、のそれぞれを、切り出す前記テクスチャ画像の枠形状に存する角位置に対する候補点として抽出し、抽出した前記候補点のうち、前記撮影位置が正確である場合に切り出す前記テクスチャ画像の枠形状に存する角位置に最も近い候補点を今回切り出す前記テクスチャ画像の枠形状に存する角位置として選択する、
ことを特徴とするテクスチャ編集方法。 - 前記テクスチャ編集工程は、
前記テクスチャ画像中に映っている遮蔽物を、当該テクスチャ画像が静止画像である場合は撮影位置の異なる複数画像の重ね合わせ方式によって検出し、当該テクスチャ画像が動画像である場合は一連のコマ画像を用いて撮影位置に近い画像と遠い画像とを判別することによって検出し、当該遮蔽物を除去する遮蔽物除去工程、
を含むことを特徴とする請求項１３に記載のテクスチャ編集方法。 - 前記テクスチャ編集工程は、
前記テクスチャ画像の複数個を、それぞれにおける画像の映っている範囲を勘案して繋ぎ合わせることで前記モデル選択工程にて選択された３次元モデルの１つのテクスチャ貼り付け面に貼ることのできる１つのテクスチャ画像を生成するテクスチャ合成工程、
を含むことを特徴とする請求項１３または１４に記載のテクスチャ編集方法。 - 前記テクスチャ編集工程は、
前記テクスチャ画像を、前記モデル選択工程にて選択されたＶＲＭＬ形式で記述されている３次元モデルのテクスチャ貼り付け面に貼り付ける処理を、該ＶＲＭＬのデータ内容に前記テクスチャ切り出し工程または前記テクスチャ合成工程にて取得された前記テクスチャ貼り付け面の形状を定める頂点座標値を示すテクスチャ貼り付け記述を加入して実行するテクスチャ貼り付け工程、
を含むことを特徴とする請求項１３〜１５のいずれか一つに記載のテクスチャ編集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001310597A JP4008686B2 (ja) | 2001-10-05 | 2001-10-05 | テクスチャ編集装置、テクスチャ編集システムおよび方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001310597A JP4008686B2 (ja) | 2001-10-05 | 2001-10-05 | テクスチャ編集装置、テクスチャ編集システムおよび方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003115057A JP2003115057A (ja) | 2003-04-18 |
| JP4008686B2 true JP4008686B2 (ja) | 2007-11-14 |
Family
ID=19129541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001310597A Expired - Fee Related JP4008686B2 (ja) | 2001-10-05 | 2001-10-05 | テクスチャ編集装置、テクスチャ編集システムおよび方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4008686B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007190280A (ja) * | 2006-01-20 | 2007-08-02 | Samii Kk | 遊技機 |
| KR20110064540A (ko) | 2009-12-08 | 2011-06-15 | 한국전자통신연구원 | 건물 텍스처 생성 장치 및 방법 |
| JP5454674B2 (ja) * | 2010-03-30 | 2014-03-26 | 富士通株式会社 | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム |
| JP2012048529A (ja) * | 2010-08-27 | 2012-03-08 | Mitsubishi Precision Co Ltd | 地物の外観表示用画像の生成方法及びその装置 |
| JP2012137933A (ja) * | 2010-12-27 | 2012-07-19 | Kokusai Kogyo Co Ltd | 被写地物の位置特定方法とそのプログラム、及び表示地図、並びに撮影位置取得方法とそのプログラム、及び撮影位置取得装置 |
| JP5997664B2 (ja) * | 2013-06-14 | 2016-09-28 | 株式会社ジオ技術研究所 | テクスチャ画像データの生成方法 |
| JP6166631B2 (ja) * | 2013-09-25 | 2017-07-19 | 株式会社 日立産業制御ソリューションズ | ３次元形状計測システム |
| JP6733267B2 (ja) | 2016-03-31 | 2020-07-29 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
| US11087480B2 (en) | 2016-08-03 | 2021-08-10 | Sony Corporation | Image processing apparatus and image processing method |
| JP7332353B2 (ja) * | 2018-07-18 | 2023-08-23 | エヌ・ティ・ティ・コムウェア株式会社 | 点検システム及び点検方法 |
-
2001
- 2001-10-05 JP JP2001310597A patent/JP4008686B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003115057A (ja) | 2003-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9959653B2 (en) | Mosaic oblique images and methods of making and using same | |
| US4970666A (en) | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment | |
| JP4284644B2 (ja) | ３次元モデル構築システム及び３次元モデル構築プログラム | |
| JP2003519421A (ja) | 任意の局面の受動的な体積画像の処理方法 | |
| US20100066732A1 (en) | Image View Synthesis Using a Three-Dimensional Reference Model | |
| CN115641401A (zh) | 一种三维实景模型的构建方法及相关装置 | |
| JP4008686B2 (ja) | テクスチャ編集装置、テクスチャ編集システムおよび方法 | |
| JP2004265396A (ja) | 映像生成システム及び映像生成方法 | |
| JP6110780B2 (ja) | 付加情報表示システム | |
| CN108447042A (zh) | 城市景观影像数据的融合方法及系统 | |
| CN111667591B (zh) | 基于全景摄影的虚拟现实融合方法 | |
| JPH1186034A (ja) | 景観ラベル付ヒューマンナビゲーション装置およびシステム | |
| JPH06348815A (ja) | Ｃｇシステムにおける建物の景観の３次元モデルの設定方法 | |
| Zheng et al. | Scanning scene tunnel for city traversing | |
| KR100490885B1 (ko) | 직각 교차 실린더를 이용한 영상기반 렌더링 방법 | |
| JPH09212626A (ja) | 画像編集方法および編集装置 | |
| JP3053169B2 (ja) | 景観ラベル利用型通信装置およびシステム | |
| JP3156649B2 (ja) | 変形ラベル型景観ラベリング装置およびシステム | |
| JP2002092597A (ja) | 画像処理方法及び装置 | |
| JP3648099B2 (ja) | 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体 | |
| JPH1132250A (ja) | 音声案内型景観ラベリング装置およびシステム | |
| Ikebayashi et al. | Intensity and Texture Correction of Omnidirectional Image Using Camera Images for Indirect Augmented Reality | |
| JPH1131239A (ja) | 注視方向景観ラベリング装置およびシステム | |
| CN116958467A (zh) | 多源异构地质信息的三维空间实时呈现方法及系统 | |
| JP2009139863A (ja) | 地図データ処理方法、システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040917 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070830 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |