JP7137230B2

JP7137230B2 - 定点撮影システム及びプログラム

Info

Publication number: JP7137230B2
Application number: JP2020050517A
Authority: JP
Inventors: 博明大野
Original assignee: 株式会社零Space
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2022-09-14
Anticipated expiration: 2040-03-23
Also published as: JP2021150879A

Description

本発明は、同一地点を同方向及び同画角で期間をおいて撮影を行うための定点撮影システムに関する。

同一地点を同方向及び同画角で期間をおいて撮影を行うための定点撮影システムは、地学調査、トンネル・プラントなどの構造物の点検、植物等の実験・観察における記録、工事現場の進捗状況の記録、工損調査などにおいて使用される。掛かる定点撮影システムに関する技術としては、特許文献１－７に記載のものが公知である。

特許文献１に記載の写真撮影・管理用の電子デバイスは、定点調査において同一地点の事前・事後の写真を撮影するのに用いられる携帯式電子デバイスである。この電子デバイスにおいては、撮影日時が前の画像である事前画像、撮影日時が後の画像である事後画像の順に横並びにして画像組とし、これらの画像組を縦列した撮影画像リスト（１１５）を作成し、当該撮影画像リストを、タッチスクリーンデバイス（２）の画面に表示するとともに、撮影画像リストに於いて、事後画像が画像ファイル記憶部（３１）内に保存されていない場合には、事後画像に代えて未撮影であることを示す未撮影示教画像（１８１）を表示する（仝文献図８参照）。撮影画像リストにおいて、該リスト内の未撮影示教画像が選択された場合、カメラデバイス（３）からリアルタイムで取り込まれる電子ビューファインダ画像に、該未撮影示教画像が属する画像組の事前画像から生成される下敷画像を重畳表示してファインダ重畳画像を生成し、この下敷付ファインダ画面をタッチスクリーンデバイスの画面に表示する（仝文献図９参照）。これにより、事前画像に対して、これから撮影する事後画像の撮影画角・方向の位置合わせを行うことができるようにしている。このように、事前に撮影した事前画像をスルー画像として電子ビューファインダ画像に重畳表示することにより、撮影画角・方向の位置合わせのアシストを行うようにした定点撮影システムに関しては、特許文献１以外にも、特許文献２－４に記載のものが公知である。

また、特許文献６には、スマートフォンに実装され、被写体をファインダに表示すると共に、表示された画像を静止画として撮影し記録するカメラ機能と、現在位置を検出する現在位置検出機能と、現在の撮影方向を検出する撮影方向検出機能と、所定の撮影位置および所定の撮影方向を示す情報を記録するデータ記録機能と、撮影方向検出機能で検出された現在の撮影方向と所定の撮影方向との方向の差分を検出する差分検出機能と、ファインダに被写体が表示された状態で、その状態における方向の差分を示す情報を通知する差分通知機能を実現する定点撮影プログラムが記載されている（仝文献請求項１参照）。この定点撮影プログラムでは、過去の撮影画像と現在撮影中の表示画像の差分をユーザへ通知してスマートフォンの位置と傾きが、過去の撮影のものと一致するように促す。具体的には、画面上の表示でユーザに撮影画像と表示画像のズレを通知する。例えば、正しい撮影画像（過去の撮影画像）の輪郭Ｆを表示画像に表示し、ユーザにこの輪郭Ｆを表示画像の輪郭Ｇに一致させるように促す（仝文献明細書〔００２３〕，図３参照）。ユーザは、輪郭Ｆと輪郭Ｇを合わせることで、撮影画角・方向の位置合わせを行う。また、この定点撮影プログラムでは、撮影画像と表示画像のズレが最小となる最適のタイミングで自動撮影を行う。これによって、前回とほぼ同一の撮影位置および撮影方向で撮影された画像が記録される（仝文献明細書〔００２８〕参照）。

また、特許文献７には、カメラの現在のカメラ位置情報を計測するカメラ位置計測手段と、過去に撮影した画像の少なくとも撮影位置情報を記録する手段と、現在のカメラ位置情報と過去の撮影位置情報とを比較して両者の差を演算する演算手段と、演算した両者の差を表示する表示手段とを備えた定点撮影が可能なカメラが記載されている。このカメラでは、過去の撮影時の位置情報（経緯度）、姿勢情報（カメラの傾斜角度）、方位情報（磁気方位センサで得られる方位情報）、撮影情報（焦点距離等）を写真データと共に保存しておき、定点撮影時には、これらの情報と現在のカメラの位置情報、姿勢情報、方位情報、撮影情報との差分を計算して、差分が許容範囲内か否かを判定し、その判定結果（「ＮＧ」，「ＯＫ」）を電子ビューファインダに表示するものである（仝文献明細書〔００２６〕－〔００３１〕参照）。

特開２０１８－２９２３９号公報特開平１０－３０４２２７号公報特開２００２－９４８５４号公報特開２００９－５２７３号公報特開２００９－２５３６５９号公報特開２０１０－１８３１５０号公報特開２０１６－２２００４７号公報

秋山実著，「写真測量」，株式会社山海堂，2001年4月30日．近津博文，「デジタルフォトグラメトリによる三次元計測」，写真測量とリモートセンシング，33巻，5号，1994年，pp.16-20．蓑毛雄吾他，「フォトグラメトリー技術を用いた３ＤＣＧモデル生成手法のオンエア利用」，映像メディア学会誌，Vo..70，No.3，2016年，pp.J75-J79．

特許文献７のように、カメラの位置情報、姿勢情報、方位情報、撮影情報との差分の判定を表示する手法では、定点撮影を行おうとする際に、前回の撮影位置を探索し、カメラの方位・姿勢を探索するという作業を、試行錯誤により３次元空間内でカメラを動かしながら行う必要があり、カメラの設定までに非常に手間と時間が掛かるという問題がある。

特許文献６のように、ディスプレイ上に、過去の撮影画像の輪郭Ｆと現在カメラで撮影されている表示画像の輪郭Ｇを表示して、輪郭Ｆと輪郭Ｇを合わせる手法であれば、カメラの位置・方位・姿勢を探索する作業は、ディスプレイ上の表示を視ながら視覚的に行うことが出来るため比較的容易であるが、輪郭Ｆ，Ｇをどのように作成するかが問題である。特許文献６では、輪郭Ｆ，Ｇの生成方法については言及されていないが、山の稜線や鉄塔といった明確な対象について両画像内で対応する画像要素を特定し、その画面上の位置を比較する方法、位置や形状が時間とともに変動しないような対象物をユーザが指定する方法が記載されている（明細書〔００２６〕参照）。しかしながら、実際には、撮影対象の範囲内に位置や形状が時間とともに変動しないような明確な対象が存在しない場合がある。例えば、工損調査に於いて壁に生じた罅割れの経時変化を記録するような場合（例えば、特許文献１の図７，図９参照）、撮影する写真の画像内には、壁と罅しか存在せず、壁は明確な輪郭はなく罅は経時的に変化するため、輪郭Ｆ，Ｇを作成するための指標が存在しないことになり、このようなケースに特許文献６の手法を適用するのは困難と考えられる。

一方、特許文献１－４に記載のように、事前に撮影した事前画像をスルー画像として電子ビューファインダ画像に重畳表示することにより、撮影画角・方向の位置合わせのアシストを行う手法では、ユーザが直接目視によって位置合わせを行うため、極めて正確な撮影画角・方向の位置合わせが可能である。しかしながら、実際に携帯電子デバイスによりこの手法を用いて撮影を行ったところ、３次元空間内でユーザが携帯電子デバイスを手で持って移動させながら位置合わせを行う場合、手ぶれにより正確な位置に継続的に位置固定をするのが難しく、位置合わせに手間取り、そのぶん作業効率が低下するという問題が判明した。手ぶれを防ぐには、三脚や一脚を用いるのが一般的であるが、例えば工損調査のように、１つの現場で多数の定点撮影を行う場合には、いちいち三脚や一脚を格撮影場所毎に設置するのは効率が悪く、また、天井や橋桁を下から撮影する場合のように、三脚や一脚が使用できない現場も多くある。また、特許文献６のように、位置が一致したタイミングで自動撮影を行うようにすることも考えられるが、実際に試験してみたところ、位置合わせを正確に行うようにスルー画像と電子ビュー画像のマッチング条件を厳しくすると自動撮影のシャッターがなかなかおりず、３次元空間内で位置やアングルを精度よく調整するため、色々と位置を動かしたり傾きを変えたりと試行錯誤する必要があり、逆に、マッチング条件を緩めると、撮影された画像の位置合わせの精度が低下するという問題があることが判明した。

そこで、本発明の目的は、従来よりも容易な操作で位置あわせの精度のよい定点撮影を行うことが可能な定点撮影システム及びプログラムを提供することにある。

本発明に係る定点撮影システムの第１の構成は、画像を撮影する撮像手段、ユーザからの指示を入力する入力手段、画像を表示する表示手段、及び各種データを保存するデータ保存手段を具備するモバイル型撮影装置を具備する定点撮影システムであって、
前記撮像手段が出力する画像を静止画像として取得する静止画取得手段と、
前記撮像手段が連続的に出力する画像を動画像又は連続コマ画像として取得する連続画取得手段と、
前記連続画取得手段により取得される動画像又は連続コマ画像に基づき、撮影された各画像を合成した画像がテクスチャとして表面に貼り付けられた撮影対象の立体モデルである３次元モデルデータを生成する３次元モデル生成手段と、
前記入力手段より初回画像撮影指示が入力された場合、前記静止画取得手段により取得された撮影対象を撮影した静止画像を初回基準画像として前記データ保存手段に保存する初回基準画像撮影手段と、
前記初回画像撮影指示が入力された場合、前記連続画取得手段により、該撮影対象を前記初回基準画像の撮影位置の周囲の複数の撮影位置から連続的又は断続的に撮影した動画像又は連続コマ画像である初回連続画像を取得する初回連続画像撮影手段と、
前記初回連続画像に基づき前記３次元モデル生成手段により３次元モデルデータを生成し、初回３次元モデルデータとして前記データ保存手段に保存する初回３次元モデル作成手段と、
前記初回３次元モデルデータ及び前記初回基準画像に基づき、前記初回３次元モデルデータに係る立体モデルに対する前記初回基準画像の相対的な撮影位置及び撮影方向を計算し、其々、基準撮影位置、基準撮影方向として前記データ保存手段に保存する基準撮影位置計算手段と、
前記入力手段より、前記データ保存手段に保存された前記初回基準画像のうちの何れか一（以下「指定初回基準画像」という。）を指定して次巡画像撮影指示が入力された場合、前記連続画取得手段により、撮影対象を複数の撮影位置から連続的又は断続的に撮影した動画像又は連続コマ画像である次巡連続画像を取得する次巡連続画像撮影手段と、
前記次巡連続画像に基づき前記３次元モデル生成手段により３次元モデルデータを生成し、次巡３次元モデルデータとして出力する次巡３次元モデル作成手段と、
前記データ保存手段に保存された前記初回３次元モデルデータに係る立体モデルと、前記次巡３次元モデルデータに係る立体モデルとのマッチング計算により、前記次巡３次元モデルデータに係る立体モデルの向き及びスケールを、前記初回３次元モデルデータに係る立体モデルの向き及びスケールに適合するように修正し、修正した前記次巡３次元モデルデータを前記データ保存手段に保存する次巡３次元モデル修正手段と、
前記データ保存手段に保存された前記指定初回基準画像に係る前記基準撮影位置及び基準撮影方向、並びに前記次巡３次元モデルデータに係る立体モデルに基づき、該次巡３次元モデルデータに係る立体モデルを該基準撮影位置及び基準撮影方向から撮影した静止画像であって前記初回基準画像と同じスケールとなるようにスケール調整された静止画像を生成し、次巡基準画像として前記データ保存手段に保存する次巡基準画像生成手段と、を備えたことを特徴とする。

この構成により、次巡基準画像を撮影する際には、撮影者はモバイル型撮影装置の位置を初回の撮影位置に正確に位置合わせする必要はなく、初回の撮影位置の周辺でモバイル型撮影装置を手で移動させて次巡連続画像を撮影すればよい。これにより、初回基準画像と同じ位置、同じ方向から同じ画角で撮影された次巡基準画像を容易に得ることが可能となる。従って、従来のように、３次元空間内で位置やアングルを精度よく調整するため、色々と位置を動かしたり傾きを変えたりと試行錯誤する必要がなく、容易な操作で位置あわせの精度のよい定点撮影を行うことが可能となる。

本発明に係る定点撮影システムの第２の構成は、前記第１の構成に於いて、前記モバイル型撮影装置の３軸方向の加速度を検出する加速度センサと、
前記モバイル型撮影装置の３軸まわりの角速度を検出するジャイロセンサと、
を備え、
前記３次元モデル生成手段は、前記連続画取得手段により取得される動画像又は連続コマ画像、並びに前記加速度センサにより検出される加速度及び前記ジャイロセンサにより検出される角速度から計算される前記モバイル型撮影装置の相対変位に基づき、撮影された各画像がテクスチャとして表面に貼り付けられた撮影対象の立体モデルである３次元モデルデータを生成することを特徴とする。

この構成によれば、動画像（又は連続コマ画像）から３次元モデルデータを作成する際に、動画像（又は連続コマ画像）の各フレーム画像（又は各コマ画像）の撮影の際のモバイル型撮影装置の相対変位を用いることで、前方交会測量の原理を用いた写真測量の計算手法を用いることができるため、動画像（又は連続コマ画像）のみからフォトグラメトリーにより３次元モデルデータを作成する場合に比べてより精度が高い３次元モデルデータをより高速に作成することが可能となる。

本発明に係るプロブラムは、画像を撮影する撮像手段、ユーザからの指示を入力する入力手段、画像を表示する表示手段、及び各種データを保存するデータ保存手段を具備するモバイル型コンピュータに読み込ませて実行することにより、該モバイル型コンピュータを、前記第１又は２の構成の定点撮影システムとして機能させることを特徴とする。

以上のように、本発明によれば、撮影者が次巡基準画像を撮影する場合、初回の撮影位置の周辺でモバイル型撮影装置を手で移動させて次巡連続画像を撮影すれば、初回基準画像と同じ位置、同じ方向から同じ画角で撮影された次巡基準画像を容易に得ることが可能となる。従って、従来のように、３次元空間内で位置やアングルを精度よく調整するため、色々と位置を動かしたり傾きを変えたりと試行錯誤する必要がなく、容易な操作で位置あわせの精度のよい定点撮影を行うことが可能となる。

本発明の実施例１に係る定点撮影システムの構成を表す図である。実施例１の定点撮影システムの初回画像の撮影時における動作を表すフローチャートである。タッチパネルディスプレイ２に表示される写真データリストの一例を表す図である。撮影時のタッチパネルディスプレイに表示される電子ビューファインダ画面の一例を示す図である。（ａ）初回撮影時、（ｂ）次巡撮影時。静止画像の撮影時と、連続画像の撮影時のモバイル型撮影装置１の撮影位置及び位置移動の例を示す図である。（ａ）初回基準画像及び（ｂ）初回３Ｄモデルデータに係る立体モデルの一例を示す図である。実施例１の定点撮影システムの次巡画像の撮影時における動作を表すフローチャートである。（ａ）次巡３Ｄモデルデータに係る立体モデル及び（ｂ）次巡基準画像の一例を示す図である。本発明の実施例２に係る定点撮影システムのハードウェア構成を表す図である。図９の定点撮影システムの機能構成を表すブロック図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

（１）装置構成
図１は、本発明の実施例１に係る定点撮影システムの構成を表す図である。本実施例に係る定点撮影システムは、モバイル型撮影装置１を用いて構成される。モバイル型撮影装置１としては、デジタルカメラやスマートフォン、タブレットコンピュータのようなモバイル型コンピュータ等を用いることが可能であるが、本実施例では、その一例として、タブレットコンピュータを用いた例を示す。

モバイル型撮影装置１は、タッチパネルディスプレイ２、カメラデバイス３、加速度センサ４、ジャイロセンサ５、データ記憶部６、及び中央演算装置７を備えている。タッチパネルディスプレイ２は、指先やペン型入力装置（スタイラスペン）で画面に触れることでコンピュータの操作を行うディスプレイであり、ユーザからの指示を入力する入力手段及び画像を表示する表示手段の機能を兼ね備えている。カメラデバイス３は、ＣＣＤなどの撮像素子を備えており、画像を撮影する撮像手段である。加速度センサ４は、モバイル型撮影装置１の３軸方向（ｘ，ｙ，ｚ軸方向）の加速度を検出するセンサである。ジャイロセンサ５は、モバイル型撮影装置１の３軸まわりの角速度（ピッチ（pitch）、ロール（roll）、及びアジマス（azimuth）方向の角速度）を検出するセンサである。データ記憶部６は、ＲＡＭ（Random Access Memory）、ハードディスク、ＳＤカード等のメモリデバイスで構成されている。中央演算装置７は、ＣＰＵ（Central Processing Unit），ＧＰＵ（Graphics Processing Unit），マイコン，ＦＰＧＡ（Field Programmable Gate Array）等の演算用のデバイスで構成される。

中央演算装置７は、リスト表示部１０、静止画像取得部１１、連続画像取得部１２、３Ｄモデル生成部１３、相対変位検出部１４、初回基準画像撮影部１５、初回連続画像撮影部１６、初回３Ｄモデル生成部１７、基準撮影位置計算部１８、次巡連続画像撮影部２０、次巡３Ｄモデル生成部２１、次巡３Ｄモデル修正部２２、次巡基準画像生成部２３を備えている。これらの各構成部分は、プログラムを中央演算装置７に読み込ませて実行することにより、中央演算装置７内に機能モジュールとして構成される。

リスト表示部１０は、データ記憶部６に保存された写真データのリストをタッチパネルディスプレイ２に表示する処理を行うモジュールである。静止画像取得部１１は、カメラデバイス３が出力する画像を静止画像として取得する処理を行うモジュールである。連続画像取得部１２は、カメラデバイス３が連続的に出力する撮像データを取得して動画像又は連続コマ画像として出力する処理を行うモジュールである。３Ｄモデル生成部１３は、連続画像取得部１２が出力する動画像又は連続コマ画像に基づき、撮影された各画像を合成した画像がテクスチャとして表面に貼り付けられた撮影対象の立体モデルである３Ｄモデルデータを生成する処理を行うモジュールである。相対変位検出部１４は、加速度センサ４が検出する加速度、及びジャイロセンサ５が検出する角速度に基づき、モバイル型撮影装置１の相対変位（或る指定された時点の位置及び向きを基準とする相対的な位置座標及び回転角の変位）を計算する処理を行うモジュールである。

ここで、「立体モデル」とは、立体形状をデータとして表現したものであって、立体の表面を形作る多角形又は点群、及び該多角形の表面に貼り付けられたテクスチャ画像の集合をいう。「３Ｄモデルデータ（３次元モデルデータ）」とは、立体モデルのデータをいう。

初回基準画像撮影部１５は、初回画像撮影指示が入力された場合、静止画像取得部１１により取得された撮影対象を撮影した静止画像を初回基準画像としてデータ記憶部６に保存する処理を行うモジュールである。初回連続画像撮影部１６は、初回画像撮影指示が入力された場合、連続画像取得部１２により、該撮影対象を初回基準画像の撮影位置の周囲の複数の撮影位置から連続的又は断続的に撮影した動画像又は連続コマ画像である初回連続画像を取得する処理を行うモジュールである。初回３Ｄモデル生成部１７は、初回連続画像に基づき３Ｄモデル生成部１３により３Ｄモデルデータを生成し、初回３Ｄモデルデータとしてデータ記憶部６に保存する処理を行うモジュールである。基準撮影位置計算部１８は、初回３Ｄモデルデータ及び初回基準画像に基づき、初回３Ｄモデルデータに係る立体モデル対する初回基準画像の相対的な撮影位置及び撮影方向を計算し、其々、基準撮影位置、基準撮影方向としてデータ記憶部６に保存する処理を行うモジュールである。

ここで、「初回画像撮影指示」とは、ユーザ操作により入力手段（タッチパネルディスプレイ２）から入力される指示であって、或る撮影対象の定点撮影において最初の写真を撮影する指示をいう。「初回基準画像」とは、或る撮影対象の定点撮影において最初に撮影される画像（静止画像）をいう。「初回連続画像」とは、或る撮影対象の定点撮影において最初に撮影される、該撮影対象の３Ｄモデルデータを計算する為の連続画像をいう。「初回３Ｄモデルデータ」とは、初回連続画像に基づいて算出される３Ｄモデルデータをいう。「基準撮影位置」とは、初回３Ｄモデルデータに係る立体モデル対する初回基準画像の相対的な撮影位置（相対座標）をいう。「基準撮影方向」とは、初回３Ｄモデルデータに係る立体モデル対する初回基準画像の相対的な撮影方向をいう。

次巡連続画像撮影部２０は、データ記憶部６に保存された初回基準画像のうちの何れか一（以下「指定初回基準画像」という。）を指定して次巡画像撮影指示が入力された場合、連続画像取得部１２により、撮影対象を複数の撮影位置から連続的又は断続的に撮影した動画像又は連続コマ画像である次巡連続画像を取得する処理を行うモジュールである。次巡３Ｄモデル生成部２１は、次巡連続画像に基づき３Ｄモデル生成部１３により３Ｄモデルデータを生成し、次巡３Ｄモデルデータとして出力する処理を行うモジュールである。次巡３Ｄモデル修正部２２は、データ記憶部６に保存された初回３Ｄモデルデータに係る立体モデルと、次巡３Ｄモデル生成部２１が出力する次巡３Ｄモデルデータに係る立体モデルとのマッチング計算により、次巡３Ｄモデルデータに係る立体モデルの向きを、初回３Ｄモデルデータに係る立体モデルの向きに適合するように修正し、修正した次巡３Ｄモデルデータをデータ記憶部６に保存する処理を行うモジュールである。次巡基準画像生成部２３は、データ記憶部６に保存された指定初回基準画像に係る基準撮影位置、基準撮影方向、及び次巡３Ｄモデルデータに係る立体モデルに基づき、該次巡３次元モデルデータに係る立体モデルを該基準撮影位置から該基準撮影位置及び基準撮影方向から撮影した静止画像であって初回基準画像と同じスケールとなるようにスケール調整された静止画像を生成し、次巡基準画像としてデータ記憶部６に保存する処理を行うモジュールである。

ここで、「次巡画像撮影指示」とは、ユーザ操作により入力手段（タッチパネルディスプレイ２）から入力される指示であって、或る撮影対象の定点撮影において２回目以降の写真を撮影する指示をいう。「次巡連続画像」とは、或る撮影対象の定点撮影において２回目以降に撮影される、該撮影対象の３Ｄモデルデータを計算する為の連続画像をいう。
「次巡３Ｄモデルデータ」とは、次巡連続画像に基づいて算出される３Ｄモデルデータをいう。「次巡基準画像」とは、或る撮影対象の定点撮影において２回目以降に撮影される画像（静止画像）をいう。

（２）装置動作
（２．１）初回画像の撮影
図２は、実施例１の定点撮影システムの初回画像の撮影時における動作を表すフローチャートである。最初に、リスト表示部１０は、データ記憶部６に記憶されている写真データのリストを読み出して、タッチパネルディスプレイ２に表示する（Ｓ１０１）。図３に、タッチパネルディスプレイ２に表示される写真データリストの一例を示す。図３の写真データリストにおいて、其々のマス目を「セル」という。また、半透明グレー色に塗覆されたセルは“選択不可”のセルを表し、半透明グレー色に塗覆されていないセルは“選択可”のセルを表す。図３の写真データリストでは、各行が１つの撮影対象に対する定点撮影画像の組（定点撮影レコード）を表す。また、各列は、左から１回目（初回）の撮影画像、２回目の撮影画像、３回目の撮影画像、４回目の撮影画像を表す。また、写真データリストを水平方向にスワイプすることでリストは水平方向にスクロールし、５回目移行の撮影画像の欄も表示される。また、図３では７つの定点撮影レコードが表示されているが、写真データリストを垂直方向にスワイプすることでリストは垂直方向にスクロールし、８つ目移行の定点撮影レコードを表示することができる。また、カメラの図形のピクトグラム（以下「撮影マーク」と呼ぶ。）が表示されているセルは、撮影画像がない空欄を示している。図３の例では、１行目の１～３列目のセル及び１行目の１列目のセルに撮影画像が格納されており、それ以外のセルは空欄である。初回画像の撮影時においては、ユーザは最左列（「初回」列）の空欄（例えば、第３行第１列目のセル）を選択（タップ）することで、新規の定点撮影レコードＲＥＣ_ｉを選択する（Ｓ１０１）。

新規の定点撮影レコードＲＥＣ_ｉが選択されると、初回基準画像撮影部１５は、図４（ａ）に示すように、タッチパネルディスプレイ２に電子ビューファインダ画面を表示する。図４において、電子ビューファインダ画面の中央にはファインダ画像領域３１が配置され、ファインダ画像領域３１の右側には、電子シャッターボタン３２、フラッシュボタン３３、キャンセルボタン３４が配されている。ファインダ画像領域３１には、現在カメラデバイス３がリアルタイムに取り込んでいる撮影画像が表示される。電子シャッターボタン３２は、ユーザが静止画の撮影指示を入力する電子ボタンである。フラッシュボタン３３は、静止画の撮影時にフラッシュを使用することを指示するフラッシュ撮影指示を入力する電子ボタンである。キャンセルボタン３４は、撮影をキャンセルする指示を入力する電子ボタンである。ユーザは、まず、ファインダ画像領域３１に表示される画像を見ながら撮影対象に対する撮影位置、撮影方向、及び撮影領域を決定し（図５参照）、電子シャッターボタン３２をタップする。これにより、初回基準画像撮影部１５は、初回画像撮影指示が入力されたとして、静止画像取得部１１により撮影対象を撮影した静止画像を取得し（Ｓ１０２）、初回基準画像としてデータ記憶部６に保存する（Ｓ１０３）。このとき、基準撮影位置計算部１８は、初回基準画像を撮影した時点のモバイル型撮影装置１の撮影位置及び撮影方向を、初回撮影位置ｑ_０（原点）、初回撮影方向ｄ_０として記憶する。ここで、初回撮影方向ｄ_０は、ジャイロセンサ５により検出される傾きにより取得する。図６（ａ）に、このとき撮影される初回基準画像の一例を示す。

初回基準画像の撮影後、続けて、初回連続画像撮影部１６は、連続画像取得部１２により動画像（又は連続コマ画像）の録画を開始する。この状態で、ユーザは、モバイル型撮影装置１を初回撮影位置ｑ_０の周囲で移動させ、初回基準画像の撮影位置の周囲の複数の撮影位置から連続的（又は断続的）に動画像（又は連続コマ画像）を撮影する。そして、撮影した動画像（又は連続コマ画像）を初回連続画像として一時的に内部メモリに保存する。また、初回連続画像撮影部１６は、このとき同時に、加速度センサ４により検出される加速度、及びジャイロセンサ５により検出される角速度に基づき、初回撮影位置ｑ_０（原点）及び初回撮影方向ｄ_０に対するモバイル型撮影装置１の相対変位（位置変位及び回転変位）を計算し、初回連続画像の各フレーム画像（又はコマ画像）に対するモバイル型撮影装置１の相対変位を、併せて内部メモリに保存する（Ｓ１０４）。そして、初回連続画像撮影部１６は、撮影対象の立体モデルの作成に十分な範囲の初回連続画像の撮影ができたと判定された時点で録画を終了する。この判定は、初回連続画像撮影部１６が、加速度センサ４及びジャイロセンサ５により検出される相対変位の軌跡の範囲に基づき判定する。

図５に、静止画像の撮影時と、連続画像の撮影時のモバイル型撮影装置１の撮影位置及び位置移動の例を示す。図５では、部屋の壁に生じた亀裂を撮影する場合の例を示している。点線で囲まれた範囲Ｒが撮影対象領域である。静止画像（初回基準画像）の撮影時には、図５に示した様に、ユーザはモバイル型撮影装置１を撮影対象領域Ｒに向けて空間内の一点（初回撮影位置ｑ_０）に手で固定して撮影を行う。次いで、モバイル型撮影装置１は連続画像（初回連続画像）の録画に移行するが、その際、ユーザは図５の矢印Ｃで示した様に、初回撮影位置ｑ_０の周囲でモバイル型撮影装置１を移動させ、連続画像を撮影する。この際、連続画像の録画の終了判定については、例えば、図５の格子Ｌで示した様に、初回撮影位置ｑ_０の周囲の一定範囲の空間を格子状にブロック分割し、所定領域内（例えば、初回撮影位置ｑ_０を中心とする所定半径の円内）の各ブロックでｎフレーム（ｎコマ）以上（ｎは整数）撮影されるという条件が満たされた時点で、連続画像の録画を終了するというように設定することができる。

次に、初回３Ｄモデル生成部１７は、初回連続画像撮影部１６が取得した初回連続画像及び該初回連続画像の各フレーム（各コマ）の相対変位に基づき３Ｄモデル生成部１３により撮影対象の３Ｄモデルデータを生成し（Ｓ１０５）、初回３Ｄモデルデータとしてデータ記憶部６に保存する（Ｓ１０６）。この３Ｄモデルデータの生成は、公知の写真測量の計算手法（例えば、非特許文献１参照）を用いて行うことが出来る。図６（ｂ）に、このとき生成される初回３Ｄモデルデータに係る立体モデルの一例を示す。初回３Ｄモデルデータは、立体形状を表すポリゴンのデータと、各ポリゴンの表面に貼り付けられる模様を表すテクスチャ（カメラデバイス３で撮影された撮影対象の表面画像）のデータを含むものとなる。

最後に、基準撮影位置計算部１８は、初回３次元モデルデータに係る立体モデルに対する初回基準画像の相対的な撮影位置及び撮影方向を計算し、其々、基準撮影位置、基準撮影方向としてデータ記憶部６に保存する（Ｓ１０７）。これは、初回３Ｄモデルデータを算出する際に、初回撮影位置ｑ_０を原点、初回撮影方向ｄ_０を基準軸（例えばｚ軸）として初回３Ｄモデルデータの各ノード座標が計算されるため、初回３次元モデルデータに係る立体モデルに対する基準撮影位置、基準撮影方向は一意的に定まることになる。

以上の処理の結果として、データ記憶部６には、定点撮影レコードＲＥＣ_ｉの初回撮影データセットとして、｛初回基準画像，初回３Ｄモデルデータ，基準撮影位置，基準撮影方向｝が保存される。そして、写真データリスト（図３参照）の選択中の定点撮影レコードＲＥＣ_ｉ（例えば、第３行目の定点撮影レコード）の［初回］列（最左列）のセルに、撮影された初回基準画像が挿入されるとともに、そのセルの右側のセル（左から２列目のセル）が“選択可”とされる。

（２．２）次巡画像の撮影
図７は、実施例１の定点撮影システムの次巡画像の撮影時における動作を表すフローチャートである。まず、リスト表示部１０は、データ記憶部６に記憶されている写真データのリストを読み出して、図３に示した様な写真データリスト表示画面をタッチパネルディスプレイ２に表示する。ユーザは、写真データリストから、［初回］列（最左列）に初回基準画像が登録されている定点撮影レコードＲＥＣ_ｊの撮影マークが表示されている選択可セル（例えば、図３の２行２列目のセルや１行４列目のセルなど）をタップすることにより、定点撮影レコードＲＥＣ_ｊを選択する（Ｓ２０１）。選択された定点撮影レコードＲＥＣ_ｊを「指定定点撮影レコード」といい、指定定点撮影レコード内の初回基準画像を「指定初回基準画像」という。

指定定点撮影レコードＲＥＣ_ｊが選択されると、次巡連続画像撮影部２０は、データ記憶部６から指定初回基準画像を読み出し（Ｓ２０２）、タッチパネルディスプレイ２に、図４（ｂ）に示したような電子ビューファインダ画面を表示する（Ｓ２０３）。図４（ｂ）の電子ビューファインダ画面においては、ファインダ画像領域３１に、指定初回基準画像が半透明のスルー画像として表示されると共に、該スルー画像に重畳して、現在カメラデバイス３がリアルタイムに取り込んでいる撮影画像（「リアルタイム画像」という。）が表示される。ユーザは、ファインダ画像領域３１に表示される画像を見ながら、撮影対象のリアルタイム画像の位置がスルー画像の位置とおおよそ重なる程度に、モバイル型撮影装置１の位置を手で合わせる。リアルタイム画像とスルー画像がおおよそ重なった時点で、ユーザは電子シャッターボタン３２をタップし、次巡画像撮影指示を入力する。次巡連続画像撮影部２０は、次巡画像撮影指示が入力されると、連続画像取得部１２により動画像（又は連続コマ画像）の録画を開始する（Ｓ２０４）。ここで、次巡画像撮影指示が入力された時点（以下「次巡撮影開始時点」という。）に於けるモバイル型撮影装置１の位置を次巡撮影開始位置ｑ_１（原点）、次巡撮影開始時点に於いてジャイロセンサ５により検出される傾きにより特定されるモバイル型撮影装置１の撮影方向を次巡撮影開始方向ｄ_１とする。この状態で、ユーザは、モバイル型撮影装置１を次巡撮影開始位置ｑ_１の周囲で移動させ、次巡撮影開始位置ｑ_１の周囲の複数の撮影位置から連続的（又は断続的）に動画像（又は連続コマ画像）を撮影する。そして、撮影した動画像（又は連続コマ画像）を次巡連続画像として一時的に内部メモリに保存する。また、次巡連続画像撮影部２０は、このとき同時に、加速度センサ４により検出される加速度、及びジャイロセンサ５により検出される角速度に基づき、次巡撮影開始位置ｑ_１及び次巡撮影開始方向ｄ_１に対するモバイル型撮影装置１の相対変位（位置変位及び回転変位）を計算し、次巡連続画像の各フレーム画像（又はコマ画像）に対するモバイル型撮影装置１の相対変位を、併せて内部メモリに保存する（Ｓ２０４）。そして、次巡連続画像撮影部２０は、撮影対象の立体モデルの作成に十分な範囲の初回連続画像の撮影ができたと判定された時点で録画を終了する。この判定は、初回連続画像の撮影の場合と同様にして、次巡連続画像撮影部２０が、加速度センサ４及びジャイロセンサ５により検出される相対変位の軌跡の範囲に基づき判定する。

次に、次巡３Ｄモデル生成部２１は、次巡連続画像撮影部２０が取得した次巡連続画像及び該次巡連続画像の各フレーム（各コマ）の相対変位に基づき３Ｄモデル生成部１３により撮影対象の３Ｄモデルデータを生成し、これを次巡３Ｄモデルデータとする（Ｓ２０５）。この３Ｄモデルデータの生成は、初回３Ｄモデルデータの生成の場合と同様、公知の写真測量の計算手法（例えば、非特許文献１，第２章参照）を用いて行うことが出来る。次巡３Ｄモデルデータは、立体形状を表すポリゴンのデータと、各ポリゴンの表面に貼り付けられる模様を表すテクスチャ（カメラデバイス３で撮影された撮影対象の表面画像）のデータを含むものとなる。この段階では、次巡３Ｄモデルデータに係る立体モデルは、初回３Ｄモデルデータに係る立体モデルに対し、向き及びスケールが不統一な状態にある。図８（ａ）に、このとき生成される次巡３Ｄモデルデータに係る立体モデルの一例を示す。

次に、次巡３Ｄモデル修正部２２は、データ記憶部６から指定定点撮影レコードの初回３Ｄモデルデータを読み出し、次巡３Ｄモデルデータに係る立体モデルと初回３Ｄモデルデータに係る立体モデルとのマッチングを行い、次巡３Ｄモデルデータに係る立体モデルの向き及びスケールを、初回３Ｄモデルデータに係る立体モデルの向き及びスケールに適合するように修正し（Ｓ２０６）、修正後の次巡３Ｄモデルデータをデータ記憶部６に保存する（Ｓ２０７）。このマッチング計算は、例えば、修正後の次巡３Ｄモデルデータと初回３Ｄモデルデータとの、撮影対象領域の周辺での立体形状及びテクスチャの相関が最も高くなるように、向き及びスケールを決めればよい。

次に、次巡基準画像生成部２３は、データ記憶部６から指定初回基準画像に係る基準撮影位置，基準撮影方向を読み出し、修正後の次巡３Ｄモデルデータに係る立体モデルを該基準撮影位置及び基準撮影方向から撮影した静止画像であって初回基準画像と同じスケールとなるようにスケール調整された静止画像を生成し、次巡基準画像としてデータ記憶部６に保存する（Ｓ２０８）。これにより、初回基準画像と同じ位置、同じ方向から同じ画角で撮影された次巡基準画像が得られる。図８（ｂ）に、このとき生成される次巡基準画像の一例を示す。

以上の処理の結果として、データ記憶部６には、定点撮影レコードＲＥＣ_ｊの次巡撮影データセットとして、｛次巡基準画像，次巡３Ｄモデルデータ｝が保存される（基準撮影位置，基準撮影方向は初回と同じである）。そして、写真データリスト（図３参照）の選択中の定点撮影レコードＲＥＣ_ｊ（例えば、第２行目の定点撮影レコード）の最も右の“選択可”のセルに撮影された次巡基準画像が挿入されるとともに、そのセルの右側の“選択不可”のセルが“選択可”に変更される。

以上のように、本実施例のモバイル型撮影装置１によれば、ユーザは、次巡基準画像の撮影の際に、初回基準画像の半透明のスルー画像とリアルタイム画像とが重畳表示された電子ビューファインダ画面を見ながら、モバイル型撮影装置１をリアルタイム画像とスルー画像がおおよそ重なる位置に手で合わせ、その位置の周辺でモバイル型撮影装置１を回旋するように手で移動させて次巡連続画像を撮影することで、初回基準画像と同じ位置、同じ方向から同じ画角で撮影された次巡基準画像を得ることが出来る。従って、従来のように、３次元空間内で位置やアングルを精度よく調整するため、色々と位置を動かしたり傾きを変えたりと試行錯誤する必要がなく、容易な操作で位置あわせの精度のよい定点撮影を行うことが可能となる。

尚、本実施例では、連続画像の撮影の際にモバイル型撮影装置１の相対変位の軌跡を記録しておき、３Ｄモデルデータの生成には、前方交会測量の原理を用いた写真測量の計算手法を用いることとしたが、これ以外にも、公知の手法としてフォトグラメトリー（Photogrammetry）の計算手法を利用してもよい（非特許文献１，第３章、非特許文献２，３参照）。この場合、写真測量の計算手法に比べて精度及び計算速度は劣るが、相対変位の軌跡データは必要なく、連続画像のデータのみから３Ｄモデルデータを生成することができる。

図９は、本発明の実施例２に係る定点撮影システムのハードウェア構成を表す図である。図１０は、図９の定点撮影システムの機能構成を表すブロック図である。本実施例の定点撮影システムは、複数のモバイル型撮影装置１が、通信回線９を介して管理サーバ８に接続された構成を有している。通信回線９は、無線又は有線のＬＡＮ，ＷＡＮ，インターネット等のネットワーク回線である。管理サーバ８には、汎用的なコンピュータ（パーソナルコンピュータ、ワークステーション等）が用いられている。図１０において、図１と同様の構成部分については同符号を付している。実施例１と対比すると、本実施例では、モバイル型撮影装置１には、通信回線９を介して管理サーバ８との通信を行う送受信部２４ａが新たに設けられている一方、基準撮影位置計算部１８、次巡３Ｄモデル修正部２２、次巡基準画像生成部２３は省略され、これらは管理サーバ８の側に設けられている。また、管理サーバ８には、基準撮影位置計算部１８、次巡３Ｄモデル修正部２２、次巡基準画像生成部２３に加えて、通信回線９を介して各モバイル型撮影装置１との通信を行う送受信部２４ｂ、及び各モバイル型撮影装置１で撮影対象を定点撮影したデータである｛初回基準画像，初回３Ｄモデルデータ，基準撮影位置，基準撮影方向｝及び｛次巡基準画像，次巡３Ｄモデルデータ｝の各組を記憶するデータ記憶部６ｂが設けられている。

本実施例の動作は、基本的に実施例１の場合と同様であるが、基準撮影位置計算部１８、次巡３Ｄモデル修正部２２、及び次巡基準画像生成部２３については、各モバイル型撮影装置１が通信回線９を介して管理サーバ８と通信を行い、管理サーバ８の側でこれら各部に於ける計算処理を行い、その計算結果が管理サーバ８から各モバイル型撮影装置１に送信されるというように実行される。また、各モバイル型撮影装置１で撮影対象を定点撮影したデータである｛初回基準画像，初回３Ｄモデルデータ，基準撮影位置，基準撮影方向｝及び｛次巡基準画像，次巡３Ｄモデルデータ｝の各組は、管理サーバ８の側のデータ記憶部６ｂにも保存され、バックアップデータ及び撮影日時の証明などに用いられる。

このように、本実施例では、計算処理コストが大きい基準撮影位置計算部１８、次巡３Ｄモデル修正部２２、次巡基準画像生成部２３の機能を管理サーバ８に担わせることで、各モバイル型撮影装置１の計算負荷を軽減させ、処理の高速化を図ることが出来る。

１モバイル型撮影装置
２タッチパネルディスプレイ
３カメラデバイス
４加速度センサ
５ジャイロセンサ
６，６ｂデータ記憶部
７中央演算装置
８管理サーバ
９通信回線
１０リスト表示部
１１静止画像取得部
１２連続画像取得部
１３３Ｄモデル生成部
１４相対変位検出部
１５初回基準画像撮影部
１６初回連続画像撮影部
１７初回３Ｄモデル生成部
１８基準撮影位置計算部
２０次巡連続画像撮影部
２１次巡３Ｄモデル生成部
２２次巡３Ｄモデル修正部
２３次巡基準画像生成部
２４ａ，２４ｂ送受信部
３１ファインダ画像領域
３２電子シャッターボタン
３３フラッシュボタン
３４キャンセルボタン

Claims

画像を撮影する撮像手段、ユーザからの指示を入力する入力手段、画像を表示する表示手段、及び各種データを保存するデータ保存手段を具備するモバイル型撮影装置を具備する定点撮影システムであって、
前記撮像手段が出力する画像を静止画像として取得する静止画取得手段と、
前記撮像手段が連続的に出力する画像を動画像又は連続コマ画像として取得する連続画取得手段と、
前記連続画取得手段により取得される動画像又は連続コマ画像に基づき、撮影された各画像を合成した画像がテクスチャとして表面に貼り付けられた撮影対象の立体モデルである３次元モデルデータを生成する３次元モデル生成手段と、
前記入力手段より初回画像撮影指示が入力された場合、前記静止画取得手段により取得された撮影対象を撮影した静止画像を初回基準画像として前記データ保存手段に保存する初回基準画像撮影手段と、
前記初回画像撮影指示が入力された場合、前記連続画取得手段により、該撮影対象を前記初回基準画像の撮影位置の周囲の複数の撮影位置から連続的又は断続的に撮影した動画像又は連続コマ画像である初回連続画像を取得する初回連続画像撮影手段と、
前記初回連続画像に基づき前記３次元モデル生成手段により３次元モデルデータを生成し、初回３次元モデルデータとして前記データ保存手段に保存する初回３次元モデル作成手段と、
前記初回３次元モデルデータ及び前記初回基準画像に基づき、前記初回３次元モデルデータに係る立体モデルに対する前記初回基準画像の相対的な撮影位置及び撮影方向を計算し、其々、基準撮影位置、基準撮影方向として前記データ保存手段に保存する基準撮影位置計算手段と、
前記入力手段より、前記データ保存手段に保存された前記初回基準画像のうちの何れか一（以下「指定初回基準画像」という。）を指定して次巡画像撮影指示が入力された場合、前記連続画取得手段により、撮影対象を複数の撮影位置から連続的又は断続的に撮影した動画像又は連続コマ画像である次巡連続画像を取得する次巡連続画像撮影手段と、
前記次巡連続画像に基づき前記３次元モデル生成手段により３次元モデルデータを生成し、次巡３次元モデルデータとして出力する次巡３次元モデル作成手段と、
前記データ保存手段に保存された前記初回３次元モデルデータに係る立体モデルと、前記次巡３次元モデルデータに係る立体モデルとのマッチング計算により、前記次巡３次元モデルデータに係る立体モデルの向き及びスケールを、前記初回３次元モデルデータに係る立体モデルの向き及びスケールに適合するように修正し、修正した前記次巡３次元モデルデータを前記データ保存手段に保存する次巡３次元モデル修正手段と、
前記データ保存手段に保存された前記指定初回基準画像に係る前記基準撮影位置及び基準撮影方向、並びに前記次巡３次元モデルデータに係る立体モデルに基づき、該次巡３次元モデルデータに係る立体モデルを該基準撮影位置及び基準撮影方向から撮影した静止画像であって前記初回基準画像と同じスケールとなるようにスケール調整された静止画像を生成し、次巡基準画像として前記データ保存手段に保存する次巡基準画像生成手段と、を備えたことを特徴とする定点撮影システム。
前記モバイル型撮影装置の３軸方向の加速度を検出する加速度センサと、
前記モバイル型撮影装置の３軸まわりの角速度を検出するジャイロセンサと、
を備え、
前記３次元モデル生成手段は、前記連続画取得手段により取得される動画像又は連続コマ画像、並びに前記加速度センサにより検出される加速度及び前記ジャイロセンサにより検出される角速度から計算される前記モバイル型撮影装置の相対変位に基づき、撮影された各画像がテクスチャとして表面に貼り付けられた撮影対象の立体モデルである３次元モデルデータを生成することを特徴とする請求項１記載の定点撮影システム。
画像を撮影する撮像手段、ユーザからの指示を入力する入力手段、画像を表示する表示手段、及び各種データを保存するデータ保存手段を具備するモバイル型コンピュータに読み込ませて実行することにより、該モバイル型コンピュータを、請求項１又は２記載の定点撮影システムとして機能させることを特徴とするプログラム。