JPWO2012002021A1 - 多視点撮影制御装置、多視点撮影制御方法及び多視点撮影制御プログラム - Google Patents

Abstract

多視点での画像が必要な場合に、当該多視点のそれぞれの撮影地点の特定を行い、かつ撮影作業自体を簡便に実行可能にする。特定の被写体の三次元形状を生成するための要素となる複数視点からの画像データを撮影する場合に、ユーザーに適切に案内することで、特定の被写体の正面での測距、測距位置から撮影開始点までの移動、並びに撮影開始点から撮影終了点までの移動を促すメッセージを、液晶モニタのメッセージ表示領域等に表示する。また、スルー画を解析することで、特徴点の変移に基づき、デジタルカメラの位置を自動で認識、かつ自動撮影する。

Description

本発明は、単眼レンズを用いて複数の視点で特定の被写体を撮影することで、当該特定の被写体の三次元形状を表現する要素データを取得するための多視点撮影制御装置、多視点撮影制御方法及び多視点撮影制御プログラムに関するものである。

従来、雲台とレールを用いることにより、３Ｄ画像を作成する立体画像撮影補助装置が知られている（特開２００４−２３６１５６号公報参照）。この立体画像撮影補助装置では、レールの中心から左右対称に雲台を動かすことにより、安定した撮影を行うことを可能としている。

上記のような３Ｄ画像や立体視表示のための画像を得るためには、基本的に多視点で画像を撮影することが要求され、特開２００４−２３６１５６号公報に記載の技術では、撮影のために特別な装置を必要としている。

一方、撮影者が撮影装置を手にもって移動させながら撮影する技術として、パノラマ撮影を行う際の撮影方法が提案されている（特開平１１−１６４３２５号公報参照）。

この特開平１１−１６４３２５号公報では、パノラマ撮影を行う際、撮影機器を一定の角速度で回転させなければ正しく撮影が行えないことを課題とし、画像の中心線上の画素のオプティカルフローの大きさを基に、スイング速度を計算し、パノラマ合成を行うことが記載されている。

また、この特開平１１−１６４３２５号公報では、静止画のパノラマ画像の作成にあたり、隣り合う２枚の画像が厳密に一致せず、ユーザー自身が手作業で特徴点を見つけて指定するという処理が必要であることが記載されている。

しかしながら、上記の特開平１１−１６４３２５号公報の技術では、中央部（被写体部）に関して、中心線によるオプティカルフローの大きさを計測するため、被写体を中心に撮影する場合、撮影を行うことができないという問題がある。

このように多視点で撮影する場合において、撮影地点の特定が難しく、また、特定されたとしても正確な視点での撮影作業が煩雑となる。

本発明は上記事実を考慮し、多視点での画像が必要な場合に、当該多視点のそれぞれの撮影地点の特定が容易に行え、かつ撮影作業自体も簡便に実行することができる多視点撮影制御装置、多視点撮影制御方法及び多視点撮影制御プログラムを得ることが目的である。

本発明の第１の態様に係る発明は、画像を撮影する撮影部と、撮影画角を決定するための動画を表示画面に表示する動画像表示部と、前記動画像表示部で表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定する測距部と、複数の撮影視点から撮影するときの撮影視点間の輻輳角を取得する取得部と、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定する視点数設定部と、前記輻輳角データ、並びに前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、かつ、並びに前記仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算する位置情報演算部と、前記位置情報演算部で演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行する報知部と、を有している。

本発明の第２の態様に係る発明は、第１の態様に係る発明において、前記移動に応じて、撮影開始点を基準画像とし、当該基準画像と移動後の撮影画像との比較に基づいて、撮影すべき視点か否かを判定する判定部と、前記判定部で撮影点であると判定された場合に、当該撮影点において自動的に前記被写体を撮影する自動撮影実行制御部と、自動撮影実行制御部で撮影した画像データを前記要素データとして格納する格納部と、をさらに有する。

本発明の第３の態様に係る発明は、第２の態様に係る発明において、前記自動撮影実行制御部で自動撮影した撮影開始点以降の撮影点の視点画像を新たな基準画像として更新する。

本発明の第４の態様に係る発明は、第２又は第３の態様に係る発明において、請求項４に記載の発明は、前記請求項２又は請求項３に記載の発明において、前記判定部は、前記基準画像と移動後の撮影画像上での前記特定の被写体の位置ずれを補正した場合の予め設定した背景画像のずれ量に基づいて、前記移動後の撮影画像に対する撮影視点が撮影すべき視点か否かを判定する。

本発明の第５の態様に係る発明は、第１〜第４の何れかの一つの態様に係る発明において、前記撮影終了点よりも前の撮影点で撮影した画像を前記表示画面に、所定の透過度を持って表示する。

本発明の第６の態様に係る発明は、第１〜第５の何れかの一つの態様に係る発明において、前記撮影開始点から前記撮影終了点までの移動軌跡が、前記被写体を中心とした円弧軌跡であり、前記測距点が移動範囲の中央に位置する。

本発明の第７の態様に係る発明は、第１〜第６の何れかの一つの態様に係る発明において、前記撮影開始点及び前記撮影終了点の２箇所を少なくとも含み、撮影点は自動又は手動で設定される。

本発明の第８の態様に係る発明は、第１〜第７の何れかの一つの態様に係る発明において、前記撮影開始点から前記撮影終了点までの移動速度を計測する計測部と、前記計測部で計測した移動速度が所定以上の場合に、自動撮影続行不可能と判定し、前記自動撮影実行制御部による撮影を中止する中止部と、をさらに有する。

本発明の第９の態様に係る発明は、撮影画角を決定するための動画を表示画面に表示し、表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定し、複数の撮影視点から撮影ときの撮影視点及び撮影視点間の輻輳角を取得して、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定し、前記輻輳角データ、並びに前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、かつ、並びに前記仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算し、演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行することを特徴としている。

本発明の第１０の態様に係る発明は、撮影画角を決定するための動画を表示画面に表示し、表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定し、複数の撮影視点から撮影ときの撮影視点及び撮影視点間の輻輳角を取得して、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定し、前記輻輳角データ、並びに前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、かつ、並びに前記仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算し、演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行することを、コンピュータに実行させる。

本発明によれば、動画像表示部で表示画面に動画が表示されている状態、すなわち、撮影モード中において、特定の被写体を画角内に収め、仮撮影により、当該特定の被写体までの距離を測定する。

ここで、三次元形状を表現するために必要な輻輳角データと、前記測定した距離データとに基づいて、最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点の位置データを演算する。この場合、前記仮撮影位置の視点が中心となるようにする。

その後、まず、測距点から撮影開始点までの移動を促す報知を行い、次いで、撮影開始点から撮影終了点までの移動を促す報知を行う。この報知は、例えば、表示画面上にメッセージ表示してもよいし、音声等によって報知してもよい。或いは別途表示部を設けるようにしてもよい。

撮影位置か否かの判定は、例えば、基準画像と移動後の撮影画像上での特定の被写体の位置ずれを補正した場合の予め設定した背景画像のずれ量に基づいて、移動後の撮影画像に対する撮影視点が撮影すべき視点か否かを判定する。

このように、本発明では、ユーザーに対して、移動を促すだけで、あとはその移動を関しし、撮影点に到達すると自動的に撮影を実行するため、三次元形状を表現するための要素データ（画像データ）を容易に取得することができる。また、この撮影に、特別な用具等も不要であり、被写体の位置に制限がない。

また、本発明において、ユーザーは、上記報知内容に従い、測距点から撮影開始点へ移動し、その後撮影終了点へ移動することになるが、この移動に応じて、撮影開始点を基準画像とし、当該基準画像と移動後の撮影画像との比較に基づいて、撮影すべき視点か否かを判定し、撮影すべき点において自動的に前記被写体を撮影する。撮影した画像データは、三次元形状を表現するための要素データとして格納される。

前記撮影開始点から前記撮影終了点までの移動軌跡が、前記被写体を中心とした円弧軌跡であれば、被写体までの焦点距離、並びに画角上の位置を常に同一とすることができる。また、仮撮影位置が移動範囲の中央に位置することで、被写体に対して左右対称に三次元形状を表現スルー画を取得することができる。

一方、撮影装置が特定の被写体に対峙していない場合、例えば、特定の被写体が、仮撮影時の画角の位置と異なる位置となる場合がある。このような場合、基準画像と移動後の撮影画像との間での、予め設定した背景画像の移動量に基づいて補正すればよい。

撮影が終了した画像を、所謂半透明で表示画面に表示しておくことで、動画による次の撮影点での撮影画角の設定がし易くなる。

撮影点としては、前記撮影開始点及び前記撮影終了点の２箇所を少なくとも含めばよい。また、被写体までの距離に応じて自動的に撮影点の数を設定してもよい。さらには、ユーザーが手動で撮影点の数を設定してもよい。

撮影開始点から前記撮影終了点までの移動速度を計測し、その移動速度が所定以上の場合に、自動撮影続行不可能と判定し、前記自動撮影実行制御部による撮影を中止する。すなわち、移動が速過ぎると、撮影点がずれ、輻輳角に狂いが生じるからである。

なお、自動撮影を中止した後、最初からやり直すように指示してもよいし、既に良好な撮影が終了した撮影点の次の撮影点から撮影を再開するように指示してもよい。

以上説明したように本発明によれば、多視点での画像が必要な場合に、当該多視点のそれぞれの撮影地点の特定が容易に行え、かつ撮影作業自体も簡便に実行することができる、という効果が得ることができる。

第１の実施の形態の複眼デジタルカメラの正面側斜視図である。 第１の実施の形態の複眼デジタルカメラの背面側斜視図である。 第１の実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。 第１の実施の形態に係り、撮影視点、ユーザーを移動させるための移動軌跡、移動量を設定する場合において、デジタルカメラが特定の被写体に向けられた理想的な状態を示している概念図である。 第１の実施の形態に係り、撮影視点、ユーザーを移動させるための移動軌跡、移動量を設定する場合において、デジタルカメラが特定の被写体を向いていない状態を示している概念図である。 第１の実施の形態係り、メッセージ表示領域が設けられた液晶モニタの正面図である。 第１の実施の形態に係り、三次元形状撮影モード実行制御ルーチンを示すフローチャートである。 第２の実施の形態に係り、撮影開始点Ｓを指標したときを示す移動速度インジケータ部が設けられた液晶モニタの正面図である。 第２の実施の形態に係り、特定の被写体の正面を指標したときを示す移動速度インジケータ部が設けられた液晶モニタの正面図である。 第２の実施の形態に係り、三次元形状撮影モード実行制御ルーチンを示すフローチャートである。

（第１の実施の形態）
図１及び図２に示される如く、デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラの１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。

図３は、デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、デジタルカメラ１は、２つの撮影部２１Ａ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、入力部３６、及びＣＰＵ３７を備えている。

撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａに出力する。ＡＦ処理部は、被写体領域を合焦領域として、レンズの焦点位置を決定するだけでなく、後述する処理のために、当該被写体領域とは異なる背景領域を合焦領域として、レンズの焦点位置を決定する。なお、被写体領域及び背景領域は、従来既知の画像認識処理によって特定される。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａに出力する。

また、撮影制御部２２は、レリーズボタン２の半押し操作により被写体までの距離を測定し（測距）、全押し操作により、本撮影の指示を行う。なお、レリーズボタン２が操作される前は、撮影制御部２２は、撮影モード中の撮影画角を決めるための動画（本画像よりも画素数が少なく、かつ、所定時間間隔（例えば１／３０秒間隔）の撮影画像）にて順次取得させる支持を撮影部２１Ａに対して行う。なお、以下において、前記動画を「スルー画」という場合がある。

画像処理部２３は、撮影部２１Ａで取得した画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部２４は、画像処理部２３によって処理が施された画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルは、画像データを含み、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報、並びに後述する三次元形状撮影モードにおける視点位置を表す視点情報が格納される。

フレームメモリ２５は、撮影部２１Ａが取得した画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。

内部メモリ２７は、デジタルカメラ１において設定される各種定数、及びＣＰＵ３７が実行するプログラム等を記憶する。

表示制御部２８は、撮影時においてフレームメモリ２５に格納された画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている画像を液晶モニタ７に表示させたりする。また、表示制御部２８は、スルー画を液晶モニタ７に表示させる。

また、デジタルカメラ１は、三次元処理部３０、距離測定部３１、輻輳角調整部３２、移動量計算部３３、半透明処理部３４、及び整合性判定部３５を備える。

三次元処理部３０は、複数の視点で撮影した複数の画像に対して、三次元処理を行って立体視用画像を生成する。

距離測定部３１は、撮影制御部２２のＡＦ処理部により得られる被写体領域のレンズ焦点位置に基づいて、被写体までの距離を測定すると共に、背景領域のレンズ焦点位置に基づいて、背景までの距離を測定する。

輻輳角調整部３２は、三次元形状撮影モードにおいて撮影される複数の画像間の角度を算出する。なお、三次元処理部３１で立体視用画像を生成する場合、当該算出された輻輳角に基づいて、位置が対応するように複数の画像を重ね合わせる輻輳角調整処理が行われる。

移動量計算部３３は、距離測定部３１により測定された被写体までの距離に基づいて、三次元形状撮影モードで撮影されるときの複数の視間の、最適な移動距離（移動範囲）を計算する。

半透明処理部３４は、撮影された画像（ここでは、複数の視点で撮影するときの、最初の撮影点（撮影開始点）で撮影した画像）に対して、半透明処理を行う。

整合性判定部３５は、各視点で撮影された画像とスルー画とに対して微分処理（例えば、ラプラシアン処理）を行い、微分処理された画像の被写体領域とスルー画の被写体領域の相関係数を算出すると共に、画像の特徴点とスルー画の特徴点の相関係数を算出する。

また、整合性判定部３５は、算出した被写体領域の相関係数が、第１閾値以上である場合に、撮影制御部２２に対して、画像の撮影を指示する。これによって、撮影制御部２２は、自動的に撮影部２１Ａにより撮影が実行される。

ここで、第１の実施の形態では、単眼レンズであるデジタルカメラ１を用いて、特定の被写体５０を対象として三次元形状の要素となり得る、複数の視点で撮影した画像データを取得するモード（三次元形状撮影モード）を備えている。

視点の位置は、デジタルカメラ１を特定の被写体５０の正面で対峙させた状態での、被写体までの距離に基づいて特定することができる（距離測定部３１による測距）。

なお、この測距は実際に撮影したときの測距データを抽出してもよいし（仮撮影）、レリーズボタン２の半押しによる測距データを用いてもよい。

ＣＰＵ３７では、輻輳角調整部３２、移動量計算部３３を制御して、測定された測距データに基づいて、特定の被写体５０における撮影範囲を得る。撮影範囲は、特定の被写体５０の正面（現在のデジタルカメラ１の位置）を中央として、扇状に拡がる撮影範囲（図４Ａ，Ｂに示す角度θ）である。これにより、特定の被写体５０を中心とする円弧軌跡が形成される。

三次元形状撮影モードでは、特定の被写体５０を中心とした円弧軌跡（図４Ａ，Ｂの仮想線５２）の両端を結ぶ直線（弦）５４上であり、かつ少なくとも特定の被写体５０の正面画像を挟むように左右各１点の視点（最低２点）を特定する必要がある。

なお、円弧軌跡の仮想線５２と、直線５４とは近似しているという想定であり、本来は、円弧軌跡の仮想線５２上に視点を設定することが好ましいが、ユーザーに移動を委ねる観点から、直線５４を設定した。

第１の実施の形態では、前記直線５４の両端を視点として特定し、その一端を撮影開始点Ｓ、他端を撮影終了点Ｅとしている。なお、直線５４上に、撮影点（視点）を増加してもよい。ここで、前記角度θは、必ずしも輻輳角と一致するものではなく、視点が撮影開始点点Ｓと撮影終了点Ｅの２点である場合は、角度θが輻輳角となる。

ところで、第１の実施の形態では、図５に示される如く、前記視点が確定すると、まず、特定の被写体５０の正面での測距を促すメッセージを液晶モニタ７のメッセージ表示領域７Ａに表示するようにしている。

また、この特定の被写体５０の正面を基準（すなわち、仮撮影等で測距する位置）として、撮影開始点Ｓへの移動をユーザーへ促すメッセージを液晶モニタ７のメッセージ表示領域７Ａへ表示するようにしている。さらに、液晶モニタ７には、移動方向を案内する矢印画像５８（ここでは、左向き）を表示することで、ユーザーの移動方向を案内するようにしている。

このメッセージ表示領域７Ａに表示されるメッセージや、矢印画像５８の案内によってユーザーが撮影開始点Ｓに到達するか否かは、前述したようにスルー画の特徴点５６の位置変化解析によって自動的に判別できる。この結果、撮影開始点Ｓに到達すると、自動的に撮影が開始されるようになっている。

また、撮影開始点Ｓでの撮影終了後は、撮影終了点Ｅへの移動をユーザへ促すメッセージを液晶モニタ７のメッセージ表示領域７Ａへ表示すると共に、移動方向を案内する矢印画像６０（ここでは、右向き）を表示する。この結果、ユーザーはデジタルカメラ１を持ちながら、図４Ａ，Ｂの直線５４に沿って移動する。

なお、図４Ａは、デジタルカメラ１が、特定の被写体５０に対峙（対向）した理想的な向きで撮影している状態を示しており、一方、図４Ｂは、デジタルカメラ１が特定の被写体５０を向いていない（光軸がずれている）状態を示している。

ここで、第１の実施の形態では、前記撮影開始点Ｓで撮影した画像を液晶モニタ７に半透明画像５０Ｈとして表示するようになっている。この半透明画像５０Ｈは、ユーザーの直線５４に沿った移動の目安となり得る。

直線５４上に設定された視点がある場合は、その時点で自動的に撮影が実行され、撮影終了点Ｅに到達すると、最後の自動撮影が実行される。

撮影された複数の視点（少なくとも、撮影開始点Ｓと撮影終了点Ｅ）の画像データは、特定の被写体５０の三次元形状を生成するための要素として関連付けられて、フレームメモリ２５等に記憶されるようになっている。なお、記録メディア２９へ記憶するようにしてもよい。

以下に第１の実施の形態の作用を説明する。

図６は、第１の実施の形態における三次元形状撮影モード実行制御ルーチンを示すフローチャートである。

ステップ１００では、撮影点数（視点の数）を決定する。この視点の数は、予め定めた数でもよいし、ユーザーが任意に設定するようにしてもよい。なお、視点として、撮影開始点Ｓと撮影終了点Ｅは必須である。

次のステップ１０２では、設定された視点間の輻輳角を特定し、次いでステップ１０４へ移行して、液晶モニタ７のメッセージ表示領域７Ａ（図５参照）に、メッセージ（「被写体の正面に立ち、距離を測定して下さい」）を表示する。なお、このメッセージは、「仮撮影して下さい」や「半押しして距離を測定して下さい」であってもよい。

次のステップ１０６では、撮影（仮撮影）或いは測距が完了したか（測距データを取得したか）否かが判断され、肯定判定されると、ステップ１０８へ移行して特定した輻輳角と、測距データとに基づいて、デジタルカメラ移動量（撮影開始点Ｓから撮影終了点Ｅまで）を演算し、ステップ１１０へ移行する。

ステップ１１０では、液晶モニタ７に移動方向の案内表示（矢印画像５８）を行い、次いで、ステップ１１２へ移行して、液晶モニタ７のメッセージ表示領域７Ａにメッセージ（「撮影開始点へ移動して下さい」）を表示して、ステップ１１４へ移行する。

ステップ１１４では、スルー画により移動を確認したか否かを判断し、否定判定された場合は、移動していないと判断する。また、ステップ１１４で肯定判定された場合は、移動したと判断してステップ１１６へ移行する。ステップ１１６では、当該移動で撮影開始点Ｓに到達したか否かが判断され、否定判定された場合は、ステップ１１４へ戻り、ステップ１１４、１１６での判断を繰り返す。

また、ステップ１１８で肯定判定されると、ユーザー（すなわち、デジタルカメラ１）が撮影開始点Ｓに到達したと判断し、ステップ１１８へ移行して自動撮影処理が実行される。この自動撮影処理では、露出、焦点距離、シャッタースピード、撮影、データ格納等が自動処理される。

次のステップ１２０では、前記撮影開始点Ｓで撮影した画像データに基づいて、液晶モニタ７上に半透明画像５０Ｈを表示して、ステップ１２２へ移行する。この半透明画像５０Ｈの表示は、ユーザーが移動するときの目安とすることができる。なお、半透明画像５０Ｈは、目視の目安であると同時に、特定の被写体５０の画角上の位置ずれを補正するための基準画像にもなり得る。この基準画像は、仮撮影、或いは撮影開始点Ｓで撮影した画像を固定的に適用してもよいし、各視点で撮影する毎に更新するようにしてもよい。

ステップ１２２では、液晶モニタ７に移動方向の案内表示（矢印画像６０）を行い、次いでステップ１２４へ移行して、液晶モニタ７のメッセージ表示領域７Ａにメッセージ（「撮影終了点へ移動して下さい」）を表示して、ステップ１２６へ移行する。

ステップ１２６では、スルー画により移動を確認したか否かを判断し、否定判定された場合は、移動していないと判断する。また、ステップ１２６で肯定判定された場合は、移動したと判断してステップ１２８へ移行する。ステップ１２８では、当該移動で次の撮影点に到達したか否かが判断され、否定判定された場合は、ステップ１２６へ戻り、ステップ１２６、１２８での判断を繰り返す。

また、ステップ１２８で肯定判定されると、ユーザー（すなわち、デジタルカメラ１）が次の撮影点に到達したと判断し、ステップ１３０へ移行して自動撮影処理が実行される。この自動撮影処理では、露出、焦点距離、シャッタースピード、撮影、データ格納、特定の被写体５０の位置補正等の全てが自動処理される。なお、ここでは、図４Ａに基づく、理想的なデジタルカメラ１の向きが理想的な状態であることを前提とし、特定の被写体５０の位置補正に関しては、図４Ｂに基づき後述する。

次のステップ１３２では、この撮影点が撮影終了点Ｅか否かが判断され、否定判定された場合は、撮影を継続するべく、ステップ１２６へ戻る。また、ステップ１３２で肯定判定された場合は、撮影終了点Ｅでの撮影が終了し、少なくとも、図４Ａ，Ｂに示す直線５４（移動範囲）の両端である撮影開始点Ｓと撮影終了点Ｅでの撮影が完了したと判断し、このルーチンは終了する。

以上説明した如く第１の実施の形態では、特定の被写体５０の三次元形状を生成するための要素となる複数視点からの画像データを撮影する場合に、ユーザーに適切に案内することで、特定の被写体５０の正面での測距、測距位置から撮影開始点Ｓまでの移動、並びに撮影開始点Ｓから撮影終了点Ｅまでの移動を促すメッセージを、液晶モニタ７のメッセージ表示領域７Ａ等に表示するようにした。また、スルー画を解析することで、特徴点５６の変移に基づき、デジタルカメラ１の位置を自動で認識、かつ自動撮影するようにしたため、ユーザーガ煩雑な手順をふまなくても、複数の視点の画像を適正に撮影することができる。また、三次元撮影のために移動を案内する器具等も不要である。

なお、第１の実施の形態では、図４Ａの状態、すなわち、デジタルカメラ１（の光軸）が、特定の被写体５０に向いている（対峙している）ことを前提としているが、実際の状況では、デジタルカメラ１の向きは、ユーザーに依存しているため、図４Ｂに示すように、デジタルカメラ１の向きが、特定の被写体５０に向いていない場合がある（図４Ｂの角度α参照）。

この場合、仮撮影或いは撮影開始点Ｓで撮影したときは、画角の中央に存在した特定の被写体５０が、画像の中央からずれることになる。このずれは、図４Ｂの角度αに依存する。

そこで、この特定の被写体５０の変移量（ずれ量）を当該特定の被写体５０と予め設定した特徴点５６との相対位置関係に基づいて演算し、特定の被写体５０が画角の中央になるように補正する。

より具体的には、例えば、図４Ｂの撮影開始点Ｓにおいて、デジタルカメラ１の光軸が紙面の真上に向き、特定の被写体５０との間で角度αとなった場合、特定の被写体５０は、画角の中央よりも右側にずれる。この右側にずれたことは、特定の被写体５０だけでは、判別し難い。そこで、特定の被写体５０の背面に特徴点５６を設定し、特定の被写体５０と特徴点５６との相対位置関係に基づいて、ずれ量を演算し、特定の被写体５０の位置が画角の中央にくるように、画像を補正する。

これにより、ユーザー依存のデジタルカメラ１の向きが理想的（図４Ａ参照）とならなくても、三次元形状を生成するための、複数の視点での画像データを得ることができる。

なお、特定の被写体５０が、画角の中央から大きくずれた場合、その前後で撮影した画像データと合成してもよい。
（第２の実施の形態）
以下に本発明の第２の実施の形態について説明する。なお、第２の実施の形態において、前記第１の実施の形態と同一構成部分については、同一の符号を付し（図面流用含む）、その構成の説明を省略する。

第２の実施の形態の特徴は、ユーザーが図４Ａ，Ｂの直線５４に沿って移動する移動速度を監視する点にある。すなわち、撮影開始点Ｓでの自動撮影後、基本的に予め定めた移動速度よりも速い速度で移動すると、そのときの露出やシャッタースピード等に起因して、適正な撮影ができない場合がある。そこで、第２の実施の形態では、撮影する視点が決定した時点で、移動速度を演算すると共に、液晶モニタ７に移動速度インジケータ部６２を設けている。

移動速度インジケータ部６２は、横長状の表示領域６２Ａと、当該表示領域６２Ａを移動する指標部６２Ｂとで構成されている。

ここで、撮影する視点が決定した時点で移動速度が演算されると、撮影開始点Ｓである表示領域６２Ａの図７Ａの左端に指標部６２Ｂを表示する。

撮影開始点Ｓにおいて、自動撮影が実行されると、指標部６２Ｂは、演算された移動速度に基づいて、前記左端から右端の撮影終了点Ｅまで移動する。すなわち、指標部６２Ｂの移動は、ユーザーが移動するための目安となり、例えば、図７Ｂに示すように、表示領域６２Ａの中央に指標部６２Ｂが到達場合は、現在は特定の被写体５０の正面にいることが適正であるということになる。ユーザーは移動を促されると、この指標部６２Ｂを見ながら移動することで、適正な移動速度を維持しながら移動することができる。

以下に第２の実施の形態の作用を図８のフローチャートに従い説明する。なお、図８のフローチャートは、前述した第１の実施の形態における図６のフローチャートに移動速度に関する処理を付加したものであり、当該図６と同一の処理を行うステップについては、同一の符号の末尾に「Ａ」を付して説明する。

ステップ１００Ａでは、撮影点数（視点の数）を決定する。この視点の数は、予め定めた数でもよいし、ユーザーが任意に設定するようにしてもよい。なお、視点として、撮影開始点Ｓと撮影終了点Ｅは必須である。

次のステップ１０２Ａでは、設定された視点間の輻輳角を特定し、次いでステップ１０４Ａへ移行して、液晶モニタ７のメッセージ表示領域７Ａに、メッセージ（「被写体の正面に立ち、距離を測定して下さい」）を表示する。なお、このメッセージは、「仮撮影して下さい」や「半押しして距離を測定して下さい」であってもよい。

次のステップ１０６Ａでは、撮影（仮撮影）或いは測距が完了したか（測距データを取得したか）否かが判断され、肯定判定されると、ステップ１０８Ａへ移行して特定した輻輳角と、測距データとに基づいて、デジタルカメラ移動量（撮影開始点Ｓから撮影終了点Ｅまで）を演算し、ステップ１０９へ移行する。

ステップ１０９では、ユーザーを促して移動させる移動範囲（図４Ａ，Ｂの直線５４）での移動速度を演算する。この移動速度の演算は、例えば、撮影時の露出やシャッタースピード、特定の被写体５０の変位等に依存する。このステップ１０９で演算される移動速度は、後述する移動速度インジケータ部６２での表示に反映される。ステップ１０９で移動速度が演算されると、ステップステップ１１０Ａへ移行する。

ステップ１１０Ａでは、液晶モニタ７に移動方向の案内表示（矢印画像５８）を行い、次いで、ステップ１１２Ａへ移行して、液晶モニタ７のメッセージ表示領域７Ａにメッセージ（「撮影開始点へ移動して下さい」）を表示して、ステップ１１４Ａへ移行する。

ステップ１１４Ａでは、スルー画により移動を確認したか否かを判断し、否定判定された場合は、移動していないと判断する。また、ステップ１１４Ａで肯定判定された場合は、移動したと判断してステップ１１６Ａへ移行する。ステップ１１６Ａでは、当該移動で撮影開始点Ｓに到達したか否かが判断され、否定判定された場合は、ステップ１１４Ａへ戻り、ステップ１１４Ａ、１１６Ａでの判断を繰り返す。

また、ステップ１１８Ａで肯定判定されると、ユーザー（すなわち、デジタルカメラ１）が撮影開始点Ｓに到達したと判断し、ステップ１１８Ａへ移行して自動撮影処理が実行される。この自動撮影処理では、露出、焦点距離、シャッタースピード、撮影、データ格納等が自動処理される。

次のステップ１２０Ａでは、前記撮影開始点Ｓで撮影した画像データに基づいて、液晶モニタ７上に半透明画像５０Ｈを表示して、ステップ１２３へ移行する。この半透明画像５０Ｈの表示は、ユーザーが移動するときの目安とすることができる。

ステップ１２３では、液晶モニタ７に移動方向の案内表示（矢印画像６０）を行うと共に、前記ステップ１０９で演算した移動速度に応じて、移動速度インジケータ部６２を用いて移動速度の目安となる指標部６２Ｂを表示領域６２Ａの左端に表示する（図７Ａ参照）。次いでステップ１２４Ａへ移行して、液晶モニタ７のメッセージ表示領域７Ａにメッセージ（「撮影終了点へ移動して下さい」）を表示して、ステップ１２６Ａへ移行する。

上記移動速度インジケータ部６２の指標部６２Ｂは、ユーザーが、撮影開始点Ｓから撮影終了点Ｅへ直線５４に沿って移動するときに、表示領域６２Ａに沿って右端へと移動する。このため、図７Ｂに示すように指標部６２Ｂが表示領域６２Ａの中央に位置しているときは、ユーザーは特定の被写体５０の正面にいることが適正位置ということになる。ユーザーはこの指標部６２Ｂの移動状態を見ながら直線５４に沿って移動することで、適正の移動軌跡かつ適正な移動速度で移動することができる。

次のステップ１２６Ａでは、スルー画により移動を確認したか否かを判断し、否定判定された場合は、移動していないと判断する。また、ステップ１２６Ａで肯定判定された場合は、移動したと判断して、ステップ１２７へ移行する。このステップ１２７では、前述した指標部６２Ｂに沿って移動することが適正であるが、スルー画の解析によって、ユーザーが指標部６２Ｂと所定以上離れた位置になったことが判明した場合、ステップ１２７で否定判定されて、ステップ１２９へ移行する。ステップ１２９では、強制的に三次元形状撮影モードによる撮影を中止する処理を実行して、このルーチンは終了する。なお、この撮影を中止する処理には、例えば、「移動速度が適正ではなないので、撮影を中止します」や「再度距離測定からやり直して下さい」等のメッセージを液晶モニタ７に表示してもよい。

一方、前記ステップ１２９で肯定判定、すなわち、移動速度が適正である場合は、ステップ１２８Ａへ移行する。ステップ１２８Ａでは、当該移動で次の撮影点に到達したか否かが判断され、否定判定された場合は、ステップ１２６Ａへ戻り、ステップ１２６Ａ、１２７、１２８Ａでの判断を繰り返す。

また、ステップ１２８Ａで肯定判定されると、ユーザー（すなわち、デジタルカメラ１）が次の撮影点に到達したと判断し、ステップ１３０Ａへ移行して自動撮影処理が実行される。この自動撮影処理では、露出、焦点距離、シャッタースピード、撮影、データ格納、特定の被写体５０の位置補正（図４Ｂ参照）等が自動処理される。

次のステップ１３２Ａでは、この撮影点が撮影終了点Ｅか否かが判断され、否定判定された場合は、撮影を継続するべく、ステップ１２６Ａへ戻る。また、ステップ１３２Ａで肯定判定された場合は、撮影終了点Ｅでの撮影が終了し、少なくとも、図４Ａ，Ｂに示す直線５４（移動範囲）の両端である撮影開始点Ｓと撮影終了点Ｅでの撮影が完了したと判断し、このルーチンは終了する。

なお、上記第１の実施の形態及び第２の実施の形態の三次元形状撮影モードの実行処理ルーチンをプログラム化してもよい。

日本出願特願２０１０−１４９６８１号公報の開示はその全体が参照により本明細書に取り込まれる。
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１ デジタルカメラ
２ レリーズボタン
７ 液晶モニタ
７Ａ メッセージ表示領域
２１Ａ 撮影部
２２ 撮影制御部
２８ 表示制御部
３０ 三次元処理部
３１ 距離測定部
３２ 輻輳角調整部
３３ 移動量計算部
３４ 半透明処理部
３５ 整合性判定部
５０ 特定の被写体
５０Ｈ 半透明画像
５２ 仮想線
５４ 直線
５６ 特徴点
５８ 矢印画像
６０ 矢印画像
６２ 移動速度インジケータ部
６２Ａ 表示領域
６２Ｂ 指標部

本発明の第１の態様に係る発明は、画像を撮影する撮影部と、撮影画角を決定するための動画を表示画面に表示する動画像表示部と、前記動画像表示部で表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定する測距部と、複数の撮影視点から撮影するときの撮影視点間の輻輳角を取得する取得部と、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定する視点数設定部と、前記取得部で取得した輻輳角データ、及び前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、前記測距部によって前記特定の被写体を仮撮影したときの仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算する位置情報演算部と、前記位置情報演算部で演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行する報知部と、を有している。

本発明の第２の態様に係る発明は、第１の態様に係る発明において、前記移動に応じて、撮影開始点を基準画像とし、当該基準画像と移動後の撮影画像との比較に基づいて、撮影すべき視点か否かを判定する判定部と、前記判定部で撮影点であると判定された場合に、当該撮影点において自動的に前記被写体を撮影する自動撮影実行制御部と、自動撮影実行制御部で撮影した画像データを、前記特定の被写体の三次元形状を表現するための要素データとして格納する格納部と、をさらに有する。

本発明の第４の態様に係る発明は、第２又は第３の態様に係る発明において、前記判定部は、前記基準画像と移動後の撮影画像上での前記特定の被写体の位置ずれを補正した場合の予め設定した背景画像のずれ量に基づいて、前記移動後の撮影画像に対する撮影視点が撮影すべき視点か否かを判定する。

本発明の第５の態様に係る発明は、第２〜第４の何れかの一つの態様に係る発明において、前記撮影開始点から前記撮影終了点までの移動速度を計測する計測部と、前記計測部で計測した移動速度が所定以上の場合に、自動撮影続行不可能と判定し、前記自動撮影実行制御部による撮影を中止する中止部と、をさらに有する。

本発明の第６の態様に係る発明は、第１〜第５の何れかの一つの態様に係る発明において、前記撮影終了点よりも前の撮影点で撮影した画像を前記表示画面に、所定の透過度を持って表示する。

本発明の第７の態様に係る発明は、第１〜第６の何れかの一つの態様に係る発明において、前記撮影開始点から前記撮影終了点までの移動軌跡が、前記被写体を中心とした円弧軌跡であり、前記測距点が移動範囲の中央に位置する。

本発明の第８の態様に係る発明は、第１〜第７の何れかの一つの態様に係る発明において、前記撮影開始点及び前記撮影終了点の２箇所を少なくとも含み、撮影点は自動又は手動で設定される。

本発明の第９の態様に係る発明は、撮影画角を決定するための動画を表示画面に表示し、表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定し、複数の撮影視点から撮影するときの撮影視点及び撮影視点間の輻輳角を取得して、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定し、取得した輻輳角データ、及び測定した測距点から前記特定の被写体までの距離データに基づき、前記特定の被写体を仮撮影したときの仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算し、演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行することを特徴としている。

本発明の第１０の態様に係る発明は、撮影画角を決定するための動画を表示画面に表示し、表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定し、複数の撮影視点から撮影するときの撮影視点及び撮影視点間の輻輳角を取得して、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定し、取得した輻輳角データ、及び測定した測距点から前記特定の被写体までの距離データに基づき、前記特定の被写体を仮撮影したときの仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算し、演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行することを、コンピュータに実行させる。

Claims (10)

1. 画像を撮影する撮影部と、
   撮影画角を決定するための動画を表示画面に表示する動画像表示部と、
   前記動画像表示部で表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定する測距部と、
   複数の撮影視点から撮影するときの撮影視点間の輻輳角を取得する取得部と、
   少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定する視点数設定部と、
   前記輻輳角データ、並びに前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、かつ、並びに前記仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算する位置情報演算部と、
   前記位置情報演算部で演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行する報知部と、
   を有する多視点撮影制御装置。
2. 前記移動に応じて、撮影開始点を基準画像とし、当該基準画像と移動後の撮影画像との比較に基づいて、撮影すべき視点か否かを判定する判定部と、
   前記判定部で撮影点であると判定された場合に、当該撮影点において自動的に前記被写体を撮影する自動撮影実行制御部と、
   自動撮影実行制御部で撮影した画像データを前記要素データとして格納する格納部と、
   をさらに有する請求項１記載の多視点撮影制御装置。
3. 前記自動撮影実行制御部で自動撮影した撮影開始点以降の撮影点の視点画像を新たな基準画像として更新する請求項２記載の多視点撮影制御装置。
4. 前記判定部は、前記基準画像と移動後の撮影画像上での前記特定の被写体の位置ずれを補正した場合の予め設定した背景画像のずれ量に基づいて、
   前記移動後の撮影画像に対する撮影視点が撮影すべき視点か否かを判定する請求項２又は請求項３記載の多視点撮影制御装置。
5. 前記撮影終了点よりも前の撮影点で撮影した画像を前記表示画面に、所定の透過度を持って表示する請求項１〜請求項４の何れか１項記載の多視点撮影制御装置。
6. 前記撮影開始点から前記撮影終了点までの移動軌跡が、前記被写体を中心とした円弧軌跡であり、前記測距点が移動範囲の中央に位置する請求項１〜請求項５の何れか１項記載の多視点撮影制御装置。
7. 前記撮影開始点及び前記撮影終了点の２箇所を少なくとも含み、撮影点は自動又は手動で設定される請求項１〜請求項６の何れか１項記載の多視点撮影制御装置。
8. 前記撮影開始点から前記撮影終了点までの移動速度を計測する計測部と、
   前記計測部で計測した移動速度が所定以上の場合に、自動撮影続行不可能と判定し、前記自動撮影実行制御部による撮影を中止する中止部と、
   をさらに有する請求項１〜請求項７記載の多視点撮影制御装置。
9. 撮影画角を決定するための動画を表示画面に表示し、表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定し、
   複数の撮影視点から撮影ときの撮影視点及び撮影視点間の輻輳角を取得して、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定し、
   前記輻輳角データ、並びに前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、かつ、並びに前記仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算し、
   演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行する多視点撮影制御方法。
10. 撮影画角を決定するための動画を表示画面に表示し、表示されている動画に含まれる特定の被写体を仮撮影し、少なくとも前記特定の被写体までの距離を測定し、
    複数の撮影視点から撮影ときの撮影視点及び撮影視点間の輻輳角を取得して、少なくとも最初に撮影する撮影開始点、並びに、最後に撮影する撮影終了点を含む視点数を設定し、
    前記輻輳角データ、並びに前記測距部で測定した測距点から前記特定の被写体までの距離データに基づき、かつ、並びに前記仮撮影位置の視点が中心となるように、前記最初に撮影する撮影開始点から最後に撮影する撮影終了点までの移動量を含む位置情報を演算し、
    演算した位置情報に基づいて、前記測距点から撮影開始点までの移動を促す報知、並びに、前記撮影開始点から前記撮影終了点までの移動を促す報知を実行することを、
    コンピュータに実行させる多視点撮影制御プログラム。