JP2024102803A - 撮像装置 - Google Patents

Abstract

【課題】被写体のモデリングを行い易くする画像撮影を行うことができる撮像装置を提供する。【解決手段】被写体のモデリングのための画像撮影をユーザに行わせる撮像装置（１００）は、被写体を撮像して、画像データを生成する撮像部（１４０）と、ユーザに対する情報を出力する出力部（１５０）と、被写体のモデリングのための、撮像部による複数回の撮像を含む画像撮影動作が、撮像装置により実行される状況を認識して、出力部を制御する制御部（１８０）とを備える。制御部は、画像撮影動作において認識した状況に応じて、被写体のモデリングのための複数の画像の撮影をそれぞれ成功させるようにユーザをガイドする撮影ガイド情報（２０，３１～３３）を、出力部に出力させる。【選択図】図１

Description

本開示は、被写体のモデリングのための画像撮影動作を行う撮像装置に関する。

引用文献１は、立体物を撮影し、その立体データを生成する立体データ生成装置、及びこれに使用する撮像装置を開示する。立体データ生成装置は、被写体を撮像する撮像手段と、被写体までの距離情報を取得する距離情報取得手段と、被写体の、距離情報を取得できていない距離未定領域を判定する判定手段と、距離未定領域をユーザに通知する通知手段とを有する。立体データ生成装置は、被写体の距離情報を取得できていない領域を通知することで、ユーザに再撮影を促している。

特開２０１７－２２７６０８号公報

本開示は、被写体のモデリングを行い易くする画像撮影を行うことができる撮像装置を提供する。

本開示の一態様において、被写体のモデリングのための画像撮影をユーザに行わせる撮像装置が提供される。撮像装置は、被写体を撮像して、画像データを生成する撮像部と、ユーザに対する情報を出力する出力部と、被写体のモデリングのための、撮像部による複数回の撮像を含む画像撮影動作が、撮像装置により実行される状況を認識して、出力部を制御する制御部とを備える。制御部は、画像撮影動作において認識した状況に応じて、被写体のモデリングのための複数の画像の撮影をそれぞれ成功させるようにユーザをガイドする撮影ガイド情報を、出力部に出力させる。

本開示の別の態様において、撮像装置は、被写体を撮像して、画像データを生成する撮像部と、被写体のモデリングのための、被写体における複数の撮影部分についての所定の撮影設定による複数回の撮像を含む画像撮影動作を制御する制御部とを備える。制御部は、複数の撮影部分のうちの特定の撮影部分には、所定の撮影設定による画像撮影に加えて、所定の撮影設定とは異なる追加の撮影設定による画像撮影を行うように画像撮影動作を制御する。特定の撮影部分は、所定の撮影設定により撮影された画像において所定値未満となる、モデリングのための特徴量を有する。

本開示における撮像装置によると、被写体のモデリングを行い易くする画像撮影を行うことができる。

本開示の実施形態１に係る撮像システムを説明するための図 実施形態１に係るデジタルカメラの構成を示す図 デジタルカメラによるスキャン撮影動作を例示するフローチャート スキャン撮影動作における被写体マップを説明するための図 デジタルカメラによる撮影ガイド処理を例示するフローチャート 撮影ガイド処理における方向ガイドを説明するための図 撮影ガイド処理における表示例を示す図 デジタルカメラによる間引き保存処理を例示するフローチャート 撮像システムの変形例を説明するための図 実施形態２に係るデジタルカメラによるスキャン撮影動作を例示するフローチャート 実施形態２のデジタルカメラにおけるガイド表示の一例を示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態１）
１．構成
１－１．システム概要
本開示の実施形態１に係る撮像システムについて、図１を用いて説明する。

本実施形態に係る撮像システム１０は、例えば図１に示すように、デジタルカメラ１００と、画像編集ＰＣ（パーソナルコンピュータ）２００とを備える。本システム１０は、例えばデジタルカメラ１００による画像撮影の結果を解析するフォトグラメトリ技術により、ユーザ所望の被写体１１の３次元形状および質感などを再現するモデリングの情報処理を行う。

図１では、デジタルカメラ１００のユーザが、靴といった所望の被写体１１の周囲にわたり、画像撮影を行う例を示している。本システム１０では、例えば画像編集ＰＣ２００において、こうした撮影結果に基づきモデリング処理を行うことにより、被写体１１を任意の方向から見た画像を示す被写体モデル１２が生成される。

こうした被写体モデル１２は、例えばＥコマースにおいてオンラインで商品（被写体１１）の外観を確認するための商品画像におけるリアリティを高める用途に適用可能である。従来のリアリティが低い商品画像では、例えばリユース品等の商品のキズ又は汚れといった状態を再現し難く、購入前の商品画像と購入後の実物との間の乖離が大きい。こうした乖離は、例えば返品対応など、購入者と販売者との両者に負担を招いてしまう。

そこで、本システム１０は、例えばＥコマースの商品を被写体１１とするモデリング処理の入力にデジタルカメラ１００の画像撮影を用いることにより、従来の商品画像では困難な商品の状態および質感の再現など、実物からの乖離を低減できる。こうして、本システム１０は、商品画像のリアリティを高めることで購入者に商品価値を可視化し易くでき、販売者にとっても有用に利用可能である。

１－２．デジタルカメラの構成
実施形態１に係るデジタルカメラの構成について、図２を用いて説明する。

図２は、本実施形態に係るデジタルカメラ１００の構成を示す図である。本実施形態のデジタルカメラ１００は、光学系１１０と、レンズ駆動部１２０と、イメージセンサ１４０とを備える。さらに、デジタルカメラ１００は、画像処理部１６０と、バッファメモリ１７０と、制御部１８０と、操作部２１０と、表示モニタ１５０と、加速度センサ２３０と、ジャイロセンサ２５０とを備える。さらに、デジタルカメラ１００は、フラッシュメモリ２４０と、カードスロット１９０と、通信モジュール２６０と、マイク２７０と、スピーカ２８０とを備える。

光学系１１０は、ズームレンズ及びフォーカスレンズ等を含む。ズームレンズは、光学系で形成される被写体像の倍率を変化させるためのレンズである。フォーカスレンズは、イメージセンサ１４０上に形成される被写体像のフォーカス状態を変化させるためのレンズである。ズームレンズ及びフォーカスレンズは、１枚又は複数枚のレンズで構成される。

レンズ駆動部１２０は、フォーカスレンズ等の光学系１１０の各種レンズをそれぞれ駆動するための構成を含む。例えば、レンズ駆動部１２０はモータを含み、制御部１８０の制御に基づいてフォーカスレンズを光学系１１０の光軸に沿って移動させる。レンズ駆動部１２０においてフォーカスレンズを駆動する構成は、ＤＣモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。

イメージセンサ１４０は、光学系１１０を介して入射される被写体像を撮像して画像データを生成する。イメージセンサ１４０により生成された画像データは、画像処理部１６０に入力される。

イメージセンサ１４０は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。イメージセンサ１４０における、撮像データの生成タイミングおよび電子シャッタ動作は、制御部１８０によって制御される。イメージセンサ１４０は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ、またはＮＭＯＳイメージセンサなど、種々のイメージセンサを用いることができる。

イメージセンサ１４０は、動画像や静止画像の撮像動作、ライブビュー画像の撮像動作等を実行する。ライブビュー画像は主に動画像であり、ユーザが構図を決めるために表示モニタ１５０に表示される。イメージセンサ１４０は、本実施形態における撮像部の一例である。

画像処理部１６０は、イメージセンサ１４０から出力された画像信号に対して所定の処理を施して画像データを生成したり、画像データに各種の処理を施して、表示モニタ１５０に表示するための画像を生成したりする。所定の処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理部１６０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータ、プロセッサなどで構成してもよい。

バッファメモリ１７０は、画像処理部１６０や制御部１８０のワークメモリとして機能する記録媒体である。バッファメモリ１７０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。フラッシュメモリ２４０は不揮発性の記録媒体である。各メモリ１７０，２４０は、それぞれ本実施形態における記憶部の一例である。

制御部１８０は、デジタルカメラ１００全体の動作を制御する。制御部１８０は、制御動作や画像処理動作の際に、バッファメモリ１７０をワークメモリとして使用する。

制御部１８０はＣＰＵまたはＭＰＵを含み、ＣＰＵまたはＭＰＵがプログラム（ソフトウェア）を実行することで所定の機能を実現する。制御部１８０は、ＣＰＵ等に代えて、所定の機能を実現するように設計された専用の電子回路で構成されるプロセッサを含んでもよい。すなわち、制御部１８０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣ等の種々のプロセッサで実現できる。制御部１８０は１つまたは複数のプロセッサで構成してもよい。

カードスロット１９０は、メモリカード２００を装着可能であり、制御部１８０からの制御に基づいてメモリカード２００に対してアクセスをする。デジタルカメラ１００は、メモリカード２００に画像データを記録したり、メモリカード２００から記録した画像データを読み出したりすることができる。

操作部２１０は、ユーザからの操作（指示）を受け付ける操作部材の総称である。操作部２１０は、ユーザ操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含み、例えば動画記録ボタン及びファンクションボタンなどを含む。また、操作部２１０は、表示モニタ１５０等に表示される仮想的なボタンやアイコンも含んでもよい。

表示モニタ１５０は、種々の情報を表示する表示部の一例（ひいては出力部の一例）である。例えば、表示モニタ１５０は、イメージセンサ１４０で撮像され、画像処理部１６０で画像処理された画像データが示す画像（ライブビュー画像）を表示する。また、表示モニタ１５０は、ユーザがデジタルカメラ１００に対して種々の設定を行うためのメニュー画面等を表示する。表示モニタ１５０は、例えば、液晶ディスプレイデバイスまたは有機ＥＬデバイスで構成できる。

加速度センサ２３０は、例えば互いに直交する３軸方向のうちの１つ以上の加速度すなわち単位時間当たりの速度変化を検出して、検出結果を示す加速度情報を制御部１８０に出力する。加速度センサ２３０は、本実施形態における検出部の一例である。

ジャイロセンサ２５０は、デジタルカメラ１００において、例えばヨー方向、ピッチ方向及びロール方向のうちの１つ以上の角速度すなわち単位時間あたりの角度変化を検出して、検出結果を示すジャイロ情報を制御部１８０に出力する。ジャイロセンサ２５０は、本実施形態における検出部の一例である。

通信モジュール２６０は、通信規格ＩＥＥＥ８０２．１１またはＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ等の規格に準拠した通信を行うモジュール（回路）である。デジタルカメラ１００は、通信モジュール２６０を介して、他の機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。通信モジュール２６０は、インターネット等の通信ネットワークに接続可能であってもよい。又、デジタルカメラ１００は、ＧＰＳ衛星等から受信する情報に基づき測位を行う測位部（検出部の一例）をさらに備えてもよい。通信モジュール２６０は、種々の外部機器に通信接続する接続部の一例（ひいては出力部の一例）である。

マイク２７０は、例えばデジタルカメラ１００に内蔵された１つ以上のマイクロホン素子を含み、デジタルカメラ１００の外部の音声を収音する検出部の一例である。マイク２７０は、収音した音声を示す音声信号を制御部１８０に出力する。デジタルカメラ１００では、外付けのマイクが用いられてもよい。デジタルカメラ１００は、内蔵のマイク２７０に代えて又はこれに加えて、外付けのマイクに接続する端子等の接続部を検出部として備えてもよい。

スピーカ２８０は、例えばデジタルカメラ１００に内蔵された１つ以上のスピーカ素子を含み、制御部１８０からの制御によりデジタルカメラ１００の外部に音声を出力する出力部の一例である。デジタルカメラ１００では、外付けのスピーカ又はイヤホン等が用いられてもよい。デジタルカメラ１００は、内蔵のスピーカ２８０に代えて又はこれに加えて、外付けのスピーカ等に接続する接続部を出力部として備えてもよい。

２．動作
本実施形態における撮像システム１０及びデジタルカメラ１００の動作について、以下説明する。

本システム１０（図１）のデジタルカメラ１００は、例えば動画撮影において被写体１１の種々の画像をユーザに撮影させるための動作を実行する（以下「スキャン撮影動作」という）。本実施形態のスキャン撮影動作において、デジタルカメラ１００は、撮影された動画に基づいて、モデリング処理の入力に用いる撮影データを生成する。本実施形態のスキャン撮影動作は、被写体１１のモデリングのための画像撮影動作の一例である。

本システム１０において、上記のようにデジタルカメラ１００で生成されたモデリング用の撮影データは、例えばユーザにより可搬性を有する記録媒体を介して、或いは有線又は無線のデータ通信により、画像編集ＰＣ２００に入力される。画像編集ＰＣ２００は、入力されたモデリング用の撮影データに基づいてモデリング処理を実行して、被写体モデル１２を生成する。

本システム１０におけるモデリング処理は、例えばフレーム毎の画像の撮影時におけるデジタルカメラ１００と被写体１１との位置関係を推定するアライメント処理、および当該画像における被写体１１の特徴点を点群データとして抽出する処理を含む。又、モデリング処理は、こうして得られた各種情報から、被写体１１の３次元形状を示すメッシュデータを形成すると共に、被写体１１の各部の質感を示すテクスチャデータを構築する。被写体モデル１２は、例えばこのようなメッシュデータ及びテクスチャデータで構成される。

こうしたモデリング処理では、その入力とする画像の撮影精度が低い場合に、処理精度の低下あるいは処理負荷の増大を招いてしまうことが想定される。また、撮影結果のデータ量が無駄に多いことによっても、モデリング処理を行い難くなる事態が懸念される。そこで、本実施形態のデジタルカメラ１００は、こうしたモデリング処理を行い易くする観点から、その前処理として精度良く被写体１１が撮影された画像を得るべくスキャン撮影動作を行う。

２－１．スキャン撮影動作
本システム１０におけるスキャン撮影動作について、図３～４を用いて説明する。

図３は、デジタルカメラ１００によるスキャン撮影動作を例示するフローチャートである。図３のフローは、例えば図１に示すようにユーザがデジタルカメラ１００により被写体１１の動画撮影を行う際に開始される。本フローに示す各処理は、例えばデジタルカメラ１００の制御部１８０によって実行される。

まず、本実施形態のデジタルカメラ１００において、制御部１８０は、スキャン撮影動作の対象とする被写体１１に応じて、ユーザに、被写体１１における様々な部分の画像撮影を包括的にガイドするためのマップ情報である被写体マップを生成する（Ｓ１）。図４は、スキャン撮影動作における被写体マップ２０を説明するための図である。

図４（Ａ）は、図１の被写体１１についてのスキャン撮影動作の初期における表示モニタ１５０の表示例を示す。表示モニタ１５０は、例えばデジタルカメラ１００のライブビュー画像に重畳するように被写体マップ２０を表示する。

被写体マップ２０は、例えば図４（Ａ）に示すように、撮影ポインタ２１と、複数の部分領域２２とを含む。撮影ポインタ２１は、被写体マップ２０においてデジタルカメラ１００による撮影中の画像に対応する位置を示す。複数の部分領域２２は、スキャン撮影動作において被写体マップ２０上でそれぞれ画像を撮影すべき複数の部分を示す。

本実施形態の被写体マップ２０は、例えば図４（Ａ）に示すように、被写体１１の３次元形状に沿った全体形状を有し、当該全体形状を分割するように複数の部分領域２２を配置して構成される。各部分領域２２は、例えば、対応する撮影画像において被写体モデル１２のテクスチャデータへの使用が想定される部分を示す。被写体マップ２０における各部分領域２２は、例えば、被写体モデル１２における各部の解像度を揃える観点から、互いに共通のサイズを有する。

ステップＳ１の処理は、例えば、ユーザが所望の被写体１１にデジタルカメラ１００のピントを合わせることに応答して、デジタルカメラ１００が自動的にライブビュー画像に基づきピントが合った被写体１１の属性等を認識することによって行われる。こうした画像認識には、例えばオートフォーカス動作のための機械学習モデル等を利用できる。制御部１８０は、被写体１１の画像認識により得られる情報に基づき、被写体１１の形状に類似するように被写体マップ２０を作成して（Ｓ１）、スキャン撮影動作中に随時、更新する。

さらに、図３のフローにおいて、デジタルカメラ１００の制御部１８０は、被写体１１のモデリングのための動画撮影を開始する（Ｓ２）。こうした動画撮影（Ｓ２～Ｓ５）において、本実施形態のデジタルカメラ１００は、例えばモデリング処理における用途別に異なる画質を有する複数の動画として、テクスチャ動画とアライメント動画とを同時並行に撮影する。

テクスチャ動画は、モデリング処理において被写体モデル１２におけるテクスチャデータの構築に用いる画像を含む。テクスチャ用の画像には、例えばユーザが被写体モデル１２に望む画質が採用される。ステップＳ２において、制御部１８０は、例えばテクスチャ用の画像の画質に従って、動画撮影におけるフレーム毎の撮像における解像度および露出などの撮影設定を初期調整する。

アライメント動画は、モデリング処理におけるアライメント処理及び特徴点の抽出処理などに用いる画像を含む。アライメント用の画像には、例えば上記処理の精度および処理負荷の観点から適した画質が採用される。例えば、アライメント用の画像の解像度は、テクスチャ用の画像の解像度よりも低く設定できる。アライメント動画は、デジタルカメラ１００におけるテクスチャ動画に対するプロキシ記録として得られてもよい。各動画は、例えばＦＨＤ、４Ｋ、６Ｋ又は８Ｋなどの解像度を有する。

ステップＳ２で開始される動画撮影中に、制御部１８０は、例えば被写体マップ２０を用いて、被写体１１の画像を精度良く撮影させるようにユーザをガイドする処理を実行する（Ｓ３）。こうした撮影ガイド処理（Ｓ３）における被写体マップ２０の表示例を図４（Ｂ）に例示する。

図４（Ｂ）では、図４（Ａ）に例示した被写体マップ２０における一部の部分領域２２が、撮影済みとして更新された例を示す。本実施形態の撮影ガイド処理（Ｓ３）では、被写体マップ２０において撮影済みの部分領域２２の色彩などの表示属性を、未撮影の部分領域２２から異ならせる更新が逐次、行われる。こうして、未撮影の部分領域２２の画像撮影をユーザにガイドすることができる。

又、図４（Ｂ）の例では、図４（Ａ）の例よりもデジタルカメラ１００と被写体１１との間の撮影距離が近付いた場合を例示する。この場合、撮影ポインタ２１のサイズがより大きく表示される。本実施形態の撮影ガイド処理（Ｓ３）では、制御部１８０は、例えば被写体マップ２０における部分領域２２毎に、ユーザが当該部分領域２２について画像の撮影精度が確保された撮影成功に到るための各種の撮影ガイド情報をユーザに提示する。撮影ガイド処理（Ｓ３）の詳細については後述する。

制御部１８０は、例えば被写体マップ２０における全ての部分領域２２の画像撮影が完了したか否かを判断する（Ｓ４）。制御部１８０は、全ての部分領域２２の画像撮影が完了していない場合（Ｓ４でＮＯ）、画像撮影が完了していない部分領域２２について撮影ガイド処理（Ｓ３）を再度、行う。本実施形態のデジタルカメラ１００においては、撮影ガイド処理（Ｓ３）を繰り返すことにより、被写体マップ２０に沿ってスキャン撮影動作が進行する。

制御部１８０は、例えば全ての部分領域２２の画像撮影が完了すると（Ｓ４でＹＥＳ）、テクスチャ動画とアライメント動画の撮影を終了する（Ｓ５）。制御部１８０は、各々の動画データを、例えば一時的に記憶（即ち保持）するべく、例えばバッファメモリ１７０に格納する。

次に、本実施形態のデジタルカメラ１００において、制御部１８０は、撮影された各動画からモデリング用の撮影データを保存する処理を行う（Ｓ６）。本実施形態の間引き保存処理（Ｓ６）では、テクスチャ動画及びアライメント動画から、モデリング処理において不要と想定される画像を間引いて、モデリング用の撮影データが保存される。間引き保存処理（Ｓ６）の詳細については後述する。

デジタルカメラ１００の制御部１８０は、モデリング用の撮影データの保存により（Ｓ６）、図３のフローに示す処理を終了する。その後、例えば画像編集ＰＣ２００にモデリング用の撮影データが入力されると、被写体１１のモデリング処理が行われて、被写体モデル１２が得られる。

以上のスキャン撮影動作によると、動画撮影においてシームレスに被写体１１のモデリングに適した撮影結果を精度良く得るためのガイドをユーザに提供し（Ｓ１，Ｓ３）、且つモデリング処理に適したデータ取得を行える（Ｓ２～Ｓ６）。こうして、本実施形態のデジタルカメラ１００は、例えば画像編集ＰＣ２００とユーザとの双方にとって、被写体１１のモデリングを行い易くするための画像撮影を実現することができる。

２－１－１．被写体マップについて
ステップＳ１で作成される被写体マップ２０において、部分領域２２のサイズは、例えば被写体モデル１２のテクスチャデータに求められる解像度に応じて予め設定される。又、被写体マップ２０における部分領域２２の個数は、例えばモデリング用の撮影データに含める画像の枚数に対応する。図４（Ｃ）に、被写体マップ２０の変形例を示す。

図４（Ｃ）は、図４（Ａ）の例よりもテクスチャデータの解像度が低い場合の被写体マップ２０を例示する。制御部１８０は、例えばテクスチャデータの解像度が低いほど部分領域２２のサイズを大きく設定する。こうして、被写体マップ２０における部分領域２２の個数が減り、ひいてはモデリング用の撮影データに含められる画像の枚数を減らすことができる。一方、図４（Ａ）の例のように、部分領域２２のサイズが小さく設定された場合、被写体モデル１２を高精細にすることができる。

上記のステップＳ１では、デジタルカメラ１００による自動的な被写体１１の属性認識により、被写体マップ２０を作成する例を説明したが、これに限らず、ユーザが被写体１１の属性を指定してもよい。例えば、デジタルカメラ１００において、種々の被写体の属性を選択するための設定メニュー等が提供されてもよい。例えば、被写体の属性は、靴などの物品、花などの植物、あるいは猫などの動物というように予め各種物体を分類した複数の選択肢から選択される。

例えば、本システム１０は、予め分類された被写体の各種属性について、機械学習などにより被写体マップの雛形を用意しておき、制御部１８０は、スキャン撮影動作時において、画像認識などにより雛形のマップ形状を補正して被写体マップ２０を作成する（Ｓ１）。或いは、こうした補正を省略して、雛形の被写体マップ２０がスキャン撮影動作で利用されてもよい。

２－１－２．複数画質の動画撮影について
又、ステップＳ２～Ｓ５における動画撮影において、制御部１８０は、イメージセンサ１４０による撮像結果の撮像データに、画像処理部１６０においてテクスチャ用の画質の画像処理を施して、テクスチャ動画データを生成する。さらに、制御部１８０は、同じ撮像データに、画像処理部１６０においてアライメント用の画質の画像処理を施して、アライメント動画データを生成してもよいし、テクスチャ動画データからの変換によりアライメント動画データを生成してもよい。

テクスチャ動画の画質は、上述した解像度に加えて、例えばユーザが被写体モデル１２に反映したい色合い及び雰囲気に応じたフォトスタイル、露出およびダイナミックレンジ等を含む。あるいは、デジタルカメラ１００の制御部１８０が、被写体１１の属性および撮影環境などの画像認識により、テクスチャ動画の画質を設定してもよい。

また、アライメント動画は、例えば、モデリング処理におけるアライメント処理及び特徴点の抽出処理を行い易くする観点から、ダイナミックレンジを大きく確保するべく、Ｌｏｇ撮影のガンマ曲線を適用してもよい。又、アライメント動画には、上記処理を行い易くするためのフォトスタイルが設定されてもよい。例えば、制御部１８０は、被写体１１の反射率及び法線方向といったアルベド情報の画像認識により、特徴点を強調するようなフォトスタイル等の画質設定を行ってもよい。

テクスチャ動画及びアライメント動画は、例えば所定のフレームレート（例えば３０ｆｐｓ）におけるフレーム毎に互いに対応付けて管理される。各動画のフレームレートは特に限定されず、例えば１ｆｐｓであってもよい。又、各々の動画データには、撮影中の各種状態を示すメタ情報が含められる。

２－２．撮影ガイド処理
図３のステップＳ３における撮影ガイド処理の詳細について、図５～７を用いて説明する。

図５は、デジタルカメラ１００による撮影ガイド処理を例示するフローチャートである。図６は、撮影ガイド処理における方向ガイドを説明するための図である。図７は、撮影ガイド処理における表示例を示す図である。

まず、制御部１８０は、スキャン撮影動作において撮影中の画像などデジタルカメラ１００で検出される種々の情報に基づいて、現在の撮影の状況を認識する（Ｓ１０）。撮影状況は、例えば被写体１１に対するデジタルカメラ１００の位置、距離および方向といった位置関係を含む。撮影状況は、撮影環境における照明等の状態を含んでもよいし、デジタルカメラ１００の撮影設定など各種の内部状態を含んでもよい。

ステップＳ１０において、制御部１８０は、例えば画像認識によりＳＬＡＭ（Simultaneous Localization And Mapping）等の自己位置推定の解析を行う。この際、制御部１８０は、デジタルカメラ１００における加速度センサ２３０の検出結果を用いて撮影位置の移動量を算出したり、ジャイロセンサ２５０の検出結果を用いて撮影方向の変化量を算出したりしてもよい。さらに、制御部１８０は、画像上の測光手法あるいは測光用のセンサにより、撮影環境の照明状態を認識してもよい。制御部１８０は、認識した照明状態と、デジタルカメラ１００における露出設定とを関連付けて管理してもよい。

制御部１８０は、認識した撮影状況の情報に基づいて、被写体マップ２０において現在の位置関係の撮影ポインタ２１を配置する（Ｓ１１）。例えば、制御部１８０は、現在の撮影位置および撮影方向を反映するように、被写体マップ２０における撮影ポインタ２１の位置を制御する。

又、ステップＳ１１において、制御部１８０は、現在の撮影距離に応じて撮影ポインタ２１のサイズを、近距離ほど拡大するように制御する（図４（Ａ），（Ｂ）参照）。撮影ポインタ２１のサイズは、光学ズームのズームイン／アウト或いは撮影中の画像の解像度の高／低に応じて拡大／縮小されてもよい。撮影ポインタ２１が示す撮影距離は、例えば被写体マップ２０上の撮影ポインタ２１の位置に対応する被写体１１上の位置から、デジタルカメラ１００の撮影位置までの実質的な距離として測定される。

制御部１８０は、配置した撮影ポインタ２１が、被写体マップ２０において未だ撮影成功に到っていない新たな部分領域２２に合致するか否かを判断する（Ｓ１２）。例えば、ステップＳ１２の判断は、撮影ポインタ２１の位置及びサイズと、１つの未撮影の部分領域２２の位置及びサイズとが同一である場合にＹＥＳであり、そうでない場合はＮＯである。ステップＳ１２の判断には適宜、許容範囲が用いられてもよい。

制御部１８０は、撮影ポインタ２１が被写体マップ２０において新たな部分領域２２に合致しないと判断すると（Ｓ１２でＮＯ）、例えば方向ガイドを表示モニタ１５０に表示させる（Ｓ１３）。その後、制御部１８０は、ステップＳ１０以降の処理を再び行う。ステップＳ１３における方向ガイドについて図６を用いて説明する。

図６の例において、方向ガイド２５は、上下左右前後方向といった所定の複数方向から選択的に表示される。方向ガイド２５は、被写体１１に対するデジタルカメラ１００の位置関係を調整するようにユーザをガイドするための撮影ガイド情報の一例である。ステップＳ１３において、制御部１８０は、例えば表示モニタ１５０におけるライブビュー画像（図６では図示省略）に重畳して、ガイドすべき方向についての方向ガイド２５を表示させる。

例えば、被写体マップ２０において撮影ポインタ２１の位置が未撮影の部分領域２２からずれている場合（Ｓ１２でＮＯ）、制御部１８０は、上下左右前後方向のうちの未撮影の部分領域２２に向かう方向に方向ガイド２５を表示させる（Ｓ１３）。こうして、被写体マップ２０において未撮影の部分領域２２に、デジタルカメラ１００を位置合わせするようにユーザをガイドすることができる。

また、被写体マップ２０において撮影ポインタ２１のサイズが部分領域２２のサイズとは異なる場合（Ｓ１２でＮＯ）、制御部１８０は、前後方向のうちの、撮影ポインタ２１のサイズが部分領域２２のサイズに近付く方向に方向ガイド２５を表示させる（Ｓ１３）。こうして、被写体マップ２０における部分領域２２毎に撮影距離を合わせるガイドを行うことができる。

本実施形態の制御部１８０は、例えば撮影ポインタ２１が新たな部分領域２２に合致すると判断すると（Ｓ１２でＹＥＳ）、当該部分領域２２に関する画像撮影を精度良く行うための各種処理を行う（Ｓ１４～Ｓ１８）。例えば、制御部１８０は、認識した現在の撮影状況（Ｓ１１）に応じて、画像撮影が失敗となる注意事項をユーザに報知するためのガイド表示を行う（Ｓ１４）。ステップＳ１４における表示例を図７（Ａ）に例示する。

図７（Ａ）では、図４（Ａ）とは別の方向から被写体１１の画像撮影が行われる例を示す。本例では、例えば被写体１１の長手方向からの画像撮影であることから、被写体像にボケが生じ易い場合を想定している。こうした場合、本実施形態の制御部１８０は、例えば図７（Ａ）に示すように、特定の撮影方向からの撮影状況を認識すると、ボケの注意喚起をユーザに促すメッセージ３１を表示モニタ１５０に表示させる（Ｓ１４）。

こうしたデジタルカメラ１００のガイド表示により（Ｓ１４）、ユーザは、特定の種類の撮影失敗が生じ易いことが予測される撮影状況において、こうした撮影失敗を回避し易くできる。ステップＳ１４のガイド表示は、撮影状況に依っては適宜、省略される。なお、本実施形態では、部分領域２２の画像撮影は、例えばアライメント処理の精度などの観点から、被写体１１において当該部分領域２２外の部分が画角に含まれるように行われる。

さらに、制御部１８０は、当該部分領域２２の画像撮影のための各種制御を行う（Ｓ１５）。ステップＳ１５の撮影制御は、例えばフォーカス制御および露出制御などを含み、現在の撮影状況において今回の部分領域２２の画像撮影を成功させる観点から動的に行われる。

例えば、ステップＳ１５では、被写体１１の一部にピントを合わせると他の部分にボケが生じることが想定される撮影状況において、被写体１１全体にピントを合わせた画像を合成するための撮影、即ちフォーカスブラケット撮影の制御が実行されてもよい。こうした場合におけるガイド表示の変形例を図７（Ａ）の代わりにステップＳ１４で表示される変形例を図７（Ｂ）に例示する。

例えば、制御部１８０は、撮影中の動画のフレーム毎に順次、光学系１１０におけるフォーカスレンズの位置を移動するように、レンズ駆動部１２０を制御する（Ｓ１５）。こうしたフォーカスブラケット撮影によると、ボケによる撮影失敗の可能性が低減される代わりに、手ぶれが撮影失敗の要因になり易いことが予測される。そこで、こうした場合に制御部１８０は、上記のような撮影状況を認識することで、例えば図７（Ａ）のメッセージ３１の代わりに、図７（Ｂ）に示すように手ぶれの注意喚起のユーザに促すメッセージ３２を表示させる（Ｓ１４）。

デジタルカメラ１００のユーザは、例えば、ステップＳ１５の画像撮影においてステップＳ１４のガイド表示に注意しながらデジタルカメラ１００と被写体１１との位置関係を保持することで、対応する部分領域２２の画像撮影を成功し易くできる。制御部１８０は、こうした撮影結果の画像の精度を解析する（Ｓ１６）。

例えばステップＳ１６において、制御部１８０は、撮影中の画像においてボケ、像ぶれ、白飛び、黒つぶれ、および遮蔽物等の有無を、失敗要因として検知する。ステップＳ１６の処理は、画像撮影の失敗を生じる種々の観点についての画像解析、および撮影中の各種センサ２３０，２５０の検出情報、フォーカス位置情報及び手ぶれ補正情報など各種の状態情報の解析により行われる。

制御部１８０は、こうした撮影結果の解析（Ｓ１６）により、今回の画像撮影が失敗であるか否かを判断する（Ｓ１７）。例えば、制御部１８０は、１つ以上の失敗要因が検知された場合はステップＳ１７でＹＥＳに進み、何れの失敗要因も検知されなかった場合はＮＯに進む。

制御部１８０は、今回の画像撮影が失敗であると判断すると（Ｓ１７でＹＥＳ）、撮影失敗の理由を通知するためのガイド表示を行う（Ｓ１８）。ステップＳ１８の表示例を図７（Ｃ）に例示する。

図７（Ｃ）では、遮蔽物１４により画像撮影が失敗した例を示す。被写体１１の一部又は全体を遮る遮蔽物１４が映り込んだ画像は、被写体１１のモデリング処理の精度を低下させてしまう事態が考えられる。そこで、制御部１８０は、例えば図７（Ｃ）に示すように、撮影中の画像における遮蔽物１４を失敗要因として検知して（Ｓ１６，Ｓ１７でＹＥＳ）、遮蔽物１４が有ることにより撮影が失敗したことを示すメッセージ３３を表示モニタ１５０に表示させる（Ｓ１８）。制御部１８０は、例えば失敗理由の報知（Ｓ１８）後に、ステップＳ１０に戻る。

一方、制御部１８０は、今回の画像撮影が失敗でないと判断すると（Ｓ１７でＮＯ）、今回の画像撮影が成功であることとして、被写体マップ２０等を更新する（Ｓ１９）。例えば、制御部１８０は、被写体マップ２０において今回の画像撮影の対象とした部分領域２２を、撮影済みの表示態様に変更する。

又、制御部１８０は、例えばステップＳ１９において、当該部分領域２２についての撮影成功フラグを初期値「ＯＦＦ」から「ＯＮ」に切り替える。撮影成功フラグは、例えば被写体マップ２０における部分領域２２毎に、画像撮影が成功したか否かを「ＯＮ／ＯＦＦ」で管理し、例えばバッファメモリ１７０に格納される。

制御部１８０は、撮影成功の結果による更新（Ｓ１９）の後に、撮影ガイド処理（図３のＳ３）を終了して、ステップＳ４に進む。また、制御部１８０は、例えば撮影ガイド処理（Ｓ３）と並行して撮影される各動画データにおいて、撮影ガイド処理で得られた各種の情報をメタ情報として、フレーム毎に関連付けて記録する。

以上の撮影ガイド処理（Ｓ３）によると、本実施形態のデジタルカメラ１００は、被写体マップ２０及び各種メッセージ３１～３３といった種々の撮影ガイド情報をユーザに提示して、画像撮影が成功するようにユーザをガイドできる（Ｓ１３，Ｓ１４，Ｓ１８）。

上記のステップＳ１０において、撮影状況の認識は、デジタルカメラ１００内に設けられた各センサ２３０，２５０に限らず、デジタルカメラ１００に外付けで接続される種々のセンサ装置が用いられてもよい。例えば、制御部１８０は、Ｌｉｄａｒ等のセンサ装置を用いてＳＬＡＭの解析を行ってもよい。また、ステップＳ１０の画像認識には、デジタルカメラ１００における種々の被写体追従の手法が用いられてもよく、例えばＤＦＤ（Depth Of Defocus）による空間認識およびは動きベクトル解析が行われてもよい。

ステップＳ１３のガイド表示は、特に方向ガイド２５に限らず、例えばメッセージ表示であってもよい。又、ステップＳ１４，Ｓ１８のガイド表示は、特にメッセージ３１～３３に限らず、例えば各種アイコン等の表示であってもよい。

ステップＳ１４の処理は、例えば、種々の種類の撮影失敗が生じ易い撮影状況を予め特定しておき、こうした予測結果の情報を、デジタルカメラ１００のフラッシュメモリ２４０等の制御部１８０が参照可能な場所に格納しておくことで行える。制御部１８０は、例えばスキャン撮影動作の実行時に上記の予測結果の情報を参照して、現在の撮影状況（Ｓ１１）が特定の撮影状況に該当する場合に、対応する種類の撮影失敗についての注意喚起のガイド表示を行う（Ｓ１４）。こうした撮影状況は、ステップＳ１５の各種撮影制御を含んでもよい。

ステップＳ１５では、撮影環境の照明状態の変化が認識されると、制御部１８０は、部分領域２２毎の画像撮影間で露光条件を揃えるように露出設定の変更を行ってもよい。例えば、照明が明るくなる変化を相殺するべく、シャッタ速度が低速に変更された場合、手ぶれの影響を受け易くなることが想定されることから、制御部１８０は、手ぶれの注意喚起のためのガイド表示を行う（Ｓ１４）。また、上記と同様の照明状態の変化に応じて絞り値を開放値に近付ける変更が行われた場合、被写界深度が浅くなることから、制御部１８０は、ボケの注意喚起のためのガイド表示を行う（Ｓ１４）。

また、ステップＳ１５において、制御部１８０は、動画の画質を変更するための制御を行ってもよい。例えば、撮影距離に応じて解像度が変更されたり、被写体１１の反射率など光反射の仕方を示す情報（即ちアルベド情報）に応じてフォトスタイルが変更されたりするようにしてもよい。こうした設定変更は、動画中で連続的に変化するように行われてもよい。例えば、制御部１８０は、画質の変更内容を、撮影中の動画のフレーム毎に管理しておき、画質を実際に変更するための画像処理を事後的に行ってもよい。こうした画質の設定変更は、テクスチャ動画とアライメント動画との内の一方に行われてもよいし、双方に行われてもよい。

２－３．間引き保存処理
図３のステップＳ６における間引き保存処理について、図８を用いて説明する。

図８は、デジタルカメラ１００における間引き保存処理を例示するフローチャートである。以下では、スキャン撮影動作において動画撮影が終了してから（Ｓ５）、デジタルカメラ１００の制御部１８０によって間引き保存処理（Ｓ６）が実行される例を説明する。

まず、制御部１８０は、例えばアライメント動画データにおける各フレームを順次、間引きの判定対象として選択する（Ｓ３１）。例えば、制御部１８０は、アライメント動画データから判定対象のフレームを静止画として切り出して、バッファメモリ１７０に保持する。

制御部１８０は、選択した判定対象のフレームの画像撮影の成否に関する情報を取得する（Ｓ３２）。例えば、制御部１８０は、スキャン撮影動作時にバッファメモリ１７０に記録した撮影成功フラグを参照する。

ステップＳ３２の処理は、切り出した静止画の画像解析およびメタ情報の解析で行われてもよい。例えば、制御部１８０は、判定対象のフレームの自己位置推定により、撮影時の被写体１１に対する位置関係を解析したり、画像内における撮影の失敗要因を検知したりする。こうした処理は、スキャン撮影動作（図５）におけるステップＳ１０，Ｓ１６と同様に行われてもよく、事後的にステップＳ１７と同様の判断結果を得てもよい。

次に、制御部１８０は、ステップＳ３２で取得した情報に基づいて、選択したフレームが、モデリング処理に有用な所定の位置関係において画像撮影が成功に到ったフレームであるか否かを判断する（Ｓ３３）。ステップＳ３３の判断は、撮影成功フラグがＯＮの場合にＹＥＳであり、ＯＦＦの場合にＮＯである。所定の位置関係は、例えば被写体マップ２０（図４）における各部分領域２２に対応した位置関係であり、共通の撮影距離における複数の撮影位置の間で間隔を置いて規定される。

制御部１８０は、選択したフレームが撮影成功のフレームではないと判断した場合（Ｓ３３でＮＯ）、モデリング用の撮影データから当該フレームを除外することを決定し、例えばバッファメモリ１７０から当該フレームを削除する（Ｓ３４）。

一方、制御部１８０は、選択したフレームが撮影成功のフレームであると判断した場合（Ｓ３３でＹＥＳ）、選択したフレームを、モデリング用の撮影データに含めることを決定し、例えばアライメント用の画像データとしてメモリカード２００に保存する（Ｓ３５）。

例えば、モデリング用の撮影データは、アライメント用の画像データと、テクスチャ用の画像データとを含み、各々の画像データに関するメタ情報もさらに含む。各画像データは、例えば静止画データである。制御部１８０は、例えばステップＳ３５において、対応するフレームのメタ情報として、画像撮影の各種撮影状況、例えば照明の状態およびデジタルカメラ１００の各種撮影設定などを保存する。また、スキャン撮影動作においてフォーカスブラケット撮影が行われた場合、その撮影の１回分に対応する複数フレームについて、制御部１８０は深度合成処理を行って、１フレームの合成画像データを保存するようにしてもよい。

制御部１８０は、例えばアライメント動画における全てのフレームに対して以上の判定処理（Ｓ３１～Ｓ３５）が行われたか否かを判断する（Ｓ３６）。制御部１８０は、全てのフレームに対する判定が完了していない場合（Ｓ３６でＮＯ）、未だ判定対象としていないフレームを新たに選択して（Ｓ３１）、ステップＳ３２以降の処理を再び行う。こうして、ステップＳ３１～Ｓ３６の処理を繰り返すことにより、アライメント動画データから無駄なフレームを自動的に間引くことができる。

制御部１８０は、全てのフレームについての判定を完了すると（Ｓ３６でＹＥＳ）、アライメント用の画像データと同様に、テクスチャ動画からの間引き結果としてテクスチャ用の画像データを抽出し、モデリング用の撮影データに含める（Ｓ３７）。具体的に、制御部１８０は、テクスチャ動画において、アライメント用の画像データのフレーム（Ｓ３５）に対応するフレームを選択的に、テクスチャ用の画像データとして、例えばメモリカード２００に記録する。こうして、テクスチャ用の画像データが、テクスチャ動画においてステップＳ３４で除外されたフレームに対応するフレームを含まないようにできる。

制御部１８０は、モデリング用の撮影データの保存により（Ｓ３７）、間引き保存処理（図３のステップＳ６）を終了する。

以上の間引き保存処理（Ｓ６）によると、スキャン撮影動作において撮影された各動画データから、モデリング用の撮影データを、適切な位置関係において撮影成功に到ったフレームに制限することができる（Ｓ３３～Ｓ３５）。

例えば、被写体マップ２０における部分領域２２毎の位置関係が重複するフレームを間引いて、モデリング処理の負荷を低減できる。さらに、また、モデリング用の撮影データとして残す撮影成功のフレーム数は、被写体マップ２０の部分領域２２の個数に応じて設定できる。また、ボケ、手ぶれおよび遮蔽物などを有する撮影失敗のフレームは、被写体モデル１２の３次元形状を再現する精度を悪化し得るところ、こうしたフレームを間引くことにより、モデリング処理の精度を向上できる。

また、以上の間引き保存処理（Ｓ６）のように、アライメント動画の間引き結果を用いて、テクスチャ動画を間引くことにより、例えばテクスチャ動画データが高画質であることによる間引き保存処理（Ｓ６）の処理負荷を抑制することができる。本実施形態のデジタルカメラ１００は、上記の間引き保存処理（Ｓ６）に限定されず、例えばテクスチャ動画から間引きの判定処理を行ってもよい。

以上のような間引き保存処理（Ｓ６）は、スキャン撮影動作の動画撮影（Ｓ２～Ｓ５）と同時並行で行われてもよい。あるいは、間引き保存処理（Ｓ６）は事後的に行われたり、デジタルカメラ１００の外部（例えば画像編集ＰＣ２００）で行われたりしてもよい。この場合スキャン撮影動作で撮影された動画データをメモリカード２００に記録しておく。

また、以上のような間引き保存処理（Ｓ６）により得られたモデリング用の撮影データによると、例えば画像編集ＰＣ２００がモデリング処理を実行するにあたり、撮影状況のメタ情報を参照して、複数フレームの画像データ間で、撮影パラメータの補正を最適化できる。例えば画像編集ＰＣ２００は、アライメント処理を実行する際にアライメント用の画像データ間で、撮影時に照明状態など撮影環境の変化があったり、デジタルカメラ１００が露出等の設定変更をしていたりした状況を把握して、各種撮影設定の補正値を最適化する。このように、モデリング用の撮影データにおける撮影状況のメタ情報を用いて、モデリング処理の精度を良くすることができる。

３．まとめ
以上のように、本実施形態のデジタルカメラ１００は、被写体１１のモデリングのための画像撮影をユーザに行わせる撮像装置の一例である。デジタルカメラ１００は、撮像部の一例のイメージセンサ１４０と、出力部の一例の表示モニタ１５０と、制御部１８０とを備える。イメージセンサ１４０は、被写体１１を撮像して、画像データを生成する。出力部は、ユーザに対する情報を出力する。制御部１８０は、被写体１１のモデリングのための、イメージセンサ１４０による複数回の撮像を含む画像撮影動作の一例のスキャン撮影動作が、デジタルカメラ１００により実行される状況を認識して（Ｓ１０）、出力部を制御する（Ｓ３）。制御部１８０は、スキャン撮影動作において認識した状況に応じて、被写体１１のモデリングのための複数の画像の撮影をそれぞれ成功させるようにユーザをガイドする撮影ガイド情報（２０，３１～３３）を、出力部に出力させる（Ｓ１１，Ｓ１３，Ｓ１４，Ｓ１８）。

以上のデジタルカメラ１００によると、スキャン撮影動作における複数回の画像撮影を成功させるように撮影ガイド情報でユーザをガイドすることにより、被写体１１のモデリングを行い易くする画像撮影を行うことができる。

本実施形態のデジタルカメラ１００において、撮影ガイド情報は、被写体１１のモデリングのための複数の画像に対応する複数の領域の一例の部分領域２２において、モデリングのための画像撮影が成功した領域と成功していない領域とをそれぞれ示すマップ情報の一例の被写体マップ２０を含む。これにより、被写体１１において撮影すべき部分をユーザにガイドして、被写体１１のモデリングのための画像撮影を行い易くできる。

本実施形態のデジタルカメラ１００において、被写体マップ２０において、被写体１１の３次元形状に沿って、画像撮影が成功した部分領域２２と成功していない部分領域２２とがそれぞれ配置される（図４（Ｂ）参照）。これにより、被写体１１の３次元形状に沿って撮影済みの部分と未撮影の部分とが可視化され、被写体１１のモデリングのための画像撮影を行い易くできる。

本実施形態のデジタルカメラ１００において、撮影ガイド情報は、被写体１１に対応付けられたマップ情報の一例の被写体マップ２０において、ユーザにより撮影中の画像に対応する位置を示すポインタの一例の撮影ポインタ２１を含む。これにより、撮影中の画像と被写体マップ２０上との対応関係が可視化され、被写体１１のモデリングのための画像撮影を行い易くできる。撮影ポインタ２１は、上述した被写体マップ２０に限らず、種々の態様で被写体１１に対応付けられたマップ情報において撮影中の画像に対応する位置を示してもよい。

本実施形態のデジタルカメラ１００において、被写体マップ２０において複数の部分領域２２は、それぞれ所定距離を示すサイズを有する。制御部１８０は、被写体１１とデジタルカメラ１００との間の距離に応じて、撮影ポインタ２１のサイズを制御する（Ｓ１２）。これにより、被写体マップ２０における部分領域２２からの撮影距離を同じにするようにガイドでき、被写体１１のモデリングのための画像撮影を行い易くできる。

本実施形態のデジタルカメラ１００において、制御部１８０は、スキャン撮影動作において認識した状況に応じて、被写体１１のモデリングのための画像撮影が失敗となる注意事項を報知するように、撮影ガイド情報を制御する（Ｓ１４）。これにより、注意事項の撮影失敗を回避するようにユーザをガイドでき、被写体１１のモデリングのための画像撮影を行い易くできる。

本実施形態のデジタルカメラ１００において、制御部１８０は、被写体１１のモデリングのための画像撮影が失敗すると（Ｓ１７でＹＥＳ）、当該画像撮影が失敗した要因を報知するように、撮影ガイド情報を制御する（Ｓ１８）。これにより、画像撮影が失敗した際にはその理由をユーザに通知して、その後の画像撮影を成功させ易くできる。

本実施形態のデジタルカメラ１００において、制御部１８０は、スキャン撮影動作の結果として、互いに異なる画質を有する第１及び第２の画像を含む撮影データの一例であるモデリング用の撮影データを生成する（Ｓ２～Ｓ６）。第２の画像の一例のアライメント用の画像の画質は、第１の画像の一例のテクスチャ用の画像の画質よりもモデリングの情報処理に適した画質である。例えば、アライメント用の画像は、テクスチャ用の画像よりも低い解像度を有したり、広いダイナミックレンジを有したりする。こうして、モデリングのアライメント処理等に適した画質の画像を得ることにより、モデリング処理を行い易くできる。

本実施形態のデジタルカメラ１００において、制御部１８０は、スキャン撮影動作において撮影された全ての画像の中から特定の画像を除いて（Ｓ３４）、残る画像を示すようにモデリング用の撮影データを生成する（Ｓ３１～Ｓ３７）。特定の画像は、被写体１１のモデリングのための画像撮影が失敗した画像と、撮影時における被写体１１とデジタルカメラ１００との位置関係が残る画像と重複する画像とのうちの少なくとも一方を含む。これにより、モデリング処理において無駄な画像データを省き、有用な画像データを残したモデリング用の撮影データを得ることにより、モデリング処理を行い易くできる。

（実施形態２）
以下、本開示の実施形態２について、図１０～１１を用いて説明する。実施形態１では、テクスチャ用の画像とアライメント用の画像とを同時に撮影するデジタルカメラついて説明した。実施形態２では、特定の場合にはテクスチャ用の画像から追加でアライメント用の画像を撮影するデジタルカメラについて説明する。

以下、実施形態１に係る撮像システム１０及びデジタルカメラ１００と同様の構成、動作の説明は適宜、省略して、本実施形態に係る撮像システム１０及びデジタルカメラ１００を説明する。

図１０は、実施形態２に係るデジタルカメラ１００によるスキャン撮影動作を例示するフローチャートである。本実施形態のデジタルカメラ１００は、例えば、実施形態１と同様に撮像システム１０において被写体のモデリングのためのスキャン撮影動作を行う。

実施形態１のスキャン撮影動作（図３）では、白飛び／黒つぶれといった露出の過不足が画像撮影の失敗要因として撮影ガイド処理（Ｓ３）においてガイドされる。こうした実施形態１の想定とは別に、モデリング対象の外観を、その明暗も含めて再現するリアリティの観点からは、別々の撮影方向における複数のテクスチャ用の画像の間で共通の露出設定を用いることが有利な場合が考えられる。一方で、アライメント用の画像については、露出の過不足により特徴点が充分に得られずに、被写体モデリングにおけるアライメントの処理が困難になる事態が考えられる。

そこで、本実施形態のデジタルカメラ１００において、制御部１８０は、例えば図１０に示すように、実施形態１と同様のスキャン撮影動作を行う際に、部分領域（Ｓ４参照）毎の撮影ガイド処理（Ｓ３Ａ）ではテクスチャ用に露出設定を維持する。さらに、本実施形態のスキャン撮影動作において、制御部１８０は、アライメント用には露出の過不足に対して追加で画像撮影の処理を行う（Ｓ２１～Ｓ２４）。各部分領域が示す被写体の部分は、本実施形態において各回の画像撮影の対象とする撮影部分の一例である。

本実施形態の撮影ガイド処理（Ｓ３Ａ）において、制御部１８０は、例えば実施形態１と同様の処理（図５のＳ１０～Ｓ１９）を行い、この際にテクスチャ用に一律の露出設定を用いて撮影制御を行う（Ｓ１５）。また、本実施形態の制御部１８０は、露出の過不足は失敗要因に含めずに撮影結果を解析し（Ｓ１６）、各回の画像撮影が失敗か又は成功かを、実施形態１と同様に検知する（Ｓ１７）。ステップＳ３Ａにおけるテクスチャ用の露出設定は、本実施形態における所定の露出設定の一例である。

こうした本実施形態の撮影ガイド処理（Ｓ３Ａ）では、例えば特定の部分領域について撮影結果の画像が露出の過不足を含むものの失敗要因を含まない場合、撮影結果は成功として当該部分領域のテクスチャ用の画像に採用される（図５のＳ１９）。これにより、明暗の差を有する被写体等において暗い部分はテクスチャ用の画像が暗く、明るい部分はテクスチャ用の画像が明るく得られ、上記のような被写体モデリングのリアリティを向上することができる。

本実施形態のデジタルカメラ１００において、制御部１８０は、ステップＳ３Ａで成功した画像撮影の結果に基づいて、例えば撮影された画像において露出の過不足があるか否かを判断する（Ｓ２１）。ステップＳ２１の判断は、被写体における複数の撮影部分から、ステップＳ３Ａで撮影成功の画像ではアライメントの処理が実行可能な程度の特徴点が含まれない撮影部分を検知するために行われる。

ステップＳ２１において、制御部１８０は、例えば、撮影成功の画像における輝度分布を参照して、輝度が所定の上限値（例えば「２５５」）以上または所定の下限値（例えば「０」）以下の画素数を計数する。次いで、制御部１８０は、計数した画素数が所定のしきい値以上であるか否かに応じて、露出の過不足の有無を検知する（Ｓ２１）。

上記のしきい値は、例えばアライメントの処理を実行可能な特徴点の規定量に応じて設定され、露出の過不足により画像中の特徴点が、アライメントの処理が実行し難い程度に不足する基準を示す。当該しきい値に対応する特徴点の規定量は、本実施形態における特徴点の個数を特徴量の一例とした所定量の一例である。また、本実施形態の特徴量は、撮影成功の画像における上記の上限値未満で且つ下限値を超える輝度を有する画素数、或いはそうした輝度を有する画像領域のサイズであってもよい。こうした輝度分布の画像領域から特徴点が抽出可能である。

制御部１８０は、露出の過不足がないと判断した場合（Ｓ２１でＮＯ）、実施形態１で撮影成功の画像が得られた場合と同様にステップＳ４に進む。こうして、デジタルカメラ１００のスキャン撮影動作において、対応する撮影方向については、撮影成功の結果からテクスチャ用の画像とアライメント用の画像とが保存される。

一方、制御部１８０は、露出に過不足があると判断した場合（Ｓ２１でＹＥＳ）、例えば対応する撮影方向について追加の画像撮影をユーザにガイドする表示を行う（Ｓ２２）。ステップＳ２２の表示例を図１１に例示する。

例えば表示モニタ１５０におけるライブビュー画像（図６では図示省略）に重畳して、
図１１は、本実施形態のデジタルカメラ１００におけるガイド表示（Ｓ２２）の一例を示す。制御部１８０は、例えば表示モニタ１５０におけるライブビュー画像（図１１では図示省略）に重畳して、追加撮影においてユーザに静止を促すメッセージ３５を表示させる（Ｓ２２）。本メッセージ３５は、追加撮影において撮影されるアライメント用の画像の撮影方向と、直前に撮影成功として得られたテクスチャ用の画像の撮影方向とを合致させる観点から行われてもよい。本メッセージ３５は、本実施形態における撮影ガイド情報の一例である。

本実施形態のデジタルカメラ１００において、制御部１８０は、例えば上記のようなガイド表示（Ｓ２２）が行われた状態で、アライメント用の追加撮影を実行する（Ｓ２３）。例えば、制御部１８０は、テクスチャ用の露出設定を基準として当該設定から露出値を減少させたアンダー露出設定の画像と、増大させたオーバー露出設定の画像とをそれぞれ撮影する露出ブラケット撮影を実行する（Ｓ２３）。又、ステップＳ２３において、制御部１８０は、例えばテクスチャ動画等の撮影（Ｓ２，Ｓ５等）を一時的に停止する。

ステップＳ２３におけるアライメント用の露出設定は、本実施形態における追加の露出設定の一例である。ステップＳ２３の追加撮影においては、アンダー露出設定の画像とオーバー露出設定の画像との両方に限らず、何れか一方が撮影されてもよい。例えば、制御部１８０は、その直前のステップＳ２１において白飛びを検知したらアンダー露出設定の画像を撮影したり、黒つぶれを検知したらオーバー露出設定の画像を撮影したりしてもよい（Ｓ２３）。

ステップＳ２３において、テクスチャ用の露出設定からアンダー／オーバー露出設定に露出値を補正する露出補正値は、例えば想定される白飛び／黒つぶれを解消する観点より予め設定される。或いは、制御部１８０が、現在の撮影状況の認識結果（図５のＳ１０）から動的に露出補正値を設定しもよい。また、複数の露出補正値が用いられてもよく、例えば制御部１８０は、アンダー／オーバー露出設定の画像撮影を複数回、行ってもよい（Ｓ２３）。

次に、制御部１８０は、ステップＳ２３における追加撮影の結果の画像データに基づいて、その前のステップＳ３Ａにおける撮影成功のテクスチャ用の画像に対応に対応付けてアライメント用の画像を管理して（Ｓ２４）、ステップＳ４に進む。例えば、制御部１８０は、一時停止中のテクスチャ動画の最後のフレームを、追加撮影によるアライメント用の画像に対応するテクスチャ用の画像として管理する管理情報を、バッファメモリ１７０又はフラッシュメモリ２４０に記録する（Ｓ２４）。

ステップＳ２４の管理は、追加撮影（Ｓ２３）で得られた画像データのメタ情報に、対応するテクスチャ用の画像を識別する情報を含めることによって行われてもよい。追加撮影（Ｓ２３）において複数フレームの画像が得られた場合、当該複数フレームの画像が、互いに共通する１フレームのテクスチャ用の画像に対応するアライメント用の画像として、管理されてもよい。或いは、制御部１８０は、ダイナミックレンジを拡大するように複数フレームの画像を合成してＨＤＲ（High Dynamic Resolution）画像を生成して、１フレームのアライメント用の画像として管理してもよい。こうしたアライメント用の画像フレームが、その後にアライメント動画に挿入されてもよい。

以上の本実施形態のデジタルカメラ１００の動作によると、種々の撮影方向にてテクスチャ用の露出設定を維持しつつ（Ｓ３Ａ）、露出の過不足がある撮影方向には（Ｓ２１でＹＥＳ）、アライメント用に露出設定を変更して追加の画像撮影が行われる（Ｓ２３）。これにより、テクスチャ用の画像においてリアリティを向上し、且つアライメントの処理を精度良く行え、被写体モデリングを行い易くすることができる。

以上の説明では、ステップＳ２１において、撮影成功（Ｓ３Ａ）の画像中に充分な特徴点が含まれない特定の撮影部分を検知する際に、制御部１８０が特徴点を算出せずに露出の過不足を判断する例を説明した。本実施形態のデジタルカメラ１００はこれに限らず、ステップＳ２１において、制御部１８０が、撮影成功の画像に含まれる特徴点を算出してもよい。こうして、制御部１８０は、算出した特徴点の個数と所定量とを比較判断することで、特定の撮影部分を検知してもよい（Ｓ２１）。この場合であっても、特徴点の算出が撮影失敗の画像に対しては行われずに済む分は、デジタルカメラ１００の処理負荷を低減できる。

以上の説明では、追加撮影のガイド表示（Ｓ２２）の一例として図１１のメッセージ３５を例示したが、ステップＳ２２は特にこれに限定されない。例えば、ステップＳ２２において、制御部１８０は表示モニタ１５０において、追加撮影の撮影ガイド情報として、アイコン表示を行ってもよいし、被写体マップにおいて対応する部分領域の強調表示を行ってもよい。また、追加撮影の撮影ガイド情報は、モニタ表示に限らず、音声出力等であってもよい。

また、本実施形態のデジタルカメラ１００において、追加撮影の撮影ガイド情報は省略されてもよい。例えば、制御部１８０は、特定の撮影部分を検知したら（Ｓ２１でＹＥＳ）、特にステップＳ２２の処理を行わずに、アライメント用の画像撮影を行ってもよい（Ｓ２３）。

また、本実施形態のデジタルカメラ１００では、上記の追加撮影（Ｓ２３）の際にも、実施形態１と同様に画像撮影を成功させるためのガイドが行われてもよい。例えば、ステップＳ２３において、制御部１８０は、図５の撮影ガイド処理（Ｓ３）におけるステップＳ１３，Ａ１８と同様のガイド表示などを行ってもよい。

また、上述した追加撮影のための処理（Ｓ２１～Ｓ２４）は、本実施形態における撮影ガイド処理（Ｓ３Ａ）の中で行われてもよい。例えば、ステップＳ２１～Ｓ２４の処理を行ってから、被写体マップ等の更新（図５のＳ１９）が行われてもよい。

以上のように、本実施形態のデジタルカメラ１００において、画像撮影動作の一例のスキャン撮影動作は、被写体における複数の撮影部分について、所定の撮影設定の一例のテクスチャ用の露出設定による複数回の撮像を含む。制御部１８０は、複数の撮影部分のうちの特定の撮影部分には（Ｓ２１でＹＥＳ）、所定の撮影設定による画像撮影に加えて、所定の撮影設定とは異なる追加の撮影設定の一例のアライメント用の撮影設定による画像撮影を行うように画像撮影動作を制御する（Ｓ２２～Ｓ２４）。特定の撮影部分は、所定の撮影設定により撮影された画像において所定値未満となる、モデリングのための特徴量を有する。

以上のデジタルカメラ１００によると、所定の撮影設定ではモデリングのための特徴量が所定値未満となる特定の撮影部分については、追加の撮影設定により画像撮影を行うようにスキャン撮影動作が行われる。これにより、本実施形態のデジタルカメラ１００は、スキャン撮影動作において各撮影部分についての画像において特徴量を確保し易くして、被写体モデリングを行い易くする画像撮影を行うことができる。

本実施形態のデジタルカメラ１００において、制御部１８０は、所定の撮影設定によって撮影された画像に基づいて、特定の撮影部分を検知して（Ｓ２１）、検知した特定の撮影部分について追加の撮影設定による画像撮影を行ってもよい（Ｓ２２）。例えば、追加の撮影設定は、特定の撮影部分が撮影された画像においてモデリングのための特徴量が、所定の撮影設定により撮影された場合よりも大きくなる設定である。

本実施形態のデジタルカメラ１００において、各撮影設定は、例えば露出設定を含む。例えば、所定の撮影設定では白飛びにより特徴点が不足した場合、追加の撮影設定は、所定の撮影設定の露出値よりも小さい露出値を有する。また、所定の撮影設定では黒つぶれにより特徴点が不足した場合、追加の撮影設定は、所定の撮影設定の露出値よりも大きい露出値を有する。例えば、追加の撮影設定は、特徴量が所定値以上になるように設定される。

本実施形態のデジタルカメラ１００において、制御部１８０は、追加の撮影設定による画像撮影のためにユーザに静止を指示するように、撮影ガイド情報を制御する（Ｓ２２）。これにより、ユーザによる特定の撮影部分に対する追加の画像撮影を成功し易くして、被写体モデリングのための画像撮影を行い易くできる。

本実施形態のデジタルカメラ１００において、制御部１８０は、複数の撮影部分のうちの特定の撮影部分以外の撮影部分には（Ｓ２１でＮＯ）、追加の撮影設定による画像撮影を行わず、所定の撮影設定による画像撮影を行うように画像撮影動作を制御する（Ｓ３Ａ）。これにより、特定の撮影部分以外の撮影部分において共通の撮影設定を用いて、例えばテクスチャ用の画像のリアリティを向上でき、被写体モデリングを行い易くできる。

本実施形態のデジタルカメラ１００において、制御部１８０は、スキャン撮影動作において撮影部分毎に所定の撮影設定による画像撮影の失敗又は成功を検知する（Ｓ３Ａ，Ｓ１７）。制御部１８０は、画像撮影の失敗が検知された場合（Ｓ１７でＹＥＳ）、当該撮影部分について所定の撮影設定による画像撮影を再び行うように画像撮影動作を制御する（Ｓ１８～Ｓ１５）。制御部１８０は、画像撮影の成功が検知された場合（Ｓ１７でＮＯ）、当該撮影部分が特定の撮影部分であれば（Ｓ２１でＹＥＳ）、所定の撮影設定による画像撮影に加えて追加の撮影設定による画像撮影を行うように画像撮影動作を制御する（Ｓ２２～Ｓ２４）。

こうした本実施形態のデジタルカメラ１００によれば、画像撮影の失敗時における所定の撮影設定による画像撮影のやり直しとは別に、特定の撮影部分に対しては追加の画像撮影を行って、被写体モデリングのための画像撮影を行い易くすることができる。

本実施形態のデジタルカメラ１００において、制御部１８０は、複数の撮影部分のうちの特定の撮影部分以外の撮影部分には（Ｓ２１でＮＯ）、所定の撮影設定により、互いに異なる画質を有する第１及び第２の画像の一例のテクスチャ用の画像及びアライメント用の画像を撮影するように、画像撮影動作を制御する（Ｓ３Ａ～Ｓ４）。制御部１８０は、特定の撮影部分には（Ｓ２１でＹＥＳ）、所定の撮影設定により第１の画像を撮影し、追加の撮影設定により第２の画像を撮影するように、画像撮影動作を制御する（Ｓ３Ａ，Ｓ２２～Ｓ２４）。

こうした本実施形態のデジタルカメラ１００によれば、第１及び第２の画像撮影を同時進行で行う際に、特定の場合には第１の画像撮影から追加で第２の画像撮影を行って、各々の撮影精度を確保でき、被写体モデリングのための画像撮影を行い易くすることができる。

以上の説明では、撮影設定の一例として露出設定を説明した。本実施形態の撮影設定はこれに限らず、他の画像撮影における設定であってもよく、例えば偏光状態の設定であってもよい。例えば、被写体に金属光沢がある場合、金属光沢を再現する観点からはテクスチャ用の画像に金属光沢の白飛び等が含まれてもよいものの、アライメント用の画像においては特徴点が不足し得る。そこで、本実施形態のデジタルカメラ１００は、金属面での反射光は特定の偏光方向に偏ることが知られていることから、追加の画像撮影において偏光状態を変更するようにスキャン撮影動作を行ってもよい。

こうした本実施形態において、デジタルカメラ１００はＣＰＬ（Circular Polarized）フィルタ等の偏光フィルタを内蔵してもよいし、偏光フィルタがデジタルカメラ１００に外付けで用いられてもよい。アライメント用の撮影設定は、例えばテクスチャ用の撮影設定よりも金属面の反射光の偏光方向から遠い偏光状態に設定される。本実施形態のスキャン撮影動作において、制御部１８０は、例えばステップＳ２１に代えて又はこれに加えて金属光沢を画像解析などにより検知すると、追加撮影のガイド表示（Ｓ２２）にて偏光状態の変更をユーザに指示するように表示モニタ１５０を制御する。

或いは、本実施形態のデジタルカメラ１００において、偏光フィルタの偏光状態が自動で制御可能な場合、制御部１５０は、上記のユーザへの指示の代わりに偏光状態をテクスチャ用からアライメント用に変更して追加撮影を行う（Ｓ２３）。これにより、本実施形態のデジタルカメラ１００では、アライメント用には金属光沢の白飛び等を抑制して特徴点を確保し易い画像を得ることができる。以上のように、本実施形態のデジタルカメラ１００において、露出設定と偏光状態の設定との少なくとも一方を含んでもよい。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

実施形態１では、被写体１１が物体である場合について説明したが（図１参照）、本システム１０の被写体は物体に限らない。又、実施形態１の被写体マップ２０は、デジタルカメラ１００による被写体属性の自動認識またはユーザ設定により作成されたが、被写体マップ２０の作成方法は特にこれに限定されない。こうした変形例について、図９を用いて説明する。

図９は、撮像システム１０の変形例における種々の撮影ガイド情報を例示する。本変形例において、デジタルカメラ１００の制御部１８０は、表示モニタ１５０において、被写体１５のライブビュー画像に重畳して、被写体マップ２０Ｂおよび撮影ガイド２６といった各種の撮影ガイド情報を表示させている。

本システム１０において、モデリングの対象とする被写体１５は、例えば図９に示すように、部屋などの風景であってもよい。例えば、上述した設定メニューの被写体属性として、各種物体の属性に加えて風景があってもよく、例えば風景の属性において部屋、街並み、あるいは公園といった選択肢が提供されてもよい。

図９の例において、被写体１５に関する被写体マップ２０Ｂは、部屋の間取り図などの被写体１５の形状データに基づいている。例えば、本実施形態のデジタルカメラ１００は、被写体１５の図面または３次元形状を示す形状データを外部から取得することにより、被写体マップ２０Ｂを容易に作成できる。また、こうした被写体１５の形状データは、モデリング処理に活用されてもよい。例えば当該形状データにおいてテクスチャデータを適切な位置に配置する簡単な処理で、被写体１５のモデリングを行うことができる。こうした形状データの利用方法は、特に風景の被写体１５に限らず、物品の被写体１１にも適用可能である。

また、図９の例において、制御部１８０は、例えば実施形態１の方向ガイド２５の代わりに撮影ガイド２６を用いて、実施形態１と同様のスキャン撮影動作を行う。撮影ガイド２６は、位置ガイド２６ａおよび方向ガイド２６ｂを含む。位置ガイド２６ａは、デジタルカメラ１００のユーザが被写体１５の中で位置すべき撮影位置を示す。方向ガイド２６ｂは、位置ガイド２６ａの撮影位置から撮影すべき方向を示す。本実施形態のデジタルカメラ１００は、こうした撮影ガイド２６により、ユーザが被写体１５内を移動しながら、被写体マップ２０Ｂにおける各部分領域２２Ｂについての画像撮影を行うべき位置関係をガイドすることができる。

上記の各実施形態では、デジタルカメラ１００における被写体のモデリングのための画像撮影動作として、動画撮影のスキャン撮影動作を説明したが、当該画像撮影動作は、動画撮影に限らず静止画撮影であってもよい。例えば、本実施形態のデジタルカメラ１００は、実施形態１と同様のスキャン撮影動作を、動画撮影の代わりに連写撮影で行ってもよい。また、本実施形態のデジタルカメラ１００は、動画撮影と静止画撮影とを組み合わせた画像撮影動作を行ってもよい。例えば、本実施形態のデジタルカメラ１００は、実施形態１のフォーカスブラケット撮影の制御時に動画撮影を一時停止して、静止画撮影に移行して、深度合成画像を取得してもよい。また、本実施形態のデジタルカメラ１００は、深度合成画像の代わりに、超解像度合成画像、ＨＤＲ画像を、撮影状況に応じて取得するようにしてもよい。

また、上記の各実施形態では、モデリング処理を画像編集ＰＣ２００で行う撮像システム１０について説明したが、モデリング処理は、画像編集ＰＣ２００に限らない種々の情報処理装置で行われてもよい。デジタルカメラ１００は、クラウドサーバ等の外部のサーバ装置に、通信モジュール２６０を介してモデリング用の撮影データを送信してもよく、サーバ装置は、デジタルカメラ１００から受信した撮影データに基づき、モデリング処理を実行してもよい。或いは、デジタルカメラ１００の制御部１８０が、モデリング用の撮影データに基づきモデリング処理を行ってもよい。

また、上記の各実施形態において、デジタルカメラ１００の制御部１８０が実行した各種の認識処理又は解析処理も、上記のモデリング処理と同様に、外部のサーバ装置等で実行されてもよい。例えば、デジタルカメラ１００の制御部１８０は、外部のサーバ装置との間のデータの送受信により、スキャン撮影動作（図３）のステップＳ１、撮影ガイド処理（図５）のＳ１０，Ｓ１６或いは間引き保存処理（図８）のステップＳ３２等を実行してもよい。

また、上記の各実施形態では、デジタルカメラ１００の出力部（表示部）の一例として表示モニタ１５０を例示した。本実施形態のデジタルカメラ１００において、出力部は、表示モニタ１５０に限らず、例えばＥＶＦ（電子ビューファインダ）などの表示部や、ＨＤＭＩ（登録商標）規格などで映像信号を出力する出力モジュール等であってもよい。また、本実施形態の出力部は、種々の外付けの表示デバイスのインタフェース回路であってもよく、例えばＡＲ（拡張現実）又ＶＲ（仮想現実）等の表示デバイスが用いられてもよい。

上記の各実施形態では、撮影ガイド情報が表示モニタ１５０に表示される例を説明したが、撮影ガイド情報の出力はこれに限定されない。本実施形態のデジタルカメラ１００は、撮影ガイド情報の表示に加えて、又はこれに代えて、例えばスピーカ２８０により各種の撮影ガイド情報を音声出力してもよい。撮影ガイド情報の音声出力は、発話出力であってもよいし、アラーム音など所定の効果音であってもよい。

また、上記の各実施形態では、光学系１１０及びレンズ駆動部１２０を備えるデジタルカメラ１００を例示した。本実施形態の撮像装置は、光学系１１０及びレンズ駆動部１２０を備えなくてもよく、例えば交換レンズ式のカメラであってもよい。

また、上記の各実施形態では、撮像装置の例としてデジタルカメラを説明したが、これに限定されない。本開示の撮像装置は、画像撮影機能を有する電子機器（例えば、ビデオカメラ、スマートフォン、タブレット端末等）であればよい。

また、本システム１０の適用分野は、特にＥコマースに限らず、種々の被写体のモデリングに適用可能である。本システムは、例えば不動産の内覧のデジタル化など、被写体の再現にリアリティが求められる様々な用途で有用である。

（態様のまとめ）
以下、本開示に係る各種態様を付記する。

本開示に係る第１の態様は、被写体のモデリングのための画像撮影をユーザに行わせる撮像装置であって、被写体を撮像して、画像データを生成する撮像部と、ユーザに対する情報を出力する出力部と、被写体のモデリングのための、撮像部による複数回の撮像を含む画像撮影動作が、撮像装置により実行される状況を認識して、出力部を制御する制御部とを備える。制御部は、画像撮影動作において認識した状況に応じて、被写体のモデリングのための複数の画像の撮影をそれぞれ成功させるようにユーザをガイドする撮影ガイド情報を、出力部に出力させる。

第２の態様は、第１の態様に記載の撮像装置において、撮影ガイド情報は、被写体のモデリングのための複数の画像に対応する複数の領域において、モデリングのための画像撮影が成功した領域と成功していない領域とをそれぞれ示すマップ情報を含む。

第３の態様は、第２の態様に記載の撮像装置において、マップ情報において、被写体の３次元形状に沿って、成功した領域と成功していない領域とがそれぞれ配置される。

第４の態様は、第１ないし第３の態様の何れかに記載の撮像装置において、撮影ガイド情報は、被写体に対応付けられたマップ情報において、ユーザにより撮影中の画像に対応する位置を示すポインタを含む。

第５の態様は、第４の態様に記載の撮像装置において、マップ情報は、被写体のモデリングのための複数の画像に対応する複数の領域を含み、マップ情報において複数の領域は、それぞれ所定距離を示すサイズを有し、制御部は、被写体と撮像装置との間の距離に応じて、ポインタのサイズを制御する。

第６の態様は、第１ないし第５の態様の何れかに記載の撮像装置において、制御部は、画像撮影動作において認識した状況に応じて、被写体のモデリングのための画像撮影が失敗となる注意事項を報知するように、撮影ガイド情報を制御する。

第７の態様は、第１ないし第６の態様の何れかに記載の撮像装置において、制御部は、被写体のモデリングのための画像撮影が失敗すると、当該画像撮影が失敗した要因を報知するように、撮影ガイド情報を制御する。

第８の態様は、第１ないし第７の態様の何れかに記載の撮像装置において、制御部は、画像撮影動作の結果として、互いに異なる画質を有する第１及び第２の画像を含む撮影データを生成する。第２の画像の画質は、第１の画像の画質よりもモデリングの情報処理に適した画質である。

第９の態様は、第１ないし第８の態様の何れかに記載の撮像装置において、制御部は、画像撮影動作において撮影された全ての画像の中から特定の画像を除いて、残る画像を示す撮影データを生成する。特定の画像は、被写体のモデリングのための画像撮影が失敗した画像と、撮影時における被写体と撮像装置との位置関係が残る画像と重複する画像とのうちの少なくとも一方を含む。

第１０の態様は、第１ないし第９の態様の何れかに記載の撮像装置において、画像撮影動作は、被写体における複数の撮影部分についての所定の撮影設定による複数回の撮像を含む。制御部は、複数の撮影部分のうちの特定の撮影部分には、所定の撮影設定による画像撮影に加えて、所定の撮影設定とは異なる追加の撮影設定による画像撮影を行うように画像撮影動作を制御する。特定の撮影部分は、所定の撮影設定により撮影された画像において所定値未満となる、モデリングのための特徴量を有する。

第１１の態様は、第１０の態様に記載の撮像装置において、制御部は、追加の撮影設定による画像撮影のためにユーザに静止を指示するように、撮影ガイド情報を制御する。

第１２の態様は、被写体のモデリングのための画像撮影を行う撮像装置であって、被写体を撮像して、画像データを生成する撮像部と、被写体のモデリングのための、被写体における複数の撮影部分についての所定の撮影設定による複数回の撮像を含む画像撮影動作を制御する制御部とを備える。制御部は、複数の撮影部分のうちの特定の撮影部分には、所定の撮影設定による画像撮影に加えて、所定の撮影設定とは異なる追加の撮影設定による画像撮影を行うように画像撮影動作を制御する。特定の撮影部分は、所定の撮影設定により撮影された画像において所定値未満となる、モデリングのための特徴量を有する。

第１３の態様は、第１０ないし第１２の態様の何れかに記載の撮像装置において、制御部は、複数の撮影部分のうちの特定の撮影部分以外の撮影部分には、追加の撮影設定による画像撮影を行わず、所定の撮影設定による画像撮影を行うように画像撮影動作を制御する。

第１４の態様は、第１０ないし第１３の態様の何れかに記載の撮像装置において、制御部は、画像撮影動作において撮影部分毎に所定の撮影設定による画像撮影の失敗又は成功を検知する。制御部は、画像撮影の失敗が検知された場合、当該撮影部分について所定の撮影設定による画像撮影を再び行い、画像撮影の成功が検知された場合、当該撮影部分が特定の撮影部分であれば、所定の撮影設定による画像撮影に加えて追加の撮影設定による画像撮影を行うように、画像撮影動作を制御する。

第１５の態様は、第１０ないし第１４の態様の何れかに記載の撮像装置において、制御部は、複数の撮影部分のうちの特定の撮影部分以外の撮影部分には、所定の撮影設定により、互いに異なる画質を有する第１及び第２の画像を撮影し、特定の撮影部分には、所定の撮影設定により第１の画像を撮影し、追加の撮影設定により第２の画像を撮影するように、画像撮影動作を制御する。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。

本開示は、被写体のモデリングを行うための画像撮影が行われる種々の用途に適用可能である。

１００ デジタルカメラ
１４０ イメージセンサ
１５０ 表示モニタ
１７０ バッファメモリ
１８０ 制御部
２８０ スピーカ

Claims (15)

1. 被写体のモデリングのための画像撮影をユーザに行わせる撮像装置であって、
   前記被写体を撮像して、画像データを生成する撮像部と、
   前記ユーザに対する情報を出力する出力部と、
   前記被写体のモデリングのための、前記撮像部による複数回の撮像を含む画像撮影動作が、前記撮像装置により実行される状況を認識して、前記出力部を制御する制御部と
   を備え、
   前記制御部は、前記画像撮影動作において前記認識した状況に応じて、前記被写体のモデリングのための複数の画像の撮影をそれぞれ成功させるように前記ユーザをガイドする撮影ガイド情報を、前記出力部に出力させる
   撮像装置。
2. 前記撮影ガイド情報は、前記被写体のモデリングのための複数の画像に対応する複数の領域において、前記モデリングのための画像撮影が成功した領域と成功していない領域とをそれぞれ示すマップ情報を含む
   請求項１に記載の撮像装置。
3. 前記マップ情報において、前記被写体の３次元形状に沿って、前記成功した領域と前記成功していない領域とがそれぞれ配置される
   請求項２に記載の撮像装置。
4. 前記撮影ガイド情報は、前記被写体に対応付けられたマップ情報において、前記ユーザにより撮影中の画像に対応する位置を示すポインタを含む
   請求項１に記載の撮像装置。
5. 前記マップ情報は、前記被写体のモデリングのための複数の画像に対応する複数の領域を含み、
   前記マップ情報において前記複数の領域は、それぞれ所定距離を示すサイズを有し、
   前記制御部は、前記被写体と前記撮像装置との間の距離に応じて、前記ポインタのサイズを制御する
   請求項４に記載の撮像装置。
6. 前記制御部は、前記画像撮影動作において前記認識した状況に応じて、前記被写体のモデリングのための画像撮影が失敗となる注意事項を報知するように、前記撮影ガイド情報を制御する
   請求項１に記載の撮像装置。
7. 前記制御部は、前記被写体のモデリングのための画像撮影が失敗すると、当該画像撮影が失敗した要因を報知するように、前記撮影ガイド情報を制御する
   請求項１に記載の撮像装置。
8. 前記制御部は、前記画像撮影動作の結果として、互いに異なる画質を有する第１及び第２の画像を含む撮影データを生成し、
   前記第２の画像の画質は、前記第１の画像の画質よりも前記モデリングの情報処理に適した画質である
   請求項１に記載の撮像装置。
9. 前記制御部は、前記画像撮影動作において撮影された全ての画像の中から特定の画像を除いて、残る画像を示す撮影データを生成し、
   前記特定の画像は、前記被写体のモデリングのための画像撮影が失敗した画像と、撮影時における前記被写体と前記撮像装置との位置関係が前記残る画像と重複する画像とのうちの少なくとも一方を含む
   請求項１に記載の撮像装置。
10. 前記画像撮影動作は、前記被写体における複数の撮影部分についての所定の撮影設定による複数回の撮像を含み、
    前記制御部は、前記複数の撮影部分のうちの特定の撮影部分には、前記所定の撮影設定による画像撮影に加えて、前記所定の撮影設定とは異なる追加の撮影設定による画像撮影を行うように前記画像撮影動作を制御し、
    前記特定の撮影部分は、前記所定の撮影設定により撮影された画像において所定値未満となる、前記モデリングのための特徴量を有する
    請求項１に記載の撮像装置。
11. 前記制御部は、前記追加の撮影設定による画像撮影のために前記ユーザに静止を指示するように、前記撮影ガイド情報を制御する
    請求項１０に記載の撮像装置。
12. 被写体のモデリングのための画像撮影を行う撮像装置であって、
    前記被写体を撮像して、画像データを生成する撮像部と、
    前記被写体のモデリングのための、前記被写体における複数の撮影部分についての所定の撮影設定による複数回の撮像を含む画像撮影動作を制御する制御部と
    を備え、
    前記制御部は、前記複数の撮影部分のうちの特定の撮影部分には、前記所定の撮影設定による画像撮影に加えて、前記所定の撮影設定とは異なる追加の撮影設定による画像撮影を行うように前記画像撮影動作を制御し、
    前記特定の撮影部分は、前記所定の撮影設定により撮影された画像において所定値未満となる、前記モデリングのための特徴量を有する
    撮像装置。
13. 前記制御部は、前記複数の撮影部分のうちの前記特定の撮影部分以外の撮影部分には、前記追加の撮影設定による画像撮影を行わず、前記所定の撮影設定による画像撮影を行うように前記画像撮影動作を制御する
    請求項１２に記載の撮像装置。
14. 前記制御部は、
    前記画像撮影動作において前記撮影部分毎に前記所定の撮影設定による画像撮影の失敗又は成功を検知し、
    前記画像撮影の失敗が検知された場合、当該撮影部分について前記所定の撮影設定による画像撮影を再び行い、
    前記画像撮影の成功が検知された場合、当該撮影部分が前記特定の撮影部分であれば、前記所定の撮影設定による画像撮影に加えて前記追加の撮影設定による画像撮影を行うように、前記画像撮影動作を制御する
    請求項１２に記載の撮像装置。
15. 前記制御部は、
    前記複数の撮影部分のうちの前記特定の撮影部分以外の撮影部分には、前記所定の撮影設定により、互いに異なる画質を有する第１及び第２の画像を撮影し、
    前記特定の撮影部分には、前記所定の撮影設定により前記第１の画像を撮影し、前記追加の撮影設定により前記第２の画像を撮影するように、前記画像撮影動作を制御する
    請求項１２に記載の撮像装置。

Images