JP4973455B2 - 撮像装置、及び、プログラム - Google Patents

Description

本発明は、撮像装置、及び、プログラムに関する。

従来より撮像装置において、撮像された画像を単に表示させるだけでなく、記録した画像を再生表示する際に多様な表現を加味して、再生表示に興趣性を持たせる技術が考案されている。

例えば、特許文献１においては、撮影した画像から被写体画像を抽出し、この抽出された被写体画像の形状（ポーズ）に類似するキャラクター画像を合成する技術が開示されている（例えば、特許文献１、第１０〜１４頁、図９〜１７参照。）。
特許第３９０１０１５号公報

しかしながら、上記技術の場合、ユーザが合成画像を縦覧して楽しむには、まず画像を記録しなくてはならず、また、どのような画像を合成するかも事前に指定しておかなくてはならないという、事前の処理が必要となる。
また、用意されているキャラクター画像は、被写体画像の形状（ポーズ）の種類分用意しなければならず、結果としてプログラムメモリの記憶容量を圧迫するという問題が生じる。

本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザが所望する画像データを事前に合成して確認し記録することができる撮像装置、及び、プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明にあっては、撮像手段と、視点データが含まれる立体画像データを記憶する立体画像データ記憶手段と、この立体画像データ記憶手段に記憶されている立体画像データを読み出し、前記撮像手段により逐次撮像される被写体像に重畳するように合成して表示する表示手段と、前記表示手段による表示の際に、前記被写体像に対し合焦する合焦手段と、この合焦手段によって合焦した際の焦点距離と前記視点データに含まれる距離データとに基づいて、前記立体画像データにボカシ処理加工する加工手段と、この加工手段により加工されて表示された状態の被写体像及び立体画像データを記憶する記憶手段と、を備えたことを特徴とする。

また、請求項２記載の発明は、上記請求項１に記載の発明において、前記表示手段による表示の際に、前記合成されている立体画像データの拡大又は縮小を指示する拡大縮小指示手段と、この拡大縮小指示手段による拡大又は縮小指示に応じて、前記合成されている立体画像データの大きさを変更して表示するよう制御する第１の表示制御手段と、を更に備えたことを特徴とする。

また、請求項３記載の発明は、上記請求項１又は２に記載の発明において、前記表示手段による表示の際に、前記合成されている立体画像データの角度を指示する角度指示手段と、この角度指示手段による指示に応じて、前記合成されている立体画像データの角度を変更して表示するよう制御する第２の表示制御手段と、を更に備えたことを特徴とする。

また、請求項４記載の発明は、上記請求項１乃至３の何れかに記載の発明において、前記表示手段による表示の際に、前記合成されている立体画像データの形状変更を指示する形状変更指示手段と、この形状変更指示手段による変更指示に応じて、前記合成されている立体画像データの形状を変更して表示するよう制御する第３の表示制御手段と、を更に備えたことを特徴とする。

また、請求項５記載の発明は、上記請求項１乃至４の何れかに記載の発明において、前記表示手段による表示の際に、前記合成されている立体画像データの表示位置の変更を指示する表示位置変更指示手段と、この表示位置変更指示手段による変更指示に応じて、前記合成されている立体画像データの表示位置を変更して表示するよう制御する第４の表示制御手段と、を更に備えたことを特徴とする。

また、請求項６記載の発明は、上記請求項１乃至５の何れかに記載の発明において、前記表示手段による表示の際に、前記合成されている立体画像データの環境光の方向の変更を指示する環境光方向変更指示手段と、この環境光方向変更指示手段による変更指示に応じて、前記合成されている立体画像データの環境光の方向を変更して表示するよう制御する第５の表示制御手段と、を更に備えたことを特徴とする。

また、請求項７記載の発明は、上記請求項１乃至６の何れかに記載の発明において、前記表示手段による表示の際に、前記合成されている立体画像データの環境光の強さの変更を指示する環境光強さ変更指示手段と、この環境光強さ変更指示手段による変更指示に応じて、前記合成されている立体画像データの環境光の強さを変更して表示するよう制御する第６の表示制御手段と、を更に備えたことを特徴とする。

また、前記課題を解決するため請求項８記載の発明にあっては、撮像部、視点データが含まれる立体画像データを記憶する立体画像データ記憶部、及び、表示部を有する撮像装置が具備するコンピュータを、前記立体画像データ記憶部に記憶されている立体画像データを読み出し、前記撮像部により逐次撮像される被写体像に重畳するように合成して表示部に表示させる表示制御手段、前記表示制御手段による表示の際に、前記被写体像に対し合焦する合焦手段、この合焦手段によって合焦した際の焦点距離と前記視点データに含まれる距離データとに基づいて、前記立体画像データにボカシ処理加工する加工手段、この加工手段により加工されて表示された状態の被写体像及び立体画像データを所定の記憶部に記憶させる記憶制御手段として機能させることを特徴とする。

本発明によれば、スルー表示において、ユーザが所望する画像データと合成されたリアリティーのある合成状態を記録する前に確認することができる。

以下、本発明の一実施の形態を図に従って説明する。
図１（ａ）は、本実施の形態に係る撮像装置１の外観を示す正面図であり、（ｂ）は裏面図である。この撮像装置１には、前面に撮像レンズ２が設けられており、上面部にはシャッターキー３が設けられている。このシャッターキー３は、半押し操作と全押し操作とが可能な所謂ハーフシャッター機能を備えるものである。また、背面にはＬＣＤからなる表示部４、ファンクションキーＡ５、及びファンクションキーＢ７が設けられている。ファンクションキーＢ７の周部には、左右及び上下で押下操作可能なカーソルキー６が設けられている。

図２は、撮像装置１の概略構成を示すブロック図である。この撮像装置１は、バスラインを介して各部に接続された制御部１６を備えている。制御部１６は、撮像装置１の各部を制御するワンチップマイコンである。同図において撮像レンズ２は、詳細には光学系部材を実装するレンズユニットであり、ズームレンズ２１、フォーカスレンズ２２、制御部からの制御信号に基づいてこれらズームレンズ２１、フォーカスレンズ２２を駆動させるレンズモータ２３、及び、シャッターキー３の半押し操作検出による合焦指示検出時やカーソルキー６操作検出によるズーム操作検出時に移動するズームレンズ２１、フォーカスレンズ２２の移動位置を取得するレンズ位置検出部２４を備える。

撮像部８は、ＣＭＯＳ等のイメージセンサからなり上述の撮像レンズ２の光軸上に配置されている。ユニット回路９は、撮像部８から出力される被写体の光学像に応じたアナログの撮像信号が入力される回路であって、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤＣ）等から構成されている。撮像部８の出力信号はユニット回路９を経て各々デジタル信号として画像処理部１０に送られて、各種画像処理が施されるとともに、プレビューエンジン１２にて縮小加工されて、前記表示部４に供給される。そして、供給されたデジタル信号（撮像信号）とこの表示部４が内蔵するドライバを駆動する駆動制御信号とが表示部４に入力されると、表示部４はこのデジタル信号（撮像信号）に基づく画像をスルー画像として下位レイヤーに表示する。また、スルー画像の表示中に、３ＤＣＧファイルで描画されるキャラクター画像（立体オブジェクト、立体画像）データが前記表示部４に入力されると、上記ドライバは、表示部４は下位レイヤーにおけるスルー画像の表示を維持したまま、この３ＤＣＧファイルで描画されるキャラクター画像データを上位レイヤーに表示するよう制御する、尚、加工処理部１０１は画像処理部１０内に備えられている。その動作の詳細については後述する。

また、画像記録時において、画像処理部１０で処理された信号は、符号化／復号化処理部１１で符号化されて画像記録部１３に記録され、画像再生時において、画像記録部１３から読み出された画像データは符号化／復号化処理部１１で復号化されて表示部４に表示される。プレビューエンジン１２は、上記スルー画像の生成の他、画像記録時において画像記録部１３に記録される直前の画像を表示部４に表示させる際に必要な制御を行う。なお、キー入力部１８は、図１に示したシャッターキー３及び他のキー５〜７等で構成されている。通信部１９は当該撮像装置１と外部の装置（パーソナルコンピュータ等）、サーバ、システムと有線／無線を問わず直接的もしくは通信ネットワークを介して接続し、画像記録部１３に格納された画像ファイルや後述の３ＤＣＧファイルを送受信するための回路部である。

さらに、バスライン１７には、プログラムメモリ１４及び３ＤＣＧ記憶部１５が接続されている。プログラムメモリ１４には、後述するフローチャートに示す処理を実行するプログラムを記憶する。３ＤＣＧ記憶部１５は、図３（ａ）に示すように、複数個の３ＤＣＧファイル１５１、１５２、１５３、１５４…が格納されている。これら３ＤＣＧファイルは夫々が立体画像データ（立体オブジェクト）を定義するファイルであり、そのイメージは例えば図９の１５２０〜１５２５に示されるようなものである。また、３ＤＣＧファイルにて定義されるイメージ（キャラクター画像）はこの撮影モード時、キー入力部１８からのキー操作を検出することにより、任意に選択、読み出され、スルー画像として下位レイヤーに表示される画像に重畳して上位レイヤーに表示される。また、この上位レイヤーに表示されている時、キー入力部１８からのキー操作を検出することにより、任意に拡大／縮小、角度（向き）、ポーズ、表示位置、環境光の方向、及び、環境光の強さが変更されてスルー画像の上位レイヤーに表示される。尚、これら３ＤＣＧファイル１５１〜１５４…については、外部から任意に書き込み、消去が可能である。例えば、当該撮像装置１を外部の装置、サーバ、システムと直接的もしくは通信ネットワークを介して接続することにより３ＤＣＧ記憶部１５の記憶内容を書き換えることが可能である。

図３（ｂ）は、３ＤＣＧファイル１５２のファイルの構成を示す概念図である。３ＤＣＧファイル１５２は、ヘッダ部５２１とデータソース部５２２〜５２４とからなる。ヘッダ部５２２は、当該３ＤＣＧファイルのファイル名を格納するファイル名データ領域２１１、当該３ＤＣＧファイルで定義及び描画されるキャラクターの版権情報や、改変の許可／不許可に関する情報を格納する著作権データ領域２１２、当該３ＤＣＧファイルのキャラクターサンプル画像やその他ファイル情報を格納するプロパティデータ領域２１３、及び、画像サイズデータ領域２１４からなる。一方、データソース部５２２〜５２４は、背景データ領域５２２、データサイズ定義領域５２３、及び、実体データ領域５２４からなる。背景データ領域５２２は、３ＤＣＧが置かれる仮想的空間の環境光の強さを定義する環境光強さデータ領域２２１、３ＤＣＧが置かれる仮想的空間の環境光の方向を定義する環境光強さデータ領域２２２が含まれる。

データサイズ定義領域５２３は、後述の実体データ領域５２４に格納される夫々のデータを読み出す際の読み出し開始アドレスや読み出すべきデータ量を定義する領域であり、モデルデータサイズ領域２３１、動きデータサイズ領域２３２、テクスチャデータサイズ領域２３３、及び、視点データサイズ領域２３４が含まれる。実体データ領域５２４は、当該３ＤＣＧファイルによって描画されるキャラクター画像の実体データが格納されるモデルデータ実体領域２４１、このキャラクター画像のポーズを定義する動きデータが格納される動きデータの実体領域２４２、上記の実体データに貼り込まれるテクスチャデータが格納されるテクスチャデータの実体領域２４３、及び、上記のキャラクター画像の視点（表示される方向）を定義する視点データの実体領域２４４が含まれる。次に、本実施の形態に係る撮像装置１の動作について説明する。撮影モードを設定すると、制御部１６は、プログラムに従って図４〜６のフローチャートに示すように処理を開始する。

まず制御部１６は、撮像部８を制御して、ズームレンズ２１、フォーカスレンズ２２を介して結像される被写体の光学像を、逐次（巡回的に、もしくは周期的に）ユニット回路９に出力させ、ユニット回路９はこの被写体の光学像を含む撮像信号を増幅し、デジタルの撮像信号に変換する。変換された撮像信号はデジタル信号として画像処理部１０に送られて各種画像処理が施され、プレビューエンジン１２にて縮小加工されて、前記表示部４に供給され下位レイヤーにスルー表示される（ステップＳ１）。次に制御部１６は、このスルー表示されている状態でユーザの操作によるファンクションキーＡ５の押圧を検出したか否かを判断する（ステップＳ２）。ファンクションキーＡ５の押圧を検出しなかった場合は、通常の撮影処理に移行するが（ステップＳ３）、押圧を検出した場合、３ＤＣＧ記憶部１５に記憶されている全ての３ＤＣＧファイルのプロパティデータ領域２１３からキャラクターサンプル画像を読み出して表示部４に一覧表示させる（ステップＳ４）。

図７はこの時の表示部４の表示態様を例示するものであり、３ＤＣＧファイル１５１で定義されるキャラクターサンプル画像１５１０、３ＤＣＧファイル１５２で定義されるキャラクターサンプル画像１５２０、３ＤＣＧファイル１５３で定義されるキャラクターサンプル画像１５３０、及び、キャラクターサンプル画像が他にあることを示す指標（アイコン）４１が表示されている。そしてこの表示状態において、ユーザによるカーソルキー６の左右方向の選択操作を検出したか否かを判断する（ステップＳ５）。一方、ユーザがカーソルキー６を操作しなかった場合は、ファンクションキーＡ５の操作を検出することにより、キャンセルの指示を検出したか否かを判断し（ステップＳ５でＮｏ→ステップＳ６）、キャンセルの指示を検出した場合（ステップＳ６でＹｅｓ）は、通常の撮影処理に移行する（ステップＳ３）。また、キャンセルの指示を検出しなかった場合（ステップＳ６でＮｏ）は、ステップＳ５に移行し、ユーザの選択操作を待つ。

ステップＳ５にてユーザによるカーソルキー６の左右方向の選択操作を検出すると（ステップＳ５でＹｅｓ）、その選択操作に応じて、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに選択操作に対応するキャラクターサンプル画像を重畳表示する（ステップＳ７）。図８はこの時の表示部４の表示態様を例示するものであり、スルー表示されている被写体画像（二人の人物）を下位レイヤーとして、上位レイヤーには３ＤＣＧファイル１５２で定義されるネコのキャラクターサンプル画像１５２０が重畳表示されている。したがって、ユーザはスルー表示された画像の状態を目視し確認しながら、合成表示すべきキャラクターサンプル画像を確認することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する立体画像データとの合成状態を、記録する前に確認することができる。

そして、この表示状態でユーザのファンクションキーＢ７の操作を検出することにより、決定の指示を検出したか否かを判断し（ステップＳ８）、決定の指示を検出した場合（ステップＳ８でＹｅｓ）はステップＳ９に移行する。そして、ステップＳ９では、ファンクションキーＡ５の操作を検出することにより、キャンセルの指示を検出したか否かを判断し、キャンセルの指示を検出した場合（ステップＳ９でＹｅｓ）は、ステップＳ４に移行する。また、キャンセルの指示を検出しなかった場合（ステップＳ９でＮｏ）は、ステップＳ７に移行し、ユーザの決定操作を待つ。一方、ステップＳ８で決定の指示を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに対応するキャラクターサンプル画像とこのキャラクターサンプル画像の大きさを決める処理に移行する旨のガイダンスとを表示する（ステップＳ１０）。

次に、この表示状態において、ユーザによるカーソルキー６の上下方向の選択操作を検出することによるキャラクターサンプル画像のサイズ変更操作を検出したか否かを判断する（ステップＳ１１）。サイズ変更操作を検出すると、制御部１６は、ユーザのカーソルキー６の上下方向の選択に応じて、図３（ｂ）に示した３ＤＣＧファイル（本フローチャートにおいてはネコのキャラクター画像１５２０を描画する３ＤＣＧファイル１５２）の視点データの実体領域２４４から、拡大／縮小表示に関連するパラメータを読み出すとともに、他の実体データ（モデルデータ、及び、テクスチャデータ）を読み出し、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに拡大／縮小され再描画されたキャラクター画像を重畳表示する（ステップＳ１２）。

上記ステップＳ１２の処理について詳述すると、制御部１６は、ユーザ操作により拡大が指示された場合は、キャラクターサンプル画像１５２０が置かれている仮想的空間においてよりキャラクター画像１５２０に視点が近づくように描画されるような視点パラメータを読み出し、縮小が指示された場合はキャラクター画像１５２０が置かれている仮想的空間においてよりキャラクター画像１５２０から視点が遠ざかるように描画されるような視点パラメータを読み出す。

したがって、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクターサンプル画像のサイズを任意に変更して所望のサイズに再描画させることができ、ユーザの所望する被写体（撮影画角）とユーザが所望するサイズでの立体画像データとの合成状態を、記録する前に確認することができる。また、キャラクター画像を選択する場合においては、各３ＤＣＧファイルのプロパティデータ領域２１３に格納されるキャラクターサンプル画像を先ず読み出して表示させるので、複数の３ＤＣＧファイルについて同時にモデルデータやテクスチャデータを読み出して描画させるという負担を軽減させることができる。

次いで、ユーザによるカーソルキー６の上下方向の選択操作を検出しなかったか、もしくは、ユーザによるカーソルキー６の上下方向の選択操作によるサイズ変更操作の後、ファンクションキーＢ７の押圧を検出したか否かを判断する（ステップＳ１３）。ファンクションキーＢ７の押圧を検出しなかった場合は、ステップＳ１１に移行し、再度ユーザによるカーソルキー６の上下方向の選択操作を検出することによるキャラクターサンプル画像のサイズ変更操作を検出したか否かを判断する。一方、ファンクションキーＢ７の押圧を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーにサイズ決定されたキャラクター画像とこのキャラクター画像の向きを決める処理に移行する旨のガイダンスとを表示する（ステップＳ１４）。

次に、この表示状態において、ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによるキャラクター画像の「向き」の変更操作を検出したか否かを判断する（ステップＳ１５）。この向き変更操作を検出すると、制御部１６は、ユーザのカーソルキー６の上下左右方向の選択に応じて、図３（ｂ）に示した３ＤＣＧファイルの視点データの実体領域２４４から、視点方向の変更に関連するパラメータを読み出し、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに、向き（視点方向）が変更された結果、再描画されたキャラクター画像を重畳表示する（ステップＳ１６）。

上記ステップＳ１６の処理について図９を用いて詳述すると、制御部１６はユーザ操作により上方向が指示された場合は、その操作時間の長さによりキャラクターサンプル画像１５２０→キャラクター画像１５２１→キャラクター画像１５２４→キャラクター画像１５２２と、例えば５°刻みで視点データの実体領域２４４から読み出すべき視点パラメータを変更する。一方、下方向が指示された場合は、その操作時間の長さによりキャラクターサンプル画像１５２０→キャラクター画像１５２２→キャラクター画像１５２４→キャラクター画像１５２１と、例えば５°刻みで視点データの実体領域２４４から読み出すべき視点パラメータを変更する。

また、制御部１６はユーザ操作により右方向が指示された場合は、その操作時間の長さによりキャラクターサンプル画像１５２０→キャラクター画像１５２３→キャラクター画像１５２４→キャラクター画像１５２５と、例えば５°刻みで視点データの実体領域２４４から読み出すべき視点パラメータを変更する。一方、左方向が指示された場合は、その操作時間の長さによりキャラクターサンプル画像１５２０→キャラクター画像１５２５→キャラクター画像１５２４→キャラクター画像１５２３と、例えば５°刻みで視点データの実体領域２４４から読み出すべき視点パラメータを変更する。また、このカーソルキー６の上下左右方向の任意の操作を検出することにより、制御部１６は、例えば上方向１５°で左方向３０°の視点から見たキャラクター画像の描画を指示することもできる。

したがって、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクターサンプル画像の向き（視点方向）を任意に変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。

次いで、ユーザによるカーソルキー６の上下方向の選択操作を検出しなかったか、もしくは、ユーザによるカーソルキー６の上下方向の選択操作によるサイズ変更操作の後、ファンクションキーＢ７の押圧を検出したか否かを判断する（ステップＳ１７）。ファンクションキーＢ７の押圧を検出しなかった場合は、ステップＳ１５に移行し、再度ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによるキャラクター画像の向き変更操作を検出したか否かを判断する。一方、ファンクションキーＢ７の押圧を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに向きが決定されたキャラクター画像とこのキャラクター画像のポーズを決める処理に移行する旨のガイダンスとを表示する（ステップＳ１８）。

次に、この表示状態において、ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによるキャラクター画像のポーズ変更操作を検出したか否かを判断する（ステップＳ１９）。このポーズ変更操作を検出すると、制御部１６は、ユーザのカーソルキー６の上下左右方向の選択に応じて、図３（ｂ）に示した３ＤＣＧファイルの動きデータの実体領域２４２から、ポーズ変更に関連するパラメータを読み出し、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに、ポーズが変更された結果、再描画されたキャラクター画像を重畳表示する（ステップＳ２０）。

上記ステップＳ２０の処理について図１０（ａ）、（ｂ）を用いて詳述すると、先ず、制御部１６はユーザ操作によりキャラクター画像においてポーズを変更したい箇所を検出する。図１０（ａ）はその時のキャラクター画像の表示態様を示すものであり、動きデータの実体領域２４２で定義されているパラメータに基づきポーズ変更可能な箇所としてネコのキャラクター画像１５２６の右手の先端に指標（マーカー）１５２７を表示している状態を示すものである。この表示状態において、制御部１６はユーザによるカーソルキー６の選択操作を検出する毎に、動きデータの実体領域２４２で定義されているパラメータをサーチしながら、他のポーズ変更可能な箇所を例えば、右足、首、左手、左足と指標（マーカー）を移動させて表示させる。

そして、変更可能な箇所の決定を検出すると、次にユーザのカーソルキー６の操作を検出することによって変更可能な箇所における動きパラメータの入力を行なう。図１０（ｂ）はその時のキャラクター画像の表示態様を示すものであり、ネコのキャラクター画像１５２６の左手の先端に指標（マーカー）１５２７を表示するよう決定した後、カーソルキー６の操作を検出する毎にａの方向に動かすと、その動かした分に相当する動きパラメータが入力される。

したがって、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクター画像のポーズ（動き）を任意に変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。

次いで、ユーザによるカーソルキー６の上下方向の選択操作を検出しなかったか、もしくは、ユーザによるカーソルキー６の上下方向の選択操作によるポーズ変更操作の後、ファンクションキーＢ７の押圧を検出したか否かを判断する（ステップＳ２１）。ファンクションキーＢ７の押圧を検出しなかった場合は、ステップＳ１９に移行し、再度ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによるキャラクター画像のポーズ変更操作を検出したか否かを判断する。一方、ファンクションキーＢ７の押圧を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーにポーズが決定されたキャラクター画像とこのキャラクター画像の表示位置調整処理に移行する旨のガイダンスとを表示する（ステップＳ２２）。

次に、この表示状態において、ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによるキャラクター画像の表示位置調整操作を検出したか否かを判断する（ステップＳ２３）。この表示位置調整操作を検出すると、制御部１６は、ユーザのカーソルキー６の上下左右方向の操作に応じて、キャラクター画像の表示位置を変更しスルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに、表示位置が調整され再描画されたキャラクター画像を重畳表示する（ステップＳ２４）。

したがって、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクター画像の表示位置を任意に調整することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。

次いで、ユーザによるカーソルキー６の上下方向の選択操作を検出しなかったか、もしくは、ユーザによるカーソルキー６の上下方向の選択操作による表示位置の調整の後、ファンクションキーＢ７の押圧を検出したか否かを判断する（ステップＳ２５）。ファンクションキーＢ７の押圧を検出しなかった場合は、ステップＳ２３に移行し、再度ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによるキャラクター画像の表示位置調整操作を検出したか否かを判断する。一方、ファンクションキーＢ７の押圧を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに表示位置が調整されたキャラクター画像とこのキャラクター画像の環境光方向選択処理に移行する旨のガイダンスとを表示する（ステップＳ２６）。

次に、この表示状態において、ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによる環境光方向の選択操作を検出したか否かを判断する（ステップＳ２７）。この環境光方向の選択操作を検出すると、制御部１６は、ユーザのカーソルキー６の上下左右方向の選択に応じて、図３（ｂ）に示した３ＤＣＧファイルの環境光方向データ領域２２２から、環境光方向に関連するパラメータを読み出し、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに、環境光方向が選択された結果を反映させ、再描画されたキャラクター画像を重畳表示する（ステップＳ２８）。

上記ステップＳ２８の処理について図１１を用いて詳述する。図１１は、下位レイヤーに被写体画像４（４２）が表示されている状態で、その上位レイヤー４４にキャラクター画像１５２７が重畳表示されている状態を示すものである。このキャラクター画像１５２７が置かれている仮想的空間に存在する光源１５２９の三次元位置を、ユーザのカーソルキー６の操作に基づき、上方向であればｂ、下方向であればｃ、右方向であればｄ、左方向であればｅ、というように選択すると、この選択操作に従い環境光方向に関するパラメータが読み出され、この方向から環境光が照らされる結果キャラクター画像から伸びる影に相当する画像を生成する。

したがって、ユーザはスルー表示された被写体画像の影の方向を目視し確認しながら、合成表示すべきキャラクター画像の影の方向を変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。また、図１１に図示するように、被写体画像４（４２）に含まれる三人の人物の影４３を目視しながらキャラクター画像１５２７の影１５２８を決定できるので、不自然な合成を未然に防ぐこともできる。

次いで、ユーザによるカーソルキー６の上下左右方向の選択操作を検出しなかったか、もしくは、ユーザによるカーソルキー６の上下左右方向の選択操作による環境光方向の選択操作の後、ファンクションキーＢ７の押圧を検出したか否かを判断する（ステップＳ２９）。ファンクションキーＢ７の押圧を検出しなかった場合は、ステップＳ２６に移行し、再度ユーザによるカーソルキー６の上下左右方向の選択操作を検出することによる環境光方向の選択操作を検出したか否かを判断する。一方、ファンクションキーＢ７の押圧を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに環境光方向が反映されたキャラクター画像と環境光の強さの選択に移行する旨のガイダンスとを表示する（ステップＳ３０）。

次に、この表示状態において、ユーザによるカーソルキー６の上下方向の選択操作を検出することによる環境光の強さの選択操作を検出したか否かを判断する（ステップＳ２７）。この環境光の強さの選択操作を検出すると、制御部１６は、ユーザのカーソルキー６の上下方向の選択に応じて、例えば上方向に操作されたならば環境光の照度が強、下方向に操作されたならば環境光の照度が弱と判断し、図３（ｂ）に示した３ＤＣＧファイルの環境光強さデータ領域２２１から、環境光の強さに関連するパラメータを読み出し、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに、環境光の強さが選択された結果を反映させ、再描画されたキャラクター画像を重畳表示する（ステップＳ３２）。

したがって、ユーザはスルー表示された被写体画像の影の濃さを目視し確認しながら、合成表示すべきキャラクター画像の影の濃さを変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。また、図１１に図示するように、被写体画像４（４２）に含まれる三人の人物の影４３の濃さを目視しながらキャラクター画像１５２７の影１５２８の濃さを決定できるので、不自然な合成を未然に防ぐこともできる。

次いで、ユーザによるカーソルキー６の上下方向の選択操作を検出しなかったか、もしくは、ユーザによるカーソルキー６の上下方向の選択操作による環境光の強さの選択操作の後、ファンクションキーＢ７の押圧を検出したか否かを判断する（ステップＳ３３）。ファンクションキーＢ７の押圧を検出しなかった場合は、ステップＳ３０に移行し、再度ユーザによるカーソルキー６の上下方向の選択操作を検出することによる環境光の強さの選択操作を検出したか否かを判断する。一方、ファンクションキーＢ７の押圧を検出した場合は、スルー表示されている被写体画像を下位レイヤーとして、その上位レイヤーに環境光の強さが反映されたキャラクター画像を表示する（ステップＳ３４）。

次に、この表示状態において、ユーザのシャッターキー３の半押し操作を検出することによる合焦指示が検出されたか否かを判断する（ステップＳ３５）。合焦指示が検出されなかった場合はステップＳ３８のシャッターキー３の全押し操作検出による記録指示が検出されたか否かの判断を行なうが、合焦指示が検出された場合は、合焦動作においてフォーカスレンズ２２の移動位置をレンズ位置検出部２４から取得し、被写対象までの距離を算出する（ステップＳ３６）。次いで、図３（ｂ）に示した３ＤＣＧファイルの視点データの実体領域２４４からデフォルトの距離データを読み出すとともに、上記ステップＳ１１により決定したサイズ、上記算出された被写対象とから、加工処理部１０１に対しボカシ加工処理の強さを調整させ、調整されたボカシ加工処理をキャラクター画像に施させる（ステップＳ３７）。

上記ステップＳ３７の処理について図１２を用いて詳述する。図１２は、下位レイヤーに被写体画像４（４２）が表示されている状態で、その上位レイヤー４４にキャラクター画像１５２７が重畳表示されている状態を示すものである。距離ｇは、当該撮像装置１が置かれた位置ｈと上記デフォルトの視点データと上記ステップＳ１１の処理とにより決定されたキャラクター画像１５２７との仮想的な距離であり、距離ｆは、レンズ位置検出部２４から取得した焦点距離から算出された、当該撮像装置１が置かれた位置ｈから被写対象までの距離である。すなわち、キャラクター画像１５２７は被写対象と比較した場合、当該撮像装置１に近い位置に存在することになり、焦点の合わないことになるので、距離ｆから距離ｇを減算した分だけ像をぼかす加工処理を施す。

したがって、ユーザはスルー表示された被写体画像と当該撮像装置１との距離を確認しながら、合成表示すべきキャラクター画像があたかも現実に存在するような加工処理（ボカシ処理）を施すことができ、リアリティーのある合成状態を記録する前に確認することができる。また、図１２に図示するように、被写対象までの距離と仮想的なキャラクター画像までの距離とに基づいて最適な加工処理を施せるので、不自然な合成を未然に防ぐこともできる。

次いで、ユーザによるシャッターキー３の全押し検出による記録指示を検出したか否かを判断する（ステップＳ３８）。記録指示を検出した場合（ステップＳ３８でＹｅｓ）は、そのときの表示部４の表示状態、すなわち図１３に示すようなスルー表示された被写体画像を下位レイヤーとし、上位レイヤーにキャラクター画像が重畳された状態を記録し、ファイル化して画像記録部１３に格納し（ステップＳ３９）、スルー表示状態に戻る一方、記録指示を検出しなかった場合はステップＳ３４に移行する。

このように、本実施の形態によれば、ユーザはスルー表示された画像の状態を目視し確認しながら、合成表示すべきキャラクターサンプル画像を確認することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する立体画像データとの合成状態を、記録する前に確認することができる。また、本実施の形態によれば、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクターサンプル画像のサイズを任意に変更して所望のサイズに再描画させることができ、ユーザの所望する被写体（撮影画角）とユーザが所望するサイズでの立体画像データとの合成状態を、記録する前に確認することができる。

さらに、本実施の形態によれば、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクターサンプル画像の向き（視点方向）を任意に変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。更にまた、本実施の形態によれば、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクター画像のポーズ（動き）を任意に変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。

また、本実施の形態によれば、ユーザはスルー表示された被写体画像の状態を目視し確認しながら、合成表示すべきキャラクター画像の表示位置を任意に調整することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができる。更に、本実施の形態によれば、ユーザはスルー表示された被写体画像の影の方向を目視し確認しながら、合成表示すべきキャラクター画像の影の方向を変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができるし、不自然な合成を未然に防ぐこともできる。

更にまた、本実施の形態によれば、ユーザはスルー表示された被写体画像の影の濃さを目視し確認しながら、合成表示すべきキャラクター画像の影の濃さを変更することができ、ユーザの所望する被写体（撮影画角）とユーザが所望する向きの立体画像データとの合成状態を、記録する前に確認することができるし、不自然な合成を未然に防ぐこともできる。
また、本実施の形態によれば、ユーザはスルー表示された被写体画像と撮像装置との距離を確認しながら、合成表示すべきキャラクター画像があたかも現実に存在するような加工処理（ボカシ処理）を施すことができ、リアリティーのある合成状態を記録する前に確認することができるし、不自然な合成を未然に防ぐこともできる。

尚、本実施の形態においては、通信部１９は３ＤＣＧファイルの送受信を行なうために備えられていることとしたが、これに限らず、画像記録部１３に格納された画像ファイルを送受信できるようにしても良い。

また、本実施の形態においては、キャラクター画像の選択、キャラクター画像のサイズ変更、向きの変更、ポーズの変更、表示位置の変更、環境光の方向選択、及び、環境光の強さ選択を全てユーザの選択操作により行なっていたが、これに限らず、被写体画像に含まれる特徴量の多い画素領域を検出、追跡する機能を当該撮像装置１が備えている場合には、この検出、追跡結果を反映させて、上記の変更及び選択操作を自動的に行わせてもよい。

さらに、被写体画像に含まれる特定画像（例えば、顔や顔の表情）を検出、追跡する機能を当該撮像装置１が備えている場合には、この検出、追跡結果を反映させて、上記の変更及び選択操作を自動的に行わせてもよい。

また、撮像装置の置かれている周囲環境（例えば、照度、方位（仰角／俯角）、高度、輝度、温度等）を検出、追跡する機能を当該撮像装置１が備えている場合には、この検出、追跡結果を反映させて、上記の変更及び選択操作を自動的に行わせてもよい。

また、撮像装置の内部状態（例えば、電源状態、通信状態、ユーザ認証機能等）を検出する機能を当該撮像装置１が備えている場合には、この検出、追跡結果を反映させて、上記の変更及び選択操作を自動的に行わせてもよい。

さらに、本実施の形態においては、被写体画像とキャラクター画像とが重畳された状態を合成して記録するようにしたが、これに限らず、例えば、Ｅｘｉｆ規格における拡張データ領域にキャラクター画像を記憶させ、再生時には、ユーザの任意の操作により重畳表示するようにしても良い。

また、本発明は撮像装置に限らず、撮像機能を備えた携帯電話端末やカメラ付きパーソナルコンピュータ等、撮像機能を備えた携帯可能な電子機器に適用することも容易に可能であり、要は撮像が可能な装置であればいずれにも適用することができる。

（ａ）は本発明の一実施の形態に係る撮像装置の正面図、（ｂ）は裏面図である。 同撮像装置のブロック図である。 （ａ）本発明の実施の形態における３ＤＣＧ記憶部の記憶内容を示すものであり、（ｂ）は３ＤＣＧファイルの構成を示す概念図である。 同実施の形態における処理手順を示すフローチャートである。 同実施の形態における処理手順を示すフローチャートである。 同実施の形態における処理手順を示すフローチャートである。 同実施の形態の画面表示例を示す図である。 同実施の形態の画面表示例を示す図である。 同実施の形態におけるキャラクター画像の向きの変更処理を示す概念図である。 （ａ）、（ｂ）は共に同実施の形態におけるキャラクター画像のポーズの変更処理を示す概念図である。 同実施の形態における環境光方向の選択処理を示す概念図である。 同実施の形態における加工処理を示す概念図である。 同実施の形態の画面表示例を示す図である。

符号の説明

１ 撮像装置
３ シャッターキー
４ 表示部
５ ファンクションキーＡ
６ カーソルキー
７ ファンクションキーＢ
８ 撮像部
９ ユニット回路
１０ 画像処理部
１１ 符号化／復号化処理部
１２ プレビューエンジン
１３ 画像記録部
１４ プログラムメモリ
１５ ３ＤＣＧ記憶部
１６ 制御部

Claims (8)

1. 撮像手段と、
   視点データが含まれる立体画像データを記憶する立体画像データ記憶手段と、
   この立体画像データ記憶手段に記憶されている立体画像データを読み出し、前記撮像手段により逐次撮像される被写体像に重畳するように合成して表示する表示手段と、
   前記表示手段による表示の際に、前記被写体像に対し合焦する合焦手段と、
   この合焦手段によって合焦した際の焦点距離と前記視点データに含まれる距離データとに基づいて、前記立体画像データにボカシ処理加工する加工手段と、
   この加工手段により加工されて表示された状態の被写体像及び立体画像データを記憶する記憶手段と、
   を備えたことを特徴とする撮像装置。
2. 前記表示手段による表示の際に、前記合成されている立体画像データの拡大又は縮小を指示する拡大縮小指示手段と、
   この拡大縮小指示手段による拡大又は縮小指示に応じて、前記合成されている立体画像データの大きさを変更して表示するよう制御する第１の表示制御手段と、
   を更に備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記表示手段による表示の際に、前記合成されている立体画像データの角度を指示する角度指示手段と、
   この角度指示手段による指示に応じて、前記合成されている立体画像データの角度を変更して表示するよう制御する第２の表示制御手段と、
   を更に備えたことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記表示手段による表示の際に、前記合成されている立体画像データの形状変更を指示する形状変更指示手段と、
   この形状変更指示手段による変更指示に応じて、前記合成されている立体画像データの形状を変更して表示するよう制御する第３の表示制御手段と、
   を更に備えたことを特徴とする請求項１乃至３の何れかに記載の撮像装置。
5. 前記表示手段による表示の際に、前記合成されている立体画像データの表示位置の変更を指示する表示位置変更指示手段と、
   この表示位置変更指示手段による変更指示に応じて、前記合成されている立体画像データの表示位置を変更して表示するよう制御する第４の表示制御手段と、
   を更に備えたことを特徴とする請求項１乃至４の何れかに記載の撮像装置。
6. 前記表示手段による表示の際に、前記合成されている立体画像データの環境光の方向の変更を指示する環境光方向変更指示手段と、
   この環境光方向変更指示手段による変更指示に応じて、前記合成されている立体画像データの環境光の方向を変更して表示するよう制御する第５の表示制御手段と、
   を更に備えたことを特徴とする請求項１乃至５の何れかに記載の撮像装置。
7. 前記表示手段による表示の際に、前記合成されている立体画像データの環境光の強さの変更を指示する環境光強さ変更指示手段と、
   この環境光強さ変更指示手段による変更指示に応じて、前記合成されている立体画像データの環境光の強さを変更して表示するよう制御する第６の表示制御手段と、
   を更に備えたことを特徴とする請求項１乃至６の何れかに記載の撮像装置。
8. 撮像部、視点データが含まれる立体画像データを記憶する立体画像データ記憶部、及び、表示部を有する撮像装置が具備するコンピュータを、
   前記立体画像データ記憶部に記憶されている立体画像データを読み出し、前記撮像部により逐次撮像される被写体像に重畳するように合成して表示部に表示させる表示制御手段、
   前記表示制御手段による表示の際に、前記被写体像に対し合焦する合焦手段、
   この合焦手段によって合焦した際の焦点距離と前記視点データに含まれる距離データとに基づいて、前記立体画像データにボカシ処理加工する加工手段、
   この加工手段により加工されて表示された状態の被写体像及び立体画像データを所定の記憶部に記憶させる記憶制御手段、
   として機能させることを特徴とするプログラム。

Images