JP6128928B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、被写体を撮影した画像に、撮影者自身を撮影した画像を合成して記録する撮像装置に関する。

一般に、デジタルカメラなどの撮像装置は１つの撮像素子を備えており、撮影者は撮像装置を用いて風景、建物、又は人物等などの被写体を撮影している。一方で、撮影中の撮影者の画像を被写体を撮影した画像とともに記録したいという要望があり、そのため、２つの撮像素子を備える撮像装置がある。

この撮像装置には、被写体を撮影する撮像素子（第１の撮像素子）と撮影者を撮影する撮像素子（第２の撮像素子）とが備えられており、この撮像装置では被写体を撮影した画像に撮影者を撮影した画像を合成して出力する。

例えば、第１の撮像ユニット（メインカメラ）と第２の撮像ユニット（サブカメラ）とを備えて、第１の撮像ユニットおよび第２の撮像ユニットが互いに異なる方向に向くように配置された撮像装置がある。そして、この撮像装置では、メインカメラとサブカメラとを用いて被写体と撮影者とを同時に撮像するようにしている（特許文献１参照）。

また、第１のカメラ部で撮影者の第１の画像を撮影し、第２のカメラ部で被撮影者（被写体）の第２の画像を撮影して、第２の画像において被撮影者が含まれない領域に第１の画像における撮影者の顔領域を合成して出力するようにしたものがある（特許文献２参照）。

上記のような撮像装置では、例えば、撮像装置の前面側に被写体の撮影に用いられるカメラ部（以下アウトカメラと呼ぶ）を設けるとともに、撮像装置の背面側に撮影者自身の撮影を行うカメラ部（以下インカメラと呼ぶ）が設けられている。そして、この撮像装置では、インカメラで撮影した画像から撮影者の顔領域をトリミングし、アウトカメラで撮影した被写体の画像に撮影者の顔領域を合成して出力する。

図８は、インカメラで撮影した画像とアウトカメラで撮影した画像との合成を説明するための図である。そして、図８（ａ）はアウトカメラで撮影された画像（アウトカメラ画像）の一例を示す図であり、図８（ｂ）はインカメラで撮影された画像（インカメラ画像）の一例を示す図である。また、図８（ｃ）はインカメラ画像のトリミング結果の一例を示す図であり、図８（ｄ）は合成画像の一例を示す図である。

図８に示すように、撮像装置を用いて、アウトカメラによって被写体を撮影して、アウトカメラ画像８０１を得るとともに、インカメラによって撮影者を撮影してインカメラ画像８０２を得る。そして、インカメラ画像８０２から撮影者の顔領域をトリミングして、図８（ｃ）に示すトリミング画像８０３を得る。続いて、アウトカメラ画像８０１にトリミング画像８０２を合成して、図８（ｄ）に示す合成画像８０４を得る。

このように、上述の撮像装置では、ある被写体を撮影した際の撮影者の顔画像を同時に記録することができるので、被写体の画像だけでは読み取れないような撮影者の様子および表情も感じ取れる画像を記録することができる。

特開２００５−７３１６１号公報 特開２００５−９４７４１号公報

しかしながら、上述のように、インカメラ画像をトリミングする際に、常に撮影者の顔領域でトリミングを行うと、撮影者の状況によっては効果的な見せ方ができないという問題点がある。

例えば、撮影者のゼスチャーが大きい場合には、顔領域ばかりでなくゼスチャー動作も合成されるように撮影者の胴体部分なども含めてトリミングした方が、撮影者の様子および雰囲気がより効果的に伝わりやすい。

従って、本発明の目的は、被写体を撮影したアウトカメラ画像と撮影者を撮影したインカメラ画像を合成して記録する際、インカメラ画像における撮影者の様子を見やすく、しかも効果的に表示することができる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、第１の被写体を撮影して画像を得る第１の撮像手段と、前記第１の被写体と異なる第２の被写体を撮影して画像を得る第２の撮像手段と、前記第２の撮像手段によって撮影した画像から、前記第２の被写体の顔領域および胴体領域を特定し、前記胴体領域に動きがあるかを検出する検出手段と、撮影指示を受け付ける受付手段と、前記撮影指示を受け付けたことに応じて、前記第１の撮像手段および前記第２の撮像手段による静止画の撮影を行い、前記第１の撮像手段によって撮影した第１の静止画に、前記第２の撮像手段によって撮影した第２の静止画の一部領域を合成した合成画像を生成して、記録媒体に記録するように制御する制御手段と、を有し、前記検出手段は、前記撮影指示を受け付ける前に、前記第２の被写体の顔領域および胴体領域の特定と前記胴体領域の動き検出を行い、前記制御手段は、前記検出手段によって前記胴体領域において動きが検出されなかった場合には、前記撮影指示を受け付ける前に特定された顔領域を含む前記第２の静止画の第１の領域を前記第１の静止画に合成し、前記検出手段によって前記胴体領域において動きが検出された場合には、前記撮影指示を受け付ける前に特定された顔領域および胴体領域を含む前記第２の静止画の第２の領域を前記第１の静止画に合成するように制御することを特徴とする。

本発明による制御方法は、第１の被写体を撮影して画像を得る第１の撮像手段と、前記第１の被写体と異なる第２の被写体を撮影して画像を得る第２の撮像手段とを有する撮像装置の制御方法であって、前記第２の撮像手段によって撮影した画像から、前記第２の被写体の顔領域および胴体領域を特定し、前記胴体領域に動きがあるかを検出する検出ステップと、撮影指示を受け付ける受付ステップと、前記撮影指示を受け付けたことに応じて、前記第１の撮像手段および前記第２の撮像手段による静止画の撮影を行い、前記第１の撮像手段によって撮影した第１の静止画に、前記第２の撮像手段によって撮影した第２の静止画の一部領域を合成した合成画像を生成して、記録媒体に記録するように制御する制御ステップと、を有し、前記検出ステップでは、前記撮影指示を受け付ける前に、前記第２の被写体の顔領域および胴体領域の特定と前記胴体領域の動き検出を行い、前記制御ステップでは、前記検出ステップで前記胴体領域において動きが検出されなかった場合には、前記撮影指示を受け付ける前に特定された顔領域を含む前記第２の静止画の第１の領域を前記第１の静止画に合成し、前記検出ステップで前記胴体領域において動きが検出された場合には、前記撮影指示を受け付ける前に特定された顔領域および胴体領域を含む前記第２の静止画の第２の領域を前記第１の静止画に合成するように制御することを特徴とする。

本発明による制御プログラムは、第１の被写体を撮影して画像を得る第１の撮像手段と、前記第１の被写体と異なる第２の被写体を撮影して画像を得る第２の撮像手段とを有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記第２の撮像手段によって撮影した画像から、前記第２の被写体の顔領域および胴体領域を特定し、前記胴体領域に動きがあるかを検出する検出ステップと、撮影指示を受け付ける受付ステップと、前記撮影指示を受け付けたことに応じて、前記第１の撮像手段および前記第２の撮像手段による静止画の撮影を行い、前記第１の撮像手段によって撮影した第１の静止画に、前記第２の撮像手段によって撮影した第２の静止画の一部領域を合成した合成画像を生成して、記録媒体に記録するように制御する制御ステップと、を実行させ、前記検出ステップでは、前記撮影指示を受け付ける前に、前記第２の被写体の顔領域および胴体領域の特定と前記胴体領域の動き検出を行い、前記制御ステップでは、前記検出ステップで前記胴体領域において動きが検出されなかった場合には、前記撮影指示を受け付ける前に特定された顔領域を含む前記第２の静止画の第１の領域を前記第１の静止画に合成し、前記検出ステップで前記胴体領域において動きが検出された場合には、前記撮影指示を受け付ける前に特定された顔領域および胴体領域を含む前記第２の静止画の第２の領域を前記第１の静止画に合成するように制御することを特徴とする。

本発明によれば、第１の被写体を撮影した画像と第２の被写体を撮影した画像とを合成して記録する際、第２の被写体を撮影した画像における第２の被写体の様子を見やすく、しかも効果的に表示することができる。

本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラで行われる撮影および画像合成処理を説明するためのフローチャートである。 図１に示すカメラで行われる胴体領域の動き検出処理を説明するためのフローチャートである。 図１に示すカメラで行われる顔領域の大きさに応じて胴体領域のサイズを求める手法の一例を説明するための図である。 図１に示すシステム制御部で行われる胴体領域の分割の一例を示す図である。 図１に示すカメラにおいて動きフラグがオフの際の画像合成の一例を説明するための図であり、（ａ）はアウトカメラ画像を示す図、（ｂ）はインカメラ画像を示す図、（ｃ）はトリミング画像を示す図、（ｄ）は合成画像を示す図である。 図１に示すカメラにおいて動きフラグがオンの際の画像合成の一例を説明するための図であり、（ａ）はアウトカメラ画像を示す図、（ｂ）はインカメラ画像を示す図、（ｃ）はトリミング画像を示す図、（ｄ）は合成画像を示す図である。 インカメラで撮影した画像とアウトカメラで撮影した画像との合成を説明するための図であり、（ａ）はアウトカメラで撮影された画像（アウトカメラ画像）の一例を示す図、（ｂ）はインカメラで撮影された画像（インカメラ画像）の一例を示す図、（ｃ）はインカメラ画像のトリミング結果の一例を示す図、（ｄ）は合成画像の一例を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、２つの撮像ユニットを備えている。これら２つの撮像ユニットの一方をアウトカメラ１と呼び、他方をインカメラ２と呼ぶ。これらアウトカメラ１およびインカメラ２は互いに異なる方向に向けることが可能である。

アウトカメラ１およびインカメラ２の各々は光学像に応じた画像信号を出力する。例えば、アウトカメラ１およびインカメラ２の各々はＣＣＤセンサ又はＣＭＯＳセンサなどの撮像素子を備えるとともに、撮像素子の撮像面に被写体の光学像を結像させるレンズおよび絞りを有する光学系を備えている。

さらに、アウトカメラ１およびインカメラ２の各々はメカニカルシャッタ、アナログ信号処理を行うＣＤＳ回路、およびアナログ信号をデジタル信号（画像信号）に変換するＡ／Ｄ変換器を備えるとともに、タイミング信号発生回路および駆動回路などを備えている。

なお、タイミング信号発生回路は撮像素子、ＣＤＳ回路、およびＡ／Ｄ変換器を動作させるタイミング信号を発生し、駆動回路は光学系、メカニカルシャッタおよび撮像素子の各々に対応して設けられ、これら光学系、メカニカルシャッタおよび撮像素子を駆動するためのものである。

図示の例においては、アウトカメラ１は、撮影者が撮影しようとする被写体（一般に、撮影者自身以外の第１の被写体（単に被写体と呼ぶ））を撮影するために用いられる。一方、インカメラ２は撮影者（第２の被写体）自身を撮影するために用いられる。

アウトカメラ１の出力である画像信号（以下第１の画像信号と呼ぶ）およびインカメラ２の出力である画像信号（以下第２の画像信号と呼ぶ）は信号処理回路３に与えられる。信号処理回路３は第１および第２の画像信号に対して所定の信号処理を行ってそれぞれ第１および第２の画像データを生成する。そして、これら第１および第２の画像データは画像メモリ４に記録される。

カメラには、カメラに対して着脱可能な画像記録媒体５が装着されており、記録媒体５には記録回路６によって第１および第２の画像データが記録される。さらに、表示回路８によって第１の画像データ、第２の画像データ、および後述する合成画像データに応じた画像が画像表示装置７に選択的に表示される。

なお、合成画像データは画像メモリ４および記録媒体５にも記録される。顔検出回路９は、第１および第２の画像データにおいて人物の顔を検出する。そして、システム制御部１０はカメラ全体の制御を司る。

ここで、上述のカメラにおいて、アウトカメラ１およびインカメラ２を用いた撮影処理について説明する。

なお、アウトカメラ１又はインカメラ２を用いた際の撮影処理は同様であるので、ここではアウトカメラ１を用いた際の撮影処理について説明することにして、インカメラ２を用いた際の撮影処理については説明を省略する。

まず、アウトカメラ１において、光学系はシステム制御部１０の制御下で絞りおよびレンズを駆動し、適切な明るさに設定された被写体像（光学像）を撮像素子に結像させる。次に、メカニカルシャッタはシステム制御部１０の制御下で必要な露光時間となるように、撮像素子の動作に合わせて撮像素子を遮光する。

なお、撮像素子が所謂電子シャッタ機能を備える場合には、メカニカルシャッタと電子シャッタと併用して必要な露光時間を確保するようにしてもよい。

撮像素子は、システム制御部１０によって制御されるタイミング信号発生回路が発生する動作パルス（タイミング信号）に応じた駆動パルスで駆動されて、被写体像を光電変換してアナログ画像信号を出力する。このアナログ画像信号はタイミング信号発生回路からの動作パルスによって動作するＣＤＳ回路でクロック同期性ノイズが除去された後、Ａ／Ｄ変換器でデジタル画像信号（第１の画像信号）に変換される。

続いて、信号処理回路３は、デジタル画像信号に対して色変換、ホワイトバランス、およびガンマ補正などの画像処理、解像度変換処理、および画像圧縮処理などを行って画像データ（第１の画像データ）とする。なお、信号処理回路３は、システム制御部１０の制御下で信号処理を行うことなくデジタル画像信号をそのまま画像データとして出力するようにしてもよい。

さらに、信号処理回路３は、システム制御部１０からの要求に応じて、信号処理過程で生じた画像データに係る情報、例えば、画像の空間周波数、指定領域の平均値、および圧縮画像のデータ量などの情報、又はこれら情報から抽出された抽出情報をシステム制御部１０に出力する。

また、記録回路６は、システム制御部１０からの要求に応じて、画像記録媒体５の種類およびその空き容量などの情報をシステム制御部１０に出力する。

次に、画像記録媒体５に記録された画像データの再生について説明する。

記録媒体５に記録された画像データを再生する際には、システム制御部１０の制御下で記録回路６は画像記録媒体５から画像データを読み出する。そして、システム制御部１０の制御下で信号処理回路３は画像データが圧縮画像データであると、画像データに対して画像伸長処理を行って、当該画像データを画像メモリ４に記憶する。

続いて、信号処理回路３は画像メモリ４に格納した画像データを読み出して解像度変換処理を行って、当該解像度変換処理後の画像データを表示回路８に送る。表示回路８は解像度変換処理後の画像データを画像表示装置７に適した表示用画像信号に変換して画像表示装置７に送る。画像表示装置７は表示用画像信号に応じた画像を表示する。

顔検出回路０９は、信号処理回路０３から画像データを受けて、既知の顔検出処理を行い、画像データに含まれる人物の顔領域を検出する。

顔検出処理の手法として、例えば、画像データにおける各画素の階調色に応じて肌色領域を抽出して、当該肌色領域と予め準備された顔の輪郭プレートとのマッチング度に応じて顔を検出する手法が用いられる。また、パターン認識を用いて、目、鼻、および口などの顔の特徴点を抽出することによって顔検出を行うようにしてもよい。

なお、顔検出処理の手法については、上述した手法に限るものではなく、既知の種々の手法を用いることができる。

次に、システム制御部１０で行われるアウトカメラ画像およびインカメラ画像の撮影と画像合成処理について説明する。なお、アウトカメラ画像とはアウトカメラ１による撮影の結果得られた画像をいい、インカメラ画像とはインカメラ２による撮影の結果得られた画像をいう。

図２は、図１に示すカメラで行われる撮影および画像合成処理を説明するためのフローチャートである。なお、図示のフローチャートにおける処理は、システム制御部１０の内蔵メモリ（図示せず）に格納されたコンピュータプログラムをシステム制御部１０が実行することによって行われる。

撮影処理を開始すると、システム制御部１０はインカメラ２で得られたプレビュー画像（インカメラプレビュー画像）に応じて被写体の動きを検出する動き検出処理を行う（ステップＳ１０１）。この動き検出処理は胴体領域の検出処理および胴体領域の動き検出処理の２つの処理を有している。

なお、胴体領域の動き検出処理を行う際には、所定のフレームレートで逐次撮影されたプレビュー画像について時系列的に順次動き検出を行う。そして、胴体領域の動き検出の間隔は、顔検出回路０９の処理能力にもよるが、数フレームに一回の割合程度でよい。

図３は、図１に示すカメラで行われる胴体領域の動き検出処理（図１に示すステップＳ１０１）を説明するためのフローチャートである。

胴体領域動き検出を開始すると、システム制御部１０は顔検出回路９を制御して、インカメラプレビュー画像について顔検出処理を行う（ステップＳ４０１）。そして、システム制御部１０は、顔検出回路９で検出された顔領域の大きさ（サイズ）を示す顔領域情報に応じて、インカメラプレビュー画像中の被写体（ここでは、撮影者）の胴体領域のサイズを求める（ステップＳ４０２）。

図４は、図１に示すカメラで行われる顔領域の大きさに応じて胴体領域のサイズを求める手法の一例を説明するための図である。

図４において、四角形Ａは、顔領域情報（顔検出情報ともいう）に応じて顔を取り囲んで設定された領域（顔領域）であり、四角形Ｂは胴体領域を示す。ここでは、システム制御部１０は顔を取り囲む四角形Ａの幅Ａｘおよび高さＡｙにそれぞれ所定の高さ係数および幅係数を乗算して、胴体領域の四角形Ｂの幅Ｂｘおよび高さＢｙとする。

再び図３を参照して、システム制御部１０は顔領域に対する胴体領域の位置を決定する（ステップＳ４０３）。ここでは、重力センサ（図示せず）などを用いて重力方向を検出する。そして、システム制御部１０は顔領域を基点として重力方向に胴体領域があるものとして、胴体領域の位置を決定する。

なお、胴体領域検出の手法については、上述した手法に限るものではなく、既知の種々の手法を用いることができる。

続いて、システム制御部１０は第１の検出タイミングｔにおいて顔検出情報に応じて決定された胴体領域をｍ×ｎの複数のブロックに分割する（ここで、ｍおよびｎの各々は２以上の整数である）。さらに、第１の検出タイミングｔの次の検出タイミングである第２の検出タイミング（ｔ＋１）において、システム制御部１０は顔検出情報に応じて決定された胴体領域を同様にｍ×ｎの複数のブロックに分割する（ステップＳ４０４）。

図５は、図１に示すシステム制御部１０で行われる胴体領域の分割の一例を示す図である。

図示の例では、システム制御部１０は、胴体領域を水平方向にｍ分割し、垂直方向（重力方向）にｎ分割して、ｍ×ｎのブロックとする。

続いて、システム制御部１０は、まず第１の検出タイミングｔにおける胴体領域のブロックについてブロック毎の平均輝度値Ｙｔ（ｉ，ｊ）（ｉ＝１〜ｍ，ｊ＝１〜ｎ）を算出する。同様にして、システム制御部１０は、第２の検出タイミング（ｔ＋１）における胴体領域のブロックについてブロック毎の平均輝度値Ｙｔ＋１（ｉ，ｊ）（ｉ＝１〜ｍ，ｊ＝１〜ｎ）を算出する（ステップＳ４０５）。

次に、システム制御部２０は、互いに対応するブロック毎に平均輝度値Ｙｔ（ｉ，ｊ）および平均輝度値Ｙｔ＋１（ｉ，ｊ）との差分の絶対値を求めて、式（１）によってこれら差分の絶対値の総和Ｓを求める（ステップＳ４０６）。

Ｓ＝Σ｜Ｙｔ（ｉ，ｊ）−Ｙｔ＋１（ｉ，ｊ）｜ （１）
式（１）に示す総和Ｓは、第１の検出タイミングｔと第２の検出タイミング（ｔ＋１）における胴体領域の輝度変化量を表したものであって、総和Ｓが大きいほど胴体領域の動きが大きいことを示している。

続いて、システム制御部１０は総和Ｓが予め設定された閾値よりも大きいと、胴体領域に動きがあると判定する（ステップＳ４０７）。そして、システム制御部１０は胴体領域動き検出処理を終了する。

なお、胴体領域の動き検出に係る手法については、上述した手法に限るものではなく、例えば、所謂モーションキャプチャなどの既知の種々の手法を用いることができる。

再び図２を参照して、システム制御部１０は、ステップＳ１０１における動き検出処理によってインカメラプレビュー画像中の被写体について動きが検出されたか否かを判定する（ステップＳ１０２）。インカメラプレビュー画像中の被写体について動きが検出されると（ステップＳ１０２において、ＹＥＳ）、システム制御部１０は動きフラグをオン（ＯＮ）に設定する（ステップＳ１０３）。

一方、インカメラプレビュー画像中の被写体について動きが検出されないと（ステップＳ１０２において、ＮＯ）、システム制御部１０は動きフラグをオフ（ＯＦＦ）に設定する（ステップＳ１０４）。

ステップＳ１０３又はＳ１０４の処理に続いて、システム制御部１０は撮影者が操作部（図示せず）によって撮影指示を行ったか否かを判定する（ステップＳ１０５）。撮影指示がないと（ステップＳ１０５において、ＮＯ）、システム制御部１０５はステップＳ１０１の処理に戻って動き検出を行う。

撮影指示があると（ステップＳ１０５において、ＹＥＳ）、システム制御部１０５はアウトカメラ１およびインカメラ２によって撮影を実行して、それぞれアウトカメラ画像およびインカメラ画像を得る（ステップＳ１０６）。そして、システム制御部１０は動きフラグがＯＮであるか否かを判定する（ステップＳ１０７）。

動きフラグがＯＮであると（ステップＳ１０７において、ＹＥＳ）、システム制御部１０は、信号処理部３を制御して顔領域および胴体領域（つまり、顔領域以外の領域）を含む領域においてインカメラ画像をトリミング処理してトリミング画像を得る（ステップＳ１０８）。

一方、動きフラグがＯＦＦであると（ステップＳ１０７において、ＮＯ）、システム制御部１０は、信号処理部３を制御して顔領域においてインカメラ画像をトリミング処理してトリミング画像を得る（ステップＳ１０９）。

このように、システム制御部１０は撮影者である第２の被写体の動きに応じて、インカメラ画像（第２の画像）におけるトリミング範囲を変更することになる。

ステップＳ１０８又はＳ１０９の処理に続いて、システム制御部１０は、信号処理部３を制御してトリミング画像とアウトカメラ画像とを合成して合成画像データとする（ステップＳ１１０）。そして、システム制御部１０は撮影処理を終了する。

図６は、図１に示すカメラにおいて動きフラグがオフの際の画像合成の一例を説明するための図である。そして、図６（ａ）はアウトカメラ画像を示す図であり、図６（ｂ）はインカメラ画像を示す図である。また、図６（ｃ）はトリミング画像を示す図であり、図６（ｄ）は合成画像を示す図である。

前述のようにして、システム制御部１０はアウトカメラ画像６０１およびインカメラ画像６０２を得る。図示の例では、動きフラグがオフであるので、システム制御部１０は顔領域においてインカメラ画像６０２をトリミングしてトリミング画像６０３を得る（図６（ｃ）参照）。そして、システム制御部１０は当該トリミング画像６０３とアウトカメラ画像６０１とを合成して、図６（ｄ）に示す合成画像６０４を得る。

図７は、図１に示すカメラにおいて動きフラグがオンの際の画像合成の一例を説明するための図である。そして、図７（ａ）はアウトカメラ画像を示す図であり、図７（ｂ）はインカメラ画像を示す図である。また、図７（ｃ）はトリミング画像を示す図であり、図７（ｄ）は合成画像を示す図である。

前述のようにして、システム制御部１０はアウトカメラ画像７０１およびインカメラ画像７０２を得る。図示の例では、動きフラグがオンであるので、システム制御部１０は顔領域および胴体領域を含む領域においてインカメラ画像７０２をトリミングしてトリミング画像７０３を得る（図７（ｃ）参照）。そして、システム制御部１０は当該トリミング画像７０３とアウトカメラ画像７０１とを合成して、図７（ｄ）に示す合成画像７０４を得る。

このように、本発明の実施の形態では、インカメラプレビュー画像において被写体（つまり、撮影者）の動きが検出されると、顔領域および胴体領域を含む領域においてインカメラ画像をトリミングする。一方、インカメラプレビュー画像において被写体の動きが検出されないと、顔領域においてインカメラ画像をトリミングする。

この結果、インカメラ画像において被写体の動きがある場合には、胴体領域も含めてトリミング画像がアウトカメラ画像に合成されるので、インカメラ画像における被写体の動きの様子を合成画像に反映させることができる。

つまり、図７（ｄ）に示すように、被写体がゼスチャーを行っていれば、当該ゼスチャーの様子が合成される結果、撮影者の様子および雰囲気をより分かりやすく合成画像で表示することができる。

なお、上述の実施の形態では、アウトカメラおよびインカメラで静止画を撮影して、これら静止画を合成するようにしたが、アウトカメラおよびインカメラで動画を撮影して、上述のようにしてこれら動画を合成するようにしてもよい。

この場合には、動画記録中においてもインカメラ画像における被写体の動きを検出し、インカメラ画像における被写体の動きの有無に応じてインカメラ画像におけるトリミングの範囲が変化することになる。

また、上述の実施の形態では、アウトカメラおよびインカメラで同時に撮影を行うようにしたが、同時に撮影を行って記録処理を行うことが難しい場合などにおいては、アウトカメラおよびインカメラにおいて時間をずらして異なるタイミングで撮影を行って、アウトカメラ画像およびインカメラ画像を合成するようにしてもよい。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１ アウトカメラ
２ インカメラ
３ 信号処理回路
４ 画像メモリ
５ 記録媒体
６ 記録回路
７ 画像表示装置
８ 表示回路
９ 顔検出回路
１０ システム制御部

Claims (7)

1. 第１の被写体を撮影して画像を得る第１の撮像手段と、
   前記第１の被写体と異なる第２の被写体を撮影して画像を得る第２の撮像手段と、
   前記第２の撮像手段によって撮影した画像から、前記第２の被写体の顔領域および胴体領域を特定し、前記胴体領域に動きがあるかを検出する検出手段と、
   撮影指示を受け付ける受付手段と、
   前記撮影指示を受け付けたことに応じて、前記第１の撮像手段および前記第２の撮像手段による静止画の撮影を行い、前記第１の撮像手段によって撮影した第１の静止画に、前記第２の撮像手段によって撮影した第２の静止画の一部領域を合成した合成画像を生成して、記録媒体に記録するように制御する制御手段と、を有し、
   前記検出手段は、前記撮影指示を受け付ける前に、前記第２の被写体の顔領域および胴体領域の特定と前記胴体領域の動き検出を行い、
   前記制御手段は、前記検出手段によって前記胴体領域において動きが検出されなかった場合には、前記撮影指示を受け付ける前に特定された顔領域を含む前記第２の静止画の第１の領域を前記第１の静止画に合成し、前記検出手段によって前記胴体領域において動きが検出された場合には、前記撮影指示を受け付ける前に特定された顔領域および胴体領域を含む前記第２の静止画の第２の領域を前記第１の静止画に合成するように制御することを特徴とする撮像装置。
2. 前記第２の被写体は撮影者であり、前記第２の撮像手段は前記撮影者を撮影して前記第２の静止画を得ることを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は前記第２の撮像手段によって得られたプレビュー画像に応じて前記第２の被写体の動きを検出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出手段は前記第２の被写体の動きを検出する際、第１の検出タイミングにおける前記プレビュー画像と第２の検出タイミングにおける前記プレビュー画像との輝度値の変化に応じて前記第２の被写体に動きがあるか否かを検出することを特徴とする請求項３に記載の撮像装置。
5. 前記検出手段は前記第１の検出タイミングにおけるプレビュー画像の輝度値と前記第２の検出タイミングにおけるプレビュー画像の輝度値との差分の絶対値が所定の閾値を超えると、前記第２の被写体に動きがあると検出することを特徴とする請求項４に記載の撮像装置。
6. 第１の被写体を撮影して画像を得る第１の撮像手段と、前記第１の被写体と異なる第２の被写体を撮影して画像を得る第２の撮像手段とを有する撮像装置の制御方法であって、
   前記第２の撮像手段によって撮影した画像から、前記第２の被写体の顔領域および胴体領域を特定し、前記胴体領域に動きがあるかを検出する検出ステップと、
   撮影指示を受け付ける受付ステップと、
   前記撮影指示を受け付けたことに応じて、前記第１の撮像手段および前記第２の撮像手段による静止画の撮影を行い、前記第１の撮像手段によって撮影した第１の静止画に、前記第２の撮像手段によって撮影した第２の静止画の一部領域を合成した合成画像を生成して、記録媒体に記録するように制御する制御ステップと、を有し、
   前記検出ステップでは、前記撮影指示を受け付ける前に、前記第２の被写体の顔領域および胴体領域の特定と前記胴体領域の動き検出を行い、
   前記制御ステップでは、前記検出ステップで前記胴体領域において動きが検出されなかった場合には、前記撮影指示を受け付ける前に特定された顔領域を含む前記第２の静止画の第１の領域を前記第１の静止画に合成し、前記検出ステップで前記胴体領域において動きが検出された場合には、前記撮影指示を受け付ける前に特定された顔領域および胴体領域を含む前記第２の静止画の第２の領域を前記第１の静止画に合成するように制御することを特徴とする制御方法。
7. 第１の被写体を撮影して画像を得る第１の撮像手段と、前記第１の被写体と異なる第２の被写体を撮影して画像を得る第２の撮像手段とを有する撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   前記第２の撮像手段によって撮影した画像から、前記第２の被写体の顔領域および胴体領域を特定し、前記胴体領域に動きがあるかを検出する検出ステップと、
   撮影指示を受け付ける受付ステップと、
   前記撮影指示を受け付けたことに応じて、前記第１の撮像手段および前記第２の撮像手段による静止画の撮影を行い、前記第１の撮像手段によって撮影した第１の静止画に、前記第２の撮像手段によって撮影した第２の静止画の一部領域を合成した合成画像を生成して、記録媒体に記録するように制御する制御ステップと、を実行させ、
   前記検出ステップでは、前記撮影指示を受け付ける前に、前記第２の被写体の顔領域および胴体領域の特定と前記胴体領域の動き検出を行い、
   前記制御ステップでは、前記検出ステップで前記胴体領域において動きが検出されなかった場合には、前記撮影指示を受け付ける前に特定された顔領域を含む前記第２の静止画の第１の領域を前記第１の静止画に合成し、前記検出ステップで前記胴体領域において動きが検出された場合には、前記撮影指示を受け付ける前に特定された顔領域および胴体領域を含む前記第２の静止画の第２の領域を前記第１の静止画に合成するように制御することを特徴とする制御プログラム。

Images