以下、図示の実施の形態によって本発明を説明する。
本発明の一実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像又は動画像を表わすデジタル画像データに変換し、こうして生成されたデジタルデータを記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像又は動画像を表示装置に再生表示し得るように構成され、かつ複数の画像処理エンジンを備えて一操作で複数の画像データ(静止画像,動画像)を取得し得るように構成された撮影機器であるデジタルカメラに適用した場合の例示である。
なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量,構成要素の形状,構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。
図1は、本発明の概念を説明する図である。図2は、本発明の一実施形態の撮影機器(カメラ)の内部構成の概略を示すブロック構成図である。図3〜図18は、本実施形態の撮影機器(カメラ)における作用を説明する図である。このうち、図3は本実施形態の撮影機器(カメラ)の撮影動作時の処理シーケンスを示すフローチャートである。
図4は、本実施形態における撮影機器(カメラ)においてタッチ操作を行って記録枠を表示させると共に、撮影記録モードを選択設定する際の作用の概略を示す図である。図5は図3の処理シーケンスに対応し、撮影動作時の記録枠の表示変化を示す図である。図6,図7は図5の各タイミングで記録される動画像の変化を示す図であって、図6は第1被写体を主要被写体とする動画像を示し、図7は第2被写体を主要被写体とする動画像を示している。図8は本実施形態の撮影機器(カメラ)の表示部に表示される画像の表示画面上に想定する座標系の例を示す。図9は本実施形態の撮影機器(カメラ)における表示画面(全体画像)において、2つの記録枠の重なりを判定する際の記録枠重なり判定処理シーケンスを示すフローチャートである。図10は本実施形態の撮影機器(カメラ)の表示部に表示される複数の各記録枠の座標系の例を示す図である。図11は本実施形態の撮影機器(カメラ)の表示部に表示される合成記録枠の座標系の例を示す図である。
図12〜図14は合成記録枠が生成され表示される際の合成記録枠表示処理シーケンスを示すフローチャートである。このうち図12は合成記録枠のX1の決定シーケンスを、図13は合成記録枠のX2の決定シーケンスを、図14は合成記録枠のY1の決定シーケンスを、図15は合成記録枠のY2の決定シーケンスを、それぞれ示す。図16は、表示画面において2つの記録枠の表示が合成記録枠に変化する際のようすを示す概念図である。図17,図18は、図16の記録枠サイズ変更時のようすをグラフ化した図である。図17は記録枠のX軸上の点の、図18は記録枠のY軸上の点の、それぞれ拡大時,縮小時の変遷を示している。
まず、図1を用いて本発明の概念を簡単に説明する。
撮影機器を用いて複数の被写体を撮影対象として撮影を行うものとする。
撮影者は撮影機器を所望の撮影対象に向けて構える。この場合において、撮影機器の表示部の表示画面(符号60)には、図1に示されるような表示画像が表示される。ここで、符号101,102は撮影対象となる複数の被写体とし、それぞれ第1被写体101,第2被写体102というものとする。
また、図1(A)に示す符号67a,67bは、撮影対象(記録対象)とする複数の被写体、即ち第1被写体101,第2被写体102を識別可能に表示するための識別用表示枠である撮影対象枠(記録枠)である。この撮影対象枠(以下、記録枠という)は、例えば顔検出機能によって検出された顔画像領域に対して自動的に附される顔検出枠等が相当する。
なお、記録枠は、例えばタッチパネル等の指示入力装置を操作することによって、表示画面に表示中の画像から所望の被写体を選択設定し、その選択設定結果を受けて表示させるようにしてもよい。その場合においても、顔検出機能によって検出された顔検出枠を表示させた後、この顔検出枠を選択設定する際の設定候補とするようにしてもよい。撮影者は、設定候補を示す表示から所定の操作(タッチ操作)等によって撮影を所望する被写体の選択設定を行う。これにより、選択設定された被写体に重畳させて記録枠を表示させる。
図1(A)に示す状態は、撮影準備状態において、撮影対象の複数(本例示では2つ)の被写体が設定された直後の状態を示している。上述のようにして、記録枠(67a,67b)が設定されると、各記録枠(67a,67b)は、各対応する被写体の動きに合わせて追従して移動する。
続いて、撮影記録を行う際の記録モードを設定する。撮影記録モードとしては、例えば、
所望被写体の顔領域を主として設定する顔アップモード,
所望被写体の顔を含む半身が入るように設定するバストアップモード,
所望被写体の顔を含む全身が入るように設定する全身モード,
等がある。
なお、バストアップモードは、検出した顔領域を中心としその顔領域の下側に向けて画像全体の高さが顔領域画像の2倍の高さとなる領域が設定される。また、全身モードは、検出した顔領域を中心としその顔領域の下側に向けて画像全体の高さが顔領域画像の5倍の高さとなる領域が設定される。ただし、バストアップモード,全身モードも共に、顔領域を始点として上記した各モードに応じた領域サイズが設定されるが、その場合に表示部60の表示画像からはみ出る部分はカットする等、自動的に記録領域の調整がなされる。この調整は、後述する記録領域設定部68により行われる。
これらの撮影記録モードは撮影者が任意に選択設定できる。その選択設定操作は、例えばタッチパネル等の指示入力装置を操作して行う。そして、各記録モードに応じて記録枠の表示を異ならせるようにする。したがって、この点において、記録モードを識別可能に表示する識別用表示枠として機能する。
撮影者が撮影記録モードを選択設定すると、図1(B)に示すように、複数の被写体を含み選択設定された記録枠69a,69bが表示される。ここで、記録枠69aは第1被写体101を含む顔検出枠67aに基く枠表示であり、記録枠69bは第2被写体102を含む顔検出枠67bに基く枠表示である。この記録枠69a,69bも、各対応する被写体の動きに合わせて追従して移動する。
この状態で、撮影動作を開始するレリーズ操作を行うと、各記録枠69a,69bにそれぞれ対応する複数の動画像の記録が開始される。ここで、記録枠69a,69bは、上述したように、撮影対象の主要領域を示すための枠表示である。したがって、実際に記録される動画像は、記録枠69a,69bを主要領域として含む規定の縦横比、例えば16:9,4:3等の動画像として記録される。なお、これら各被写体を主要とする複数の動画像以外に、表示画面で示される全体領域の動画像を同時に記録するようにしてもよい。
このときの様子を、図1(C)に示す。
図1(C)の状態から撮影を継続していると、表示画面内において複数の被写体101,102には動きが生じる。ここで、例えば被写体101,102が表示画面内において互いに近付く方向に移動して、図1(D)に示すように、2つの記録枠69a,69bが所定量以上重なり合ったとする。
すると、2つの記録枠69a,69bは、図1(E)に示すように、1つの大きな記録枠69cに切り換わる。この新たな記録枠69cは、2つの記録枠69a,69bが対応する2つの被写体101,102を共に含むように、2つの記録枠69a,69bに基いて形成される合成記録枠である。この合成記録枠は、2つの記録枠69a,69bのサイズ(記録モード)に応じて、そのサイズが設定される。例えば、2つの記録枠69a,69bのサイズ(記録モード)が互いに対して異なる場合には、大きい記録枠(この例では記録枠69b)のサイズに準じて新たな記録枠69cが設定される。そして、記録枠69cを主要とする動画像は、上記2つの動画像のそれぞれに継続して記録される。
なお、この場合においても、元の2つの記録枠69a,69bのデータは保持しており、枠表示がなされないだけで各対応する被写体の追従処理は継続して行っている。
図1(E)の状態で撮影を継続していると、例えば被写体101,102が表示画面内において互いに遠ざかる方向に移動したものとする。2つの被写体101,102に各対応する2つの記録枠69a,69b(このときは非表示状態にある)の重なりが所定量以下になると、記録枠69cは、図1(F)に示すように、再度2つの記録枠69a,69bに切り換わり、引き続き、撮影動作を停止させる操作が行われるまで、異なる複数の動画記録が継続する。
次に、本発明の一実施形態の撮影機器(以下、単にカメラという)の内部構成の概略を図2を用いて以下に説明する。
図2に示すように、本実施形態のカメラ1は、撮影光学系41と、絞り機構部42と、レンズドライバ43と、絞りドライバ44と、シャッタ機構部51と、シャッタドライバ45と、撮像素子52と、アナログ処理部53と、アナログデジタル変換部(以下、AD変換部と略称する)54と、AE処理部55と、AF処理部56と、画像処理部57と、画像圧縮展開部58と、表示ドライバ59と、表示部60と、メモリインターフェース(以下、メモリIFと略記する)61と、記録媒体62と、SDRAM63と、フラッシュメモリ64と、操作部65と、制御部66と、顔検出部67と、記録領域設定部68と、記録枠表示部79と、電源回路70と、通信用バス73等を具備して構成されている。なお、図2において符号Oは、撮影光学系41の光軸を示す。
撮影光学系41は、被写体からの光束を透過させて被写体像を形成し、その被写体像を撮像素子52の受光面上に結像させるユニットである。撮影光学系41は、例えば光軸Oに沿って並べて配設される複数の光学レンズと、これら複数の光学レンズをそれぞれ支持するレンズ枠等によって構成される。撮影光学系41は、レンズドライバ43を介して制御部66によって駆動制御される。なお、図2においては、撮影光学系41の複数の光学レンズやレンズ枠等を簡略化して図示している。
レンズドライバ43は、上記撮影光学系41の少なくとも一部の光学レンズ(を支持するレンズ枠)を光軸Oに沿う方向に進退移動させるためのユニットである。レンズドライバ43は、アクチュエータ等の駆動源や、この駆動源からの駆動力を伝達する駆動機構等の構成要素と、上記駆動源を駆動制御するための電気回路等を含んで構成される。
絞り機構部42は、上記撮影光学系41内に配設されており、この撮影光学系41を通過する被写体からの光量を調節するユニットである。絞り機構部42は、絞りドライバ44を介して制御部66によって駆動制御される。
絞りドライバ44は、例えばステッピングモータ等の駆動源や、この駆動源からの駆動力を伝達する駆動機構等の構成要素と、上記駆動源を駆動制御するための電気回路等を含んで構成される。
シャッタ機構部51は、撮像素子52の受光面上に結像される被写体像の露出時間を制御するユニットである。シャッタ機構部51は、シャッタドライバ45を介して制御部66によって駆動制御される。シャッタドライバ45は、シャッタ機構部51を制御部66の制御下で駆動制御する制御ユニットである。
撮像素子52は、撮影光学系41によって形成され自身の受光面上に受光された光学像(被写体像)を光電変換処理することによって、その被写体像の光量を電荷量を表わすアナログ信号へと変換する光電変換素子である。撮像素子52は、例えばCMOS,CCD等の光電変換素子が適用される。撮像素子52によって生成された電気信号(アナログ画像信号)はアナログ処理部53へと出力される。
なお、上記撮影光学系41,絞り機構部42,シャッタ機構部51,撮像素子52等によって、本カメラ1の撮像部が構成されている。
アナログ処理部53は、撮像素子52から出力された電気信号(アナログ画像信号)を受けて、リセットノイズ等を低減した上で波形整形を行った後、所望の明るさとなるようにゲインアップ処理等を行う信号処理部である。アナログ処理部53による処理済み信号は、AD変換部54へと出力される。
AD変換部54は、アナログ処理部53から出力されたアナログ画像信号を受けて、これをデジタル画像データに変換する信号処理部である。AD変換部54から出力された画像データは、通信用バス73を介してSDRAM63へと送られ、これに一時的に記憶される。
AE処理部55は、SDRAM63に一時的に記憶されたAD変換後の画像データに基いて画像内の被写体輝度を算出するデータ処理部であり、また画像内の光源を検出する光源検出部でもある。なお、AE処理部55において扱うデータ、即ち被写体輝度算出用データとしては、上記の画像データ以外に、例えば専用測光センサを設け、この専用測光センサからの出力データとしてもよい。
AF処理部56は、上記画像データから高周波成分の信号を取り出して、AF(Auto Focus;オートフォーカス)積算処理を行って合焦評価値を取得するデータ処理部である。
画像処理部57は、上記SDRAM63から読み出した画像データに対して様々な画像処理を施すデータ処理部である。この画像処理部57において各種の処理が行われた後の画像データは、再度SDRAM63に一時的に記憶される。
画像圧縮展開部58は、所定の圧縮方式による画像データの圧縮処理や、所定の圧縮方式により圧縮された圧縮画像データの展開(伸長)処理等を行うデータ処理部である。この画像圧縮展開部58において取り扱う画像データが静止画像データである場合には、例えばJPEG規格に準拠した方式等による圧縮及び展開処理を行う。また、画像圧縮展開部58において取り扱う画像データが動画像データである場合には、例えばMotion−JPEG規格やH.264規格等に準拠した各種方式等による圧縮及び展開処理を行う。なお、静止画に係る画像データの記録を行う場合には、画像圧縮展開部58は、SDRAM63から画像データを読み出し、読み出した画像データを、例えばJPEG圧縮方式に従った圧縮処理を施して、圧縮処理済みのJPEG画像データを、再度SDRAM63に一時記憶するという、一連の処理が実行される。
表示部60は、撮像素子52等の撮像部によって取得された画像データに基く画像を表示するために、例えば液晶表示装置(LCD)等、各種形態の表示装置によって構成される。表示部60は、制御部66の制御下で表示ドライバ59を介して駆動制御される。表示ドライバ59は、制御部66の制御下で上記表示部60を駆動制御するユニットである。
表示部60には、例えば、撮影動作直後の画像データを受けて所定の短い時間だけ撮影取得結果としての画像表示を行うレックビュー表示、記録媒体62に記録済みの画像データ(JPEGファイル等)に基く画像の再生表示、スルー画像表示(ライブビュー表示ともいう)等の動画表示が行われる。
ここで、例えば記録媒体62に記録済みの画像データ(JPEGファイル)に基いて画像再生を行う場合には、制御部66は、画像圧縮展開部58を介して記録媒体62に記録済みの画像データ(JPEGファイル)の中から所望のデータを読み出して伸張処理(展開処理)を施す。画像圧縮展開部58において伸張処理された画像データはSDRAM63に一時記憶される。続いて、制御部66は、表示ドライバ59を介して上記伸張処理済み画像データをSDRAM63から読み出し、表示部60を用いて表示可能な映像信号に変換処理した後、表示部60へと出力する。これにより、表示部60には画像が表示される。
メモリIF61は、制御部66の制御下で記録媒体62をドライブし、該記録媒体62に記録済みの画像データファイルを読み込んだり、所定形式の画像データを記録媒体62に記録する等の処理を行う際のインターフェースである。
記録媒体62は、画像データ等を記録するための媒体であって、例えばカメラ1に対して着脱自在に配設されるカード形状の半導体メモリ、いわゆるメモリカード等が適用される。なお、記録媒体62の形態は、この形態に限られることはなく、他の形態、例えばカメラ1内に固定される媒体としてもよいし、半導体メモリ以外にも、光学板媒体,磁気媒体等、様々な形態のものを適用し得る。なお、メモリIF61と、記録媒体62とによって、記録部が構成される。
SDRAM63は、AD変換部54において生成された画像データや、画像処理部57,画像圧縮展開部58において処理された画像データ等の各種データを一時的に記憶する揮発性メモリからなる記憶部である。
フラッシュメモリ64は、ホワイトバランスモードに応じたホワイトバランスゲイン,ローパスフィルタ係数等のカメラ動作に必要となる各種パラメータ,銀塩粒子による粒状感に似せた粒状パターンの画像データ,カメラ1を特定するための固有情報、例えば製品名,製造番号等の各種の情報が予め記憶されている不揮発性メモリからなる記憶部である。さらに、フラッシュメモリ64には、制御部66にて実行される各種プログラム等も予め記憶されている。したがって、制御部66は、フラッシュメモリ64に記憶されているプログラムを適宜のタイミングで読み込んで実行する。その際、制御部66は、各種シーケンス処理に必要となる各種のパラメータ等を、フラッシュメモリ64から読み込む。
操作部65は、本カメラ1に対する各種操作を行うための複数の操作部材及び対応する操作スイッチ等によって構成される。使用者が操作部65のうちの所定の操作部材を操作すると、対応する操作スイッチより所定の指示信号が発生し、その指示信号は、制御部66へと伝達されるようになっている。この指示信号を受けて、制御部66は、適宜操作に応じた各種シーケンスを実行する。操作部65としては、具体的には例えば電源ボタン,レリーズボタン,再生ボタン,メニューボタン,動画ボタン,モード切換ボタン等の機械的スイッチに連動する操作部材等のほか、タッチパネル等、カメラ1の制御部66への指示入力を行うための入力用操作部材等が含まれる。
制御部66は、当該カメラ1の各種シーケンスを統括的に制御する制御手段である。また、制御部66は、SDRAM63に一時記憶されたJPEG画像データに対して、必要となるJPEGヘッダ情報等を付加してJPEGファイルを作成し、作成されたJPEGファイルをメモリIF61を介して記録媒体62へと記録する処理等をも行う。制御部66には、操作部65と、フラッシュメモリ64と、顔検出部67とが、直接接続されている。
顔検出部67は、撮像動作の結果表示画面上に表示されている画像中に含まれる所定の特徴を有する画像、例えば人物やペット等の顔画像の形態,大きさ等の被写体に関する情報を、所定の画像解析処理に基いて検出すると共に、その検出された顔画像が画面内で移動する時には、これを追尾し続ける機能を有し、さらに追尾中の顔画像が画面外に出たとしても再度画面内に入った時には続けて追尾する機能等を実現する回路部である。つまり、顔検出部67は被写体検出部として機能する顔検出手段である。
記録枠表示部79は、顔検出部67若しくは操作部65のタッチパネル等によって選択設定され撮影を所望する画像領域に所定の形態の記録枠を表示画面に重畳表示させ、かつ顔検出部67の検出結果に応じて当該記録枠を追従表示させる回路部である。また、記録枠表示部79は、設定された記録モードに応じた記録モード識別用表示枠を表示させる機能も有する。
記録領域設定部68は、記録枠表示部79により表示される記録枠に応じた記録用画像領域を設定する回路部である。
電源回路70は、バッテリ等の電源と、この電源を制御する回路等によって構成され、制御部66の制御下で、本カメラ1内の各構成ユニットや回路ユニットに対し必要となる電力を適宜供給する回路部である。
通信用バス73は、カメラ1の内部で発生した各種データ等を、本カメラ1を構成する内部構成ユニットの各部へと転送するための転送路である。通信用バス73は、AD変換部54,AE処理部55,AF処理部56,画像処理部57,画像圧縮展開部58,表示ドライバ59,メモリIF61,SDRAM63,制御部66,レンズドライバ43,絞りドライバ44,シャッタドライバ45等に接続されている。
その他の構成は、従来一般の撮影機器(カメラ)と同様の構成を有するものとして、その図示を省略している。また、図2に示された構成要素について、本発明に直接関連しないものについては、簡略な説明に留めている。
このように構成された本実施形態のカメラ1の作用を以下に説明する。
まず、カメラ1の電源回路70がオン状態とされて、カメラ1が撮影準備状態にあるものとする。撮影者は、この状態のカメラ1を所望の被写体(複数)に対峙するように向ける。そして、所望の複数の被写体が表示部60の表示画面内に入るように構えることになる。
こうしておいて、撮影者は、表示部60の表示画面上において、撮影対象とする被写体の選択設定操作を行って記録枠を表示させる(図1(A))。上述した如く、撮影準備状態にあるカメラ1を所望の被写体に向けて構えたとき、表示部60の表示画面には撮像素子52によって連続的に取得された画像データに基くが順次表示される。そして、撮像素子52によって取得された画像データに基いて制御部66は顔検出部67を制御して顔検出処理を同時に実行する。
したがって、表示部60の表示画面に、例えば撮影対象の被写体である複数の人物101,102が表示されている場合においては、それら複数の人物101,102に対して顔検出がなされ、それぞれの顔領域には顔検出枠67a,67bが表示されることになる。なお、ここで示す実施形態においては、顔検出枠67a,67bを記録枠として取り扱う。
ここで、撮影者は、複数の記録枠である顔検出枠67a,67bのうち所望の顔検出枠67bを選択操作するものとする。この場合における選択操作としては、例えば操作部65の一部を構成するタッチパネルに対するタッチ操作とする。
ここで、図4は、本実施形態における撮影機器(カメラ)においてタッチ操作を行って撮影記録を行う対象を示す撮影対象枠である記録枠を表示させると共に、撮影記録モードを選択設定する際の作用の概略を示している。なお、図4に示す例は、複数の被写体101,102のうち、一方の被写体101に対するタッチ操作,枠表示,モード設定が既に実行済で、続いて、他方の被写体102に対する操作を行う場合の作用を例示するものである。
図4(A)において、撮影者は自身の手指103によって、表示部60の表示画面内の複数の被写体101,102のうち他方の被写体102に対する顔検出枠67bをタッチ操作している状況を示している。この場合において、顔検出枠67bに対して一回のタッチ操作を行うと、顔検出枠67bに対応する被写体を第2被写体102として決定し、この第2被写体102の顔領域を中心とする所定の領域を囲む記録枠69baを表示させる。このときの切り換え後の表示画面は、図4(B)のようになる。この状態で、撮影記録モードは、上記顔アップモードが設定された状態にある。撮影記録モードは、例えば上述したように、3つのモードが用意され、タッチ操作に伴って、順次切り換わるようになっている。そして、所望の撮影記録モードに対応した記録枠(図4に示す例では3種の枠69ba,69bb,69bc)のうち所望の撮影記録モードを表わす記録枠69bx(x=a,b,c)が表示されている時に、所定時間以上のタッチ操作(いわゆる長押し操作)を行うことで選択設定がなされる。即ち、図4(B)の表示状態では、上述したように顔アップモードに対応する記録枠69baが表示されている。ここで、長押し操作を行うと、顔アップモードが選択設定される。一方、図4(B)の表示状態で、通常のタッチ操作を行うと図4(C)の表示に切り換わり、バストアップモードに対応する記録枠69bbが表示される。ここで、長押し操作を行うと、バストアップモードが選択設定される。一方、図4(C)の表示状態で、通常のタッチ操作を行うと図4(D)の表示に切り換わり、全身モードに対応する記録枠69bcが表示される。ここで、長押し操作を行うと、全身モードが選択設定される。一方、図4(D)の表示状態で、通常のタッチ操作を行うと、再度図4(B)の表示に切り換わる。
このように、長押し操作によって撮影記録モードが選択設定され、選択設定された撮影記録モードに対応する記録枠69bx(x=a,b,c)が表示される。図4(E)に示す表示例では、第1被写体101は顔アップモードが設定され、これに対応する記録枠69aが表示され、第2被写体102は全身モードが設定されて、これに対応する記録枠69bcが表示されている状態を示している。
図4を用いて説明した作用は、図3のステップS1〜ステップS8の処理に対応する。即ち、タッチ操作がなされると、まず図3のステップS1において、制御部66は操作部65に含まれるタッチパネルからの信号を監視すると共に、表示中の顔検出枠67a,67bに対応する各被写体101,102に対する追従処理を実行する。そして、撮影者によるタッチ操作を検出すると、そのタッチ操作によるタッチ位置に顔があるか否か、即ちタッチ位置が複数の顔検出枠(67a,67b)のいずれかの表示領域内であるか否かの確認を行う。
ここで、タッチ位置に顔がある、即ちタッチ位置が複数の顔検出枠(67a,67b)のいずれかの表示領域内であると確認された場合には、ステップS4の処理に進み、このステップS4において、タッチ位置に対応する顔検出枠を基準設定する。その後、ステップS3において、上記ステップS4の処理にて設定された基準位置に基いて記録枠69a,69bを表示させる。その後、ステップS5の処理に進む。
一方、上記ステップS1において、タッチ位置が顔検出枠(67a,67b)の表示領域以外であることが確認された場合には、ステップS2の処理に進み、このステップS2において、タッチ操作された位置(場所)を基準設定する。その後、ステップS3において、上記ステップS2の処理にて設定された基準位置に基いて記録枠69a,69bを表示させる。その後、ステップS5の処理に進む。
ステップS5において、制御部66は、上記ステップS1の直前になされたタッチ操作についての信号を判別する。即ち、検出されたタッチ操作が所定時間以上の長押し操作であった場合にはステップS7の処理へ進み、通常のタッチ操作であった場合にはステップS6の処理に進む。
ステップS6において、制御部66は記録枠サイズの変更処理を行う。即ち、現在表示中の記録枠とは異なる記録枠を表示させる。換言すれば、撮影記録モードを変更する。その後、ステップS5の処理に戻り、長押し操作がなされるまで同様の処理を繰り返す。
一方、ステップS7において、制御部66は、記録枠サイズの決定、即ち現在表示中の記録枠に対応する撮影記録モードを選択設定する。その後、ステップS8の処理に進む。
次に、ステップS8において、制御部66は、操作部65からの信号を監視して、撮影対象についてのさらなる選択を行うか、若しくは撮影動作を実行するか確認を行う。ここで、撮影対象選択操作がなされた場合にはタッチパネル等からの選択操作指示信号が検出される。この場合には上述のステップS1の処理に戻り、以降同様の処理を繰り返す。また、撮影操作がなされた場合にはレリーズボタンもしくはタッチパネル等からの撮影操作指示信号が検出される。この場合には次のステップS9の処理に進む。
ステップS9において、制御部66は、撮像素子52を含む撮像部を駆動制御して動画像データの取り込み、即ち撮影記録動作を開始する。
このときの表示部60の表示画面においては、図5(A)に示す表示がなされている。この場合において、図5(A)の第1被写体101は顔アップモードが選択設定されており、このとき、図6(A)において示されるような動画像60aが記録される。また、図5(A)の第2被写体102は全身モードが選択設定されており、図7(A)において示されるような動画像60bが記録される。こうして、予め撮影対象として選択された複数の被写体のそれぞれを主要対象とする異なる動画撮影記録が同時に実行される。なお、これに加えて、さらに図5(A)に示す全体の動画を同時に撮影記録するようにしてもよい。
図5(A),図6(A),図7(A)に示す状態で動画撮影動作を継続している際に、図5(A)の表示画面内において2つの被写体101,102が例えば互いに近付く方向に移動したものとする。すると、図5(A)の表示画面は、図5(B)の表示を経て図5(C),図5(D)の表示に変化し、やがて図5(E)に示すような表示となる。このとき、第1被写体101を主要対象とする動画像は、図6(B),図6(C),図6(D)を経て図6(E)に示すような画像が記録される。つまり、図6(A)〜図6(D)において顔アップモードによる動画像が記録されており、このうち図6(D)においては、画面右端より第2被写体102が画面内に侵入してくる様子が示されている。そして、図6(E)においては、それまでの記録枠69aに基く顔アップモードから合成記録枠69cに基く合成記録モードに切り換わる。
同様に、第2被写体101を主要対象とする動画像は、図7(B),図7(C),図7(D)を経て図7(E)に示すような画像が記録される。このうち図7(D)においては、画面左端より第1被写体101が画面内に侵入してくる様子が示されている。そして、図7(E)においては、それまでの記録枠69bに基く全身モードから合成記録枠69cに基く合成記録モードに切り換わる。
上述したように、2つの撮影対象の被写体101,102が表示部60の表示画面内において接近すると、各対応する記録枠69a,69bは、図5(E)に示す合成記録枠69cに切り換わる。そして、この合成記録枠69cに基く動画像、即ち図6(E),図7(E)に示されるような合成記録モードによる動画像が継続して記録される。
この状態からさらに動画撮影動作を継続している時、2つの被写体101,102が表示画面内において互いに離間する方向に移動したものとすると、やがて、図5(F)に示すような表示となる。このとき、図5(E)の合成記録枠69cは、元の記録枠69a,69cに戻り、記録される動画像もそれぞれの記録枠69a,69bに基く形態に戻ることになる。
この間の経緯を、図3のステップS9〜ステップS26の処理にて説明する。即ち、上述したように、図3のステップS9において、制御部66は撮影記録動作を開始する。
すると、ステップS10において、制御部66は、撮像素子52を含む撮像部を駆動制御して動画像データにかかる1フレーム分の画像データを取得する。なお、動画像データの取得処理に関する詳細は従来一般のカメラにおいて適用されいる従来技術が適用される。したがって、その詳細説明は省略する。
続いて、ステップS11において、制御部66は、顔検出部67の検出結果に基いて2つの記録枠の表示部60の表示画面内におけるそれぞれの位置を、2つの被写体101,102の移動に追従させて更新し表示する処理を実行する。
次に、ステップS12において、制御部66は、顔検出部67の検出結果に基いて2つの記録枠の表示部60の表示画面内における相対的な位置に変化が生じたか否かを確認する。ここで、相対位置変化が確認されない場合には、次のステップS23の処理に進む。また、相対位置変化が確認されて、かつ2つの被写体101,102が互いに離れる方向へと位置変化したことが確認された場合には、ステップS13の処理に進む。また、相対位置変化が確認されて、かつ2つの被写体101,102が互いに接近する方向へと位置変化したことが確認された場合には、ステップS18の処理に進む。
上述のステップS12の処理にて、相対位置変化がなく、ステップS23の処理に進むと、このステップS23において、制御部66は、枠制御フラグをcontrol=0に設定する。その後、ステップS24の処理に進む。
上述のステップS12の処理にて、相対位置変化が離れる方向が確認されて、ステップS13の処理に進むと、このステップS13において、制御部66は、記録枠の変更中か否かの確認を行うと共に、枠制御フラグcontrol=1に設定する。ここで、記録枠の変更中である場合にはステップS15の処理に進む。また、記録枠の変更中ではない場合にはステップS14の処理に進む。
続いて、ステップS14において、制御部66は記録枠の変更制御を開始する(枠制御フラグcontrol=1は維持される)。その後、ステップS15の処理に進む。
ステップS15において、制御部66は、記録枠表示部79,記録領域設定部68等を制御して、表示中の記録枠を徐々に縮小表示させる制御を行う。
続いてステップS16において、制御部66は、記録枠変更制御が終了したか否かの確認を行う。ここで、記録枠変更制御の終了が確認されたら、次のステップS17の処理に進み、このステップS17において、枠制御フラグcontrol=0に設定し、ステップS24の処理に進む。また、上述のステップS16の処理において、記録枠変更制御の終了が確認されない場合には、ステップS24の処理に進む。
一方、上述のステップS12の処理にて、相対位置変化が接近する方向が確認されて、ステップS18の処理に進むと、このステップS18において、制御部66は、記録枠の変更中か否かの確認を行うと共に、枠制御フラグcontrol=1に設定する。ここで、記録枠の変更中である場合にはステップS20の処理に進む。また、記録枠の変更中ではない場合にはステップS19の処理に進む。
続いて、ステップS19において、制御部66は記録枠の変更制御を開始する(枠制御フラグcontrol=1は維持される)。その後、ステップS20の処理に進む。
ステップS20において、制御部66は、記録枠表示部79,記録領域設定部68等を制御して、表示中の記録枠を徐々に拡大表示させる制御を行う。
続いてステップS21において、制御部66は、記録枠変更制御が終了したか否かの確認を行う。ここで、記録枠変更制御の終了が確認されたら、次のステップS22の処理に進み、このステップS22において、枠制御フラグcontrol=0に設定し、ステップS24の処理に進む。また、上述のステップS21の処理において、記録枠変更制御の終了が確認されない場合には、ステップS24の処理に進む。
ステップS24において、制御部66は、SDRAM63に一時記憶されている1フレーム分のそれぞれのデータファイルに対してそれぞれの記録枠に関する附加情報等を記録する処理を実行する。その後、ステップS25の処理に進む。
ステップS25において、制御部66は、最終フレームの処理が完了したか否かの確認を行う。ここで、最終フレームの処理が完了したことが確認された場合には、ステップS26の処理に進む。また、最終フレームの処理ではないことが確認された場合には、ステップS10の処理に戻り、以降の処理を繰り返す。
ステップS26において、制御部66は、SDRAM63,メモリIF61,記録媒体62を制御して、生成中の複数(2つ若しくは3つの)動画像ファイルに対して、例えば関連付け情報,同期再生用タグ等の各種必要な付加情報を付加してファイルクローズ処理を行う。
上記の附加情報は、例えば同時記録な行われた元の全体画像データと、その中の複数被写体を主要対象とする複数の動画像データを互いに関連付けるための情報である。このような附加情報を有していることにより、独立した複数の動画像データファイルを取り扱う際に至便である。例えば画像再生を行う際には、マルチウインド表示やマルチディスプレイ表示の再生環境を構成すれば、複数の動画像を同期させて同時再生させることができ、よって臨場感溢れる再生や変化に富んだ再生を行うことができるようになる。
ここで、表示画面内にて2つの被写体101,102が接近した時、若しくは離間した時の記録枠69a,69bが合成記録枠69cに切り換わる際のメカニズムを、図8〜を用いて以下に説明する。図8は、本実施形態のカメラにおける表示部に表示される画像の表示画面上に想定する座標系の例を示す。
この図8に示す例では、表示部60に表示される表示画面(撮像素子52によって取得される全体画像に相当する)の画面左下隅角の点を原点(0,0)とし、横軸をX軸、縦軸をY軸とする座標系を想定している。
表示部60の表示画面(全体画像)内には、2つの被写体101,102が表示され、各被写体101,102には記録枠69a,69bが選択設定されているものとする。そして、各記録枠69a,69bについての座標を
第1被写体101に対応する記録枠69aの左下角の座標(AX1,AY1)
第1被写体101に対応する記録枠69aの右下角の座標(AX2,AY1)
第2被写体102に対応する記録枠69bの左下角の座標(BX1,BY1)
第2被写体102に対応する記録枠69bの右下角の座標(BX2,BY1)
第2被写体102に対応する記録枠69bの右上角の座標(BX2,BY2)
と規定する。
このように規定した表示画面(全体画像)の座標系において、表示画面内で2つの被写体101,102が接近した時に、2つの記録枠69a,69bの重なりを判定する記録枠重なり判定処理シーケンスを図9に示す。この処理シーケンスは撮像動作の実行中には、常に実行されているものである。また、この記録枠重なり判定処理シーケンスは、制御部66の制御下で、顔検出部67,記録枠表示部79,記録領域設定部68等の協働により行われる。
まず、図9のステップS31において、表示画面(全体画像)における座標系内のX軸上の所定の点AX1,BX1について、「AX1<BX1」であるか否かの確認を行う。
ここで、「AX1<BX1」であることが確認された場合にはステップS32の処理に進む。
ステップS32において、「AX2<BX1」であるか否かの確認を行う。ここで、「AX2<BX1」ではない、即ち「AX2>=BX1」であることが確認された場合にはステップS38の処理に進む。そして、このステップS38において、記録枠の重なりがありと判断されて一連の処理を終了する(エンド)。
一方、ステップS31において「AX1<BX1」ではない、即ち「AX1>=BX1」であることが確認された場合にはステップS33の処理に進む。
ステップS33において、「BX2<AX1」であるか否かの確認を行う。ここで、「BX2<AX1」ではない、即ち「BX2>=AX1」であることが確認された場合にはステップS38の処理に進む。そして、このステップS38において、記録枠の重なりがありと判断されて一連の処理を終了する(エンド)。
他方、上記ステップS32において「AX2<BX1」であることが確認された場合、及び上記ステップS33において「BX2<AX1」であることが確認された場合には、いずれの場合もステップS34の処理に進む。
ステップS34において、「AY1<BY1」であるか否かの確認を行う。ここで、「AY1<BY1」であることが確認された場合にはステップS35の処理に進む。
ステップS35において、「AY2<BY1」であるか否かの確認を行う。ここで、「AY2<BY1」ではない、即ち「AY2>=BY1」であることが確認された場合にはステップS38の処理に進む。そして、このステップS38において、記録枠の重なりがありと判断されて一連の処理を終了する(エンド)。
一方、ステップS34において「AY1<BY1」ではない、即ち「AY1>=BY1」であることが確認された場合にはステップS36の処理に進む。
ステップS36において、「BY2<AY1」であるか否かの確認を行う。ここで、「BY2<AY1」ではない、即ち「BY2>=AY1」であることが確認された場合にはステップS38の処理に進む。そして、このステップS38において、記録枠の重なりがありと判断されて一連の処理を終了する(エンド)。
他方、上記ステップS35において「AY2<BY1」であることが確認された場合、及びステップS36において「BY2<AY1」であることが確認された場合には、いずれの場合もステップS37の処理に進む。そして、このステップS37において、記録枠の重なりが無いと判断されて一連の処理を終了する(エンド)。
上述のようにして、表示画面(全体画像)中における2つの被写体101,102に各対応する記録枠69a,69bの重なりが確認されると、続いて上記2の記録枠69a,69bの両方をカバーする合成記録枠69cを生成し、これを表示画面に表示させる。このときの一連の合成記録枠表示処理シーケンスを、図10〜図14を用いて以下に説明する。
図10,図11は、上記図8と同様に、本実施形態のカメラにおける表示部に表示される表示画面上に想定する座標系の例を示す。図10に示す例においても、表示部60に表示される表示画面(撮像素子52によって取得される全体画像に相当する)の画面左下隅角の点を原点(0,0)とし、横軸をX軸、縦軸をY軸とする座標系を想定している。
図10に示す表示部60の表示画面(全体画像)内には、2つの被写体101,102が表示され、各被写体101,102には記録枠69a,69bが選択設定されている。そして、各記録枠69a,69bについての座標は、上記の図8と同様に規定する。そして、この座標系において、上述した記録枠重なり判定処理シーケンス(図9参照)によって2つの記録枠69a,69bが重なっているものとする(図10参照)。
この場合において、合成記録枠69cを生成するのに際して、2つの記録枠69a,69bのサイズ(記録モード)が互いに対して異なる場合には、上述したように、大きい記録枠(この例では記録枠69b)のサイズに準じて新たな合成記録枠69cが設定される。これにより、図11に示す表示部60の表示画面に示される合成記録枠69cの如く、2つの被写体101,102が一画面内に納まるような撮影画像領域を持つ合成記録枠69cが設定される。なお、図11において、合成記録枠69cについての座標を
合成記録枠69cの左下角の座標(X1,Y1)
合成記録枠69cの右下角の座標(X2,Y1)
合成記録枠69cの左上角の座標(X1,Y2)
と規定する。
図12〜図15は、合成記録枠生成処理シーケンスである。この処理シーケンスは、制御部66の制御下で、顔検出部67,記録枠表示部79,記録領域設定部68等の協働により行われる。
図12の処理シーケンスは合成記録枠の座標X1を決定する処理である。
即ち、図12のステップS41において、図10の「AX1<BX1」であるか否かの確認を行う。ここで、「AX1<BX1」であることが確認された場合にはステップS42の処理に進む。そして、このステップS42において、「X1=AX1」が適用されて一連の処理を終了する(リターン)。
一方、図12のステップS41において、「AX1<BX1」ではない、即ち「AX1>=BX1」であることが確認された場合にはステップS43の処理に進む。そして、このステップS43において、「X1=BX1」が適用されて一連の処理を終了する(リターン)。
図13の処理シーケンスは合成記録枠の座標X2を決定する処理である。
即ち、図13のステップS44において、図10の「AX2<BX2」であるか否かの確認を行う。ここで、「AX2<BX2」であることが確認された場合にはステップS46の処理に進む。そして、このステップS46において、「X2=BX2」が適用されて一連の処理を終了する(リターン)。
一方、図13のステップS44において、「AX2<BX2」ではない、即ち「AX2>=BX2」であることが確認された場合にはステップS45の処理に進む。そして、このステップS45において、X2=AX2が適用されて一連の処理を終了する(リターン)。
図14の処理シーケンスは合成記録枠の座標Y1を決定する処理である。
即ち、図14のステップS47において、図10の「AY1<BY1」であるか否かの確認を行う。ここで、「AY1<BY1」であることが確認された場合にはステップS48の処理に進む。そして、このステップS48において、「Y1=AY1」が適用されて一連の処理を終了する(リターン)。
一方、図14のステップS47において、「AY1<BY1」ではない、即ち「AY1>=BY1」であることが確認された場合にはステップS49の処理に進む。そして、このステップS49において、「Y1=BY1」が適用されて一連の処理を終了する(リターン)。
図15の処理シーケンスは合成記録枠の座標Y2を決定する処理である。
即ち、図15のステップS50において、図10の「AY2<BY2」であるか否かの確認を行う。ここで、「AY2<BY2」であることが確認された場合にはステップS52の処理に進む。そして、このステップS52において、「Y2=BY2」が適用されて一連の処理を終了する(リターン)。
一方、図15のステップS50において、「AY2<BY2」ではない、即ち「AY2>=BY2」であることが確認された場合にはステップS51の処理に進む。そして、このステップS51において、Y2=AY2が適用されて一連の処理を終了する(リターン)。
以上のようにして、合成記録枠69cが設定され、表示部60の表示画面上の所定の位置に表示される。ここで、上記の例では、サイズの小さい記録枠69aを徐々に拡大表示させてサイズの大きい記録枠69bのサイズへと近付けた後、両者を重ね合わせるようにして最終的に合成記録枠69cを表示させる。このときの様子を経時的に示したのが図16である。
図16(A)においては、表示部60の表示画面内に2つの被写体101,102が表示されていて、各被写体101,102について、サイズ(モード)の異なる記録枠69a,69bが表示されている。そして、2つの記録枠69a,69bは一部で重なり合っているものとする。
この図16(A)の状態から図16(B),図16(C)の状態へと遷移する場合においては、2つの被写体101,102が互いに近接する方向に移動して、2つの記録枠69a,69bが徐々に重なり合う。これと同時に、サイズの小さい記録枠69aは、サイズの大きい記録枠69bに合わせるように徐々に拡大表示される。そして、最終的に図16(D)に示されるような一つの合成記録枠69cが表示される。
なお、2つの被写体101,102が離れる方向に移動した場合には、合成記録枠69cから再度各対応する記録枠69a,69bへと切り換わる。この場合の枠サイズ変更(縮小変更)の手順は、上記の拡大時のサイズ変更と逆の手順となるが略同様である。
また、複数の被写体101,102に各対応する記録枠69a,69bが合成記録枠69cへと表示を切り換える際には、瞬間的な切り換えではなく、上述したように徐々に切り換わるようにしている。
図17,図18は、枠サイズ変更時のようすをグラフ化した図である。図17は、記録枠のX軸上の点の拡大時,縮小時の変遷を示すグラフである。図18は、記録枠のY軸上の点の拡大時,縮小時の変遷を示すグラフである。図17,図18においては、横軸に時間をとり、縦軸に移動量(座標)が示される。図17,図18に示されるような枠表示の切り換えを行うことによって、より違和感のない動画像とすることができる。
上述したように、例えば表示画面内の2つの被写体101,102が近接した時には、個々の被写体に各対応させた記録枠69a,69bを、2つの被写体101,102が同時に納まるようにした合成記録枠69cに基く画像領域によって撮影を行うようにしている。
したがって、記録枠69a,69bと合成記録枠69cとの切り換えの際には、記録中の条件(記録モード)に対して撮影画像領域の変更が行われることになる。具体的には、例えば、顔アップモードで撮影中の第1被写体101を記録中の動画像は、合成記録枠69cに対応させるためにズームダウン方向へのズーミングが行われる。動画像記録中の急激なズーミング切り換えを行うと不自然動画像となってしまうので、画面切り換えは徐々に行われることが望ましい。そこで、上述の図17,図18を用いて説明したように、個々の記録枠69a,69bと合成記録枠69cとの切り換え時に枠表示を徐々に拡大,縮小させるのと同様に、記録中の動画像についても徐々にズーミングを行うように制御される。なお、ここで行われるズーミングは、撮影光学系41を駆動させて行う光学的なズーミングではなく、撮像素子52によって取得された画像データに基いて行われるいわゆる電子ズーム処理である。
以上説明したように上記一実施形態によれば、一画面内の複数被写体を撮影対象として撮影記録動作を行う際に、複数の被写体のそれぞれを主要被写体とする別個の動画像を複数同時に記録することができる。このとき、表示画面内において複数の被写体同士が近付いたり離れたりした時には、各被写体の移動に応じて各対応する動画像記録の連続性を保持しながら不自然なく撮影記録を行うことができる。例えば、2つの被写体同士が表示画面内で近付いて、同じ記録領域内に入ると、2つの被写体を主要被写体とする撮影対象としての撮影記録を行い、2つの被写体同士が表示画面内で離れると、各被写体を主要被写体とする撮影対象としての撮影記録に切り換わる。
したがって、撮影者は、撮影対象とする複数の被写体を表示部60の表示画面内に捉え続けるのみで、表示画面内の複数の被写体のそれぞれを主要対象とする複数の動画像を同時に撮影記録することができる。これに加えて、表示部60の表示画面に対応した全体画像を撮影記録することも可能である。
上述の一実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。