以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、本発明の撮影装置をいわゆるデジタルスチルカメラやデジタルビデオカメラに適用した場合を例に挙げて説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
ここで、本実施の形態で例示する撮影装置は、例えば光学レンズ等からなる撮像光学系が撮像素子の受光面に結像した光学像を電気的な信号に変換して静止画または動画の画像データを生成する撮像部を備える。また、撮影装置は、撮像部が生成した画像データを再生することで被写体の静止画または動画を表示する表示部や、画像信号またはこれを信号処理した画像データ等の各種情報を記録する記録部、外部装置との間で無線または有線によるデータ通信を行う通信部等を備える。
撮影装置の通信部から送信された画像データは、外部装置によって受信される。外部装置としては、例えば、パーソナルコンピュータ(PC)やPDA(Personal Digital Assistants)等の表示機能を備えた各種情報処理装置、プリンタやデジタル複合機等の印刷機能を備えた画像処理装置、あるいはフラッシュメモリ(登録商標)や外付けハードディスク(HD)といった各種ストレージ等が挙げられる。
(実施の形態1)
先ず、実施の形態1について説明する。図1は、実施の形態1における撮影装置1の概略内部構成例を示すブロック図である。図1に示すように、撮影装置1は、1つ以上のレンズで構成される光学系(以下、この光学系を「レンズ101」と呼ぶ。)、撮像素子102、アクチュエータ103、アクチュエータ駆動回路104、撮像回路105、フラッシュ106、EEPROM(Electrically Erasable and Programmable Read Only Memory)107と、手ブレ補正用ジャイロセンサ108、2つのCPU(Central Processing Unit)110,120、A/D変換回路131、FIFOメモリ132、フレームメモリ(SDRAM)133、記録バッファ134、記録媒体インタフェース(I/F)135、記録媒体136、TFT液晶駆動回路141、ビデオ出力回路142、バックライトユニット143、TFT液晶パネル144、キーマトリクス150、LCD(Liquid Crystal Display)表示回路161、LCDパネル162、外部有線データインターフェース(I/F)163、電池171、バックアップ電源172、電源回路173、電池状態検出回路174等を備える。この撮影装置1において、レンズ101、撮像素子102、撮像回路105およびA/D変換回路131を含む構成が撮像部を実現する。また、TFT液晶駆動回路141、ビデオ出力回路142、バックライトユニット143、TFT液晶パネル144、LCD表示回路161およびLCDパネル162を含む構成が表示部を実現する。また、記録バッファ134、記録媒体I/F135および記録媒体136を含む構成が記録部を実現する。
レンズ101は、撮像素子102の受光面に光学的な被写体像を結像する。撮像素子102は、レンズ101によって受光面に結像される光学的な被写体像を電気信号に変換する光電変換処理を行うことで、電気的な画像信号を生成する。この撮像素子102としては、高速読み出しが可能な固体撮像素子、例えばCCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)、またはその他の各種撮像素子を用いることができる。
撮像回路105は、撮像素子102の各素子に蓄積された電荷を画像信号として読み出し、この画像信号に垂直同期信号および水平同期信号等を組み合わせる。このとき例えば、撮影時であれば全画素を読み出す全画素読み出しモードで撮像素子102を駆動し、後述する通常ライブビュー表示時であれば間引き読み出しモードで撮像素子102を駆動する。なお、読み出し直後の画像信号は、アナログ信号である。撮像回路105は、読み出した画像信号に対して各種アナログ信号処理を実行し、処理後の画像信号をA/D変換回路131に出力する。A/D変換回路131は、撮像回路105から入力されたアナログの画像信号に対してA/D変換処理を実行し、画像データを得る。
以上のようにしてデジタル信号処理された画像データは、CPU120、フレームメモリ133、FIFO(First-In First-Out)メモリ132または記録バッファ134に適宜入力される。A/D変換回路131、CPU120、フレームメモリ133、FIFOメモリ132および記録バッファ134は、例えば内部バス130を介して相互に接続されている。
フレームメモリ133は、A/D変換回路131から出力された画像データ(この画像データに関する各種データ等を含んでもよい。以下、単に「画像データ」と呼ぶ。)や、記録媒体136から読み出された画像データを一時的に記録する。このフレームメモリ133には、例えばSDRAM(Synchronous DRAM)等の半導体記録素子等が適用される。
CPU(画像処理部)120は、主に、画像データや各種データを取り扱う信号処理制御を実行する複数の集積回路により構成される。このCPU120は、A/D変換回路131から入力され、あるいは記録媒体136から読み出されてフレームメモリに一時的に記録されている画像データに対して各種画像処理を施す。以下、CPU120を「画像処理部120」とも呼ぶ。
この画像処理部120は、画像圧縮伸長部121と、記録媒体アクセス処理部122と、表示フレームレート変換部123とを含む。画像圧縮伸長部121は、フレームメモリ133に記録されている画像データに対して例えばJPEG圧縮処理を行い、またはJPEG圧縮処理されている画像データの伸長処理を行う。記録媒体アクセス処理部122は、記録媒体I/F135による記録媒体136へのアクセスを制御する。表示フレームレート変換部123は、撮影モードとして通常の撮影モードが設定されているのか、スローライブビュー対応モードが設定されているのかに応じて撮影モード時に電子ファインダーとして画面表示する画像の表示フレームレートを変換するための処理を行う。
FIFOメモリ132は、表示対象とするフレームの画像データをTFT液晶パネル144やLCDパネル162、外部画像表示装置201等の各種表示装置へと出力する際にこの画像データを一時的にバッファするためのものであり、いわゆるビデオメモリとして機能する。
TFT液晶駆動回路141は、FIFOメモリ132から例えば1ライン毎に出力される画像データをもとにTFT液晶パネル144を駆動する。TFT液晶パネル144は、TFT液晶駆動回路141によって駆動され、表示対象の画像や各種情報等を表示する。このTFT液晶パネル144には、例えばカラー表示可能なパネルが適用される。また、バックライトユニット143は、TFT液晶パネル144の背面側に設けられ、TFT液晶パネル144を背面側から照明する。
ビデオ出力回路142は、FIFOメモリ132からの画像データを例えばNTSC形式のビデオ信号に変換する。また、ビデオ出力回路142は、変換したビデオ信号をビデオ出力端子145に接続された例えば外部画像表示装置201等の外部装置に出力する。ビデオ出力端子145は、ビデオ信号の伝送媒体であるビデオケーブル等の信号線が接続される接続端子である。
記録バッファ134は、フレームメモリ133に一時的に記録されている画像データを記録媒体136に画像データとして記録する際、あるいは記録媒体136から画像データを読み出してフレームメモリ133に一時的に記録する際等に用いるバッファ(一時記録領域)である。
記録媒体I/F135は、記録媒体136への画像データの記録処理や、記録媒体136からの画像データの読み出し処理等を制御するための回路である。
記録媒体136は、画像データやその他の各種データを記録するストレージである。この記録媒体136には、例えば薄板形状またはカード形状からなるメモリカード等の不揮発性の記録媒体が適用され、撮影装置1に対して着脱自在のものや撮影装置1内部の電気回路に固設されるもの等、適宜採用してよい。
CPU110は、主(メイン)CPUとして配設されるものであり、撮影装置1の各部を適宜制御(コントロール)することでシステム全体を制御するシステムコントロール部111を含む。このシステムコントロール部111は、撮影画像取得部、スローライブビュー表示処理部、記録処理部、再開制御部、終了制御部として撮影装置1を構成する各部に対する指示やデータの転送等を行って撮影装置1の動作を統括的に制御する。
例えば、システムコントロール部111は、外部有線データI/F163を介してデータの入出力を制御する処理や、主電源である電池171の残量をLCDパネル162等に表示する処理、アクチュエータ駆動回路104に対する動作指示を行ってレンズ101を駆動し、AF動作(焦点調節動作)や変倍動作を制御する処理、撮像部による撮影動作を制御して撮影画像の画像データを生成する処理、撮影の際の各種撮影条件を設定する処理、撮影画像の画像データをこれに付随する撮影日時等の撮影情報と合わせて画像データを含む画像ファイルを生成する処理、図示しない集音装置によって撮影時等に集音された音声信号をもとに音声ファイルを生成する処理、生成した画像ファイルや音声ファイル等の各種データファイルを適切な形態で記録媒体136に記録する処理、画像ファイルをもとに画像データや撮影情報をTFT液晶パネル144やLCDパネル162、外部画像表示装置201に表示する処理、音声ファイルをもとに音声データを図示しないスピーカから音出力する処理等、撮影装置1による各種動作を制御する処理や撮影装置1が備える各種機能を実現するための処理を行う。
また、システムコントロール部111は、撮影画角判定部としてのカメラ撮影画角判定部112と、計測部としての操作時間計測部113と、時計部114とを含む。カメラ撮影画角判定部112は、撮影画角の変化を判定する。実施の形態1では、カメラ撮影画角判定部112は、所定のタイミングでカメラ姿勢情報を初期化するとともに、手ブレ補正用ジャイロセンサ108から出力される検出値をもとにカメラ姿勢情報を更新する。そして、カメラ撮影画角判定部112は、このカメラ姿勢情報をもとに撮影画角の変化を判定する。操作時間計測部113は、スローライブビュー対応モード時においてファーストレリーズ151がONされている間のフレーム数を係数するものであり、例えば、初期値を“0”としてフレーム数をカウントアップするカウンタで構成される。時計部114は、日付や時刻を計時するためのものである。
アクチュエータ103は、レンズ101を駆動し、被写体像のオートフォーカス(AF:自動焦点調節)動作や変倍動作等を行うための駆動源である。アクチュエータ駆動回路104は、システムコントロール部111の制御のもと、アクチュエータ103を駆動する回路である。すなわち、このアクチュエータ103およびアクチュエータ駆動回路104を含む構成によってレンズ101を光軸に沿って移動させることで、AF動作や変倍動作等が実現される。
EEPROM107は、システムコントロール部111および画像処理部120である各CPUによって実行される処理プログラム(アプリケーションソフトウエア)や、この処理プログラムの実行中に使用される各種設定データや固有データ等が記録される。このEEPROM107には、例えば電気的に消去可能な不揮発性メモリである公知のフラッシュロム(Flash ROM)等が適用される。
フラッシュ106は、撮影時に被写体を照明する光を放射する光源であり、例えばキセノンランプやLED(Light Emitting Diode)等で構成される。手ブレ補正用ジャイロセンサ108は、姿勢検出部として、撮影装置1に生じているヨー方向およびピッチ方向の角速度を検出する。そして、手ブレ補正用ジャイロセンサ108は、検出した角速度をもとに撮影装置1のブレを検出し、検出値をシステムコントロール部111に出力する。
キーマトリクス150は、例えば通常の撮影モードやスローライブビュー対応モードが設定された撮影モード等の各種撮影モードや再生モード等の撮影装置1の動作モードに関する設定操作や撮影条件の設定操作、撮影指示や動作モードの切換指示、電源投入/遮断指示といった撮影装置1に対する各種動作指示等、ユーザによる各種操作を入力するためのものであり、各種機能が割り当てられたボタンスイッチやスライドスイッチ、ダイヤル等の各種操作部材で構成される。
すなわち、例えば、キーマトリクス150は、撮影準備指示である焦点調節指示を入力するためのファーストレリーズ151、撮影指示を入力するためのセカンドレリーズ152および変倍指示を入力するためのズームボタン153を含む。ファーストレリーズ151は、ユーザによるシャッタボタン(不図示)の半押しを検出するスイッチであり、セカンドレリーズ152は、このシャッタボタンの全押しを検出するスイッチである。例えばファーストレリーズ151によってシャッタボタンの半押しが検出された場合、システムコントロール部111の制御のもと、AF動作が行われる。一方、セカンドレリース152によってシャッタボタンの全押しが検出された場合には、システムコントロール部111の制御のもと、撮影動作が行われる。ズームボタン153は、撮影時に撮影倍率を変更(ズーム操作)するためのものである。なお、このズームボタン153は、再生モード時は、再生画像の拡大表示や縮小表示等の表示切換ボタンとして機能する。
この他、図示しないが、キーマトリクス150は、撮影装置1の電源状態をオン又はオフ状態に切り換える電源ボタンや、メニュー画面を呼び出す等の各種機能が割り当てられた各種操作ボタン、メニュー画面等における選択設定を行う四方向選択キー(十字キー)、これら各種操作部材による操作を確定するためのOKボタン等を適宜含む。十字キーは、上下左右の各方向ボタンを有する。
そして、このキーマトリクス150は、これら操作部材のそれぞれに連動して所定の指示信号を発生させるスイッチ部材や各スイッチ部材からの指示信号を伝達する電気回路等を含む。ユーザが操作することでキーマトリクス150が発生した各種指示信号は、システムコントロール部111に出力される。
LCD表示回路161は、システムコントロール部111からの制御に従ってLCDパネル162を駆動し、LCDパネル162に各種情報を表示処理する。LCDパネル162は、例えば小型の液晶表示装置(LCD)等によって構成される。このLCDパネル162には、例えば撮影装置1において設定済みの撮影条件、撮影時のシャッタ速度や絞り値等の露出に関する情報、現在設定されている動作モード情報、記録媒体136に記録可能な画像の枚数情報といった撮影装置1における各種設定値や日時情報等を表示する。
外部有線データI/F163は、外部装置との間で画像データの伝送(送受信)を行うための接続インタフェースである。この外部有線データI/F163には、例えばUSB(Universal Serial Bus)規格やIEEE1394規格等に準拠したインタフェースが適用される。
電池171は、撮影装置1における主(メイン)電源である。この電池171には、例えば乾電池等の一次電池や充電可能な蓄電池等の二次電池等が適用される。バックアップ電源172は、撮影装置1の内部メモリや内部時計等に対して常に電力を供給するために設けられた副(サブ)電源である。このバックアップ電源172からの電力は、例えば撮影装置1における各種設定値や日時情報等を保持し、あるいはLCDパネル162等に常時表示するための電力として用いられる。
電源回路173は、システムコントロール部111の制御のもと、電池171またはバックアップ電源172からの電力を撮影装置1内部の各電気回路へ適宜供給する。電池状態検出回路174は、電池171からの電源電圧等から電池171の残量等の状態を検出し、この検出結果をシステムコントロール部111に出力する。
なお、撮影装置1は、上記した各構成の他、音声等の被写体が発する音を集音するための不図示の集音装置(マイクロフォン)を適宜備える。また、撮影装置1は、外部装置との間で無線による画像ファイル等のデータ信号の送受信を行うための不図示の無線通信装置を適宜備える。この無線通信装置としては、例えば、ワイヤレスUSB(WUSB)方式や、超広帯域(UWB)無線接続方式、IrDA(intrared Data Association)方式による光無線接続等の各種通信規格の無線通信装置を適宜採用して用いることができる。
次に、以上のように構成される撮影装置1の撮影モードの1つであるスローライブビュー対応モードについて説明する。スローライブビュー対応モードが設定された撮影モードでは、ファーストレリーズ151がONされるまでの間は撮像素子102に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示が行われる。そして、ファーストレリーズ151がONされた時点で撮影画像の連写が開始され、例えば所定の表示フレームレート(実施の形態1では、通常ライブビュー表示の表示フレームレートとしている30fps(フレーム/秒))に応じた所定の撮影間隔(実施の形態では1/30秒毎)で撮影画像(以下、スローライブビュー対応モードで連写される撮影画像を「連写撮影画像」と呼ぶ。)の画像データが生成される。また、ファーストレリーズ151がONされたままの間は、得られた連写撮影画像の画像データからスロー対応ライブビュー画像の画像データが生成されるようになっており、このスロー対応ライブビュー画像を用いたスローライブビュー表示が行われる。
図2は、スローライブビュー対応モードで得られる連写撮影画像の一例を示す図であり、先頭の0コマ目から5コマ目までの6枚の連写撮影画像IP0〜IP5をその撮影タイミングtP0〜tP5とともに時系列順に示している。各連写撮影画像IP0〜IP5には、向かって左側から出現した車が右側に移動してフレームアウトする様子が映されている。また、図3は、スローライブビュー対応モードにおける表示フレームレートを説明する図である。図3では、図2に示した各連写撮影画像IP0〜IP5のうちの連写撮影画像IP0〜IP4にそれぞれ対応する0コマ目から4コマ目のスロー対応ライブビュー画像ID0〜ID4の表示タイミングtD0〜tD12を、時系列順に示している。
図2に示すように、スローライブビュー対応モードでは、ファーストレリーズ151がONされたときを撮影タイミングtP0として先ずコマ番号が“0”である0コマ目の連写撮影画像IP0の画像データを生成する。そして、1/30秒後の次の撮影タイミングtP1でコマ番号が“1”である1コマ目の連写撮影画像IP1の画像データを生成する。同様にして、1/30秒毎の各タイミングtP2,tP3・・・でそれぞれコマ番号が“2”である2コマ目以降の各連写撮影画像IP2,IP3・・・の画像データを順次生成していく。
一方で、スローライブビュー対応モードでは、1/30秒毎に生成される各連写撮影画像IP0,IP1・・・をもとに、図3に示すスロー対応ライブビュー画像ID0,ID1・・・を生成する。そして、生成したスロー対応ライブビュー画像ID0,ID1・・・を1/30秒毎に画面表示するが、このとき、図3に示すように、各スロー対応ライブビュー画像ID0,ID1・・・の表示をそれぞれ所定回数(例えば3回)ずつ行う。すなわち先ず、最初の表示タイミングtD0において、図2に示した0コマ目の連写撮影画像IP0に対応する0コマ目のスロー対応ライブビュー画像ID0を表示し、その後の1/30秒毎の各タイミングtD1,tD2においても0コマ目のスロー対応ライブビュー画像ID0の表示を維持する。そして、このようにして0コマ目のスロー対応ライブビュー画像ID0を3回表示した後の続くタイミングtD3では、図2に示した1コマ目の連写撮影画像IP1に対応する1コマ目のスロー対応ライブビュー画像ID1を表示し、同様にしてその後の1/30秒毎の各タイミングtD4,tD5においてこの1コマ目のスロー対応ライブビュー画像ID1の表示を維持する。なお、ここでは各スロー対応ライブビュー画像を3回ずつ表示する場合を例示したが、この値は適宜設定することとしてよい。
このように、実施の形態1では、実際の表示フレームレート(30fps)は変更せずに、0コマ目から順番に各スロー対応ライブビュー画像を3回ずつ表示する処理を行うことで各スロー対応ライブビュー画像の表示間隔を撮影間隔の3倍にし(表示フレームレートを1/3の速度に変換し)、ライブビュー画像のスロー表示(スローライブビュー表示)を実現している。そして、セカンドレリーズ152がONされた場合には、そのときに画面表示されているスロー対応ライブビュー画像に対応する連写撮影画像を撮影画像として記録媒体136に記録する。例えば、図3に示す2コマ目のスロー対応ライブビュー画像ID2の表示中(tD6〜tD8の間)でセカンドレリーズ152がONされた場合には、対応する図2の2コマ目の連写撮影画像IP2が記録されるのである。
これによれば、ユーザは、撮影モードとしてスローライブビュー対応モードを設定することによって、実際の被写体の動きよりも遅い速度でスロー表示されるスローライブビュー画像を見ながら撮影を行う(撮影タイミングを指示する)ことができる。したがって、被写体の動きが速い場合であっても、シャッターチャンスを逃すことなく確実に記録することができるという効果を奏する。
なお、このスローライブビュー対応モードでは、各連写撮影画像からそれぞれ生成したスロー対応ライブビュー画像を1/30秒毎の表示タイミングで3回ずつ表示していくため、ファーストレリーズ151がONされたままの状態が長く続くほど表示画面上に現れる被写体が実際の被写体像とずれていく。そこで、実施の形態1では、ユーザが撮像対象として狙う被写体が変化した場合を想定してスローライブビュー表示をリセットすることでこのズレの解消を図る。例えば実施の形態1では、撮影画角が大きく変化したと判定したときをユーザが撮像対象として狙う被写体を変えたときとして想定し、生成済みの連写撮影画像およびスロー対応ライブビュー画像を消去してスローライブビュー表示をリセットする。この場合には、次フレームを0コマ目とした新たに連写を開始し、スローライブビュー表示を再度開始する。また、ファーストレリーズ151がOFFされた場合もユーザが狙う被写体を変えたと想定する。この場合には、生成済みの連写撮影画像およびスロー対応ライブビュー画像を消去した後、再度ファーストレリーズ151がONされるまで通常ライブビュー表示に戻る。
次に、撮影装置1の動作について説明する。図4は、実施の形態1の撮影装置1の基本動作を示すフローチャートである。撮影装置1では、キーマトリクス150を構成する不図示の電源ボタンが操作されて電源投入が指示されると、電源回路173による各部への電源供給が開始される。そして、図4に示すように、先ずシステムコントロール部111が、内部回路の初期化等を行って撮影装置1の動作環境を設定する(ステップa1)。その後、撮影モードとなり、例えば1/30秒毎にステップa3〜ステップa19の処理が繰り返し行われる。
撮影モードでは先ず、システムコントロール部111は、撮影モードの設定を判定する。通常の撮影モード等のスローライブビュー対応モード以外の撮影モードが設定されている場合には(ステップa3:No)、通常のライブビュー画像表示状態となり(通常ライブビュー表示)、TFT液晶パネル144に対してライブビュー画像の表示が継続的に行なわれる(ステップa5)。すなわち、システムコントロール部111は、撮像素子102に結像されている被写体像の画像データを例えば間引き読み出し処理してフレームメモリ133に一時的に記録するとともに、ライブビュー画像としてTFT液晶パネル144に表示する一連の処理を1/30秒毎に繰り返し行う。ここで、ライブビュー画像とは、撮像部からリアルタイムに取り込まれる画像データのことである。ここでの処理によって、被写体像の画像データが所定の表示フレームレート(ここでは30fps)でリアルタイムに連続表示され、通常ライブビュー表示が実現される。
続いてシステムコントロール部111は、撮影処理を行う(ステップa7)。この撮影処理では、システムコントロール部111は、ファーストレリーズ151がONされた場合にAF動作を制御する。これによって撮影装置1は、ピント合わせが固定された焦点調節状態(AFロック)となる。そして、システムコントロール部111は、セカンドレリーズ152がONされた時点で撮像部による撮影動作を制御し、露出を制御して画像データの全画素読み出し処理を行う。これにより、セカンドレリーズ152がONされたタイミングの撮影範囲の画像データが撮影画像の画像データとして生成され、フレームメモリ133に一時的に記録される。この画像データは、画像処理部120によって必要な画像処理が施された後、記録媒体136に記録される。
一方、スローライブビュー対応モードが設定されている場合には(ステップa3:Yes)、スローライブビュー対応モード処理に移る(ステップa9)。
また、撮影モード中にキーマトリクス150によって撮影モードの設定操作が入力された場合には(ステップa11:Yes)、システムコントロール部111がモード設定変更処理を行い、撮影モードの設定を変更する(ステップa13)。例えば、システムコントロール部111は、メニュー画面をTFT液晶パネル144やLCDパネル162に表示処理して動作モードの設定メニューや撮影条件の設定メニュー等の各種メニュー項目を提示する。そして、キーマトリクス150に対する操作入力に従い、選択されたメニュー項目に応じた処理を行って動作モードの設定や撮影条件の設定・変更等を行う。通常の撮影モードやスローライブビュー対応モード等の撮影モードの設定は、ここで行われる。
また、キーマトリクス150によって動作モードの切換指示が入力され、再生モードが設定されると(ステップa15:Yes)、再生処理に移り、例えば、キーマトリクス150に対する操作入力に従って再生対象の撮影画像を決定し、その画像データを記録媒体136から読み出してTFT液晶パネル144や外部画像表示装置201に表示(再生)する処理を行う(ステップa17)。
そして、ステップa19では、電源遮断指示を監視し、電源ボタンが操作されて電源遮断(パワーOFF)が指示された場合には(ステップa19:Yes)、基本動作を終える。この場合には電源回路173による各部の電源供給が停止され、撮影装置1はパワーOFF状態へと遷移する。パワーOFFされなければ(ステップa19:No)、ステップa3に戻る。
次に、ステップa9のスローライブビュー対応モード処理について説明する。図5は、実施の形態1におけるスローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。実施の形態1のスローライブビュー対応モード処理では、図5に示すように、先ずシステムコントロール部111が、ファーストレリーズ151のON操作を判定する。ONされなければ(ステップb1:No)、図4のステップa5と同様の要領で、撮像素子102に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示を行う(ステップb3)。その後、図4のステップa9にリターンし、ステップa11に移行する。
一方、ファーストレリーズ151がONされた場合には(ステップb1:Yes)、ONされたままの間は、1/30秒毎にステップb5〜ステップb27の処理が繰り返し行われる。
すなわち先ず、システムコントロール部111は、初期化処理を行う(ステップb5)。実施の形態1では、カメラ撮影画角判定部112がカメラ姿勢情報を初期値“0”に初期化するとともに、操作時間計測部113がカウンタ値nを初期値“0”に初期化する。またこのとき、システムコントロール部111は、AF動作の制御を行い、撮影装置1はAFロックの状態となる。
続いてシステムコントロール部111は、連写撮影処理を行う(ステップb7)。すなわち、システムコントロール部111は、撮像部による撮影動作を制御し、露出を制御して画像データの全画素読み出し処理を行う。この結果、スローライブビュー対応モードが設定された撮影モードでは、ファーストレリーズ151がONされている間は、1/30秒毎にそのときの撮影範囲の画像が連写撮影画像として生成されることとなる。また、画像処理部120が、ステップb7で生成された連写撮影画像の画像データをもとに、スロー対応ライブビュー画像の画像データを生成する(ステップb9)。例えば、連写撮影画像を所定の画素数に間引き処理してスロー対応ライブビュー画像を生成する。
なお、このとき、システムコントロール部111は、カウンタ値nをコマ番号として画像処理部120に通知するようになっており、画像処理部120は、得られたnコマ目の連写撮影画像およびスロー対応ライブビュー画像をシステムコントロール部111から通知されたコマ番号と対応付けて記録バッファ134に記録処理する。例えば、最初にステップb1でYesと判定された場合であればコマ番号は“0”となり、ステップb7で先頭の0コマ目の連写撮影画像が生成され、ステップb9でこの0コマ目のスロー対応ライブビュー画像が生成される。
続いて、表示フレームレート変換部123が、カウンタ値nを3で除した商をNとして取得し、取得したNの値がコマ番号として対応付けられたNコマ目のスロー対応ライブビュー画像を記録バッファ134から読み出してTFT液晶パネル144に表示処理する(ステップb11)。すなわち、カウンタ値nが0〜2である間は0コマ目のスローライブビュー画像が表示される。同様に、カウンタ値nが3〜5である間は1コマ目のスローライブビュー画像が表示される。
その後、システムコントロール部111は、セカンドレリーズ152のON操作を判定し、ONされた場合であれば(ステップb13:Yes)、表示中のスロー対応ライブビュー画像のコマ番号に対応するNコマ目の連写撮影画像を撮影画像として記録媒体136に記録処理する(ステップb15)。例えば上記したように、カウンタ値nが0〜2である間(コマ番号が“0”)は0コマ目のスローライブビュー画像を画面表示しており、この間にセカンドレリーズ152がONされた場合には、0コマ目の連写撮影画像が撮影画像として記録されることとなる。その後、図4のステップa9にリターンし、ステップa11に移行する。
また、セカンドレリーズ152がONされなければ(ステップb13:No)、システムコントロール部111は、ファーストレリーズ151のOFF操作(AFロック状態の解除指示)を判定する。そして、ファーストレリーズ151がOFFされた場合には(ステップb17:Yes)、システムコントロール部111は、記録バッファ134に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去する処理(リセット処理)を行い、スローライブビュー表示をリセットする(ステップb19)。このとき、AFロックの状態が解除される。その後、図4のステップa9にリターンし、ステップa11に移行する。
一方、ファーストレリーズ151がONされたままであれば(ステップb17:No)、続いてカメラ撮影画角判定部112が、手ブレ補正用ジャイロセンサ108の検出値に従ってカメラ姿勢情報を更新し、更新後の値をもとに撮影画角の変化を判定する(ステップb21)。例えば、カメラ撮影画角判定部112は、カメラ姿勢情報が所定の閾値を超えたか否かを判定し、超えた場合に撮影画角が大きく変化したと判定する。
そして、カメラ姿勢情報が所定の閾値を超えた場合には(ステップb23:Yes)、システムコントロール部111が、スローライブビュー表示をリセットする(ステップb25)。ここで、記録バッファ134に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去される。その後ステップb5に戻って初期化処理を行い、次フレームを0コマ目とした新たなスローライブビュー表示を再度開始する。また、カメラ姿勢情報が所定の閾値未満の場合には(ステップb23:No)、操作時間計測部113がカウンタ値nをインクリメントして更新し(ステップb27)、その後ステップb7に戻って初期化処理を行い、次フレームの連写撮影処理に移る。
以上説明したように、実施の形態1によれば、ファーストレリーズ151がONされた場合に連続撮影処理を行うとともに、生成した連続撮影画像を用いてスローライブビュー表示を行うことができる。これによれば、例えば所定の撮影間隔(例えば1/30秒毎)で撮影処理を行って連写撮影画像の画像データを生成するとともに、この連写撮影画像の画像データを用いてスローライブビュー表示を行い、実際の被写体の動きよりも遅い速度で被写体像を画面表示することができる。そして、セカンドレリーズ152がONされた時点で画面表示している連写撮影画像の画像データを記録することができる。したがって、被写体の動きが速い場合であっても、シャッターチャンスを逃すことなく確実に記録することができるという効果を奏する。
なお、上記した実施の形態1では、手ブレ補正用ジャイロセンサ108によって撮影装置1の装置本体のブレを検出し、この検出値をもとに撮影画角の変化を判定することとした。これに対し、例えば公知の動き検出技術を適用し、画像処理によって撮影装置1の装置本体のブレ(変位)を検出することとしてもよい。そして、検出結果をもとに撮影画角の変化を判定することとしてもよい。この場合には、画像処理部120が、例えばスロー対応ライブビュー画像の画像データをもとにフレーム間の動きを検出し、各スロー対応ライブビュー画像に映る同一の被写体位置の変化量を表す動きベクトルを算出する。そして、カメラ撮影画角判定部112は、画像処理部120によって算出された動きベクトルの大きさをもとに撮影画角が大きく変化した場合を判定する。本変形例によれば、ジャイロセンサを備えない撮影装置であっても、新たな構成を追加する必要がない。
また、上記した実施の形態1では、手ブレ補正用ジャイロセンサ108の検出値をもとに撮影画角の変化を判定し、撮影画角が大きく変化した場合にスローライブビュー表示をリセットすることとしたが、リセット処理のタイミングはこれに限定されるものではない。
(変形例1)
例えば、ズーム操作された場合にユーザが狙う被写体を変えたと想定し、スローライブビュー表示をリセットすることとしてもよい。すなわち、変形例1では、ズーム操作を検出してスローライブビュー表示をリセットする。図6は、変形例1におけるスローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。なお、図6において、実施の形態1と同様の処理工程については、同一の符号を付する。
図6に示すように、変形例1では、ファーストレリーズ151がONされた場合に(ステップb1:Yes)、システムコントロール部111は、初期化処理を行う(ステップc5)。変形例1では、初期化処理として、操作時間計測部113がカウンタ値nを初期値“0”に初期化する。その後、ステップb7に移行する。
そして、変形例1では、ステップb17においてファーストレリーズ151がONされたままと判定した場合に(ステップb17:No)、カメラ撮影画角判定部112が、ズーム操作の有無によって撮影画角の変化を判定する。すなわちカメラ撮影画角判定部112は、変倍指示であるズーム操作(ズームボタン153の操作)を検出する(ステップc21)。そして、ステップc21でズーム操作を検出した場合には(ステップc23:Yes)、システムコントロール部111は、スローライブビュー表示をリセットする(ステップc25)。ここで、記録バッファ134に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去される。その後ステップc5に戻って初期化処理を行い、次フレームを0コマ目とした新たなスローライブビュー表示を再度開始する。
一方、ズーム操作を検出しない場合には(ステップc23:No)、操作時間計測部113がカウンタ値nをインクリメントして更新する(ステップc27)。その後、ステップb7に戻って次フレームの連写撮影処理に移る。
(変形例2)
あるいは、ファーストレリーズ151がONされたままの状態で経過した時間をもとにスローライブビュー表示をリセットすることとしてもよい。変形例2では、例えばONされたままの状態で10秒が経過した場合に、ライブビュー表示をリセットする。図7は、変形例2におけるスローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。なお、図7において、実施の形態1と同様の処理工程については、同一の符号を付する。
図7に示すように、変形例2では、ファーストレリーズ151がONされた場合に(ステップb1:Yes)、システムコントロール部111は、初期化処理を行う(ステップd5)。変形例2では、初期化処理として、操作時間計測部113がカウンタ値nを初期値“0”に初期化する。その後、ステップb7に移行する。
そして、変形例2では、ステップb17においてファーストレリーズ151がONされたままと判定した場合に(ステップb17:No)、操作時間計測部113が、先ずカウンタ値nをインクリメントして更新する(ステップd21)。
続いて、操作時間計測部113は、カウンタ値nが“300”以上か否かを判定する。ここでの処理によって、スローライブビュー表示を10秒間継続的に行ったか否かが判定される。カウンタ値nが“300”以上であり、今回のスローライブビュー表示を開始してから10秒が経過している場合には(ステップd23:Yes)、続いてシステムコントロール部111が、スローライブビュー表示をリセットする(ステップd25)。ここで、記録バッファ134に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去される。その後ステップd5に戻って初期化処理を行い、次フレームを0コマ目とした新たなスローライブビュー表示を再度開始する。
また、カウンタ値nが“300”未満の場合には(ステップd23:No)、操作時間計測部113は、カウンタ値nが“100”以上か否かを判定する。変形例2では、スローライブビュー表示を継続的に行う時間は最大でも10秒である。したがって、カウンタ値nが“100”を超えた後のフレームは表示の対象とならず、連写撮影画像を撮影し、そのスロー対応ライブビュー画像を生成しても無駄である。このため、カウンタ値nが“100”以上となった場合には(ステップd27:Yes)、ステップb11に戻り、次フレームのスロー対応ライブビュー画像の表示に移る。一方、カウンタ値nが“100”未満の場合には(ステップd27:No)、ステップb7に戻って次フレームの連写撮影処理に移る。
上記したように、ファーストレリーズ151がONされたままの状態が長く続くほど、画面表示される被写体像(スロー対応ライブビュー画像)と実際に撮像素子102に結像されている被写体像とのズレが大きくなっていく。変形例2によれば、所定の時間(例えば10秒)が経過した時点でスローライブビュー表示をリセットすることで、このズレを解消することができる。
なお、変形例2では、ファーストレリーズ151がONされたままの状態が維持され、スローライブビュー表示を10秒間継続的に行った場合にこのスローライブビュー表示をリセットすることとしたが、10秒間は一例であって、適宜値を設定できる。また、変形例2では、操作時間計測部113がカウンタ値nをカウントアップすることで経過した時間を判定することとしたが、経過時間を計時する構成としてもよい。例えば、ファーストレリーズ151がONされてからの経過時間を時計部114によって計時し、10秒が経過した時点でスローライブビュー表示をリセットすることとしてもよい。
(実施の形態2)
次に、実施の形態2について説明する。図8は、実施の形態2における撮影装置1bの概略内部構成例を示すブロック図である。なお、図8において、実施の形態1で説明した撮影装置1と同一の構成については同一の符号を付して示している。実施の形態2では、撮影装置1bは、レンズ101、撮像素子102、アクチュエータ103、アクチュエータ駆動回路104、撮像回路105、フラッシュ106、EEPROM107bと、手ブレ補正用ジャイロセンサ108、2つのCPU110b,120b、A/D変換回路131、FIFOメモリ132、フレームメモリ133、記録バッファ134、記録媒体I/F135、記録媒体136、TFT液晶駆動回路141、ビデオ出力回路142、バックライトユニット143、TFT液晶パネル144、キーマトリクス150、LCD表示回路161、LCDパネル162、外部有線データI/F163、電池171、バックアップ電源172、電源回路173、電池状態検出回路174等を備える。
実施の形態2では、EEPROM107bにおいて、特定被写体情報1071bが記録される。この特定被写体情報1071bには、特定被写体画像の画像データやその画像データから抽出した特定被写体の特徴情報が登録(記録)される。実施の形態2では、特定の人物の顔が特定被写体として登録される。ユーザは、例えば登録したい人物を撮影することによって、その人物を特定被写体として登録する。
また、CPU110bは、実施の形態1と同様にシステムコントロール部111bを含み、このシステムコントロール部111bは、時計部114と、被写体登録部115bと、特定被写体追尾処理部116bとを含む。
被写体登録部115bは、ユーザによる登録操作に従い、特定被写体画像である特定人物の顔画像データおよびその顔の特徴情報を取得し、特定被写体情報1071bとしてEEPROM107bに記録処理する。特定被写体追尾処理部116bは、スローライブビュー表示中に画面表示される特定被写体を追尾するため、スローライブビュー画像中に特定被写体が映っているか否かを判定する処理を行う。
そして、CPU(画像処理部)120bは、画像圧縮伸長部121と、記録媒体アクセス処理部122と、表示フレームレート変換部123と、画像認識部124bとを含む。
画像認識部124bは、画像データを画像認識処理して特徴情報を抽出する。実施の形態2では、画像認識部124bは、公知技術である顔検出処理を行って画像データ中に映る顔を検出し、顔検出結果を特徴情報として抽出する。顔検出処理は、例えば、パターンマッチングを適用して画像データ中の顔の領域(顔領域)を検出し、この顔領域の検出結果をもとに左右の目や鼻、唇等の各顔パーツを検出するものである。画像認識部124bは、後述する被写体登録モードでは、ユーザ操作に従って得た特定人物の顔画像データから特徴情報を抽出する。また、スローライブビュー対応モードでは、ライブビュー画像の画像データから特徴情報を抽出する。
この画像認識部124bは、特定被写体検出部としての特定被写体判定部125bを含む。特定被写体判定部125bは、画像認識部124bがライブビュー画像について行った顔検出結果であるライブビュー画像の特徴情報をもとに、ライブビュー画像の画像データ中に特定被写体として登録されている特定人物の顔が映っているか否かを判定する。具体的には、特定被写体判定部125bは、顔検出結果をもとに画像データ中の顔領域を特定被写体情報1071bと照合し、特定人物の顔か否かを識別する。
次に、撮影装置1bの動作について説明する。図9は、実施の形態2における撮影装置1bの基本動作を示すフローチャートである。なお、図9において、実施の形態1と同様の処理工程については、同一の符号を付する。
実施の形態2では、図9に示すように、システムコントロール部111bは、ステップa3において、実施の形態1と同様にして撮影モードとしてスローライブビュー対応モードが設定されているか否かを判定する。そして、スローライブビュー対応モードが設定されている場合に(ステップa3:Yes)、スローライブビュー対応モード処理に移る(ステップe9)。
また、実施の形態2では、撮影モード中にキーマトリクス150によって動作モードの切換指示が入力され、被写体登録モードが設定されると(ステップe181:Yes)、被写体登録処理に移る(ステップe183)。
ここで、先ずステップe183の被写体登録処理について説明する。図10は、実施の形態2における被写体登録処理の詳細な処理手順を示すフローチャートである。
図10に示すように、被写体登録処理では先ず、図4のステップa5と同様の要領でライブビュー画像を取り込んでリアルタイムに画面表示する通常ライブビュー表示を行う(ステップf1)。またこのとき、ライブビュー画像上の所定位置(例えば中央)において、特定被写体を選択するための所定サイズの被写体選択枠を固定的に表示処理する(ステップf3)。
その後、システムコントロール部111bは、キーマトリクス150に対する操作入力に応じた処理を行う。すなわち、ズーム操作(ズームボタン153の操作)が入力された場合には(ステップf5:Yes)、システムコントロール部111bは、変倍動作を制御する(ステップf7)。ファーストレリーズ151がONされた場合には(ステップf9:Yes)、システムコントロール部111bは、AF動作を制御する(ステップf11)。また、セカンドレリーズ152がONされるまでの間は(ステップf13:No)、ステップf1に戻って上記した処理を繰り返す。
そして、セカンドレリーズ152がONされた場合には(ステップf13:Yes)、画像認識部124bが、ONされたときのライブビュー画像中の被写体選択枠内となる部分画像を特定被写体画像とし、この特定被写体画像の画像データを画像認識処理して特徴情報を抽出する(ステップf15)。実施の形態2では、画像認識部124bは、特定被写体画像の画像データについて顔検出処理を行い、顔検出結果を特徴情報として得る。被写体登録部115bは、上記のようにして得られた特定被写体画像の画像データおよびその特徴情報を特定被写体情報1071bとしてEEPROM107bに記録処理する(ステップf17)。
図11は、実施の形態2における被写体登録モード時にTFT液晶パネル144に表示される被写体登録画面の一例を示す図である。図11に示すように、被写体登録画面は、ライブビュー画像が表示されるライブビュー表示エリアW11を備え、このライブビュー表示エリアW11の中央に被写体選択枠F11が固定表示されるようになっている。ユーザは、撮影装置1bの装置本体を動かすとともに、ズームボタン153を操作して撮影倍率を変更することによって、登録したい特定人物の顔が被写体選択枠F11内に収まるように被写体の大きさを調整する。そして、最終的にセカンドレリーズ152をONすることによって、被写体選択枠F11内の顔の人物が特定被写体として登録される。
次に、図9のステップe9のスローライブビュー対応モード処理について説明する。図12は、実施の形態2におけるスローライブビュー対応モード処理の詳細な処理手順を示すフローチャートである。実施の形態2のスローライブビュー対応モード処理では、図12に示すように、先ずシステムコントロール部111bが、ファーストレリーズ151のON操作を判定する。ONされなければ(ステップg1:No)、図4のステップa5と同様の要領で、撮像素子102に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示を行う(ステップg3)。その後、図9のステップe9にリターンし、ステップa11に移行する。
一方、ファーストレリーズ151がONされた場合には(ステップg1:Yes)、ONされたままの間は、1/30秒毎にステップg5〜ステップg45の処理が繰り返し行われる。
すなわち先ず、システムコントロール部111bは、初期化処理を行う(ステップg5)。実施の形態2では、システムコントロール部111bが、連写撮影画像のコマ番号を示すカウンタ値n、スロー対応ライブビュー画像中の特定被写体を追尾するためのカウンタ値xおよび表示中のスロー対応ライブビュー画像のコマ番号を得るためのカウンタ値tをそれぞれ初期値“0”に初期化する。また、被写体登録部115bが、EEPROM107bから特定被写体情報1071bを読み出す(ステップg7)。ここで読み出された特定被写体情報1071bは、画像認識部124bに通知される。またこのとき、システムコントロール部111bは、AF動作の制御を行い、撮影装置1bはAFロックの状態となる。
続いて、画像認識部124bが、ライブビュー画像を取り込んで画像認識処理を行う(ステップg9)。例えば先ず、システムコントロール部111bが、撮像素子102に結像されている被写体像を間引き読み出し処理する。そして、ここでの処理の結果フレームメモリ133に一時的に記録されたライブビュー画像について画像認識部124bが画像認識処理を行う。すなわち画像認識部124bは、取り込んだライブビュー画像の画像データについて顔検出処理を行う。そして、特定被写体判定部125bが、顔検出結果をもとに、画像データ中の顔領域をシステムコントロール部111bから通知された特定被写体情報1071bと照合する。
そして、特定被写体判定部125bが特定人物の顔を識別し、ライブビュー画像中で特定被写体が検出された場合には(ステップg11:Yes)、実施の形態1と同様にしてシステムコントロール部111bが連写撮影処理を行い(ステップg13)、画像処理部120bがスロー対応ライブビュー画像の画像データを生成する(ステップg15)。生成された連写撮影画像およびスロー対応ライブビュー画像は、そのときのカウンタ値nであるコマ番号と対応付けられて記録バッファ134に記録処理される。
続いて、システムコントロール部111bが、カウンタ値nをインクリメントして更新する(ステップg17)。その後、システムコントロール部111bがカウンタtをインクリメントして更新した後、表示フレームレート変換部123が、更新後のカウンタ値tを3で除した商をxに代入して更新する(ステップg19)。そして、表示フレームレート変換部123は、xの値がコマ番号として対応付けられたxコマ目のスロー対応ライブビュー画像を記録バッファ134から読み出してTFT液晶パネル144に表示処理する(ステップg21)。
その後、システムコントロール部111bは、セカンドレリーズ152のON操作を判定し、ONされた場合であれば(ステップg23:Yes)、表示中のスロー対応ライブビュー画像のコマ番号に対応するxコマ目の連写撮影画像を撮影画像として記録媒体136に記録処理する(ステップg25)。
また、セカンドレリーズ152がONされなければ(ステップg23:No)、システムコントロール部111bは、ファーストレリーズ151のOFF操作を判定する。そして、ファーストレリーズ151がOFFされた場合には(ステップg27:Yes)、システムコントロール部111bは、スローライブビュー表示をリセットする(ステップg29)。このとき、記録バッファ134に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去される。また、AFロックの状態が解除される。その後、図9のステップe9にリターンし、ステップa11に移行する。
一方、ファーストレリーズ151がONされたままであれば(ステップg27:No)、ステップg9に戻って次フレームの画像認識処理に移る。
また、ステップg9の画像認識処理の結果ライブビュー画像中で特定被写体が検出されない場合には(ステップg11:No)、システムコントロール部111bは、カウンタ値nを判定する。そして、カウンタ値nが“0”の場合、すなわちファーストレリーズ151がONされてから1度も特定被写体が検出されておらず、連写撮影処理が行われていない場合には(ステップg31:Yes)、システムコントロール部111bは、図4のステップa5と同様の要領で、撮像素子102に結像されている被写体像をリアルタイムに画面表示する通常ライブビュー表示を行う(ステップg33)。
その後、システムコントロール部111bは、セカンドレリーズ152のON操作を判定し、ONされた場合であれば(ステップg35:Yes)、撮像部による撮影動作を制御する(ステップg37)。すなわち、システムコントロール部111bは、露出を制御して画像データの全画素読み出し処理を行う。これにより、このときの撮影範囲の画像データが撮影画像の画像データとして生成され、画像処理部120bによって必要な画像処理が施された後、記録媒体136に記録される。その後、図9のステップe9にリターンし、ステップa11に移行する。
また、セカンドレリーズ152がONされなければ(ステップg35:No)、システムコントロール部111bは、ファーストレリーズ151のOFF操作を判定する。そして、ファーストレリーズ151がOFFされた場合には(ステップg39:Yes)、図9のステップe9にリターンしてステップa11に移行する。一方、ファーストレリーズがOFFされなければ(ステップg39:No)、ステップg9に戻って次フレームの画像認識処理に移る。
また、カウンタ値nが“0”でない場合には(ステップg31:Yes)、特定被写体追尾処理部116bが、スロー対応ライブビュー画像中の特定被写体を追尾するための処理として、カウンタ値nがカウンタ値xと一致しているか否かを判定する。ここで、カウンタ値nがカウンタ値xと一致していないということは、生成済みの連写撮影画像の最終のコマ番号が、表示中のスロー対応ライブビュー画像のコマ番号と一致していない。このため、生成済みの各コマのスロー対応ライブビュー画像の中に、特定被写体が映る未表示のスロー対応ライブビュー画像が含まれる。そこで、未表示のスロー対応ライブビュー画像を全て表示するまでの間は、スローライブビュー表示を継続して行う。すなわち、カウンタ値nがカウンタ値xと一致していない場合には(ステップg41:No)、ステップg19に移行して次フレームのスロー対応ライブビュー画像の表示に移る。
そして、システムコントロール部111bは、カウンタ値nがカウンタ値xと一致している場合には(ステップg41:Yes)、リセット処理部としてスローライブビュー表示をリセットする(ステップg43)。ここで、記録バッファ134に記録されている生成済みの連写撮影画像およびスロー対応ライブビュー画像が消去される。
続いて、システムコントロール部111bは、ファーストレリーズ151のOFF操作を判定し、ファーストレリーズ151がOFFされた場合には(ステップg45:Yes)、図9のステップe9にリターンしてステップa11に移行する。ファーストレリーズ151がOFFされなければ(ステップg45:No)、ステップg5に戻って初期化処理を行い、次フレームの画像認識処理に移る。
以上説明したように、実施の形態2によれば、ファーストレリーズ151がONされた場合であって、リアルタイムに取り込まれる被写体像(ライブビュー画像)中で特定被写体が検出された場合に連続撮影処理を行うとともに、生成した連続撮影画像を用いてスローライブビュー表示を行うことができる。したがって、特定被写体の動きが速い場合であっても、シャッターチャンスを逃すことなく確実に記録することができるという効果を奏する。
(変形例3)
上記した実施の形態2では、登録したい人物を実際に撮影することによってその顔を特定被写体として登録することとした。これに対し、既に記録媒体136に記録されている画像データ中の顔領域を指定することで被写体を登録する構成としてもよい。
図13は、変形例3における被写体登録処理の詳細な処理手順を示すフローチャートである。変形例3の被写体登録処理では先ず、記録媒体136に記録されている撮影画像の画像データを読み出して再生(表示)する処理を行う。なお、撮影画像の再生は、例えば、記録媒体136に記録されている撮影画像の画像データを記録順に1枚ずつ順番に読み込んで表示する構成としてもよいし、複数の撮影画像のサムネイル画像を一覧表示する制御を行い、ユーザ操作に従って一覧の中から選択した撮影画像の画像データを表示する構成としてもよい。
そして、図13に示すように、キーマトリクス150によって画像選択操作を入力すると(ステップh1:Yes)、選択された撮影画像(選択撮影画像)の画像データを記録媒体136から読み出して画面表示する処理を行う(ステップh3)。またこのとき、画面表示した選択撮影画像上の所定の初期位置(例えば中央)において、特定被写体を選択するための所定の初期サイズの被写体選択枠を表示処理する(ステップh5)。
その後、システムコントロール部111bは、キーマトリクス150に対する操作入力に応じた処理を行う。すなわち、キーマトリクス150の十字キーが操作された場合には(ステップh7:Yes)、操作された方向ボタンに応じた方向に被写体選択枠を所定量移動させてその表示を更新する(ステップh9)。ズームボタン153が操作された場合には(ステップh11:Yes)、被写体選択枠のサイズを所定量拡大または縮小してその表示を更新する(ステップh13)。また、OKボタンが操作されるまでの間は(ステップh15:No)、ステップh7に戻って上記した処理を繰り返す。
そして、OKボタンが操作された場合には(ステップh15:Yes)、画像処理部120bが、選択撮影画像中の被写体選択枠内の部分画像を特定被写体画像とし、この特定被写体画像の画像データを画像認識処理して特徴情報を抽出する(ステップh17)。すなわち、画像認識部124bは、特定被写体画像の画像データについて顔検出処理を行い、顔検出結果を特徴情報として得る。被写体登録部115bは、上記のようにして得られた特定被写体画像の画像データおよびその特徴情報を特定被写体情報1071bとしてEEPROM107bに記録処理する(ステップh19)。
図14は、変形例3における被写体登録モード時にTFT液晶パネル144に表示される被写体登録画面の一例を示す図である。図14に示すように、被写体登録画面は、選択撮影画像が再生(表示)される撮影画像表示エリアW21を備え、この撮影画像表示エリアW21の中央に被写体選択枠F21が所定の初期サイズで表示されるようになっている。ユーザは、先ず、登録した特定人物が映る撮影画像を選択して撮影画像表示エリアW21に表示させる。その後、十字キーを操作して被写体選択枠F21の位置を移動させるとともに、ズームボタン153を操作して被写体選択枠F21のサイズを拡大または縮小し、登録したい特定人物の顔が被写体選択枠F21内に収まるように被写体選択枠F21の位置およびサイズを調整する。そして、最終的にOKボタンを操作することによって、被写体選択枠F21内の顔の人物が特定被写体として登録される。
なお、上記した実施の形態2や変形例3では、特定の人物を特定被写体とする場合について説明したが、登録可能な被写体は、人物(顔)に限定されるものではない。例えば、動物や昆虫、乗り物等、ユーザが追尾したい被写体を適宜設定できる。
また、上記した実施の形態2や変形例3では、ユーザが実際にその画像を撮影したり、あるいは記録済みの撮影画像の中から領域選択することで被写体を登録することとした。これに対し、特定被写体の画像データや特徴情報を予め用意してEEPROM107bに記録しておく構成としてもよい。
図15は、本変形例における被写体登録画面の一例を示す図である。図15に示すように、本変形例の被写体登録画面には、「人」「動物」「昆虫」「乗り物」といった被写体のカテゴリを表記したカテゴリ項目I31〜I37が選択可能に一覧表示されている。ユーザは、例えば十字キーを操作していずれかのカテゴリ項目I31〜I37を選択し、その後OKボタンを操作することで登録したい被写体が属する所望のカテゴリを選択する。ここで、選択されたカテゴリ項目は、例えば背景の色を変更される等して識別表示されるようになっている。図15では、動物カテゴリを選択した状態を示しており、カテゴリ項目I33が識別表示されている。
そして、このようにしてカテゴリを選択すると、図15に示すように、そのカテゴリに属する要素が選択可能に一覧表示された要素選択画面W31が表示されるようになっている。この要素選択画面W31において要素を選択すると、選択した要素が特定被写体として登録される。例えば図15では、動物カテゴリが選択されており、要素選択画面W31には、動物カテゴリに属する例えば「犬」「猫」「鳥」「魚」といった要素(動物の種類)を表記した要素項目I311〜I317が一覧表示されている。ここで、本変形例では、カテゴリ毎に用意される各要素の中からユーザが選択した要素が特定被写体となる。各要素それぞれの画像データやその特徴情報は、予め用意してEEPROM107bに記録しておく。
ユーザは、さらに十字キーを操作していずれかの要素項目I311〜I317を選択し、その後OKボタンを操作することで登録したい動物の種類を選択する。図15では、犬を選択した状態を示しており、要素項目I311が識別表示されている。この結果、「犬」が特定被写体として登録される。以上のようにして「犬」を登録した場合には、スローライブビュー対応モードでは、画像認識部124bによる画像認識処理によって、ライブビュー画像中に映る「犬」が検出される。そして、ライブビュー画像中で「犬」が検出された場合に、スローライブビュー表示が行われる。
なお、図示しないが、昆虫カテゴリの要素としては、例えば蝶やカブトムシ、クワガタムシ、てんとう虫等が挙げられる。また、乗り物カテゴリの要素としては、例えば車や電車、F1カー、飛行機、トラック等が挙げられる。なお、図15で例示したカテゴリや要素は特に限定されるものではなく、適宜設定しておくことができる。すなわち、ユーザに登録可能な特定被写体の選択肢として提示する各要素の画像データや特徴情報を予め用意しておけばよい。
なお、本発明は、上記した各実施の形態そのままに限定されるものではなく、各実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。すなわち、実施の形態1や変形例1,2で説明したようにスローライブビュー表示をリセットする構成と、実施の形態2で説明したように特定被写体が映る場合にスローライブビュー表示する構成とを組み合わせて行う構成としてもよい。
例えば、図12のステップg27の後、図5のステップb21,b23に示した処理を行うようにし、カメラ姿勢情報が所定の閾値を超えない場合にステップg9に戻り、次フレームの画像認識処理に移るようにしてもよい。そして、カメラ姿勢情報が所定の閾値を超えた場合にはスローライブビュー表示をリセットし、その後ステップg5に戻って初期化処理を行い、次フレームの画像認識処理に移るようにしてもよい。
あるいは、図12のステップg27の後、図6のステップc21,c23に示した処理を行うようにし、ズーム操作を検出しない場合にステップg9に戻り、次フレームの画像認識処理に移るようにしてもよい。そして、ズーム操作を検出した場合にはスローライブビュー表示をリセットし、その後ステップg5に戻って初期化処理を行い、次フレームの画像認識処理に移るようにしてもよい。
あるいは、図12のステップg27の後、上記した変形例2を適用してスローライブビュー表示を10秒間継続的に行ったか否かを判定するようにしてもよい。そして、10秒間が経過していない場合にステップg9に戻り、次フレームの画像認識処理に移るようにしてもよい。そして、10秒間が経過した時点でスローライブビュー表示をリセットし、その後ステップg5に戻って初期化処理を行い、次フレームの画像認識処理に移るようにしてもよい。
また、上記した各実施の形態では、本発明の撮影装置としていわゆるデジタルスチルカメラやデジタルビデオカメラを例に挙げたが、適用対象はこれらに限定されるものではない。例えば、カメラ付き携帯電話機やカメラ付きモバイルPC等に適用できる。