JP4683337B2 - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP4683337B2
JP4683337B2 JP2006158961A JP2006158961A JP4683337B2 JP 4683337 B2 JP4683337 B2 JP 4683337B2 JP 2006158961 A JP2006158961 A JP 2006158961A JP 2006158961 A JP2006158961 A JP 2006158961A JP 4683337 B2 JP4683337 B2 JP 4683337B2
Authority
JP
Japan
Prior art keywords
image
face
step
means
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006158961A
Other languages
English (en)
Other versions
JP2007329679A (ja
Inventor
健一郎 綾木
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2006158961A priority Critical patent/JP4683337B2/ja
Publication of JP2007329679A publication Critical patent/JP2007329679A/ja
Application granted granted Critical
Publication of JP4683337B2 publication Critical patent/JP4683337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は画像表示装置及び画像表示方法に係り、特に撮影した画像から顔を検出する技術に関する。

特許文献1の画像再生システムでは、ユーザ10A、10Bが撮影装置10A又は1Bを用いて撮影した人物画像データと、その人物画像データに基づいた認証信号がWebサイト30を介して基地局40に取り込まれ、フォルダ作成部19において該認証信号基づき画像フォルダが作られ、記録される。そして、ユーザ10A、10Bが鑑賞者となって再生装置50により撮影画像を鑑賞する場合、ユーザ10A、10Bの顔情報がWebサイト30を介して基地局40に取り込まれ、該顔情報が個人認証処理部17にて認証され、その認証結果に基づき、上記画像フォルダの画像データが選択再生され、Webサイト30を介して再生装置50側に取り込まれ、再生される。
特開2005−354210号公報

特許文献1の画像再生システムは、基地局にアップロードした画像を鑑賞する場合に、ユーザの顔情報を基地局にアップロードして認証するものであって、画像を閲覧するためには、画像を予めアップロードしておく必要がある。また、画像の閲覧の都度、ユーザの認証を行うため、手間がかかるという問題があった。

本発明はこのような事情に鑑みてなされたもので、個人認証技術により、撮影画像の中から所望の被写体が写っている画像を容易に検索して再生することができる画像表示装置及び画像表示方法を提供することを目的とする。

上記課題を解決するために、本発明の請求項1に係る画像表示装置は、画像を撮影する撮影手段と、前記画像を記録する記録手段と、前記画像を表示する表示手段と、前記撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔の特徴量を取得する顔特徴量取得手段と、前記撮影手段により画像を撮影する撮影モードと、個人認証による再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替手段と、前記動作モードが個人認証による再生モードに設定された場合に、前記記録手段に記録された画像の中から画像を選択する画像選択手段と、前記画像選択手段により選択された画像から検出された顔の特徴量に基づいて、前記記録手段に記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出手段と、前記動作モードが個人認証による再生モードに設定された場合に、前記関連画像を前記表示手段に表示する表示制御手段とを備えることを特徴とする。

請求項1に係る発明によれば、動作モードを撮影モードに設定して人物の顔を撮影した後、個人認証による再生モードに設定することにより、撮影した画像の中から画像を選択して、選択した画像から検出した顔と同一人物の顔が写っている関連画像を、記録手段に記録された画像の中から読み出して再生することができる。

請求項2に係る発明は、請求項1の画像表示装置において、前記画像選択手段は、前記記録手段に最後に記録された画像を選択することを特徴とする。

請求項2に係る発明によれば、撮影モード時に最後に撮影された人物の顔が写っている関連画像を読み出して再生することができる。

請求項3に係る画像表示装置は、画像を撮影する撮影手段と、前記撮影手段に前記画像の撮影指示を入力する撮影指示手段と、前記画像を記録する記録手段と、前記画像を表示する表示手段と、前記撮影された画像から顔を検出する顔検出手段と、前記顔検出手段により検出された顔の特徴量を取得する顔特徴量取得手段と、前記撮影手段により画像を撮影する撮影モードと、前記表示手段により画像を再生表示する再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替手段と、前記動作モードが再生モードに設定されたときに、前記撮影指示手段からの撮影指示に応じて前記撮影手段によりモニタ画像を撮影する撮影制御手段と、前記再生モード時に撮影されたモニタ画像から検出された顔の特徴量に基づいて、前記記録手段に記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出手段と、前記関連画像を前記表示手段に表示する表示制御手段とを備えることを特徴とする。

請求項3に係る発明によれば、画像の再生時に、所望の人物の顔を含むモニタ画像を撮影することにより、モニタ画像に写っている人物の顔を含む関連画像を、記録手段に記録された画像の中から読み出して再生することができる。

請求項4に係る発明は、請求項3の画像表示装置において、前記表示制御手段は、前記関連画像とともに、前記モニタ画像を前記表示手段に表示することを特徴とする。

請求項4に係る発明によれば、モニタ画像に写っている人物の顔を含む関連画像を記録手段から読み出す際に、関連画像とモニタ画像とを表示手段に同時に表示することができる。

請求項5に係る発明は、請求項3の画像表示装置において、前記表示制御手段は、前記モニタ画像から検出された顔の画像を切り出して、前記関連画像とともに前記表示手段に表示することを特徴とする。

請求項5に係る発明によれば、モニタ画像に写っている人物の顔を含む関連画像を記録手段から読み出して表示する際に、モニタ画像から切り出した顔の画像と関連画像とを表示手段に同時に表示することができる。

請求項6に係る発明は、請求項1から5の画像表示装置において、前記顔特徴量取得手段は、前記顔検出手段により検出された顔の特徴量を取得して、該顔の特徴量を該画像と関連付けて前記記録手段に記録し、前記個人認証による再生モード時には、前記記録手段から前記顔の特徴量を取得することを特徴とする。

請求項6に係る発明によれば、記録手段に記録された画像から検出した顔の特徴量の情報を記録手段内のファイル等に予め記録しておくことができる。

請求項7に係る発明は、請求項1から6の画像表示装置において、前記顔特徴量取得手段は、前記撮影モード時、前記画像が撮影される都度又は前記撮影モード以外の動作モード時のいずれかに、前記画像から顔の特徴量を取得することを特徴とする。

請求項8に係る発明は、請求項1から7の画像表示装置において、前記関連画像検出手段は、前記関連画像が動画の場合に、前記同一人物の顔を含むフレームを取得し、前記表示制御手段は、前記関連画像検出手段により取得されたフレームを前記表示手段に表示することを特徴とする。

請求項8に係る発明によれば、関連画像が動画の場合にも表示を効果的に行うことができる。

請求項9に係る発明は、請求項1から8の画像表示装置において、前記画像選択手段によって選択された画像から複数の顔が検出された場合に、前記複数の顔の中から主要被写体を指定する主要被写体指定手段を更に備え、前記関連画像検出手段は、前記主要被写体を含む画像を検出することを特徴とする。また、請求項10に係る発明は、請求項9の画像表示装置において、前記主要被写体検出手段は、顔らしさの評価値である顔らしさ度が最も高い又は所定値以上の顔、顔の大きさが最大又は所定値以上の顔、画像の中心に最も近い又は画像の中心からの距離が所定値以下の顔、又は顔らしさ度又は大きさの少なくとも一方が所定値以上で、且つ、画像の中心に近い顔のうち少なくとも1つの条件に従って主要被写体を指定することを特徴とする。また、請求項11に係る発明は、請求項9の画像表示装置において、前記主要被写体検出手段は、前記画像が動画の場合に、顔らしさの評価値である顔らしさ度が最も高い又は所定値以上の顔、顔の大きさが最大又は所定値以上の顔、画像の中心に最も近い顔、写っているフレーム数又は写っている時間が最大の顔、写っているフレーム数と動画ファイルの総フレーム数の比が所定値以上の顔、写っている時間と動画ファイルの再生時間の比が所定値以上の顔、顔らしさ度又は大きさの少なくとも一方が所定値以上で、且つ、画像の中心に近い顔、写っているフレーム数又は写っている時間が所定値以上で、且つ、顔らしさ度又は顔の大きさの少なくとも一方が所定値以上の顔のうち少なくとも1つの条件に従って主要被写体を指定することを特徴とする。

請求項9から11に係る発明によれば、複数の顔が検出された画像の中から、主要被写体の画像を特定して、主要被写体を含む関連画像を表示することができる。

請求項12に係る画像表示方法は、撮影手段により画像を撮影する撮影工程と、前記画像を記録する記録工程と、前記画像を表示手段に表示する表示工程と、前記撮影された画像から顔を検出する顔検出工程と、前記顔検出工程において検出された顔の特徴量を取得する顔特徴量取得工程と、前記撮影手段により画像を撮影する撮影モードと、個人認証による再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替工程と、前記動作モードが個人認証による再生モードに設定された場合に、前記記録された画像の中から画像を選択する画像選択工程と、前記画像選択工程において選択された画像から検出された顔の特徴量に基づいて、前記記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出工程と、前記動作モードが個人認証による再生モードに設定された場合に、前記関連画像を前記表示手段に表示する表示制御工程とを備えることを特徴とする。

請求項13に係る画像表示方法は、撮影手段により画像を撮影する撮影工程と、前記撮影工程に前記画像の撮影指示を入力する撮影指示工程と、前記画像を記録する記録工程と、前記画像を表示手段に表示する表示工程と、前記撮影された画像から顔を検出する顔検出工程と、前記顔検出工程において検出された顔の特徴量を取得する顔特徴量取得工程と、前記撮影手段により画像を撮影する撮影モードと、前記表示手段により画像を再生表示する再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替工程と、前記動作モードが再生モードに設定されたときに、前記撮影指示に応じて前記撮影手段によりモニタ画像を撮影する撮影制御工程と、前記再生モード時に撮影されたモニタ画像から検出された顔の特徴量に基づいて、前記記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出工程と、前記関連画像を前記表示手段に表示する表示制御工程とを備えることを特徴とする。

請求項14に係る発明は、請求項13の画像表示方法において、前記表示制御工程は、前記関連画像とともに、前記モニタ画像を前記表示手段に表示する工程を備えることを特徴とする。

請求項15に係る発明は、請求項13の画像表示方法において、前記表示制御工程は、前記モニタ画像から検出された顔の画像を切り出す工程と、前記切り出した顔の画像を、前記関連画像とともに前記表示手段に表示する工程とを備えることを特徴とする。

請求項16に係る発明は、請求項13から15の画像表示方法において、前記顔特徴量取得工程において、前記顔検出工程により検出された顔の特徴量を取得して、該顔の特徴量を該画像と関連付けて前記記録工程に記録しておき、前記個人認証による再生モード時に、前記記録した前記顔の特徴量を取得する工程を更に備えることを特徴とする。

本発明によれば、個人認証技術により、撮影画像の中から所望の被写体が写っている画像を容易に検索して再生することができる。

以下、添付図面に従って本発明に係る画像表示装置及び画像表示方法の好ましい実施の形態について説明する。

[画像表示装置撮影装置の構成]
図1は、本発明の第1の実施形態に係る画像表示装置の外観を示す斜視図である。図1に示すように、画像表示装置10は、静止画や動画の記録及び再生機能を備えた撮影装置(電子カメラ)である。撮影装置10のカメラボディ12は、扁平状の四角い箱型に形成されている。カメラボディ12の前面には、レンズが組み込まれたレンズ鏡筒14が設けられている。また、カメラボディ12の上面には、シャッタボタン16及び電源スイッチ18が設けられている。カメラボディ12の背面には、表示部(液晶モニタ)20、ファインダ接眼窓22、モードスイッチ24、汎用キー26、MENU/OKボタン28、キャンセルボタン30、ディスプレイボタン32及びファンクションボタン34が設けられている。

電源スイッチ18は、スライド式のスイッチであり、撮影装置10の電源は、電源スイッチ18をスライド操作することによりON/OFFされる。

シャッタボタン16は、いわゆる「半押し」と「全押し」とからなる2段ストロークタイプのボタンで構成されており、「半押し」でAF(Auto Focus:自動焦点合わせ)、AE(Auto Exposure:自動露出)が機能し、「全押し」で撮影が実行される。

モードスイッチ24は、撮影装置10の動作モードを切り替えるスイッチとして機能し、その設定位置によって、静止画の撮影を行う「静止画撮影モード」、動画の撮影を行う「動画撮影モード」、撮影した画像を再生する「再生モード」又は「個人認証による再生モード」のいずれかに切り替えられる。なお、個人認証による再生モードについては後述する。

液晶モニタ20は、再生モード時には画像の再生用モニタとして機能するとともに、静止画又は動画撮影モード時にはフレーミング用のスルー画を表示する電子ビューファインダとして機能する。ディスプレイボタン32は、この液晶モニタ20のON/OFF切替ボタンとして機能する。また、液晶モニタ20は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容等の情報が表示される。なお、液晶モニタ20に代えて、有機EL(electro-luminescence)等の他の方式の表示装置を用いることも可能である。

MENU/OKボタン28は、メニュー画面の表示を指示するボタンとして機能し、このMENU/OKボタン28が押されることにより、各動作モードからセットアップモードに遷移し、液晶モニタ20に設定画面が表示される。上記セットアップモードでは、露出値、色合い、ISO感度、記録画素数等の画質調整に関する項目や、セルフタイマーの設定、測光方式の切替、デジタルズームを使用するか否か等の調整項目の設定が行われる。上記セットアップモードにおいて、MENU/OKボタン28は、選択した項目の確定や動作の実行を指示するボタンとして機能し、キャンセルボタン30は、設定画面において選択した項目の取消や、設定内容を1つ前の状態に戻すことを指示するボタンとして機能する。

汎用キー26は、再生モード時に再生する画像を選択したり、設定画面において項目を選択するためのカーソルを移動するカーソルシフトキーとして機能する。汎用キー26は、カーソルを左右方向に移動させる左ボタン26A及び右ボタン26Cと、カーソルを上下方向に移動させる上下ボタン26Bとから構成される。なお、左ボタン26A及び右ボタン26Cは押しボタンにより構成され、上下ボタン26Bは上下方向に揺動自在なシーソーボタンにより構成される。

また、上下ボタン26Bは、静止画又は動画撮影モード時にはズーム操作用の操作ボタンとして機能する。即ち、静止画又は動画撮影モードの下、上下ボタン26Bを上方向に操作することにより、ズームがテレ方向に操作され、ズームボタン26Bを下方向に操作することにより、ズームがワイド方向に操作される。

また、上下ボタン26Bは、再生モードの下、再生画像のズームボタンとしても機能する。即ち、再生モードの下、上下ボタン26Bを上方向に操作することにより、再生画像が拡大表示され、下方向に操作することにより、再生画像が縮小表示される。

また、再生モードの下、左ボタン26Aは、コマ戻しボタン(1コマ前の画像が表示されるように指示するボタン)として機能し、右ボタン26Cは、コマ送りボタン(1コマ後の画像が表示されるように指示するボタン)として機能する。

左ボタン26Aは、静止画又は動画撮影モードの下、マクロ機能(接写機能)のON/OFFを切り替えるボタンとして機能し、左ボタン26Aを押圧操作することにより、マクロ機能がON又はOFFされる。

また、右ボタン26Cは、静止画又は動画撮影モードの下、フラッシュモードを切り替えるボタンとして機能し、右ボタン26Cを押圧操作することにより、フラッシュモードがフラッシュ発光又は発光禁止の各モードに設定される。

図2は、撮影装置10の電気的構成を示すブロック図である。図2に示す撮影装置10は、撮影装置10全体の動作は中央処理装置(CPU)50によって統括制御される。CPU50は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出(AE)演算、自動焦点調節(AF)演算、ホワイトバランス(WB)調整演算等、各種演算を実施する演算手段として機能する。電源回路52は、本カメラシステムの各ブロックに電源を供給する。

CPU50には、バス54を介してROM(Read Only Memory)56及びEEPROM(Electronically Erasable and Programmable Read Only Memory)58が接続されている。ROM56には、CPU50が実行するプログラム及び制御に必要な各種データ等が格納され、EEPROM58には、CCD画素欠陥情報、カメラ動作に関する各種定数/情報等が格納されている。

また、メモリ(SDRAM、Synchronous Dynamic Random Access Memory)60は、プログラムの展開領域及びCPU50の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。VRAM(Video Random Access Memory)62は、画像データ専用の一時記憶メモリであり、A領域62AとB領域62Bを含んでいる。なお、メモリ60とVRAM62は共用することが可能である。

撮影装置10には、シャッタボタン16や電源スイッチ18、モードスイッチ24、汎用キー26、MENU/OKボタン28、キャンセルボタン30、ディスプレイボタン32、ファンクションボタン34等の操作部材を含む操作部64が設けられている。これら各種の操作部64からの信号はCPU50に入力され、CPU50は入力信号に基づいて撮影装置10の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録/再生制御、液晶モニタ20の表示制御等を行う。

撮影装置10は、メディアソケット(メディア装着部)68を有し、メディアソケット68には記録メディア70を装着することができる。記録メディア70の形態は特に限定されず、xDピクチャカード(商標)、スマートメディア(商標)に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。メディアコントローラ72は、メディアソケット68に装着される記録メディア70に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、撮影装置10は、パーソナルコンピュータ等の外部機器と接続するための通信手段として外部接続インターフェース部(外部接続I/F)74を備えている。撮影装置10は、図示せぬUSBケーブル等を用いて撮影装置10と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はUSBに限らず、IEEE1394やBluetooth(登録商標)等の他の通信方式を適用してもよい。

[動作モード]
図3は、動作モードの遷移を示す図である。上述のように、撮影装置10は、静止画及び動画撮影モード、再生モード及び個人認証による再生モードの4つの動作モードを備えており、動作モードはモードスイッチ24により切替可能となっている。

[撮影モード]
まず、撮影モードについて説明する。モードスイッチ24によって撮影モードが選択されると、カラーCCD固体撮像素子76(以下の説明では、CCD76と記載する)を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニット78は、フォーカスレンズ80及びズームレンズ82を含む撮影レンズ84と、絞り兼用メカシャッタ86とを含む光学ユニットである。撮影レンズ84のフォーカシングは、フォーカスレンズ80をフォーカスモータ80Aによって移動させることにより行われ、ズーミングは、ズームレンズ82をズームモータ82Aで移動させることにより行われる。フォーカスモータ80Aとズームモータ82Aは、それぞれフォーカスモータドライバ80Bとズームモータドライバ82Bにより駆動制御される。CPU10は、このフォーカスモータドライバ80Bとズームモータドライバ82Bに制御信号を出力して制御する。

絞り86は、いわゆるターレット型絞りで構成されており、F2.8からF8の絞り孔が穿孔されたターレット板を回転させて絞り値(F値)を変化させる。この絞り86の駆動はアイリスモータ86Aによって行われる。アイリスモータ86Aはアイリスモータドライバ86Bにより駆動制御される。CPU50は、このアイリスモータドライバ86Bに制御信号を出力して制御する。

レンズユニット78を通過した光は、CCD76の受光面に結像される。CCD76の受光面には多数のフォトダイオード(受光素子)が2次元的に配列されており、各フォトダイオードに対応して赤(R)、緑(G)、青(B)の原色カラーフィルタが所定の配列構造で配置されている。CCD76は、各フォトダイオードの電荷蓄積時間(シャッタースピード)を制御する電子シャッター機能を有している。CPU50は、タイミングジェネレータ(TG)88を介してCCD76での電荷蓄積時間を制御する。また、CPU50は、CCD76に対して、OFD(Overflow Drain)の電位を制御して、CCD76を構成するフォトダイオードに蓄積される信号電荷の上限値を調整する。

CCD76の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU50の指令に従いTG88から与えられる駆動パルス(読み出しパルス、垂直転送クロック、水平転送クロック)に基づいて信号電荷に応じた電圧信号(画像信号)として順次読み出される。

CCD76から出力された信号はアナログ処理部(CDS/AMP)90に送られ、ここで画素ごとのR、G、B信号がサンプリングホールド(相関2重サンプリング処理)され、増幅された後、A/D変換器92に加えられる。A/D変換器92によってデジタル信号に変換された点順次のR、G、B信号は、画像入力コントローラ94を介してメモリ60に記憶される。

画像信号処理回路96は、メモリ60に記憶されたR、G、B信号をCPU50の指令に従って処理する。すなわち、画像信号処理回路96は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス調整回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、CPU50からのコマンドに従ってメモリ60を活用しながら所定の信号処理を行う。

画像信号処理回路96に入力されたRGBの画像データは、画像信号処理回路96において輝度信号(Y信号)及び色差信号(Cr、Cb信号)に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路96で処理された画像データはVRAM62に格納される。

撮影画像を液晶モニタ20にモニタ出力する場合、VRAM62から画像データが読み出され、バス54を介してビデオエンコーダ98に送られる。ビデオエンコーダ98は、入力された画像データを表示用の所定方式のビデオ信号(例えば、NTSC方式のカラー複合画像信号)に変換して液晶モニタ20に出力する。

CCD76から出力される画像信号によって、1コマ分の画像を表す画像データがVRAM62のA領域62AとB領域62Bとで交互に書き換えられる。VRAM62のA領域62A及びB領域62Bのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてVRAM62内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が液晶モニタ20に供給されることにより、撮影中の映像がリアルタイムに液晶モニタ20に表示される。撮影者は、液晶モニタ20に表示される映像(プレビュー画像)によって撮影画角を確認できる。

シャッタボタン16が半押しされ、S1がオンすると、撮影装置10はAE及びAF処理を開始する。すなわち、CCD76から出力された画像信号はA/D変換後に画像入力コントローラ94を介してAF検出回路100並びにAE/AWB検出回路102に入力される。

AE/AWB検出回路102は、1画面を複数の分割エリア(例えば、8×8又は16×16)に分割し、この分割エリアごとにRGB信号を積算する回路を含み、その積算値をCPU50に提供する。CPU50は、AE/AWB検出回路102から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。CPU50は、求めた露出値と所定のプログラム線図に従って、絞り値とシャッタースピードを決定し、これに従いCCD76の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、AE/AWB検出回路102は、自動ホワイトバランス調整時に、分割エリアごとにRGB信号の色別の平均積算値を算出し、その算出結果をCPU50に提供する。CPU50は、Rの積算値、Bの積算値、Gの積算値を得て、分割エリアごとにR/G及びB/Gの比を求め、これらR/G、B/Gの値のR/G、B/G軸座標の色空間における分布等に基づいて光源種の判別を行い、判別された光源種に応じてホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランスゲイン)を制御し、各色チャンネルの信号に補正をかける。

撮影装置10におけるAF制御は、例えば、画像信号のG信号の高周波成分が極大になるようにフォーカスレンズ80を移動させるコントラストAFが適用される。すなわち、AF検出回路100は、G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内(例えば、画面中央部)にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すAFエリア抽出部及びAFエリア内の絶対値データを積算する積算部から構成される。

AF検出回路100により求められた積算値のデータはCPU50に通知される。CPU50は、フォーカスモータドライバ80Bを制御してフォーカスレンズ80を移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、CPU50は、求めた合焦位置にフォーカスレンズ80を移動させるようにフォーカスモータドライバ80Bを制御する。なお、AF評価値の演算はG信号を利用する態様に限らず、輝度信号(Y信号)を利用してもよい。

シャッタボタン16が半押しされ、S1オンによってAE/AF処理が行われ、シャッタボタン16が全押しされ、S2オンによって記録用の撮影動作がスタートする。S2オンに応動して取得された画像データは画像信号処理回路96において輝度/色差信号(Y/C信号)に変換され、ガンマ補正等の所定の処理が施された後、メモリ60に格納される。

メモリ60に格納されたY/C信号は、圧縮伸張回路104によって所定のフォーマットに従って圧縮された後、メディアコントローラ72を介して記録メディア70に記録される。例えば、静止画についてはJPEG(Joint Photographic Experts Group)形式、動画についてはAVI(Audio Video Interleaving)形式、Motion-JPEGの画像ファイルとして記録される。

記録メディア70に記録された画像ファイルは、顔検出装置110により顔検出処理が施される。顔検出処理の方式としては、例えば、原画像から肌色に指定した色と近い色を持つ画素を取り出し、取り出した領域を顔領域として検出するものがある。この顔検出処理は、例えば、肌色を他の色と区別するための色空間上で、あらかじめサンプリングした肌色の情報から色空間上の肌色の範囲を定め、各画素の色が定めた範囲に入っているか否かを判定することにより行われる。

顔検出装置110は、上記顔検出処理により検出された顔の特徴量を算出してCPU50に出力する。CPU50は、顔検出装置110から入力された顔特徴量と画像ファイルとを関連付けて、画像管理ファイルD10に格納する。ここで、顔の特徴量とは、例えば、画像中における顔領域の位置や大きさ(顔領域を囲む矩形又は楕円領域の面積、又は顔領域の肌色領域の面積)、目や鼻、耳、口、眉の位置や大きさ、髪の生え際の位置等である。なお、目や鼻、耳、口、眉、生え際は、例えば、肌色領域内の黒色の領域や赤色領域を検出し、その相対位置から算出される。

また、顔検出装置110は、顔の特徴量とともに、顔領域の顔らしさの評価値(顔らしさ度)を算出してCPU50に出力する。ここで、顔らしさ度は、顔検出装置110により検出された領域が顔領域であるかどうかを示すパラメータであり、例えば、肌色の度合等により算出される。顔検出装置110は、画像中から検出された肌色領域ごとに、この顔らしさ度を算出して、この顔らしさ度が所定値以上の肌色領域を顔領域と判断する。

なお、動画の画像ファイルの場合には、顔検出装置110により、顔領域が検出されたフレームの番号又は顔が写っている時間帯の情報が、顔の特徴量と関連付けられて、CPU50に出力される。

なお、顔検出処理は、撮影の都度行うようにしてもよいし、記録メディア70内の画像のうち、顔検出処理が施されていない画像に対して撮影モードの終了時にまとめて行うようにしてもよい。

図4は、記録メディア70のフォルダツリー構造を示す図である。図4に示す例では、画像ファイルP10からP16は、記録メディア70内のフォルダ「/DCIM/100_FUJI/」に格納され、画像管理ファイルD10は、フォルダ「/KANRI/」に格納される。なお、記録メディア70のフォルダ構成については、図4に限定されるものではない。

図5は、画像管理ファイルD10の構成例を示す図である。図5に示すように、画像管理ファイルD10は、xml形式により記述されており、<image>タグの間に、各画像ファイルP10からP16に関する情報が記録される。なお、画像管理ファイルD10は、例えば、HTMLやSMIL等の言語で記述されるようにしてもよい。

図5において、<date>タグには、画像ファイルの撮影日又は更新日が記録され、<file>タグには、画像ファイルを特定するための情報(例えば、ファイルパスや画像ファイルに固有の識別子)が記録される。<face>タグの間には、画像ファイルから検出された顔特徴量や顔らしさ度が記録される。なお、図5において、<eye_size>タグは目の大きさであり、<nose_size>タグは鼻の大きさである。

なお、顔の特徴量は、例えば、各画像ファイルのヘッダ情報(例えば、EXIFタグ情報)に記録されるようにしてもよい。

[再生モード]
モードスイッチ24により再生モードが選択されると、記録メディア70に記録されている最終の画像ファイル(最後に記録された画像ファイル)の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路104を介して非圧縮のYC信号に伸張され、画像信号処理回路96及びビデオエンコーダ98を介して表示用の信号に変換された後、液晶モニタ20に出力される。これにより、当該画像ファイルの画像内容が液晶モニタ20の画面上に表示される。

静止画の1コマ再生中(動画の先頭フレーム再生中も含む)に、左ボタン26A及び右ボタン26Cを操作することによって、再生対象の画像ファイルを切り換えること(順コマ送り/逆コマ送り)ができる(図3参照)。コマ送りされた位置の画像ファイルが記録メディア70から読み出され、上記と同様にして静止画像や動画が液晶モニタ20に再生表示される。

また、再生モード時に、パーソナルコンピュータやテレビ等の外部ディスプレイがビデオ入出力端子106を介して撮影装置10に接続されている場合には、記録メディア70に記録されている画像ファイルはビデオ出力回路108により処理されて、この外部ディスプレイに再生表示される。

[個人認証による再生モード]
モードスイッチ24により個人認証による再生モードが選択されると、個人認証装置112により、記録メディア70から画像管理ファイルD10が読み込まれる。個人認証装置112は、記録メディア70に記録されている最終の画像ファイル(最後に記録された画像ファイル)から検出された顔Xの特徴量の情報を取得して、記録メディア70内の他の画像ファイルの顔の特徴量と比較する。個人認証装置112は、記録メディア70に記録された画像ファイルの中から、最後の記録に係る画像ファイルと同一人物の顔を含む画像ファイル(関連画像)を特定し、該関連画像の画像ファイルの情報をCPU50に出力する。CPU50は、個人認証装置112により選択された関連画像の画像ファイルを取得して液晶モニタ20に表示する。

ここで、個人認証装置112は、例えば、記録メディア70内の画像から検出された顔の特徴量を座標軸とする多次元マップを作成して、最後の記録に係る画像ファイルと同一人物の顔を含む画像ファイル(関連画像)を特定する。図6は、顔の特徴量の多次元マップを示すグラフである。図6に示す多次元マップは、顔の特徴量A、B…を座標軸としており、当該多次元マップ上には、個人認証装置112により、記録メディア70内の画像ファイルから検出された顔の特徴量がプロットされる。ここで、顔の特徴量A、B、…は、例えば、検出された顔における目や鼻、耳、口、眉、髪の生え際の相対位置や、目や鼻、耳、口、眉大きさと顔の大きさとの比等である。なお、図6では、A軸及びB軸以外は図示を省略する。

個人認証装置112は、最後の記録に係る画像ファイルから検出された顔X(座標:FX)に近い顔、例えば、個人認証装置112は、上記多次元マップにおいて、座標FXを中心とする所定の半径の球CX内にプロットされた顔を含む画像ファイルを絞り込んで特定する。

なお、画像を絞り込む際には、顔らしさ度や顔の大きさが所定値以下の画像ファイルは、絞り込みの対象から外すようにしてもよい。

上記の処理の結果、図3に示すように、最後の記録に係る画像P16が被写体人物の顔Xを含んでいる場合には、個人認証による再生モードに遷移すると、顔Xが検出された関連画像P12とP16が個人認証装置112により特定されて液晶モニタ20に表示される。関連画像のコマ送り/コマ戻しは、再生モード時と同様にそれぞれ右ボタン26C及び左ボタン26Aにより行われる。

なお、上記顔Xの特徴量により絞り込まれた関連画像が動画ファイルを含む場合には、当該動画ファイル内の顔Xを含むフレームが個人認証装置112により選択して表示するようにすればよい。この場合、個人認証装置112は、顔Xを含むフレームのうち、例えば、(1)一番先頭のフレーム、(2)表情(例えば、顔の特徴量のパラメータ)が最も近いと判断された顔を含むフレーム、(3)検出された顔の大きさが最大のフレーム、(4)検出された顔の顔らしさ度が最も高いフレーム、又は(5)上記の組み合わせの条件に従って表示用のフレームを選択する。

そして、個人認証装置112により選択された表示用のフレームが選択されてMENU/OKボタン28が押下されると、当該動画ファイルが再生される。顔Xを含む動画ファイルを再生する際には、例えば、(1)動画ファイルの最初のフレームから再生する、(2)顔Xが最初に登場したフレームから再生する、(3)上記表示用のフレームから再生する、(4)顔Xが写っているフレームのみ再生するようにすればよい。

[撮影モードの処理]
以下、各動作モードにおける撮影装置10の処理の流れについて、図7から図9のフローチャートを参照して説明する。図7は、撮影モード時における処理の流れを示すフローチャートである。

まず、モードスイッチ24により動作モードが撮影モードに設定されると、CPU50により、電源回路52が制御されてCCD76を含む撮像部に電源が供給され、撮影モードが開始される。そして、液晶モニタ20によりプレビュー画像が表示される(ステップS10)。

次に、シャッタボタン16が押下されると(ステップS12のYes)、CPU50によりS1オン及びS2オン信号が検出されて、画像の撮影が実行され(ステップS14)、撮影画像のファイルが記録メディア70に書き込まれる(ステップS16)。

次に、顔検出装置110により、撮影画像の顔検出処理が実行され、顔検出処理の結果がCPU50に入力される。そして、CPU50により、撮影画像から顔が検出されたかどうかが判断される(ステップS18)。撮影画像から顔が検出された場合には(ステップS18のNo)、顔検出装置110からの入力に基づいて、検出された顔の特徴量が撮影画像ファイルのパスとともに、図5に示した画像管理ファイルD10に書き込まれて(ステップS20)、ステップS22に進む。一方、撮影画像から顔が検出されなかった場合には(ステップS18のYes)、そのままステップS22に進む。

次に、動作モードの変更がなされなければ(ステップS22のNo、ステップS24のNo)、ステップS10に戻る。一方、モードスイッチ24により動作モードが再生モードに設定されると(ステップS22のYes)、再生モードの処理に遷移する。また、モードスイッチ24により動作モードが個人認証による再生モードに設定されると(ステップS22のNo、ステップS24のYes)、CPU50により、画像管理ファイルが参照され、最後に撮影された画像から顔が検出されたかどうかが判断される(ステップS26)。そして、撮影画像から顔が検出されていない場合には(ステップS26のYes)、再生モードに遷移する。一方、撮影画像から顔が検出されている場合には(ステップS26のNo)、個人認証による再生モードに遷移する。

[再生モードの処理]
図8は、再生モード時における処理の流れを示すフローチャートである。まず、再生モードが開始されると、記録メディア70に最後に記録された画像ファイルが読み出されて、液晶モニタ20に表示される(ステップS30)。再生モード時には、左ボタン26Aの押下に応じて(ステップS32のYes)、表示画像のコマ戻しが行われ(ステップS34)、右ボタン26Cの押下に応じて(ステップS36のYes)、表示画像のコマ送りが行われる(ステップS38)。

次に、動作モードの変更がなされなければ(ステップS40のNo、ステップS42のNo)、ステップS32に戻る。一方、モードスイッチ24により動作モードが撮影モードに設定されると(ステップS40のYes)、撮影モードの処理に遷移する。また、モードスイッチ24により動作モードが個人認証による再生モードに設定されると(ステップS40のNo、ステップS42のYes)、CPU50により、画像管理ファイルD10が参照され、最後に撮影された画像から顔が検出されたかどうかが判断される(ステップS44)。そして、撮影画像から顔が検出されていない場合には(ステップS44のYes)、再生モードが継続する。一方、撮影画像から顔が検出されている場合には(ステップS44のNo)、個人認証による再生モードに遷移する。

[個人認証による再生モードの処理]
図9は、個人認証による再生モード時における処理の流れを示すフローチャートである。まず、個人認証による再生モードが開始されると、CPU50により、画像管理ファイルD10が参照されて、最後に撮影された被写体人物の顔Xの特徴量が読み込まれる(ステップS50)。次に、CPU50により、画像管理ファイルD10から読み込まれた顔Xの特徴量に基づいて、記録メディア70内の画像の中から関連画像が絞り込まれる(ステップS52)。そして、絞り込まれた関連画像のうち最も新しい又は古いものが液晶モニタ20に表示される(ステップS54)。関連画像P22及びP26の表示中には、左ボタン26Aの押下に応じて(ステップS56のYes)、関連画像の画像群内においてコマ戻しが行われるとともに(ステップS58)、右ボタン26Cの押下に応じて(ステップS60のYes)、関連画像の画像群内においてコマ送りが行われる(ステップS62)。

次に、動作モードの変更がなされなければ(ステップS64のNo、ステップS66のNo)、ステップS56に戻る。一方、モードスイッチ24により動作モードが撮影モードに設定されると(ステップS64のYes)、撮影モードの処理に遷移する。また、モードスイッチ24により動作モードが再生モードに設定されると(ステップS64のNo、ステップS66のYes)、再生モードの処理に遷移する。

本実施形態によれば、動作モードを撮影モードに設定して人物の顔を撮影した後、個人認証による再生モードに設定することにより、撮影した画像の中から画像を選択して、選択した画像から検出した顔と同一人物の顔が写っている関連画像を、記録メディア70に記録された画像の中から読み出して再生することができる。

なお、個人認証による再生モードにおいて、最後の記録に係る画像ファイルから複数の顔が検出された場合には、個人認証装置112により、顔の位置や大きさ、顔らしさ度等に基づいて主要被写体を選択して、主要被写体を含む画像を特定して液晶モニタ20に表示するようにすればよい。例えば、最後の記録に係る画像ファイルが静止画ファイルの場合には、当該静止画ファイルから検出された顔のうち、(1)顔らしさ度が最も高い又は所定値以上の顔、(2)顔の大きさが最大又は所定値以上の顔、(3)画像の中心に最も近い又は画像の中心からの距離が所定値以下の顔、又は(4)上記の組み合わせの条件(例えば、顔らしさ度又は大きさの少なくとも一方が所定値以上で、且つ、画像の中心に近い顔等)に従って主要被写体を選択する。

一方、最後の記録に係る画像ファイルが動画ファイルの場合には、個人認証装置112は、当該動画ファイルから検出された顔のうち、(1)顔らしさ度が最も高い又は所定値以上の顔、(2)顔の大きさが最大又は所定値以上の顔、(3)画像の中心に最も近い顔、(4)写っているフレーム数又は写っている時間が最大の顔、(5)写っているフレーム数と動画ファイルの総フレーム数の比が所定値以上の顔、(6)写っている時間と動画ファイルの再生時間の比が所定値以上の顔、又は(7)上記の組み合わせの条件(例えば、(7−1)顔らしさ度又は大きさの少なくとも一方が所定値以上で、且つ、画像の中心に近い顔、(7−2)写っているフレーム数又は写っている時間が所定値以上で、且つ、顔らしさ度又は顔の大きさの少なくとも一方が所定値以上の顔等)に従って主要被写体を選択する。

なお、主要被写体は複数検出するようにしてもよい。主要被写体を複数検出した場合には、例えば、最後の記録に係る画像ファイルから検出された顔を顔らしさ度や大きさの順に、例えば、主要被写体X1、X2…のように配列する。そして、個人認証による再生モード時において、主要被写体を含む画像を再生する際には、主要被写体の配列に従って、(主要被写体X1を含む画像群)、(主要被写体X2を含む画像群)…のように再生すればよい。

これにより、個人認証による再生モードにおいて、最後に撮影された画像の主要被写体と思われる顔を含む画像を選択して再生表示することができる。なお、主要被写体は、ユーザの操作入力により、所望の数だけ選択可能としてもよい。

また、本実施形態では、最後に撮影された画像から顔が検出された場合に、個人認証による再生モードに遷移するようにしたが、ユーザが任意に指定した画像から検出された顔の特徴量を取得して、画像を絞り込んで表示するようにしてもよい。

また、本実施形態では、個人認証による再生モードにおいて、関連画像とともに最後の記録に係る画像を表示してもよい。また、最後の記録に係る画像から顔の画像を切り出して、関連画像とともに表示するようにしてもよい。

[第2の実施形態]
以下、本発明の第2の実施形態について説明する。図10は本発明の第2の実施形態に係る画像表示装置(撮影装置)の外観を示す斜視図であり、図11は当該画像表示装置(撮影装置)の電気的構成を示すブロック図である。また、図12は、動作モードの遷移を示す図である。なお、以下の説明において、上記第1の実施形態と同様の構成については、同一の符号を付して説明を省略する。

本実施形態の撮影装置10は、「静止画撮影モード」、「動画撮影モード」及び「再生モード」の3つの動作モードを備えており、これらの動作モードは、図10及び図11に示すモードスイッチ24により設定される。

再生モードは、撮影済み画像が全て再生される通常の再生モードと、通常の再生モードからシャッタボタン16の半押し/半押しの解除に応じて遷移する画像モニタモード及びモニタ人物再生モードを含んでいる。図12に示すように、再生モード時にシャッタボタン16が半押しされると(S1オン)、画像モニタモードに遷移する。

画像モニタモードでは、CCD76を含む撮像部に電源が供給されて、画像が撮影され、撮影されたモニタ画像P28が液晶モニタ20に表示される。そして、顔検出装置110により、モニタ画像P28から顔の検出処理が行われ、上記顔検出処理により検出された顔Xの特徴量が算出される。

モニタ画像P28から顔が検出された後、シャッタボタン16の半押しが解除されると、モニタ人物再生モードに遷移する。モニタ人物再生モードでは、顔検出装置110によりモニタ画像P28から検出された顔Xの特徴量が個人認証装置112に出力される。個人認証装置112は、顔Xの特徴量の情報を取得して、記録メディア70内の他の画像ファイルの顔の特徴量と比較する。個人認証装置112は、記録メディア70に記録された画像の中から、最後の記録に係る画像ファイルと同一人物の顔を含む画像ファイル(関連画像)を特定し、該関連画像の画像ファイルの情報をCPU50に出力する。CPU50は、個人認証装置112により選択された関連画像の画像ファイルを取得して液晶モニタ20に表示する。これにより、画像モニタモードにおいて撮影されたモニタ画像P28の被写体と同一の被写体の画像が選択されて液晶モニタ20に表示される。

なお、顔検出処理及び同一人物の顔を含む画像の特定処理の詳細については、上記第1の実施形態と同様であるため説明を省略する。また、関連画像に動画ファイルが含まれる場合の処理については、上記第1の実施形態と同様である。

次に、モニタ人物再生モードにおいて、シャッタボタン16が半押しされると、画像モニタモードに遷移して、再びモニタ画像の撮影が行われる。

一方、画像モニタモードにおいて、顔検出処理が終了する前、又はモニタ画像P28から顔が検出されなかった場合に、シャッタボタン16の半押しが解除されると、通常の再生モードに戻る。

また、本実施形態では、シャッタボタン16の半押し及び半押しの解除により、通常の再生モード、画像モニタモード及びモニタ人物再生モードの間のモード切替を行うようにしたが、例えば、シャッタボタン16の全押し又は全押し解除により行うようにしてもよいし、専用の操作部材(例えば、モードスイッチ24)を設けてもよい。

[撮影モード]
以下、各動作モード時における撮影装置10の処理の流れについて、図13から図16のフローチャートを参照して説明する。図13は、撮影モード時における処理の流れを示すフローチャートである。

まず、モードスイッチ24により動作モードが撮影モードに設定されると、CPU50により、電源回路52が制御されてCCD76を含む撮像部に電源が供給され、撮影モードが開始される。そして、液晶モニタ20によりプレビュー画像が表示される(ステップS70)。

次に、シャッタボタン16が押下されると(ステップS72のYes)、CPU50によりS1オン及びS2オン信号が検出されて、画像の撮影が実行され(ステップS74)、撮影画像のファイルが記録メディア70に書き込まれる(ステップS76)。

次に、顔検出装置110により、撮影画像の顔検出処理が実行され、顔検出処理の結果がCPU50に入力され、CPU50により、撮影画像から顔が検出されたかどうかが判断される(ステップS78)。そして、撮影画像から顔が検出された場合には(ステップS78のNo)、顔検出装置110からの入力に基づいて、検出された顔の特徴量が撮影画像ファイルのパスとともに、画像管理ファイルD10(図5参照)に書き込まれて(ステップS80)、ステップS82に進む。一方、撮影画像から顔が検出されなかった場合には(ステップS78のYes)、そのままステップS82に進む。

次に、動作モードの変更がなされなければ(ステップS82のNo)、ステップS70に戻る。一方、モードスイッチ24により動作モードが再生モードに設定されると(ステップS82のYes)、再生モードの処理に遷移する。

[再生モード]
次に、再生モード時における処理の流れについて、図14のフローチャートを参照して説明する。まず、再生モードが開始されると、記録メディア70に最後に記録された画像ファイルが読み出されて、液晶モニタ20に表示される(ステップS90)。再生モード時には、左ボタン26Aの押下に応じて(ステップS92のYes)、表示画像のコマ戻しが行われ(ステップS94)、右ボタン26Cの押下に応じて(ステップS96のYes)、表示画像のコマ送りが行われる(ステップS98)。

次に、動作モードの変更がなされなければ(ステップS100のNo、ステップS102のNo)、ステップS92に戻る。一方、シャッタボタン16が半押しされると(ステップS100のYes)、画像モニタモードの処理に遷移する。また、モードスイッチ24により動作モードが撮影モードに設定されると(ステップS100のNo、ステップS102のYes)、撮影モードの処理に遷移する。

[画像モニタモード]
次に、画像モニタモード時における処理の流れについて、図15のフローチャートを参照して説明する。まず、再生モード時にシャッタボタン16が半押しされると、撮影準備が実行され(ステップS110)、モニタ画像P28が撮影される(ステップS112)。そして、顔検出装置110により、モニタ画像P28から顔の検出処理が実行されて、顔の検出処理の結果がCPU50に出力される。

次に、CPU50により、上記顔の検出処理の結果に基づいて、モニタ画像P28から顔が検出されたかどうかが判断される(ステップS114)。モニタ画像P28から顔が検出されなかった場合には(ステップS114のNo)、モニタ画像P28が液晶モニタ20に表示されて(ステップS116)、ステップS120に進む。一方、モニタ画像P28から顔が検出された場合には(ステップS114のYes)、モニタ画像P28が液晶モニタ20に表示されるとともに、モニタ画像P28から検出された顔Xに顔検出枠R10が付される(ステップS118)。なお、ステップS118では、顔検出枠R10を汎用キー26により、ユーザが設定できるようにしてもよい。

次に、シャッタボタン16の半押しが解除されると(ステップS120のYes)、モニタ画像P28から顔が検出されていない場合には(ステップS122のYes)、再生モードに遷移する。一方、モニタ画像P28から顔が検出された場合には(ステップS122のNo)、モニタ人物再生モードに遷移する。

[モニタ人物再生モード]
次に、モニタ人物再生モード時における処理の流れについて、図16のフローチャートを参照して説明する。まず、モニタ人物再生モードが開始されると、CPU50により、上記画像モニタモードにおいて取得した顔の特徴量が読み込まれる(ステップS130)。そして、CPU50により、ステップS130において読み込まれた顔の特徴量に基づいて、記録メディア70内の関連画像が絞り込まれて(ステップS132)、絞り込まれた関連画像のうち最も新しい又は古いものが液晶モニタ20に表示される(ステップS134)。

関連画像P22及びP26の表示中には、左ボタン26Aの押下に応じて(ステップS136のYes)、関連画像の画像群内においてコマ戻しが行われるとともに(ステップS138)、右ボタン26Cの押下に応じて(ステップS140のYes)、関連画像の画像群内においてコマ送りが行われる(ステップS142)。

次に、動作モードの変更がなされなければ(ステップS144のNo)、ステップS136に戻る。一方、シャッタボタン16が半押しされると(ステップS144のYes)、画像モニタモードに遷移する。

本実施形態によれば、再生モード時に、所望の人物の顔を含むモニタ画像を撮影することにより、記録メディア70に記録された画像の中から、モニタ画像に写っている人物の顔を含む関連画像を読み出して再生することができる。

なお、モニタ画像P28から複数の顔が検出された場合の処理については、上記第1の実施形態と同様である。

[第3の実施形態]
図17は、本発明の第3の実施形態に係る画像表示装置(撮影装置)の動作モードの遷移を示す図である。なお、撮影モード及び通常の再生モードについては、上記第2の実施形態と同様であるため説明を省略する。図17に示すように、通常の再生モード時にシャッタボタン16が半押しされると(S1オン)、画像モニタモードに遷移する。

画像モニタモードでは、CCD76を含む撮像部に電源が供給されて、画像が撮影され、撮影されたモニタ画像P28が液晶モニタ20に表示される。そして、顔検出装置110により顔の検出処理が行われ、上記顔検出処理により検出された顔Xの特徴量が算出されて、個人認証装置112に出力される。個人認証装置112は、顔Xの特徴量の情報を取得して、記録メディア70内の他の画像ファイルの顔の特徴量と比較し、記録メディア70に記録された画像の中から、最後の記録に係る画像ファイルと同一人物の顔を含む画像ファイル(関連画像)を特定し、該関連画像の画像ファイルの情報をCPU50に出力する。CPU50は、個人認証装置112により選択された関連画像の画像ファイルを取得して液晶モニタ20の関連画像表示領域A10に表示する。

[画像モニタモード]
次に、画像モニタモード時における処理の流れについて、図18のフローチャートを参照して説明する。まず、再生モード時にシャッタボタン16が半押しされると、撮影準備が実行され(ステップS150)、モニタ画像P28が撮影される(ステップS152)。そして、顔検出装置110により、モニタ画像P28から顔の検出処理が実行されて、顔の検出処理の結果がCPU50に出力される。

次に、CPU50により、上記顔の検出処理の結果に基づいて、モニタ画像P28から顔が検出されたかどうかが判断される(ステップS154)。モニタ画像P28から顔が検出されなかった場合には(ステップS154のNo)、モニタ画像P28が液晶モニタ20に表示されて(ステップS156)、ステップS166に進む。一方、モニタ画像P28から顔が検出された場合には(ステップS154のYes)、モニタ画像P28が液晶モニタ20に表示されるとともに、モニタ画像P28から検出された顔に顔検出枠R10が付される(ステップS158)。なお、ステップS158では、顔検出枠R10を汎用キー26により、ユーザが設定できるようにしてもよい。

次に、CPU50により、ステップS154において検出された顔の特徴量に基づいて、記録メディア70内の画像が絞り込まれる(ステップS160)。そして、モニタ画像P28から検出された顔Xと同一人物の顔を含む画像ファイルが検出された場合には(ステップS162のYes)、液晶モニタ20の関連画像表示領域A10に一覧表示(サムネイル表示)される(ステップS164)。一方、モニタ画像P28から検出された顔Xと同一人物の顔を含む画像ファイルが検出されなかった場合には(ステップS162のNo)、そのままステップS166に進む。

次に、シャッタボタン16の半押しが解除されると(ステップS166のYes)、モニタ画像P28から顔が検出されていない場合には(ステップS168のYes)、再生モードに遷移する。一方、モニタ画像P28から顔が検出された場合には(ステップS168のNo)、モニタ人物再生モードに遷移する。

[モニタ人物再生モード]
次に、モニタ人物再生モード時における処理の流れについて、図19のフローチャートを参照して説明する。まず、モニタ人物再生モードが開始されると、CPU50により、画像モニタモードにおいて絞り込まれた関連画像の画像ファイルが記録メディア70から読み込まれて(ステップS180)、表示用のデータが取得される(ステップS182)。そして、関連画像のうち最も新しい又は古いものが液晶モニタ20に表示される(ステップS184)。

関連画像P22及びP26の表示中には、左ボタン26Aの押下に応じて(ステップS186のYes)、関連画像の画像群内においてコマ戻しが行われるとともに(ステップS188)、右ボタン26Cの押下に応じて(ステップS190のYes)、関連画像の画像群内においてコマ送りが行われる(ステップS192)。

次に、動作モードの変更がなされなければ(ステップS194のNo、ステップS196のNo)、ステップS186に戻る。一方、シャッタボタン16が半押しされると(ステップS194のYes)、画像モニタモードに遷移する。また、モードスイッチ24が撮影モードに設定されると(ステップS196のYes)、撮影モードに遷移する。

本実施形態によれば、モニタ画像P28に写っている人物の顔を含む関連画像を記録メディア70から読み出す際に、関連画像とモニタ画像P28とを液晶モニタ20に同時に表示することができる。

[第4の実施形態]
図20は、本発明の第4の実施形態に係る画像表示装置(撮影装置)の動作モードの遷移を示す図である。なお、撮影モード、再生モード及び画像モニタモードについては、上記第2の実施形態と同様であるため説明を省略する。図20に示すように、本実施形態では、モニタ人物再生モード時において、モニタ画像P28から検出された顔Xを表示するための領域A20が設けられる。

図21は、本実施形態に係るモニタ人物再生モード時における処理の流れを示すフローチャートである。まず、モニタ人物再生モードが開始されると、CPU50により、上記画像モニタモードにおいて取得した顔の特徴量が読み込まれる(ステップS200)。そして、CPU50により、ステップS130において読み込まれた顔の特徴量に基づいて、記録メディア70内の画像が絞り込まれて(ステップS202)、絞り込まれた関連画像が、モニタ画像P28から検出された顔Xとともに液晶モニタ20に表示される(ステップS204)。

関連画像P22及びP26の表示中には、左ボタン26Aの押下に応じて(ステップS206のYes)、関連画像の画像群内においてコマ戻しが行われるとともに(ステップS208)、右ボタン26Cの押下に応じて(ステップS210のYes)、関連画像の画像群内においてコマ送りが行われる(ステップS212)。

次に、動作モードの変更がなされなければ(ステップS214のNo、ステップS216のNo)、ステップS206に戻る。一方、シャッタボタン16が半押しされると(ステップS214のYes)、画像モニタモードに遷移する。また、モードスイッチ24が撮影モードに設定されると(ステップS216のYes)、撮影モードに遷移する。

本実施形態によれば、モニタ画像P28に写っている人物の顔を含む関連画像を記録メディア70から読み出して表示する際に、モニタ画像P28から切り出した顔の画像と関連画像とを液晶モニタ20に同時に表示することができる。

なお、上記の各実施形態の処理を行うプログラムを、撮影装置のほか、パーソナルコンピュータ(PC)や携帯情報端末(PDA)、携帯フォトプレーヤー、携帯電話等の画像撮影、表示機能を有する装置に適用することにより、本発明の撮影装置を実現することができる。

本発明の第1の実施形態に係る画像表示装置(撮影装置)の外観を示す斜視図 本発明の第1の実施形態に係る画像表示装置(撮影装置)の電気的構成を示すブロック図 動作モードの遷移を示す図 記録メディア70のフォルダツリー構造を示す図 画像管理ファイルD10の構成例を示す図 顔の特徴量の多次元マップを示すグラフ 撮影モード時における処理の流れを示すフローチャート 再生モード時における処理の流れを示すフローチャート 個人認証による再生モード時における処理の流れを示すフローチャート 本発明の第2の実施形態に係る画像表示装置(撮影装置)の外観を示す斜視図 本発明の第2の実施形態に係る画像表示装置(撮影装置)の電気的構成を示すブロック図 本発明の第2の実施形態に係る画像表示装置(撮影装置)の動作モードの遷移を示す図 撮影モード時における処理の流れを示すフローチャート 再生モード時における処理の流れを示すフローチャート 画像モニタモード時における処理の流れを示すフローチャート モニタ人物再生モード時における処理の流れを示すフローチャート 本発明の第3の実施形態に係る画像表示装置(撮影装置)の動作モードの遷移を示す図 画像モニタモード時における処理の流れを示すフローチャート モニタ人物再生モード時における処理の流れを示すフローチャート 本発明の第4の実施形態に係る画像表示装置(撮影装置)の動作モードの遷移を示す図 本発明の第4の実施形態に係るモニタ人物再生モード時における処理の流れを示すフローチャート

符号の説明

10…撮影装置(電子カメラ)、12…カメラボディ、14…レンズ鏡筒、16…レリーズボタン、18…電源スイッチ、20…表示部(液晶モニタ)、22…ファインダ接眼窓、24…モードスイッチ、26…汎用キー、28…MENU/OKボタン、30…キャンセルボタン、32…ディスプレイボタン、34…ファンクションボタン、50…CPU、110…顔検出装置、112…個人認証装置

Claims (16)

  1. 画像を撮影する撮影手段と、
    前記画像を記録する記録手段と、
    前記画像を表示する表示手段と、
    前記撮影された画像から顔を検出する顔検出手段と、
    前記顔検出手段により検出された顔の特徴量を取得する顔特徴量取得手段と、
    前記撮影手段により画像を撮影する撮影モードと、個人認証による再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替手段と、
    前記動作モードが個人認証による再生モードに設定された場合に、前記記録手段に記録された画像の中から画像を選択する画像選択手段と、
    前記画像選択手段により選択された画像から検出された顔の特徴量に基づいて、前記記録手段に記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出手段と、
    前記動作モードが個人認証による再生モードに設定された場合に、前記関連画像を前記表示手段に表示する表示制御手段と、
    を備えることを特徴とする画像表示装置。
  2. 前記画像選択手段は、前記記録手段に最後に記録された画像を選択することを特徴とする請求項1記載の画像表示装置。
  3. 画像を撮影する撮影手段と、
    前記撮影手段に前記画像の撮影指示を入力する撮影指示手段と、
    前記画像を記録する記録手段と、
    前記画像を表示する表示手段と、
    前記撮影された画像から顔を検出する顔検出手段と、
    前記顔検出手段により検出された顔の特徴量を取得する顔特徴量取得手段と、
    前記撮影手段により画像を撮影する撮影モードと、前記表示手段により画像を再生表示する再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替手段と、
    前記動作モードが再生モードに設定されたときに、前記撮影指示手段からの撮影指示に応じて前記撮影手段によりモニタ画像を撮影する撮影制御手段と、
    前記再生モード時に撮影されたモニタ画像から検出された顔の特徴量に基づいて、前記記録手段に記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出手段と、
    前記関連画像を前記表示手段に表示する表示制御手段と、
    を備えることを特徴とする画像表示装置。
  4. 前記表示制御手段は、前記関連画像とともに、前記モニタ画像を前記表示手段に表示することを特徴とする請求項3記載の画像表示装置。
  5. 前記表示制御手段は、前記モニタ画像から検出された顔の画像を切り出して、前記関連画像とともに前記表示手段に表示することを特徴とする請求項3記載の画像表示装置。
  6. 前記顔特徴量取得手段は、前記顔検出手段により検出された顔の特徴量を取得して、該顔の特徴量を該画像と関連付けて前記記録手段に記録し、前記個人認証による再生モード時には、前記記録手段から前記顔の特徴量を取得することを特徴とする請求項1から5のいずれか1項記載の画像表示装置。
  7. 前記顔特徴量取得手段は、前記撮影モード時、前記画像が撮影される都度又は前記撮影モード以外の動作モード時のいずれかに、前記画像から顔の特徴量を取得することを特徴とする請求項1から6のいずれか1項記載の画像表示装置。
  8. 前記関連画像検出手段は、前記関連画像が動画の場合に、前記同一人物の顔を含むフレームを取得し、
    前記表示制御手段は、前記関連画像検出手段により取得されたフレームを前記表示手段に表示することを特徴とする請求項1から7のいずれか1項記載の画像表示装置。
  9. 前記画像選択手段によって選択された画像から複数の顔が検出された場合に、前記複数の顔の中から主要被写体を指定する主要被写体指定手段を更に備え、
    前記関連画像検出手段は、前記主要被写体を含む画像を検出することを特徴とする請求項1から8のいずれか1項記載の画像表示装置。
  10. 前記主要被写体検出手段は、顔らしさの評価値である顔らしさ度が最も高い又は所定値以上の顔、顔の大きさが最大又は所定値以上の顔、画像の中心に最も近い又は画像の中心からの距離が所定値以下の顔、又は顔らしさ度又は大きさの少なくとも一方が所定値以上で、且つ、画像の中心に近い顔のうち少なくとも1つの条件に従って主要被写体を指定することを特徴とする請求項9記載の画像表示装置。
  11. 前記主要被写体検出手段は、前記画像が動画の場合に、顔らしさの評価値である顔らしさ度が最も高い又は所定値以上の顔、顔の大きさが最大又は所定値以上の顔、画像の中心に最も近い顔、写っているフレーム数又は写っている時間が最大の顔、写っているフレーム数と動画ファイルの総フレーム数の比が所定値以上の顔、写っている時間と動画ファイルの再生時間の比が所定値以上の顔、顔らしさ度又は大きさの少なくとも一方が所定値以上で、且つ、画像の中心に近い顔、写っているフレーム数又は写っている時間が所定値以上で、且つ、顔らしさ度又は顔の大きさの少なくとも一方が所定値以上の顔のうち少なくとも1つの条件に従って主要被写体を指定することを特徴とする請求項9記載の画像表示装置。
  12. 撮影手段により画像を撮影する撮影工程と、
    前記画像を記録する記録工程と、
    前記画像を表示手段に表示する表示工程と、
    前記撮影された画像から顔を検出する顔検出工程と、
    前記顔検出工程において検出された顔の特徴量を取得する顔特徴量取得工程と、
    前記撮影手段により画像を撮影する撮影モードと、個人認証による再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替工程と、
    前記動作モードが個人認証による再生モードに設定された場合に、前記記録された画像の中から画像を選択する画像選択工程と、
    前記画像選択工程において選択された画像から検出された顔の特徴量に基づいて、前記記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出工程と、
    前記動作モードが個人認証による再生モードに設定された場合に、前記関連画像を前記表示手段に表示する表示制御工程と、
    を備えることを特徴とする画像表示方法。
  13. 撮影手段により画像を撮影する撮影工程と、
    前記撮影工程に前記画像の撮影指示を入力する撮影指示工程と、
    前記画像を記録する記録工程と、
    前記画像を表示手段に表示する表示工程と、
    前記撮影された画像から顔を検出する顔検出工程と、
    前記顔検出工程において検出された顔の特徴量を取得する顔特徴量取得工程と、
    前記撮影手段により画像を撮影する撮影モードと、前記表示手段により画像を再生表示する再生モードの少なくとも2つの動作モードの間で動作モードを切り替える動作モード切替工程と、
    前記動作モードが再生モードに設定されたときに、前記撮影指示に応じて前記撮影手段によりモニタ画像を撮影する撮影制御工程と、
    前記再生モード時に撮影されたモニタ画像から検出された顔の特徴量に基づいて、前記記録された画像の中から、同一人物の顔を含む関連画像を検出する関連画像検出工程と、
    前記関連画像を前記表示手段に表示する表示制御工程と、
    を備えることを特徴とする画像表示方法。
  14. 前記表示制御工程は、前記関連画像とともに、前記モニタ画像を前記表示手段に表示する工程を備えることを特徴とする請求項13記載の画像表示方法。
  15. 前記表示制御工程は、
    前記モニタ画像から検出された顔の画像を切り出す工程と、
    前記切り出した顔の画像を、前記関連画像とともに前記表示手段に表示する工程と、
    を備えることを特徴とする請求項13記載の画像表示方法。
  16. 前記顔特徴量取得工程において、前記顔検出工程により検出された顔の特徴量を取得して、該顔の特徴量を該画像と関連付けて前記記録工程に記録しておき、
    前記個人認証による再生モード時に、前記記録した前記顔の特徴量を取得する工程を更に備えることを特徴とする請求項13から15のいずれか1項記載の画像表示方法。
JP2006158961A 2006-06-07 2006-06-07 画像表示装置及び画像表示方法 Active JP4683337B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006158961A JP4683337B2 (ja) 2006-06-07 2006-06-07 画像表示装置及び画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006158961A JP4683337B2 (ja) 2006-06-07 2006-06-07 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2007329679A JP2007329679A (ja) 2007-12-20
JP4683337B2 true JP4683337B2 (ja) 2011-05-18

Family

ID=38929859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006158961A Active JP4683337B2 (ja) 2006-06-07 2006-06-07 画像表示装置及び画像表示方法

Country Status (1)

Country Link
JP (1) JP4683337B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232240A (ja) * 2008-03-24 2009-10-08 Seiko Epson Corp 画像処理装置、画像処理方法、および画像処理のためのコンピュータプログラム
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
JP2012019324A (ja) 2010-07-07 2012-01-26 Sanyo Electric Co Ltd 画像管理装置
JP5677011B2 (ja) * 2010-10-07 2015-02-25 キヤノン株式会社 動画再生装置及びその制御方法
JP5868164B2 (ja) 2011-12-21 2016-02-24 キヤノン株式会社 撮像装置、情報処理システム、制御方法、及びプログラム
JP2013171089A (ja) * 2012-02-17 2013-09-02 Toshiba Corp 音声補正装置、方法、及びプログラム
JP6150919B2 (ja) * 2016-03-07 2017-06-21 日立マクセル株式会社 記録再生装置および記録再生方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185992A (ja) * 1997-09-05 1999-03-30 Omron Corp 画像登録検索装置、方法及びプログラム記録媒体
JP2002051255A (ja) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd 主要被写体検出カメラ
JP2004312495A (ja) * 2003-04-09 2004-11-04 Fuji Photo Film Co Ltd 画像処理プログラム及び画像処理装置
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Corp デジタルカメラ
JP2005102175A (ja) * 2003-08-25 2005-04-14 Fuji Photo Film Co Ltd デジタルカメラ
JP2005352727A (ja) * 2004-06-10 2005-12-22 Fuji Photo Film Co Ltd 人物画像検索装置
JP2005354210A (ja) * 2004-06-08 2005-12-22 Olympus Corp 画像再生システムおよび画像ファイリングシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185992A (ja) * 1997-09-05 1999-03-30 Omron Corp 画像登録検索装置、方法及びプログラム記録媒体
JP2002051255A (ja) * 2000-07-31 2002-02-15 Olympus Optical Co Ltd 主要被写体検出カメラ
JP2004312495A (ja) * 2003-04-09 2004-11-04 Fuji Photo Film Co Ltd 画像処理プログラム及び画像処理装置
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Corp デジタルカメラ
JP2005102175A (ja) * 2003-08-25 2005-04-14 Fuji Photo Film Co Ltd デジタルカメラ
JP2005354210A (ja) * 2004-06-08 2005-12-22 Olympus Corp 画像再生システムおよび画像ファイリングシステム
JP2005352727A (ja) * 2004-06-10 2005-12-22 Fuji Photo Film Co Ltd 人物画像検索装置

Also Published As

Publication number Publication date
JP2007329679A (ja) 2007-12-20

Similar Documents

Publication Publication Date Title
JP5954336B2 (ja) 画像処理装置、画像処理方法、及び記録媒体
JP6325885B2 (ja) 撮像装置、撮像方法、及びプログラム
JP5722975B2 (ja) 撮像装置、撮像装置用シェーディング補正方法及び撮像装置用プログラム
JP4674471B2 (ja) デジタルカメラ
US7881601B2 (en) Electronic camera
JP4692770B2 (ja) 複眼デジタルカメラ
CN101778215B (zh) 用于自动对焦的图像拍摄设备和控制方法
US7916182B2 (en) Imaging device and method which performs face recognition during a timer delay
KR101071625B1 (ko) 카메라, 카메라 제어 프로그램을 기억한 기억 매체 및 카메라 제어 방법
US8786760B2 (en) Digital photographing apparatus and method using face recognition function
JP4783465B1 (ja) 撮像装置及び表示装置
KR101342477B1 (ko) 동영상을 촬영하는 촬상 장치, 및 촬상 처리 방법
KR100858393B1 (ko) 촬상소자 및 이것을 구동하는 프로그램을 기억한 기록매체
US7151564B2 (en) Image recording apparatus and method
KR100900485B1 (ko) 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
US7924340B2 (en) Image-taking apparatus and image display control method
JP4655054B2 (ja) 撮像装置
JP4644883B2 (ja) 撮像装置
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
JP4340806B2 (ja) 画像処理装置、方法及びプログラム
US8184192B2 (en) Imaging apparatus that performs an object region detection processing and method for controlling the imaging apparatus
JP4200428B2 (ja) 顔領域抽出方法及び装置
US8400524B2 (en) Image management method
US8155432B2 (en) Photographing apparatus
US8570422B2 (en) Apparatus, method, and recording medium containing program for photographing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110114

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110127

R150 Certificate of patent or registration of utility model

Ref document number: 4683337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250