JP5106158B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は画像処理装置に関し、特に画像内の人物の顔等、被写体を検出可能な画像処理装置に関するものである。

従来、画像に写っている人物の顔領域を検出する技術が開発されている。このような技術によりＪＰＥＧによる非可逆圧縮された画像に対して顔領域の検出を行う場合、画像データの劣化の影響による顔領域の検出精度低下が問題となる。そこで、フラッシュの使用状態に基づいて圧縮処理の条件を制御することで、圧縮された画像に対して赤目補正をする際の、画像データの劣化による赤目検出への影響を低減する画像処理装置が開示されている（例えば、特許文献１を参照のこと）。

特開２００６−３４５３１６号公報

しかしながら、特許文献１で提案されている画像処理装置では、撮影後の画像にトリミング、リサイズ、色変換、明るさ補正等の画像処理を行い、再度圧縮して記録する場合の、画像データの劣化に対しては何も考慮されていない。撮影後の画像にトリミング、リサイズ、色変換、明るさ補正等の画像処理を行う場合、圧縮された画像データを伸長し、画像処理後に再度圧縮して記録する。そのため、画像処理後の画像に対して顔領域の検出を行うと、画像データの劣化の影響により画像処理前の画像に対して顔領域の検出を行うよりも検出精度が低下し、検出できていた顔領域が検出できなくなってしまうことがあるという問題があった。この場合、画像に顔領域が存在する場合にも、顔領域が検出できないため、顔領域に関する被写体情報、すなわち、顔画像やその位置情報等を保持できず、画像記録後に利用することができなくなってしまう。

本発明は上記問題点を鑑みて、撮影後の画像に画像処理を行い、再度圧縮して記録する場合において、画像データの劣化の影響により顔領域が検出できなくなっても、顔領域に関する被写体情報を利用可能な画像処理装置を提供することを目的とする。

本発明の画像処理装置は、圧縮画像を伸張し、伸張された画像をメモリに格納する伸張手段と、前記伸張手段により伸張された画像の特徴に基づき被写体を検出する被写体検出手段と、前記画像に対して画像処理を行う画像処理手段と、記画像処理手段により画像処理がなされた画像を非可逆圧縮する圧縮手段と、前記被写体検出手段により検出された被写体に関する情報を、前記画像処理の内容に応じて変換する変換手段と、前記圧縮手段により非可逆圧縮された画像に、前記画像処理の前に前記被写体検出手段により検出され、前記変換手段により変換された被写体に関する情報を関連付けて記録する記録手段とを備え、前記被写体検出手段とは、人物の顔を検出する手段であり、前記画像処理手段による画像処理には、トリミング、リサイズ、赤目補正、色変換、明るさ補正のうちの少なくともいずれかが含まれ、前記記録手段は、前記被写体検出手段により検出した被写体に関する情報を前記非可逆圧縮された画像のヘッダ領域に、または前記非可逆圧縮された画像とは別のファイルとして記録し、前記被写体に関する情報には、顔画像、顔の有無、顔の個数、顔のサイズ及び位置座標のうちの少なくともいずれかが含まれ、前記画像処理手段によりトリミングがなされた場合に、前記変換手段はトリミングの位置及びサイズに基づき、前記被写体検出手段により検出された被写体に関する情報変換することを特徴とする。
また、本発明の画像処理装置の制御方法は、圧縮画像を伸張し、伸張された画像をメモリに格納するステップと、伸張された前記画像の特徴に基づき顔画像、顔の有無、顔の個数、顔のサイズ及び位置座標のうちの少なくともいずれかを被写体に関する情報として検出するステップと、前記画像に対して、トリミング、リサイズ、赤目補正、色変換、明るさ補正のうちの少なくともいずれかが含まれる画像処理を行うステップと、検出された被写体に関する情報を前記画像処理の内容に応じて変換するステップであって、前記画像に対してトリミングを行った場合には、トリミングの位置及びサイズに基づき、検出された被写体に関する情報を変換するステップと、画像処理がなされた前記画像を非可逆圧縮するステップと、検出されて変換された前記被写体に関する情報を、前記画像処理の前に、非可逆圧縮された前記画像のヘッダ領域に、または非可逆圧縮された画像とは別のファイルとして記録するステップと、を有することを特徴とする。
また、本発明のプログラムは、画像処理装置の制御をコンピュータに実行させるためのプログラムであって、圧縮画像を伸張し、伸張された画像をメモリに格納するステップと、伸張された前記画像の特徴に基づき顔画像、顔の有無、顔の個数、顔のサイズ及び位置座標のうちの少なくともいずれかを被写体に関する情報として検出するステップと、前記画像に対して、トリミング、リサイズ、赤目補正、色変換、明るさ補正のうちの少なくともいずれかが含まれる画像処理を行うステップと、検出された被写体に関する情報を前記画像処理の内容に応じて変換するステップであって、前記画像に対してトリミングを行った場合には、トリミングの位置及びサイズに基づき、検出された被写体に関する情報を変換するステップと、画像処理がなされた前記画像を非可逆圧縮するステップと、検出されて変換された前記被写体に関する情報を、前記画像処理の前に、非可逆圧縮された前記画像のヘッダ領域に、または非可逆圧縮された画像とは別のファイルとして記録するステップとをコンピュータに実行させるためのプログラムである。

本発明によれば、撮影後の画像にトリミング、リサイズ、色変換、明るさ補正等の画像処理を行い、再度圧縮して記録した画像においても、被写体情報を利用可能な画像処理装置を提供することができる。

以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
＜撮像装置１００の構成説明＞
図１は、本発明の画像処理装置を含む撮像装置の構成を示したブロック図である。

図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理が行われる。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータは、画像処理回路２０及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ・ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。また、画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

２８は画像表示部であり、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は圧縮・伸長回路であり、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等により画像データを圧縮伸長し、またメモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御手段であり、４４は撮影レンズ１０のズーミングを制御するズーム制御手段であり、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は撮像装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像を用いて動作状態やメッセージ等を表示する液晶表示装置等の表示部である。表示部５４は、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ等の組み合わせにより構成されている。この表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、単写／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示等がある。また、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示等がある。また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。６０、６２、６４、６６、７０、及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段である。これら操作手段は、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

６０は電源スイッチ（メインスイッチ）であり、撮像装置１００の電源オン、電源オフの各モードを切り替え設定することができる。また、撮像装置１００に接続された各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。

６２は第１シャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。６４は第２シャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理を指示する。更には、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理の動作開始を指示する。

６６はモードダイアルスイッチであり、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

７０は各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を含む。また、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付・時間設定ボタン、画像表示ＯＮ／ＯＦＦボタン等を含む。また、撮影直後に撮影した画像データを画像表示部２８を用いて自動再生表示するクイックレビュー機能を設定するクイックレビュースイッチ等を含む。また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

７２はズームスイッチであり、撮影画角を望遠側にズームさせるテレスイッチ（ＳＷ）と、広角側にズームさせるワイドスイッチ（ＳＷ）とからなる。また、ズームスイッチ７２を用いてズーム制御手段４４に撮影レンズ１０のズーミングを指示し光学ズーム操作を行ったり、画像処理回路２０による画像の切り出し、変倍処理し電子ズーム操作を行ったりすることができる。

８０は電源制御手段であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。そして、検出結果或いはシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００等を含む各部へ供給する。

８２、８４はコネクタである。８６は電源手段であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。電源手段８６は、コネクタ８２、８４を介して撮像装置１００に電力を供給する。

９０はメモリカードやハードディスク等の記録媒体とのインタフェースであり、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。

１０２は、撮像装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護手段である。１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことを可能とする。また光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が設置されている。

１１０は通信手段であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信等の各種通信機能を有する。１１２は通信手段１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４と、撮像装置１００と接続を行うコネクタ２０６とを備えている。

＜メインルーチン＞
図２は、本実施の形態に係る撮像装置１００の全体的な動作を説明するフローチャートである。
電源スイッチ６０が操作され電源がオンに切り替わると、ステップＳ２０１においてシステム制御回路５０は、フラグや制御変数等を初期化する。

続いて、ステップＳ２０２において、システム制御回路５０は、電源制御手段８０により電池等により構成される電源手段８６の残容量や動作情況が撮像装置１００の動作に問題があるか否かを判断する。問題があるならばステップＳ２０４へ進み、表示部５４を用いて所定の警告表示、また不図示のスピーカーを用いて警告音発音を行った後に、ステップＳ２１３へ進み、終了処理を行う。

ステップＳ２０２で電源手段８６に問題が無いならば、ステップＳ２０３において、システム制御回路５０は、記録媒体２００の動作状態が撮像装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する。問題があるならばステップＳ２０４へ進み、表示部５４を用いて画像や音声により所定の警告表示を行った後に、ステップＳ２１３へ進み、システム制御回路５０は終了処理を行う。

ステップＳ２０３で記録媒体２００の動作状態に問題が無いならば、次にステップＳ２０５、Ｓ２０７、Ｓ２０９において、システム制御回路５０は、モードダイヤル６６の設定位置を判断する。

静止画記録モードに設定されていたならば、システム制御回路５０は、ステップＳ２０５からステップＳ２０６に進み、静止画記録モード処理を実行する。また、モードダイヤル６６が動画記録モードに設定されていたならば、処理をステップＳ２０５、Ｓ２０７を経てステップＳ２０８に進み、動画記録モード処理を実行する。また、モードダイヤル６６が再生モードに設定されていたならば、ステップＳ２０５、Ｓ２０７、Ｓ２０９を経てステップＳ２１０に進み、再生モード処理を実行する。ステップＳ２１０の再生モード処理は図３を用いて後述する。また、その他のモードに設定されていたならば、ステップＳ２１１に進み、システム制御回路５０は選択されたモードに応じた処理を実行する。その他のモードとしては例えば記録媒体２００に格納されたファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体２００に格納する受信モード処理が含まれる。

ステップＳ２０５、Ｓ２０７、Ｓ２０９、Ｓ２１１のうちのモードダイヤル６６によって設定されたモードに対応した処理を実行した後は、システム制御回路５０は、ステップＳ２１２に進む。そしてステップＳ２１２において、システム制御回路５０は、電源スイッチ６０の設定位置を判断する。電源スイッチ６０が電源オンに設定されていれば、ステップＳ２０５に戻る。一方、電源スイッチ６０が電源オフに設定されていたならば、ステップＳ２１２からステップＳ２１３に進み、終了処理を行う。なお、終了処理には、例えば以下の処理が含まれる。すなわち、画像表示部２８の表示を終了状態に変更し、保護手段１０２を閉じて撮像部を保護し、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源供給が不要な部分への電源を遮断する。ステップＳ２１３の終了処理が完了すると、本処理を終了し、電源をＯＦＦ状態へ移行させる。

＜再生モード処理＞
次に図３は、本実施の形態に係る撮像装置１００の再生モード処理の動作を説明するフローチャートである。図３のフローチャートは、図２のステップＳ２１０の詳細を示している。なお、図３に示される再生モード処理は、モードダイヤル６６により他のモードへの切替が行われた場合や電源スイッチ６０がＯＦＦされた場合、又は割り込み処理等により終了するものとする。

ステップＳ３０１において、システム制御回路５０は、記録媒体２００から最新画像情報を取得する。

続いてステップＳ３０２において、システム制御回路５０は、ステップＳ３０１における最新画像情報の取得が正しく行われたかどうかをチェックする。最新画像情報を取得できなかった場合はステップＳ３０４に進む。最新画像情報を取得できない場合とは、画像が一枚もないときや、メディア不良によって画像情報が取得できなかったような状態等が考えられ、ステップＳ３０４において、システム制御回路５０は、画像なし等の警告表示を行う。最新画像情報が取得できれば、少なくとも画像が１枚は存在するため、ステップＳ３０３へ進む。

ステップＳ３０３において、システム制御回路５０は、ステップＳ３０１で取得した最新画像情報を元に記録媒体２００から最新画像ファイルを読み込みメモリ３０に記憶する。

次に、ステップＳ３０５において、システム制御回路５０は、ステップＳ３０３でメモリ３０に読み込んである最新画像ファイルに対してファイル解析処理を行い、最新画像ファイルにおける画像の撮影情報や属性情報等を取得する。

次にステップＳ３０６において、システム制御回路５０は、メモリ３０に読み込んである最新画像ファイルの画像データを圧縮・伸長回路３２により、画像伸長処理を行いメモリ３０に書き込む。

続いてステップＳ３０７において、システム制御回路５０は、メモリ３０にある伸長処理済みの最新画像の表示を行う。画像の表示は次のように行われる。伸長した画像データを画像処理回路２０により、表示形式のデータに変換し、メモリ制御回路２２を介して画像表示メモリ２４に転送する。そして、画像表示メモリ２４に転送した表示データを読み出して、メモリ制御回路２２、Ｄ／Ａ変換器２６を介してＬＣＤ等の画像表示部２８に表示する。

ステップＳ３０７で最新画像の表示が完了すると撮像装置１００は入力待ちとなり、ステップＳ３０８において、システム制御回路５０は、ユーザによる操作入力があるかどうかをチェックする。ここでいう操作入力とは、ユーザによるボタン、電池蓋に対する操作や、電源の低下等を知らせるイベント等が含まれる。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ３０９へ進む。

ステップＳ３０９において、システム制御回路５０は、当該操作入力が操作部７０に含まれる画像送りボタンの入力かどうかを判定する。操作入力が画像送りボタンであった場合はステップＳ３１０に進み、システム制御回路５０は、記録媒体２００から次の画像ファイルを読み込みメモリ３０に記憶する。画像送りのボタンは送り方向に応じた一対のボタンで構成されており、操作されたボタンに対応する送り方向に応じて次の画像が読み込まれることになる。

次に、ステップＳ３１１において、システム制御回路５０は、ステップＳ３１０でメモリ３０に読み込んである次の画像ファイルに対してファイル解析処理を行い、次の画像ファイルにおける画像の撮影情報や属性情報等を取得する。

次に、ステップＳ３１２において、システム制御回路５０は、メモリ３０に読み込んである次の画像ファイルの画像データを圧縮・伸長回路３２により、画像伸長処理を行いメモリ３０に書き込む。続いてステップＳ３１３において、システム制御回路５０は、メモリ３０に読み込んである次の画像の表示を行う。なお、画像の表示はステップＳ３０７と同様の処理である。ステップＳ３１３における画像の表示が完了するとステップＳ３０８の入力待ちに戻る。

また、ステップＳ３０９で入力が画像送りボタンではないと判定された場合は、ステップＳ３１４に進む。ステップＳ３１４において、システム制御回路５０は、当該操作入力がメニューボタンかどうかを判定する。操作入力がメニューボタンであった場合、システム制御回路５０は画像表示部２８に再生メニューを表示して、ステップＳ３１５に進む。

ステップＳ３１５において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、トリミングが選択されたかどうかを判定する。トリミングの選択と判定した場合は、ステップＳ３１６において、システム制御回路５０は、表示中の画像の一部を切り出して画像ファイルとして記録する、トリミングモードになる。トリミングモードでは、操作部７０に含まれる十字キー等を操作することにより、トリミングしたい画像の選択、切り出しサイズ及び位置の変更等が行える。トリミングモードを終えると、システム制御回路５０は、ステップＳ３０８に戻り、入力待ちとなる。このトリミングモードについては図４を用いて後述する。

ステップＳ３１５でトリミングが選択されなかった場合、システム制御回路５０は、ステップＳ３１７に進む。

ステップＳ３１７において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、リサイズが選択されたかどうかを判定する。リサイズの選択と判定した場合は、ステップＳ３１８において、システム制御回路５０は、表示中の画像を縮小して画像ファイルとして記録する、リサイズモードになる。リサイズモードでは、操作部７０に含まれる十字キー等を操作することにより、リサイズしたい画像の選択、記録サイズの変更等が行える。リサイズモードを終えると、システム制御回路５０は、ステップＳ３０８に戻り、入力待ちとなる。このリサイズモードについては図７を用いて後述する。

ステップＳ３１７でリサイズが選択されなかった場合、システム制御回路５０は、ステップＳ３１９に進む。

ステップＳ３１９において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、赤目補正が選択されたかどうかを判定する。赤目補正の選択と判定した場合は、ステップＳ３２０において、システム制御回路５０は、表示中の画像の赤目を黒目に補正して画像ファイルとして記録する、赤目補正モードになる。赤目補正モードでは、操作部７０に含まれる十字キー等を操作することにより、赤目補正したい画像の選択、補正したい目を指定する枠の追加及び削除等が行える。赤目補正モードを終えると、システム制御回路５０は、ステップＳ３０８に戻り、入力待ちとなる。この赤目補正モードについては図９を用いて後述する。

ステップＳ３１９で赤目補正が選択されなかった場合、システム制御回路５０は、ステップＳ３２１に進む。

ステップＳ３２１において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、上記以外の項目が選択されたかどうかを判定する。上記以外の項目の選択と判定した場合は、ステップＳ３２２において、システム制御回路５０は、選択項目に応じた処理を行う。例えば、画像の消去、スライドショー、画像のプロテクトや回転等である。処理を終えると、システム制御回路５０は、ステップＳ３０８に戻り、入力待ちとなる。

ステップＳ３２１でいずれの項目も選択されなかった場合、システム制御回路５０は、ステップＳ３２３に進む。

ステップＳ３２３において、システム制御回路５０は、メニューボタンが押されていたら、画像表示部２８に表示している再生メニューを消去し、再生メニューを抜ける。再生メニューを抜けると、ステップＳ３０８に戻り、入力待ちとなる。ステップＳ３２３において、メニューボタンが押されていなかったら、なんらかの項目が選択されるか、又はメニューボタンが押されるまで、ステップＳ３１５からＳ３２３を繰り返す。

一方、ステップＳ３１４で入力がメニューボタンではないと判定された場合、システム制御回路５０は、ステップＳ３２４に進む。ステップＳ３２４において、上記以外の操作入力に応じた処理を行う。例えば、画像の消去、画像の拡大表示、マルチ再生への切り替え等である。ステップＳ３２４における操作入力に応じた処理を終えるとステップＳ３０８の入力待ちに戻る。

＜トリミングモード処理＞
図４は、図３のステップＳ３１６のトリミングモードの動作を説明するフローチャートである。以下、トリミングモードの動作を説明する。

トリミングモードに入ると、トリミング画像選択画面が表示され、撮像装置１００は入力待ちとなり、ステップＳ４０１において、システム制御回路５０がユーザによる操作入力があるかどうかをチェックする。ここでいう操作入力とは、ユーザによるボタン、電池蓋に対する操作や、電源の低下等を知らせるイベント等が含まれる。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ４０２へ進む。

ステップＳ４０２において、システム制御回路５０は、当該操作入力が操作部７０に含まれる画像送りボタンの入力かどうかを判定する。操作入力が画像送りボタンであった場合、ステップＳ４０３へ進み、システム制御回路５０は、記録媒体２００から次の画像ファイルを読み込みメモリ３０に記憶する。画像送りのボタンは送り方向に応じた一対のボタンで構成されており、操作されたボタンに対応する送り方向に応じて次の画像が読み込まれることになる。

次に、ステップＳ４０４において、システム制御回路５０は、ステップＳ４０３でメモリ３０に読み込んである次の画像ファイルに対してファイル解析処理を行い、次の画像ファイルにおける画像の撮影情報や属性情報等を取得する。

次に、ステップＳ４０５において、システム制御回路５０は、メモリ３０に読み込んである次の画像ファイルの画像データを圧縮・伸長回路３２により、画像伸長処理を行いメモリ３０に書き込む。続いて、ステップＳ４０６において、システム制御回路５０は、メモリ３０にある伸長処理済みの次の画像の表示を行う。画像の表示はステップＳ３０７と同様の処理である。ステップＳ４０６における画像の表示が完了するとステップＳ４０１の入力待ちに戻る。

ステップＳ４０２で入力が画像送りボタンではないと判定された場合、ステップＳ４０７において、システム制御回路５０は、当該操作入力がメニューボタンかどうかを判定する。メニューボタンであると判定された場合、システム制御回路５０は、トリミングモードを終了して元の処理に戻る。

一方、ステップＳ４０７で入力がメニューボタンではないと判定された場合、ステップＳ４０８において、システム制御回路５０は、当該操作入力が決定ボタンかどうかを判定する。決定ボタンであると判定された場合、ステップＳ４２６において、システム制御回路５０は、画像表示部２８の表示をトリミング操作画面に切り替えて、トリミングガイダンスも一緒に表示し、ステップＳ４０９に進む。ステップＳ４２６で表示するトリミング操作画面については、以下、図５を用いて説明する。

図５は、図４のトリミングモードにおけるトリミング操作画面の画像表示部２８における表示例を示す図である。トリミング操作画面では、選択中の画像の全体表示５０１、トリミング領域拡大表示５０２、トリミング枠５０３、操作ガイダンス５０４が表示される。トリミング領域拡大表示５０２には、トリミング枠５０３で囲まれた領域を拡大表示する。

トリミング枠５０３は操作部７０の十字キーにより位置を変更でき、トリミング枠５０３の移動、縦横変更、サイズ変更に応じて、トリミング領域拡大表示５０２も切り替わる。また、操作ガイダンス５０４として、操作部７０の表示切替ボタンにトリミング枠縦横変更、ズームレバーにトリミング枠サイズ変更、メニューボタンにキャンセル、決定ボタンにトリミング実行が割り当てられていることがガイダンス表示される。

図５（ｂ）は、表示切替ボタンによりトリミング枠５０３を縦に変更したときの表示、図５（ｃ）は、ズームレバーによりトリミング枠５０３のサイズを大きくしたときの表示である。

図４に戻り、トリミング操作画面に入ると、撮像装置１００はトリミング操作入力待ちとなり、ステップＳ４０９において、システム制御回路５０は、ユーザによる操作入力があるかどうかをチェックする。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ４１０へ進む。

ステップＳ４１０において、システム制御回路５０は、当該操作入力が操作部７０に含まれる十字キーの入力かどうかを判定する。操作入力が十字キーであった場合、ステップＳ４１１へ進み、トリミング枠位置をユーザの指示方向へ移動させる。ステップＳ４１１におけるトリミング枠位置の移動が完了すると、システム制御回路５０は、ステップＳ４０９のトリミング操作入力待ちに戻る。

ステップＳ４１０で入力が十字キーではないと判定した場合、システム制御回路５０は、ステップＳ４１２において、当該操作入力が表示切替ボタンかどうかを判定する。操作入力が表示切替ボタンであった場合、システム制御回路５０は、ステップＳ４１３へ進み、トリミング枠の縦横を入れ替える。ステップＳ４１３におけるトリミング枠の縦横切替が完了すると、システム制御回路５０は、ステップＳ４０９のトリミング操作入力待ちに戻る。

ステップＳ４１２で入力が表示切替ボタンではないと判定した場合、ステップＳ４１４において、システム制御回路５０は、当該操作入力がズームレバーかどうかを判定する。操作入力がズームレバーであった場合、システム制御回路５０は、ステップＳ４１５へ進み、ユーザの指示に従いトリミング枠のサイズを変更する。ステップＳ４１５におけるトリミング枠のサイズ変更が完了すると、システム制御回路５０は、ステップＳ４０９のトリミング操作入力待ちに戻る。

ステップＳ４１４で入力がズームレバーではないと判定した場合、ステップＳ４１６において、システム制御回路５０は、当該操作入力がメニューボタンかどうかを判定する。操作入力がメニューボタンであった場合、ステップＳ４２７において、システム制御回路５０は、画像表示部２８に表示している、トリミング操作画面及びトリミングガイダンスを消去し、トリミング画像選択画面に戻り、ステップＳ４０１で入力待ちとなる。

ステップＳ４１６で入力がメニューボタンではないと判定された場合、ステップＳ４１７において、システム制御回路５０は、当該操作入力が決定ボタンかどうかを判定する。操作入力が決定ボタンであった場合、ステップＳ４１８において、システム制御回路５０は、メモリ３０に格納されている伸長済みの対象画像に対して顔検出処理を行う。顔検出処理では、顔画像、顔の有無、顔の個数、それぞれの顔のサイズ（幅・高さ）や位置座標、信頼性係数といった顔情報が得られる。なお、このような複数の情報を含む顔情報は、本発明でいう被写体に関する情報に対応するものである。この顔検出処理については図６を用いて後述する。

次に、ステップＳ４１９において、システム制御回路５０は、メモリ３０に格納されている伸長済みの対象画像を、画像処理回路２０及びメモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介して、トリミング枠の位置、サイズで切り出す。

次に、ステップＳ４２０において、システム制御回路５０は、ステップＳ４１９で切り出された画像データを圧縮・伸長回路３２により、画像圧縮処理を行い、メモリ制御回路２２を介して、メモリ３０に書き込む。

次に、ステップＳ４２１において、システム制御回路５０は、ステップＳ４１８の顔検出処理で得られた顔情報を、切り出し位置、サイズに応じてトリミング後の画像における顔情報に変換する。

次に、ステップＳ４２２において、システム制御回路５０は、ステップＳ４２０の圧縮処理でメモリ３０に格納された圧縮済みの画像をヘッダ情報等を付加し画像ファイルとして整形し、記録媒体２００に記録する。このときにステップＳ４２１で得られた顔情報も関連付けして一緒に記録する。顔情報は画像のヘッダ領域にヘッダ情報として記録しても、別ファイルとして記録してもよい。

以上の一連のトリミング処理が完了したら、ステップＳ４２７において、システム制御回路５０は、画像表示部２８に表示しているトリミング操作画面及びトリミングガイダンスを消去し、トリミング画像選択画面に戻りステップＳ４０１で入力待ちとなる。

一方、ステップＳ４１７で入力が決定ボタンではないと判定された場合は、システム制御回路５０は、ステップＳ４２４に進む。ステップＳ４２４において、システム制御回路５０は、上記以外の操作入力に応じた処理を行う。ステップＳ４２４における操作入力に応じた処理を終えると、システム制御回路５０は、ステップＳ４０９のトリミング操作入力待ちに戻る。また、ステップＳ４０８で入力が決定ボタンではないと判定された場合、システム制御回路５０は、ステップＳ４２５に進む。ステップＳ４２５において、システム制御回路５０は、上記以外の操作入力に応じた処理を行う。ステップＳ４２５における操作入力に応じた処理を終えると、システム制御回路５０は、ステップＳ４０１の入力待ちに戻る。

このように、本実施の形態に係る撮像装置１００では、トリミング後の圧縮により画像データの劣化が生じる前に顔検出を実施し、検出の結果得られた顔情報をトリミング後の画像の顔情報として記録するようにする。これにより、画像データの劣化の影響により、トリミング後の画像において顔が多少の変化をする等して、顔情報が検出できなくなっても、記録しておいた顔情報を利用して赤目補正等の処理を行うことが可能となる。

＜顔検出処理＞
図６は、図４のステップＳ４１８における顔検出処理の動作を説明するフローチャートである。
ステップＳ６０１において、システム制御回路５０は、顔検出対象の画像データを画像処理回路２０に送る。

次に、ステップＳ６０２において、システム制御回路５０の制御下で画像処理回路２０は、当該画像データに水平方向バンドパスフィルタ（水平ＢＰＦ）を作用させる。また、ステップＳ６０３において、システム制御回路５０の制御下で画像処理回路２０は、ステップＳ６０２で処理された画像データに垂直方向バンドパスフィルタ（垂直ＢＰＦ）を作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

次に、ステップＳ６０４において、システム制御回路５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。なお、候補群の抽出に際しては、予め登録されている目等の特徴情報に基づき、抽出するようにする。

次に、ステップＳ６０５において、システム制御回路５０は、ステップＳ６０４で抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ、目の候補群として絞り込む。

次に、ステップＳ６０６において、システム制御回路５０は、ステップＳ６０５で絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。

そして、ステップＳ６０７において、システム制御回路５０は、ステップＳ６０６による顔の検出結果に応じて上記で説明した複数の情報を含む顔情報を出力し、処理を終了する。このとき、顔の数等の特徴量をメモリ５２に記憶する。なお、顔検出処理は、本発明でいう被写体検出手段による処理に対応する。

＜リサイズモード処理＞
図７は、図３のステップＳ３１８のリサイズモードの動作を説明するフローチャートである。

リサイズモードに入ると、リサイズ画像選択画面を表示し、撮像装置１００は入力待ちとなり、ステップＳ７０１において、システム制御回路５０がユーザによる操作入力があるかどうかをチェックする。ここでいう操作入力とは、ユーザによるボタン、電池蓋に対する操作や、電源の低下等を知らせるイベント等が含まれる。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ７０２へ進む。

ステップＳ７０２において、システム制御回路５０は、当該操作入力が操作部７０に含まれる画像送りボタンの入力かどうかを判定する。操作入力が画像送りボタンであった場合、ステップＳ７０３へ進み、システム制御回路５０は、記録媒体２００から次の画像ファイルを読み込みメモリ３０に記憶する。画像送りのボタンは送り方向に応じた一対のボタンで構成されており、操作されたボタンに対応する送り方向に応じて次の画像が読み込まれることになる。

次に、ステップＳ７０４において、システム制御回路５０は、ステップＳ７０３でメモリ３０に読み込んである次の画像ファイルに対してファイル解析処理を行い、次の画像ファイルにおける画像の撮影情報や属性情報等を取得する。

次に、ステップＳ７０５において、システム制御回路５０は、メモリ３０に読み込んである次の画像ファイルの画像データを圧縮・伸長回路３２により、画像伸長処理を行いメモリ３０に書き込む。

次に、ステップＳ７０６において、システム制御回路５０は、メモリ３０にある伸長処理済みの次の画像の表示を行う。画像の表示はステップＳ３０７と同様の処理である。ステップＳ７０６における画像の表示が完了するとステップＳ７０１の入力待ちに戻る。

ステップＳ７０２で入力が画像送りボタンではないと判定された場合、ステップＳ７０７において、システム制御回路５０は、当該操作入力がメニューボタンかどうかを判定する。メニューボタンであると判定された場合、システム制御回路５０は、リサイズモードを終了して元の処理に戻る。ステップＳ７０７で入力がメニューボタンではないと判定された場合、ステップＳ７０８において、システム制御回路５０は、当該操作入力が決定ボタンかどうかを判定する。

ステップＳ７０８で決定ボタンであると判定された場合、ステップＳ７２０において、システム制御回路５０は、画像表示部２８の表示をリサイズ操作画面に切り替えて、リサイズガイダンスも一緒に表示し、ステップＳ７０９に進む。ステップＳ７２０において表示するリサイズ操作画面については、図８を用いて説明する。

図８は、図７のリサイズモードにおけるリサイズ操作画面の画像表示部２８における表示例を示す図である。リサイズ操作画面では、選択中の画像とともに、記録サイズ選択メニュー８０１と操作ガイダンス８０２とが表示される。操作部７０の十字キーにより、記録サイズ選択メニュー８０１の選択項目を変更し、記録サイズが変更できる（枠８０４により）。また、操作部７０のメニューボタンにキャンセルが決定ボタンにリサイズ実行が割り当てられていることがガイダンス表示される。

図７に戻り、リサイズ操作画面に入ると、撮像装置１００はリサイズ操作入力待ちとなり、ステップＳ７０９において、システム制御回路５０は、ユーザによる操作入力があるかどうかをチェックする。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ７１０へ進む。

ステップＳ７１０において、システム制御回路５０は、当該操作入力が操作部７０に含まれる十字キーの入力かどうかを判定する。操作入力が十字キーであった場合、ステップＳ７１１へ進み、リサイズ後の記録サイズをユーザの指示に従い変更する。ステップＳ７１１における記録サイズの変更が完了するとステップＳ７０９のリサイズ操作入力待ちに戻る。

ステップＳ７１０で入力が十字キーではないと判定された場合、ステップＳ７１２において、システム制御回路５０は、当該操作入力がメニューボタンかどうかを判定する。操作入力がメニューボタンであった場合、ステップＳ７２１において、システム制御回路５０は、画像表示部２８に表示している、リサイズ操作画面及びリサイズガイダンスを消去し、リサイズ画像選択画面に戻り、ステップＳ７０１で入力待ちとなる。

ステップＳ７１２で入力がメニューボタンではないと判定された場合、ステップＳ７１３において、システム制御回路５０は、当該操作入力が決定ボタンかどうかを判定する。操作入力が決定ボタンであった場合、ステップＳ７１４において、システム制御回路５０は、メモリ３０に格納されている伸長済みの対象画像に対して顔検出処理を行う。顔検出処理では、顔画像、顔の有無、顔の個数、それぞれの顔のサイズ（幅・高さ）や位置座標、信頼性係数といった顔情報が得られる。この顔検出処理は、前述の図６のような処理を行う。

次に、ステップＳ７１５において、システム制御回路５０は、メモリ３０に格納されている伸長済みの対象画像を、画像処理回路２０を用いて設定されているリサイズ後の記録サイズへ変倍する。変倍処理は、画像データサイズと設定されている記録サイズとを比較し、画像データサイズの方が小さければ拡大処理となり、画像データサイズの方が大きければ縮小処理となる。

次に、ステップＳ７１６において、システム制御回路５０は、ステップＳ７１５で変倍された画像データを圧縮・伸長回路３２により、画像圧縮処理を行い、メモリ制御回路２２を介して、メモリ３０に書き込む。

次に、ステップＳ７１７において、システム制御回路５０は、ステップＳ７１６の画像圧縮処理でメモリ３０に格納された圧縮済みの画像をヘッダ情報等を付加し画像ファイルとして整形し、記録媒体２００に記録する。このときにステップＳ７１４で得られた顔情報も一緒に記録する。顔情報は画像のヘッダ領域にヘッダ情報として記録しても、別ファイルとして記録してもよい。

以上の一連のリサイズ処理が完了したら、ステップＳ７２１において、システム制御回路５０は、画像表示部２８に表示しているリサイズ操作画面及びリサイズガイダンスを消去し、リサイズ画像選択画面に戻り、ステップＳ７０１で入力待ちとなる。

一方、ステップＳ７１３で入力が決定ボタンではないと判定された場合、システム制御回路５０は、ステップＳ７１８に進む。ステップＳ７１８では、上記以外の操作入力に応じた処理を行う。ステップＳ７１８における操作入力に応じた処理を終えるとステップＳ７０９のリサイズ操作入力待ちに戻る。また、ステップＳ７０８で入力が決定ボタンではないと判定された場合、システム制御回路５０は、ステップＳ７１９に進む。ステップＳ７１９では、上記以外の操作入力に応じた処理を行う。ステップＳ７１９における操作入力に応じた処理を終えるとステップＳ７０１の入力待ちに戻る。

このように、本実施の形態に係る撮像装置１００では、リサイズ後の圧縮により画像データの劣化が生じる前に顔検出を実施し、検出の結果得られた顔情報をリサイズ後の画像の顔情報として記録するようにする。これにより、画像データの劣化の影響により、リサイズ後の画像において顔情報が検出できなくなっても、記録しておいた顔情報を利用して赤目補正等の処理を行うことが可能となる。

＜赤目補正モード処理＞
図９は、図３のステップＳ３２０の赤目補正モードの動作を説明するフローチャートである。

赤目補正モードに入ると、赤目補正画像選択画面を表示し、撮像装置１００は入力待ちとなり、ステップＳ９０１において、システム制御回路５０がユーザによる操作入力があるかどうかをチェックする。ここでいう操作入力とは、ユーザによるボタン、電池蓋に対する操作や、電源の低下等を知らせるイベント等が含まれる。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ９０２へ進む。

ステップＳ９０２において、システム制御回路５０は、当該操作入力が操作部７０に含まれる画像送りボタンの入力かどうかを判定する。操作入力が画像送りボタンであった場合、ステップＳ９０３へ進み、システム制御回路５０は、記録媒体２００から次の画像ファイルを読み込みメモリ３０に記憶する。画像送りのボタンは送り方向に応じた一対のボタンで構成されており、操作されたボタンに対応する送り方向に応じて次の画像が読み込まれることになる。

次に、ステップＳ９０４において、システム制御回路５０は、ステップＳ９０３でメモリ３０に読み込んである次の画像ファイルに対してファイル解析処理を行い、次の画像ファイルにおける画像の撮影情報や属性情報等を取得する。

次に、ステップＳ９０５において、システム制御回路５０は、メモリ３０に読み込んである次の画像ファイルの画像データを圧縮・伸長回路３２により、画像伸長処理を行いメモリ３０に書き込む。

次に、ステップＳ９０６において、システム制御回路５０は、メモリ３０にある伸長処理済みの次の画像の表示を行う。画像の表示はステップＳ３０７と同様の処理である。ステップＳ９０６における画像の表示が完了すると、システム制御回路５０は、ステップＳ９０１の入力待ちに戻る。

ステップＳ９０２で入力が画像送りボタンではないと判定された場合、ステップＳ９０７において、システム制御回路５０は、当該操作入力がメニューボタンかどうかを判定する。メニューボタンであると判定された場合、システム制御回路５０は、赤目補正モードを終了して元の処理に戻る。ステップＳ９０７で入力がメニューボタンではないと判定された場合、ステップＳ９０８において、システム制御回路５０は、当該操作入力が決定ボタンかどうかを判定する。

ステップＳ９０８で決定ボタンであると判定された場合、ステップＳ９０９において、システム制御回路５０は、画像表示部２８に表示中の画像ファイルがすでにトリミング、リサイズ、色変換、明るさ補正等の画像処理を実施済みかどうかを判定する。まだ画像処理未実施であると判定された場合、ステップＳ９１０において、システム制御回路５０は、メモリ３０に格納されている伸長済みの対象画像に対して顔検出処理を行う。顔検出処理では、顔画像、顔の有無、顔の個数、それぞれの顔のサイズ（幅・高さ）や位置座標、信頼性係数といった顔情報が得られ、メモリ５２に記憶される。この顔検出処理は、前述の図６のような処理を行う。また、すでに画像処理実施済みであると判定された場合、ステップＳ９１１において、システム制御回路５０は、画像表示部２８に表示中の画像ファイルに記録されていた顔情報を読み出しメモリ５２に記憶する。

ステップＳ９１０の顔検出処理又はステップＳ９１１の顔情報の取得が完了したら、ステップＳ９１２において、システム制御回路５０は、画像表示部２８の表示を赤目補正操作画面に切り替えて、赤目補正メニューも一緒に表示し、ステップＳ９２５に進む。また、赤目補正操作画面では、メモリ５２に記憶されている、ステップＳ９１０の顔検出処理で得られた顔情報又はステップＳ９１１で読み出した記録されていた顔情報を元に、目と思われる領域に自動で補正枠を表示する。ステップＳ９１２において表示する赤目補正操作画面については、図１０を用いて説明する。

図１０は、図９の赤目補正モードにおける赤目補正操作画面の画像表示部２８の表示例である。赤目補正操作画面では、選択中の画像とあわせて、赤目補正枠１００１と赤目補正メニュー１００２が表示される。操作部７０の十字キーにより、赤目補正メニュー１００２の所望の項目を選択し（枠１００３により）、決定ボタンでそれぞれ補正実行、補正キャンセル、補正枠の追加、補正枠の削除が行える。

図９に戻り、赤目補正操作画面に入ると、撮像装置１００は赤目補正操作入力待ちとなり、ステップＳ９２５において、システム制御回路５０がユーザによる操作入力があるかどうかをチェックする。何も入力がなければ入力があるまで現在の状態のまま待つ。何らかの操作入力があった場合、ステップＳ９１３へ進む。

ステップＳ９１３において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、補正枠追加が選択されたかどうかを判定する。補正枠追加の選択と判定した場合はステップＳ９１４へ進み、システム制御回路５０は、赤目補正枠追加処理を行う。赤目補正枠追加処理では、ユーザが所望の位置に所望のサイズの補正枠を追加できる。赤目補正枠追加処理を終えると、ステップＳ９２５の赤目補正操作入力待ちに戻る。

ステップＳ９１３で補正枠追加が選択されなかった場合、システム制御回路５０は、ステップＳ９１５に進む。ステップＳ９１５において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、補正枠削除が選択されたかどうかを判定する。補正枠削除の選択と判定した場合はステップＳ９１６へ進み、システム制御回路５０は、赤目補正枠削除処理を行う。赤目補正枠削除処理では、ユーザが不要な補正枠を削除できる。赤目補正枠削除処理を終えると、ステップＳ９２５の赤目補正操作入力待ちに戻る。

ステップＳ９１５で補正枠削除が選択されなかった場合、システム制御回路５０は、ステップＳ９１７に進む。ステップＳ９１７において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、補正キャンセルが選択されたかどうかを判定する。補正キャンセルの選択と判定した場合はステップＳ９２３に進む。ステップＳ９２３において、システム制御回路５０は、画像表示部２８に表示している赤目補正操作画面及び赤目補正メニューを消去し、赤目補正画像選択画面に戻り、ステップＳ９０１で入力待ちとなる。

ステップＳ９１７で補正キャンセルが選択されなかった場合、システム制御回路５０は、ステップＳ９１８に進む。ステップＳ９１８において、システム制御回路５０は、操作部７０に含まれる十字キーと決定ボタンの操作により、補正実行が選択されたら、ステップＳ９２０に進む。

ステップＳ９２０において、システム制御回路５０は、メモリ３０に格納されている画像データに対して、設定されている補正枠内の赤目を検索し黒目に補正する赤目補正処理を行う。

次に、ステップＳ９２１において、システム制御回路５０は、メモリ３０に格納されている赤目補正済みの画像データを圧縮・伸長回路３２により、画像圧縮処理を行い、メモリ制御回路２２を介して、メモリ３０に書き込む。

次に、ステップＳ９２２において、システム制御回路５０は、ステップＳ９２１の画像圧縮処理でメモリ３０に格納された圧縮済みの画像をヘッダ情報等を付加し画像ファイルとして整形し、記録媒体２００に記録する。このときにステップＳ９１０の顔検出処理で得られた顔情報又はステップＳ９１１で取得した記録されていた顔情報を赤目補正を行った画像ファイルの顔情報として一緒に記録する。顔情報は画像のヘッダ領域にヘッダ情報として記録しても、別ファイルとして記録してもよい。

以上の一連の赤目補正処理が完了したら、ステップＳ９２３において、システム制御回路５０は、画像表示部２８に表示している赤目補正操作画面及び赤目補正メニューを消去し、赤目補正画像選択画面に戻り、ステップＳ９０１で入力待ちとなる。

一方、ステップＳ９１８で補正実行が選択されなかったら、システム制御回路５０は、ステップＳ９１９に進む。ステップＳ９１９では、上記以外の赤目補正操作入力に応じた処理を行う。ステップＳ９１９における操作入力に応じた処理を終えるとステップＳ９２５の赤目補正操作入力待ちに戻る。また、ステップＳ９０８で入力が決定ボタンではないと判定された場合、システム制御回路５０は、ステップＳ９２４に進む。ステップＳ９２４では、上記以外の操作入力に応じた処理を行う。ステップＳ９２４における操作入力に応じた処理を終えると、システム制御回路５０は、ステップＳ９０１の入力待ちに戻る。

このように本実施の形態の撮像装置１００では画像の劣化が生じる画像処理が実施されていなかったら、赤目補正後の圧縮により画像データの劣化が生じる前に、顔検出を実施し、検出の結果得られた顔情報を赤目補正後の画像の顔情報として記録するようにした。これにより、画像データの劣化の影響により、赤目補正後の画像において顔情報が検出できなくなっても、記録しておいた顔情報を利用した処理を行うことが可能となる。また、画像の劣化が生じる画像処理がすでに実施されていたとしても、画像処理による画質劣化が生じる前に検出した顔情報を読み出して利用することができるため、画像処理済みの画像に対しても、赤目補正処理を行うことが可能となる。

なお、本発明に係る画像処理装置は、撮像装置に適用するだけでなく、パーソナルコンピュータ等においても適用可能である。また、画像処理装置としてプリンタ装置や画像ビューアー等においても適用可能である。また、本実施の形態では、具体的な画像処理として、トリミング、リサイズ、赤目補正を挙げたが、他の処理でもよい。例えば色変換、明るさ補正等の画像処理を、図４或いは図７と同様の手順で行うことで、画像データの劣化の影響により、処理後の画像において顔情報が検出できなくなっても、顔情報を利用して赤目補正等の処理を行うことが可能となる。

また、本発明を実現するために、上述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記憶媒体を用いても良い。この場合には記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって本発明の目的が達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行う場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれてもよい。この場合には、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行ってもよい。

本発明の実施の形態に係る撮像装置の構成を示したブロック図である。 本発明の実施の形態に係る撮像装置の全体的な動作を説明するフローチャートである。 本発明の実施の形態に係る撮像装置の再生モード処理の動作を説明するフローチャートである。 本発明の実施の形態に係る撮像装置のトリミングモードの動作を説明するフローチャートである。 本発明の実施の形態に係る撮像装置のトリミングモードにおけるトリミング操作画面の表示例を示す図である。 本発明の実施の形態に係る撮像装置の顔検出処理の動作を説明するフローチャートである。 本発明の実施の形態に係る撮像装置のリサイズモードの動作を説明するフローチャートである。 本発明の実施の形態に係る撮像装置のリサイズモードにおけるリサイズ操作画面の表示例を示す図である。 本発明の実施の形態に係る撮像装置の赤目補正モードの動作を説明するフローチャートである。 本発明の実施の形態に係る撮像装置の赤目補正モードにおける赤目補正操作画面の表示例を示す図である。

符号の説明

１４ 撮像素子
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２８ 画像表示部
３０ メモリ
５０ システム制御回路
５２ メモリ
５４ 表示部
１００ 撮像装置

Claims (3)

1. 圧縮画像を伸張し、伸張された画像をメモリに格納する伸張手段と、
   前記伸張手段により伸張された画像の特徴に基づき被写体を検出する被写体検出手段と、
   前記画像に対して画像処理を行う画像処理手段と、
   前記画像処理手段により画像処理がなされた画像を非可逆圧縮する圧縮手段と、
   前記被写体検出手段により検出された被写体に関する情報を、前記画像処理の内容に応じて変換する変換手段と、
   前記圧縮手段により非可逆圧縮された画像に、前記画像処理の前に前記被写体検出手段により検出され、前記変換手段により変換された被写体に関する情報を関連付けて記録する記録手段とを備え、
   前記被写体検出手段とは、人物の顔を検出する手段であり、
   前記画像処理手段による画像処理には、トリミング、リサイズ、赤目補正、色変換、明るさ補正のうちの少なくともいずれかが含まれ、
   前記記録手段は、前記被写体検出手段により検出した被写体に関する情報を前記非可逆圧縮された画像のヘッダ領域に、または前記非可逆圧縮された画像とは別のファイルとして記録し、
   前記被写体に関する情報には、顔画像、顔の有無、顔の個数、顔のサイズ及び位置座標のうちの少なくともいずれかが含まれ、
   前記画像処理手段によりトリミングがなされた場合に、前記変換手段はトリミングの位置及びサイズに基づき、前記被写体検出手段により検出された被写体に関する情報変換することを特徴とする画像処理装置。
2. 圧縮画像を伸張し、伸張された画像をメモリに格納するステップと、
   伸張された前記画像の特徴に基づき顔画像、顔の有無、顔の個数、顔のサイズ及び位置座標のうちの少なくともいずれかを被写体に関する情報として検出するステップと、
   前記画像に対して、トリミング、リサイズ、赤目補正、色変換、明るさ補正のうちの少なくともいずれかが含まれる画像処理を行うステップと、
   検出された被写体に関する情報を前記画像処理の内容に応じて変換するステップであって、前記画像に対してトリミングを行った場合には、トリミングの位置及びサイズに基づき、検出された被写体に関する情報を変換するステップと、
   画像処理がなされた前記画像を非可逆圧縮するステップと、
   検出されて変換された前記被写体に関する情報を、前記画像処理の前に、非可逆圧縮された前記画像のヘッダ領域に、または非可逆圧縮された画像とは別のファイルとして記録するステップと、
   を有することを特徴とする画像処理装置の制御方法。
3. 画像処理装置の制御をコンピュータに実行させるためのプログラムであって、
   圧縮画像を伸張し、伸張された画像をメモリに格納するステップと、
   伸張された前記画像の特徴に基づき顔画像、顔の有無、顔の個数、顔のサイズ及び位置座標のうちの少なくともいずれかを被写体に関する情報として検出するステップと、
   前記画像に対して、トリミング、リサイズ、赤目補正、色変換、明るさ補正のうちの少なくともいずれかが含まれる画像処理を行うステップと、
   検出された被写体に関する情報を前記画像処理の内容に応じて変換するステップであって、前記画像に対してトリミングを行った場合には、トリミングの位置及びサイズに基づき、検出された被写体に関する情報を変換するステップと、
   画像処理がなされた前記画像を非可逆圧縮するステップと、
   検出されて変換された前記被写体に関する情報を、前記画像処理の前に、非可逆圧縮された前記画像のヘッダ領域に、または非可逆圧縮された画像とは別のファイルとして記録するステップと、
   をコンピュータに実行させるためのプログラム。

Images