JP6075819B2 - 画像処理装置及びその制御方法、並びに記憶媒体 - Google Patents

Description

本発明は、画像内の特定の領域を切り出す処理が可能な画像処理装置及びその制御方法、並びに記憶媒体に関する。

近年、デジタルカメラなどの小型電子機器にも顔検出機能が搭載され、撮像時に顔を検出してピントを合わせることなどに利用されている。さらには個人を認証し顔を検出した際に名前等の認証情報を画像に付与して、画像再生時にはこの認証情報を用いて名前を画像に重畳表示させたり、人名で画像を検索することもできる。

また特許文献1では、被写体位置情報が付与されている画像を切り出し編集し、切り出された画像に対し顔検出処理を行い、検出した顔情報に基づいて分類情報の自動付与を行うことが開示されている。

特開２００９−６５６３５号公報

しかしながら、画像のトリミング編集を行う際に、トリミング編集の実行の仕方によらず認証情報を削除してしまうと、名前が表示されなくなり、検索対象から外れてしまう。

また特許文献１の様に、トリミング後に再度顔を検出する処理を行うことが出来ればよいが、顔検出が出来ない装置でトリミングした場合には、再検出が出来ない。

更には、顔の一部が欠けるようにトリミングした場合には、人が見れば顔として認識できるのに、装置の顔認識処理では検出できない可能性が有る。この様な場合には、せっかく認証情報が元々付与されていたにもかかわらず、トリミング後にはその認証情報が無くなってしまい、不便である。

本発明の目的は、画像データに関連付けられた枠情報を、画像データが示す画像をトリミングした画像においても有効に利用可能な画像処理装置及びその制御方法、並びに記憶媒体を提供することにある。

上記目的を達成するために、請求項１の画像処理装置は、画像内の一部の領域を示す領域情報が関連付けられている画像データを扱う画像処理装置であって、前記画像データが示す画像中から部分画像を切り出すトリミング手段と、前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていない場合に、前記部分画像に前記領域情報を付加せず、前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていて且つ、前記部分画像に前記領域情報が示す領域の少なくとも一部が含まれない場合に、前記トリミング手段により切り出された領域に従って更新した領域情報を前記部分画像に付加するように制御する制御手段と、を備えたことを特徴とする。

本発明によれば、画像データに関連付けられた枠情報を、画像データが示す画像をトリミングした画像においても有効に利用可能な画像処理装置及びその制御方法、並びに記憶媒体を提供することができる。

本発明の実施の形態に係る撮像装置の外観を示す斜視図である。 図１の撮像装置の電気的構成を示す図である。 図２におけるシステム制御部により実行される再生モード処理の手順を示すフローチャートである。 図３におけるファイル解析処理の手順を示すフローチャートである。 トリミング処理に関連する枠情報を示す図である。 図３におけるトリミング処理（その１）の手順を示すフローチャートである。 図３におけるトリミング処理（その２）の手順を示すフローチャートである。 図３におけるトリミング処理（その３）の手順を示すフローチャートである。

以下、本発明の実施の形態について図面を参照しながら詳述する。なお、本実施の形態では、本発明に係る画像処理装置を、撮像装置に適用した場合の形態について説明する。

図１は、本発明の実施の形態に係る撮像装置１００の外観を示す斜視図である。

図１において、撮像装置１００は、表示部２８、切替スイッチ６０、シャッターボタン６１、操作部７０、電源スイッチ７２、コネクタ１１２、及びスロット２０１を含む。また、撮像装置１００には、記録媒体２００が脱着可能であり、接続ケーブル１１１により外部機器と電気的に接続可能となっている。

表示部２８は、画像データが示す画像や各種情報を表示する。なお、以下の説明では、画像データが示す画像を表示することを、単に画像データを表示する、と表現することがある。

電源スイッチ７２は、電源オン、電源オフを切り替えるためにユーザにより操作されるスイッチである。

切替スイッチ６０は各種モードを切り替えるスイッチである。コネクタ１１２は、接続ケーブル１１１を撮像装置１００に接続するためのコネクタである。操作部７０は、ユーザからの各種操作を受け付ける。スロット２０１は記録媒体２００を装着して通信するためのスロットである。

図２は、図１の撮像装置１００の電気的構成を示す図である。

バリア１０２は、レンズ１０３などを覆う事により、これらの汚れや破損を防止する。シャッター１０１は、絞り機能も備えている。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される。

Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換するものであり、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。タイミング発生部１２は、撮像部２２、Ａ／Ｄ変換器２３、Ｄ／Ａ変換器１３にクロック信号や制御信号を供給するものであり、メモリ制御部１５及びシステム制御部５０により制御される。

画像処理部２４は、システム制御部５０やメモリ制御部１５の制御を受けて、メモリ３２内の画像データや、Ａ／Ｄ変換器２３から出力されたデータ、メモリ制御部１５から出力されたデータに対し所定の画素補間やリサイズ処理、色変換処理、トリミング処理等を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。さらに、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３からの出力されたデータは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に記憶されるか、直接メモリ制御部１５を介してメモリ３２に記憶される。メモリ３２（記憶手段）は、所定枚数の静止画像や所定時間の動画像および音声を記憶するための十分な記憶容量を備えている。このメモリ３２には、後述する図３，４，６，７，８に示されるフローチャートを実行するためのプログラムも記憶さている。

圧縮／伸張部１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸張するものであり、シャッター１０１をトリガにしてメモリ３２に記憶された画像データを読み込んで圧縮処理を行い、処理を終えた画像データをメモリ３２に記憶する。また、圧縮／伸張部１６は、記録部１９などからメモリ３２に展開された圧縮された画像データを読み込んで伸張処理を行い、処理を終えた画像データをメモリ３２に記憶する。

圧縮／伸張部１６によりメモリ３２に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インタフェース１８を介して記録媒体２００に記憶される。

また、メモリ３２は画像表示用のメモリを兼ねている。表示部２８はＬＣＤなどで構成され、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８に表示される。

システム制御部５０は、ＣＰＵなどを備え、メモリ３２やシステムメモリ５２内に格納されている制御プログラムに従って機能し、撮像装置１００全体を制御する。また、システム制御部５０は自らの演算処理や、画像処理部２４の画像処理の演算処理により、画像に付与する属性情報を生成する。後述する枠情報、枠の属性情報等の情報もシステム制御部５０が生成する。また、トリミングの前から付与されていた枠情報を利用して、トリミング後の画像に対して枠上を付与するか否かを決定する処理も行う。

属性情報は、圧縮/伸張部１６により処理された画像データと共にシステム制御部５０によりファイル化される。システムメモリ５２は、システム制御部５０の動作用の定数、変数、プログラム等を記憶する。

不揮発性メモリ５６は電気的に情報を消去または記憶可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。

シャッターボタン６１は、第１シャッタースイッチＳＷ１、第２シャッタースイッチＳＷ２の２つのスイッチの機能をもつ。

第１シャッタースイッチＳＷ１は、シャッターボタン６１の操作途中（半押し）でＯＮとなり、上述したＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示するためのスイッチである。

第２シャッタースイッチＳＷ２は、シャッターボタン６１の操作完了（全押し）でＯＮとなり、撮像部２２からの信号読み出しから記録媒体２００に画像データを記憶するまでの一連の撮像処理の動作開始を指示する。

操作部７０はシステム制御部５０に各種の動作指示をユーザが入力するためのものである。切替スイッチ６０は、システム制御部５０の動作モードを静止画撮像モード、連続撮像（連写）モード、動画モード、再生モード等のいずれかに切り替えることができる。

操作部７０は各種ボタンやタッチパネル等からなる。具体的に例示すると以下の通りとなる。消去ボタンや、メニューボタン、ＳＥＴボタン、十字に配置された４方向キー、コネクタ１１２に接続されたプリンタに対する印刷機能を実現する印刷予約ボタン、消去ボタンなどから構成される。

メニューボタンが押されると各種設定が可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向キーやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

電源制御部３９は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間だけ記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の１次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の２次電池、ＡＣアダプター等からなる。コネクタ３３，３４は、電源部３０と電源制御部３９とを接続する。

ＲＴＣ（Real Time Clock）４０は、電源制御部３９とは別に内部に電源部を保持し、電源部３０からの供給が断たれた状態でも動作可能である。システム制御部５０は、起動時にＲＴＣ４０より取得した日時を用いてタイマー制御する。

インタフェース１８は、メモリカードやハードディスク等の記録媒体２００とのインタフェースである。コネクタ３５は、記録媒体２００とインタフェース１８とを接続する。記録媒体着脱検知部９８は、コネクタ３５に記録媒体２００が装着されているか否かを検知する。

記録媒体２００は、メモリカードやハードディスクなどが挙げられる。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部１９、撮像装置１００とのインタフェース３７、及び記録媒体２００と撮像装置１００とを接続するためのコネクタ３６を備えている。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信などの各種通信処理を行う。

コネクタ１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。このコネクタ１１２は、無線通信の場合はアンテナとなる。コネクタ１１２には、例えばプリンタが接続される。プリンタが接続された場合、記録媒体２００に記録された画像データをプリンタに転送することで、ＰＣなどを介さず直接プリンタを用いて画像データを印刷可能である。

図３は、図２におけるシステム制御部５０により実行される再生モード処理の手順を示すフローチャートである。

図３において、初期画像の最新画像、またはリジューム画像などを示す初期画像データを記録媒体２００から読みだして表示部２８に表示する（ステップＳ３０１）。このとき、画像ファイルを解析して、ヘッダ部の属性情報も解析することにより、初期画像内の枠情報を取得し、この画像内の枠情報の数（後述する変数ＭＡＸに相当）も取得する。次いで、ユーザから入力があるか否か判別する（ステップＳ３０２）。この入力とは、ユーザによるボタンや電池蓋に対する操作などの一般的な入力に加え、電源の低下などを知らせるイベントやなどが含まれる。

ステップＳ３０２の判別の結果、入力があると判別したとき（ステップＳ３０２でＹＥＳ）、入力が画像送りボタンの操作による入力か否か判別する（ステップＳ３０３）。

ステップＳ３０３の判別の結果、入力が画像送りボタンの操作による入力のとき（ステップＳ３０３でＹＥＳ）、次に表示する画像データをメモリ３２から読み込む（ステップＳ３０４）。なお、画像送りのボタンは対の方向で形成されており、その送り方向によって次に表示する画像データが定まる。

次いで、読み込んだ画像データを解析するファイル解析処理を行い（ステップＳ３０５）、画像データを表示部２８に表示し（ステップＳ３０６）、ステップＳ３０２に進む。なお、ステップＳ３０６では、画像データに加え、撮像情報や属性情報なども設定に応じて表示される。この時、後述する枠情報も取得し、この画像内の枠情報の数（後述する変数ＭＡＸに相当）も取得する。また、ステップＳ３０５のファイル解析処理の結果により、画像データの一部が壊れているなど不正なデータということが判明すれば、エラー表示も併せて行う。

上記ステップＳ３０３の判別の結果、入力が画像送りボタンの操作による入力ではないとき（ステップＳ３０３でＮＯ）、入力が終了ボタンの操作による入力か否か判別する（ステップＳ３０７）。

ステップＳ３０７の判別の結果、入力が終了ボタンの操作による入力のとき（ステップＳ３０７でＹＥＳ）、本処理を終了する。これにより再生モードの終了となる。

一方、入力が終了ボタンの操作による入力ではないとき（ステップＳ３０７でＮＯ）、入力がトリミングボタンの操作による入力か否か判別する（ステップＳ３０８）。

ステップＳ３０８の判別の結果、入力がトリミングボタンの操作による入力のとき（ステップＳ３０８でＹＥＳ）、トリミング処理を行い（ステップＳ３０９）、ステップＳ３０２に進む。

一方、入力がトリミングボタンの操作による入力ではないとき（ステップＳ３０８でＮＯ）、入力が検索ボタンの操作による入力か否か判別する（ステップＳ３１０）。

ステップＳ３１０の判別の結果、入力が検索ボタンの操作による入力のとき（ステップＳ３１０でＹＥＳ）、検索処理を実行し（ステップＳ３１１）、ステップＳ３０２に進む。この検索処理では、上記ファイル解析処理において解析された画像データの属性情報をもとに画像データを検索する処理が行われる。例えば、画像データの撮像情報、お気に入り情報、タグ、及び人物名などをキーにして検索が行われる。

一方、入力が検索ボタンの操作による入力ではないとき（ステップＳ３１０でＮＯ）、その操作に応じたその他の処理を行い（ステップＳ３１２）、ステップＳ３０２に進む。その他の処理として、マルチ再生への切り替えや、メニューボタンによるメニュー表示などが挙げられる。

図４は、図３におけるファイル解析処理の手順を示すフローチャートである。

図４において、解析対象となる画像データに、撮像情報、分類情報等の属性情報が記載されたファイルヘッダがあるか否か判別する（ステップＳ４０１）。ここで撮像情報とは、撮像日時に関する情報や、撮像時の撮像モードなどの情報である。また、分類情報とは、画像データの検索に用いるための識別情報のことで、タグ情報や後述する枠情報の人物名などを示す。

ステップＳ４０１の判別の結果、画像データにファイルヘッダがないとき（ステップＳ４０１でＮＯ）、ステップＳ４０４に進む。一方、画像データにファイルヘッダがあるとき（ステップＳ４０１でＹＥＳ）、ファイルヘッダから撮像情報を取得し（ステップＳ４０２）、さらにファイルヘッダから分類情報等を取得する（ステップＳ４０３）。

次いで、画像データ情報を取得し（ステップＳ４０４）、本処理を終了する。ここで、画像データ情報とは、画像データのファイルフォーマットに関する情報や、そのファイルフォーマットに基づき抽出される画像本体開始位置、画像圧縮方法などの情報である。

図５は、トリミング処理に関連する枠情報５０１を示す図である。

図５に示される枠情報５０１はメモリ３２に記憶される情報であり、枠属性情報５０２、枠範囲情報５０３、枠中心情報５０４、枠関連情報５０５から構成されている。

枠属性情報５０２は、枠範囲情報５０３が示す特定の範囲内の画像の属性を示す情報である。具体的に、枠属性情報５０２は人物を認識したときに表示される顔認証枠、フォーカスした範囲を示すフォーカス枠、自動露光した対象範囲を示す自動露光枠、人物以外の被写体を認識した時に表示される被写体認証枠などを示す情報であり、それらを記録可能である。

枠範囲情報５０３は、画像データが示す画像内の特定の範囲を示しており、枠の幅と高さを示す情報である。枠中心情報５０４は、枠の中心座標を示す情報である。例えば画像の左上を原点としてのＸ座標やＹ座標で表現される。

枠関連情報５０５は、枠に関連する情報である。例えば、顔認証枠である場合、認証した人物の枠に付随する人物の「人物名」、「誕生日」、「性別」、及び「顔特徴量」などの属性情報が挙げられる。そして枠属性情報５０２の情報の種類に応じて、枠関連情報５０５に記録する情報の種類も異ならせる。

ここで、「顔特徴量」とは、「両目の座標」、「鼻の位置」、「輪郭の大きさ」、及び「口端の座標」など、顔の各部位の座標情報や「目つむり」の有無、「顔の向き」などの撮像結果の成否を示す情報であってもよい。このように、枠情報５０１は、属性が特定の範囲内の画像が顔を認証するための画像であることを示す属性のとき、顔の特徴量として用いられる画像内の位置を示す座標を示す情報をさらに含む。

また、「合焦率」などで撮像結果の成否を判断してもよい。さらに、「枠有効範囲」は、枠情報５０１がトリミング後に有効か否かを判別するためのものであり、トリミング後の画像データに「枠有効範囲」に示される画像が含まれる場合にのみ枠情報５０１を有効とようにしてもよい。このように、枠情報５０１は、特定の範囲内においてトリミングされたときに有効な範囲を示す枠有効範囲を示す情報をさらに含む。枠有効範囲は、例えば枠の中心など、特定の点を示す情報であっても良いし、縦横に幅を持たせた領域情報であっても良いし、枠情報５０１はメモリ３２に記憶されているので、撮像装置１００は、画像データ、及び画像データが示す画像内の特定の範囲を示すとともに、特定の範囲内の画像の属性を示す枠情報５０１が画像データに関連付けられて記憶されたメモリ３２を備えている。

なお、上述した枠中心座標５０４、両目の座標は、予め決められた部分領域に対応している。

以下、図３におけるトリミング処理について３種類の異なる実施の形態について説明する。いずれの実施の形態も、トリミング画像に対して枠情報を付加するか否かを、トリミングにより枠情報に対応する特定の範囲がどのように変化したかや、枠情報に関連する属性情報の内容に応じて決定する。

図６は、図３におけるトリミング処理（その１）の手順を示すフローチャートである。

図６において、トリミングする選択範囲が入力されたか否か判別する（ステップＳ６０１）。ここで、選択範囲の入力とはユーザによるトリミング範囲の幅と高さ、トリミングの中心の位置座標を指定する入力であり、物理的なボタンにより行われてもよいしタッチ操作により行われてもよい。

選択範囲が入力されると（ステップＳ６０１でＹＥＳ）、選択範囲を示す選択範囲情報を取得する（ステップＳ６０２）。ここで、選択範囲情報とは、選択範囲の幅、高さ、中心を示す座標である。

次いで、選択範囲の画像を切り出したトリミング画像を作成し、それをメモリ３２に展開する（ステップＳ６０３）。

次いで、ループカウンタＣｎｔを０で初期化する（ステップＳ６０４）。このループカウンタＣｎｔは、画像データに関連付けられた各枠情報に対応している。次いで、Ｃｎｔ＞ＭＡＸか否か判別する（ステップＳ６０５）。ここで、ＭＡＸは、枠情報の総数であり、Ｓ３０１またはＳ３０５の処理で取得される。

ステップＳ６０５の判別の結果、Ｃｎｔ≦ＭＡＸのとき（ステップＳ６０５でＮＯ）、Ｃｎｔが示す枠情報５０１から枠範囲情報５０３及び枠中心情報５０４を取得する。次いで、ステップＳ６０２で取得した選択範囲情報を基準とした座標において、ステップＳ６０６で取得した枠中心情報５０４に示される枠中心座標をトリミング後の座標に変換する（ステップＳ６０７）。

次いで、変換された枠中心座標が選択範囲に含まれるか否か判別する（ステップＳ６０８）。ステップＳ６０８の判別の結果、変換された枠中心座標が選択範囲に含まれないとき（ステップＳ６０８でＮＯ）、この枠情報５０１を削除し（ステップＳ６０９）、Ｃｎｔを１だけ増分し（ステップＳ６１０）、上記ステップＳ６０５に進む。

一方、ステップＳ６０８の判別の結果、変換された枠中心座標が選択範囲に含まれるとき（ステップＳ６０８でＹＥＳ）、枠範囲情報５０３に示される枠範囲の全てが選択範囲に含まれるか否か判別する（ステップＳ６１１）。

ステップＳ６１１の判別の結果、枠範囲の全てが選択範囲に含まれるとき（ステップＳ６１１でＹＥＳ）、枠関連情報５０５を取得し（ステップＳ６１２）、枠関連情報５０５が有効か否か判別する（ステップＳ６１３）。

ステップＳ６１３の判別の結果、枠関連情報５０５が無効のとき（ステップＳ６１３でＮＯ）、上記ステップＳ６０９に進む。一方、枠関連情報５０５が有効のとき（ステップＳ６１３でＮＯ）、メモリ３２に記憶されている枠範囲情報５０３、及び枠中心情報５０４を選択範囲でトリミングされた後の画像に対する情報に更新し（ステップＳ６１４）、上記ステップＳ６１０に進む。

一方、ステップＳ６１１の判別の結果、枠範囲が選択範囲に含まれないとき（ステップＳ６１１でＮＯ）、枠属性情報５０２を取得し（ステップＳ６１５）、枠属性情報５０２が示す枠の種類が顔認証枠か否か判別する（ステップＳ６１６）。

ステップＳ６１６の判別の結果、枠属性情報５０２が示す枠の種類が顔認証枠ではないとき（ステップＳ６１６でＮＯ）、上記ステップＳ６０９に進む。

一方、ステップＳ６１６の判別の結果、枠属性情報５０２が示す枠の種類が顔認証枠のとき（ステップＳ６１６でＹＥＳ）、選択範囲に収まる幅と高さになるように枠範囲情報５０３を補正し（ステップＳ６１７）、上記ステップＳ６１２に進む。

上記ステップＳ６０５の判別の結果、Ｃｎｔ＞ＭＡＸのとき（ステップＳ６０５でＹＥＳ）、上述したトリミング画像を示す画像データのファイルヘッダにおける画像の幅と高さなどを示す情報を作成する（ステップＳ６１８）。そしてトリミング後の画像データおよびトリミング後の画像データに対応して作成されたファイルヘッダを用いて画像ファイルを生成し、生成された画像ファイルを記録媒体２００に記録し（ステップＳ６１９）、本処理を終了する。

上述したステップＳ６１６で、枠属性情報５０２が示す枠の種類が顔認証枠であると判別されると、枠情報５０１は削除されずに枠範囲情報５０３が補正される。その結果、トリミングにより顔を示す枠内の画像の一部が失われても人物として認識できるにも関わらず、検索処理の人物名検索の対象から外れてしまうことを防ぐことができる。本実施の形態では、顔認証機能を有するデジタルカメラで説明したが、顔認証機能の無い画像処理装置でトリミングを行った場合にも、本実施例を利用した処理はとても有効である。なぜなら顔認証処理を再度実行することなく、もともと持っていた顔枠情報を活用できる為である。しかも、画像データの解析処理を伴わないので、その処理負荷は軽い。

なお、枠の種類がフォーカス枠であったときは、トリミングにより枠内の画像の一部が失われてしまうと、フォーカス範囲の情報としては無効になり削除される。

図６のトリミング処理によれば、特定の範囲の中心がトリミング画像に含まれ（ステップＳ６０８でＹＥＳ）、かつ属性が特定の範囲内の画像が顔を認証するための画像であることを示す属性のときに（ステップＳ６１６でＹＥＳ）、以下の処理を行う。すなわち、枠情報をトリミング画像に関連する枠情報として更新する。その結果、画像データに関連付けられた枠情報を、画像データが示す画像をトリミングした画像においても有効に利用できる。

図７は、図３におけるトリミング処理（その２）の手順を示すフローチャートである。

図６の実施の形態では、枠の中心の座標を用いて、トリミング後の画像に枠情報を付加するか否かを制御した。図７の実施例では中心座標の代わりに、枠内の顔の特徴、特に目や鼻の位置を用いて、トリミング後の画像に枠情報を付加するか否かを制御する。

以下の説明では、枠に顔の特徴の座標（両目や鼻の座標）を枠関連情報５０５に持っていることを前提に説明する。枠に顔の特徴の座標（両目や鼻の座標）を枠関連情報５０５に持っていない場合には、図６や後述する図8の処理に移行しても良かろう。

図７に示されるトリミング処理は、図６に示されるトリミング処理でのステップＳ６０６〜ステップＳ６０８に対応するステップＳ７０６〜ステップＳ７０８が異なるので、ステップＳ７０６〜ステップＳ７０８について説明する。

図７において、枠情報５０１における枠関連情報５０５の顔特徴量の座標を取得する（ステップＳ７０６）。このフローチャートでは、一例として両目の座標を用いて説明するが、鼻の座標でもよいし、口端の座標でもよい。本実施の形態の両目の座標の情報は、両目全体を囲う領域の情報である。領域情報の持ち方は矩形領域の角の座標であっても良いし、楕円領域を定義するような情報であっても良い。

次いで、ステップＳ７０２で取得した選択範囲情報を基準とした座標において、ステップＳ７０６で取得した両目の座標をトリミング後の座標に変換する（ステップＳ７０７）。

次いで、変換された両目の座標が選択範囲に含まれるか否か判別する（ステップＳ７０８）。ステップＳ７０８の判別の結果、変換された両目の座標が選択範囲に含まれないとき（ステップＳ７０８でＮＯ）、この枠情報５０１を削除する（ステップＳ７０９）。

一方、ステップＳ７０８の判別の結果、変換された両目の座標が選択範囲に含まれるとき（ステップＳ７０８でＹＥＳ）、ステップＳ７１１に進む。

このように、多少顔の領域がトリミングにより欠けたとしても、目の領域が残っていれば十分その人であると認識できるので、そのような画像に対しては枠情報を残すことで、せっかく着いていた枠情報を無駄にすることが無い。

図７のトリミング処理では、トリミング画像、特定の範囲、及び枠情報が示す属性に加え、顔の特徴量として用いられる画像内の位置を示す座標に応じて、枠情報を前記トリミング画像に関連する枠情報として作成する。

図８は、図３におけるトリミング処理（その３）の手順を示すフローチャートである。

図８に示されるトリミング処理は、図６に示されるトリミング処理でのステップＳ６０６〜ステップＳ６０８に対応するステップＳ８０６〜ステップＳ８０８が異なるので、ステップＳ８０６〜ステップＳ８０８について説明する。

図８において、枠情報５０１から枠関連情報５０５における枠有効範囲を取得する（ステップＳ８０６）。次いで、トリミング前の枠情報５０１に示される幅と高さと、トリミング後の枠情報５０１に示される幅と高さから、枠情報５０１に示される枠の縮小率を取得する（ステップＳ８０７）。上述したトリミング後の枠情報５０１に示される幅と高さは、枠有効範囲とトリミング画像の共通部分を示している。従って、縮小率は、枠有効範囲の大きさと、枠有効範囲とトリミング画像の共通部分の大きさとの比を示している。

次いで、縮小率≧Ｒか否か判別する（ステップＳ８０８）。このＲは、縮小率の値に応じて、トリミング後の画像に対して枠情報を付与するのか否かを分ける為、予め定められた閾値であり、例えば５０％のように固定値でもよいし、表示部２８の大きさに応じて機種毎に定めるようにしてもよい。

ステップＳ８０８の判別の結果、縮小率≧Ｒのとき（ステップＳ８０８でＹＥＳ）、ステップＳ８１１に進み、縮小率＜Ｒのとき（ステップＳ８０８でＮＯ）、ステップＳ８０９に進む。

上記ステップＳ８０８では、縮小率を用いて判別しているが、幅と高さと中心座標を持つ範囲がトリミング範囲に残るか否かで判別しても良い。

このように縮小率が予め定められた値以上であるか否かを判別することにより、認識しやすい画像に対して枠情報を容易に残すことができる。

図８に示すトリミング処理と同様に、枠情報５０１に示される目つむり、顔の向き、及び合焦率に応じて枠情報を残すかどうかを判別する方法も考えられる。

図８のトリミング処理では、トリミング画像、特定の範囲、及び枠情報が示す属性に加え、枠有効範囲の大きさと、枠有効範囲と前記トリミング画像の共通部分の大きさとの比に応じて、枠情報をトリミング画像に関連する枠情報として更新する。

上述した３種類のトリミング処理において、枠情報が前記トリミング画像に対して有効ではないときは、前記枠情報を前記トリミング画像に関連する枠情報として更新しないようになっている。具体的に、トリミング画像に対して有効ではない枠情報とは、ステップＳ６１１で説明したように、枠領域全域が有効な場合に意味をなすフォーカス枠や自動露光の範囲枠を示す情報である。

尚、上記の枠情報は、まさに枠としての情報に限らず、画像中の特定の範囲を示す領域情報を意味する。また、その領域の形状も矩形に限るものではなく、円や楕円、または任意の形状の閉領域であっても良い。

（他の実施の形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２２ 撮像部
２４ 画像処理部
２８ 表示部
３２ メモリ
５０ システム制御部
５２ システムメモリ
５６ 不揮発性メモリ
６１ シャッターボタン
７０ 操作部
１００ 撮像装置
５０１ 枠情報
５０２ 枠属性情報
５０３ 枠範囲情報
５０４ 枠中心情報
５０５ 枠関連情報

Claims (12)

1. 画像内の一部の領域を示す領域情報が関連付けられている画像データを扱う画像処理装置であって、
   前記画像データが示す画像中から部分画像を切り出すトリミング手段と、
   前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていない場合に、前記部分画像に前記領域情報を付加せず、前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていて且つ、前記部分画像に前記領域情報が示す領域の少なくとも一部が含まれない場合に、前記トリミング手段により切り出された領域に従って更新した領域情報を前記部分画像に付加するように制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記制御手段は、前記領域情報が人物の領域、又は、人物の顔の領域を示す場合に、前記更新した領域情報を前記部分画像に付加するように制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の部分領域は、前記領域情報の中心または、人物の目を示す領域、又は人物の鼻を示す領域であることを特徴とする請求項１または２記載の画像処理装置。
4. 前記領域情報には人名情報が関連付けられており、
   前記制御手段は、前記トリミング手段により切り出された領域に従って更新した領域情報を前記部分画像に付加するように制御する場合には、当該人名情報も更新した前記領域情報に付加するように制御することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 画像内の一部の領域を示す領域情報が関連付けられている画像データを扱う画像処理装置であって、
   前記画像データが示す画像中から部分画像を切り出すトリミング手段と、
   前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていない場合に、前記部分画像に前記領域情報を付加せず、前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていて且つ、前記部分画像に前記領域情報が示す領域の少なくとも一部が含まれない場合に、前記トリミング手段により切り出された領域に従って更新した領域情報を前記部分画像と共に表示するように制御する制御手段と、
   を備えたことを特徴とする画像処理装置。
6. 前記制御手段は、前記領域情報が人物の領域、又は、人物の顔の領域を示す場合に、更新した領域情報を前記部分画像と共に表示するように制御することを特徴とする請求項５記載の画像処理装置。
7. 前記所定の部分領域は、前記領域情報の中心または、人物の目を示す領域、又は人物の鼻を示す領域であることを特徴とする請求項５又は６記載の画像処理装置。
8. 前記領域情報には人名情報が関連付けられており、
   前記制御手段は、前記トリミング手段により切り出された領域に従って更新した領域情報を前記部分画像と共に表示するように制御する場合には、当該人名情報も更新した前記領域情報と共に表示するように制御することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 画像内の一部の領域を示す領域情報が関連付けられている画像データを扱う画像処理装置の制御方法であって、
   前記画像データが示す画像中から部分画像を切り出すトリミングステップと、
   前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていない場合に、前記部分画像に前記領域情報を付加せず、前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていて且つ、前記部分画像に前記領域情報が示す領域の少なくとも一部が含まれない場合に、前記トリミングステップで切り出された領域に従って更新した領域情報を前記部分画像に付加するように制御する制御ステップと、
   を有することを特徴とする画像処理装置の制御方法。
10. 画像内の一部の領域を示す領域情報が関連付けられている画像データを扱う画像処理装置の制御方法であって、
    前記画像データが示す画像中から部分画像を切り出すトリミングステップと、
    前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていない場合に、前記部分画像に前記領域情報を付加せず、前記領域情報が示す領域の中の所定の部分領域が前記部分画像に含まれていて且つ、前記部分画像に前記領域情報が示す領域の少なくとも一部が含まれない場合に、前記トリミングステップで切り出された領域に従って更新した領域情報を前記部分画像と共に表示するように制御する制御ステップと、
    を有することを特徴とする画像処理装置の制御方法。
11. 請求項９記載の画像処理装置の制御方法をコンピュータに実行させるプログラムを格納したコンピュータで読み取り可能な記憶媒体。
12. 請求項１０記載の画像処理装置の制御方法をコンピュータに実行させるプログラムを格納したコンピュータで読み取り可能な記憶媒体。

Images