JP5232109B2

JP5232109B2 - 画像管理装置、画像管理方法及びプログラム、ならびに撮像装置

Info

Publication number: JP5232109B2
Application number: JP2009208363A
Authority: JP
Inventors: 貽▲トウ▼ 張
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-09-09
Filing date: 2009-09-09
Publication date: 2013-07-10
Anticipated expiration: 2029-09-09
Also published as: JP2011061451A

Description

本発明は画像管理装置、画像管理方法及びプログラム、ならびに撮像装置に係り、特に画像のメタ情報に含まれる被写体情報を修正する画像管理装置、画像管理方法及びプログラム、ならびに撮像装置に関する。

顔検出機能が搭載されたデジタルカメラを用いることにより、主要被写体人物が画像の中心に存在しない場合であっても、顔を検出し、検出した顔領域に合わせてＡＥ、ＡＦ、ＡＷＢなどを行うことができるので、写真撮影が手軽に行えるようになった。しかし、このようなデジタルカメラであっても、子供や友人など主要被写体の顔ではなく、見知らぬ人物の顔を検出し、見知らぬ人物の顔領域に基づいて撮影条件の設定を行ってしまうことがある。このような不具合に対し、顔検出機能によって検出された顔に対してさらに顔認識を行うことで、主要被写体を特定し、特定した顔に対して撮影条件の設定を行うことが考えられる。

しかし、顔認識機能についても、別の人物であると誤認識をしてしまうことが考えられる。このような課題に対し、引用文献１には、画像データ中の人物画像を認識する人物画像認識手段と、認識結果を修正するための修正入力を受け付ける修正入力受付手段を備え、修正入力受付手段によって修正入力が受け付けられると、その修正入力にしたがって、認識結果を修正する画像管理装置が記載されている。この装置によれば、人物を誤認識した場合であっても、認識結果を修正することができるので、個々の画像データに対して、正確な情報を付加することができる。

特開２００７−２６３１６号公報

近年の記録メディア容量の急増により、ユーザが記録枚数を気にせずに多数の写真を撮影するようになってきた。特にＣＭＯＳなど高速連写カメラの登場により、数十枚の連写も気軽に記録するようになっている。このような大量の画像に対して顔認識を行い、認識結果をメタ情報として画像に付加する場合も考えられる。

しかしながら、特許文献１の技術では、認識結果の修正を行う画像が複数ある場合には、画像の数だけ修正作業を行う必要がある。このように、大量の画像に対して１枚ずつ目視で誤認識の確認、及び人物情報の修正を行うことは、多くの時間と手間がかかり、ユーザにとって負担となるという問題点があった。さらに、特許文献１の技術は修正に手間がかかるために、デジタルカメラや携帯電話等の操作部が小型の装置への応用は適さないという欠点があった。

本発明はこのような事情に鑑みてなされたもので、画像のメタ情報として付加された被写体情報の修正を迅速に行うことができる画像管理装置、画像管理方法及びプログラム、ならびに撮像装置を提供することを目的とする。

前記目的を達成するために請求項１に記載の画像管理装置は、被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存手段と、所望の被写体をユーザが指定する被写体指定手段と、前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索手段と、前記抽出された画像データの画像情報を表示手段に表示する表示制御手段と、前記表示された画像情報に基づいて、前記指定した被写体が画像情報に含まれていない画像データの被写体情報をユーザが所定の情報に修正する被写体情報修正手段と、前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択手段と、前記選択された画像データの被写体情報を前記所定の情報に自動修正する自動修正手段とを備えたことを特徴とする。

請求項１に記載の発明によれば、検索された画像データのうち被写体情報に誤りのある画像データの被写体情報を所定の情報に修正した場合に、被写体情報を修正する必要のある他の画像データを自動選択して選択された画像データの被写体情報を前記所定の情報に自動修正するようにしたので、被写体情報の修正を迅速に行うことができる。

前記目的を達成するために請求項２に記載の画像管理装置は、被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存手段と、所望の被写体をユーザが指定する被写体指定手段と、前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索手段と、前記抽出された画像データの画像情報を表示手段に表示する表示制御手段と、前記表示された画像情報に基づいて、前記指定した被写体が画像情報に含まれていない画像データの被写体情報をユーザが所定の情報に修正する被写体情報修正手段と、前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択手段と、前記選択された画像データを前記表示手段に表示することにより、ユーザに被写体情報に誤りがある画像を提示する要修正画像提示手段とを備えたことを特徴とする。

請求項２に記載の発明によれば、検索された画像データのうち被写体情報に誤りのある画像データの被写体情報を所定の情報に修正した場合に、被写体情報を修正する必要のある他の画像データを表示してユーザに修整を促すようにしたので、被写体情報の修正を迅速に行うことができる。

請求項３に示すように請求項２に記載の画像管理装置において、前記要修正画像提示手段は、前記画像データのうち、画像情報、画像名、画像番号、画像識別子のうち少なくとも１つを前記表示手段に表示することを特徴とする。

これにより、適切にユーザに被写体情報の修正を促すことができる。

請求項４に示すように請求項１から３のいずれかに記載の画像管理装置において、前記要修正画像選択手段は、前記被写体情報が修正された画像データの画像情報と共に撮影された連写画像の画像データを選択する手段、前記被写体情報が修正された画像データの画像情報と構図が類似する画像情報の画像データを選択する手段、及び前記被写体情報が修正された画像データと撮影日時が近い画像データを選択する手段、のうち少なくとも１つの手段を備えたことを特徴とする。

これにより、適切に被写体情報を修正する必要のある他の画像データを選択することができる。

請求項５に示すように請求項１から４のいずれかに記載の画像管理装置において、前記被写体情報は、被写体の名前、画像内の位置、大きさ、向き、確からしさの少なくとも１つの情報であることを特徴とする。

これにより、適切に画像の検索を行い、被写体情報を修正することができる。

請求項６に示すように請求項１から５のいずれかに記載の画像管理装置において、前記被写体情報は、人物に関する情報であることを特徴とする。

これにより、人物情報の修正を迅速に行うことができる。

前記目的を達成するために請求項７に記載の撮像装置は、請求項１から６のいずれかに記載の画像管理装置を有する撮像装置において、画像信号を取得する撮像手段と、前記画像信号に基づいて被写体を検出する検出手段と、前記検出した被写体の被写体情報を付与する被写体情報付与手段とを備えたことを特徴とする。

これにより、撮像した画像に被写体情報を付与することができ、さらに被写体情報の修正を迅速に行うことができる。

請求項８に示すように請求項７に記載の撮像装置において、被写体毎の特徴を記憶する被写体辞書と、前記被写体辞書に基づいて前記検出した被写体を特定する被写体認識手段とを備え、前記被写体情報付与手段は、前記特定結果に基づいて被写体情報を付与することを特徴とする。

これにより、被写体辞書を用いて適切に被写体情報を付与することができる。

前記目的を達成するために請求項９に記載の画像管理方法は、被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存工程と、ユーザからの所望の被写体の指定を受け付ける被写体指定受付工程と、前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索工程と、前記抽出された画像データの画像情報を表示手段に表示する表示制御工程と、前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付工程と、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正工程と、前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択工程と、前記選択された画像データの被写体情報を前記所定の情報に自動修正する自動修正工程とを備えたことを特徴とする。

前記目的を達成するために請求項１０に記載の画像管理方法は、被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存工程と、ユーザからの所望の被写体の指定を受け付ける被写体指定受付工程と、前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索工程と、前記抽出された画像データの画像情報を表示手段に表示する表示制御工程と、前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付工程と、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正工程と、前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択工程と、前記選択された画像データを前記表示手段に表示することにより、ユーザに被写体情報に誤りがある画像を提示する要修正画像提示工程とを備えたことを特徴とする。

前記目的を達成するために請求項１１に記載のコンピュータに実現させるための画像管理プログラムは、被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存機能と、ユーザからの所望の被写体の指定を受け付ける被写体指定受付機能と、前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索機能と、前記抽出された画像データの画像情報を表示手段に表示する表示制御機能と、前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付機能と、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正機能と、前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択機能と、前記選択された画像データの被写体情報を前記所定の情報に自動修正する自動修正機能とを備えたことを特徴とする。

前記目的を達成するために請求項１２に記載のコンピュータに実現させるための画像管理プログラムは、被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存機能と、ユーザからの所望の被写体の指定を受け付ける被写体指定受付機能と、前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索機能と、前記抽出された画像データの画像情報を表示手段に表示する表示制御機能と、前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付機能と、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正機能と、前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択機能と、前記選択された画像データを前記表示手段に表示することにより、ユーザに被写体情報に誤りがある画像を提示する要修正画像提示機能とを備えたことを特徴とする。

本発明によれば、画像のメタ情報として付加された被写体情報の修正を迅速に行うことができる。

人物情報の修正処理を示すフローチャート人物情報の修正処理の各工程の概要を示す図一連の連写画像を示す図構図が類似している画像を示す図画像解析について説明するための図人物情報の修正処理の各工程の概要を示す図人物情報の修正処理の各工程の概要を示す図検索結果の表示が異なる実施形態を示す図デジタルカメラ１０の電気的構成を示す図

以下、添付図面に従って本発明に係る画像管理装置、画像管理方法及びプログラム、ならびに撮像装置の好ましい実施の形態について説明する。

＜画像管理装置の構成＞
最初に、本発明に係る画像管理装置の具体的な適用例としてのデジタルカメラ１０について説明する。

図９は、本発明の一実施形態に係るデジタルカメラ１０の電気的構成を示す図である。同図に示すように、デジタルカメラ１０は、撮像部１１、信号処理部１４、画像入力コントローラ１５、ＣＰＵ１６、操作部１７、バス１８、メモリ制御部１９、メモリ２０、デジタル信号処理部２１、圧縮伸張処理部２２、顔検出部２３、顔認識部２４、画像検索部２５、記録媒体２７、及び表示部２９等から構成される。

各部はＣＰＵ１６に制御されて動作し、ＣＰＵ１６は、操作部１７からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ１０の各部を制御する。操作部１７は、ユーザがデジタルカメラ１０に各種の指令を入力するための操作部材であり、シャッターボタン、モード切換スイッチ等から構成される。

撮像部１１は、撮像レンズ１２及び撮像素子１３から構成される。撮像レンズ１２は、ズームレンズ、フォーカスレンズを含み、各レンズ駆動部（不図示）に駆動されて、ズーミング、フォーカシングを行う。

撮像素子１３は、撮像レンズ１２の後段に配置されており、レンズ１２を透過した被写体光を受光する。撮像素子１３の受光面には多数の受光素子が二次元的に配列されており、各受光素子に対応して、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。受光面上に結像された被写体光は、各受光素子によって電気信号に変換され、蓄積される。

各受光素子に蓄積された電気信号は、垂直転送路（不図示）に読み出される。垂直転送路は、この信号をタイミングジェネレータから供給されるクロックに同期して、１ラインずつ水平転送路（不図示）に転送する。さらに水平転送路は、垂直転送路から転送された１ライン分の信号を、タイミングジェネレータ（不図示）から供給されるクロックに同期して信号処理部１４へ出力する。

信号処理部１４は、画像信号に含まれるリセットノイズを除去するための相関２重サンプリング回路（不図示）と、設定された撮影感度（ＩＳＯ感度）に応じた所定のゲインで画像信号をアナログ的に増幅するための可変ゲインアンプ回路（不図示）とを含み、撮像素子１３から出力された画像信号のリセットノイズを除去して増幅する。さらに、信号処理部１４はＡ／Ｄ変換器（不図示）を備えており、所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換部において所定ビットの階調幅を持ったデジタルの画像信号に変換される。この画像信号は、いわゆるＲＡＷデータであり、画素毎にＲ、Ｇ、Ｂの濃度を示す階調値を有している。

信号処理部１４から出力されたＲＡＷデータは、画像入力コントローラ１５に入力される。画像入力コントローラ１５は、所定容量のラインバッファを内蔵しており、信号処理部１４から出力された画像信号を蓄積する。これらの画像信号は、バス１８、メモリ制御部１９を介してメモリ２０に格納される。

デジタル信号処理部２１は、ＡＷＢゲイン算出部、ＡＷＢ処理部、ＲＧＢ／ＹＣ変換部等を含んで構成されており、メモリ２０に格納されたＲ、Ｇ、ＢのＲＡＷデータを読み出し、これらに光源種に応じたデジタルゲインをかけることでホワイトバランス調整を行うとともに、ガンマ（階調特性）処理及びシャープネス処理を行ってＲ、Ｇ、Ｂ信号を生成し、更にＹＣ信号処理して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（ＹＣ信号）を生成し、そのＹＣ信号を再びメモリ２０に格納する。

圧縮伸張処理部２２は、ＣＰＵ１６からの圧縮指令に従い、入力されたＹＣ信号に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１６からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

顔検出部２３は、メモリ２０に格納された画像信号から人物の顔を検出し、検出した顔の画像内の位置、サイズ、向きを検出する。

顔認識部２４は、複数の人物の顔の特徴が登録された人物辞書を用いて、顔検出部２３によって検出された人物の顔について、人物辞書の各登録人物の顔のうち最も類似度が高い登録人物を抽出し、その登録人物の顔であると特定する。また、その認識結果の確からしさとして、０〜１００％で表される顔認識の判定スコアを算出する。確からしさは、顔検出部２３により検出された人物の顔と、登録人物のうち特定した人物の顔の類似度が高いほど、高い値が割り当てられる。

画像検索部２５は、記録媒体２７に記録されている複数の画像の中から、後述する各画像のメタ情報を読み出すことにより、操作部１７によってユーザに指定された検索条件に合致する画像を抽出する。

記録媒体制御部２６は、ＣＰＵ１６からの指令に従い、記録媒体２７に対してデータの読み／書きを制御する。記録媒体２７は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。

記録媒体２７に記録される画像データは、画像本体を示す画像情報部分と、画像の付帯情報を示すメタ情報部分とから構成される。

画像情報部分には、撮像部１１で撮影した画像信号のＹＣ信号が記録される。メタ情報部分には、その画像情報部分に撮影されている人物の人物情報として、名前、生年月日、属性、重要度、性別、画像内の位置、サイズ、向き、確からしさ等が記録されている。これらの情報は、デジタルカメラ１０によって画像が撮影された際の、顔検出部２３により検出された顔の画像内の位置、サイズ、向きと、顔認識部２４による特定結果に基づいている。

表示制御部２８は、ＣＰＵ１６からの指令に従い、表示部２９への表示を制御する。表示部２９には、例えば、カラー液晶ディスプレイが用いられる。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いてもよい。表示部２９は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示部２９は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。さらに、表示部２９をタッチパネル構成とし、このタッチパネルを操作部１７として用いてもよい。

＜第１の実施形態＞
図１は、本実施形態における画像の人物情報の修正処理を示すフローチャートであり、図２は、この修正処理の各工程の概要を示す図である。ここでは、図２のプロセスＰ１に示すように、予め記録媒体２７に複数の画像データが記録されているものとする。

まず、ユーザは、記録媒体２７に記録された画像の中から検索したい人物を指定する（ステップＳ１、プロセスＰ２）。人物の指定方法は、例えば操作部１７を用いてその人物の名前を入力してもよいし、表示部２９に表示された画像から指定してもよい。ここでは、検索したい人物の人物名「ＴＡＲＯ」を、操作部１７から入力したものとする。

次に、記録媒体２７に記録されている各画像を各画像の被写体情報に基づいて検索し、ステップＳ１で指定された人物と同じ人物が撮影されている画像を抽出する（ステップＳ２）。具体的には、画像検索部２５が、記録媒体２７に記録されている各画像の人物情報を読み出し、名前が「ＴＡＲＯ」である画像を抽出する。なお、検索された条件に該当する画像が存在しない場合には、処理を終了する。

ここでは、プロセスＰ３に示すように、検索結果として画像１０１〜１０６の６枚の画像が抽出されたものとする。即ち、この６枚の画像の人物情報には、人物名が「ＴＡＲＯ」として記録されている。しかし実際には、画像１０４及び１０５は、人物名「ＴＡＲＯ」に該当する人物が撮影されていないものとする。

ユーザは、検索結果として抽出されたそれぞれの画像を閲覧することができる（ステップＳ４〜Ｓ７）が、人物情報に誤りがある場合には、その人物情報を修正することができる（ステップＳ８〜Ｓ１０）。

例えば、ユーザは、プロセスＰ２に示す６枚の画像を、表示部２９を用いてそれぞれ閲覧することができる。画像の表示方法は、表示部２９に１枚ずつ表示してもよいし、複数の画像を１画面に同時に並べて表示してもよい。

ここで、画像１０４には人物名「ＴＡＲＯ」に該当する人物が撮影されていないため、画像１０４を閲覧したユーザは、画像１０４の人物情報に誤りがあることを発見する（ステップＳ５）。ユーザは、操作部１７を操作することで（プロセスＰ４）、人物情報の詳細閲覧画面を表示部２９に表示させることができる（プロセスＰ５）。

この画面は、図２のプロセスＰ５に示すように、画像データのメタ情報に記録された人物情報の他、画像内における該当人物の顔領域画像が拡大表示される。ここでは、プロセスＰ４において画像１０４を選択しているため、画像１０４に撮影されている人物の顔領域画像１０４´が表示されている。

ユーザは、この詳細閲覧画面を表示させた状態で、操作部１７を用いて人物情報を修正することが可能である。人物情報の修正は、全ての項目をユーザが入力して行ってもよいし、ユーザが名前の項目を入力することにより、入力された名前に該当する人物情報を人物辞書から参照し、名前以外の項目を自動的に修正してもよい。例えば、名前の欄に「ＨＡＮＡＫＯ」と入力すると、ＣＰＵ１６が人物辞書から人物名「ＨＡＮＡＫＯ」に該当する登録人物を検索し、誕生日や属性など、名前以外の情報を読み出し、読み出した情報を用いて自動的に修正する。

人物情報の修正が終了すると、該当画像のメタ情報の人物情報が修正内容に基づいて書き換えられる。即ち、画像１０４の人物情報は、「ＴＡＲＯ」の情報から「ＨＡＮＡＫＯ」の情報に変更される（ステップＳ８、プロセスＰ６）。このとき、画像１０４の人物情報には予め「ＴＡＲＯ」についての確からしさの情報が記録されているが、この情報は、「ＨＡＮＡＫＯ」に対する確からしさとして、１００％に変更される。

次に、抽出された画像の中に、人物情報を修正した画像と類似する画像があるか否かを判定する（ステップＳ９）。図２の例では、検索結果である６枚の画像１０１〜１０６の中に、人物情報を修正した画像１０４と類似する画像があるか否かを判定する。

類似画像の抽出については、例えば図３（ａ）〜（ｃ）に示すような、一連の連写画像を類似画像であるとして抽出することが考えられる。これらの各画像は、メタ情報に連写フラグが記録されており、このメタ情報により一連の連写画像であることを判別することができる。また、メタ情報に連写フラグが記録されていない場合は、各画像の撮影日時がほぼ同じである場合に、連写画像と判断してもよい。

また、類似画像の抽出について、図４（ａ）〜（ｃ）に示すような、構図が類似している画像を類似画像であるとして抽出してもよい。構図が類似するか否かは、それぞれの画像を解析することにより判定する。

この画像解析は、例えば図５に示すように、全画像領域を縦３×横４＝１２の局所領域に分割し、各局所領域についてＲＧＢ毎のヒストグラムを算出する。各色の分布を１６段階とすると、１枚の画像の特徴ベクトル

の次元数は、１２領域×３色×１６段階＝５７６次元となる。ここで、画像ｉの特徴ベクトルを

、画像ｊの特徴ベクトルを

とすると、画像ｉと画像ｊの類似度ｓｉｍは、以下の式で表される。

即ち、画像ｉと画像ｊの類似度ｓｉｍは、両画像の特徴ベクトル［数２］、［数３］の内積により算出される。このように、画像の構図の類似度を算出することができる。

上記のような方法により、抽出された画像の中から、人物情報を修正した画像の類似画像を抽出する。類似画像が存在する場合は、その類似画像の人物情報についても誤りであるとみなして、類似画像の人物情報をステップＳ８で修正した人物情報を用いて修正する（ステップＳ１０）。プロセスＰ７の場合であれば、画像１０４の類似画像と判定された画像１０５の人物情報を、プロセスＰ５において修正した「ＨＡＮＡＫＯ」の情報に自動的に修正する。なお、画像１０５の人物情報には予め「ＴＡＲＯ」についての確からしさの情報が記録されているが、この情報は、「ＨＡＮＡＫＯ」に対する確からしさとして、画像１０４と画像１０５の類似度に応じた値に変更される。

これらの処理を、抽出された全ての画像について行う（ステップＳ７）。プロセスＰ８は、人物情報修正後の検索結果を示す図であり、プロセスＰ３に示す６枚の画像から、人物名「ＴＡＲＯ」に該当する人物が撮影されていなかった画像１０４、１０５が削除され、４枚の画像となっている。

このように、人物情報が修正された場合に、修正された画像に類似する画像についても同様の修正が必要であると判断し、自動的に人物情報を修正することで、画像を１枚ずつ修正する必要がなくなり、ユーザの修正負担を軽減することができる。

本実施形態では、ステップＳ２の検索結果として抽出されたそれぞれの画像を閲覧する場合に、表示部２９に画像をそのまま表示したが（ステップＳ４〜Ｓ６、プロセスＰ４）、抽出された画像内の該当人物の顔領域画像を拡大表示してもよい。例えば、図８のプロセスＰ３１に示す例では、プロセスＰ３において抽出された６枚の画像１０１〜１０４、１０６、１０７について、各画像の該当人物の顔領域画像１０１´〜１０４´、１０６´、１０７´を表示部２９に一覧表示させている。このように表示させることで、検索結果の確認を容易に行うことができる。

ここで、プロセスＰ３１における検索結果表示画面において、ユーザが操作部１７を用いて人物情報に誤りのある画像１０４´を選択すると、表示部２９には、プロセスＰ３２に示すように一旦その画像１０４が表示された後、プロセスＰ３３に示すように人物情報の詳細閲覧画面が表示される。

その後人物情報を修正すると、表示部２９はプロセスＰ３４に示すように検索結果を示す画面表示に戻るが、このとき、人物情報が修正された画像１０４の顔領域画像１０４´が削除されていると共に、顔領域画像１０４´が表示されていた位置が空白になっている。

このように表示させることで、人物情報を修正したことにより、修正した画像が検索結果から排除されたことをユーザに認識させることができる。

＜第２の実施形態＞
図６は、第２の実施形態における画像の人物情報の修正処理の各工程の概要を示す図である。なお、図２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第１の実施形態と同様に、ユーザは、記録媒体２７に記録された画像（プロセスＰ１）の中から検索したい人物（人物名「ＴＡＲＯ」）を指定する（プロセスＰ２）。その検索結果として画像１０１〜１０６の６枚の画像が抽出される（プロセスＰ３）。

さらにユーザは、画像１０４の人物情報に誤りがあることを発見し、操作部１７を操作することで（プロセスＰ４）、人物情報の詳細閲覧画面を表示部２９に表示させ（プロセスＰ５）、画像１０４の人物情報の修正を行う（人物名「ＨＡＮＡＫＯ」に修正）。

人物情報の修正が終了すると、画像１０４のメタ情報の人物情報が修正内容に基づいて書き換えられる。ここで、デジタルカメラ１０は、抽出された６枚の画像の中に、人物情報を修正した画像１０４と類似する画像があるか否かを判定する。類似画像の抽出については、第１の実施形態と同様に行なえばよい。

ここで、類似画像が存在する場合は、その類似画像の人物情報についても誤っている可能性があると判断し、表示部２９にその類似画像を表示して提示する（プロセスＰ１１）。類似画像と共に、表示部２９に「この人物の情報を修正しますか？」等の文字を表示させ、ユーザに修正を促してもよい。また、画像自体を表示するのではなく、類似画像の画像名、画像番号、画像識別子を表示してもよいし、これらのものを複数組み合わせて表示してもよい。図６の例では、画像１０５が、人物情報を修正した画像１０４に類似すると判断されて表示されている。

ここで、ユーザは、操作部１７を操作することにより、人物情報の詳細閲覧画面を表示部２９に表示させることができる（プロセスＰ１２）。この画面を表示させた状態で、操作部１７を用いて人物情報を修正することが可能である。

画像１０５の人物情報を「ＴＡＲＯ」から「ＨＡＮＡＫＯ」に修正すると、図６のプロセスＰ８に示すように、検索結果として４枚の画像が抽出された状態となる。

このように、人物情報が修正された場合に、修正された画像に類似する画像についても人物情報が誤っている可能性があると判断し、提示を行い、また修正を促すことで、画像を１枚ずつ確認する必要がなくなり、ユーザの修正負担を軽減することができる。

なお、プロセスＰ１１において、類似画像１０５の人物情報について、人物情報を修正した画像１０４と同様の修正を行うか否かをユーザに問いかけ、ＯＫが選択された場合に類似画像１０５の人物情報を自動的に修正する態様も可能である。このように構成することで、画像を１枚ずつ確認しつつ修正作業を省略できるので、誤修正することなくユーザの修正負担を軽減することができる。

＜第３の実施形態＞
図７は、第３の実施形態における画像の人物情報の修正処理の各工程の概要を示す図である。本実施形態においては、デジタルカメラ１０がユーザ操作に寄らずに自動的に人物情報の誤りを発見し、修正を行う。この修正処理は、例えば一定時間以上ユーザ操作が行われなかったときに行う。

デジタルカメラ１０は、記録媒体２７に記録された画像（プロセスＰ１）の中から、類似画像のグルーピング処理を行う（プロセスＰ２１）。

図７に示す例では、各画像をグループ１１１〜１１５の５つのグループに分類している。このグルーピング処理は、一連の連写画像を１つのグループとして分類したり、構図が類似する画像を１つのグループとして分類したり、撮影日時が近い画像を１つのグループとして分類したりすることが考えられる。

画像検索部２５は、各グループの画像について画像毎の人物情報を読み出し、グループ毎に同一の人物を含む画像であるか否かを判断する（プロセスＰ２２）。デジタルカメラ１０は、同一グループでありながら人物情報が異なっている場合に、人物情報が誤っているものとみなす。

図７に示す例では、グループ１１３の３枚の画像１２１〜１２３のうち、画像１２１、１２２の人物情報と画像１２３の人物情報とが異なっているものとする。したがって、画像１２３の人物情報が誤っているものとみなし、画像１２３の人物情報を、画像１２１、１２２と同様の人物情報に自動的に修正する。

このように、類似画像のグルーピングを行い、各グループの画像毎の人物情報を参照することにより、人物情報に誤りがある画像を抽出することができ、自動的に修正することができる。

本明細書では、メタ情報に記録された人物情報のうち、名前に基づいて検索を行ない、人物情報を修正したが、検索を行って修正する情報は名前に限定されるものではなく、人物の画像内における位置、大きさ、向き、確からしさであってもよい。また、メタ情報の人物情報を修正する場合を例に説明したが、修正する情報は人物情報に限られず、例えば犬や猫等のペット情報であってもよい。

なお、本発明に係る画像管理装置、画像管理方法及びプログラム、ならびに撮像装置は、デジタルカメラの他、画像を表示する機能を有する装置（例えば、画像ビューワ、携帯電話、パーソナルコンピュータ）、及び該装置を制御するための表示制御プログラムとしても実現可能である。

１０…デジタルカメラ、１１…撮像部、１２…撮像レンズ、１３…撮像素子、１６…ＣＰＵ、１７…操作部、２０…メモリ、２３…顔検出部、２４…顔認識部、２５…画像検索部、２６…記録媒体制御部、２７…記録媒体、２８…表示制御部、２９…表示部、１０１〜１０７…画像、１０１´〜１０７´…顔領域画像

Claims

被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存手段と、
所望の被写体をユーザが指定する被写体指定手段と、
前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索手段と、
前記抽出された画像データの画像情報を表示手段に表示する表示制御手段と、
前記表示された画像情報に基づいて、前記指定した被写体が画像情報に含まれていない画像データの被写体情報をユーザが所定の情報に修正する被写体情報修正手段と、
前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択手段と、
前記選択された画像データの被写体情報を前記所定の情報に自動修正する自動修正手段と、
を備えたことを特徴とする画像管理装置。
被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存手段と、
所望の被写体をユーザが指定する被写体指定手段と、
前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索手段と、
前記抽出された画像データの画像情報を表示手段に表示する表示制御手段と、
前記表示された画像情報に基づいて、前記指定した被写体が画像情報に含まれていない画像データの被写体情報をユーザが所定の情報に修正する被写体情報修正手段と、
前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択手段と、
前記選択された画像データを前記表示手段に表示することにより、ユーザに被写体情報に誤りがある画像を提示する要修正画像提示手段と、
を備えたことを特徴とする画像管理装置。
前記要修正画像提示手段は、前記画像データのうち、画像情報、画像名、画像番号、画像識別子のうち少なくとも１つを前記表示手段に表示することを特徴とする請求項２に記載の画像管理装置。
前記要修正画像選択手段は、前記被写体情報が修正された画像データの画像情報と共に撮影された連写画像の画像データを選択する手段、前記被写体情報が修正された画像データの画像情報と構図が類似する画像情報の画像データを選択する手段、及び前記被写体情報が修正された画像データと撮影日時が近い画像データを選択する手段、のうち少なくとも１つの手段を備えたことを特徴とする請求項１から３のいずれかに記載の画像管理装置。
前記被写体情報は、被写体の名前、画像内の位置、大きさ、向き、確からしさの少なくとも１つの情報であることを特徴とする請求項１から４のいずれかに記載の画像管理装置。
前記被写体情報は、人物に関する情報であることを特徴とする請求項１から５のいずれかに記載の画像管理装置。
請求項１から６のいずれかに記載の画像管理装置を有する撮像装置において、
画像信号を取得する撮像手段と、
前記画像信号に基づいて被写体を検出する検出手段と、
前記検出した被写体の被写体情報を付与する被写体情報付与手段と、
を備えたことを特徴とする撮像装置。
被写体毎の特徴を記憶する被写体辞書と、
前記被写体辞書に基づいて前記検出した被写体を特定する被写体認識手段と、
を備え、
前記被写体情報付与手段は、前記特定結果に基づいて被写体情報を付与することを特徴とする請求項７に記載の撮像装置。
被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存工程と、
ユーザからの所望の被写体の指定を受け付ける被写体指定受付工程と、
前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索工程と、
前記抽出された画像データの画像情報を表示手段に表示する表示制御工程と、
前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付工程と、
前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正工程と、
前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択工程と、
前記選択された画像データの被写体情報を前記所定の情報に自動修正する自動修正工程と、
を備えたことを特徴とする画像管理方法。
被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存工程と、
ユーザからの所望の被写体の指定を受け付ける被写体指定受付工程と、
前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索工程と、
前記抽出された画像データの画像情報を表示手段に表示する表示制御工程と、
前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付工程と、
前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正工程と、
前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択工程と、
前記選択された画像データを前記表示手段に表示することにより、ユーザに被写体情報に誤りがある画像を提示する要修正画像提示工程と、
を備えたことを特徴とする画像管理方法。
被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存機能と、
ユーザからの所望の被写体の指定を受け付ける被写体指定受付機能と、
前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索機能と、
前記抽出された画像データの画像情報を表示手段に表示する表示制御機能と、
前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付機能と、
前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正機能と、
前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択機能と、
前記選択された画像データの被写体情報を前記所定の情報に自動修正する自動修正機能と、
を備えたことを特徴とするコンピュータに実現させるための画像管理プログラム。
被写体に関する情報である被写体情報がメタ情報として被写体の画像情報に付加された画像データを記録手段に保存する画像保存機能と、
ユーザからの所望の被写体の指定を受け付ける被写体指定受付機能と、
前記記録手段に保存された画像データを被写体情報に基づいて検索し、前記指定された被写体を被写体情報に含む画像データを抽出する画像検索機能と、
前記抽出された画像データの画像情報を表示手段に表示する表示制御機能と、
前記表示された画像情報に基づいたユーザからの指示であって、前記指定した被写体が画像情報に含まれていない画像データの被写体情報を所定の情報へ修正するための指示を受け付ける修正指示受付機能と、
前記指定した被写体が画像情報に含まれていない画像データの被写体情報を前記ユーザが指示した所定の情報に修正する被写体情報修正機能と、
前記被写体情報が修正された画像データに基づいて、前記抽出された画像データの中から被写体情報を修正する必要のある画像データを自動選択する要修正画像選択機能と、
前記選択された画像データを前記表示手段に表示することにより、ユーザに被写体情報に誤りがある画像を提示する要修正画像提示機能と、
を備えたことを特徴とするコンピュータに実現させるための画像管理プログラム。