JP4748656B2 - 画像管理装置及びその制御方法、並びにプログラム及び記憶媒体 - Google Patents

Description

本発明は、画像管理装置及びその制御方法、並びにプログラム及び記憶媒体に関し、特に、画像データを検索するために用いられるキーワードを付加する画像管理装置及びその制御方法、並びにプログラム及び記憶媒体に関する。

従来、デジタルカメラで撮影した画像データをパーソナルコンピュータに取り込んだ上で、管理することが広く行われている。また、撮影した画像データを検索し易くするために、画像データにキーワードを付加する手法も広く用いられている。しかし、手動で画像データにキーワードを付加する作業は労力を要するものであった。

これに対して、カメラで撮影を行う際に、画像に写っている人の数をカウントして、この数を画像データと共に記録することが提案されている。この提案では、人数のキーワードを画像データに付加するのにユーザが手動で行う必要がない（例えば、特許文献１参照）。
特願平１１−９８０４９号公報

しかしながら、特許文献１の装置では、人数以外の情報は記録されないため、人数以外のキーワードで検索するためには、それらのキーワードを画像データに手動で付加しておく必要があった。

本発明の目的は、集合写真・ポートレート・風景等のキーワードを自動で適切に画像データに付加する画像管理装置及びその制御方法、並びにプログラム及び記憶媒体を提供することにある。

上記の目的を達成するために、請求項１記載の画像管理装置は、画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数と該画像に写っている各人物の画像中での位置とを取得する取得手段と、前記取得手段で取得した人数と位置とに基づいて、前記画像の中央から第１の範囲内に写っている人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定手段と、前記取得手段で取得した人数と位置とに基づいて、画像の中央から前記第１の範囲よりも広い第２の範囲内に写っている人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定手段と、前記画像に対して、前記第１の判定手段で真と判定された場合に第１の付加情報を付加し、前記第２の判定手段で真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理手段とを有することを特徴とする。

請求項２記載の画像管理装置は、画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数と該画像に写っている各人物の画像中におけるサイズとを取得する取得手段と、前記取得手段で取得した人数とサイズとに基づいて、前記画像中でのサイズが第１のサイズ以上である人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定手段と、前記取得手段で取得した人数とサイズとに基づいて、前記画像中でのサイズが前記第１のサイズよりも小さい第２のサイズ以上である人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定手段と、前記画像に対して、前記第１の判定手段で真と判定された場合に第１の付加情報を付加し、前記第２の判定手段で真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理手段とを有することを特徴とする。

請求項３記載の画像管理装置は、画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数、該画像に写っている各人物の画像中での位置、及び各人物の画像中におけるサイズを取得する取得手段と、前記取得手段で取得した情報に基づいて、前記画像の中央から第１の範囲内に写っている第１のサイズ以上の人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定手段と、前記取得手段で取得した情報に基づいて、画像の中央から前記第１の範囲よりも広い第２の範囲内に写っている前記第１のサイズよりも小さい第２のサイズ以上の人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定手段と、前記画像に対して、前記第１の判定手段で真と判定された場合に第１の付加情報を付加し、前記第２の判定手段で真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理手段とを有することを特徴とする。

本発明によれば、集合写真・ポートレート・風景等のキーワードの画像データへの付加を手動で行う必要をなくし、かつ、より適切に付加することができる。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の第１の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。

図１において、図１の画像データ検索装置は、処理装置１００と、処理装置１００に、夫々接続された人物検索ユニット１０１、登録ユニット１０３、及び表示ユニット１０６とを備える。処理装置１００は、互いに直列に接続された人物検出ユニット１０４、画像データ管理ユニット１０５、及びキーワード管理ユニット１０２を備える。

登録ユニット１０３は検索対象となる画像データを登録する。人物検出ユニット１０４は登録する画像データから人物を検出し、さらに、画像に写っている人物の人数、顔の大きさ、顔の位置を検出する。

キーワード管理手段１０２は、検索のために画像データに付加する後述する図２のキーワードを管理する。また、本実施の形態では、キーワードと共に、当該キーワードを画像に付加する条件として、画像中の人物の数、顔の大きさ、顔の位置を対応付けて管理する。

画像管理手段１０５は、検索対象となる画像データを管理し、さらに、画像管理手段１０５は、人物検出手段１０４が検出した人数、顔の大きさ、位置に応じて、それらにふさわしいキーワードをキーワード管理手段１０２から取得し、それらを画像データと共に保存する。検索手段１０１は、キーワードを指定することにより画像の検索を行う。表示手段１０６は、検索結果を表示する。

図２は、図１におけるキーワード管理ユニット１０２によって管理されるキーワードの例を示す図である。

図２において、キーワードの名称５０１には、ポートレート、ペア、集合写真、風景写真がある。人数５０２には、キーワードが対応付けられている。例えば、ポートレートは１となっており、画像に写っている人物が１人であることがポートレートであることの必要条件であることを示している。同様に、ペアは２人、集合写真は３人以上、風景は０人、つまり人物が写っていないことが、それぞれ必要条件であることを示している。顔面積の下限５０３は、顔と判別される最小の面積であり、これ以下のサイズの顔は有効な顔として判定しない。例えば、図２では、ポートレートの場合、顔として判別されるには、画像全体の１／８以上の面積であることが必要である。顔の存在範囲５０４は、この範囲にある顔を有効な顔として判定する。例えば、図２では、ポートレートの場合、中央を中心に１／２の面積の領域にある顔を有効な顔として判定する。それ以外の領域の顔は有効な顔として判定しない。顔面積の下限５０３と顔の存在範囲５０４によって、必要以上に小さく写っている顔や、画像の端に映っている顔を顔としては認識しないようにできる。

図３は、図１の画像データ検索装置によって実行される画像登録処理の手順を示すフローチャートである。

図３において、ユーザが登録ユニット１０３に対して画像データの登録を指示すると（ステップＳ２０１）、人物検出ユニット１０４は、登録される画像データを分析し、写っている人数、顔の大きさ、顔の位置を検出する（ステップＳ２０２）。これは、所定の顔検出技術、又は人物検出技術によって実現される。例えば、顔の輪郭や目等の形状をパターンマッチングによって探し出す。

次に、画像管理ユニット１０５は、人物検出ユニット１０４が検出した情報に基づき、キーワード管理ユニット１０２が管理する各キーワードがあるか否か（図２）を判別し（ステップＳ２０４）、キーワードが成立しないときは、直ちに本処理を終了すると共に、キーワードが成立するとき、画像管理手段１０５は、対応するキーワードを画像データに付加し、画像データとキーワードを保存し（ステップＳ２０３）、本処理を終了する。例えば、図５のポートレートというキーワードの場合、画像に写っている人数が１人であり、その顔が画像の１／８以上の面積であり、画像の中央１／２の範囲にあるか否かを判別し、当該画像がその条件を満たせば、ポートレートというキーワードを画像に付加する。

図６は、図１の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。

図６において、ユーザが検索ユニット１０１に対してキーワードを指定して画像データの検索を指示すると、画像管理ユニット１０５は指定されたキーワードを持つ画像データを検索し、指定されたキーワードをもつ画像データがあるか否かを判別し（ステップＳ６０２）、指定されたキーワードをもつ画像データがないときは、直ちに本処理を終了すると共に、あるときは、表示ユニット１０６が対応するその画像を表示して（ステップＳ６０３）、本処理を終了する。例えば、ポートレートというキーワードが指定されたときは、登録時に人物検出ユニット１０４によってポートレートというキーワードが自動的に付加された画像データが検索される。

本実施の形態によれば、画像データから検出された人数等の情報に基づいて合致するキーワードがあるときは（ステップＳ２０４でＹＥＳ）、対応するキーワードを付加する（ステップＳ２０３）ので、画像データ登録時にユーザが明示的に画像データキーワードを登録しなくても、画像データにキーワードを付加することができ、検索時にはキーワードのマッチングのみを行えばよく、検索を高速に行うことができる。

なお、本実施の形態において、図２の顔面積の下限５０３と顔の存在範囲５０４は、キーワードごとに持つように構成したが、これはキーワード全体で１つだけ持つようにしてもよい。その場合は、すべてのキーワードでこの設定を共用することになる。また、顔面積の下限５０３は、顔の面積としたが、人物の全身や他の部位の面積としてもよい。同様に５０４は、人物の全身や他の部位の存在範囲としてもよい。

また、本実施の形態において、画像登録時に、画像に写っている人数、顔の大きさ、顔の位置を検出し、それによってキーワードを付加するように構成したが、登録時ではなく、システムがアイドル状態（何も処理していない状態）のとき、すでに登録された画像に対して行われるようにしてもよい。その場合は、図３のステップＳ２０２、ステップＳ２０４、ステップＳ２０３の処理はアイドル状態のときに行われる。

上記第１の実施の形態では、画像データの登録時又はシステムのアイドル時に、画像中の被写体の人数を検出し、それに応じたキーワードを画像に付加しているが、本発明の第２の実施の形態のようにキーワード検索時に画像中の被写体の人数を検出するようにしてもよい。

図５は、本発明の第２の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。

本第２の実施の形態は、その構成が上記第１の実施の形態と基本的に同じであり、同じ構成要素については同一の符号を付して重複した説明を省略する。

図５の画像データ検索装置は、処理装置２００と、処理装置２００に、夫々接続された人物検索ユニット１０１、登録ユニット１０３、及び表示ユニット１０６とを備える。処理装置２００は、互いに直列に接続されたキーワード管理ユニット１０２、人物検出ユニット４０４、及び画像データ管理ユニット４０５を備える。

画像管理ユニット４０５は、第１の実施の形態とは異なり、キーワードと関連付けて保存せず、画像データのみを管理する。人物検出ユニット４０４は、画像管理ユニット４０５が管理する画像に写っている人物の人数、顔の大きさ、顔の位置の検出を、第１の実施の形態とは異なり、画像を登録した時点では検出は行わず、キーワード検索する際に検出する。

また、この画像データ検索装置は、画像データ登録時に、第１の実施の形態とは異なり、図２の画像登録処理は実行せず、画像管理ユニット４０５が画像データを周知の所定の方式で保存する。

図４は、図５の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。

図４において、画像データを検索するキーワードが指定されると（ステップＳ３０１）、人物検出ユニット４０４は、指定されたキーワードに対応付けられた画像に写っている人数、顔面積の下限、顔の存在範囲をキーワード管理ユニット１０２より取得し（ステップＳ３０２）、画像管理ユニット４０５は、これらの条件を満たす画像データがあるか否かを判別し（ステップＳ３０３）、取得した条件を満たす画像データがあるときは、表示ユニット１０６は対応する画像を表示して（ステップＳ３０４）、本処理を終了する。例えば、ポートレートがキーワードとして指定された場合、人物検出ユニット４０４は、ポートレートと対応付けられている画像に写っている人数、顔面積の下限、顔の存在範囲をキーワード管理ユニット１０２より取得する。そして、その条件を満たす画像を、画像管理ユニット４０５より検索し、あれば、表示ユニット１０６はそれを表示する。

本実施の形態によれば、取得した条件を満たす画像データがあるときは（ステップＳ３０３でＹＥＳ）、対向する画像を表示するので、画像データの登録時やシステムのアイドル時にキーワードを付加する必要なくなり、画像データ登録時には画像の登録及び保存のみを行えばよいので、登録を高速に行うことができ、またアイドル時にキーワードを付加する必要がなくなるので、システムをシンプルに構成することができる。

本発明の第１の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。 図１におけるキーワード管理ユニットによって管理されるキーワードの例を示す図である。 図１の画像データ検索装置によって実行される画像登録処理の手順を示すフローチャートである。 図１の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。 本発明の第２の実施の形態に係る画像データ検索装置の構成を概略的に示すブロック図である。 図５の画像データ検索装置によって実行される画像検索処理の手順を示すフローチャートである。

符号の説明

１００ 画像データ検索装置
１０１ 検索ユニット
１０２ キーワード管理ユニット
１０３ 登録ユニット
１０４ 人物検出手段
１０５ 画像管理ユニット
１０６ 表示ユニット

Claims (15)

1. 画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数と該画像に写っている各人物の画像中での位置とを取得する取得手段と、
   前記取得手段で取得した人数と位置とに基づいて、前記画像の中央から第１の範囲内に写っている人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定手段と、
   前記取得手段で取得した人数と位置とに基づいて、画像の中央から前記第１の範囲よりも広い第２の範囲内に写っている人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定手段と、
   前記画像に対して、前記第１の判定手段で真と判定された場合に第１の付加情報を付加し、前記第２の判定手段で真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理手段と
   を有することを特徴とする画像管理装置。
2. 画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数と該画像に写っている各人物の画像中におけるサイズとを取得する取得手段と、
   前記取得手段で取得した人数とサイズとに基づいて、前記画像中でのサイズが第１のサイズ以上である人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定手段と、
   前記取得手段で取得した人数とサイズとに基づいて、前記画像中でのサイズが前記第１のサイズよりも小さい第２のサイズ以上である人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定手段と、
   前記画像に対して、前記第１の判定手段で真と判定された場合に第１の付加情報を付加し、前記第２の判定手段で真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理手段と
   を有することを特徴とする画像管理装置。
3. 画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数、該画像に写っている各人物の画像中での位置、及び各人物の画像中におけるサイズを取得する取得手段と、
   前記取得手段で取得した情報に基づいて、前記画像の中央から第１の範囲内に写っている第１のサイズ以上の人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定手段と、
   前記取得手段で取得した情報に基づいて、画像の中央から前記第１の範囲よりも広い第２の範囲内に写っている前記第１のサイズよりも小さい第２のサイズ以上の人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定手段と、
   前記画像に対して、前記第１の判定手段で真と判定された場合に第１の付加情報を付加し、前記第２の判定手段で真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理手段と
   を有することを特徴とする画像管理装置。
4. 前記第２の付加情報は、集合写真を意味する付加情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像管理装置。
5. 前記第１の人数は２人であり、前記第１の付加情報はペアを意味する付加情報であることを特徴とする請求項１乃至４のいずれか１項に記載の画像管理装置。
6. 前記第１の人数は１人であり、前記第１の付加情報はポートレートを意味する付加情報であることを特徴とする請求項１乃至４のいずれか１項に記載の画像管理装置。
7. ユーザにより指定された検索条件に合致する画像を、前記画像管理手段で各画像に付加された付加情報に基づいて検索する検索手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の画像管理装置。
8. 前記人物検出を行う人物検出手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像管理装置。
9. 前記人物検出手段による人物検出及び前記画像管理手段による付加情報の付加は、当該画像管理装置がアイドル状態の時に行うように制御する制御手段を更に有することを特徴とする請求項８に記載の画像管理装置。
10. 前記画像管理手段は、前記画像に人物が写っていない場合には、風景写真であることを意味する第３の付加情報を付加することを特徴とする請求項１乃至９のいずれか１項に記載の画像管理装置。
11. 取得手段により、画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数と該画像に写っている各人物の画像中での位置とを取得する取得ステップと、
    第１の判定手段により、前記取得ステップで取得した人数と位置とに基づいて、前記画像の中央から第１の範囲内に写っている人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定ステップと、
    第２の判定手段により、前記取得ステップで取得した人数と位置とに基づいて、画像の中央から前記第１の範囲よりも広い第２の範囲内に写っている人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定ステップと、
    画像管理手段により、前記画像に対して、前記第１の判定ステップで真と判定された場合に第１の付加情報を付加し、前記第２の判定ステップで真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理ステップと
    を有することを特徴とする画像管理装置の制御方法。
12. 取得手段により、画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数と該画像に写っている各人物の画像中におけるサイズとを取得する取得ステップと、
    第１の判定手段により、前記取得ステップで取得した人数とサイズとに基づいて、前記画像中でのサイズが第１のサイズ以上である人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定ステップと、
    第２の判定手段により、前記取得ステップで取得した人数とサイズとに基づいて、前記画図中でのサイズが前記第１のサイズよりも小さい第２のサイズ以上である人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定ステップと、
    画像管理手段により、前記画像に対して、前記第１の判定ステップで真と判定された場合に第１の付加情報を付加し、前記第２の判定ステップで真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理ステップと
    を有することを特徴とする画像管理装置の制御方法。
13. 取得手段により、画像に対する人物検出によって検出された情報である、該画像に写っている人物の人数、該画像に写っている各人物の画像中での位置、及び各人物の画像中におけるサイズを取得する取得ステップと、
    第１の判定手段により、前記取得ステップで取得した情報に基づいて、前記画像の中央から第１の範囲内に写っている第１のサイズ以上の人物の人数が２人以下である第１の人数であるか否かを判定する第１の判定ステップと、
    第２の判定手段により、前記取得ステップで取得した情報に基づいて、画像の中央から前記第１の範囲よりも広い第２の範囲内に写っている前記第１のサイズよりも小さい第２のサイズ以上の人物の人数が２人を超える第２の人数以上であるか否かを判定する第２の判定ステップと、
    画像管理手段により、前記画像に対して、前記第１の判定ステップで真と判定された場合に第１の付加情報を付加し、前記第２の判定ステップで真と判定された場合に前記第１の付加情報とは異なる第２の付加情報を付加する画像管理ステップと
    を有することを特徴とする画像管理装置の制御方法。
14. コンピュータを、請求項１乃至１０のいずれか１項に記載された画像管理装置の各手段として機能させるプログラム。
15. コンピュータを、請求項１乃至１０のいずれか１項に記載された画像管理装置の各手段として機能させるプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images