JP4725408B2 - 被写体認識装置および被写体認識プログラム - Google Patents

Description

本発明は、被写体認識装置および被写体認識プログラムに関する。

従来、画像の顔認識技術のように、画像データに映っている顔部分を認識する技術が知られている。
また、下記の特許文献１には、画像データから被写体を認識し、画像データと共に被写体の情報を表示する装置が開示されている。
一方、インターネット上などの検索サイトでは、画像データに付随するテキスト情報（画像ファイル名、撮影日時情報など）をキーワード検索することにより、画像検索サービスを提供している。
特開2001−113097号公報

上述した顔認識技術のように、画像データから被写体を認識する技術は日々進歩しており、それに伴って、認識すべき被写体種類が将来にわたって増加することが予想される。

一方、従来の特許文献１では、被写体の種類１つ１つについて、被写体認識を逐一行う必要がある。そのため、認識すべき被写体種類が膨大になると、被写体認識の処理回数が膨大になり、被写体認識に係る総処理時間が長くなってしまう。

そこで、本発明では、画像データの被写体認識を効率良く行う技術を提供することを目的とする。

《１》 本発明の被写体認識装置は、画像入力部、被写体辞書部、および処理部を備える。
画像入力部は、画像データを取り込む。
被写体辞書部は、画像入力部により取り込まれた画像データに映っている被写体種類を特定するための被写体条件を、複数の被写体種類ごとに記憶し、新たな被写体種類である第１の被写体種類、および、第１の被写体種類を特定するための被写体条件を追加登録する機能を有する。
処理部は、画像入力部により取り込まれた画像データを被写体条件に照合して、画像データに映っている被写体種類を特定する。
特に、本発明では、被写体辞書部は、被写体種類と、その被写体種類に対応する被写体条件とを関連づけるとともに、被写体種類の上位・下位を表す階層に分類して記憶し、新たな被写体種類である第１の被写体種類、および、第１の被写体種類を特定するための被写体条件を追加登録する機能を有する。処理部は、被写体辞書部の追加登録に応じて、第１の被写体種類を包含する一階層上の第２の被写体種類を求め、被写体条件との照合の追加実施を行う範囲を、過去に第２の被写体種類に分類済みの画像データに絞った上で照合の追加実施を行い、照合の追加実施の結果、被写体条件と合致すると判断された画像データに対応づけて、第１の被写体種類の情報を記録する。
《２》 なお好ましくは、処理部は、上位階層に位置する被写体条件と画像データとの照合結果に基づいて、下位階層に位置する被写体条件を絞り込みつつ、画像データと下位階層の被写体条件との照合を行う。
《３》 なお好ましくは、処理部は、認識された被写体種類に関連して予め定められたキーワード情報を、画像データに対応付けて記録する。さらに、処理部は、入力されるキーワードを、このキーワード情報と照合することによって画像検索を行う。
《４》 また好ましくは、被写体辞書部は、第１の被写体種類の追加登録の際に、第１の被写体種類の、階層における位置を登録する階層位置登録部を備え、階層位置登録部は、階層における位置が不明である場合に、処理部によって過去に被写体種類を特定する処理が施された画像データのうち、少なくとも１つの画像データに基づくテスト画像と、第１の被写体種類を特定するための被写体条件とを照合し、照合結果に基づいて、第２の被写体種類を求める。
《５》 本発明の被写体認識プログラムは、コンピュータを、請求項１ないし請求項４のいずれか１項に記載の被写体認識装置として機能させるためのプログラムである。

本発明では、階層に分類された被写体条件を上位階層から下位階層に辿りながら、画像データの被写体認識を実施する。この場合、被写体条件を絞り込むように被写体認識が実施され、可能性の低い下位階層の被写体認識を省くことができる。その結果、被写体認識の処理回数を低減し、多数の被写体種類について効率の良い被写体認識を行うことができる。

［構成説明］
図１は、画像検索システム１１の構成を示すブロック図である。
図１において、画像検索システム１１は、被写体認識装置１２、画像データベース１３、および端末装置１４（ユーザーのパソコンなど）を、インターネットなどの通信回線により通信接続して構成される。

なお、この画像検索システム１１を、コンピュータ単体で実現することにより、コンピュータ内に記憶される画像データを高速検索するシステムを構築してもよい。

さらに、上記の被写体認識装置１２は、画像入力部２１、被写体辞書部２２、および処理部２３を備えて構成される。さらに、この処理部２３は、特徴量演算部３１、特徴量記憶部３２、制御部３３、および被写体キーワード記憶部３４を備えて構成される。
なお、このような被写体認識装置１２の一部または全部を、コンピュータ上で被写体認識プログラムを実行することによって、ソフトウェア的に実現してもよい。また、被写体認識装置１２の一部または全部を、ハードウェア的に実現してもよい。
以下、画像検索システム１１の動作について、具体的に説明する。

［新規画像に対する被写体認識］
図２は、新規の画像データに対する被写体認識を説明する流れ図である。以下、この図２に示すステップ番号に沿って、動作説明を行う。

ステップＳ１： 画像入力部２１は、画像データベース１３のデータ更新を定期的に監視する。画像入力部２１は、この監視によって、画像データベース１３内にキーワード未付与の新規な画像データを発見すると、この画像データを取り込む。

ステップＳ２： 特徴量演算部３１は、被写体認識を効率良く行うため、取り込んだ画像データから画像特徴量を抽出する。この画像特徴量は、後述する被写体条件との照合に使用される。抽出された画像特徴量は、特徴量記憶部３２に記憶される。
この種の画像特徴量としては、例えば、下記のようなデータが有効である。

(1)画像の色相ヒストグラム…風景被写体／人物被写体などを色傾向により認識する際に使用する。
(2)画像の抽出エッジ…エッジ形状に基づいて特定被写体の認識に使用する。
(3)輪郭が閉曲線を示している領域・・顔や物などの閉領域の認識に使用する。
(4)顔（肌色）部分の部分画像…特定個人の認識に使用する。
(5)唇付近の色…男女の認識に使用する。
(6)髪付近の色…男女や高齢者の認識に使用する。
(7)画像内のテクスチャー…目／鼻／口／衣服の模様／草原／樹林などの認識に使用する。
(8)縦ラインの頻度…建物／樹林などの認識に使用する。
(9)画面を横断する横ライン…水平線／地平線などの認識に使用する。
(10)光源の推定色温度…室内／屋外などの認識に使用する。
(11)画像データの部分画像・・パターンマッチングに使用する。
(12)ＧＰＳ情報、撮影日時、被写体距離、露出情報、音声データ、画像の縦、横方向を示す情報、焦点制御情報などの付随情報

ステップＳ３： 被写体辞書部２２の被写体辞書には、被写体種類を特定するための被写体条件が、図３に示すような、階層構造で予め登録されている。制御部３３は、この被写体辞書の階層構造の中から最上位の階層を選んで探索階層とする。

ステップＳ４： 制御部３３は、探索階層に属する被写体種類１つ１つの被写体条件を被写体辞書部２２から読み出し、画像特徴量と１つずつ照合する。
例えば、図３では、最上位の探索階層であれば、人物・風景といった並列概念（最上位階層からの深さが等しい）の被写体種類が定義されている。
例えば、人物については、色相ヒストグラムに肌色の高頻度分布が現れる等の被写体条件が成立すれば、画像データ内に人物被写体が映っていると判断する。
また、風景については、色相ヒストグラムに青色や緑色の高頻度分布が現れ、かつ被写体距離が遠方である等の被写体条件が成立すれば、画像データ内に風景被写体が映っていると判断する。
以上のような動作により、探索階層に属ずる並列概念の被写体種類の１つ１つについて、画像データ内に映っているか否かの条件判定が行われる。

ステップＳ５： 制御部３３は、条件成立した被写体種類に関連するキーワードを、画像データに対応付けて、被写体キーワード記憶部３４に記録する。

ステップＳ６： 制御部３３は、条件不成立となった被写体種類に包含される下位階層を被写体辞書の参照範囲から省く。例えば、人物の被写体条件が不成立となった場合、人物被写体に包含される下位階層（図３では、特定個人，男性，女性など）を、被写体辞書の参照範囲から省く。このように被写体辞書の参照範囲を、上位階層の被写体認識結果に従って限定することにより、可能性の高い被写体種類に絞り込みながら、効率良く被写体認識を実行することができる。

ステップＳ７： ここで、制御部３３は、被写体辞書の探索階層が、最下位の階層に到達したか否かを判断する。
まだ、探索階層の下に下位階層が残っている場合、制御部３３は、この下位階層について被写体認識を行うため、ステップＳ８に動作を移行する。
一方、探索階層が既に最下位の階層に到達している場合、制御部３３は、新規の画像データについて、全ての被写体認識を完了したと見なして、ステップＳ９に動作を移行する。

ステップＳ８： 制御部３３は、探索階層を１つ下げて、ステップＳ４に動作を戻す。

ステップＳ９： 制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、画像データに対応付けて被写体キーワード記憶部３４に記録する。
以上の動作により、キーワード未付与の画像データに対する被写体認識と、キーワード付与の処理が完了する。

［被写体辞書の更新に伴う処理］
図４は、辞書更新に伴う処理を説明する流れ図である。以下、この図４に示すステップ番号に沿って、動作説明を行う。

ステップＳ２１： 被写体辞書部２２は、下記の項目を被写体辞書に追加登録する機能を有する。

（１）被写体種類Ｋｄ
（２）その被写体種類Ｋｄを特定するための被写体条件Ｃｄ
（３）その被写体種類Ｋｄに関連するキーワード
（４）その被写体種類Ｋｄの被写体辞書内での階層位置

ユーザーは、端末装置１４を介してこれら項目の追加登録を行うことにより、被写体辞書をカスタマイズすることができる。また、画像検索システム１１の管理者側で、この追加登録を実施することにより、被写体辞書を定期的にバージョンアップすることもできる。

なお、階層位置の登録については、被写体辞書の階層構造の知識が必要になるため、これを省略してもよい。また、被写体条件Ｃｄの登録については、被写体種類Ｋｄに該当する代表的な画像の一部または全部を登録することで簡易に済ませてもよい。
一方、被写体辞書部２２側では、このような追加登録のたびに、被写体辞書の更新内容を履歴として保存し、被写体辞書の版数を示すバージョン情報を更新する。

ステップＳ２２： 制御部３３は、被写体種類Ｋｄについて、階層位置が追加登録されたか否かを判定する。
ここで、階層位置の登録が省略されていた場合、制御部３３は、被写体種類Ｋｄの階層位置を調べるため、ステップＳ２４に動作を移行する。
一方、被写体種類Ｋｄの階層位置が登録されている場合、制御部３３はステップＳ２３に動作を移行する。

ステップＳ２３： 制御部３３は、登録された階層位置に従って、被写体種類Ｋｄを包含する一階層上の被写体種類Ｋｕを求める。この動作の後、制御部３３はステップＳ２７に動作を移行する。

ステップＳ２４： 制御部３３は、被写体種類Ｋｄの階層位置が不明なため、まずテスト的に被写体認識を行う。すなわち、制御部３３は、過去に被写体認識を済ませている所定数の画像データ（テスト画像）について、画像特徴量と被写体条件Ｃｄとの照合を一通り実施する。

ステップＳ２５： 制御部３３は、ステップＳ２４における照合結果と、テスト画像の過去の被写体認識結果とに基づいて、被写体種類Ｋｄを論理的に包含する被写体種類Ｋｕを求める。

ステップＳ２６： 制御部３３は、被写体辞書部２２の被写体辞書を書き換え、被写体種類Ｋｄの階層位置を被写体種類Ｋｕの下位階層とする。

ステップＳ２７： 制御部３３は、過去の被写体認識において被写体種類Ｋｕが映っていると判断された画像データ群を選択する。

ステップＳ２８： 制御部３３は、ステップＳ２７で選択された画像データ群の画像特徴量を、被写体条件Ｃｄと順次に照合し、条件成立する画像データを選別する。

ステップＳ２９： 制御部３３は、ステップＳ２８で条件成立した画像データに対応付けて、被写体種類Ｋｄに関連するキーワードを被写体キーワード記憶部２４に記録する。

ステップＳ３０： 制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、ステップＳ２７で選択された画像データに対応付けて、被写体キーワード記憶部３４に記録する。
以上の動作により、被写体辞書の更新に応じて、画像データに新たな被写体キーワードを追加的に付与することができる。

［画像検索の動作］
図５は、本実施形態における画像検索を説明する流れ図である。以下、図５に示すステップ番号に沿って、この動作を説明する。

ステップＳ４１： ユーザーは、所望の被写体が映っている画像データを検索するため、その被写体に関連するキーワードを端末装置１４に入力する。端末装置１４は、この入力キーワードを制御部３３に伝達する。

ステップＳ４２： 制御部３３は、被写体キーワード記憶部３４に入力キーワードを照会し、入力キーワードに合致または類似する画像データを選び出す。

ステップＳ４３： 制御部３３は、ステップＳ４２で選出された画像データのサムネイルを並べて、リンク付きサムネイル頁を作成する。制御部３３は、作成したサムネイル頁のデータを、画像検索結果として端末装置１４に転送する。ユーザーは、端末装置１４を用いてこのサムネイル頁を閲覧し、サムネイル頁のリンクを辿ることで、探索結果である画像データにアクセスすることができる。
この動作により、画像データ群の中から、入力キーワードに関連する被写体種類の映っているものを迅速に検索することが可能になる。

［実施形態の効果など］
以上説明したように、本実施形態では、階層構造の被写体辞書を使用するため、被写体種類を絞り込むように被写体認識を実施することができる。そのため、上位階層の認識状況に従って、可能性の低い下位階層の被写体認識を柔軟に省くことができる。その結果、認識すべき被写体種類が多くなっても、被写体認識の回数を効率良く減らし、被写体認識に所要する総処理時間を短縮することができる。

さらに、本実施形態は、画像データに映っている被写体種類を予め認識し、その被写体種類に関連するキーワードを記録しておく。そのため、キーワードの照合によって、所望の被写体が映っている画像データを簡易に検索することが可能になる。

なお、本実施形態は、追加登録された被写体種類Ｋｄの照合範囲を、上位階層の被写体種類Ｋｕに過去分類された画像データ群に絞る。その結果、追加登録のたびに、過去の全ての画像データに対して被写体認識を再実行する必要がなくなり、被写体辞書のバージョンアップに伴う処理負荷を少なくすることができる。

［実施形態の補足事項］
なお、上述した実施形態では、画像検索の用途を中心に説明した。しかしながら、この用途に限定されるものではない。例えば、画像データに映っている被写体種類を判別し、その被写体種類に対応する画像処理（画質調整を含む）を画像データに施してもよい。この動作により、被写体種類に適した画像処理を選択実行する画像処理装置を実現することができる。

また、上述した実施形態では、画像データから画像特徴量を抽出している。しかしながら、これに限定されるものではない。被写体種類を示すテンプレート画像（被写体条件に相当）と画像データとをパターンマッチングで照合することにより、画像データ内に被写体種類が映っているか否かを判定してもよい。

さらに、上述した実施形態において、画像データを複数の分割領域に分け、これら分割領域ごとに被写体認識を実施してもよい。

また、上述した実施形態では、上下階層の包含関係に基づいて被写体種類を絞り込み、被写体認識の回数を省いている。しかしながら、これに限定されるものではない。

例えば、人物および女性について被写体認識を行った場合、人物であって女性でないと判定された被写体を、男性その他にそのまま分類することが可能である。このように、並列概念の排他関係に基づいて被写体種類の可能性を絞り込むことで、被写体認識の回数を効率良く省くことが可能である。

なお、上述した実施形態では、被写体キーワード記憶部３４に画像データのキーワードやバージョン情報を記録している。しかしながら、これに限定されるものではない。画像データのファイル内（例えばEXIFデータなど）に、キーワード情報および／またはバージョン情報を記録してもよい。

また、上述した実施形態では、静止画像を前提に説明したが、これに限定されるものではない。動画像の被写体認識にも同様に適用することができる。例えば、１つの動画像ファイルのうち、人物が映っているシーンを判別し、さらに、人物シーンから女性が映っているシーンを判別することができる。

以上説明したように、本発明は、画像検索システムや被写体認識装置などに利用可能な技術である。

画像検索システム１１の構成を示すブロック図である。 新規の画像データに対する被写体認識を説明する流れ図である。 被写体辞書の階層構造の一例を示す図である。 辞書更新に伴う処理を説明する流れ図である。 画像検索の動作を説明する流れ図である。

符号の説明

１１…画像検索システム，１２…被写体認識装置，１３…画像データベース，１４…端末装置，２１…画像入力部，２２…被写体辞書部，２３…処理部，２４…被写体キーワード記憶部，３１：…特徴演算部，３１…特徴量演算部，３２…特徴量記憶部，３３…制御部，３４…被写体キーワード記憶部

Claims (5)

1. 画像データを取り込む画像入力部と、
   前記画像入力部により取り込まれた前記画像データに映っている被写体種類を特定するための被写体条件を、複数の被写体種類ごとに記憶する被写体辞書部と、
   前記画像入力部により取り込まれた前記画像データを前記被写体条件に照合して、前記画像データに映っている前記被写体種類を特定する処理部とを備え、
   前記被写体辞書部は、
   前記被写体種類と、当該被写体種類に対応する前記被写体条件とを関連づけるとともに、前記被写体種類の上位・下位を表す階層に分類して記憶し、
   新たな前記被写体種類である第１の被写体種類、および、前記第１の被写体種類を特定するための被写体条件を追加登録する機能を有し、
   前記処理部は、
   前記被写体辞書部の追加登録に応じて、前記第１の被写体種類を包含する一階層上の第２の被写体種類を求め、
   前記被写体条件との照合の追加実施を行う範囲を、過去に前記第２の被写体種類に分類済みの画像データに絞った上で前記照合の追加実施を行い、
   前記照合の追加実施の結果、前記被写体条件と合致すると判断された画像データに対応づけて、前記第１の被写体種類の情報を記録する
   ことを特徴とする被写体認識装置。
2. 請求項１に記載の被写体認識装置において、
   前記処理部は、上位階層に位置する被写体条件の照合結果に基づいて、下位階層に位置する被写体条件を絞り込みながら照合を行う
   ことを特徴とする被写体認識装置。
3. 請求項１または請求項２に記載の被写体認識装置において、
   前記処理部は、
   認識された被写体種類に関連して予め定められたキーワード情報を、前記画像データに対応付けて記録し、
   入力されるキーワードを、前記画像データに対応する前記キーワード情報と照合して画像検索を行う
   ことを特徴とする被写体認識装置。
4. 請求項１ないし請求項３のいずれか１項に記載の被写体認識装置において、
   前記被写体辞書部は、前記第１の被写体種類の追加登録の際に、前記第１の被写体種類の、前記階層における位置を登録する階層位置登録部を備え、
   前記階層位置登録部は、前記階層における位置が不明である場合に、前記処理部によって過去に前記被写体種類を特定する処理が施された前記画像データのうち、少なくとも１つの画像データに基づくテスト画像と、前記第１の被写体種類を特定するための被写体条件とを照合し、照合結果に基づいて、前記第２の被写体種類を求める
   ことを特徴とする被写体認識装置。
5. コンピュータを、請求項１ないし請求項４のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。

Images