JP4946282B2 - 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 - Google Patents
被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 Download PDFInfo
- Publication number
- JP4946282B2 JP4946282B2 JP2006242054A JP2006242054A JP4946282B2 JP 4946282 B2 JP4946282 B2 JP 4946282B2 JP 2006242054 A JP2006242054 A JP 2006242054A JP 2006242054 A JP2006242054 A JP 2006242054A JP 4946282 B2 JP4946282 B2 JP 4946282B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- subject
- subject type
- type
- data group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法に関する。
従来、画像の顔認識技術のように、画像データに映っている顔部分を認識する技術が知られている。
また、下記の特許文献１には、画像データから被写体を認識し、画像データと共に被写体の情報を表示する装置が開示されている。
一方、インターネット上などの検索サイトでは、画像データに付随するテキスト情報（画像ファイル名、撮影日時情報など）をキーワード検索することにより、画像検索サービスを提供している。
特開2001−113097号公報
また、下記の特許文献１には、画像データから被写体を認識し、画像データと共に被写体の情報を表示する装置が開示されている。
一方、インターネット上などの検索サイトでは、画像データに付随するテキスト情報（画像ファイル名、撮影日時情報など）をキーワード検索することにより、画像検索サービスを提供している。
上述した顔認識技術のように、画像データから被写体を認識する技術は日々進歩しており、それに伴って、認識すべき被写体種類が将来にわたって増加することが予想される。
一方、従来の特許文献１では、被写体の種類１つ１つについて、被写体認識を逐一行う必要がある。そのため、認識すべき被写体種類が膨大になると、被写体認識の処理回数が膨大になり、被写体認識に係る総処理時間が長くなってしまう。
そこで、本発明では、画像データの被写体認識を効率良く行う技術を提供することを目的とする。
一方、従来の特許文献１では、被写体の種類１つ１つについて、被写体認識を逐一行う必要がある。そのため、認識すべき被写体種類が膨大になると、被写体認識の処理回数が膨大になり、被写体認識に係る総処理時間が長くなってしまう。
そこで、本発明では、画像データの被写体認識を効率良く行う技術を提供することを目的とする。
本発明の被写体認識装置は、画像データを取り込む画像入力部と、被写体種類を特定するための被写体条件を、前記被写体種類の階層構造に従って記憶する被写体辞書部と、前記画像データを前記被写体条件に照合して、前記画像データに写っている前記被写体種類を特定する処理部とを備え、前記被写体辞書部は、登録済みの被写体種類Ｋｄの上位階層として、被写体種類Ｋｕの追加登録を受け付ける機能を有し、前記処理部は、前記被写体種類Ｋｕの追加登録に応じて、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、前記被写体種類Ｋｕの下位階層に該当する被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外する第１の制御部と、前記第１の制御部により前記画像データ群Ａに含まれる画像データが除外された前記画像データ群Ｂに含まれる画像データのうち、前記被写体種類Ｋｕを特定するための被写体条件Ｃｕに該当する画像データを画像データ群Ｃとして選択する第２の制御部と、前記第２の制御部により選択された前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データを、前記被写体種類Ｋｕを検出済みの画像データとして見なして、前記被写体種類Ｋｕに関連するキーワードを、前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データに対応付けて記憶するキーワード記憶部と、を備えることを特徴とする。
また、前記被写体辞書部は、登録済みの複数の被写体種類Ｋｄをまとめて上位階層の被写体種類Ｋｕとして追加登録を受け付ける機能を有し、前記第１の処理部は、前記追加登録に応じて、前記登録済みの複数の被写体種類Ｋｄのそれぞれに分類される画像データを、前記画像データ群Ａに含まれる画像データとして選択した後、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外することを特徴とする。
また、前記被写体辞書部は、前記被写体条件のバージョン情報を管理する機能を有し、前記処理部は、前記被写体種類Ｋｕと見なした画像データに対応付けて、前記追加登録後のバージョン情報を記録することを特徴とする。
本発明の被写体認識プログラムは、コンピュータを上述した被写体認識装置として機能させるためのプログラムである。
本発明の画像検索サービス提供方法は、画像データを取り込む画像入力工程と、
被写体種類を特定するための被写体条件を、前記被写体種類の階層構造に従って記憶する条件記憶工程と、前記画像データを前記被写体条件に照合して、前記画像データに写っている前記被写体種類を特定する処理工程と、前記入力されるキーワードを前記キーワード情報に照合することで、画像検索を行う検索工程と、を含み、前記処理工程は、登録済みの被写体種類Ｋｄの上位階層として、被写体種類Ｋｕの追加登録を受け付けたときに、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、前記被写体種類Ｋｕの下位階層に該当する被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外する第１の制御工程と、前記第１の制御部により前記画像データ群Ａに含まれる画像データが除外された前記画像データ群Ｂに含まれる画像データのうち、前記被写体種類Ｋｕを特定するための被写体条件Ｃｕに該当する画像データを画像データ群Ｃとして選択する第２の制御工程と、前記第２の制御部により選択された前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データを、前記被写体種類Ｋｕを検出済みの画像データとして見なして、前記被写体種類Ｋｕに関連するキーワードを、前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データに対応付けて記憶するキーワード記憶工程と、を、さらに含むことを特徴とする。
また、前記被写体辞書部は、登録済みの複数の被写体種類Ｋｄをまとめて上位階層の被写体種類Ｋｕとして追加登録を受け付ける機能を有し、前記第１の処理部は、前記追加登録に応じて、前記登録済みの複数の被写体種類Ｋｄのそれぞれに分類される画像データを、前記画像データ群Ａに含まれる画像データとして選択した後、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外することを特徴とする。
また、前記被写体辞書部は、前記被写体条件のバージョン情報を管理する機能を有し、前記処理部は、前記被写体種類Ｋｕと見なした画像データに対応付けて、前記追加登録後のバージョン情報を記録することを特徴とする。
本発明の被写体認識プログラムは、コンピュータを上述した被写体認識装置として機能させるためのプログラムである。
本発明の画像検索サービス提供方法は、画像データを取り込む画像入力工程と、
被写体種類を特定するための被写体条件を、前記被写体種類の階層構造に従って記憶する条件記憶工程と、前記画像データを前記被写体条件に照合して、前記画像データに写っている前記被写体種類を特定する処理工程と、前記入力されるキーワードを前記キーワード情報に照合することで、画像検索を行う検索工程と、を含み、前記処理工程は、登録済みの被写体種類Ｋｄの上位階層として、被写体種類Ｋｕの追加登録を受け付けたときに、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、前記被写体種類Ｋｕの下位階層に該当する被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外する第１の制御工程と、前記第１の制御部により前記画像データ群Ａに含まれる画像データが除外された前記画像データ群Ｂに含まれる画像データのうち、前記被写体種類Ｋｕを特定するための被写体条件Ｃｕに該当する画像データを画像データ群Ｃとして選択する第２の制御工程と、前記第２の制御部により選択された前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データを、前記被写体種類Ｋｕを検出済みの画像データとして見なして、前記被写体種類Ｋｕに関連するキーワードを、前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データに対応付けて記憶するキーワード記憶工程と、を、さらに含むことを特徴とする。
本発明では、登録済みの被写体種類Ｋｄの上位階層として、被写体種類Ｋｕが追加登録されると、被写体種類Ｋｄが検出済みの画像データを、被写体種類Ｋｕの画像データと見なして分類する。このような見なし分類によって、被写体認識の処理を省くことができる。その結果、被写体認識の処理回数を低減し、多数の被写体種類について効率の良い被写体認識を行うことができる。
［構成説明］
図１は、画像検索システム１１の構成を示すブロック図である。
図１において、画像検索システム１１は、被写体認識装置１２、画像データベース１３、および端末装置１４（ユーザーのパソコンなど）を、インターネットなどの通信回線により通信接続して構成される。
なお、この画像検索システム１１を、コンピュータ単体で実現することにより、コンピュータ内に記憶される画像データを高速検索するシステムを構築してもよい。
さらに、上記の被写体認識装置１２は、画像入力部２１、被写体辞書部２２、および処理部２３を備えて構成される。さらに、この処理部２３は、特徴量演算部３１、特徴量記憶部３２、制御部３３、および被写体キーワード記憶部３４を備えて構成される。
なお、このような被写体認識装置１２の一部または全部を、コンピュータ上で被写体認識プログラムを実行することによって、ソフトウェア的に実現してもよい。また、被写体認識装置１２の一部または全部を、ハードウェア的に実現してもよい。
以下、画像検索システム１１の動作について、具体的に説明する。
図１は、画像検索システム１１の構成を示すブロック図である。
図１において、画像検索システム１１は、被写体認識装置１２、画像データベース１３、および端末装置１４（ユーザーのパソコンなど）を、インターネットなどの通信回線により通信接続して構成される。
なお、この画像検索システム１１を、コンピュータ単体で実現することにより、コンピュータ内に記憶される画像データを高速検索するシステムを構築してもよい。
さらに、上記の被写体認識装置１２は、画像入力部２１、被写体辞書部２２、および処理部２３を備えて構成される。さらに、この処理部２３は、特徴量演算部３１、特徴量記憶部３２、制御部３３、および被写体キーワード記憶部３４を備えて構成される。
なお、このような被写体認識装置１２の一部または全部を、コンピュータ上で被写体認識プログラムを実行することによって、ソフトウェア的に実現してもよい。また、被写体認識装置１２の一部または全部を、ハードウェア的に実現してもよい。
以下、画像検索システム１１の動作について、具体的に説明する。
［新規画像に対する被写体認識］
図２は、新規の画像データに対する被写体認識を説明する流れ図である。以下、この図２に示すステップ番号に沿って、動作説明を行う。
図２は、新規の画像データに対する被写体認識を説明する流れ図である。以下、この図２に示すステップ番号に沿って、動作説明を行う。
ステップＳ１： 画像入力部２１は、画像データベース１３のデータ更新を定期的に監視する。画像入力部２１は、この監視によって、画像データベース１３内にキーワード未付与の新規な画像データを発見すると、この画像データを取り込む。
ステップＳ２： 特徴量演算部３１は、被写体認識を効率良く行うため、取り込んだ画像データから画像特徴量を抽出する。この画像特徴量は、後述する被写体条件との照合に使用される。抽出された画像特徴量は、特徴量記憶部３２に記憶される。
この種の画像特徴量としては、例えば、下記のようなデータが有効である。
(1)画像の色相ヒストグラム…風景被写体／人物被写体などを色傾向により認識する際に使用する。
(2)画像の抽出エッジ…エッジ形状に基づいて特定被写体の認識に使用する。
(3)輪郭が閉曲線を示している領域・・顔や物などの閉領域の認識に使用する。
(4)顔（肌色）部分の部分画像…特定個人の認識に使用する。
(5)唇付近の色…男女の認識に使用する。
(6)髪付近の色…男女や高齢者の認識に使用する。
(7)画像内のテクスチャー…目／鼻／口／衣服の模様／草原／樹林などの認識に使用する。
(8)縦ラインの頻度…建物／樹林などの認識に使用する。
(9)画面を横断する横ライン…水平線／地平線などの認識に使用する。
(10)光源の推定色温度…室内／屋外などの認識に使用する。
(11)画像データの部分画像・・パターンマッチングに使用する。
(12)ＧＰＳ情報、撮影日時、被写体距離、露出情報、音声データ、画像の縦、横方向を示す情報、焦点制御情報などの付随情報
この種の画像特徴量としては、例えば、下記のようなデータが有効である。
(1)画像の色相ヒストグラム…風景被写体／人物被写体などを色傾向により認識する際に使用する。
(2)画像の抽出エッジ…エッジ形状に基づいて特定被写体の認識に使用する。
(3)輪郭が閉曲線を示している領域・・顔や物などの閉領域の認識に使用する。
(4)顔（肌色）部分の部分画像…特定個人の認識に使用する。
(5)唇付近の色…男女の認識に使用する。
(6)髪付近の色…男女や高齢者の認識に使用する。
(7)画像内のテクスチャー…目／鼻／口／衣服の模様／草原／樹林などの認識に使用する。
(8)縦ラインの頻度…建物／樹林などの認識に使用する。
(9)画面を横断する横ライン…水平線／地平線などの認識に使用する。
(10)光源の推定色温度…室内／屋外などの認識に使用する。
(11)画像データの部分画像・・パターンマッチングに使用する。
(12)ＧＰＳ情報、撮影日時、被写体距離、露出情報、音声データ、画像の縦、横方向を示す情報、焦点制御情報などの付随情報
ステップＳ３： 被写体辞書部２２の被写体辞書には、被写体種類を特定するための被写体条件が、図３に示すような、階層構造で予め登録されている。制御部３３は、この被写体辞書の階層構造の中から最上位の階層を選んで探索階層とする。
ステップＳ４： 制御部３３は、探索階層に属する被写体種類１つ１つの被写体条件を被写体辞書部２２から読み出し、画像特徴量と１つずつ照合する。
例えば、図３では、最上位の探索階層であれば、人物・風景といった並列概念（最上位階層からの深さが等しい）の被写体種類が定義されている。
例えば、人物については、色相ヒストグラムに肌色の高頻度分布が現れる等の被写体条件が成立すれば、画像データ内に人物被写体が映っていると判断する。
また、風景については、色相ヒストグラムに青色や緑色の高頻度分布が現れ、かつ被写体距離が遠方である等の被写体条件が成立すれば、画像データ内に風景被写体が映っていると判断する。
以上のような動作により、探索階層に属ずる並列概念の被写体種類の１つ１つについて、画像データ内に映っているか否かの条件判定が行われる。
例えば、図３では、最上位の探索階層であれば、人物・風景といった並列概念（最上位階層からの深さが等しい）の被写体種類が定義されている。
例えば、人物については、色相ヒストグラムに肌色の高頻度分布が現れる等の被写体条件が成立すれば、画像データ内に人物被写体が映っていると判断する。
また、風景については、色相ヒストグラムに青色や緑色の高頻度分布が現れ、かつ被写体距離が遠方である等の被写体条件が成立すれば、画像データ内に風景被写体が映っていると判断する。
以上のような動作により、探索階層に属ずる並列概念の被写体種類の１つ１つについて、画像データ内に映っているか否かの条件判定が行われる。
ステップＳ５： 制御部３３は、条件成立した被写体種類に関連するキーワードを、画像データに対応付けて、被写体キーワード記憶部３４に記録する。
ステップＳ６： 制御部３３は、条件不成立となった被写体種類に包含される下位階層を被写体辞書の参照範囲から省く。例えば、人物の被写体条件が不成立となった場合、人物被写体に包含される下位階層（図３では、特定個人，男性，女性など）を、被写体辞書の参照範囲から省く。このように被写体辞書の参照範囲を、上位階層の被写体認識結果に従って限定することにより、可能性の高い被写体種類に絞り込みながら、効率良く被写体認識を実行することができる。
ステップＳ７： ここで、制御部３３は、被写体辞書の探索階層が、最下位の階層に到達したか否かを判断する。
まだ、探索階層の下に下位階層が残っている場合、制御部３３は、この下位階層について被写体認識を行うため、ステップＳ８に動作を移行する。
一方、探索階層が既に最下位の階層に到達している場合、制御部３３は、新規の画像データについて、全ての被写体認識を完了したと見なして、ステップＳ９に動作を移行する。
まだ、探索階層の下に下位階層が残っている場合、制御部３３は、この下位階層について被写体認識を行うため、ステップＳ８に動作を移行する。
一方、探索階層が既に最下位の階層に到達している場合、制御部３３は、新規の画像データについて、全ての被写体認識を完了したと見なして、ステップＳ９に動作を移行する。
ステップＳ８： 制御部３３は、探索階層を１つ下げて、ステップＳ４に動作を戻す。
ステップＳ９： 制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、画像データに対応付けて被写体キーワード記憶部３４に記録する。
以上の動作により、キーワード未付与の画像データに対する被写体認識と、キーワード付与の処理が完了する。
以上の動作により、キーワード未付与の画像データに対する被写体認識と、キーワード付与の処理が完了する。
［下位階層の辞書追加に伴う処理］
図４は、下位階層の辞書追加に伴う処理を説明する流れ図である。以下、この図４に示すステップ番号に沿って、動作説明を行う。
図４は、下位階層の辞書追加に伴う処理を説明する流れ図である。以下、この図４に示すステップ番号に沿って、動作説明を行う。
ステップＳ２１： 被写体辞書部２２は、下記の項目を被写体辞書に追加登録する機能を有する。
（１）被写体種類Ｋｄ
（２）その被写体種類Ｋｄを特定するための被写体条件Ｃｄ
（３）その被写体種類Ｋｄに関連するキーワード
（４）その被写体種類Ｋｄの被写体辞書内での階層位置
ユーザーは、端末装置１４を介してこれら項目の追加登録を行うことにより、被写体辞書をカスタマイズすることができる。また、画像検索システム１１の管理者側で、この追加登録を実施することにより、被写体辞書を定期的にバージョンアップすることもできる。
なお、階層位置の登録については、被写体辞書の階層構造の知識が必要になるため、これを省略してもよい。また、被写体条件Ｃｄの登録については、被写体種類Ｋｄに該当する代表的な画像の一部または全部を登録することで簡易に済ませてもよい。
一方、被写体辞書部２２側では、このような追加登録のたびに、被写体辞書の更新内容を履歴として保存し、被写体辞書の版数を示すバージョン情報を更新する。
（１）被写体種類Ｋｄ
（２）その被写体種類Ｋｄを特定するための被写体条件Ｃｄ
（３）その被写体種類Ｋｄに関連するキーワード
（４）その被写体種類Ｋｄの被写体辞書内での階層位置
ユーザーは、端末装置１４を介してこれら項目の追加登録を行うことにより、被写体辞書をカスタマイズすることができる。また、画像検索システム１１の管理者側で、この追加登録を実施することにより、被写体辞書を定期的にバージョンアップすることもできる。
なお、階層位置の登録については、被写体辞書の階層構造の知識が必要になるため、これを省略してもよい。また、被写体条件Ｃｄの登録については、被写体種類Ｋｄに該当する代表的な画像の一部または全部を登録することで簡易に済ませてもよい。
一方、被写体辞書部２２側では、このような追加登録のたびに、被写体辞書の更新内容を履歴として保存し、被写体辞書の版数を示すバージョン情報を更新する。
ステップＳ２２： 制御部３３は、被写体種類Ｋｄについて、階層位置が追加登録されたか否かを判定する。
ここで、階層位置の登録が省略されていた場合、制御部３３は、被写体種類Ｋｄの階層位置を調べるため、ステップＳ２４に動作を移行する。
一方、被写体種類Ｋｄの階層位置が登録されている場合、制御部３３はステップＳ２３に動作を移行する。
ここで、階層位置の登録が省略されていた場合、制御部３３は、被写体種類Ｋｄの階層位置を調べるため、ステップＳ２４に動作を移行する。
一方、被写体種類Ｋｄの階層位置が登録されている場合、制御部３３はステップＳ２３に動作を移行する。
ステップＳ２３： 制御部３３は、登録された階層位置に従って、被写体種類Ｋｄを包含する一階層上の被写体種類Ｋｕを求める。この動作の後、制御部３３はステップＳ２７に動作を移行する。
ステップＳ２４： 制御部３３は、被写体種類Ｋｄの階層位置が不明なため、まずテスト的に被写体認識を行う。すなわち、制御部３３は、過去に被写体認識を済ませている所定数の画像データ（テスト画像）について、画像特徴量と被写体条件Ｃｄとの照合を一通り実施する。
ステップＳ２５： 制御部３３は、ステップＳ２４における照合結果と、テスト画像の過去の被写体認識結果とに基づいて、被写体種類Ｋｄを論理的に包含する被写体種類Ｋｕを求める。
ステップＳ２６： 制御部３３は、被写体辞書部２２の被写体辞書を書き換え、被写体種類Ｋｄの階層位置を被写体種類Ｋｕの下位階層とする。
ステップＳ２７： 制御部３３は、過去の被写体認識において被写体種類Ｋｕが映っていると判断された画像データ群を選択する。
ステップＳ２８： 制御部３３は、ステップＳ２７で選択された画像データ群の画像特徴量を、被写体条件Ｃｄと順次に照合し、条件成立する画像データを選別する。
ステップＳ２９： 制御部３３は、ステップＳ２８で条件成立した画像データに対応付けて、被写体種類Ｋｄに関連するキーワードを被写体キーワード記憶部２４に記録する。
ステップＳ３０： 制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、ステップＳ２７で選択された画像データ（あるいはステップＳ２９で選別された画像データ）に対応付けて、被写体キーワード記憶部３４に記録する。
以上の動作により、下位階層の被写体種類Ｋｄの辞書追加に応じて、画像データに新たな被写体キーワードを追加的に付与することができる。
以上の動作により、下位階層の被写体種類Ｋｄの辞書追加に応じて、画像データに新たな被写体キーワードを追加的に付与することができる。
［画像検索の動作］
図５は、本実施形態における画像検索を説明する流れ図である。以下、図５に示すステップ番号に沿って、この動作を説明する。
図５は、本実施形態における画像検索を説明する流れ図である。以下、図５に示すステップ番号に沿って、この動作を説明する。
ステップＳ４１： ユーザーは、所望の被写体が映っている画像データを検索するため、その被写体に関連するキーワードを端末装置１４に入力する。端末装置１４は、この入力キーワードを制御部３３に伝達する。
ステップＳ４２： 制御部３３は、被写体キーワード記憶部３４に入力キーワードを照会し、入力キーワードに合致または類似する画像データを選び出す。
ステップＳ４３： 制御部３３は、ステップＳ４２で選出された画像データのサムネイルを並べて、リンク付きサムネイル頁を作成する。制御部３３は、作成したサムネイル頁のデータを、画像検索結果として端末装置１４に転送する。ユーザーは、端末装置１４を用いてこのサムネイル頁を閲覧し、サムネイル頁のリンクを辿ることで、探索結果である画像データにアクセスすることができる。
この動作により、画像データ群の中から、入力キーワードに関連する被写体種類の映っているものを迅速に検索することが可能になる。
この動作により、画像データ群の中から、入力キーワードに関連する被写体種類の映っているものを迅速に検索することが可能になる。
［上位階層の辞書追加に伴う処理］
図６は、上位階層の辞書追加に伴う処理を説明する流れ図である。以下、この図６に示すステップ番号に沿って、動作説明を行う。
図６は、上位階層の辞書追加に伴う処理を説明する流れ図である。以下、この図６に示すステップ番号に沿って、動作説明を行う。
ステップＳ５１： 被写体辞書部２２は、下記の項目を被写体辞書に追加登録する機能を有する。
（１）被写体種類Ｋｕ
（２）その被写体種類Ｋｕを特定するための被写体条件Ｃｕ
（３）その被写体種類Ｋｕに関連するキーワード
（４）その被写体種類Ｋｕの被写体辞書内での階層位置
ユーザーは、端末装置１４を介してこれら項目の追加登録を行うことにより、被写体辞書をカスタマイズすることができる。また、画像検索システム１１の管理者側で、この追加登録を実施することにより、被写体辞書を定期的にバージョンアップすることもできる。
なお、階層位置の登録については、被写体辞書の階層構造の知識が必要になるため、これを省略してもよい。また、被写体条件Ｃｕの登録については、被写体種類Ｋｕに該当する代表的な画像の一部または全部を登録することで簡易に済ませてもよい。
一方、被写体辞書部２２側では、このような追加登録のたびに、被写体辞書の更新内容を履歴として保存し、被写体辞書の版数を示すバージョン情報を更新する。
（１）被写体種類Ｋｕ
（２）その被写体種類Ｋｕを特定するための被写体条件Ｃｕ
（３）その被写体種類Ｋｕに関連するキーワード
（４）その被写体種類Ｋｕの被写体辞書内での階層位置
ユーザーは、端末装置１４を介してこれら項目の追加登録を行うことにより、被写体辞書をカスタマイズすることができる。また、画像検索システム１１の管理者側で、この追加登録を実施することにより、被写体辞書を定期的にバージョンアップすることもできる。
なお、階層位置の登録については、被写体辞書の階層構造の知識が必要になるため、これを省略してもよい。また、被写体条件Ｃｕの登録については、被写体種類Ｋｕに該当する代表的な画像の一部または全部を登録することで簡易に済ませてもよい。
一方、被写体辞書部２２側では、このような追加登録のたびに、被写体辞書の更新内容を履歴として保存し、被写体辞書の版数を示すバージョン情報を更新する。
ステップＳ５２： 制御部３３は、被写体種類Ｋｕについて、階層位置が追加登録されたか否かを判定する。
ここで、階層位置の登録が省略されていた場合、制御部３３は、被写体種類Ｋｕの階層位置を調べるため、ステップＳ５４に動作を移行する。
一方、被写体種類Ｋｕの階層位置が登録されている場合、制御部３３はステップＳ５３に動作を移行する。
ここで、階層位置の登録が省略されていた場合、制御部３３は、被写体種類Ｋｕの階層位置を調べるため、ステップＳ５４に動作を移行する。
一方、被写体種類Ｋｕの階層位置が登録されている場合、制御部３３はステップＳ５３に動作を移行する。
ステップＳ５３： 制御部３３は、登録された階層位置に従って、被写体種類Ｋｕの一階層下の被写体種類Ｋｄを求める。この場合の被写体種類Ｋｄは、単数または複数の場合がある。この動作の後、制御部３３はステップＳ５７に動作を移行する。
ステップＳ５４： 制御部３３は、被写体種類Ｋｕの階層位置が不明なため、まずテスト的に被写体認識を行う。すなわち、制御部３３は、過去に被写体認識を済ませている所定数の画像データ（テスト画像）について、画像特徴量と被写体条件Ｃｕとの照合を一通り実施する。
ステップＳ５５： 制御部３３は、ステップＳ５４における照合結果と、テスト画像の過去の被写体認識結果とに基づいて、被写体種類Ｋｕに論理的に包含される被写体種類Ｋｄを求める。この場合の被写体種類Ｋｄも、単数または複数の場合がある。
ステップＳ５６： 制御部３３は、被写体辞書部２２の被写体辞書を書き換え、被写体種類Ｋｕの階層位置を被写体種類Ｋｄの上位階層とする。
ステップＳ５７： 制御部３３は、過去の被写体認識において、被写体種類Ｋｄが映っていると判断された画像データ群Ａを選択する。なお、下位階層の被写体種類Ｋｄが複数存在する場合、制御部３３は、個々の被写体種類Ｋｄごとに画像データ群を求め、これら画像データ群の和集合を求めて画像データ群Ａとする。
ステップＳ５８： 制御部３３は、上述したステップＳ２２〜Ｓ２５と同様の処理により、被写体種類Ｋｕの更に上位階層に該当する被写体種類を求め、この上位階層の被写体種類に分類される画像データ群Ｂを選択する。なお、被写体種類Ｋｕの上位階層が存在しない場合は、下記のような被写体認識が必要と判断される画像データ群を選択して、画像データ群Ｂとしてもよい。
(1)画像データベース１３内の全ての画像データ。
(2)最近数ヶ月間に登録された新しい画像データ。
(3)過去の画像検索のヒット回数が閾値以上の画像データ。
(4)過去の閲覧回数が閾値以上の画像データ。
(1)画像データベース１３内の全ての画像データ。
(2)最近数ヶ月間に登録された新しい画像データ。
(3)過去の画像検索のヒット回数が閾値以上の画像データ。
(4)過去の閲覧回数が閾値以上の画像データ。
ステップＳ５９： 制御部３３は、画像データ群Ｂの中から画像データ群Ａに該当するものを除いて、画像データ群［Ｂ and (notＡ)］を得る。
この画像データ群［Ｂ and (notＡ)］を被写体条件Ｃｕと順次に照合し、条件成立する画像データ群Ｃを選択する。
この画像データ群［Ｂ and (notＡ)］を被写体条件Ｃｕと順次に照合し、条件成立する画像データ群Ｃを選択する。
ステップＳ６０： 制御部３３は、ステップＳ５７で選択した画像データ群Ａと、ステップＳ５９で選択した画像データ群Ｃとの和集合を求めて、画像データ群［Ａ or Ｃ］を得る。制御部３３は、この画像データ群［Ａ or Ｃ］に属する画像データに対応付けて、被写体種類Ｋｕに関連するキーワードを被写体キーワード記憶部２４に記録する。
ステップＳ６１： 制御部３３は、被写体辞書部２２から被写体辞書のバージョン情報を取得し、画像データ群Ｂ（あるいは画像データ群［Ａ or Ｃ］）に対応付けて、被写体キーワード記憶部３４に記録する。
以上の動作により、上位階層の被写体種類Ｋｕの辞書追加に応じて、画像データに新たな被写体キーワードを追加的に付与することができる。
以上の動作により、上位階層の被写体種類Ｋｕの辞書追加に応じて、画像データに新たな被写体キーワードを追加的に付与することができる。
［実施形態の効果など］
以上説明したように、本実施形態では、階層構造の被写体辞書を使用するため、被写体種類を絞り込むように被写体認識を実施することができる。そのため、上位階層の認識状況に従って、可能性の低い下位階層の被写体認識を柔軟に省くことができる。その結果、認識すべき被写体種類が多くなっても、被写体認識の回数を効率良く減らし、被写体認識に所要する総処理時間を短縮することができる。
以上説明したように、本実施形態では、階層構造の被写体辞書を使用するため、被写体種類を絞り込むように被写体認識を実施することができる。そのため、上位階層の認識状況に従って、可能性の低い下位階層の被写体認識を柔軟に省くことができる。その結果、認識すべき被写体種類が多くなっても、被写体認識の回数を効率良く減らし、被写体認識に所要する総処理時間を短縮することができる。
さらに、本実施形態は、画像データに映っている被写体種類を予め認識し、その被写体種類に関連するキーワードを記録しておく。そのため、キーワードの照合によって、所望の被写体が映っている画像データを簡易に検索することが可能になる。
なお、本実施形態は、追加登録された下位階層の被写体種類Ｋｄの照合範囲を、上位階層の被写体種類Ｋｕに過去分類された画像データ群に絞る。その結果、追加登録のたびに、過去の全ての画像データに対して被写体認識を再実行する必要がなくなり、被写体辞書のバージョンアップに伴う処理負荷を少なくすることができる。
また、本実施形態は、追加登録された上位階層の被写体種類Ｋｕの照合範囲を、ステップＳ５９で求めた画像データ群［Ｂ and (notＡ)］に絞る。その結果、追加登録のたびに、過去の全ての画像データに対して被写体認識を再実行する必要がなくなり、被写体辞書のバージョンアップに伴う処理負荷を少なくすることができる。
さらに、本実施形態では、上位階層の被写体種類Ｋｕの追加登録に際して、下位階層の被写体種類Ｋｄの画像データ群Ａを、被写体種類Ｋｕと見なして、被写体キーワードの付与を行う。したがって、画像データ群Ａについて被写体認識を重複して実施する必要がなく、被写体辞書のバージョンアップに伴う処理負荷を少なくすることができる。
［実施形態の補足事項］
なお、上述した実施形態では、画像検索の用途を中心に説明した。しかしながら、この用途に限定されるものではない。例えば、画像データに映っている被写体種類を判別し、その被写体種類に対応する画像処理（画質調整を含む）を画像データに施してもよい。この動作により、被写体種類に適した画像処理を選択実行する画像処理装置を実現することができる。
なお、上述した実施形態では、画像検索の用途を中心に説明した。しかしながら、この用途に限定されるものではない。例えば、画像データに映っている被写体種類を判別し、その被写体種類に対応する画像処理（画質調整を含む）を画像データに施してもよい。この動作により、被写体種類に適した画像処理を選択実行する画像処理装置を実現することができる。
また、上述した実施形態では、画像データから画像特徴量を抽出している。しかしながら、これに限定されるものではない。被写体種類を示すテンプレート画像（被写体条件に相当）と画像データとをパターンマッチングで照合することにより、画像データ内に被写体種類が映っているか否かを判定してもよい。
さらに、上述した実施形態において、画像データを複数の分割領域に分け、これら分割領域ごとに被写体認識を実施してもよい。
また、上述した実施形態では、上下階層の包含関係に基づいて被写体種類を絞り込み、被写体認識の回数を省いている。しかしながら、これに限定されるものではない。
例えば、人物および女性について被写体認識を行った場合、人物であって女性でないと判定された被写体を、男性その他にそのまま分類することが可能である。このように、並列概念の排他関係に基づいて被写体種類の可能性を絞り込むことで、被写体認識の回数を効率良く省くことも可能である。
なお、上述した実施形態では、被写体キーワード記憶部３４に画像データのキーワードやバージョン情報を記録している。しかしながら、これに限定されるものではない。画像データのファイル内（例えばEXIFデータなど）に、キーワード情報および／またはバージョン情報を記録してもよい。
また、上述した実施形態では、静止画像を前提に説明したが、これに限定されるものではない。動画像の被写体認識にも同様に適用することができる。例えば、１つの動画像ファイルのうち、人物が映っているシーンを判別し、さらに、人物シーンから女性が映っているシーンを判別することができる。
以上説明したように、本発明は、画像検索システムや被写体認識装置などに利用可能な技術である。
１１…画像検索システム，１２…被写体認識装置，１３…画像データベース，１４…端末装置，２１…画像入力部，２２…被写体辞書部，２３…処理部，２４…被写体キーワード記憶部，３１：…特徴演算部，３１…特徴量演算部，３２…特徴量記憶部，３３…制御部，３４…被写体キーワード記憶部
Claims (5)
- 画像データを取り込む画像入力部と、
被写体種類を特定するための被写体条件を、前記被写体種類の階層構造に従って記憶する被写体辞書部と、
前記画像データを前記被写体条件に照合して、前記画像データに写っている前記被写体種類を特定する処理部とを備え、
前記被写体辞書部は、登録済みの被写体種類Ｋｄの上位階層として、被写体種類Ｋｕの追加登録を受け付ける機能を有し、
前記処理部は、
前記被写体種類Ｋｕの追加登録に応じて、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、前記被写体種類Ｋｕの下位階層に該当する被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外する第１の制御部と、
前記第１の制御部により前記画像データ群Ａに含まれる画像データが除外された前記画像データ群Ｂに含まれる画像データのうち、前記被写体種類Ｋｕを特定するための被写体条件Ｃｕに該当する画像データを画像データ群Ｃとして選択する第２の制御部と、
前記第２の制御部により選択された前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データを、前記被写体種類Ｋｕを検出済みの画像データとして見なして、前記被写体種類Ｋｕに関連するキーワードを、前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データに対応付けて記憶するキーワード記憶部と、
を備えることを特徴とする被写体認識装置。 - 請求項１に記載の被写体認識装置において、
前記被写体辞書部は、登録済みの複数の被写体種類Ｋｄをまとめて上位階層の被写体種類Ｋｕとして追加登録を受け付ける機能を有し、
前記処理部は、前記追加登録に応じて、前記登録済みの複数の被写体種類Ｋｄのそれぞれに分類される画像データを、前記画像データ群Ａに含まれる画像データとして選択した後、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外することを特徴とする被写体認識装置。 - 請求項１または請求項３に記載の被写体認識装置において、
前記被写体辞書部は、前記被写体条件のバージョン情報を管理する機能を有し、
前記処理部は、前記被写体種類Ｋｕと見なした画像データに対応付けて、前記追加登録後のバージョン情報を記録する
ことを特徴とする被写体認識装置。 - コンピュータを、請求項１ないし請求項３のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。
- 画像データを取り込む画像入力工程と、
被写体種類を特定するための被写体条件を、前記被写体種類の階層構造に従って記憶する条件記憶工程と、
前記画像データを前記被写体条件に照合して、前記画像データに写っている前記被写体種類を特定する処理工程と、
前記入力されるキーワードを前記キーワード情報に照合することで、画像検索を行う検索工程と、
を含み、
前記処理工程は、
登録済みの被写体種類Ｋｄの上位階層として、被写体種類Ｋｕの追加登録を受け付けたときに、前記被写体種類Ｋｕの上位階層に該当する被写体種類の画像データ群Ｂに含まれる画像データから、前記被写体種類Ｋｕの下位階層に該当する被写体種類Ｋｄの画像データ群Ａに含まれる画像データを除外する第１の制御工程と、
前記第１の制御部により前記画像データ群Ａに含まれる画像データが除外された前記画像データ群Ｂに含まれる画像データのうち、前記被写体種類Ｋｕを特定するための被写体条件Ｃｕに該当する画像データを画像データ群Ｃとして選択する第２の制御工程と、
前記第２の制御部により選択された前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データを、前記被写体種類Ｋｕを検出済みの画像データとして見なして、前記被写体種類Ｋｕに関連するキーワードを、前記画像データ群Ｃ及び前記画像データ群Ａに含まれる画像データに対応付けて記憶するキーワード記憶工程と、
を、さらに含むことを特徴とする画像検索サービス提供方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006242054A JP4946282B2 (ja) | 2006-09-06 | 2006-09-06 | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 |
| EP18154505.4A EP3336765A1 (en) | 2006-05-10 | 2007-05-09 | Object recognition device, object recognition program, and image search service providing method |
| EP07737150A EP2023288A4 (en) | 2006-05-10 | 2007-05-09 | OBJECT RECOGNITION DEVICE, OBJECT RECOGNITION PROGRAM, AND METHOD FOR OBTAINING IMAGE RECORDING SERVICE |
| US12/227,124 US8379990B2 (en) | 2006-05-10 | 2007-05-09 | Object recognition apparatus, computer readable medium storing object recognition program, and image retrieval service providing method |
| PCT/JP2007/000494 WO2007129474A1 (ja) | 2006-05-10 | 2007-05-09 | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006242054A JP4946282B2 (ja) | 2006-09-06 | 2006-09-06 | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008065560A JP2008065560A (ja) | 2008-03-21 |
| JP4946282B2 true JP4946282B2 (ja) | 2012-06-06 |
Family
ID=39288230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006242054A Expired - Fee Related JP4946282B2 (ja) | 2006-05-10 | 2006-09-06 | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4946282B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5791909B2 (ja) * | 2011-01-26 | 2015-10-07 | オリンパス株式会社 | キーワード付与装置 |
| KR101350221B1 (ko) * | 2012-02-24 | 2014-01-24 | 주식회사 시티캣 | 인지모방 기법을 이용한 지능형 영상 검색 방법 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08115334A (ja) * | 1994-10-18 | 1996-05-07 | Canon Inc | 検索装置 |
| JPH0944518A (ja) * | 1995-08-02 | 1997-02-14 | Adoin Kenkyusho:Kk | 画像データベースの構築方法と、画像データベースの検索方法及び検索装置 |
| JP2004070450A (ja) * | 2002-08-02 | 2004-03-04 | Fuji Photo Film Co Ltd | 画像表示制御装置 |
-
2006
- 2006-09-06 JP JP2006242054A patent/JP4946282B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008065560A (ja) | 2008-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2007129474A1 (ja) | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 | |
| US9875303B2 (en) | System and process for building a catalog using visual objects | |
| US9367756B2 (en) | Selection of representative images | |
| KR100996066B1 (ko) | 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 | |
| US8036432B2 (en) | System and method of saving digital content classified by person-based clustering | |
| US20160224826A1 (en) | Identifying Images Using Face Recognition | |
| JP5385759B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP2618289A2 (en) | Method and apparatus to incorporate automatic face recognition in digital image collections | |
| US20100211551A1 (en) | Method, system, and computer readable recording medium for filtering obscene contents | |
| TW201921270A (zh) | 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統 | |
| JP2004005456A (ja) | 構成成分基盤ｐｃａ／ｉｃａを利用した顔認識方法及びその装置 | |
| JP2014016824A (ja) | 情報処理装置及びその制御方法及びプログラム | |
| JP2005518001A (ja) | モジュール式インテリジェントマルチメディア解析システム | |
| CN112966758B (zh) | 一种农作物病虫草害识别方法、装置、系统及存储介质 | |
| JP4725408B2 (ja) | 被写体認識装置および被写体認識プログラム | |
| JP2014016968A (ja) | 人物検索装置及びデータ収集装置 | |
| CN113963303A (zh) | 图像处理方法、视频识别方法、装置、设备及存储介质 | |
| JP2013140475A (ja) | 映像検索装置 | |
| JP2007310646A (ja) | 検索情報管理装置、検索情報管理プログラムおよび検索情報管理方法 | |
| JP4946282B2 (ja) | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 | |
| WO2012017599A1 (ja) | 情報処理装置、処理方法、コンピュータプログラム及び集積回路 | |
| JP5890340B2 (ja) | 画像分類装置及び画像分類プログラム | |
| US20230131392A1 (en) | Travel destination searching system and method using color based space information database | |
| JP7314338B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム | |
| Cerosaletti et al. | Approaches to consumer image organization based on semantic categories |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111114 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120207 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120220 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4946282 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |