JPH11306322A

JPH11306322A - 画像フィルタリングシステム

Info

Publication number: JPH11306322A
Application number: JP10113582A
Authority: JP
Inventors: Naoki Sashita; 直毅指田; Daiki Masumoto; 大器増本; Shigemi Osada; 茂美長田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1998-04-23
Filing date: 1998-04-23
Publication date: 1999-11-05

Abstract

(57)【要約】【課題】柔軟なフィルタリング条件設定が可能であ
り、フィルタリング処理が高速、かつ、高品質である画
像フィルタリングシステムを提供する。【解決手段】モデル作成部２０において各種画像認識
アルゴリズムで用いるモデルを作成する。メタデータ作
成部４０において各種画像認識アルゴリズムと作成した
モデルを用いて、色特徴データ、色分布特徴データ、パ
ラメトリック固有空間特徴データ、Eigen-Window特徴デ
ータ、カテゴリ特徴データをそれぞれ抽出し、特徴デー
タ統合処理を行ってメタデータを作成してメタデータＤ
Ｂ５０に格納する。画像フィルタリング処理実行時、利
用者はユーザーインタフェース部７０に表示されたモデ
ル画像の指定などにより画像フィルタリングキーを入力
する。画像フィルタリングキー照合部６０においてキー
とメタデータを比較照合して結果をユーザーインタフェ
ース部７０に返して画像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データベース
などに蓄積された画像の中から、利用者の指定により、
必要な画像を選択的に取り出し、不必要な画像を排除す
る画像フィルタリングシステムに関する。

【０００２】

【従来の技術】近年、インターネットの普及に伴い、ネ
ットワーク上にはディジタル画像データベースを提供す
るサイトが数多く存在し、利用者がアクセスする画像デ
ータは膨大な量となり、今後もますます増加する傾向に
ある。利用者にとり、その膨大な画像データの中から自
分の必要とする画像、条件に合致する画像を探し出すこ
とが困難な状況になりつつある。このような状況下にお
いて、ネットワーク上に存在する大規模な画像データベ
ースから、利用者の要求内容が明確である場合はその対
象画像を高速に検索し、利用者の要求内容が明確ではな
く曖昧な範囲や興味ある分野に属する画像などである場
合にはその条件に合致する画像を高速かつ適切にフィル
タリングして出力する画像フィルタリング技術の確立が
強く望まれ、期待されている。

【０００３】従来における画像データ検索システムの典
型例として、テキストキーを用いて検索するテキストキ
ー検索システム、画像の低次特徴を用いて検索する画像
低次特徴検索システム、画像の対象物を認識、理解して
検索する画像認識検索システムを挙げることができる。

【０００４】一番目に挙げたテキストキー検索システム
は、画像データの蓄積にあたり、その画像データの対象
物を表現するテキスト情報などを主に人手によりキャプ
ション情報として画像データに関係づけて付加してお
き、検索にあたっては利用者が自身の要求を表現するテ
キストを適当に選んで検索キーとしてシステムに与え、
照合するテキストキーが付されている画像を検索結果と
して返すものである。

【０００５】二番目に挙げた画像の低次特徴を利用した
検索システムは、画像の色や配色などの絵柄、画像の一
様な色合いや質感（テクスチャ）など画像の特徴を表わ
す要素としては比較的単純な低次の特徴の類似性を利用
して検索するものである。利用者が自身の要求に近いサ
ンプルとなるモデル画像を指定してシステムに与え、検
索にあたっては、モデル画像および各々の蓄積画像から
絵柄、テクスチャなどの低次特徴を抽出し、それら抽出
された画像低次特徴の類似性を解析して条件に合致する
画像を検索結果として返すものである。

【０００６】三番目に挙げた画像認識検索システムは、
上記画像低次特徴検索システムで用いる比較的低次な画
像特徴ではなく、画像対象物の２次元的、３次元的形
状、材質の特徴など高度な画像特徴を抽出して用い、知
識データベースを基にして、人間が画像を見て判断、認
識するのと同様に、システムが画像中の何処に何が写っ
ているかを認識、理解した上で、その認識された内容に
基づいて、利用者の要求する内容に合致する画像データ
を検索結果として返すものである。

【０００７】

【発明が解決しようとする課題】画像フィルタリングシ
ステムは、大量の画像データから利用者の要求する条件
に合致する画像を高速かつ適切にフィルタリングして出
力するため、高速性、フィルタリング品質、フィルタリ
ング条件設定の柔軟性、インタラクティブ性が求められ
るものである。しかし、上記紹介した従来の画像データ
ベース検索システムはそれぞれ以下のような問題があっ
た。

【０００８】従来のテキストキー検索システムは、検索
速度が他の方式より比較的早いという利点があるが、検
索キーの選定方法と検索の柔軟性において問題があっ
た。つまり、フィルタリング対象が画像データであるた
め、利用者が検索、選別したい画像データに関する情報
または条件をテキストとして適切に表現してコンピュー
タに指示することが困難である。また画像中の対象物形
状の一部や微妙な変形でフィルタリングする場合などは
テキストによる指定では柔軟に対応できない。

【０００９】従来の画像の低次特徴を利用した検索シス
テムは、従来のテキストキー検索システムに比べ、キー
の選定方法と検索の柔軟性の問題が緩和されているもの
の、依然として不十分であり、その有用性は表面的に類
似する画像を検索するレベルに限られてしまう問題があ
った。画像の低次の特徴のみを用いた検索では、画像中
の対象物の位置、角度、形状などが少し変化するだけで
照合が不可能となってしまうが、蓄積される画像データ
は、一般に、様々な状態でキャプチャリングされたもの
が混在し、例えば対象物の種類、サイズ、形状、色合
い、写っている角度などが異なっているものである。そ
のため画像の低次特徴だけを用いて画像照合を行う従来
の手法は、それら混在する画像データから利用者が本当
に意図する画像を適切に取り出す要求に応えるものとし
ては到底力不足であった。

【００１０】従来の画像認識検索システムは、画像中の
対象物を認識、理解するため、検索の品質、柔軟性につ
いては他の方式に比べて優れている。しかし、高速性お
よびインタラクティブ性の面において問題があった。つ
まり、概して画像中の対象物の認識、理解のための処理
アルゴリズムが複雑であり、多くの処理時間を要するこ
ととなり、実用に耐える処理速度が得られない。また、
同様にターンアラウンドタイムが長くなるためインタラ
クティブにフィルタリング試行を重ねていくという利用
形態をとることができないという問題があった。

【００１１】本発明は、上記従来の画像フィルタリング
システムの問題点に鑑み、画像フィルタリング条件設定
の柔軟性向上、画像特徴の適切な抽出によるフィルタリ
ング品質の向上、画像フィルタリング実行処理の高速性
およびインタラクティブ性を確保した画像フィルタリン
グシステムを提供することを目的とする。

【００１２】

【課題を解決するための手段】上記課題を解決するため
に本発明にかかる画像フィルタリングシステムは、画像
フィルタリングキーの入力および画像フィルタリング結
果の表示を処理するユーザインタフェース部と、画像認
識アルゴリズムで利用する各画像対象のモデルを作成す
るモデル作成部と、前記画像データベース中の各画像に
対して前記画像認識アルゴリズムと前記モデルを用いて
抽出した特徴データをメタデータとして作成・蓄積する
メタデータ作成部と、前記ユーザインタフェース部から
入力された画像フィルタリングキーと前記作成・蓄積さ
れたメタデータとを用いて照合処理を行い、照合結果を
前記ユーザインタフェース部に渡す画像フィルタリング
キー照合処理部とを備えたことを特徴とする。

【００１３】かかる構成により、少ないデータ量で画像
の特徴を効率よく表わしたメタデータを利用した高速、
高性能な画像フィルタリングシステムを実現することが
できる。

【００１４】次に、前記画像フィルタリングシステム
は、前記ユーザインタフェース部を備えた画像フィルタ
リングクライアントと、前記モデル作成部と前記メタデ
ータ作成部と前記画像フィルタリングキー照合処理部と
を備えた画像フィルタリングサーバーを備え、前記画像
フィルタリングクライアントと前記画像フィルタリング
サーバーがコンピュータネットワークを介して接続され
ることが好ましい。

【００１５】かかる構成により、クライアントサーバー
システム構成の画像フィルタリングシステムとすること
ができ、ネットワークを利用したリモートサービスなど
を利用者に提供でき、利便性が向上する。

【００１６】また、利用者による画像フィルタリング処
理実行に先立ち、モデル作成処理とメタデータの作成・
蓄積処理とをあらかじめ実行してメタデータを用意して
おくことにより、画像フィルタリング処理の実行速度の
向上とインタラクティブ処理が実現できる。

【００１７】次に、前記メタデータ作成部が、前記画像
データベース中の画像の解像度を変化させ、解像度変更
後の画像データに対して、前記画像認識アルゴリズムと
前記モデルを用いて特徴データを抽出することにより画
像の属性を表わすメタデータを作成・蓄積することが好
ましい。

【００１８】かかる構成により、画像フィルタリング対
象となる画像の解像度を可変として多様な解像度に適用
した画像フィルタリングシステムとすることができる。
次に、前記ユーザインタフェース部が、前記特徴データ
の各属性に対する利用者の入力した条件に基づいて前記
画像フィルタリングキーを作成することが好ましい。

【００１９】かかる構成により、利用者はユーザインタ
フェース部を用いてインタラクティブに画像フィルタリ
ング処理を進めることができる。次に、前記ユーザイン
タフェース部が、前記画像データベース内にある画像の
モデル画像を表示するモデル画像表示部と、前記モデル
画像表示部に表示されたモデル画像の選択を受け付ける
画像選択部と、前記選択されたモデル画像に付与されて
いる情報に基づいて画像フィルタリングキーを作成する
画像フィルタリングキー作成部を備えることが好まし
い。

【００２０】かかる構成により、利用者は画像フィルタ
リング条件の入力をモデル画像の選択により行うことが
でき、より柔軟な条件入力環境を提供することができ
る。次に、前記ユーザインタフェース部が、画像入力部
と、画像フィルタリングキーを作成する画像フィルタリ
ングキー作成部を備え、前記画像フィルタリングキー作
成部は、前記画像入力部から利用者により入力された画
像を前記メタデータ作成部に入力し、前記メタデータ作
成部において前記画像認識アルゴリズムと前記モデルを
用いて抽出した特徴データを画像フィルタリングキーと
することが好ましい。

【００２１】かかる構成により、利用者自らが用意した
画像を用いて画像フィルタリングを実行することがで
き、より柔軟な条件入力環境を提供することができる。
次に、前記画像が、人物の顔を写した顔画像であり、前
記人物の顔画像を画像フィルタリング対象とし、前記特
徴データの属性が、人物名、顔の向き、顔画像の画像内
位置、縦横長、面積、性別を含むことが好ましい。

【００２２】かかる構成により、人物の顔画像データベ
ースに対する画像フィルタリングシステムを構成するこ
とができる。次に、前記メタデータ作成部が、メタデー
タ作成過程において、処理対象である画像にテキスト情
報を付与してメタデータの一部とするテキスト入力部
と、処理対象である画像に付与されているキャプション
情報を抽出してメタデータの一部とするキャプション情
報抽出部とを備えることが好ましい。

【００２３】かかる構成により、メタデータ作成者が必
要に応じて入力したテキスト、または、キャプション情
報として付与されているテキストデータを、メタデータ
として付与することができ、画像フィルタリングの品質
を向上することができる。

【００２４】次に、前記メタデータ作成部の前記画像認
識アルゴリズムで用いるパラメータの設定を変更するメ
タデータ作成処理調整部を備えることが好ましい。かか
る構成により、利用者自身が画像フィルタリング処理の
結果を見て、メタデータ作成部の画像認識アルゴリズム
などの重み付けに用いられているパラメータ設定値を変
えることができ、画像フィルタリング処理のチューニン
グ、フィードバック調整を行うことができる。

【００２５】次に、前記メタデータ作成部が、複数種類
の画像認識アルゴリズムを備え、前記モデル作成部が、
前記画像認識アルゴリズムの種類に応じたそれぞれのモ
デルを作成し、前記メタデータ作成部が、前記画像デー
タベース中の各画像に対して、前記複数種類の画像認識
アルゴリズムとモデルを用いて抽出した特徴データをメ
タデータとして作成・蓄積することが好ましい。

【００２６】かかる構成により、複数の画像認識アルゴ
リズムによる抽出した特徴データを用いた精度の高い画
像認識処理ができ、画像フィルタリングの品質・精度を
向上することができる。

【００２７】ここで、前記複数種類の画像認識アルゴリ
ズムとして、画像データの色情報に基づいた画像認識ア
ルゴリズムを用いれば、画像中の特定の色領域を認識す
ることができる。また、画像データの色分布情報に基づ
いた画像認識アルゴリズムを用いれば、画像中の特定の
色分布を持つ領域を認識することができる。また、画像
データのパラメトリック固有空間への投影に基づいた画
像認識アルゴリズムを用いれば、対象物のさまざまな姿
勢の画像を認識することができる。また、画像中の局所
窓画像データのパラメトリック固有空間への投影に基づ
いた画像認識アルゴリズムを用いれば、対象物の一部が
隠れた画像を認識することができる。また、画像データ
のパラメトリック固有空間における空間上に定義された
カテゴリへの帰属度合に基づいた画像認識アルゴリズム
などを用れば、カテゴリ属性を画像フィルタリング条件
の一つとすることができる。

【００２８】次に、前記メタデータ作成部において、前
記複数種類の画像認識アルゴリズムとモデルを用いて抽
出した複数種類の特徴データの各属性を軸として適度に
量子化したセルからなる投票空間を設定し、前記各特徴
データに割り当てられた投票数を基に投票処理を行い、
前記投票空間内での得票数が最大であるセルの示す属性
値を統合処理されたメタデータの属性値とすることが好
ましい。

【００２９】かかる構成により、複数種類の画像認識ア
ルゴリズムを用いて認識した特徴データを統合してメタ
データを作成することができる。次に、前記画像フィル
タリングキー照合処理部による画像フィルタリングキー
とメタデータとの照合処理において、照合比較する各属
性項目を次元とする前記画像フィルタリングキーと前記
メタデータとの距離を算出し、前記算出した距離の値に
基づいて照合結果の優先順位をつけることが好ましい。

【００３０】かかる構成により、画像フィルタリング処
理の結果を優先順位付けをして表示することができる。
次に、前記特徴データの属性ごとに投票の重みを表わす
投票重みパラメータを設け、前記特徴データごとに割り
当てられる投票数を前記投票の重み付けにより変化させ
ることが好ましい。

【００３１】かかる構成により、各特徴データの属性に
応じた重み付けを伴った統合データを作成することがで
きる。次に、前記特徴データの属性ごとに信頼度を表わ
す信頼性パラメータを設け、前記特徴データごとに割り
当てられる投票数を前記信頼度により変化させることが
好ましい。

【００３２】かかる構成により、各特徴データの信頼性
に応じた重み付けを伴った統合データを作成することが
できる。次に、前記画像フィルタリングキー照合処理部
による前記距離の計算において、前記メタデータの各属
性値を属性ごとの重み付けを行った重み付き属性値とす
ることが好ましい。

【００３３】かかる構成により、画像フィルタリング処
理の結果を、メタデータの各属性に応じた重み付けを伴
った優先順位として表示することができる。次に、上記
課題を解決するために本発明にかかる画像フィルタリン
グシステムの処理を記録した記録媒体は、前記ユーザイ
ンタフェース部による画像フィルタリングキーの入力お
よび画像フィルタリング結果の表示処理と、前記モデル
作成部によるモデル作成処理と、前記メタデータ作成部
によるメタデータ作成・蓄積処理と、前記画像フィルタ
リングキー照合処理部による前記画像フィルタリングキ
ーと前記メタデータとの照合処理とをコンピュータに実
行させるためのプログラムを記録したコンピュータ読み
取り可能な記録媒体であることが好ましい。

【００３４】かかる構成により、パーソナルコンピュー
タ、ワークステーションなどのコンピュータを利用して
画像フィルタリングシステムを構築することができる。
次に、上記課題を解決するために本発明にかかる画像フ
ィルタリングシステムは、画像フィルタリングキーとな
るモデル画像の入力および画像フィルタリング結果の表
示を処理するユーザインタフェース部と、前記モデル画
像に対して画像圧縮変換を施してモデル画像圧縮特徴デ
ータを作成するモデル画像圧縮特徴データ作成部と、前
記画像データベース中の各画像に対して画像圧縮変換を
施してフィルタリング画像圧縮データを作成する画像圧
縮特徴データ作成部と、前記モデル画像圧縮特徴データ
と前記フィルタリング画像圧縮特徴データとの照合処理
を行い、照合結果を前記ユーザインタフェース部に渡す
画像フィルタリングキー照合処理部とを備えたことを特
徴とする。

【００３５】かかる構成により、画像圧縮変換による圧
縮データを画像から抽出した特徴データと扱うことによ
り、画像フィルタリング照合処理のためのキーデータと
して利用することができる。また、画像フィルタリング
結果である画像圧縮特徴データを伸長処理することによ
り元の画像データを表示することができる。

【００３６】ここで、前記画像圧縮変換の例として、ウ
ェーブレット変換、離散コサイン変換、フーリエ変換な
どを用いることができる。次に、前記ユーザインタフェ
ース部を備えた画像フィルタリングクライアントと、前
記モデル画像圧縮特徴データ作成部と前記画像圧縮特徴
データ作成部と前記画像フィルタリングキー照合処理部
とを備えた画像フィルタリングサーバーを備え、前記画
像フィルタリングクライアントと前記画像フィルタリン
グサーバーがコンピュータネットワークを介して接続さ
れることが好ましい。

【００３７】かかる構成により、クライアントサーバー
システム構成の画像フィルタリングシステムとすること
ができ、ネットワークを利用したリモートサービスなど
を利用者に提供でき、利便性が向上する。

【００３８】また、利用者による画像フィルタリング処
理実行に先立ち、あらかじめ画像圧縮特徴データを用意
しておくことにより、画像フィルタリング処理の実行速
度の向上とインタラクティブ処理が実現できる。

【００３９】次に、上記課題を解決するために本発明に
かかる画像フィルタリングシステムの処理を記録した記
録媒体は、前記ユーザインタフェース部による画像フィ
ルタリングキー入力および画像フィルタリング結果の表
示処理と、前記モデル画像圧縮特徴データ作成部による
モデル画像圧縮データ作成処理と、前記画像圧縮特徴デ
ータ作成部による画像圧縮特徴データ作成処理と、前記
画像フィルタリングキー照合処理部による前記モデル画
像圧縮特徴データと前記フィルタリング画像圧縮特徴デ
ータとの照合処理とをコンピュータに実行させるための
プログラムを記録したコンピュータ読み取り可能な記録
媒体であることが好ましい。

【００４０】かかる構成により、パーソナルコンピュー
タ、ワークステーションなどのコンピュータを利用して
画像フィルタリングシステムを構築することができる。

【００４１】

【発明の実施の形態】以下、本発明の実施形態にかかる
画像フィルタリングシステムについて、図面を参照しな
がら説明する。

【００４２】（実施形態１）実施形態１にかかる画像フ
ィルタリングシステムは、フィルタリング対象画像とし
て人物の顔画像を扱うシステムである。画像データベー
スには多数の人物の顔画像データが大量に蓄積されてお
り、その中から画像フィルタリング条件に沿って特定人
物が写っている顔画像データを取り出すものである。

【００４３】最初に、本実施形態１にかかる画像フィル
タリングシステムの全体構成の概略と本システムによる
処理流れの全体像を図１と図２を参照しつつ説明する。
なお、各構成部分および各機能の詳細な説明は後述す
る。

【００４４】図１は、本実施形態１にかかる画像フィル
タリングシステムの概略構成図を示している。図２は、
本システムによる処理流れの全体像を処理ステップとし
て表わしたものである。

【００４５】図１に示すように、本画像フィルタリング
システムは、大別して、画像ＤＢ１０、モデル作成部２
０、モデルＤＢ３０、メタデータ作成部４０、メタデー
タＤＢ５０、フィルタリングキー照合部６０、ユーザー
インタフェース部（以下、ＵＩ部と略記する）７０を備
えている。なお、図示していないが、システム全体の制
御処理に必要なコントローラ、メモリなどは装備してい
る。

【００４６】まず、あらかじめ人物ごとにモデル作成の
ための基本画像となるモデル画像を画像ＤＢ１０から抽
出して集めておく。柔軟な画像フィルタリングを実現す
るためには正面画像のほか、様々な方向から写した顔画
像を用意しておくことが好ましい。集めたモデル画像を
モデル作成部２０に入力し、人物ごとに基本となる特徴
パターンで表わしたモデルを作成する。作成したモデル
をモデルＤＢ３０に保持する（図２ステップＳ１）。モ
デル作成処理の詳細については後述する。

【００４７】次に、メタデータ作成部４０は、モデルＤ
Ｂ３０中に蓄積されたモデルを用いて、画像ＤＢ１０中
の各画像データに対して各種認識アルゴリズムを適用し
て解析し、画像データごとにその画像の特徴を表わす特
徴データを抽出することによりメタデータを自動的に作
成する。本実施形態１では後述するように５種類の認識
アルゴリズムを適用してメタデータを作成する。メタデ
ータ作成処理の詳細については後述する。このメタデー
タは後述するように画像の所定の特徴内容を端的に表わ
すものであり、元の画像データと関係づけられている。
作成したメタデータをメタデータＤＢ５０に蓄積・保持
する（図２ステップＳ２）。

【００４８】なお、上記のメタデータの作成・蓄積まで
の処理（図２ステップＳ１〜ステップＳ２）を、利用者
による画像フィルタリング処理実行までに前準備として
行っておくことが好ましい。

【００４９】次に、利用者がＵＩ部７０を用いて、画像
フィルタリング条件などの指示をシステムに与える。利
用者はＵＩ部７０に表示されるサンプルとなるモデル画
像の選択などにより指定することができ、また、テキス
トによる条件入力も可能である（図２ステップＳ３）。

【００５０】ＵＩ部７０は入力された画像フィルタリン
グ条件などに基づき、画像フィルタリングキーを生成す
る（図２ステップＳ４）。画像フィルタリングキー照合
部６０は、与えられたフィルタリングキーを解析し、人
物名、姿勢などの画像の条件、さらに検索処理、排他処
理などの処理条件などの画像フィルタリング条件を認識
し、フィルタリングキーとメタデータＤＢ５０中のメタ
データとの照合を行う（図２ステップＳ５）。

【００５１】画像フィルタリングキー照合部６０は、一
致するメタデータが付与されている画像データをフィル
タリング結果としてＵＩ部７０に返し、ＵＩ部７０はフ
ィルタリング結果を表示する（図２ステップＳ６）。

【００５２】この画像フィルタリング処理（図２ステッ
プＳ３〜ステップＳ６）は、処理の柔軟性を高めるため
に利用者と画像フィルタリングシステムとの間でインタ
ラクティブに進められることが好ましい。

【００５３】以上が、本実施形態１にかかる画像フィル
タリングシステム構成の概略と本システムによる処理流
れの全体像である。以下に、各構成部分および各機能を
詳細に説明する。

【００５４】まず、モデル作成部２０におけるモデル作
成処理を詳細に説明する。モデル作成部２０の構成を図
３に示す。モデル作成部２０は、後述するメタデータ作
成部４０の各種認識アルゴリズムにおいて画像データの
特徴パターン検出に利用するための各モデルを作成する
部分を備えている。本実施形態１では、色モデル作成部
２１、色分布モデル作成部２２、パラメトリック固有空
間モデル作成部２３、アイゲンウィンドウ(Eigen-Windo
w)モデル作成部２４、カテゴリモデル作成部２５の５種
類の構成部分を持っている。

【００５５】以下に、上記５種類の各モデル作成部分に
おけるモデル作成処理を説明する。なお、モデル作成処
理は、画像認識アルゴリズムに関する知識を持ったモデ
ル作成者が行うことが好ましい。各画像認識アルゴリズ
ムごとに適切なモデルを用意することにより認識率が上
がり、システム全体の効率が向上するからである。

【００５６】モデル作成処理にあたり、まず、モデル作
成のために人物ごとに基本画像となるモデル画像を用意
する。本実施形態１では、モデル画像として正面顔画像
のほか、左右方向に一定角度毎の横顔画像、上下方向に
も一定角度毎の上向き顔画像および下向き顔画像を用意
することが好ましい。各方向ごとの顔画像を基にモデル
を作成しておくことにより、画像ＤＢ１０中に存在する
画像対象の様々な姿勢、様々な方向からの撮影画像に対
する画像フィルタリング処理の実行性を高めることがで
きる。

【００５７】色モデル作成部２１による色モデル作成手
順について図４を参照しつつ説明する。まず、画像ＤＢ
１０からモデル画像を読み込み、読み込んだモデル画像
から肌色領域を切り出して部分画像を得る。これら部分
画像の各画素値をＨＳＩ空間に投影し、これら投影点群
を含むＨＳＩ空間の部分領域を求める。求めたＨＳＩ空
間の部分領域に対して色モデル名を付与し、色モデルを
作成する。作成した色モデルをモデルＤＢ３０中の色モ
デルファイルに格納する。なお、本実施形態１では人物
等の色表現に適したＨＳＩ空間への投影としたが、ＲＧ
Ｂ空間、ＣＭＹ空間、カラーテレビジョン放送様の標準
表色系であるＹＩＱ空間への投影であっても良い。

【００５８】次に、色分布モデル作成部２２による色分
布モデル作成手順について図５を参照しつつ説明する。
まず、モデル画像から顔領域を切り出して部分画像を得
る。これら部分画像の各画素値をＨＳＩ空間に投影し、
これら投影点群を求める。次に、ＨＳＩ空間を適度に区
切って量子化することによりセルに分割する。図５で
は、代表的にセル(Ｈ_K-1,Ｓ₀,Ｉ₀)のみを図示した。次
に、各セルの位置と各セルに含まれる投影点の数をカウ
ントすることによりヒストグラム（以下、色ヒストグラ
ムと呼ぶ）を作成する。図５では、セル(Ｈ_K-1,Ｓ₀,
Ｉ₀)での投影点カウント数がｎであったことが示されて
いる。この色ヒストグラム作成処理をすべてのモデル画
像について行い、色ヒストグラム群を作成し、それら色
ヒストグラム群に平均化処理を施したもの（以下、統合
化色ヒストグラムと呼ぶ）を作成する。作成した統合化
色ヒストグラムに対して色分布モデル名を付与し、色分
布モデルを作成する。作成した色分布モデルをモデルＤ
Ｂ３０中の色分布モデルファイルに格納する。

【００５９】次に、パラメトリック固有空間モデル作成
部２３によるパラメトリック固有空間モデル作成手順に
ついて図６を参照しつつ説明する。まず、人物ごとのモ
デル画像から顔領域を切り出して部分画像を得る。切り
出した部分画像に対して、照明などの撮影環境の変化に
対してある程度のロバスト性を確保するため、画像明る
さについて正規化処理を行っておくことが好ましい。次
に、これら人物ごとの部分画像を各姿勢順にＫＬ展開
（Karhunen-Loeve展開。以下、ＫＬ展開と略記する）を
施して固有空間に投影する。この固有空間への投影にあ
たり、まず、固有空間を作成する。顔画像の画素値を要
素とする列ベクトルから構成される行列を作成し、その
行列から固有ベクトル行列を求める。この固有ベクトル
行列で定義される空間を固有空間とする。図６では、便
宜上、Ｘ₁，Ｘ₂，Ｘ_kの３軸のみを表示した。この固有
空間への投影により、高次元の画素値ベクトルの集合デ
ータに対してパターンの次元圧縮変換処理を施すことが
でき、入力したモデル部分画像を低次元の画像投影点群
からなる特徴パターンで表現することができる。次に、
固有空間に上記得られた画像投影点群を展開し、それら
投影点間を適切に補間して多様体を作成する。得られた
多様体に対してモデル画像のパラメトリック固有空間に
おける属性を表わすパラメトリック固有空間モデル名を
付与し、パラメトリック固有空間モデルを作成する。作
成したパラメトリック固有空間モデルをモデルＤＢ３０
中のパラメトリック固有空間モデルファイルに格納す
る。

【００６０】次に、Eigen-Windowモデル作成部２４によ
るEigen-Windowモデル作成手順について図７を参照しつ
つ説明する。このEigen-Windowモデルはモデル画像の画
像内小領域についてパラメトリック固有空間モデルを作
成したものであり、例えば、目、口、眉、鼻などの顔の
各部分（窓画像）ごとのパラメトリック固有空間モデル
である。

【００６１】まず、人物ごとの各姿勢のモデル画像の顔
領域を切り出した部分画像に対して、各画素位置におけ
る隣接画素との画素値の差の総和（以下、エッジ強度と
呼ぶ）を計算し、エッジ強度に基づいて画像の一部を窓
画像として切り出し、窓画像中に含まれる画素値を要素
とするベクトル（以下、窓画像ベクトルと呼ぶ）に対し
て、その切り出し位置（以下、画像内窓位置と呼ぶ）及
び、モデル画像の識別子を付与し、モデル窓データを作
成する。この処理をすべてのモデル画像データに対して
行い、モデル窓データ群を得る。なお、上記例では窓画
像切り出しのためのエッジ強度を隣接画素との画素値の
差の総和としたが、エッジ強度を空間周波数における高
周波成分量とすることにより窓画像切り出しを判断する
こともできる。

【００６２】次に、パラメトリック固有空間モデル作成
において説明した処理と同様の処理を行って、モデル窓
データ群を固有空間に投影する。図７においても便宜
上、Ｘ ₁，Ｘ₂，Ｘ_kの３軸のみを表示した。上記得られ
たモデル窓データの画像投影点群に対して、モデル窓デ
ータ画像の識別子、モデル画像内位置、Eigen-Windowモ
デル名の各属性を付与してEigen-Windowモデルを作成す
る。作成したEigen-WindowモデルをモデルＤＢ３０中の
Eigen-Windowモデルファイルに格納する。

【００６３】次に、カテゴリモデル作成部２５によるカ
テゴリモデル作成手順について図８を参照しつつ説明す
る。このカテゴリモデルはモデル画像をカテゴリごとに
パラメトリック固有空間に投影してそのカテゴリごとの
投影点分布を求め、得られた投影点分布からカテゴリの
特徴を確率分布として表わしたモデルであり、例えば性
別などカテゴリごとのパラメトリック固有空間上での確
率分布が得られる。

【００６４】図８では、カテゴリの例として性別を挙げ
た。まず、カテゴリごとにモデル画像を集め、モデル画
像の顔領域を切り出した部分画像を得る。次に、パラメ
トリック固有空間モデル作成において説明した処理と同
様の処理を行って、カテゴリモデル画像群を固有空間に
投影する。図８に示すように、パラメトリック固有空間
上に男性顔の分布、女性顔の分布領域が形成される。得
られた投影点分布に対して、混合正規分布で近似し、そ
の確率分布を規定するパラメータにカテゴリ名を付与し
てカテゴリモデルを作成する。作成したカテゴリモデル
をモデルＤＢ３０中のカテゴリモデルファイルに格納す
る。

【００６５】上記説明した処理により、各画像認識アル
ゴリズムで用いるモデルが作成される。なお、以上の説
明では、利用する認識アルゴリズムを５種類とし、利用
するモデルも上記５種類のものとしたが、拡張して他の
認識アルゴリズムを用いることもできる。次に、メタデ
ータ作成部４０におけるメタデータ作成処理を詳細に説
明する。メタデータ作成部４０の構成を図９に示す。メ
タデータ作成部４０は、各種画像認識アルゴリズムに基
づいて入力画像の特徴データを検出するための各種特徴
データ抽出部を備えている。本実施形態１では、色特徴
データ抽出部４１、色分布特徴データ抽出部４２、パラ
メトリック固有空間特徴データ抽出部４３、Eigen-Wind
ow特徴データ抽出部４４、カテゴリ特徴データ抽出部４
５の５種類の特徴データ抽出部を備えている。さらに、
抽出された各特徴データを統合して入力画像に対するメ
タデータを作成する特徴データ統合部４６を備えてい
る。

【００６６】以下に、上記５種類の各特徴データ抽出部
における入力画像の特徴データ抽出処理および特徴デー
タ統合部４６におけるメタデータ作成処理を説明する。
なお、これら一連の処理は、各画像認識アルゴリズムに
関する知識を持ったメタデータ作成者が行うことが好ま
しい。

【００６７】色特徴データ抽出部４１における色特徴デ
ータ抽出処理手順を図１０を参照しつつ説明する。ま
ず、色情報による画像認識アルゴリズムにおいて用いる
色モデルをモデルＤＢ３０中の色モデルファイルから読
み込む。図１０に示すようにＨＳＩ空間上に色モデルが
用意される。

【００６８】次に、フィルタリング対象である入力画像
の各画素のＨＳＩ空間上での投影点を求める。画像ＤＢ
１０から入力画像データを読み込み、入力画像のフレー
ム全体をＨＳＩ変換してＨＳＩ空間に投影する。入力画
像のフレームには背景画像も含まれているため、図１０
に示すようにＨＳＩ空間上の投影点は広く分布してい
る。

【００６９】ここで、色モデルの領域内または近くに投
影された画素は画像内の肌色領域を表わしていることが
認識できる。そこで、各画素ごとに色モデル領域との色
一致度を計算し、その色一致度をもとにラベリング、膨
張、収縮処理などの２値化処理を施すことにより入力画
像の領域分割処理を実行する。つまり、入力画像中の肌
色領域を認識してその肌色領域の色情報およびその範囲
を求めることができる。入力画像に対して得られた色一
致度、領域位置、領域サイズの各データを付与し、色特
徴データとする。

【００７０】次に、色分布特徴データ抽出部４２におけ
る色分布特徴データ抽出処理手順を図１１を参照しつつ
説明する。まず、色分布情報による画像認識アルゴリズ
ムにおいて用いる色分布モデルをモデルＤＢ３０中の色
分布モデルファイルから読み込む。図１１に示すように
各人物ごとの色分布モデルであるモデル色ヒストグラム
が用意される。

【００７１】次に、フィルタリング対象である入力画像
の色ヒストグラムを作成する。作成手順の一例を以下に
示す。まず、例えば、入力画像中の左上から顔領域サイ
ズに相当する矩形領域を切り出す。ここで顔領域サイズ
は、モデル作成時に顔領域として切り出した領域のサイ
ズと同じ大きさとする。切り出した矩形領域の画像デー
タに対してＨＳＩ変換を行い、モデル色ヒストグラムと
の相関値を計算する。つまり、ＨＳＩ空間を適度なセル
に区切り、各セルに含まれる投影点数をカウントするこ
とにより色ヒストグラム（以下、抽出領域色ヒストグラ
ムと呼ぶ）を作成し、色分布モデルの色ヒストグラムと
比較して色分布一致度を計算する。一致度の計算は、例
えば、各項の差の二乗をとることによりその相関を計算
する。以上の相関値計算を、切り出す矩形領域を右下方
向にずらしながら順次行い、相関値が最大になる場所を
求める。

【００７２】上記の手順により、画像中から顔画像領域
を自動的に特定することができる。入力画像に対して、
最大相関値である色分布一致度、矩形領域の中心位置で
ある顔画像領域の中心位置、矩形領域の縦横長の各デー
タを付与し、色分布特徴データとする。

【００７３】次に、パラメトリック固有空間特徴データ
抽出部４３におけるパラメトリック固有空間特徴データ
抽出処理手順を図１２を参照しつつ説明する。まず、パ
ラメトリック固有空間法に基づく画像認識アルゴリズム
において用いるパラメトリック固有空間モデルをモデル
ＤＢ３０中のパラメトリック固有空間モデルファイルか
ら読み込み、固有空間上に持つ。図１２に示すように固
有空間上に各人物モデルごとの多様体が形成される。

【００７４】次に、フィルタリング対象画像である入力
画像のパラメトリック固有空間上の投影点群を求める。
例えば、上記の色分布特徴データ抽出過程で得た入力画
像の顔画像領域の画素をＫＬ展開することによりパラメ
トリック固有空間に投影する。なお、後述するようにモ
デル多様体との一致度を計算できれば良いので、投影す
るものは顔画像領域の一部の部分画像であっても良い。
図１２に示すように入力画像の画素の投影点が形成され
る。

【００７５】次に、パラメトリック固有空間上における
入力画像の投影点と各人物モデルの多様体とを比較して
一致度を計算する。一致度の計算は、例えば、固有空間
上において、各投影点から各モデル多様体への距離を計
算することにより最近傍点を探索し、その距離の合計値
を一致度とする。以上のように、入力画像に対して、固
有空間上の距離一致度の値、画像中の領域位置、領域の
縦横長、人物名、姿勢の各データを付与し、パラメトリ
ック固有空間特徴データとする。

【００７６】次に、Eigen-window特徴データ抽出部４４
におけるEigen-window特徴データ抽出処理手順を図１３
を参照しつつ説明する。まず、Eigen-window法に基づく
画像認識アルゴリズムにおいて用いるEigen-windowモデ
ルをモデルＤＢ３０中のEigen-windowモデルファイルか
ら読み込み、固有空間上に持つ。図１３に示すように固
有空間上に各人物、各姿勢の窓画像モデルごとの窓画像
の投影点群が形成される。

【００７７】次に、フィルタリング対象である入力画像
の窓画像の固有空間上の投影点群を求める。まず、入力
画像から窓画像を切り出す。窓画像切り出し処理はEige
n-windowモデルの作成において用いた方法と同様の方法
によりエッジ強度に基づいて窓画像を切り出す。切り出
した窓画像をＫＬ展開して図１３に示すように固有空間
に投影する。

【００７８】次に、固有空間上における入力画像の窓画
像の投影点群とEigen-windowモデルの投影点群とを比較
して一致度を計算する。まず、固有空間上において、各
窓画像の投影点から各Eigen-windowモデル投影点群への
距離を計算することにより最近傍点を探索する。次に、
窓画像の投影点と求めた最近傍点のそれぞれに対応する
窓画像の画像内相対位置に基づいて投票処理を行う。こ
の操作を切り出したすべての窓画像について行い、その
結果得られる得票数を画像とモデルとの一致度として計
算する。以上のように、入力画像に対して、固有空間上
の一致度の値、画像中の顔領域位置、領域の縦横長、人
物名、姿勢の各データを付与し、Eigen-window特徴デー
タとする。

【００７９】次に、カテゴリ特徴データ抽出部４５にお
けるカテゴリ特徴データ抽出処理手順を図１４を参照し
つつ説明する。まず、カテゴリ認識法に基づく画像認識
アルゴリズムにおいて用いるカテゴリモデルをモデルＤ
Ｂ３０中のカテゴリモデルファイルから読み込み、固有
空間上に持つ。図１４に示すように、固有空間上に各カ
テゴリごとの投影点分布が形成される。本実施形態１で
は、カテゴリとして性別を例に挙げている。図１４に示
すように、男性の顔の分布、女性の顔の分布が形成され
る。

【００８０】次に、画像フィルタリング対象である入力
画像の顔画像領域の画素をＫＬ展開することによりパラ
メトリック固有空間上における投影点を求める。図１４
に示すように固有空間上に投影点を得る。

【００８１】次に、入力画像の各カテゴリへの尤度を計
算する。パラメトリック固有空間上において各カテゴリ
モデルは確率分布として定義されている。その確率分布
に基づき、入力画像の各カテゴリへの帰属の強さを表す
尤度を求める。例えば、男性度０．９、女性度０．１と
して与えられる。以上のように、各入力画像に対して、
各カテゴリへの尤度の値、カテゴリ名、画像中の顔領域
位置、領域の縦横長、人物名、姿勢の各データを付与
し、カテゴリ特徴データとする。

【００８２】次に、特徴データ統合部４６において、上
記の５種類の画像認識アルゴリズムから抽出した５種類
の特徴データを統合処理を行い、統合特徴データを求
め、各入力画像に対するメタデータを作成する。

【００８３】具体的には、まず、図１５に示すように各
人物ごとに投票空間を用意する。本実施形態１では空間
軸として、ＸＹの２軸からなる画像内位置（ｘｙ）、面
積（Ｓ）、姿勢（Ｐ）の４軸を持つ空間を定義する。各
軸を適度な間隔で量子化し、セルに区切り、投票空間と
する。図１５には代表的にセルａを図示している。

【００８４】次に、各特徴データの属性ごとに基本投票
数を設定する。ここで基本投票数に重み付けを行っても
よい。例えば、その使用した画像認識アルゴリズムの認
識性能などに基づいて重み付けをする。また、処理結果
の信頼度に基づいて重み付けを行うこともできる。設定
した基本投票数に基づいて、各特徴データの一致度など
のパラメータ量を考慮した投票数を算出し、投票空間へ
の投票を実施する。この投票処理をすべての特徴データ
について行い、最大得票数を示したセルを求める。この
投票結果をもって特徴データ統合処理後の画像認識結果
とする。

【００８５】ここで、投票の集中度、画像認識アルゴリ
ズムの信頼性などに基づいて画像認識結果の信頼性を表
わすパラメータを付すことができるので、ここでは一致
度として付加する。以上、画像認識結果の統合特徴デー
タとして、人物名、姿勢、顔領域の画像内ｘ座標位置、
ｙ座標位置、面積、一致度などのデータを入力画像に付
与し、メタデータを作成する。

【００８６】以上のメタデータ作成処理までを前処理と
して、画像フィルタリング処理実行前に行っておくこと
が好ましい。以下に、画像フィルタリング処理手順を図
面を参照しつつ説明する。

【００８７】まず、利用者がＵＩ部７０を用いてフィル
タリングキーを入力する。入力はＵＩ画面からインタラ
クティブに行うことが好ましい。図１６に、ＵＩ部７０
のフィルタリングキー入力画面例を示す。図１６に示し
たＵＩ画面では、画面左にモデル画像一覧が表示されて
いる。利用者はこのモデル画像をマウスなどのポインテ
ィングデバイス、またはカーソルなどを用いることによ
り画像フィルタリングキーとして指定する。モデル画像
が多い場合には、一覧画面を複数のページで構成し、ペ
ージごとの切り替え表示とすることができる。さらに、
画像フィルタリング条件として、検索処理、排他処理な
どのフィルタリング処理内容を指定する。また、図１６
に示したＵＩ画面では、画面右にその他各種のフィルタ
リング条件入力画面が設けられている。人物名などの条
件をテキストで指定するテキスト入力ボックス、画像中
の人物の顔の向きの角度を指定するスライドバー、画像
中の人物の顔の画像内位置を指定するウィンドウが表示
されている。

【００８８】また、スキャナなどのイメージ読み込み装
置を備え（図示せず）、利用者持ち込みの写真などを読
み込んで指定することによりフィルタリング条件とする
こともできる。

【００８９】次に、ＵＩ部７０から入力された画像フィ
ルタリングキーは、画像フィルタリング照合部６０によ
り解析され、画像フィルタリング条件が求められる。人
物名、姿勢、顔領域の画像内位置、面積などメタデータ
として各画像に付与されている特徴パターン、および、
検索処理、排他処理などの処理内容が得られる。

【００９０】次に、画像フィルタリング照合部６０は、
得られた画像フィルタリング条件を用いてメタデータフ
ァイル４０から条件に合致するメタデータを持つものを
サーチする。サーチの方法としては、まず、画像フィル
タリング条件と各メタデータとを各属性（人物名、姿
勢、画像内位置、面積）ごとに比較し、その各属性の差
を適切に数値化して割り当てる。例えば、人物名に関し
ては、一致を０とし、不一致を１とする。また、姿勢に
関しては、一致を０とし、３６０度のずれを１とし、指
定角度との差を０から１の値で数値化する。このように
各属性の差を数値化して与え、その数値に用いて画像フ
ィルタリングキーとメタデータとの差を距離と定義して
計算する。つまり各項目（人物名、姿勢、画像内ｘ位
置、画像内ｙ位置、面積）の値の差を距離として、それ
ぞれｄ１，ｄ２，ｄ３，ｄ４，ｄ５とすると、距離総和
Ｄは例えば（数１）で与えられる。

【００９１】

【数１】距離総和Ｄ＝Σｄi＋(１/ｍ) ここで、ｍとは、特徴データ統合処理においてメタデー
タに付加した認識結果の集中度合を表わす一致度のこと
であり、結果の信頼性を表わすパラメータとなるもので
ある。

【００９２】この計算結果に基づいて、メタデータＤＢ
５０中のメタデータを距離順にソートする。最後に、上
記ソート結果に基づいて、上位の一定数をＵＩ部７０に
送り、ＵＩ部７０の画面上に画像フィルタリング結果と
して画像を表示する。表示例を図１７に示す。利用者
は、以上の画像フィルタリング処理結果を見て、必要に
応じてさらに画像フィルタリング処理を続行することが
できる。

【００９３】以上のように、構成することにより、複数
種類の画像認識アルゴリズムを用いて抽出した特徴デー
タをメタデータとして画像フィルタリングを実行する精
度の高い画像フィルタリングシステムを提供することが
できる。また、ＵＩ部７０を用いた柔軟な画像フィルタ
リング環境を提供することができる。

【００９４】なお、上記説明した画像フィルタリングシ
ステムは、画像処理による画素の間引き、補完を施すこ
とにより処理画像の解像度を可変として適用できること
は言うまでもなく、画像フィルタリングの品質、処理速
度をより柔軟に調整することができる。

【００９５】なお、本実施形態１は、画像として人物顔
画像を例に挙げたが、本発明は人物顔画像以外の画像で
あっても適用できることは言うまでもない。（実施形態２）実施形態２にかかる画像フィルタリング
システムについて図面を参照しながら説明する。本実施
形態２は実施形態１と同様、画像フィルタリング対象と
して人物の顔画像を扱うシステムとして説明する。

【００９６】最初に、本実施形態２にかかる画像フィル
タリングシステムの全体構成の概略と本システムによる
処理流れの全体像を図１８と図１９を参照しつつ説明す
る。なお、各構成部分および各機能の詳細な説明は後述
する。

【００９７】図１８は本実施形態２にかかる画像フィル
タリングシステムの概略構成図を示している。また、図
１９は本システムによる処理流れの全体像を処理ステッ
プとして表わしたものである。

【００９８】図１８に示すように、本画像フィルタリン
グシステムは、大別して、画像ＤＢ１００、画像圧縮特
徴データ作成部１１０、画像圧縮特徴データＤＢ１２
０、フィルタリングキー照合部１３０、モデル画像圧縮
特徴データ作成部１４０、画像伸張処理部１５０、ＵＩ
部１６０を備えている。

【００９９】画像ＤＢ１００には画像フィルタリング対
象となる画像が格納されている。本実施形態２では、各
人物の顔画像が大量に格納されている。なお、各画像に
対して付属情報として人物名などのキャプション情報が
付されていることが好ましい。より柔軟かつ精度の良い
画像フィルタリング環境が実現できるからである。

【０１００】画像圧縮特徴データ作成部１１０は、画像
ＤＢ１００から読み込んだ画像データに対して画像圧縮
変換を施して圧縮データを生成する。この生成された圧
縮データは付属のキャプション情報と併せて、画像の特
徴を表わす画像特徴データとして画像圧縮特徴データＤ
Ｂ１２０に格納され、後述する画像フィルタリング処理
において用いられる。なお、画像圧縮方式としては、ウ
ェーブレット変換、フーリエ変換、離散コサイン変換
（以下、ＤＣＴ変換と略記する）などが挙げられる。

【０１０１】ＵＩ部１６０には各人物ごとのモデルとな
る基本画像が用意されている。正面画像に加え、各角度
の横向き姿勢などその他の基本姿勢画像も用意してもよ
い。このモデル画像は、後述する画像フィルタリング処
理実行時に利用者が指定入力する画像フィルタリングキ
ーとして用いられる。なお、各モデル画像に対して付属
情報として人物名などのキャプション情報が付されてい
ることが好ましい。より柔軟かつ精度の良い画像フィル
タリング条件設定が実現できるからである。

【０１０２】モデル画像圧縮特徴データ作成部１４０
は、後述するように、指定入力されたモデル画像に対し
て画像圧縮変換処理を施して圧縮データを生成する。こ
の生成された圧縮データは付属のキャプション情報と併
せて、モデル画像の特徴を表わすモデル画像特徴データ
とされ、画像フィルタリングキーとなる。なお、ここで
用いる画像圧縮方式は、画像圧縮特徴データ作成部１１
０における画像圧縮方式と同一のものが用いられ、画像
圧縮特徴データ作成部１１０の画像圧縮方式に合わせて
ウェーブレット変換、フーリエ変換、ＤＣＴ変換などが
用いられる。

【０１０３】フィルタリングキー照合部１３０は、画像
フィルタリングキーとして与えられたモデル画像の圧縮
特徴データと、画像圧縮特徴データＤＢ１２０中の画像
圧縮特徴データとを比較照合することにより、指定条件
に合わせた結果を出力するものである。

【０１０４】ＵＩ部１６０は、利用者による画像フィル
タリングキーとなるモデル画像の指定入力および画像フ
ィルタリング結果の表示を処理する。本実施形態２は、
画像フィルタリング結果として画像圧縮特徴データが渡
される構成であるので画像伸張処理部１５０により画像
伸張処理を施して、伸張処理画像をＵＩ部１６０におい
て利用者に表示する。

【０１０５】次に、図１９を参照しつつ、画像フィルタ
リング処理の流れの全体像を追って説明する。まず、ス
テップＳ１９１において、画像ＤＢ１００に格納されて
いる画像データを読み込み、画像圧縮特徴データ作成部
１１０により画像圧縮変換処理を施し、生成した圧縮デ
ータを付属のキャプション情報と併せて、画像圧縮特徴
データとして画像圧縮特徴データＤＢ１２０に格納す
る。用いられる画像圧縮変換方式に応じて、フィルタリ
ング対象画像のウェーブレット変換特徴データ、フーリ
エ変換特徴データ、ＤＣＴ変換特徴データなどが生成さ
れ、格納される。このステップＳ１９１は、画像フィル
タリング処理実行のための前処理として行っておくこと
が好ましい。

【０１０６】次に、ステップＳ１９２において、利用者
はＵＩ部１６０を用いて画像フィルタリング条件を入力
する。この条件入力は、実施形態１において説明に使用
した図１６と同様のＵＩ画面を用いることによりＵＩ部
１６０上に表示されたモデル画像を指定することにより
行うことができる。また、利用者が指定した複数の画像
から、その論理和条件、論理積条件、排他条件などの設
定ができることが好ましい。さらに、モデル画像の指定
に加え、利用者からのテキスト入力による条件入力が行
えることが好ましい。

【０１０７】次に、ステップＳ１９３において、指定さ
れたモデル画像に対して、モデル画像圧縮特徴データ作
成部１４０により画像圧縮変換処理を施し、生成された
圧縮データと付属のキャプション情報と併せて画像フィ
ルタリングキーを生成する。用いられる画像圧縮変換方
式に応じて、モデル画像のウェーブレット変換特徴デー
タ、フーリエ変換特徴データ、ＤＣＴ変換特徴データな
どが生成される。生成されたモデル画像圧縮特徴データ
は、画像フィルタリングキーとしてフィルタリングキー
照合部１３０に渡される。

【０１０８】次に、ステップＳ１９４において、フィル
タリングキー照合部１３０は、画像フィルタリングキー
であるモデル画像の画像圧縮特徴データと、画像圧縮特
徴データＤＢ１２０中の画像圧縮特徴データを比較照合
し、さらに付された論理排他条件などその他画像フィル
タリング条件を考慮して画像フィルタリング条件に合致
する画像圧縮特徴データを抽出する。例えばフィルタリ
ング条件が、一致検索であれば、画像フィルタリングキ
ーとして入力されたモデル画像の圧縮特徴データと同一
特徴を持つと判断された画像圧縮特徴データを抽出す
る。抽出された画像圧縮特徴データは、画像フィルタリ
ング処理結果として、ＵＩ部１６０に返される。

【０１０９】次に、ステップＳ１９５において、画像フ
ィルタリング処理結果として返された画像圧縮特徴デー
タは画像伸張処理部１５０により伸張処理が施され、Ｕ
Ｉ部１６０上の画面に表示される。

【０１１０】必要に応じて上記ステップＳ１９２〜ステ
ップＳ１９５を繰り返して実行する。なお、本実施形態
２では、画像フィルタリング処理結果として得られた画
像圧縮特徴データをＵＩ部１６０に返す構成としたが、
画像圧縮特徴データに対応する元画像（圧縮していない
元の画像）を画像ＤＢ１００から選択して、ＵＩ部１６
０に転送する構成であってもかまわない。

【０１１１】本実施形態２にかかる画像フィルタリング
システムは、画像圧縮データを画像の特徴データとして
使用することにより、フル画像のテンプレートマッチン
グ等に比較して高速な画像フィルタリング処理が実現で
きる。さらに上記ステップＳ１９２〜ステップＳ１９５
を繰り返して実行することによりインタラクティブ性の
ある画像フィルタリングシステムとすることができる。

【０１１２】（実施形態３）実施形態３にかかる画像フ
ィルタリングシステムについて図面を参照しながら説明
する。本実施形態３は、実施形態１に示した画像フィル
タリングシステムをクライアントサーバ構成で構築した
例である。

【０１１３】図２０は、システムの全体概略構成を示し
ている。図２０に示すように、２００は画像フィルタリ
ングサーバ、２０１は画像フィルタリングクライアン
ト、２０２はネットワーク網である。画像フィルタリン
グサーバ２００内に示された画像ＤＢ、モデル作成部、
モデルＤＢ、メタデータ作成部、メタデータＤＢ、フィ
ルタリングキー照合部、および、画像フィルタリングク
ライアント２０１内に示されたＵＩ部は、それぞれ実施
形態１において同じ構成名で説明したものと基本的に同
じものである。また、ネットワーク接続のための通信イ
ンタフェース（図示せず）を備えている。ネットワーク
２０２は、データを通信できるものであれば良く、ロー
カルエリアネットワーク、インターネットなどのネット
ワーク網であり、専用線、公衆回線、有線、無線を問わ
ない。

【０１１４】クライアントサーバ構成の画像フィルタリ
ングシステムによる処理の流れの全体像は以下の通りで
ある。まず、利用者は、画像フィルタリングクライアン
ト２０１のＵＩ部から画像フィルタリングキーを入力す
る。画像フィルタリングクライアント２０１は通信イン
タフェースを介して画像フィルタリングキーを発信す
る。発信された画像フィルタリングキーはネットワーク
網を経由して画像フィルタリングサーバ２００に通信イ
ンタフェースを介して受信される。画像フィルタリング
サーバ２００において実施形態１で説明したものと同様
の処理が行われ、フィルタリングキー照合部による照合
結果が画像フィルタリング結果として出力される。画像
フィルタリング結果は、ネットワーク網を経由して画像
フィルタリングクライアント２０１に返される。

【０１１５】なお、本実施形態３のクライアントサーバ
システム構成においても、画像フィルタリング処理に先
立ち、画像フィルタリングサーバ２００におけるモデル
作成、メタデータ作成は前処理として行っておくことが
好ましい。

【０１１６】（実施形態４）実施形態４にかかる画像フ
ィルタリングシステムについて図面を参照しながら説明
する。本実施形態４は、実施形態２に示した画像フィル
タリングシステムをクライアントサーバ構成で構築した
例である。

【０１１７】図２１は、システムの全体概略構成を示し
ている。図２１に示すように、２１０は画像フィルタリ
ングサーバ、２１１は画像フィルタリングクライアン
ト、２１２はネットワーク網である。画像フィルタリン
グサーバ２１０内に示された画像ＤＢ、画像圧縮特徴デ
ータ作成部、画像圧縮特徴ＤＢ、フィルタリングキー照
合部、および、画像フィルタリングクライアント２１１
内に示されたモデル画像圧縮特徴データ作成部、画像伸
張処理部、ＵＩ部は、それぞれ実施形態２において同じ
構成名で説明したものと基本的に同じものである。ま
た、ネットワーク接続のための通信インタフェース（図
示せず）を備えている。ネットワーク２１２は、実施形
態３と同様、データを通信できるものであれば良く、ロ
ーカルエリアネットワーク、インターネットなどのネッ
トワーク網であり、専用線、公衆回線、有線、無線を問
わない。

【０１１８】クライアントサーバ構成の画像フィルタリ
ングシステムによる処理の流れの全体像は以下の通りで
ある。まず、利用者は、画像フィルタリングクライアン
ト２１１のＵＩ部からモデル画像などの画像フィルタリ
ング条件を入力する。指定入力されたモデル画像は、モ
デル画像圧縮特徴データ作成部において画像フィルタリ
ングキーである画像圧縮特徴データが生成され、画像フ
ィルタリングクライアント２１１は通信インタフェース
を介して画像フィルタリングキーを発信する。発信され
た画像フィルタリングキーはネットワーク網を経由して
画像フィルタリングサーバ２１０に通信インタフェース
を介して受信される。画像フィルタリングサーバ２１０
において実施形態２で説明した処理と同様の処理が行わ
れ、フィルタリングキー照合部による照合結果が画像フ
ィルタリング結果として出力される。画像フィルタリン
グ結果は、ネットワーク網を経由して画像フィルタリン
グクライアント２１１に返される。画像フィルタリング
クライアント２１１において画像伸張処理部により伸張
処理が施され、伸張処理画像がＵＩ部の画面上に表示さ
れる。

【０１１９】なお、本実施形態４のクライアントサーバ
システム構成においても、画像フィルタリング処理に先
立ち、画像フィルタリングサーバ２１０における画像圧
縮特徴データ作成は前処理として行っておくことが好ま
しい。

【０１２０】また、上記説明において、モデル画像圧縮
特徴データ作成部と画像伸張処理部を画像フィルタリン
グクライアント２１１側に設けた構成を挙げたが、図２
２に示すように、モデル画像圧縮特徴データ作成部と画
像伸張処理部を画像フィルタリングサーバ２１０ａ側に
設けた構成、つまり、画像フィルタリングサーバ２１０
ａ内に画像ＤＢ、画像圧縮特徴データ作成部、画像圧縮
特徴ＤＢ、フィルタリングキー照合部、モデル画像圧縮
特徴データ作成部、画像伸張処理部を設け、画像フィル
タリングクライアント２１１ａ内にＵＩ部を設けた構成
であっても良い。

【０１２１】（実施形態５）本発明にかかる画像フィル
タリングシステムを実現するプログラムを記録した記録
媒体は、図２３に図示した記録媒体の例に示すように、
ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒
体だけでなく、ネットワーク上にある記録装置内の記録
媒体や、コンピュータのハードディスクやＲＡＭ等の記
録媒体のいずれであっても良く、プログラム実行時に
は、プログラムはコンピュータ上にローディングされ、
主メモリ上で実行される。

【０１２２】

【発明の効果】以上のように本発明にかかる画像フィル
タリングシステムによれば、複数種類の画像認識アルゴ
リズムを用いて特徴データを抽出してメタデータとする
ことにより精度の高い画像フィルタリングシステムを提
供することができる。また、メタデータを前もって作成
しておくことにより画像フィルタリング処理に要する時
間を節約することができ、高速かつインタラクティブな
画像フィルタリングシステムを提供することができる。

【０１２３】また、本発明にかかる画像フィルタリング
システムによれば、画像データを圧縮処理して得た圧縮
データを画像フィルタリングキーとすることができ、汎
用的で効率の良い圧縮アルゴリズムを用いた高速かつイ
ンタラクティブな画像フィルタリングシステムを提供す
ることができる。

【図面の簡単な説明】

【図１】本発明の実施形態１にかかる画像フィルタリ
ングシステムの概略構成図

【図２】本発明の実施形態１にかかる画像フィルタリ
ングシステムの処理ステップを示したフローチャート

【図３】モデル作成部２０の構成図

【図４】色モデル作成部２１による色モデル作成処理
を説明する図

【図５】色分布モデル作成部２２による色分布モデル
作成処理を説明する図

【図６】パラメトリック固有空間モデル作成部２３に
おけるパラメトリック固有空間モデル作成処理を説明す
る図

【図７】 Eigen-Windowモデル作成部２４によるEigen-
Windowモデル作成処理を説明する図

【図８】カテゴリモデル作成部２５によるカテゴリモ
デル作成処理を説明する図

【図９】メタデータ作成部４０の構成図

【図１０】色特徴データ抽出部４１における色特徴デ
ータ抽出処理を説明する図

【図１１】色分布特徴データ抽出部４２における色分
布特徴データ抽出処理を説明する図

【図１２】パラメトリック固有空間特徴データ抽出部
４３におけるパラメトリック固有空間特徴データ抽出処
理を説明する図

【図１３】 Eigen-window特徴データ抽出部４４におけ
るEigen-window特徴データ抽出処理を説明する図

【図１４】カテゴリ特徴データ抽出部４５におけるカ
テゴリ特徴データ抽出処理手順を説明する図

【図１５】特徴データ統合部４６における特徴データ
統合処理を説明する図

【図１６】ＵＩ部７０のフィルタリングキー入力画面
例を示す図

【図１７】画像フィルタリング結果表示例を示す図

【図１８】本発明の実施形態２にかかる画像フィルタ
リングシステムの概略構成図

【図１９】本発明の実施形態２にかかる画像フィルタ
リングシステムの処理ステップを示したフローチャート

【図２０】本発明の実施形態３にかかるクライアント
サーバシステム構成で構築した画像フィルタリングシス
テムの概略構成図

【図２１】本発明の実施形態４にかかるクライアント
サーバシステム構成で構築した画像フィルタリングシス
テムの概略構成図

【図２２】本発明の実施形態４にかかるクライアント
サーバシステム構成で構築した画像フィルタリングシス
テムの概略構成図

【図２３】記録媒体の例を示す図

【符号の説明】１０画像ＤＢ２０モデル作成部２１色モデル作成部２２色分布モデル作成部２３パラメトリック固有空間モデル作成部２４ Eigen-Windowモデル作成部２５カテゴリモデル作成部３０モデルＤＢ４０メタデータ作成部４１色特徴データ抽出部４２色分布特徴データ抽出部４３パラメトリック固有空間特徴データ抽出部４４ Eigen-Window特徴データ抽出部４５カテゴリ特徴データ抽出部４６特徴データ統合部５０メタデータＤＢ６０フィルタリングキー照合部７０，１６０ＵＩ部１００画像ＤＢ１１０画像圧縮特徴データ作成部１２０画像圧縮特徴データＤＢ１３０フィルタリングキー照合部１４０モデル画像圧縮特徴データ作成部１５０画像伸張処理部２００，２１０，２１０ａ画像フィルタリングサーバ２０１，２１１，２１１ａ画像フィルタリングクライ
アント２０２，２１２，２１２ａネットワーク網４０１回線先のハードディスク等の記録媒体４０２ＣＤ−ＲＯＭやフレキシブルディスク等の可搬
型記録媒体４０２−１ＣＤ−ＲＯＭ４０２−２フレキシブルディスク４０３コンピュータ４０４コンピュータ上のＲＡＭ／ハードディスク等の
記録媒体

Claims

【特許請求の範囲】

【請求項１】画像データが格納された画像データベー
スから、画像フィルタリング条件に応じて所望の画像を
選択的に取り出して表示する画像フィルタリングシステ
ムにおいて、画像フィルタリングキーの入力および画像フィルタリン
グ結果の表示を処理するユーザインタフェース部と、画
像認識アルゴリズムで利用する各画像対象のモデルを作
成するモデル作成部と、前記画像データベース中の各画
像に対して前記画像認識アルゴリズムと前記モデルを用
いて抽出した特徴データをメタデータとして作成・蓄積
するメタデータ作成部と、前記ユーザインタフェース部
から入力された画像フィルタリングキーと前記作成・蓄
積されたメタデータとを用いて照合処理を行い、照合結
果を前記ユーザインタフェース部に渡す画像フィルタリ
ングキー照合処理部とを備えたことを特徴とする画像フ
ィルタリングシステム。
【請求項２】前記ユーザインタフェース部を備えた画
像フィルタリングクライアントと、前記モデル作成部と
前記メタデータ作成部と前記画像フィルタリングキー照
合処理部とを備えた画像フィルタリングサーバーを備
え、前記画像フィルタリングクライアントと前記画像フ
ィルタリングサーバーがコンピュータネットワークを介
して接続された請求項１に記載の画像フィルタリングシ
ステム。
【請求項３】前記メタデータ作成部が、前記画像デー
タベース中の画像の解像度を変化させ、解像度変更後の
画像データに対して、前記画像認識アルゴリズムと前記
モデルを用いて特徴データを抽出することにより画像の
属性を表わすメタデータを作成・蓄積する請求項１に記
載の画像フィルタリングシステム。
【請求項４】前記ユーザインタフェース部が、前記特
徴データの各属性に対する利用者の入力した条件に基づ
いて前記画像フィルタリングキーを作成する請求項１に
記載の画像フィルタリングシステム。
【請求項５】前記ユーザインタフェース部が、前記画
像データベース内にある画像のモデル画像を表示するモ
デル画像表示部と、前記モデル画像表示部に表示された
モデル画像の選択を受け付ける画像選択部と、前記選択
されたモデル画像に付与されている情報に基づいて画像
フィルタリングキーを作成する画像フィルタリングキー
作成部を備えた請求項１に記載の画像フィルタリングシ
ステム。
【請求項６】前記ユーザインタフェース部が、画像入
力部と、画像フィルタリングキーを作成する画像フィル
タリングキー作成部を備え、前記画像フィルタリングキ
ー作成部は、前記画像入力部から利用者により入力され
た画像を前記メタデータ作成部に入力し、前記メタデー
タ作成部において前記画像認識アルゴリズムと前記モデ
ルを用いて抽出した特徴データを画像フィルタリングキ
ーとする請求項１に記載の画像フィルタリングシステ
ム。
【請求項７】前記画像が、人物の顔を写した顔画像で
あり、前記人物の顔画像を画像フィルタリング対象と
し、前記特徴データの属性が、人物名、顔の向き、顔画
像の画像内位置、縦横長、面積、性別を含む請求項１に
記載の画像フィルタリングシステム。
【請求項８】前記メタデータ作成部が、メタデータ作
成過程において、処理対象である画像にテキスト情報を
付与してメタデータの一部とするテキスト入力部と、処
理対象である画像に付与されているキャプション情報を
抽出してメタデータの一部とするキャプション情報抽出
部とを備えた請求項１に記載の画像フィルタリングシス
テム。
【請求項９】前記メタデータ作成部の前記画像認識ア
ルゴリズムで用いるパラメータの設定を変更するメタデ
ータ作成処理調整部を備えた請求項１に記載の画像フィ
ルタリングシステム。
【請求項１０】前記メタデータ作成部が、複数種類の
画像認識アルゴリズムを備え、前記モデル作成部が、前
記画像認識アルゴリズムの種類に応じたそれぞれのモデ
ルを作成し、前記メタデータ作成部が、前記画像データ
ベース中の各画像に対して、前記複数種類の画像認識ア
ルゴリズムとモデルを用いて抽出した特徴データをメタ
データとして作成・蓄積する請求項１に記載の画像フィ
ルタリングシステム。
【請求項１１】前記メタデータ作成部において、前記
複数種類の画像認識アルゴリズムとモデルを用いて抽出
した複数種類の特徴データの各属性を軸として適度に量
子化したセルからなる投票空間を設定し、前記各特徴デ
ータに割り当てられた投票数を基に投票処理を行い、前
記投票空間内での得票数が最大であるセルの示す属性値
を統合処理されたメタデータの属性値とする請求項１０
に記載の画像フィルタリングシステム。
【請求項１２】前記画像フィルタリングキー照合処理
部による画像フィルタリングキーとメタデータとの照合
処理において、照合比較する各属性項目を次元とする前
記画像フィルタリングキーと前記メタデータとの距離を
算出し、前記算出した距離の値に基づいて照合結果の優
先順位をつける請求項１０に記載の画像フィルタリング
システム。
【請求項１３】前記特徴データの属性ごとに投票の重
みを表わす投票重みパラメータを設け、前記特徴データ
ごとに割り当てられる投票数を前記投票の重み付けによ
り変化させる請求項１１に記載の画像フィルタリングシ
ステム。
【請求項１４】前記特徴データの属性ごとに信頼度を
表わす信頼性パラメータを設け、前記特徴データごとに
割り当てられる投票数を前記信頼度により変化させる請
求項１１に記載の画像フィルタリングシステム。
【請求項１５】前記画像フィルタリングキー照合処理
部による前記距離の計算において、前記メタデータの各
属性値を属性ごとの重み付けを行った重み付き属性値と
する請求項１２に記載の画像フィルタリングシステム。
【請求項１６】請求項１〜１５のいずれか１項に記載
の前記ユーザインタフェース部による画像フィルタリン
グキーの入力および画像フィルタリング結果の表示処理
と、前記モデル作成部によるモデル作成処理と、前記メ
タデータ作成部によるメタデータ作成・蓄積処理と、前
記画像フィルタリングキー照合処理部による前記画像フ
ィルタリングキーと前記メタデータとの照合処理とをコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体。
【請求項１７】画像データが格納された画像データベ
ースから、画像フィルタリング条件に応じて所望の画像
を選択的に取り出して表示する画像フィルタリングシス
テムにおいて、画像フィルタリングキーとなるモデル画像の入力および
画像フィルタリング結果の表示を処理するユーザインタ
フェース部と、前記モデル画像に対して画像圧縮変換を
施してモデル画像圧縮特徴データを作成するモデル画像
圧縮特徴データ作成部と、前記画像データベース中の各
画像に対して画像圧縮変換を施してフィルタリング画像
圧縮データを作成する画像圧縮特徴データ作成部と、前
記モデル画像圧縮特徴データと前記フィルタリング画像
圧縮特徴データとの照合処理を行い、照合結果を前記ユ
ーザインタフェース部に渡す画像フィルタリングキー照
合処理部とを備えたことを特徴とする画像フィルタリン
グシステム。
【請求項１８】前記ユーザインタフェース部を備えた
画像フィルタリングクライアントと、前記モデル画像圧
縮特徴データ作成部と前記画像圧縮特徴データ作成部と
前記画像フィルタリングキー照合処理部とを備えた画像
フィルタリングサーバーを備え、前記画像フィルタリン
グクライアントと前記画像フィルタリングサーバーがコ
ンピュータネットワークを介して接続された請求項１７
に記載の画像フィルタリングシステム。
【請求項１９】請求項１７〜１８に記載の前記ユーザ
インタフェース部による画像フィルタリングキー入力お
よび画像フィルタリング結果の表示処理と、前記モデル
画像圧縮特徴データ作成部によるモデル画像圧縮データ
作成処理と、前記画像圧縮特徴データ作成部による画像
圧縮特徴データ作成処理と、前記画像フィルタリングキ
ー照合処理部による前記モデル画像圧縮特徴データと前
記フィルタリング画像圧縮特徴データとの照合処理とを
コンピュータに実行させるためのプログラムを記録した
コンピュータ読み取り可能な記録媒体。