JP4692784B2 - 画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置 - Google Patents

Description

本発明はマルチメディア情報の種々の特徴を記述するためのシステムにおける特徴量選択プログラム、特徴量選択方法および装置に関する。

インターネットに代表されるネットワークの広帯域化に伴って、テキスト（文字）情報だけでなく映像や音声を含むマルチメディア情報がオンラインで広く一般に提供されるようになっている。このことは、ユーザが多種多様な情報に容易にアクセスできるという利点がある反面、あまりに多量かつ多様な情報が提供されるために、本当に必要で役に立つ情報へアクセスすることがますます困難になるという皮肉な現象も現れている。

このような状況おいてマルチメディア情報を効率的に検索、フィルタリングあるいは組織化する手段として、メタデータを検索対象とする技術が注目されている。メタデータはマルチメディアコンテンツから抽出された特徴を一定の形式で簡潔に表現したものであり、これを直接の検索対象とすることで検索の効率化を図ることができる。特に、視覚的／聴覚的情報は具体的な言葉では表現しにくいことが多く、より感性に近い情報を定量化してメタデータとして表現する方が適している。

このような背景のもとで、マルチメディアコンテンツのメタデータに対する統一的な表記方法がＭＰＥＧ−７によって提供された。そのなかの通称MPEG-7 Visualは、ビジュアルコンテンツの信号的特徴（以下、ビジュアル特徴量と呼ぶ。）を記述する標準化フォーマットISO/IEC 15938-3を提供するパートである。MPEG-7 Visualでは、ビジュアルコンテンツのビジュアル特徴量およびビジュアル特徴量を記述するためのビジュアル記述子の生成方法が定められている。なお、ビジュアルコンテンツには、デジタル写真のような矩形画像、クリップアート等の任意形状画像、矩形フレームの集合である矩形動画像（ビデオシーケンス）、動画像の中の任意形状領域あるいは物体のシーケンスであるビデオオブジェクトなどが含まれる。

以下、ビジュアル記述子の例としてエッジ記述子：EdgeHistogram を取り上げ、既存の画像記述システムについて説明する。

EdgeHistogram はローカルエッジ情報をヒストグラム化したもので、画像を４ｘ４の区画に分割し、区画毎に所定の５タイプのエッジがどのくらい存在するかを、それぞれ３ビットで記述するための記述子である。EdgeHistogram 特徴量は以下のように生成する。

D = [Ｅij (i=1,2,..,16, j=1,2,…,5)]。

ここで、Ｅijはブロックi（ラスタースキャン順）における第jエッジ要素を示す。記述子構築は以下のように行なう。まず、画像を縦横４区画の合計１６分割する。次に、各区画においてマスク演算により各方向のエッジを検出する。演算出力が閾値を超えた場合にヒストグラムの対応するビンに１票を投じることによって特徴量が構築される。

生成された特徴量は、MPEG-7 Visualパートで表１のように規定されているシンタックスに基づき、例えば表２のように記述される。

MPEG-7 Visualで定められたビジュアル記述子により画像の信号特徴を記述するシステムが、”MPEG-7 XM Software”として提供されている。このシステムでは、利用者が記述子を生成する対象となる画像を指定するとともに、抽出するビジュアル特徴量を選択する。これによって、選択されたビジュアル記述子を構成するビジュアル特徴量が指定された画像から抽出される。こうして、抽出されたビジュアル特徴量がビジュアル記述子により記述された記述ファイルが生成される。

記述子を用いた画像記述に関しては種々提案されている。たとえば特開２００２−１７０１１６号公報には、記述子に十分な空間情報を埋め込み、そのコンテンツに基づいて画像を記述することで、画像の識別を容易にする方法が開示されている（要約、段落番号００１１〜００１２）。

特開２００２−１７０１１６号公報（要約、段落番号００１１〜００１２）。

上述したように、メタデータはマルチメディアコンテンツから抽出された特徴を一定の形式で簡潔に表現したものであり、これを直接の検索対象とすることで検索の効率化を図っている。したがって、マルチメディアコンテンツを適切に表現するメタデータをどのように生成するかは、検索の効率化及び精度に直接影響する重要なファクタである。

しかしながら、上記従来のシステムでは、画像の種別により利用できる記述子、利用できない記述子があるにもかかわらず、画像の種別に関係なく全てのビジュアル記述子を用いて画像を記述していた。このために、ある種別の画像に対して不適切な記述子で画像記述が実行される場合がある。たとえば、静止画像である矩形画像が動きアクティビティ記述子によって記述する場合などである。

また、ある特定タイプのシステムに向けて作成された記述ファイルを他のシステムで直接利用するためには、全てのビジュアル記述子についての利用ツールをサポートしなくてならない。このためにシステム規模が非常に大きくなるという問題もあった。

本発明の目的は、ビジュアルコンテンツに対して適切な特徴量を抽出できる画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置を提供することにある。

本発明の他の目的は、サポートするツールの種類を最適化することによりシステム構成を簡易にした画像記述システムにおける特徴量選択プログラム、特徴量選択方法および装置を提供することにある。

本発明による画像記述システムにおける特徴量選択プログラムは、画像の信号特徴量を記述する画像記述システムとしてプログラム制御プロセッサを機能させるための特徴量選択プログラムであって、指定された画像の種別に対応した１つ以上の特徴量の種類の各々に対して、少なくとも１つの記述子を選択する機能を有し、前記指定された画像の種別は、矩形画像、任意形状画像、矩形フレームの集合である矩形動画像、または、矩形動画像内の任意形状の対象を示す任意形状動画像であることを特徴とする。

本発明による画像記述システムにおける特徴量選択方法は、画像の信号特徴量を記述する画像記述システムにおける特徴量選択方法であって、画像の種別ごとに定義された記述スキームを格納手段に格納し、画像が指定されると、当該指定画像の種別に対応する記述スキームを前記格納手段から検索し、検索された記述スキームに従って抽出可能な特徴量から少なくとも１つを選択可能にし、前記指定された画像の種別は、矩形画像、任意形状画像、矩形フレームの集合である矩形動画像、または、矩形動画像内の任意形状の対象を示す任意形状動画像であることを特徴とする。

本発明による画像記述システムにおける特徴量選択装置は、画像の信号特徴量を記述する画像記述システムにおける特徴量選択装置であって、画像の種別ごとに定義された記述スキーム格納する格納手段と、画像が指定されると、当該指定画像の種別に対応する記述スキームを前記格納手段から検索し、検索された記述スキームに従って抽出可能な特徴量から少なくとも１つを選択可能にする制御手段と、を有し、前記指定された画像の種別は、矩形画像、任意形状画像、矩形フレームの集合である矩形動画像、または、矩形動画像内の任意形状の対象を示す任意形状動画像であることを特徴とする。

以上詳細に説明したように、本発明によれば、入力部より画像が指定されると、画像の種別に応じた画像記述スキームが取り出され、抽出可能な適切なビジュアル特徴量から有意義なビジュアル特徴量を選択することができ、かつ、指定画像を的確に表現したビジュアル特徴量を抽出がすることができる。このために画像検索の効率及び精度を向上させることができる。

また、画像の種別ごとに記述スキームを定義しておくことによりサポートするべき特徴量抽出、および記述ツールの種類を必要最小限にすることができ、システム構成を簡易にした画像記述システムを提供することができる。

以下、図面を参照しながら、本発明の実施形態について詳細に説明する。

１．システム構成
図１は、本発明の第１実施形態による画像記述システムの構成を示すブロック図である。図１において、入力部１０１は、キーボードやポインティングデバイスなどの入力デバイスからなり、ビジュアル特徴量を抽出する対象となる画像の指定、抽出するビジュアル特徴量の指定、あるいは、種々の命令の入力を行うことができる。表示部１０２はモニタであり、後述するビジュアル特徴量選択画面を表示し、入力部１０１と協働してユーザインタフェースを提供する。本システムのプログラム制御プロセッサ１０３は、制御プログラム１０４を実行することによりビジュアル特徴量抽出に関する処理やシステム全体の動作を制御する。

本実施形態による画像記述システムには、画像記述スキーム検索部１０５、画像記憶スキーム記憶部１０６、ビジュアル特徴量抽出部１０７、記述ファイル生成部１０８が設けられている。画像記述スキーム検索部１０５、ビジュアル特徴量抽出部１０７および記述ファイル生成部１０８は、プログラム制御プロセッサ１０３の制御のもとで、後述する画像記述スキーム検索、ビジュアル特徴量抽出および記述ファイル生成をそれぞれ実行する。

画像記述スキーム記憶部１０６には、複数の画像記述スキームが格納されている。ここでは、矩形画像記述スキーム２００、イメージクリップ（任意形状画像）記述スキーム３００、ビデオシーケンス（矩形動画像）記述スキーム４００およびビデオオブジェクト記述スキーム５００、あるいは、これらから選択された少なくとも１つの画像記述スキームが格納されている。これら画像記述スキームについては、後で詳細に説明する。

画像記述スキーム検索部１０５は、プログラム制御プロセッサ１０３から画像記述スキーム検索指令を受け取ると、指定された画像の種別に対応する記述スキームを画像記述スキーム記憶部１０６から検索する。読み出された画像記述スキームを元に、指定された画像より抽出できるビジュアル特徴量の種類が所定のフォームで表示部１０２に表示される（詳しくは後述する）。

ビジュアル特徴量抽出部１０７は、ビジュアル特徴量抽出指令を受け取ると、画像データ記憶部１１０から指定された画像を入力し、その画像から指定されたビジュアル特徴量の抽出を行う。記述ファイル生成部１０８は、抽出されたビジュアル特徴量およびパラメータをビジュアル記述子により記述した記述ファイルを生成する。こうして生成された記述ファイルは記述ファイル記憶部１０９に格納され、画像検索等に利用される。

２．画像記述スキーム
（１）矩形画像記述スキーム
ディジタル写真といった矩形画像の信号的特徴を記述する目的で矩形画像記述スキームを設計する。ディジタルフォトアーカイブなど、ディジタル画像アーカイブより類似する信号パターンを持つ画像を検索するのが主目的である。

矩形画像より得られる信号的特徴は、1) 色分布、 2)色配置、 3) 色温度、 4) 照明条件補正色、 5) エッジ、および、 6)テクスチャの６グループに分類される。各グループに属するビジュアル特徴量は、以下のようにそれぞれ定められる。

1) DominantColor / ScalableColor/ ColorStructure
2) ColorLayout
3) ColorTemperature
4) IlluminationInvariantColor
5) EdgeHistogram
6) HomogeneousTexture / TextureBrowsing。

各グループにおいて類似するビジュアル特徴量がある場合には、全てを併用するのは適切ではなく、目的に応じて１個あるいは複数個を選択できるようにするのが望ましい。色分布およびテクスチャを表す複数のビジュアル特徴量の使い分けを表３に例示する。

色分布を表す３つの特徴量は、表３に示すように使い分けられる。すなわち、(1)限定色領域の正確な記述にはDominantColor、(2)広く使われている既存のカラーヒストグラムとの互換性が求められるアプリケーションなど汎用的製品にはScalableColor、(3)医用画像などコストより精度がとにかく求められる用途にはColorStructureがそれぞれ適している。したがって、これら用途に応じて、DominantColor、ScalableColorおよびColorStructure の少なくとも１つを選択できるように矩形画像記述スキームを設計する。

テクスチャをあらわす２つの特徴量の使い分けは、模様のラフなブラウジングのみが必要である場合にはTexture Browsingが、より精度が求められる用途にはHomogeniousTextureが適している。したがって、HomogeniousTextureおよびTextureBrowsing のうち少なくとも１つをテクスチャを表す特徴量として選択できるように矩形画像記述スキームを設計する。さらに、色分布、色配置、色温度、照明条件補正色、エッジ、テクスチャのうち、必要な信号的特徴を選択できるように矩形画像記述スキームを設計する。

図２は、本実施形態における矩形画像記述スキームに含まれる記述ツールを示す模式図である。図２に示すように、矩形画像記述スキーム２００は、動画像の特定フレームまたは矩形の静止画像の信号特徴量を定める。矩形画像記述スキーム２００は、色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５、および、テクスチャ記述２０６を含む。

図３は、ＸＭＬ(eXtensible Markup Language)による矩形画像記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図３において、element要素内の name属性で示された名称は任意であるが、typeで示されている記述子の特徴を表す名称が望ましい。

（２）イメージクリップ記述スキーム
クリップアートといった任意形状を持つ画像の信号的特徴を記述する目的で、イメージクリップ記述スキームを設計する。コンテンツ制作に用いる素材のアーカイブなどより類似する信号パターンを持つクリップを検索するのが主目的である。

矩形画像より得られる信号的特徴は全て任意形状画像に適応できる。任意形状画像より得られる信号的特徴は、矩形画像より得られる信号的特徴に加え、形状特徴を得ることができる。形状特徴を表すビジュアル特徴量には、ContourShapeおよびRegionShapeが存在するが、双方を併用するのは適切ではなく、目的に応じて少なくとも１つを選択できるようにする必要がある。矩形画像記述スキームに加えて、形状特徴を表す２つのビジュアル特徴量の使い分けを表４に示す。

表４に示すように、閉曲線記述が可能でなおかつ強固な回転体性が必要な場合はContourShape、それ以外の一般的な用途ではRegionShapeが適している。したがって、ContourShapeおよびRegionShapeのうち少なくとも１つを形状を表す特徴量として選択できるようにイメージクリップ記述スキームを設計する。

図４は本実施形態におけるイメージクリップ記述スキームに含まれる記述ツールを示す模式図である。イメージクリップ記述スキームは、任意形状を持つ画像の信号的特徴を定める。図４に示すように、イメージクリップ記述スキーム３００は、形状記述３０１と、矩形画像記述スキーム２００に含まれる色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５およびテクスチャ記述２０６とを含む。これらのうち必要な信号的特徴を選択できるようにイメージクリップ画像記述スキームが設計される。

図５は、ＸＭＬ(eXtensible Markup Language)によるイメージクリップ記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図５において、element要素内の name属性で示された名称は任意であるが、typeで示されている記述子の特徴を表す名称が望ましい。

（３）ビデオシーケンス記述スキーム
動画像の信号的特徴を記述する目的でビデオシーケンス記述スキームを設計する。ビデオアーカイブより類似する信号パターンを持つビデオを検索するのが主目的である。

動画像より得られる信号的特徴は、(1) 矩形画像に対する特徴量の時系列データ、(2)動画像に含まれる全てのフレームを代表する特徴量、(3)動き、の３グループに分類する。各グループに属するビジュアル特徴量を以下のように定めることができる。

1) VisualTimeSeries
2) GofGopColor
3) MotionActivity。

特徴量を付与する単位として、動画像に含まれるフレームに対する記述を行う場合には 時系列配列コンテナ（VisualTimeSeries）、動画像全体に対する記述を行う場合には 代表特徴量コンテナ（GofGopColor） を利用することができる。また双方を利用することもできる。好きな位置に特徴量記述子を割り付けることができる。

コンテナはあるコンテンツの一部分を記述する特徴量記述子群をまとめて取り扱うための接着剤として働く。VisualTimeSeriesは時間軸上に並んだ特徴量記述子を一括して表記するもので、固定間隔に記述子を配置するRegular VisualTimeSeriesと、可変間隔に記述子を配置するIrregular VisualTimeSeriesの２種類があるが、各フレーム位置に特徴量記述子を割り付けることができる。また、GofGopColorは動画像全体に対して１つの特徴量記述子を割り付けることができる。

ビデオシーケンス記述スキームに含まれる時系列データ、代表特徴量および動きより必要な信号的特徴を選択できるようにビデオシーケンス記述スキームを設計する。表５はビデオシーケンス記述スキームを表す。

図６は本実施形態におけるビデオシーケンス記述スキームに含まれる記述ツールを示す模式図である。ビデオシーケンス記述スキームは、ビデオシーケンス（複数のフレームの集合）の信号的特徴を定める。ビデオシーケンス記述スキーム４００は矩形画像に対する特徴量の時系列配列コンテナ４０１、動画像に含まれる全てのフレームを代表する特徴量コンテナ４０２および動きアクティビティ記述４０３を含む。

図７は、ＸＭＬ(eXtensible Markup Language)によるビデオシーケンス記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図７において、element要素内の name属性で示された名称は任意であるが、typeで示されている記述子の特徴を表す名称が望ましい。

（４）ビデオオブジェクト記述スキーム
MPEG-4におけるVideo Object のように、動画像中の任意形状領域や物体の信号的特徴を記述する目的でビデオオブジェクト記述スキームを設計する。コンテンツ制作に用いるビデオオブジェクトのアーカイブなどより類似する信号パターンを持つビデオオブジェクトを検索するのが主目的である。

ビデオシーケンスより得られる信号的特徴は全てビデオオブジェクトに適応できる。任意形状画像より得られる信号的特徴は、矩形画像より得られる信号的特徴に加え、オブジェクトの動き情報や形状の時間変移を得ることができる。ビデオオブジェクトより得られる信号的特徴は、1) 物体動き情報、および、2)形状変化の２グループに分類する。各グループに属するビジュアル特徴量を以下のように定めることができる。

1) MotionTrajectory / ParametricMotion
2) ShapeVariation
物体動き情報を表すビジュアル特徴量には、MotionTrajectoryおよびParametricMotionが存在するが、双方を併用するのは適切ではなく、目的に応じて少なくとも１つを選択できるようにする必要がある。これらビジュアル特徴量の使い分けを表６に示す。

Parametric Motionは領域の全体的な動きをアフィン変換、透視変換など５種類の動きモデルで近似する。剛体近似できる物体の動き記述が目的である。

Motion Trajectoryは領域の代表点（例えば重心）の時系列位置変化を表すもので、時間軸上のサンプリング点における位置とサンプリング点間の補間方法を記述する。人物の歩行軌跡などを表現することにより、例えば監視カメラ映像データベースで特定の行動をした人をピックアップするなどの用途が考えられる。

したがって、MotionTrajectoryおよびParametricMotion のうちいずれか１つを形状を表す特徴量として選択できるようにビデオオブジェクト記述スキームを設計する。さらに、ビデオシーケンス記述スキームに含まれる時系列データ、代表特徴量、動き、より必要な信号的特徴を選択できるように動画像記述スキームを設計する。

図８は本実施形態におけるビデオオブジェクト記述スキームに含まれる記述ツールを示す模式図である。ビデオオブジェクト記述スキーム５００は、動画像中の任意形状領域や物体の信号的特徴を定める。ビデオオブジェクト記述スキーム５００は、ビデオオブジェクトに対する物体動き記述５０１、形状変化記述５０２、および、矩形動画像（ビデオシーケンス）記述スキーム４００に含まれる全てのフレームを代表する特徴量を含む。

図９はＸＭＬ(eXtensible Markup Language)によるビデオシーケンス記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図９において、element要素内の name属性で示された名称は任意であるが、typeで示されている記述子の特徴を表す名称が望ましい。

３．ビジュアル特徴量選択画面の表示例
（１）矩形画像の場合
図１０は、指定画像が矩形画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、矩形画像記述スキーム２００は、色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５、および、テクスチャ記述２０６を含む（図２参照）。本実施形態では、図３のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。

図１０に示すように、色分布(Color Distribution)６０１、色配置(Spatial Distribution of Color)６０２、照明条件補正色(Illumination Independent Color)６０３、色温度(Color Temperature)６０４、エッジ分布(Spatial Distribution of Edges)６０５、および、模様(Homogeneous Pattern)６０６がマウス等のポインティングデバイスを用いて選択可能に表示される。

すでに述べたように、色分布６０１については、DominantColor、ScalableColorおよびColorStructure のうち少なくとも１つを選択できる。また、模様６０６についてもHomogeniousTextureおよび TextureBrowsing のうち少なくとも１つを選択できるように表示される。また、ボタン６０７をマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。

このように矩形画像に適切な画像記述スキームを定義しておくことにより、矩形画像に適切な特徴量のみを選択・抽出できる画像記述システムを提供することができる。

（２）任意形状画像の場合
図１１は、指定画像が任意形状画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、イメージクリップ記述スキーム３００は、形状記述３０１、色分布記述２０１、色配置記述２０２、エッジ記述２０３、色温度記述２０４、照明条件補正色記述２０５、および、テクスチャ記述２０６を含む（図４参照）。本実施形態では、図５のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。

図１１に示すように、色分布(Color Distribution)７０１、色配置(Spatial Distribution of Color)７０２、照明条件補正色(Illumination Independent Color)７０３、色温度(Color Temperature)７０４、エッジ分布(Spatial Distribution of Edges)７０５、模様(Homogeneous Pattern)７０６、および、形状(Shape)７０７がマウス等のポインティングデバイスを用いて選択可能に表示される。

すでに述べたように、形状７０７については RegionShapeおよび ContourShape のうちいずれか１つのみ選択できる。また、色分布７０１については、DominantColor、ScalableColorおよびColorStructure のうち少なくとも１つを選択でき、模様７０６についてもHomogeniousTextureおよび TextureBrowsing のうち少なくとも１つを選択できるように表示される。

所望の記述が選択されると、ＯＫボタンをマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。このように任意形状画像に適切なイメージクリップ記述スキームを定義しておくことにより、任意形状画像に適切な特徴量のみを選択・抽出できる画像記述システムを提供することができる。

（３）ビデオシーケンスの場合
図１２は、指定画像が矩形動画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、ビデオシーケンス記述スキーム４００は時系列配列コンテナ４０１、代表特徴量コンテナ４０２および動きアクティビティ記述４０３を含む（図６参照）。本実施形態では、図７のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。

図１２に示すように、時系列配列(VisualTimeSeries)８０１に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、、代表特徴量 (GofGopColor)８０２に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、および、動きアクティビティ(MotionActivity)８０３がマウス等のポインティングデバイスを用いて選択可能に表示される。

所望の記述が選択されると、ＯＫボタンをマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。このように矩形動画像に適切なビデオシーケンス記述スキームを定義しておくことにより、矩形動画像に適切な特徴量のみを選択・抽出できる画像記述システムを提供することができる。

（４）ビデオオブジェクトの場合
図１３は、指定画像が任意形状動画像の場合のビジュアル特徴量選択画面の一例を示す図である。すでに述べたように、ビデオオブジェクト記述スキーム５００は、ビデオオブジェクトに対する物体動き記述５０１、形状変化記述５０２、および、矩形動画像（ビデオシーケンス）記述スキーム４００に含まれる全てのフレームを代表する特徴量を含む（図８参照）。本実施形態では、図９のＸＭＬ記述例を実行することで、ユーザがこれらの記述ツールから必要な信号的特徴を選択できるように画面表示される。

図１３に示すように、時系列配列(VisualTimeSeries)９０１に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、、代表特徴量 (GofGopColor)９０２に割り付ける矩形画像記述スキームに含まれるビジュアル特徴量、動きアクティビティ(MotionActivity)９０３、物体動き(Motion)９０４、および、形状変化(Shape Variation)９０５がマウス等のポインティングデバイスを用いて選択可能に表示される。

すでに述べたように、物体動き９０４については MotionTrajectoryおよび ParameterMotion のうち少なくとも１つを選択できる。所望の記述が選択されると、ＯＫボタンをマウス等によりクリックすることで、選択したビジュアル特徴量の抽出を開始することができる。このように任意形状動画像に適切なビデオオブジェクト記述スキームを定義しておくことにより、任意形状動画像に適切な特徴量を選択・抽出できる画像記述システムを提供することができる。

４．画像記述動作
次に、本実施形態の全体的動作について詳細に説明する。

図１４は、本実施形態による画像記述動作を示すフローチャートである。まず、画像記述スキーム記憶部１０６には画像記述スキームが種別ごとに検索可能に格納されている。すなわち、図１に示すように、画像記述スキーム記憶部１０６に、矩形画像記述スキーム２００、任意形状画像記述スキーム３００、ビデオシーケンス記述スキーム４００、および、ビデオオブジェクト記述スキーム５００を記憶させ、また、ビジュアル特徴量を抽出する際に必要となるパラメータの設定を行う（ステップＡ１）。

利用者は記述ファイルを生成する対象となる画像を入力部１０１から指定する（ステップＡ２）。記述する対象となる画像の指定は、画像ファイル名を直接入力してもよいし、あらかじめ一覧表示された画像からユーザが選択するようにしてもよい。

指定された画像が特定されると、プログラム制御プロセッサ１０３は画像記述スキーム検索部１０５に当該希望画像の記述スキームの検索を指示する。画像記述スキーム検索部１０５は、指定された画像の種別をキーとして画像記述スキーム記憶部１０６を検索する。（ステップＡ３）。

指定された画像の種別に対応する画像記述スキームが見つかると、画像記述スキーム検索部１０５はその画像記述スキームを読み出しプログラム制御プロセッサ１０３へ返す。プログラム制御プロセッサ１０３は、読み出された画像記述スキームより、指定された画像より抽出できる特徴量がどれであるのかを可視化し、表示部１０２に表示する（ステップＡ４）。

具体的には、矩形画像が指定された場合には、読み出された矩形画像記述スキームを参照して、図１０に示すように表示する（ステップＡ３．１）。任意形状画像が指定された場合には、読み出された任意形状画像記述スキームを参照して、図１１に示すように表示する（ステップＡ３．２）。ビデオシーケンスが指定された場合には、読み出されたビデオシーケンス記述スキームを参照して、図１２に示すように表示する（ステップＡ３．３）。ビデオオブジェクトが指定された場合には、読み出されたビデオオブジェクト記述スキームを参照して、図１３に示すように表示する（ステップＡ３．４）。なお、これら表示は、入力部１０１からの指示により行うこともできる。

利用者は表示部１０２に表示された抽出可能特徴量の一覧より、抽出する特徴量を入力部１０１から指定する（ステップＡ５）。指定された特徴量が特定されると、プログラム制御プロセッサ１０３はビジュアル特徴量抽出部１０７に当該希望特徴量の抽出を指示する。ビジュアル特徴量抽出部１０７は、画像データ記憶部１１０から指定された画像を読み込み、その画像から特定された特徴量を抽出する（ステップＡ６）。

記述ファイル生成部１０８は、ビジュアル特徴量抽出部１０７より生成された特徴量およびパラメータをビジュアル記述子により記述し（ステップＡ７）、記述されたデータを記述ファイルとして生成する（ステップＡ８）。記述ファイルは記述ファイル記憶部１０９に格納されてもよい。

上述したように、第１実施形態では、入力部１０１より画像が指定されると、画像記述スキーム検索部１０５が画像の種別に応じた画像記述スキームを検索し、指定された画像から抽出できるビジュアル特徴量を図１０〜図１３に例示するような形式で表示する。従って、抽出するビジュアル特徴量を利用者が容易に指定できる。また、サポートするツールの種類を必要最小限にすることができるために、システム構成を簡易にした画像記述システムを提供することができる。

生成された記述ファイルは、ある特定の画像に対する記述ファイルに含まれる特徴量と他の画像に対する記述ファイルに含まれる特徴量の類似度を評価することにより、類似した画像を検索する類似画像検索などにも利用できる。したがって、適切な記述ファイルのみが類似画像検索等に利用されるために、検索の信頼性及び精度を向上させることができる。

５．第２実施形態
図１５は、本発明の第２実施形態による画像記述システムの構成を示すブロック図である。本発明の第２実施形態は、図１に示す第１実施形態に加えて、さらに記述ファイル検証部１１１を含む。

記述ファイル検証部１１１は、画像記述スキーム検索部１０５で得られた画像記述スキームを読み込み、記述ファイル生成部１０８で生成された記述ファイルが正しいか否か検証する。具体的には、記述ファイルに記述されている特徴量の種類が、画像記述スキーム内で定義されており、かつ記述ファイルが画像記述スキームで規定された記述方法に従っているか否かを確認する。記述ファイルが画像記述スキームで規定された記述方法に従っている場合は、記述ファイルを出力する。

上述したように、第２実施形態では、記述ファイル検証部１１１を設け、画像記述スキームと記述ファイルとを照らし合わせることにより、画像に対する記述ファイルの記述方式が適切であるか否かを検証できる。

生成された記述ファイルは、ある特定の画像に対する記述ファイルに含まれる特徴量と他の画像に対する記述ファイルに含まれる特徴量の類似度を評価することにより、類似した画像を検索する類似画像検索などにも利用できる。したがって、適切な記述ファイルのみが類似画像検索等に利用されるために、検索の信頼性及び精度をさらに向上させることができる。

６．第３実施形態
図１６は、本発明の第３実施形態による画像記述システムの構成を示すブロック図である。

本実施形態による画像記述システムは、図１に示す画像記述スキーム検索部１０５、ビジュアル特徴量抽出部１０７、記述ファイル生成部１０８および記述ファイル検証部１１１をプログラム制御プロセッサ１２０によりソフトウエア的に実装している。すなわち、プログラム制御プロセッサ１２０は、メモリに格納されている画像記述プログラム１２１を実行することで、第１および第２実施形態で説明したものと等価な画像記述機能を実現することができる。入力部１０１、表示部１０２、画像記述スキーム記憶部１０６、記述ファイル記憶部１０９および画像データ記憶部１１０は、画像記述プログラム１２１を実行しているプログラム制御プロセッサ１２０によって、第１および第２実施形態と同様に制御され、本発明による画像記述システムが実現される。

７．第４実施形態
本発明の第４実施形態は、画像記述スキーム記憶部１０６に、静止画像を記述する静止領域記述スキーム、矩形フレームの集合を記述する矩形動画像記述スキーム、および、ビデオオブジェクトを記述するビデオオブジェクト記述スキームが格納されている点で図１に示す第１実施形態と異なる。なお、矩形動画像記述スキームおよびビデオオブジェクト記述スキームは、第１実施形態に使用されたものと同様である。

（静止画像（StillPicture）記述スキーム）
あらゆる静止画像の信号的特徴を記述する目的で静止画像記述スキームを設計する。ディジタルフォトアーカイブなど、ディジタル画像アーカイブより類似する信号パターンを持つ画像を検索するのが主目的である。

静止画像より得られる信号的特徴は、1) 色分布、 2)色配置、 3) 色温度、 4) 照明条件補正色、 5) エッジ、6)テクスチャ、および、7)形状、のグループに分類される。各グループに属するビジュアル特徴量は、以下のようにそれぞれ定められる。

1) DominantColor / ScalableColor/ ColorStructure
2) ColorLayout
3) ColorTemperature
4) IlluminationInvariantColor
5) EdgeHistogram
6) HomogeneousTexture / TextureBrowsing
7) ContourShape / RegionShape。

色分布、テクスチャ、形状のグループにおける類似するビジュアル特徴量については、全てを併用するのは適切ではなく、目的に応じて１個あるいは複数個を選択できるようにする必要がある。ビジュアル特徴量の内容、使い分け方法については、第１実施形態で述べたものと同一であるからここでは省略する（たとえば、表３および表４を参照）。

図１７は、ＸＭＬ(eXtensible Markup Language)による静止領域記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図１７において、element要素内の name属性で示された名称は任意であるが、typeで示されている記述子の特徴を表す名称が望ましい。

記述スキームの数を第１実施形態に比べて減らすことにより、システム構成を簡易にした画像記述システムを提供することができる。

８．第５実施形態
本発明の第５実施形態は、画像記述スキーム記憶部１０６に、静止画像を記述する静止領域記述スキーム、動画像を記述する動画像記述スキームが格納されている点で第１実施形態と異なる。ただし、静止領域記述スキームは、上述した第４実施形態に記載のものと同様である。

（動画像記述スキーム）
動画像の信号的特徴を記述する目的で動画像記述スキームを設計する。動画像より得られる信号的特徴は、(1) 矩形画像に対する特徴量の時系列データ、(2)動画像に含まれる全てのフレームを代表する特徴量、(3)動きアクティビティ、(4) 物体動き情報、および、(5)形状変化の５グループに分類する。各グループに属するビジュアル特徴量を以下のように定めることができる。

1) VisualTimeSeries
2) GofGopColor
3) MotionActivity
4) MotionTrajectory / ParametricMotion
5) ShapeVariation。

なお、ビジュアル特徴量の内容、使い分け方法については、第１実施形態で述べたものと同一であるからここでは省略する（たとえば、表６参照）。

図１８は、ＸＭＬ(eXtensible Markup Language)による動画像記述スキームの例を示す図である。記述スキームは任意の言語で実行され、任意の含められた記述（もしくはそれよりも多くの記述）を含む。なお、図１８において、element要素内の name属性で示された名称は任意であるが、typeで示されている記述子の特徴を表す名称が望ましい。

記述スキームの数を第１実施形態に比べて減らすことにより、システム構成を簡易にした画像記述システムを提供することができる。

９．効果
以上詳細に説明したように、本発明によれば、入力部より画像が指定されると、画像の種別に応じた画像記述スキームが取り出され、抽出可能な適切なビジュアル特徴量が表示される。このために、有意義なビジュアル特徴量の選択が容易となり、かつ、指定画像を的確に表現したビジュアル特徴量を抽出がすることができる。このために画像検索の効率及び精度を向上させることができる。

また、画像の種別ごとに記述スキームを定義しておくことによりサポートするべき特徴量抽出、および記述ツールの種類を必要最小限にすることができ、システム構成を簡易にした画像記述システムを提供することができる。

さらに、以上のようにして生成された記述ファイルを画像記述スキームと照らし合わせることにより、画像に対する記述ファイルの記述方式が適切であるか否かを検証でき、画像検索の効率及び精度をさらに向上させることができる。

本発明の第１実施形態による画像記述システムの構成を示すブロック図である。 本実施形態における矩形画像記述スキームに含まれる記述ツールを示す模式図である。 ＸＭＬ(eXtensible Markup Language)による矩形画像記述スキームの例を示す図である。 本実施形態におけるイメージクリップ記述スキームに含まれる記述ツールを示す模式図である。 ＸＭＬ(eXtensible Markup Language)によるイメージクリップ記述スキームの例を示す図である。 本実施形態におけるビデオシーケンス記述スキームに含まれる記述ツールを示す模式図である。 ＸＭＬ(eXtensible Markup Language)によるビデオシーケンス記述スキームの例を示す図である。 本実施形態におけるビデオオブジェクト記述スキームに含まれる記述ツールを示す模式図である。 ＸＭＬ(eXtensible Markup Language)によるビデオオブジェクト記述スキームの例を示す図である。 指定画像が矩形画像の場合のビジュアル特徴量選択画面の一例を示す図である。 指定画像が任意形状画像の場合のビジュアル特徴量選択画面の一例を示す図である。 指定画像が矩形動画像の場合のビジュアル特徴量選択画面の一例を示す図である。 指定画像が任意形状動画像の場合のビジュアル特徴量選択画面の一例を示す図である。 本実施形態による画像記述動作を示すフローチャートである。 本発明の第２実施形態による画像記述システムの構成を示すブロック図である。 本発明の第３実施形態による画像記述システムの構成を示すブロック図である。 ＸＭＬ(eXtensible Markup Language)による静止領域記述スキームの例を示す図である。 ＸＭＬ(eXtensible Markup Language)による動画像記述スキームの例を示す図である。

符号の説明

１０１ 入力部
１０２ 表示部
１０３ プログラム制御プロセッサ
１０４ 制御プログラム
１０５ 画像記述スキーム検索部
１０６ 画像記述スキーム記憶部
１０７ ビジュアル特徴量抽出部
１０８ 記述ファイル生成部
１０９ 記述ファイル記憶部
１１０ 画像データ記憶部
１１１ 記述ファイル検証部
１２１ 画像記述プログラム

Claims (7)

1. 画像の信号特徴量を記述する画像記述システムとしてプログラム制御プロセッサを機能させるための特徴量選択プログラムであって、
   指定された画像の種別に対応した１つ以上の特徴量の種類の各々に対して、少なくとも１つの記述子を選択する機能を有し、
   前記指定された画像の種別は、矩形画像、任意形状画像、矩形フレームの集合である矩形動画像、または、矩形動画像内の任意形状の対象を示す任意形状動画像であることを特徴とするプログラム。
2. 前記特徴量の種類は、色分布、色配置、色温度、照明条件補正色、エッジ分布、および、テクスチャを少なくとも含む複数の特徴量のうち１つ以上の特徴量であることを特徴とする請求項１に記載のプログラム。
3. 前記色分布特徴量は、DominantColor、ScalableColorおよびColorStructureを少なくとも含む複数の記述子からなり、
   前記色配置特徴量は、ColorLayoutを少なくとも含む記述子からなり、
   前記色温度特徴量は、ColorTemperatureを少なくとも含む記述子からなり、
   前記照明条件補正色特徴量は、IlluminationInvariantColorを少なくとも含む記述子からなり、
   前記エッジ分布特徴量は、EdgeHistogramを少なくとも含む記述子からなり、
   前記テクスチャ特徴量は、HomogeneousTextureおよびTextureBrowsingを少なくとも含む複数の記述子からなる、
   ことを特徴とする請求項２に記載のプログラム。
4. 請求項１−３のいずれか１項に記載のプログラムを記録した記録媒体。
5. 請求項１−３のいずれか１項に記載のプログラムを実行するデータ処理装置。
6. 画像の信号特徴量を記述する画像記述システムにおける特徴量選択方法であって、
   画像の種別ごとに定義された記述スキームを格納手段に格納し、
   画像が指定されると、当該指定画像の種別に対応する記述スキームを前記格納手段から検索し、
   検索された記述スキームに従って抽出可能な特徴量から少なくとも１つを選択可能にし、
   前記指定画像の種別は、矩形画像、任意形状画像、矩形フレームの集合である矩形動画像、または、矩形動画像内の任意形状の対象を示す任意形状動画像であることを特徴とする特徴量選択方法。
7. 画像の信号特徴量を記述する画像記述システムにおける特徴量選択装置であって、
   画像の種別ごとに定義された記述スキーム格納する格納手段と、
   画像が指定されると、当該指定画像の種別に対応する記述スキームを前記格納手段から検索し、検索された記述スキームに従って抽出可能な特徴量から少なくとも１つを選択可能にする制御手段と、
   を有し、前記指定画像の種別は、矩形画像、任意形状画像、矩形フレームの集合である矩形動画像、または、矩形動画像内の任意形状の対象を示す任意形状動画像であることを特徴とする特徴量選択装置。

Images