JP5188290B2 - アノテーション装置、アノテーション方法およびプログラム - Google Patents

Description

本発明は、画像に含まれる領域にメタデータを付与するアノテーション装置に関する。

近年、インターネット等のネットワーク上に多くの画像が公開されるようになり、その画像をテキストで検索できるようにする技術が提案されている。画像をテキストで検索するためには、画像にキーワード（例えば東京タワーや富士山など）を付与する必要がある。従来、画像にキーワードを付与する方法として、データベースに画像を登録する際にユーザが手でキーワードを入力する方法が知られている（例えば特許文献１参照）。
特開平１１−１７５５５６号公報

ところで、これらの画像には、被写体として様々な対象物が含まれている。例えば、ある画像には「東京タワー」という対象物が含まれており、他の画像には「富士山」という対象物が含まれている。しかしながら、このような画像に含まれる領域にキーワードを付与することについては、従来、何ら提案がなされていない。

一般に、ネットワーク上には無数の画像が存在しており、また、これらの画像は、日々、アップロードされる。したがって、これらの大量の画像から対象物を探し出してキーワードを付与するには多大な作業量が必要であり、ユーザが手でキーワードを入力することは容易ではない。また、キーワードを付与する対象物は、そのときの流行に応じて様々に変化する。そして、新たな対象物が追加されると、その対象物を大量の画像から探し出してキーワードを付与することになり、その都度、ユーザが手でキーワードを入力することは現実的でない。

本発明は、上記の課題に鑑みてなされたもので、画像に含まれる領域にメタデータを容易に付与することのできるアノテーション装置を提供することを目的とする。

本発明のアノテーション装置は、複数の画像が記憶された画像データベースから少なくとも一つの画像を選択する画像選択手段と、選択された前記画像から少なくとも一つの領域を抽出する領域抽出手段と、抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う特徴点照合手段と、前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する領域メタデータ付与手段と、を備えている。

この装置によれば、画像から抽出した領域と画像データベースの画像との特徴量の照合を行うことにより、その領域と類似する部分が含まれる画像を見つけ出し、その画像に付与されているメタデータをその領域のメタデータとして付与する。これにより、画像データベースに記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。

また、本発明のアノテーション装置では、前記領域抽出手段は、選択された前記画像に含まれる特徴点に基づいて、前記画像から抽出する前記領域を決定してもよい。

これにより、画像に含まれる特徴点に基づいて、その画像から抽出する領域が決定されるので、適切な領域を画像から抽出することができる。

また、本発明のアノテーション装置では、前記領域メタデータ付与手段は、選択された前記画像に複数の前記領域が含まれており、前記複数の領域に同一の前記メタデータが付与される場合には、前記複数の領域をまとめて一つの領域を生成する。

これにより、一つの画像から複数の領域が抽出され、それら複数の領域に同一のメタデータが付与される場合に、それらの複数の領域をまとめて一つの領域が生成される。すなわち、領域の抽出が完全ではなかった場合に、それを補正することができる。

本発明のアノテーション方法は、複数の画像が記憶された画像データベースから少なくとも一つの画像を選択し、選択された前記画像から少なくとも一つの領域を抽出し、抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行い、前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する。

この方法によれば、画像データベースに記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。

本発明のアノテーションプログラムは、コンピュータに、複数の画像が記憶された画像データベースから少なくとも一つの画像を選択する処理と、選択された前記画像から少なくとも一つの領域を抽出する処理と、抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う処理と、前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与する処理と、を実行させる。

このプログラムによっても、画像データベースに記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。

本発明によれば、画像のメタデータを領域のメタデータとして付与する領域メタデータ付与手段を設けることにより、画像に含まれる領域にメタデータを容易に付与することができる。

以下、本発明の実施の形態のアノテーション装置について、図面を用いて説明する。本実施の形態では、画像検索システム等のためのメタデータ付与に用いられるアノテーション装置の場合を例示する。本実施の形態のアノテーション装置は、アノテーション処理を行う機能を備えているともいえる。この機能は、装置のＨＤＤやメモリ等に記憶されたプログラムによって実行される。

本発明の実施の形態のアノテーション装置の構成を、図１〜図３を用いて説明する。図１は、アノテーション装置の構成を示すブロック図である。図１に示すように、アノテーション装置１は、複数の画像が記憶された画像データベース２から画像を選択する画像選択部３と、選択した画像から特徴点を抽出する特徴点抽出部４と、選択した画像から領域を抽出する領域抽出部５を備えている。

特徴点抽出部４は、画像から抽出した特徴点（特徴的な点）のSIFT特徴量を算出する。SIFT特徴量は、画像中の特徴点の特徴量を、１２８次元のベクトル（特徴量ベクトルともいう）で表したものである。例えば、特徴点抽出部４は、１つの画像から２０００個の特徴点を抽出し、その特徴点ごとに１２８次元の特徴量ベクトルを算出する。

領域抽出部５は、上記の特徴点抽出部４が画像から抽出した特徴点の集合を、その画像に含まれる領域として抽出する。この領域は、被写体として画像中に含まれる対象物（東京タワーや富士山など）に対応する。この場合、領域は、画像に含まれる特徴点の点列で表される（図３参照）。

また、アノテーション装置１は、抽出した領域に含まれる特徴点と画像データベース２内の画像に含まれる特徴点との照合を行う特徴点照合部６を備えている。この特徴点照合部６は、抽出した領域と画像データベース２内の画像で一致する特徴点の計算を行い、領域と画像とで一致した特徴点の数が所定の閾値以上であるか否かを判定する。領域と画像とで一致した特徴点の数が閾値以上であれば、領域と画像は一致すると判定される。例えば、特徴点の数の閾値は５０である。

一致する特徴点の計算は、領域と画像のすべての特徴点の組合せについて、１２８次元の特徴量ベクトルの内積角度を算出し、最も小さい内積角度と二番目に小さい内積角度に十分な差がある場合には、その領域と画像の特徴点は一致したとみなされる。例えば、二番目に小さい内積角度が、最も小さい内積角度の５０％より小さい場合には、十分な差があるとして、領域と画像の特徴点は一致したとみなされる。

また、このアノテーション装置１は、特徴点照合部６による照合の結果、領域と特徴点が一致すると判定された画像のメタデータを、領域のメタデータとして付与する領域メタデータ付与部７を備えている。また、この領域メタデータ付与部７は、メタデータを付与した領域のデータを領域データベース８に書き込む機能を備えている。なお、メタデータには、キーワードやコメント、タグなどの情報が含まれる。

さらに、領域メタデータ付与部７は、選択された画像に複数の領域が含まれており、複数の領域に同一のメタデータが付与される場合には、複数の領域をまとめて一つの領域を生成する機能を備えている。つまり、この領域メタデータ付与部７は、領域の抽出が完全ではなかった場合に、それを補正する機能を有している。この機能については、図面を用いて後述する。

画像データベース２には、インターネット上から収集された複数の画像のデータが保存されており、各画像には、画像ＩＤとキーワードが付与されている。図２は、画像データベース２の一例を示す図である。図２の例では、画像データベース２に、「東京タワー」というキーワードが付与された画像Ａ、「富士山」というキーワードが付与された画像Ｂ、「東京タワー」というキーワードが付与された画像Ｃが記憶されている。

領域データベース８には、画像から抽出された複数の領域のデータが保存されており、各領域には、領域ＩＤとキーワードが付与される。領域データは、画像に含まれる領域を示す点列（座標列）である。この点列は、特徴点抽出部４によって画像から抽出された特徴点の集合である。すなわち、画像から抽出する領域は、その画像に含まれる特徴点に基づいて決定されているともいえる。

図３は、領域データベース８の一例を示す図である。図３の上段には、アノテーション処理前の領域データが示されている。この領域データベース８には、「（０、０）（１、０）（２、０）・・・」という点列の領域ａと、「（０、２）（１、２）（２、２）・・・」という点列の領域ｂが記憶されている。図３の下段には、アノテーション処理後の領域データが示されている。この例では、アノテーション処理によって、領域ａに「東京タワー」というキーワードが付与され、領域ｂに「富士山」というキーワードが付与されている。

以上のように構成されたアノテーション装置１について、図４を用いてその動作を説明する。ここでは、本発明の特徴である領域へのメタデータ付与（アノテーション処理）の動作を中心に説明する。

本実施の形態のアノテーション装置１を用いて領域にメタデータを付与するときには、図４に示すように、まず、画像データベース２から画像（例えば画像Ａ）を一つ選択する。つぎに、この選択された画像Ａから領域を一つ選択する。

例えば、画像Ａには、被写体として「東京タワー」が写っており、この「東京タワー」に対応する領域ａが、画像Ａから抽出される。そして、この領域ａに含まれる特徴点と画像データベース２の複数の画像（画像Ａ、Ｂ、Ｃ・・・）に含まれる特徴点との照合が行われる。その結果、領域ａは画像Ｃと一致すると判定される。この画像Ｃには、「東京タワー」という画像のキーワードが付与されている。そのため、この場合には、画像Ａから抽出した領域ａのキーワードとして、画像Ｃのキーワードである「東京タワー」が付与される。そして、このようにして領域のキーワード「東京タワー」が付与された領域ａのデータが、領域データベース８に記憶される。

また、画像Ａには、被写体として「富士山」が写っており、画像Ａからは、この「富士山」に対応する領域ｂも抽出される。そして、上記と同様にして、この領域ｂに含まれる特徴点と画像データベース２の複数の画像（画像Ａ、Ｂ、Ｃ・・・）に含まれる特徴点との照合が行われる。その結果、領域ｂは画像Ｂと一致すると判定される。この画像Ｂには、「富士山」という画像のキーワードが付与されている。そのため、この場合には、画像Ａから抽出した領域ｂのキーワードとして、画像Ｂのキーワードである「富士山」が付与される。そして、このようにして領域のキーワード「富士山」が付与された領域ｂのデータが、領域データベース８に記憶される。

つぎに、図５を参照して、アノテーション処理における領域抽出の補正機能を説明する。図５に示すように、画像データベース２から選択した画像Ｂから領域の抽出を行った結果、本来ひとつの領域として抽出されるべき領域ｃ「富士山」が、二つの領域ｃ１、ｃ２に分かれて抽出されることがある。そのような場合、これら二つの領域ｃ１、ｃ２について特徴点の照合を行うと、二つの領域ｃ１、ｃ２はいずれも「富士山」の画像と特徴点が一致し、二つの領域ｃ１、ｃ２に「富士山」というキーワードが付与されることになる。

このような場合に、領域メタデータ付与部７は、これらの二つの領域ｃ１、ｃ２を統合（合成）した領域ｃを生成し、その領域ｃに「富士山」というキーワードを付与して領域データベース８に記憶する。このようにして、不完全な領域抽出が補正される。

このような本実施の形態のアノテーション装置１によれば、画像のメタデータを領域のメタデータとして付与する領域メタデータ付与部７を設けることにより、画像に含まれる領域にメタデータを容易に付与することができる。

すなわち、本実施の形態では、画像から抽出した領域と画像データベース２の画像との特徴量の照合を行うことにより、その領域と類似する部分が含まれる画像を見つけ出し、その画像に付与されているメタデータをその領域のメタデータとして付与する。これにより、画像データベース２に記憶されている大量の画像に付与されているメタデータを利用して、ある画像から抽出した領域にメタデータを自動的に付与することができる。

また、本実施の形態では、画像に含まれる特徴点に基づいて、その画像から抽出する領域が決定されるので、適切な領域を画像から抽出することができる。

また、本実施の形態では、一つの画像から複数の領域が抽出され、それら複数の領域に同一のメタデータが付与される場合に、それらの複数の領域をまとめて一つの領域が生成される。すなわち、領域の抽出が完全ではなかった場合に、それを補正することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上のように、本発明にかかるアノテーション装置は、画像に含まれる領域にメタデータを容易に付与することができるという効果を有し、画像のテキスト検索システム等に用いられ、有用である。

本実施の形態におけるアノテーション装置の構成を説明するためのブロック図である。 本実施の形態における画像データベースの説明図である。 本実施の形態における領域データベースの説明図である。 本実施の形態におけるアノテーション処理の流れを説明するための図である。 アノテーション処理における領域抽出の補正機能を説明するための図である。

符号の説明

１ アノテーション装置
２ 画像データベース（画像ＤＢ）
３ 画像選択部
４ 特徴点抽出部
５ 領域抽出部
６ 特徴点照合部
７ 領域メタデータ付与部
８ 領域データベース（領域ＤＢ）

Claims (5)

1. 複数の画像が記憶される画像データベースと、
   前記画像から抽出される複数の領域のデータが記憶される領域データベースと、
   前記画像データベースから少なくとも一つの画像を選択する画像選択手段と、
   選択された前記画像から少なくとも一つの領域を抽出する領域抽出手段と、
   抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う特徴点照合手段と、
   前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与して、前記領域のメタデータが付与された領域のデータを前記領域データベースに登録する領域メタデータ付与手段と、
   を備えたことを特徴とするアノテーション装置。
2. 前記領域抽出手段は、
   選択された前記画像に含まれる特徴点に基づいて、前記画像から抽出する前記領域を決定することを特徴とする請求項１に記載のアノテーション装置。
3. 前記領域メタデータ付与手段は、
   選択された前記画像に複数の前記領域が含まれており、前記複数の領域に同一の前記メタデータが付与される場合には、前記複数の領域をまとめて一つの領域を生成することを特徴とする請求項１または請求項２に記載のアノテーション装置。
4. 画像データベースと領域データベースを備えるアノテーション装置で実行されるアノテーション方法であって、
   前記画像データベースには、複数の画像が記憶されており、
   前記領域データベースには、前記画像から抽出される複数の領域のデータが記憶されており、
   前記アノテーション方法は、
   前記画像データベースから少なくとも一つの画像を選択し、
   選択された前記画像から少なくとも一つの領域を抽出し、
   抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行い、
   前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与して、前記領域のメタデータが付与された領域のデータを前記領域データベースに登録することを特徴とするアノテーション方法。
5. 画像データベースと領域データベースを備えるアノテーション装置で実行されるアノテーションプログラムであって、
   前記画像データベースには、複数の画像が記憶されており、
   前記領域データベースには、前記画像から抽出される複数の領域のデータが記憶されており、
   前記アノテーションプログラムは、コンピュータに、
   前記画像データベースから少なくとも一つの画像を選択する処理と、
   選択された前記画像から少なくとも一つの領域を抽出する処理と、
   抽出された前記領域に含まれる特徴点と前記画像データベースに記憶された前記複数の画像に含まれる特徴点との照合を行う処理と、
   前記照合の結果、前記領域と特徴点が一致すると判定された画像のメタデータを、前記領域のメタデータとして付与して、前記領域のメタデータが付与された領域のデータを前記領域データベースに登録する処理と、
   を実行させることを特徴とするアノテーションプログラム。