JP4755122B2 - 画像辞書生成方法及び装置及びプログラム - Google Patents

Description

本発明は、画像辞書生成方法及び装置及びプログラムに係り、特に、テキスト情報と画像情報が含まれたＷｅｂ情報を用いて画像辞書を作成するための画像辞書生成方法及び装置及びプログラムに関する。

従来の画像辞書生成方法として次のような方法がある。

まず、映像に関して付与すべき意味ラベルを選択する。次に、その意味ラベルを表現した画像を学習データとして収集する。最後に、意味ラベルに対応付けるビジュアルパターンを学習データから求める。以上の処理により、映像に関する意味ラベルと対応付けたビジュアルパターンで構成した画像辞書を生成することができる（例えば、非特許文献1参照）。

また、学習データを効率的に収集する方法として、予め用意しておく意味ラベルを表すワードを用いてＷｅｂサイトから画像を収集する方法もある（例えば、非特許文献2参照）。
Y. Wu. B. L. Tseng and J. R. Smith, "Ontology-based Multi-Classification Leaning for Video Concept Detection," IEEE International Conference on Multimedia and Expo (ICME), June 2004. Yongqing Sun, Satoshi Shimada, Masashi Morimoto, "Visual pattern discovery using web images". ACM MIR workshop, 2006.

しかしながら、上記の非特許文献1に示すような画像辞書生成方法は、映像に関する画像辞書の精度が学習データに依存するので、実際の映像に良く反映できる学習データを選別するためには膨大な時間と手間を要するという問題がある。

また、上記の非特許文献２に示すような学習データを収集する方法は、Ｗｅｂ情報の特性により、収集されたＷｅｂ画像には多種多様な画像が含まれているので、ノイズを含む学習データを用いることになり、生成した画像辞書の精度が低くなるという問題がある。

さらに、両者の従来の方法とも、映像にどのような意味ラベルを付与するかを事前に選択する必要があるが、映像のコンテンツを反映した適切な意味ラベルを選択するためには、時間と手間を要するという問題がある。

本発明は、上記の点に鑑みなされたもので、事前に付与すべき意味ラベルを選択することなく、コンテンツに応じて適切な意味ラベルを抽出し、精度よく画像辞書を生成することが可能な画像辞書生成方法及び装置及びプログラムを提供することを目的とする。

近年、情報と通信放送連携に伴い、Ｗｅｂ情報とＴＶ映像が深く関連しているので、意味ラベルを付与したい映像と関連した画像を収集するには、前述の非特許文献２のようなＷｅｂ情報を活用することが有効である。本発明は、画像辞書の精度が低いという従来技術の問題を解決するために、コンテンツに応じて適切な意味ラベルを自動抽出する手段を設けることで、精度を向上させる。具体的には以下のような手段を用いる。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、映像に対して意味的なレベルを付与するための、意味ラベルとビジュアルパターンとの関連を定義した画像辞書を生成する画像辞書生成方法であって、
映像コンテンツ関連情報取得手段が、テレビ番組映像の内容を説明したテキスト情報であるコンテンツ関連情報をウェブサイトから取得する映像コンテンツ関連情報取得ステップ（ステップ１）と、
テキスト情報収集手段が、コンテンツ関連情報から抽出したワードとコンテンツ作成日付またはコンテンツ公開日付に基づいてウェブサイトからコンテンツに関するテキスト情報を収集し、記憶手段に格納するテキスト情報収集ステップ（ステップ２）と、
テキスト情報分類手段が、コンテンツ関連情報に含まれる映像ジャンルに基づいて、映像ジャンルに応じて抽出すべき話題の種別を定義した映像属性テーブルから当該映像ジャンルの映像属性を取得し、各映像属性ｎ（ｎ＝１，２，…，Ｎ）に対して、テキスト情報収集ステップにより記憶手段に格納されているテキスト情報と該属性ｎに対応するワードとを照合し、得られる類似度によりテキスト情報を映像属性毎に分類するテキスト情報分類ステップと、
話題抽出手段が、各映像属性ｎ（ｎ＝１，２，…，Ｎ）について記憶手段から映像属性ｎに関するテキスト情報を読み込み、読み込まれたテキスト情報から話題を表す複数のワードをワードセットとして抽出する話題抽出ステップ（ステップ３）と、
画像収集・ビジュアルパターン生成手段が、映像属性毎に抽出されたワードセットに関するウェブ画像を収集し（ステップ４）、収集したウェブ画像を学習データとして話題と関連するビジュアルパターンを生成し（ステップ５）、該ワードセットと該ビジュアルパターンを画像辞書として画像辞書記憶手段に格納する（ステップ６）画像収集・ビジュアルパターン生成ステップと、を行う。

図２は、本発明の原理構成図である。

本発明（請求項２）は、映像に対して意味的なレベルを付与するための、意味ラベルとビジュアルパターンとの関連を定義した画像辞書を生成する画像辞書生成装置であって、
テレビ番組映像の内容を説明したテキスト情報であるコンテンツ関連情報をウェブサイトから取得する映像コンテンツ関連情報取得手段１００と、
コンテンツ関連情報から抽出したワードとコンテンツ作成日付またはコンテンツ公開日付に基づいてウェブサイト３からコンテンツに関するテキスト情報を収集し、記憶手段に格納するテキスト情報収集手段１０１と、
コンテンツ関連情報に含まれる映像ジャンルに基づいて、映像ジャンルに応じて抽出すべき話題の種別を定義した映像属性テーブルから当該映像ジャンルの映像属性を取得し、各映像属性ｎ（ｎ＝１，２，…，Ｎ）に対して、テキスト情報収集手段により記憶手段に格納されているテキスト情報と該属性ｎに対応するパスワードとを照合し、得られる類似度によりテキスト情報を映像属性毎に分類するテキスト情報分類手段と、
各映像属性ｎ（ｎ＝１，２，…，Ｎ）について、記憶手段から映像属性ｎに関するテキスト情報を読み込み、読み込まれたテキスト情報から話題を表す複数のワードをワードセットとして抽出する話題抽出手段１０４と、
映像属性毎に抽出されたワードセットに関するウェブ画像を収集し、収集したウェブ画像を学習データとして話題と関連するビジュアルパターンを生成し、該ワードセットと該ビジュアルパターンを画像辞書として画像辞書記憶手段２に格納する画像収集・ビジュアルパターン生成手段１０５と、を有する。

本発明（請求項３）は、コンピュータを、請求項２記載の画像辞書生成装置の各手段として機能させるためのプログラムである。

上記のように本発明によれば、映像に関連するＷｅｂ情報（コンテンツ関連情報）を収集して、それらを分類することで話題を抽出することにより、事前に付与すべき意味ラベルを選択することなく、コンテンツに応じて適切な意味ラベルを自動抽出するので、手間と時間をかけることなく、精度よく画像辞書を生成することができる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態におけるシステム構成を示す。

同図に示すシステムは、画像辞書生成装置１、画像辞書データベース２、インターネットに接続されるＷｅｂサイト３から構成される。

画像辞書生成装置１は、ウェブサイト３から映像に関するウェブ情報を取得し、取得したウェブ情報を用いて、映像に関する画像辞書を生成する。

画像辞書データベース２は、画像辞書生成装置１で生成された画像辞書を受け取って格納する。

ウェブサイト３は、インターネット上で公開されている数多くのウェブサイトである。公開されている情報は、周辺テキストが付与されたウェブ画像とウェブテキスト情報から構成されている。ウェブサイト３は、画像辞書生成装置1の要求に応じて周辺テキストが付与されたウェブ画像とウェブテキスト情報を当該画像辞書生成装置１に出力する。

以下に、上記の画像辞書生成装置1について詳細に説明する。

図４は、本発明の一実施の形態における画像辞書生成装置の構成を示す。

同図に示す画像辞書生成装置１は、映像コンテンツ関連情報取得部１００、テキスト情報収集部１０１、テキスト情報分類部１０２、映像属性テーブル管理部１０３、映像話題抽出部１０４、ウェブ画像収集とビジュアルパターン生成部１０５から構成される。

上記の各構成における処理についてＴＶ番組映像を例として説明する。

映像コンテンツ関連情報取得部１００は、ある番組映像を説明したテキスト情報をウェブサイト３から取得し、メモリ等の記憶手段（図示せず）に格納する。例えば、テレビ映像のＥＰＧ情報をＴＶ番組放送局のホームページから取得すればよい。ＥＰＧ情報の例を図５に示す。同図に示すＥＰＧ情報は、放送日時、タイトル、ジャンル、概要、出演者等からなり、映像コンテンツ関連情報取得部１００は、当該ＥＰＧ情報から映像のタイトルと放送日時を抽出してテキスト情報収集部１０１に出力し、ＥＰＧ情報の映像ジャンル情報を抽出して属性テキスト情報分類部１０２に出力する。

テキスト情報収集部１０１は、映像コンテンツ関連情報取得部１００から映像のタイトルと放送日時を受け取ると、映像のタイトルを検索条件として、放送日時前後の限定期間のウェブテキスト情報をウェブサイト３から収集し、メモリ等の記憶手段（図示せず）に格納する。収集したウェブテキスト情報をテキスト情報分類部１０２へ出力する。例えば、映像放送日時前の1週間と後の３週間にかけた1ヶ月の最近ウェブテキスト情報を収集してもよい。

テキスト情報分類部１０２は、映像コンテンツ関連情報取得部１００から映像ジャンル情報を受け取ると、映像属性テーブル管理部１０３へ出力する。また、映像属性テーブル管理部１０３から受け取った映像属性テーブルの情報に従って、テキスト情報収集部１０１から受け取ったウェブテキスト情報を分類し、メモリ等の記憶手段（図示せず）に格納する。分類したテキスト情報を映像話題抽出部１０４へ出力する。

映像属性テーブル管理部１０３は、映像ジャンルに応じて抽出すべき話題の種別を定義した映像属性テーブルを記憶手段に保持・管理する。映像属性テーブル管理部１０３は、図６に示すような映像属性テーブルを有する。映像属性テーブルは、映像ジャンルと当該映像ジャンルに関する複数の属性を保持する。映像属性テーブル管理部１０３は、テキスト情報分類部１０２から映像ジャンル情報を受け取って映像に対応付ける映像属性テーブルの情報をテキスト情報分類部１０２へ出力する。

映像話題抽出部１０４は、テキスト情報分類部１０２においてメモリに格納されたテキスト情報を読み出して、統計手法によりテキスト情報のワード頻度分布から上位ワードを話題として抽出する。抽出された話題に関するワードをウェブ画像収集とビジュアルパターン生成部１０４へ出力する。

ウェブ画像収集とビジュアルパターン生成部１０５は、映像話題抽出部１０４から受け取った話題に関するワードを検索条件として、関連ウェブ画像をウェブサイト３から収集する。収集されたウェブ画像を学習手法で話題に関するビジュアルパターンを生成する。話題に関するワードとビジュアルパターンで構成した画像辞書を画像データベース２に格納する。

以上の構成により、テキストと画像を含むウェブ情報を用いて、映像を対象とした画像辞書の生成を行う。

次に、上記の画像辞書生成装置１における基本動作を説明する。

図７は、本発明の一実施の形態における画像辞書生成装置の基本動作のフローチャートである。

ステップ２０１） 映像コンテンツ関連情報取得部１００において、ある映像コンピュータ関連情報をウェブサイト３から取得し、記憶手段（図示せず）に格納する。例えば、図５に示すような映像のＥＰＧ情報をＴＶ番組放送局のホームページから取得すればよい。

ステップ２０２） テキスト情報収集部１０１において、映像コンテンツ関連情報ＥＰＧにあったタイトルを検索条件として、ウェブサイト３から放送日時前後の限定期間のウェブテキスト情報を収集する。例えば、映像放送日時前の１週間と、放送日時後の３週間の１ヶ月分の最近のウェブテキスト情報を収集し、メモリ（図示せず）に格納する。

ステップ２０３） テキスト情報分類部１０２は、ステップ２０１において映像コンテンツ関連情報取得部１００がＥＰＧ情報から抽出した映像ジャンルに従って、映像属性テーブル管理部１０３から対応する映像属性テーブルを読み出す。映像ジャンルが「ドラマ」である場合は、図６の例では、映像属性テーブル管理部１０３のドラマ映像に対する属性テーブル（人物、場所、事件、感情、社交活動）を読み出す。

ステップ２０４） テキスト情報分類部１０２は、映像属性テーブルにあった属性ｎに対応したワードを追加した検索条件で、ステップ２０２において収集され、メモリ（図示せず）に格納されたウェブテキスト情報に対し、再検索を行って、当該属性ｎに関するテキスト情報を収集し、メモリ（図示せず）に格納する。属性ｎに関するテキスト情報を収集するのは、ウェブテキストと属性ｎに対応したワードとのテキスト照合を行い、類似度の高い順にＷｅｂテキストを属性ｎに関するテキスト情報として収集すればよい。ここで、映像属性テーブルにＮ個属性があれば、ステップ２０２で収集されたウェブテキストは、Ｎ個の属性毎のテキストグループに分類され、メモリ（図示セず）に格納する。

ステップ２０５） 映像話題抽出部１０４は、メモリ（図示せず）のテキスト情報分類部１０２で分類されたテキストグループについて、ｎ＝１として、最初のテキストグループを読み出して、以下の処理を行う。

ステップ２０６） 映像話題抽出部１０４は、属性ｎに関するテキストグループから話題を抽出する。処理内容を図８のフローチャートに沿って説明する。

ステップ３０１） 映像話題抽出部１０４は、ステップ２０４においてメモリ（図示せず）に格納された属性Ｎに関するウェブテキスト情報を読み込む。

ステップ３０２） 読み込まれたウェブテキスト情報における、"を"、"は"、"が"などのStopping wordを削除する。

ステップ３０３） ステップ３０２で処理されたテキスト情報を用いて、類似したワードを統合する。ドラマ映像に関する属性ｎ「人物」の例として、テキスト情報に表したワードは、"ＡＡＡさん"、"Ｔさん"、"娘"、"友達"、"Ｃさん"の場合で、予め記憶手段（図示せず）に格納されているドラマ映像の人物関係情報を参照して、類似したワードを統合してワードセットを生成し、メモリ（図示せず）に格納する。図９は、予め記憶手段（図示せず）に格納されているドラマ映像の人物関係情報の例である。当該ドラマの人物関係情報は、予めＴＶ放送局のホームページから読み込んで記憶手段に格納しておけばよい。図９に従って生成されたワードセットは、｛ＡＡＡさん、娘｝、｛友達、Ｔさん｝、｛Ｃさん｝になる。

ステップ３０４） ステップ３０３で処理された各ワードセットをメモリ（図示せず）から読み出して、個々のワードセットの頻度を算出する。

ステップ３０５） ステップ３０４で算出されたワードセットの頻度のうち、頻度の高い上位Ｍ個のワードセットを属性ｎに関する話題として抽出し、メモリ（図示せず）に格納する。

ステップ２０７） ウェブ画像収集・ビジュアルパターン生成部１０５は、ｍ＝１として、ステップ２０６において、メモリ（図示せず）に格納された最初の話題について処理する。

ステップ２０８） ウェブ画像収集・ビジュアルパターン生成部１０５は、メモリ（図示せず）から読み出したワードセットを検索条件としてウェブサイト３からウェブ画像収集を行う。収集した画像から当該ワードセットに関するビジュアルモジュールを抽出し、ワードセットとビジュアルモジュールを組にしてメモリ（図示せず）に格納する。ここで、共通ビジュアルモジュールを抽出する一例として、非特許文献２の方法を用いて、ワードを収集条件として、ウェブサイトから取得した画像から適切な認識関数を求めることにより、ワードセットに対応したビジュアルモジュールを生成すればよい。

ステップ２０９） 全てのワードセットにおいて、上記のステップ２０８の処理を行ったかを判定し、行っていなければｍ＝ｍ＋１とし、ステップ２０８に戻る。そうでなければ、ステップ２１０へ移行する。

ステップ２１０） 全ての属性に関するテキスト情報において、上記のステップ２０６〜２０９の処理を行ったかを判定し、行っていなければｎ＝ｎ＋１として、ステップ２０６に戻る。そうでなければステップ２１１へ移行する。

ステップ２１１） 映像に対して上記のステップ２０８で生成し、メモリ（図示せず）に格納されているワードセットと当該ワードセットに対応したビジュアルパターンの組を読み出して画像辞書として画像辞書データベース２に格納する。

なお、上記の実施の形態における画像辞書生成装置の動作をプログラムとして構築し、画像辞書生成装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムをコンピュータが読み取り可能な記録媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、画像ＤＢシステムや映像ＤＢシステムを含む画像処理に利用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態におけるシステム構成図である。 本発明の一実施の形態における画像辞書生成装置の構成図である。 本発明の一実施の形態における映像のＥＰＧ情報である。 本発明の一実施の形態における映像ジャンル毎の映像属性テーブル管理部の例である。 本発明の一実施の形態における画像辞書生成装置の基本動作のフローチャートである。 本発明の一実施の形態における属性に関する映像話題抽出処理のフローチャートである。 本発明の一実施の形態における人物関係図の例である。

符号の説明

１ 画像辞書生成装置
２ 画像辞書データベース
３ ウェブサイト
１００ 映像コンテンツ関連情報取得手段、映像コンテンツ関連情報取得部
１０１ テキスト情報収集手段、テキスト情報収集部
１０２ テキスト情報分類部
１０３ 映像属性テーブル管理部
１０４ 話題抽出手段、映像話題抽出部
１０５ 画像収集・ビジュアルパターン生成手段、画像収集・ビジュアルパターン生成部

Claims (3)

1. 映像に対して意味的なレベルを付与するための、意味ラベルとビジュアルパターンとの関連を定義した画像辞書を生成する画像辞書生成方法であって、
   映像コンテンツ関連情報取得手段が、テレビ番組映像の内容を説明したテキスト情報であるコンテンツ関連情報をウェブサイトから取得する映像コンテンツ関連情報取得ステップと、
   テキスト情報収集手段が、前記コンテンツ関連情報から抽出したワードとコンテンツ作成日付またはコンテンツ公開日付に基づいてウェブサイトからコンテンツに関するテキスト情報を収集し、記憶手段に格納するテキスト情報収集ステップと、
   テキスト情報分類手段が、コンテンツ関連情報に含まれる映像ジャンルに基づいて、映像ジャンルに応じて抽出すべき話題の種別を定義した映像属性テーブルから当該映像ジャンルの映像属性を取得し、各映像属性ｎ（ｎ＝１，２，…，Ｎ）に対して、前記テキスト情報収集ステップにより前記記憶手段に格納されている前記テキスト情報と該属性ｎに対応するワードとを照合し、得られる類似度により前記テキスト情報を映像属性毎に分類するテキスト情報分類ステップと、
   話題抽出手段が、各映像属性ｎ（ｎ＝１，２，…，Ｎ）について前記記憶手段から映像属性ｎに関するテキスト情報を読み込み、読み込まれたテキスト情報から話題を表す複数のワードをワードセットとして抽出する話題抽出ステップと、
   画像収集・ビジュアルパターン生成手段が、映像属性毎に抽出された前記ワードセットに関するウェブ画像を収集し、収集したウェブ画像を学習データとして前記話題と関連するビジュアルパターンを生成し、該ワードセットと該ビジュアルパターンを画像辞書として画像辞書記憶手段に格納する画像収集・ビジュアルパターン生成ステップと、
   を行うことを特徴とする画像辞書生成方法。
2. 映像に対して意味的なレベルを付与するための、意味ラベルとビジュアルパターンとの関連を定義した画像辞書を生成する画像辞書生成装置であって、
   テレビ番組映像の内容を説明したテキスト情報であるコンテンツ関連情報をウェブサイトから取得する映像コンテンツ関連情報取得手段と、
   前記コンテンツ関連情報から抽出したワードとコンテンツ作成日付またはコンテンツ公開日付に基づいてウェブサイトからコンテンツに関するテキスト情報を収集し、記憶手段に格納するテキスト情報収集手段と、
   コンテンツ関連情報に含まれる映像ジャンルに基づいて、映像ジャンルに応じて抽出すべき話題の種別を定義した映像属性テーブルから当該映像ジャンルの映像属性を取得し、各映像属性ｎ（ｎ＝１，２，…，Ｎ）に対して、前記テキスト情報収集手段により前記記憶手段に格納されている前記テキスト情報と該属性ｎに対応するパスワードとを照合し、得られる類似度により前記テキスト情報を映像属性毎に分類するテキスト情報分類手段と、
   各映像属性ｎ（ｎ＝１，２，…，Ｎ）について、前記記憶手段から映像属性ｎに関するテキスト情報を読み込み、読み込まれたテキスト情報から話題を表す複数のワードをワードセットとして抽出する話題抽出手段と、
   映像属性毎に抽出された前記ワードセットに関するウェブ画像を収集し、収集したウェブ画像を学習データとして前記話題と関連するビジュアルパターンを生成し、該ワードセットと該ビジュアルパターンを画像辞書として画像辞書記憶手段に格納する画像収集・ビジュアルパターン生成手段と、
   を有することを特徴とする画像辞書生成装置。
3. コンピュータを、
   請求項２記載の画像辞書生成装置の各手段として機能させるためのプログラム。

Images