JP5072880B2

JP5072880B2 - メタデータ抽出サーバ、メタデータ抽出方法およびプログラム

Info

Publication number: JP5072880B2
Application number: JP2009039529A
Authority: JP
Inventors: 悟近藤; 猛志小川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2009-02-23
Filing date: 2009-02-23
Publication date: 2012-11-14
Anticipated expiration: 2029-02-23
Also published as: JP2010198111A

Description

本発明は、主に、映像や音楽などで構成されるメディアコンテンツの内容を認識し、多様な情報を含むメディアデータから、メディアデータ同士を関連付けるメタデータを抽出するメタデータ抽出サーバ、メタデータ抽出方法およびプログラムに関する。

Ｗｅｂ上におけるメディアデータへの情報付与技術としては、Ｗｅｂ上の動画閲覧サーバを介して複数のユーザから動画に付与された様々なアノテーションに対し、該ユーザらから良否の判定を統計的に収集しこれに構文的な整合性及び映像特徴量を加味することで、適切なアノテーションを選別して表示する技術が知られている（例えば、非特許文献１参照）。

また、ネットワーク上のメディアデータから情報を抽出する技術としては、ネットワーク上の特殊ブリッジを操作し、所望の処理をグラフ状に組み合わせることで、ネットワーク上に散在する処理サーバに、任意のストリームを迂回経由させて、様々な処理を適用することが可能な複数のストリームを処理する技術が知られている（例えば、非特許文献２参照）。

山本大介、長尾確"閲覧者によるオンラインビデオコンテンツへのアノテーションとその応用",人工知能学会論文誌2005 Satoshi Kondoh, Takaaki Moriya, Hiroyuki Ohnishi, and Miki Hirano, "A method of bridging and processing media stream on network", IEEE Globecom 2008 CS01M1-5.

しかし、非特許文献１に記載の統計的アノテーション方法では、同閲覧システム内だけを対象とし、かつ信頼性の高いアノテーションを選別することが主目的であり、動画認識部分は確定していないため、そのままでは他の何らかのシステムに対し認識機能を提供することはできなかった。

また、非特許文献２に記載の技術では、実際のメディア認識サーバは様々な用途に特化しており、用途が不明なメディアストリームだけが転送されて来ることを想定する場合にはメディアデータの内容に応じて認識器を振り分ける必要があるが、事前に内容（コンテクスト）が把握できないため、適切な認識器を選択することができないという問題があった。

本発明は、このような事情を考慮してなされたものであり、その目的は、Ｗｅｂ上に存在する情報から適切な認識器を自動的に生成、及び更新することができ、また、メディアストリーム自体から適切な認識器を選択することができるメタデータ抽出サーバ、メタデータ抽出方法およびプログラムを提供することにある。

上記問題を解決するために、本発明は、メディアデータに基づき、メディアデータの内容(コンテクスト)を認識するためメタデータを抽出するメタデータ抽出サーバにおいて、ネットワーク上のサイトからコンテンツを収集する教師情報収集部と、前記教師情報収集部により収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出部と、前記特徴量算出部により算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出部により算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存部と、前記教師情報収集部により収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理部と、前記特徴量保存部により決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理部により生成されたメタデータ行列の集合との相関係数を算出する相関係数算出部と、前記部分空間毎に前記相関係数算出部により算出された相関係数を記憶する相関係数記憶部とを有することを特徴とするメタデータ抽出サーバである。

また、本発明は、ネットワーク上で送受信されるメディアストリームを取得するメディアストリーム取得部を更に有し、前記特徴量算出部は、前記メディアストリーム取得部により取得されたメディアストリームの内容を表す特徴量行列を算出し、前記特徴量保存部は、前記教師情報収集部により収集されたコンテンツの内容を表す特徴量行列に加えて、前記メディアストリーム取得部により取得されたメディアストリームの内容を表す特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出部により算出された、前記メディアストリームの内容を表す特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する、ことを特徴とするメタデータ抽出サーバである。

また、本発明は、前記特徴量保存部により決定された部分空間に基づいて、前記メディアストリームの内容を表す特徴量行列が含まれる部分空間を特定し、前記相関係数算出部により算出された、前記特定された部分空間に対応する相関係数を適用して前記特徴量ベクトルのメタデータベクトルを算出し、該メタデータベクトルから適切な語として判定される集合を１つのメタデータとして選別する相関適用部と、前記相関適用部により選別された前記メタデータを、該メタデータ自体を送信するか、前記メディアストリームに埋め込んで送信するかを判定する送信設定部と、前記送信判定部により前記メタデータ自体を送信すると判定された場合に、前記メタデータを指定宛先のメタデータ受信端末に送信するメタデータ送出部と、前記送信判定部により前記メタデータを前記メディアストリームに埋め込んで送信すると判定された場合に、前記メディアストリームに前記メタデータを埋め込むメタデータ埋め込み部と、前記メタデータ埋め込み部により前記メタデータが埋め込まれたメディアストリームを指定宛先のメディアストリーム受信端末に送信するメディアストリーム送出部とを有することを特徴とするメタデータ抽出サーバである。

また、本発明は、前記送信設定部は、前記指定宛先として、前記メディアストリームの送信元、または前記送信元とは別の送信先のいずれかを選択的に決定する、ことを特徴とするメタデータ抽出サーバである。

また、本発明は、メディアデータに基づき、メディアデータの内容(コンテクスト)を認識するためメタデータを抽出するメタデータ抽出サーバにおけるメタデータ抽出方法において、教師情報収集部が、ネットワーク上のサイトからコンテンツを収集する教師情報収集ステップと、特徴量算出部が、前記教師情報収集ステップで収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出ステップと、特徴量保存部が、前記特徴量算出ステップで算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出ステップで算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存ステップと、メタデータ整理部が、前記教師情報収集ステップで収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理ステップと、相関係数算出部が、前記特徴量保存ステップで決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理ステップで生成されたメタデータ行列の集合との相関係数を算出する相関係数算出ステップと、相関係数記憶部が、前記部分空間毎に前記相関係数算出ステップで算出された相関係数を記憶する相関係数記憶ステップと、を含むことを特徴とするメタデータ抽出方法である。

また、本発明は、メディアデータに基づき、メディアデータの内容(コンテクスト)を認識するためメタデータを抽出するメタデータ抽出サーバとして動作するコンピュータを、ネットワーク上のサイトからコンテンツを収集する教師情報収集手段と、前記教師情報収集手段により収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出手段により算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存手段と、前記教師情報収集手段により収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理手段と、前記特徴量保存手段により決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理手段により生成されたメタデータ行列の集合との相関係数を算出する相関係数算出手段と、前記部分空間毎に前記相関係数算出手段により算出された相関係数を記憶する相関係数記憶手段として動作させるためのプログラムである。

この発明によれば、メタデータ抽出サーバは、ネットワーク上のサイトからコンテンツを収集する教師情報収集部と、前記教師情報収集部により収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出部と、前記特徴量算出部により算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出部により算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存部と、前記教師情報収集部により収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理部と、前記特徴量保存部により決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理部により生成されたメタデータ行列の集合との相関係数を算出する相関係数算出部と、前記部分空間毎に前記相関係数算出部により算出された相関係数を記憶する相関係数記憶部とを有する。この構成により、Ｗｅｂ上に存在する情報から適切な認識器を自動的に生成、および更新することができる。

また、この発明によれば、ネットワーク上で送受信されるメディアストリームを取得するメディアストリーム取得部を更に有し、前記特徴量算出部は、前記メディアストリーム取得部により取得されたメディアストリームの内容を表す特徴量行列を算出し、前記特徴量保存部は、前記教師情報収集部により収集されたコンテンツの内容を表す特徴量行列に加えて、前記メディアストリーム取得部により取得されたメディアストリームの内容を表す特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出部により算出された、前記メディアストリームの内容を表す特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する。この構成により、メディアストリーム自体から適切な認識器を選択することができる。

本発明の一実施形態におけるＷｅｂ連携メタデータ抽出システム全体の構成を示すブロック図である。本実施形態におけるメタデータ抽出サーバの構成を示すブロック図である。本実施形態のメタデータ抽出サーバによる、メディアストリームからメタデータを抽出する手順を示したシーケンス図である。本実施形態においてメタデータ変換子と相関係数とを取得する手順を示したシーケンス図である。本発明のメタデータ抽出サーバを検索サービスに応用した場合の構成および動作を示した概念図である。本発明のメタデータ抽出サーバを、ブリッジと連携させてメタデータ抽出ブリッジとして構成した場合の構成および動作を示した概念図である。本発明のメタデータ抽出サーバを、ネットワークによるストリームバックアップサービスに用いた場合の構成および動作を示した概念図である。

（第１の実施形態）
以下、本発明の一実施形態について、図面を参照して説明する。図１は、本実施形態によるＷｅｂ連携メタデータ抽出システム全体の構成を示すブロック図である。図において、Ｗｅｂ連携メタデータ抽出サーバ１０１（以降、メタデータ抽出サーバと記す）は、通信可能なネットワーク１００を介して、ユーザ端末１０１−１，１０１−２と接続している。メタデータ抽出サーバ１−１は、ユーザが用いるユーザ端末１０２−１から送信されるメディアストリームを受信する。メタデータ抽出サーバ１０１は、受信したメディアストリーム１０３から、内容を記述する情報を抽出し、別のデータストリーム１０４を生成し、それを予め別途指定された宛先であるユーザ端末１０２−２に対して送信する。

次に、図２を参照して、メタデータ抽出サーバ１０１の構成について説明する。図２は、本実施形態におけるメタデータ抽出サーバ１０１の構成を示すブロック図である。メタデータ抽出サーバ１０１は、メディアストリーム取得部２０８と、特徴量算出部２０４と、特徴量ＤＢ２０１と、メタデータＤＢ２０２と、メタデータ整理部２０３と、相関係数ＤＢ２０５と、相関係数算出部２１４と、相関係数適用部２０７と、送信設定部２３０と、メタデータ送出部２３１と、メタデータ埋め込み部２３２と、メディアストリーム送出部２３３と、教師情報収集部２３４とを備えている。

メディアストリーム取得部２０８は、ネットワーク１００上のメディアストリーム送信端末２１０から送信されたメディアストリームを取得し、特徴量算出部２０４と、メタデータ埋め込み部２３２とに入力する。特徴量算出部２０４は、入力されたメディアストリームから特徴量ベクトルを算出し、算出した特徴量ベクトルを、相関係数適用部２０７に入力する。特徴量ＤＢ２０１は、算出された特徴量ベクトルを、一定の時間間隔で蓄積する。

教師情報収集部２３４は、Ｗｅｂサイト２４０（動画投稿サイト２４０−１、プログサイト２４０−２）にアクセスし、任意のコンテンツを取得し、メディアデータとして特徴量算出部２０４に入力する。また、教師情報収集部２３４は、メディアデータをメタデータ整理部２０３に入力する。メタデータ整理部２０３は、入力されたメディアデータを形態素解析する。相関係数算出部２１４は、特徴量の平均化に用いる時間幅Δｔで、メタデータ整理部２０３が形態素解析した語の発生頻度を表すメタデータベクトルを作成する。メタデータＤＢ２０２は、相関係数算出部２１４が作成したメタデータベクトルを記憶する。

また、相関係数算出部２１４は、特徴量ＤＢ２０１が記憶する特徴量ベクトルを、時間幅△ｔで平均化して平均化特徴量ベクトルを算出するとともに、特徴量の変化から、シーンの区切れ目も検出し、上記特徴量ベクトルをメディアデータのフレーム分算出し、ここで得られた特徴量ベクトルを、相関係数ＤＢ２０５に入力する。相関係数ＤＢ２０５は、部分空間ＩＤと対応するメタデータ変換子Ｒ、および相関係数Ｗを記憶する。

相関係数適用部２０７は、相関係数ＤＢ２０５から、部分空間ＩＤと対応するメタデータ変換子Ｒ、および相関係数Ｗとを読み出し、特徴量ベクトルがどの部分空間に入るかを特定する。また、相関係数適用部２０７は、特徴量ベクトルがどの部分空間に入るかを特定した後、その部分空間に対応する相関係数Ｗを、この特徴量ベクトルに適用してメタデータベクトルを算出する。また、相関係数適用部２０７は、算出したメタデータベクトルから適切な語として判定される集合を選別して、１つのメタデータとし、送信設定部２３０に入力する。

メディアストリームにメタデータを埋め込んで出力する場合、送信設定部２３０は、メタデータをメディアストリーム埋め込み部２３２に入力する。メディアストリーム埋め込み部２３２は、メディアストリーム取得部２０８から入力されたメディアストリームに、送信設定部２３０から入力されたメタデータを埋め込み、メディアストリーム送出部２３３に入力する。メディアストリーム送出部２３３は、メタデータが埋め込まれたメディアストリームを、指定宛先のメディアストリーム受信端末２５０に送信する。

一方、メタデータを単独で出力する場合には、送信設定部２３０は、メタデータをメタデータ送出部２３１に入力する。メタデータ送出部２３１は、送信設定部２３０から入力されたメタデータに、パケットヘッダを付加して、指定宛先のメタデータ受信端末２５１に送信する。

このように、送信設定部２３０は、メタデータをメディアストリームに埋め込んで送信するか、メタデータを単体で出力するかを設定することができる。また、送信先を指定することができる。例えば、メディアストリームを送信したユーザ端末に、メタデータを埋め込んだメディアストリームまたはメタデータを送信するか、別のユーザ端末に、メタデータを埋め込んだメディアストリームまたはメタデータを送信するかを指定することができる。

なお、メタデータは、例えば、ＭＰＥＧ−７などで規定されているＸＭＬ（eXtensible Markup Language）形式のデータである。

メディアストリーム受信端末２５０は、メタデータが埋め込まれたメディアストリームを受信することができる端末である。メタデータ受信端末２５１は、メタデータを受信することができる端末である。

Ｗｅｂサイト２４０は、例えば、動画投稿サイト２４０−１や、ブログサイト２４０−２である。動画投稿サイト２４０−１は、動画コンテンツを提供するサイトである。ブログサイト２４０−２は、テキストコンテンツを提供するサイトである。

次に、本実施形態のメタデータ抽出サーバの動作について図３を参照して説明する。図３は、本実施形態のメタデータ抽出サーバ１０１による、メディアストリームからメタデータを抽出する際の手順を示したシーケンス図である。

メディアストリーム取得部２０８は、まず、送信設定部２３０に送信設定を行った後（ステップＳ１）、メディアストリーム送信端末２１０から送信されたメディアストリームを受信し、特徴量算出部２０４に入力する（ステップＳ２）。特徴量算出部２０４は、入力されたメディアストリームをメタデータ埋め込み部２３２に入力する（ステップＳ３）。また、特徴量算出部２０４は、入力されたメディアストリームから特徴量ベクトルを算出し、算出した特徴量ベクトルを、相関係数適用部２０７に入力する（ステップＳ４）。

ここで、上記メディアストリームとは、ＲＴＰ（Real-time Transport Protocol）、ＲＴＳＰ（Real Time Streaming Protocol）、ＲＴＭＰ（Real Time Message Protocol）などのメディア対応プロトコルで通信されるデータのことを指すものとする。また、算出される特徴量ベクトルは、事前にメタデータ抽出サーバ１０１内で決められたものを利用するものとする。この際、特徴量ＤＢ２０１は、算出された特徴量ベクトルを、一定の時間間隔で蓄積する（ステップＳ５）。

相関係数適用部２０７は、相関係数ＤＢ２０５から、部分空間ＩＤと対応するメタデータ変換子Ｒ、および相関係数Ｗを取得する（ステップＳ６、Ｓ７）。また、相関係数適用部２０７は、特徴量算出部２０４が算出した特徴量ベクトルがどの部分空間に入るかを特定する。相関係数ＤＢ２０５が記憶しているメタデータ変換子Ｒと相関係数Ｗについては後述する。

続いて、相関係数適用部２０７は、特徴量算出部２０４が算出した特徴量ベクトルがどの部分空間に入るかを特定した後、特定した部分空間に対応する相関係数Ｗを、この特徴量ベクトルに適用してメタデータベクトルを算出する。続いて、相関係数適用部２０７は、算出したメタデータベクトルから適切な語として判定される集合を選別して、１つのメタデータを生成し、生成したメタデータを送信設定部２３０に入力する（ステップＳ８）。相関係数適用部２０７が生成するメタデータは、先述したとおりＭＰＥＧ−７などで規定されているＸＭＬ形式のデータである。

送信設定部２３０は、パケットヘッダを作成して、メタデータ自体を送信するか、元のメディアストリームに埋め込んで送信するかを判定する。送信設定部２３０は、先述したとおり、出力結果の形態と、送信先の形態とをそれぞれ２通りの形態から選択する。例えば、出力結果の形態は、メタデータをメディアストリームに埋め込んで出力する形態、または、メタデータを単独で出力する形態の２通りの形態から１つの形態を選択する。また、送信先の形態は、メディアストリームを送信したユーザ端末に、メタデータを埋め込んだメディアストリームまたはメタデータを送信する形態、または、メディアストリームを送信したユーザ端末とは別のユーザ端末に、メタデータを埋め込んだメディアストリームまたはメタデータを送信する形態の２通りの形態から１つの形態を選択する。

送信設定部２３０が、メタデータをメディアストリームに埋め込んで出力する形態を選択した場合、送信設定部２３０は、メタデータをメディアストリーム埋め込み部２３２に入力する（ステップＳ９）。メディアストリーム埋め込み部２３２は、ステップＳ３でメディアストリーム取得部２０８から入力されたメディアストリームに、ステップＳ９で送信選択部２３０から入力されたメタデータを埋め込み、メディアストリーム送出部２３３に入力する（ステップＳ１０）。

続いて、メディアストリーム送出部２３３は、送信設定部２３０が選択した送信先（メディアストリーム受信端末２５０）に送信する（ステップＳ１１）。なお、メディアストリーム埋め込み部２３２は、メディアストリームのＲＴＰの動的ペイロードタイプに利用されていない番号を設定し、対応するペイロードにメタデータを挿入する。

一方、送信設定部２３０が、メタデータを単独で出力する形態を選択した場合、送信設定部２３０は、メタデータをメタデータ送出部２３１に入力する（ステップＳ１２）。メタデータ送出部２３１は、入力されたメタデータにパケットヘッダを付し、送信設定部２３０が設定した送信先（メタデータ受信端末２５１）に送信する（ステップＳ１３）。

次に、先述した、相関係数ＤＢ２０５が記憶しているメタデータ変換子Ｒと相関係数Ｗとの取得方法について図４を参照して説明する。図４は、メタデータ変換子Ｒと相関係数Ｗとの取得手順を示したシーケンス図である。

教師情報収集部２３４は、Ｗｅｂサイト２４０にアクセスし、任意のコンテンツを取得する（ステップＳ２１）。教師情報取得部２３４は、取得したコンテンツをメディアデータとして特徴量算出部２０４に入力する（ステップＳ２２）。特徴量算出部２０４は、入力されたメディアデータから特徴量ベクトルを算出し、算出した特徴量ベクトルを特徴量ＤＢ２０１に入力する（ステップＳ２３）。特徴量ベクトルは、入力されたメディアデータの特徴量を、ある時間Δｔで平均化し、（１）式を用いて算出される。ここで、ｋは、量子化番号であり、ｍは、特徴量次元数である。

なお、特徴量算出部２０４は、入力されたメディアデータの特徴量の変化に基づいて、メディアデータのシーンの区切れ目を検出する。また、特徴量算出部２０４は、特徴量ベクトルをメディアデータのフレーム毎に算出し、算出した特徴量ベクトルを特徴量ＤＢ２０１に入力する。

特徴量ＤＢ２０１は、入力された特徴量ベクトルが、過去のクラスタに分類可能な特徴量を持つ場合には、入力された特徴量ベクトルを記憶する。また、特徴量ＤＢ２０１は、入力された特徴量ベクトルが、過去のクラスタに分類可能な特徴量を持っていない場合には、入力された特徴量ベクトルを破棄する。また、特徴量ＤＢ２０１は、入力された特徴量ベクトルを保存したか破棄したかを示す情報を、教師情報収集部２３４に入力する（ステップＳ２４）。

また、特徴量ＤＢ２０１は、一定の時間間隔で、自身が記憶している特徴量ベクトルのクラスタリングを行う。特徴量ＤＢ２０１は、クラスタリングをＸ−ｍｅａｎｓ法などの教師なし学習による分類法によって行う。また、特徴量ＤＢ２０１は、クラスタリングによって得た部分空間をｋｄ木などの木構造により整理し、各部分空間には部分空間ＩＤを振る。また、特徴量ＤＢ２０１は、クラスタリングによって得た部分空間の特徴量ベクトルの集合を［ｖ_０，・・・，ｖ_ｎ−１］とし、この特徴量ベクトルの集合に対して主成分分析などを行って次元数を削減し、［ｖ’_０，・・・，ｖ’_ｎ−１］を作成する。

教師情報収集部２３４は、特徴量ＤＢ２０１が特徴量ベクトルを保存したか破棄したかを示す情報に基づいて、特徴量ＤＢ２０１が特徴量ベクトルを保存した場合のみ、メディアデータのテキストデータをメタデータ整理部２０３に入力する（ステップＳ２５）。メタデータ整理部２０３は、テキストデータの形態素解析を行い、形態素解析された語から、特徴量ベクトルの平均化に用いる時間幅Δｔ内での語の発生頻度を表すメタデータベクトルｙｉを（２）式に従って算出する。また、メタデータ整理部２０３は、算出したメタデータベクトルをメタデータＤＢ２０２に入力する（ステップＳ２６）。

ここで、ｉは、語の種類数である。語の発生頻度の値は、発生時間における回数を１倍として、そこからガウス分布に広がるものとする。また、分布は、前述のシーンの区切れ目で、それ以上は拡散しないものとする。

また、メタデータＤＢ２０２は、メタデータベクトルの集合を［ｙ_０，・・・，ｙ_ｎ−１］とし、このメタデータベクトルの集合における主成分分析を行って次元数を削減し、［ｙ’_０，・・・，ｙ’_ｎ−１］を作成する。

相関係数算出部２１４は、特徴量ＤＢ２０１とメタデータＤＢ２０２とから、部分空間ＩＤと、特徴量ベクトルの集合と、メタデータベクトルの集合とを読み出す（ステップＳ２７〜ステップＳ３０）。また、相関係数算出部２１４は、特徴量ベクトルの集合と、メタデータベクトルの集合とから、変換行列Ｒ（メタデータ変換子Ｒ）を算出する。また、相関係数算出部２１４は、平均特徴量ベクトルｖ’を入力、メタデータベクトルｙ’を出力としたモデルで、（３）式を用いてロジスティック回帰分析などの教師あり学習を行う。但し、ロジスティック回帰の場合は、ｆ（ｘ）＝ａ／（１−ｅｘｐ（−ｘ））とし、ａは、メタデータベクトルの要素の最大値とする。

相関係数算出部２１４は、回帰係数の行列を相関係数Ｗとして算出する。続いて、相関係数算出部２１４は、メタデータ変換子Ｒと、相関係数Ｗと、部分空間ＩＤとを相関係数ＤＢ２０５に入力する。

相関係数ＤＢ２０５は、入力されたメタデータ変換子Ｒと、相関係数Ｗと、部分空間ＩＤとを関連付けて記憶する。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態で説明したメタデータ抽出サーバ１０１を、検索サービスに応用した例である。図５は、メタデータ抽出サーバ１０１を検索サービスに応用した際の構成および動作を示した概念図である。

ユーザは、様々な場所においてユーザ端末１０２−３を用いて撮影した映像ストリームを、メタデータ抽出サーバ１０１に送信する（ステップＳ４１）。メタデータ抽出サーバ１０１は、受信した映像ストリームからリアルタイムにメタデータを抽出し、抽出したメタデータを受信した映像ストリームに埋め込んだデータをデータストリームとして、ユーザ端末１０２−３に送信する（ステップＳ４２）。さらに、メタデータ抽出サーバ１０１は、抽出したメタデータを検索ＤＢ２６０に送信する。検索ＤＢは、送信されたメタデータに基づいて情報を検索し、検索結果をメタデータ抽出サーバに送信する。メタデータ抽出サーバ１０１は、受信した検索結果を、ユーザ端末１０２−３に送信する（ステップＳ４３）。

これにより、ユーザは、携帯電話などのカメラを備えたユーザ端末１０２−３で周囲を撮影するだけで、撮影した映像に関係するＷｅｂ上のキーワードを取得し、検索することができる。これにより、検索入力数が削減できるだけでなく、明確な検索キーワードが思いつかない場合でも、検索キーワードをユーザに推薦することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図６は、本発明のメタデータ抽出サーバを、ブリッジと連携させてメタデータ抽出ブリッジとして構成した場合の構成および動作を示した概念図である。なお、第３の実施形態におけるメタデータ抽出サーバ１０１は、第１の実施形態で説明したメタデータ抽出サーバ１０１と同じ構成である。

ここでは、メタデータ抽出サーバ１０１のストリーム返信先を、ストリーム送信元アドレスに設定しておき、返信ストリームは、メタデータ埋め込みメディアストリームに設定する。また、ブリッジとして、コントロールブリッジ（Ｃｏｎｔｒｏｌｂｒｉｄｇｅ：非特許文献１を参照）を用いるものとし、ネットワーク１００上にこのコントロールブリッジ２７０を１つまたは多数配備するものとする。なお、図示する例では、コントロールブリッジを１つのみ配備した例を示している。

また、街頭などに設置されたライブカメラ２８０による映像や、ユーザ端末１０２−４に備えられたテレビ電話機能などからの映像は、ネットワーク１００を介して、終端のユーザ端末１０２−５に送信されているものとする。

コントロールブリッジ２７０は、フォーワーディング（Ｆｏｗａｒｄｉｎｇ）機能を利用して、特定のメディアストリームを捕捉し、メディアストリームを構成するパケットヘッダを書き換えて、メタデータ抽出サーバ１０１に該メディアストリームを転送する（ステップＳ５１）。この場合、特定のメディアストリームとしては、街頭などに設置されたライブカメラ２８０や、ユーザ端末１０２−４に備えられたテレビ電話機能などからの映像を想定している。つまり、終端のユーザ端末１０２−５は、上記ライブカメラ２８０の映像の閲覧や、ユーザ端末１０２−４と通信（テレビ電話による通話）を行っている。

次に、メディアストリームを受信したメタデータ抽出サーバ１０１は、メディアストリームにメタデータを埋め込み（ステップＳ５２）、該メタデータ埋め込みメディアストリームをコントロールブリッジ２７０に返信する（ステップＳ５３）。最後に、コントロールブリッジ２７０は、返信されたストリームのパケットヘッダを元のものに戻し、再度、ネットワーク１００上に流す（ステップＳ５４）。これにより、終端のユーザ端末１０２−５では、複雑な処理を行わなくても、ネットワーク１００で通信をしている間に、メディアストリームに自動的にメタデータが付与されるので、処理性能が低い携帯端末などから発信されたストリームであっても、メディアストリームに適合するキーワードを提供することができる。

また、メタデータ抽出サーバ１０１から、監視者のユーザ端末１０２−６に予めメタデータのペイロードタイプを通知しておくことで（ステップＳ５５）、ユーザ端末１０２−６から、監視キーワードをプロキシ／ＰＢＸ２９０に送信し（ステップＳ５６）、メタデータ埋め込みメディアストリームから該当する検知情報を取得することで（ステップＳ５７）、ネットワーク１００上でストリームを監視することが可能となる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。図７は、本発明のメタデータ抽出サーバ１０１を、ネットワークによるストリームバックアップサービスに用いた場合の構成および動作を示した概念図である。なお、第４の実施形態におけるメタデータ抽出サーバ１０１は、第１の実施形態において説明したメタデータ抽出サーバと同じ構成を有している。

まず、ネットワーク１００上に前述したコントロールブリッジ２７０を配備する。このコントロールブリッジ２７０は、ミラーリング（Ｍｉｒｒｏｒｉｎｇ）機能を用いて、ライブカメラ２８０や、ユーザ端末１０２−４に備えられたテレビ電話機能からのメディアストリームを捕捉し、複製してメタデータ抽出サーバ１０１と、メディアＤＢ３００とに送信する（ステップＳ６１、Ｓ６２）。その後、メタデータ抽出サーバ１０１は、抽出したメタデータをメディアＤＢ３００に送信する（ステップＳ６３）。メディアＤＢ３００は、対応するメディアデータと対にして蓄積する。

メディアＤＢ３００は、一定時間で、このメディアデータとメタデータとを廃棄するものとする。また、メディアＤＢ３００は、キーワードでメタデータを検索できるようになっており、対応するメディアの時間範囲が分かるものとする。これにより、ユーザ端末１０２−７は、メディアＤＢ３００に対して検索キーワードを送信することで（ステップＳ６４）、記録容量が小さい端末同士の通信の記録や、端末で記録し忘れた過去のメディアストリームの検索が可能となり（ステップＳ６５）、利便性を向上させることが可能となる。

上述した実施形態よれば、部分空間毎に認識器を作成して認識することにより、より精度を向上させることが可能となる。また、部分空間に区切ることにより、特徴量の本質的次元が小さくなるだけでなく、収集されるコメントの種類も自ずと限定されるため、出力されるメタデータの種類も限定され、相関係数の次元数も小さくなり、メディアストリームからのメタデータ抽出時にかかる計算量も削減することができる。また、メディアストリームに何らかの情報を付随させる必要が無くなるため、ネットワーク側の機器で認識するような別の付随情報を期待できない場合であっても可能となる。

なお、上述のメタデータ抽出サーバ１０１の動作の過程は、コンピュータに実行させるためのプログラムや、このプログラムとしてコンピュータ読み取り可能な記録媒体として利用可能であり、コンピュータシステムが読み出して実行することによって、上記処理が行われる。なお、ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に記憶したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００・・・ネットワーク、１０１・・・メタデータ抽出サーバ、１０２−１〜１０２−７・・・ユーザ端末、２０１・・・特徴量ＤＢ、２０２・・・メタデータＤＢ、２０３・・・メタデータ整理部、２０４・・・特徴量算出部、２０５・・・相関係数ＤＢ、２０７・・・相関係数適用部、２０８・・・メディアストリーム取得部、２１０・・・メディアストリーム送信端末、２１４・・・相関係数算出部、２３０・・・送信設定部、２３１・・・メタデータ送出部、２３２・・・メタデータ埋め込み部、２３３・・・メディアストリーム送出部、２３４・・・教師情報収集部、２４０・・・Ｗｅｂサーバ、２４０−１・・・動画投稿サイト、２４０−２・・・ブログサイト、２５０・・・メディアストリーム受信端末、２５１・・・メタデータ受信端末、２６０・・・検索ＤＢ、２７０・・・コントロールブリッジ、２８０・・・ライブカメラ、２９０・・・プロシキ／ＰＢＸ、３００・・・メディアＤＢ

Claims

メディアデータに基づき、メディアデータの内容を認識するためメタデータを抽出するメタデータ抽出サーバにおいて、
ネットワーク上のサイトからコンテンツを収集する教師情報収集部と、
前記教師情報収集部により収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出部と、
前記特徴量算出部により算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出部により算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存部と、
前記教師情報収集部により収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理部と、
前記特徴量保存部により決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理部により生成されたメタデータ行列の集合との相関係数を算出する相関係数算出部と、
前記部分空間毎に前記相関係数算出部により算出された相関係数を記憶する相関係数記憶部と
を有することを特徴とするメタデータ抽出サーバ。
ネットワーク上で送受信されるメディアストリームを取得するメディアストリーム取得部を更に有し、
前記特徴量算出部は、
前記メディアストリーム取得部により取得されたメディアストリームの内容を表す特徴量行列を算出し、
前記特徴量保存部は、
前記教師情報収集部により収集されたコンテンツの内容を表す特徴量行列に加えて、前記メディアストリーム取得部により取得されたメディアストリームの内容を表す特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出部により算出された、前記メディアストリームの内容を表す特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する、
ことを特徴とする請求項１記載のメタデータ抽出サーバ。
前記特徴量保存部により決定された部分空間に基づいて、前記メディアストリームの内容を表す特徴量行列が含まれる部分空間を特定し、前記相関係数算出部により算出された、前記特定された部分空間に対応する相関係数を適用して前記特徴量ベクトルのメタデータベクトルを算出し、該メタデータベクトルから適切な語として判定される集合を１つのメタデータとして選別する相関適用部と、
前記相関適用部により選別された前記メタデータを、該メタデータ自体を送信するか、前記メディアストリームに埋め込んで送信するかを判定する送信設定部と、
前記送信判定部により前記メタデータ自体を送信すると判定された場合に、前記メタデータを指定宛先のメタデータ受信端末に送信するメタデータ送出部と、
前記送信判定部により前記メタデータを前記メディアストリームに埋め込んで送信すると判定された場合に、前記メディアストリームに前記メタデータを埋め込むメタデータ埋め込み部と、
前記メタデータ埋め込み部により前記メタデータが埋め込まれたメディアストリームを指定宛先のメディアストリーム受信端末に送信するメディアストリーム送出部と
を有することを特徴とする請求項２記載のメタデータ抽出サーバ。
前記送信設定部は、
前記指定宛先として、前記メディアストリームの送信元、または前記送信元とは別の送信先のいずれかを選択的に決定する、
ことを特徴とする請求項３記載のメタデータ抽出サーバ。
メディアデータに基づき、メディアデータの内容を認識するためメタデータを抽出するメタデータ抽出サーバにおけるメタデータ抽出方法において、
教師情報収集部が、ネットワーク上のサイトからコンテンツを収集する教師情報収集ステップと、
特徴量算出部が、前記教師情報収集ステップで収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出ステップと、
特徴量保存部が、前記特徴量算出ステップで算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出ステップで算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存ステップと、
メタデータ整理部が、前記教師情報収集ステップで収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理ステップと、
相関係数算出部が、前記特徴量保存ステップで決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理ステップで生成されたメタデータ行列の集合との相関係数を算出する相関係数算出ステップと、
相関係数記憶部が、前記部分空間毎に前記相関係数算出ステップで算出された相関係数を記憶する相関係数記憶ステップと、
を含むことを特徴とするメタデータ抽出方法。
メディアデータに基づき、メディアデータの内容を認識するためメタデータを抽出するメタデータ抽出サーバとして動作するコンピュータを、
ネットワーク上のサイトからコンテンツを収集する教師情報収集手段と、
前記教師情報収集手段により収集されたコンテンツの内容を表す特徴量行列を算出する特徴量算出手段と、
前記特徴量算出手段により算出された特徴量行列を一定の時間間隔で保存する際に、前記特徴量算出手段により算出された特徴量行列の集合でクラスタリングし、前記特徴量行列の集合毎に部分空間を決定する特徴量保存手段と、
前記教師情報収集手段により収集されたコンテンツに対して形態素解析を行い、形態素解析された語の発生頻度を表すメタデータ行列を生成するメタデータ整理手段と、
前記特徴量保存手段により決定された部分空間毎に、前記特徴量行列の集合と前記メタデータ整理手段により生成されたメタデータ行列の集合との相関係数を算出する相関係数算出手段と、
前記部分空間毎に前記相関係数算出手段により算出された相関係数を記憶する相関係数記憶手段
として動作させるためのプログラム。