JP5029030B2 - 情報付与プログラム、情報付与装置、および情報付与方法 - Google Patents

Description

本発明は、管理用のメタ情報をマルチメディアデータに付与する情報付与プログラム、情報付与装置、および情報付与方法に関し、特に、ユーザの関心を反映するメタ情報をマルチメディアデータに自動で付与することができる情報付与プログラム、情報付与装置、および情報付与方法に関する。

近年、パーソナルコンピュータなどの性能向上や、テレビ録画用のＤＶＤ（Digital Versatile Disk）レコーダおよびＨＤＤ（Hard Disk Drive）レコーダなどの普及に伴って、個人が容易に映像を取り扱うことが可能となっている。例えばインターネットサイトでは、個人が録画または撮影した多くの動画ファイルなどがやり取りされている。

このように映像の取り扱いが容易になるに従い、膨大な量の映像の中から所望の映像を抽出することが強く望まれるようになっている。このため、それぞれの映像にキーワードなどの管理用のメタ情報が付与され、映像に関連付けられたメタ情報を検索することにより、所望の映像であるか否かを選別することが一般に行われている。また、例えば特許文献１においては、１つの映像中の特定の映像区間にメタ情報を付与して記録媒体に保存し、この記録媒体に保存された映像の再生時には、メタ情報を用いた検索により、特定のシーンを抽出することが記載されている。

特開２００５−１１７６５９号公報

しかしながら、上述したような映像へのメタ情報の付与は、人手によって行われており、手間がかかるという問題がある。すなわち、映像に合った登場人物および場所などをキーワードとして選択し、人の手で映像に関連付けて登録しておく必要があるため、映像が多くなればなるほど手間もコストも増大してしまう。

また、映像に関連付けるキーワードは、メタ情報の付与を行う人の主観で決定されるため、必ずしも映像の内容に最適なメタ情報が付与されるわけではない。このため、メタ情報の検索により映像を抽出するユーザは、本来ユーザの希望に即した映像であるにも拘らず、この映像に付与されたメタ情報が適切でない場合には、所望の映像を取得できないことがある。つまり、映像を検索するユーザの関心と無関係なメタ情報が映像に関連付けられていれば、検索の精度が向上せず、ユーザが所望の映像を取得するのは困難である。

このような問題は、映像のほかにも静止画や音楽などの一般的なマルチメディアデータに対するメタ情報の関連付けの際にも同様に発生する。

本発明はかかる点に鑑みてなされたものであり、ユーザの関心を反映するメタ情報をマルチメディアデータに自動で付与することができる情報付与プログラム、情報付与装置、および情報付与方法を提供することを目的とする。

上記課題を解決するために、本発明は、管理用のメタ情報をマルチメディアデータに付与する情報付与プログラムであって、検索サイトにおいてテキスト検索される検索ワードを取得する取得工程と、前記取得工程にて取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視工程と、前記監視工程にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定する判定工程と、前記判定工程における判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する登録工程とをコンピュータに実行させることを特徴とする。

また、本発明は、上記発明において、前記監視工程は、検索ワードの過去の検索頻度に対する現在の検索頻度が所定比率以上である場合に所定基準を満たすと判断することを特徴とする。

また、本発明は、上記発明において、前記判定工程は、検索ワードに関連するマルチメディアデータのジャンルを特定し、特定されたジャンルのマルチメディアデータを取得するマルチメディアデータ取得工程を含み、前記マルチメディアデータ取得工程にて取得されたマルチメディアデータに対する文字認識処理結果と検索ワードとを比較判定することを特徴とする。

また、本発明は、上記発明において、前記判定工程は、マルチメディアデータに対して文字認識処理を実行する認識処理工程を含み、前記認識処理工程にて得られる文字認識処理結果と検索ワードとを比較判定することを特徴とする。

また、本発明は、上記発明において、前記判定工程は、映像データの画像から得られる文字認識結果および映像データの音声から得られる文字認識結果の双方と検索ワードとを比較判定することを特徴とする。

また、本発明は、上記発明において、前記登録工程は、画像から得られる文字認識結果および音声から得られる文字認識結果の双方と検索ワードとが一致し、かつ、検索ワードと一致する双方の文字認識結果の時間が互いに所定時間内である場合に、検索ワードを映像データのメタ情報として登録することを特徴とする。

また、本発明は、上記発明において、前記登録工程は、画像から得られる文字認識結果および音声から得られる文字認識結果のいずれか一方と検索ワードとが一致する場合に、検索ワードを映像データの副次的なメタ情報として登録することを特徴とする。

また、本発明は、上記発明において、前記登録工程は、検索ワードと一致する文字認識処理結果の確信度に応じて検索ワードに優先順位を設けて登録することを特徴とする。

また、本発明は、管理用のメタ情報をマルチメディアデータに付与する情報付与装置であって、検索サイトにおいてテキスト検索される検索ワードを取得する取得手段と、前記取得手段によって取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視手段と、前記監視手段によって検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定する判定手段と、前記判定手段による判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する登録手段とを有することを特徴とする。

また、本発明は、管理用のメタ情報をマルチメディアデータに付与する情報付与方法であって、検索サイトにおいてテキスト検索される検索ワードを取得する取得工程と、前記取得工程にて取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視工程と、前記監視工程にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定する判定工程と、前記判定工程における判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する登録工程とを有することを特徴とする。

本発明によれば、検索サイトにおいてテキスト検索される検索ワードを取得し、取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視し、検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定し、判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する。このため、ユーザの関心の高まりによって検索回数が増加したと考えられる検索ワードを、この検索ワードを文字情報として含むマルチメディアデータのメタ情報として付与することができ、ユーザの関心を反映するメタ情報をマルチメディアデータに自動で付与することができる。

また、本発明によれば、検索ワードの過去の検索頻度に対する現在の検索頻度が所定比率以上である場合に所定基準を満たすと判断するため、過去と比べて現在関心が高まっている検索ワードを確実に検出することができ、ユーザが検索しやすいメタ情報をマルチメディアデータに付与することができる。

また、本発明によれば、検索ワードに関連するマルチメディアデータのジャンルを特定し、特定されたジャンルのマルチメディアデータを取得し、取得されたマルチメディアデータに対する文字認識処理結果と検索ワードとを比較判定する。このため、膨大なマルチメディアデータのうち検索ワードと比較するマルチメディアデータを絞り込むことができ、処理負荷を軽減することができる。

また、本発明によれば、マルチメディアデータに対して文字認識処理を実行し、得られる文字認識処理結果と検索ワードとを比較判定するため、検索頻度が所定基準を満たす検索ワードが検出されるたびに文字認識処理が行われ、映像中の文字情報を記憶しておく必要がない。

また、本発明によれば、映像データの画像から得られる文字認識結果および映像データの音声から得られる文字認識結果の双方と検索ワードとを比較判定するため、検索頻度が所定基準を満たす検索ワードのうち映像データの内容に関連するものを確実に抽出してメタ情報とすることができる。

また、本発明によれば、画像から得られる文字認識結果および音声から得られる文字認識結果の双方と検索ワードとが一致し、かつ、検索ワードと一致する双方の文字認識結果の時間が互いに所定時間内である場合に、検索ワードを映像データのメタ情報として登録する。このため、一致する文字認識結果が正確であり、かつ、映像データの内容とより強く関連する検索ワードをメタ情報とすることができる。

また、本発明によれば、画像から得られる文字認識結果および音声から得られる文字認識結果のいずれか一方と検索ワードとが一致する場合に、検索ワードを映像データの副次的なメタ情報として登録する。このため、映像データの内容とある程度関連していると考えられる検索ワードを優先順位が低いメタ情報として登録することができ、メタ情報を用いた映像データの検索時に、検索結果に優先順位を設けることができる。

また、本発明によれば、検索ワードと一致する文字認識処理結果の確信度に応じて検索ワードに優先順位を設けて登録するため、例えば文字認識処理結果の確信度が高く確実に映像データの内容と強く関連している検索ワードの優先順位を高くすることにより、メタ情報を用いた映像データの検索時に、検索結果に優先順位を設けることができる。

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。以下においては、映像を例に挙げて説明するが、本発明は、例えば静止画や音楽などの文字で表現されないマルチメディアデータにメタ情報を付与する際には汎用的に応用することができる。また、以下においては、例えばテレビ番組のように、映像が規定の時間に多くのユーザへ放映される場合を想定して説明する。

図１は、本発明の一実施の形態に係るメタ情報付与装置の要部構成を示すブロック図である。図１に示すメタ情報付与装置は、検索ワード取得部１０１、検索頻度テーブル１０２、検索頻度監視部１０３、映像取得部１０４、画像認識部１０５、音声認識部１０６、類似度判定部１０７、およびメタ情報登録部１０８を有している。また、このメタ情報付与装置は、番組情報データベース２０１、映像データベース２０２、およびメタ情報データベース２０３などのデータベースに接続されており、これらのデータベースを参照および更新することが可能である。

検索ワード取得部１０１は、図示しないインターネットの検索サイトなどにおいて検索される検索ワードを取得する。なお、検索ワード取得部１０１は、通常のテキスト検索を行う検索サイトの図示しないサーバから検索ワードを即時的に取得する。そして、検索ワード取得部１０１は、検索頻度テーブル１０２において、取得された検索ワードの検索頻度を更新する。

検索頻度テーブル１０２は、検索ワードごとの検索頻度を過去のテーブルと現在のテーブルとの２つのテーブルに分けて記憶する。具体的には、検索頻度テーブル１０２は、例えば図２に示すように、単語ごとの平均検索頻度を１ヶ月以上前の時期について記憶する過去のテーブルと、単語ごとの平均検索頻度を現在より数時間から１日程度前の時期について記憶する現在のテーブルとを有している。図２においては、それぞれのテーブルに単語ごとの１時間当たりの検索回数が記憶されており、例えば単語「ＡＡＡ」については、１ヶ月前には１時間当たり２５７回検索されたことが分かる。この検索回数は、特定のユーザによって検索された回数ではなく、広く一般に検索された回数であるため、単語ごとの世間的な関心の高さが現れている。

検索頻度監視部１０３は、検索頻度テーブル１０２を監視して検索頻度が急増している単語を検出し、映像取得部１０４へ出力する。具体的には、検索頻度監視部１０３は、検索頻度テーブル１０２のうち過去のテーブルから単語ごとの過去の検索頻度を求めるとともに、現在のテーブルから単語ごとの現在の検索頻度を求める。そして、検索頻度監視部１０３は、過去の検索頻度と現在の検索頻度との比率が所定の閾値以上であるか否かを判定し、比率が所定の閾値以上となっている単語を映像取得部１０４へ出力する。

さらに具体的に例を挙げると、検索頻度監視部１０３は、過去のテーブルから例えば単語「ＡＡＡ」の所定の期間における平均検索頻度をさらに平均して過去の検索頻度Ｆ₁を求め、同様に単語「ＡＡＡ」の現在の範囲における平均検索頻度をさらに平均して現在の検索頻度Ｆ₂を求める。そして、検索頻度監視部１０３は、比率Ｆ₂／Ｆ₁を算出し、この比率Ｆ₂／Ｆ₁が所定の閾値以上である場合は、単語「ＡＡＡ」の検索頻度が急増しているとして、この単語「ＡＡＡ」を映像取得部１０４へ出力する。

したがって、検索頻度監視部１０３は、例えば図３上図に示すように、検索頻度が一定して高くても比率Ｆ₂／Ｆ₁が小さい単語「ＡＡＡ」については、検索頻度が急増していないと判断し、例えば図３下図に示すように、過去の検索頻度が低くても比率Ｆ₂／Ｆ₁が大きい単語「ＢＢＢ」については、検索頻度が急増していると判断する。検索頻度が急増した検索ワードは、例えばテレビ番組などからの情報によって広く関心を持たれた単語である可能性が高いため、ユーザの関心を反映していると考えられる。

映像取得部１０４は、検索頻度監視部１０３から出力された単語を用いて、メタ情報を関連付ける映像のジャンルを特定し、特定されたジャンルの映像を映像データベース２０２から取得する。すなわち、映像取得部１０４は、検索頻度監視部１０３から出力された単語に関連する番組を番組情報データベース２０１から検索し、検索の結果、特定のジャンルの番組の映像を映像データベース２０２から取得する。

ここで、番組情報データベース２０１は、例えばテレビ番組のタイムテーブルなどであり、映像からなる番組の大まかな情報（例えばニュース、ドラマ、・・・などのジャンル）を保持している。また、映像データベース２０２は、番組情報データベース２０１に番組情報が保持された実際の映像を保持している。このため、映像取得部１０４は、検索頻度監視部１０３から出力された単語に関連する番組のジャンルが特定可能であれば、番組のジャンルを特定し、特定ジャンルの映像のみを映像データベース２０２から取得する。また、映像取得部１０４は、検索頻度監視部１０３から出力された単語に関連する番組のジャンルが特定不能であれば、すべてのジャンルの映像を映像データベース２０２から取得する。

画像認識部１０５は、映像取得部１０４によって取得された映像に対して画像認識を実行し、映像中のテロップを検出し、テロップ中の文字情報を取得する。具体的には、画像認識部１０５は、映像を構成する例えば図４に示すようなフレームの画像に対してゾーベル（Sobel）フィルタやラプラシアンフィルタなどを用いたエッジ検出を行い、エッジが密集する領域を文字情報が含まれたテロップとして検出する。そして、画像認識部１０５は、テロップの領域に対するＯＣＲ（Optical Character Recognition：光学文字認識）処理を行い、テロップに含まれるすべての文字情報を取得する。つまり、図４に示すフレーム画像においては、画像認識部１０５は、「低気圧による大荒れの天気」の１２文字をすべて取得する。

そして、画像認識部１０５は、それぞれの文字情報について、フレーム画像中における位置や確信度から図５に示すような表を作成する。すなわち、それぞれの文字情報が表示されるフレームの開始番号および終了番号と、フレーム画像中の文字情報の座標と、表示される文字と、ＯＣＲ処理の信頼度を示す確信度とを対応付けて記憶する。確信度は、ＯＣＲ処理の際に例えばＳＶＭ（Support Vector Machine）などのパターン識別法を用いると、正しく文字を認識した確からしさを示す数値として求められる。例えば図５においては、「に」の文字が「仁」と誤って認識されており、確信度は他の文字に比べて０．６５と低くなっている。

音声認識部１０６は、映像取得部１０４によって取得された映像に対して音声認識を実行し、映像中の声を検出し、発声されている文字情報を取得する。具体的には、音声認識部１０６は、映像再生中の音量や周波数分布などから声が含まれる時間帯を検出し、この時間帯の音声に対して音声認識を行い、発声された文字情報を取得する。つまり、図４に示すフレーム画像においては、音声認識部１０６は、「ていきあつによるおおあれのてんき」の１６文字をすべて取得する。

そして、音声認識部１０６は、それぞれの文字情報について、発声時間や確信度から図６に示すような表を作成する。すなわち、それぞれの文字情報が発声される開始時間および終了時間と、発声される文字と、音声認識の信頼度を示す確信度とを対応付けて記憶する。音声認識の場合は、文字情報の抽出にＨＭＭ（Hidden Marcov Model：隠れマルコフモデル）などが用いられる。

類似度判定部１０７は、画像認識部１０５および音声認識部１０６によって取得された映像中の文字情報と検索ワードとの類似度を判定し、映像中のテロップまたは音声に検索ワードに類似する単語が含まれているか否かを判断する。そして、類似度判定部１０７は、検索ワードに類似する単語が表示されている時間とこの単語が発声された時間との時間差が所定時間内であるか否かを判定する。

具体的には、類似度判定部１０７は、検索ワードの文字列と一致する文字情報群を画像認識部１０５および音声認識部１０６が作成した表から検出し、検出された各文字情報に対応する確信度の平均値などを類似度として算出する。そして、類似度判定部１０７は、類似度が所定の閾値以上であれば、検出された文字情報群が検索ワードに類似していると判定する。

さらに、類似度判定部１０７は、検索ワードに類似する文字情報群の表示と発声とが所定時間の範囲内に行われていれば、この文字情報群に関する画像認識および音声認識の双方に誤りがなく、検索ワードが映像の内容に強く関連していると考えられるため、検索ワードが映像のメタ情報として最適である旨を検索ワードとともにメタ情報登録部１０８へ通知する。また、類似度判定部１０７は、検索ワードに類似する文字情報群の表示と発声とが所定時間の範囲内に行われていなければ、この文字情報群は映像中において表示または発声の一方しか行われていないものの、検索ワードが映像の内容にある程度は関連していると考えられるため、検索ワードが映像のメタ情報として適している旨を検索ワードとともにメタ情報登録部１０８へ通知する。

メタ情報登録部１０８は、類似度判定部１０７から検索ワードとこの検索ワードがメタ情報として適しているか否かの旨とが通知されると、検索ワードを映像のメタ情報としてメタ情報データベース２０３に登録する。このとき、メタ情報登録部１０８は、検索ワードが映像のメタ情報として最適である旨が通知された場合には、この検索ワードを映像の主となるキーワードとしてメタ情報データベース２０３に登録する。また、メタ情報登録部１０８は、検索ワードが映像のメタ情報に適している旨が通知された場合には、この検索ワードを映像の副次的なキーワードとしてメタ情報データベース２０３に登録する。

ここで、メタ情報データベース２０３は、例えば図７に示すように、映像の番組名に対して、あらかじめ番組情報データベース２０１に保持されているジャンルと、メタ情報登録部１０８によって登録される主キーワードと、メタ情報登録部１０８によって登録される副キーワードとを関連付けて記憶している。したがって、メタ情報登録部１０８は、映像のメタ情報として最適な検索ワードを主キーワードとして登録し、映像のメタ情報に適している検索ワードを副キーワードとして登録する。

図７において、例えば「低気圧」という単語は、「○○天気予報」という番組の映像中にテロップとして表示されるとともに、音声としても発声されたため、主キーワードとして登録されている。同様に、例えば「冷え込み」という単語は、「○○天気予報」という番組の映像中に表示または発声の一方のみが含まれているため、副キーワードとして登録されている。

これらの主キーワードおよび副キーワードは、いずれも映像の管理用のメタ情報として利用される。例えば、ユーザが所望の映像を検索する際には、メタ情報データベース２０３に登録された主キーワードおよび副キーワードの中から、ユーザが入力した単語と一致するものが検索され、このキーワードに対応する映像がユーザへ報告される。

このとき、本実施の形態においては、ユーザが入力した単語が主キーワードに含まれる映像が優先的に検索結果として提供されることになる。すなわち、例えば同一の単語が検索される場合に、この単語が主キーワードとして登録されている映像の方が副キーワードとして登録されている映像よりも上位の検索結果として提供される。なお、本実施の形態においては、キーワードの優先順位を主キーワードと副キーワードの２段階のみとして説明するが、類似度判定部１０７による類似度の判定結果に応じて検索ワードと映像の関連性をより多段階に分類し、メタ情報データベース２０３に登録するようにしても良い。

次いで、上記のように構成されたメタ情報付与装置の動作について、図８に示すフロー図を参照しながら説明する。

まず、インターネットの検索サイトなどにおいて検索ワードのテキスト検索が行われると、この検索ワードは、検索サイトの図示しないサーバにおいて検索されるとともに、メタ情報付与装置へ送出される。そして、検索ワードは、メタ情報付与装置の検索ワード取得部１０１によって取得され（ステップＳ１０１）、検索頻度テーブル１０２に登録される（ステップＳ１０２）。具体的には、検索ワードが既に検索頻度テーブル１０２に登録されていれば、過去のテーブルおよび現在のテーブルのうち現在のテーブルの検索ワードに対応する平均検索頻度が更新される。また、検索ワードが検索頻度テーブル１０２に未登録であれば、過去のテーブルおよび現在のテーブルに検索ワードが新たに登録され、過去のテーブルにおいては平均検索頻度が０とされ、現在のテーブルにおいては今回の１回の検索回数から平均検索頻度が求められて更新される。なお、図２下図に例示した現在のテーブルにおいては、「０〜４時間前」の平均検索頻度が更新されることになる。

このように検索サイトにおける検索ワードごとの検索頻度が更新されていく中で、検索頻度監視部１０３によって、検索頻度テーブル１０２に登録されている単語ごとの検索頻度が急増しているか否かが判定される（ステップＳ１０３）。すなわち、検索頻度テーブル１０２の過去のテーブルにおける検索頻度と比べて現在のテーブルにおける検索頻度が所定比率以上増加しているか否かが単語ごとに判定される。この結果、検索頻度が急増していなければ（ステップＳ１０３Ｎｏ）、引き続き検索サイトから取得される検索ワードによって検索頻度テーブル１０２の更新が繰り返される。

また、検索頻度が急増していれば（ステップＳ１０３Ｙｅｓ）、この単語が映像取得部１０４へ出力され、映像取得部１０４によって、単語が番組情報データベース２０１に登録されており関連する映像のジャンルが特定可能であるか否かが判断される（ステップＳ１０４）。番組情報データベース２０１には、映像からなる各番組のジャンルが記憶されており、検索ワードの一部分などからジャンルの特定が可能である場合は（ステップＳ１０４Ｙｅｓ）、映像取得部１０４によって、特定されたジャンルの番組が番組情報データベース２０１から参照され、実際の映像が映像データベース２０２から取得される（ステップＳ１０５）。

一方、ジャンルの特定が不能である場合は（ステップＳ１０４Ｎｏ）、映像取得部１０４によって、すべてのジャンルの映像が映像データベース２０２から取得される（ステップＳ１０６）。なお、映像取得部１０４による映像の取得に際しては、映像が放映されてからの経過時間が所定時間以内であるものに限って取得される。

映像取得部１０４によって映像が取得されると、取得された映像は、画像認識部１０５および音声認識部１０６へ出力され、画像認識部１０５によって、映像を構成するフレーム画像からテロップを検出し、ＯＣＲ処理によって文字情報を取得する画像認識処理が実行される（ステップＳ１０７）。同様に、音声認識部１０６によって、映像中の音声から声を検出し、音声認識によって文字情報を取得する音声認識処理が実行される（ステップＳ１０８）。これらの画像認識処理および音声認識処理によって、映像中にテロップとして表示された文字情報および音声で発声された文字情報がすべて取得されたことになる。これらの文字情報は、図５および図６に例示したように、表示または発声の時間や認識の確信度などと対応付けて保持される。

なお、本実施の形態においては、映像取得部１０４によって映像が取得されるたびに画像認識部１０５および音声認識部１０６によって画像認識および音声認識が行われるものとして説明するが、映像に対する画像認識処理および音声認識処理は、映像が放映された段階であらかじめ実行しておき、図５および図６に例示したデータをそれぞれの映像について保存しておくようにしても良い。こうすることにより、画像認識処理および音声認識処理に要する処理時間を削減することができる。

映像中の文字情報が取得されると、類似度判定部１０７によって、検索ワードと表示または発声された文字情報とのマッチングが行われる。すなわち、類似度判定部１０７によって、まず検索ワードの文字列と一致する文字情報群が映像中のテロップから検出される。このとき、検索ワードの文字列とテロップの文字情報群との一致は、全部一致に限らず部分一致でも良い。そして、検索ワードの文字列と一致する文字情報群の確信度から、検索ワードと文字情報群の類似度が算出され、検索ワードとの類似度が所定の閾値以上である類似テロップが映像に含まれているか否かが判断される（ステップＳ１０９）。

この結果、類似テロップが映像に含まれている場合は（ステップＳ１０９Ｙｅｓ）、類似度判定部１０７によって、検索ワードの文字列と一致する文字情報群が映像中の音声から検出される。このとき、検索ワードの文字列と音声の文字情報群との一致は、全部一致に限らず部分一致でも良い。そして、検索ワードの文字列と一致する文字情報群の確信度から、検索ワードと文字情報群の類似度が算出され、検索ワードとの類似度が所定の閾値以上である類似音声が映像に含まれているか否かが判断される（ステップＳ１１０）。なお、類似テロップおよび類似音声の判断の際の類似度としては、例えば検索ワードに一致する文字情報群の確信度の平均値などを用いれば良い。

そして、検索ワードの類似テロップおよび類似音声の双方が映像に含まれている場合は（ステップＳ１１０Ｙｅｓ）、類似度判定部１０７によって、類似テロップおよび類似音声の表示および発声が互いに所定時間内に行われているか否かが判定される（ステップＳ１１１）。この結果、類似テロップおよび類似音声が互いに所定時間内に発生していれば（ステップＳ１１１Ｙｅｓ）、検索ワードが映像のメタ情報として最適であると判断され、その旨が類似度判定部１０７からメタ情報登録部１０８へ通知される。すなわち、検索ワードに一致する類似テロップおよび類似音声が互いに近い時間内に発生していれば、画像認識および音声認識が正確である可能性が高いとともに、検索ワードが映像の内容に強く関連していると考えられるため、この検索ワードは、映像のメタ情報として最適であると判断される。

検索ワードが映像のメタ情報として最適である旨が通知されると、メタ情報登録部１０８によって、映像の主キーワードとして検索ワードがメタ情報データベース２０３に登録される（ステップＳ１１２）。したがって、ユーザに広く関心を持たれ、検索頻度が急増した検索ワードのうち、映像中にテロップおよび音声として含まれる検索ワードがこの映像の主キーワードとしてメタ情報データベース２０３に登録されることになる。なお、検索頻度が急増する契機としては、様々な媒体による伝達が考えられるが、いずれにしても多くのユーザに関心を持たれた検索ワードの検索頻度が急増するため、メタ情報の付与対象の映像の放映が直接的な検索頻度急増の契機となっていなくても、この映像にユーザの関心を反映する検索ワードを付与することには変わりない。

一方、類似テロップおよび類似音声が互いに所定時間を超えて発生していれば（ステップＳ１１１Ｎｏ）、検索ワードが映像のメタ情報に一定の条件付きで適していると判断され、その旨が類似度判定部１０７からメタ情報登録部１０８へ通知される。すなわち、検索ワードに一致する類似テロップおよび類似音声が互いに離れた時間に発生していれば、画像認識および音声認識のいずれかが誤っている可能性があるため、類似テロップおよび類似音声のうち検索ワードとの類似度が高い方のみが発生していると判断され、この検索ワードは、映像のメタ情報にある程度適していると判断される。

検索ワードが映像のメタ情報として適している旨が通知されると、メタ情報登録部１０８によって、映像の副キーワードとして検索ワードがメタ情報データベース２０３に登録される（ステップＳ１１４）。なお、ここでは、検索ワードが副キーワードとして登録されるものとしたが、類似テロップおよび類似音声が互いに所定時間内に発生していない場合は、検索ワードと類似テロップまたは類似音声との類似度に応じて検索ワードが一定の条件付きでメタ情報データベース２０３に登録されれば良い。

ここまで、類似度判定部１０７によって検索ワードの類似テロップおよび類似音声の双方があると判定された場合について説明したが、類似テロップが映像に含まれていないと判定された場合は（ステップＳ１０９Ｎｏ）、類似度判定部１０７によって、類似テロップがある場合と同様に、検索ワードの文字列と一致する文字情報群が映像中の音声から検出される。このとき、検索ワードの文字列と音声の文字情報群との一致は、全部一致に限らず部分一致でも良い。そして、検索ワードの文字列と一致する文字情報群の確信度から、検索ワードと文字情報群の類似度が算出され、検索ワードとの類似度が所定の閾値以上である類似音声が映像に含まれているか否かが判断される（ステップＳ１１３）。

この結果、検索ワードの類似音声が映像に含まれていない場合は（ステップＳ１１３Ｎｏ）、検索ワードの類似テロップおよび類似音声のいずれも映像に含まれていないことになるため、検索ワードは映像に関連していないと判断され、映像のメタ情報として登録されることはない。

また、検索ワードの類似テロップが映像に含まれていないが類似音声が映像に含まれている場合（ステップＳ１１３Ｙｅｓ）や、検索ワードの類似テロップが映像に含まれているが類似音声が映像に含まれていない場合（ステップＳ１１０Ｎｏ）は、検索ワードがテロップおよび音声のいずれか一方として含まれているため、類似度判定部１０７によって、検索ワードが映像のメタ情報に一定の条件付きで適していると判断され、その旨がメタ情報登録部１０８へ通知される。すなわち、検索ワードに一致する類似テロップおよび類似音声のいずれか一方が発生していれば、この検索ワードは、映像のメタ情報にある程度適していると判断される。

検索ワードが映像のメタ情報として適している旨が通知されると、メタ情報登録部１０８によって、映像の副キーワードとして検索ワードがメタ情報データベース２０３に登録される（ステップＳ１１４）。なお、ここでは、検索ワードが副キーワードとして登録されるものとしたが、類似テロップおよび類似音声のいずれか一方が発生した場合は、検索ワードと類似テロップまたは類似音声との類似度に応じて検索ワードが一定の条件付きでメタ情報データベース２０３に登録されれば良い。

以上のように、本実施の形態によれば、検索サイトにおける検索頻度が急増した検索ワードを検出し、この検索ワードと映像中のテロップおよび音声とをマッチングし、検索ワードがテロップまたは音声として含まれる場合には、検索ワードを映像のメタ情報として登録する。このため、ユーザの関心の高まりによって増加したと考えられる検索ワードを映像のメタ情報として付与することができ、ユーザの関心を反映するメタ情報をマルチメディアデータに自動で付与することができる。

なお、上記一実施の形態においては、検索頻度が急増したことを検出するために、検索頻度テーブル１０２の過去のテーブルにおける検索頻度と現在のテーブルにおける検索頻度との比率が所定比率以上となるか否かを判定したが、検索頻度が急増していることが明確になれば、比率以外の尺度を用いて検索頻度の変化を検出しても良い。すなわち、例えば過去と現在における検索回数の絶対数を比較して現在の検索回数が多くなった検索ワードを抽出しても良いし、現在におけるすべての単語の検索回数の平均より大幅に検索回数が多い検索ワードを抽出しても良い。

また、上記一実施の形態においては、メタ情報付与装置によって映像にメタ情報が付与される場合について説明したが、上記の処理に相当するプログラムを作成し、このプログラムをコンピュータに実行させることも可能である。

（付記１）管理用のメタ情報をマルチメディアデータに付与する情報付与プログラムであって、
検索サイトにおいてテキスト検索される検索ワードを取得する取得工程と、
前記取得工程にて取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視工程と、
前記監視工程にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定する判定工程と、
前記判定工程における判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する登録工程と
をコンピュータに実行させることを特徴とする情報付与プログラム。

（付記２）前記監視工程は、
検索ワードの過去の検索頻度に対する現在の検索頻度が所定比率以上である場合に所定基準を満たすと判断することを特徴とする付記１記載の情報付与プログラム。

（付記３）前記判定工程は、
検索ワードに関連するマルチメディアデータのジャンルを特定し、特定されたジャンルのマルチメディアデータを取得するマルチメディアデータ取得工程を含み、
前記マルチメディアデータ取得工程にて取得されたマルチメディアデータに対する文字認識処理結果と検索ワードとを比較判定することを特徴とする付記１記載の情報付与プログラム。

（付記４）前記判定工程は、
マルチメディアデータに対して文字認識処理を実行する認識処理工程を含み、
前記認識処理工程にて得られる文字認識処理結果と検索ワードとを比較判定することを特徴とする付記１記載の情報付与プログラム。

（付記５）前記判定工程は、
映像データの画像から得られる文字認識結果および映像データの音声から得られる文字認識結果の双方と検索ワードとを比較判定することを特徴とする付記１記載の情報付与プログラム。

（付記６）前記登録工程は、
画像から得られる文字認識結果および音声から得られる文字認識結果の双方と検索ワードとが一致し、かつ、検索ワードと一致する双方の文字認識結果の時間が互いに所定時間内である場合に、検索ワードを映像データのメタ情報として登録することを特徴とする付記５記載の情報付与プログラム。

（付記７）前記登録工程は、
画像から得られる文字認識結果および音声から得られる文字認識結果のいずれか一方と検索ワードとが一致する場合に、検索ワードを映像データの副次的なメタ情報として登録することを特徴とする付記５記載の情報付与プログラム。

（付記８）前記登録工程は、
検索ワードと一致する文字認識処理結果の確信度に応じて検索ワードに優先順位を設けて登録することを特徴とする付記１記載の情報付与プログラム。

（付記９）管理用のメタ情報をマルチメディアデータに付与する情報付与装置であって、
検索サイトにおいてテキスト検索される検索ワードを取得する取得手段と、
前記取得手段によって取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視手段と、
前記監視手段によって検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定する判定手段と、
前記判定手段による判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する登録手段と
を有することを特徴とする情報付与装置。

（付記１０）前記監視手段は、
検索ワードの過去の検索頻度に対する現在の検索頻度が所定比率以上である場合に所定基準を満たすと判断することを特徴とする付記９記載の情報付与装置。

（付記１１）前記判定手段は、
検索ワードに関連するマルチメディアデータのジャンルを特定し、特定されたジャンルのマルチメディアデータを取得するマルチメディアデータ取得手段を含み、
前記マルチメディアデータ取得手段によって取得されたマルチメディアデータに対する文字認識処理結果と検索ワードとを比較判定することを特徴とする付記９記載の情報付与装置。

（付記１２）前記判定手段は、
マルチメディアデータに対して文字認識処理を実行する認識処理手段を含み、
前記認識処理手段によって得られる文字認識処理結果と検索ワードとを比較判定することを特徴とする付記９記載の情報付与装置。

（付記１３）前記判定手段は、
映像データの画像から得られる文字認識結果および映像データの音声から得られる文字認識結果の双方と検索ワードとを比較判定することを特徴とする付記９記載の情報付与装置。

（付記１４）前記登録手段は、
検索ワードと一致する文字認識処理結果の確信度に応じて検索ワードに優先順位を設けて登録することを特徴とする付記９記載の情報付与装置。

（付記１５）管理用のメタ情報をマルチメディアデータに付与する情報付与方法であって、
検索サイトにおいてテキスト検索される検索ワードを取得する取得工程と、
前記取得工程にて取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視工程と、
前記監視工程にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、この検索ワードの少なくとも一部がマルチメディアデータに対する文字認識処理結果と一致するか否かを判定する判定工程と、
前記判定工程における判定の結果、検索ワードが文字認識処理結果と一致する場合に、この検索ワードをマルチメディアデータのメタ情報として登録する登録工程と
を有することを特徴とする情報付与方法。

（付記１６）前記監視工程は、
検索ワードの過去の検索頻度に対する現在の検索頻度が所定比率以上である場合に所定基準を満たすと判断することを特徴とする付記１５記載の情報付与方法。

（付記１７）前記判定工程は、
検索ワードに関連するマルチメディアデータのジャンルを特定し、特定されたジャンルのマルチメディアデータを取得するマルチメディアデータ取得工程を含み、
前記マルチメディアデータ取得工程にて取得されたマルチメディアデータに対する文字認識処理結果と検索ワードとを比較判定することを特徴とする付記１５記載の情報付与方法。

（付記１８）前記判定工程は、
マルチメディアデータに対して文字認識処理を実行する認識処理工程を含み、
前記認識処理工程にて得られる文字認識処理結果と検索ワードとを比較判定することを特徴とする付記１５記載の情報付与方法。

（付記１９）前記判定工程は、
映像データの画像から得られる文字認識結果および映像データの音声から得られる文字認識結果の双方と検索ワードとを比較判定することを特徴とする付記１５記載の情報付与方法。

（付記２０）前記登録工程は、
検索ワードと一致する文字認識処理結果の確信度に応じて検索ワードに優先順位を設けて登録することを特徴とする付記１５記載の情報付与方法。

本発明は、ユーザの関心を反映するメタ情報をマルチメディアデータに自動で付与する場合に適用することができる。

一実施の形態に係るメタ情報付与装置の要部構成を示すブロック図である。 一実施の形態に係る検索頻度テーブルの一例を示す図である。 一実施の形態に係る検索頻度の推移の例を示す図である。 一実施の形態に係る映像の一例を示す図である。 一実施の形態に係る画像認識結果の一例を示す図である。 一実施の形態に係る音声認識結果の一例を示す図である。 一実施の形態に係るメタ情報データベースの一例を示す図である。 一実施の形態に係るメタ情報付与の動作を示すフロー図である。

符号の説明

１０１ 検索ワード取得部
１０２ 検索頻度テーブル
１０３ 検索頻度監視部
１０４ 映像取得部
１０５ 画像認識部
１０６ 音声認識部
１０７ 類似度判定部
１０８ メタ情報登録部

Claims (7)

1. 管理用のメタ情報をマルチメディアデータに付与する情報付与プログラムであって、
   検索サイトにおいてテキスト検索される検索ワードを取得する取得工程と、
   前記取得工程にて取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視工程と、
   前記監視工程にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、前記検索ワードに関連するマルチメディアデータをマルチメディアデータ記憶部から取得し、取得したマルチメディアデータに対する文字認識処理結果と、前記検索ワードとが一致するか否かを判定する判定工程と、
   前記判定工程における判定の結果、検索ワードが文字認識処理結果と一致する場合に、前記検索ワードをマルチメディアデータのメタ情報として前記マルチメディアデータと対応付けてメタ情報記憶部に登録する登録工程と
   をコンピュータに実行させることを特徴とする情報付与プログラム。
2. 前記監視工程は、
   検索ワードの過去の検索頻度に対する現在の検索頻度が所定比率以上である場合に所定基準を満たすと判断することを特徴とする請求項１記載の情報付与プログラム。
3. 前記判定工程は、
   映像データの画像から得られる文字認識結果および映像データの音声から得られる文字認識結果の双方と検索ワードとを比較判定することを特徴とする請求項１記載の情報付与プログラム。
4. 前記登録工程は、
   画像から得られる文字認識結果および音声から得られる文字認識結果の双方と検索ワードとが一致し、かつ、検索ワードと一致する双方の文字認識結果の時間が互いに所定時間内である場合に、検索ワードを映像データのメタ情報として登録することを特徴とする請求項３記載の情報付与プログラム。
5. 前記登録工程は、
   画像から得られる文字認識結果および音声から得られる文字認識結果のいずれか一方と検索ワードとが一致する場合に、検索ワードを映像データの副次的なメタ情報として登録することを特徴とする請求項３記載の情報付与プログラム。
6. 管理用のメタ情報をマルチメディアデータに付与する情報付与装置であって、
   検索サイトにおいてテキスト検索される検索ワードを取得する取得手段と、
   前記取得手段によって取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視手段と、
   前記監視手段にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、前記検索ワードに関連するマルチメディアデータをマルチメディアデータ記憶部から取得し、取得したマルチメディアデータに対する文字認識処理結果と、前記検索ワードとが一致するか否かを判定する判定手段と、
   前記判定手段における判定の結果、検索ワードが文字認識処理結果と一致する場合に、前記検索ワードをマルチメディアデータのメタ情報として前記マルチメディアデータと対応付けてメタ情報記憶部に登録する登録手段と
   を有することを特徴とする情報付与装置。
7. 管理用のメタ情報をマルチメディアデータに付与するコンピュータによる情報付与方法であって、
   前記コンピュータが、
   検索サイトにおいてテキスト検索される検索ワードを取得する取得工程と、
   前記取得工程にて取得された検索ワードに対する検索頻度が所定基準を満たすか否かを監視する監視工程と、
   前記監視工程にて検索ワードの検索頻度が所定基準を満たすと判断された場合に、前記検索ワードに関連するマルチメディアデータをマルチメディアデータ記憶部から取得し、取得したマルチメディアデータに対する文字認識処理結果と、前記検索ワードとが一致するか否かを判定する判定工程と、
   前記判定工程における判定の結果、検索ワードが文字認識処理結果と一致する場合に、前記検索ワードをマルチメディアデータのメタ情報として前記マルチメディアデータと対応付けてメタ情報記憶部に登録する登録工程と
   を有することを特徴とする情報付与方法。

Images