JPH11261909A - マルチメディアデータ処理装置および方法，記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、マルチメディアデータの内容ジャ
ンル（ドラマ、バラエティなど）を判定し出力すること
によって、本発明の出力結果を受けてマルチメディアデ
ータの解析を行う装置の性能を向上させることを課題と
する。 【解決手段】 マルチメディアデータ中の映像に着目
し、場面の切り替わりがあった時刻を記憶してゆく。過
去数回の場面切り替わりの中で、その間隙が１５秒の倍
数であった場合には、その時間区間はコマーシャルであ
ったと判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディアデ
ータの内容を判定し出力するマルチメディアデータ処理
装置および方法，記録媒体に関する。

【０００２】

【従来の技術】衛星放送、ケーブルテレビジョン放送の
普及などにより、家庭においても視聴可能な映像チャン
ネル数は増加の一途をたどっている。また従来のビデオ
テープやレーザーディスクなどの映像記録媒体に加え、
映像音声情報をディジタルデータとして記録再生できる
ＤＶＤも製品化され、ごく普通のユーザが大量の映像に
アクセスできる環境は充実しつつあると言ってよい。

【０００３】その一方で、それら大量の映像の中から目
的の映像に効率よくアクセスできる技術の提供は従前の
ままである。たとえばテレビの視聴者は、新聞などに掲
載される番組欄を参照して、見たい映像（番組）を選択
したり、ビデオソフトパッケージを購入しようとする消
費者はパッケージに記載されているタイトルや出演者、
あらすじなどを参照して希望のビデオを選択する。

【０００４】これらは文字による映像情報のテキスト記
述であるが、映像の全てに対して記述がなされているわ
けでもなく、そのように全てに対して記述をすることは
大変な手間となるものであることは言うまでもない。

【０００５】また、映像のどの部分を見たいか、という
要求は当然ユーザ個々にも異なるものであるはずで、全
てのユーザに対応可能なテキスト記述を作成することは
付加情報の増大を招き、おもに放送メディアなど、供給
できる情報量に限界があるソースにおいては実用が難し
い。このためテレビ視聴者はニューズ番組中の特定の番
組だけを見たい場合にも、テレビをつけたままで目的の
話題となるのを待たなくてはならなかったり、すでに別
の番組で見たニュースを繰り返しみさせられたりして、
著しく時間のムダとなっている。

【０００６】このように貧弱な映像アクセスの環境のま
までは、近い将来、ユーザが大量の映像情報にアクセス
できる状況が実現したとしても、その情報量をスムーズ
に享受できるとはいえず、かえって情報量の多さに混乱
するユーザが増える懸念もある。

【０００７】これに関連して、本件出願人は既に映像を
少ないアイコンで一覧することのできる動画像処理方法
を出願している（特開平９−２７０００６号公報）。こ
の方法によれば、映像中の場面構成を推定し、場面を単
位とした映像内容の一覧提示が可能になる。上記発明に
よれば、ドラマの映像を処理した場合、対話などから構
成される場面は一枚のアイコンとして表示することが可
能になる。

【０００８】しかし、ドラマ、映画、ニュースといった
番組のジャンルが異なれば場面構成も異なる。たとえば
ニュースの場合には、類似したショットの再登場は少な
い。その代わりにニュースキャスターのショットが繰り
返し登場するものの、それはニュース項目の先頭である
ことが多く、上記のようなドラマに対するのと同じ表示
方法をそのまま適用するのは、視認性がよいとはいえな
い。

【０００９】逆に、上記発明の場合、入力された映像が
ニュースであるということが既知であれば、繰り返し登
場するショットを発見するという同じ手法をそのまま用
いて、ニュース項目ごとに切り分けた一覧表示を提示す
ることも可能になる。

【００１０】

【発明が解決しようとする課題】本発明は、マルチメデ
ィアデータを入力する手段と、そのデータを解析し、カ
テゴリを推定する手段と、推定されたカテゴリを出力す
る手段とを持つことを特徴とする。つまり、本発明はマ
ルチメディアデータの番組種を自動的に判定し、得られ
た番組種を参考にしたメディア解析を容易にすることを
目的とする。

【００１１】

【課題を解決するための手段】本発明のマルチメディア
データ処理装置は、入力された映像を含むマルチメディ
アデータを解析し、このマルチメディアデータの属する
内容種を推定する内容種推定手段と、この内容種推定手
段によって推定された内容種を出力する手段とを持つこ
とを特徴とする。

【００１２】また、入力された映像を含むマルチメディ
アデータの映像中で画面が切り替わった時間間隔の履歴
から、このマルチメディアデータの属する内容種を推定
する内容種推定手段と、この内容種推定手段によって推
定された内容種を出力する手段とを持つことを特徴とす
る。

【００１３】また、予め内容種が既知のマルチメディア
データを保持する保持手段と、この保持手段が有する既
知のマルチメディアデータと、入力された映像を含むマ
ルチメディアデータとを比較し、この入力されたマルチ
メディアデータの属する内容種を推定する内容種推定手
段と、この内容種推定手段によって推定された内容種を
出力する手段とを持つことを特徴とする。

【００１４】また、前記保持手段は、既知のマルチメデ
ィアデータが言語による辞書であり、前記内容種推定手
段は、入力されたマルチメディアデータ中の文字情報を
抽出し、その文字情報が辞書中で属する内容種を、入力
されたマルチメディアデータの内容種であると推定する
ことを特徴とする。

【００１５】また、入力された映像を含むマルチメディ
アデータを解析し、このマルチメディアデータの属する
内容種を推定し、この推定された内容種を出力すること
を特徴とする。

【００１６】また、マルチメディアデータを処理するプ
ログラムをコンピュータで実行可能なように記録した記
録媒体であって、入力された映像を含むマルチメディア
データを解析し、このマルチメディアデータの属する内
容種を推定し、この推定された内容種を出力するプログ
ラムをコンピュータで実行可能なように記録した記録媒
体である。

【００１７】

【発明の実施の形態】本発明のマルチメディアデータ処
理装置は、その出力端子をマルチメディア解析装置に接
続し、本発明のマルチメディアデータ処理装置が出力す
る番組種情報に対応して、後段のマルチメディアデータ
解析装置が最適の解析手法を自動選択することを想定し
ている。

【００１８】本発明の実施例を図面に基づいて説明す
る。図１は、本発明のマルチメディア処理装置の構成を
示した図である。図２は本願発明の流れの概略を示した
フローチャートである。つまり、本願発明はマルチメデ
ィアデータを読み込み（Ｓ２１）、このデータの内容種
を推定し（Ｓ２２）、内容種の推定ができたかどうか判
断し（Ｓ２３）、推定できた場合その内容種を出力する
（Ｓ２４）。以下詳細に説明する。

【００１９】（実施例１）マルチメディアデータは、Ｄ
ＶＤ、ＣＤ、ハードディスクなどの記録媒体、あるいは
パソコンなど上段の情報処理装置から入力端子１０１に
入る。本発明のマルチメディア処理装置の場合、カット
検出部１０２が入力されたマルチメディアデータの場面
の変わり目（カット）を、稼働中は常にチェックしてい
る。場面の変わり目が生じた時には、その時刻を一時記
憶部１０３に記録する。

【００２０】本発明では、現行放送のコマーシャル（Ｃ
Ｍ）が通常、１５秒、３０秒、１分であることを利用す
る。内容種推定部１０６は、過去のカットのうち数回か
ら数十回の最近のものの時刻を観測し、たとえばある２
つのカットの起きた時刻を比較したとき、それらがちょ
うど１５秒の倍数の間隔で起きたものであった場合に
は、それら２つによって囲まれた時間区間をＣＭであっ
たと判定し、その結果を出力端子１０７より出力する。

【００２１】図３はこの手順を示したフローチャートで
ある。つまり、入力端子１０１から入力されたマルチメ
ディアデータのフレームを読み込み（Ｓ３１）、カット
検出部１０２でカットか否かを検出し（Ｓ３２）、カッ
トである場合過去のカットのうち数回から数十回の最近
のものの時刻を観測し（Ｓ３３）、それらがちょうど１
５秒の倍数の間隔で起きたものであるかを判断し（Ｓ３
４）、１５秒の倍数の間隔で起きたものである場合はそ
のカットとカットの間はＣＭであると推定する（Ｓ３
５）。

【００２２】図４はこの手法を説明するための図であ
る。図４で時間軸に交差した縦の短い線はカットを示し
ている。また、カット間に示した数字は、カットの間隙
時間（秒）を示している。いま、カット２０１とカット
２０２との間隔がちょうど１５秒であったので、カット
２０１からカット２０２までの時間区間はＣＭであった
だろうと推定される。図１での内容種推定部１０６は、
このような手法を用いてカット２０１の時刻、カット２
０２の時刻、およびその区間で推定された番組種「Ｃ
Ｍ」を出力端子１０７に出力する。

【００２３】（実施例２）次に、マルチメディア処理装
置の第２の実施例を既出の図１および図５に即して説明
する。入力端子１０１から入力された（Ｓ５１）マルチ
メディア情報は、内容種推定部１０６に送られ、そこで
既に番組種が明らかになっており、一時記憶部１０３に
蓄えられているマルチメディア情報と比較される。この
とき、一時記憶部１０３には、過去に現れたマルチメデ
ィア情報、あるいはその圧縮情報が蓄えられており、そ
れとともに、そのマルチメディア情報の番組種情報も蓄
えられている。

【００２４】内容種推定部１０６では、一時記憶部１０
３中のマルチメディア情報と、新しく入力されたマルチ
メディア情報との類似を比較し（Ｓ５３）、それが類似
と判定できる場合には（Ｓ５３）、蓄積されていたマル
チメディア情報に対応して蓄積されていた番組種と同じ
番組種を出力端子１０７から出力する（Ｓ５４）。

【００２５】たとえば、毎週同じオープニング画面で始
まるドラマの番組があったとき、先週放送分ですでに
「ドラマ」という番組種が出力されていた場合、一時記
憶部１０４は、その番組の映像と音声そのものを蓄積す
るとともに番組種「ドラマ」が記録されている。今週放
送分が入力されたとき、その画面と先週放送分のドラマ
のオープニング画面とを比較すれば、それは一致するの
で、その時点で「この放送はドラマである」という出力
がなされる。

【００２６】この場合、内容種推定部１０６で行われる
類似判定のための手段の例としては、映像ならば画面全
体の色相ヒストグラムの形状類似を見たり、画素ごとに
厳密に差分をとり、その総和が一定値以下であることを
根拠にしてもよい。これら類似比較の方法に関しては、
長坂ら「カラービデオ映像における自動索引付け法と物
体探索法」（情報処理学会論文誌、Ｖｏｌ．３３、Ｎ
ｏ．４、１９９２）などで紹介されている手法を応用す
ることで実現できる。

【００２７】また、映像ではなく、音声波形の類似を検
査してもよいし、放送の付加データとして、現在放送中
の番組名などがテキストデータで送信されている場合に
は、そのテキストが蓄積済みのテキストと合致するかど
うかという検査を行ってもよい。また、これら映像、音
声、テキストでの類似比較を併用してもよい。本発明は
そのような類似比較手法に限定されるものではない。

【００２８】（実施例３）次に、本発明の第３の実施例
について図面に即して説明する。装置の動作は引き続き
図１を用いて説明する。図６は図１中の番組種辞書１０
５の中に格納されている辞書データを示した模式図であ
る。この図は説明をわかりやすくするためのもので、実
際にこのような形態で辞書のデータとなっているとは限
らない。入力端子１０１から入力されたマルチメディア
データは、辞書語翻訳部１０４に入力される。

【００２９】辞書語とは、番組種辞書１０５中で表現さ
れている言語のシソーラス表現である。たとえば、マル
チメディア中の音声データで「第○○回臨時国会が今日
召集され…」という発話があったとする。このとき、辞
書語翻訳部１０４は、このセンテンスを文節に分け、そ
の中で辞書語として有意なものだけを取り出す。「第○
○回」「臨時」「国会」「今日」「召集」という単語の
うち、この文で特徴的な単語「国会」が選ばれる。

【００３０】次に図６中のシソーラスと対応をとり、辞
書中の「国会」３０２にもっとも近い番組種ジャンル表
現が「政治」３０１であると判定される。ここで、この
判定結果は内容種判定部１０６に送られ、内容種判定部
１０６はその結果「政治」を出力端子１０７から出力す
る。

【００３１】このとき、複数のセンテンスが入力される
のを待ち、それぞれのセンテンスから取り出された特徴
的な単語が、全体として近かった番組種ジャンル表現を
探索するという方法でもよい。また、辞書との比較を行
うために用いるマルチメディアデータは、上記の例の音
声に限らず、文字放送のようなテキスト情報が付加され
ていればそれを用いてもよいし、画面中にスーパーイン
ポーズされる字幕を認識して、その言葉を用いてもよ
い。

【００３２】図７は、上記と同様の辞書比較を、別の手
法で応用する場合について説明するためのものである。
番組種辞書１０５には、人名が登録されていてもよい。
たとえば、番組中でタレント同士が名前を呼んだところ
があれば、その音声データから出演者を推定してもよい
し、タレントの登場とともに画面にスーパーインポーズ
される字幕を認識してもよい。映画などの場合には、フ
ィナーレのあとに流されるエンド・ロールの文字を認識
してもよい。番組の付加情報として、出演者などの情報
がテキストで得られる場合にはそれをそのまま利用して
もよい。そのようにして出演者名が得られたとき、その
人物が出る可能性のある番組種が記録された辞書データ
のイメージが図７に示されている。たとえば、バラエテ
ィ番組に出演することの多いタレント名は番組種「バラ
エティ」４０１の近くに配置されている（強いリンクが
張ってある）。したがって、出演するタレントの多くが
「バラエティ」４０１の近くに配置されている場合、そ
の番組は「バラエティ」と判定される。

【００３３】しかし、上記タレントが出演しているもの
の、カテゴリ「歌手」に属する出演者がそれにもまして
多い場合には、「歌番組」と判定される。この手法は、
実在の人物に限らない。たとえば「家光」「大岡忠相」
「西鶴」といった人名は「歴史」「時代劇」の近くに配
置される、というような辞書の設計を行えば、このよう
なジャンルのマルチメディアデータも正しく判定される
ことが期待される。

【００３４】さらに、この辞書は地名を格納しているも
のでもよい。辞書語翻訳部１０４が、映像から撮影場所
を判定する機能を持ったものであった場合、たとえば
「会津磐梯山」「奥入瀬」「霧島」などの単語は「紀
行」「旅行」の近くに配置すればよい。撮影場所を判定
する手段としては、たとえば特徴的な風景が記録された
データベース（図示せず）と類似比較を行ったり、文字
テロップや音声などから抽出してもよい。さらに、撮影
場所などの情報がテキスト付加データとして放送されて
いる場合には、それをそのまま用いてもよい。

【００３５】（実施例４）この他の番組種判定手法を説
明する。たとえばニュース番組の場合、図８中の５０１
のように一人あるいは二人のキャスターのバストショッ
トがニュース項目の先頭であることが多い（Ａ，Ｂはキ
ャスターのショットを示す。ＸはＡでもＢでもないショ
ット）で、それぞれのＸは異なる。以下同じ）。そこ
で、「人物の写っているショットが」「１〜３パターン
存在し」「それぞれが２回以上」「最高で１分以上の間
を置いて登場する」マルチメディアデータは「ニュー
ス」という判定を行ってもよい。

【００３６】ニュース番組の判定に関しては坂内「画像
・マルチメディアデータベース」（テレビジョン学会
誌、Ｖｏｌ．４６，Ｎｏ．１１，ｐｐ．１４７４）など
にも提案されている。しかし本発明の手法では、ショッ
トの出現パターンを用いている点が異なる。このように
複数の情報を組み合わせることによって、より確度の高
い番組種判定が実現する。

【００３７】また、本件出願人によって出願中の特開平
９−２７０００６の中で用いた対話シーン検出を活用し
た番組種判定手法も考えられる。図８中の５０２，５０
３，５０４は、それぞれ対話シーン（アルファベットが
繰り返されている区間）を持っている。しかし、５０２
のように、５分以上にも及ぶ長い対話シーンは「バラエ
ティ」番組であると判定できる。これはバラエティ番組
が３〜４台の固定カメラで撮影されることが多いからで
ある。

【００３８】また、５０３のように、同じ画面構成の対
話シーンが番組全体にわたって続くものは「トーク」番
組であると判定できる。バラエティ番組はコーナーが変
われば絵柄が変わるために、同じパターンの対話シーン
が再現することが少ないが、トーク番組の場合、番組全
体を通じて同じセットで行われることが多い。さらに、
５０４のように同じパターンの対話シーンは再現しない
が、いくつかのパターンの対話シーンが断続的に現れる
場合には、「ドラマである」と判定することもできる。
これらは、人物検出などを併用するとさらに確度があが
ることが期待できる。

【００３９】また、全体に風景を写したショットが多
く、カメラワークがゆっくりである番組は「紀行」であ
るとも判定できる。さらに、上記の手順で番組種が「ニ
ュース」であると判定された場合でも、内容種推定部１
０６が音楽認識の機能を持っている場合には、さらに確
度の高い判定を行うことができる。たとえば「ニュー
ス」の構成の番組であって、音楽や効果音が用いられて
いる時間の割合が、設定した割合よりも大きい場合に
は、それは「ドキュメンタリー」であると推定すること
もできる。

【００４０】また、「スポーツ」番組に関しては以下の
ような手法で推定することができる。たとえば、同じよ
うなアングルのパターンが番組全体に出現し、しかもパ
ン（カメラを左右に動かす撮影方法）が多く用いられて
おり、かつ、複数の人物が小さく写っている場面が多く
登場する番組は「スポーツ」であると推定できる。

【００４１】また、内容種推定部１０６が音声パターン
の解析を行い、番組の最初から最後まで断続的に歓声が
現れるという現象を上記に併せて「スポーツ」を推定す
ることもできる。

【００４２】さらに、画面の片隅の固定した位置に、３
０秒より長い周期で変化する字幕が頻繁に出てくる場合
には、それをゲームのスコアと推定し、番組は「スポー
ツ」であると推定することができる。

【００４３】なお、本願発明は図２，図３，図５に示し
たような手順をＦＤやＣＤ−ＲＯＭにコンピュータによ
って実行可能なプログラムを記憶したソフトウェアで実
現することも可能である。

【００４４】

【発明の効果】以上説明したように、映像認識、音声認
識、文字認識、テキスト認識、および辞書管理の能力を
もった本発明のマルチメディアデータ処理装置では、入
力されたマルチメディアデータ（番組）の種類を推定し
出力することができるので、本発明のマルチメディアデ
ータ処理装置の後段に接続された装置では、その番組種
に即したマルチメディアデータ処理を行うことが可能に
なる。

【図面の簡単な説明】

【図１】本発明のマルチメディアデータ処理装置にかか
るブロック図である。

【図２】本発明のマルチメディアデータ処理装置の処理
方法の手順を示した図である。

【図３】本発明のマルチメディアデータ処理装置の処理
方法の手順を示した図である。

【図４】本発明のマルチメディアデータ処理装置のＣＭ
を検出方法を示した図である。

【図５】本発明のマルチメディアデータ処理装置の処理
方法の手順を示した図である。

【図６】本発明のマルチメディアデータ処理装置の辞書
デ−タを示した図である。

【図７】本発明のマルチメディアデータ処理装置の辞書
デ−タを示した図である。

【図８】本発明のマルチメディアデータ処理装置の番組
種を判定する際のショットの並びを示すフローチャート
である。

【符号の説明】

１０１…マルチメディアデータ入力端子 １０２…カット検出部 １０３…一時記憶部 １０４…辞書語翻訳部 １０５…番組種辞書 １０６…内容種推定部 １０７…マルチメディアデータ出力端子

Claims (6)

【特許請求の範囲】
1. 【請求項１】入力された映像を含むマルチメディアデー
   タを解析し、このマルチメディアデータの属する内容種
   を推定する内容種推定手段と、 この内容種推定手段によって推定された内容種を出力す
   る手段とを持つことを特徴とするマルチメディアデータ
   処理装置。
2. 【請求項２】入力された映像を含むマルチメディアデー
   タの映像中で画面が切り替わった時間間隔の履歴から、
   このマルチメディアデータの属する内容種を推定する内
   容種推定手段と、 この内容種推定手段によって推定された内容種を出力す
   る手段とを持つことを特徴とするマルチメディアデータ
   処理装置。
3. 【請求項３】予め内容種が既知のマルチメディアデータ
   を保持する保持手段と、 この保持手段が有する既知のマルチメディアデータと、
   入力された映像を含むマルチメディアデータとを比較
   し、この入力されたマルチメディアデータの属する内容
   種を推定する内容種推定手段と、 この内容種推定手段によって推定された内容種を出力す
   る手段とを持つことを特徴とするマルチメディアデータ
   処理装置。
4. 【請求項４】前記保持手段は、既知のマルチメディアデ
   ータが言語による辞書であり、前記内容種推定手段は、
   入力されたマルチメディアデータ中の文字情報を抽出
   し、その文字情報が辞書中で属する内容種を、入力され
   たマルチメディアデータの内容種であると推定すること
   を特徴とする請求項３記載のマルチメディアデータ処理
   装置。
5. 【請求項５】入力された映像を含むマルチメディアデー
   タを解析し、このマルチメディアデータの属する内容種
   を推定し、 この推定された内容種を出力することを特徴とするマル
   チメディアデータ処理方法。
6. 【請求項６】マルチメディアデータを処理するプログラ
   ムをコンピュータで実行可能なように記録した記録媒体
   であって、 入力された映像を含むマルチメディアデータを解析し、
   このマルチメディアデータの属する内容種を推定し、 この推定された内容種を出力するプログラムをコンピュ
   ータで実行可能なように記録した記録媒体。