JP4188889B2 - マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法 - Google Patents

Description

本発明はビデオストリームを効率よくブラウジングするためにビデオストリームのセグメント間の原因／結果の関係または要約／詳説の関係を述べる方法並びにこれを用いた効率的なビデオのブラウジング方法に関する。

デジタルビデオ技術の発達、イメージ又はビデオ認識技術の発達により、ユーザは所望のビデオ又はビデオの特定のセグメントを容易に検索し、アクセスし、ブラウジングすることができる。また、要約だけを検索して短時間内に効率よくビデオの全体内容を理解することもできる。全体のビデオを要約する方法には場面を代表するキーフレームを適切なインタフェースを用いてユーザに提供する方法と、要約ストリーム（ハイライト）を提供する方法とがある。ユーザにキーフレームを用いてビデオに対する要約を提供する方法は実際の応用には限界ある。すなわち、余り少数のキーフレームを提供する場合、ユーザは全体のビデオストリームを理解し難く、所望の部分への移動も難しい。これに対して、余り多数のキーフレームを用意する場合には却って多数のキーフレームが記憶空間、ユーザのブラウジング速度に悪影響を及ぼす。

このため、いろいろの他のアクセス方法が試みられているが、例えばビデオストリームを階層的に分解してこれを表現する方法、場面間の時間軸上での関係を述べる場面推移グラフを設け、これを用いて所望の部分に移動して簡単に所望の部分だけをブラウジングすることができるようにするユーザインタフェースを設ける方法がある。場面推移グラフはビデオの場面間の時間的な変化を記述できる方法であって効率的なビデオブラウジング方法を提供することができるものの、表現する場面関係を時間情報という制限的な関係を中心として表現するので効率的な意味中心のビデオブラウジングには適しない。更に、既存のキーフレームを用いた方法で行われるビデオブラウジング方法は、ビデオナビゲーションにおいてキーフレームの代表するセグメントへの移動しかできないため、セグメント間の意味的な関係を用いた効率的なセグメント間のナビゲーションを行うことができない。

本発明は上記の問題点を解決するためになされたものであり、その目的は、ビデオストリーム内或いはビデオストリーム間のセグメント、事件インターバル、場面、ショット等間の原因／結果の関係または要約／詳細説明の関係を定義し、これをビデオストリームに対する内容ベースのデータ領域で述べる方法、並びにこれを用いたビデオブラウジング方法を提案して、より使用しやすく、所望の部分に簡単にアクセスすることができ、短時間内に所望のセグメントを簡単にブラウジングすることができる効率的なビデオブラウジングインタフェースを提供することにある。

本発明のマルチメディアストリームのセグメント間の意味的連結情報の構成方法は、マルチメディアストリームのヘッダ部分又は中間部分に、又はマルチメディアストリームに連結された別途の記憶構造からなる内容ベースのデータ領域に、セグメント指定情報とその指定されたセグメント間の関係記述情報とを含むセグメント間の意味的連結情報を記述してストリーム情報を構成することを特徴とする。セグメント指定情報はセグメントの位置を知らせるインターバル情報を含み、関係記述情報には指定されるセグメント間の意味的連結情報を記述する。

本発明はビデオに対する内容ベースのデータ領域に記述できるビデオに存するセグメント間の意味的連結情報を定義しこれを記述する効率的な資料構造を提案し、これを用いた効率的なビデオブラウジング方法を提供することができる。また、既存のキーフレーム又はキー領域を用いたビデオナビゲーションよりも遥かに強力なナビゲーションを支援し、所望の内容のある部分を要約してユーザは便利に選択することができる。更に、本発明は物理的に同じストリーム内のセグメント間の意味的連結情報だけでなく互いに異なるストリーム内に存するセグメント間の意味的連結情報を記述することができるので、ユーザに意味的連結情報のある別途のストリームに存するセグメント間の効率的なナビゲーション方法を提供することができる。本発明はニュースのみならずドラマ、ドキュメンタリー、スポーツ、ショーアップ番組等の大部分のビデオに適用可能な基本的な資料構造を提供するので、各々のコンテンツに適したアプリケーションを構成することができる方案となる。

以下、本発明を添付図面を参照して説明する。
図３は本発明のセグメント間の意味的連結情報の構造を概略的に示すブロック図である。図３に示すように、セグメント間の意味的連結情報はオリジナルテキストセグメント指定情報と対象セグメント指定情報とに分けられ、このように指定されたオリジナルテキストセグメントと対象セグメントとの関係を述べる関係記述情報を含む。更に、追加的に原因／結果関係の加重値情報を述べる関係加重値情報を含んでもよい。セグメント指定情報のオリジナルテキストセグメントと対象セグメントは各々の位置を区分するためのインターバル情報とセグメントの属するストリームを指定するためのストリーム情報とを含む。

本発明は上記構成を有するセグメントの意味的連結情報をマルチメディアストリームの内容ベースのデータ領域に含ませて構成してマルチメディアストリームの効率的なブラウジングを可能にしたもので、添付図面を参照してその構成方法を詳細に説明する。
一般に、ビデオを分析或いは簡単にブラウジングするための図１に示すような階層的分解方式を使用する。個別ビデオストリームは複数の場面に分けられ、一場面は多数のショットに分けられる。場面は論理的にほぼ同じ意味を有する場面を意味し、ショットはカメラで連続的に撮影したインターバルを意味する。又、ショットは複数の連続的なフレームが羅列されたものと見られ、ビデオ、場面、ショットは開始位置／終了位置または開始位置／長さ等のインターバル情報で表現することができる。それぞれにオーディオ情報も含む。そして、フレームは絶対位置で表現可能である。一般に、ビデオストリームのセグメントは時間軸上で連続的な１以上のフレームを配列したものと見られる。この際、ビデオストリームのセグメントをインターバルとして表現する際にはオーディオ情報を含むこともできる。従って、セグメントは場面、ショット等を含む包括的な概念であり、このようなセグメントは事件インターバルを表現することもできる。ここで、図１での‘Ａ’方向に進行することをセグメンテーション（分割）とし、‘Ｂ’方向に進行することをショットクラスタリング(結合）とする。

図２ａは本発明のセグメント間の原因／結果関係を表現するためにマルチメディアコンテンツに存する原因／結果関係を表現した図であり、図２ｂは本発明のセグメント間の要約／詳説関係を表現するためにニュースビデオに存する要約／詳説関係を表現した図である。
まず、図２ａを参照して説明する。セグメント間の原因／結果関係は大部分のマルチメディアコンテンツに存し、ストーリを理解し易くするための手段となる。セグメント間の原因／結果関係の例をあげると、一般的な映画では登場人物間の事件として要約することができる。セグメントＡで登場人物１と登場人物２によって事件Ｘが発生し、その結果として登場人物２と登場人物３との間に事件Ｙが発生すると仮定するとき、事件Ｘは事件Ｙの原因となり、事件Ｙは事件Ｘの結果となる。ここで、事件Ｙは事件Ｘの結果であるが又他の任意の事件に対する原因となることもある。このようなセグメント又は事件間の原因／結果関係が用意されていると、映画を見ているユーザはこれを用いて所望の部分だけを容易に検索することができ、短時間内に全体のストーリを理解することができる。

スポーツ応用分野でもセグメント間の原因／結果関係は存する。フットボールを例にとると、実際にゴールを入れる場面とゴールセレモニー場面との間には原因／結果関係が存し、審判のホイッスルと選手の反則やオフサイド等の規則違反場面との間にも原因／結果関係が存する。また、監督の表情とグラウンド内の特定の事件（反則、ゴール）との間にも原因／結果関係が存し、特定の事件とカメラのクローズアップ時の人物の表情又は身振りとの間にも原因／結果関係が存する。

ニュース応用分野でもセグメント間の原因／結果関係は存する。特定の事件の発生とその事件の発生原因説明との間には原因／結果関係が存し、以前の特定の事件Ａが事件Ｂに影響を及ぼした場合にもセグメント間の原因／結果関係が存する。また、事件Ｂを見る市民の立場に対するインタビュー部分と事件Ａの説明部分との間にもやはりセグメント間の原因／結果関係が存し、今日のニュースの論評要約部分において論評者が社会雰囲気に触れる部分とその論評の原因となる以前のニュースクリップとの間にもこのようなセグメント間の原因／結果関係が存する。

上記例に示すように、大部分のマルチメディアコンテンツのセグメント、事件インターバル、場面、ショットの間には原因／結果関係が存し、これを効率よくブラウジングできる手段を提供するのはマルチメディアコンテンツでユーザの所望する部分だけを容易に検索することのできるようになる。又、このセグメント間の原因／結果関係は一つのストリーム内にのみ存するだけでなく、論理的／物理的に異なるストリームのセグメント間にも存することができる。

大部分のセグメント間の原因／結果関係は自動インデックスし難いため、手動インデックスは必須的である。しかし、特定の応用分野において特定の部分に対してはセグメント間の原因／結果関係を自動的にインデックスすることができる。フットボールにおいて特定の選手、監督、審判等をクローズアップする場面、又は選手がゴールセレモニーをする場面、又は観衆の歓呼する場面等はオーディオやビデオの特性を利用して自動的に検出することができ、ゴールイン場面、シュート場面、審判のホイッスル場面等も自動検出することができる。この自動検出可能なセグメントを利用してセグメント間の原因／結果関係を自動的に抽出することができる場合もある。

図２ｂを参照して説明する。一般的なニュースは主要ニュースアイテムを要約するための主要ニュースの要約部分（ヘッドラインニュース、サマリーニュース）を含む。この主要ニュースの要約部分はニュースのスタート位置にあってもよく、ニュースの終わりにあってもよい。また、この要約ニュースの外に実際のニュースアイテムをアイテム別に説明する詳細ニュース説明部分もある。要約ニュースと詳細ニュースは一つのビデオストリームに存してもよく、別途のストリームに存してもよい。要約ニュースをヘッドラインニュースとするとき、ヘッドラインニュースでは詳細ニュースで説明しようとする多数のニュースアイテムの中で重要な幾つかのニュースアイテムを要約し、ヘッドラインニュースが終わると実際の個別ニュースアイテムが位置する。又、実際のニュースアイテムは、大抵アンカーのニュースアイテムの説明後に記者の取材した場面（エピソード場面、リポート場面）等が位置する典型的な構造を有する。

すなわち、図面に示すように、ヘッドラインニュースと詳細ニュース説明インターバルとの間には要約／詳説関係リンクが存し、詳細ニュース説明インターバル内の各ニュースアイテム内にもアンカー説明インターバルと詳細ニュースアイテム説明インターバルとの間に要約／詳説関係リンクが存する。全体のニュースで紹介するニュースアイテムの個数をｎとし、ヘッドラインニュースで紹介するニュースアイテムをｍとすると、ｎ≧ｍの関係が成り立つ。従って、ヘッドラインニュースをｍ個のニュースアイテムに対する個別の要約で区分することができる。

ヘッドラインニュース部分と詳細ニュース説明部分は大抵自動ビデオセグメンテーション方式を用いて検出することもでき、手作業で検出することもできる。ヘッドラインニュースにニュースアイテムＡに対する説明があったら、詳細ニュース説明部分にニュースアイテムＡに対する説明があるのでヘッドラインニュースのニュースアイテムＡに対する説明インターバルと詳細ニュース説明部分のニュースアイテムＡに対する説明インターバルとの間には要約／詳説関係が存する。従って、２つのセグメント間の要約／詳説関係を図２ａの上段部のように示すことができる。また、自動ビデオセグメンテーション方式または手作業を用いると、詳細ニュース説明部分においてアンカーが次に説明するニュースアイテムを要約するインターバルと実際取材又は分析された画面を見せてやる詳細説明部分とを分けることができる。アンカーが次に説明するニュースアイテムを要約するインターバルと実際の取材又は分析された画面を見せてやる詳細説明インターバルとの間には前述したようにセグメント間の要約／詳説関係が成り立つ。これは図２ｂの下段部のように示すことができる。

このような関係を用いて本発明では図３に示すような構造を有するセグメント間の意味的連結情報をマルチメディアストリーム情報として含めて構成するようにした。意味的連結情報を有する各々のセグメントは同じストリームに存してもよく、それぞれ異なる別のストリームに存してもよい。従って、セグメント指定情報（ロケータ：Locator ）を使用する。セグメント指定情報は、意味的連結情報を有する２つのセグメントが互いに異なるストリームに存する場合に各々のストリームがどのストリームなのかを指定するためのストリーム指定情報と、ストリーム内でセグメントのインターバル情報を表現するためのインターバル指定情報とを含む。同じストリーム内のセグメント間の関係だけを表現する際にはオリジナルテキスト又は対象セグメント指定情報からストリーム指定情報を除いてインターバル指定情報だけを有してもよい。ここで、インターバル指定情報はインターバルの最初の位置／終了位置或いは最初の位置／長さ情報で構成される。

又、セグメント間の意味的連結情報をオリジナルテキストストリームを基準として記述する場合には、オリジナルテキストセグメント指定情報からストリーム指定情報を省略してもよい。又、セグメント間の意味的連結情報を表現するためには、オリジナルテキストセグメントのインターバル指定情報、対象セグメントのインターバル指定情報、関係記述情報を必要とする。もしもセグメント間の意味的連結情報の対称的な場合だけを許容する構造ではオリジナルテキストセグメントに対するセグメント間の意味的連結情報だけを記述するという規約を追加して、関係記述情報を省略してもよい。これに対して、セグメント間の意味的連結情報の非対称的な場合を許容する構造では関係記述情報を必要とする。また、原因／結果関係の加重値情報を追加してもよい。これは、一セグメントに影響を及ぼす多数のセグメントに対して加重値を記述、或いは一セグメントが多数のセグメントに影響を及ぼすに際してそれら間の加重値を記述するためである。

このように、本発明で提供するビデオストリームに対する内容ベースのデータ領域に記述されるセグメント間の意味的連結情報によれば、ビデオストリームのセグメント、イベントインターバル、場面、ショット間の意味的連結情報のグラフが図４に示すように構成される。図４はセグメントＡを中心として意味的連結情報のグラフの一例を示す。このグラフはストリーム内のセグメント等のインターバルの時間的手順を顧慮したグラフであってもよくでなくてもよい。又、図４に示すようにグラフで所望するセグメント中心のリンク情報からサブグラフを構成することにより所望の部分だけを詳細に要約して見ることができるブラウジング方法を提供することができる。このセグメント間の意味的連結情報はニュースのみならず一般的なビデオ（ドラマ、ドキュメンタリー、スポーツ…）等にも存するので、このようなグラフを用いて容易に所望の部分だけを詳細にブラウジングすることができる方法を提供可能である。

すなわち、セグメント間の要約／詳説関係を例にとると、図４においてビデオＡがジャングルの生態に対するドキュメンタリービデオ、ビデオＢがライオンの習性に対する教育用ビデオであり、ビデオＡにライオンをハンティングする部分があり、ビデオＢにライオンのハンティング形態に対する詳細部分がある場合、ビデオＡのライオンをハンティングするセグメントからのビデオＢのライオンのハンティング形態に関するセグメントへの詳細説明リンクを追加することができる。

このようなマルチメディアストリームのセグメント間の意味的連結情報を利用すると、ユーザの所望する部分だけを詳細に要約して見ることができるブラウジング方法を提供することができる。本発明のマルチメディアストリームのセグメント間の意味的連結情報を用いたビデオブラウジング方法は、ビデオディスプレイビューとキーフレーム／キー領域ビューとを含むビデオブラウジングインタフェースである。本発明は、セグメント間の意味的連結情報を用いてセグメント間の意味的連結情報を表示する領域を有するインタフェースを更に含み、セグメント間の意味的連結情報を表示する領域を用いてビデオブラウジングを可能にすることを特徴とする。

図５は本発明で提供するセグメント間の意味的連結情報を用いたビデオブラウジングインタフェースの一例を示す。以下、図５を参照して説明する。ビデオディスプレイビュー、キーフレーム／キー領域ビュー、原因／結果グラフビューの３部分に大別される。ビデオディスプレイビューは、一般的なビデオプレーヤーのビデオディスプレイビューと同じ機能で動映像をディスプレイする部分に相当する。キーフレーム／キー領域ビューは、ビデオを要約するためにキーフレーム又はキー領域をディスプレイする際、ユーザがビデオの全体ストーリを理解し得るように手助けしたり所望の位置に移動することができる窓口を提供するビューである。意味的連結情報グラフビューは、選択されたビデオセグメントを中心としてセグメント間の意味的連結情報をテキスト又はグラフィック要素を用いて図示し、ここで特定の部分を選択することにより、所望の位置に容易に移動して効率よくビデオブラウジングできるようにする部分である。

本発明で提案するビデオブラウジングインタフェースにおいて、キーフレーム／キー領域ビューは他のビデオブラウジングインタフェース部分にも存するが、機能的にセグメント間の意味的連結情報を用いたブラウジングが可能であるという機能的な追加がある。意味的連結情報グラフビューは前記セグメント間の意味的連結情報を図式化して一層容易なビデオナビゲーションを可能にする。

ユーザは制御機能を用いてビデオをブラウジングすることができ、キーフレーム／キー領域ビューで特定のイメージ（フレーム又は領域）を選択して所望の位置に移動することができる。従来の方式では該当キーフレーム又はキー領域の代表するセグメントへの移動を可能にする機能を提供したが、本発明ではセグメント間の意味的連結情報を用いてキーフレーム又はキー領域を選択した場合に次の３つの方式でビデオナビゲーションを提供する。すなわち、従来の方式と同様にキーフレーム又はキー領域の代表するセグメントへ移動することができるとともに、キーフレーム又はキー領域の代表するセグメントに対する原因を説明するインターバルへ、又はキーフレーム又はキー領域の代表するセグメントに対する結果を説明するインターバルへ移動することができる。更に、キーフレーム又はキー領域の代表するセグメントに対する詳説インターバルへ、又はキーフレーム又はキー領域の代表するセグメントに対する要約インターバルへ移動することができる。すなわち、ユーザがキーフレーム／キー領域ビューの一定の領域を選択する場合、上記したように経路選択を選び、ユーザの選択に基づいて移動する。ユーザがキーフレーム又はキー領域を選択してからどんな移動をするのかを選択すると、所望の位置に容易に移動することができる。

キーフレーム／キー領域ビューはフレーム等の１次元的羅列でディスプレイすることができ、ツリー構造又はグラフ構造でも表現することができる。意味的連結情報グラフビューは本発明で提案する意味的連結情報を表示し、ユーザの入力に基づいてアクションを取る部分である。意味的連結情報グラフビューは、現在ユーザにより選択されたセグメント、或いはディスプレイビューでディスプレイされるセグメントを中心としてセグメント間の意味的連結情報をノードとリンクで表現する。各ノードはセグメントを意味し、キーフレーム／キー領域又はテキスト等を用いてディスプレイし、リンクはセグメント間の意味的連結情報を表示する。

ユーザはノード又はリンクを選択することにより該当セグメントに容易にナビゲーションすることができる。従って、ユーザは意味的連結情報グラフビューでノード又はリンクを選択して所望のビデオシーケンスを作ってブラウジングすることもでき、所望の部分だけを選択して連続的な再生を要求することもできる。意味的連結情報グラフビューは一般にグラフ形態でディスプレイされるが、必要に応じて１次元ビュー又はツリー形態の構造にディスプレイされてもよい。ユーザは意味的連結情報グラフビューにディスプレイされる範囲を指定することができる。全体のビデオに対する意味的連結情報グラフビューを要求することもでき、現在選択されたセグメントに関連したセグメントだけをディスプレイするように要求することもでき、選択されたセグメントから幾ステップまでのリンクを要求することもできる。

また、本発明で提案するセグメント間の意味的連結情報を用いると、図５に示すようなインタフェースの外にも様々な方式のインタフェースを用いてビデオをブラウジングすることができる。又、各ノード（セグメント）を中心とするリンクを用いると、ストーリ展開の主要セグメント情報を自動的に得ることができるので、これを用いて主要セグメント又は事件インターバル別に手順化してユーザに提供することができる。

一般なビデオストリームの階層的区分方法を示す図。 ａは本発明のマルチメディアコンテンツに存するセグメント間の原因／結果関係の表現方法の一例を示す図、ｂは本発明のニュースビデオでの要約／詳説関係の表現方法の一例を示す図。 本発明のセグメント間の意味的連結情報の構造を概略的に示すブロック図。 一セグメントを例として、該セグメントを中心とするセグメント間の意味的連結情報のサブグラフの一例を示す図。 本発明のセグメント間の意味的連結情報を用いたビデオブラウジングインタフェースの実施例を示す図。

Claims (7)

1. マルチメディアストリームのセグメント間の関係についての情報を用いたビデオブラウジング方法であって、
   マルチメディアストリームのセグメントを指定するセグメント指定情報と、前記セグメント指定情報により指定されたセグメント間の原因と結果の関係情報と、前記セグメント指定情報により指定されたセグメント間の要約と詳説の関係情報とを含む、セグメント間の意味的連結情報を第１表示領域に表示する段階と、
   セグメント間の前記原因と結果の関係情報、又はセグメント間の要約と詳説の関係情報を前記意味的連結情報として選択できるキーフレーム又はキー領域を第２表示領域に表示する段階と、
   前記第１表示領域内の意味的連結情報に基づいてナビゲーションを実行する段階と、
   ユーザの前記第２表示領域内のキーフレーム又はキー領域の選択操作に基づいて、前記選択されたキーフレーム又はキー領域の代表セグメントに対する原因又は結果を説明するインターバルへ、又は前記選択されたキーフレーム又はキー領域の代表セグメントに対する要約又は詳説を説明するインターバルへ移動する段階とを有することを特徴とするビデオブラウジング方法。
2. 前記各セグメント指定情報がインターバル情報を含む請求項１記載のビデオブラウジング方法。
3. 前記各セグメント指定情報がストリームに関する情報を含む請求項１記載のビデオブラウジング方法。
4. 前記ストリームに関する情報がストリームの相対位置及び絶対位置の何れかである請求項３記載のビデオブラウジング方法。
5. 前記インターバル情報がセグメントの開始点と終了点として記述される請求項２記載のビデオブラウジング方法。
6. 前記インターバル情報がセグメントの開始点と長さに関する情報として記述される請求項２記載のビデオブラウジング方法。
7. 前記セグメント間の意味的連結情報は、さらに、前記セグメント間の原因及び結果の関係に関する付加的な加重値情報を含むことを特徴とする請求項１記載のビデオブラウジング方法。
   

Images