JP3667262B2 - ビデオスキミング方法及び装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディアの検索とブラウジングのためのシステムに関し、特に、ビデオコンテンツの構造的情報の中から、実際にビデオの内容展開による意味のある話の単位構造を基にして、ビデオの全体内容に対する要約的な理解と、ユーザー（使用者）が所望する部分への速い移動を可能にしたビデオスキミングシステムに関する。
【０００２】
【従来の技術】
記録媒体の発達とマルチメディアコンテンツの製作が容易になることに伴い、一般人が毎日接するようになるメディアの量が非常に膨大になってきた。マルチメディアコンテンツが膨大になるに連れて、ユーザーが所望するデータを選別してくれる自動化システムに対する要求が発生し、これを解決するための方策に対する研究が活発に進められている。特に、デジタル技術が発達したことによってビデオコンテンツはデジタル形態で保存され流通される傾向になっており、デジタル放送が大衆化されればこのようなメディアのデジタル化は更に加速化されるであろう。
【０００３】
このようなデジタルビデオコンテンツに対して、あるユーザーはニュースからスポーツ関連ニュースだけを視聴することを希望する場合があり、他の視聴者はニュースから証券関連ニュースだけを希望する場合がある。また、あるユーザーはショー番組で特定の人物が出演する場面だけを視聴したいということもある。このような様々なユーザーの要求を満たすために多様な研究が活発に行われている。
【０００４】
また、ユーザーは制限された時間内にビデオコンテンツの全体の内容を把握したいということもある。このような要求を満たすのが「ハイライト」である。一般に、ハイライトとは、ビデオコンテンツで重要な場面を集めて新たに構成したコンテンツと理解されている。「スポーツハイライト」、「映画予告篇」、「ヘッドラインニュース」などを通じて「ハイライト」に接することができる。しかし、ビデオコンテンツでハイライトを抽出することは、現在の技術で自動化することは非常に難しい。従って、ほとんど人間の手動作業に依存することが普通である。先に言及したように、メディアの量が爆発的に増加するに連れて、全てのビデオコンテンツに対してハイライトを手動で提供することは、多大な人力を要するので、ほとんど不可能である。従って、ユーザーに速い時間内に大体の内容を理解させることができる自動化システムが必要である。
【０００５】
デジタル技術が発達するに連れて、ビデオコンテンツでユーザーが所望の位置へ移動しようとする時にキーフレーム（ｋｅｙ ｆｒａｍｅ）を用いる方法がある。キーフレームを利用したビデオ要約を用いれば、ユーザーは所望の部分へ速く移動することができるという長所がある。しかし、キーフレームを用いてユーザーが所望の個所を容易に探すためには、多数のキーフレームが必要であり、制限されたディスプレイ空間に多数のキーフレームをディスプレイするのは難しいため、ユーザーに多くの選択作業を強いることになり非常に不便である。また、キーフレームを利用した方法では、一般に全体のビデオの内容を理解し難いという短所がある。
【０００６】
最近、デジタルビデオで所望の場面を探すための用途に用いる多様なビデオインデックシング技術が研究されている。特定人が出た場面だけを見ることを望むユーザーのために、ビデオの中から人が出てくる場面を探し出し、その人が誰であるかを認識する過程を通じて人物の登場に対する情報をインデックシングしたり、映画やスポーツなどで主要場面を抽出しこれをインデックシングする等の研究が行われている。しかし、ビデオはそのジャンルが非常に多様でジャンル別にインデックシングされるべきデータが非常に異なっており、現在の技術ではユーザーに意味のある情報を高いレベルの正確度をもって抽出することができる自動化システムの具現は非常に難しいこととされている。
【０００７】
一方、アナログビデオとは異なり、デジタルビデオでは早送り／巻き戻し機能を遂行するにあたって、画質の低下を防止することができる。
【０００８】
デジタルビデオで一般に用いられる高速再生の方法は、単位時間当りデコーディングするフレーム数を増やし、その中の一部分だけをディスプレイしたり一定部分をスキップしつつフレームをデコーディングしてディスプレイする方法が用いられる。
【０００９】
【発明が解決しようとする課題】
しかし、単位時間当りデコーディングするフレーム数を増やす方法は端末装置の性能によって最大速度が影響を受けるという短所があるので、一般にデジタルビデオの早送り／巻き戻しにおいては、一定部分をスキップしつつフレームをデコーディングしてディスプレイする方法を用いる。デジタルビデオでの早送り／巻き戻し技術は既存の技術中で、制限された時間内に全体の内容を把握しようとしたり所望の位置へ移動しようとするユーザーの要求に対応するための最も合理的な代案であるが、一定部分をスキップするにあたって、ほとんど時間的に一定の間隔を用いるのでユーザーは自身が所望する部分の場面を逃したり、重要でない部分が相対的に多く再生されるという短所がある。
【００１０】
【課題を解決するための手段】
本発明のビデオスキミング方法は、ビデオストリームに対するショットセグメンテーションによる構造的情報として物理的な編集単位である個別ショットの区間を認識する段階と、その認識された個別ショットの区間内で特定の一部分を該当ショットに対する内容を反映する再生すべきビデオ情報として選択する段階と、それぞれの個別ショット毎に選択されたビデオ情報を連続して再生する段階とを含んでいることをその特徴とする。
【００１１】
個別ショットの区間を認識した後に、再生するショットとスキップするショットを決定するショット選定段階をさらに含むことが望ましい。
【００１２】
ビデオストリームに対する構造的情報は、論理的なストーリの単位であるシーン情報と、物理的な編集単位であるショット情報とが、時間的な技術情報（開始位置と持続時間または開始位置と終了位置）と共に表示されたものである。ショットの特性に対する技術情報も同時に含ませることが望ましい。
【００１３】
ショット選定段階では、特性の類似したショットの中から、一部分をスキップし、残りの一部分のショットだけをスキミングのために用いるために選定することによって、類似した特性を有するショットが反復的に再生されるのを最小にすることができる。
【００１４】
類似したショットの中から再生に利用するショットを選定するにあたって、シーンの後半部に位置したショットであればあるほど、選択のための高い加重値を付与する方式でスキミングに用いるショットを選定することが望ましい。
【００１５】
それぞれのショットを代表する再生すべき部分（セグメント）は、該当ショットの前部分、後部分、中間部分、前部分と後部分を同時に用い、前記それぞれのショットを代表する再生すべき部分（セグメント）の長さは、各ショットで同一の長さに選択して再生することをその特徴とする。
【００１６】
それぞれのショットで再生する部分として選定されたセグメントの長さが該当ショットの長さよりも大きくなるように計算された場合、個別ショットで再生する部分の長さを該当ショットの長さ以下に減らすことが望ましい。
【００１７】
それぞれのショットを代表する再生すべき部分（セグメント）の長さは、個別ショット内のイメージ的／モーション的／オーディオ的類似性の平均値に基づいて、類似度が高ければ再生する長さを減らし、類似度が低ければ該当ショットで再生する長さを増やすようにすることが望ましい。
【００１８】
シーンを代表するショット内のイメージ的／モーション的／オーディオ的類似性は、ショット内での時間的位置が異なるフレーム、動きベクトル、オーディオデータの類似性である。
【００１９】
それぞれのショット内で再生されるセグメントの再生速度は可変的に制御することができるようにする。
【００２０】
単位時間当りデコーディングされるフレーム数を正常な場合よりも高くして再生速度を正常速度よりも速く再生したり、再生する区間内のフレーム全てをデコーディングせずに、中途の幾つかのフレームずつスキップして再生することによって、再生区間を高速再生するようにしても良い。
【００２１】
スキップを利用した高速スキミングをＭＰＥＧのようなフレーム間圧縮を用いるコーディングスキムを利用したビデオストリームに適用した時に、デコーディングするフレームは、他のフレームのデコーディングなしに該当フレームだけデコーディングしてフレームデータをえているＩフレームを利用する。
【００２２】
また、本発明によるビデオスキミング装置は、マルチメディアデータとしてデジタルビデオデータの検索とブラウジングが成されるために、ビデオスキミングのためのユーザー命令を入力するユーザーインターフェイス手段と、ユーザーインターフェイス手段で入力されたユーザー命令に従って該当ビデオファイルをビデオコンテンツに対する構造的情報に基づいてスキミング処理する制御手段と、制御手段にデジタルビデオデータと該当ビデオに対するインデックス情報としてビデオコンテンツに対する構造的情報を提供するためのビデオ情報ファイルと、制御手段によりスキミング処理されたビデオが再生されるディスプレイ手段とを含んでいることをその特徴とする。
【００２３】
ビデオコンテンツに対する構造的情報は、論理的なストーリの単位であるシーン情報を基にし、シーンの構成要素である物理的な編集単位であるショット情報から該当シーンを代表して再生されるショットを含むことが望ましい。
【００２４】
ビデオコンテンツに対する構造的情報は、該当シーンを代表して再生されるショット内で再生するセグメントをさらに含むことが望ましい。
【００２５】
ユーザーインターフェイス手段は、ビデオスキミングの程度として要約レベルを指定する手段や、ビデオスキミングの時の再生区間の倍速を指定する手段を含み、ビデオスキミングが行われる時にビデオの要約レベルや再生倍速を選択することができることが望ましい。
【００２６】
制御手段は、ユーザーの入力または基本設定を用いてスキミング条件に応じてインデックスファイルからショットセグメンテーション情報及びショットクラスタリング情報と関連したビデオインデックス情報を読取り、ビデオスキミングの条件に合うように再生するセグメントを計算して関連したメディアファイルで該当セグメントを連続的に再生し、ディスプレイ手段で出力する。
【００２７】
【発明の実施の形態】
デジタルビデオ技術の発達とイメージ／ビデオ認識技術の発達によってユーザーは所望のビデオを所望の時点で所望の部分だけを検索してブラウジングすることができるようになった。
【００２８】
非線形的なビデオブラウジングと検索のために最も基本になる技術は、ショットセグメンテーション技法とショットクラスタリング技法であり、この２種類の技術はビデオを分析するにあたって最も核心になる技術である。従って、今まで多くの研究がショットセグメンテーションに集中されており、ショットクラスタリング技術に対する研究が始まりつつである傾向にある。
【００２９】
多様な研究結果を土台とすればショットセグメンテーションは自動化することができ、ほとんどのアルゴリズムは９０％以上の高い正確度をもって具現されることができる。
【００３０】
また、ショットクラスタリング技術も、特徴的なイベントを検出したり一般的なショットの特性を用いてプログラムのジャンルに合うように技術を適用することによって、高いレベルの正確度をもって自動化されるようになった。
【００３１】
一般にビデオコンテンツは論理的に幾つかのストーリの単位に分けられる。このようなストーリの単位を一般に事件構造（イベント）またはシーンと称する。銃撃戦場面とか、対話場面などがこれに該当する。このようなシーンは幾つかのサブシーンまたはショットの連結で構成されている。
【００３２】
ショットとは、途中の妨害なしに一つのカメラから得られた一連のビデオフレームを意味する。これはビデオを分析したり構成する最も基本になる単位である。
【００３３】
一般にビデオは数多くのショットの連結で構成される。ショットセグメンテーションビデオとは、それぞれの個別ショットに分割する技法を意味し、ショットクラスタリングは、ビデオコンテンツをそれぞれの個別ショットとその特性に基づいてショットを論理的なシーン単位に再構成することによってビデオコンテンツの論理的なストーリを検出する過程を意味する。
【００３４】
前記したようになされた本発明のビデオコンテンツの構造的情報であるシーンとショット情報を利用したビデオスキミングシステムを添付した図面を参照してさらに詳細に説明する。
【００３５】
図１はショットセグメンテーション過程とショットクラスタリング過程を図式化したものである。一般に多くのショットセグメンテーションアルゴリズムは、同一のショット内ではイメージ的／モーション的／オーディオ的類似性が存在し、二つの異なるショット間にはイメージ的／モーション的／オーディオ的比類似性が計測される特性に基づいて実施され、且つショットクラスタリングは類似した特性を有するショットが一定の時間内に再び検出されることがあるという特徴に基づいて実施される。
【００３６】
一般にビデオハイライトはビデオストリームの内容展開において、意味上重要なセグメントを選択し、このセグメントを連続的に再生する方法である。
【００３７】
しかし、様々なビデオコンテンツに対して、内容展開においいて、意味上重要なセグメントを選択することは自動化することが非常に難しい。
【００３８】
ところで、ショットセグメンテーション情報をビデオスキミングに利用することとすると、全てのビデオに存在するショットを基準にしてショットの一定の部分だけを再生し残りの部分はスキップする方法を通じて元のストリームより短い長さを再生するようにするスキミング方法を駆使することができる。このようなスキミング方法は、ショットセグメンテーション技術が自動化可能であるため、完全自動化システムを構築することができるという長所があり、一般的なデジタルビデオに対する早送り／巻き戻しから発生する、重要でない場面が長く再生されるとか、重要な場面を逃す、という問題を減らすことができるという長所がある。
【００３９】
図２はショットセグメンテーション情報を利用したビデオスキミング方法を要約した図である。
図２において灰色で表示された部分は、ショットセグメンテーション情報を利用したスキミング方法で再生される部分を示したもので、残りの部分はスキップする部分を示したものである。
【００４０】
しかし、ショットセグメンテーション情報だけをビデオスキミングに用いる場合にはビデオコンテンツに存在する論理的なストーリであるシーン情報を用いないため、対話場面などのような特定事件の区間では反復的なショットが再生され続くという短所がある。
【００４１】
図３は対話場面が長く連結されるシーンにおけるショットの配列構造を図式化したものである。図３でそれぞれのショットはショットセグメンテーション過程を通じて検出されたショットの特性に基づいて英語大文字Ａ、Ｂ、Ｃ、Ｄで表現した。
【００４２】
つまり、図３で表現した対話場面は登場人物１と登場人物２が交互にクローズアップされて話を展開していくシーンで、多くのショットから構成されている。
【００４３】
しかし、ショットセグメンテーション情報だけをビデオスキミングに用いるのでは、対話場面内部の各ショットの一部分を全て再生するので、ユーザーには二人が対話をするという情報以外に、特に他の情報が追加に提供できないにも関わらず、このシーンが長く再生されるという短所がある。
【００４４】
本発明では、ビデオコンテンツの構造的情報としてシーン情報と共にショット情報を考慮してビデオスキミングを遂行することによって、前記したような短所を克服している。
【００４５】
つまり、本発明では全てのビデオに存在するシーンにおいてそのシーンを構成しているショットの中から、再生するショットとスキップするショットをまず選び出し、再生するショットに対してはそのショットを構成しているセグメント情報中のショットの一定部分（セグメント）だけを再生し、残りの部分はスキップする方法を通じて、元来のビデオストリームより短い長さを再生するようにするスキミング方法とその装置を提案している。
【００４６】
多様な研究結果によれば、ビデオコンテンツで銃撃場面、対話場面などの特定のイベントを検出できるようになり、それに基づいて、映画やドラマのようなコンテンツのシーン検出が可能であり、これを通じて目次（ＴｏＣ:Ｔａｂｌｅ ｏｆ Ｃｏｎｔｅｎｔ）形態のインデックス構造を自動に生成することができることが知られている。
【００４７】
図４は一般的なビデオコンテンツに対するストーリの単位を検出する過程を図式化したものである。
【００４８】
図３と同様に、それぞれのショットはショットセグメンテーション過程によって検出されたショットの特性に基づいて英語大文字で表現した。ドラマや映画の対話場面があるシーン内部のショット展開構造では、ほとんどＡ、Ｂ、Ａ、Ｂ、…のような特徴的なパターンが現れる。図４では一定の周期以内に特性の類似したショットの集まりが検出されると、該当区間を一つのシーンとして決定する過程を示す。図４でシーン１はショットの特徴値がＡ、Ｂ、Ｃであるショットからなっているシーンである。ショット１の三番目のＢ以降に一定の時間の間ショットの特徴値がＡ、Ｂ、Ｃであるショットが存在しないので、ショット１の三番目の終了時点をシーン１の終了時点として一つのシーンを検出する。図４のシーン２はショットの特徴値がＦ、Ｈ、Ｅであるショットからなっているシーンであり、このシーンの最後のショット以降に一定の時間の間ショットの特徴値であるＦ、Ｈ、Ｅが存在しないので、最後のＥをシーン２の終了時点として検出することができる。
【００４９】
このようなショットの検出方法以外にも、人の顔部分を自動的に検出し、検出された人が誰であるかを顔認識する過程を通してより正確な対話場面の検出が可能である。このような方式は一般的なドラマや映画によく適用される方式である。
【００５０】
本発明は、前述したように、ビデオコンテンツに対する構造的情報であるシーンとショット情報を用いてビデオスキミングを具現し、シーンを構成している個別ショットの中から、再生するショットをどのように選定するのか、再生するショットとして選定されたショット内で再生される部分とスキッピングする部分をどのように選定するのか、再生される部分の再生長さはどのように選定するのか、且つ再生区間内での再生方法はどのようにするのかを考慮する。
【００５１】
まず、図５は本発明のビデオスキミング方法を要約した図である。
図５ではショットセグメンテーションとショットクラスタリング過程を通じてインデックスされたビデオコンテンツの構造的情報を用いる。図５では構造的情報を利用したビデオスキミングの時に再生のために選択されたショットを灰色で表示し、スキップされるショットを白色で表示した。つまり、構造的情報を利用したビデオスキミングのために、システムは先ず各シーンに対して、再生されるショットを決定し、個別ショットに対する再生方法を編集する。
【００５２】
図５ではシーン１の各ショットの中から反復的なショットを再生しないために類似したショットの中から特徴的な場面だけを一回ずつだけ再生するようにした例である。
【００５３】
本発明でビデオストリームに存在するそれぞれのシーンに対して、シーンの構成要素であるショットの中から再生するショットとスキップするショットを決定するショット選定は以下のように行われる。
【００５４】
一つのシーンに多数の類似した特性のショットが存在する場合に代表的なショットを選定する方法は、特別な加重値の条件なしに選定してスキミングに用いたとしても、大体のシーンの内容を伝達することができる。しかし、一般的なドラマや映画のようなストーリでは一つのシーンの後半部により多くの情報が表現される場合がほとんどである。言い換えれば、導入部分は結末部分よりもその重要性が一般に落ちる。従って、類似したショットがシーン内に数回登場する時に、スキミングで再生するショットを選定する段階ではシーンの後半部にあるショットを再生するショットとして選定することが、同じ長さのスキミング方法でユーザーにより多くの情報を提供することができる。
【００５５】
図６はシーンの前半部からスキミングで再生するショットを選定する方法（図６の（ａ））とシーンの後半部から再生するショットを選定する方法（図６の（ｂ））を示したものである。
【００５６】
図６の（ａ）、（ｂ）は共に一つのシーンで類似したショットが存在する場合、一つのショットだけをスキミングのために選定する例であり、従って、図６の（ａ）ではＡ、Ｂ、Ｃのそれぞれのショット特性を有するショットの中から最初に出るショットを再生するショットとして選定し、図６の（ｂ）ではＡ、Ｂ、Ｃのそれぞれのショット特性を有するショットの中から最後に出るショットを再生するショットとして選定した。一般には、図６の（ｂ）の方法が図６の（ａ）の方法よりも一層ユーザーの満足度が高く現れる。
【００５７】
次に、各ショット内で再生される部分とスキップピングする部分を選定する方法について説明する。
【００５８】
ビデオコンテンツの構造的情報を利用したスキミングでは先程選定されたショットを連続的に再生することによって、ビデオコンテンツに対する要約を提供することができる。しかし、一般にショット全体を再生するビデオスキミング方式は要約のレベルが非常に低く、ユーザーは一般にショットの一部だけを視聴しても全体の内容を理解することができる。ビデオコンテンツの構造的情報を利用したビデオスキミングで再生のために選択されたショットから再生される部分を選定する方法は、無条件にショットの前部分を選択したり後部分または中間部分を選択することができる。図７はショットの前部分、後部分、中間部分または前／後部分を同時に用いてビデオスキミングを行う方式で再生される部分とスキップされる部分を示した図である。
【００５９】
しかし、ビデオのジャンルによって差異はあるが、実験の結果は、該当ショットの前部分をスキップし後部分を再生することが一般にユーザーの満足度が高く現れる。その理由は一般にショットの結末部分（例:サッカーのゴールイン場面など）がショットの内容を用いるにあたって導入や展開部分よりもさらに重要であり、ニュースのような番組で段階的な図表説明等の方法を用いる場合、ショットの前部分では内容の一部が表現され、最後部分で全体の内容が表現されるためである。
【００６０】
しかし、ビデオのジャンルによってはショットの前部分が一般に重要なこともあるが、その一例として、問題分析などを主にする教育放送などが挙げられる。このような放送では、ショットの前部分にどのような問題を扱うかに対する情報があり、その以降は問題分析が長く続くため、所望の部分を再生するためにはショットの前部分を再生することが後部分を再生することよりもユーザーにより多くの情報を提供することができる。
【００６１】
従って、本発明ではビデオのコンテンツの性格に応じてショット内で再生する位置を異なるように選定することができ、同じショット内でも前部分、中間部分、後部分を混用してスキミングを具現することができる。
【００６２】
次に、本発明で再生される長さを選定する方法について説明する。
各ショットで再生される長さを選定する方法は選定された全てのショットに対して同一の長さのセグメントを再生する部分として選定する方法と、ショットの特性を用いて各ショット毎に再生する長さを異なるように選定する方法とに分けることができる。
【００６３】
この時に用いるショットの特性は一つのショット内での平均的なイメージ的／モーション的／オーディオ的類似性に基づくことができる。つまり、一つのショット内でイメージ的／モーション的／オーディオ的類似性が大きければ大きいほど場面が単調なものであると判断することができるので、このような場面についてはスキップを多くし、ショット内でイメージ的／モーション的／オーディオ的類似性が小さければ内容が複雑な場面であると判断することができるので、このような場面についてはスキップを少なくする方式を用い、再生される単位セグメントの長さを内容に応じて動的に調整することができる。
【００６４】
この方法はショットの時間的な長さに依存せずに、内容が複雑な部分は少なくスキップし、内容が単調な部分は多くスキップする。したがって、選定された全てのショットに対して同一の長さのセグメントを再生する方法よりユーザーの理解度が高いレベルのビデオスキミングを提供することができる。
【００６５】
図８はショット内でイメージ的／モーション的／オーディオ的類似性に基づいた再生及びスキップを行う長さの選定方法の一例を示したものである。
【００６６】
図８のグラフで、横軸は時間を示し、縦軸はショット内でのイメージ的／モーション的／オーディオ的非類似性を測定して累積させた値である。このような非類似性データは、一般にショットセグメンテーションアルゴリズムで抽出可能なショット特性を示すデータである。
【００６７】
非類似度の一例として、隣接したフレームまたは一定の間隔で離れたフレーム間のカラーヒストグラムの差異が挙げられる。
【００６８】
図８では、ショットＡとショットＢは長さが相似しているが、ショットＡの平均変化率よりショットＢの平均変化率が大きいので、ショットＡでよりもショットＢでより多くの部分を再生する状況を表現した。
【００６９】
このように再生区間を設定するにあたって、ショットの長さを考慮しないと該当ショットの長さよりも再生する区間の長さが大きくなるエラー状況（ショットの長さが非常に短い場合）が発生することがあるので、本発明のスキミング方法では、単位区間の長さが該当ショットより大きくなる場合には例外的に該当ショットの全体を再生区間に選定したり該当ショットの長さを考慮して一部分を再生区間として選定することができる。
【００７０】
次に、ビデオコンテンツに対する構造的情報として前記したようにシーンとそのシーン内の再生するショット内での再生区間内での再生方法について説明する。
【００７１】
本発明によるビデオスキミングは順方向だけでなく逆方向に対しても適用が可能である。
【００７２】
それぞれのショット内で再生する区間に選定されたセグメントを連続的に再生すればユーザーは全体の内容を理解しながらも短時間にコンテンツに対する概要情報を得ることができ、所望の位置を探索するにあたって別途のものが必要でない。
【００７３】
本発明のビデオスキミング方法で、それぞれのショット内で再生する区間として選定されたセグメントを再生する方法は、大きく２つに分けることができる。
【００７４】
第１は、正常再生方法と同様な方法で各セグメントを再生する方法であり、第２は、再生区間内の一部のフレームだけをデコーディングし、区間内で再びスキップピングを用いて再生する方法である。
【００７５】
正常再生方法は非常に一般的であるので具体的な説明を省略し、再生区間内で一部のフレームだけをデコーディングして区間内でスキップピングを利用した再生方法を説明する。
【００７６】
再生区間内で一部のフレームだけをデコーディングして区間内でスキップピングを利用した再生方法は、高速スキミングを実現するための方法である。この時ディスプレイされるフレームは時間的に一定の間隔だけ離れたフレームを指定することができる。ＭＰＥＧのようなフレーム間圧縮を用いる方法ではフレーム間依存性のないＩフレームを指定することができる。
【００７７】
図９は再生区間内でスキップピングを利用した高速スキミング方法の一例を図式化したものである。このような方法を用いるとユーザーは実際に多くの情報を得ながら高速でビデオファイルを再生する効果を経験することができる。
【００７８】
以上説明したように、本発明のビデオコンテンツの構造的情報を利用したビデオスキミング方法は二段階でセグメントを指定することがその特徴であり、図１０はこのような本発明のビデオコンテンツの構造的情報を利用したビデオスキミング方法を要約した図である。
【００７９】
ビデオスキミングが要求されると、システムはビデオコンテンツに対するショット及びシーン情報を含んだビデオコンテンツの構造的情報が保存されたインデックスファイルがロードされる。システムは各シーンに対して、どのショットを再生するのか、どのショットをスキップするのかを決定し（ショット選定段階）、ビデオスキミングのために選定された各ショットに対して、再生するセグメントとスキップするセグメントを決定し（セグメント指定段階）、二段階の編集過程を通じて再生するセグメントを連続的に再生装置で出力する。
【００８０】
図１０では第１段階のショット選定段階を経て再生するショットを灰色で表示し、選定されたショットで一部分だけ（セグメント）を再生し残りの部分をスキップすることができることを図式化した。
【００８１】
図１１はビデオスキミングのための本発明のスキミング装置の実施形態を示したものである。
【００８２】
図１１に示すように、本発明のビデオスキミング装置は、ビデオスキミングの程度とスキミングで用いた倍速などのユーザー命令を入力するためのユーザーインターフェイス部１０１と、ユーザーインターフェイス部１０１に入力されたユーザー命令に従って該当ビデオファイルをショット及びシーンに対するインデックシング情報に基づいてスキミング処理する主制御部１０２と、主制御部１０２にデジタルビデオストリーム情報を提供するメディアファイル１０３と、メディアファイルに該当する構造的情報としてシーン及びショットに対するインデックシング情報を提供するインデックスファイル１０４と、主制御部１０２によりスキミング処理されたビデオが再生されるディスプレイ装置部１０５とを含んでいる。
【００８３】
図１１の本発明のビデオスキミングシステムでインデックスファイル１０４はメディアファイル１０３に含ませることができる。ディスプレイ装置部１０５はビデオストリームをディスプレイするモニター、スピーカー等の出力装置であり、ユーザーインターフェイス部１０１はユーザーの入力を受け入れるキーボード、マウス、リモコン、ボタンなどの入力手段を意味する。
【００８４】
メディアファイル１０３は（オーディオをも含めた）ビデオデータが保存されたファイルであり、インデックスファイル１０４はショットクラスタリング及びショットセグメンテーション情報が含まれたビデオに対するインデックス情報が保存されたファイルである。
【００８５】
ユーザーはユーザーインターフェイス部１０１を用いてビデオスキミングを要求する。
ビデオスキミングを要求する時には要約のレベル（スキミングの程度）を指定することができ、スキミングで用いる倍速を指定することができる。つまり、ユーザーは全体のビデオを何分内に圧縮して視聴するかをユーザーインターフェイス部１０１を用いて指定し、主制御部１０２はユーザーの入力に対応してメディアファイル１０３とそれによるインデックスファイル１０２の情報からどのショットのどの部分をスキミングのために再生するのか、各セグメントは何倍速で再生するのかを決定する。このような過程が終わると、主制御部１０２はメディアファイル１０３をデコーディングして該当フレームをディスプレイ装置部１０５にディスプレイすることによって、ユーザーにビデオスキミング機能を提供する。
【００８６】
【発明の効果】
前述したように、本発明はデジタルビデオ環境で制限された時間内に全体の内容を把握しようとしたり所望の位置へ移動しようとするユーザーの要求に同時に対応するビデオスキミング方法を提案した。
【００８７】
本発明は既存のビデオスキミングで発生し得る問題点である、重要でない部分が相対的に多く再生されたりユーザーが実際に所望する場面を逃したりする確率を最小にして、対話場面や特定場面が交互に繰り返される場面が再生され続く確率を最小化した。
【００８８】
本発明のビデオスキミング方式は所望の位置へ移動しようとするユーザーの要求に対してユーザー入力の必要性を最小化させることができる。
【００８９】
本発明のビデオスキミング機能を用いると、ユーザーは短時間内に全体の内容を把握することができ、全体の内容を把握するにあたって重要な部分を逃すことなく、鬱陶しい部分を簡単に過ぎることができるという長所がある。
【００９０】
また、ユーザーは所望の位置へ移動しようとする時にも本発明のビデオスキミングを用いることができ、これはキーフレームを利用した方式よりユーザーの入力要求が非常に小さいという長所がある。
【００９１】
結局、本発明はビデオハイライト再生のような用途に利用することができ、各ショットの再生する区間を再生するにあたって高速再生方式と一緒に用いるとユーザーの入力要求を最小化し、所望の場面を迅速に探索する機能として活用することができる。
【図面の簡単な説明】
【図１】 ショットセグメンテーションとクラスタリングの概念を説明するための図。
【図２】 ショットセグメンテーション情報を利用したビデオスキミング方法の概念を説明するための図。
【図３】 対話場面シーンのショット展開方式の例を示した図。
【図４】 ショット特性を利用したシーン検出方法の例を示した図。
【図５】 構造的情報を利用したスキミングで再生するショットとスキップするショットの選定方法の例を示した図。
【図６】 シーン内部でショットの位置と反復情報を考慮したスキップするショットと再生するショットの選定方法を説明するための図。
【図７】 ショット内でスキップする部分と再生する部分の選定方法を説明するための図。
【図８】 ショットの非類似度特性を利用した動的な単位再生長さ選定方法の例を示した図。
【図９】 スキッピングを利用した高速スキミング方法を説明するための図。
【図１０】 ビデオコンテンツの構造的情報を利用したスキミング方法を説明するための図。
【図１１】 ビデオコンテンツの構造的情報を利用したビデオスキミングのためのシステム構成の例を示した図。
【符号の説明】
１０１ ユーザーインターフェイス部
１０２ 主制御部
１０３ メディアファイル
１０４ インデックスファイル
１０５ ディスプレイ装置部

Claims (16)

1. ビデオストリームに対するショットセグメンテーションによる構造的情報として物理的な編集単位である個別ショットの区間を認識する段階と、
   前記認識された個別ショットの区間内で特定の一部分を該当ショットに対する内容を反映する再生すべきビデオ情報に選択する段階と、
   それぞれの個別ショット毎に選択された前記ビデオ情報を連続して再生する段階と
   を含み、さらに、前記個別ショットの区間を認識した後に、シーンを構成する各ショットの中で特性の類似したショットを再生すべきショットとして決定するショット選定段階を含み、前記ショット選定段階では、特性の類似したショットの中から再生に利用されるショットを選定するにあたって、前記シーンの後半部に位置したショットを選定することを特徴とするビデオスキミング方法。
2. 前記ビデオストリームに対する構造的情報は、論理的なストーリの単位であるシーン情報と、物理的な編集単位であるショット情報とが、開始位置と持続時間または開始位置と終了位置のような時間的な技術情報と共に表示され、そこにショットの特性値を表す情報がさらに含まれていることを特徴とする請求項１に記載のビデオスキミング方法。
3. 前記それぞれのショットを代表する再生すべき部分であるセグメントは、該当ショットの前部分、後部分、中間部分、前部分と後部分を同時に用いることを特徴とする請求項１に記載のビデオスキミング方法。
4. 前記それぞれのショットを代表する再生すべき部分であるセグメントの長さは、各ショットで同一の長さに選択して再生することを特徴とする請求項１に記載のビデオスキミング方法。
5. 前記ショット選定段階により選定された個別ショットの長さが短い場合、この個別ショットの全体を再生区間として選択することを特徴とする請求項１に記載のビデオスキミング方法。
6. 前記それぞれのショットを代表する再生すべき部分であるセグメントの長さは、個別ショット内のイメージ的／モーション的／オーディオ的類似性の平均値に基づいて、類似度が高ければ再生する長さを減らし、類似度が低ければ該当ショットで再生する長さを増やすことを特徴とする請求項１に記載のビデオスキミング方法。
7. 前記シーンを代表するショット内のイメージ的／モーション的／オーディオ的類似性は、ショット内での時間的位置が異なるフレーム、動きベクトル、オーディオデータの類似性であることを特徴とする請求項６に記載のビデオスキミング方法。
8. 前記それぞれのショットで再生する部分として選定されたセグメントの長さが該当ショットの長さよりも大きくなるように計算された場合、個別ショットで再生する部分の長さを該当ショットの長さ以下に減らすことを特徴とする請求項６に記載のビデオスキミング方法。
9. 前記それぞれのショット内で再生されるセグメントの再生速度を制御できることを特徴とする請求項１に記載のビデオスキミング方法。
10. 前記再生する区間内のフレーム全てをデコーディングせずに、中途の幾つかのフレームずつスキップして再生することによって、前記再生区間を高速再生することを特徴とする請求項９に記載のビデオスキミング方法。
11. 前記スキップを利用した高速スキミングをＭＰＥＧのようなフレーム間圧縮を用いるコーディングスキムを利用したビデオストリームに適用した時に、デコーディングするフレームは、他のフレームのデコーディングなしに該当フレームだけデコーディングしてフレームデータを得ることができるＩフレームであることを特徴とする請求項１０に記載のビデオスキミング方法。
12. マルチメディアデータとしてデジタルビデオデータの検索とブラウジングが行われるために、ビデオスキミングのためのユーザー命令を入力するユーザーインターフェイス手段と、
    前記ユーザーインターフェイス手段で入力されたユーザー命令に従って該当ビデオファイルをビデオコンテンツのシーンとショット情報を示す構造的情報に基づいてスキミング処理する制御手段と、
    前記制御手段にデジタルビデオデータと該当ビデオに対するインデックス情報としてビデオコンテンツの前記構造的情報を提供するビデオ情報ファイルと、
    前記制御手段によりスキミング処理されたビデオが再生されるディスプレイ手段と
    を含み、前記制御手段は、ビデオ情報ファイルから提供されたビデオコンテンツの構造的情報に基づき、個別ショットの区間を認識するとともに、シーンを構成する各ショットの中で特性の類似したショットを再生すべきショットとして選定し、かつ特性の類似したショットの中から再生に利用されるショットを選定するにあたっては、前記シーンの後半部に位置したショットを選定することを特徴とするビデオスキミング装置。
13. 前記ビデオコンテンツの構造的情報は、論理的な話の単位であるシーン情報を基にし、シーンの構成要素である物理的な編集単位であるショット情報から前記該当シーンを代表して再生されるショットを含むことを特徴とする請求項１２に記載のビデオスキミング装置。
14. 前記ビデオコンテンツの構造的情報は、前記該当シーンを代表して再生されるショット内で再生するセグメントをさらに含むことを特徴とする請求項１３に記載のビデオスキミング装置。
15. 前記ユーザーインターフェイス手段は、ビデオスキミングの程度を表す要約レベルを指定する手段と、ビデオスキミングの時の再生区間の倍速を指定する手段とを含み、ビデオスキミングが行われる時にビデオコンテンツの前記要約レベル及び再生倍速を選択することができることを特徴とする請求項１２に記載のビデオスキミング装置。
16. デジタルビデオデータ、ビデオコンテンツの論理的な話の単位構造であるシーン情報、ビデオコンテンツの物理的な編集単位であるショット情報を保存する保存手段と、
    ビデオスキミングのために前記ビデオデータに該当する前記シーン情報を基にして特定のシーンを代表するショット情報を検出する検出手段と、
    前記検出されたショット内で再生するセグメントとスキップするセグメントを選定する手段と、
    前記選定された再生すべきセグメントを前記保存手段で連続的に読取って再生する手段と
    を含み、前記検出手段は、シーンを構成する各ショットの中で特性の類似したショットを再生すべきショット情報として検出するとともに、特性の類似したショットの中から再生に利用されるショットを検出するにあたっては、前記シーンの後半部に位置したショットを特定のシーンを代表するショット情報として検出することを特徴とするビデオスキミング装置。

Images