JP3951556B2

JP3951556B2 - 選択されたクラスタからキーフレームを選択する方法

Info

Publication number: JP3951556B2
Application number: JP2000153911A
Authority: JP
Inventors: ガーゲンショーンアンドレアス; エス．ボレッキージョン
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1999-05-28
Filing date: 2000-05-25
Publication date: 2007-08-01
Anticipated expiration: 2020-05-25
Also published as: US6807306B1; JP2001022792A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像処理の分野に関する。本発明は、特定の内容を自動的に配置する目的でビデオ画像を処理する分野に関する。詳細には、本発明はビデオの可視内容を表示するか又は要約するために用いられるビデオからのキーフレームの選択に関し、キーフレームは様々な目的のためにキーフレームを利用する各種のアプリケーションのうちの何れか１つによって用いられることができる。
【０００２】
【従来の技術】
録画されたミーティング又は発表などのビデオの集積を検討する際、ユーザはこれらのドキュメントの概要にのみ関心をもつことが多い。ＦＸパロアルト研究所(FX Palo Alto Laboratory)では、週１度のスタッフミーティング及び他のセミナーや発表が数個のビデオカメラが装備された会議室において催される。全ての公式のミーティングと大抵の発表がビデオテープに録画され、ＭＰＥＧコード化され、社内イントラネットを介してスタッフに利用可能とされる。これらのビデオは総計約３時間／週に達し、１５０時間以上のビデオがデータベース中に存在する。適切なビデオファイルとビデオの関心のある部分とを見つけ出すのは困難なことが多い。ミーティング及びビデオ会議において成された決定の永久的な記録としてビデオが何度も用いられるため、関連する情報を含む部分又はむしろ決定が成されたミーティングを配置することがより重要となる。ユーザが特定のビデオの経過部分を迅速に配置することを助長し、ビデオの可視概要をユーザに提供することが望ましい。
【０００３】
キーフレームは、個々のビデオを区別するため、ビデオを要約するため、及びビデオにアクセスポイントを備えるために用いられる。適切なキーフレームはビデオの選択を助長し、記載事項が視覚的に一層注意をひくようにする。しかしながら、ビデオ全体を最もよく表す単一のフレームを決定することは困難である。単一のキーフレームに基いてビデオを区別することもまた困難であるため、多数のキーフレームを備えることが望ましい。上記から明白であるように、ビデオクリップ全体を詳述する１セットのキーフレームを決定する必要性がある。
【０００４】
大抵の関連技術が、映画、ＴＶコメディ、及びニュース番組などの専門的に製作された資料に適用された。その技術はビデオをショット毎に分け、次にそれらのショットに対応するキーフレームを見出すことに専念した。この技術の成果は本発明の方法のアプリケーションに直接適用可能ではない。第１に、ビデオテープに録画されたミーティングや発表は特別な様式で製作され、そのため、確立された製作技法に依存するのは妥当ではない。第２に、各ショットから１つ以上のキーフレームを用いることは、多数のアプリケーションに必要とされるよりもたくさんのキーフレームを生じる。
【０００５】
文献に述べられる従来システムの多くは、各々の検知されたショットに一定数のキーフレームを用いる。いくつかのシステムは、各ショットの最初のフレムをキーフレームとして用いる。その他のシステムは、２つのキーフレーム、すなわち、各ショットの最初と最後のフレーム、によってショットを表す。他のシステムは、各ショット内のフレームにクラスタリングを行う。最大クラスタの中央に最も近接したフレームがそのショットのキーフレームとして選択される。いくつかのシステムは、カメラの動作によるショットを表す合成画像を生成する。
【０００６】
他の従来システムは、より関心のある可視内容を有するショットを表すためによりたくさんのキーフレームを用いる。いくつかのシステムは、ビデオをショットのセグメントに分け、各ショットの最初の鮮明なフレームをキーフレームとして選択する。その前のキーフレームとは十分に異なるそのショット中の他のフレームは、同様にキーフレームとして選定される。
【０００７】
キーフレームの数を削減する１つの方法は、重複を取り除くことである。ある従来アプローチは、各ビデオショットに１つのキーフレームを選択する。次に、これらのキーフレームは可視類似性と時間間隔に基いてクラスタ化される。それらの目的は、ビデオの構成を決定するためにショットをグループ化することであるため、時間規定は、時間的に離れて生ずるキーフレームが一緒にグループ化されることを防ぐために用いられる。
【０００８】
従来システムは、ビデオを同じ長さの間隔部分に分け、最初と最後のフレームとの間で最も大きな相違を有する間隔部分を決定する。それらの（最初と最後のフレームとの間で最も大きな相違を有する）間隔からは全てのフレームが保持されるが、各々の残りの間隔からは２フレームのみが保持される。プロセスは、所望の数又はそれ以下の数のフレームが残されるまで繰り返される。このアプローチは、かなり局部的な類似性のみを考慮し、フレームの分布又は最小間隔に制限を適用することができない。
【０００９】
従来システムは、更に、ショットの境界を無視して均等に離間されたキーフレームを用いる、ビデオシーケンスの代替的描写を提供する。
【００１０】
従来システムは、必要数の代表キーフレームを抽出する目的を満たさない。存在するシステムは、キーフレームの数を限定する制御を提供するだけか、又は真の代表フレームを見つけるのに適切なジョブを実行しないか、のいずれかである。加えて、他のシステムはキーフレームの分布とスペーシング（間隔）に時間規定を適用しない。
【００１１】
従来の均等に間隔をあけられたキーフレームは、ビデオ内容の十分な記載を提供しない。従って、上記から明白であるように、ビデオ内容の十分な記載を提供するキーフレーム選択方法の必要性が存在する。
【００１２】
デジタル化された多数のビデオを含む集積にアクセスする際、適切なビデオファイルと関心のあるビデオ部分との両方を見つけ出すのは従来の方法では困難である。ビデオへのアクセスを提供するために多種のアプリケーションにおいてキーフレームが用いられる。しかしながら、大抵の従来のアルゴリズム（手法）は時間を考慮しない。また、大抵の従来のキーフレーム選択のアプローチは、ショット毎に１つ又は数個のキーフレームを選択する前に、まずビデオをショットに分ける。時間規定はキーフレームを空間的に時間の尺度に位置合わせするため、本発明に従って、選択されたビデオフレーム上に時間規定が定められる。本発明に従って、候補フレームの選択は明示的な事前のショットセグメンテーション（ショットの分割）を何も必要としない。代わりに、実際のショット境界数よりも大幅に多数の候補境界が決定され、それらの境界の前後のフレームが選択される。本発明の方法は、重要なキーフレームを逃さずに、ショット中の有意な変化に快進的に対処する。ほとんどの従来のキーフレーム選択のアルゴリズムは、１ショット毎に少なくとも１つのキーフレームを選択するが、本発明に従った方法は、リクエストされた数のキーフレームだけを戻すことにより、ショット数よりも大幅に少数のキーフレームを選択する。本発明に従った方法は、階層クラスタリング法を用いて候補フレームからキーフレームを選択する。
【００１３】
画像の類似性に基いたキーフレームの選択方法は、様々な時間規定に応じる可変数のキーフレームを生成する。階層クラスタリングアプローチは、リクエストされたキーフレームの数だけのクラスタを決定する。時間規定は、各クラスタからどの代表フレームがキーフレームとして選択されるかを決定する。スライド画像や人々のクローズアップなどの特徴の検知は、フレームのクラスタリングを変更して所望の特徴を有するキーフレームを強調するために用いられる。
【００１４】
【発明が解決しようとする課題】
本発明は、互いに異なるキーフレームを決定し、ビデオ全体に関する適切な描写を提供する方法を含む。キーフレームは、ビデオを互いに識別し、ビデオを要約し、また、ビデオへのアクセスポイントを提供するために用いられる。本発明の方法は、ビデオ中のフレームをクラスタ化し、各クラスタから代表フレームを選択することにより、何れかの数のキーフレームを決定する。時間規定は数個のクラスタをフィルタリングして、クラスタの代表フレームを決定するために用いられる。ビデオの集積をブラウジング（走査検索）するアプリケーションは、スキミング（ざっと試写すること）を支援し、可視の要約を提供するためにキーフレームを利用する。
【００１５】
【課題を解決するための手段】
本発明では、候補フレーム選択の方法は所定の固定された定期間隔においてソースビデオのソースフレームをサンプリングすることを含む。固定された定期間隔はビデオのタイプによる関数であるのが好ましく、約０．２〜０．５秒の範囲内であるのが好ましい。フレームの差異は、各々のサンプリングされたフレームに関して計算され、そのサンプリングされたフレームと前回サンプリングされたフレームとの差異を示す。最大のフレーム差異は候補の境界を表し、Ｎ個までの候補フレームを得るために、Ｎ／２番目の最大候補境界の前後のフレームが候補フレームとして選択される。任意で、フレームのクラスメンバーシップに従って間隔基準が変更される。フレームのクラスメンバーシップは、任意で画像クラス統計モデルから統計的に計算される。
【００１６】
キーフレームを選択する方法は、階層群クラスタリングアルゴリズムを用いてすべての候補フレームを階層２分木にクラスタ化することを含む。まず、全てのフレームは単一フレームのクラスタであると考えられる。あらゆる２つのフレーム（２つのクラスタの各々から１つずつのフレームが選択される）間の最小の対間隔を有する２つのクラスタがより大きなクラスタの２つの成分クラスタとなる。クラスタリングは、単一のルートクラスタが全ての候補フレームを含むまで連続して行われる。任意で、２つのクラスタのメンバの対間隔は、画像クラス統計モデルから統計的に決定されるのが好ましいメンバのクラスメンバーシップに従って変更される。
【００１７】
キーフレームが抽出されるＭ個のクラスタを選択する方法はクラスタの階層２分木の（Ｍ−１）個の最大クラスタを分割することを含む。クラスタの大きさは、クラスタに含まれる全てのサブクラスタ内のフレームの数によって決定される。任意で、少なくとも最小時間の中断されないフレームのシーケンスを少なくとも１つ有さないクラスタがフィルタリングされて取り除かれる。像の歪みなどのビデオの人為的誤差を表しがちであるため、単一のフレームを表すクラスタはフィルタリングされて取り除かれるのが好ましい。
【００１８】
ビデオの全ての部分のキーフレームの包含を保障し、キーフレーム間の少なくとも最小離間距離を保障することを試みるために、キーフレームを選択する方法は時間規定を適用する。ソースビデオの時間は、等時間間隔に分けられる。間隔部分がキーフレームを有さない場合、少なくとも２つのキーフレームを有するその他の全ての間隔がキーフレーム数の多い順に調べられ、キーフレームを１つも有さない間隔部分内にメンバを有するクラスタ内にキーフレームを見つけようとする。このようなキーフレームが見つかると、メンバはキーフレームとしてクラスタに置き換えられ、それによりキーフレームの分布を広げる。キーフレームの最小離間距離を補償するために、あらゆる２つのキーフレーム間の最小時間が決定される。この最小時間が最小時間の閾値未満である場合、２つの異なるキーフレームが属する２つのクラスタのうちの１つ又は両方から他のキーフレームを見出す試みがなされる。代用を見つけることができない場合、異なるキーフレームのうちの１つが削除される。
【００１９】
従って、ビデオ中の全てのフレームの適切な描写を提供する可変数のキーフレームが本発明に従って決定される。本発明に従って、階層クラスタリングが実行され、各クラスタから単一のフレームが選択される。代替案において、ユーザ又はアプリケーションによってより多数又はより少数のキーフレームが求められる場合、本発明に従ってクラスタの数は容易に増加又は減少される。本発明に従って、時間規定は好適でないクラスタをフィルタリングして取り除き、各クラスタ用に代表フレームを選択するために用いられる。キーフレームが時間的に互いに近接しすぎることを防ぐために、本発明は時間規定を用いる。
【００２０】
本発明の第１の態様は、ソースビデオのソースフレームからキーフレーム選択のための候補フレームを選択する方法であって、複数のサンプリングされたフレームの各々について、該サンプリングされたフレームと前にサンプリングされたフレームとのフレーム差異を計算するステップと、最大フレーム差異に対応するサンプリングされたフレームを候補フレームとして選択するステップと、を含む、候補フレームを選択する方法である。
【００２１】
本発明の第２の態様は、本発明の第１の態様において、前記計算するステップの前に、所定の固定された周期間隔で前記ソースビデオのソースフレームをサンプリングして、複数のサンプルフレームを抽出するステップを更に含む方法である。
【００２２】
本発明の第３の態様は、本発明の第２の態様において、サンプルフレームを選択する前記ステップが、Ｎ／２番目の最大フレーム差異の前後にサンプリングされたフレームを前記候補フレームとして選択することを特徴とする方法である。
【００２３】
本発明の第４の態様は、本発明の第２の態様において、前記フレーム差異が、所定の画像の種類に属すると決定される２つのフレームを得るために変更される方法である。
【００２４】
本発明の第５の態様は、本発明の第４の態様において、前記フレーム差異が、信頼評点の利用によって前記所定の画像の種類に属すると決定される２つのフレームを得るために軽減される方法である。信頼評点は、検知された特徴と、統計モデルによる評点の計算を表す。
【００２５】
本発明の第６の態様は、本発明の第２の態様において、２つのフレームのうちの少なくとも１つが前記所定の画像の種類に属すると決定される際に、前記フレーム差異が増大される方法である。
【００２６】
本発明の第７の態様は、本発明の第２の態様において、前記サンプルフレームを選択するステップが、Ｎ個の候補フレームが選択されるまでの最大フレーム差異の前後にサンプリングされたフレームを選択することを含む方法である。
【００２７】
本発明の第８の態様は、本発明の第７の態様において、Ｎ／２は、前記ソースビデオ中のショット境界の予想される数よりも大幅に大きい方法である。
【００２８】
本発明の第９の態様は、（ａ）最大クラスタをその２つの成分クラスタに分割するステップと、（ｂ）前記ステップ（ａ）で実行された前記分割からＭ個未満のクラスタが得られたか否かを決定するステップと、（ｃ）前記ステップ（ｂ）が、前記ステップ（ａ）で実行された前記分割からＭ個未満のクラスタが得られたと決定した場合、前記ステップ（ａ）に戻るステップと、を含むキーフレームが抽出されるＭ個のクラスタを階層２分木から選択する方法である。
【００２９】
本発明の第１０の態様は、本発明の第９の態様において、前記ステップ（ａ）と前記ステップ（ｂ）との間に、少なくとも最小閾値所要時間の中断されないフレームのシーケンスを少なくとも１つ有さないクラスタをフィルタリングして取り除くステップ（ｄ）を更に有する方法である。
【００３０】
本発明の第１１の態様は、本発明の第１０の態様において、前記最小閾値所要時間がソース資料の型から起来する方法である。
【００３１】
本発明の第１２の態様は、本発明の第９の態様において、前記ステップ（ａ）と（ｂ）との間に、単一フレームのみを有するクラスタをフィルタリングして取り除くステップ（ｅ）を更に有する方法である。
【００３２】
本発明の第１３の態様は、（ａ）前記ソースビデオから複数の候補フレームを選択するステップと、（ｂ）前記候補フレームの各々をそれ自身の対応するクラスタに割り当てるステップと、（ｃ）２つの成分クラスタを含むクラスタを形成するステップと、（ｄ）単一のクラスタが全ての候補フレームを含む場合、前記ステップ（ｃ）に戻るステップと、（ｅ）前記ステップ（ｃ）及び前記ステップ（ｄ）によって形成される、候補フレームの階層２分木からＭ個のクラスタを選択するステップと、（ｆ）前記ステップ（ｅ）で選択されたＭ個のクラスタの各々から１つのキーフレームを抽出するステップと、を有する、ソースビデオからＭ個のキーフレームを選択する方法である。
【００３３】
本発明の第１４の態様は、本発明の第１３の態様において、前記ステップ（ｃ）の２つの成分クラスタは、１つのフレームが２つの成分クラスタの各々から得られるあらゆる２つのフレーム間に最下位最大対間隔を有する２つのクラスタである方法である。
【００３４】
本発明の第１５の態様は、本発明の第１４の態様において、所定の画像の種類に属すると決定される２つのフレームを得るために前記対間隔が変更される方法である。
【００３５】
本発明の第１６の態様は、本発明の第１５の態様において、信頼評点の利用により、前記所定の画像の種類に属すると決定される２つのフレームには、前記対間隔が縮小される方法である。
【００３６】
本発明の第１７の態様は、本発明の第１４の態様において、前記２つのフレームのうちの少なくとも１つが前記所定の画像の種類に属すると決定される際、前記対間隔が拡長される方法である。
【００３７】
本発明の第１８の態様は、（ａ）各選択されたクラスタについて、他の選択されたクラスタのメンバによって中断されないメンバの最長シーケンスを決定するステップと、（ｂ）各選択されたクラスタについて、メンバの最長シーケンスの中央に最も近接したフレームを前記選択されたクラスタのキーフレームとして選択するステップと、を有する、選択されたクラスタからキーフレームを選択する方法である。
【００３８】
本発明の第１９の態様は、本発明の第１８の態様において、（ｃ）ソースビデオの所要時間を等しい所要時間の間隔に分割するステップと、（ｄ）等しい所要時間の間隔の各々について、選択されたキーフレームの数を数えるステップと、（ｅ）選択されたキーフレームを得るために、等しい所要時間の間隔を調査するステップと、（ｆ）前記ステップ（ｅ）が、等しい所要時間の間隔が選択されたキーフレームを全く有さないと決定した際、選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを有する選択されたクラスタからキーフレームを得るために、少なくとも２つのキーフレームを有する他の等しい所要時間の間隔を降順のキーフレーム計数順序で調査するステップと、（ｇ）前記ステップ（ｆ）が、前記選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを見出した場合、前記選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを有する前記選択されたクラスタから前記キーフレームを除去するステップと、（ｈ）前記ステップ（ｆ）が、前記選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを見出した場合、前記選択されたキーフレームを全く有さない前記等しい所要時間の間隔中のメンバを、前記選択されたキーフレームを全く有さない前記等しい所要時間の間隔のキーフレームとして選択するステップと、（ｉ）全ての等しい所要時間の間隔に前記ステップ（ｅ）が実行されていない場合、前記ステップ（ｅ）に戻るステップと、を更に有する、方法である。
【００３９】
本発明の第２０の態様は、本発明の第１８の態様において、（ｊ）２つのキーフレーム間の最小時間を見出すステップと、（ｋ）２つのキーフレーム間の前記最小時間をキーフレーム離間間隔の最小時間閾値と比較するステップと、（ｌ）前記ステップ（ｋ）が、２つのキーフレーム間の前記最小時間が前記キーフレーム離間間隔の最小閾値未満であると決定する場合、前記２つのキーフレームが属する対応する２つのクラスタについて、フレームが少なくとも前記最小時間閾値によって離間されていると認められるまで、まず、一方のクラスタの、次に他方のクラスタの、及び最終的に同時に両方のクラスタの他のメンバを選択することを試みるステップと、を更に有する方法である。
【００４０】
本発明の第２１の態様は、本発明の第２０の態様において、（ｍ）前記ステップ（ｌ）が、少なくとも前記最小時間閾値によって離間されているフレームを見出さない場合、前記２つのキーフレームのうちの１つを除去するステップと、（ｎ）前記ステップ（ｌ）が実行される場合、ステップ（ｊ）に戻るステップと、を更に有する方法である。
【００４１】
キーフレーム抽出機構を用いるアプリケーションは、ビデオテープに録画されたスタッフミーティングや発表の集積にユーザがアクセスすることを可能にする。キーフレームのスキミングインターフェースは、適切なビデオを見つけ出し、その概要を得る作業を大幅に単純化する。本発明のこれら及び他の態様、特徴、及び利点は、発明の実施の形態において完全に説明される図から明白となるであろう。図中では、同様のステップが同様の参照番号によって示される。図は、発明の実施の形態において、記述様式でより綿密に説明される。
【００４２】
【発明の実施の形態】
ビデオへのアクセスを提供するための様々な手段において、キーフレームが用いられる。しかしながら、ビデオクリップ全体を適切に説明する１セットのキーフレームを決定することは難しい。加えて、いくつかのアプリケーションは、キーフレームの厳密な数、時間中のキーフレームの最小間隔、時間全体にわたる均等な分布などの付加的な必要条件を確立する。本発明は、ビデオクリップ全体を要約する１セットのキーフレームを抽出すると共に異なる時間規定に従う方法を含む。ショットの数よりも大幅に多数又は大幅に少数のキーフレームを供給する能力とクラスタリングと共に時間規定を利用することは、共に本発明の新たな態様である。
【００４３】
図１は、本発明に従った方法を実施するために好適な汎用コンピュータシステム１００を示す。汎用コンピュータ１００は少なくともマイクロプロセッサ１０４を含む。この汎用コンピュータは、ランダムアクセスメモリ１０２、ＲＯＭ１０３、キーボード１０７、及びモデム１０８を更に含む。汎用コンピュータ１００の全ての構成要素は、様々な構成要素間でデータを移送するために共通バス１０１によって任意で互いに連結される。バス１０１は一般的にデータ、アドレス、及び制御信号を含む。図１に示される汎用コンピュータ１００は、汎用コンピュータ１００の全ての構成要素を互いに連結する単一のデータバス１０１を具備するが、汎用コンピュータ１００の様々な構成要素を接続する単一の通信バス１０１でなくてはならないという必要条件はない。例えば、マイクロプロセッサ１０４、ＲＡＭ１０２、及びＲＯＭ１０３は、代わりにデータバスによって互いに連結されると共に、ハードディスク１０５、モデム１０８、キーボード１０７、ディスプレイモニタ１０６、及びネットワークインターフェース１０９は第２のデータバス（図示されず）によって互いに接続される。この場合、第１のデータバス１０１と第２のデータバス（図示されず）は、双方向バスインターフェース（図示されず）によってリンクされる。あるいは、マイクロプロセッサ１０４及びＲＡＭ１０２などのいくつかの構成要素は、第１のデータバス１０１及び第２のデータバス（図示されず）の両方に接続され、第１のデータバスと第２のデータバスとの間の通信はマイクロプロセッサ１０４とＲＡＭ１０２とを介して起こる。ネットワークインターフェース１０９は、例えば、イーサネット接続を用いて任意のローカルエリアネットワーク（ＬＡＮ）への通信能力を備える。モデム１０８は、コンピュータ１００が任意で電話システムを介して通信することを可能とする。本発明の方法は、図１に示される１００のようなあらゆる汎用コンピュータシステム上で実行可能であるが、このコンピュータシステムが本発明の方法を実行することができる唯一のシステムであると限定されないことは明らかである。
【００４４】
２つのアプリケーションがキーフレーム抽出を利用する。第１のアプリケーションは、マウスによって操作されるタイムラインに沿って抽出されたキーフレームの位置を配置する。マウスがタイムライン上を移動する際、マウスによって移動するポインタの位置に最も近接したキーフレームが表示される（図２参照）。アプリケーションはキーフレームが全時間にわたり実際に均等に分布されることを要求するため、ビデオクリップの全ての部分と関連するキーフレームがある。また、アプリケーションは、スキミングを容易にするために、ビデオクリップの長さに依存し、ビデオのショットの数によって決定されない若干数のキーフレームを要する。
【００４５】
第２のアプリケーションは、表示を印刷に好適にするために、時間の尺度に付随する全てのキーフレームを同時に表示する（図３参照）。第１のアプリケーションの全ての制限に加え、このアプリケーションはキーフレームが互いに近接しすぎるべきでないという制限を更に有し、そのため、キーフレームは互いにオーバーラップせずに適切な位置に表示される。
【００４６】
本発明は、互いに異なるキーフレームを決定する方法を含み、ビデオ全体の適切な描写を提供する。本発明は、階層クラスタリングと時間規定を用いてキーフレームを選択する新規の技術を説明する。同様のフレームがクラスタであるため、各クラスタから１つのフレームを選択することにより、種々のキーフレームが決定される。図４に示されるように、キーフレームを決定する際に、いくつかのステップが実行される。
【００４７】
第１に、階層クラスタリングアルゴリズムへの入力として用いられる多数の候補フレームがステップ４０１において決定される。均等に間隔を置いて配置されたフレームを選択することは、妥当な時間数でクラスタの階層を計算するには多すぎるフレームを戻すか、又は間隔が大きすぎて重要な詳細が頻繁に欠落されるフレーム間の間隔を用いるかのいずれかである。代わりに、本発明に従って互いが既に全く異なるフレームの集積が、用いられる。この集積は、画像を比較して大きな差違を示す隣接するフレームの対を全て収集することにより確定される。比較評点用に一定の閾値をセットするよりもむしろ、それらの隣接フレームとは非常に異なる一定数のフレームが、本発明に従って決定される。
【００４８】
次に、本発明に従って、ステップ４０２において、選択された候補が階層群クラスタリング法によってクラスタ化される。いくつかのクラスタが時間規定を用いてフィルタリングされて取り除かれる。その後、ステップ４０３において、所望のキーフレームの数に等しい若干数のクラスタが選択される。ステップ４０４において、本発明に従って、いくつかの時間規定に最も見合うメンバが各クラスタから選択される。本発明に従ったこのような制限は、ビデオの長さ全体にわたるキーフレームの比較的均等な分布とキーフレーム間の最小間隔を必要とする。
【００４９】
クローズアップ又はスライド画像などのキーフレームのある種類の強調を変更するために、クラスタリングアルゴリズムによって用いられる間隔機能が本発明に従って変更される。さほど所望されない画像間の間隔を本発明に従って削減することは、さほど所望されない画像が同様のクラスタ中で終結し、そのため、キーフレームのセットの中に少数表示される確度を上昇させる。本発明に従って所望の画像間の間隔を増加させることは、その逆の効果を有する。
【００５０】
［候補フレームの選択］
キーフレームの候補を単に一定の間隔でサンプリングするよりも種々のショット又はカメラの配向からそれらを選択するのが望ましい。図５に示されるように、従来、等間隔フレームの集積において、大した変化のない長いシーンがひどく強調される。他のフレームと非常に類似したフレームは、おそらく同じクラスタに終結するであろうため、それらはキーフレームの選択にあまり寄与しない。同時に、非常に短いショットからのフレームは等間隔選択によって省かれるか又は省略される。
【００５１】
クラスタリングアルゴリズムの時間の複雑さは、候補の数に関してＯ（ｎ³）〜Ｏ（ｎ⁴）で、そのため、ただ候補の総数を増加させるよりもむしろ有望な候補を選択することが重要である。図６に示されるようにビデオ中のフレームの階層クラスタリングは、より優れた結果を生じる。選択されたフレームはミーティングに関する適切な説明を提供する。
【００５２】
あいにく、クラスタリングは計算上負荷の高い操作で、そのため、ビデオ中の全てのフレームをクラスタ化しようとすることは可能でない。時間の制限を克服するために、互いに異なるキーフレームの候補が本発明に従って収集される。必要とされる候補の最小数は、ビデオ中の変化の量と、以下に述べられる時間規定によってフィルタリングされて取り除かれるであろうクラスタの数とに依存する。各候補境界には、境界の前後のフレームが候補として選択される。１時間のビデオに、１,０００個の候補が通常であるが、それよりも多数の候補でもそのアルゴリズムの性能には悪影響を及ぼさず、そのランタイムに悪影響を及ぼすのみである。他のフレームに非常に類似したフレームは、おそらく同じクラスタに終結するであろうため、それらはキーフレームの選択にあまり寄与しない。画像を比較して大きな差違を示す隣接するフレームの全ての対が、本発明に従って集められる。対の片方よりもむしろそれらの両方を含むことは、ビデオのシーケンスが経時的に非常に漸次的に変化する状況を示す。一定の閾値を選択するよりもむしろ、それらの隣接フレームと非常に異なるＮ個のフレームを有するバッファを保持する。ビデオがバッファの大きさよりも少数のサンプルを含む場合、全てのサンプリングされたフレームがクラスタ化される。そうでなければ、最も有望なもののみが考慮される。
【００５３】
従来、ショットの境界が決定され、各ショットから１つ以上のキーフレームが選択される。図７は、図４のステップ４０１において用いられる本発明に従った候補フレームの選択方法を示す。従来のアプローチと対比すると、本発明に従って、フェードとディゾルブの概要を見て、ステップ７０１において処理されようとしているフレームの数を減らすため、毎秒２〜５回フレームがサンプリングされる。ステップ７０２において、サンプリングされたフレームの各々と以前にサンプリングされたフレームとの差異が、全てのサンプリングされたフレームについて、様々な間隔基準のうちのいずれか１つを用いて計算される。録画されたミーティングは２フレーム／秒で処理されるが、ＴＶコマーシャルなどのペースの速い（１秒毎のフレーム数が多い）資料のサンプリング値域は最高位にある。本発明に従った方法において、Ｎ個の候補を選択するために、後続のフレーム間でＮ／２番目の最大間隔（最大差異）が決定され、ステップ７０３において候補境界として用いられる。Ｎ／２は、ソース資料において予期されるショット境界の数よりも大幅に大きいため、本発明に従った方法は、ショット毎に３つまでのフレームを用いる通常のアプローチよりも多数の候補を考究する。ビデオのシーケンス（進行）が非常に漸進的にしかしながら一定に変化し、そのため、そのシーケンスの最初と最後のフレームとに有意な差異がある場合に対処するために候補境界の前後のフレームが共に候補フレームのセットに含まれる。
【００５４】
異なるフレーム間の境界は、ショット境界である可能性があるため、本発明に従った方法は暗示的にショットセグメンテーションを実行すると考えられる。平均のショット時間は、資料の混合物において５秒で、そのため、ユーザは約７２０ショット境界／時間を予想することができる。永久保存（録画）されたミーティングを含む資料のショット境界数はそれよりもかなり少ない。長さ１時間に至るビデオに１３００個の候補の使用が、優れた成果を随伴して用いられた。全ての候補フレームが決定されると、図４のステップ４０２において、本発明に従ってクラスタ化される。
【００５５】
［フレームのクラスタリング］
キーフレームの選択に関する本発明の目的は、互いに異なる１セットのキーフレームを決定すること、及びビデオの全てのフレームの適切な描写を提供することである。クラスタリングは同様のフレームを結合し、そのため、各クラスタから１つのフレームを選択することが本発明の目的を満たす。更に、より多数又は少数キーフレームが必要とされる場合、ユーザ又はアプリケーションは、単純に本発明に従ってクラスタの数を増加又は減少させるのみである。
【００５６】
フレームを比較するため、多種の一般的な画像比較方法が本発明に従って代替的に用いられる。画像の理想的な比較は、人間の知覚と同様の結果を招く、すなわち、異なると知覚される画像は比較機能から高評点を得ると共に、同様の画像は低評点を得るであろう。画像比較への種々のアプローチは、異なる利点を有する。画素毎の比較は、動きに敏感であるが、その他の点では画像の差異を分類するのに非常に優れている。画素の輝度の比較のみで通常は十分である。わずかな全体的な明るさの変化に対する不変性を得るために、全ての画素の輝度の平均値と標準偏差とを決定することにより、輝度が標準化されるべきである。各画素について、画素値から平均値が減算され、標準偏差によって割算される。画像中の全体的な差異を検知するにはヒストグラムベースのアプローチが非常に適している。画像をいくつかの領域（例えば、３×３グリッド）に分割し、各領域のヒストグラムを計算することは、対象物の大きな動きの影響を低下させる。実験は、ヒストグラムにおいて利用するビンが多すぎると、偽陽性を過剰に発生させる、すなわち、人間の判断では一見同様であるのに画像が異なると考えられる、ことを示した。比較をノイズに対して一層影響を受けにくくするために、平滑なヒストグラムが用いられた。このようなヒストグラムにおいて、各ビンはその内容の一部を隣接するビンに放出する。カラー効果を可能とするために、Ｙ（輝度）にビン８つを、また、Ｕ及びＶ（彩度）にビン４つずつを有するＹＵＶ色空間において３次元のヒストグラムが用いられた。画素様式の比較についてと全く同様に、ヒストグラムを形成する前に輝度を標準化するのが有益である。ヒストグラムの比較に関する種々の方法（交差、絶対差の合計、Ｘ²検定(CHI square)）が、ほぼ同一の結果をもたらした。Ｘ²検定は、均等な色の画像（例えばＶＣＲにより背景として生成される）に関して、他の方法よりもはるかに優れた成果を果たした。ヒストグラムベースの比較技法に対する本発明に従った制限は全くないが、本発明の好ましい実施形態において、画像を比較するためにヒストグラム技法が用いられる。画像における全体的な差異を検知するのにヒストグラムベースのアプローチは非常に適している。比較が一層ノイズに対して影響を受けにくくするために、平滑なヒストグラムが用いられた。ヒストグラムの比較にＸ²検定間隔が用いられるという本発明に従った制限はないが、ヒストグラムを比較するのにＸ²（Ｘ²検定）間隔が用いられるのが好ましい。
【００５７】
Ｍ個のキーフレームを抽出するために、本発明に従って、資料はＭ個のクラスタに分割される。このアプローチはクラスタの大きさに適切な閾値を選択することについての問題を回避する。フレームは、ステップ４０２において階層群クラスタリング法の完全リンク法を用いてクラスタ化されるのが好ましい。小さく、密集した境界のクラスタがその方法の特性である。あいにく、その時間の複雑性は単一リンクなどの他の階層クラスタリング法のものよりも高い。本発明に従って、わずかに異なる結果を随伴する他のクラスタリング法が同様に用いられる。図８は、階層クラスタリングが、最小の結合されたクラスタを作成する２つのクラスタを結合することにより、実行されることを示す。
【００５８】
図９は、本発明に従った好ましい階層クラスタリング法を示す。ステップ９０１に示されるように、まず、各画像はそれ自身のクラスタを表示する。この方法は、クラスタ相互の類似性を決定するために、２つのクラスタ中のフレーム間の最大対間隔を用いる。ステップ９０２において、２つのサブクラスタの各々から１つのフレームが得られたあらゆる２つのフレーム間の最下位最大対間隔を有する２つのサブクラスタを含むクラスタが形成される。ステップ９０３において、全ての候補フレームが図８に示されるＣ１のような単一のルートクラスタに集塊されたか否かが決定される。ツリーの高度又はノードは、結合されたクラスタの直径（２つのサブクラスタのメンバの最大対間隔）を表す。クラスタはクラスタの中心に最も近接したメンバフレームによって表される。ツリー中のフレームは時間的順序ではないことが留意されたい。時間中のフレームの位置は、全ての画像の上部左のフレーム番号によって示唆される（３０フレーム／秒）。示される例において、クラスタＣ１及至Ｃ４は５個のキーフレームと分割クラスタの直接の子（図８の太線部分参照）とを抽出するために分割される。
【００５９】
非常に均一なソース資料において、画像間隔が狭いならば、同様にクラスタも小さい。多種のシーンを有する資料において、全ての適切なキーフレームが抽出されるのではなく、アプリケーションが要請するだけの数のキーフレームを抽出することがより重要であると考えられる。一般的に、アプリケーションは要請されるキーフレームの数をビデオの合計の長さに基づかせる。図２に示されるアプリケーションは、毎時２０個のキーフレームを用いる。
【００６０】
［クラスタのフィルタリングアウト（クラスタをフィルタリングして取り除くこと）］
上位Ｍ個のクラスタを決定するために、図４のステップ４０３において最大の（Ｍ−１）個のクラスタが分割される。図１０において示される例において、クラスタ１、２、及び３は分割され、４つのクラスタ（ｉ１、４、５、及び１１）に帰着する。図１１は、図４のステップ４０３に示されるような、本発明に従ってキーフレームが抽出されるであろうクラスタの選択方法を示す。ステップ１１０１において、最大のクラスタが２つのサブクラスタに分割される。ステップ１１０２において、少なくとも閾値最小所要時間の中断されないフレームのシーケンスを少なくとも１つ有さないクラスタがフィルタリングされ、取り除かれる。ステップ１１０３において、Ｍ個のクラスタ全てが既に選択されたか否かが決定される。
【００６１】
単一の画像のみを含むクラスタはスイッチング（切返し）の歪み又は他のタイプのノイズなどのビデオの人為的誤差を表すことが多い。このような人為的誤差を有するフレームは、キーフレームとして望ましくなく、そのため、ステップ１１０２において、本発明に従って、対応するクラスタをフィルタリングして取り除くために時間規定が用いられる。一般に、ビデオの人為的誤差及び他の重要でない事象がキーフレームとして用いられていないことを確かめるために、クラスタは最小所要時間の中断されないフレームのシーケンスを少なくとも１つ表すべきである。所要時間の閾値は、ソース資料に依る。より多数のキーフレームが要請される際、制限が緩和されなければならないため、毎時のキーフレームの数は最小所要時間にも影響を及ぼす。種々のソース資料を用いたテストにおいて、キーフレーム間の平均時間の３％を閾値として用いることが好結果を招くことが確認された。例えば、平均して５分（３００秒）毎に１つのキーフレームがある場合、各クラスタは、中断されないフレームの９秒のシーケンスを少なくとも１つ有さなければならない。ミーティングのビデオ録画には、１０秒の閾値が好結果を導いた。映画やＴＶ番組には、それよりも短い３秒の閾値がより適している。ＴＶコマーシャルは、それよりもいっそう短い１秒の閾値を要する。ステップ１１０２において、閾値の所要時間を超えた中断されないフレームのシーケンスを少なくとも１つ含まないクラスタがフィルタリングされて取り除かれる。図１０に示される例において、ｉ１のみを含むクラスタがフィルタリングされて取り除かれる。Ｍ個と同数の選択されたクラスタが戻されるため、より多数のクラスタが最初に選択される必要がある。図１０の例において、クラスタｉ２と７を加えてクラスタ４が同様に分割される。ｉ２のみを含むクラスタが同様にフィルタリングされて取り除かれ、そのため、クラスタ５がクラスタ６及び８を加えて分割される必要がある。これは、クラスタの最終セット、６、７、８、及び１１を導く。
【００６２】
種々のソース資料には異なる継続時間が割り当てられる。カメラの切替えに起因するビデオのシンクロ現象を表示するフレームを有するクラスタをフィルタリングして取り除くのに、最低２秒の長さで十分であった。このフィルタリングアプローチは候補の数に鋭敏である。１時間のビデオで、１,０００個の候補に代わって、２００個のみの候補を用いることは、いくつかのクラスタがフィルタ条件を満たすのに十分な数のフレームを含まないため、選択されたキーフレームの品質を顕著に低下させた。候補の数が５００個と１,０００個とで、品質の変化は非常に少なかった。
【００６３】
［クラスタから代表フレームを選択するための時間規定の適用］
図４のステップ４０４において、時間規定に最も適切なメンバがキーフレームとして各フレームから選択される。このような制限は、いくつかのアプリケーションに備えて、ビデオの長さ全体にわたる比較的一様な分布と、キーフレーム間の最小間隔を必要とする。図１２、１３、及び１４は、本発明に従った時間規定の適用とクラスタからのキーフレームの選択を示す。
【００６４】
いくつかの方法は、時間全体にわたり全く一様でなく分布され、また、時には時間中で互いに非常に近接したキーフレームを生じる。キーフレームはアプリケーションのタイムラインに付帯されることが意図されるため、それらを時間全体にわたって散布させるのが望ましい。アプリケーションはビデオの初めから終わりまでのスキミングを援助し、そのため、キーフレームが半ば均等に分布されることが望ましい。キーフレームが時間中に互いに近接しすぎる場合、それは望ましくない。これらの制限は、本発明に従った、クラスタからの代表フレームの適切な選択により定められる。同じクラスタのメンバは、互いに適度に類似しているのが好ましく、そのため、何れのメンバもクラスタの描写とされることができる。これらの制限は、各クラスタからのキーフレームの選択に対して時間規定を適用するための余地を残す。
【００６５】
通常、メンバフレームを含むクラスタはビデオの所要時間全体に散布される。ビデオの適切な要約を与えるためにクラスタが統括する１期間から代表フレームを選択するのが望ましい。そのために、ステップ１２０１において、他の選択されたクラスタのメンバによって中断されない、各々の選択されたクラスタのメンバの最長シーケンスが決定される。ステップ１２０２において、そのシーケンスの中央に最も近接したフレームが選択される。本発明に従ったこのフレームの選択は、代表フレームと他のクラスタからの何れかのフレームとの間の時間の間隔を最大化し、そのため、キーフレームが互いに近接しすぎない傾向にあるという付加された利益を有する。
【００６６】
図１０において、画像はそれらの時間的順序で番号を付けられる。クラスタ７は、画像ｉ３、ｉ６、ｉ７を有する唯一の不連続なクラスタである。ｉ６及びｉ７は最長のシーケンスを表し、両画像はシーケンスの中央から同じ間隔を有する。クラスタ６は、ｉ１０、ｉ１１、及びｉ１２を含み、そのため、ｉ１１が代表フレームとして選択される。
【００６７】
ステップ１２０３において、ソースクリップの合計所要時間が等しい所要時間の間隔に分割される。要請されたキーフレームの数よりも少ない間隔数である必要がある。要請されたキーフレームの半分の数を用いることが好結果を招く。ステップ１２０４において、その間隔において選択されたキーフレームの数が、各間隔について数えられる。
【００６８】
上述の選択法の適用は、キーフレーム間に大きなギャップが全くないことを補償するわけではない。キーフレームの半ば均等な分布を確実にするために、ステップ１２０３において、ソースクリップの合計所要時間は、各々が少なくとも１つのキーフレームを含むべきである等しい所要時間間隔に分割される。要請されたキーフレームの半分の数の間隔を用いることが好結果を招く。従って、これは本発明に関する制限ではないが、要請されたキーフレームの半分が好ましい間隔の数なのである。
【００６９】
図１３において、テスト１２１１は、間隔がその中にキーフレームを有するかどうかを決定する。キーフレームを含まない間隔について、キーフレームは以下のように決定される。ステップ１２１２において、少なくとも２つのキーフレームを含む全ての間隔が降順のキーフレーム計数順序で調べられる。ステップ１２１２において、間隔中の各キーフレームについて、対応するクラスタがキーフレームを有さない間隔中にもメンバを有するかが調べられる。このようなメンバが見つかった場合、そのメンバは、ステップ１２１４においてキーフレームとして用いられ、ステップ１２１３において以前に選択されたキーフレームは除去される。調査される間隔が更にある場合、テスト１２１５は残存する間隔について上記のステップを反復する。例えば、フレームｉ５、ｉ７、ｉ９、及びｉ１１が初期のキーフレームとして選択される。ソースクリップが３つの間隔に分割され、全ての画像が互いに同様の時間間隔を有する場合、第１の間隔は全くキーフレームを含まず、第３の間隔は３つのキーフレームを含む。クラスタ７は、第１の間隔中のフレームも有する第３の間隔中に表される唯一のクラスタである。従って、ｉ７はｉ３によって置換される。
【００７０】
いくつかのアプリケーションはキーフレーム間に最小間隔を要求する。例えば、全てのキーフレームを適切な位置のタイムラインに付帯させるため、又は、キーフレームを介したスキミングを向上させるため、などが挙げられる。図１４は、キーフレーム間の最小の許容可能な離間距離を保障する本発明に従った方法を示す。ステップ１２２１においてキーフレーム間の最小時間の閾値が決定された後、本発明に従って以下の方法が適用される。まず、ステップ１２２２において、あらゆる２つの選択されたキーフレーム間の最小時間が決定される。その時間が要求された閾値時間よりも長い場合、テスト１２２３が、方法が終了したことを示唆する。あらゆる２つの選択されたキーフレーム間の最小時間が最小時間の閾値よりも短い場合、ステップ１２２４において、キーフレームが属する２つのクラスタについて、本方法は、最小間隔の必要条件に応じたフレームが見つかるまで、まず一方のクラスタについて、次に他方のクラスタについて、及び最終的に同時に両方のクラスタについて、他のメンバを選択しようと試みる。このようなクラスタメンバが見つからない場合、ステップ１２２５は、選択されたキーフレームの数を減らし、２つの矛盾するフレームのうちの１つを除去する。上記ステップ１２２２及至１２２５は、全てのフレームが制限を満たすまで反復される。
【００７１】
例として、この方法は、図１５の上部に示される５つの選択されたキーフレームに、２分（３６００フレーム）の最小間隔の必要条件と共に適用される。フレーム２３７４５と２３８３５は９０フレーム離れているのみである。両方とも単一のフレームのみを含むクラスタから生来するため、代替物は全く取得できない。フレーム２３８３５がドロップされ、本方法は４つのキーフレームによって継続される。フレーム２７６７８と２９３６１との間の間隔は１６８３フレームである。フレーム２９３６１の置換えにフレーム７５を選択することは、全ての他方のキーフレームへの間隔を最大化する。ここで、いずれか２つのキーフレームの最小間隔は３９３３フレームで、方法は終了する。図１５の下部は得られたキーフレームを示す。
【００７２】
［ビデオの特徴の強調］
数種の画像がキーフレームとして好ましい。例えば、人々のクローズアップは長いショットよりも優れた情報を提供しがちである。加えて、スライドの画像はビデオの画像よりも更に互いに異なることが多い。その傾向が確認されないままである場合、キーフレームのセットは多量のスライド画像によって占められる。従って、選択されたキーフレームのセットにおいて、人々のクローズアップなどの画像の割合を増加させ、スライド画像の割合を減少させるのが望ましい。
【００７３】
ある一定の種類のキーフレームを強調するか又は強調しないために、本発明に従い、比較の評点がクラスメンバーシップ（種類の帰属関係）に依って変更される。信頼評点は、検知された特徴と、統計モデルによるこのような評点の計算を表す。１つの例はマイクロソフトパワーポイントスライドの検知である。図１６は、スライドの存在の確度をタイムラインに沿ったグレースケールのプロットとして示す。このようなスライドは、互いにかなり異なることが多く、そのため、それらは選択されたキーフレームのセットを支配しうる。この影響を回避し、その種類の画像を強調しないために、特徴信頼度が共に閾値β（例えば、０．５）を上回る場合、２つの画像の間隔基準は、特徴信頼度の積のα倍の係数によって減少される。特徴が強調される必要がある場合、代わりに、特徴の種類に属さない全てのものの強調をやめることによって、すなわち、否定された信頼度を用いることにより、同様のアプローチが取られる。
【００７４】
【式１】

ここで、conf(ａ)は画像ａの特徴信頼度を示し、dist(ａ，ｂ)は画像ａ，ｂの間隔基準を示すものである。
【００７５】
本発明に従った間隔関数の操作は、クラスタリング作用を操作するのに十分で、そのため、あまり望ましくない画像は一緒にクラスタ化されがちである。録画（永久保存）されたミーティングの集積のために、本発明に従ったこのアプローチはキーフレーム中に備えられるスライド画像の数をスライド描写毎に１つ又は２つに減少させた。
【００７６】
［キーフレームのアプリケーション］
ミーティング及び他の出来事のデジタル化されたビデオの大きな集積へのアクセスを容易にするために、ウェブベースのビデオディレクトリブラウザがビデオのディレクトリの一覧表を表す（図１６参照）。ビデオはディレクトリの内容（例えば、スタッフミーティング、セミナーの発表、会議のレポート）によって構成され、各ディレクトリ内の日付によってソートされる。ビデオ上をクリックすることより、ビューワが開かれ再生される。標準ウェブブラウザ及びＭＰＥＧファイルフォーマットの利用は、付加的なソフトウェア又はプラグインを必要とせずにほぼ全ての可能性のあるユーザのビデオ記録への随時のアクセスを可能にする。ビデオへのアクセスを容易にするために、キーフレームを選択するための上述の方法に従ってキーフレームが定められる。
【００７７】
各ビデオディレクトリの一覧表は、所望のビデオの認識を助長し、及びビデオにアクセスポイントを定めるために、代表フレームによって向上される。適切に選択されたキーフレームは、ビデオの選択を助長し、一覧表をよりいっそう視覚的に興味をそそるようにする。単一のキーフレームに基づいてビデオを識別するのは困難であるため、本発明に従って多数のキーフレームが定められる。まず、ビデオデータアドミニストレータによって選択されたキーフレームがキーフレームウィンドウに表示される（図１７参照）。キーフレームの位置は、キーフレームに隣接するマウスセンシティブ（マウスによって操作される）のタイムスケールに沿った青の三角形でマークされる。マウスがタイムライン上を移動する（図１７において手のカーソルとして示される）際、親指のマークがタイムライン上の位置を示し、マウスの位置に最も近接したキーフレームが表示され、そのキーフレームの三角形が赤に変わる。この方法は、１度に単一のキーフレームのみを示し、画面の空間を保存すると共に、単純なマウスの動作を介しての他のフレームのアクセスを可能にする。このインターフェースは、ビデオの内容の適切な印象を提供する非常に迅速なスキミングを援助する。タイムスケール上のあらゆる場所をクリックすることにより、ビデオが開かれ、対応する時間のビデオ再生が開始される。この方法において、複数のキーフレームを用いることは、ビデオの前後関係及び時系的構造の知識をユーザに与える。
【００７８】
キーフレームの数はズームイン又はズームアウトすることによって変更される。ズーミングは画面上のタイムスケールの幅を変更させる。画面上のキーフレーム間の平均間隔は同様のままであるため、タイムスケールの幅を増幅させることは、付随するキーフレームの数も増加させる（図１７参照）。
【００７９】
本発明はその好ましい実施形態に関して説明されたが、その実施形態は限定としてではなく実施例として表される。本発明の精神及び範囲から逸脱せずに様々な付加及び変形が成されうることが理解されるべきである。従って、全てのこのような付加物及び変形例は、添付の請求の範囲に詳述されるような本発明の精神及び範囲によって見出されると考えられる。
【図面の簡単な説明】
【図１】本発明に従った方法を実行するために好適な汎用コンピュータの構成を示す略図である。
【図２】本発明に従った方法の実行に起因するキーフレームを利用するアプリケーションの表示例を示す。
【図３】本発明に従った方法の実行に起因するキーフレームを利用するもう１つのアプリケーションの表示例を示す。
【図４】本発明に従った、ソースビデオからキーフレームを選択する方法におけるステップを示す高レベルフローチャートである。
【図５】ソースビデオから固定された定期間隔で得られた等間隔キーフレームの集積を示す。
【図６】ソースビデオ中のフレームの階層クラスタリングから得られるキーフレームの集積を示す。
【図７】本発明に従ったクラスタリングの前に、候補フレームの選択において実行されるステップを示すフローチャートである。
【図８】本発明に従った候補フレームの階層クラスタリングとキーフレームの抽出に因るクラスタの選択の結果を示す２分木である。
【図９】本発明に従った候補フレームのクラスタリングにおいて実行されるステップを示すフローチャートである。
【図１０】本発明に従った候補フレームの階層クラスタリングの結果を示すもう１つの２分木である。
【図１１】本発明に従って、キーフレームが抽出されるクラスタの選択を示すフローチャートである。
【図１２】本発明に従って、他の選択されたクラスタのメンバによって中断されないクラスタメンバの最長のシーケンスの中央に最も近接したフレームを各々の選択されたクラスタのキーフレームとして選択するために、時間規定を適用する方法を示すフローチャートである。
【図１３】本発明に従って、何れのキーフレームも有さない大きなギャップを発生させないよう、ソースビデオの全ての部分にわたる十分なキーフレームの包含を可能にすることを試みるために時間規定を適用する方法を示すフローチャートである。
【図１４】本発明に従って、少なくともキーフレーム間の最小時間の離間距離を補償するために時間規定を適用する方法を示すフローチャートである。
【図１５】本発明に従って、少なくともキーフレーム間の最小時間の離間距離を補償するための図１４に示される方法の実行前と実行後のキーフレームとそれらの位置を示す。
【図１６】ビデオのディレクトリ一覧表を表すウェブベースのビデオディレクトリブラウザを示す。
【図１７】図１６に示されるウェブベースのビデオディレクトリブラウザの用法を示す。
【符号の説明】
１０２ＲＡＭ
１０３ＲＯＭ
１０４マイクロプロセッサ
１０５ハードディスク
１０６ディスプレイモニタ
１０７キーボード
１０８モデム
１０９ネットワークインターフェース

Claims

プロセッサと、
記憶手段と、
を備えたシステムにおいて、選択されたクラスタからキーフレームを選択する方法であって、
前記プロセッサが、
（ａ）前記記憶手段に記憶されている選択されたクラスタの各々について、他の選択されたクラスタのメンバによって中断されないメンバの最長シーケンスを決定し、
（ｂ）各選択されたクラスタについて、メンバの最長シーケンスの中央に最も近接したフレームを前記選択されたクラスタのキーフレームとして選択して前記記憶手段に記憶し、
（ｃ）ソースビデオの所要時間を等しい所要時間の間隔に分割し、
（ｄ）等しい所要時間の間隔の各々について、選択されたキーフレームの数を数え、
（ｅ）選択されたキーフレームを得るために、等しい所要時間の間隔を調査し、
（ｆ）前記（ｅ）が、等しい所要時間の間隔が選択されたキーフレームを全く有さないと決定した際、選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを有する選択されたクラスタからキーフレームを得るために、少なくとも２つのキーフレームを有する他の等しい所要時間の間隔を降順のキーフレーム計数順序で調査し、
（ｇ）前記（ｆ）が、前記選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを見出した場合、前記選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを有する前記選択されたクラスタから前記キーフレームを除去し、
（ｈ）前記（ｆ）が、前記選択されたキーフレームを全く有さない等しい所要時間の間隔中にメンバを見出した場合、前記選択されたキーフレームを全く有さない前記等しい所要時間の間隔中のメンバを、前記選択されたキーフレームを全く有さない前記等しい所要時間の間隔のキーフレームとして選択して前記記憶手段に記憶し、
（ｉ）全ての等しい所要時間の間隔に前記（ｅ）が実行されていない場合、前記（ｅ）に戻る、
選択されたクラスタからキーフレームを選択する方法。
（ｊ）２つのキーフレーム間の最小時間を見出し、
（ｋ）２つのキーフレーム間の前記最小時間をキーフレーム離間間隔の最小時間閾値と比較し、
（ｌ）前記（ｋ）が、２つのキーフレーム間の前記最小時間が前記キーフレーム離間間隔の最小閾値未満であると決定する場合、前記２つのキーフレームが属する対応する２つのクラスタについて、フレームが少なくとも前記最小時間閾値によって離間されていると認められるまで、まず、一方のクラスタの、次に他方のクラスタの、及び最終的に同時に両方のクラスタの他のメンバを選択することを試みる、
ことを更に含む、請求項１に記載の方法。
（ｍ）前記（ｌ）が、少なくとも前記最小時間閾値によって離間されているフレームを見出さない場合、前記２つのキーフレームのうちの１つを除去し、
（ｎ）前記（ｌ）が実行される場合、（ｊ）に戻る、
ことを更に含む、請求項２に記載の方法。