JPH10509298A - 複数のビデオ画像の圧縮方法 - Google Patents

Abstract

(57)【要約】 複数の画素を特徴とするビデオ画像は、主要構成要素の分析に基づいて少なくとも１つのパラメータを引き出すことにより圧縮される。それから、あるパラメータに関して各ビデオ画像の画像値が求められる。差異を決定するために、各ビデオ画像に結び付いた画像値が別のビデオ画像と結び付いた画像値に比較される。差異が閾値を下回る場合、各ビデオ画像および別のビデオ画像の画像値の内の任意の１つが破棄される。その後で残りの画像が記憶される。この圧縮法を使用すると、照会を行うビデオシーンと、それぞれのビデオシーンが複数のビデオ画像を含む複数のビデオシーンを記憶するビデオデータベースとの一致を見つけるためにビデオデータベースを検索することが可能になる。

Description

【発明の詳細な説明】 複数のビデオ画像の圧縮方法 技術分野 本発明は、結果として生じる圧縮済みビデオ画像が、従来の技術による圧縮方 法より少ない記憶容量を必要とするように、複数のビデオ画像（ビデオシーン） を圧縮する方法に関する。さらに、本発明は、削減された数の画像又はつまり「 重要な」画像を表示し、圧縮されたビデオ画像を効率的に表示し、それによりビ デオシーンの内容の（例えば、ユーザが見ることによる）検索を簡略化する。重 要な画像は、ビデオシーンの索引または目次と同様に動作する。 発明の背景 従来の技術で周知であるように、ビデオ画像は、デジタル化された場合、大量 の記憶容量を必要とする。映画のような複数のビデオ画像（以降「ビデオシーン 」と称する）は、圧縮されない場合、数百のメガバイトまたはギガバイトもの記 憶容量を必要とする。 ビデオシーンを圧縮する多数の方法は、従来の技術でも周知である。従来の技 術による１つの方法とは、ビデオシーンのすべての画像に関して主要な構成要素 の分析によりパラメータを引き出す方法である。各画像にＮ個の画素があると仮 定してみる。その後で、ビデオ画像ごとに、主要な構成要素の分析により選択さ れるパラメータに基づいた画像値が求められる。したがって、あるパラメータの 結果として生じる記憶容量要件とは、そのパラメータの構成要素値（つまりＮ個 の値）と各ビデオ画像に対応する１つの画像値でいっぱいの１つの画像となる。 ビデオ画像に複数のパラメータが引き出される場合、必要とされる記憶容量の総 量はそれに応じて乗算される。 しかしながら、この方法を用いた場合にさえ、映画のようにビデ オシーンに多くのビデオシーンが含まれる場合には、ビデオ画像のそれぞれに対 応するパラメータの１つの値に必要とされる記憶容量は依然として大きなものと なる。ビデオ画像は、毎秒３０回のようにかなり速い速度で表示されるので、２ 時間のビデオ映画は216,000ビデオ画像（２ｘ６０ｘ６０ｘ３）を必要とし、標 準ＴＶ方式では５０ギガバイトの記憶容量を必要とする。したがって、この方法 に基づくと、１つのパラメータには、依然として、主要構成要素分析により引き 出されるＮ数のパラメータ構成要素値、およびビデオ画像のそれぞれに１つの画 像値が設定される216,000の画像値が必要とされる。 さらに、圧縮されていないビデオ画像と比較される場合、記憶容量要件はこの 方法により削減されるが、このビデオシーンのビデオ画像のレビューまたはブラ ウズには、216,000画像のような画像の集合体全体が必要とされる。ユーザにと って、表示された画像の集合体全体を表示もしくは検索することは、非効率かつ 厄介である。ビデオシーンのビデオ画像の集合体全体をブラウズしたり、最良の ものを採取するには、相当量の時間と努力が要求される。 従来の技術の別の圧縮方法とは、基準フレームとしてビデオ画像から画像のい くつかを選択する方法である。それ以降の画像または先行する画像が基準フレー ムに比較され、差異または変更が記憶される。したがって、基準フレームおよび それに対する変更のデータだけしか記憶する必要はない。 しかし、このような従来の技術による方法においては、ｎ番目のフレームに基 づいて基準フレームが選択される。したがって、基準フレームの選択は最適化さ れていない。 情報を捕捉するためにビデオ画像を使用することがさらに一般化するに伴い、 複数のビデオ画像、つまりビデオシーンを効率的に記憶、表示、および検索する ための方法を見つけ出す必要がある。表示されたビデオ画像の集合体は、高速検 索を可能とする方法で分類 されなければならない。このように、記憶容量を最小限に抑えるためにはビデオ 画像の圧縮が重要であるだけではなく、方法により圧縮されたビデオ画像の表示 および高速検索もさらに容易にならなければならない。 したがって、本発明は、ビデオシーンからビデオ画像を表示、検索するより効 率的な方法を可能とするだけではなく、記憶容量要件を最小限に抑えるために、 ビデオ圧縮の問題に対処する。 発明の概要 本発明においては、複数のビデオ画像が圧縮される。各画像は複数の画素によ って特徴づけられる。方法は、複数のビデオ画像に少なくとも１つのパラメータ を引き出すステップを含む。その１つのパラメータは、主要な構成要素の分析に 基づいて引き出すことができる。画像値は、その１つのパラメータのビデオ画像 ごとに求められる。各ビデオ画像に結び付いた画像値は、差異を求めるために別 のビデオ画像に結び付いた画像値に比較される。差異は、固定されたまたは適当 な閾値に比較される。差異が閾値を下回る場合、画像値の内の１つだけが記憶さ れる。記憶された画像値に対応するビデオ画像を、表示、検索することができる 。 前記方法は、複数のビデオ画像が記憶されるビデオデータベースの圧縮に使用 できる。１つまたは複数の「重要な」ビデオ画像が、前述の方法により選択され る。ビデオデータベースの他のすべてのビデオ画像が「重要な」ビデオ画像と比 較され、差異が記憶される。「重要な」ビデオ画像はそれだけで、あるいは主要 構成要素分析画像および求められたパラメータ値も記憶される。この圧縮に基づ き、ビデオデータベースのすべてのビデオ画像が忠実に復元できる。 本発明の別の方法においては、ビデオデータベースには、各データベース要素 がビデオシーンである複数のデータベース要素が記憶される。各ビデオシーンは 、前記圧縮法に基づいて圧縮される。ビ デオデータベースは、やはり複数のビデオ画像を含む照会ビデオシーンとの一致 を見つけ出すために検索される。照会ビデオシーンも、前記圧縮法によって圧縮 できる。照会ビデオシーンとビデオデータベースのビデオシーンの１つとの一致 を見つけ出すために、照会ビデオシーンに結び付いた記憶済みの画像値が、ビデ オデータベースの各ビデオシーンに結び付いた記憶された画像値に比較される。 図面の簡単な説明 図１は、主要構成分析に基づくビデオ画像を圧縮するための従来の技術の方法 を示す模式図である。 図２は、複数のビデオ画像が従来の技術による主要圧縮分析方法により圧縮さ れた後の本発明の改善された方法を示す模式図である。 図３は、映画のような複数のビデオ画像を圧縮および記憶するために使用され る本発明の方法を説明する模式図である。 図４は、照会を行うビデオシーンと、そのそれぞれがビデオシーンを構成する ビデオデータベースの要素の内の１つの間の一致を決定するためにビデオデータ ベースを検索する方法の概要図である。 図５は、ビデオシーンからビデオ画像の集合体を効率的かつ迅速に表示、検索 するための本発明の方法の絵による表示である。 図６は、本発明の方法に従い、重要な画像パラメータでビデオ画像を判断する ための本発明の方法のフローチャートである。 図７は、図６に図示される方法に従い決定される重要な画像パラメータが設定 されるビデオ画像（つまり基準画像）を使用して複数のビデオ画像を圧縮するた めの本発明の方法のフローチャートである。 図８は、本発明のさまざまな方法およびその使用の概要である。 発明の詳細な説明 図１を参照すると、従来の技術のビデオシーンの圧縮方法の模式 図が図示されている。ビデオシーンは、Ｆ₁...Ｆ_Mとラベルが付けられた複数の ビデオ画像つまりビデオフレームから成る。ビデオ画像のそれぞれには、Ｐ₁... Ｐ_Nとラベルが付けられた複数の画素がある。ビデオ画像の集合体がビデオシー ンと呼ばれる。 従来の技術においては、ビデオシーンの主要構成要素パラメータを引き出すた めに、主要構成要素分析の方法を使用することは既知である。この方法では、複 数のビデオ画像Ｆ₁...Ｆ_Mに１つのパラメータを選択する。パラメータの例には 、輝度、またはある特定の色、色合い、または空間周波数などが含まれる。それ から、その１つの選択されたパラメータに関して、Ｎ個の構成要素のような構成 要素でいっぱいの画像が引き出される。このようにして、構成要素値Ｃ₁...Ｃ_N が引き出される。それから、選択されたパラメータ構成要素Ｃのビデオ画像ごと に画像値Ｉ₁...Ｉ_Mを求めることによって、ビデオ画像Ｆ₁...Ｆ_Mのそれぞれが圧 縮される。画像値Ｉ_kは、以下に基づき引き出される。 この場合、Ｊは画素番号に対するインデックスであり、Ｐ_kjはフレームＦ_k内の Ｊ番目の画素の値である。 前記から、Ｍ個のビデオ画像から成るビデオシーンには、主要構成要素分析に より選択される構成要素のデータ（つまりＮ個の値）および画像値Ｉ_kが各ビデ オ画像Ｆ_kに結び付いたＭ個の画像値でいっぱいの１つのビデオ画像が必要とな ることが分かる。前記のように、２時間から構成される映画のように、ビデオシ ーンが長く、ビデオ画像のそれぞれが毎秒の３０分の１で表示される場合、216, 000（２ｘ６０ｘ６０ｘ３０）ビデオ画像が存在する。したがって、複数のビデ オ画像から成るビデオシーンを圧縮するために主要構成要素分析の従来の技術に よる技法を使用しても、シーンが長い場合、 主要構成要素分析から引き出されるパラメータごとに、相当量の記憶容量が必要 となる。さらに、216,000のビデオ画像の表示、概観または検索には、記憶容量 要件の削減に関係なくかなりの量の作業が必要となる。 図２を参照すると、本発明の望ましい方法が模式的に図示されている。本発明 の望ましい方法は、別のパラメータが使用される同じビデオ画像から成るさまざ まな領域に対して局所的に、あるいは同じパラメータがビデオ画像全体で使用さ れる大局的に、主要構成要素分析が実行される、主要構成要素分析方法を使用し て、ビデオシーンを圧縮するという記憶容量要件を削減する。しかし、理解され るように、本発明の方法は、主要構成要素分析の技法により制限されていない。 例えば、離散コサイン変換、Gaborフィルタ、およびwaveletsにより引き出され る画像値も使用できる。ただし、主要構成要素分析を使用すれば、任意の数のパ ラメータが作成される。最初、この議論は、１つのパラメータに適用される本発 明の方法に集中する。しかし、明らかになるように、本発明の方法は、主要構成 要素分析により引き出される複数のパラメータに基づいた圧縮に適用できる。 以前と同様に、主要構成要素分析に基づく圧縮方法を使用した結果、Ｍ個の画 像値が得られる結果になると仮定する。これらはＩ₁、Ｉ₂、Ｉ₃...Ｉ_Mとして示 される。 それ以降、ビデオ画像Ｆ_kに結び付いた各画像値Ｉ_kは、ビデオ画像Ｆ_kに時間 的にすぐ隣接するビデオ画像Ｆ_k+1に結び付いた画像値Ｉ_k+1に比較される。２つ の画像値の間の差異の絶対値が得られ、閾値の数値に比較される。２つの画像値 の間の差異が閾値を下回る場合、つまり、 |Ｉ_k-Ｉ_k+1|≦Ｔ の場合、画像値Ｉ_kまたはＩ_k+1のどちらかが破棄される。残 りの画像値が記憶される。理解されるように、閾値Ｔは固定された閾値または適 当な閾値となる。これは、 次に示す例で確認することができる。本発明の方法は、Ｉ₁をＩ₂に比較すること により開始する。２つの画像値の間の差異の絶対値が閾値を下回る場合、Ｉ₂が 保存されると想定する。それから、保存された画像値Ｉ₁が時間的にすぐに隣接 するビデオ画像Ｆ₃に結び付いた画像値Ｉ₃に比較される。再び、差異の絶対値が 事前に決定された閾値を下回る場合、方法はＩ₁またはＩ₃のどちらかを破棄する 。再び、Ｉ₁が保存されると想定してみる。この技法は、Ｉ₁が、画像値の残りの すべて、つまりＩ₂からＩ_Mに比較されるまで続行する。 方法は、破棄されていなかった次の画像値Ｉ_kを選択することによって続行す る。Ｉ₄は記憶または保存されたＩ₁にすぐ隣接する次の画像値である。Ｉ₄は、 それから、残りの画像値のすべてがＩ₄に比較されるまで、残りの画像値のそれ ぞれに比較される。このプロセスは、残りの画像値の残りのすべてが互いに比較 されるまで続行する。 例えば別の画像値Ｉ_jに比較されるＩ_kのようなある特定の画像値が閾値以上の 場合、どちらの画像値も破棄されない。比較は、Ｉ_kを採取し、それを、時間的 にそれの隣接するビデオ画像に結び付いた画像値Ｉ_j+1に比較することによって 続行する。 前記から、閾値を超える大きさの変更のある画像値Ｉ_kだけが保存されること が分かる。複数の画像値の圧縮は、時間的にすぐに隣接する時間画像値に値的に 近いそれらの画像値を破棄することにより得られる。 前記方法は、時間的にそれにすぐ隣接するビデオ画像に対応する別の画像値Ｉ_k+1 に画像値Ｉ_kを比較することに関して説明したが、本発明の方法がそのように 制限されていないことは容易に理解できる。画像値Ｉ_kは、時間的にすぐ隣接す るビデオ画像に結び付いた画像値Ｉ_k+1に比較する必要はない。Ｉ_kはＩ_k+2また は、例えば、時間的にそれにすぐ隣接していない画像値を表すＩ_k+3にも比較で きる。 さらに、本発明の方法は、複数の異なったパラメータが主要構成 要素分析方法により引き出される従来の技術の主要構成要素分析方法で使用でき る。例えば、このようにして、ビデオ画像Ｆ_1...Ｆ_Mから成るビデオシーンは、 複数のパラメータＣ_k（この場合、ｋには１、２などの値を設定できる）を引き 出すために、主要構成要素分析によって圧縮できる。パラメータＣ_kのそれぞれ に関して、画像値がビデオ画像Ｆ₁...Ｆ_Mごとに引き出される。したがって、例 えば３つのパラメータが引き出されると、ビデオ画像Ｆ₁...Ｆ_Mから成るビデオ シーンは、以下に圧縮される。 （１）１つの構成要素値Ｃ₁₁...Ｃ_1Nおよびビデオ画像Ｆ₁...Ｆ_Mの内の１つに結 び付いた画像値Ｉ₁₁...Ｉ_Mでいっぱいの１つの画像 （２）１つの構成要素値Ｃ₂₁...Ｃ_2Nおよびビデオ画像Ｆ₁...Ｆ_Mの内の１つに結 び付いた画像値Ｉ₂₁...Ｉ_2Mでいっぱいの１つの画像 （３）１つの構成要素値Ｃ₃₁...Ｃ_3Nおよびビデオ画像Ｆ₁...Ｆ_Mの内の１つに結 び付いた画像値Ｉ₃₁...Ｉ_3Mでいっぱいの１つの画像 複数のパラメータが主要構成要素分析により引き出される場合、本発明の方法 は、以下に従い時間的にすぐ隣接するビデオ画像に結び付いた画像値の差異を計 算することによって、これらの複数のパラメータをさらに圧縮する。 ｋは、複数のパラメータに対するインデックスである。 Ｐは、パラメータの総数である。 Ｉ_ikは、画像値Ｉ_iのｋパラメータである。 Ｉ_jkは、画像値Ｉ_jのｋパラメータである。 Ｗ_kは、パラメータｋの加重因数である。 すべてのパラメータに対し、Ｗ_kは同じであるか、あるいは異なり、各パラメ ータに違う様に重みを付ける場合がある。さらに、前記のように、画像値Ｉ_iお よびＩ_jのそれぞれは、時間的にすぐに隣接するビデオ画像Ｆ_iとＦ_jに結び付け ることができるか、時間的にはす ぐに隣接しない。 前記等式は、複数のパラメータを使用するさらなる圧縮に関して開示されたが 、本発明の方法は、画像値が主要構成要素分析により引き出されるかどうかに関 係なく、２つの画像値の差異を計算するそれ以外のアルゴリズムにより計算でき る。 さらに、これまで説明したように差異を計算した結果、差異が事前に決定され た閾値を下回る場合は、ビデオ画像値の一方は記憶され、もう一方の画像値は記 憶されない。結果として、ビデオ画像値のストリームのさらなる圧縮が生じる。 前記のように、閾値Ｔは、固定されたまたは適当な閾値とすることができる。 前記方法は、固定された閾値の使用を説明した。代わりに、本発明の方法では、 適当な閾値を提供し、ユーザ（またはコンピュータ）が記憶される画像値の数（ および対応してビデオ画像の数）を指定できるようにする。ユーザまたはコンピ ュータは、記憶される画像値の数を、直接、または、その画像値が記憶されるビ デオ画像を表示するための時間量を指定することにより間接的に指定することが できる。後者の例では、ユーザは、２時間のビデオ映画の場合、例えば、表示さ れる画像値の５分のセグメントを指定できる。したがって、（５ｘ６０ｘ３０＝ 9000）画像値が記憶される。 方法は、その差異を見つけ出すために、最初にすべての連続ビデオ画像の画像 値を比較することによって進行する。過去の例を使用して、画像値は、Ｉ₁、Ｉ₂ 、Ｉ₃...Ｉ_Mとしてラベルが付けられる。それ以降、ビデオ画像Ｆ_kに結び付いた 各画像値Ｉ_kは、時間的にビデオ画像Ｆ_kのすぐ隣に隣接するビデオ画像Ｆ_k+1に 結び付いた画像値Ｉ_k+1に比較される。２つの画像値の間の差異の絶対値が得ら れる。つまり、Ｄ₁（＝｜Ｉ₁−Ｉ₂｜）， Ｄ₂（＝｜Ｉ₂−Ｉ₃｜）， Ｄ₃...Ｄ_M-1 （＝｜Ｉ_M-1−Ｉ_M｜）となり、この場合Ｄが差異である。それから、最小差 異Ｄが選択され、それに対応する画像値の内の１つが保存される。このように、 例えば、Ｄ₂が最小差異である場合、 Ｉ₂またはＩ₃が保存される。ここでは、Ｉ₃が保存されると仮定する。 それから、残りの差異Ｄの内、次に最小の差異、つまりＤ₃が選択され、画像 値の内の１つが破棄される。 代わりに、残る連続画像値Ｉの間の差異が計算し直され、最小差異が選択され る。このようにして、前記例の場合、以下の差異が計算される。 Ｄ₁（＝｜Ｉ₁−Ｉ₃｜） Ｄ₃（＝｜Ｉ₃−Ｉ₄｜） Ｄ₄...Ｄ_M-1（＝｜Ｉ_M-1−１_M｜） 最小差異が選択され、画像値の内の１つが保持される。 どちらかの場合、このプロセスは希望数のビデオ画像が残るまで繰り返される 。これにより、閾値を事前に指定する問題は排除され、閾値をビデオシーンのビ デオコンテンツに基づいて適応して選択できるようになる。これは、ビデオシー ンが四十九（４９）のビデオ画像から成り、本発明の圧縮法を使用し、ユーザが 四（４）つのビデオ画像の希望の結果を指定する場合に四（４）つの画像がその ように決定される図５を参照することにより確認できる。 図６を参照すると、本発明の前記に説明した方法に従い、重要な画像パラメー タが設定されたビデオ画像、つまり「重要な」画像を選択したものを決定する方 法のフローチャートが図示されている。 前記から分かるように、本発明の圧縮方法は、ビデオシーンの記憶容量要件を 大きく削減する。しかし、加えてさらに重要なことには、この方法により、容易 に表示、ブラウズ、または検索が可能な少ない数のビデオ画像が生じる。表示さ れる選択済みのビデオ画像には、ビデオ画像のストリーム内の「変更」の大部分 の量を示すビデオ情報が含まれる。表示される選択済みビデオ画像は、テキスト 作業の場合の索引または目次に類似する。このようにして、ビデオシーンの検索 またはブラウズは、大幅に簡略化できる。 ビデオシーン内のビデオコンテンツにおける変更の大部分の量を 表す「重要な」ビデオ画像の表示が、主要な構成要素分析により圧縮されるビデ オ画像に基づく必要がないことに注記する必要がある。例えば、この方法をビデ オ画像ごとに任意の数のパラメータを決定するそれ以外の方法に基づかせること もできる。それ以降は、これまでに説明したように、連続画像値を比較し、（固 定された閾値または適当な閾値のどちらかを使用し）差異が小さい場合には画像 値の内の１つを破棄すると、多くの「重要な」画像値が計算される。「重要な」 画像値に対応するビデオ画像が表示できる。 いったん「重要な」画像値が求められると、それらの「重要な」画像値に対応 するビデオ画像は、（映画のような）複数のビデオ画像の、その中から圧縮され ていない複数のビデオ画像を忠実度を大きく失うことなく再生できる圧縮済みデ ータに圧縮するための索引画像として使用できる。 図３を参照すると、映画のような複数のビデオ画像を圧縮、記憶するために使 用される本発明の方法の模式図が図示されている。映画がＺ個のフレームから構 成されると仮定すると、Ｆ₁...Ｆ_c...Ｆ_j...Ｆ_M...Ｆ_z数のビデオ画像又はフレ ーム画像がある。フレームＦ_C、Ｆ_j、Ｆ_MおよびＪ_zは、索引画像、つまりその重 要な画像値が前述された方法に従って求められたビデオ画像である。それ以降、 索引画像にもっとも近い各ビデオ画像が比較される。このように、 ｜Ｆ₁−Ｆ_c｜，...｜Ｆ_c-1−Ｆ_c｜，Ｆ_c， ｜Ｆ_C+1−Ｆ_j｜，... が計算される。これは、さまざまなビデオ画像と索引画像の間の差異が「画素ご とに」計算されるという点で従来の技術による方法に類似する。それから、この 差異が索引画像とともに記憶される。代わりに、索引画像および主要構成要素分 析画像を表す「重要な」画像値とともに差異が記憶される。この圧縮技法により 、ビデオベースのすべてのビデオ画像は忠実に再生できる。この方法のフローチ ャートは、図７に示される。 前記から分かるように、基準フレームが設定されたＮ個の各フレームに基づい て選択される従来の技術による方法とは異なり、本発明のビデオデータベースの 圧縮方法は、時間的に特定位置にある基準画像または索引画像の選択を制限しな い。本発明の方法の利点は、以下の例により確認できる。ここでは、以下に従っ た１７のビデオ画像があると仮定する。 Ｉ₁，Ｉ₂，Ｉ₃，Ｉ₄，......Ｉ₁₇ さらに、画像Ｉ₄とＩ₅の間、および画像Ｉ₁₂とＩ₁₃の間が大量の変更（例えば 、あるカメラから別のカメラまでを使用することによるあるシーンから別のシー ンへのシーンの突然の変更など）を表すと仮定する。Ｉ₁とＩ₄の間では、カメラ １は固定位置にあるか、画像間の差異が最小である「パン撮り」を行う。最後に 、Ｉ₁₃とＩ₁₇の間にも最小の変更があると仮定される。したがって、画像から構 成される３つのビデオシーン Ｉ₁−１₄、Ｉ₅−Ｉ₁₂、およびＩ₁₃−Ｉ₁₇ が存在する。 本発明の方法を使用し、画像Ｉ₁、Ｉ₅、およびＩ₁₃が、索引画像または基準画 像、つまりその「重要な」画像値がこれまでに説明した方法に従って決定される 画像であると決定される。画像Ｉ₁−Ｉ₁₇の圧縮とは、Ｉ₁とＩ₂...Ｉ₄のそれぞ れの間の差異を見つけ出し、その差異を記憶し、Ｉ₅とＩ₆...Ｉ₁のそれぞれの間 の差異を見つけ出し、その差異を記憶し、Ｉ₁₃とＩ₁₄...Ｉ₁₇のそれぞれの間の 差異を見つけ出し、その差異を記憶することである。さらに、言うまでもなく、 Ｉ₁、Ｉ₅およびＩ₁₃は、画像またはそれらの引き出し元の主要構成要素分析のど ちらかとして記憶される。 対照的に、従来の技術の方法では、設定された数の画像が基準画像として選択 される。したがって、例えば、八（８）番目のフレームごとに、つまりＩ₁、Ｉ₉ 、およびＩ₁₇が索引画像または基準画像として選択されると、ビデオ画像データ 内に大きな変更があるため、 Ｉ₁とＩ₅の間の差異が膨大な差異を作成する。同様に、Ｉ₉とＩ₁₃の間の差異は 、ビデオデータ内での大きな変更を必要とする。 対照的に、基準画像として最大変更が設定される画像を使用することにより、 圧縮は最適化できる。 さらにビデオ画像を圧縮し、記憶容量要件を削減することにより、本発明の方 法を使用すると、ビデオデータベースを検索することが本発明の別の方法で可能 となる。ビデオデータベースには複数のデータベース要素が記憶され、各データ ベース要素が複数のビデオ画像から成るビデオシーンである。各ビデオデータベ ース要素は、これまでに説明した本発明の方法により圧縮される。しかし、前記 説明と同様に、主要構成要素分析から、ビデオ画像ごとに任意の数のパラメータ を引き出す必要はない。照会を行うビデオシーンも、複数のビデオ画像から成る 。本発明の方法により、照会ビデオシーンとビデオデータベースのビデオシーン の間の一致を見つけ出すために、ビデオデータベースが検索できるようになる。 照会ビデオシーンは、これまでに説明した本発明の方法に従って圧縮できる。 照会を行うビデオシーンとビデオデータベース要素の内の１つの間に一致が発 生するかどうかを判断するために、照会ビデオシーンと結び付いた記憶済み画像 値が、画像値間で一致を見つけるための各ビデオデータベース要素に結び付いた 記憶済み画像値に比較される。一致を比較する１つの方法は、正確な一致を見つ け出すことである。しかし、たいていの場合これは不可能である。別の技法は、 ビデオデータベースのビデオシーンのそれぞれのビデオ画像値との照会ビデオシ ーンのビデオ画像値の統計的な一致を見つけ出す方法である。例えば、以下の比 較を行うことができる。 この場合、ｋは複数のパラメータのインデックスであり、ｉは記 憶された複数の画像値のインデックスである。 Ｐはパラメータの総数である。Ｌは記憶された画像値の総数である。 ＶＩ_ikは、ビデオデータベースからの画像値Ｉ_iのｋパラメータである。 Ｉ_ikは、照会ビデオシーンからの画像値Ｉ_iのｋパラメータである。 Ｗ_kは、パラメータｋの加重因数である。 計算された値が閾値を少し下回る場合、一致が宣言される。本発明のこの方法を 使用すると、「ビデオクリップ」に基づいて、ソースまたは「ビデオクリップ」 の出現元であるビデオデータベース要素を決定できるようになる。 ビデオデータベースを事前圧縮する必要がないことは言うまでもない。したが って、ビデオデータベースは、照会ビデオ画像が圧縮されると同時に圧縮できる 。 代わりに、それぞれがビデオシーンである複数のデータベース要素を記憶する ビデオデータベースの検索は、以下のような適応型技法に基づいて達成できる。 ユーザが、ビデオデータベース要素の内の１つに対する検索一致を処理するため に喜んで時間期間Ｔの間待機し、プロセッサが既知の速度／機能を有する場合、 その時間期間Ｔは、ビデオ画像のＳ数の比較に変換できる。これまでに説明した 適応型比較方法を使用すると、ビデオデータベースのビデオシーンのそれぞれは 、ビデオ画像のＳ数および画像値のＳ数に圧縮できる。それから、ビデオデータ ベース要素のそれぞれに関して、照会ビデオシーンの画像値と画像値Ｓ数が比較 される。その場合、最小総差異が設定されるビデオデータベース要素が、照会ビ デオシーンと選択されたビデオデータベース要素の間のもっとも近い一致である 。照会ビデオシーンは、ビデオデータベース要素の同じ数のビデオ画像に圧縮で きるが、圧縮する必要はない。さらに、従来の技術による検索アルゴリズムは、 照会ビデオシーンを圧縮済みビデオ画像と 比較するために使用できる。 前記から、本発明の方法を使用すると、複数のビデオ画像から成るビデオシー ンが、記憶容量要件を節約するために大幅に圧縮できることが分かる。さらに、 記憶容量要件の削減が行われると、データベースを検索し、照会ビデオシーンに 一致するビデオデータベース要素を決定するために、ビデオデータベースへの圧 縮済みビデオシーンの照会を効率的に表示および検索できるようになる。 望ましい実施例においては、本発明の方法は、カリフォルニア、マウンテンビ ューにあるシリコン・グラフィック社製のシリコン・グラフィックス・ワークス テーション上で動作するコンピュータプログラムにより実施される。本発明のさ まざまな方法の概要は、図８に示される。

Claims (1)

1. 【特許請求の範囲】 １．各画像が複数の画素を特徴とする複数のビデオ画像を圧縮する方法であって 、 前記複数のビデオ画像に少なくとも１つのパラメータを引き出す工程、 前記１つのパラメータに関してビデオ画像ごとに画像値を求める工程、 差異を決定するために各ビデオ画像に結び付いた画像値を別のビデオ画像に結 び付いた画像値に比較する工程、および 前記差異が閾値を下回る場合に、前記各ビデオ画像および前記別のビデオ画像 の画像値の任意の１つを設定しないで、前記複数のビデオ画像に結び付いた複数 の画像値を記憶する工程 からなる方法。 ２．前記別のビデオ画像が時間的に前記各ビデオ画像にすぐ隣接する請求項１に 記載の方法。 ３．前記別のビデオ画像が時間的に前記各ビデオ画像に隣接しない請求項１に記 載の方法。 ４．前記引き出す工程が、そのそれぞれが主要構成要素分析により引き出される 複数の異なるパラメータを引き出す方法。 ５．前記主要構成要素分析が、各ビデオ画像の別の部分の別のパラメータで局所 的に実行される請求項４に記載の方法。 ６．前記主要構成要素分析が、各ビデオ画像全体に使用される同じパラメータで 大局的に実行される請求項４に記載の方法。 ７．前記決定工程が、１つのパラメータに結び付いた１つの画像値で、ビデオ画 像ごとに複数の画像値を決定する請求項６に記載の方法。 ８．前記比較工程が以下に応じて前記差異を計算する請求項７に記載の方法： ここで、ｋは複数のパラメータのインデックスであり、 Ｐはパラメータの総数であり、 Ｉ_ikは画像値Ｉ_iのｋパラメータであり、 Ｉ_jkは画像値Ｉ_jのｋパラメータであり、 Ｗ_kはパラメータｋの加重因数である。 ９．すべてのパラメータｋの前記加重因数Ｗ_kのそれぞれが同じである請求項８ に記載の方法。 １０．すべてのパラメータｋの前記加重因数Ｗ_kのそれぞれが同じではない請求 項９に記載の方法。 １１．Ｉ_iおよびＩ_jが時間的にすぐに隣接するビデオ画像に対応する画像値であ る請求項８に記載の方法。 １２．Ｉ_iおよびＩ_jが時間的にすぐに隣接しないビデオ画像に対応する画像値で ある請求項８に記載の方法。 １３．前記閾値が固定される請求項１に記載の方法。 １４．前記閾値が適応して設定される請求項１に記載の方法。 １５．前記１つのパラメータが離散コサイン変換により引き出される請求項１に 記載の方法。 １６．前記１つのパラメータがGaborフィルタにより引き出される請求項１に記 載の方法。 １７．前記１つのパラメータがwaveletsにより引き出される請求項１に記載の方 法。 １８．複数のビデオ画像をさらに少ない数の重要な画像に圧縮する方法であって 、前記少ない数の重要な画像の数が指定され、各画像が複数の画素を特徴とし、 前記方法が、 前記複数のビデオ画像に少なくとも１つのパラメータを引き出す工程、 前記１つのパラメータに関して各ビデオ画像ごとの画像値を求める工程、 各ビデオ画像に結び付いた画像値を、別のビデオ画像に結び付いた画像値に比 較することにより、複数の差異を計算する工程、 最小差異および前記最小差異の画像値と結び付いたビデオ画像の１つを破棄す る工程、および ビデオ画像の数が、前記少ない数の重要な画像に等しいままとなるまで、前記 破棄する工程を継続する工程 からなる方法。 １９．前記別のビデオ画像が前記各ビデオ画像に時間的にすぐ隣接する請求項１ ８に記載の方法。 ２０．前記引き出す工程が、そのそれぞれが主要構成要素分析により引き出され る複数の異なるパラメータを引き出す請求項１８に記載の方法。 ２１．前記主要構成要素分析が各ビデオ画像の別の部分に別のパラメータで局所 的に実行される請求項２０に記載の方法。 ２２．前記主要構成要素分析が各ビデオ画像の全体に使用される同じパラメータ で大局的に実行される請求項２０に記載の方法。 ２３．前記決定する工程が、１つのパラメータと結び付いた１つの画像値で、各 ビデオ画像に複数の画像値を求める請求項２２に記載の方法。 ２４．前記計算する工程が、以下に従い前記差異を計算する請求項２３に記載の 方法： ｋは複数のパラメータのインデックスであり、 Ｐはパラメータの総数であり、 Ｉ_ikは、画像値Ｉ_iのｋパラメータであり、 Ｉ_jkは、画像値Ｉ_jのｋパラメータであり、 Ｗ_kは、パラメータｋの加重因数である。 ２５．すべてのパラメータｋの前記加重因数Ｗ_kのそれぞれが同じで ある請求項２４に記載の方法。 ２６．すべてのパラメータｋの前記加重因数Ｗ_kのそれぞれが同じではない請求 項２５に記載の方法。 ２７．Ｉ_iおよびＩ_jが時間的に隣接するビデオ画像に結び付いた画像値である請 求項２４に記載の方法。 ２８．Ｉ_iおよびＩ_jが時間的に隣接しないビデオ画像に結び付いた画像値である 請求項２４に記載の方法。 ２９．前記１つのパラメータが離散コサイン変換により引き出される請求項１８ に記載の方法。 ３０．前記１つのパラメータがGaborフィルタにより引き出される請求項１８に 記載の方法。 ３１．前記１つのパラメータがwaveletsにより引き出される請求項１８に記載の 方法。 ３２．重要な画像の数がユーザにより指定される請求項１８に記載の方法。 ３３．重要な画像の数がコンピュータにより指定される請求項１８に記載の方法 。 ３４．ユーザが、複数のビデオ画像を、前記複数のビデオ画像をさらに少ない数 の重要な画像に圧縮することによりブラウズする方法であって、前記さらに少な い数の重要な画像が指定され、各画像が複数の画素を特徴とし、前記方法が、 前記複数のビデオ画像に少なくとも１つのパラメータを引き出す工程、 前記１つのパラメータに関してビデオ画像ごとに画像値を求める工程、 各ビデオ画像に結び付いた画像値を別のビデオ画像に結び付いた画像値に比較 することにより、複数の差異を計算する工程、 最小差異および前記最小差異の画像値に結び付いたビデオ画像の１つを破棄す る工程、および ビデオ画像の数が前記さらに少ない数の重要な画像に等しいままとなるまで前 記破棄する工程を続行する工程 からなる方法。 ３５．さらに、ブラウズのために前記ユーザに、廃棄工程の後に残るビデオ画像 を表示する工程からなる請求項３４に記載の方法。 ３６．さらに、印刷のために前記ユーザに、廃棄工程の後に残るビデオ画像を印 刷する工程からなる請求項３４に記載の方法。 ３７．それぞれのシーンに複数のビデオ画像があり、前記ビデオ画像のそれぞれ が複数の画素を特徴とする複数のビデオシーンを記億するビデオデータベースに おいて、第１の複数のビデオ画像に対する一致を見つけるために前記ビデオデー タベースを検索する方法であって、前記方法が、 前記１つのパラメータのビデオ画像ごとに画像値を求め、 差異を決定するために、各ビデオ画像に結び付いた画像値を別のビデオ画像に 結び付いた画像値に比較し、 前記差異がスレッショルトを下回る場合には、前記各ビデオ画像と前記別のビ デオ画像の画像値の内の任意の１つなしに、前記ビデオシーンに前記複数のビデ オ画像に結び付いた複数の画像値を記憶する ことにより、前記ビデオの各ビデオシーンのビデオ画像を圧縮する工程、および 前記第１の複数のビデオ画像と前記ビデオシーンの内の１つの間に一致を見つ け出すために、前記第１の複数のビデオ画像に結び付いた前記画像値を各ビデオ シーンに結び付いた前記記憶された画像値に比較する工程 からなる方法。 ３８．前記別のビデオ画像が前記各ビデオ画像に時間的にすぐ隣接する請求項３ ７に記載の方法。 ３９．前記別のビデオ画像が前記各ビデオ画像に時間的に隣接しな い請求項３７に記載の方法。 ４０．前記引き出す工程が、そのそれぞれが主要構成要素分析により引き出され る複数のさまざまなパラメータを引き出す請求項３７に記載の方法。 ４１．前記決定する工程が、１つのパラメータに結び付いた１つの画像値で、ビ デオ画像ごとに複数の画像値を決定する請求項４０に記載の方法。 ４２．前記比較する工程が、以下に従い前記差異を計算する請求項３７に記載の 方法： ここで、ｋは複数のパラメータに対するインデックスであり、 Ｐはパラメータの総数であり、 Ｉ_ikは画像値Ｉ_iのｋパラメータであり、 Ｉ_jkは画像値_jのｋパラメータであり、 Ｗ_kはパラメータｋの加重因数である。 ４３．すべてのパラメータｋの前記加重因数Ｗ_kのそれぞれが同じである請求項 ４２に記載の方法。 ４４．すべてのパラメータｋの前記加重因数Ｗ_kが同じではない請求項４２に記 載の方法。 ４５．Ｉ_iおよびＩ_jが時間的にすぐ隣接するビデオ画像に結び付いた画像値であ る請求項４２に記載の方法。 ４６．Ｉ_iおよびＩ_jが時間的にすぐ隣接しないビデオ画像に結び付いた画像値で ある請求項４２に記載の方法。 ４７．さらに、 前記１つのパラメータが主要構成要素分析により引き出される、前記第１の複 数のビデオ画像に少なくとも１つのパラメータを引き出し、 前記１つのパラメータに関してビデオ画像ごとの画像値を求め、 差異を決定するために、ビデオ画像に結び付いた画像値を別のビデオ値に結び 付いた画像値に比較し、 前記差異が閾値を下回る場合、前記各ビデオ画像および前記別のビデオ画像の 画像値の内の任意の１つを設定しないで、前記第１の複数のビデオ画像に結び付 いた複数の画像値を記憶する ことにより前記第１の複数のビデオ画像を圧縮する工程からなる請求項３７に記 載の方法。 ４８．各シーンに複数のビデオ画像があり、各ビデオ画像のそれぞれが複数の画 素を特徴とする複数のビデオシーンを記憶するビデオデータベースにおいて、第 １の複数のビデオ画像に対する一致を見つけるために前記ビデオデータベースを 検索するための方法であって、前記方法が、 前記ビデオシーンに前記１つのパラメータのビデオ画像の画像値を求め、 前記ビデオシーンの各ビデオ画像に結び付いた画像値を、前記ビデオシーンの 別のビデオ画像に結び付いた画像値に比較することにより複数の差異を計算し、 最小差異および前記ビデオシーンの前記最小差異の画像値に結び付いたビデオ 画像の１つを破棄し、 ビデオ画像の数が前記より少ない数の重要な画像に等しいままとなるまで前記 破棄する工程を続行し、 残った前記ビデオ画像およびその画像値を記憶する ことによって各ビデオシーンのビデオ画像を圧縮する工程、および 前記第１の複数のビデオ画像と前記ビデオシーンの１つの間の一致を見つける ために、前記第１の複数のビデオ画像に結び付いた前記画像値を各ビデオシーン に結び付いた前記記憶された画像値に比較する工程 からなる方法。 ４９．シーンごとの前記別のビデオ画像が時間的に前記各ビデオが すぐに隣接する請求項４８に記載の方法。 ５０．シーンごとの前記別のビデオ画像が前記各ビデオ画像に時間的に隣接しな い請求項４８に記載の方法。 ５１．前記１つのパラメータが主要構成要素分析により引き出される請求項４８ に記載の方法。 ５２．さらに、 前記第１の複数のビデオ画像に少なくとも１つのパラメータを引き出し、 前記１つのパラメータに関してビデオ画像ごとに画像値を求め、 各画像値に結び付いた画像値を別のビデオ画像に結び付いた画像値に比較する ことによって、複数の差異を計算し、 最小差異および前記最小差異の画像値に結び付いたビデオ画像の内の１つを破 棄し、 ビデオ画像の数が重要な画像の前記少ない数に等しいままとなるまで、前記破 棄する工程を続行し、 残る前記ビデオ画像およびその結び付いた画像値を記憶する ことにより、前記第１の複数のビデオ画像をさらに少ない数の重要な画像に圧縮 し、ユーザが前記さらに少ない数の重要な画像の数を指定する工程からなる請求 項４８に記載の方法。 ５３．前記１つのパラメータが離散コサイン変換により引き出される請求項４８ に記載の方法。 ５４．前記１つのパラメータがGaborフィルタにより引き出される請求項４８に 記載の方法。 ５５．前記１つのパラメータがwaveletsにより引き出される請求項４８に記載の 方法。 ５６．各画像が複数の画素を特徴とする複数のビデオ画像を圧縮する方法であっ て、前記方法が、 前記複数のビデオ画像に少なくとも１つのパラメータを引き出し、 前記１つのパラメータにビデオ画像ごとの画像値を求め、 差異を決定するために、各ビデオ画像に結び付いた画像値を別のビデオ画像に 結び付いた画像値に比較し、 さらに大きな差異のある前記複数の基準ビデオ画像のそれぞれに結び付いた画 像値に基づき、複数の基準ビデオ画像を選択する ことにより前記複数のビデオ画像から複数の基準画像を選択する工程、 複数のビデオ差異を決定するために、各ビデオ画像を前記複数の基準ビデオの 内の１つに比較する工程、および 前記ビデオ差異および前記基準ビデオ画像を記憶する工程 からなる方法。