JPH11505093A - 圧縮データ列のフィルタ処理版を使った盗難防止映像検索 - Google Patents

Abstract

(57)【要約】 盗難防止ビデオ検索の方法及び装置であって、圧縮モーションＪＰＥＧやＭＰＥＧフォーマットのビデオプログラム素材を保存し（３０）、保存されたビデオ素材から特定のビデオプログラムを検索によりユーザに選択させ（２４）、選択されたビデオプログラムをユーザに表示する前に、選択ビデオプログラムの画質レベルが、選択ビデオプログラムの不正利用を許容するコピーを許したり或いは選択ビデオプログラム内容を見たいという欲求を満足させるには不十分であるが、ユーザが購入又はレンタルするかどうかを決めるために選択ビデオプログラムを検索するのに十分なレベルにまでその画質を低減するために、そのビデオプログラムがローパス及び／又はハイパスフィルタ処理されて再生される（２８）。前記のビデオ検索システム（２０）と方法は、さらに、ユーザーが検索のために高い金額を支払うことにより、高画質のビデオプログラムを得られるようにできる（２６）。

Description

【発明の詳細な説明】 圧縮データ列のフィルタ処理版を使った盗難防止映像検索関連出願 本出願は、１９９５年２月３日提出の出願ＮＯ．０８／３８２，８７７の“Me thod and Apparatus For Video Browsing Based on Content and Structure”に 関連するものである。その関連出願の教示内容は、対立しない範囲で本出願の参 照事例として編入されている。発明の分野 本発明は、映像物の購買目的検索のための方法および装置に関し、特に、有望 顧客に対する有益な検索システムの提供を阻害することなく、ビデオクリップの 内容を制限できる方法および装置に関する。発明の背景 多量の映像物を検索して適切なクリップを見つけだす機能は、ほとんどの映像 製品において重要である。双方向テレビやペイパービュー(pay-per-view)システ ムにおいては、レンタル前にプログラムの一部を見ることが顧客から要請される 。映画、テレビドラマ、スポーツなどのプログラムを公開するのに予告編を用意 するのは一般的であって、顧客に興味あるプログラムを見つけ出させるブラウザ (browser)が必要不可欠である。学術分野では、デジタルライブラリーにより動 画が収集および配布されている。政治学者、心理学者、歴史学者、映画翻訳者な どの学者は、大元の動画を取り扱い、対象素材を検索する手助けとして、また自 分で素材を分析するためにブラウザを必要としている。また検索は、映像の特徴 として要約化が難しいので、テキストベースのライブラリーよりも映像分野でい っそう重要である。ユーザがヒントを与えれば、データベースが可能なかぎりの 適合素材を見つけれくれ、この時点でユーザは、提供された映像列から適当なも のを決定することができる。ユーザは、映像列を観て好みのものを選択し、また は紹介を取り消す決定を下すことができる。 どの検索システムも、顧客に素材を選択させ購入を促せると同時に、ブラウザ や顧客による不正流用から関係する著作権素材や知的財産権を保護する必要があ る。著作権素材の所有者にとっては、検索システムが権利保護に対応しない限り 、検索システムの実現を容認することはできないであろう。 映像類の販売道具として使われる場合、ブラウザは顧客と販売者との間の必要 性や要望のバランスを取らねばならない。つまり、販売者は顧客に対して各自が 選択できるようなプレビューを提供する必要があるが、顧客からの支払いなくし て製品を渡すことはない。一方、キー画面（フレーム）検索では、顧客にフルク リップを前もって提供しないため盗難防止はできるが、フルモーション映像では ないためクリップによっては購買意欲に水を差す場合もある。知覚研究から、人 間にとってはフィルタ処理を強くした画像でも重要な特徴は認識できることが判 明している。本発明者は、そのような映像列を圧縮映像列から直接的に作成でき 、バンド幅や演算時間を削減可能であることを見出した。 初期のブラウザは、ビデオ製品用に展開され、そしてビデオデータベースのた めの先頭部として展開された。現在における検索標準技術は、映像情報を重要な スナップショットに圧縮し、主要な音声を可聴できるようにした再現ショットと するストーリーボード式検索である。 周知のブラウザの１つに、映像列をいくつかの等しいセグメントに分割して、 各セグメントの第１フレームをキー画面として扱うものがある。この方法では、 映像物の内容に対してはヒット／ミス閲覧になってしまう。別の周知ブラウザで は、映像列の各フレームを累積するものもある。この方法では、カメラと対象物 の動きに関する豊富な情報をユーザに提供できる。しかし、デジタルビデオライ ブラリーを使う学者／研究者やペイパービューシステムの顧客は、記録内容中の カメラの使用手法よりも、内容（誰が、何を、何処で）のほうを重視するもので ある。このような内容本意のブラウサの要請に対して、３番目の周知ブラウザで は、ビデオクリップの映像内容を構成するためＲフレーム（代表フレーム）技術 が使われている。Ｒフレームは、所望素材を判別する際にユーザを支援する多様 な基準に従ってグループ化しても構わない。 スナップショットや代表フレームを利用することにより、ストーリーボードブ ラウザでは大部分の映像データを知的財産権盗難の犠牲から守ることができるが 、 全てのストーリーボードブラウザは基本的に、検索コピーから動画を排除してし まう。大多数のユーザにとって動画は映像物の認識や理解に重要な支援であり、 たとえばスポーツ、ニュース内のアクション画面列、娯楽番組の検索では、興味 対象を認識するため動画が必要とされる。学術文献でさえ、Vanderbilt Televis ion News AchiveやPurdue C-SPAN Collectionのようにペイパーユース(pay-per- use)式で映像素材を提供している例もある。映像物の著作権を保有し、その一部 を２次マーケットで販売したり、その価値を維持しようとする組織は、非商業利 用でさえもいくらかの金額をユーザに要求する場合もある。 ブラウザは、映像ソースにノンリニアアクセスできる方法として、キーフレー ムを使う再生機能も備えている。ペイーパービュー映像の検索では、映像物の検 索版を使うことなく映像ソースをレンタルするように顧客を促せるようなしくみ が要求される。もし、検索中にオリジナルソースの映像全部分（またはソース中 の実質部分）を観られるとすれば、顧客はレンタル料を支払わずに何度も検索し て見ようとするに違いないし、検索画像をビデオテープへ恒久記録しようとする 可能性もある。 映像物のフルモーション検索コピー版を提供するような場合、検索コピー版内 の情報量を制限する対策も施さなければならない。知覚研究から、画像の主要特 徴を把握するのに必ずしも画像情報の全部は必要でないこと、検索者に高画質と 判断される画質が映像物の正確な認識に要求される主要特徴に一致している必要 はないことが判明している。キーフレームは、映像物のテンポラルサンプリング (temporal sampling)の一様式である。発明の要旨 以上の課題に鑑みて本発明は、映像物の購入前検索のための改良方法と装置を 提供する。すなわち顧客には、映像列の空間フィルタ版としたフルモーションビ デオクリップへのアクセスおよび閲覧が許可される。そのフィルタ処理した映像 列は、顧客に認識可能で興味をよぶに十分な情報量を保持している一方で、販売 品の映像ソースの代わりに無料検索コピーを使用できるほどの画質はもたないも のになっている。検索コピーは、本発明の一態様では、演算、保存、伝送のコス トを節減するため、モーションＪＰＥＧやＭＰＥＧの映像ストリームから直接的 に抽出される。圧縮ビデオデータの暫時的近似とモデル処理が、本発明の盗難防 止検索システムの各種態様のパフォーマンス向上に使われる。 本発明の別の態様では、空間フィルタ処理が、テンポラルフィルタ処理(tempo ral filtering)とともに、無料検索コピーが販売品の映像ソースの代替になると 顧客に思わせることなく検索に必要な視覚情報を提供するのに使用される。 本発明のさらに別の態様では、検索コピーの画質を上げていくとそれにつれて 徐々に高額料金を顧客に支払わせる支払手段が備わっている。図面の簡単な説明 本発明の各種実施形態を、同じ部分に共通符号を付した以下の図面を参照して 説明する。 図１Ａは、３２０×２４０画素の解像度をもつフル画面を示した図である。 図１Ｂは、８０×６０画素の解像度に（ＤＣ＋２ＡＣ）でローパスフィルタ処 理した図１Ａの画像の図である。 図１Ｃは、４０×３０画素の解像度にＤＣ係数だけでローパスフィルタ処理し た図１Ａの画像の図である。 図２Ａは、８×８ブロックに分割されたイントラコード画像の図である。 図２Ｂは、図２Ａの８×８ブロック１つの拡大図である。 図２Ｃは、一例として基準ブロックＰｒｅｆ、動画ベクトル、元のブロックＰ １、Ｐ２、Ｐ３、Ｐ４を含むビデオ画像内の画素ブロックの図である。 図３Ａは、（ＤＣ＋２ＡＣ）でローパスフィルタ処理した映像画面（フレーム ）の図である。 図３Ｂは、ハイパスフィルタ処理後の図３Ａの映像画面の図である。 図４Ａは、（ＤＣ＋２ＡＣ）でローパスフィルタ処理したニュース番組からの ２０フレームの映像列の図である。 図４Ｂは、ハイパスフィルタ処理後の図４Ａのローパスフィルタ処理画面の図 である。 図５Ａは、ニュース番組からの１画面の未フィルタ処理画像の図である。 図５Ｂは、図５Ａのオリジナル画像のローパスフィルタ処理画面の図である。 図５Ｃは、図５Ａの画像のハイパスフィルタ処理画面の図である。 図６は、本発明の一実施形態のシステムブロック図である。 図７は、図６のシステムの支払サブシステム部のプログラミングステップのフ ローチャートである。 図８は、図６のシステムのフィルタ処理サブシステム部に関するプログラミン グステップを簡略部分図示した部分ブロック図である。 図９は、本発明の一実施形態におけるＤＣ画像再生のためのフローチャートで ある。 図１０は、本発明の一実施形態における（ＤＣ＋２ＡＣ）画像再生のためのフ ローチャートである。 図１１は、２×２ブロックの２Ｄ逆離散コサイン変換を使う画面の２×２ブロ ック部分のＤＣ＋２ＡＣ画像再生の図である。発明の詳細な説明 本発明では、各画面の空間フィルタ処理が、検索中において顧客へ元のソース 素材のサブセットを供与する別の手段として扱われている。空間フィルタ処理で は、それらの内容を判断するため全マガジンを調べることをユーザに許可する空 間を与えるが、購買しない場合にはマガジンの表紙から裏表紙まで読み取ること は必ずしも十分に認めないような、マガジンショップの検索域に等しいメカニズ ムが作用する。空間フィルタ処理は、著作権保持者の知的財産権を保護できるビ デオデータ列の完全長の完全動画版を提供するのである。 ビデオ電話で必要な情報量の生理学的制限や、人間の視覚系の特性や情報容量 を特定する研究が、他者により行われている。そのような従来の研究においては 、米国手話言語（ＡＳＬ）のフィルム画像のベース画像列を使ったテストが繰り 返されてきた。ＡＳＬを理解できる聴覚障害被験者は、フィルタ処理やノイズ処 理などの多様な条件下で手話を読み取っている。そして、被験者が画像列から実 際の内容を読み取った結果を比較することにより、試験者は、視覚認識系全体に 対する画像列の明瞭性を計測するのである。 それら実験から、非常に低い解像度のデータ列からでも被験者はかなり高い認 識率を達成できることが判明した。ビデオデータ列をハイパス空間フィルタ処理 （つまり、エッジ強調操作）した結果、認識率は高かったものの低画質と被験者 は判定した。被験者の画質評価が素材から情報を抽出する能力と一致しなかった 事実は、フィルタ処理がビデオ検索のための有効な技法であることを意味する。 検索コピーに対して顧客をわずかに不満足にしておくのは、顧客に元のソース素 材に対する購買意欲を喚起させる基本である。本発明者は、下記の説明のように して、クリップの親和性と盗難防止のバランスをとる必要性を認識した。 本発明によるフィルタ処理方法の一実施形態を以下に説明する。本例の検索メ カニズムでは、モーションＪＰＥＧ（Joint Photography Expert Group）又はＭ ＰＥＧ(Motion Picture Expert Group)方式の画像列からフィルタ処理された画 像列が直接的に抽出される。本発明の各実施形態では、ハイパス及び／又はロー パスフィルタ処理が利用される。ＤＣ画像およびＤＣ＋２ＡＣ画像と呼ばれるロ ーパスフィルタ処理された削減画像を本発明者らが試験した結果、盗難防止検索 に有効であることが判明した。しかもこの場合、データ量が少ないため演算やデ ータ伝送が迅速で、演算、保存、転送に要するコスト削減も可能となる。 モーションＪＰＥＧとＭＰＥＧのＩフレームを、例えば図２Ａのように、８（ 画素）×８（ライン）からなる単位ブロック５に分割し、各ブロックについて２ 次元の離散コサイン変換（ＤＣＴ）を実行する。ブロック内の画素値をｆ（ｉ， ｊ）、０≦ｉ、ｊ≦７とすると、ＤＣＴ値はＣ（ｉ，ｊ）、０≦ｉ、ｊ≦７で示 せる。ＭＰＥＧ符号化映像の場合、動き補償をＰフレーム（予測フレーム）とＢ フレーム（双方向フレーム）に対して行い、残りをＤＣＴで符号化する。ＤＣ値 Ｃ（０，０）は下記の式のように画素値ｆ（ｉ，ｊ）で示すことができ、ブロッ クの平均強度の８倍である。 但し、ｉとｊはそれぞれｘとｙに等しい。 ＤＣ画像は元画像内の１ブロックにつき１画素を占め、画素値はそのブロック における全画素の画素値を平均した値である。ＤＣ画像のデータ列は、ＤＣデー タ列と呼ぶ。図１Ａ、１Ｂ、１Ｃには、それぞれ３２０×２４０画素の元画像２ 、 ８０×６０画素の（ＤＣ＋２ＡＣ）画像３、４０×３０画素のＤＣ画像４を図示 してある。（ＤＣ＋２ＡＣ）画像３は、それぞれ２×２画素をもつ複数のブロッ クで構成されている。各ブロックは、ＤＣ値Ｃ（０，０）と、Ｃ（１，０）及び Ｃ（０，１）の２つのＡＣ値から構成される。ここで、ＤＣ画像４はローパスフ ィルタ処理されたものと仮定し、元画像２のサブサンプル画面とする。ＤＣ画像 ４は元画像２よりもずっと小さいけれど、それでも多くの情報量を備えている。 しかし、ＤＣ画像４は元画像２の詳細な部分が削減されている。例えば、図１Ｃ のＤＣ画像４では、文字や数字は読み取れないが、元画像２から得られる全体的 な情報は維持されている。次ぎに、こうした画像を作り出すための本発明の一実 施例について説明する。 当業者には周知であるが、ＤＣ画像は８×８ブロックの平均相対値に等しい直 流成分である。一つのブロックを再生するため、８×８の各ブロックは６４の係 数をもち、その内の１つのがＤＣ係数でその他がＡＣ係数となっている。その一 例として図２Ｂには、図２Ａに示されたフレーム内の８×８の一つのブロック５ が図示されている。この例では、ＤＣ画像部分、即ちＤＣ係数が左上の隅にあり 、これにＡＣ係数ＡＣ０１とＡＣ１０が隣接している。 圧縮処理を施していない元画像２からＤＣ画像４を作成するとき、ブロック単 位でＯ（Ｎ²）演算（Ｎはブロック長）が必要となるが、ＤＣＴ圧縮画像の場合 は、ＤＣＴブロックのＤＣ値がブロック平均値の縮小スケールとなる。Ｎ＝８の 場合、前記の式（１）から、平均値はＤＣＴブロックのＤＣ値の１／８になる。 それゆえ、モーションＪＰＥＧ符号化データ列の各フレームやＭＰＥＧのＩフレ ームからのＤＣ画像の再生が簡単に行える。 イントラコードＤＣＴ画面（Ｉフレームなどフレーム内でのみ符号化されたピ クチャ）の場合、ＤＣ画像は縮小されたＤＣ係数の集合から形成される。ここで 、ＤＣ画像は、各寸法につき８倍に縮小され、元画像にローパスフィルタ処理を 加えたサブサンプル画像と仮定する。その画像は、元画像よりもサイズが小さい けれど、それでも多くの情報量を有している。しかしながら詳細部分は低減され ている。 ＰフレームやＢフレームから、あるいは、圧縮データ列から直接にＤＣ画像を 作成するため、実際のＤＣ画像に近似する画像を作成できる近似演算法が開発さ れている。その方法を以下に説明する。 ＤＣ画像は、圧縮されたＭＰＥＧデータ列から直接に再生することが可能であ る。下記の例ではＰフレームとＢフレームをその対象とする。図２ＣにおけるＰ_ref を現在の処理対象ブロックとし、Ｐ１、Ｐ２、Ｐ３、Ｐ４はＰ_refを作成する ための隣接する４つの元ブロックである。ブロックＰの２次元ＤＣＴ値をＤＣＴ （Ｐ）とし、その（ｉ，ｊ）成分を（Ｐ）_ijとする。前記例のヤオ(Yeo)とリウ( Liu)による演算法でのＤＣＴ（Ｐ_ref）のＤＣ値は、下記の式で示せる。 ただし、Ｓ_ijは下記式のようなマトリクスである。 下記の表１に示されているように、対象となるサブブロックは、右下、左下、 右上、左上の４つの可能な位置にあり、以下のようなＳ_ijの値がそれぞれ与えら れる。ただし、ｈ_iとＷ_iはＰ_i中の対象サブブロックの高さおよび幅である。 それゆえ、ＤＣＴ（Ｐ_ref）の実際のＤＣ値は、下記のようになる。 ただし、ωⁱ _m1＝（ＤＣＴ（Ｓ_i1））_0m×（ＤＣＴ（Ｓ_i2））₁₀。 前記のマトリクスにおいて、（ＤＣＴ（Ｐ_i））₀₀の重みωⁱ ₀₀は（ｈ_i×ｗ_i） ／６４で、（ＤＣＴ（Ｐｒｅｆ））００は下記の式（５）から正確に近似演算で きる。 上記式（５）による（ＤＣＴ（Ｐ_ref））₀₀の演算は、１次近似である。その ような近似演算はＰフレームとＢフレームの両方に適用可能であるが、Ｐフレー ムは他のＰフレームやＢフレームを符号化するのに利用されるためエラー伝搬が 発生するが、エラーはわずかである。最も隣接する直前Ｉフレームからの画像の 距離が増加するにつれて、ネット効果が増えて再生されたＤＣ画像にはにじみが 現れる。たとえにじみが現れても、全体的特徴は維持できる。 さらにまた、下記の式（６）による式（５）の近似演算も可能である。 この例では、対象となる最大サブブロックをもつブロックのＤＣ値が使われる 。これにより、０次近似演算が行える。この近似演算により再生されたＤＣデー タ列も、本発明の目的にかなうものである。 ＤＣ＋２ＡＣ低減画像は、各寸法について１／４倍に縮小される。イントラコ ードブロックの場合、ＤＣ＋２ＡＣ係数ｃ（０，１）とｃ（１，０）を使った２ ×２逆ＤＣＴで作成できる。ＰフレームやＢフレームからそのような画像を再生 するには、ＤＣ画像の場合に使った１次近似演算と同様の方法を利用する。ＤＣ ＋２ＡＣ係数及び２つのＡＣ係数を、現在フレームのＤＣ＋２ＡＣ係数を再生す るためのアンカーフレームで使う。前記の式（２）の高次項は、無視する。その 場合、再生演算は下記の式（７）、（８）、（９）で行える。 各係数に対して、１２の乗算と１２の加算が必要である。２×２逆ＤＣＴ演算 では加算と減算だけを行い、乗算は行われない。 ＤＣ画像の作成は、ブラウジング（検索）用に画像データ列に対して空間フィ ルタ処理を施す際の最初の工程である。さらに画像をフィルタ処理して、画像を 見やすくする情報成分を除く一方で、画像認識に必要な情報を維持するため、Ｄ Ｃ画像のエッジ検出を行うこともできる。その演算はデータの一部分だけに適用 されるため非常に簡単である。本発明の他の実施形態では、ＤＣデータ列のハイ パスフィルタ処理でソーベル演算子を利用する。ただし、ソーベル演算子は説明 を簡単にするため利用するのであって、その他の高度な方法を利用することも可 能である。 ソーベルのエッジ検出は、下記のような２つのマスクＳ₁とＳ₂で示せる。 マスク Ｓ₁とＳ₂は、それぞれ水平及び垂直エッジを検出するのに使われる。 Ｓ₁への応答性をｇ_iとすると、全応答性は［（｜ｇ₁｜＋｜ｇ₂｜）／２］で表さ れる。この演算はシフト演算と加算だけで行われる。 図３Ａには、典型的な（ＤＣ＋２ＡＣ）フレーム画像６が図示されている。図 ３Ｂのフレーム画像８は、図３Ａのフレーム画像６をハイパスフィルタ処理した 後のフレーム画像である。図から、図３Ｂのフィルタ処理されたフレーム画像８ によれば、有効かつ盗難防止効果の高い素材検索を可能としながらも、画像情報 を理解できる程度にビデオ画像の基本成分が維持されているのが判る。これと同 じことは、ニュース番組の２０画面を表しているローパスフィルタ処理画像１０ とハイパスフィルタ処理画像１２とをそれぞれ図示した図４Ａと図４Ｂや、ニュ ースキャスター画面の元画像１４、ローパスフィルタ処理画像１６、ハイパスフ ィルタ処理画像１８をそれぞれ図示した図５Ａ、５Ｂ、５Ｃについても当てはま る。 前述のように、（ＤＣＴ（Ｐ_ref））₀₀の再生で適用した１次と０次の近似演 算の結果として、最も隣接している直前のＩフレームからのＤＣ画像の距離が増 加するにつれて、再生されたＤＣ画像ににじみが現れる場合がある。実験の結果 、前記の近似演算法で処理された低減ビデオデータ列は、さらなる保護手段を提 供できるだけでなく、その演算、保存、伝送などを最小限の負荷で実行可能とし ながらも、検索動作における有効性をも維持することが可能である。 図６は、本発明の他の実施形態による検索システムの構成図である。検索シス テム２０は、ビデオモニター２２、検索制御システム２４、支払システム２６、 フィルタ処理システム２８、コンピュータメモリー装置３０を備えている。検索 制御システム２４は、例えばマウスやジョイスティックを備えるコンピュータの キーボードである。支払システム２６とフィルタ処理システム２８は、例えばこ の検索システム２０に備えるコンピュータ（簡略化のため図示しない）の所定プ ログラムで構成できる。メモリー装置３０はディスクやその他の記憶装置で、例 えばモーションＪＰＥＧやＭＰＥＧなど圧縮形式による複数のビデオ番組を保存 する。ソフト制御による支払システム２６とフィルタ処理システム２８を、以下 、それぞれ図７と図８のフローチャートを参照して詳細に説明する。 図７において、本例の支払システム２６は、ユーザが典型的なメニュー操作方 式でキーボード（検索制御システム）２４を操作することで駆動されるシステム に基づくソフトウエア制御により行われる。最初に支払システム２６にアクセス する際、ユーザは自己の口座番号を入力する（ステップ２８）。次の判断ステッ プ３０では、口座番号が有効か否かを確認するため口座番号を検査する。口座番 号が有効でないとき、支払システム２６はモニター２２上に口座番号が無効であ ることをユーザに表示するための信号を出力して、ユーザがビデオ番組にアクセ スするのを拒否する。ステップ３０で口座が有効だと判断されると、ステップ３ ２で、モニター２２表示と共にユーザに、所望とするビデオ番組の選択、及び、 選択されたビデオ番組を目視点検するための検索コピーの画質レベルの選択を行 わせる。選択した画質レベルが高いほど、ユーザが所望ビデオ番組にアクセスす るための支払額つまり費用が高くなる。ステップ３２での選択操作の後、支払い 情報が口座更新ステップ３４で集約され、モニター２２上でのユーザ口座の表示 、或いはプリンタ（簡略化のため表示しない）による情報印字の何れか一方又は 双方がユーザに提示される。また、選択ステップ３２では、選択されたビデオ番 組のインデックスを示す出力信号３６と、選択プログラム３６の検索コピーのた めに選択した画質レベルのインデックスを示す別の出力信号３８とが出力される 。 図８の例では、選択されたプログラムのインデックス信号３６が、多様なビデ オデータベース即ち提供可能な番組を保存しているメモリ３１から所望のビデオ 番組を取り出すと共にフィルタシステム２８へ転送するために、前記コンピュー タで利用される。空間フィルタシステム４０によるソフトウエア制御は、選択画 質インデックス信号３８に従ってフィルタ処理の度合いを調整設定する。図示の ように、空間フィルタ処理システム４０は、選択画質インデックス信号３８のレ ベルに従って、ＤＣ係数及び／又はハイパスフィルタ４４のみを使った最高フィ ルタ処理、或いは（ＤＣ＋２ＡＣ）を含む係数を使った低フィルタ処理、オリジ ナルの解像度で再生する無フィルタ処理などを行う。ともかく、ステップ４２で は、選択された空間フィルタ処理レベルによるローパスフィルタ処理が施された 状態で所望のビデオ番組が再生され、結果としての検索ビデオコピーがモニター ２２上の検索素材の表示によりユーザに提供されるのである。 ステップ４４では、ローパスフィルタ処理されたビデオ番組について更にハイ パスフィルタ処理を施すか否かを判断する。処理しない場合は、ローパスフィル タ処理されたビデオ番組をモニター２２に表示してユーザに提供する。ハイパス フィルタ処理をする場合は、ローパスフィルタ処理されたビデオ番組をハイパス フィルタ４６（ソーベルフィルタ処理によるエッジ検出）処理してから、モニタ ー２２を通じてユーザに提供される。 図９は、ステップ４８、５０、５２、５４から成るＤＣ画像の再生工程４２（ 図８参照）のフローチャートである。本例のステップ４８で各新規のフレームは 、フィルタ処理選択をＤＣとするステップ４０を通じてローパスフィルタ処理が 施される。次のステップ５０では、前記フレームがイントラコード化されている かどうかを判断する。イントラコード化済みの場合はステップ５４へ移り、現在 のフレームからＤＣ係数を抽出してから、ステップ４４へ進む（図８参照）。未 だイントラコード化されていない場合は、ステップ５２でアンカーフレームから ＤＣ係数を抽出して、ステップ４４へ移動する。 （ＤＣ＋２ＡＣ）画像を再生するための別の再生ステップ４２が、図１０に図 示されている。本例のステップ５６で各新規のフレームは、（ＤＣ＋２ＡＣ）の フィルタ選択を通じてローパスフィルタ処理される。次のステップ５８では、現 在のフレームがイントラコード化されているかどうかを判断する。されていない 場合はステップ６０へ移り、アンカーフレームからＤＣ、ＡＣ０１、ＡＣ１０の 係数を抽出した後、ステップ６４へ進み、２×２ブロックを２Ｄ逆離散コサイン 変換をする。その結果としての（ＤＣ＋２ＡＣ）画像はステップ４４へ送られる （図８）。前記ステップ５８で、現在のフレームがイントラコード化されている と判断した場合は、ステップ６２で現在のフレームからＤＣ、ＡＣ０１、ＡＣ１ ０の係数を抽出してからステップ６４へ進み、前述の処理を行う。図１１に、２ ×２ブロックのＤＣ＋２ＡＣ再生画像が左上隅に図示されている。 本発明のいくつかの実施形態を図示説明してきたが、それらに限定されるもの ではない。それら実施形態の変更が可能なのも当業者には明白であろう。例えば 、上記の本発明の実施形態では、ＭＰＥＧやモーションＪＰＥＧ形式の圧縮ビデ オ画像から抽出したＤＣデータ列が使われている。しかしながら、本発明の考案 方法は、サブバンド符号化つまりウエーブレット符号化などの汎用圧縮技術にも 適用可能である。さらに、ビデオデータ列の継時的サブサンプリング処理も、転 送されるデータ量をさらに削減する代案となろう。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウルフ ウエイン アメリカ合衆国 ニュージャージー州 08540 プリンストン フィリップドライ ブ146 (72)発明者 リウ ベーデ アメリカ合衆国 ニュージャージー州 08540 プリンストン ハートリーアベニ ュー248

Claims (1)

1. 【特許請求の範囲】 １．ビデオモニター上でビデオ素材の盗難防止検索を行う方法であって、 前記ビデオ素材を記憶装置に保存する工程と、 前記ビデオモニター上に表示すべく、保存されているビデオ素材から特定のビ デオプログラムをユーザに選択させる工程と、 該選択されたビデオプログラムをユーザが購入、レンタル又はライセンス賃借 するかどうかを決めれるよう、それを表示する前に、ビデオプログラムの画質レ ベルが不正な使用を可能とするコピーを許したり又はビデオプログラムを見たい 欲求を満足させるには不十分であるが、ユーザーがビデオプログラムを検索する のに十分なレベルにまでビデオ内容の画質を低減すべく前記選択されたビデオプ ログラムにフィルタ処理を施す工程と、 該フィルタ処理された選択ビデオプログラムを前記ビデオモニターに表示して ユーザに提供する工程と、から成るビデオ素材の盗難防止検索方法。 ２．前記保存工程に先だって、前記ビデオ素材を圧縮フォーマットに圧縮する工 程をさらに含む請求の範囲第１項に記載のビデオ素材の盗難防止検索方法。 ３．前記保存工程に先だって、前記ビデオ素材を圧縮フォーマットで動画的に変 換して、ユーザに動画ビデオプログラム全体の検索を可能にさせる工程をさらに 含む請求の範囲第１項に記載のビデオ素材の盗難防止検索方法。 ４．前記保存工程に先だって、前記ビデオ素材を圧縮モーションＪＰＥＧフォー マットで圧縮する工程をさらに含む請求の範囲第１項に記載のビデオ素材の盗難 防止検索方法。 ５．前記保存工程に先だって、前記ビデオ素材を圧縮モーションＭＰＥＧフォー マットで圧縮する工程をさらに含む請求の範囲第１項に記載のビデオ素材の盗難 防止検索方法。 ６．前記ユーザにビデオプログラムを選択させる工程に先だって、 ユーザの口座番号をユーザに尋ねる工程と、 ユーザの口座番号を検証して、口座番号が有効な場合は前記ユーザに選択させ る工程を実行するようユーザに要請し、口座番号が無効だと判明した場合は前記 ユーザに選択させる工程へのアクセスを拒否する工程と、をさらに含む請求の範 囲第１項に記載のビデオ素材の盗難防止検索方法。 ７．前記検証工程においてユーザの口座番号が有効とされた後に前記ユーザに選 択させる工程は、 ユーザが選択したビデオプログラムに選択プログラム信号表示のインデックス を与える工程と、 検索のため選択すべきビデオプログラムの画質レベルを価格表に従ってユーザ に選択するよう要請する工程と、 ユーザの画質レベル選択に基づいた選択画質のインデックスを与える工程と、 を含む請求の範囲第６項に記載のビデオ素材の盗難防止検索方法。 ８．前記のフィルタ処理する工程は更に、ビデオプログラムの空間フィルタ処理 度を選択画質のインデックスに対応させて調整することにより、フィルタ処理度 が画質インデックス最低値となる最大フィルタ処理から、画質インデックス最高 値となる選択ビデオプログラムのオリジナル解像度である無フィルタ処理に及ぶ ことを可能とする工程を含む請求の範囲第７項に記載のビデオ素材の盗難防止検 索方法。 ９．前記フィルタ処理工程はローパス空間フィルタ処理を含む請求の範囲第１項 に記載のビデオ素材の盗難防止検索方法。 １０．前記フィルタ処理工程はハイパス空間フィルタ処理を含む請求の範囲第１ 項に記載のビデオ素材の盗難防止検索方法。 １１．前記フィルタ処理工程は、 前記ビデオプログラムにローパス空間フィルタ処理を施す工程と、 そのローパスフィルタ処理されたビデオプログラムをハイパス空間フィルタ処 理する工程と、を含む請求の範囲第１項に記載のビデオ素材の盗難防止検索方法 。 １２．前記フィルタ処理工程は、ローパス空間フィルタ処理を含む請求の範囲第 ８項に記載のビデオ素材の盗難防止検索方法。 １３．前記ローパスフィルタ処理範囲は、ＤＣ、（ＤＣ＋２ＡＣ）、…（オリジ ナル解像度）から成る請求の範囲第１２項に記載のビデオ素材の盗難防止検索方 法。 １４．前記ハイパス空間フィルタ処理工程は、ハイパスフィルタとしてソーベル 演算子を用いる請求の範囲第１０項に記載のビデオ素材の盗難防止検索方法。 １５．前記ハイパス空間フィルター処理工程は、ハイパスフィルターとしてソー ベル演算子を用いる請求の範囲第１１項に記載のビデオ素材の盗難防止検索方法 。 １６．前記保存工程に先だって、その保存工程で保存すべきビデオ素材を得るべ くビデオプログラムを暫定的にサブサンプリング処理する工程をさらに含む請求 の範囲第１項に記載のビデオ素材の盗難防止検索方法。 １７．前記変換工程は、ビデオ素材をサブバンド符号化することを含む請求の範 囲第３項に記載のビデオ素材の盗難防止検索方法。 １８．前記変換工程は、ビデオ素材をウエーブレット符号化することを含む請求 の範囲第３項に記載のビデオ素材の盗難防止検索方法。 １９．暫定的にサブサンプリング処理する工程をさらに含む請求の範囲第３項に 記載のビデオ素材の盗難防止検索方法。 ２０．前記サブバンド符号化されたビデオ素材を暫定的にサブサンプリング処理 する工程をさらに含む請求の範囲第１７項に記載のビデオ素材の盗難防止検索方 法。 ２１．前記ウェイブレット符号化されたビデオ素材を暫定的にサブサンプリング 処理する工程をさらに含む請求の範囲第１８項に記載のビデオ素材の盗難防止検 索方法。 ２２．空間フィルター処理のための選択画質インデックスによりＤＣ係数（ＤＣ 画像）の利用が管理される場合に、フィルター処理された画像（フレーム）を再 生する処理は、 現在のフレームがイントラコードフレームであるかを判断する工程と、 イントラコードフレームでない場合、アンカーフレームからＤＣ係数を抽出す る工程と、 イントラコードフレームである場合、検索するビデオプログラムを確保するた め、現在のフレームからのＤＣ係数を抽出する工程と、から成る請求の範囲第８ 項に記載のビデオ素材の盗難防止検索方法。 ２３．空間フィルター処理のための選択画質インデックスにより、（ＤＣ＋２Ａ Ｃ）係数つまり動画像の利用が管理される場合に、フィルター処理された画像（ フレーム）を再生する処理は、 現在のフレームがイントラコードフレームであるか判断する工程と、 イントラコードフレームでない場合、アンカーフレームからＤＣ、ＡＣ０１、 ＡＣ１０の係数を抽出する工程と、 イントラコードである場合、現在フレームからのＤＣ、ＡＣ０１、ＡＣ１０の 係数を抽出する工程と、 検索するビデオプログラムを確保するため、抽出されたＤＣ、ＡＣ０１、ＡＣ １０の係数を、関連のフレームつまり画像の各２×２ブロックの２Ｄ逆離散コサ イン方法により変換する工程と、から成る請求の範囲第８項に記載のビデオ素材 の盗難防止検索方法。