JP4567733B2 - 動きベクトル処理のための方法及び装置 - Google Patents

動きベクトル処理のための方法及び装置 Download PDF

Info

Publication number
JP4567733B2
JP4567733B2 JP2007522716A JP2007522716A JP4567733B2 JP 4567733 B2 JP4567733 B2 JP 4567733B2 JP 2007522716 A JP2007522716 A JP 2007522716A JP 2007522716 A JP2007522716 A JP 2007522716A JP 4567733 B2 JP4567733 B2 JP 4567733B2
Authority
JP
Japan
Prior art keywords
motion vector
motion
motion vectors
vectors
block size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007522716A
Other languages
English (en)
Other versions
JP2008507909A (ja
Inventor
シ、ファン
ラビーンドラン、ビジャヤラクシュミ・アール．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2008507909A publication Critical patent/JP2008507909A/ja
Application granted granted Critical
Publication of JP4567733B2 publication Critical patent/JP4567733B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Description

米国特許法第１１９条における優先権主張
本特許出願は２００４年７月２０日に出願され、この譲受人に譲渡され、且つここに引例として繰込まれている仮特許出願第６０／５８９，９００号に対する優先権を主張する。
ここに示された実施例は一般に動きベクトル（motion vector）処理に関し、特に固定及び可変ブロック・サイズ動きベクトル処理、内容適応動きベクトル平滑化、動きベクトル・スケーリング、動きベクトル・ラベリング、動きベクトル分類、及びビデオ処理に関係する。
低ビット・レートのビデオ圧縮は限られた帯域幅資源及び利用可能な帯域幅の可変性による無線ビデオ配信（wireless video streaming）及びビデオ電話通信といった多くのマルチメディア・アプリケーションにおいて非常に重要である。低ビット・レートのビデオ符号化の帯域幅適応は時間分解能を低減させることによって達成することができる。換言すれば、 １秒当たり３０フレーム（３０ｆｐｓ）のビット・ストリームを圧縮して送る代りに、時間分解能は伝送ビット・レートを低減させるために１５ｆｐｓに半減される。しかしながら、時間分解能を減少させる結果はぎくしゃくとした動きといった時間領域作為の導入であり、それは復号化ビデオの視覚品質を著しく劣化させる。
受信機側で十分なフレーム・レートを表示するために、フレーム・レート上位変換（frame rate up conversion：ＦＲＵＣ）と呼ばれる復元機構は省略されたフレームを再生させ、そして時間作為効果を減少させるのに必要とされる。一般に、ＦＲＵＣ処理は（復元される）ビデオの知覚フレーム・レートを増加させるためにビデオ復号器において追加フレームを造るビデオ内挿の処理である。一般的に、各フレームは個々のピクセル、または「マクロ・ブロック」と呼ばれるピクセル・ブロックといった特定の画像要素に分割される。一つの参照フレームから次の参照フレームへこれらの要素の動きを記述する動きベクトルは二つの参照フレームの間で内挿フレーム上の各要素の位置を予測するために使用される。動きベクトル・フィールドまたは動きフィールドと呼ばれる特定のフレームに関する動きベクトル群の生成及び処理は、特定の処理境界の中で所望の品質を持つ復元ビデオ・ストリームを得る重要な部分である。しかしながら、異常動きベクトル（outlier motion vectors）−即ち、画像要素の動きを正確に記述しない動きベクトルの除去を含む、動きフィールドの適切な処理なしでは復元ビデオの品質は著しく低減されるであろう。
発明が解決しようする課題
ここに述べられる実施例はここでは「Ｆ-フレーム」と呼ばれる、フレーム・レート上位変換（ＦＲＵＣ）において高品質の内挿フレームの生成を行う動きベクトル処理システムを提供する。
発明を解決するための手段
一実施例では、ビデオ・フレームに関して複数の動きベクトルを処理する方法が述べられる。その方法はビデオ・フレームにおいていくつかの異なるブロック・サイズを決定すること、そして異なるブロック・サイズの数が１以上であれば可変ブロック・サイズ動きベクトル処理を実行することを含む。さらに、可変ブロック・サイズ動きベクトル処理は複数の動きベクトルのピラミッドを構築することを含み、ピラミッドは少なくとも第一層及び第二層の動きベクトルを有し、各層は特定のブロック・サイズに基づく一組の動きベクトルを有する。
別の実施例では、そこに記憶された命令を持つコンピュータ可読媒体が、ビデオ・フレームに関する複数の動きベクトルを処理する方法をコンピュータに実行させるために提供される。動きベクトル処理はビデオ・フレームにおいていくつかの異なるブロック・サイズを決定することを含む。さらに、ビデオ・フレームにおける異なるブロック・サイズの数が１以上であればその処理は可変ブロック・サイズ動きベクトル処理を実行することを含み、そこでは可変ブロック・サイズ動きベクトル処理は複数の動きベクトルから動きベクトルのピラミッドを構築することを含み、ピラミッドは少なくとも第一層及び第二層の動きベクトルを有し、第一及び第二層の各々は特定のブロック・サイズに基づく一組の動きベクトルを有する。
さらに別の実施例では、ビデオ・フレームに関して複数の動きベクトルを処理する装置が述べられる。その装置はビデオ・フレームにおいていくつかの異なるブロック・サイズを決定するように構成されたプログラム可能な回路を含む；そしてビデオ・フレームにおける異なるブロック・サイズの数が１以上であればプログラム可能な回路は可変ブロック・サイズ動きベクトル処理を実行するように構成される。可変ブロック・サイズ動きベクトル処理は複数の動きベクトルから動きベクトルのピラミッドを構築するように構成されたプログラム可能な回路を含み、ピラミッドは少なくとも第一層及び第二層の動きベクトルを有し、第一及び第二層の各々は特定のブロック・サイズに基づく一組の動きベクトルを有する。
さらに別の実施例では、ビデオ・フレームに関して複数の動きベクトルを処理する動きベクトル・プロセッサが述べられる。動きベクトル・プロセッサはビデオ・フレームにおいていくつかの異なるブロック・サイズを決定する手段、及びビデオ・フレームにおける異なるブロック・サイズの数が１以上であれば可変ブロック・サイズ動きベクトル処理を実行する手段を含む。可変ブロック・サイズ動きベクトル処理を実行する手段は複数の動きベクトルから動きベクトルのピラミッドを構築する手段を含み、ピラミッドは少なくとも第一層及び第二層の動きベクトルを有し、第一及び第二層の各々は特定のブロック・サイズに基づく一組の動きベクトルを有する。
他の目的、特徴、及び利点は次の詳細な記述から当業者にとって明白になるであろう。しかしながら、詳細な記述及び特定の例は、典型的実施例を示しているが、例示を目的とし、限定するものではないことは理解すべきである。次の記述の範囲内の多くの変更及び修正はその精神から逸脱することなく行われ、そしてその記述は全てのそのような変形を含むことは理解されるべきである。
ここに記述される実施例は付随の図によってさらに容易に理解される。同じ数字はいくつかの図面を通して同じ部品（部分）を参照する。
ここに述べられる実施例は「Ｆ-フレーム」と呼ばれる、フレーム・レート上位変換（ＦＲＵＣ）において高品質の内挿フレームの生成を行う動きベクトル処理のための方法及び装置を提供する。その方法及び装置はまた固定ブロック・サイズに関する動きベクトル平滑化（motion vector smoothing）の機能性を可変ブロック・サイズに適用するために拡張する。いろいろな動きブロック・サイズ及び層状動きベクトル（layered motion vector）平滑化技術に基づいて階層動きベクトル・ピラミッドを形成する方法がまた提供される。さらに、復号ビデオ・データに含まれる補足情報は動きベクトル・プロセッサへの入力として利用される。例えば、補足情報は「内容マップ（content maps）」と呼ばれる各フレームを構成する画像要素の形式の記述を含み、同様に「複雑度マップ（complexity maps）」及び「稼働性マップ（activity maps）」とそれぞれ呼ばれる画像要素の複雑度及び稼働性を含む。
図１は、図２に詳述されるシステム３００において使用される入力を持つ、図３に示されるような動きベクトル処理システム３００の動作の典型的処理１００を例示する。ここに示された機能ブロックは一以上のソフトウェア・アルゴリズムを用いて実施される特定のモジュールに対応することは注目すべきである。アルゴリズムの動作は当業者がコンピュータ・ハードウェア及びソフトウェア方法の組合せを使用してそれらを実施するのに十分な内容をもって高レベルで記述される。例えば、ここに述べたコンポーネントは汎用コンピュータ・プロセッサ上で実行されるソフトウェア、特定用途向け集積回路（ＡＳＩＣ）における「ハード・ワイヤド」回路、あるいはそのあらゆる組合せとして実施される。ここに述べたモジュールの実装への他の様々な方法が使用され、且つ画像及びビデオ処理の広大な分野において実践する当業者の領域内にあることは注目すべきである。
さらに、ここに述べた発明概念は国際電気通信連合、電気通信標準化部門（ＩＴＵ-Ｔ） によって公表されたＨ．２６ｘ規格、或いは国際標準化機構／国際電気技術委員会、合同技術委員会１（ＩＳＯ／ＩＥＣ ＪＴＣ１）の作業グループ、動画像専門家グループによって公表されたＭＰＥＧ-ｘ規格に準拠する復号器／符号器システムにおいて使用される。ＩＴＵ-Ｔビデオ符号化規格は提案と呼ばれ、それらはＨ．２６ｘ（例えば、Ｈ．２６１、Ｈ．２６２、Ｈ．２６３及びＨ．２６４）で表される。ＩＳＯ／ＩＥＣ規格はＭＰＥＧ-ｘ（例えば、ＭＰＥＧ-１、ＭＰＥＧ-２及びＭＰＥＧ-４）で表される。例えば、多数の参照フレーム及び可変ブロック・サイズはＨ．２６４規格に必要とされる特別な特徴である。他の実施例において、発明概念が実施される復号器／符号器システムは専売特許である。
一実施例において、処理１００は異なる複雑さ要求に基づいて異なって動作する。例えば、高い複雑構成は多数の参照フレーム、可変ブロック・サイズ、動き加速度による前の参照フレーム動きベクトル外挿、ピラミッド層状平滑化、及び動き推定援用動きフィールド平滑化を含む。一方、低い複雑モードの動作は一つの参照フレーム及び固定ブロック・サイズを利用するだけである。他の構成もまたいろいろなアプリケーションに有効である。
システム３００は処理に使用されるビデオ・フレームに関する情報を記憶し、且つ抽出するために使用されるデータ・サブシステム２００における複数のデータ記憶ユニットから入力を受取る。図２に例示したように、これらの記憶ユニットは複数前フレーム（multiple previous frames）の内容マップ記憶ユニット（複数前フレーム内容マップ）２０２、複数前フレームの外挿動きフィールド記憶ユニット（複数前フレーム外挿動きフィールド）２０４、単一前フレーム（single previous frame）内容マップ記憶ユニット（前フレーム内容マップ）２０６、単一前フレーム外挿動きフィールド記憶ユニット（外挿前フレーム動きフィールド）２０８を含む。複数参照フレーム・モード制御モジュール２１４は、複数参照フレームを利用するモードにおいてシステム３００が動作しているかどうかに応じて、適切な記憶ユニットを次の入力段に連結する。特に、システム３００が複数前参照フレームを利用するとき、入力は複数前フレームの内容マップ記憶ユニット２０２及び複数前フレーム外挿動きフィールド記憶ユニット２０４から取られる。単一前参照フレーム・モードの動作に関して、入力は単一前フレーム内容マップ記憶ユニット２０６及び単一前フレーム外挿動きフィールド記憶ユニット２０８から取られる。
図は内容マップ及び動きフィールドを記憶するための二つの異なる記憶ユニットの組−複数参照フレームが使用される一組（即ち、複数前フレームの内容マップ記憶ユニット２０２及び複数前フレームの外挿動きフィールド記憶ユニット２０４）、及び単一参照フレームが使用される別の組（即ち、単一前フレーム内容マップ記憶ユニット２０６及び単一前フレーム外挿動きフィールド記憶ユニット２０８）の使用を例示しているが、他の構成も可能であることを注目すべきである。例えば、二つの異なる内容マップ記憶ユニットの機能性は、一つの記憶ユニットが複数フレームの内容マップまたは単一フレームの単一内容マップを記憶するのに使用されるように組み合わせられる。さらに、記憶ユニットはまた現フレームに関するデータも同様に記憶する。
複数参照フレーム・モード制御モジュール２１４からの出力は、現フレーム動きフィールド記憶ユニット（現フレーム動きフィールド）２１０、及び現フレーム内容マップ記憶ユニット（現フレーム内容マップ）２１２と同様に動きベクトル外挿ユニット２１６に供給される。動きベクトル外挿ユニット２１６は、ここに述べたように、システム３００における動きベクトル処理のために使用される補足情報と同様に動きベクトルを抽出する。このように、システム３００において利用された入力動きベクトルは現フレームからのものか、或いは現フレームと以前に復号された一以上のフレームの両方からのものである。その上、システム３００への他の入力は復号されたフレーム・データからの側波帯情報であり、それは関心の領域、テクスチャー情報における変化、及び背景輝度値における変化を含むが、それに限定されない。さらに下記で論じられるように、この情報は動きベクトル分類及び適応平滑化アルゴリズムに関する指針を提供する。
一実施例において、システム３００は内挿されるフレーム（即ち、Ｆ-フレーム）のマクロ・ブロックが、固定サイズである動作モード（固定ブロック・サイズ動きベクトル処理と云われる）で動きベクトル処理を行い、同様に可変であるブロック・サイズに関する動きベクトル処理（可変ブロック・サイズ動きベクトル処理と云われる）を行うことができる。これらの各動作モードは固定ブロック・サイズ動きベクトル処理で始まり、下記で述べられる。図１に例示されたように、いずれの可変ブロック・サイズが使用されるかはブロック１１８で決定される。
固定ブロック・サイズ動きベクトル処理
システム３００において、固定ブロック・サイズ動きベクトル処理は動きベクトル・スケーリング段階１２０、動きベクトル・ラベリング段階１２２、内容適応動きベクトル分類段階１２４，及び内容適応フィルタリング段階１２６を包含し、各段階は図１に示されたそれぞれのモジュールによって実行される。
動きベクトル・スケーリング
一実施例において、動きベクトル・スケーリング・ユニット３０２は、それが挿入されるであろう二つの受信参照フレームに関してＦ-フレーム（即ち、内挿されるフレーム）の場所に基づいて動きベクトルをスケーリング（拡大／縮小）する。例えば、図４に示されるように、内挿Ｆ-フレーム４０２は前参照フレーム４０６と現参照フレーム４０４との間に挿入されるであろう。一実施例において、スケーリングされた動きベクトルを生成するために使用される公式は：
ＭＶ_ｆ_ｘ＝ＭＶ_ｘ＊ｎ／Ｍ；及び
ＭＶ_ｆ_ｙ＝ＭＶ_ｙ＊ｎ／Ｍである。
但し、ＭＶ_ｘ及びＭＶ_ｙは前参照フレームから現参照フレームまで測定された動きベクトルのｘ-軸及びｙ-軸成分である；ｎは選択挿入点における前参照フレームからＦ-フレームの時間における距離である；Ｍは前参照フレームと現参照フレームとの間の時間における全体距離である；そしてＭＶ_ｆ_ｘ及びＭＶ_ｆ_ｙはそれぞれスケーリングされた動きベクトルの計算されたｘ-軸及びｙ-軸成分である。
図４の説明を続けると、線形マクロ・ブロック動きモデル（ここではマクロ・ブロックが一定の速度で動いている）に関して、スケーリングされた動きベクトルの大きさ（magnitude）は、（１）前参照フレームに対する内挿されたフレーム（距離４１０によって示される）と、（２）前参照フレームに対する現参照フレームの間の距離比率に関して現動きベクトルの規模に比例し、一方、その方向は現フレームの動きベクトルの方向と同じである。非線形動き（即ち、動き加速度）モデルに関して、スケーリングされた動きベクトルの方向及び規模は、（１）現参照フレームと前参照フレームとの間に内挿されたフレームの距離、及び（２）計算された動き加速度の双方によって決まる。
使用される複数前参照フレームがある場合には、前参照フレームは現動きベクトルが指示する参照フレーム・リストにおける参照フレームである。特に、参照フレーム・リストにおける参照フレームは、現ビデオ・フレームの動きベクトルが参照し得る全ての参照フレームを含む。えば、Ｈ．２６４規格によって提供される一つの形式（profile）では、参照フレーム・リストは５個の参照フレームを含む。参照フレーム・リストにおける参照フレームは必ずしも全てが現ビデオ・フレームの動きベクトルによって参照されるとは限らない。「参照フレーム集合」または「動きベクトル参照フレーム」として引用されるデータ構造は現ビデオ・フレームにおける各動きベクトルによって指示される参照フレームを同定する。例えば、現ビデオ・フレームが三つ（３）の動きベクトルを含み、且つ記号（ｖ,ｆ）が各動きベクトル（ｖ）によって指示された参照フレーム（ｆ）を同定すれば、参照フレーム集合例は：
［(１,４), (２,５), (３, ２)］
である。但し、動きベクトル１は参照フレーム４を指示し、動きベクトル２は参照フレーム５を指示し、そして動きベクトル３は参照フレーム２を指示する（参照フレーム１は現ビデオ・フレームに時間的に最も近い）。
ここに述べた概念はＰ-フレーム及びＢ-フレームといった実際のビデオ・フレームに関する動きベクトルの処理に適用される。この実施例において、使用される参照フレームは参照フレーム・リストにおいて時間的に最も近い参照フレーム、及び動きベクトルが指示する参照フレームであろう。例えば、図５に例示されたように、スケーリングされた動きベクトルの規模は、（１）第一参照フレーム５０２に対する実際のビデオ・フレーム５０４（距離５１０によって示される）、及び（２）第二参照フレーム５０６に対する実際のビデオ・フレーム５０４（距離５２０によって示される）の間の距離比に関して現動きベクトルの大きさに比例する。
動きベクトル・ラベリング
一旦、動きベクトルがスケーリングされると、動作は動きベクトル・ラベリング段階に続き、ここでは動きベクトル・ラベリング・モジュール３０４は、スケーリングされた入力動きベクトルにラベル付けするために、動きベクトル・スケーリング・ユニット３０２からスケーリングされた入力動きベクトルを受取り、そして処理する。一実施例では、動きベクトルの内容、規模、方向、及び、複数の参照フレームが使用される場合には、動きベクトルが指示する参照フレームに応じて、入力動きベクトルは特定の動きベクトル形式として分類される。このように、動きベクトル・ラベリング・モジュール３０４はそれらの特性に基づいて動きベクトルにラベル付するために使用され、その結果、下記で論じられるように、特定の動作がある基準に合った動きベクトルに適用される。一実施例において、動きベクトル・ラベリング・モジュール３０４への入力は動きベクトル、動きベクトル参照フレーム指数（複数の参照フレームが使用される場合）、内容マップ、及び稼働性／複雑性マップを含む。これらの入力が行われると、動きベクトル・ラベリング・モジュール３０４は次の四つの領域：ａ）方向；ｂ）規模；ｃ）内容；ｄ）参照フレームのうち一以上の属性によって各動きベクトルを分類するであろう。
方向ラベル
各動きベクトルについて方向ラベルを決定することに関して、一実施例では、全ての入力動きベクトルはＮ＋１方向クラスの一つを指示するものとして認識され、ここでＮは３６０度平面を網羅する領域の均等に分配された数である。一実施例では、Ｎの数は４であり、各ラベルは９０度（即ち、３６０度／４）離れている。従って、この場合には、全ての入力動きベクトルは方向クラスにおいて水平_右（horizontal_right）、 垂直_上（vertical_up）、水平_左（horizontal_left）、または垂直_下（vertical_down）、或いは動き_ゼロ（zero_motion）として分類される。他のラベルがベクトルの方向を示すために使用されることを注意すべきである。例えば、方向ラベルは時計面のマーカーに基づいており、１２時は上、６時は下、３時は右、９時は左、そして０は動きゼロである。別の例では、動きベクトルが北を指示する動きベクトルであるならば、動きベクトルは北動きベクトルとして分類される。一実施例では、クラスは北、南、西、及び東（及び、それの組合せ）、及び無方向（ゼロ・サイズ動きベクトル）を含む。他の実施例では、他の適当なラベルが使用される。
規模ラベル
入力フレームの複雑度及び稼働性マップに基づいて、全ての入力動きベクトルはその動きベクトル規模（magnitude）に基づいて分類することができ、次のラベル：小さな動き（small motion）、中間の動き（medium motion）または大きな動き（large motion）のうちの一つが付けられる。一実施例において、規模ラベルの限界は入力フレームの複雑度及び稼働性マップに基づいて適応的に決定される。例えば、小さな動き内容に関する閾値は４-ｐｅｌ、中間の動き内容については８-ｐｅｌ、そして大きな動き内容には１６-ｐｅｌが設定される。別の実施例では、１〜１０といった数値が動きベクトルの規模を表すために割当てられる（１０は最も大きな規模の動きベクトルに割当てられ、そして１は最も小さな規模の動きベクトルに割当てられる）。他の適切なクラスがまた使用される。
内容ラベル
動きベクトルは現フレーム及び参照フレームの内容マップに基づいて内容ラベルを割当てられる。一実施例において、各内容マップは次の５形式の内容を含む：
１．静止背景（static background：ＳＢ）
２．動き対象（moving object：ＭＯ）
３．出現対象（appearing object：ＡＯ）
４．消失対象（disappearing object：ＤＯ）；及び
５．エッジ（edges：ＥＤＧＥ）
従って 、現動きベクトルが指示しているフレームの領域の形式は分析され、内挿されるフレームの処理に影響を及ぼすであろう。ここに述べたように、内容ラベルへのＥＤＧＥラベルの導入は内容識別のための追加ラベルを付加し、他の処理において改善を行う。
図６は特定フレームにおける様々な領域への上掲の領域形式の割当の例示図で、それはフレーム毎の領域の状態変化の分析に基づくものである。図は動き対象（ＭＯ）６０８、出現対象（ＡＯ）６０４、消失対象（ＤＯ）６１０、静止背景（ＳＢ）６０２及びエッジ６０６を例示し、ここで矢印６１２の集合は三つの例示フレーム：Ｆ(ｔ−１)、Ｆ(ｔ)及びＦ(ｔ＋１)におけるピクセルの動き軌道を表す。特に、各ビデオ・フレーム内部の各ピクセルまたは領域は上掲の５形式のうちの一つに置くことができ、関連する動きベクトルは形式割当の変化（もしあれば）の比較に基づいて特定の方式で処理される。例えば、下記で論じるように、動きベクトルが前参照フレームにおいては静止背景であるが現フレームにおいては動き対象に変化する領域において指示されれば、動きベクトルは異常動きベクトルとして印される。その上、ＳＢ、ＡＯ及びＤＯクラスの間の差異が小さいとき、上記の５内容形式はあまり制限のない三つの形式に分類することができる：
１．ＳＢ ６０２、ＡＯ ６０４、ＤＯ ６１０；
２．ＭＯ ６０８；及び
３．ＥＤＧＥ ６０６。
一実施例では、二つの異なる方法がＤＯ、ＳＢ、ＡＯ及びＭＯ内容の決定を行うために各々異なる計算複雑度に基づいて使用される。例えば、低複雑度方法においては、次の公式が内容形式を決定するために使用される：
Ｑｃ＝ａｂｓ（Ｆｃ[ｙｎ] [ｘｎ]−Ｆｐ[ｙｎ] [ｘｎ]）；
Ｑｐ＝ａｂｓ（Ｆｐ[ｙｎ] [ｘｎ]−Ｆｐｐ[ｙｎ] [ｘｎ]）；
Ｑｃ＝（Ｑｃ＞閾値）；及び
Ｑｐ＝（Ｑｐ＞閾値）；
但し、
ｙｎ及びｘｎはピクセルのｙ及びｘ座標位置である；
Ｆｃは現フレーム・ピクセル値である；
Ｆｐは前フレーム・ピクセル値である；
Ｆｐｐは前々フレーム・ピクセル値である；
Ｑｃは現フレーム及び前フレームにおいて（[ｙｎ] [ｘｎ]に位置する）配列ピクセル間の絶対ピクセル値差分である；
Ｑｐは前フレーム及び前々フレームにおいて（[ｙｎ] [ｘｎ]に位置する）配列ピクセル間の絶対ピクセル値差分である；そして
（Ｑｃ＆＆Ｑｐ）ならば動き対象としての形式を割当てる；
さもなければ、（！Ｑｃ＆＆！Ｑｐ）ならば静止背景としての形式を割当てる；
さもなければ、（Ｑｃ＆＆！Ｑｐ）ならば消失対象としての形式を割当てる；
さもなければ、（！Ｑｃ＆＆Ｑｐ）ならば出現対象としての形式を割当てる。
高複雑度方法において、一実施例では、その決定は分割対象の動きを追跡することによって行われる内容形式決定による対象分割及び形態論的操作に基づいている。従って：
１．動きフィールドに対象分割を行う；
２．分割対象の動きを（例えば、形態論的操作によって）追跡する；そして
３．ＳＢ、ＡＯ、ＤＯ、及びＭＯとして対象にそれぞれ印する。
エッジは境界の特徴付けを行い、従って特に動き対象のエッジは画像処理において基本的に重要であることを注意すべきである。画像におけるエッジは強い強度コントラスト（即ち、一つのピクセルから次のピクセルへの強度の大きな変化）を持つ領域である。エッジ検知を行う多くの方法がある。しかしながら、いろいろな方法の大多数は二つのカテゴリー：勾配（gradient）及びラプラシアン（Laplacian）に分類される。勾配方法は画像の一次導関数における最大と最小を見付けることによってエッジを検出する。ラプラシアン方法はエッジを発見するために画像の二次導関数におけるゼロ交差を探す。勾配またはラプラシアン方法（それらは一次元であるが）の技術はソベル（Sobel）方法によって二次元に適用される。
様々なマクロ・ブロックにＭＯ、ＳＢ、ＡＯ、ＤＯ及びＥＤＧＥクラスを割当てることによって、全ての入力動きベクトルは、動きベクトルの開始点及び終了点により影響を受ける内容形式に基づいて、ＭＯ動きベクトル（ＭＶ）、ＳＢ ＭＶ、ＡＯ ＭＶ、ＤＯ ＭＶまたはＥＤＧＥ ＭＶとしてラベル付けすることができる。その上、一実施例では、「不審（suspicious） ＭＶ」の追加ラベルがＭＯ、ＳＢ、ＡＯ、ＤＯ及びＥＤＧＥ ＭＶラベルに付加され、そして動きベクトルの開始点及び終了点が異なる内容クラスに属するならば、動きベクトルは「不審ＭＶ」として分類される。
参照フレーム指数ラベル
複数参照フレームが使用される場合には、 各動きベクトルは参照フレーム・リストにおける異なる参照フレームを指示する。上で論じたように、各動きベクトルが指示するどちらかの参照フレームが動きベクトル参照フレーム指数において追跡される。一実施例では、時間的に最も近い参照フレームを参照しない各動きベクトルは「不審」動きベクトルとして分類される。別の実施例では、その隣接動きベクトルと異なる参照フレームを指示する各動きベクトルは「不審」動きベクトルとして分類される。全てではないが、いくつかの隣接動きベクトルが一致している場合、同じ参照フレームを指示する多数の動きベクトルがあれば、多数とは一致しないあらゆる動きベクトル−即ち、同じ参照フレームを指示しないあらゆる動きベクトルは「不審」動きベクトルとして分類されるであろう。他の実施例では、「多数票決（most votes）」といった票決システム（そこではそれを指示する大多数の隣接動きベクトルを持つ参照フレームは、隣接動きベクトルが「不審」としてラベル付けされない動きベクトルを指示しなければならない参照フレームと考えられる）または他の票決形式機構が使用される。下記で述べるように、 一実施例では、「不審」参照フレーム指数ラベルを持つあらゆる動きベクトルは異常動きベクトルとして分類されるであろう。他の実施例では、「不審」と分類される代りに、動きベクトルは異常動きベクトルとして直接分類される。
一旦、動きベクトルが一以上の前述ラベルを使用して分類されると、動作は動きベクトル分類モジュール３０６によって行われる動きベクトル分類段階１２４に続く。
動きベクトル分類
動きベクトル・ラベリング・モジュール３０４が各動きベクトルにラベル付した後、動きベクトル分類モジュール３０６は、それが異常動きベクトルであるかどうかを判定することによって動きベクトルの分類を行うであろう。一実施例では、動きベクトル分類モジュール３０６は、上に述べたように復号データ記憶ユニット２２２からの内容情報を含めて、（動きベクトル・ラベリング・モジュール３０４によって割当てられた）そのラベル情報に基づいて入力動きベクトルが異常動きベクトルであるかどうかを判定する。特に、その分類は動きベクトルの方向、規模、内容、及び／または参照フレーム指数（そこでは複数の参照フレームが使用される）ラベルに基づいて閾値操作によって行われる。一実施例では、現動きベクトルの規模及び方向は、現動きベクトルを取り囲む他の動きベクトルの規模及び方向と比較される。例えば、現動きベクトルが小さな垂直_下（vertical_down）動きベクトル（即ち、下を指示する小規模動きベクトル）と分類され、一方、その隣接動きベクトルが大きな垂直_上（vertical_up）動きベクトル（即ち、上を指示する大規模動きベクトル）と分類されるならば、現動きベクトルは異常動きベクトルとして印される。
一実施例では、動きベクトルが異常動きベクトルであるかどうかを判定するために多数票決機構が使用される。例えば、３規模のクラス（例えば、低、中間、及び高）、及び４方向のクラス（例えば、南、東、西、及び北）があれば、合計１２（４方向×３規模）の可能な動きベクトル・クラスの変形がある。さらに、３×３サイズを持つ平滑化窓が与えられると、大多数の動きベクトルがあるクラスの組合せ（例えば、５個の動きベクトルは高規模であり、南を指示する）であり、且つ現動きベクトルのクラス組合せがこの大多数のクラス組合せと異なっていれば、現動きベクトルは異常動きベクトルとして分類される。異常動きベクトルであるかどうかを判定するために多くの方法が使用される。例えば、簡単なソート・アルゴリズムが３×３サイズの窓における九（９）動きベクトルを分類するために使用される。
別の実施例では、現動きベクトルは異常動きベクトルかどうかを判定するために一つの属性だけが使用される。例えば、動きベクトルの内容属性（即ち、ラベル）は動きベクトルが「不審ＭＶ」であることを示し、一方、その隣接動きベクトルの内容ラベルが別の一つの形式であるならば、その内容属性はその隣接動きベクトルの内容属性と異なるために、その動きベクトルは異常動きベクトルとして分類することができる。別の例では、動きベクトルが時間的に最も近い参照フレームではない参照フレームを指示する（即ち、上記の参照フレーム指数ラベルの節における最初の実施例）ので、或いはその大多数の隣接動きベクトルによって指示される参照フレームとは異なる参照フレームを指示する（即ち、上記の参照フレーム指数ラベルの節における第二の実施例）ので、「不審」と分類されたならば、動きベクトルは異常動きベクトルとして分類される。
一旦、動きベクトルがその一以上のラベルに基づいて分類されると、動作は内容適応フィルタ（平滑化）モジュール３０８によって行われる内容適応フィルタリング段階１２６に続く。
内容適応フィルタリング
復号データ及び動きベクトルのラベル付けからの内容情報は、内容適応フィルタリング・モジュール３０８における適応窓サイズ選択アルゴリズムのために必要な入力に提供する。前処理からの異常動きベクトルの除去は選択された処理窓に基づいて行われる。内容適応フィルタリング・モジュール３０８は一実施例では三段階で動きベクトルを処理する：
１．内容適応フィルタ窓サイズを選択する：内容またはブロック・サイズに基づいて、３×３または５×５サイズの操作窓（それはフレームの関心の部分を参照する）が選択される。一実施例では、ブロック・サイズが１６×１６の所では３×３窓サイズが選択され、ブロック・サイズが８×８の所では５×５窓サイズが選択される。選択の合理性は最も一般的なビデオ内容からの動き対象、及び動き対象をまさに包含するであろう窓サイズの統計的分析に基づいている。一実施例では、窓サイズは動き対象を完全に包含するのに十分に大きくなければならない。従って、窓サイズが小さなブロック・サイズについてあまりにも小さければ、それは動く対象の一部をただ包含するにすぎず、そして同じ論理は大きなブロック・サイズの場合についても成り立つ。窓サイズがビデオ内容に基づいて選択される所では、詳細な内容がある３×３窓サイズが選択され、一方５×５窓サイズは平滑（あまり詳細でない）領域について使用される。従って、一般に、より詳細な領域に関してより小さな窓サイズを使用することがさらに望ましい。
２．異常動きベクトルを置換する：操作窓内で動きベクトルの中位値操作を行う。
３．動きベクトル・フィールドを平滑化する：操作窓内で低域通過（low-pass）フィルタリング操作が行われる。一実施例では、適当な低域通過フィルタは平均化フィルタ［１／Ｎ、１／Ｎ、・・・、１／Ｎ］である（Ｎは窓サイズである）。
一実施例では、内容適応平滑化フィルタ３０８において実施される平滑化方法は中位値操作である。他の実施例では、中位値操作は中位値（平均化）またはガウス形式フィルタリング操作と置換えることができる。さらに、他形式の線形／非線形フィルタが使用される。
可変ブロック・サイズ動きベクトル処理
固定ブロック・サイズ・システムでは、フレームは一つの固定サイズのブロックに分割されなければならない。しかしながら、可変ブロック・サイズに対応するシステムでは、フレームは異なるサイズ及び形状を持つブロックに分割される。可変ブロックに対応するビデオ・コーデックに関して、システム３００はまたこれらのブロックに関連する動きベクトルについて動きベクトル処理を行うことができる。上で述べたように、そのような一つの規格はＨ．２６４規格で、それは１６×１６、１６×８、８×１６、８×８、８×４、及び４×８のブロック・サイズに対応する。
一実施例では、可変ブロック・サイズ・モードにおける動きベクトル処理に使用される方法は固定ブロック・サイズ・モードに類似する。従って、再び図１を参照すると、可変ブロック・サイズ動きベクトルの処理は固定ブロック・サイズ・モードについて述べた図３の対応するモジュールを使用して実施される動きベクトル・スケーリング段階１２０、動きベクトル・ラベリング段階１２２、内容適応動きベクトル分類段階１２４及び内容適応フィルタリング段階１２６を含む。しかしながら、固定ブロック・サイズ動きベクトル処理に関する処理とは異なる可変ブロック・サイズ動きベクトル処理に関する処理の形態がある。例えば、一つの際立った特徴はいろいろなブロック・サイズの動きベクトルの「ピラミッド」の構築であり、そして現在の層より高いピラミッドの中で層に関する動きベクトル平滑化操作を行うことである。下記で述べるように、別の際立った特徴は各層の動きベクトルを処理することができる内容適応フィルタ・モジュール３０８の動作の修正である。
内容適応方法を使用するピラミッドの構築は動きベクトル・ピラミッド構築モジュール３１０によって行われ、そして現在の層の異常動きベクトルを置換えるために、ピラミッドの上位層から平滑化動きベクトルを使用するためのフィルタの修正は、修正のために異常動きベクトル置換モジュール３１２の使用によって行われる。
ピラミッド構築
各ピラミッドの構築を実施するための一つの可能な方法は次の通りである： １．入力動きベクトル（即ち、可変ブロック・サイズ動きベクトル）はレベル１のピラミッドを生成するために最初に特定の粒度（granularity）（例えば、４×４）にオーバーサンプリングされた（over-sampled）される。オーバーサンプリングはピラミッドの第一層が使用ブロック・サイズの最小ブロック・サイズから構成されることを保証する。
２．レベル２のピラミッドはレベル１における対応４×４動きベクトルを結合（merging）することによって構築される。例えば、レベル２における動きベクトル粒度が８×８であれば、レベル２における一つの８×８動きベクトルはレベル１における四つの４×４動きベクトルと対応する。一実施例では、結合操作はさらに中位値（median）操作を持つ平均化（averaging）または中位値（median）操作のいずれかである。
３．レベル２からレベル３のピラミッドを構築するために、レベル２及びレベル３のより大きなサイズについて適切に修正されたステップ１及びステップ２の方法を繰り返す。
例えば、Ｈ．２６４規格では、ブロック・サイズは７形状のうちの一つであり、 従って、最大九つの３-レベル・ピラミッドが構築され、各レベルは異なる粒度のブロック・サイズに関する動きベクトルから構成される。特に、各フレームにおけるマクロ・ブロックは上述の７ブロック・サイズを使用するより小さなブロックに細分化され、それは各フレーム内のブロック・サイズの可変性をもたらす。一実施例では、Ｈ．２６４規格に適用されると、レベル１のピラミッドは常に４×４ブロックの動きベクトルから構築され、レベル２のピラミッドは次の３形式：８×８、８×４、または４×８ブロックの一つの動きベクトルから構築され、そしてレベル３のピラミッドは次の３形式：１６×１６、１６×８、または８×１６ブロックの一つの動きベクトルから構築される。従って、様々なサイズの九つの可能な結合がある。
内容適応ピラミッド
各フレームに関するピラミッドはまたフレームの内容に基づいて生成される。一実施例では、内容適応ピラミッドは二段階で構築される：
１．内容分類もしくは複雑度マップもしくはそれらの組合せに基づいて、最低レベルのピラミッドに関して使用されるブロックのサイズ／形状を適応的に決定する。例えば、非常に高い複雑度を持つフレームはより小さなブロック・サイズを使用する。
２．ステップ１からのピラミッドのレベルが利用可能な最大ブロック・サイズ（例えば、１６×１６または８×８ブロック）から構成されてなければ、追加レベルがステップ１からのレベル上に構築される。動きベクトルに関するブロックの形状はデフォルト形状である。例えば、レベル３に使用されるデフォルト形状はレベル２の１６×１６及び８×８である。
高レベルのピラミッドからの動きベクトルを使用する異常動きベクトル置換
異常動きベクトル置換段階１３６では、異常動きベクトル置換モジュール３１２は可変ブロック・サイズに関する動きベクトルを有する層を持つピラミッド・モデルの対応を可能にする。一実施例では、この方法を使用する異常ベクトルの置換は次のとおりである：
１．（内容マップによって決定される）現レベルのピラミッドの動きベクトルに関する動きベクトル・スケーリング及び動きベクトル・ラベリング、及び動きベクトル分類を行う；
２．より高レベルのピラミッドが利用可能であれば、このより高レベルの動きベクトルに対する動きベクトル処理（平滑化）操作一式（例えば、動きベクトル・スケーリング、動きベクトル・ラベリング、動きベクトル分類、及び動きベクトル・フィルタリング）を行う；そして
３．より高レベルの対応動きベクトルによって異常動きベクトルを置換する。
このようにして、異常動きベクトルが識別されるとき、及び上位レベルのピラミッドが利用可能であれば、異常動きベクトルは上位層における対応する配列動きベクトルと置換される。他の場合には、中位値操作が操作窓内の動きベクトルに関して行われる。
動きベクトルがいくつかの源（sources）から来ることを注意すべきである。一つには、入力動きベクトルは現復号フレームの動きベクトルから来る。別の実施例では、入力動きベクトルは現フレーム及び一以上の前復号フレームの双方から来る。例えば、現フレームの動きベクトル及び前フレームの動きベクトルを結合することによって、一定動きモデルは動き加速を含めるように拡張することができ、それはＦ-フレームに関してさらに正確な動き軌道生成を行う。前フレームの動きベクトルが反転される（いわゆる外挿動きベクトルである）とき、反転動きベクトルは前フレームから現フレームまで指示し、そしてそれは後方（backward）動きベクトルとして使用されるであろう。動きが一定であれば、後方動きベクトル及び前方動きベクトル（現フレームの動きベクトル）はお互いに整列され、反対方向を指示する。前方及び後方動きベクトルが整列されてなければ、差分は動き加速によって引起こされると仮定される。
上で論じたように、動きベクトル・スケーリング・モジュール３０２は現フレームと前フレームとの間に内挿されるフレームの距離、及び計算された動き加速モデルに基づいて入力動きベクトルのスケーリングを行う。スケーリング機能に加えて、別の実施例では、動きベクトル・スケーリング・モジュール３０２は、いくつかの小さなブロック・サイズの動きベクトルをより大きなブロック・サイズの動きベクトルに結合する結合機能（merging function）を含む。結合機能の後で到達される形状サイズは内容に依存するけれども、一実施例では、８×８ブロック・サイズが結合機能に関して使用される。一実施例では、結合機能は平均化機能（average function）として実施される。別の実施例では、結合機能は中位値機能（median function）として実施される。さらに別の実施例では、結合機能は加重和機能として実施される。なおまた他の実施例では、いろいろな機能が結合機能を実施するために組合わされる。
ここに述べた発明概念はまた符号器援用ＦＲＵＣ（ＥＡ-ＦＲＵＣ）に適用可能であり、そこでは符号器がクライアント上で復号ＦＲＵＣモジュールを援用するために余分の情報を送るように構成される。例えば、符号器は動きベクトル、係数残余、または（ＦＲＵＣ操作が）「難しい」マクロ・ブロックに関するＦＲＵＣ命令を復号ＦＲＵＣモジュールへ送ることができる。
図７は無線システムにおけるアクセス端末７０２ｘ及びアクセス点７０４ｘのブロック図を示す。ここに論じられる「アクセス端末」は音声及び／またはデータ接続性をユーザーに提供するデバイスを云う。アクセス端末はラップトップ・コンピュータまたはデスクトップ・コンピュータといった計算デバイスと接続され、或いはそれは携帯情報機器といった内蔵型デバイスである。アクセス端末はまた加入者ユニット、移動局、自動車、遠隔局、遠隔端末、ユーザー端末、ユーザー・エージェント、またはユーザー設備と呼ぶことができる。アクセス端末は加入者局、無線デバイス、セルラー電話、ＰＣＳ電話、コードレス電話、セッション加入プロトコル（ＳＩＰ）電話、無線ローカル・ループ（ＷＬＬ）局、携帯情報機器（ＰＤＡ）、無線接続機能を持つ携帯用デバイス、または無線モデムと接続された他の処理デバイスである。ここで論じられる「アクセス点」は一以上のセクタを通して空中インタフェース上でアクセス端末と通信するアクセス網におけるデバイスを云う。アクセス点は受信空中インタフェース・フレームをＩＰパケットに変換することによって、アクセス端末と残りのアクセス網（それはＩＰ網を含む）との間のルータの働きをする。アクセス点はまた空中インタフェースに関する属性の管理を調整する。
逆方向回線に関して、アクセス端末７０２ｘでは、送信（ＴＸ）データ・プロセッサ７１４はデータ・バッファ７１２からトラヒック・データを受取り、選択された符号化及び変調手法に基づいて各データ・パケットを処理（例えば、符号化、インタリーブ、シンボル写像）を行い、そしてデータ・シンボルを提供する。データ・シンボルはデータの変調シンボルであり、パイロット・シンボルは（先験的に既知の）パイロットの変調シンボルである。変調器７１６はデータ・シンボル、パイロット・シンボル、及び恐らくは逆方向回線に関する信号通信を受取り、（例えば、ＯＦＤＭ）変調及び／またはシステムによって指定された他の処理を行い、そして出力チップ・ストリームを提供する。送信ユニット（ＴＭＴＲ）７１８は出力チップ・ストリームを処理（例えば、アナログ変換、フィルタリング、増幅、及び上位周波数変換）し、そして変調信号を生成し、それはアンテナ７２０から送信される。
アクセス点７０４ｘにおいて、アクセス端末７０２ｘ及びアクセス点７０４ｘと通信している他の端末によって送信された変調信号は、アンテナ７５２によって受信される。受信ユニット（ＲＣＶＲ）７５４はアンテナ７５２からの受信信号を処理（例えば、調整及びディジタル化）し、そして受信標本を提供する。復調器（Ｄｅｍｏｄ）７５６は受信標本を処理（例えば、復調及び検出）し、そして端末によってアクセス点７０４ｘに伝送されたデータ・シンボルの雑音推定である検出データ・シンボルを提供する。受信（ＲＸ）データ・プロセッサ７５８は各端末に関する検出データ・シンボルを処理（例えば、シンボル逆写像、逆インタリーブ、及び復号）し、そして端末のために復号データを提供する。
順方向回線に関して、アクセス点７０４ｘでは、データ・シンボルを生成するためにトラヒック・データがＴＸデータ・プロセッサ７６０によって処理される。変調器７６２は順方向回線に関するデータ・シンボル、パイロット・シンボル、及び信号通信を受取り、（例えば、ＯＦＤＭ）変調及び／または他の関連処理を行い、そして出力チップ・ストリームを提供し、それはさらに送信ユニット７６４によって調整され、そしてアンテナ７５２から送信される。順方向回線信号通信は逆方向回線上でアクセス点７０４ｘに伝送する全ての端末のために制御器７７０によって生成された電力制御命令を含む。アクセス端末７０２ｘでは、アクセス点７０４ｘによって伝送された変調信号がアンテナ７２０によって受信され、受信ユニット７２２によって調整され、且つディジタル化され、そして検出データ・シンボルを得るために復調器７２４によって処理される。ＲＸデータ・プロセッサ７２６は検出データ・シンボルを処理し、そして端末及び順方向回線信号通信のために復号データを提供する。制御器７３０は電力制御命令を受取り、そしてアクセス点７０４ｘに対する逆方向回線上のデータ伝送及び伝送電力を制御する。制御器７３０はアクセス端末７０２ｘ及びアクセス点７０４ｘの動作をそれぞれ指令する。メモリ・ユニット７３２及び７７２は制御器７３０及び７７０によって使用されるプログラム・コード及びデータを記憶する。
開示された実施例は次の技術：符号分割多元接続（ＣＤＭＡ）システム、複数キャリアＣＤＭＡ（ＭＣ-ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ-ＣＤＭＡ）、高速下り回線パケット接続（ＨＳＰＤＡ）、時分割多元接続（ＴＤＭＡ）、周波数時分割多元接続（ＦＤＭＡ）システム、及び直交周波数時分割多元接続（ＯＦＤＭＡ）システムのいずれにも、または組合せて適用される。
ここに述べた方法は当業者に既知の様々な通信ハードウェア、プロセッサ及びシステム上で実施されることは注目すべきである。例えば、ここに述べたようにクライアントが操作する一般的な要求は、そのクライアントが内容及び情報を表示するディスプレイ、クライアントの操作を制御するプロセッサ、及びクライアントの操作に関係するデータ及びプログラムを記憶するメモリを持っていることである。一実施例では、クライアントはセルラー電話である。別の実施例では、クライアントは通信機能を持つ携帯用コンピュータである。さらに別の実施例では、クライアントは通信機能を持つパソコンである。その上、ＧＰＳ受信器のようなハードウェアは様々な実施例を実施するためにクライアントにおいて必要に応じて組込まれる。
ここに開示された実施例に関連して記述された実例となる様々な論理ブロック、モジュール、及び回路はここに述べられた機能を実行するために設計された一般用途プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア部品、またはその組合せによって実施または実行される。一般用途プロセッサはマイクロプロセッサであるが、これに代るもので、そのプロセッサはあらゆる従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械でもよい。プロセッサはまた計算デバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連動する一以上のマイクロプロセッサ、または他のそのような構成として実施される。
ここに開示された実施例に関連して記述された方法またはアルゴリズムのステップは直接ハードウェアにおいて、プロセッサによって実行されるソフトウェア・モジュールにおいて、またはその二つの組合せにおいて具体化される。ソフトウェア・モジュールはＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ-ＲＯＭ、または他の形の当技術分野において知られている記憶媒体に常駐される。典型的な記憶媒体はそのようなプロセッサが記憶媒体から情報を読取り、記憶媒体へ情報を書込むことができるようにプロセッサと接続される。これに代るものでは、記憶媒体はプロセッサに一体化してもよい。プロセッサ及び記憶媒体はＡＳＩＣに常駐してもよい。ＡＳＩＣはユーザー端末に常駐してもよい。これに代るものでは、プロセッサ及び記憶媒体はユーザー端末に個別部品として常駐してもよい。
上で述べた実施例は典型的な実施例である。当業者はここに開示された発明概念から逸脱することなく上述の実施例の多くの使用を行い、且つそこから出発することができる。これらの実施例への様々な修正は当業者には明白であり、ここに定義された一般的な原理は本発明の精神または範囲から逸脱することなく他の実施例、即時通信サービス或いはあらゆる一般的な無線データ通信アプリケーションに適用される。このように、本発明はここに示された実施例に限定されることを意図するものではないが、ここに開示された原理及び新規な特徴と合致する最も広い範囲を与えられるべきである。用語「典型的な（exemplary）」は「例（example）、事例（instance）、または例示（illustration）として役立つ」ことを意味するものとして専らここでは使用される。「典型的な」としてここに述べた実施例は他の実施例に対して好ましい、或いは有利であると必ずしも解釈されない。従って、ここに開示された実施例の新規な形態はただ次の請求項の範囲によって定義されるべきである。
動きベクトル処理システムの動作のフローチャートである。 動きベクトル処理システムの動きベクトル抽出サブシステムのブロック図である。 動きベクトル処理システムにおける動きベクトル・プロセッサのブロック図である。 Ｆ-フレームに関する動きベクトル・スケーリングを説明するために使用される図である。 Ｐ-フレームに関する動きベクトル・スケーリングを説明するために使用される図である。 ビデオ・フレーム中のピクセルに割当てられた様々なクラスを例示する図である。 無線システムのアクセス端末及びアクセス点のブロック図である。

Claims (56)

  1. ビデオフレームに対する複数の動きベクトルを処理する方法をコンピュータに実行させるための命令を記憶したコンピュータ読取り可能媒体であって、
    前記ビデオフレームにいくつかの異なるブロックサイズを決定すること、
    前記ビデオフレーム内の異なるブロックサイズの数が１より大きければ、特定のブロックサイズに基づく一組の動きベクトルを各々が有する少なくとも第一層及び第二層の動きベクトルを有する動きベクトルのピラミッドを前記複数の動きベクトルから構築する可変ブロックサイズ動きベクトル処理を行うこと、
    前記ビデオフレーム内に１つだけのブロックサイズがあれば、固定ブロックサイズ動きベクトル処理を行うこと、
    を含み、
    前記固定ブロックサイズ動きベクトル処理は
    前記複数の動きベクトルをスケーリングすること、
    前記複数の動きベクトルの各動きベクトルにラベルを付けること、
    各動きベクトルの分類を決定すること、
    各動きベクトルの前記分類に基づいて前記複数の動きベクトルにフィルタをかけること、
    を含む、コンピュータ読取り可能媒体。
  2. 前記複数の動きベクトルから前記動きベクトルのピラミッドを構築することは、
    前記第一層の動きベクトルを第一の所定ブロックサイズ粒度で生成するために複数の動きベクトルをオーバーサンプリングすることを含む、請求項１記載のコンピュータ読取り可能媒体。
  3. 前記複数の動きベクトルから動きベクトルのピラミッドを構築することは、
    第二層の動きベクトルを第二の所定ブロックサイズ粒度で生成するために、前記第一層の動きベクトルにおける一組の動きベクトルからの少なくとも二つの動きベクトルを結合することを含み、前記第二の所定ブロックサイズ粒度は前記第一の所定ブロックサイズ粒度より大きい、請求項２記載のコンピュータ読取り可能媒体。
  4. 前記第一層の動きベクトルにおける一組の動きベクトルからの少なくとも二つの動きベクトルを結合することは、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに平均化演算を行うことを含む、請求項３記載のコンピュータ読取り可能媒体。
  5. 前記第一層の動きベクトルにおける一組の動きベクトルからの少なくとも二つの動きベクトルを結合することは、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに中位値演算を行うことを含む、請求項３記載のコンピュータ読取り可能媒体。
  6. 前記複数の動きベクトルにおける各動きベクトルが大きさを持ち、そして前記複数の動きベクトルをスケーリングすることは、
    （ｉ）第一参照フレームに対するビデオフレーム間の第一の距離と（ｉｉ）第二参照フレームに対する前記参照フレーム間の第二の距離との比率を計算すること、及び
    前記第一の距離及び前記第二の距離の比率に基づいて前記動きベクトルの大きさを調整することによって各動きベクトルをスケーリングすることを含む、請求項１記載のコンピュータ読取り可能媒体。
  7. 前記ビデオフレームは内挿されるフレームであり、前記第一参照フレームは現フレームであり、そして前記第二参照フレームは前記動きベクトルが指し示す参照フレームである、請求項６記載のコンピュータ読取り可能媒体。
  8. 前記ビデオフレームは実際のビデオフレームであり、前記第一参照フレームは時間的に最も近いフレームであり、そして前記第二参照フレームは前記動きベクトルが指し示す参照フレームである、請求項６記載のコンピュータ読取り可能媒体。
  9. 前記複数の動きベクトルにおける各動きベクトルにラベルを付けることは、
    前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向及び参照フレーム指数特性の少なくとも一つを決定すること、及び
    決定した一以上の特性に基づいて各動きベクトルにラベルを割当てることを含む、請求項１記載のコンピュータ読取り可能媒体。
  10. 前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向及び参照フレーム指数特性の少なくとも一つを決定することは、
    動きベクトル毎に、前記動きベクトルの開始点に関する開始内容形式、及び前記動きベクトルの終了点に関する終了内容形式を決定することを含む、請求項９記載のコンピュータ読取り可能媒体。
  11. 前記決定した一以上の特性に基づいて各動きベクトルにラベルを割当てることは、
    前記動きベクトルの開始内容形式が前記動きベクトルの終了内容形式と同じでなければ、不審な動きベクトルとして前記動きベクトルにラベル付けすることを含む、請求項１０記載のコンピュータ読取り可能媒体。
  12. 各動きベクトルは隣接動きベクトルのグループと関連し、そして各動きベクトルの分類を決定することは、
    各動きベクトルの少なくとも一つの特性を調べること、
    前記少なくとも一つの特性を前記隣接動きベクトルのグループの総合特性と比較すること、及び
    前記少なくとも一つの特性と前記隣接動きベクトルのグループの総合特性との差分が所定の閾値以上であれば、各動きベクトルを異常動きベクトルとして分類することを含む、請求項１記載のコンピュータ読取り可能媒体。
  13. 各動きベクトルの分類に基づいて前記複数の動きベクトルをフィルタリングすることは、
    内容形式及びブロックサイズの選択された一つに基づくサイズを持つ演算窓を選択すること、
    前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換すること、及び
    前記演算窓内で平滑化演算を行うことを含む、請求項１記載のコンピュータ読取り可能媒体。
  14. 前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換することは、
    前記演算窓において中位値演算、平均値演算、及びガウス形式フィルタ演算の一つを行うことを含む、請求項１３記載のコンピュータ読取り可能媒体。
  15. 操作窓内で平滑化演算を行うことは、
    操作窓において低域通過フィルタ演算を行うことを含む、請求項１３記載のコンピュータ読取り可能媒体。
  16. ビデオフレームに対する複数の動きベクトルを処理する方法であって、
    前記ビデオフレームにいくつかの異なるブロックサイズを決定すること、
    前記ビデオフレーム内の異なるブロックサイズの数が１より大きければ、特定のブロックサイズに基づく一組の動きベクトルを各々が有する少なくとも第一層及び第二層の動きベクトルを有する動きベクトルのピラミッドを前記複数の動きベクトルから構築する可変ブロックサイズ動きベクトル処理を行うこと、
    前記ビデオフレーム内に１つだけのブロックサイズがあれば、固定ブロックサイズ動きベクトル処理を行うこと、
    を含み、
    前記固定ブロックサイズ動きベクトル処理は
    前記複数の動きベクトルをスケーリングすること、
    前記複数の動きベクトルの各動きベクトルにラベルを付けること、
    各動きベクトルの分類を決定すること、
    各動きベクトルの前記分類に基づいて前記複数の動きベクトルにフィルタをかけること、
    を含む、方法。
  17. 前記複数の動きベクトルから前記動きベクトルのピラミッドを構築することは、
    前記第一層の動きベクトルを第一の所定ブロックサイズ粒度に生成するために、複数の動きベクトルをオーバーサンプリングすることを含む、請求項１６記載の方法。
  18. 前記複数の動きベクトルから動きベクトルのピラミッドを構築することは、
    第二層の動きベクトルを第二の所定ブロックサイズ粒度に生成するために、前記第一層の動きベクトルにおける一組の動きベクトルからの少なくとも二つの動きベクトルを結合することを含み、前記第二の所定ブロックサイズ粒度は第一の所定ブロックサイズ粒度より大きい、請求項１７記載の方法。
  19. 前記第一層の動きベクトルにおける一組の動きベクトルからの少なくとも二つの動きベクトルを結合することは、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに平均化演算を行うことを含む、請求項１８記載の方法。
  20. 前記第一層の動きベクトルにおける一組の動きベクトルからの少なくとも二つの動きベクトルを結合することは、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに中位値演算を行うことを含む、請求項１８記載の方法。
  21. 前記複数の動きベクトルにおける各動きベクトルが大きさを持ち、そして前記複数の動きベクトをスケーリングすることは、
    （ｉ）第一参照フレームに対するビデオフレーム間の第一の距離と（ｉｉ）第二参照フレームに対する前記参照フレーム間の第二の距離との比率を計算すること、及び
    前記第一の距離及び前記第二の距離の比率に基づいて前記動きベクトルの大きさを調整することによって各動きベクトルをスケーリングすることを含む、請求項１６記載の方法。
  22. 前記ビデオフレームは内挿されるフレームであり、前記第一参照フレームは現フレームであり、そして前記第二参照フレームは前記動きベクトルが指し示す参照フレームである、請求項２１記載の方法。
  23. 前記ビデオフレームは実際のビデオフレームであり、前記第一参照フレームは時間的に最も近いフレームであり、そして前記第二参照フレームは前記動きベクトルが指し示す参照フレームである、請求項２１記載の方法。
  24. 前記複数の動きベクトルにおける各動きベクトルにラベルを付けることは、
    前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向及び参照フレーム指数特性の少なくとも一つを決定すること、及び
    決定した一以上の特性に基づいて各動きベクトルにラベルを割当てることを含む、請求項１６記載の方法。
  25. 前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向及び参照フレームインデックス特性の少なくとも一つを決定することは、
    動きベクトル毎に、前記動きベクトルの開始点に関する開始内容形式、及び前記動きベクトルの終了点に関する終了内容形式を決定することを含む、請求項２４記載の方法。
  26. 前記決定した一以上の特性に基づいて各動きベクトルにラベルを割当てることは、
    動きベクトルの開始内容形式が動きベクトルの終了内容形式と同じでなければ、不審な動きベクトルとして動きベクトルにラベル付けすることを含む、請求項２５記載の方法。
  27. 各動きベクトルは隣接動きベクトルのグループと関連し、そして各動きベクトルの分類を決定することは、
    各動きベクトルの少なくとも一つの特性を調べること、
    前記少なくとも一つの特性を前記隣接動きベクトルのグループの総合特性と比較すること、及び
    前記少なくとも一つの特性と前記隣接動きベクトルのグループの総合特性との差分が所定の閾値以上であれば、各動きベクトルを異常動きベクトルとして分類することを含む、請求項１６記載の方法。
  28. 各動きベクトルの分類に基づいて前記複数の動きベクトルをフィルタリングすることは、
    内容形式及びブロックサイズの選択された一つに基づくサイズを持つ演算窓を選択すること、
    前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換すること、及び
    前記演算窓内で平滑化演算を行うことを含む、請求項１６記載の方法。
  29. 前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換することは、
    前記演算窓において中位値演算、平均値演算、及びガウス形式フィルタ演算の一つを行うことを含む、請求項２８記載の方法。
  30. 前記演算窓内で平滑化演算を行うことは、
    前記演算窓において低域通過フィルタ演算を行うことを含む、請求項２８記載の方法。
  31. ビデオフレームに対する複数の動きベクトルを処理するための装置であって、
    前記ビデオフレームにいくつかの異なるブロックサイズを決定するように構成されたプログラム可能回路と、
    前記ビデオフレーム内の異なるブロックサイズの数が１より大きければ、特定のブロックサイズに基づく一組の動きベクトルを各々が有する少なくとも第一層及び第二層の動きベクトルを有する動きベクトルのピラミッドを前記複数の動きベクトルから構築する可変ブロックサイズ動きベクトル処理を行うように構成されたプログラム可能回路と、
    前記ビデオフレーム内に１つだけのブロックサイズがあれば、固定ブロックサイズ動きベクトル処理を行うよう構成されるプログラム可能回路と、を具備し、 前記固定ブロックサイズ動きベクトル処理を行うよう構成される前記プログラム可能回路は、
    前記複数の動きベクトルをスケーリングするよう構成されるプログラム可能回路と、
    前記複数の動きベクトルの各動きベクトルにラベルを付けるよう構成されるプログラム可能回路と、
    各動きベクトルの分類を決定するよう構成されるプログラム可能回路と、
    各動きベクトルの前記分類に基づいて前記複数の動きベクトルにフィルタをかけるよう構成されるプログラム可能回路と、
    を具備する、装置。
  32. 前記複数の動きベクトルから前記動きベクトルのピラミッドを構築するように構成されたプログラム可能回路は、
    前記第一層の動きベクトルを第一の所定ブロックサイズ粒度で生成するために、複数の動きベクトルをオーバーサンプリングするように構成されたプログラム可能回路を具備する、請求項３１記載の装置。
  33. 前記複数の動きベクトルから動きベクトルのピラミッドを構築するように構成されたプログラム可能回路は、
    第二層の動きベクトルを第二の所定ブロックサイズ粒度に生成するために、前記第一層の動きベクトルにおける前記一組の動きベクトルからの少なくとも二つの動きベクトルを結合するように構成されたプログラム可能回路を具備し、前記第二の所定ブロックサイズ粒度は前記第一の所定ブロックサイズ粒度より大きい、請求項３２記載の装置。
  34. 前記複数の動きベクトルから動きベクトルの前記ピラミッドを構築するように構成された前記プログラム可能回路は、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つを平均化するように構成されたプログラム可能回路を具備する、請求項３３記載の装置。
  35. 前記複数の動きベクトルから前記動きベクトルの前記ピラミッドを構築するように構成された前記プログラム可能回路は、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに中位値演算を行うように構成されたプログラム可能回路を具備する、請求項３３記載の装置。
  36. 前記複数の動きベクトルにおける各動きベクトルが大きさを持ち、そして前記複数の動きベクトをスケーリングするように構成されたプログラム可能回路は、
    （ｉ）第一参照フレームに対する前記ビデオフレーム間の第一の距離と（ｉｉ）第二参照フレームに対する前記参照フレーム間の第二の距離との比率を計算するように構成されたプログラム可能回路と、
    前記第一の距離と前記第二の距離との比率に基づいて前記動きベクトルの大きさを調整することによって各動きベクトルをスケーリングするように構成されたプログラム可能回路を具備する、請求項３１記載の装置。
  37. 前記複数の動きベクトルにおいて各動きベクトルにラベルを付けるように構成された前記プログラム可能回路は、
    前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向、及び参照フレーム指数特性の少なくとも一つを決定するように構成されたプログラム可能回路と、
    決定した一以上の特性に基づいて各動きベクトルにラベルを割当てるように構成されたプログラム可能回路を具備する、請求項３１記載の装置。
  38. 前記複数の動きベクトルにおいて各動きベクトルの内容、大きさ、方向、及び参照フレーム指数特性の少なくとも一つを決定するように構成された前記プログラム可能回路は、
    動きベクトル毎に、前記動きベクトルの開始点に関する開始内容形式及び前記動きベクトルの終了点に関する終了内容形式を決定するように構成されたプログラム可能回路を具備する、請求項３７記載の装置。
  39. 決定した一以上の特性に基づいて各動きベクトルにラベルを割当てるように構成された前記プログラム可能回路は、
    前記動きベクトルの前記開始内容形式が前記動きベクトルの前記終了内容形式と同じでなければ、不審な動きベクトルとして前記動きベクトルにラベル付けするように構成されたプログラム可能回路を具備する、請求項３８記載の装置。
  40. 各動きベクトルは隣接動きベクトルのグループと関連し、そして各動きベクトルの分類を決定するように構成された前記プログラム可能回路は、
    各動きベクトルの少なくとも一つの特性を調べるように構成されたプログラム可能回路と、
    少なくとも一つの特性を前記隣接動きベクトルのグループの総合特性と比較するように構成されたプログラム可能回路と、
    前記少なくとも一つの特性と前記隣接動きベクトルのグループの前記総合特性との差分が所定の閾値を超えていれば、各動きベクトルを異常動きベクトルとして分類するように構成されたプログラム可能回路と、を具備する、請求項３１記載の装置。
  41. 各動きベクトルの分類に基づいて前記複数の動きベクトルをフィルタリングするように構成されたプログラム可能回路は、
    内容形式及びブロックサイズの選択された一つに基づくサイズを持つ演算窓を選択するように構成されたプログラム可能回路と、
    前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換するように構成されたプログラム可能回路と、
    前記演算窓内で平滑化演算を行うように構成されたプログラム可能回路と、を具備する、請求項３１記載の装置。
  42. 前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換するように構成されたプログラム可能回路は、
    前記窓において中位値演算、平均値演算、及びガウス形式フィルタ演算の一つを行うように構成されたプログラム可能回路を具備する、請求項４１記載の装置。
  43. 前記演算窓内で平滑化演算を行うように構成されたプログラム可能回路は、
    前記窓において低域通過フィルタ演算を行うように構成されたプログラム可能回路を具備する、請求項４１記載の装置。
  44. ビデオフレームに対する複数の動きベクトルを処理する動きベクトルプロセッサであって、
    前記ビデオフレームにいくつかの異なるブロックサイズを決定する手段と、
    前記ビデオフレームにおける異なるブロックサイズの数が１より大きければ、特定のブロックサイズに基づく一組の動きベクトルを各々が有する少なくとも第一層及び第二層の動きベクトルを有する動きベクトルのピラミッドを前記複数の動きベクトルから構築する可変ブロックサイズ動きベクトル処理を行う手段と、
    前記ビデオフレーム内に１つだけのブロックサイズがあれば、固定ブロックサイズ動きベクトル処理を行う手段と、
    を具備し、
    前記固定ブロックサイズ動きベクトル処理を行う手段は、
    前記複数の動きベクトルをスケーリングする手段と、
    前記複数の動きベクトルの各動きベクトルにラベルを付ける手段と、
    各動きベクトルの分類を決定する手段と、
    各動きベクトルの前記分類に基づいて前記複数の動きベクトルにフィルタをかける手段と、
    を具備する、動きベクトルプロセッサ。
  45. 前記複数の動きベクトルから動きベクトルのピラミッドを構築する手段は、
    前記第一層の動きベクトルを第一の所定ブロックサイズ粒度で生成するために、前記複数の動きベクトルをオーバーサンプリングする手段を具備する、請求項４４記載の動きベクトルプロセッサ。
  46. 前記複数の動きベクトルから動きベクトルのピラミッドを構築する手段は、
    第二層の動きベクトルを第二の所定ブロックサイズ粒度に生成するために、前記第一層における前記一組の動きベクトルからの少なくとも二つの動きベクトルを結合する手段を具備し、前記第二の所定ブロックサイズ粒度は前記第一の所定ブロックサイズ粒度より大きい、請求項４５記載の動きベクトルプロセッサ。
  47. 前記第一層の動きベクトルにおける前記一組の動きベクトルからの少なくとも二つの動きベクトルを結合する手段は、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに平均化演算を行う手段を具備する、請求項４６記載の動きベクトルプロセッサ。
  48. 前記第一層の動きベクトルにおける前記一組の動きベクトルからの少なくとも二つの動きベクトルを結合する手段は、
    前記第一層の動きベクトルにおける前記一組の動きベクトルからの前記動きベクトルの少なくとも二つに中位値演算を行う手段を具備する、請求項４６記載の動きベクトルプロセッサ。
  49. 前記複数の動きベクトルにおける各動きベクトルが大きさを持ち、そして前記複数の動きベクトをスケーリングする手段は、
    （ｉ）第一参照フレームに対するビデオフレーム間の第一の距離と（ｉｉ）第二参照フレームに対する参照フレーム間の第二の距離との比率を計算する手段と、
    前記第一の距離と前記第二の距離との比率に基づいて前記動きベクトルの大きさを調整することによって各動きベクトルをスケーリングする手段を具備する、請求項４４記載の動きベクトルプロセッサ。
  50. 前記複数の動きベクトルにおいて各動きベクトルにラベルを付ける手段は、
    前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向及び参照フレーム指数特性の少なくとも一つを決定する手段と、
    決定した一以上の特性に基づいて各動きベクトルにラベルを割当てる手段と、を具備する、請求項４４記載の動きベクトルプロセッサ。
  51. 前記複数の動きベクトルにおける各動きベクトルの内容、大きさ、方向及び参照フレーム指数特性の少なくとも一つを決定する手段は、
    各動きベクトルに関して、前記動きベクトルの開始点に関する開始内容形式、及び前記動きベクトルの終了点に関する終了内容形式を決定する手段を具備する、請求項５０記載の動きベクトルプロセッサ。
  52. 前記決定した一以上の特性に基づいて各動きベクトルにラベルを割当てる手段は、
    前記動きベクトルの開始内容形式が前記動きベクトルの終了内容形式と同じでなければ、不審な動きベクトルとして動きベクトルにラベル付けする手段を具備する、請求項５１記載の動きベクトルプロセッサ。
  53. 各動きベクトルは隣接動きベクトルのグループと関連し、そして各動きベクトルの分類を決定する手段は、
    各動きベクトルの少なくとも一つの特性を調べる手段、
    少なくとも一つの特性を前記隣接動きベクトルのグループの総合特性と比較する手段と、
    少なくとも一つの特性と前記隣接動きベクトルの総合特性との差分が所定の閾値を超えれば、各動きベクトルを異常動きベクトルとして分類する手段を具備する、請求項４４記載の動きベクトルプロセッサ。
  54. 各動きベクトルの分類に基づいて前記複数の動きベクトルをフィルタリングする手段は、
    内容形式及びブロックサイズの選択された一つに基づくサイズを持つ演算窓を選択する手段と、
    前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換する手段と、
    前記演算窓内で平滑化演算を行う手段を具備する、請求項４４記載の動きベクトルプロセッサ。
  55. 前記演算窓において異常動きベクトルとして分類された各動きベクトルを置換する手段は、
    前記演算窓において中位値演算、平均値演算、及びガウス形式フィルタ演算の一つを行う手段を具備する、請求項５４記載の動きベクトルプロセッサ。
  56. 前記演算窓内で平滑化演算を行う手段は、
    前記演算窓において低域通過フィルタ演算を行う手段を具備する、請求項５４記載の動きベクトルプロセッサ。
JP2007522716A 2004-07-20 2005-07-20 動きベクトル処理のための方法及び装置 Expired - Fee Related JP4567733B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US58990004P 2004-07-20 2004-07-20
PCT/US2005/025801 WO2006012375A1 (en) 2004-07-20 2005-07-20 Method and apparatus for motion vector processing

Publications (2)

Publication Number Publication Date
JP2008507909A JP2008507909A (ja) 2008-03-13
JP4567733B2 true JP4567733B2 (ja) 2010-10-20

Family

ID=35229714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007522716A Expired - Fee Related JP4567733B2 (ja) 2004-07-20 2005-07-20 動きベクトル処理のための方法及び装置

Country Status (8)

Country Link
US (2) US7852938B2 (ja)
EP (1) EP1774780A1 (ja)
JP (1) JP4567733B2 (ja)
KR (1) KR100943591B1 (ja)
CN (1) CN101023662B (ja)
CA (1) CA2574556A1 (ja)
TW (1) TW200618610A (ja)
WO (1) WO2006012375A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1774780A1 (en) 2004-07-20 2007-04-18 QUALCOMM Incorporated Method and apparatus for motion vector processing
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
JP4799330B2 (ja) * 2006-09-08 2011-10-26 株式会社東芝 フレーム補間回路、フレーム補間方法、表示装置
KR101364532B1 (ko) * 2007-01-03 2014-02-18 삼성전자주식회사 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
US8111750B2 (en) * 2007-03-20 2012-02-07 Himax Technologies Limited System and method for 3-D recursive search motion estimation
KR101107256B1 (ko) * 2007-03-27 2012-01-19 삼성전자주식회사 모션 벡터에 기반한 적응적 프레임율 변환 방법 및 장치 및적응적 프레임율 변환 기능을 가지는 디스플레이 장치
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
KR101411639B1 (ko) * 2007-09-11 2014-06-24 삼성전기주식회사 영상 정합 방법 및 장치
CN101999228A (zh) * 2007-10-15 2011-03-30 诺基亚公司 针对多视角视频内容的运动跳跃和单环路编码
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8208551B2 (en) * 2007-10-31 2012-06-26 Broadcom Corporation Method and system for hierarchically layered adaptive median motion vector smoothing
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
EP2266318B1 (en) 2008-03-19 2020-04-22 Nokia Technologies Oy Combined motion vector and reference index prediction for video coding
KR101470003B1 (ko) * 2008-07-18 2014-12-05 엘지전자 주식회사 가변 필터 윈도우를 이용한 영상 스케일링 방법 및 영상스케일링의 필터 윈도우 크기 산출 방법
US8320455B2 (en) * 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
CN101668196B (zh) * 2009-09-25 2012-02-08 西安电子科技大学 基于下采样和插值的低码率图像压缩方法
TW201121335A (en) * 2009-12-02 2011-06-16 Sunplus Core Technology Co Ltd Method and apparatus for adaptively determining compression modes to compress frames
US8594199B2 (en) * 2010-03-08 2013-11-26 Qualcomm Incorporated Apparatus and method for motion vector filtering based on local image segmentation and lattice maps
US8559511B2 (en) * 2010-03-30 2013-10-15 Hong Kong Applied Science and Technology Research Institute Company Limited Method and apparatus for video coding by ABT-based just noticeable difference model
EP2556669A1 (en) * 2010-04-07 2013-02-13 Linear Algebra Technologies Limited Broadcast video decoder with reduced memory and processing requirements suitable for handheld and mobile applications
EP2469469A1 (en) * 2010-12-23 2012-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding data defining coded orientations representing a reorientation of an object
EP2469496A1 (en) * 2010-12-23 2012-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for encoding data defining coded positions representing a trajectory of an object
WO2012095467A1 (en) * 2011-01-12 2012-07-19 Canon Kabushiki Kaisha Video encoding and decoding with low complexity
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
US20120236936A1 (en) * 2011-03-14 2012-09-20 Segall Christopher A Video coding based on edge determination
JP2012253492A (ja) * 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
EP2920961A4 (en) * 2011-09-15 2017-05-31 Libre Communications Inc. Method, apparatus and computer program product for video compression
KR20180080365A (ko) * 2011-10-14 2018-07-11 어드밴스드 마이크로 디바이시즈, 인코포레이티드 영역-기반 이미지 압축
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
US9690635B2 (en) 2012-05-14 2017-06-27 Qualcomm Incorporated Communicating behavior information in a mobile computing device
US9202047B2 (en) 2012-05-14 2015-12-01 Qualcomm Incorporated System, apparatus, and method for adaptive observation of mobile device behavior
US9609456B2 (en) 2012-05-14 2017-03-28 Qualcomm Incorporated Methods, devices, and systems for communicating behavioral analysis information
US9495537B2 (en) 2012-08-15 2016-11-15 Qualcomm Incorporated Adaptive observation of behavioral features on a mobile device
US9747440B2 (en) 2012-08-15 2017-08-29 Qualcomm Incorporated On-line behavioral analysis engine in mobile device with multiple analyzer model providers
US9319897B2 (en) 2012-08-15 2016-04-19 Qualcomm Incorporated Secure behavior analysis over trusted execution environment
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US10095663B2 (en) 2012-11-14 2018-10-09 Amazon Technologies, Inc. Delivery and display of page previews during page retrieval events
US9686023B2 (en) 2013-01-02 2017-06-20 Qualcomm Incorporated Methods and systems of dynamically generating and using device-specific and device-state-specific classifier models for the efficient classification of mobile device behaviors
US9684870B2 (en) 2013-01-02 2017-06-20 Qualcomm Incorporated Methods and systems of using boosted decision stumps and joint feature selection and culling algorithms for the efficient classification of mobile device behaviors
US10089582B2 (en) 2013-01-02 2018-10-02 Qualcomm Incorporated Using normalized confidence values for classifying mobile device behaviors
US9742559B2 (en) 2013-01-22 2017-08-22 Qualcomm Incorporated Inter-module authentication for securing application execution integrity within a computing device
JP6198850B2 (ja) * 2013-01-25 2017-09-20 クアルコム，インコーポレイテッド モバイルデバイス上での挙動の特徴の適応的な観測
US9491187B2 (en) 2013-02-15 2016-11-08 Qualcomm Incorporated APIs for obtaining device-specific behavior classifier models from the cloud
EP2979444A4 (en) * 2013-03-30 2017-02-22 Anhui Guangxing Linked-Video Communication Technology Co. Ltd. Method and apparatus for decoding a variable quality video bitstream
CN103297657B (zh) * 2013-05-14 2016-08-10 李小林 一种基于gpu的视频稳定方法
US20150208082A1 (en) * 2014-01-21 2015-07-23 Vixs Systems, Inc. Video encoder with reference picture prediction and methods for use therewith
CN105095901B (zh) 2014-04-30 2019-04-12 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
US11169666B1 (en) 2014-05-22 2021-11-09 Amazon Technologies, Inc. Distributed content browsing system using transferred hardware-independent graphics commands
US9454515B1 (en) 2014-06-17 2016-09-27 Amazon Technologies, Inc. Content browser system using graphics commands and native text intelligence
US9785332B1 (en) 2014-12-05 2017-10-10 Amazon Technologies, Inc. Conserving processing resources by controlling updates to damaged tiles of a content page
US10546038B2 (en) 2014-12-08 2020-01-28 Amazon Technologies, Inc. Intelligent browser-based display tiling
EP3171595A1 (en) * 2015-11-18 2017-05-24 Thomson Licensing Enhanced search strategies for hierarchical motion estimation
US20180367812A1 (en) * 2016-01-14 2018-12-20 Mitsubishi Electric Corporation Encoding performance evaluation support apparatus, encoding performance evaluation support method, and computer readable medium
US10853920B2 (en) * 2016-09-21 2020-12-01 Shimadzu Corporation Image processing apparatus
US10412462B2 (en) * 2016-11-08 2019-09-10 Ati Technologies Ulc Video frame rate conversion using streamed metadata
CN106657713B (zh) * 2016-12-30 2019-03-22 华中科技大学 一种视频运动放大方法
US11308391B2 (en) * 2017-03-06 2022-04-19 Baidu Usa Llc Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
CN109756778B (zh) * 2018-12-06 2021-09-14 中国人民解放军陆军工程大学 一种基于自适应运动补偿的帧率转换方法
US10887589B2 (en) * 2019-04-12 2021-01-05 Realnetworks, Inc. Block size determination for video coding systems and methods
CN110149532B (zh) * 2019-06-24 2021-08-17 北京奇艺世纪科技有限公司 一种封面选取方法及相关设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03178266A (ja) * 1989-12-06 1991-08-02 Canon Inc ファクシミリ装置
US5021891A (en) * 1990-02-27 1991-06-04 Qualcomm, Inc. Adaptive block size image compression method and system
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5447272A (en) * 1994-02-22 1995-09-05 Ask; Bernard J. Automatic deicer spreader
US5844613A (en) * 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
FR2773038B1 (fr) 1997-12-24 2000-02-25 Thomson Multimedia Sa Procede et dispositif d'interpolation d'images a partir de donnees video codees mpeg
US6208692B1 (en) * 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US6845130B1 (en) * 2000-10-12 2005-01-18 Lucent Technologies Inc. Motion estimation and compensation for video compression
JP3898606B2 (ja) 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
US7292634B2 (en) * 2002-09-24 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
KR100587562B1 (ko) * 2004-04-13 2006-06-08 삼성전자주식회사 비디오 프레임에 대한 움직임 추정 방법 및 비디오 인코더
EP1774780A1 (en) 2004-07-20 2007-04-18 QUALCOMM Incorporated Method and apparatus for motion vector processing

Also Published As

Publication number Publication date
CN101023662A (zh) 2007-08-22
CN101023662B (zh) 2010-08-04
TW200618610A (en) 2006-06-01
JP2008507909A (ja) 2008-03-13
US7852938B2 (en) 2010-12-14
KR100943591B1 (ko) 2010-02-24
EP1774780A1 (en) 2007-04-18
US20060018382A1 (en) 2006-01-26
US20110080955A1 (en) 2011-04-07
US8514941B2 (en) 2013-08-20
WO2006012375A1 (en) 2006-02-02
CA2574556A1 (en) 2006-02-02
KR20070040399A (ko) 2007-04-16

Similar Documents

Publication Publication Date Title
JP4567733B2 (ja) 動きベクトル処理のための方法及び装置
US8553776B2 (en) Method and apparatus for motion vector assignment
US20060017843A1 (en) Method and apparatus for frame rate up conversion with multiple reference frames and variable block sizes
CA2574590C (en) Method and apparatus for motion vector prediction in temporal video compression
US8369405B2 (en) Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
US6438275B1 (en) Method for motion compensated frame rate upsampling based on piecewise affine warping

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100308

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100316

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100408

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100805

R150 Certificate of patent or registration of utility model

Ref document number: 4567733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees