JP5563042B2 - 適応性のあるビデオフレーム補間 - Google Patents

適応性のあるビデオフレーム補間 Download PDF

Info

Publication number
JP5563042B2
JP5563042B2 JP2012242668A JP2012242668A JP5563042B2 JP 5563042 B2 JP5563042 B2 JP 5563042B2 JP 2012242668 A JP2012242668 A JP 2012242668A JP 2012242668 A JP2012242668 A JP 2012242668A JP 5563042 B2 JP5563042 B2 JP 5563042B2
Authority
JP
Japan
Prior art keywords
frame
pixels
video
video frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012242668A
Other languages
English (en)
Other versions
JP2013066197A (ja
Inventor
ファン・シ
ビジャヤラクシュミ・アール．・ラビーンドラン
ミン・ダイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013066197A publication Critical patent/JP2013066197A/ja
Application granted granted Critical
Publication of JP5563042B2 publication Critical patent/JP5563042B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

この開示は、デジタルビデオ符号化および復号化に関し、さらに詳細には、ビデオフレームの補間のための技術に関する。
デジタルビデオ能力は、デジタル・テレビ、デジタル直接放送システム、無線通信装置、携帯情報端末(PDA)、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ビデオゲーム・コンソール、デジタル・カメラ、デジタル・レコーディング装置、セルラー又は衛星ラジオ電話、などを含む広範囲の装置に組み入れることができる。デジタルビデオ装置は、ビデオシーケンスを処理又は送信する場合に従来のアナログビデオシステムに対して著しい改良を提供することができる。
異なるビデオ符号化基準は、デジタルビデオ・シーケンスの符号化のために確立された。例えば、ムービング・ピクチャ・エキスパーツ・グループ（MPEG）は、MPEG-1、MPEG2およびMPEG-4を含む多くの標準を開発した。他の例は、国際電気通信連合(ITU)―T H.263標準、及びITU-T H.264標準およびそれのカウンターパート、ISO/IEC MPEG-4、パート10(すなわちアドバンスドビデオコーディング)(AVC)を含む。これらのビデオ符号化標準は、圧縮したやり方でデータを符号化することによりビデオシーケンスの改善された伝達効率をサポートする。
様々なビデオ符号化標準は、フレーム間圧縮を提供するためにテンポラル又はインターフレーム相関関係（temporal or Inter-frame correlation）と呼ばれる、連続のビデオフレーム間の類似点を利用するビデオ符号化技術をサポートする。インターフレーム圧縮技術は、ビデオフレームのピクセルベースの表現を動き表現に変換することにより、フレームにわたるデータ冗長性を有効に使う（exploit）。インターフレーム技術を使用して符号化されたフレームは、P(「予測的」)フレームあるいはB(「双方向」)フレームと呼ばれる。Ｉ(「intra」)フレームと呼ばれるいくつかのフレームは、非予測的である空間的圧縮を使用して符号化される。
低帯域幅要件を満たすために、テレフォニ又はビデオ・ストリーミングのようないくつかのビデオアプリケーションは、フレーム・スキッピング（frame skipping）を用いて、より低いフレームレートでビデオを符号化することにより、ビット・レートを低減する。不都合なことには、低減されたフレームレート・ビデオは、動きのぎくしゃく性の形のアーチファクト（artifacts in the form of motion jerkiness）を生ずる可能性がある。したがって、へフレームレート・アップ・変換(FRUC)を上として知られているフレーム補間は、スキップされたフレームの内容を補間し、かつそれによって復号器側で増加したフレームレートの影響を提供するために復号器で使用することができる。
一般に、この開示は、ビデオフレームを補間するための復号技術に関する。特に、この開示の技術は、１つ又は複数のビデオフレームに関連した情報の分析に基づいたフレーム補間動作を動的に調節するために特に使用されてもよい。この開示に記述された動的なフレーム補間調節技術は、フレームのより効率的でより効果的な復号を生ずることができる。
1つの態様においては、デジタルビデオ・データを処理するための方法は、少なくとも1つのビデオフレームに関連した情報を分析すること、および情報の分析に基づいたフレーム補間動作を動的に調節することを備える。
別の態様では、デジタルビデオ・データを処理するための装置は、少なくとも1つのビデオフレームに関連した情報を分析する分析モジュール、および情報の分析に基づいてフレーム補間動作を動的に調節する調節モジュールを備える。
さらなる態様では、デジタル・ビデオ・データを処理するための装置は、ビデオフレームに関連した情報を分析するための手段、および情報の分析に基づいてフレーム補間動作を動的に調節するための手段を備える。
さらに他の態様では、デジタルビデオ・データを処理するためのコンピュータ・プログラム製品、少なくとも1台のコンピュータに少なくとも1つのビデオフレームに関連した情報を分析させ、そして、情報の分析に基づいてフレーム補間動作を調節させるための符号を備えたコンピュータ読取り可能な媒体を備える。
他の態様では、デジタルビデオ・データを処理するためのプロセッサは、少なくとも1つのビデオフレームに関連した情報を分析し、かつ情報の分析に基づいたフレーム補間動作を動的に調節するのに適合している。
この開示に記述された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合には、そのソフトウェアはコンピュータで実行されてもよい。ソフトウェアは、命令、プログラム・コード、等として初期的にに記憶されてもよい。従って、この開示はまた、コンピュータ読取り可能媒体を含むデジタルビデオ符号化のためのコンピュータ・プログラム製品を意図する。この場合、コンピュータ読取り可能媒体は、この開示に従ってコンピュータに技術及び機能を実行させるためにコードを備える。
この開示の１つ又は複数の態様の詳細は、添付の図面及び下記の説明で提示される。この開示の他の特徴、目的および利点は、説明および図面、および請求項から明白になる。
この開示に従って適応フレーム補間技術を使用する、ビデオ符号化および復号化システムを例証するブロック図である。 ビデオ復号器で使用される例示的な補間復号器モジュールを例証するブロック図である。 １つ又は複数のビデオフレームの内容、１つ又は複数のビデオフレームの間の運動フィールドの規則性、１つ又は複数のビデオフレームに関連した符号化複雑性、あるいはそれらの組合せの分析に基づいてフレーム補間動作を動的に調節する補間復号器モジュールの例示的な動作を例証する流れ図である。 フレーム情報テーブル(FIT)の分析に基づいてフレーム補間動作を動的に調節する補間復号器モジュールの例示的な動作を例証する流れ図である。 １つ又は複数のビデオフレーム内の移動オブジェクトの分析に基づいてフレーム補間動作を調節する補間復号器モジュールの例示的な動作を例証する流れ図である。 フレームの移動オブジェクトを検出するためにフレームのピクセルのブロックに関連したブロック情報を分析する移動オブジェクト検出モジュールの例示的な動作を例証する流れ図である。 補間を制御するための例示的なモジュールを例証するブロック図である。
詳細な説明
開示の種々の態様が下記に述べられる。
ここでの教示は種々様々の形式で具体化されうるものであり、そして、ここに開示された特定の構成または機能は単に典型例にすぎないことが明らかであろう。ここでの教示に基づいて、当業者は、ここに開示された態様が他の態様と無関係に実装されこと、およびこれらの態様の2つ以上が様々な方法で組み合わせられてもよいことを認識するべきである。例えば、ここに述べられた態様のうちの任意の個数を用いて、装置は実装されてよく、あるいは、方法は実施されてよい。さらに、ここに述べられた態様の１つ以上に加えてまたはそれに代えて他の構成または機能性を用いて、そのような装置は実装されてよく、あるいはそのような方法は実施されてよい。したがって、フレームをより効率的にかつ効果的に復号するために、ここに開示された動的フレーム補間調節技術の1つまたはそれより多くを利用する装置が実装されてよく、あるいは方法が実施されてよい。
一般に、この開示はビデオフレームの補間のために復号技術に関する。特に、この開示の技術は、１つ又は複数のビデオフレームに関連した情報の分析に基づいてフレーム補間動作を動的に調節するために使用されてもよい。この開示に記述された動的フレーム補間調節技術は、フレームのより効率的でより効果的な復号をもたらす。
補間復号器モジュールは、例えば、１つ又は複数の基準ビデオフレームに基づいたビデオフレームであってよい。補間復号器モジュールは、符号器からの当初の意図したフレームレートをアップコンバート（up-convert）するためにビデオフレームを補間してもよい。あるいは、補間復号器モジュールは、低減されたフレームレートでビデオ情報を符号化するためにビデオ符号器によってスキップされた１つ又は複数のビデオフレームを挿入するためにビデオフレームを補間してもよい。補間復号器モジュールは、多くの補間技術のうちのどれでも使用して、例えば、動き補償されたフレーム補間、フレーム・リピート（frame repeat）、またはフレーム平均化を用いて、ビデオフレームを補間してもよい。この開示の技術によれば、補間復号器モジュールは、１つ又は複数のビデオフレームに関連した情報を分析し、そして、その分析に基づいてフレーム補間動作を動的に調節する。
補間復号器モジュールは、例えば、１つ又は複数のビデオフレームの内容、2つ以上のビデオフレーム間の動き場（motion field）の規則性、あるいはそれらの組合せを分析してもよい。１つの実例では、補間復号器モジュールは、１つ又は複数の基準フレームに関連した情報を分析してもよい。あるいは、又はさらに、補間復号器モジュールは、スキップされるフレームのように補間されるべきフレームに関連した情報を分析してもよい。補間復号器モジュールは、１つの期間において受信される複数のフレーム、例えば、1秒の期間において受信されるフレームに対する情報を分析してもよい。
補間復号器モジュールは、１つ又は複数のビデオフレームに関連した情報の分析に基づいてフレーム補間動作を動的に調節する。
補間復号器モジュールは、複数の異なる方法でフレーム補間動作を調節してもよい。１つの例として、補間復号器モジュールは、動き補償フレーム補間を可能にするべきか不能にするべきかどうかを選択してもよい。動き補償フレーム補間が無効にされると、補間復号器モジュールは、フレームリピートまたはフレーム平均動作のような異なるフレーム補間動作を選択してもよい。他の例として、補間復号器モジュールは、分析に基づいた動き補償フレーム補間で使用されるビデオフレーム予測モードを選択してもよい。さらに次の例では、補間復号器モジュールは、分析に基づいたフレーム補間のために異なる閾値を割り当ててもよい。
図1は、この開示に従って適応フレーム補間技術を使用するビデオ符号化および復号化システム10を例証するブロック図である。図1に示されるように、システム10は、送信チャネル15によって接続しているビデオ符号器12およびビデオ復号器14を含んでいる。ビデオシーケンスのような符号化されたマルチメディア・シーケンスは、送信チャネル15によって符号器12から復号器14に送信されてもよい。送信チャネル15は、有線または無線の媒体であってよい。システム10は、例えば、ビデオ・テレフォニのための双方向ビデオ送信をサポートしてもよい。従って、チャネル15の両端部に、相互符号化および復号化コンポーネントが設けられてもよい。あるいは、システム10は、放送をサポートしてもよい。また、ビデオ符号器12は、有線または無線媒体によって１または複数の加入者にビデオを放送する又は流す（streams）ビデオ放送装置の一部を形成してもよい。種々の態様において、ビデオ符号器12およびビデオ復号器14は、デジタル・テレビのようなビデオ通信装置、無線通信装置、ゲーミング装置、携帯情報端末(PDA)、ラップトップ・コンピュータ又はデスクトップ・コンピュータ、iPod（登録商標）で販売されているもののようなデジタル音楽およびビデオ装置、あるいは無線電話のようなビデオ通信装置内に具体化されてもよい、のように、セルラー、衛星あるいは地上ベースの無線電話のような無線電話、あるいはビデオ・ストリーミング、ビデオ・テレフォニあるいは両方のために装備された他の無線モバイル端末内で具現されてもよい。
いくつかの態様では、双方向通信については、システム10は、プロトコル(SIP)、ITU-T H.323標準、ITU-T H.324標準あるいは他の標準に従って、ビデオ・テレフォニ又はビデオ・ストリーミングをサポートしてもよい。ビデオ符号器12は、MPEG2、MPEG-4、ITU-T H.263又はITU-T H.264のような画像圧縮標準に従って、符号化されたビデオ・データを生成する。図1に示されていないが、ビデオ符号器12およびビデオ復号器14は、オーディオ符号器および復号器とそれぞれ統合されてよく、また、共通のデータ・ストリーム又は個別のデータ・ストリームにおいてオーディオおよびビデオの両方の符号化を扱うために、適切なマルチプレクサ・デマルチプレクサ(MUX-DEMUX)ユニット、あるいは他のハードウェアおよびソフトウェアを含んでいてもよい。適用可能な場合には、MUX-DEMUXユニットは、ITU H.223マルチプレクサ・プロトコル、あるいはユーザー・データグラム・プロトコル(UDP)のような他のプロトコルに一致してもよい。いくつかの態様では、この開示は、フォワード・リンク・オンリ(FLO)エア・インタフェース仕様書、技術的な標準TIA-1099(「FLO明細書」)として公表されるべき「地上モバイル・マルチメデイア・マルチブロードキャストのためのフォワード・リンク・オンリ・エア・インタフェース仕様書（"Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast"）を使用して、地上モバイル・マチメデイア・マルチキャスト(TM3)システムにおいてリアルタイム・ビデオサービスを配信するためのエンハンスドH.264ビデオ符号化に対する適用を意図する。しかし、この開示に記述されるフレーム補間技術は、任意特定のタイプの放送、マルチキャストシステムあるいはポイント・ツー・ポイント方式に制限されない。
ビデオ符号器12およびビデオ復号器14は、１または複数のプロセッサ、デジタル信号プロセサ(DSPs)、特定用途向け集積回路(ASICs)、フィールドプログラム可能ゲートアレイ(FPGAs)、デイスクリート・ロジック（discrete logic）、ソフトウェア、ハードウェア、ファームウェアあるいはそれらの任意の組合せとして実装されてもよい。ビデオ符号器12およびビデオ復号器14の例示コンポーネントは、１つ又は複数の符号器あるいは復号器に含まれていてもよく、そのどちらも、各加入者装置、放送装置、サーバ等における組合せ符号器/復号器(CODEC)の一部として統合されてもよい。さらに、ビデオ符号器12およびビデオ復号器14は、適用可能なものとして、高周波(RF)無線コンポーネントおよびアンテナを含む、符号化されたビデオの送信および受信のための、適切な変調、復調、周波数変換、フィルタリング、増幅器コンポーネントを含んでもよい。しかし、図示を容易にするために、そのようなコンポーネントは図1に示されない。
符号器12は、インプット・マルチメディア・シーケンス17を受け取り、そしてマルチメディア・シーケンス17を選択的に符号化する。マルチメディア・シーケンス17は、ビデオ・ソース(図示なし)によってキャプチャされるライブのリアルタイム・ビデオあるいはビデオ・オーディオ・シーケンスであってもよい。あるいは、マルチメディア・シーケンスは、あらかじめ記録され格納されたビデオあるいはビデオ・オーディオ・シーケンスであってもよい。いずれの場合も、符号器12は、複数のビデオフレームを符号化しそして復号器14へ送信する。複数のビデオフレームは、他のフレームに関しないで符号化される１つ又は複数のイントラ（「Ｉ」）フレーム、一時的に先行するフレームに関して符号化される予測(「P」)フレーム、一時的に先行する及び将来のフレームに関して符号化される双方向(「B」)フレーム、あるいはそれらの組合せ含んでもよい。符号化されたフレームは、ビデオ復号器14がビデオ情報のフレームを復号しかつ表示することを可能にするために十分な情報を含む。符号器12は、１つ又は複数の動きベクトル、ピクセルの各ブロックを符号化するために用いられる符号化モード、ピクセルの各ブロックのサブパーテイション（sub-partitions）、ピクセルの各ブロック内の係数、ピクセルの各ブロック内の非ゼロ（non-zero）係数の数、スキップ又は直接ブロック数、等を含むようにフレームを符号化してもよい。
この開示のいくつかの態様では、ビデオ符号器12は、送信チャネル15を横切って帯域幅を保存するためにフレーム・スキッピングを使用して、低減されたフレームレートでビデオシーケンス14に含まれるビデオ情報を符号化してもよい。低減されたフレームレートでビデオ情報を符号化するために、符号器12は、送信チャネル15を横切って帯域幅節約のための符号化された情報の全体量を低減するように設計されたフレーム・スキッピング機能に従って特定のフレーム(スキップされた(「S」)フレームと呼ばれる)をスキップしてもよい。言いかえれば、符号器12は実際にはSフレームを符号化せず送信しない。代わりに、ビデオ復号器14は、ビデオ情報のフレームを生成するために、ここでは基準フレームと呼ばれる、送信されたフレームの1つ又はそれより多くを使用して、スキップされたフレームを補間する。この補間プロセスは、復号器15によって復号されたビデオの見かけのフレームレートを増加させる効果があり、しばしばフレームレート・アップコンバーション(FRUC)と呼ばれる。
図1の例では、ビデオ符号器12は、フレーム処理モジュール20、標準符号器モジュール16および補間符号化モジュール18を含む。フレーム処理モジュール20は、フレームF1、F2およびF3のようなビデオ情報の入来フレームを処理するように構成される。入来フレームF1、F2およびF3の分析に基づいて、フレーム処理モジュール20は、入来フレームを符号化するべきかスキップするべきかどうか決定する。図1の例では、F2はスキップされるフレームを表わし、一方、フレームF1およびF3は、符号化されてビデオ復号器１４に送信される先行及び後続のフレームを表わしている。図１に例示された例では、フレーム処理モジュール20は、1フレームおきにスキップするが、フレーム処理モジュール20は、スキップするように構成されてもよい、n番目のフレーム毎にスキップするように、あるいはスキップされるフレームを動的に選択するために適用される動的スキップ基準を含むように構成されてもよい。符号化される入来フレームについては、フレーム処理モジュール20はまた、Iフレーム、PフレームあるいはBフレームとしてフレームを符号化するべきかどうか決定するように構成されてもよい。
フレーム処理モジュール20は、１つのフレームをピクセルのN個のブロックに分割し、かつピクセルのブロックのそれぞれを別々に符号化するようにさらに構成されてもよい。一例として、フレーム処理装置20は、フレームをピクセルの複数の16x16ブロックに分割してもよい。「マクロブロック」（”macroblocks”）と呼ばれることが多いピクセルのいくつかのブロックは、ピクセルのサブブロックのグループ化を含む。一例として、16x16マクロブロックは4つの8x8サブブロックを含んでもよい。サブブロックは別々に符号化されてもよい。例えば、H.264標準は、様々な異なるサイズ、例えば、16x16、16x8、8x16、8x8、4x4、8x4、及び4x8を有するブロックの符号化を許容する。このようにして、フレーム処理モジュール20は、フレームをピクセルのいくつかのブロックに分割し、そして、それらのブロックのそれぞれをI-フレーム、P-フレームあるいはBフレームとして符号化すべきかどうかを決定するように構成されてもよい。
標準符号化モジュール16は、例えば、フレームF1及びF3を符号化するためのフレーム処理モジュール20によって選択されたフレーム又はそのフレーム中のピクセルのブロックを符号化するために、動き予測および動き補償のような標準符号化技術を適用する。標準符号化モジュール16はまた、フレーム又はピクセルのブロックのうちのいくつかに対する空間的評価及びイントラ予測のような非動き符号化技術（non-motion coding techniques）を適用してもよい。標準予測ベース技術によれば、標準符号化モジュール16は、エントロピー符号化、スキャン、量子化、変換及びたぶんデブロック・フィルタリング（deblock filtering）のための様々なユニットを含んでもよい。
いくつかの態様では、ビデオ符号器12はさらに補間符号器モジュール18を含んでいてもよい。補間符号器モジュール18は、復号器14がスキップされたフレームを補間するのを支援するためにスキップされたフレームに関連した情報を生成し符号化してもよい。補間符号器モジュール18は、例えば、１つ又は複数のスキップされたフレーム又はそのスキップされたフレームにおけるピクセルの１つ又は複数のブロックに対する動き情報、スキップされたフレームにおけるブロックを符号化するために使用される予測モードを識別する情報、等を生成し、送信してもよい。補間符号器モジュール18は、専用フレームで、あるいはフレームF1あるいはF3のような１つ又は複数の送信されたビデオフレームに埋め込まれていた情報としてスキップされたフレームに関連した符号化された情報をビデオ復号器14へ送信してもよい。このようにして、ビデオ符号器12は、ビデオ復号器14がスキップされたフレームを補間するのを支援するためにスキップされたフレームに関連した情報を生成するおよび送信するたるように、いくつかの態様では構成されてもよい。しかし、この開示に記述された技術は、ビデオ符号器12からの援助を必要としなくてもよい。したがって、いくつかの態様では、ビデオ符号器12は補間符号器モジュール18を含んでいなくてもよい。この場合、ビデオ復号器14は、ビデオ符号器12の援助なしに補間を行なう。
ビデオ復号器14は、ビデオ符号器12から符号化されたビデオフレームを受け取り、ビデオフレームを復号する。ビデオ復号器14は、標準復号器モジュール22および補間復号器モジュール24を含んでいる。標準復号器モジュール22および補間復号器モジュール24は、個別のコンポーネントである必要がなく、その代り、共有ベースで、複数のコンポーネントを利用して、共通のCODECの内の個別のプロセスとして統合されてもよい。標準復号器モジュール22は、符号器12によって送信される、フレームF1およびF3のような各符号化されたフレームを復号するために標準復号技術を適用する。上に記述されたように、各フレームにおいて符号化された情報は、標準復号器モジュール22がビデオ情報のフレームを復号しかつ表示することを可能にするのに十分である。
補間復号器モジュール24は、ビデオ・データの１つ又は複数の基準フレームに基づいてビデオフレームを補間する。言いかえれば、補間復号器モジュール24は、ビデオフレームを補間するために、フレームF1、F3あるいは両方のような１つ又は複数の基準ビデオフレームに関連した符号化された情報を使用してもよい。上述のように、補間復号器モジュール24は、帯域幅を節約するために符号器12によってスキップされた、フレームF2のようなビデオフレームを補間してもよい。あるいは、補間復号器モジュール24は、ビデオ情報のフレームレートをアップコンバード（up-convert）するために１つ又は複数のビデオフレームを挿入するようにビデオフレームを補間してもよい。補間復号器モジュール24は、多くの補間技術のうちのどれでも使用して、ビデオフレームを補間してもよい。例えば、補間復号器モジュール24は、フレームリピート動作、フレーム平均化動作、動き補償フレーム補間動作または他のフレーム補間動作を用いてビデオフレームを補間してもよい。
この開示の技術によれば、補間復号器モジュール24は、少なくとも1つのビデオフレームに関連した情報を分析し、そしてその分析に基づいてフレーム補間を動的に調節する。補間復号器モジュール24は、例えば、１つ又は複数のビデオフレームの内容、2つ以上のビデオフレーム間の動き場の規則性、1つ又は複数のビデオフレームに関連した符号化複雑性、あるいはそれらの組合せを分析してもよい。１つの例では、補間復号器モジュール24は、ビデオフレームを補間するために使用される１つ又は複数の基準フレーム(例えば、F1、F3あるいは両方)に関連した情報を分析してもよい。あるいは又はさらに、補間復号器モジュール24は、スキップされたビデオフレームのような補間されるべきフレームに関連した情報を分析してもよい。補間復号器モジュール24はまた、１つの期間にわたって受信される複数のフレーム、例えば1秒の間隔にわたって受信されるフレームに対する情報を分析してもよい。１つ又は複数のビデオフレームに関連した情報は、符号器12から受け取られたビデオフレーム内で符号化されてもよい。あるいは、補間復号器モジュール24は、ビデオフレームに関連した情報の少なくとも1つの部分を生成してもよい。
補間復号器モジュール24は、１つ又は複数のビデオフレームに関連した情報の分析に基づいてフレーム補間動作を動的に調節する。補間復号器モジュール24は、複数の異なる方法でフレーム補間動作を調節してもよい。一例として、補間復号器モジュール24は、動き補償フレーム補間を有効にすべきか又は無効にすべきかを可能にするべきか選択してもよい。動き補償フレーム補間が無効にされると、補間復号器モジュール24は、フレーム・リピート又はフレーム平均化動作のような異なるフレーム補間動作を追加的に選択してもよい。他の例として、補間復号器モジュール24は、分析に基づいてフレーム補間に使用されるビデオフレーム予測モードを選択してもよい。さらに他の例では、補間復号器モジュール24は、分析に基づいてフレーム補間のために異なる閾値を割り当ててもよい。
上記の技術は個々に実装されてもよく、あるいは、そのような技術の2つ以上、またはその技術の全てが補間復号器モジュール24において一緒に実装されてもよい。多くの他のエレメントが符号化および復号化システム10に含まれてもよいが、図示の簡単かつ容易のために、図１には具体的には示されていない。図1に例示されたアーキテクチャーは、ここに記述された技術が様々な他のアーキテクチャーで実装されてもよいから、単に例示である。さらに、図1に例証された特徴は、ハードウェア、ソフトウェア・コンポーネント、あるいはそれらの組合せの任意適当な組合せによって実現されてもよい。スキップされたビデオフレームを補間する文脈に記述されたが、この開示の技術はより高品質のビデオフレームを生成するために低減された品質で符号化されたビデオフレームを補間するために利用されてもよい。
図2は、図1のビデオ復号器14のようなビデオ復号器で使用される例示的な補間復号器モジュール24を例示するブロック図である。補間復号器モジュール24は、補間されたフレームを生成するために一緒に動作する補間モジュール32、補間制御モジュール34、フレーム情報テーブル(FIT)モジュール36およびフレーム情報生成モジュール37(図2において「フレーム情報生成モジュール」と表示された）を含む。上述のように、補間復号器モジュール24は、少なくとも1つのビデオフレームに関連した情報を分析し、そして、この開示に記述された技術の1つ以上に従って情報の分析に基づいてフレーム補間動作を動的に調節する。
補間モジュール32は、もう1つの基準フレームに基づいてビデオフレームを補間する。例えば、補間モジュール32は、先行基準フレーム、後続の基準フレーム、先行及び後続の基準フレームの両方、又は２つの基準フレームより多くに関連したフレーム情報に基づいてビデオフレームを補間してもよい。補間モジュール32は、フレーム・リピート動作、フレーム平均化動作、動き補償フレーム補間動作、又はそれらの組合せのような多数の補間技術のうちの任意のものを用いてフレームを補間してもよい。動き補償フレーム補間動作は、バイリニア補間、バイキュービック補間、最近傍補間あるいは他の技術のような様々な補間技術のうちの何かを含んでいてもよい。上述のように、補間モジュール32は、ブロック・ベース・モードでフレームを補間するように構成されてもよい。言いかえれば、補間モジュール32は、フレームをピクセルの複数のブロックに分割し、１つ又は複数の基準フレームにおけるピクセルの対応するブロックに関連した情報に基づいてピクセルのブロックのそれぞれを別々に補間してもよい。ブロック内のピクセルは、ピクセル・ドメインの中で表わされていているが、ブロックは変換ドメインの中で表わされてもよい。
この開示の技術によれば、補間制御モジュール34は、少なくとも1つのビデオフレームに関連した情報を分析し、そして、その分析に基づいて補間モジュール32のフレーム補間動作を調節する。図2に示された例では、補間制御モジュール34は、少なくとも1つのビデオフレームに関連した情報を分析する分析モジュール42、およびその分析に基づいて補間モジュール32のフレーム補間動作を動的に調節する調節モジュール44を含んでいる。補間制御モジュール34は、１つ又は複数の基準フレームに関連した情報を分析してもよい。あるいは又はさらに、補間制御モジュール34は、スキップされたフレームのような補間されるべきフレームに関連した情報を分析してもよい。補間制御モジュール34はまた、特定の期間にわたって受信される複数のフレーム、例えば、1秒の間隔にわたって受信されるフレームに対する情報を分析してもよい。
１つ又は複数のビデオフレームに関連した情報は、符号器12から受け取られたビデオフレーム内で符号化されてもよい。あるいは、フレーム情報生成モジュール37は、フレームに関連した情報の少なくとも1つの部分を生成してもよい。1つの例として、フレーム情報生成モジュールは、従来の動き推定技法を使用して、１つ又は複数の基準フレームに対する動きを推定してもよい。他の例として、フレーム情報生成モジュール37は、補間されるビデオフレームに隣接した１つ又は複数の基準フレームに関連した動き情報を用いて、補間されるべきフレーム対する動き情報、例えば、動きベクトル(MV)を生成してもよい。
フレーム情報生成モジュール37は、フレーム内の１つ又は複数の移動オブジェクトに関連した情報を生成する移動オブジェクト検出モジュール40を含んでいてもよい。特に、移動オブジェクト検出モジュール40を移動させることは、フレーム内の１つ又は複数の移動オブジェクトを検出するためにフレームの中でピクセルの複数のブロックに関連した動きベクトルを特に分析する。オブジェクト検出モジュール40を移動させることは、例えば、フレーム中の１つ又は複数の移動オブジェクトを識別するために実質的に並進行ベクトルを持っている、地域内のピクセルのブロックをグループ化してもよい。さらに、オブジェクト検出モジュール40を移動させることは、検出された移動オブジェクトの各々に関連した情報を生成してもよい。例えば、移動オブジェクト検出モジュール40は、フレーム内の移動オブジェクトのサイズについて記述する情報、フレーム内の移動オブジェクトの数、検出された移動オブジェクトに関連した動き情報、等を生成してもよい。
この開示の1つの態様では、補間制御モジュール34は、１つ又は複数のビデオフレームの内容、１つ又は複数のビデオフレーム間の動き場の規則性、1つ又は複数のビデオフレームに関連した符号化複雑性、あるいはそれらの組合せを分析する。補間制御モジュール34は、例えば、フレームの内容を決定するために、フレーム内の動き、フレーム内のオブジェクトのテクスチャ、フレームにおけるビデオのタイプ、等を分析してもよい。特に、補間制御モジュール34は、フレームの内容を決定するために、フレームに関連した、１つ又は複数の動きベクトルのような動きメトリック（motion metric）を分析してもよい。さらに、補間制御モジュール34は、フレームの内容を決定するために、フレーム内の１つ又は複数の移動オブジェクトに関連した情報、例えば、移動オブジェクト検出モジュール40により生成された情報分析してもよい。補間制御モジュール34は、例えば、フレームの内容を決定するために、１つ又は複数のフレーム内における移動オブジェクトの数、１つ又は複数のフレーム内における移動オブジェクトのサイズ、及び識別された移動オブジェクトに関連した動きベクトルを分析してもよい。
さらに、補間制御モジュール34は、フレームの内容を決定するために、コントラスト比値のようなテクスチャ・メトリック（texture metric）をさらに分析してもよい。さらに、補間制御モジュール34は、フレームの内容が自然なビデオか合成ビデオかどうかを決定するために入力フレームレートを分析してもよい。例えば、合成ビデオを有する漫画チャネルのようなビデオチャネルは毎秒13個のフレームの入力フレームレートを有してもよい。そのようなフレームレートは、自然なビデオ送信では通常は見られない。いくつかの態様では、補間制御モジュール34は、動き、テクスチャ、ビデオタイプおよび他の内容特性の分析に基づいてフレームの内容を分類してもよい。１つの例として、補間制御モジュール34は、レート歪(R-D)曲線のような分類メトリックを使用してフレームの内容を分類してもよい。
あるいは、又はさらに、補間制御モジュール34は、2つ以上のフレーム間の動き場の規則性を分析してもよい。補間制御モジュール34は、例えば、１つ又は複数のレームの間の動き規則性を決定するために、二乗差の和(SSD)あるいは絶対差の和(SAD)のような差メトリック（difference metric）を分析してもよい。補間制御モジュール34はまた、移動オブジェクトに関連した情報、例えば、2つ以上のインターフレーム間の動き場の規則性を決定するために、移動オブジェクト検出モジュール40により生成された情報に関連した情報を分析してもよい。例えば、補間制御モジュール34は、2つ以上のフレーム間の動き場の規則性を決定するために、１つ又は複数のフレームにおける移動オブジェクトの数、移動オブジェクトのサイズあるいは両方を比較してもよい。
さらに、補間復号器モジュール24はまた、１つ又は複数のフレームに関連した符号化複雑性を分析してもよい。補間制御モジュール34は、例えば、フレームに関連した符号化複雑性を決定するために、フレームに関連した情報で提供される符号化係数又はフレームに関連した情報における非ゼロ係数の数を分析してもよい。非ゼロ係数の数が大きく、大量の残留情報の符号化を示してもよい場合には、補間制御モジュール34は、符号化複雑性が高いと決定してもよい。補間制御モジュール34は、例えば、補間のためにより複雑性が低いフレームを用いる予測モードを選択してもよい。
補間復号器モジュール24は、分析に基づいたフレーム補間動作、１つ又は複数のビデオフレームの内容、１つ又は複数のビデオフレーム間の動き場の規則性、１つ又は複数のビデオフレームに関連した符号化複雑性、あるいはそれらの組合せを動的に調節する。1つの例として、補間制御モジュール34は、内容、動き場の規則性、１つ又は複数のフレームに関連した符号化複雑性、あるいはそれらの組合せの分析に基づいて、補間モジュール32によって使用される閾値パラメータを動的に調節してもよい。補間制御モジュール34は、複数の閾値フレーム補間パラメータを維持し、そして、フレームの内容に対応する閾値パラメータの組を選択してもよい。例えば、補間制御モジュール34は、フレームが高い動き又は高いテクスチャを有する場合には、閾値パラメータの第１の組を選択し、低い動き又は低いテクスチャを有するフレームの場合には、閾値パラメータの第２の組を選択する。
他の例として、補間制御モジュール34は、内容、動き場の規則性、１つ又は複数のフレームに関連した符号化複雑性、あるいはそれらの組合せの分析に基づいて、動き補償フレーム補間を有効にするべきか無効にするべきかどうかを選択してもよい。補間制御モジュール34は、2つの基準フレーム間の差メトリック、例えば、SAD値が閾値を超える場合には、動き補償フレーム補間を無効にすることを決定してもよい。同様に、補間制御モジュール34は、２つのフレームにおける移動オブジェクトの数あるいは移動オブジェクトのサイズが実質的にに異なる場合には、動き補償フレーム補間を無効にしてもよい。さらに、補間制御モジュール34は、フレーム・リピート動作又はフレーム平均化動作を用いてフレーム補間を行なうように補間モジュール32に表示してもよい。
さらに他の例として、補間制御モジュール34は、内容、運動フィールドの規則性、１つ又は複数のフレームに関連した符号化複雑性（coding complexity）あるいはそれれの組合せの分析に基づいた補間に使用するフレーム予測モードを選択してもよい。例えば、先行および後続フレームにおける移動オブジェクトに関連した動きベクトルが実質的に整列してお、かつ移動オブジェクト間の非ゼロ残余（non-zero residue）の差が、閾値より小さい場合には、補間制御モジュール34は双方向予測モードを選択してもよい。
この開示の他の態様では、補間制御モジュール24は、１つの期間にわたって受信された複数のビデオフレーム、例えば、1秒の間隔にわたって受信されたフレームに対する情報を分析する。特に、FITモジュール36は、複数のビデオフレームに関連した情報を含んでいるFITテーブル38を生成する。FITテーブル38は、例えば、スーパーフレームを形成する複数のフレームに関連した情報を含んでいてもよい。ここに使用されるように、用語「スーパーフレーム」は１つの期間にわたるフレームのブループ化を指す。1つの例では、スーパーフレームは、1秒の周期にわたるフレームのグループ化であってもよい。FITモジュール36は、各フレームのフレームタイプ、各フレームのフレーム・サイズ、各フレームのエラー・パターン、各フレームのエラー分布のような情報、ならびにスーパーフレームのフレームのそれぞれに関連した他の情報を含むためのFITテーブル38を生成してもよい。
補間制御モジュール24は、FITテーブル38を分析し、そして、その分析に基づいてフレーム補間動作を調節してもよい。補間制御モジュール24は、例えば、スーパーフレームの複数のフレームのフレームタイプ、スパーフレームの複数のフレームにフレーム・サイズ、又はスーパーフレームの複数のフレームに関連したエラー分布を分析し、そして、その分析に基づいてフレーム補間動作の調節を行ってもよい。FITテーブル38の分析は、動き補償フレーム補間を有効にすべきかどうかを決定するのに特に有用であってもよい。例えば、連続するBフレームの数が閾値を超える場合には、補間制御モジュール24は、動き補償フレーム補間を有効にしてもよい。他の例として、基準フレームが大きなエラー分布を有することをFITテーブル38が示す場合には、補間制御モジュール24は、動き補償フレーム補間を無効にしてもよい。このようにして、補間制御モジュール24は、ビデオ・データのフレームを補間する際に使用する補間のタイプを選択するためにFITテーブル38を使用する。
上述のように、補間復号器モジュール24は、１つ又は複数のフレームに関連した多くの異なるタイプの情報のうちのいずれかの分析に基づいてフレーム補間動作を調節する。したがって、上述の技術は、個々に実行されてもよく、あるいは、そのような技術の2つまたはそれより多くが、補間復号器モジュール24において一緒に実行されてもよい。補間復号器モジュール24が上記技術の2つ又はそれより多くを一緒に実行する場合には、補間復号器モジュール24は、特定のタイプのフレーム情報を優先させるために分析される異なるタイプのフレーム情報に重みを割当ててもよい。このようにして、フレーム補間復号器モジュール24は、補間調節を行うことで最も重要なものであると考えられたフレーム情報を使用して、フレーム補間動作を調節してもよい。
補間制御モジュール34は、フレームに関連した情報を分析し、そして、様々なレベルあるいは粒度にフレーム補間動作を調節してもよい。１つの例として、補間制御モジュール34は、１つ又は複数のフレームに関連した情報を分析し、フレーム・レベルでフレーム補間動作を調節してもよい。この場合、補間復号器モジュール24は、情報を分析し、ビデオフレーム全体のためのフレーム補間動作を調節する。あるいは、情報復号器モジュール24は、フレームに関連した情報を分析し、ブロック・レベルにおいてフレーム補間動作を調節してもよい。したがって、補間復号器モジュール24は、情報を分析し、その情報に関連した特定のブロックのためののみフレーム補間動作を調節する。他の例として、情報復号器モジュール24は、１つ又は複数のフレームに関連した情報を分析し、領域ベース・レベルにおいてフレーム補間動作を調節してもよい。補間調節モジュール24は、領域を形成するためにピクセスの複数のブロックをグル−プ化し、そして、その領域におけるプクセルのすべてのブロックに関連した情報を分析してもよい。1つの態様では、フレームの領域の各々は、フレーム内の移動オブジェクトに対応してもよい。この場合、補間復号器モジュール24は、情報を分析し、そして、領域内にあるすべてのブロックに対するフレーム補間動作を調節する。
多くの他の要素が補間復号器モジュール24に含まれてもよいが、図示を簡単かつ容易にするために、図2には具体的には例示されていない。図2に例示された様々なコンポーネントは、ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組合せで実現されてもよい。いくつかのコンポーネントは、1つ又は複数のマイクロプロセッサー又はデジタル信号プロセサ(DSP)、１つ又は複数の特定用途向け集積回路(ASIC)、１つ又は複数のフィールドプログラム可能ゲートアレイ(FPGA)あるいは他の同等の集積又はデイスクリート論理回路によって実行されるプロセス又はモジュールとして実現されてもよい。異なる特徴についてモジュールとしての記述は、補間復号器モジュール24の異なる機能的な局面を強調することを意図されたものであり、個別のハードウェア又はソフトウェア・コンポーネントによってそのようなモジュールを実現しなければならないことを必ずしも意味しない。むしろ、１つ又は複数のモジュールに関連した機能性は、共通の又は個別のハードウェアあるいはソフトウェア・コンポーネント内に統合されてもよい。したがって、この開示は補間復号器モジュール24の例に制限されるべきでない。
ソフトウエアで実装される場合には、この開示で記述されるシステム及び装置に帰する機能性は、例えば、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、不揮発性のランダム・アクセス・メモリ(NVRAM)、電気的に消去可能プログラム可能読み出し専用メモリ (EEPROM)、フラッシュメモリ、磁気的又は光学的データ記憶媒体、等を備えてもよいメモリ（図示なし）内のようなコンピュータ読取り可能媒体上の命令として具現されてもよい。その命令は、この開示に記述された機能性の１つ又は複数の態様をサポートするために実行される。
図3は、１つ又は複数のビデオフレームの内容、１つ又は複数のビデオフレーム間の動き場の規則性、１つ又は複数のビデオフレームに関連した符号化複雑性あるいはそれらの組合せの分析に基づいてフレーム補間動作を動的に調節する図1および2の、補間復号器モジュール24のような補間復号器モジュールの例示的な動作を例証する流れ図である。最初に、補間復号器モジュール24は、符号器12から複数のビデオフレームを受け取る(50)。１つの例として、補間復号器モジュール24は、複数のフレームに関連した情報を搬送するビットストリームを受け取ってもよい。受信ビットストリームにより搬送される情報は、例えば、フレームのピクセルの１つ又は複数のブロックに関連した動きベクトル、ブロック予測モード、ブロック・サブパーティション（block sub-partitions）、ブロック内の係数又は非ゼロ係数（non-zero coefficients）の数、スキップ又は直接ブロック数、等を含んでもよい。
この開示のいくつかの態様では、補間復号器モジュール24は、１つ又は複数のフレームに関連した情報を生成してもよい(52)。フレーム情報生成モジュール37は、例えば、送信されたフレームの1つ又は複数に関連した情報を生成してもよい。あるいは、又はさらに、フレーム情報生成モジュール37は、補間されるべき１つ又は複数のフレーム1に関連した情報を生成してもよい。フレーム情報生成モジュール37は、例えば、動きベクトル、動きベクトルに関連した信頼性情報、フレーム又はそのフレーム内のピクセルのブロックに関連した予測モード、等を生成してもよい。さらに、上述のように、補間復号器モジュール24は、フレーム内の１つ又は複数の移動オブジェクトを識別し、そして、移動オブジェクトに関連した情報を生成してもよい。
補間制御モジュール34は、１つ又は複数のビデオフレームの内容、１つ又は複数のビデオフレーム間の動き場の規則性、１つ又は複数のビデオフレームに関連した符号化複雑性あるいはそれらの組合せを分析する(54)。補間制御モジュール34は、例えば、フレームの内容を決定するために、フレーム内の動き、フレーム内のオブジェクトのテクスチャ、フレームにおけるビデオのタイプ、等を分析してもよい。特に、補間制御モジュール34は、動きメトリック(例えば１つ又は複数の動きベクトル及びテクスチャ・メトリック（texture metric） (例えばコントラスト比値)を分析してもよい。さらに、補間制御モジュール34は、フレームの内容を決定するために、フレーム内の１つ又は複数の移動オブジェクトに関連した情報、例えば、１つ又は複数のフレーム内の移動オブジェクトの数、１つ又は複数のフレーム内の移動オブジェクトのサイズ、識別された移動オブジェクトに関連した動きベクトルを分析してもよい。
あるいは、又はさらに、補間制御モジュール34は、2つの又はそれより多いフレーム間の動き場の規則性を分析してもよい。補間制御モジュール34は、例えば、１つ又は複数のインターフレームの運動規則性を決定するために、正方形差(SSD)の和あるいは絶対差(SAD)の和のような差メトリックを分析してもよい。補間制御モジュール34はまた、2つの又はそれよい多いフレーム間の動き場の規則性を決定するために、１つ又は複数のフレームにおける移動オブジェクトの数又は移動オブジェクトのサイズを比較してもよい。さらに、補間復号器モジュール24はまた、１つ又は複数のフレームに関連した符号化複雑性を分析してもよい。補間制御モジュール34は、例えば、フレームに関連した符号化複雑性を決定するために、フレームに関連した情報で提供される係数又はフレームに関連した情報で提供される非ゼロ係数の数を分析してもよい。
補間制御モジュール34は、１つ又は複数のビデオフレームの内容、１つ又は複数のビデオフレーム間の動き場の規則性、１つ又は複数のビデオフレームに関連した符号化複雑性あるいはそれらの組合せの分析に基づいて補間モジュール32のフレーム補間動作を動的に調節する(56)。上述のように、補間制御モジュール34は、動き補償フレーム補間を有効にすべきか無効にするべきを選択すること、異なるタイプの補間を選択すること、フレーム補間のために使用されるべきビデオフレーム予測モードを選択すること、分析に基づいてフレーム補間に対して異なる閾値を割当てること、及び補間がさらに難しくなりそうであると表示された場合には、よりコンピュータ集約型の技術を含む多くの異なる方法でフレーム補間動作を調節してもよい。
補間モジュール32は、動的に調整されたフレーム補間動作に従ってビデオフレームを補間する(58)。例えば、補間モジュール32は、補間制御モジュール34によって選択された予測モードを使用してビデオフレームを補間してもよい。他の例として、補間モジュール32は、動き補償補間を無効にし、そして、代わりにフレーム平均化又はフレーム・ルピート動作を用いてビデオフレームを補間してもよい。上述のように、補間復号器モジュール24は、ビデオ情報のフレームレートをアップ変換するために、スキップされたビデオフレームを補間してもよく又は１つ又は複数のスキップされないビデオフレームを挿入してもよい。
上述のように、補間復号器モジュール24は、ビデオフレームを補間し、そして、様々なレベルあるいは粒度に補間動作を調節する。特に、補間復号器モジュール24は、ビデオのフレームを補間し、フレーム・レベル、ブロック・レベルあるいは領域レベルで補間動作を調節してもよい。
図4は、FITテーブル38の分析に基づいてフレーム補間動作を動的に調節する図1および2の補間復号器モジュール24のような補間復号器モジュールの例示的な動作を例証する流れ図である。最初に、補間復号器モジュール24は、符号器12から複数のビデオフレームを受け取る(60)。１つの例として、補間復号器モジュール24は、複数のフレームに関連した情報を搬送するビットストリームを受け取ってもよい。
FITモジュール36はFITテーブル38を生成する(62)。FITモジュール36は、例えば、複数のフレームに関連した情報の部分を分析し、そして、FITテーブル38を生成するために情報の特定の部分集合（subsets）を抽出してもよい。FITモジュール36は、各フレームのフレームタイプ、各フレームのフレーム・サイズ、各フレームのエラー・パターン、各フレームのエラー分布のような情報、ならびにスーパーフレームのフレームのそれぞれに関連した情報を含むようにFITテーブル38を生成してもよい、上述のように、FITモジュール36は、１つの期間にわたって受信される受け取られる複数のビデオフレーム、例えば、1秒の間隔にわたって受け取られたフレームに対する情報を含むようにFITテーブル38を生成してもよい。例えば、FITモジュール36は、ビデオ・データの各受信スーパーフレームに対するFITテーブル38を生成してもよい。用語「スーパーフレーム」は、１つの期間にわたる複数のフレームのグループ化を意味する。
補間制御モジュール34は、FITテーブル38に含まれていた情報を分析し、そして、その分析に基づいてフレーム補間動作を調節する(64、66)。補間制御モジュール24は、例えば、複数のフレームに関連したフレームタイプを分析し、そして、ある数の連続したＢフレームが閾値を超える場合（それはスムーズな動き場を示してよい）には、動き補償フレーム補間を有効にしてもよい。
他の例として、補間制御モジュール34は、複数のフレームのフレーム・サイズを分析し、そして、フレーム・サイズに基づいてフレーム補間動作を調節してもよい。フレーム・サイズは、動き複雑性およびテクスチャ複雑性の両方の点からフレームの複雑さの表示であってもよい。補間制御モジュール34は、例えば、フレーム・サイズに基づいて補間を行うべきかどうかに基づいて動き補償フレーム補間を有効にするか無効にするかを決定してもよい。特に、補間制御モジュール34は、複数のフレームのフレーム・サイズが著しく変化する(例えば、閾値を超える)場合には、動き補償フレーム補間を無効にしてもよい。
他の例として、補間制御モジュール34は、１つ又は複数のフレームのエラー分布に基づいてフレーム補間動作を分析しかつ調節してもよい。動き補償フレーム補間は、基準フレームの正しい復号化に大きく依存してもよく、従って、補間制御モジュール34は、１つ又は複数の基準フレームに関連したエラー分布が閾エラー分布値をより高い場合には動き補償フレーム補間を無効にしてもよい。
いくつかの態様では、補間制御モジュール34は、に基づき、復号器14の復号化複雑性及び他の計算上のリソースに基づいてフレーム補間を可能にフレーム補間を可能にするべきかどうか適応的に決定してもよい。例えば、復号器14の計算上のリソースが遅れている（running behind）場合には、補間制御モジュール34はフレーム補間を有効にしてもよい。補間制御モジュール34は、復号器14の復号化複雑性及び他の計算資源を決定するために、フレーム・サイズ(動き情報および残留情報の両方)ならびにフレームタイプ分析してもよい。例えば、Bフレームは、その双方向動き補償特徴に基因してより多くの計算資源を要求するので、Bフレームは、同じフレーム・サイズのP-フレームよりも複雑であると考えられてもよい。補間制御モジュール34は、復号器14の計算資源が遅れている場合、通常のBフレーム復号を行なう代わりにフレームを補間してもよい。いくつかの実装では、フレーム補間動作が移動局モデム(MSM)プラットフォームのデジタル信号プロセサ(DSP)部分に専用である場合には、通常のBフレーム復号と比較して、ビデオフレームの補間はそれほど計算上高価ではないかもしれない。
補間モジュール32は、動的に調整されたフレーム補間動作に従ってビデオフレームを補間する(68)。例えば、補間モジュール32は、動き補償補間を無効にし、そして、代わりにフレーム平均化又はフレーム・リピート動作を用いてビデオフレームを補間してもよい。他の例として、補間モジュール32は、補間制御モジュール34によって選択された予測モードを使用して、ビデオフレームを補間してもよい。
図5は、１つ又は複数のビデオフレーム内の移動オブジェクトの分析に基づいてフレーム補間動作を調節する補間復号器モジュール24の例示的な動作を例証する流れ図である。最初に、補間復号器モジュール24はビデオフレームを選択する(70)。補間復号器モジュール24は、基準ビデオフレーム、例えば、先行又は後続のビデオフレームを選択するか、あるいは補間されるべき１つのフレームを選択してもよい。
補間復号器モジュール24は、フレームの内の１つ又は複数の移動オブジェクトに関連した情報を生成するために、選択されたビデオフレームにおけるピクセルの１つ又は複数のブロックに関連した動きベクトルを分析する(72)。上述のように、補間復号器モジュール24は、フレームに関連した動きベクトル(MVs)を分析しかつフレーム内の１つ又は複数の移動オブジェクトを識別する移動オブジェクト検出モジュール40を含んでいてもよい。特に、移動オブジェクト検出モジュール40は、ここに記述された技術に従って移動オブジェクトを検出するために実質的に相似の動きベクトルを有する領域内のピクセルのブロックをグループ化してもよい。例えば、移動オブジェクト検出モジュール40は、フレーム内のピクセルの第１のブロックを選択し、ピクセルの第１ノブロックに関連した動きベクトルをピクセルの選択されたブロックを囲む１つ又は複数の近隣のピクセルに関連した動き情報と比較し、そして実質的に相似の動き情報を有するピクセルの近隣のブロックでピクセルの第１のブロックをグループ化してもよい。
その後、移動オブジェクト検出モジュール40は、実質的に相似の動きベクトルを有するその領域におけるピクセルのすべてのブロックが移動オブジェクトを形成するためにグループ化されるまで、そのオブジェクトに属するピクセルの近隣のブロックのそれぞれに対する同様の分析を行なってもよい。その後、移動オブジェクト検出モジュール40は、同様のやり方でフレームの他の移動オブジェクトを検出するために、異なる動きベクトルを有するピクセルの他のブロックを分析し始めてもよい。さらに、移動オブジェクト検出モジュール40は、移動オブジェクトに対応する単一の動きベクトルを生成するために、オブジェクトを形成するピクセルのブロックの動きベクトルを合併してもよい。このようにして、移動オブジェクト検出モジュール40は、フレーム内の移動オブジェクトの数、移動オブジェクトのサイズ（例えば、移動オブジェクト中のブロックの数に関しての)、移動オブジェクトの１つ又は複数に関連した動き情報、等を識別する情報を生成する。
上述のように、移動オブジェクト検出モジュール40は、基準フレームにおける又は補間されるべきフレームにおける移動オブジェクトに関連した情報を生成してもよい。移動オブジェクト検出モジュール40がスキップされるフレームに対する移動オブジェクトに関連した情報を生成する場合には、例えば、その情報は、動きベクトルがスキップされたフレームに割当てられる。さらに、いくつかの態様では、移動オブジェクト検出モジュール40は、1つより多い組の動きベクトルを説明しなければならなくてもよい。例えば、移動オブジェクト検出モジュール40は、前方および後方への動きベクトルの両方を説明しなければならなくてもよい。
補間制御モジュール34は、1又は複数のフレームに関連した生成された移動オブジェクト情報を分析する(74)。補間復号器モジュール34は、例えば、フレームのそれぞれにおける移動オブジェクトの数、フレームのそれぞれにおける移動オブジェクトのサイズ、フレームのそれぞれにおける移動オブジェクトに関連した動き情報、等を比較してもよい。補間制御モジュール34は、例えば、１つ又は複数の基準フレームに関連した移動オブジェクト情報を比較してもよい。あるいは、又はさらに、補間制御モジュール34は、スキップされたフレームに関連した移動オブジェクト情報を分析してもよい。さらに、補間制御モジュール34は、全フレームに関連した(例えば、すべての移動オブジェクトに関連した)に関連した移動オブジェクト情報を分析してもよい。あるいは、補間制御モジュール34は、フレーム内の個々の移動オブジェクトに関連した移動オブジェクト情報を分析してもよい。
補間制御モジュール34は、フレームの１つ又は複数の内の移動オブジェクトの分析に基づいてフレーム補間動作を調節する(76)。１つの例として、補間制御モジュール34は、予測モード、例えば前方予測、後方予測モード、又は最良の補間動作となるであろう双方向予測モードを選択してもよい。補間制御モジュール34は、フレーム・レベル(例えば、フレームのすべてのブロックのための)に関して、あるいは移動オブジェクト・レベル(例えば、１つのグループのブロックのための)に関してフレーム補間動作を調節してもよい。例えば、補間制御モジュール34は、１つ又は複数の基準フレームにおける移動オブジェクトに関連した情報の分析に基づいてフレーム全体に対して予測モードを調節してもよい。特に、補間制御モジュール34は、先行及び後続の基準フレームにおける移動オブジェクトの数を比較し、そして、最小量の移動オブジェクトを有する基準フレームを使用する全フレームに対する予測モードを選択してもよい。このようにして、予測モード決定は、各基準フレームに関連した移動オブジェクト番号間の比較に従って調節される。
他の例として、補間制御モジュール34は、フレーム予測モードを選択するために先行及び後続の基準フレーム間における移動オブジェクトの規格化非ゼロ係数を比較する。移動オブジェクトの規格化非ゼロ係数は、移動オブジェクトの信頼性を決定するために使用される。より小さな非ゼロ係数は、より信頼できる移動オブジェクトを示す。したがって、両方の基準フレームが同数の移動オブジェクトを有しており、かつ移動オブジェクトのサイズがほぼ同じである場合には、補間制御モジュールは、全体的により小さな規格化された非ゼロ係数を有する基準フレームを使用する予測モードを選択してもよい。
他の例では、補間制御モジュール34は、移動オブジェクトに関連した情報に基づいて、移動オブジェクトに関連したピクセルのブロックに対する予測モードを選んでもよい。補間制御モジュール34は、例えば、先行及び後続の基準フレームにおける対応する移動オブジェクトに関連した動きベクトルが整列した場合には、移動オブジェクトに関連した移動オブジェクトに関連したピクセルのブロックの補間に対して双方向予測モードを選んでもよく、基準フレームの移動オブジェクト間の非ゼロ残余の差は閾値より小さい。補間制御モジュール34は、動きベクトルが互いの方向を指しておりかつ移動オブジェクトのオーバーラップする部分が予め定められた閾値を超える場合には、基準フレームにおけるで移動オブジェクトに関連した動きベクトルが整列することを決定してもよい。先行及び後続の基準フレームにおける対応する移動オブジェクトと関連した動きベクトルが整列されていない場合、あるいは、基準フレームの移動オブジェクト間の非ゼロ残余の差が閾値より大きい場合には、補間制御モジュール34は、補間されるべきフレームの移動オブジェクトの大部分を含む基準フレームの１つを使用する、移動オブジェクトに対する予測モードを選択する。間制御モジュール34は、補間されるべきフレームにおける１つ又は複数の移動オブジェクトに関連した情報の分析に基づいて、同様のフレーム・レベルおよび移動オブジェクト・レベル予測モード決定を行ってもよい。
補間モジュール32は、動的に調整されたフレーム補間動作に従ってビデオフレームを補間する(78)。例えば、補間モジュール32は、動き補償補間を無効にし、そして、代わりにフレーム平均化又はフレーム・リピート動作を用いてビデオフレームを補間する。他の例として、補間モジュール32は、補間制御モジュール34によって選択された予測モードを使用して、フレームを補間してもよい。
図6は、フレームにおける移動オブジェクトを検出するために、フレームのピクセルのブロックに関連したブロック情報を分析する移動オブジェクト検出モジュール40の例示的な動作を例証する流れ図である。上述のように、ここに記述された移動オブジェクト検出技術は、１つ又は複数の基準フレームにおける又は補間されるべきフレームにおける移動オブジェクトを検出するために使用されてもよい。最初に、移動オブジェクト検出モジュール40は、フレームにおけるピクセルのブロックのそれぞれに関連したステータスを「手つかずの」（"untouched"）として初期化する(80)。「手つかず」のステータスは、移動オブジェクト検出モジュール40がピクセルのブロックを移動オブジェクトに関連させていないことを意味する。移動オブジェクト検出モジュール40は、オブジェクト番号を１に等しく設定する(82)。このオブジェクト番号は、移動オブジェクト検出モジュール40が現在検出している移動オブジェクトに対応する。
移動オブジェクト検出モジュール40は、フレームにおけるピクセルのブロックを選択する(84)。ピクセルの選択されたブロックは、移動オブジェクト分析の出発点である。移動オブジェクト検出モジュール40は、ブロックに関連したステータスが「手つかず」であるかどうかを決定するために、ピクセルの選択されたブロックに関連したステースをチェックする(86)。ピクセルの選択されたブロックに関連したステータスが「手つかず」でない場合には、移動オブジェクト検出モジュール40は、分析するべきピクセルの次のブロックを選択する。ピクセルの選択されたブロックと関連したステータスが「手つかず」である場合には、移動するオブジェクト検出モジュール40は、ピクセルの選択されたブロックと関連した動きベクトルがゼロに等しいかどうかを決定する(88)。ピクセルの選択されたブロックに関連した動きベクトルがゼロに等しい場合には、ピクセルのブロックはどの移動オブジェクトとも関連していない。したがって、移動オブジェクト検出モジュール40は、分析べきピクセルの次のブロックを選択する。さらに、移動オブジェクト検出モジュール40は、ゼロのような、どんな移動オブジェクトにも対応しない番号にブロックのステータスをセットしてもよい。ブロックのステータスをゼロにセットすることによって、移動オブジェクト検出モジュール40は再びブロックを分析する必要はない。
ピクセルの選択されたブロックと関連した動きベクトルがゼロに等しくない場合には、移動オブジェクト検出モジュール40は、ピクセルの選択されたブロックに関連したステータスを現在のオブジェクト番号と等しくセットする(90)。この場合、ピクセルの選択されたブロックに関連したステータスは1に等しくセットされるであろう。オブジェクト検出モジュール40が１つ又は複数の移動オブジェクトを既に検出していた場合には、ステータスは、現在検出されている移動オブジェクト番号にセットされるだろう。
移動オブジェクト検出モジュール40は、ここでピクセルの近隣のブロックと呼ばれている、ピクセルの選択されたブロックを取り囲むピクセルのブロックに関連した動き情報を分析し始める。移動オブジェクト検出モジュール40は、例えば、選択されたブロックを取り囲む３ブロック×３フレーム区域に関連した動き情報を分析してもよい。これらの技術は3ブロック×3ブロック・ウィンドウに関連して記述されるが、これらの技術は、異なるサイズの近隣ブロック・ウィンドウを分析するために利用されてもよい。
特に、移動オブジェクト検出モジュール40は、ピクセルの近隣ブロックの最初の1つを選択する(92)。移動オブジェクト検出モジュール40は、ブロックに関連したステータスが「手つかず」であるかどうかを決定するために、ピクセルの近隣ブロックに関連したステータスをチェックする(94)。ピクセルの選択されたブロックに関連したステータスが「手つかず」でない場合には、オブ移動ジェクト検出モジュール40は、まだ分析されていないピクセルの他の近隣ブロックがブロック×３ブロック・ウィンドウにあるかどうかどうかを決定する(96)。ウィンドウ内により多くの近隣ピクセルがある場合に、移動オブジェクト検出モジュールは、ピクセルの他の1つを選択する(92)。
ピクセルの選択されたブロックに関連したステータスが「手つかず」である場合には、移動オブジェクト検出モジュール40は、動きベクトルが本質的に同様のかどうか決定するために、ピクセルの選択されたブロックに関連した動きベクトルをピクセルの近隣ブロックに関連した動きベクトルと比較する(98)。移動オブジェクト検出モジュール40は、大きさ、方向あるいは大きさと方向の両方について、選択されたブロックとピクセルの近隣ブロックの動きベクトルを比較してもよい。移動オブジェクト検出モジュール40は、例えば、大きさと方向の差を計算し、そして、その計算された差を閾値と比較してもよい。選択されたブロック及び近隣のブロックに関連した動きベクトルが実質的に相似でない場合には、移動オブジェクト検出モジュール40は、まだ分析されていないピクセルの他の近隣ブロックが３ブロック×３ブロック・ウインドウにあるかどうかを決定する(96)。ウィンドウ内に、より多い近隣ピクセルがある場合には、移動オブジェクト検出モジュールはピクセルの他の１つを選択する(92)。
選択されたブロックおよび近隣ブロックの動きベクトルが本質的に同様である場合には、移動オブジェクト検出モジュール40は、ピクセルの選択された近隣のブロックに関連したステータスを現在のオブジェクト番号にセットする(100)。このようにして、移動オブジェクト検出モジュール40は、ブロックとそれの近隣ブロックが両方とも同じ移動オブジェクトに属すると識別する。移動オブジェクト検出モジュール40はまた、同じオブジェクト番号を有するピクセルのブロックに関連した動きベクトルを平均してもよい(102)。移動オブジェクト検出モジュール40は、3ブロック×3ブロック・ウィンドウにおける近隣のブロックがすべて分析されるまで、同様の方法で近隣のブロックを分析し続ける。
移動オブジェクト検出モジュール40が3ブロック×3ブロック・ウインドウにおける近隣のブロックをすべて分析すると、移動オブジェクト検出モジュール40は、現在のオブジェクトに属する近隣ブロックがあるかどうかを識別する(104)。移動オブジェクト検出モジュール40は、例えば、現在のオブジェクト番号と等しいステータスを有する近隣のブロックを識別してもよい。現在のオブジェクトに属する何らかの近隣のブロックがある場合には、移動オブジェクト検出モジュール40は、識別されたブロックのうちの1つを選択し、そして、ピクセルの選択されたブロックに近隣するピクセルのブロックを上述したのと同じ方法で分析する。移動オブジェクト検出モジュール40は、現在のオブジェクトに関連したピクセルのすべてのブロック分析されるまで、現在のオブジェクトに属するピクセルのブロックのそれぞれを分析し続ける。このようにして、移動オブジェクト検出モジュール40は、ビデオフレーム内の移動オブジェクトを生成しかつ検出するために、実質的に相似の動きベクトルを有するピクセルの隣接ブロックをグループ化する。
移動オブジェクト検出モジュール40が現在のオブジェクトに属するピクセルのすべてのブロックを分析すると、移動オブジェクト検出モジュール４０は、オブジェクト番号を増大させ、そして、フレームのピクセルの残りのブロックを上述したのと同じ方法で分析し始める(82)。言いかえれば、移動オブジェクト検出モジュール40は、ピクセルの最初に選択されたブロックに実質的に類似していない動きベクトルを有するピクセルのブロックを分析し始める。
このようにして、移動オブジェクト検出モジュール40は、フレーム内の１つ又は複数の移動オブジェクトを検出するために、フレームにおけるピクセルの複数のブロックに関連した動きベクトルを分析してもよい。この分析に基づいて、移動オブジェクト検出モジュール40を移動は、フレーム内における移動オブジェクトの数、フレームにおける移動オブジェクトのサイズ（すなわち、移動オブジェクトに関連したピクセルのブロックの数）、及び移動オブジェクトのそれぞれに関連した動き情報を識別してもよい。移動オブジェクト検出モジュール40は、フレーム補間動作への調節を行うために、分析すべき補間制御モジュール34にこの情報を提供してもよい。
移動オブジェクト検出技術は、フレーム補間調節を行うために分析するために移動オブジェクトを検出することに関連して説明されるが、のために、移動オブジェクト検出技術は、他の符号化及び復号化目的のためにも使用されてよい。
図7は、補間を制御するための例示的なモジュール110を例証するブロック図である。補間を制御するためのモジュール110は、分析するためのモジュール112および調節するためのモジュール114を含んでいる。図8に例証されたモジュールは、フレーム補間動作を動的に調節するために一緒に動作する。より具体的には、分析するためのモジュール112は、少なくとも1つのビデオフレームに関連した情報を分析し、そして、その分析に基づいてフレーム補間を動的に調節する。分析するためのモジュール112は、例えば、１つ又は複数のビデオフレームの内容、2つの又はそれより多いビデオフレーム間の動き場の規則性、１つ又は複数のビデオフレームに関連した符号化複雑性、あるいはそれらの組合せを分析してもよい。1つの例では、112を分析するためのモジュールは、ビデオフレームを補間するために使用される１つ又は複数の基準フレームに関連した情報を分析してもよい。あるいは、又はさらに、分析するためのモジュール112は、スキップされたビデオフレームのような補間されるべきフレームに関連した情報を分析してもよい。分析するためのモジュール112はまた、１つの期間にわたって受け取られる複数のフレーム、例えば、1秒の間隔にわたって受け取られたフレームに対する情報を分析してもよい。
調節するためのモジュール114は、１つ又は複数のビデオフレームに関連した情報の分析に基づいてフレーム補間動作を動的に調節する。調節するためのモジュール114は、多数の異なる方法でフレーム補間動作を調節してもよい。１つの例として、調節するためのモジュール114は、動き補償フレーム補間を有効にすべきか無効にすべきかどうかを選択してもよい。動き補償フレーム補間が無効にされる場合には、調節するためのモジュール114は、フレーム・リピート又はフレーム平均化動作のような異なるフレーム補間動作をさらに選択する。他の例として、調節するためのモジュール114は、その分析に基づいてフレーム補間のために使用されるべきビデオフレーム予測モードを選択してもよい。他の例では、調節するためのモジュール114は、その分析に基づいてフレーム補間のために異なる閾値を割り当ててもよい。
この開示によれば、ビデオフレームに関連した情報を分析するための手段は、補間復号器モジュール24(図1)、補間制御モジュール34(図2)、補間を制御するためのモジュール110(図8)あるいは分析するためのモジュール112(図7)を備えてもよい。同様に、情報の分析に基づいてフレーム補間動作を動的に調節するための手段は、補間復号器モジュール24(図1)、補間制御モジュール34(図2)、補間を制御するためのモジュール110(図8)あるいは調節するためのモジュール114(図7)を備えてもよい。上記の例は例証の目的で提供されるが、開示はそれぞれの手段に対応する構成の他の実例を含んでいてもよい。
ここに記述された技術は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらの任意の組合せの中で実装されてもよい。ハードウェアで実装される場合には、技術はデジタル・ハードウェア、アナログ・ハードウェアあるいはそれらの組合せを使用して実現されてもよい。ソフトウェアで実装される場合には、技術は、コンピュータ読取り可能媒体上の１つ又は複数の格納され又は送信された命令又は符号によって少なくとも部分的に実現されてもよい。コンピュータ読取り可能媒体は、コンピュータ記憶媒体、通信媒体あるいは両方を含んでもよく、また、ある場所から別の場所へコンピュータ・プログラムの転送を促進する任意の媒体を含んでもよい。記憶媒体は、コンピュータによってアクセスすることができる任意の利用可能な媒体であってもよい。
例示であって限定ではないが、そのようなコンピュータ読取り可能媒体は、非同期ダイナミック・ランダム・アクセス・メモリ(SDRAM)、読み出し専用メモリ(ROM)、不揮発性のランダム・アクセス・メモリ(NVRAM)、ROM、電気的に消去可能・プログラム可能読み出し専用メモリ (EEPROM)、EEPROM、FLASHメモリ（登録商標）、CD-ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置あるいは他の磁気記憶装置のようなRAM、あるいは希望のプログラム・コードを命令又はデータ構成の形式で搬送又は格納するために使用することができかつコンピュータによってアクセスできる他の任意の媒体を含むことができる。
また、任意の接続がコンピュータ読取り可能媒体と適切に称せられる。例えば、同軸ケーブル、光ファイバケーブル、撚り対線、デジタル加入者線(DSL)あるいは赤外線、ラジオおよびマイクロ波のような無線技術を使用して、ソフトウェアがウェブサイト、サーバあるいは他の遠隔ソースから送信される場合には、その同軸ケーブル、光ファイバケーブル、撚り対線、DSLあるいは赤外線、ラジオおよびマイクロ波のような無線技術は、媒体の定義に含まれる。ここで使用されるディスクは、ディスクがデータを光学的に、例えば、レーザで再生する間にディスクが通常磁気的にデータを再生するコンパクト・ディスク(CD)、レーザーディスク（登録商標）、光ディスク、ディジタル・バーサタイル・ディスク(DVD)、フロッピー（登録商標）ディスクおよびブルーレイ・ディスク（登録商標）を含む。上記のものの組合せもコンピュータ読取り可能媒体の範囲内で含まれるべきである。
ここに開示されたコンピュータ・プログラム製品は、コンピュータ読取り可能媒体、ならびにコンピュータ読取り可能媒体がパッケージ化される包装材料を含むコンピュータが読めるメディアに関連した任意の材料含む。コンピュータ・プログラム製品のコンピュータ読取り可能媒体に関連したコードは、コンピュータによって、例えば、１つ又は複数のデジタル信号プロセサ(DSPs)のような1つ又は複数のプロセッサ、汎用マイクロプロセッサー、特定用途向け集積回路(ASICs)、フィールド・プログラマブル・ロジック・アレイ(FPGAs)あるいは他の同等の集積またはデイスクリート論理回路によって実行されてもよい。いくつかの態様では、ここに記述された機能性は、符号化と復号のために構成された、または組合せビデオ符号器復号器(CODEC)に組み入れられた専用ソフトウェア・モジュールかハードウェア・モジュール内に提供されてもよい。
種々の態様が記述された。これらおよび他の態様は下記の請求項の範囲内である。
本出願は、2006年7月25日に申請された米国仮出願第60/833,437号(ドケットNo.060955P1)の利益を請求するものであり、その全内容は参照によってここに取り込まれる。
下記に出願時請求項１−４７に対応する記載を付記１−４７として表記する。
付記１
デジタルビデオ・データを処理する方法であって、
少なくとも1つのビデオフレームに関連した情報を分析すること、および、
前記情報の分析に基づいてフレーム補間動作を動的に調節すること、
を備える方法。
付記２
ビデオフレームの内容、ビデオフレームと１つ又は複数の他のビデオフレームの間の動き場の規則性、及びビデオフレームに関連した符号化複雑性の少なくとも１つを分析することを備える、付記１の方法。
付記３
複数のビデオフレームのための情報を含んでいるフレーム情報テーブル(FIT)を生成することを備え、
前記分析は、前記複数のビデオフレームに関連したFITテーブルを分析することを備える、付記１の方法。
付記４
前記動的調節は、動き補償ビデオフレーム補間を有効にすべきか又は無効にすべきかを選択することを備える、付記１の方法。
付記５
前記動的調節は、ビデオフレーム予測モードを選択することを備える、付記１の方法。
付記６
前記選択は、前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを選択することを備える、付記５の方法。
付記７
前記動的調節は、フレーム補間のために閾値を割り当てることを備える、付記１の方法。
付記８
ビデオフレーム内の１つ又は複数の移動オブジェクトを検出するために実質的に相似の動き情報を有するピクセルのブロックのグループ化すること、および、
前記検出された移動オブジェクトに対する動き情報を生成するために、前記グループ化の前記ピクセルのブロックのそれぞれに関連した動き情報を併合すること、
をさらに備え、前記分析は、検出された移動オブジェクトに関連した情報を分析することを備える、付記１の方法。
付記９
ビデオフレーム内のピクセルの第１のブロックを選択すること;
ピクセルの前記第１のブロックに関連した動きベクトルの大きさ及び方向のうちの少なくとも１つを前記ビデオフレーム内のピクセルの複数の近隣ブロックに関連した動きベクトルの大きさ及び方向のうちの少なくとも１つと比較すること、
前記比較が閾値より小さい場合には、前記動きベクトルを実質的に相似であるとして分類すること、及び、
前記移動オブジェクトに対する動き情報を生成するために実質的に相似の情報を有するピクセルの近隣のブロックのものでピクセルの前記第１のブロックをグループ化すること、
をさらに備える、付記８の方法。
付記１０
ビデオフレーム内のピクセルの第２のブロックを選択すること、この場合、ピクセルの第2のブロックは、ピクセルの前記第１のブロックと実質的に相似の動き情報を有するピクセルの前記近隣ブロックのうちの１つである、
ピクセルの前記第２のブロックに関連した動きベクトルをピクセルの前記第２のブロックに近隣するピクセルの複数のブロックに関連した動きベクトルをピクセルの複数のブロックに関連した動きベクトルと比較すること、及び、
ピクセルの前記第２のブロックに近隣するピクセルのうち実質的に相似の動き情報を有するものでピクセルの前記第2のブロックをグループ化すること、
をさらに備える、付記９の方法。
付記１１
前記動的調節は、
検出された移動オブジェクトに関連した情報の分析に基づいて基準フレームを選択すること、及び、
選択された基準フレームに基づいてフレーム予測モードを選択すること、
を備える、付記８の方法。
付記１２
前記基準フレーム選択は、最少数の移動オブジェクト及び最小サイズの移動オブジェクトのうちの１つを有する基準フレームを選択することを備える、付記１１の方法。
付記１３
前記動的調節は、ビデオフレーム全体のためのフレーム補間動作を調節することおよびビデオフレームの一部のためのフレーム補間動作の調節することのうちの１つを備える、付記１の方法。
付記１４
前記分析は、スキップされたビデオフレームを補間するために用いられる１つ又は複数の基準フレームに関連した情報を分析することを備える、付記１の方法。
付記１５
前記分析は、スキップされたビデオフレームに関連した情報を分析することを備える、付記１の方法。
付記１６
デジタルビデオ・データを処理するための装置であって、
少なくとも1つのビデオフレームに関連した情報を分析する分析モジュールと、
前記情報の分析に基づいてフレーム補間動作を動的に調節する調節モジュールと、
を備える装置。
付記１７
前記分析モジュールは、ビデオフレームの内容、ビデオフレームと１つ又は複数の他のビデオフレームの間の動き場の規則性、および前記ビデオフレームに関連した符号化複雑性のうちの少なくとも1つを分析する、付記１６の装置。
付記１８
複数のビデオフレームのための情報を含むFITテーブルを生成するフレーム情報テーブル(FIT)モジュールをさらに備え、
前記分析モジュールは、前記複数のビデオフレームに関連したFITテーブルを分析する、付記１６の装置。
付記１９
前記調節モジュールは、動き補償ビデオフレーム補間を有効にすべきか又は無効にすべきかを選択する、付記１６の装置。
付記２０
前記調節モジュールは、ビデオフレーム予測モードを選択する、付記１６の装置。
付記２１
前記ビデオフレーム予測モードは、前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを備える、付記２０の装置。
付記２２
前記調節モジュールは、フレーム補間のために閾値を割り当てる、付記１６の装置。
付記２３
ビデオフレーム内の１つ又は複数の移動オブジェクトを検出するために実質的に相似の動き情報を有するピクセルのブロックをグループ化し、そして、検出された移動オブジェクトに関連した動き情報を生成するために前記グループ化のピクセルのブロックに関連した動き情報を併合する移動オブジェクト検出モジュールをさらに備え、前記分析モジュールは、前記検出された移動オブジェクトに関連した情報を分析する、付記１６の装置。
付記２４
前記移動オブジェクト検出モジュールは、ビデオフレーム内のピクセルの第１のブロックを選択し、ピクセルの前記第１のブロックに関連した動きベクトルの大きさおよび方向の少なくとも1つをビデオフレーム内のピクセルの複数の近隣のブロックに関連した動きベクトルの大きさおよび方向のうちの1つと比較し、該比較が閾値より小さい場合には前記動きベクトルを実質的に相似だあるとして分類し、そして、移動オブジェクトを生成するために、ピクセルの近隣のブロックのうち実質的に相似の情報を有するのものでピクセルの前記第１のブロックをグループ化する、付記２３の装置。
付記２５
前記移動オブジェクト検出モジュールは、ビデオフレーム内のピクセルの第２のブロックを選択し、この場合、ピクセルの前記第2のブロックはピクセルの前記第１のブロックと実質的に相似の動き情報を有するピクセルの近隣ブロックの１つであり、前記移動オブジェクト検出モジュールは、ピクセルの前記第2のブロックに関連した動きベクトルをピクセルの前記第２のブロックに関連した動きベクトルをピクセルの前記第２のブロックに近隣するピクセルの複数のブロックに関連した動きベクトルと比較し、そして、ピクセルの前記第2のブロックに近隣するピクセルのブロックのうち実質的に相似の動きベクトルを有するものでピクセルの前記第２のブロックをグループ化する、付記２４の装置。
付記２６
前記調節モジュールは、検出された移動オブジェクトに関連した情報の分析に基づいて基準フレームを選択し、そして、選択された基準フレームに基づいてフレーム予測モードを選択する、付記２３の装置。
付記２７
前記調節モジュールは、最少数の移動オブジェクトの及び最小サイズの移動オブジェクトのうちの１つを有する基準フレームを選択する、付記２６の装置。
付記２８
前記調節モジュールは、ビデオフレームの一部に対してフレーム補間動作を調節する、付記１６の装置。
付記２９
前記分析モジュールは、スキップされたビデオフレームを補間するために用いられる１つ又は複数の基準フレームに関連した情報を分析する、付記１６の装置。
付記３０
前記分析モジュールは、スキップされたビデオフレームに関連した情報を分析する、付記１６の装置。
付記３１
デジタルビデオ・データを処理するための装置であって、
ビデオフレームに関連した情報を分析するための手段と、
前記情報の分析に基づいてフレーム補間動作を動的に調節するための手段と、
を備える装置。
付記３２
前記自動分析手段は、ビデオフレームの内容、ビデオフレームと１つ又は複数の他のビデオフレームの間の動き場の規則性、およびビデオフレームに関連した符号化複雑性の少なくとも1つを分析する、付記３１の装置。
付記３３
複数のビデオフレームのための情報を含んでいるフレーム情報テーブル(FIT)を生成するための手段をさらに備え、
前記分析手段は、前記複数のビデオフレームに関連したFITテーブルを分析する、付記３１の装置。
付記３４
前記調節手段は、動き補償ビデオフレーム補間を有効にすべきか又は無効にすべきかを選択する、付記３１の装置。
付記３５
前記調節手段はフレーム予測モードを選択する、付記３１の装置。
付記３６
フレーム予測モードは、前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを備える、付記３５の装置。
付記３７
前記調節手段は、フレーム補間に対する閾値を割当てる、付記３１の装置。
付記３８
ビデオフレーム内の１つ又は複数の移動オブジェクトを検出するために実質的に相似の動き情報を有するピクセルのブロックをグループ化するための手段と、
検出された移動オブジェクトのための動き情報を生成するために、前記グループ化のピクセルのブロックのそれぞれに関連した動き情報を併合するための手段と、をさらに備え、前記分析手段は、前記検出された移動オブジェクトに関連した情報を分析する、付記３１の装置。
付記３９
ビデオフレーム内のピクセルの第１のブロックを選択するための手段と、
ピクセルの前記第１のブロックに関連した動きベクトルの大きさ及び方向のうちの１つをビデオフレーム内におけるピクセルの複数の近隣ブロックに関連した動きベクトルの大きさ及び方向のうちの１つと比較するため及び該比較が閾値より小さい場合には、前記動きベクトルを実質的に相似であるとして分類するための手段と、
移動オブジェクトのための動き情報を生成するために、ピクセルの近隣のブロックのうちの実質的に相似の動き情報を有するものでピクセルの前記第１のブロックをグループ化するための手段と、
をさらに備える、付記３８の装置。
付記４０
前記選択手段は、ビデオフレーム内におけるピクセルの第２のブロックを選択し、ピクセルの前記第2のブロックは、ピクセルの近隣のブロックのうちの、ピクセルの前記第１のブロックと実質的に相似の動き情報を有する１つであり、
前記比較手段は、ピクセルの前記第2のブロックに関連した動き情報をピクセルの前記第２のブロックに近隣するピクセルの複数のブロックに関連した動き情報と比較し、
前記グループ化手段は、ピクセルの前記第2のブロックに近隣するピクセルのブロックのうちの、実質的に相似の動き情報を有するものでピクセルの前記第のブロックをグループ化する、付記３９の装置。
付記４１
前記調節手段は、選択する式中、前記検出された移動オブジェクトに関連した情報の分析に基づいて基準フレームを選択し、また前記選択された基準フレームに基づいてフレーム予測モードを選択する、付記３８の装置。
付記４２
前記選択手段は、最少数の移動オブジェクト及び最小サイズの移動オブジェクトのうちの１つを有する基準フレームを選択する、付記４１の装置。
付記４３
前記調節手段は、ビデオフレーム全体に対するフレーム補間動作及びビデオフレームの一部分に対するフレーム補間動作のうちの１つを調節する、付記３１の装置。
付記４４
前記分析手段は、スキップされたビデオフレームを補間するために用いられる１つ又は複数の基準フレームと関連した情報を分析する、付記３１の装置。
付記４５
前記分析手段は、スキップされたビデオフレームに関連した情報を分析する、付記31の装置。
付記４６
デジタルビデオ・データを処理するためのプロセッサであって、
少なくとも1つのビデオフレームに関連した情報を分析する、
また、前記情報の分析に基づいてフレーム補間動作を動的に調節する、
ように適合されたプロセッサ。
付記４７
デジタルビデオ・データを処理するためのコンピュータ・プログラム製品であって、
少なくとも1台のコンピュータに、
少なくとも１つのビデオフレームに関連した情報を分析させるための、及び、
前記情報の分析に基づいてフレーム補間動作を動的に調節させるための
コンピュータ読取り可能媒体を備える、コンピュータ・プログラム製品。

Claims (47)

  1. デジタルビデオ・データを処理する方法であって、
    少なくとも1つのビデオフレームに関連した情報を分析すること、ここにおいて、前記分析は、前記ビデオ・フレームに関連した符号化複雑性を分析することを備え、符号化複雑性を分析することは、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することを備え、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することは、前記ビデオ・フレームに関連した非ゼロ符号化係数の数を決定することを備える、および、
    前記情報の分析に基づいてフレーム補間動作を動的に調節すること、
    を備える方法。
  2. 前記分析は、前記ビデオフレームの内容および前記ビデオフレームと１つ又は複数の他のビデオフレームの間の動き場の規則性の少なくとも１つを分析することを備える、請求項１の方法。
  3. 複数のビデオフレームのための情報を含んでいるフレーム情報テーブル(FIT)を生成することを備え、
    前記分析は、前記複数のビデオフレームに関連したFITテーブルを分析することを備える、請求項１の方法。
  4. 前記動的調節は、動き補償ビデオフレーム補間を有効にすべきか又は無効にすべきかを選択することを備える、請求項１の方法。
  5. 前記動的調節は、ビデオフレーム予測モードを選択することを備える、請求項１の方法。
  6. 前記選択は、前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを選択することを備える、請求項５の方法。
  7. 前記動的調節は、フレーム補間のために閾値を割り当てることを備える、請求項１の方法。
  8. ビデオフレーム内の１つ又は複数の移動オブジェクトを検出するために実質的に相似の動き情報を有するピクセルのブロックのグループ化すること、および、
    前記検出された移動オブジェクトに対する動き情報を生成するために、前記グループ化の前記ピクセルのブロックのそれぞれに関連した動き情報を併合すること、
    をさらに備え、前記分析は、検出された移動オブジェクトに関連した情報を分析することを備える、請求項１の方法。
  9. ビデオフレーム内のピクセルの第１のブロックを選択すること;
    ピクセルの前記第１のブロックに関連した動きベクトルの大きさ及び方向のうちの少なくとも１つを前記ビデオフレーム内のピクセルの複数の近隣ブロックに関連した動きベクトルの大きさ及び方向のうちの少なくとも１つと比較すること、
    前記比較が閾値より小さい場合には、前記動きベクトルを実質的に相似であるとして分類すること、及び、
    前記移動オブジェクトに対する動き情報を生成するために実質的に相似の情報を有するピクセルの近隣のブロックのものでピクセルの前記第１のブロックをグループ化すること、
    をさらに備える、請求項８の方法。
  10. ビデオフレーム内のピクセルの第２のブロックを選択すること、この場合、ピクセルの第2のブロックは、ピクセルの前記第１のブロックと実質的に相似の動き情報を有するピクセルの前記近隣ブロックのうちの１つである、
    ピクセルの前記第２のブロックに関連した動きベクトルをピクセルの前記第２のブロックに近隣するピクセルの複数のブロックに関連した動きベクトルをピクセルの複数のブロックに関連した動きベクトルと比較すること、及び、
    ピクセルの前記第２のブロックに近隣するピクセルのうち実質的に相似の動き情報を有するものでピクセルの前記第2のブロックをグループ化すること、
    をさらに備える、請求項９の方法。
  11. 前記動的調節は、
    検出された移動オブジェクトに関連した情報の分析に基づいて基準フレームを選択すること、及び、
    選択された基準フレームに基づいてフレーム予測モードを選択すること、
    を備える、請求項８の方法。
  12. 前記基準フレーム選択は、最少数の移動オブジェクト及び最小サイズの移動オブジェクトのうちの１つを有する基準フレームを選択することを備える、請求項１１の方法。
  13. 前記動的調節は、ビデオフレーム全体のためのフレーム補間動作を調節することおよびビデオフレームの一部のためのフレーム補間動作の調節することのうちの１つを備える、請求項１の方法。
  14. 前記分析は、スキップされたビデオフレームを補間するために用いられる１つ又は複数の基準フレームに関連した情報を分析することを備える、請求項１の方法。
  15. 前記分析は、スキップされたビデオフレームに関連した情報を分析することを備える、請求項１の方法。
  16. デジタルビデオ・データを処理するための装置であって、
    少なくとも1つのビデオフレームに関連した情報を分析する分析モジュールと、ここにおいて、前記分析は、前記ビデオ・フレームに関連した符号化複雑性を分析することを備え、符号化複雑性を分析することは、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することを備え、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することは、前記ビデオ・フレームに関連した非ゼロ符号化係数の数を決定することを備える、
    前記情報の分析に基づいてフレーム補間動作を動的に調節する調節モジュールと、
    を備える装置。
  17. 前記分析モジュールは、ビデオフレームの内容およびビデオフレームと１つ又は複数の他のビデオフレームの間の動き場の規則性のうちの少なくとも1つを分析する、請求項１６の装置。
  18. 複数のビデオフレームのための情報を含むFITテーブルを生成するフレーム情報テーブル(FIT)モジュールをさらに備え、
    前記分析モジュールは、前記複数のビデオフレームに関連したFITテーブルを分析する、請求項１６の装置。
  19. 前記調節モジュールは、動き補償ビデオフレーム補間を有効にすべきか又は無効にすべきかを選択する、請求項１６の装置。
  20. 前記調節モジュールは、ビデオフレーム予測モードを選択する、請求項１６の装置。
  21. 前記ビデオフレーム予測モードは、前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを備える、請求項２０の装置。
  22. 前記調節モジュールは、フレーム補間のために閾値を割り当てる、請求項１６の装置。
  23. ビデオフレーム内の１つ又は複数の移動オブジェクトを検出するために実質的に相似の動き情報を有するピクセルのブロックをグループ化し、そして、検出された移動オブジェクトに関連した動き情報を生成するために前記グループ化のピクセルのブロックに関連した動き情報を併合する移動オブジェクト検出モジュールをさらに備え、前記分析モジュールは、前記検出された移動オブジェクトに関連した情報を分析する、請求項１６の装置。
  24. 前記移動オブジェクト検出モジュールは、ビデオフレーム内のピクセルの第１のブロックを選択し、ピクセルの前記第１のブロックに関連した動きベクトルの大きさおよび方向の少なくとも1つをビデオフレーム内のピクセルの複数の近隣のブロックに関連した動きベクトルの大きさおよび方向のうちの1つと比較し、該比較が閾値より小さい場合には前記動きベクトルを実質的に相似だあるとして分類し、そして、移動オブジェクトを生成するために、ピクセルの近隣のブロックのうち実質的に相似の情報を有するものでピクセルの前記第１のブロックをグループ化する、請求項２３の装置。
  25. 前記移動オブジェクト検出モジュールは、ビデオフレーム内のピクセルの第２のブロックを選択し、この場合、ピクセルの前記第2のブロックはピクセルの前記第１のブロックと実質的に相似の動き情報を有するピクセルの近隣ブロックの１つであり、前記移動オブジェクト検出モジュールは、ピクセルの前記第2のブロックに関連した動きベクトルをピクセルの前記第２のブロックに関連した動きベクトルをピクセルの前記第２のブロックに近隣するピクセルの複数のブロックに関連した動きベクトルと比較し、そして、ピクセルの前記第2のブロックに近隣するピクセルのブロックのうち実質的に相似の動きベクトルを有するものでピクセルの前記第２のブロックをグループ化する、請求項２４の装置。
  26. 前記調節モジュールは、検出された移動オブジェクトに関連した情報の分析に基づいて基準フレームを選択し、そして、選択された基準フレームに基づいてフレーム予測モードを選択する、請求項２３の装置。
  27. 前記調節モジュールは、最少数の移動オブジェクトの及び最小サイズの移動オブジェクトのうちの１つを有する基準フレームを選択する、請求項２６の装置。
  28. 前記調節モジュールは、ビデオフレームの一部に対してフレーム補間動作を調節する、請求項１６の装置。
  29. 前記分析モジュールは、スキップされたビデオフレームを補間するために用いられる１つ又は複数の基準フレームに関連した情報を分析する、請求項１６の装置。
  30. 前記分析モジュールは、スキップされたビデオフレームに関連した情報を分析する、請求項１６の装置。
  31. デジタルビデオ・データを処理するための装置であって、
    ビデオフレームに関連した情報を分析するための手段と、ここにおいて、前記分析は、前記ビデオ・フレームに関連した符号化複雑性を分析することを備え、符号化複雑性を分析することは、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することを備え、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することは、前記ビデオ・フレームに関連した非ゼロ符号化係数の数を決定することを備える、
    前記情報の分析に基づいてフレーム補間動作を動的に調節するための手段と、
    を備える装置。
  32. 前記分析手段は、ビデオフレームの内容およびビデオフレームと１つ又は複数の他のビデオフレームの間の動き場の規則性の少なくとも1つを分析する、請求項３１の装置。
  33. 複数のビデオフレームのための情報を含んでいるフレーム情報テーブル(FIT)を生成するための手段をさらに備え、
    前記分析手段は、前記複数のビデオフレームに関連したFITテーブルを分析する、請求項３１の装置。
  34. 前記調節手段は、動き補償ビデオフレーム補間を有効にすべきか又は無効にすべきかを選択する、請求項３１の装置。
  35. 前記調節手段はフレーム予測モードを選択する、請求項３１の装置。
  36. フレーム予測モードは、前方予測モード、後方予測モードおよび双方向予測モードのうちの１つを備える、請求項３５の装置。
  37. 前記調節手段は、フレーム補間に対する閾値を割当てる、請求項３１の装置。
  38. ビデオフレーム内の１つ又は複数の移動オブジェクトを検出するために実質的に相似の動き情報を有するピクセルのブロックをグループ化するための手段と、
    検出された移動オブジェクトのための動き情報を生成するために、前記グループ化のピクセルのブロックのそれぞれに関連した動き情報を併合するための手段と、をさらに備え、前記分析手段は、前記検出された移動オブジェクトに関連した情報を分析する、請求項３１の装置。
  39. ビデオフレーム内のピクセルの第１のブロックを選択するための手段と、
    ピクセルの前記第１のブロックに関連した動きベクトルの大きさ及び方向のうちの１つをビデオフレーム内におけるピクセルの複数の近隣ブロックに関連した動きベクトルの大きさ及び方向のうちの１つと比較するため及び該比較が閾値より小さい場合には、前記動きベクトルを実質的に相似であるとして分類するための手段と、
    移動オブジェクトのための動き情報を生成するために、ピクセルの近隣のブロックのうちの実質的に相似の動き情報を有するものでピクセルの前記第１のブロックをグループ化するための手段と、
    をさらに備える、請求項３８の装置。
  40. 前記選択手段は、ビデオフレーム内におけるピクセルの第２のブロックを選択し、ピクセルの前記第2のブロックは、ピクセルの近隣のブロックのうちの、ピクセルの前記第１のブロックと実質的に相似の動き情報を有する１つであり、
    前記比較手段は、ピクセルの前記第2のブロックに関連した動き情報をピクセルの前記第２のブロックに近隣するピクセルの複数のブロックに関連した動き情報と比較し、
    前記グループ化手段は、ピクセルの前記第2のブロックに近隣するピクセルのブロックのうちの、実質的に相似の動き情報を有するものでピクセルの前記第のブロックをグループ化する、請求項３９の装置。
  41. 前記調節手段は、前記検出された移動オブジェクトに関連した情報の分析に基づいて基準フレームを選択し、前記選択された基準フレームに基づいてフレーム予測モードを選択する、請求項３８の装置。
  42. 前記選択手段は、最少数の移動オブジェクト及び最小サイズの移動オブジェクトのうちの１つを有する基準フレームを選択する、請求項４１の装置。
  43. 前記調節手段は、ビデオフレーム全体に対するフレーム補間動作及びビデオフレームの一部分に対するフレーム補間動作のうちの１つを調節する、請求項３１の装置。
  44. 前記分析手段は、スキップされたビデオフレームを補間するために用いられる１つ又は複数の基準フレームと関連した情報を分析する、請求項３１の装置。
  45. 前記分析手段は、スキップされたビデオフレームに関連した情報を分析する、請求項31の装置。
  46. デジタルビデオ・データを処理するためのプロセッサであって、
    少なくとも1つのビデオフレームに関連した情報を分析する、ここにおいて、前記分析は、前記ビデオ・フレームに関連した符号化複雑性を分析することを備え、符号化複雑性を分析することは、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することを備え、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することは、前記ビデオ・フレームに関連した非ゼロ符号化係数の数を決定することを備える、
    また、前記情報の分析に基づいてフレーム補間動作を動的に調節する、
    ように適合されたプロセッサ。
  47. デジタルビデオ・データを処理するためのコンピュータ・プログラムであって、
    少なくとも1台のコンピュータに、
    少なくとも１つのビデオフレームに関連した情報を分析させるための、ここにおいて、前記分析は、前記ビデオ・フレームに関連した符号化複雑性を分析することを備え、符号化複雑性を分析することは、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することを備え、前記ビデオ・フレームに関連した１つまたは複数の符号化係数を分析することは、前記ビデオ・フレームに関連した関連した非ゼロ符号化係数の数を決定することを備える、及び、
    前記情報の分析に基づいてフレーム補間動作を動的に調節させるためのコードを備える、コンピュータ・プログラム。
JP2012242668A 2006-07-25 2012-11-02 適応性のあるビデオフレーム補間 Expired - Fee Related JP5563042B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US83343706P 2006-07-25 2006-07-25
US60/833,437 2006-07-25
US11/620,022 US20080025390A1 (en) 2006-07-25 2007-01-04 Adaptive video frame interpolation
US11/620,022 2007-01-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009521966A Division JP5372754B2 (ja) 2006-07-25 2007-07-24 適応性のあるビデオフレーム補間

Publications (2)

Publication Number Publication Date
JP2013066197A JP2013066197A (ja) 2013-04-11
JP5563042B2 true JP5563042B2 (ja) 2014-07-30

Family

ID=38982277

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009521966A Expired - Fee Related JP5372754B2 (ja) 2006-07-25 2007-07-24 適応性のあるビデオフレーム補間
JP2012242668A Expired - Fee Related JP5563042B2 (ja) 2006-07-25 2012-11-02 適応性のあるビデオフレーム補間

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009521966A Expired - Fee Related JP5372754B2 (ja) 2006-07-25 2007-07-24 適応性のあるビデオフレーム補間

Country Status (6)

Country Link
US (1) US20080025390A1 (ja)
EP (1) EP2047686A2 (ja)
JP (2) JP5372754B2 (ja)
KR (1) KR101032587B1 (ja)
CN (1) CN101496409B (ja)
WO (1) WO2008014288A2 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
JP4513819B2 (ja) * 2007-03-19 2010-07-28 株式会社日立製作所 映像変換装置、映像表示装置、映像変換方法
JP2009071809A (ja) * 2007-08-20 2009-04-02 Panasonic Corp 映像表示装置ならびに補間画像生成回路および方法
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8660175B2 (en) * 2007-12-10 2014-02-25 Qualcomm Incorporated Selective display of interpolated or extrapolated video units
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
KR100955430B1 (ko) 2008-12-18 2010-05-04 (주)휴맥스 인터폴레이션 방법 및 장치
US8804044B2 (en) 2008-03-06 2014-08-12 Entropic Communications, Inc. Temporal fallback for high frame rate picture rate conversion
US8170107B2 (en) * 2008-03-06 2012-05-01 Lsi Corporation Flexible reduced bandwidth compressed video decoder
US8208563B2 (en) * 2008-04-23 2012-06-26 Qualcomm Incorporated Boundary artifact correction within video units
US9204086B2 (en) * 2008-07-17 2015-12-01 Broadcom Corporation Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
US8254457B2 (en) * 2008-10-20 2012-08-28 Realtek Semiconductor Corp. Video signal processing method and apparatus thereof
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US8320455B2 (en) 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
US8506402B2 (en) 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US20110135011A1 (en) * 2009-12-04 2011-06-09 Apple Inc. Adaptive dithering during image processing
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
US9247286B2 (en) * 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
US8854531B2 (en) * 2009-12-31 2014-10-07 Broadcom Corporation Multiple remote controllers that each simultaneously controls a different visual presentation of a 2D/3D display
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
KR102288072B1 (ko) 2010-09-13 2021-08-10 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 부가기능의 관리
KR20130090898A (ko) 2010-09-13 2013-08-14 소니 컴퓨터 엔터테인먼트 아메리카 엘엘씨 2중 모드 프로그램 실행 및 로딩
FI3962088T3 (fi) 2010-11-04 2023-09-20 Ge Video Compression Llc Kuvankoodaus, joka tukee lohkojen yhdistämistä ja ohittavaa toimintamuotoa
US8611415B1 (en) * 2010-11-15 2013-12-17 Google Inc. System and method for coding using improved motion estimation
US9516389B1 (en) * 2010-12-13 2016-12-06 Pixelworks, Inc. On screen display detection
JP2012165181A (ja) * 2011-02-07 2012-08-30 Sony Corp 映像再生装置と映像再生方法およびプログラム
US8891626B1 (en) * 2011-04-05 2014-11-18 Google Inc. Center of motion for encoding motion fields
US9094689B2 (en) 2011-07-01 2015-07-28 Google Technology Holdings LLC Motion vector prediction design simplification
JP2013093668A (ja) * 2011-10-24 2013-05-16 Nippon Hoso Kyokai <Nhk> 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラムおよび動画像復号プログラム
US9185428B2 (en) 2011-11-04 2015-11-10 Google Technology Holdings LLC Motion vector scaling for non-uniform motion vector grid
US8908767B1 (en) 2012-02-09 2014-12-09 Google Inc. Temporal motion vector prediction
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
EP2908547B1 (en) * 2012-10-10 2019-12-04 Fujitsu Client Computing Limited Information-processing device, information-processing system, information-processing program, and moving image data transmission/reception method adapting the frame rate of moving image data based on frame similarity
US9257092B2 (en) 2013-02-12 2016-02-09 Vmware, Inc. Method and system for enhancing user experience for remoting technologies
US9313493B1 (en) 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US10104394B2 (en) 2014-01-31 2018-10-16 Here Global B.V. Detection of motion activity saliency in a video sequence
US20170118486A1 (en) * 2014-06-11 2017-04-27 Lg Electronics Inc. Method And Apparatus For Encoding And Decoding Video Signal Using Embedded Block Partitioning
US20160182853A1 (en) * 2015-03-20 2016-06-23 Mediatek Inc. Dynamic Content Adaptive Frame Rate Conversion
US10127644B2 (en) * 2015-04-10 2018-11-13 Apple Inc. Generating synthetic video frames using optical flow
US11006135B2 (en) * 2016-08-05 2021-05-11 Sony Corporation Image processing apparatus and image processing method
US11216953B2 (en) * 2019-03-26 2022-01-04 Samsung Electronics Co., Ltd. Apparatus and method for image region detection of object based on seed regions and region growing
US11418804B2 (en) * 2019-12-31 2022-08-16 Tencent America LLC Method for wrap around motion compensation with reference picture resampling
US20210304357A1 (en) * 2020-03-27 2021-09-30 Alibaba Group Holding Limited Method and system for video processing based on spatial or temporal importance
KR102247915B1 (ko) * 2020-07-24 2021-05-04 인하대학교 산학협력단 부분구간 선형 보간법을 이용한 비지도 비디오 요약을 위한 강화 학습
US11558621B2 (en) 2021-03-31 2023-01-17 Qualcomm Incorporated Selective motion-compensated frame interpolation
US11755272B2 (en) 2021-12-10 2023-09-12 Vmware, Inc. Method and system for using enhancement techniques to improve remote display while reducing hardware consumption at a remote desktop

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2530090B2 (ja) * 1992-02-28 1996-09-04 三星電子株式会社 映像信号符号化装置
US5262855A (en) * 1992-03-25 1993-11-16 Intel Corporation Method and apparatus for encoding selected images at lower resolution
JP2919211B2 (ja) * 1992-12-25 1999-07-12 日本電気株式会社 動画像のフレーム内挿方式及び符号化復号化方式
US5933451A (en) * 1994-04-22 1999-08-03 Thomson Consumer Electronics, Inc. Complexity determining apparatus
JPH09161072A (ja) * 1995-12-13 1997-06-20 Tsushin Hoso Kiko 映像信号の構造情報を抽出する映像処理装置
US6535558B1 (en) * 1997-01-24 2003-03-18 Sony Corporation Picture signal encoding method and apparatus, picture signal decoding method and apparatus and recording medium
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
JP3738939B2 (ja) * 1998-03-05 2006-01-25 Ｋｄｄｉ株式会社 動画像のカット点検出装置
KR100366643B1 (ko) * 1998-11-25 2003-02-19 삼성전자 주식회사 구획현상제거방법및장치
CN1306725A (zh) * 1999-03-26 2001-08-01 皇家菲利浦电子有限公司 视频编码方法以及对应的视频编码器
US6421090B1 (en) * 1999-08-27 2002-07-16 Trident Microsystems, Inc. Motion and edge adaptive deinterlacing
US6950561B2 (en) * 2001-01-10 2005-09-27 Koninklijke Philips Electronics N.V. Method and system for sharpness enhancement for coded video
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
AU2003238771A1 (en) * 2002-05-29 2003-12-19 Simon Butler Predictive interpolation of a video signal
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP2005236937A (ja) * 2004-01-21 2005-09-02 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
EP1592251B1 (en) * 2004-04-30 2006-10-25 Matsushita Electric Industrial Co., Ltd. Ticker processing in video sequences
EP2194720A1 (en) * 2004-07-20 2010-06-09 Qualcom Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
KR101058524B1 (ko) * 2004-07-22 2011-08-23 삼성전자주식회사 비트량 제어장치 및 제어방법
US8861601B2 (en) * 2004-08-18 2014-10-14 Qualcomm Incorporated Encoder-assisted adaptive video frame interpolation
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding

Also Published As

Publication number Publication date
EP2047686A2 (en) 2009-04-15
WO2008014288A3 (en) 2008-08-14
WO2008014288A9 (en) 2008-07-03
US20080025390A1 (en) 2008-01-31
CN101496409B (zh) 2011-06-22
CN101496409A (zh) 2009-07-29
KR20090042803A (ko) 2009-04-30
JP5372754B2 (ja) 2013-12-18
JP2013066197A (ja) 2013-04-11
WO2008014288A2 (en) 2008-01-31
JP2009545253A (ja) 2009-12-17
KR101032587B1 (ko) 2011-05-06

Similar Documents

Publication Publication Date Title
JP5563042B2 (ja) 適応性のあるビデオフレーム補間
US8437397B2 (en) Block information adjustment techniques to reduce artifacts in interpolated video frames
JP5118127B2 (ja) 適応符号器支援フレーム・レート・アップコンバージョン
TWI392374B (zh) 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
JP5306990B2 (ja) 選択的ビデオ・フレーム・レート・アップコンバージョン
US9503739B2 (en) Encoder-assisted adaptive video frame interpolation
JP5461193B2 (ja) 他のコーディングモードの情報を使用したコーディングモードの選択
JP5497169B2 (ja) ビデオコーディングにおける単方向予測および双方向予測のための異なる重み付け
CA2574297A1 (en) Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
JP2004201298A (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
US20080137741A1 (en) Video transcoding
Ye et al. Improved side information generation with iterative decoding and frame interpolation for distributed video coding
JP2007531444A (ja) ビデオデータのための動き予測及びセグメンテーション
US7236529B2 (en) Methods and systems for video transcoding in DCT domain with low complexity
JP2007124580A (ja) 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
KR20030065694A (ko) 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법
JP4301495B2 (ja) 動画像圧縮符号化装置
Midya et al. Scene transition based adaptive GOP selection for increasing coding efficiency & resiliency
Goh et al. Real-time software MPEG-2 TO H. 264 video transcoding
Li et al. Motion information exploitation in H. 264 frame skipping transcoding
Wei et al. Fast mode decision for error resilient video coding
WO2009045178A1 (en) A method of transcoding a data stream and a data transcoder
Roh et al. H. 264 transcoding of B to P slices by reusing motion vector and residual data
Samant et al. Motion Vector Search modified to reduce encoding time in H. 264/AVC
KR20110095708A (ko) 조합된 확장성 구조에서의 모드결정방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140513

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140611

R150 Certificate of patent or registration of utility model

Ref document number: 5563042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees