JP5175370B2 - スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置 - Google Patents

スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置 Download PDF

Info

Publication number
JP5175370B2
JP5175370B2 JP2011062806A JP2011062806A JP5175370B2 JP 5175370 B2 JP5175370 B2 JP 5175370B2 JP 2011062806 A JP2011062806 A JP 2011062806A JP 2011062806 A JP2011062806 A JP 2011062806A JP 5175370 B2 JP5175370 B2 JP 5175370B2
Authority
JP
Japan
Prior art keywords
frame
macroblock
fruc
cost
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011062806A
Other languages
English (en)
Other versions
JP2011182408A (ja
Inventor
ビジャヤラクシュミ・アール．・ラビーンドラン
ゴードン・ケント・ウォーカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2011182408A publication Critical patent/JP2011182408A/ja
Application granted granted Critical
Publication of JP5175370B2 publication Critical patent/JP5175370B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、一般に、ビデオ圧縮に関し、特に、スケーラブルなビデオ符号化において、フレームレートアップ変換（ＦＲＵＣ）技術を用いる方法及び装置に関する。
ビデオ及びオーディオ圧縮におけるレート適応は一般に、スケーラビリティ（ＳＮＲ、空間、一時的）技術、様々なビットレートにおいて符号化されるビットストリームモードと、エンコーダが様々なメディアストリームとしてコンテンツを可変帯域幅でサーバへ配信する複数ビットレートモードとの切り換えによって達成された。そして、サーバは、ネットワーク条件及び／又は標的視聴者に基づいて適切なストリームを配信する。
低ビットレートビデオアプリケーションで利用可能な限定された帯域幅により、いくつかのエンコーダは、要求される圧縮比を満足するために、一時的なサンプリング技術（フレームスキップとも称される）を適用する。このシナリオの下では、入力シーケンスのフレームが、符号化処理から定期的に落とされ（dropped）、送信されない。したがって、デコーダは、入力シーケンス全体ではなく、一時的な方向における部分的な情報しか得ない。その結果、動作ジャーキ（jerkiness）のような一時的なアーティファクト（artifact）が受信側にもたらされる。一時的なアーティファクトを低減するために、デコーダにおいてフレームレートアップ変換（ＦＲＵＣ）が使用され、スキップされたフレームが再生成される。様々な技術がＦＲＵＣのために提案された。一般に、動作補償補間（ＭＣＩ：motion compensated interpolation）技術は、一時的なＦＲＵＣ用途において最良の解決策を提供する。しかしながら、ビデオストリームのビットレートを最小化しながら、デコーダにおけるＦＲＵＣ技術の実施を最適化することが望ましい。
本特許出願は、本譲受人に譲渡され、本明細書に参照によって明確に組み込まれている２００４年７月１日出願の「Method and Apparatus for Using Frame Rate up Conversion (FRUC) Technique in Scalable Video Coding」と題された米国特許仮出願番号６０／５８５，１５４と、２００５年３月２２日出願の「Method and Apparatus for Using Frame Rate Up Conversion Techniques in Scalable Video Coding」と題された米国特許仮出願番号６０／６６５，８１６とに対する優先権を主張する。
スケーラブルなビデオ符号化においてＦＲＵＣ技術を用いる様々なアプローチ、特に、エンコーダ支援ＦＲＵＣ（ＥＡ−ＦＲＵＣ：encoder assisted-FRUC）とも称され、エンコーダ側においてＦＲＵＣ圧縮技術の統合を可能にすることが本明細書に記載される。
１つの実施形態では、ビデオストリームを符号化する方法は、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとへビデオストリームを分割することと、フレームレートアップ変換（ＦＲＵＣ）フレームを補間することと、補間されたＦＲＵＣフレームの支援を受けて、メインレイヤ内の複数のメインレイヤフレームを符号化することとからなる各ステップを含む。
別の実施形態では、プロセッサによって実行されると、前記プロセッサに、ビデオストリームを符号化する方法を実行させる命令を格納したコンピュータ読取可能媒体としてＥＡ−ＦＲＵＣが実現される。この方法は、複数のメインレイヤフレームを有するメインレイヤと、複数の補間レイヤフレームを有する補間レイヤとへビデオストリームを分割することと、フレームレートアップ変換（ＦＲＵＣ）フレームを補間することと、補間されたＦＲＵＣフレームの支援を受けて、メインレイヤ内の複数のメインレイヤフレームを符号化することとからなる各ステップを含む。
また別の実施形態では、ビデオストリームを受信するビデオエンコーダプロセッサとしてシステムが実現される。このビデオエンコーダプロセッサは、受信したビデオストリームから複数のＦＲＵＣフレームを生成するフレームレートアップ変換（ＦＲＵＣ）モジュールと、前記ＦＲＵＣモジュールに接続されており、複数のＦＲＵＣフレームを受け取り、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算するレート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールと、前記ＲＤ＿ｃｏｓｔ計算モジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づくＦＲＵＣフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較するように構成されたモード決定モジュールとを含む。
他の目的、特徴、及び利点は、以下の詳細記述から、当業者に明らかになるであろう。しかしながら、この詳細記述及び具体例は、本発明の実施形態を示す場合、限定ではなく例示として与えられることが理解されるべきである。本記載の範囲内の多くの変更及び変形が、本発明の精神から逸脱することなくなされ、本発明はそれら全ての変形を含む。
図１は、ベースレイヤとエンハンスメントレイヤとを備えた従来の２レイヤ符号化を例示するブロック図である。 図２は、メインレイヤがＦＲＵＣフレームの支援を受けて符号化される１つの実施形態に従って構成される符号化スキームを例示するブロック図である。 図３は、１つの実施形態に従ってＦＲＵＣフレームの支援を受けてベースレイヤを符号化する方法のフロー図である。 図４は、１つの実施形態に従って構成された符号化システムのブロック図である。 図５は、１つの実施形態に従った符号化モード選択方法のフロー図である。 図６は、エンハンスメントレイヤがＦＲＵＣフレームの支援を受けて符号化される１つの実施形態に従って構成される２レイヤ符号化スキームを例示するブロック図である。 図７は、１つの実施形態に従って、メディアデータを２レイヤに分割し、ＦＲＵＣフレームの支援を受けてエンハンスメントレイヤを符号化する方法のフロー図である。 図８は、無線システムのアクセス端末及びアクセスポイントのブロック図である。
本発明は、添付図面の参照によりより容易に理解されうる。
同一符号は、図面を通じて同一要素を参照する。
一般にＦＲＵＣ技術はデコーダ側で使用されるが、エンコーダ側に拡張することもできる。特に、動作補償されるフレームのための付加的な予測モードとしてＦＲＵＣフレームを利用することが有用である。予測フレーム間のために追加の予測モードを加えることによって、ビットレート節約を達成することができる。言いかえれば、再構築される同じ視覚品質の圧縮比を改善することができる。
規格ベースのビデオ符号化の場合、追加のＦＲＵＣモードの導入により、ビットストリームシンタクスを増大しなければならない。しかしながら、標準的なシンタクスへの遵守は、ユーザデータフィールド、又は国際電気通信連合の電気通信標準化部門（ＩＴＵ−Ｔ）によって発布されたＨ．２６４ビデオ符号化標準における補足エンハンスメント情報（ＳＥＩ：Supplemental Enhancement Information）フィールド内の予測フレームにおけるＦＲＵＣの使用をフラグすることにより維持される。この特徴は、ＦＲＵＣ機能がデコーダによって行なわれるビデオ送信システムにおいて特に有利である。更に、ビデオデコーダへの変更が可能な場合、送信帯域幅及び圧縮効率の観点からクローズドシステムが著しく利益を得そうである。
デコーダ側では、送信されたビットストリーム及び再構築されたイントラピクチャ（Ｉ）／予測ピクチャ（Ｐ）（ＶＰ）フレームを受信すると、エンコーダ側で採用された同じ技術を利用してＦＲＵＣフレームが補間される。そして、フレーム間は、同じ時間インスタンスの再構築されたＩ／ＰフレームとＦＲＵＣフレームとの両方に基づいて再構築される。同じ技術がデコーダ側とエンコーダ側の両方に使用される限り、誤り又はドリフトの問題はないだろう。
このシステムの代替用途は、スケーラブルなビデオ符号化にあるだろう。一時的なスケーラビリティが適用される場合、いくつかの予測的なフレーム、特に双方向予測／補間ピクチャフレームが、エンハンスメントレイヤで送信され、Ｉフレーム及びＰフレームが、ベースレイヤで送信される。そのようなシナリオでは、エンハンスメントレイヤが受信あるいは要求されない場合、デコーダにおいて再構築されたビデオのフレームレートは、ソースフレームレートより低い。ベースレイヤにおいてＦＲＵＣフレーム及びＢフレームの差分を送ることは、デコーダにおけるＦＲＵＣによるＢフレームの近似の再構築を可能とするかもしれない。結果は、この差分（ビット）のコストは著しく小さく、よって、ベースレイヤビデオのビットレートにインパクトを与えないことを示す。この差分は、顕著な領域（例えば、ＦＲＵＣによって再構築されないホール）に対する情報を制限するために閾値を設ける（量子化する）ことによって、あるいは周知のＦＲＵＣ方法（例えば、真の動作ベクトルデータ又は量子化された真の動作ベクトルデータ）に対する改良として、ＦＲＵＣと真のＢフレームとの純粋な差分として計算することができる。またそのような差分情報は、標準的シンタクスの「ユーザデータ」フィールド、又はＨ．２６４規格におけるＳＥＩフィールドで伝達される。
デコーダリソースの利用可能度に基づいて、異なるＦＲＵＣ技術は、計算上の複雑さの程度に基づいて選択することができる。注意すべき点は、一般にＦＲＵＣは、Ｂフレームを復号するよりも少ない計算サイクルしか使わないことである。なぜなら、ＦＲＵＣは単純な３又は５タップフィルタリングと、Ｂフレームの全てのマクロブロックにおける双方向動作補償（ＭＣ：motion compensation）（しばしば、１動作補償（ＭＣ）／マクロブロック（ＭＢ）を超える）と比べて比較的小さな探索スペースにおける小さなフレーム割合での動作予測（ＭＥ：motion estimation）とを含むからである。ＦＲＵＣは、視覚的な品質をわずかに犠牲にして、中間フレームを再構築するために適用される改善レベルに基づいて、複雑さレベルにおける精度（granularity）を提供する。
一般に、ＢフレームはＰフレームより計算上高価であり、Ｉフレームは３つのタイプのフレームの中で最も安価である。この点では、本システム及びその拡張の、スケーラブルなビデオ符号化に対して追加される利点は、ハンドヘルドデバイスにおける計算サイクル及び貴重な電力を節約する（これは、デバイスにおけるより長い待機時間及び通話時間になる）点にある。デコーダは、利用可能なサイクルに基づいて、Ｂフレームを復号するか、あるいは補間フレームをＦＲＵＣによって再構築するかを選択し、差分データからの改善を適用することができるので、省電力は、Ｂフレームが受信されたか否かに関わらず実現される。
ブロックベースのＦＲＵＣアルゴリズムは、計算上の複雑さを増加させることに基づいて分類することができる。
１．フレーム反復及びフレーム平均化のような非動作補償アルゴリズム。
２．ＭＶ処理を伴わない双線形動作補償補間（ＭＣＩ）。
３．ＭＶ処理を伴うＭＣＩ。
４．ＭＶ処理を伴うシードＭＥ支援ＭＣＩ。
上記のＦＲＵＣ支援符号化技術のうちの何れかは、レイヤリング符号化技術で統合することができる。送信チャネルのレート適応は、符号化をレイヤリングすることにより達成することができる。圧縮ビットストリームのベースレイヤは通常、より重要なデータを備え、エンハンスメントレイヤは、送信誤り率の大きいさほど重要ではないデータを含む。
１つの実施形態では、ベースレイヤビットストリームは規格準拠であり、エンハンスメントレイヤビットストリームは、送信帯域幅がある閾値より低い場合に落とされる（dropped）ことが可能とされることが好ましい。このシナリオの下では、以下が望ましい。
１．各エンハンスメントフレームと各潜在的ＦＲＵＣフレームとの間に１対１の関係があるように、到来するフレームシーケンスをベースレイヤフレーム及びエンハンスメントレイヤフレームに分割すること。
２．ベースレイヤフレームを規格準拠で符号化すること。
３．符号化されるエンハンスメントフレームと同じ時間インスタンスにおいてＦＲＵＣフレームを補間すること。
４．補間されたＦＲＵＣフレームに基づいて、エンハンスメントフレームを符号化すること。
このアプローチの利点は２つである。第１には、エンハンスメントレイヤフレームに対して１つの追加の予測モードを導入することによって、エンハンスメントレイヤのための圧縮比が増加するだろう。したがって、固定された送信帯域幅の場合、エンハンスメントレイヤビットストリームが、エンハンスメントレイヤビットストリームが落とされる（dropped）送信レートの閾値を超えることはより起こりそうもないので、エンハンスメントレイヤビットストリームを落とす（dropping）確率は低くなる。第２には、本明細書で説明したように、ベースレイヤフレームとエンハンスメントレイヤフレームとが分割される方法によって、たとえエンハンスメントレイヤビットストリームが、悪化する送信条件の下で落とされねばならないとしても、補間されたＦＲＵＣフレームとそれらを交換することによって、デコーダは未だに行方不明のエンハンスメントレイヤフレームを再生成することができる。
図１は、ベースレイヤ１０４とエンハンスメントレイヤ１０２とを含むビデオシーケンス１０６の従来式２レイヤ符号化スキームを例示する。例えばＰフレーム１１２，１１４のようなＰフレーム及びＩフレームは、ビデオシーケンス１０６の正しい再構築のための重要度によってベースレイヤ１０４に分割される。一方、Ｂフレーム１１０のように、さほど重要ではないＢフレームは、エンハンスメントレイヤ１０２内にある。この先行技術アプローチでは、エンハンスメントレイヤ１０２内のエンハンスメントフレームの再構築は、ベースレイヤ１０４内の再構築されたベースレイヤフレームにのみ依存するが、エンハンスメントレイヤ１０２内の再構築されたフレームには依存しない。具体的には、Ｂフレームは、将来のＢフレームを予測するために使用されるが、エンハンスメントレイヤ１０２内のＢフレームは、ベースレイヤ１０４内の一時的なフレームの予測のためのリファレンスとして使用されない。
図２は、符号化スキームの１つの実施形態に従って符号化されるビデオシーケンス２０６を例示しており、Ｉフレーム２１２が標準的な内部フレーム（一時的な予測をうけないフレーム）であり、Ｐフレーム２２０が標準的な予測フレームである。図から分かるように、メインレイヤ２０２内のフレームは、補間レイヤ２０４を使用することによって符号化される。
ＰＦフレーム２１６は、ＦＲＵＣ補間フレームが複数のリファレンスピクチャの１つとして使用されるＰフレームである。例えば、ＦＲＵＣ ＦＲＭ２２４は、ＰＦ ＦＲＭ２１６のためのリファレンスピクチャである。対照的に、標準的なアプローチは、Ｉ ＦＲＭ２１２を、Ｐフレームのための唯一のリファレンスピクチャとして使用する。したがって、１つの実施形態では、ＦＲＵＣ ＦＲＭは、補間フレームのメインレイヤ復号のためのリファレンスピクチャとして使用される。
ＢＦフレームは、複数のリファレンスピクチャのうちの１つとしてＦＲＵＣ補間フレームを有するＢフレームである。したがって、１つの実施形態では、ＢＦフレームのためのレファレンスピクチャは、Ｉフレーム、Ｂフレーム、Ｐフレーム、ＰＦフレーム、又はＢＦフレームのうちの１つ又は複数を含みうる。例えば、ＢＦフレーム２１４は、多数のレファレンスピクチャのうちの１つとしてＦＲＵＣ補間フレーム２２２を有するＢフレームである。また、ＢＦフレーム２１８は、多数のレファレンスピクチャのうちの１つとしてＦＲＵＣ補間フレーム２２６を有するＢフレームである。対照的に、たとえ標準的なＢ（双方向）予測フレームが、多数のレファレンスピクチャを有していても、これらレファレンスピクチャは、Ｉフレーム、Ｂフレーム、又はＰフレームのみを含む。
本明細書に引用している用語「Ｆフレーム」は、リファレンスピクチャとして使用されるＦＲＵＣ補間フレームを備えた予測フレームを称する。したがって、ＰＦフレームとＢＦフレームの両方は、ともにＦフレームである。１つの実施形態では、多数のレファレンスピクチャがＦフレームの予測に使用される。更に、ＦＲＵＣ補間フレームは、Ｆフレームの予測に使用される唯一のレファレンスピクチャでありうる。更に、本明細書に記載のアーキテクチャは、ＦＲＵＣ補間フレームからの特定のマクロブロック（任意のサイズ又は形状のブロックでありうる）のみを使用するように、ＦＲＵＣ補間フレームの一部がリファレンスとして使用されるアプローチを包含する。
図３は、図２で上述されたビットストリームのための典型的なＦＲＵＣ符号化処理のフローチャートを例示する。ステップ３０２では、到来するメディア（ビデオ）シーケンスが、Ｆフレーム及び非Ｆフレームに分割される。上述したようにＦフレームはＰＦフレーム及びＢＦフレームであり、非ＦフレームはＩフレーム、Ｂフレーム、又はＰフレームである。１つの実施形態では、各Ｆフレームと各潜在的なＦＲＵＣフレームとの間には１対１の関係がある。他の実施形態では、潜在的なＦＲＵＣフレームに対するエンハンスメントフレームの割合は、１対１の対応を持つ必要はない。一旦ビデオシーケンスが分割されたならば、動作はステップ３０４で続く。ここでは、使用される標準的な符号化スキームに基づいて非Ｆフレームが符号化される。例えば、Ｈ．２６４規格で発布されているような符号化規格が、これら非Ｆフレームのために使用されうる。そして、ステップ３０６では、符号化されるエンハンスメントフレームと同じ時間インスタンスにおいてＦＲＵＣフレームが補間される。１つの実施形態では、ＦＲＵＣフレームは、再構築された現在のフレームと、格納された前のフレームとの両方に依存しうる。他の実施形態は、上述された他のＦＲＵＣアルゴリズムを使用するかもしれない。ステップ３０８では、図４に詳述されるように、エンハンスメントレイヤ内のフレームが、補間ＦＲＵＣフレームの支援を受けて符号化される。すなわち、ＦＲＵＣフレームの利用可能度により、追加の予測モード（ＦＲＵＣモード）が、メインレイヤ内の予測フレームのために選択されうる。
図４は、１つの実施形態に従って構成されたエンコーダブロック図を例示する。まずＰフレーム検出器４０２が、新たなフレームがＦフレームかを判定する。Ｆフレームでなければ、Ｐ又はＢフレームエンコーダ４０４が、このフレームを符号化し、可変長符号化（ＶＬＣ：variable length coding）エンコーダ４０６が、符号化されたＰフレーム又はＢフレームのための最終ビットストリームを生成し、出力ビットストリーム４０４として出力する。Ｐフレーム又はＢフレームのための動作ベクトルは、動作ベクトル（ＭＶ：motion vector）バッファ４０８内に格納される。一方、再構築フレームバッファ４１０は、再構築されたＰフレーム又はＢフレームを格納する。ＦＲＵＣユニット４１２はＭＶバッファ４０８及び再構築フレームバッファ４１０に接続されており、ＦＲＵＣアルゴリズムを実行し、ＦＲＵＣフレームを生成する。ＦＲＵＣフレームはＦＲＵＣフレームバッファ４１４に格納される。上述したように、ＦＲＵＣフレームは、様々なＦ（例えばＢＦまたはＰＦ）フレームを生成するために使用される。
新たなフレームがＦフレームであるとＦフレーム検出器４０２が判定すると、Ｆフレーム符号化ユニット４２８が、この新たなＦフレームのマクロブロック符号化によってマクロブロックを実行する。この符号化されたＦフレームマクロブロックは、ブロック４３４に送られる。ブロック４３４は、Ｂフレームのために送信される必要のあるビット数を決定する。これは、動作ベクトルを送信するために必要なビットを含む。そして、ＢブロックＲＤ_ｃｏｓｔ計算機４３６においてＢフレームマクロブロックＲＤ＿ｃｏｓｔが計算される。更に、Ｂフレーム符号化に基づいて、比較器４３０が、（１）対応するＢフレームマクロブロック（ＳＡＤ＿ｂ）から減算されたＦＲＵＣフレームバッファ４１４（ＳＡＤＪ）から検索されたＦＲＵＣフレームに基づくＦフレームマクロブロックの絶対差合計値（ＳＡＤ）を（２）予め定めた閾値（ＴＨ）と比較する。この減算の結果が閾値以上である場合には、品質低下が大きすぎるので、エンコーダは、エンコーダ支援されたＦＲＵＣフレーム情報を送る必要がある。１つの実施形態では、この閾値は、使用されるブロックサイズ（例えば、１６×１６ブロックサイズ）の６倍である。本明細書では、一般には１６×１６ピクセル素子からなる標準的なブロックサイズを称する用語「マクロブロック」が使用されるが、任意のブロックサイズが使用されうることが注目されるべきである。更に、ブロックは任意の形状でもよい。
ＢフレームマクロブロックのＳＡＤと、ＦフレームマクロブロックのＳＡＤとの差が閾未満であれば、エンコーダは、Ｆモードが出力ビットストリーム４４０内に入れられていることを示すために、モジュール４３２及びビット内でＦフレームマクロブロックが使用されるべきであることを示すだろう。閾未満でなければ、ソース（オリジナル）マクロブロックと、並べられた（collocated）ＦＲＵＣフレームブロックとの誤差がモジュール４１６で計算される。その結果は、離散コサイン変換（ＤＣＴ）／量子化／ＶＣＬモジュール４１８で量子化される。ＦＲＵＣフレーム情報を送信するのに必要なＦＲＵＣフレームブロックビットの数が、Ｆブロックビットモジュール４２０で決定される。また、その計算に基づいて、ＦＲＵＣフレームマクロブロックＲＤ＿ｃｏｓｔが、ＦブロックＲＤ＿ｃｏｓｔモジュール４２２で決定される。ＲＤ＿ｃｏｓｔ計算が図５を用いて説明される。
計算されたＢフレームマクロブロックＲＤ＿ｃｏｓｔ及びＦフレームマクロブロックＲＤ＿ｃｏｓｔに基づいて、比較器モジュール４２４が、出力ビットストリーム４４０にどのビットを入れるかを決定する。１つの実施形態では、ＢフレームマクロブロックＲＤ＿ｃｏｓｔがＦフレームマクロブロックＲＤ＿ｃｏｓｔ未満ならば、生成された動作ベクトルを含むＢフレームマクロブロック用のビットは、出力ビットストリーム４４０に入れられるだろう。ＦフレームマクロブロックＲＤ＿ｃｏｓｔ未満でないならば、Ｆフレームマクロブロック用のビットが、出力ビットストリーム４４０に入れられるだろう。
図５は、エンハンスメントレイヤ内でフレームを符号化している間に、エンハンスメントレイヤＢフレームマクロブロックのモード選択処理のための１つの実施形態に従って実施されるアルゴリズムを例示する。ステップ５０２では、Ｂフレームマクロブロックについて、順方向動作ベクトル及び逆方向動作ベクトルが取得される。１つの実施形態では、これらベクトルは、従来の双方向動作推定を行なうことにより得られる。したがって、ＦＲＵＣフレームからの情報は使用されない。そして、ステップ５０４では、Ｂフレームマクロブロックのための最良のモードが決定される。１つの実施形態においては、最良のモードが、順方向予測モード、逆方向予測モード、及び双線形予測モードの３つのモードのうちの１つから選択される。更に、最良モードの選択は、ＦＲＵＣフレームを含むことなく実行される。
ステップ５０６では、選択された最良モードに基づくＢフレームマクロブロックと、ソースフレームからのオリジナルのマクロブロックとの間の誤差が取得される。そして、オリジナルのマクロブロックとＦＲＵＣフレームマクロブロックとの間の誤差情報がステップ５０８で得られる。１つの実施形態では、ＢフレームマクロブロックとＦＲＵＣフレームマクロブロックとの誤差は、ＢフレームマクロブロックあるいはＦＲＵＣフレームマクロブロックからオリジナルのマクロブロックを引くことによりそれぞれ計算される。更に、以下の式によって得られるように、Ｂフレームマクロブロック（Ｂ＿ＲＤ＿ｃｏｓｔ）とＦＲＵＣフレームマクロブロック（ＦＲＵＣ＿ＲＤ＿ｃｏｓｔ）との両方のために、レート歪みコスト（ＲＤ＿ｃｏｓｔ）と称される変数が計算される。
Figure 0005175370
１つの実施形態では、Ｒａｔｅは、一定のブロックを符号化するために使用される全ビット（それぞれのマクロブロックの誤差を使用する）であり、Ｄｉｓｔｏｒｔｉｏｎは、歪み判定基準であり、Ｌａｍｂｄａは、マクロブロックの量子化に依存する予め定められた重み係数である。１つの実施形態では、Ｄｉｓｔｏｒｔｉｏｎは、絶対差の合計（ＳＡＤ）計算によって決定される。他の実施形態では、別の歪み判定基準が使用されてもよい。更に、Ｌａｍｂｄａは、１つの実施形態では、量子化パラメータに依存して経験的に導出された式である。
上述したように、ＦＲＵＣフレームモードの符号化であるか、又はＢフレームモードの符号化であるかは絶対差の合計（ＳＡＤ）値に基づく。これは、誤差を符号化するために必要なビット数、及び歪みの効果的な基準である。これら２つの値は合計される。１つはＬａｍｂｄａによって重み付けられ、結果を最小化するものに基づいて「最良の」モードが決定される。歪みとビットレートとの合計が使用される理由はそのようであるので、エンコーダは、画像品質とビットレートとのトレードオフをもたらす。そこで、例えば、以前と同じ量子化パラメータを使用し、極めて多くの歪みを受けた非常に複雑なマクロブロックにエンコーダが遭遇した場合、符号化するためにより多くのビットを必要としても、歪みにおけるトレードオフを考慮するために量子化値を低下できるであろう。
誤差及びＢ＿ＲＤ＿ｃｏｓｔ（ＢフレームマクロブロックのＲＤ＿ｃｏｓｔ）、誤差及びＦＲＵＣ＿ＲＤ＿ｃｏｓｔ（ＦＲＵＣフレームマクロブロックのＲＤ＿ｃｏｓｔ）が一旦決定されると、ステップ５１０は、これらコストを比較し、ＦＲＵＣ＿ＲＤ＿ｃｏｓｔがＢ＿ＲＤ＿ｃｏｓｔ未満であるかを判定する。ＦＲＵＣ＿ＲＤ＿ｃｏｓｔがＢ＿ＲＤ＿ｃｏｓｔ未満であれば、ステップ５１２でＦＲＵＣモードが選択される。そうでなければ、ステップ５０４で決定されたような最良のモードがステップ５１４で選択される。
図６は、１つの実施形態の符号化スキームに従って符号化されるビデオシーケンス６０６を例示する。これは、ベースレイヤ６０４とエンハンスメントレイヤ６０２とを含む２つのレイヤにメディアデータを分割するレイヤ決定ブロック６０８を有している。Ｉフレームと、Ｐフレーム６１２，６１４のようなＰフレームとは、ビデオシーケンス６０６の正確な再構築のための重要度によりベースレイヤ６０４に分割される。一方、Ｂフレーム６１０のようなさほど重要ではないＢフレームは、エンハンスメント６０２内にある。図中に示すように、ＦＲＵＣフレーム６１６はまた、ベースレイヤ６０４内にも存在する。
上述したように、図７は、１つの実施形態に従ったＦＲＵＣ符号化処理のフローチャートを例示する。ステップ７０２では、到来するメディア（ビデオ）シーケンスが、ベースレイヤフレーム及びエンハンスメントレイヤフレームに分割される。１つの実施形態では、各エンハンスメントフレームおよび各潜在的なＦＲＵＣフレームの間に１対１の関係がある。他の実施形態では、潜在的なＦＲＵＣフレームに対するエンハンスメントフレームの割合は、１対１の対応を持つ必要はない。一旦ビデオシーケンスが分割されたならば、動作はステップ７０４に続く。ここでは、使用される標準的な符号化スキームに基づいて、ベースレイヤ内のフレームが符号化される。例えば、Ｈ．２６４規格で発布されているような符号化規格が使用されうる。その後、ステップ７０６では、符号化されるエンハンスメントレイヤと同じ時間インスタンスにおいてＦＲＵＣフレームが補間される。１つの実施形態では、ＦＲＵＣフレームは、再構築された現在のフレーム、及び格納された前のフレームの両方に依存しうる。他の実施形態は、上述した他のＦＲＵＣアルゴリズムを使用しうる。ステップ７０８では、エンハンスメントレイヤ内のフレームが、補間ＦＲＵＣフレームの支援を受けて符号化される。
本明細書で言及されたモジュール及び処理ブロックは、様々なハードウェア／ソフトウェア実装で実施されうることが注目されるべきである。したがって、当業者であれば、例えば、同じプロセッサが、ＳＡＤ計算と同様にＦＲＵＣ動作を実行できることを理解するであろう。更に、デジタル信号プロセサ（ＤＳＰ）あるいは他の専用プロセッサが、本明細書に記載の機能を実行するために汎用プロセッサと共に使用されてもよい。特定の機能を実行するモジュールまたはユニットへの参照は、前記機能を実行するための具体的回路を含むように限定されるべきではなく、前記機能を実行するように構成されたプロセッサを含みうる。
本発明は、上述したモード選択方法に基づいているので、視覚品質において妥協しない少量について送信ビットストリームを節約しない。例えば、同じ品質レベルにおいて、標準的な（Ｈ．２６Ｘ／ＭＰＥＧ−Ｘ）ビットストリームシンタクスの増大によるビットレート／帯域幅縮小がある。これは、エンハンスメントビットストリームを落とす可能性を減少させ、結果的に、再構築されるビデオ品質を改良する。１つの実施形態では、エンハンスメントレイヤを符号化する際に、動作ベクトル情報は送信される必要はない。なぜなら、その情報は、簡単な補間関数によってデコーダにおいて復元／計算することができるからである。したがって、ビットレート全ての節約が実現される。
更に、受信機のハードウェアリソースの最適用途に基づく適切なＦＲＵＣアルゴリズムの適応選択によって、計算上のスケーラビリティが達成される。例えば、デコーダが内蔵の動作予測アクセラレータを持っている場合、ＭＶ処理ＦＲＵＣアルゴリズムを備えたシードＭＥ支援ＭＣＩが選択されうる。ＦＲＵＣ特徴の使用によって、ベースレイヤビットストリームが受信された場合にのみＦＲＵＣフレームが挿入されるフルフレームレートをビデオがプレイバックすると、より良い一時的なスケーラビリティが達成されうる。デコーダにおける電力節約も、完全なＢフレームの再構築よりも、ビデオストリームのＦＲＵＣ支援再構築がより少ないサイクルを必要とするハンドヘルドにおいて特に得られる。
Ｂフレームは、ＩＢＰグループのピクチャ（ＧＯＰ）構成が使用される合計ビットレートのうち高々３０％を占めると予測される。従って、本発明は、Ｂフレームを送信するために割り当てられたデータを低減することによって、全体のビットレートを減少させうる。例えば、ＩＢＰ ＧＯＰ構成の場合、ベースレイヤとエンハンスメントレイヤとの両方が共におかれた場合、ビットレートは、高々１５％に低減されうる。ＩＢＢＰ ＧＯＰ又はＩＢＢＢＰ ＧＯＰ構成が使用される場合、これらの構成はより多くのＢフレームを利用するので、この割合は増加する。ＩとＰとの間のＢフレームがより多い場合、更に増加する。
図８は、無線システムにおけるアクセス端末８０２ｘ及びアクセスポイント８０４ｘのブロック図を示す。「アクセス端末」は、本明細書で説明するように、ユーザに音声及び／又はデータ接続を与えるデバイスを称する。アクセス端末は、ラップトップコンピュータ又はデスクトップコンピュータのような計算デバイスに接続されるかもしれない。あるいは、携帯情報端末のような内蔵タイプのデバイスかもしれない。アクセス端末は、加入者ユニット、移動局、モバイル、遠隔局、遠隔端末、ユーザ端末、ユーザエージェント、あるいはユーザ設備とも称される。アクセス端末は、加入者局、無線デバイス、セルラ電話、ＰＣＳ電話、コードレス電話、セッション開始プロトコル（ＳＩＰ）電話、無線ローカルループ（ＷＬＬ）局、携帯情報端末（ＰＤＡ）、無線接続機能を有する携帯型デバイス、あるいは無線モデムに接続されたその他の制御デバイスでありうる。「アクセスポイント」は、本明細書で説明するように、エアインタフェースによって１又は複数のセクタを介してアクセス端末と通信するアクセスネットワーク内のデバイスを称する。アクセスポイントは、受信したエアインタフェースフレームをＩＰパケットに変換することによって、アクセス端末と、ＩＰネットワークを含むアクセスネットワークの残りとの間のルータとして動作する。アクセスポイントは、エアインタフェースのための属性の管理の調整も行う。
逆方向リンクの場合、アクセス端末８０２ｘにおいて、送信（ＴＸ）データプロセッサ８１４はデータバッファ８１２からトラフィックデータを受け取り、選択された符号化及び変調スキームに基づいて各データパケットを処理（例えば、符号化、インタリーブ、及びシンボルマップ）し、データシンボルを提供する。データシンボルは、データのための変調シンボルであり、パイロットシンボルは、パイロットのための変調シンボル（演繹的に知られる）である。変調器８１６は、データシンボル、パイロットシンボル、及び恐らくは逆方向リンクのためのシグナリングを受け取り、変調（例えばＯＦＤＭ）、及び／又はシステムによって指定されたようなその他の処理を実行し、出力チップのストリームを提供する。送信機ユニット（ＴＭＴＲ）８１８は、この出力チップのストリームを処理（例えば、アナログ変換、フィルタ、増幅、及び周波数アップ変換）を行い、変調信号を生成する。これはアンテナ８２０から送信される。
アクセスポイント８０４ｘでは、アクセス端末８０２ｘ、及びアクセスポイント８０４ｘと通信しているその他の端末によって送信された変調信号がアンテナ８５２によって受信される。受信機ユニット（ＲＣＶＲ）８５４は、アンテナ８５２によって受信された信号を処理（例えば、調整及びデジタル化）し、受信サンプルを提供する。復調器（Ｄｅｍｏｄ）８５６は、この受信サンプルを処理（例えば、復調及び検出）し、検出されたデータシンボルを提供する。このデータシンボルは、端末からアクセスポイント８０４ｘへ送られたデータシンボルの雑音の多い推定値である。受信（ＲＸ）データプロセッサ８５８は、各端末について検出されたデータシンボルを処理（例えば、シンボル逆マップ、逆インタリーブ、及び復号）し、その端末のための復号データを提供する。
順方向リンクの場合、アクセスポイント８０４ｘにおいて、トラフィックデータがＴＸデータプロセッサ８６０によって処理され、データシンボルが生成される。変調器８６２は、データシンボル、パイロットシンボル、及び順方向リンクのためのシグナリングを受け取り、変調（例えばＯＦＤＭ）及び／又はその他の適切な処理を実行し、出力チップストリームを提供する。更に、出力チップストリームは、送信機ユニット８６４によって調整され、アンテナ８５２から送信される。順方向リンクシグナリングは、逆方向リンクでアクセスポイント８０４ｘに送信する全ての端末についてコントローラ８７０によって生成された電力制御コマンドを含みうる。アクセス端末８０２ｘでは、アクセスポイント８０４ｘによって送信された変調信号がアンテナ８２０によって受信され、受信機ユニット８２２によって調整され、デジタル化され、復調器８２４によって処理され、検出データシンボルが得られる。ＲＸデータプロセッサ８２６は、検出データシンボルを処理し、端末のための復号データと順方向リンクシグナリングとを提供する。コントローラ８３０は、電力制御コマンドを受け取り、逆方向リンクによるアクセスポイント８０４ｘへの送信電力及びデータ送信を制御する。コントローラ８３０，８７０は、アクセス端末８０２ｘ及びアクセスポイント８０４ｘの動作をそれぞれ指示する。メモリ８３２，８７２はそれぞれコントローラ８３０，８７０によって使用されるデータ及びプログラムコードを格納する。
開示された実施形態は、以下の技術、すなわち、符号分割多元接続（ＣＤＭＡ）システム、マルチキャリアＣＤＭＡ（ＭＣ−ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、時分割多元接続（ＴＤＭＡ）システム、周波数分割多元接続（ＦＤＭＡ）システム、および直交周波数分割多元接続（ＯＦＤＭＡ）システムのうちの任意の１つ又は組み合わせに適用されうる。
本明細書に記載の方法は、当業者に周知な様々な通信ハードウェア、プロセッサ、及びプロセッサ上で実施されうることが注目されるべきである。例えば、クライアントが、本明細書で記載されるように動作するための一般的要件は、コンテンツ及び情報を表示するディスプレイと、クライアントの動作を制御するプロセッサと、クライアントの動作に関連するプログラムとデータとを格納するためのメモリとをクライアントが有していることである。１つの実施形態では、クライアントはセルラ電話である。別の実施形態では、クライアントは、通信機能を有するハンドヘルドコンピュータである。また別の実施形態では、クライアントは、通信機能を有するパーソナルコンピュータである。更に、ＧＰＳ受信機のようなハードウェアが、様々な実施形態を実施するために、必要に応じてクライアントに組み込まれうる。ここで開示された実施形態に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
開示された実施形態は、以下に示す技術、すなわち、符号分割多元接続（ＣＤＭＡ）システム、マルチキャリアＣＤＭＡ（ＭＣ−ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、時分割多元接続（ＴＤＭＡ）システム、周波数分割多元接続（ＦＤＭＡ）システム、及び直交周波数分割多元接続（ＯＦＤＭＡ）システムのうちの任意の１つ又は組み合わせに適用されうる。
本明細書に記載の方法は、当業者に周知な様々な通信ハードウェア、プロセッサ、及びプロセッサ上で実施されうることが注目されるべきである。例えば、クライアントが、本明細書で記載されるように動作するための一般的要件は、コンテンツ及び情報を表示するディスプレイと、クライアントの動作を制御するプロセッサと、クライアントの動作に関連するプログラムとデータとを格納するためのメモリとをクライアントが有していることである。１つの実施形態では、クライアントはセルラ電話である。別の実施形態では、クライアントは通信機能を有するハンドヘルドコンピュータである。また別の実施形態では、クライアントは、通信機能を有するパーソナルコンピュータである。
ここで開示された実施形態に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
ここで開示された実施形態に関連して記述された方法やアルゴリズムのステップは、ハードウェアや、プロセッサによって実行されるソフトウェアモジュールや、これらの組み合わせによって直接的に具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。好適な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体は、ユーザ端末内のディスクリート部品として存在しうる。
開示された実施形態における記載は、当該技術分野におけるいかなる人であっても、本発明の活用または利用を可能とするように提供される。これらの実施形態への様々な変形例もまた、当該技術分野における熟練者に対しては明らかであって、ここで定義された一般的な原理は、開示された実施形態の主旨または範囲を逸脱せずに、例えばインスタントメッセージングサービス又は任意の一般的な無線データ通信アプリケーションにおけるような他の実施形態にも適用されうる。このように、本発明は、ここで示された実施形態に制限されるものではなく、ここで記載された原理と新規の特徴に一致した最も広い範囲に相当するものを意図している。用語「典型的（exemplary）」は、本明細書では、例、インスタンス、又は例示となることを意味するために限定的に使用される。本明細書で「典型的」と記載される何れの実施形態は、必ずしも他の実施形態に対して有利であると解釈される必要はない。

Claims (8)

  1. 第１のフレームを有するビデオストリームを符号化するビデオエンコーダプロセッサであって、
    前記ビデオストリームから複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成するＦＲＵＣモジュールと、
    前記ＦＲＵＣモジュールに接続されており、前記複数のＦＲＵＣフレームを受け取り、前記複数のＦＲＵＣフレームのうちの１つのマクロブロックに基づいてＦフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算するレート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールであって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔが、前記複数のＦＲＵＣフレームのうちの１つにおける前記マクロブロックから前記第１のフレームのマクロブロックを予測するコストを含む、レート歪みコスト（ＲＤ＿ｃｏｓｔ）計算モジュールと、
    前記ＲＤ＿ｃｏｓｔ計算モジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレーム内の対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較するように構成されたモード決定モジュールと
    を備えたビデオエンコーダプロセッサ。
  2. 前記モード決定モジュールは更に、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づくＦフレームマクロブロックＲＤ＿ｃｏｓｔが、前記対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔよりも低い場合には、前記の第１フレームのためＦフレーム符号化モードを選択するように構成された請求項１のビデオエンコーダプロセッサ。
  3. 前記対応するＢフレームを生成するＢフレームエンコーダを更に備えた請求項１のビデオエンコーダプロセッサ。
  4. 前記ＦＲＵＣモジュールに接続されており、前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて絶対差合計（ＳＡＤ）値を計算し、前記対応するＢフレームにおける対応するマクロブロックのＳＡＤ値を計算するＳＡＤ計算モジュールを更に備えた請求項１のビデオエンコーダプロセッサ。
  5. 前記ＳＡＤ計算モジュールは、前記複数のＦＲＵＣフレームのうちの１つのマクロブロックに基づくＳＡＤ値と、前記対応するＢフレームの対応するマクロブロックのＳＡＤ値との差を計算し、前記差を予め定めた閾値と比較するように構成されており、前記ＳＡＤ計算モジュールは、前記差が前記予め定めた閾値よりも小さいのであれば、Ｆフレームモードを表すための単一のビットを生成する請求項４のビデオエンコーダプロセッサ。
  6. 第１のフレームを有するビデオストリームを符号化する方法であって、
    前記ビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成することと、
    前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算することであって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔは、前記複数のＦＲＵＣフレームのうちの１つにおける前記マクロブロックから前記第１のフレームのマクロブロックを予測するコストを含む、ことと、
    前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較することと、
    前記比較の結果に基づいて、前記第１のフレームのための符号化スキームを選択することと
    を備えた方法。
  7. 第１のフレームを有するビデオストリームを符号化する装置であって、
    前記ビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成する手段と、
    前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算する手段であって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔは、前記複数のＦＲＵＣフレームのうちの１つにおける前記マクロブロックから前記第１フレームのマクロブロックを予測するコストを含む、手段と、
    前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較する手段と、
    前記比較の結果に基づいて、前記第１のフレームのための符号化スキームを選択する手段と
    を備えた装置。
  8. プロセッサによって実行されると、前記プロセッサに対して、第１のフレームを有するビデオストリームを符号化する方法を実行させる格納された命令を有するコンピュータ読取可能媒体であって、前記方法は、
    前記ビデオストリームから、複数のフレームレートアップ変換（ＦＲＵＣ）フレームを生成することと、
    前記複数のＦＲＵＣフレームのうちの１つにおけるマクロブロックに基づいて、Ｆフレームマクロブロックレート歪みコスト（ＲＤ＿ｃｏｓｔ）を計算することであって、前記ＦフレームマクロブロックＲＤ＿ｃｏｓｔは、前記複数のＦＲＵＣフレームの１つにおける前記マクロブロックから前記第１フレームのマクロブロックを予測するコストを含む、ことと、
    前記計算したＦフレームマクロブロックＲＤ＿ｃｏｓｔを、対応するＢフレームにおける対応するマクロブロックのＢフレームマクロブロックＲＤ＿ｃｏｓｔと比較することと、
    前記比較の結果に基づいて、前記第１フレームのための符号化スキームを選択することと
    を備えたコンピュータ読取可能媒体。
JP2011062806A 2004-07-01 2011-03-22 スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置 Expired - Fee Related JP5175370B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US58515404P 2004-07-01 2004-07-01
US60/585,154 2004-07-01
US66581605P 2005-03-22 2005-03-22
US60/665,816 2005-03-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007519444A Division JP5038134B2 (ja) 2004-07-01 2005-07-01 スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置

Publications (2)

Publication Number Publication Date
JP2011182408A JP2011182408A (ja) 2011-09-15
JP5175370B2 true JP5175370B2 (ja) 2013-04-03

Family

ID=35116155

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007519444A Expired - Fee Related JP5038134B2 (ja) 2004-07-01 2005-07-01 スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置
JP2011062806A Expired - Fee Related JP5175370B2 (ja) 2004-07-01 2011-03-22 スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007519444A Expired - Fee Related JP5038134B2 (ja) 2004-07-01 2005-07-01 スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置

Country Status (15)

Country Link
US (1) US8948262B2 (ja)
EP (1) EP1774779A2 (ja)
JP (2) JP5038134B2 (ja)
KR (2) KR20070053212A (ja)
CN (1) CN101010964B (ja)
AR (1) AR049454A1 (ja)
AU (1) AU2005262409A1 (ja)
BR (1) BRPI0512816A (ja)
CA (1) CA2572605C (ja)
IL (1) IL180444A0 (ja)
MX (1) MX2007000254A (ja)
PE (1) PE20060536A1 (ja)
RU (1) RU2370909C2 (ja)
TW (1) TWI392374B (ja)
WO (1) WO2006007527A2 (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
CN101189882B (zh) 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8582660B2 (en) 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
US8565216B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless uplink signaling flows
JP2009540694A (ja) * 2006-06-07 2009-11-19 クゥアルコム・インコーポレイテッド 制御値を使用して通信処理を制御する方法および装置
US8565217B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless downlink signaling flows
CN100584006C (zh) * 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
US10084627B2 (en) 2006-07-10 2018-09-25 Qualcomm Incorporated Frequency hopping in an SC-FDMA environment
US8457221B2 (en) 2006-09-08 2013-06-04 Qualcomm Incorporated Signaling transmission with localized spreading for wireless communication
CN101536351B (zh) 2006-11-06 2013-09-18 高通股份有限公司 根据子带负荷进行发射功率控制的方法
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US9072095B2 (en) 2007-01-09 2015-06-30 Samsung Electronics Co., Ltd. Apparatus and method for allocating resources in a single carrier-frequency division multiple access system
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP4296218B1 (ja) * 2008-02-21 2009-07-15 シャープ株式会社 映像表示装置
US8284839B2 (en) * 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8009567B2 (en) * 2009-02-05 2011-08-30 Cisco Technology, Inc. System and method for improved data transmission reliability over a network
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
KR101750047B1 (ko) 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US8661491B1 (en) * 2012-08-02 2014-02-25 Ericsson Television Inc. Methods using base content and additive content and related client devices and network server devices
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN103152566B (zh) * 2013-02-22 2016-03-09 华中科技大学 一种视频帧率提升方法
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
CN103929648B (zh) * 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
CN107770511A (zh) * 2016-08-15 2018-03-06 中国移动通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备
JP2022008719A (ja) * 2016-11-23 2022-01-14 セルヴァス エーアイ インコーポレイテッド 疾患発症予測方法及び装置
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
US11483565B2 (en) * 2018-08-10 2022-10-25 Saturn Licensing Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
EP0018856B1 (en) 1979-05-08 1990-08-16 British Broadcasting Corporation Television display system
JPH0317883A (ja) * 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) * 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
JPH08510880A (ja) * 1993-06-01 1996-11-12 トムソン マルチメディア ソシエテ アノニム 動き補償された補間の方法及び装置
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1997046022A2 (en) 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation
JP2000512091A (ja) * 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
EP0883107B9 (en) * 1996-11-07 2005-01-26 Matsushita Electric Industrial Co., Ltd Sound source vector generator, voice encoder, and voice decoder
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
WO1999022525A1 (en) 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
JP2003513565A (ja) * 1999-10-29 2003-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
EP1287492A2 (en) 2000-05-18 2003-03-05 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensated picture rate up-conversion
EP1296525A4 (en) 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE ENCODER AND IMAGE ENCODING METHOD
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) * 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
AU2003202777A1 (en) 2002-02-28 2003-09-09 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
US20050243925A1 (en) 2002-09-11 2005-11-03 Koninklijke Philips Electronics N.V. Video coding method and device
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP4007594B2 (ja) 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8649436B2 (en) 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Also Published As

Publication number Publication date
KR20080112369A (ko) 2008-12-24
KR100913260B1 (ko) 2009-08-21
US20060002465A1 (en) 2006-01-05
TW200625963A (en) 2006-07-16
JP2011182408A (ja) 2011-09-15
TWI392374B (zh) 2013-04-01
EP1774779A2 (en) 2007-04-18
WO2006007527A2 (en) 2006-01-19
CA2572605C (en) 2013-04-02
WO2006007527A3 (en) 2006-08-17
PE20060536A1 (es) 2006-06-28
US8948262B2 (en) 2015-02-03
JP5038134B2 (ja) 2012-10-03
CA2572605A1 (en) 2006-01-19
CN101010964B (zh) 2012-01-04
AU2005262409A1 (en) 2006-01-19
RU2370909C2 (ru) 2009-10-20
IL180444A0 (en) 2007-06-03
JP2008505555A (ja) 2008-02-21
MX2007000254A (es) 2007-04-09
AR049454A1 (es) 2006-08-02
KR20070053212A (ko) 2007-05-23
BRPI0512816A (pt) 2008-04-08
RU2007103812A (ru) 2008-08-10
CN101010964A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
JP5175370B2 (ja) スケーラブルなビデオ符号化において、フレームレートアップ変換技術を使用する方法及び装置
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
KR100907847B1 (ko) 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치
US9521411B2 (en) Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
JP2011501542A (ja) フレーム間予測符号化の方法および装置
AU2006223416A1 (en) Content adaptive multimedia processing
Ye et al. Improved side information generation with iterative decoding and frame interpolation for distributed video coding
HoangVan et al. Flexible complexity control based on intra frame mode decision in distributed video coding
KR20050052756A (ko) 움직임 추정 방법
Andrews et al. Test model 11 Purpose: Information
Andrews et al. Test model 12/Appendix II of H. 263 Version 3 Purpose: Information
Slowack et al. Refining WZ rate estimation in DVC with feedback channel constraints

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130104

R150 Certificate of patent or registration of utility model

Ref document number: 5175370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees