JP5174117B2 - 動作補償されたフレームレートアップコンバージョンのための方法および装置 - Google Patents

動作補償されたフレームレートアップコンバージョンのための方法および装置 Download PDF

Info

Publication number
JP5174117B2
JP5174117B2 JP2010228530A JP2010228530A JP5174117B2 JP 5174117 B2 JP5174117 B2 JP 5174117B2 JP 2010228530 A JP2010228530 A JP 2010228530A JP 2010228530 A JP2010228530 A JP 2010228530A JP 5174117 B2 JP5174117 B2 JP 5174117B2
Authority
JP
Japan
Prior art keywords
motion vector
video frame
motion vectors
search
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010228530A
Other languages
English (en)
Other versions
JP2011061811A (ja
Inventor
ビジャヤラクシュミ・アール．・ラビーンドラン
ファン・シ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2011061811A publication Critical patent/JP2011061811A/ja
Application granted granted Critical
Publication of JP5174117B2 publication Critical patent/JP5174117B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Description

本発明の実施例は、一般に、ビデオ圧縮に関し、特に、ブロックベースの低ビットレートビデオのためのフレームレートアップコンバージョン用の方法及び装置に関する。
低ビットレートビデオ圧縮は、制限された帯域幅リソース、および利用可能帯域幅の変動により、例えば無線ビデオストリーミングおよびビデオ電話通信のような多くのマルチメディアアプリケーションにおいて非常に重要である。低ビットレートにおける帯域幅適応ビデオ符号化は、一時的な分解能を低減することにより達成される。言い換えれば、３０フレーム／秒（ｆｐｓ）のビットストリームを圧縮して送信する代わりに、この一時的な分解能は、半分の１５ｆｐｓにされ、送信ビットレートが低減される。しかしながら、一時的に分解能を低減した結果、復号されたビデオの視覚品質を著しく低下させるモーションジャーキー（jerkiness）のような一時的な領域副作用（artifact）が生じる。
受信機側で十分なフレームレートを表示するために、スキップされたフレームを再生成し、一時的な副作用を低減するフレームレートアップコンバージョン（ＦＲＵＣ）と呼ばれる復元メカニズムが必要とされる。
多くのＦＲＵＣアルゴリズムが提案されている。それは２つのカテゴリーに分類することができる。第１のカテゴリーは、対象の動作を考慮せずに、受信されたビデオフレームのコンビネーションを使用することにより、失われたフレームを補間する。フレーム反復およびフレーム平均化方法が、この部類に入る。これら方法の欠点は、動きがある場合における動作対象のぼけ、「ゴースト」イメージ、及びモーションジャーキーの発生を含む。第１のカテゴリーと比較して、第２のカテゴリーはより高度であり、送信された動作情報を利用する。これは、動作補償（フレーム）補間（ＭＣＩ：motion compensated interpolation）と呼ばれている。
従来技術の図１に例示されるように、ＭＣＩでは、失われたフレーム１０８が、再構築された現在のフレーム１０２、格納されている前のフレーム１０４、および送信された１セットの動作ベクトル１０６に基づいて補間される。再構築された現在のフレーム１０２は、格納されている前のフレーム１０４における対応するブロックを示し、送信された１セットの動作ベクトル１０６に関連付けられているオーバーラップしない１セットのブロック１５０，１５２，１５４，１５６からなる。補間されるフレーム１０８は、現在のフレームと、前のフレームとの対応するピクセルの線形結合か、例えばメジアン演算のような非線形演算かのいずれかで構築される。
ブロックベースのＭＣＩは、補間されるフレーム内に、オーバーラップした（複数の動作軌道が通過する）領域と、ホール（動作軌道が通過しない）領域とをもたらす。図３に示すように、補間されるフレーム３０２は、オーバーラップ領域３０６とホール領域３０４とを含んでいる。これら２つのタイプの望まれない領域が生成される主な理由は次の通りである。
１．動作対象が、厳密な並進運動モデルの下にない。
２．ＭＣＩで使用され、送信される動作ベクトルは、エンコーダ側で利用されるブロックベースの高速動作探索アルゴリズムによって、真の動作軌道を示さないかもしれない。
３．現在のフレーム及び前のフレームにおけるカバーされた背景及びカバーされていない背景。
オーバーラップ領域及びホール領域の補間は、従来のブロックベースの動作補償アプローチにおける主な技術的チャレンジである。これらオーバーラップ領域及びホール領域を埋めるために、中間ぼかし（Median blurring）及び空間補間技術が提案された。しかしながら、これらの方法の欠点は、ぼかし及びブロッキングによる副作用の発生に加え、補間演算の複雑さが増加することである。
本特許出願は、本願の譲受人に譲渡され、ここに参照によって明確に組み込まれている２００４年５月４日に出願され、"METHOD AND APPARATUS FOR MOTION COMPENSATED FRAME RATE UP CONVERSION FOR BLOCK-BASED LOW BIT-RATE VIDEO APPLICATION"と題された仮出願番号６０／５６８，３２８、及び２００５年３月２２日に出願され、"METHOD AND APPARATUS FOR MOTION COMPENSATED FRAME RATE UP CONVERSION FOR BLOCK-BASED LOW BIT-RATE VIDEO"と題された仮出願番号６０／６６４，６７９の優先権を主張する。
本実施例は、現在のビデオフレーム、少なくとも１つの前のビデオフレーム、および送信された１セットの動作ベクトルを使用して、補間されるビデオフレームを生成する方法及び装置を提供する。
１つの実施例では、この方法は、送信された１セットの動作ベクトルを平滑化することと、補間されるビデオフレーム内においてオーバーラップしないブロックのそれぞれの中心点について動作ベクトルを決めることと、現在のビデオフレームおよび前のビデオフレーム内における各ブロックについて中心点を決めることと、出力される１セットの動作ベクトルを生成することと、出力される１セットの動作ベクトルを平滑化することと、出力される１セットの動作ベクトルを用いて、補間されるビデオフレームを生成することとの各ステップを含む。
別の実施例では、本装置は、プロセッサによって実行されると、このプロセッサに対して、補間されるビデオフレームを生成する方法を実行させる命令を格納しているコンピュータ読取可能媒体を含んでいる。この方法は、送信された１セットの動作ベクトルを平滑化することと、補間されるビデオフレーム内におけるオーバーラップしないブロックのそれぞれの中心点について動作ベクトルを決めることと、現在のビデオフレームおよび前のビデオフレーム内におけるブロックのそれぞれについて中心点を決めることと、出力される１セットの動作ベクトルを生成することと、出力される１セットの動作ベクトルを平滑化することと、出力される１セットの動作ベクトルを用いて、補間されるビデオフレームを生成することとの各ステップを含む。
また別の実施例では、本装置は、複数のビデオフレームを含む到来ビットストリームを受信するビデオフレームプロセッサを含んでいる。このビデオフレームプロセッサは、少なくとも１つの前のフレームと、現在のフレームとを格納するフレームバッファと、前のフレームに関連付けられている少なくとも１セットの動作ベクトルと、現在のフレームのために送信された複数の動作ベクトルとを格納する動作ベクトルバッファと、動作ベクトルバッファおよびフレームバッファに結合され、送信された複数の動作ベクトルを受信し、出力される第１の複数の動作ベクトルを生成する第１の動作ベクトルプロセッサと、第１の動作ベクトルプロセッサに結合された動作予測モジュールと、モード決定モジュールと、フレームレートアップコンバータとを含んでいる。
その他の目的、特徴、および長所は、以下に示す詳細記述から、当該技術分野における熟練者に明らかになるであろう。しかしながら、この詳細記述及び具体例は、典型的な実施例を示す一方、例示のためであって、限定のためではないことが理解されるべきである。以下に示す記載の範囲内の多くの変更および変形が、本発明の精神から逸脱することなくなされ、本記載は、そのような全ての変形を含むと理解されるべきである。
図１は、動作補償フレーム補間処理を利用する補間フレームの構築を示す図である。 図２は、ビデオフレーム内のピクセルに割り当てられた様々なクラスを示す図である。 図３は、補間されるフレームにおけるオーバーラップ領域およびホール領域を示す図である。 図４は、ＦＲＵＣシステムのブロック図である。 図５は、ＦＲＵＣシステムにおける動作ベクトルプロセッサのブロック図である。 図６は、図４のＦＲＵＣシステムによって実行されるシード（seeded）双方向動作探索を示す図である。 図７は、ＦＲＵＣシステムの動作の流れ図である。
本発明は、添付図面の参照により、より容易に理解されうる。
同一符番は、幾つかの図面にわたって同一の部分を示している。
本発明の実施例は、復号器に動作予測を用いることにより、補間されるフレーム内に、オーバーラップ領域及びホール領域が生成されることを回避する方法を提供する。１つの実施例では、補間されるフレームを、オーバーラップしないブロックへ分割し、オーバーラップしないブロックのそれぞれに、動作ベクトルのペアを割り当てることによって、補間されるフレームにおける望まれないオーバーラップ領域及びホール領域の存在が縮小されうる。これらの動作ベクトルは、復号器内の動作予測モジュールを用いることにより予測される。
既に述べたように、動作補償フレーム補間アルゴリズムの性能は、エンコーダから送信される動作ベクトルの精度に大いに依存する。送信された動作ベクトルは、次の理由により、関連する動作対象の真の動作軌道を示さないかもしれない。
１．ブロックベースの動作予測アルゴリズムの全てにおいて、並進のみの厳密形状動作モデルを使用すると仮定することは、自然に動いている物体を表すのに十分ではない。
２．動作予測は、計算上非常に労力のかかる処理である。ほとんどのビデオエンコーダは、結果として得られる動作ベクトルの精度を犠牲にして、動作予測速度を改善するために、高速動作予測アルゴリズムを使用している。
３．現在のフレーム又は前のフレームに、カバーされた領域又はカバーされない領域が存在する場合、動作予測は、信頼性の低いベクトル（すなわち、ブロックの動作を正確に記述しない動作ベクトル）が得られる結果となる。
４．多くの動作予測技術は、歪み尺度として、絶対差の合計値（ＳＡＤ：sum of absolute differences values）／二乗差の合計値（ＳＳＤ：sum of squared differences values）を用いるピクセルマッチング処理を実行する。しかしながら、ＳＡＤ／ＳＳＤは統計的指標であり、人間の視覚感覚において歪みを表わさないかもしれない。従って、そのような動作予測は、真の動作方向を表わさないかもしれない。
５．多くの動作予測アルゴリズムは、レート最小化の観点から最適化されており、視覚品質の観点から最適化されていない。
補間されるフレームにおける誤差は、動作ベクトル誤差分散に直接関連するので、ブロックベースのＭＣＩは、圧縮後の動作ベクトルの不確定さの問題の解決を試みる。動作ベクトル平滑化技術の適用によって、アウトライアー（outlier）な動作ベクトルによって引き起こされる、補間されるフレーム内のブロッキング副作用は減るであろう。１つの実施例では、ここに記述されたシステムは更に、ピクセルレベルの代わりに、動作ベクトルレベル上でメジアン演算を実行することにより、ぼかしを低減する。
図４は、到来するビットストリーム４０２を受信し、バイナリ復号器４０６を使用して（１）格納されている動作ベクトルバッファ４１６内に配置された１セットの動作ベクトル４０８と、（２）残り（residue）とを得るＦＲＵＣシステム４００のブロック図である。残り４１０は、逆量子化／逆変換モジュール４１２によって演算される。その結果は、格納されている前のフレームバッファ４１８に格納されている前のフレームと結合され、現在のフレームが生成される。この現在のフレームは、現在のフレームバッファ４２０内に格納される。格納されている動作ベクトルバッファ４１６、格納されているフレームバッファ４１８、および現在のフレームバッファ４２０を含む、ＦＲＵＣアーキテクチャ４００のサブ部分４５０は、１つの実施例の実現に関連する具体的な機能モジュールを含んでいる。具体的には、サブ部分４５０は、動作ベクトルプロセッサ４２２、シード双方向動作予測モジュール４２４、第２の動作ベクトルプロセッサ４２６、モード決定モジュール４２８、フレームレートアップコンバータ（ＦＲＵＣ）モジュール４３０、および後処理ユニット４３２を含んでいる。サブ部分４５０のモジュールの動作を、図５〜図７の記載を参照して以下に述べる。
図７は、１つの実施例に従ったＦＲＵＣアーキテクチャ４００の動作のフロー図である。ステップ７０２で始まり、動作ベクトルプロセッサ４２２が、格納されている動作ベクトルバッファ４１６に格納されている現在のフレーム及び前のフレームから送信される動作ベクトルの動作ベクトル平滑化処理を行なう。動作ベクトルプロセッサ４２２が詳述された図５に示すように、動作ベクトルプロセッサ４２２は、入力として、格納されている動作ベクトルバッファ４１６から、動作ベクトルを受け取る。１つの実施例では、この入力される動作ベクトルは、復号された現在のフレームの動作ベクトルである。別の実施例では、この入力される動作ベクトルは、現在のフレーム、および復号された前の任意のフレームの両方からの動作ベクトルを含んでいる。これは、動作予測に対してより現実的でより柔軟なモデルを提供する。この平滑化処理は、後で詳しく説明するように、送信された１セットの動作ベクトルにおけるアウトライアーな動作ベクトルを規格化することを含んでいる。１つの実施例では、後で詳しく説明するように、第１のセットの動作ベクトルが、送信された１セットの動作ベクトルの関数に基づいて生成される、ここでは、送信された１セットの動作ベクトルがまず２つの部分へ分割される。そして、この動作ベクトルの第１の部分は、例えばメジアン演算に基づいて、動作ベクトルの第２の部分に基づいて修正される。
現在のフレームと前のフレームとの動作ベクトルの大きさの差が比較され、動作加速度が導出されるので、現在のフレームの動作ベクトルと、前のフレームの動作ベクトルとを組み合わせることによって、不変の動作モデルを、動作加速度を含むように拡張することができる。より柔軟な動作モデルは、補間されるフレームについてより正確な動作軌道を与える。前のフレームの動作ベクトルが逆にされた場合（外挿された動作ベクトルとも称される）、この逆にされた動作ベクトルは、前のフレームから現在のフレームを指し、逆方向の動作ベクトルとして使用されうる。１つの実施例では、この動作が一定の場合、逆方向の動作ベクトル、および正方向の動作ベクトル（現在のフレームの動作ベクトル）は、互いに一列に並び、反対方向を指している。正方向の動作ベクトルと逆方向の動作ベクトルとが一列に並ばない場合、この相違は、動作加速度によって引き起こされると仮定されよう。動作ベクトル平滑化処理が完了した後、処理はステップ７０４に続く。
動作ベクトルプロセッサ４２２は、動作ベクトルスケーリングモジュール５０２を含む。動作ベクトルスケーリングモジュール５０２は、現在のフレームと前のフレームとの間として補間されるフレームの距離に基づいて、入力された動作ベクトルのスケーリングを実行し、計算された動作加速度を考慮する。さらに、動作ベクトルプロセッサ４２２は、可変ブロックサイズ動作ベクトルをサポートするビデオコーデックのためにマージ関数を提供する。そのような１つの規格は、１６×１６，１６×８，８×１６，８×８，８×４，４×８，および４×４シェープの動作ベクトルをサポートする国際電気通信連合、電気通信標準化部門（ＩＴＵ−Ｔ：International Telecommunications Union, Telecommunications Standardization Sector）によって発行されているＨ．２６４規格である。このマージ関数は、幾つかの小さなブロックサイズの動作ベクトルを、より大きなブロックサイズの動作ベクトルへマージする。このマージ関数によって得られる好適なサイズのシェープは、コンテンツに依存するが、１つの実施例では、このマージ関数に、８×８のブロックサイズが使用される。１つの実施例では、マージ関数は、平均関数として実施される。線形動作（等速）モデルの場合、スケールされた動作ベクトルの大きさは、現在のフレームに対する補間されるフレームと、前のフレームに対する現在のフレームとの間の距離比に関して、現在の動作ベクトルの大きさに比例している。一方、その方向は、現在のフレームの動作ベクトルの方向と同じである。非線形動作（動作加速度）モデルの場合、スケールされた動作ベクトルの大きさ及び方向は、現在のフレームと前のフレームとの間の補間されるフレームの距離と、計算された動作加速度との両方に依存する。別の実施例では、マージ関数が、メジアン関数として実施される。また別の実施例では、マージ関数が、重み付けられた合計関数として実施される。また、別の実施例では、異なる関数が組み合わされてマージ関数を実現する。本発明の実施例はまた、エンコーダが、復号器内のＦＲＵＣモジュールを支援するために追加情報を送るように構成されたエンコーダ支援ＦＲＵＣ（ＥＡ−ＦＲＵＣ）技術に適用可能であることが注目されるべきである。例えば、エンコーダは、ＦＲＵＣ動作に関して「困難」であるマクロブロックのためのＦＲＵＣ命令、残り係数（coefficient residues）、又は動作ベクトルを送ることができる。
動作ベクトルラベリングモジュール５０４は、動作ベクトルスケーリングモジュール５０２からのスケールされた入力動作ベクトルを処理して、このスケールされた入力動作ベクトルを分類する。１つの実施例では、この分類は、動作ベクトルプロセッサ４２２への他の入力から得られたデータである復号されたフレームデータからの補足情報５２２に基づく。限定される訳ではないが、補足情報５２２によって提供される分類情報は、ピクセル分類、興味領域、テクスチャ情報の変動、輝度背景値の変動等を含む。動作ベクトル分類に使用されることに加えて、この情報は、適応性のある平滑化アルゴリズムのためのガイダンスを提供しうる。
１つの実施例では、動作ベクトルの大きさおよび方向によって、入力動作ベクトルは、特定の動作ベクトルクラスでラベルされる。例えば、動作ベクトルが、予め定められたしきい値に対して小さな動作ベクトルであり、この動作ベクトルが、北を指している場合、この動作ベクトルは、小さな北のクラスとしてラベルされる。１つの実施例では、このクラスは、大、中、小といった大きさに関するのみならず、北、南、西、東（あるいはこれらの組み合わせ）といった方向を含んでいる。他の実施例では、その他の適切なクラスが使用されてもよい。
コンテンツ適応動作ベクトル分類モジュール５０６は、動作ベクトルラベリングモジュール５０４からのラベル情報と、復号されたデータからのコンテンツ情報とに基づいて、動作ベクトルが、アウトライアーベクトルであるかを判定する。１つの実施例では、現在の動作ベクトルの大きさおよび方向は、現在のベクトルを囲む他の動作ベクトルの大きさおよび方向と比較される。例えば、近隣の動作ベクトルが、大きな動作ベクトル（大きな大きさ）としてラベルされ、北を指している一方、現在の動作ベクトルが、小さな動作ベクトル（小さな大きさ）としてラベルされ、南を指している場合、現在の動作ベクトルは、アウトライアー動作ベクトルとして印付けられる。別の実施例では、現在の動作ベクトルが指しているピクセルのクラスタイプが分析される。図２は、移動オブジェクト（ＭＯ）２０８、カバーされていない背景（ＵＢ）２０４、カバーされた背景（ＣＢ）２１０、静止背景（ＳＢ）２０２、及びＭＣＩのためのエッジ２０６の各クラスを含む異なるピクセルクラスの例示を与えている。ここで、矢印２１２のセットは、３つの例示されたフレームＦ（ｔ−１），Ｆ（ｔ），及びＦ（ｔ＋１）におけるピクセルの動作軌道を示す。具体的には、ＭＣＩの文脈では、ビデオフレーム内部のピクセルはそれぞれ、上記リストされた５つのクラスのうちの１つに分類することができる。このクラスタイプ情報を使用して、現在の動作ベクトルが、現在のフレームの動作オブジェクトから、前の参照フレーム内の静止背景へと向けられている場合、現在の動作ベクトルは、アウトライアーとして印付けられる。
復号されたデータからのコンテンツ情報と、処理された入力動作ベクトルのラベリングとは、コンテンツ適応平滑化フィルタ５０８内の適応ウィンドウサイズ選択アルゴリズムに必要とされる入力を提供する。前の処理からのアウトライアー動作ベクトルの除去と、ローパスフィルタ全体の動作とは、選択された処理ウィンドウに基づいて行なわれる。１つの実施例では、図５のコンテンツ適応平滑化フィルタ５０８内で実施される平滑法は、メジアン演算である。他の実施例では、このメジアン演算は、中間（平均）又はガウシアンタイプフィルタに置き換えることができる。更に、他のタイプの規格化／線形／非線形フィルタが使用されてもよい。
更に以下に述べられるように、出力される動作ベクトルは、シード双方向動作予測処理における動作ベクトルの中心を予測するために使用される。このステップの重要な点は、補間されるフレームを、オーバーラップしないブロックへ分割することである。既に述べたように、次のステップは、前のフレーム及び現在のフレームにおける対応する中心ピクセルと、それらをつなげており、補間されるフレームの各ブロックの中心点が通る動作軌道とを決定する。補間されるブロックのものと同じサイズのブロックが、前のフレーム及び現在のフレーム内で見い出されるピクセルの中心の周りに構築される。１つの実施例では、この構築されたブロックは、オーバーラップするかもしれない。別の実施例では、この構築されたブロックは、オーバーラップしないかもしれない。更に別の実施例では、この構築されたブロックは、オーバーラップするかもしれないし、オーバーラップしないかもしれない。
再び図７に示すように、ステップ７０４では、補間されるフレームにおけるオーバーラップしないブロックの各々について、シード双方向動作予測モジュール４２４によって、中心ピクセルの動作ベクトルが決定される。この中心ピクセルの動作ベクトルは、図６のシード動作ベクトル６２０によって示される。そして、処理は、ステップ７０６に続く。
ステップ７０６では、双方向動作予測モジュール４２４が、前のフレーム及び現在のフレームのブロックの中心点を決定する。前のフレーム及び現在のフレームの各ブロックは、補間されるフレームにおけるオーバーラップしないブロックに相当する。補間されるブロックの中心点は、シード動作ベクトル６２０上にある。
ステップ７０８では、双方向動作探索が行われ、シード動作ベクトル６２０を中心とする正方向動作ベクトル及び逆方向動作ベクトルが発見される。この探索処理を図６を参照して説明する。図６には、現在のフレーム６０２、前のフレーム６０４、および補間されるフレーム６０８が示されている。１つの実施例では、探索エンジン６１８，６１６が、現在のフレーム及び前のフレームそれぞれにおいて、構築された各ブロック６１４，６１２の周りに適応して割り当てられる。そして、構築された各ブロックを中心とする現在のフレームおよび前のフレームの間で、双方向動作推定が実行される。現在のフレームから前のフレームまでの結果として得られる動作ベクトルは、正方向動作ベクトルと呼ばれる。この動作ベクトルは、現在のフレーム及び前のフレームからの補間されるフレームの距離と、予測された動作加速度モデルとに基づいてスケールされる。このスケールされ、補間されるブロックに割り当てられた動作ベクトルは、正方向動作ベクトルとしてラベルされる。同様に、逆方向動作ベクトルも、前のフレームから現在のフレームへ示される補間されるブロックに割り当てられる。図６に示すように、正方向動作ベクトルは、正方向動作ベクトル６２２によって示され、逆方向動作ベクトルは、逆方向動作ベクトル６２４として示される。したがって、正方向動作ベクトル６２２は、ある歪み指標を最小化することに関連して、探索領域６１６内にブロック６１４を対応させることによって得られる。１つの実施例では、最小化される歪み指標は、絶対値の合計（ＳＡＤ：sum of absolute value）かもしれない。別の実施例では、最小化される歪み指標は、二乗差の合計値（ＳＳＤ：sum of squared differences value）である。他の実施例では、統計及び人間の視覚体系（ＨＶＳ：human visual systems）ベースの指標のようなその他の歪み指標が使用される。同様に、探索領域６１８内にブロック６１２をマッチングさせることにより逆方向動作ベクトル６２４が得られる。１つの実施例では、この動作は、復号器における複雑さを低減し、必要な計算リソースを減らすために、補間されるフレーム中の「ホール」領域に限定されうる。
ステップ７１０では、第２の動作ベクトルプロセッサ４２６によって、ステップ７０８から生成され出力された動作ベクトルについて第２の動作ベクトル平滑化処理が行われる。１つの実施例では、２つの個別の動作ベクトルプロセッサが使用される。なぜなら、これらによって実行される入力（動作ベクトル場）及び機能は異なるからである。例えば、第２の動作ベクトルプロセッサ４２６が、これらの機能を実行しない間、動作ベクトルプロセッサ４２２は、上述したような動作ベクトルスケーリング及びマージ機能を実行する。１つの実施例では、第２の動作ベクトルプロセッサ４２６は、入力された全ての動作ベクトルについて３×３メジアンフィルタリングを行なう。ここでは、現在のブロックの近隣にある８つのブロックの動作ベクトルが、メジアン演算によって、現在のブロックの動作ベクトルと結合される。別の実施例では、動作ベクトルプロセッサ４２２が、動作ベクトルプロセッサ４２６によって提供される機能を実行することができるので、第２の動作ベクトル処理ステップを提供するために、同じハードウェアが使用されうる。第２の動作ベクトル平滑化処理が行なわれた後、処理はステップ７１２に続く。
動作ベクトル処理の第２段階は、例えば正方向動作ベクトル６２２及び逆方向動作ベクトル６２４のように、双方向動作予測モジュール４２４から得られる補間されるフレームの正方向動作ベクトル及び逆方向動作ベクトルの両方に適用される。平滑化された動作ベクトルは、動作補償補間ステップで使用される。歪み基準に基づいて、以下に示すように、補間されるブロックについてモードを決定することができる。双方向補償のために、適応フィルタを構築することができる。１つの実施例では、最も簡単なフィルタは、両線形フィルタである。他の実施例では、別のフィルタが使用されてもよい。
ステップ７１２では、モード決定モジュール４２８が、次のステップの特定のブロックのためにどの動作ベクトルが使用されるべきかを決定する。１つの実施例では、正方向動作ベクトルのみが使用される。別の実施例では、逆方向動作ベクトルのみが使用される。また別の実施例では、正方向動作ベクトルと逆方向動作ベクトルとが使用される。一般に、モード決定モジュール４２８は、以下に示す個々の規則、又はそれらの組み合わせに基づいて、どの動作ベクトルが使用されるのかを決定する。
１）各動作ベクトルに関連した歪み指標。例えば、各動作ベクトルがＳＡＤ値を持つ動作推定では、前述の歪み指標としてＳＡＤ値が使用されうる。この歪み指標を用いて、簡単な比較がなされ、どの動作ベクトルが使用されるのかが決定される。１つの実施例では、最小の歪み指標を持つ動作ベクトルが選択されるであろう。
２）コンテンツ分類情報。特に、１つの動作ベクトルの開始点及び終了点が、異なるコンテンツに属する場合には、この動作ベクトルは信頼できず、最終的なＦＲＵＣ補間処理のために用いられないであろう。
３）２つの（正方向及び逆方向）動作ベクトルが一列になること。これら２つの動作ベクトルが一列にならない場合は、両動作ベクトル補間を選択しないが、代わりに、より小さな歪み指標を持つ動作ベクトルを用いる。
ステップ７１４では、動作補償された補間（フレームレートアップコンバージョン）が、フレームレートアップコンバータユニット４３０によって行なわれる。１つの実施例では、この補間は、現在のフレームと前のフレームとの間に新しいフレームを生成する。別の実施例では、この補間は、Ｎ＞２ベースの場合、ＦＲＵＣで行われる。ここで、ＦＲＵＣユニット４３０は、コンテキスト／コンテンツ及び／又は一時的冗長性に従い、２より多いフレームの間で補間されるであろう。一般に、例えば、動作フィールドが規則的であり、ほぼ一定の形状を維持するような近隣フレームの間で、一時的冗長性が高い場合、より多くのフレームがスキップされ、補間されるＮ＞２個のフレームが、適切な知覚品質を保つことができる。通常、小さな動作（コンテキスト）、あるいは静止背景が支配的なシーケンス（例えばトークショークリップ）は、Ｎ＞２ ＦＲＵＣに対する良好な候補である。Ｎ＞２ ＦＲＵＣでは、Ｎ値は、エンコーダ側で適応して決定されるコンテンツでありうる。
ステップ７１６では、後処理ユニット４３２が、ステップ７１４からの補間されるフレームについて後処理動作を実行し、あらゆるブロッキング副作用を低減する。ＦＲＵＣアルゴリズムの最終段階は、ブロックベースの動作補償に関連付けられた潜在的なブロッキング副作用を削除するための、補間フレームの後処理である。１つの実施例では、オーバーラップしたブロック動作補償（ＯＢＭＣ：overlapped block motion compensation）が用いられる。別の実施例では、この目的のために、デブロッキングフィルタリングが使用される。補間されるフレームの生成は、このステップで完了する。
現在、アプリケーションは、一般に、ある形式又は別の形式のコンテンツの利用可能性、あるいはネットワーク又はオペレータ要求、あるいは複数のビデオ符号化技術（標準ベース及び独自仕様）の共存によって、複数のコーデックに対するサポートを必要とする。特に、ハンドヘルドなビデオ電話通信、ビデオカメラ、およびカムコーダーアプリケーションのような二方式通信及び双方向ビデオ通信の到来は、マルチメディアプロセッサ上へのビデオエンコーダおよびデコーダの両方の実装のニーズを生み出した。
ハードウェア技術の進歩により、ビデオ受信デバイスは、計算機能が強化されている。ハイエンドデバイスの中には、デコーダの内部に、動作予測ハードウェアモジュールを持っているものもある。これらの状況の下では、ＦＲＵＣ処理に動作予測を含むことによって、デコーダハードウェアリソースを最適利用し、補間されるフレームの視覚的品質を改良するだろう。
様々な実施例で記載したＦＲＵＣ処理の可能なアプリケーションは以下を含む。
１．低ビットレートアプリケーション用の受信機デバイスについて、一時的に分解能を増加させることにより、視覚体験を改良すること。
２．同じビデオ符号化規格の異なるレベル、又は異なる規格間のビデオフォーマットトランスコーディング。
ここで開示された実施例に関連して記述された方法やアルゴリズムのステップは、ハードウェアや、プロセッサによって実行されるソフトウェアモジュールや、これらの組み合わせによって直接的に具現化される。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、あるいは当該技術分野で知られているその他の型式の記憶媒体に収納されうる。好適な記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することもできる。あるいはこのプロセッサと記憶媒体は、ユーザ端末内のディスクリート部品として存在しうる。
ここで説明した方法は、当該技術分野における通常の熟練者のうちの何れかによって知られた様々な通信ハードウェア、プロセッサ、及びシステム上で実施されうることが注目されるべきである。例えば、ここで説明したように、クライアントが動作するための一般的な要件は、クライアントが、コンテンツを表示するためのディスプレイと、クライアントの動作を制御するためのプロセッサと、クライアントの動作に関連するプログラム及びデータを格納するためのメモリとを持つことである。１つの実施例では、クライアントは携帯電話である。別の実施例では、クライアントは、通信機能を有するハンドヘルドコンピュータである。更に別の実施例では、クライアントは、通信機能を有するパーソナルコンピュータである。更に、ここで説明したような様々な実施例を実現するために、例えばＧＰＳ受信機のようなハードウェアが必要に応じてクライアント内に組み込まれうる。ここで開示された実施例に関連して記述された様々の説明的論理回路、論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、又は上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。
プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
ここで開示された実施例に関連して記述された様々の説明的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションに固有の集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）あるいはその他のプログラマブル論理デバイス、 ディスクリートゲートあるいはトランジスタロジック、 ディスクリートハードウェア部品、 又は上述された機能を実現するために設計された上記何れかの組み合わせを 用いて実現又は実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。
プロセッサは、たとえばＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアに接続された１つ以上のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
ここで説明した実施例は、典型的な実施例である。当該技術分野における熟練者は、ここで開示した発明的概念から逸脱することなく、上述した実施例の、及び上述した実施例から発する多くを活用することができる。これらの実施例への様々な変形例もまた、当該技術分野における熟練者に対しては明らかであって、ここで定義された一般的な原理は、本発明の主旨または範囲を逸脱せずに、例えばインスタントメッセージングサービスや任意の一般的な無線データ通信アプリケーションにおける他の実施例にも適用されうる。このように、本発明の範囲は、ここで示された実施例に制限されるものではなく、ここで記載された原理と新規の特徴に一致した最も広い範囲に相当するものを意図している。用語「典型的」は、ここでは、「例、インスタンス、あるいは実例となる」ことを意味するために限定的に用いられる。ここで「典型的」と記載されたあらゆる実施例は、他の実施例よりも好適であるとか、有利であるとか必ずしも解釈される必要はない。

Claims (54)

  1. 現在のビデオフレーム、少なくとも１つの前のビデオフレーム、および送信された１セットの動作ベクトルを使用するビデオフレーム補間方法を実施するように構成された少なくとも１つのプロセッサであって、前記方法は、
    前記送信された１セットの動作ベクトルの関数として、コンテンツ情報に基づいて、第１のセットの動作ベクトルを生成することと、
    複数のオーバーラップしないブロックを持つ中間ビデオフレームを識別することと、
    オーバーラップしないブロックにそれぞれ、前記第１のセットの動作ベクトルから選択された少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成することと、
    第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成することと、
    前記第２のセットの動作ベクトルのどの動作ベクトルが使用されるのかを、各動作ベクトルに関連した歪み指標またはコンテンツ分類情報に基づいて決定し、決定された動作ベクトルを用いてビデオフレームを生成することと
    を含み、
    前記少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成することは、前記オーバーラップしないブロックの中心を通るシード動作ベクトルを決定することを含み、
    前記第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成することは、歪み指標に従って、前記シード動作ベクトルに基づいて、動作ベクトル探索を実行して、正方向動作ベクトルおよび逆方向動作ベクトルを備える前記第２のセットの動作ベクトルを生成することを含む
    少なくとも１つのプロセッサ。
  2. 前記送信された１セットの動作ベクトルの関数として、前記第１のセットの動作ベクトルを生成することは、
    前記送信された１セットの動作ベクトルを、第１の部分の動作ベクトルと、第２の部分の動作ベクトルとに分割することと、
    前記第１の部分の動作ベクトルを、前記第２の部分のベクトルの関数として修正することと
    を含む請求項１に記載の少なくとも１つのプロセッサ。
  3. 前記シード動作ベクトルに基づいて、前記動作ベクトル探索を実行することは、
    前記正方向動作ベクトルおよび逆方向動作ベクトルの開始点および終了点が異なるコンテンツ・クラスに属する場合、前記正方向動作ベクトルおよび逆方向動作ベクトル以外の動作ベクトルを選択することと、
    前記正方向動作ベクトルおよび逆方向動作ベクトルが一列にならない場合、前記正方向動作ベクトルおよび前記逆方向動作ベクトルのうち、より小さな歪み指標を有する１つを選択することと
    を含む請求項１に記載の少なくとも１つのプロセッサ。
  4. 前記動作ベクトル探索を実行することは、
    少なくとも１つの前のビデオフレームにおいて前のビデオフレーム探索ブロックを構築することと、
    第１の探索範囲を、前記現在のビデオフレームの一部に割り当てることと、
    第１の予め定めた基準に基づいて、前記第１の探索範囲において、前記前のビデオフレーム探索ブロックに対する第１のマッチングブロックの探索を実行することと
    を含む請求項３に記載の少なくとも１つのプロセッサ。
  5. 前記動作ベクトル探索を実行することは、
    前記現在のビデオフレームにおいて現在のビデオフレーム探索ブロックを構築することと、
    第２の探索範囲を、前記少なくとも１つの前のビデオフレームの一部に割り当てることと、
    第２の予め定めた基準に基づいて、前記第２の探索範囲において、前記現在のビデオフレーム探索ブロックに対する第２のマッチングブロックの探索を実行することと
    を含む請求項４に記載の少なくとも１つのプロセッサ。
  6. 前記動作ベクトル探索を実行することは、前記第１のマッチングブロックに基づいて第１の動作ベクトルを決定することを含む請求項４に記載の少なくとも１つのプロセッサ。
  7. 前記第１の予め定めた基準は、歪み指標に基づく請求項４に記載の少なくとも１つのプロセッサ。
  8. 前記第１の予め定めた基準は、前記歪み指標を最小化することに基づく請求項７に記載の少なくとも１つのプロセッサ。
  9. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの絶対差の合計に基づく請求項７に記載の少なくとも１つのプロセッサ。
  10. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの二乗差の合計に基づく請求項７に記載の少なくとも１つのプロセッサ。
  11. 前記歪み指標は、人間の視覚体系ベースの指標に基づく請求項７に記載の少なくとも１つのプロセッサ。
  12. 前記歪み指標は、統計に基づく請求項７に記載の少なくとも１つのプロセッサ。
  13. 前記送信された１セットの動作ベクトルは、複数の現在のフレーム動作ベクトルと、複数の前のフレーム動作ベクトルとを含む請求項１に記載の少なくとも１つのプロセッサ。
  14. 現在のビデオフレーム、少なくとも１つの前のビデオフレーム、および送信された１セットの動作ベクトルを使用するビデオフレーム補間方法であって、
    前記送信された１セットの動作ベクトルの関数として、コンテンツ情報に基づいて、第１のセットの動作ベクトルを生成することと、
    複数のオーバーラップしないブロックを持つ中間ビデオフレームを識別することと、
    オーバーラップしないブロックにそれぞれ、前記第１のセットの動作ベクトルから選択された少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成することと、
    第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成することと、
    前記第２のセットの動作ベクトルのどの動作ベクトルが使用されるのかを、各動作ベクトルに関連した歪み指標またはコンテンツ分類情報に基づいて決定し、決定された動作ベクトルを用いてビデオフレームを生成することと
    を含み、
    前記少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成することは、前記オーバーラップしないブロックの中心を通るシード動作ベクトルを決定することを含み、
    前記第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成することは、歪み指標に従って、前記シード動作ベクトルに基づいて、動作ベクトル探索を実行して、正方向動作ベクトルおよび逆方向動作ベクトルを備える前記第２のセットの動作ベクトルを生成すること
    を含む方法。
  15. 前記送信された１セットの動作ベクトルの関数として、前記第１のセットの動作ベクトルを生成することは、
    前記送信された１セットの動作ベクトルを、第１の部分の動作ベクトルと、第２の部分の動作ベクトルとに分割することと、
    前記第１の部分の動作ベクトルを、前記第２の部分のベクトルの関数として修正することと
    を含む請求項１４に記載のビデオフレーム補間方法。
  16. 前記シード動作ベクトルを決定することは、前記オーバーラップしないブロックの中心を通る動作ベクトルを決めることを含む請求項１４に記載のビデオフレーム補間方法。
  17. 前記シード動作ベクトルに基づいて、前記動作ベクトル探索を実行することは、
    前記正方向動作ベクトルおよび逆方向動作ベクトルの開始点および終了点が異なるコンテンツ・クラスに属する場合、前記正方向動作ベクトルおよび逆方向動作ベクトル以外の動作ベクトルを選択することと、
    前記正方向動作ベクトルおよび逆方向動作ベクトルが一列にならない場合、前記正方向動作ベクトルおよび前記逆方向動作ベクトルのうち、より小さな歪み指標を有する１つを選択することと
    を含む請求項１４に記載のビデオフレーム補間方法。
  18. 前記動作ベクトル探索を実行することは、
    前記少なくとも１つの前のビデオフレームにおいて前のビデオフレーム探索ブロックを構築することと、
    第１の探索範囲を、前記現在のビデオフレームの一部に割り当てることと、
    第１の予め定めた基準に基づいて、前記第１の探索範囲において、前記前のビデオフレーム探索ブロックに対する第１のマッチングブロックの探索を実行することと
    を含む請求項１７に記載のビデオフレーム補間方法。
  19. 前記動作ベクトル探索を実行することは、
    前記現在のビデオフレームにおいて現在のビデオフレーム探索ブロックを構築することと、
    第２の探索範囲を、前記少なくとも１つの前のビデオフレームの一部に割り当てることと、
    第２の予め定めた基準に基づいて、前記第２の探索範囲において、前記現在のビデオフレーム探索ブロックに対する第２のマッチングブロックの探索を実行することと
    を含む請求項１８に記載のビデオフレーム補間方法。
  20. 前記動作ベクトル探索を実行することは、前記第１のマッチングブロックに基づいて第１の動作ベクトルを決定することを含む請求項１８に記載のビデオフレーム補間方法。
  21. 前記第１の予め定めた基準は、歪み指標に基づく請求項１８に記載のビデオフレーム補間方法。
  22. 前記第１の予め定めた基準は、前記歪み指標を最小化することに基づく請求項２１に記載のビデオフレーム補間方法。
  23. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの絶対差の合計に基づく請求項２１に記載のビデオフレーム補間方法。
  24. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの二乗差の合計に基づく請求項２１に記載のビデオフレーム補間方法。
  25. 前記歪み指標は、人間の視覚体系ベースの指標に基づく請求項２１に記載のビデオフレーム補間方法。
  26. 前記歪み指標は、統計に基づく請求項２１に記載のビデオフレーム補間方法。
  27. 前記送信された１セットの動作ベクトルは、複数の現在のフレーム動作ベクトルと、複数の前のフレーム動作ベクトルとを含む請求項１４に記載のビデオフレーム補間方法。
  28. プロセッサによって実行された場合、現在のビデオフレーム、少なくとも１つの前のビデオフレーム、および送信された１セットの動作ベクトルを使用するビデオフレーム補間方法を前記プロセッサに実施させる格納済命令を有するコンピュータ読取可能媒体であって、前記方法は、
    前記送信された１セットの動作ベクトルの関数として、コンテンツ情報に基づいて、第１のセットの動作ベクトルを生成することと、
    複数のオーバーラップしないブロックを持つ中間ビデオフレームを識別することと、
    オーバーラップしないブロックにそれぞれ、前記第１のセットの動作ベクトルから選択された少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成することと、
    第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成することと、
    前記第２のセットの動作ベクトルのどの動作ベクトルが使用されるのかを、各動作ベクトルに関連した歪み指標またはコンテンツ分類情報に基づいて決定し、決定された動作ベクトルを用いてビデオフレームを生成することと
    を含み、
    前記少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成することは、前記オーバーラップしないブロックの中心を通るシード動作ベクトルを決定することを含み、
    前記第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成することは、歪み指標に従って、前記シード動作ベクトルに基づいて、動作ベクトル探索を実行して、正方向動作ベクトルおよび逆方向動作ベクトルを備える前記第２のセットの動作ベクトルを生成すること
    を含むコンピュータ読取可能媒体。
  29. 前記送信された１セットの動作ベクトルの関数として、前記第１のセットの動作ベクトルを生成することは、
    前記送信された１セットの動作ベクトルを、第１の部分の動作ベクトルと、第２の部分の動作ベクトルとに分割することと、
    前記第１の部分の動作ベクトルを、前記第２の部分のベクトルの関数として修正することと
    を含む請求項２８に記載のコンピュータ読取可能媒体。
  30. 前記シード動作ベクトルを決定することは、前記オーバーラップしないブロックの中心を通る動作ベクトルを決めることを含む請求項２８に記載のコンピュータ読取可能媒体。
  31. 前記シード動作ベクトルに基づいて、前記動作ベクトル探索を実行することは、
    前記正方向動作ベクトルおよび逆方向動作ベクトルの開始点および終了点が異なるコンテンツ・クラスに属する場合、前記正方向動作ベクトルおよび逆方向動作ベクトル以外の動作ベクトルを選択することと、
    前記正方向動作ベクトルおよび逆方向動作ベクトルが一列にならない場合、前記正方向動作ベクトルおよび前記逆方向動作ベクトルのうち、より小さな歪み指標を有する１つを選択することと
    を含む請求項２８に記載のコンピュータ読取可能媒体。
  32. 前記動作ベクトル探索を実行することは、
    前記少なくとも１つの前のビデオフレームにおいて前のビデオフレーム探索ブロックを構築することと、
    第１の探索範囲を、前記現在のビデオフレームの一部に割り当てることと、
    第１の予め定めた基準に基づいて、前記第１の探索範囲において、前記前のビデオフレーム探索ブロックに対する第１のマッチングブロックの探索を実行することと
    を含む請求項３１に記載のコンピュータ読取可能媒体。
  33. 前記動作ベクトル探索を実行することは、
    前記現在のビデオフレームにおいて現在のビデオフレーム探索ブロックを構築することと、
    第２の探索範囲を、前記少なくとも１つの前のビデオフレームの一部に割り当てることと、
    第２の予め定めた基準に基づいて、前記第２の探索範囲において、前記現在のビデオフレーム探索ブロックに対する第２のマッチングブロックの探索を実行することと
    を含む請求項３２に記載のコンピュータ読取可能媒体。
  34. 前記動作ベクトル探索を実行することは、 前記第１のマッチングブロックに基づいて第１の動作ベクトルを決定することを含む請求項３２に記載のコンピュータ読取可能媒体。
  35. 前記第１の予め定めた基準は、歪み指標に基づく請求項３２に記載のコンピュータ読取可能媒体。
  36. 前記第１の予め定めた基準は、前記歪み指標を最小化することに基づく請求項３５に記載のコンピュータ読取可能媒体。
  37. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの絶対差の合計に基づく請求項３５に記載のコンピュータ読取可能媒体。
  38. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの二乗差の合計に基づく請求項３５に記載のコンピュータ読取可能媒体。
  39. 前記歪み指標は、人間の視覚体系ベースの指標に基づく請求項３５に記載のコンピュータ読取可能媒体。
  40. 前記歪み指標は、統計に基づく請求項３５に記載のコンピュータ読取可能媒体。
  41. 前記送信された１セットの動作ベクトルは、複数の現在のフレーム動作ベクトルと、複数の前のフレーム動作ベクトルとを含む請求項２８に記載のコンピュータ読取可能媒体。
  42. 現在のビデオフレーム、少なくとも１つの前のビデオフレーム、および送信された１セットの動作ベクトルを使用するビデオフレーム補間のための装置であって、
    前記送信された１セットの動作ベクトルの関数として、コンテンツ情報に基づいて、第１のセットの動作ベクトルを生成する手段と、
    複数のオーバーラップしないブロックを持つ中間ビデオフレームを識別する手段と、
    オーバーラップしないブロックにそれぞれ、前記第１のセットの動作ベクトルから選択された少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成する手段と、
    第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成する手段と、
    前記第２のセットの動作ベクトルのどの動作ベクトルが使用されるのかを、各動作ベクトルに関連した歪み指標またはコンテンツ分類情報に基づいて決定し、決定された動作ベクトルを用いてビデオフレームを生成する手段と
    を備え、
    前記少なくとも１つの動作ベクトルを割り当て、前記割り当てられた１セットの動作ベクトルを生成する手段は、
    前記オーバーラップしないブロックの中心を通るシード動作ベクトルを決定する手段を含み、
    前記第２のセットの動作ベクトルを、前記割り当てられた１セットの動作ベクトルの関数として生成する手段は、歪み指標に従って、前記シード動作ベクトルに基づいて、動作ベクトル探索を実行して、正方向動作ベクトルおよび逆方向動作ベクトルを備える前記第２のセットの動作ベクトルを生成する手段
    を備えた装置。
  43. 前記送信された１セットの動作ベクトルの関数として、前記第１のセットの動作ベクトルを生成する手段は、
    前記送信された１セットの動作ベクトルを、第１の部分の動作ベクトルと、第２の部分の動作ベクトルとに分割する手段と、
    前記第１の部分の動作ベクトルを、前記第２の部分のベクトルの関数として修正する手段と
    を備えた請求項４２に記載のビデオフレーム補間のための装置。
  44. 前記シード動作ベクトルに基づいて、前記動作ベクトル探索を実行する手段は、
    前記正方向動作ベクトルおよび逆方向動作ベクトルの開始点および終了点が異なるコンテンツ・クラスに属する場合、前記正方向動作ベクトルおよび逆方向動作ベクトル以外の動作ベクトルを選択する手段と、
    前記正方向動作ベクトルおよび逆方向動作ベクトルが一列にならない場合、前記正方向動作ベクトルおよび前記逆方向動作ベクトルのうち、より小さな歪み指標を有する１つを選択する手段と
    を備えた請求項４２に記載のビデオフレーム補間のための装置。
  45. 前記動作ベクトル探索を実行する手段は、
    前記少なくとも１つの前のビデオフレームにおいて前のビデオフレーム探索ブロックを構築する手段と、
    第１の探索範囲を、前記現在のビデオフレームの一部に割り当てる手段と、
    第１の予め定めた基準に基づいて、前記第１の探索範囲において、前記前のビデオフレーム探索ブロックに対する第１のマッチングブロックの探索を実行する手段と
    を備えた請求項４４に記載のビデオフレーム補間のための装置。
  46. 前記動作ベクトル探索を実行する手段は、
    前記現在のビデオフレームにおいて現在のビデオフレーム探索ブロックを構築する手段と、
    第２の探索範囲を、前記少なくとも１つの前のビデオフレームの一部に割り当てる手段と、
    第２の予め定めた基準に基づいて、前記第２の探索範囲において、前記現在のビデオフレーム探索ブロックに対する第２のマッチングブロックの探索を実行する手段と
    を備えた請求項４５に記載のビデオフレーム補間のための装置。
  47. 前記動作ベクトル探索を実行する手段は、 前記第１のマッチングブロックに基づいて第１の動作ベクトルを決定する手段を備えた請求項４５に記載のビデオフレーム補間のための装置。
  48. 前記第１の予め定めた基準は、歪み指標に基づく請求項４５に記載のビデオフレーム補間のための装置。
  49. 前記第１の予め定めた基準は、前記歪み指標を最小化することに基づく請求項４８に記載のビデオフレーム補間のための装置。
  50. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの絶対差の合計に基づく請求項４８に記載のビデオフレーム補間のための装置。
  51. 前記歪み指標は、前記第１のマッチングブロックと前記前のビデオフレーム探索ブロックとの二乗差の合計に基づく請求項４８に記載のビデオフレーム補間のための装置。
  52. 前記歪み指標は、人間の視覚体系ベースの指標に基づく請求項４８に記載のビデオフレーム補間のための装置。
  53. 前記歪み指標は、統計に基づく請求項４８に記載のビデオフレーム補間のための装置。
  54. 前記送信された１セットの動作ベクトルは、複数の現在のフレーム動作ベクトルと、複数の前のフレーム動作ベクトルとを含む請求項４２に記載のビデオフレーム補間のための装置。
JP2010228530A 2004-05-04 2010-10-08 動作補償されたフレームレートアップコンバージョンのための方法および装置 Expired - Fee Related JP5174117B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US56832804P 2004-05-04 2004-05-04
US60/568,328 2004-05-04
US66467905P 2005-03-22 2005-03-22
US60/664,679 2005-03-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007511532A Division JP2007536817A (ja) 2004-05-04 2005-05-04 動作補償されたフレームレートアップコンバージョンのための方法および装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011231771A Division JP2012075121A (ja) 2004-05-04 2011-10-21 動作補償されたフレームレートアップコンバージョンのための方法および装置

Publications (2)

Publication Number Publication Date
JP2011061811A JP2011061811A (ja) 2011-03-24
JP5174117B2 true JP5174117B2 (ja) 2013-04-03

Family

ID=34968959

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2007511532A Withdrawn JP2007536817A (ja) 2004-05-04 2005-05-04 動作補償されたフレームレートアップコンバージョンのための方法および装置
JP2010228530A Expired - Fee Related JP5174117B2 (ja) 2004-05-04 2010-10-08 動作補償されたフレームレートアップコンバージョンのための方法および装置
JP2011231771A Pending JP2012075121A (ja) 2004-05-04 2011-10-21 動作補償されたフレームレートアップコンバージョンのための方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007511532A Withdrawn JP2007536817A (ja) 2004-05-04 2005-05-04 動作補償されたフレームレートアップコンバージョンのための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011231771A Pending JP2012075121A (ja) 2004-05-04 2011-10-21 動作補償されたフレームレートアップコンバージョンのための方法および装置

Country Status (9)

Country Link
US (1) US8369405B2 (ja)
EP (1) EP1747678B1 (ja)
JP (3) JP2007536817A (ja)
KR (1) KR100955161B1 (ja)
CN (1) CN103826133B (ja)
AR (1) AR048886A1 (ja)
CA (1) CA2565670A1 (ja)
TW (1) TW200607355A (ja)
WO (1) WO2005109899A1 (ja)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2370909C2 (ru) * 2004-07-01 2009-10-20 Квэлкомм Инкорпорейтед Способ и устройство для использования способов преобразования кадров с повышением частоты кадров при кодировании масштабируемого видео
AU2005267171A1 (en) * 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
JP2007067731A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 符号化方法
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction
US20070139543A1 (en) * 2005-12-16 2007-06-21 General Instrument Corporation Auto-adaptive frame rate for improved light sensitivity in a video system
KR100870115B1 (ko) * 2005-12-21 2008-12-10 주식회사 메디슨 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
CN101375315B (zh) 2006-01-27 2015-03-18 图象公司 数字重制2d和3d运动画面以呈现提高的视觉质量的方法和系统
KR101187787B1 (ko) * 2006-02-18 2012-10-05 삼성전자주식회사 키 프레임을 이용하여 동영상을 검색하는 방법 및 장치
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
EP2160037A3 (en) 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
GB0618323D0 (en) * 2006-09-18 2006-10-25 Snell & Wilcox Ltd Method and apparatus for interpolating an image
JP4869045B2 (ja) * 2006-11-30 2012-02-01 株式会社東芝 補間フレーム作成方法および補間フレーム作成装置
CN100493192C (zh) * 2006-12-01 2009-05-27 清华大学 一种h.264解码器的运动补偿插值方法
JP4869049B2 (ja) * 2006-12-08 2012-02-01 株式会社東芝 補間フレーム画像作成方法および補間フレーム画像作成装置
CA2674438C (en) * 2007-01-08 2013-07-09 Nokia Corporation Improved inter-layer prediction for extended spatial scalability in video coding
US8498495B2 (en) * 2007-01-26 2013-07-30 Telefonaktiebolaget Lm Ericsson (Publ) Border region processing in images
KR100809354B1 (ko) * 2007-02-02 2008-03-05 삼성전자주식회사 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
KR100846802B1 (ko) * 2007-02-14 2008-07-16 삼성전자주식회사 동영상 프레임의 디코딩 방법 및 인코딩 방법
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
JP2008244846A (ja) * 2007-03-27 2008-10-09 Toshiba Corp フレーム補間装置及びその方法
TWI342714B (en) * 2007-05-16 2011-05-21 Himax Tech Ltd Apparatus and method for frame rate up conversion
US8325271B2 (en) * 2007-06-12 2012-12-04 Himax Technologies Limited Method of frame interpolation for frame rate up-conversion
US8605786B2 (en) * 2007-09-04 2013-12-10 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
US20090180033A1 (en) * 2008-01-11 2009-07-16 Fang-Chen Chang Frame rate up conversion method and apparatus
TWI384884B (zh) * 2008-01-11 2013-02-01 Ultrachip Inc 彩色動態影像格式檔顯示方法
US9185426B2 (en) * 2008-08-19 2015-11-10 Broadcom Corporation Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US20100046623A1 (en) * 2008-08-19 2010-02-25 Chen Xuemin Sherman Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams
US8259225B2 (en) * 2008-08-20 2012-09-04 Samsung Electronics Co., Ltd. System and method for reducing visible halo in digital video with dual motion estimation
KR101493325B1 (ko) * 2008-09-03 2015-02-16 삼성전자주식회사 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법
KR101498124B1 (ko) 2008-10-23 2015-03-05 삼성전자주식회사 움직임 궤적을 이용한 프레임률 향상 장치 및 방법
US20100111181A1 (en) * 2008-11-06 2010-05-06 Mediatek Inc. Video processing apparatus and methods
JP5225172B2 (ja) * 2009-03-30 2013-07-03 株式会社東芝 画像処理装置
JP5263967B2 (ja) * 2009-06-10 2013-08-14 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 動画ストリーム処理装置及び動画ストリーム処理プログラム
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
TWI408621B (zh) * 2009-11-17 2013-09-11 Mstar Semiconductor Inc 影像插補處理裝置及其方法
WO2011094871A1 (en) * 2010-02-05 2011-08-11 Sensio Technologies Inc. Method and apparatus of frame interpolation
WO2011121227A1 (fr) * 2010-03-31 2011-10-06 France Telecom Procedes et dispositifs de codage et de decodage d'une sequence d'images mettant en œuvre une prediction par compensation de mouvement avant, flux et programme d'ordinateur correspondants
US8537283B2 (en) * 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
US8855205B2 (en) * 2010-05-26 2014-10-07 Newratek Inc. Method of predicting motion vectors in video codec in which multiple references are allowed, and motion vector encoding/decoding apparatus using the same
TR201010080A2 (tr) * 2010-12-03 2012-06-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret A.Ş. Görüntü karesi hız artırımı uygulamaları için hareket kestirim yöntemi.
US9071851B2 (en) 2011-01-10 2015-06-30 Qualcomm Incorporated Adaptively performing smoothing operations
KR101756842B1 (ko) * 2011-08-29 2017-07-12 삼성전자주식회사 영상 프레임의 보간 방법 및 장치
US9571833B2 (en) 2011-11-04 2017-02-14 Nokia Technologies Oy Method for coding and an apparatus
JP2013098961A (ja) * 2011-11-07 2013-05-20 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置及び方法
TW201322768A (zh) * 2011-11-24 2013-06-01 Novatek Microelectronics Corp 在動態影像中搜尋移動小物體的方法
JP2014086813A (ja) * 2012-10-22 2014-05-12 Nippon Hoso Kyokai <Nhk> フレーム補間装置及びプログラム
US9813730B2 (en) * 2013-12-06 2017-11-07 Mediatek Inc. Method and apparatus for fine-grained motion boundary processing
CN104219533B (zh) * 2014-09-24 2018-01-12 苏州科达科技股份有限公司 一种双向运动估计方法和视频帧率上转换方法及系统
CN105517671B (zh) * 2015-05-25 2020-08-14 北京大学深圳研究生院 一种基于光流法的视频插帧方法及系统
CN105100807B (zh) * 2015-08-28 2018-11-13 山东大学 一种基于运动矢量后处理的帧率提升方法
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
CN114727114B (zh) 2018-09-21 2024-04-09 华为技术有限公司 运动矢量的确定方法和装置
CN110944209B (zh) * 2018-09-21 2022-03-04 华为技术有限公司 运动矢量的确定方法和装置
CN111541854B (zh) * 2020-04-17 2021-07-27 Oppo广东移动通信有限公司 运动矢量拟合、帧率转换方法及装置和电子设备
US12568184B2 (en) 2020-07-30 2026-03-03 Nvidia Corporation Techniques to generate interpolated video frames
US20220038653A1 (en) * 2020-07-30 2022-02-03 Nvidia Corporation Techniques to generate interpolated video frames
CN113556581B (zh) * 2021-07-20 2023-11-03 深圳市爱协生科技股份有限公司 插值帧的生成方法、装置及电子设备

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
GB2050109B (en) 1979-05-08 1984-01-25 British Broadcasting Corp Television display system
JPH0317883A (ja) 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
EP0701760B1 (en) 1993-06-01 1997-09-17 THOMSON multimedia Method and apparatus for motion compensated interpolation
JP2900983B2 (ja) 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
EP0840982B1 (en) 1996-05-24 2002-02-13 Koninklijke Philips Electronics N.V. Motion estimation
WO1997046020A2 (en) 1996-05-24 1997-12-04 Philips Electronics N.V. Motion vector processing
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
CN1170268C (zh) 1996-11-07 2004-10-06 松下电器产业株式会社 声音编码或解码装置及方法
US6043846A (en) 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
JP4092778B2 (ja) * 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
JP4083266B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6618439B1 (en) 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
US6625333B1 (en) 1999-08-06 2003-09-23 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre Method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
WO2001033864A1 (en) 1999-10-29 2001-05-10 Koninklijke Philips Electronics N.V. Video encoding-method
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
WO2001088852A2 (en) 2000-05-18 2001-11-22 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensared picture rate up-conversion
EP1296525A4 (en) 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE CODE AND PICTURE CODING PROCESS
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
US8374465B2 (en) 2002-02-28 2013-02-12 Entropic Communications, Inc. Method and apparatus for field rate up-conversion
KR100850705B1 (ko) 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7386049B2 (en) 2002-05-29 2008-06-10 Innovation Management Sciences, Llc Predictive interpolation of a video signal
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
KR20050042494A (ko) 2002-09-11 2005-05-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 코딩 방법 및 장치
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
RU2370909C2 (ru) 2004-07-01 2009-10-20 Квэлкомм Инкорпорейтед Способ и устройство для использования способов преобразования кадров с повышением частоты кадров при кодировании масштабируемого видео
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
AU2005267171A1 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
KR100703744B1 (ko) 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Also Published As

Publication number Publication date
EP1747678B1 (en) 2015-01-07
WO2005109899A1 (en) 2005-11-17
KR20070011563A (ko) 2007-01-24
CA2565670A1 (en) 2005-11-17
EP1747678A1 (en) 2007-01-31
JP2011061811A (ja) 2011-03-24
AR048886A1 (es) 2006-06-07
CN103826133B (zh) 2017-11-24
KR100955161B1 (ko) 2010-04-28
JP2007536817A (ja) 2007-12-13
US8369405B2 (en) 2013-02-05
JP2012075121A (ja) 2012-04-12
CN103826133A (zh) 2014-05-28
US20050265451A1 (en) 2005-12-01
TW200607355A (en) 2006-02-16

Similar Documents

Publication Publication Date Title
JP5174117B2 (ja) 動作補償されたフレームレートアップコンバージョンのための方法および装置
US9258519B2 (en) Encoder assisted frame rate up conversion using various motion models
JP5619692B2 (ja) より正確な動き情報を用いたフレーム補間
CN110636312B (zh) 视频编解码方法和装置及存储介质
JP5579936B2 (ja) 最適化されたデブロッキングフィルタ
KR20010043410A (ko) 비디오 프레임 속도를 증가시키기 위한 방법 및 장치
MX2007000254A (es) Metodo y aparato para utilizar tecnicas de conversion ascendente de indice de cuadro en codificacion de video que se puede escalar.
CN101023677A (zh) 以多个参考帧以及可变块尺寸的帧速率上变换方法和装置
Zhang et al. A spatio-temporal auto regressive model for frame rate upconversion
CN110545433B (zh) 视频编解码方法和装置及存储介质
CN110753231A (zh) 多通道视频处理系统的方法与装置
US10080032B2 (en) Lossy channel video blur avoidance
CN1981536A (zh) 运动补偿帧速率上调方法和设备
HK1103898A (en) Method and apparatus for motion compensated frame rate up conversion
Anantrasirichai et al. Spatiotemporal super-resolution for low bitrate H. 264 video
CN118975230A (zh) 共位参考帧的运动细化
JP6071618B2 (ja) 画像処理装置及びプログラム
HK40018345A (en) Method, apparatus, and storage medium for encoding and decoding video
JP2007013398A (ja) ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器
JP2016207084A (ja) 映像品質評価装置、移動体端末、映像品質評価方法、およびプログラム

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110527

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111021

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111031

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20111125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121227

LAPS Cancellation because of no payment of annual fees