JP7088606B2 - 動画処理方法、画像処理装置、プログラム、符号化デバイス、及び復号化デバイス - Google Patents

Description

著作権の宣言
本特許文書により開示される内容には著作権により保護される資料が含まれる。当該著作権は、著作権者により所有される。著作権者は、いかなる者が特許商標局の公式記録、及び公文書に存在する当該特許文書、又は当該特許の開示を複製することにも反対しない。

本出願は、画像処理分野に関し、特に、画像処理のための方法及び画像処理装置に関する。

ここ数年、携帯型デバイス、ハンディ型デバイス、及びウェアラブルデバイスの流行により、動画の容量が増え続けている。動画形態がより複雑になるにつれて、動画の記憶と伝送もより難しくなっている。動画の記憶と伝送が占めるバンド幅を軽減するために、通常、符号化端で動画データを符号化圧縮し、復号化端で復号化する。

符号化圧縮過程は、予測、変換、定量化、及びエントロピー符号化などの処理を含む。ここで、予測は、フレーム内予測、及びフレーム間予測の二種類のタイプを含み、それは、予測ブロックデータを利用して現在の符号化対象画像ブロックの冗長情報を取り除くことを目的とする。フレーム内予測は、本フレーム画像の情報を利用して予測ブロックデータを取得する。フレーム間予測は、参照画像の情報を利用して予測ブロックデータを取得し、その過程は、現在の符号化対象画像を複数の符号化対象画像ブロックに分け、符号化対象画像ブロックを複数のサブ画像ブロックに分け、その後、各サブ画像ブロックに対して、参照画像において現在のサブ画像ブロックに最もマッチングする画像ブロックを検索して予測画像ブロックとし、予測画像ブロックと現在のサブ画像ブロックとの相対変位がすなわち動きベクトルである。その後、このサブ画像ブロックと予測画像ブロックとの対応画素値を引いて残差を得る。得られた各サブ画像ブロックに対応する残差を一体に組み合わせ、符号化対象画像ブロックの残差を得る。残差は、変換、定量化、エントロピー符号化などの処理の後、エントロピー符号化ビットストリームを得て、エントロピー符号化ビットストリーム、及び例えば、フレーム内予測モード、動きベクトル（又は動きベクトル残差）などの情報といった符号化後の符号化モード情報を記憶し、又は復号化端へ送信する。

画像の復号化端では、エントロピー符号化ビットストリームを得た後にエントロピー復号化し、対応する残差を得て、復号化により得られた動きベクトル、フレーム内予測などの情報に基づいて復号化対象画像ブロックに対応する予測画像ブロックを検索し、予測画像ブロックと残差に基づいて復号化対象画像ブロックにおける各画素点の値を得る。

以上の説明から、フレーム間予測を行う場合、選択された参照画像と現在の符号化対象画像が類似するほど、フレーム間予測により生じる残差が小さくなり、これによりフレーム間予測の符号化効率を高めることがわかる。具体的には、既存の技術では動画における各画像を利用してシーンを含む背景コンテンツの高品質な特定参照画像を構築できるものがある。フレーム間予測を行う場合、現在の符号化対象画像、又は現在の復号化対象画像の背景部分は、前記高品質な特定参照画像を参照して、フレーム間予測の残差情報を減らすことに用いることができ、これにより符号化効率を高める。つまり、この特定参照画像は、フレーム間予測の参照画像である。長期参照画像は、復号化済み画像ではなく、人工的に構築された画像である。長期参照画像には複数の画像ブロックが含まれ、いずれかの画像ブロックはいずれもある復号化済み画像から抽出されたものであり、長期参照画像における異なる画像ブロックは、異なる復号化済み画像からの可能性がある。

本文において、長期参照画像以外の参照画像、及び非長期参照画像はいずれも短期参照画像と呼ばれる。

符号化効率を高め、符号化端により送信される情報量を減らすために、既存の技術では復号化端において動きベクトルを直接、導出できるものがある。符号化端は動きベクトル情報、又は動きベクトル残差情報を送信する必要がなく、復号化端も動きベクトル情報、又は動きベクトル残差情報を復号化せずに真の動きベクトル得ることができる。

動きベクトルの導出を使用する既存の技術、及び双方向動き予測を使用する技術においては、長期参照画像の特殊性を考慮しないものがある。動きベクトルの導出を使用する技術には動きベクトルが指向する参照画像が長期参照画像であるか否かを考慮しないものがあり、動きベクトルの修正を行う場合に長期参照画像において動き検索を行う可能性があり、これによりかえって検索効率、及び符号化効率を低下させてしまう。双方向動き予測を使用する技術は、画像の時間相関性に基づいて動きベクトルを操作し、関連する動きベクトルが指向する参照画像が長期参照画像である場合、現在の符号化対象画像、又は現在の復号化対象画像と長期参照画像との時間距離の定義が不明確なので、これらの操作は失効する可能性がある。

本出願は、画像処理のための方法及び画像処理装置を提供し、符号化／復号化効率を高めることができる。

第１の態様では、画像処理のための方法を提供し、この方法は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が長期参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が短期参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、を含む。

第２の態様では、画像処理装置を提供し、この装置は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が長期参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が短期参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である。

第３の態様では、コンピュータで読み取り可能な記憶媒体を提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに第１の態様による画像処理のための方法を実行させる。

第４の態様では、第２の態様による画像処理装置を含む符号化デバイスを提供する。

第５の態様では、第２の態様による画像処理装置を含む復号化デバイスを提供する。

第６の態様では、画像処理のための方法を提供し、この方法は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが長期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも短期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配度に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、を含む。

第７の態様では、画像処理装置を提供し、この装置は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、操作は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが長期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも短期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配度に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、である。

第８の態様では、コンピュータで読み取り可能な記憶媒体を提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに第６の態様による画像処理のための方法を実行させる。

第９の態様では、第７の態様による画像処理装置を含む符号化デバイスを提供する。

第１０の態様では、第７の態様による画像処理装置を含む復号化デバイスを提供する。

本出願の一つの実施例の画像処理のための方法の概略的フローチャートである。 本出願の一つの実施例の双方向マッチング法の原理概略図である。 本出願の一つの実施例のテンプレートマッチング法の原理概略図である。 本出願の一つの実施例のＤＭＶＲ技術の原理概略図である。 本出願の他の一つの実施例の画像処理のための方法の概略的フローチャートである。 本出願の一つの実施例のＢＩＯ技術の原理概略図である。 本出願の一つの実施例の画像処理装置の概略的フレーム図である。 本出願の他の一つの実施例の画像処理装置の概略的フレーム図である。

以下に図面を踏まえて、本出願の実施例における技術的解決手段を説明する。

別途定義される場合を除き、本文に使用されるすべての技術用語及び学術用語は、当業者が通常理解する意味と同じである。本文においては、本出願の明細書で使用される技術用語は、具体的な実施例を説明する目的のために過ぎず、本出願を限定することを目的としていない。

まず本出願の実施例に関する関連する技術、及び概念を説明する。

動画とは、複数の画像からなるものである。動画を符号化／復号化する場合、動画における異なる画像は、異なる予測方法を採用できる。画像に基づいて採用される予測方法は、画像をフレーム内予測画像、及びフレーム間予測画像に分けることができ、ここでのフレーム間予測画像は、前方向予測画像、及び双方向予測画像を含む。Ｉ画像は、フレーム内予測画像であり、キーフレームともいい、Ｐ画像は、前方向予測画像であり、それ以前の符号化／復号化済みの一枚のＰ画像、又はＩ画像を参照画像とする。Ｂ画像は、双方向予測画像であり、前後の画像を参照画像とする。一実施形態は、符号化／復号化端が複数枚の画像を符号化／復号化した後に一段ずつのグループオブピクチャ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ、ＧＯＰ）を生成し、このＧＯＰは、一枚のＩ画像、及び複数枚のＢ画像（又は双方向予測画像）とＰ画像（又は前方向予測画像）とのうちの少なくとも一つからなるグループオブピクチャである。復号化端は、再生時に一段ずつのＧＯＰを読み取って復号化した後に画面を読取り、レンダリング表示する。

現代の動画符号化／復号化規格において、画像を複数の小さなブロックに分け、異なる解像度の画像について符号化／復号化することができ、つまり画像は、複数の画像ブロックに分けることができる。画像は、いずれかの数の画像ブロックに分けることができる。例えば、この画像は、ｍ×ｎ画像ブロック行列に分けることができる。画像ブロックは、矩形形状、正方形形状、円形形状、又はいずれかのその他の形状を有することができる。画像ブロックは、いずれかのサイズを有することができ、例えば、ｐ×ｑ画素である。各画像ブロックはいずれも同じサイズと形状とのうちの少なくとも一つを有することができる。代替可能には、二つ又はさらに多くの画像ブロックは異なるサイズと形状とのうちの少なくとも一つを有することができる。画像ブロックは、いずれかの重なり部分を有してもよいし、有しなくてもよい。いくつかの実施例において、この画像ブロックは、いくつかの符号化／復号化規格において、マクロブロック、又は最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ、ＬＣＵ）と呼ばれる。Ｈ．２６４規格について、この画像ブロックは、マクロブロックと呼ばれ、その大きさは、１６×１６画素であってもよい。高効率映像符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格について、画像ブロックは、最大符号化ユニットと呼ばれ、その大きさは、画素６４×６４画素であってもよい。

他のいくつかの実施例において、画像ブロックは、マクロブロック若しくは最大符号化ユニットでなくてもよく、マクロブロック若しくは最大符号化ユニットの一部を含み、又は少なくとも二つの完全なマクロブロック（若しくは最大符号化ユニット）を含み、又は少なくとも一つの完全なマクロブロック（若しくは最大符号化ユニット）と一つのマクロブロック（若しくは最大符号化ユニット）の一部を含み、又は少なくとも二つの完全なマクロブロック（若しくは最大符号化ユニット）といくつかのマクロブロック（若しくは最大符号化ユニット）の一部を含む。このように、画像が複数の画像ブロックに分けられた後、それぞれ画像データにおけるこれらの画像ブロックを符号化／復号化できる。

符号化過程は、予測、変換、定量化、及びエントロピー符号化などの処理を含む。ここで、予測は、フレーム内予測、及びフレーム間予測の二種類のタイプを含み、それは、予測ブロックデータを利用して現在の符号化対象画像ブロックの冗長情報を取り除くことを目的とする。フレーム内予測は、本フレーム画像の情報を利用して予測ブロックデータを取得する。フレーム間予測は、参照画像の情報を利用して予測ブロックデータを取得し、その過程は、現在の符号化対象画像を複数の符号化対象画像ブロックに分け、符号化対象画像ブロックを複数のサブ画像ブロックに分け、その後、各サブ画像ブロックに対して、参照画像において現在のサブ画像ブロックに最もマッチングする画像ブロックを検索して予測画像ブロックとし、予測画像ブロックと現在のサブ画像ブロックとの相対変位がすなわち動きベクトルである。その後、このサブ画像ブロックと予測画像ブロックとの対応画素値を引いて残差を得る。得られた各サブ画像ブロックに対応する残差を一体に組み合わせ、符号化対象画像ブロックの残差を得る。

本出願の各実施例において、変換行列により画像ブロックの残差の関連性を取り除くことができ、すなわち画像ブロックの冗長情報を取り除くことで、符号化効率を高める。画像ブロックにおけるデータブロックの変換は通常、二次元変換を採用し、すなわち符号化端は、データブロックの残差情報をそれぞれ一つのＮ×Ｍの変換行列、及びその転置行列と乗じ、乗じた後に得られるのが変換係数である。変換係数を定量化した後に定量化後の係数を得て、最後に定量化後の係数をエントロピー符号化して、エントロピー符号化ビットストリームを得る。エントロピー符号化ビットストリーム、及び例えば、フレーム内予測モード、動きベクトル（又は動きベクトル残差）などの情報といった符号化後の符号化モード情報を記憶し、又は復号化端へ送信する。画像の復号化端では、エントロピー符号化ビットストリームを得た後にエントロピー符号化し、対応する残差を得る。復号化により得られた動きベクトル、フレーム内予測などの情報に基づいて画像ブロックに対応する予測画像ブロックを検索する。予測画像ブロックと残差に基づいて現在のサブ画像ブロックにおける各画素点の値を得る。

前文において符号化／復号化済みの画像を現在の符号化／復号化対象の参照画像とすることに言及した。いくつかの実施例において、参照画像をさらに構築することで、参照画像と現在の符号化／復号化対象画像との類似度を高めることができる。例を挙げると、動画コンテンツ内に特定のタイプの符号化／復号化シーンがあり、このシーンにおける背景は基本的に変化せず、動画内の前景にのみ変化、又は動きが生じる。例えば動画モニタリングは、このタイプのシーンに属する。動画モニタリングシーンでは通常、モニタリングカメラは固定され動かず、又は緩慢な移動のみ生じ、背景は基本的に変化しないと認めることができる。これに対して、動画モニタリングカメラにより撮影された人又は車両などの物体には常に移動又は変化が生じ、前景が常に変化すると認めることができる。このタイプのシーンにおいて、特定の参照画像を構築でき、この特定の参照画像には高品質の背景情報のみ含まれる。例えば、この特定の参照画像は、長期参照画像であってもよい。この長期参照画像には複数の画像ブロックが含まれ、いずれかの画像ブロックはいずれもある復号化済み画像から抽出されたものであり、この長期参照画像における異なる画像ブロックは、異なる復号化済み画像からの可能性がある。フレーム間予測を行う場合、現在の符号化／復号化対象画像の背景部分は、この長期参照画像を参照して、フレーム間予測の残差情報を減らすことができ、これにより符号化／復号化効率を高める。

本出願の各実施例において、長期参照画像は、Ｈ．２６４／アドバンスビデオコーディング（Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ、ＡＶＣ）、又はＨ．２６５／ＨＥＶＣなどの規格における長期参照（ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ）フレームであってよく、ＡＶＳコーディング規格（Ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ、ＡＶＳ）、１－Ｐ２、ＡＶＳ２－Ｐ２、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ、ＩＥＥＥ）１８５７．９－Ｐ４などの規格における背景フレーム（ｂａｃｋｇｒｏｕｎｄ ｐｉｃｔｕｒｅ）であってもよい。さらに、ＶＰ８、ＶＰ９などの規格におけるゴールデンフレーム（ｇｏｌｄｅｎ ｆｒａｍｅ）であってよく、前述の複数の復号化済み画像から抽出された画像ブロックから構築された長期参照画像などであってよく、本出願の実施例は、これを限定しない。

本出願の各実施例の長期参照画像は、出力しない画像であってもよいことを理解されたい。

前文において動きベクトルの導出を使用する技術に言及したが、動きベクトルを修正する場合、長期参照画像に動き検索を行うと、かえって検索効率、及び符号化／復号化効率を低下させてしまう。これは、長期参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、長期参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、このような長期参照画像に基づいて、動きベクトルを検索する意義は大きくない。パターンマッチング動きベクトルの導出（Ｐａｔｔｅｒｎ Ｍａｔｃｈｉｎｇ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ，ＰＭＭＶＤ）技術、及びデコーダー・サイド・モーション・ベクトル・リファインメント（Ｄｅｃｏｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ，ＤＭＶＲ）技術はいずれも動きベクトル導出を使用する技術である。

前文ではさらに双方向動き予測を使用する技術に言及し、画像の時間相関性に基づいて動きベクトルを操作し、関連する動きベクトルが指向する参照画像が長期参照画像である場合、現在の符号化対象画像、又は現在の復号化対象画像と長期参照画像との時間距離の定義が不明確なので、これらの操作は失効する可能性がある。双方向オプティカルフロー（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ Ｏｐｔｉｃａｌ ｆｌｏｗ，ＢＩＯ）予測技術は、双方向動き予測を使用した技術である。

本出願の実施例の画像処理のための方法を説明する前に、まずＨＥＶＣ規格での動画符号化復号化過程を簡単に説明する。

ＨＥＶＣ規格は、３つのフレーム間予測のモードを定義している。Ｉｎｔｅｒモード、Ｍｅｒｇｅモード、及びＳｋｉｐモードである。フレーム間予測の目的は、動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ、ＭＶ）を得て、その後、この動きベクトルに基づいて、予測画像ブロックの参照画像における位置を確定することである。近接する画像ブロックは動き方式において類似性があり、例えば、画像ブロック（例えば、符号化対象画像ブロックと復号化対象画像ブロックとのうちの少なくとも一つ）と近接する画像ブロックとはいずれも同一物体に属し、カメラが移動する場合、それらの移動距離と方向は自然と類似し、又は同じであるので、動きベクトルを計算する必要がないことが多く、直接、近接する画像ブロックの動きベクトルを現在の画像ブロックの動きベクトルとする。ここで、Ｍｅｒｇｅモード、及びＳｋｉｐモードでは、動きベクトルの残差（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ、ＭＶＤ）は、０であり、すなわち、近接する符号化済み画像ブロック、又は復号化済み画像ブロックに基づいて、直接、動きベクトルを得る。

符号化対象画像ブロックと復号化対象画像ブロックとのうちの少なくとも一つのモードがＭｅｒｇｅモードの場合、作動原理は以下のとおりである。近接する画像ブロックにより一つの動きベクトル予測（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）候補リストを構築し、ＭＶＰ候補リストから最適なＭＶＰを現在の画像ブロックの動きベクトルとして選択し、その後、この動きベクトルに基づいて、予測画像ブロックの位置を確定し、予測画像ブロックを確定した後に残差を計算して得られる。Ｍｅｒｇｅモードでは、動きベクトルは、ＭＶＰ候補リストから選択されたものであるので、ＭＶＤが存在しない。符号化端は、残差、及び選択された動きベクトルのＭＶＰ候補リストにおけるインデックスについて符号化すればよく、ＭＶＤを符号化する必要はない。復号化端は、類似の方法によりＭＶＰ候補リストを構築でき、その後、符号化端により伝送されたインデックスに基づいて、動きベクトルを得る。復号化端は、動きベクトルに基づいて、予測画像ブロックを確定し、残差を取り込んで復号化して現在の画像ブロックを得る。

Ｍｅｒｇｅモードでの符号化端の具体的な動作プロセスは以下のとおりである。
１．ＭＶＰ候補リストを取得する。
２．ＭＶＰ候補リストから最適なＭＶＰを選択するとともに、このＭＶＰのＭＶＰ候補リストでのインデックスを得る。
３．選択されたＭＶＰを現在の画像ブロックの動きベクトルとする。
４．動きベクトルに基づいて、参照画像から予測画像ブロックを確定する。
５．現在の画像ブロックから予測画像ブロックを引いて残差を得る。
６．動きベクトルは、ＭＶＰ候補リストから選択されたものであるので、ＭＶＤが存在せず、残差、及び選択されたＭＶＰのＭＶＰ候補リストにおけるインデックスを復号化端へ送信すればよい。

Ｍｅｒｇｅモードでの復号化端の具体的な動作プロセスは以下のとおりである。
１．残差、及び動きベクトルのＭＶＰ候補リストでのインデックスを受信する。
２．ＭＶＰ候補リストを取得する。
３．インデックスに基づいて、ＭＶＰ候補リストにおいて動きベクトルを検索して現在の画像ブロックの動きベクトルとする。
４．動きベクトルに基づいて、予測画像ブロックを確定し、残差を取り込んで復号化して現在の画像ブロックを得る。

以上は、通常のＭｅｒｇｅモードでの処理過程である。

Ｓｋｉｐモードは、Ｍｅｒｇｅモードの特殊な例である。Ｍｅｒｇｅモードにより動きベクトルを得た後、エンコーダが、ある方法に基づいて、現在の画像ブロック、及び予測画像ブロックが基本的に同じであると判断した場合、残差のデータを伝送する必要はなく、動きベクトルのＭＶＰ候補リストでのインデックスのみ伝送すればよく、及び現在の画像ブロックは予測画像ブロックから直接、マークを得られることを示す。

Ｉｎｔｅｒモードでは、まずＭＶＰを確定し、その後、ＭＶＰを修正し、ＭＶＤを得る。符号化端は、復号化端へインデックス、及び残差を伝送する必要があるだけでなく、復号化端へＭＶＤも伝送する必要がある。高度動きベクトル予測（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）は、競争メカニズムにより動きベクトル予測を実現するツールである。

ＡＭＶＰモードでもＭＶＰ候補リストがあり、このＭＶＰ候補リストにおける動きベクトルは、現在の画像ブロックの空間領域、又は時間領域での近接するブロックから得られるものである。ＡＭＶＰモードでのＭＶＰ候補リストは、ＭｅｒｇｅモードでのＭＶＰ候補リストと異なる可能性がある。符号化端、又は復号化端は、ＭＶＰ候補リストから最適なＭＶＰを選択する。このＭＶＰを検索開始点として、その付近を検索し、最適な動きベクトルを得て、この動きベクトルは、現在の画像ブロックの動きベクトルである。この動きベクトルに基づいて、予測画像ブロックの位置を確定し、予測画像ブロックを確定した後に残差を計算して得られる。同時にこのＭＶとＭＶＰとを互いに引いて、ＭＶＤを得る。符号化端は、残差、ＭＶＰのＭＶＰ候補リストにおけるインデックス、及びＭＶＤについて符号化して復号化端へ送信する。復号化端は、類似の方法によりＭＶＰ候補リストを構築でき、その後、符号化端により伝送されたインデックスに基づいて、ＭＶＰを得る。復号化端は、ＭＶＰ、及びＭＶＤに基づいて、ＭＶを確定し、ＭＶに基づいて、予測画像ブロックを確定し、残差を取り込んで復号化して現在の画像ブロックを得る。

ＡＭＶＰモードでの符号化端の具体的な動作プロセスは以下のとおりである。
１．ＭＶＰ候補リストを取得する。
２．ＭＶＰ候補リストから最適なＭＶＰを選択するとともに、このＭＶＰのＭＶＰ候補リストでのインデックスを得る。
３．ＭＶＰに基づいて、検索開始点を確定する。
４．開始点付近で検索し、最適な動きベクトルを得る。
５．動きベクトルに基づいて、参照画像から予測画像ブロックを確定する。
６．現在の画像ブロックから予測画像ブロックを引いて残差を得る。
７．動きベクトルからＭＶＰを引いてＭＶＤを得る。
８．残差、選択されたＭＶＰのＭＶＰ候補リストにおけるインデックス、及びＭＶＤを復号化端へ送信する。

ＡＭＶＰモードでの復号化端の具体的な動作プロセスは、これ以上説明しない。

本出願の実施例は、画像処理ための方法１００を提供する。図１は、本出願の一つの実施例の画像処理のための方法１００の概略的フローチャートである。図１に示すように、この方法１００は、
現在の画像ブロックの初期動きベクトルを取得するＳ１１０と、
この初期動きベクトルが指向する参照画像が長期参照画像である場合、この初期動きベクトルに基づいて、この現在の画像ブロックに動き補償を行うＳ１２０と、
この初期動きベクトルが指向する参照画像が短期参照画像である場合、この初期動きベクトルを修正し、修正後の動きベクトルを得て、この修正後の動きベクトルに基づいてこの現在の画像ブロックに動き補償を行うＳ１３０と、を含む。

本出願の実施例の画像処理のための方法において、初期動きベクトルが長期参照画像を指向する場合、動き補償を直接行い、初期動きベクトルが短期参照画像を指向する場合、初期動きベクトルを修正し、前記修正後の動きベクトルに基づいて、動き補償を行い、長期参照画像の画像ブロックエッジの明らかな揺れにより、意義のない検索を行うことを回避でき、符号化復号化効率を高めることができる。

可能な実施形態において、本出願の実施例の画像処理のための方法１００は、ＰＭＭＶＤ技術に応用できる。

ＰＭＭＶＤ技術は、フレームレートアップコンバージョン（Ｆｒａｍｅ Ｒａｔｅ Ｕｐ Ｃｏｎｖｅｒｓｉｏｎ、ＦＲＵＣ）技術に基づく特殊なＭｅｒｇｅモードである。このような特殊なＭｅｒｇｅモードでは、現在の画像ブロックの動き情報（例えば、ＭＶとＭＶＤ）は、ストリームにおいて符号化されず、復号化端で直接生成される。

選択可能には、この可能な実施形態において、Ｓ１３０において前記初期動きベクトルが指向する参照画像が短期参照画像である場合、前記初期動きベクトルを修正し、修正後の動きベクトルを得て、前記修正後の動きベクトルに基づいて、前記現在の画像ブロックを補償することは、前記現在の画像ブロックの動きベクトル候補リストを取得し、前記動きベクトル候補リストにおけるいずれかの候補動きベクトルが指向する参照画像が短期参照画像であることと、前記動きベクトル候補リストに基づいて、前記初期動きベクトルを確定することと、前記初期動きベクトルを修正し、修正後の動きベクトルを得ることと、前記修正後の動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含む。

本実施形態において、動きベクトル候補リストから初期動きベクトルを確定し、この動きベクトル候補リストにおける候補動きベクトルが指向する参照画像が短期参照画像であり、初期動きベクトルを修正し、修正後の動きベクトルを得て、修正後の動きベクトルに基づいて、現在の画像ブロックに動き補償を行うことは、長期参照画像の画像ブロックエッジの明らかな揺れにより、意義のない検索を行うことを回避し、符号化復号化効率を高めることができる。

選択可能には、可能な実施形態において、現在の画像ブロックの動きベクトル候補リストを取得することは、前記動きベクトル候補リストに加えるための候補動きベクトルを確定し、前記候補動きベクトルが指向する参照画像が短期参照画像である場合、前記候補動きベクトルを前記動きベクトル候補リストに加えることを含む。

具体的には、一つの実施例において、前記方法１００は、前記候補動きベクトルが指向する参照画像のフレームマークに基づいて、前記候補動きベクトルが指向する参照画像が短期参照画像であると確定することをさらに含むことができる。具体的には、前記候補動きベクトルが指向する参照画像のフレームマークに基づいて、前記候補動きベクトルが指向する参照画像が長期参照画像であるか否か確定する。候補動きベクトルが指向する参照画像が長期参照画像である場合、長期参照画像に対応する候補動きベクトルを動きベクトル候補リストに加えなくてもよい。このように、動きベクトル候補リストから初期動きベクトルを選択する場合、長期参照画像に対応する動きベクトルを選択しない。

本出願の各実施例の動きベクトルは、３つのパラメータを含むことを理解するものとし、水平成分ｖ_ｘ、垂直成分ｖ_ｙ、及び指向する参照画像のフレームマークである。例えば、このフレームマークは、ピクチャオーダーカウント（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ＰＯＣ）であってよく、その他の形態のマークであってもよい。符号化端、及び復号化端は、このフレームマークにより、参照画像の属性を確定でき、この参照画像が長期参照画像か、それとも短期参照画像かを判断する。

選択可能には、一つの実施例において、前記動きベクトル候補リストに基づいて、初期動きベクトルを確定することは、選択された初期動きベクトルが長期参照画像を指向する動きベクトルか否かを判断し、選択された初期動きベクトルのうちの少なくとも一つが長期参照画像を指向する場合、初期動きベクトルを再度選択し、指向する参照画像が長期参照画像以外の参照画像の初期動きベクトルを選択するまで行うことを含むことができる。

具体的には、動きベクトル候補リストに基づいて確定された初期動きベクトルが指向するのが長期参照画像である場合、予め設定されたルールに基づいて、動きベクトル候補リストから候補動きベクトルを再度選択し、初期動きベクトルとできる。この予め設定されたルールは例えば、マッチングコストが次に小さい候補動きベクトルを選択し、この候補動きベクトルが指向するのが長期参照画像でない場合、この候補動きベクトルを初期動きベクトルとするものであってもよい。この実施例は例示に過ぎず、本出願を限定するわけではない。

符号化端を例とし、ＦＲＵＣ ｍｅｒｇｅモードでの動きベクトル導出過程は、二つのステップに分かれる。第１ステップは、符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）レベル動き検索であり、第２ステップは、サブＣＵ（Ｓｕｂ－ＣＵ）レベル動き細密化過程である。類似して、復号化端も符号化端に類似した機能を実現できる。

ＣＵレベル動き検索において、ＣＵレベル動きベクトル候補リストを生成する。双方向マッチング法に基づいて、ＣＵレベル動きベクトル候補リストからマッチングコスト（ｃｏｓｔ）が最も小さい動きベクトルを検索し、例えば、ＭＶ－Ａである。テンプレートマッチング法でもＣＵレベル動きベクトル候補リストからマッチングコストが最も小さい動きベクトルを検索し、例えば、ＭＶ－Ｂである。その後、Ｍｅｒｇｅモードポリシーにおいて使用されるレート歪みコスト（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｃｏｓｔ、ＲＤ－Ｃｏｓｔ）ポリシーに基づいて、現在のＣＵがＦＲＵＣ ｍｅｒｇｅモードを使用するか否かを決定する。すなわち、ＲＤ－Ｃｏｓｔポリシーを使用して２つのマッチング法（双方向マッチング法、及びテンプレートマッチング法）の結果をチェックする。マッチングコストが小さいマッチング方法により得られた結果をさらに、その他のＣＵモードの結果と再度比較する。二つのマッチング法におけるマッチングコストが小さいマッチング方法が最終的なマッチングコストが最も小さいものであり、現在のＣＵのＦＲＵＣのフラグをＴＲＵＥとし、かつ復号化端が対応するマッチング方法を使用するよう指示する。

この具体的な実施形態において、ＣＵレベル動きベクトル候補リストは、本出願の実施例の方法１００における動きベクトル候補リストに対応できる。動きベクトル候補リストを生成する場合、リストに加えられる動きベクトルを走査し、動きベクトルが短期参照画像を指向する場合、この動きベクトルを動きベクトル候補リストに加えることができ、長期参照画像を指向する場合、この動きベクトルを棄却して、動きベクトル候補リストに加えない。本実施形態における動きベクトル候補リストは、以下のうちの少なくとも一つの候補動きベクトルを含むことができる。前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、短期参照フレームに対して得られたオリジナルＡＭＶＰ候補動きベクトル、短期参照フレームに対して得られたマージ候補動きベクトル、短期参照フレームから補間により得られた動きベクトル、及び前記現在のブロックの短期参照フレームに対する上方隣接動きベクトルと左側隣接動きベクトルである。この動きベクトル候補リストは、ＣＵレベル動きベクトル候補リストとしてもよい。

前記動きベクトル候補リストに基づいて、前記初期動きベクトルを確定することは、双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記動きベクトル候補リストにおける候補動きベクトルに対応する歪みコストを確定することと、前記動きベクトル候補リストにおける歪みコストが最も小さい動きベクトルを前記初期動きベクトルとすることと、を含むことができる。

具体的には、符号化端を例とし、前記動きベクトル候補リストに基づいて、初期動きベクトルを確定することは、ＣＵレベル動き検索に対応できる。ＣＵレベル動き検索において、双方向マッチング法に基づいて、ＣＵレベル動きベクトル候補リストからマッチングコストが最も小さい動きベクトルを検索し、例えば、ＭＶ－Ａである。テンプレートマッチング法でもＣＵレベル動きベクトル候補リストからマッチングコストが最も小さい動きベクトルを検索し、例えば、ＭＶ－Ｂである。その後、Ｍｅｒｇｅモードポリシーにおいて使用されるＲＤ－Ｃｏｓｔポリシーに基づいて、現在のＣＵがＦＲＵＣ ｍｅｒｇｅモードを使用するか否かを決定する。すなわち、ＲＤ－Ｃｏｓｔポリシーを使用して２つのマッチング法（双方向マッチング法、及びテンプレートマッチング法）の結果をチェックする。マッチングコストが小さいマッチング方法により得られた結果をさらに、その他のＣＵモードの結果と再度比較する。二つのマッチング法におけるマッチングコストが小さいマッチング方法が最終的なマッチングコストが最も小さいものであり、現在のＣＵのＦＲＵＣのフラグをＴＲＵＥとし、かつ復号化端が対応するマッチング方法を使用するよう指示する。類似して、復号化端も符号化端に類似した機能を実現できるが、復号化端は、符号化端ほど複雑ではなく、例えば、復号化端は、符号化端のマッチング方法を指示するためのフラグを直接受信し、ＲＤ－Ｃｏｓｔポリシーを実行する必要はない。

選択可能には、初期動きベクトルを修正し、修正後の動きベクトルを得ることは、前記現在の画像ブロックにサブ動きベクトル候補リストを生成し、前記サブ動きベクトル候補リストには前記初期動きベクトルを含むことと、前記サブ動きベクトル候補リストから歪みコストが最も小さい動きベクトルを前記修正後の動きベクトルとして確定することと、を含むことができる。

具体的には、初期動きベクトルを修正し、修正後の動きベクトルを得ることは、サブＣＵレベル動き細密化に対応できる。

ＣＵレベル動き検索においてマッチングコストが最も小さい動きベクトルは、初期動きベクトルであり、それはＣＵレベル動き細密化の開始点とされる。開始点周囲においてＣＵレベルにより確定されたマッチング方法（双方向マッチング、又はテンプレートマッチング法）に基づいて、局部検索を行う。具体的には、サブＣＵレベル動き細密化において、サブＣＵレベル動きベクトル候補リストを生成できる。サブＣＵレベル動きベクトル候補リストにおいて、マッチングコストが小さい動きベクトルを検索し、現在のＣＵの動きベクトルとする。

サブＣＵレベル動きベクトル候補リストにおいて以下の動きベクトルを含むことができる。ＣＵレベル動き検索により確定された動きベクトル（ａｎ ＭＶ ｄｅｔｅｒｍｉｎｅｄ ｆｒｏｍ ａ ＣＵ－ｌｅｖｅｌ ｓｅａｒｃｈ）と、現在の画像ブロックの上方隣接動きベクトル、左側隣接動きベクトル、左上方隣接動きベクトル、及び右上方隣接動きベクトル（ｔｏｐ、ｌｅｆｔ、ｔｏｐ－ｌｅｆｔ ａｎｄ ｔｏｐ－ｒｉｇｈｔ ｎｅｉｇｈｂｏｕｒｉｎｇ ＭＶｓ）と、参照画像における現在の画像ブロックの対応位置の伸縮後の動きベクトル（ｓｃａｌｅｄ ｖｅｒｓｉｏｎｓ ｏｆ ｃｏｌｌｏｃａｔｅｄ ＭＶｓ ｆｒｏｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ）と、その他の時間領域から導出された候補動きベクトル（ｕｐ ｔｏ ４ ＡＴＭＶＰ ｃａｎｄｉｄａｔｅｓとｕｐ ｔｏ ４ ＳＴＭＶＰ ｃａｎｄｉｄａｔｅｓ）とである。

上述の具体的な実施形態において、候補動きベクトルが指向する参照画像が長期参照画像である場合、長期参照画像に対応する候補動きベクトルをＣＵレベル動きベクトル候補リストに加えず、長期参照画像に対応する候補動きベクトルが初期動きベクトルになる機会がないようにする。

他の具体的な実施形態において、ＣＵレベル動きベクトル候補リストに基づいて確定された初期動きベクトルが指向するのが長期参照画像である場合、予め設定されたルールに基づいて、ＣＵレベル動きベクトル候補リストから候補動きベクトルを再度選択し、初期動きベクトルとできる。この予め設定されたルールは例えば、マッチングコストが次に小さい候補動きベクトルを選択し、この候補動きベクトルが指向するのが長期参照画像でない場合、この候補動きベクトルを初期動きベクトルとするものであってもよい。

図２は、本出願の一つの実施例の双方向マッチング法の原理概略図である。図２に示すように、双方向マッチング法は、現在のＣＵの動き軌跡において異なる参照画像における二つの予測画像ブロックの間の最も近接したマッチングを検索し、現在のＣＵの動きベクトルを導出する。双方向マッチング法は、現在の画像ブロックの動き軌跡が連続しているとの仮定に基づく。二つの予測画像ブロックの動きベクトルＭＶ０、及びＭＶ１は、現在の画像と二つの参照画像（参照画像０と参照画像１）との間の時間領域距離（ＴＤ０とＴＤ１）と比例するものとする。動きベクトル候補リストを走査し、例えば、ＭＶ０について、動きベクトル対ＭＶ０とＭＶ１を生成できる。ここで、ＭＶ０、ＴＤ０、ＴＤ１に基づいて、ＭＶ１を生成できる。ＭＶ０に対応する動きベクトル対が指向する二つの予測画像ブロックの間の歪みが最も小さい場合、この動きベクトル（つまりＭＶ０）は、現在のＣＵの動きベクトルである。ＴＤ０＝ＴＤ１の場合、双方向マッチングは、鏡像に基づく双方向マッチングに変化する。

二つの参照画像におけるいずれか一つが長期参照画像である場合、現在の画像（現在の符号化対象画像、又は現在の復号化対象画像）と長期参照画像との時間距離の定義が不明確なので、双方向マッチングは実行できないことを理解できる。しかも、長期参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、長期参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、双方向マッチング法がこのような長期参照画像に基づいて動きベクトルを検索する意義は大きくない。本出願の可能な実施形態において、長期参照画像に対応する候補動きベクトルをＣＵレベル動きベクトル候補リストに加えないことで、上述の課題が生じることを回避する。

図３は、本出願の一つの実施例のテンプレートマッチング法の原理概略図である。図３に示すように、テンプレートマッチング法は、現在の画像のテンプレート（現在のＣＵの上方画像ブロックと左側画像ブロックとのうちの少なくとも一つ）と参照画像におけるブロック（テンプレートの大きさと同じ）との間において最も近接するマッチングを検索し、現在のＣＵの動きベクトルを導出する。テンプレートを得た後に、テンプレートと候補の動きベクトルが指向する予測画像ブロックとの間の歪みが最も小さい場合、この候補の動きベクトルは、現在のＣＵの動きベクトルである。

参照画像が長期参照画像である場合、長期参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、長期参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、このような長期参照画像に基づいて動きベクトルを検索する意義は大きくなく、すなわちテンプレートマッチング法の結果は不正確であり、ひいては意義がないことが理解できる。本出願の可能な実施形態において、長期参照画像に対応する候補動きベクトルをＣＵレベル動きベクトル候補リストに加えないことで、上述の課題が生じることを回避する。

具体的な実施形態において、本出願の実施例の画像処理のための方法１００は、ＤＭＶＲ技術に応用できる。

ＤＭＶＲ技術は、双方向予測を行う場合、現在の画像ブロックにさらに正確な予測を行うために使用される細密化技術である。次に復号化端を例として、ＤＭＶＲ技術を詳細に説明する。ＤＭＶＲ技術は主に、二つの大きなステップを含み、第１ステップは、複数の初期動きベクトルに対応する復号化済み画像ブロックに基づいて、テンプレートを構築することである。第２ステップは、テンプレートに基づいて、この複数の初期動きベクトルを修正することである。

具体的には、復号化端は、動きベクトル候補リストを生成できる。例えば、この動きベクトル候補リストは、前文で説明したＡＭＶＰモードの動きベクトル候補リスト、又はＭｅｒｇｅテンプレートの動きベクトル候補リストであってもよい。復号化端は、符号化端から送信された初期動きベクトルを指示するための複数のインデックスを受信できる。復号化端は、インデックスに基づいて、動きベクトル候補リストから複数の初期動きベクトルを得る。復号化端は、この複数の初期動きベクトルに対応する復号化済み画像ブロックに基づいて、テンプレート（例えば、画素を加重合計する方法）を生成し、生成されたテンプレートを利用して、それぞれこの複数の初期動きベクトルを修正する。最後に、この修正後の動きベクトルに基づいて前記現在の画像ブロックに動き補償を行う。

本具体的な実施形態において、初期動きベクトルは、第１初期動きベクトル、及び第２初期動きベクトルを含むことができる。初期動きベクトルにおいて長期参照画像が存在する場合、以下の処理を採用できる。Ｓ１２０、前記初期動きベクトルが指向する参照画像が長期参照画像である場合、前記初期動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことは、前記第１初期動きベクトル、及び第２初期動きベクトルのうちの少なくとも一つの初期動きベクトルが指向する参照画像が長期参照画像である場合、前記第１初期動きベクトル、及び前記第２初期動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことと、前記第１初期動きベクトル、及び前記第２初期動きベクトルが指向する参照画像がいずれも短期参照画像である場合、前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、及び修正後の第２動きベクトルを得て、前記修正後の第１動きベクトル、及び前記修正後の第２動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含むことができる。初期動きベクトルに長期参照画像が存在しない場合、すなわち初期動きベクトルがいずれも短期参照画像である場合、既存のＤＭＶＲの処理方法を採用できる。

図４は、本出願の一つの実施例のＤＭＶＲ技術の原理概略図である。具体的には、初期動きベクトルが第１初期動きベクトル（例えば、ＭＶ０であってもよい）、及び第２初期動きベクトル（例えば、ＭＶ１であってもよい）を含み、第１初期動きベクトルに対応する復号化済み画像ブロックが第１フレームの第１復号化済み画像ブロックに属すると仮定すると、この第１フレームは、第１参照画像であってよく、この第１復号化済み画像ブロックは、第１参照画像ブロックであってもよい。第２動きベクトルに対応する復号化済み画像ブロックが第２フレームの第２復号化済み画像ブロックに属すると仮定すると、この第２フレームは、第２参照画像であってよく、この第２復号化済み画像ブロックは、第２参照画像ブロックであってもよい。この第１参照画像ブロック、及びこの第２参照画像ブロックを加重合計し、テンプレートを得ることができる。ここで、このテンプレートは、双方向テンプレートということができる。

選択可能には、一つの実施例において、前記初期動きベクトルは、第１初期動きベクトル、及び第２初期動きベクトルを含む。前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、及び修正後の第２動きベクトルを得ることは、第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは前記第１初期動きベクトルに対応し、かつ第１参照画像に属し、前記第２参照画像ブロックは前記第２初期動きベクトルに対応し、かつ第２参照画像に属することと、前記テンプレートに基づいて、前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、及び修正後の第２動きベクトルを得ることと、を含むことができる。

具体的には、前記テンプレートに基づいて、前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、修正後の第２動きベクトルを得ることは、Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期動きベクトルに対応し、かつ前記第１参照画像に属することと、Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期動きベクトルに対応し、かつ前記第２参照画像に属することと、前記マッチング結果に基づいて、前記Ｎ個の第３初期動きベクトルから一つの第３初期動きベクトルを選択し、及び前記Ｍ個の第４初期動きベクトルから一つの第４初期動きベクトルを選択し、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルを前記現在の画像ブロックの動きベクトル（すなわち、修正後の第１動きベクトル、及び修正後の第２動きベクトル）とし、又は前記現在の画像ブロックの動きベクトルを確定することに用いることと、を含むことができる。

選択可能には、この選択された第３初期動きベクトルは、最も小さい歪みコストに対応する動きベクトルであってもよい。又は、この選択された第３初期動きベクトルは、ある特定の値よりも小さい歪みコストに対応する動きベクトルであってもよい。

選択可能には、この選択された第４初期動きベクトルは、最も小さい歪みコストに対応する動きベクトルであってもよい。又は、この選択された第４初期動きベクトルは、ある特定の値よりも小さい歪みコストに対応する動きベクトルであってもよい。

ここで、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルを前記現在の画像ブロックの動きベクトルとし、この場合、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルに対応する既知の画像ブロック（すなわち、初期予測画像ブロック）を加重合計して予測画像ブロックを得ることができる。

又は、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルを前記現在の画像ブロックの動きベクトルを確定することに用いることができ、つまり前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルはそれぞれＭＶＰとできる。この場合、この第３ＭＶＰを開始点として検索最適化し、最適化された動きベクトルを得ることができ、及びこの第４ＭＶＰを開始点として検索最適化し、他の最適化された動きベクトルを得ることができる。この二つの最適化された動きベクトルに対応する既知の画像ブロック（すなわち、初期予測画像ブロック）を加重合計して予測画像ブロックを得ることができる。

選択可能には、このＮとＭは等しくてよい。

選択可能には、この第３初期動きベクトルは、この第１初期動きベクトルを含み、この第４初期動きベクトルは、この第２初期動きベクトルを含み、つまり、テンプレートを生成するための第１初期動きベクトルに対応する参照画像ブロック、及び第２動きベクトルに対応する参照画像ブロックもそれぞれテンプレートとマッチングする必要がある。

選択可能には、本出願の実施例において、このＮ個の第３初期動きベクトルにおける少なくとも一部の初期動きベクトルは、この第１初期動きベクトルに基づいて偏移して得られ、このＭ個の第４初期動きベクトルにおける少なくとも一部の初期動きベクトルは、この第２初期動きベクトルに基づいて偏移して得られたものである。

例えば、このＮ個の第３初期動きベクトルにおける第１初期動きベクトル以外の初期動きベクトルは、この第１初期動きベクトルに基づいて偏移して得られ、例えば、Ｎは、９に等しくてよく、そのうちの８個の初期動きベクトルは、第１初期動きベクトルに基づいて偏移して得られ、例えば、８つの方向で偏移して得られ、又は垂直方向、若しくは水平方向で異なる画素を偏移して得られるものである。

また例えば、このＭ個の第４初期動きベクトルにおける第２初期動きベクトル以外の初期動きベクトルは、この第２初期動きベクトルに基づいて偏移して得られ、例えば、Ｎは、９に等しくてよく、そのうちの８個の初期動きベクトルは、第２初期動きベクトルに基づいて偏移して得られ、例えば、８つの方向で偏移して得られ、又は垂直方向、若しくは水平方向で異なる画素を偏移して得られるものである。

選択可能には、本出願の実施例において、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであってよく、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであってもよい。又は、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであってよく、前記第２参照画像は、前記現在の画像ブロックの前方向フレームであってもよい。

具体的な実施形態において、復号化端は、動きベクトル候補リストを生成し、符号化端から送信された初期動きベクトルを指示するための二つのインデックスを受信する。復号化端は、ＤＭＶＰ条件を判断し、このＤＭＶＰ条件は、二つの初期動きベクトル（例えば、ＭＶ０とＭＶ１であってもよい）がいずれも長期参照画像を指向せず、かつ二つの初期動きベクトルの予測方向が逆であり、すなわち一つは前方向であり、他は後方向であることを求める。ＤＭＶＲ条件を満たす場合、ＭＶ０に対応する画像ブロック、及びＭＶ１に対応する画像ブロックを加重合計し、双方向テンプレートを生成する。

本出願の可能な実施形態において、長期参照画像に対応する候補動きベクトルを動きベクトル候補リストに加えないことで、二つのインデックスにより指示される初期動きベクトルが指向する参照画像が長期参照画像であることを回避する。他の可能な実施形態において、二つのインデックスにより指示される初期動きベクトルが指向する参照画像が長期参照画像である場合、復号化端は、符号化端が長期参照画像を指向しない動きベクトルを初期動きベクトルと再度指示するよう求めることができ、又は復号化端は、戻り、又はＤＭＶＲアルゴリズムの失効をマークする。

第１参照画像において、ＭＶ０に対応する画像ブロックについて、水平方向と垂直方向とのうちの少なくとも一つで一つの輝度画素を偏移し、検索された近接する８つの画素ブロックの動きベクトルは、ＭＶ０の合計９つの動きベクトルとともに参照リストｌｉｓｔ０を形成できる。第２参照画像において、ＭＶ１に対応する画像ブロックについて、水平方向と垂直方向とのうちの少なくとも一つで一つの輝度画素を偏移し、検索された近接する８つの画素ブロックの動きベクトルは、ＭＶ１の合計９つの動きベクトルとともに参照リストｌｉｓｔ１を形成できる。

復号化端が使用する双方向テンプレートマッチングは、双方向テンプレートと参照画像における再構築ブロックとの間で歪みに基づく検索を行うために、最終的に、追加の動き情報がない細密化後の動きベクトルを得る。二つの参照画像における動きベクトル（Ｌｉｓｔ０における動きベクトル、及びｌｉｓｔ１における動きベクトル）について、最も小さいマッチングコストを持つ動きベクトルは、更新動きベクトルとして当初の動きベクトルに替わる。最終的に、二つの新しい動きベクトル（図３に示すＭＶ０'、及びＭＶ１'）で当初のＭＶ０とＭＶ１を代替する。ＭＶ０'に対応する予測画像ブロック、及びＭＶ１'に対応する予測画像ブロックに基づいて、最終的な双方向予測結果を生成する。

ＤＭＶＲ技術において、参照画像が長期参照画像である場合、長期参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、長期参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、このような長期参照画像に基づいて、動きベクトルを検索する意義は大きくなく、すなわちＤＭＶＲ技術は不正確であり、ひいては意義がないことを理解できる。本出願の実施例において、長期参照画像に対応する動きベクトルを細密化せず、直接動き補償に用いることで、上述の課題が生じることを回避する。

本出願の実施例は、画像処理のための方法２００を提供する。図５は、本出願の他の一つの実施例の画像処理のための方法２００の概略的フローチャートである。図５に示すように、この方法２００は、
第１初期動きベクトル動きベクトル、及び第２初期動きベクトルを取得し、この第１初期動きベクトルは、第１参照画像を指向し、この第２初期Ｍ動きベクトルは、第２参照画像を指向するＳ２１０と、
この第１参照画像、及びこの第２参照画像のうちの少なくとも一つが長期参照画像である場合、この第１初期動きベクトル、及びこの第２初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得るＳ２２０と、
この第１参照画像、及びこの第２参照画像がいずれも短期参照画像である場合、この第１初期動きベクトル、及びこの第２初期動きベクトルが指向する画素点の勾配値に基づいて、現在の画像ブロックの動きベクトルを計算して得て、この現在の画像ブロックの動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得るＳ２３０と、を含む。

本出願の実施例の画像処理のための方法は、二つの初期動きベクトルが指向する参照画像がいずれも短期参照画像である場合、画素点の勾配値、及び最適化原理を採用して、現在の画像ブロックの動きベクトルを計算して得て、現在の画像ブロックの予測画像ブロックを計算して得る。二つの初期動きベクトルが指向する参照画像に長期参照画像が存在する場合、二つの初期動きベクトルに基づいて、直接現在の画像ブロックの予測画像ブロックを計算して得て、現在の画像と長期参照画像との時間距離の定義が不明確であることにより予測が実行できないことを回避し、符号化復号化効率を高めることができる。

選択可能には、Ｓ２３０前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、前記現在の画像ブロックのＭＶを計算して得ることは、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、前記現在の画像ブロックのＭＶを計算して得ることを含むことができる。

具体的な実施形態において、本出願の実施例の画像処理のための方法２００は、双方向動き予測モードの改良に応用できる。双方向動き予測モードとは、ある現在の画像ブロックを符号化する場合に、二つの異なる参照画像由来の二つの初期予測画像ブロックを同時に使用して現在の画像ブロックを予測し、かつ二つの初期予測画像ブロックを一つの画像ブロックに結合し、現在の画像ブロックの予測画像ブロックとすることをいう。ＢＩＯ予測技術とは、双方向動き予測モードでの技術である。ＢＩＯ予測技術では、動きベクトルは、通常の双方向動き予測モードに比べて、さらに多くの符号化マークがないが、予測画像ブロックの導出過程は異なる。ＢＩＯ予測技術は、ブロック動き補償に基づく動き最適化であり、オプティカルフローモードにより動きベクトルを計算し、サンプリングポイントレベルの動き最適化である。

本出願の実施例のＢＩＯ予測技術は、二つのステップを含むことができる。第１ステップは、二つの初期ＭＶ（例えば、第１初期ＭＶ、及び第２初期ＭＶ）に基づいて、現在の画像ブロックのＭＶを計算して得ることである。具体的には、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、現在の画像ブロックのＭＶを計算して得ることである。第２ステップは、前記現在の画像ブロックのＭＶ、前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得ることである。具体的には、ＢＩＯ予測技術は、二つの初期ＭＶが指向する二つの参照画像ブロックを補間し、現在の画像ブロックと同じサイズの二つの初期予測画像ブロックを得て、その後、この二つの初期予測画像ブロックを加重合計し、現在の画像ブロックの予測画像ブロックとして結合することである。

図６は、本出願の一つの実施例のＢＩＯ技術の原理概略図である。ＢＩＯ技術は、短い時間内に、物体の動きが水平方向、及び垂直方向のいずれにおいても等速運動であると仮定し、オプティカルフロー法の解析条件に適合する。図６に示すように、二つの初期ＭＶが指向する参照点ｋ（ｋ＝０、１）の動きベクトル（ｖ_ｘ、ｖ_ｙ）、及び輝度値Ｉ^（ｋ）は、以下のオプティカルフロー公式に適合すると仮定できる。
∂Ｉ^（ｋ））／∂ｔ＋ｖ_ｘ∂Ｉ^（ｋ）／∂ｘ＋ｖ_ｙ∂Ｉ^（ｋ）／∂ｙ＝０ 公式１
式中、∂Ｉ^（ｋ）／∂ｘ及び∂Ｉ^（ｋ）／∂ｙは、勾配の水平成分、及び垂直成分を示す。

オプティカルフロー公式及びＨｅｒｍｉｔｅを補間により連立して以下のような多項式を得て、ｔ＝０の場合、ＢＩＯ予測値である。
ｐｒｅｄ_ＢＩＯ＝１／２・（Ｉ^（０）＋Ｉ^（１）＋ｖ_ｘ／２・（τ_１∂Ｉ^（１）／∂ｘ－τ_０∂Ｉ^（０）／∂ｘ）＋ｖ_ｙ／２・（τ_１∂Ｉ^（１）／∂ｙ－τ_０∂Ｉ^（０）／∂ｙ）） 公式２
式中、τ_０及びτ_１は、それぞれ現在の画像から参照画像０、及び参照画像１までの距離を示し、両者は、現在の画像、及び二つの参照画像のＰＯＣにより計算して得ることができる。
τ_０＝ＰＯＣ（ｃｕｒｒｅｎｔ）－ＰＯＣ（Ｒｅｆ_０） 公式３
τ_１＝ＰＯＣ（Ｒｅｆ_１）－ＰＯＣ（ｃｕｒｒｅｎｔ） 公式４
式中、ＰＯＣ（ｃｕｒｒｅｎｔ）は、現在の画像のピクチャオーダーカウントであり、ＰＯＣ（Ｒｅｆ_０）は、参照画像０のピクチャオーダーカウントであり、ＰＯＣ（Ｒｅｆ_１）は、参照画像１のピクチャオーダーカウントである。

参照画像は異なる方向であることができ、すなわち一つは過去からであり、一つは未来からである。二つの参照画像は同じ方向でもあり、すなわちいずれも過去からであり、又はいずれも未来からである。二つの参照画像が同じ方向の場合、τ_０及びτ_１は、異符号である。このような状況では、二つの参照画像は、同じであることはできず、すなわちτ_０≠τ_１であり、参照領域は、非ゼロの動き（ＭＶ_ｘ０，ＭＶ_ｙ０，ＭＶ_ｘ１，ＭＶ_ｙ１≠０）があり、動きベクトルは、時間領域の距離に比例する（ＭＶ_ｘ０／ＭＶ_ｘ１＝ＭＶ_ｙ０／ＭＶ_ｙ１＝－τ_０／τ_１）。

小さい領域内の動きが同じであると仮定すると、ＢＩＯの動きベクトルが以下のような１次のテイラー展開の公式を満たすことができる。
Δ＝（Ｉ^（０）－Ｉ^（１）＋ｖ_ｘ（τ_１∂Ｉ^（１）／∂ｘ＋τ_０∂Ｉ^（０）／∂ｘ）＋ｖ_ｙ（τ_１∂Ｉ^（１）／∂ｙ＋τ_０∂Ｉ^（０）／∂ｙ）） 公式５
式中、Δは、二つの参照画像において対応する二つの参照点（例えば、図４におけるＡ、Ｂの両点）の画素差のテイラー１次展開である。勾配値、及び最適化方法により解析し、現在の画像ブロックの最適な動きベクトルが全領域内Δの二乗、及び最小を満たし、これにより最適な動きベクトル（ｖ_ｘ、ｖ_ｙ）を計算でき、アルゴリズムのロバスト性を考慮すると、ｖ_ｘ及びｖ_ｙは、ある閾値範囲内にあるものとする。

上述の公式に基づいて、ＢＩＯ予測技術のプロセスは以下のとおりである。現在の画像ブロックについて、その二つの参照画像に対応する位置の画素値はいずれも既に得られた。公式におけるＩ^（０）及びＩ^（１）は、それぞれ二つの参照画における画素値を示し、上述の公式における既知のものは、Ｉ^（０）、Ｉ^（１）及びτ_０とτ_１であり、勾配水平成分、及び垂直成分は、参照画像において計算により得られ、未知のものは、ｖ_ｘ、ｖ_ｙ及びΔである。一つの領域内のすべての画素点について、いずれも一つのΔを算出でき、最適化方法を使用して、Δが最小値のｖ_ｘ及びｖ_ｙを得るようにし、つまり必要な最適な動きベクトルである。ここで、ｖ_ｘ及びｖ_ｙを計算する場合、それぞれｖ_ｘ及びｖ_ｙに一つの区間を与え、この区間の閾値は、二つの参照画像の現在の画像に対する方向により確定される。最適な動きベクトルを得た後、この最適な動きベクトルが指向する画像ブロック＋残差を直接、現在の画像ブロックとするわけではなく、公式２により現在の画像ブロックの各画素を計算して、これはＢＩＯ予測値ともいい、各画素の予測値を一体に組み合わせて、予測画像ブロックを形成する。

選択可能には、本出願の実施例において、前記第１初期動きベクトル、及び前記第２初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、前記第１初期動きベクトルが指向する第１参照画像ブロック、及び前記第２初期動きベクトルが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得ることを含む。

具体的には、ＢＩＯ予測開始実行前に判断条件を追加し、又はＢＩＯ条件に必要条件を追加する。第１初期動きベクトルが指向する第１参照画像、及び第２初期動きベクトルが指向する第２参照画像がいずれも長期参照画像でなく、しかも当初のＢＩＯ条件に合格する場合、ＢＩＯ予測を行うことができる。そうでなければ、直接、二つの初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得て、又は戻り、又はＢＩＯ予測アルゴリズムの失効をマークする。

ＢＩＯ条件は、以下をさらに含むことができる。前記第１初期動きベクトル、及び前記第２初期動きベクトルの予測方向は異なることである。又は、代替可能には、ＢＩＯ条件は、以下をさらに含むことができる。前記第１初期動きベクトル、及び前記第２初期動きベクトルの予測方向は同じであり、前記第１初期動きベクトル、及び前記第２初期動きベクトルはいずれも０ではなく、前記第１参照画像、及び前記第２参照画像は異なることである。同時に、第１初期動きベクトル、及び第２初期動きベクトルの各方向成分の比率は同じであり、いずれも動きベクトルが指向する第１参照画像と現在の画像との距離、及び第２参照画像と現在の画像との距離の比に等しい。

本出願の各実施例の動きベクトルは、３つのパラメータを含むことを理解するものとし、水平成分ｖ_ｘ、垂直成分ｖ_ｙ、及び指向する参照画像のフレームマークである。例えば、このフレームマークは、ＰＯＣであってよく、その他の形態のマークであってもよい。符号化端、及び復号化端は、このフレームマークにより、参照画像の属性を確定でき、この参照画像が長期参照画像か否かを判断する。

選択可能には、本出願の実施例において、初期動きベクトルが指向する参照画像が長期参照画像であるか否かを判断することは、初期動きベクトルが指向する参照画像のフレームマークに基づいて、初期動きベクトルが指向する参照画像が長期参照画像であるか否かを確定することを含むことができる。

選択可能には、本出願の実施例において、Ｓ２３０前記現在の画像ブロックの動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、前記現在の画像ブロックの動きベクトル、前記第１初期動きベクトルが指向する第１参照画像ブロック、及び前記第２初期動きベクトルが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得ることを含むことができる。具体的な計算公式は、前文において詳細に説明しており、ここではこれ以上説明しない。

方法２００の具体的な実施形態は、以下のステップを含むことができる。

１．現在の二つの初期動きベクトルがＢＩＯ条件に適合するか否かを判断し、判断条件は、以下のとおりである。

ａ）二つの初期動きベクトルが指向する参照画像がいずれも短期参照画像であり、すなわち第１初期動きベクトルが指向する第１参照画像、及び第２初期動きベクトルが指向する第２参照画像がいずれも短期参照画像である。

ｂ）以下の２項のうちの一つを満たし、
ｉ）二つの初期動きベクトルが異なる予測方向（それぞれ前方向と後方向）からである。
ｉｉ）二つの初期動きベクトルが同じ予測方向の異なる参照画像からであり、かつ二つの初期動きベクトルがいずれも０でなく、しかも二つの初期動きベクトルの各方向成分の比率が同じであり、いずれも動きベクトルが指向する参照画像と現在の画像との距離の比に等しい。

同時にａ）及びｂ）を満たす初期動きベクトルはＢＩＯ条件に適合し、ＢＩＯ予測を行うことができる。

２．二つの初期動きベクトルの予測方向に基づいて、演算閾値を確定し、すなわちｖ_ｘ及びｖ_ｙの区間の閾値である。

３．二つの初期動きベクトルが指向する画素点の勾配値を計算する。

４．勾配値、及び最適化原理に基づいて、最適な動きベクトルを計算し、現在の画像ブロックの動きベクトルとする。

５．現在の画像ブロックの動きベクトル、二つの初期動きベクトルが指向する参照画像ブロックによりＢＩＯ予測値を得る。

ｂ）ｉ）のみを満たす場合、前記第１初期動きベクトルが指向する第１参照画像ブロック、及び前記第２初期動きベクトルが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得る。

本出願の実施例のＢＩＯ予測が参照する原理、公式、及びステップは、上述の説明を参照でき、ここではこれ以上説明しない。

ＢＩＯ予測技術において、参照画像が長期参照画像である場合、現在の画像（現在の符号化対象画像、又は現在の復号化対象画像）と長期参照画像との時間距離の定義が不明確なので、ＢＩＯ予測技術は実行できないことを理解できる。本出願の実施例において、二つの初期動きベクトルが指向する参照画像に長期参照画像が存在する場合、直接、二つの初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得て、これにより上述の課題が生じることを回避する。

本出願の各実施例の方法はいずれも符号化端、及び復号化端に応用できることを理解されたい。本出願の各実施例の現在の画像ブロックは、符号化対象画像ブロックであってよく、復号化対象画像ブロックであってもよい。

本出願の実施例は、ＰＭＭＶＤ技術、ＤＭＶＲ技術、及びＢＩＯ予測技術に応用される画像処理のための方法を例示的に提示したにすぎず、本出願の実施例の方法は、さらに既存の又は将来のその他の動画符号化／復号化技術に応用でき、本出願の実施例は、これを限定しないことを理解されたい。

図７は、本出願の一つの実施例の画像処理装置７０の概略的フレーム図である。図７に示すように、画像処理装置７０は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリ７０１と、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサ７０２と、を含み、操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が長期参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が短期参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である。

いくつかの実施例において、前記プロセッサ７０２は、具体的に、
前記現在の画像ブロックのＭＶ候補リストを取得し、前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像が短期参照画像であり、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定し、
前記初期ＭＶを修正し、修正後のＭＶを得て、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うためのものである。

いくつかの実施例において、前記プロセッサ７０２は、さらに、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が短期参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えるためのものである。

いくつかの実施例において、前記プロセッサ７０２は、さらに、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が短期参照画像であると確定するためのものである。

いくつかの実施例において、前記ＭＶ候補リストは、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、短期参照フレームに対して得られたオリジナルＡＭＶＰ候補ＭＶ、
短期参照フレームに対して得られたマージ候補ＭＶ、
短期参照フレームから補間により得られたＭＶ、及び
前記現在のブロックの短期参照フレームに対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む。

いくつかの実施例において、前記プロセッサ７０２は、具体的に、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定し、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとするためのものである。

いくつかの実施例において、前記プロセッサ７０２は、具体的に、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記初期ＭＶを含み、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定するためのものである。

いくつかの実施例において、前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、
前記プロセッサ７０２は、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が長期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行い、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも短期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得て、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶに基づいて前記現在の画像ブロックに動き補償を行うためのものである。

いくつかの実施例において、前記プロセッサ７０２は、具体的に、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは、前記第１初期ＭＶに対応し、かつ第１参照画像に属し、前記第２参照画像ブロックは、前記第２初期ＭＶに対応し、かつ第２参照画像に属し、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得るためのものである。

いくつかの実施例において、前記プロセッサ７０２は、具体的に、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属し、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属し、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いるためのものである。

いくつかの実施例において、前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む。

いくつかの実施例において、前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである。

いくつかの実施例において、前記Ｎは、前記Ｍに等しい。

いくつかの実施例において、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである。

画像処理装置７０は、さらに、対応するソフトウェアモジュールにより実現できることを理解すべきであり、ここではこれ以上説明しない。

図８は、本出願の他の一つの実施例の画像処理装置８０の概略的フレーム図である。図８に示すように、画像処理装置８０は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリ８０１と、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサ８０２と、を含み、操作は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが長期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも短期参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配度に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、である。

いくつかの実施例において、前記プロセッサ８０２は、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、前記現在の画像ブロックのＭＶを計算して得るためのものである。

いくつかの実施例において、前記プロセッサ８０２は、具体的に、
前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得るためのものである。

いくつかの実施例において、前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は異なる。

いくつかの実施例において、前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は同じであり、前記第１初期ＭＶ、及び前記第２初期ＭＶはいずれも０ではなく、前記第１参照画像、及び前記第２参照画像は異なる。

いくつかの実施例において、前記プロセッサ８０２は、具体的に、
前記現在の画像ブロックのＭＶ、前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得るためのものである。

画像処理装置８０は、さらに、対応するソフトウェアモジュールにより実現できることを理解すべきであり、ここではこれ以上説明しない。

本出願の各実施例の装置は、メモリ、及びプロセッサにより実現でき、各メモリは、本出願の実施例の方法を実行するためのコマンドを記憶するためのものであり、プロセッサは、上述コマンドを実行し、装置が本出願の各実施例の方法を実行するようにすることを理解されたい。

本出願の実施例において言及するプロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）であってよく、その他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、既成のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、又はその他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサであってよく、又はこのプロセッサは、いずれかの通常のプロセッサなどであってもよい。

本出願の実施例で言及するメモリは、揮発性メモリ、若しくは不揮発性メモリであってよく、又は揮発性及び不揮発性メモリの両者を含むことができることをさらに理解されたい。ここで、不揮発性メモリは、リードオンリメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、プログラマブルリードオンリメモリ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（Ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）、又はフラッシュメモリであってもよい。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）であってよく、外部高速バッファメモリとして用いられる。例示的だが限定しない説明により、多くの形態のＲＡＭを用いることができ、例えば、スタティックラム（Ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）、シンクロナスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ、ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ、ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ、ＳＬＤＲＡＭ）、及びダイレクトラムバスＲＡＭ（Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ、ＤＲ ＲＡＭ）である。

プロセッサが汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又はその他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントの場合、メモリ（記憶モジュール）は、プロセッサに集積されることを説明する必要がある。

本文で説明されるメモリは、これらの、及び任意のその他の適切なタイプのメモリを含むが、それに限定しないことに留意するものとする。

本出願の実施例は、コンピュータで読み取り可能な記憶媒体をさらに提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される際、コンピュータに上述の各方法の実施例の方法を実行させる。

本出願の実施例は、コンピュータデバイスをさらに提供し、このコンピュータデバイスは、上述コンピュータで読み取り可能な記憶媒体を含む。

本出願の実施例は、符号化デバイスをさらに提供し、この符号化デバイスは、画像処理装置７０と画像処理装置８０とのうちの少なくとも一つを含む。

本出願の実施例は、復号化デバイスをさらに提供し、この復号化デバイスは、画像処理装置７０と画像処理装置８０とのうちの少なくとも一つを含む。

本出願の実施例は、航空機に応用でき、特に無人機分野である。

本出願の各実施例の電気回路、サブ電気回路、サブユニットの区分は、概略的にすぎないことを理解されたい。当業者は、本文で開示される実施例により説明される各例示的な電気回路、サブ電気回路、及びサブユニットは、分解、又は組み合わせることができることを認識できる。

上述の実施例において、全部又は部分的に、ソフトウェア、ハードウェア、ファームウェア、又はその他の任意の組み合わせにより実現できる。ソフトウェアを使用して実現する場合、全部又は部分的にコンピュータプログラム製品の形態により実現できる。コンピュータプログラム製品は、一つ又は複数のコンピュータコマンドを含む。コンピュータでコンピュータコマンドをロード又は実行する場合、全部又は部分的に、本出願の実施例に基づくプロセス又は機能を生成する。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又はその他のプログラミング可能な装置でもよい。コンピュータコマンドは、コンピュータで読み取り可能な記憶媒体に記憶でき、又はコンピュータで読み取り可能な記憶媒体から他のコンピュータで読み取り可能な記憶媒体へ伝送でき、例えば、コンピュータコマンドは、サイト、コンピュータ、サーバ、又はデータセンタから有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、ＤＳＬ））、又は無線（例えば、赤外線、無線、マイクロ波など）の方法により他のサイト、コンピュータ、サーバ、又はデータセンタへ伝送できる。コンピュータで読み取り可能な記憶媒体は、コンピュータでアクセス可能ないずれかの使用可能な媒体であってよく、又は一つ若しくは複数の使用可能な媒体が集積されたサーバ、データセンタなどを含むデータ記憶デバイスであってもよい。使用可能な媒体は、磁性媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ））などであってもよい。

本明細書全体において言及される「一つの実施例」又は「実施例」は、実施例に関連する特定の特徴、構造、又は特性が本出願の少なくとも一つの実施例に含まれることを意味することを理解されたい。従って、本明細書全体の各箇所における「一つの実施例において」、又は「実施例において」は、同じ実施例を指すとは限らない。このほか、これらの特定の特徴、構造、又は特性は、任意の適切な方法で一つ又は複数の実施例に結合されることができる。

本出願の各実施例において、上述の各過程の番号の大きさは、実行順序の前後を意味するわけではなく、各過程の実行順序は、その機能及び内在的なロジックにより確定され、本出願の実施例の実施過程にいかなる制限を行うものではないことを理解されたい。

本出願の実施例における「Ａに対応するＢ」とは、ＢがＡに関連し、Ａに基づいて、Ｂを確定できることを示すことを理解されたい。但し、Ａに基づいて、Ｂを確定するとは、ＡによってのみＢを確定することを意味するわけではなく、さらに、Ａとその他の情報とのうちの少なくとも一つに基づいて、Ｂを確定できることを理解されたい。

本文における用語「少なくとも一つの」は、関連対象の関連関係を説明するにすぎず、３つの関係が存在でき、例えば、ＡとＢとのうちの少なくとも一つは、Ａが単独で存在する、ＡとＢが同時に存在する、Ｂが単独で存在する、の３つの状況があることを理解されたい。このほか、本文における記号「／」は通常、前後の関連対象が「又は」の関係であることを示す。

当業者は、本文で開示される実施例により説明される各例示的なユニット、及びアルゴリズムステップを踏まえ、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実現できることを認識できる。これらの機能が最終的にハードウェア、又はソフトウェアの方法で実行されるかは、技術的解決手段の特定の応用、及び設計上の制約条件により決定される。当業者は、各特定の応用に異なる方法を使用することで説明される機能を実現できるが、このような実現は、本出願の範囲を超えると認識されるべきではない。

当業者は、説明しやすく、簡潔に説明するために、上述の説明されるシステム、装置、及びユニットの具体的な作動過程が前述の方法の実施例における対応過程を参照できることを明確に理解でき、ここではこれ以上説明しない。

本出願により提供される複数の実施例において、開示されるシステム、装置、及び方法は、その他の方法により実現できることを理解されたい。例えば、上述に説明された装置の実施例は、例示的にすぎない。例えば、前記ユニットの区分は、ロジック機能の区分にすぎず、実際に実現する場合には、他の分割方法があってよく、例えば、複数のユニット、若しくはコンポーネントは、結合でき、若しくは他のシステムに集積でき、又はいくつかの特徴は無視でき、若しくは実行しないことができる。また、示された、若しくは検討された互いの間の結合、又は直接的な結合、又は通信接続は、いくつかのインターフェースによることができ、装置、若しくはユニットの間接的な結合、又は通信接続は、電気的であってよく、機械、又はその他の形態であってもよい。

前記分離部材として説明されたユニットは、物理的に分割されてもよく、又は物理的に分割されなくてもよく、ユニットとして表示される部材は、物理ユニットでもよく、又は物理ユニットでなくてもよく、すなわち一つの場所に位置でき、又は複数のネットワークユニットに分布されてもよい。実際の必要に応じてそのうちの一部又は全部のユニットを選択して本実施例の解決手段の目的を実現できる。

このほか、本出願の各実施例における各機能ユニットは、一つの処理ユニットに集積でき、各ユニットが単独で物理的に存在することもでき、二つ又は二つ以上のユニットが一つのユニットに集積されてもよい。

以上に述べたのは、本出願の具体的な実施形態に過ぎないが、本出願の保護範囲は、これに限定されるわけではなく、当分野を熟知する当業者はいずれも本出願により開示される技術範囲内において、変更又は置換を容易に想到でき、いずれも本出願の保護範囲内に含まれるものとする。従って、本出願の保護範囲は、記載された特許請求の範囲の保護範囲を基準とする。
（項目１）
動画処理方法であって、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
上記初期ＭＶが指向する参照画像が長期参照画像である場合、上記初期ＭＶに基づいて上記現在の画像ブロックに動き補償を行うことと、
上記初期ＭＶが指向する参照画像が短期参照画像である場合、上記初期ＭＶを修正し、修正後のＭＶを得て、上記修正後のＭＶに基づいて上記現在の画像ブロックに動き補償を行うことと、を含む動画処理方法。
（項目２）
上記初期ＭＶが指向する参照画像が短期参照画像である場合、上記初期ＭＶを修正し、修正後のＭＶを得て、上記修正後のＭＶに基づいて上記現在の画像ブロックに動き補償を行うことは、
上記現在の画像ブロックのＭＶ候補リストを取得し、上記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像が短期参照画像であることと、
上記ＭＶ候補リストに基づいて、上記初期ＭＶを確定することと、
上記初期ＭＶを修正し、修正後のＭＶを得ることと、
上記修正後のＭＶに基づいて、上記現在の画像ブロックに動き補償を行うことと、を含む項目１に記載の方法。
（項目３）
上記現在の画像ブロックのＭＶ候補リストを取得することは、
上記ＭＶ候補リストに加えるための候補ＭＶを確定し、上記候補ＭＶが指向する参照画像が短期参照画像である場合、上記候補ＭＶを上記ＭＶ候補リストに加えることを含む項目２に記載の方法。
（項目４）
上記方法は、
上記候補ＭＶが指向する参照画像のフレームマークに基づいて、上記候補ＭＶが指向する参照画像が短期参照画像であると確定することをさらに含む項目３に記載の方法。
（項目５）
上記ＭＶ候補リストは、
上記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、短期参照フレームに対して得られたオリジナルＡＭＶＰ候補ＭＶ、
短期参照フレームに対して得られたマージ候補ＭＶ、
短期参照フレームから補間により得られたＭＶ、及び
上記現在のブロックの短期参照フレームに対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む項目２～４のいずれか一項に記載の方法。
（項目６）
上記ＭＶ候補リストに基づいて、上記初期ＭＶを確定することは、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、上記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定することと、
上記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを上記初期ＭＶとすることと、を含む項目５に記載の方法。
（項目７）
上記初期ＭＶを修正し、修正後のＭＶを得ることは、
上記現在の画像ブロックにサブＭＶ候補リストを生成し、上記サブＭＶ候補リストには上記初期ＭＶを含むことと、
上記サブＭＶ候補リストから歪みコストが最も小さいＭＶを上記修正後のＭＶとして確定することと、を含む項目６に記載の方法。
（項目８）
上記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、
上記初期ＭＶが指向する参照画像が長期参照画像である場合、上記初期ＭＶに基づいて上記現在の画像ブロックに動き補償を行うことは、
上記第１初期ＭＶ、及び上記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が長期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶに基づいて上記現在の画像ブロックに動き補償を行うことと、
上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する参照画像がいずれも短期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得て、上記修正後の第１ＭＶ、及び上記修正後の第２ＭＶに基づいて上記現在の画像ブロックに動き補償を行うことと、を含む項目１に記載の方法。
（項目９）
上記第１初期ＭＶ、及び上記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得ることは、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、上記第１参照画像ブロックは、上記第１初期ＭＶに対応し、かつ第１参照画像に属し、上記第２参照画像ブロックは、上記第２初期ＭＶに対応し、かつ第２参照画像に属することと、
上記テンプレートに基づいて、上記第１初期ＭＶ、及び上記第２初期ＭＶを修正し、上記修正後の第１ＭＶ、及び上記修正後の第２ＭＶを得ることと、を含む項目８に記載の方法。
（項目１０）
上記テンプレートに基づいて、上記第１初期ＭＶ、及び上記第２初期ＭＶを修正し、上記修正後の第１ＭＶ、及び上記修正後の第２ＭＶを得ることは、
Ｎ個の第３参照画像ブロックを利用して、それぞれ上記テンプレートとマッチングし、ここで、上記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ上記第１参照画像に属することと、
Ｍ個の第４参照画像ブロックを利用して、それぞれ上記テンプレートとマッチングし、ここで、上記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ上記第２参照画像に属することと、
上記マッチング結果に基づいて、上記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び上記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、上記一つの第３初期ＭＶ、及び上記一つの第４初期ＭＶを上記現在の画像ブロックのＭＶとし、又は上記現在の画像ブロックのＭＶを確定することに用いることと、を含む項目９に記載の方法。
（項目１１）
上記第３初期ＭＶは、上記第１初期ＭＶを含み、上記第４初期ＭＶは、上記第２初期ＭＶを含む項目１０に記載の方法。
（項目１２）
上記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、上記第１初期ＭＶに基づいて偏移して得られ、上記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、上記第２初期ＭＶに基づいて偏移して得られたものである項目１０又は１１に記載の方法。
（項目１３）
上記Ｎは、上記Ｍに等しい項目１０～１２のいずれか一項に記載の方法。
（項目１４）
上記第１参照画像は、上記現在の画像ブロックの前方向フレームであり、上記第２参照画像は、上記現在の画像ブロックの後方向フレームであり、又は、
上記第１参照画像は、上記現在の画像ブロックの前方向フレームであり、上記第２参照画像は、上記現在の画像ブロックの前方向フレームである項目１０～１３のいずれか一項に記載の方法。
（項目１５）
上記長期参照画像は、出力しない画像である項目１～１４のいずれか一項に記載の方法。
（項目１６）
画像処理装置であって、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
上記少なくとも一つのメモリにアクセスし、かつ上記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、上記操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
上記初期ＭＶが指向する参照画像が長期参照画像である場合、上記初期ＭＶに基づいて上記現在の画像ブロックに動き補償を行うことと、
上記初期ＭＶが指向する参照画像が短期参照画像である場合、上記初期ＭＶを修正し、修正後のＭＶを得て、上記修正後のＭＶに基づいて上記現在の画像ブロックに動き補償を行うことと、である装置。
（項目１７）
上記プロセッサは、具体的に、
上記現在の画像ブロックのＭＶ候補リストを取得し、上記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像が短期参照画像であり、
上記ＭＶ候補リストに基づいて、上記初期ＭＶを確定し、
上記初期ＭＶを修正し、修正後のＭＶを得て、
上記修正後のＭＶに基づいて上記現在の画像ブロックに動き補償を行うためのものである項目１６に記載の画像処理装置。
（項目１８）
上記プロセッサは、さらに、
上記ＭＶ候補リストに加えるための候補ＭＶを確定し、上記候補ＭＶが指向する参照画像が短期参照画像である場合、上記候補ＭＶを上記ＭＶ候補リストに加えるためのものである項目１７に記載の画像処理装置。
（項目１９）
上記プロセッサは、さらに、
上記候補ＭＶが指向する参照画像のフレームマークに基づいて、上記候補ＭＶが指向する参照画像が短期参照画像であると確定するためのものである項目１６～１８のいずれか一項に記載の画像処理装置。
（項目２０）
上記ＭＶ候補リストは、
上記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、短期参照フレームに対して得られたオリジナルＡＭＶＰ候補ＭＶ、
短期参照フレームに対して得られたマージ候補ＭＶ、
短期参照フレームから補間により得られたＭＶ、及び
上記現在のブロックの短期参照フレームに対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む項目１９に記載の画像処理装置。
（項目２１）
上記プロセッサは、具体的に、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、上記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定し、
上記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを上記初期ＭＶとするためのものである項目２０に記載の画像処理装置。
（項目２２）
上記プロセッサは、具体的に、
上記現在の画像ブロックにサブＭＶ候補リストを生成し、上記サブＭＶ候補リストには上記初期ＭＶを含み、
上記サブＭＶ候補リストから歪みコストが最も小さいＭＶを上記修正後のＭＶとして確定するためのものである項目１６～１８のいずれか一項に記載の画像処理装置。
（項目２３）
上記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、
上記プロセッサは、具体的に、
上記第１初期ＭＶ、及び上記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が長期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶに基づいて上記現在の画像ブロックに動き補償を行い、
上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する参照画像がいずれも短期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得て、上記修正後の第１ＭＶ、及び上記修正後の第２ＭＶに基づいて上記現在の画像ブロックに動き補償を行うためのものである項目１６に記載の画像処理装置。
（項目２４）
上記プロセッサは、具体的に、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、上記第１参照画像ブロックは、上記第１初期ＭＶに対応し、かつ第１参照画像に属し、上記第２参照画像ブロックは、上記第２初期ＭＶに対応し、かつ第２参照画像に属し、
上記テンプレートに基づいて、上記第１初期ＭＶ、及び上記第２初期ＭＶを修正し、上記修正後の第１ＭＶ、及び上記修正後の第２ＭＶを得るためのものである項目２３に記載の画像処理装置。
（項目２５）
上記プロセッサは、具体的に、
Ｎ個の第３参照画像ブロックを利用して、それぞれ上記テンプレートとマッチングし、ここで、上記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ上記第１参照画像に属し、
Ｍ個の第４参照画像ブロックを利用して、それぞれ上記テンプレートとマッチングし、ここで、上記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ上記第２参照画像に属し、
上記マッチング結果に基づいて、上記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び上記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、上記一つの第３初期ＭＶ、及び上記一つの第４初期ＭＶを上記現在の画像ブロックのＭＶとし、又は上記現在の画像ブロックのＭＶを確定することに用いるためのものである項目２４に記載の画像処理装置。
（項目２６）
上記第３初期ＭＶは、上記第１初期ＭＶを含み、上記第４初期ＭＶは、上記第２初期ＭＶを含む項目２５に記載の画像処理装置。
（項目２７）
上記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、上記第１初期ＭＶに基づいて偏移して得られ、上記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、上記第２初期ＭＶに基づいて偏移して得られたものである項目２５又は２６に記載の画像処理装置。
（項目２８）
上記Ｎは、上記Ｍに等しい項目２５～２７のいずれか一項に記載の画像処理装置。
（項目２９）
上記第１参照画像は、上記現在の画像ブロックの前方向フレームであり、上記第２参照画像は、上記現在の画像ブロックの後方向フレームであり、又は、
上記第１参照画像は、上記現在の画像ブロックの前方向フレームであり、上記第２参照画像は、上記現在の画像ブロックの前方向フレームである項目２５～２８のいずれか一項に記載の画像処理装置。
（項目３０）
上記長期参照画像は、出力しない画像である項目１６～２９のいずれか一項に記載の画像処理装置。
（項目３１）
コンピュータで読み取り可能な記憶媒体であって、
これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに項目１～１５のいずれか一項に記載の画像処理のための方法を実行させるコンピュータで読み取り可能な記憶媒体。
（項目３２）
項目１６～３０のいずれか一項に記載の画像処理装置を含む符号化デバイス。
（項目３３）
項目１６～３０のいずれか一項に記載の画像処理装置を含む復号化デバイス。
（項目３４）
動画処理方法であって、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、上記第１初期ＭＶは、第１参照画像を指向し、上記第２初期ＭＶは、第２参照画像を指向することと、
上記第１参照画像、及び上記第２参照画像のうちの少なくとも一つが長期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
上記第１参照画像、及び上記第２参照画像がいずれも短期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する画素点の勾配度に基づいて、現在の画像ブロックのＭＶを計算して得て、上記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、を含む動画処理方法。
（項目３５）
上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する画素点の勾配値に基づいて、上記現在の画像ブロックのＭＶを計算して得ることは、
上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、上記現在の画像ブロックのＭＶを計算して得ることを含む項目３４に記載の方法。
（項目３６）
上記第１初期ＭＶ、及び上記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、
上記第１初期ＭＶが指向する第１参照画像ブロック、及び上記第２初期ＭＶが指向する第２参照画像ブロックを加重合計し、上記現在の画像ブロックの予測画像ブロックを得ることを含む３４又は３５に記載の方法。
（項目３７）
上記第１初期ＭＶ、及び上記第２初期ＭＶの予測方向は異なる項目３４～３６のいずれか一項に記載の方法。
（項目３８）
上記第１初期ＭＶ、及び上記第２初期ＭＶの予測方向は同じであり、上記第１初期ＭＶ、及び上記第２初期ＭＶはいずれも０でなく、上記第１参照画像、及び上記第２参照画像は異なる項目３４～３７のいずれか一項に記載の方法。
（項目３９）
上記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、
上記現在の画像ブロックのＭＶ、上記第１初期ＭＶが指向する第１参照画像ブロック、及び上記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、上記現在の画像ブロックの予測画像ブロックを計算して得ることを含む項目３４～３８のいずれか一項に記載の方法。
（項目４０）
上記長期参照画像は、出力しない画像である項目３４～３８のいずれか一項に記載の方法。
（項目４１）
画像処理装置であって、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
上記少なくとも一つのメモリにアクセスし、かつ上記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、上記操作は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、上記第１初期ＭＶは、第１参照画像を指向し、上記第２初期ＭＶは、第２参照画像を指向することと、
上記第１参照画像、及び上記第２参照画像のうちの少なくとも一つが長期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
上記第１参照画像、及び上記第２参照画像がいずれも短期参照画像である場合、上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する画素点の勾配度に基づいて、現在の画像ブロックのＭＶを計算して得て、上記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、である装置。
（項目４２）
上記プロセッサは、具体的に、
上記第１初期ＭＶ、及び上記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、上記現在の画像ブロックのＭＶを計算して得るためのものである項目４１に記載の画像処理装置。
（項目４３）
上記プロセッサは、具体的に、
上記第１初期ＭＶが指向する第１参照画像ブロック、及び上記第２初期ＭＶが指向する第２参照画像ブロックを加重合計し、上記現在の画像ブロックの予測画像ブロックを得るためのものである４１又は４２に記載の画像処理装置。
（項目４４）
上記第１初期ＭＶ、及び上記第２初期ＭＶの予測方向は異なる項目４１～４３のいずれか一項に記載の画像処理装置。
（項目４５）
上記第１初期ＭＶ、及び上記第２初期ＭＶの予測方向は同じであり、上記第１初期ＭＶ、及び上記第２初期ＭＶはいずれも０でなく、上記第１参照画像、及び上記第２参照画像は異なる項目４１～４４のいずれか一項に記載の画像処理装置。
（項目４６）
上記プロセッサは、具体的に、
上記現在の画像ブロックのＭＶ、上記第１初期ＭＶが指向する第１参照画像ブロック、及び上記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、上記現在の画像ブロックの予測画像ブロックを計算して得るためのものである項目４１～４５のいずれか一項に記載の画像処理装置。
（項目４７）
上記長期参照画像は、出力しない画像である項目４１～４６のいずれか一項に記載の画像処理装置。
（項目４８）
コンピュータで読み取り可能な記憶媒体であって、
これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに項目３４～４０のいずれか一項に記載の画像処理のための方法を実行させるコンピュータで読み取り可能な記憶媒体。
（項目４９）
項目４１～４７のいずれか一項に記載の画像処理装置を含む符号化デバイス。
（項目５０）
項目４１～４７のいずれか一項に記載の画像処理装置を含む復号化デバイス。

Claims (12)

1. マークに基づいて、時間順序において現在のフレームよりも前の画像を長期参照画像として決定することと、
   前記現在の画像ブロックの動きベクトル候補リストを取得することと、
   複数のインデックスを受信することと、
   前記複数のインデックスに基づいて、前記動きベクトル候補リストから前記現在の画像ブロックの初期動きベクトルを取得することと、
   前記初期動きベクトルによって指向される参照画像が短期参照画像である場合には、前記参照画像の前記初期動きベクトルによって指向される近くの画像ブロックを検索し、前記検索によって得られた画像ブロックに基づいて修正動きベクトルを取得し、前記修正動きベクトルに基づいて前記現在の画像ブロックを予測することと、
   前記参照画像が長期参照画像である場合には前記初期動きベクトルに基づいて前記現在の画像ブロックを予測することと、
   を含む画像処理方法。
2. 前記動きベクトル候補リストの候補動きベクトルにより指向された参照画像は短期参照画像である、請求項１に記載の画像処理方法。
3. 前記現在の画像ブロックの動きベクトル候補リストを取得することは、
   前記動きベクトル候補リストに加えるための候補動きベクトルを確定し、前記候補動きベクトルが指向する参照画像が短期参照画像である場合、前記候補動きベクトルを前記動きベクトル候補リストに加えることを含む請求項１に記載の画像処理方法。
4. 前記画像処理方法は、
   前記候補動きベクトルが指向する参照画像のフレームマークに基づいて、前記候補動きベクトルが指向する参照画像が短期参照画像であると確定することをさらに含む請求項２または３に記載の画像処理方法。
5. 前記動きベクトル候補リストは、
   前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、短期参照フレームに対して得られたオリジナルＡＭＶＰ候補動きベクトル、
   短期参照フレームに対して得られたマージ候補動きベクトル、
   短期参照フレームから補間により得られた動きベクトル、及び
   前記現在のブロックの短期参照フレームに対する上方隣接動きベクトルと左側隣接動きベクトルのうちの少なくとも一つの候補動きベクトルを含む請求項１から請求項４のいずれか一項に記載の画像処理方法。
6. 前記動きベクトル候補リストに基づいて、前記初期動きベクトルを確定することは、
   双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記動きベクトル候補リストにおける候補動きベクトルに対応する歪みコストを確定することと、
   前記動きベクトル候補リストにおける歪みコストが最も小さい動きベクトルを前記初期動きベクトルとすることと、を含む請求項５に記載の画像処理方法。
7. 前記初期動きベクトルを修正し、修正後の動きベクトルを得ることは、
   前記現在の画像ブロックにサブ動きベクトル候補リストを生成し、前記サブ動きベクトル候補リストには前記初期動きベクトルを含むことと、
   前記サブ動きベクトル候補リストから歪みコストが最も小さい動きベクトルを前記修正後の動きベクトルとして確定することと、を含む請求項６に記載の画像処理方法。
8. 前記長期参照画像は、出力しない画像である請求項１から請求項７のいずれか一項に記載の画像処理方法。
9. 画像処理装置であって、
   コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
   前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、前記操作は、
   マークに基づいて、時間順序において現在のフレームよりも前の画像を長期参照画像として決定することと、
   前記現在の画像ブロックの動きベクトル候補リストを取得することと、
   複数のインデックスを受信することと、
   前記複数のインデックスに基づいて、前記動きベクトル候補リストから前記現在の画像ブロックの初期動きベクトルを取得することと、
   前記初期動きベクトルによって指向される参照画像が短期参照画像である場合には、前記参照画像の前記初期動きベクトルによって指向される近くの画像ブロックを検索し、前記検索によって得られた画像ブロックに基づいて修正動きベクトルを取得し、前記修正動きベクトルに基づいて前記現在の画像ブロックを予測することと、
   前記参照画像が長期参照画像である場合には前記初期動きベクトルに基づいて前記現在の画像ブロックを予測することと、
   である装置。
10. 請求項１から請求項８のいずれか一項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
11. 請求項９に記載の画像処理装置を含む符号化デバイス。
12. 請求項９に記載の画像処理装置を含む復号化デバイス。

Images