JP6677804B2 - ビデオ動き補償のための装置及び方法 - Google Patents

Description

本発明は、概してビデオ処理の分野及びビデオ動き補償のための装置に関し、特に、ビデオ内のフレームを予測するために動き補償をサポートするビデオコーダ及びビデオデコーダに関する。本発明は、動き補償を使用してビデオストリームを符号化する方法及び復号化する方法に更に関する。最後に、本発明は、このような方法を実行するプログラムコードを有するコンピュータプログラムに関する。

ビデオ処理の分野において、特に、ハイブリッドビデオ符号化及び圧縮の分野において、インター及びイントラ予測と、変換符号化とを使用することが知られている。このようなハイブリッドビデオ符号化技術は、H.261、H.263、MPEG-1、2、4、H.264/AVC又はH.265/HEVCのような既知のビデオ圧縮標準で使用されている。

図１は、現状技術によるビデオコーダを示している。ビデオコーダ100は、ビデオストリームのフレーム又はピクチャの入力ブロックを受信する入力と、符号化ビデオビットストリームを生成する出力とを含む。ビデオコーダ100は、ビデオストリームに予測、変換、量子化及びエントロピー符号化を適用するように適合される。符号化ビデオビットストリームを出力として生成するために、変換、量子化及びエントロピー符号化は、それぞれ変換ユニット101、量子化ユニット102及びエントロピー符号化ユニット103により実行される。

ビデオストリームは、複数のフレームに対応し、各フレームは、イントラ又はインター符号化される特定のサイズのブロックに分割される。例えば、ビデオストリームの第１のフレームのブロックは、イントラ予測ユニット109を用いてイントラ符号化される。イントラフレームは、同じフレーム内の情報のみを使用して符号化され、そのため、これは独立して復号化でき、ランダムアクセスのためのビットストリーム内のエントリーポイントを提供できる。ビデオストリームの他のフレームのブロックは、インター予測ユニット110を用いてインター符号化される。参照フレームと呼ばれる符号化フレームからの情報は、時間冗長性を低減するために使用され、そのため、インター符号化フレームの各ブロックは、参照フレーム内の同じサイズのブロックから予測される。モード選択ユニット108は、フレームのブロックがイントラ予測ユニット109により処理されるかインター予測ユニット110により処理されるかを選択するように適合される。

インター予測を実行するために、符号化参照フレームは、後にフレームバッファ107に記憶される参照フレームを取得するために、逆量子化ユニット104、逆変換ユニット105、ループフィルタリングユニット106により処理される。特に、参照フレームの参照ブロックは、再構成された参照ブロックを取得するために、これらのブロックにより処理され得る。次に、再構成された参照ブロックは、参照フレームに再結合される。

インター予測ユニット110は、インター符号化される現在フレーム又はピクチャと、フレームバッファ107からの１つ又は複数の参照フレーム又はピクチャとを入力として含む。動き推定及び動き補償は、インター予測ユニット110により適用される。動き推定は、特定のコスト関数に基づいて動きベクトル及び参照フレームを取得するために使用される。次に、動き補償は、参照フレームの参照ブロックから現在フレームへの変換に関して、現在フレームの現在ブロックを記述する。インター予測ユニット110は、現在ブロックの予測ブロックを出力し、この予測ブロックは、符号化される現在ブロックとその予測ブロックとの間の差を最小化し、すなわち、残差ブロックを最小化する。残差ブロックの最小化は、例えば、レート歪み最適化手順に基づく。

次に、現在ブロックとその予測との間の差、すなわち、残差ブロックは、変換ユニット101により変換される。変換係数は、量子化ユニット102及びエントロピー符号化ユニット103により量子化及びエントロピー符号化される。このように生成された符号化ビデオビットストリームは、イントラ符号化ブロック及びインター符号化ブロックを含む。

このようなハイブリッドビデオ符号化は、予測誤差の変換符号化と組み合わせた動き補償予測を含む。ブロック毎に、推定された動きベクトルもまた、符号化ビデオビットストリーム内のシグナリングデータとして送信される。今日の標準のH.264/AVC及びH.265/HEVCは、動きベクトルについて1/4画素精度解像度（1/4 pel displacement resolution）に基づく。分数画素精度（fractional-pel displacement）を推定及び補償するために、参照フレームは、分数画素位置において補間される必要がある。分数画素位置においてこのような補間フレームを取得するために、インター予測ユニット110において補間フィルタが使用される。

補間フレームの品質は、使用される補間フィルタの属性に強く依存する。ショートタップフィルタ、例えば、バイリニアフィルタは、高周波数を抑制し、補間フレームをぼやかせる可能性がある。ロングタップフィルタのような他のフィルタは、高周波数を保護するが、鋭いエッジの周辺にいくつかのリンギングアーティファクト（ringing artifact）を生成する可能性がある。他の問題は、動き補償は、前に符号化及び再構成されたフレームを参照フレームとして利用する点である。参照フレームは、ギブズ効果と呼ばれる変換係数の量子化により引き起こされるアーティファクトを含む可能性がある。これらのアーティファクトのため、エッジ及びエッジの周辺のエリアもまた歪む可能性がある。

従来技術では、エッジの品質は、鮮鋭化又はぼけ防止（de-blurring）ポストフィルタを復号化フレームに適用することにより増加し得ることが知られている。このようなポストフィルタリング設計の問題は、鮮鋭化フィルタが符号化処理に含まれていないことである。したがって、鮮鋭化フィルタの効果は、レート歪み最適化手順の間に考慮できない。これは、ピーク信号対雑音比（peak signal-to-noise-ratio, PSNR）のような客観的品質メトリックの低減をもたらす可能性がある。

客観的品質を増加させるために、従来技術では、鮮鋭化フィルタをループフィルタリングユニット106に含めることも知られている。したがって、鮮鋭化フィルタは、再構成された参照フレームに適用され、参照フレーム内の圧縮アーティファクトを除去することにより、動き補償予測を改善し得る。しかし、このようなループフィルタリング技術は、動き補間フィルタにより引き起こされるアーティファクトを除去できない。

前述の欠点及び問題を認識して、本発明は、現状技術を改善することを目的とする。特に、本発明の目的は、後続のフレームのビデオストリームの改善した符号化及び復号化のためのビデオコーダ、符号化方法、ビデオデコーダ及び復号化方法を提供することである。

本発明は、特に、インター予測符号化の品質を改善することを意図する。特に、発明は、動き補償により引き起こされるアーティファクトを除去することを意図する。具体的には、動き補間フィルタの負の効果を低減すること、すなわち、分数画素位置における参照フレームの補間の負の効果を低減することと、参照フレームの量子化アーティファクトを低減することにより予測の品質を改善することとが、本発明の目的である。

本発明の前述の目的は、添付の独立請求項において提供される解決策により達成される。本発明の有利な実現は、それぞれの従属項において更に規定される。

本発明の第１の態様は、動き補償に従って後続のフレームのビデオストリームを符号化ビデオビットストリームに予測符号化するビデオコーダを提供する。ビデオコーダは、ビデオストリームの少なくとも１つの参照フレームを記憶するように適合されたフレームバッファを含み、この参照フレームは、ビデオストリームの現在フレームとは異なる。ビデオコーダは、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成するように適合されたインター予測ユニットを含む。ビデオコーダは、予測ブロックをフィルタリングするように適合された鮮鋭化フィルタを含む。

それにより、鮮鋭化フィルタを予測ブロックに適用することは、有利に品質補間されたエッジを保持する一方で、分数画素位置における参照フレーム／ブロックの補間により引き起こされる、すなわち、動き補間フィルタにより引き起こされるリンギングアーティファクトを除去又は少なくとも低減するという点で、インター予測符号化の品質を改善する。これはまた、参照ブロックにおける変換係数の量子化により引き起こされるギブズ効果とも呼ばれるリンギングアーティファクトを除去或いは少なくとも低減する。これは、量子化及び動き補間により引き起こされるエッジのぼけを更に低減し、また、動きぼけにより引き起こされるエッジのぼけを低減する。さらに、本発明は、再構成されたフレーム／ブロックにおけるエッジの主観的品質を増加させる。

それにより、発明に従って動き補間フィルタの後、すなわち、インター予測ユニットの後に鮮鋭化フィルタを配置することは、同時に動き補間フィルタにより引き起こされるアーティファクトが除去又は少なくとも低減できる一方で、鮮鋭化フィルタにループ内参照フィルタ、すなわち、ループフィルタリングユニットの役目を実行させる。

第１の態様によるビデオコーダの第１の実現形式では、鮮鋭化フィルタは、非線形フィルタである。

それにより、このような非線形鮮鋭化フィルタの使用は、動き予測の向上に好ましい。アンシャープマスキング技術のような線形鮮鋭化又はぼけ防止フィルタに基づく従来のエッジ強調技術は、主観的品質を増加さえ得るが、動き補間フィルタリングにより引き起こされるリンギングアーティファクトを抑制できない。また、ほとんどの場合、このような線形鮮鋭化は、リンギングを増加し、客観的性能特性を低減する可能性すらあることが発見されている。他方、非線形フィルタは、リンギング除去についてより良い結果を提供でき、したがって、有利である。

第１の態様によるビデオコーダの更なる実現形式では、鮮鋭化フィルタは、ソースブロックのエッジマップを生成するように適合されたエッジマップ計算ユニットを更に含み、このソースブロックは、参照ブロック又は予測ブロックである。鮮鋭化フィルタは、ソースブロックのエッジマップをぼやかすように適合されたぼけフィルタを含む。鮮鋭化フィルタは、ぼけたエッジマップを高域フィルタリングすることにより、ソースブロックの各位置の微分ベクトル（derivative vector）を生成するように適合された高域フィルタを含む。鮮鋭化フィルタは、鮮鋭化強度係数で微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されたスケーリングユニットを含む。鮮鋭化フィルタは、変位ベクトルに基づいて予測ブロックをワープ（warp）するように適合されたワープユニットを含む。

それにより、鮮鋭化フィルタのこの構造は、リンギングアーティファクトの除去に関してより良い結果を有利に提供できる非線形鮮鋭化フィルタを規定する。

第１の態様によるビデオコーダの更なる実現形式では、エッジマップ計算ユニットは、ソースブロックの各位置について勾配ベクトルを生成するように適合された勾配ベクトルユニットを含む。エッジマップ計算ユニットは、ソースブロックのエッジマップを生成するために、各位置の勾配ベクトルの長さを計算するように適合された勾配ベクトル長ユニットを含む。

それにより、この構造は、変位ベクトルを生成するために、ぼけフィルタ、高域フィルタ及びスケーリングユニットにより更に処理できるエッジマップの生成を可能にする。

第１の態様によるビデオコーダの更なる実現形式では、勾配ベクトルユニットは、Prewittフィルタである。

それにより、Prewittフィルタの使用は、変位ベクトルを生成して予測ベクトルをワープするために、これがソースブロックの各位置について勾配ベクトルを出力できるという点で有利である。

第１の態様によるビデオコーダの更なる実現形式では、鮮鋭化フィルタは、ソースブロックのエッジマップをクリップするように適合されたクリッピングユニットを含む。クリッピングユニットは、エッジマップ計算ユニットとぼけフィルタとの間に位置する。

それにより、閾値でのエッジマップのクリッピングは、これが変位ベクトルの極めて高い値及び低い値の処理を妨げるという点で有利である。したがって、ゼロの値の変位を更なるワープ処理から除外することにより、計算リソースが節約され得る。

第１の態様によるビデオコーダの更なる実現形式では、ぼけフィルタは、ガウスフィルタである。

それにより、ガウスフィルタの後に位置する高域フィルタによる処理の品質が改善でき、そのため、変位ベクトルに基づくワープも改善できる。

第１の態様によるビデオコーダの差なる実現形式では、ワープユニットは、分数位置においてサンプル値を取得するためのバイリニア補間フィルタを含む。

それにより、同時に所望の分数画素位置において参照フレーム／ブロックの補間を提供する一方で、ビデオコーダの全体品質が改善する。

第１の態様によるビデオコーダの更なる実現形式では、ソースブロックは、参照ブロックであり、そのため、ワープ変位ベクトルは、参照ブロックから導出される。

それにより、参照ブロックは、変位ベクトルを取得するためのソースブロックとして使用され、変位ベクトルは、鮮鋭化変位ベクトル又はワープ変位ベクトルとも呼ばれる。次に、ワープは、取得されたワープ変位ベクトルを使用して、予測ブロックに適用される。この実施例は、エンコーダ側で計算リソースを節約するという点で有利である。

第１の態様によるビデオコーダの更なる実現形式では、ソースブロックは、予測ブロックであり、そのため、ワープ変位ベクトルは、予測ブロックから導出される。

それにより、ソースブロックとして予測ブロックを選択することは、予測ブロックのワープを実行するための適切な変位ベクトルの計算を可能にする。また、次に、鮮鋭化フィルタは、予測ブロックのための１つ入力のみを必要とし、参照ブロックのための第２の入力は必要ない。

第１の態様によるビデオコーダの更なる実現形式では、鮮鋭化フィルタは、常に有効である。

第１の態様によるビデオコーダの更なる実現形式では、ビデオコーダは、鮮鋭化フィルタの選択的迂回及び鮮鋭化フィルタの選択的適用のうち少なくとも１つを制御するように適合された制御ユニットを含む。

それにより、鮮鋭化フィルタを有効化又は無効化するために、制御ユニットにより判断が行われ得る。次に、判断は、それぞれの特定の場合に適用でき、例えば、符号化される特定のビデオストリームに適用できる。また、鮮鋭化フィルタは、ビデオコーダにおける計算リソースを節約するために迂回できる。他方、鮮鋭化フィルタは、補間品質の改善及びアーティファクトの低減に優先度が与えられるものとする場合に適用できる。

第１の態様によるビデオコーダの更なる実現形式では、制御ユニットは、残差ブロックを最小化するためのコスト関数に依存して、鮮鋭化フィルタの選択的迂回及び選択的適用のうち少なくとも１つを制御するように適合される。この残差ブロックは、現在ブロックと予測ブロックとの間の差である。コスト関数は、例えば、レート歪み最適化に基づいてもよい。

それにより、鮮鋭化フィルタを適用又は迂回できることは、動き補償を改善するために更に使用できる。インター予測ユニットにより出力された予測ブロックと、鮮鋭化フィルタにより出力された予測ブロックとからそれぞれ導出された２つの残差ブロックは、コスト関数に関して比較できる。残差ブロックを最小化する予測ブロックを選択することにより、且つ対応して鮮鋭化フィルタを適用又は迂回することにより、データの量、例えば、符号化される変換係数の量が低減できる。

第１の態様によるビデオコーダの更なる実現形式では、ビデオコーダは、符号化ビデオビットストリームを生成するように適合された符号化ユニットを含む。制御ユニットは、鮮鋭化フィルタの選択的迂回及び選択的適用のうち少なくとも１つを反映する鮮鋭化フィルタ情報を符号化ユニットに送信するように適合される。符号化ユニットは、符号化ビデオビットストリーム内に鮮鋭化フィルタ情報を追加するように適合される。

それにより、符号化ビデオビットストリームを復号化するときに、正確な復号化を保証するために、この鮮鋭化フィルタ情報を取得し、それに従ってデコーダ側で鮮鋭化フィルタを適用又は迂回することが可能になる。

第１の態様によるビデオコーダの更なる実現形式では、鮮鋭化フィルタ情報は、各予測ブロック、フレームの任意の領域若しくは規則的な領域のブロックレベル、フレームレベル、GOP（グループオブピクチャ）レベル、PPS（ピクチャパラメータセット）レベル又はSPS（シーケンスパラメータセット）レベルにおいて追加される。

それにより、鮮鋭化フィルタ情報を所望の粒度に設定することが可能になり、そのため、シグナリングが最適化できる。

本発明の第２の態様は、動き補償に従って後続のフレームのビデオストリームを符号化ビデオビットストリームに予測符号化する方法を提供する。方法は、ビデオストリームの少なくとも１つの参照フレームを記憶するステップを含み、この参照フレームは、ビデオストリームの現在フレームとは異なる。方法は、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成するステップを含む。方法は、鮮鋭化フィルタステップを予測ブロックに適用するステップを含む。

本発明の第２の態様による方法の更なる特徴又は実現は、本発明の第１の態様及びその異なる実現形式によるビデオコーダの機能を実現できる。

本発明の第３の態様は、動き補償に従って後続のフレームのビデオストリームを予測符号化することにより取得された符号化ビデオビットストリームを復号化するビデオデコーダを提供する。ビデオデコーダは、符号化ビデオビットストリームから取得された少なくとも１つの参照フレームを記憶するように適合されたフレームバッファを含み、この参照フレームは、符号化ビデオビットストリームの現在フレームとは異なる。ビデオデコーダは、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成するように適合されたインター予測ユニットを含む。ビデオデコーダは、予測ブロックをフィルタリングするように適合された鮮鋭化フィルタを含む。

それにより、第１の態様によるビデオコーダに関して取得される利点はまた、第３の態様によるビデオデコーダに関しても与えられる。

第３の態様によるビデオデコーダの実現形式では、鮮鋭化フィルタは、常に有効である。

第３の態様によるビデオデコーダの実現形式では、ビデオデコーダは、鮮鋭化フィルタの選択的迂回及び鮮鋭化フィルタの選択的適用のうち少なくとも１つを制御するように適合された制御ユニットを含む。

それにより、鮮鋭化フィルタユニットを適用又は迂回する判断は、それぞれの特定の場合に適用できる。また、鮮鋭化フィルタは、ビデオコーダ及びビデオデコーダにおける計算リソースを節約するために迂回できる。他方、鮮鋭化フィルタは、補間品質の改善及びアーティファクトの低減に優先度が与えられるものとする場合に適用できる。

第３の態様によるビデオデコーダの実現形式では、制御ユニットは、符号化ビデオビットストリームから取得された鮮鋭化フィルタ情報に依存して、鮮鋭化フィルタの選択的迂回及び選択的適用のうち少なくとも１つを制御するように適合される。

それにより、ビデオデコーダは、ビデオコーダ側で鮮鋭化フィルタの選択的迂回及び選択的適用のうち少なくとも１つを反映するような鮮鋭化フィルタ情報を符号化ビデオビットストリームに有利に追加し得るビデオコーダに適合できる。

特に鮮鋭化フィルタ及びその構造に関して、本発明の第１の態様によるビデオコーダの更なる特徴又は実現もまた、本発明の第３の態様によるビデオデコーダに適用可能である。

本発明の第４の態様は、動き補償に従って後続のフレームのビデオストリームを予測符号化することにより取得された符号化ビデオビットストリームを復号化する方法を提供する。方法は、符号化ビデオビットストリームから取得された少なくとも１つの参照フレームを記憶するステップを含み、この参照フレームは、符号化ビデオビットストリームの現在フレームとは異なる。方法は、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成するステップを含む。方法は、鮮鋭化フィルタステップを予測ブロックに適用するステップを含む。

本発明の第４の態様による方法の更なる特徴又は実現は、本発明の第３の態様及びその異なる実現形式によるビデオコーダの機能を実現できる。

本発明の第５の態様は、コンピュータプログラムがコンピューティングデバイス上で実行したときに、このような符号化及び／又は復号化方法を実行するプログラムコードを有するコンピュータプログラムを提供する。

本発明は、鮮鋭化フィルタを動き予測信号、すなわち、予測ブロックに適用することにより、動き補償の改善を提案する。リンギングアーティファクトを低減し、動き予測ブロック内のエッジの鮮鋭化を増加させることにより、動き補償を改善することが提案される。動き補償の向上のためにエンコーダ及びデコーダの双方に配置された予測フィルタとして鮮鋭化フィルタを適用することが提案される。非線形鮮鋭化予測フィルタが、動き補償の改善のために使用できる。

本出願に記載の全てのデバイス、エレメント、ユニット及び手段は、ソフトウェア若しくはハードウェアエレメント又はそのいずれかの種類の組み合わせで実現されてもよい点に留意する必要がある。本出願に記載の様々なエンティティにより実行される全てのステップと、様々なエンティティにより実行されるように記載される機能とは、それぞれのエンティティがそれぞれのステップ及び機能を実行するように適合又は構成されることを意味することを意図する。具体的な実施例の以下の説明において、不変のエンティティにより完全に形成される具体的な機能又はステップがその具体的なステップ又は機能を実行するそのエンティティの具体的な詳細なエレメントの説明に反映されなくても、これらの方法及び機能がそれぞれのソフトウェア若しくはハードウェア又はそのいずれかの種類の組み合わせで実現できることは、当業者に明らかになるべきである。

本発明の前述の態様及び実現形式は、添付の図面に関する具体的な実施例の以下の説明において説明される。
現状技術によるビデオコーダを示す。 本発明の実施例によるビデオコーダを示す。 本発明の実施例によるビデオデコーダを示す。 本発明による鮮鋭化フィルタの実施例を示す。 本発明の実施例によるビデオ符号化方法を示す。 本発明の実施例によるビデオ復号化方法を示す。

図２は、本発明の実施例によるビデオコーダ、特に、動き補償に従って後続のフレームのビデオストリームを符号化ビデオビットストリームに予測符号化するビデオコーダ200を示す。

特に、ビデオコーダ200は、フレームバッファ207と、インター予測ユニット210と、鮮鋭化フィルタ211とを含む。

フレームバッファ207は、ビデオストリームの少なくとも１つの参照フレーム又はピクチャを記憶するように適合される。この参照フレームは、ビデオストリームの現在フレームとは異なる。特に、本発明に関して、現在フレームは、現在符号化されているビデオストリームのフレームであり、一方で、参照フレームは、既に符号化されているビデオストリームのフレームである。以下では、特徴「フレーム」へのいずれかの参照は、特徴「ピクチャ」への参照により置換されてもよい。

インター予測ユニット210は、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成するように適合される。参照フレームは、好ましくは、フレームバッファ207に記憶された参照フレームであり、一方で、現在ブロックは、好ましくは、図２のビデオブロックと呼ばれるビデオコーダ200の入力に対応する。特に、現在フレームは、インター符号化技術を使用して符号化され、すなわち、現在フレームは、現在フレームとは別個の少なくとも１つの参照フレームから予測される。参照フレームは、前のフレーム、すなわち、後続のフレームのビデオストリーム内の現在フレームの前に位置するフレームとすることができる。或いは、前方予測が使用される場合、参照フレームは、将来のフレーム、すなわち、現在フレームの後に位置するフレームとすることができる。複数の参照フレームの場合、少なくとも１つは、このような前のフレームとすることができ、これらの少なくとも１つは、このような将来のフレームとすることができる。参照フレームは、イントラ符号化でき、すなわち、更なるフレームを使用せずに且つ他のフレームに依存せずに符号化でき、そのため、これは独立して復号化でき、ランダムなビデオアクセスのためのエントリーポイントとして機能できる。

特に、インター予測ユニット210は、動きベクトルを生成し、参照フレームの参照ブロックと現在フレームの現在ブロックとの間の動きを推定することにより、動き推定を実行するように適合される。この動き推定は、例えば、レート歪み最適化である特定のコスト関数に基づいて、参照フレーム内の最善の参照ブロックを示す動きベクトルを見つけるための符号化中に実行される。動き推定の他に、インター予測ユニット210は、動きベクトル及び参照ブロックに基づいて現在ブロックの予測ブロックを生成することにより、動き補償を実行するように更に適合される。

特に、動き予測は、動き推定ユニットと、動き補償ユニットとを含む。動きベクトルは、動き推定ユニットを使用することにより生成される。参照ブロック及び現在ブロックは、好ましくは、参照フレーム及び現在フレームのそれぞれのエリア又はサブエリアである。このようなブロックは、例えば、矩形形状のような規則的な形状又は不規則な形状を有してもよい。或いは、ブロックは、フレームと同じサイズを有することができる。現在ブロック及び参照ブロックの双方は、同じサイズを有する。ブロックのサイズは、サイド情報又はシグナリングデータとしてデコーダに送信されるブロックモード情報を用いて規定できる。ブロックは、フレームの一部、例えば、64×64画素を含む、予め規定されたサイズのビデオシーケンスの基本符号化構造である符号化単位に対応することができる。

予測ブロックは、参照ブロックを考慮して現在ブロックについて生成される。特に、複数の予測ブロックは、複数の参照ブロックを考慮して現在フレームの複数の現在ブロックについて生成される。これらの参照ブロックは、単一の参照フレームの一部とすることができ、或いは異なる参照フレームから選択できる。複数の予測ブロックは、現在フレームについて生成でき、現在フレームについて生成された予測ブロックは、現在フレームの予測フレームを取得するために結合できる。

鮮鋭化フィルタ211は、予測ブロックをフィルタリングするように適合される。したがって、鮮鋭化フィルタ211は、インター予測ユニット210により生成された予測ブロックに適用される。インター予測により取得され、すなわち、動き推定及び動き補償を含む動き予測により取得された予測ブロックを向上するために、発明により提案される鮮鋭化フィルタ211は、インター予測ユニット210の後に追加される。したがって、鮮鋭化フィルタ211は、鮮鋭化された予測ブロックを生成するように適合される。

図２のビデオコーダ200は、特にハイブリッドビデオ符号化をサポートするために、図１のビデオコーダ100と同様の更なるユニットを含む。例えば、ビデオコーダ200は、同様のユニットを含み、これらは、当該技術分野において既知のように、周波数ドメインへの変換を介して変換係数を生成し、係数を量子化し、例えば、シグナリングデータと共に、量子化された係数をエントロピー符号化するための変換ユニット201、量子化ユニット202及びエントロピーエンコーダ又はエントロピー符号化ユニット203である。変換ユニット201の入力は、図２においてビデオブロックと呼ばれる現在フレームの現在ブロックと、インター予測ユニット210、鮮鋭化フィルタ211又はイントラ予測ユニット209により出力された予測ブロックとの間の差として規定される残差ブロックである。エントロピー符号化ユニット203は、符号化ビデオビットストリームを出力として生成するように適合される。

ビデオコーダ200は、更なる同様のユニットを含み、これらは、逆量子化ユニット204、逆変換ユニット205及びループフィルタリングユニット206である。量子化ユニット202により生成された量子化された変換係数は、変換ユニット201に供給される残差ブロックに対応する再構成された残差ブロックを取得するために、それぞれ逆量子化ユニット204及び逆変換ユニット205により逆量子化及び逆変換される。次に、再構成された残差ブロックは、現在ブロックに対応する再構成された現在ブロックを取得するために、残差ブロックを生成するために前に使用された予測ブロックに追加され、この再構成された現在ブロックは、図２における再構成されたビデオブロックと呼ばれる。再構成された現在ブロックは、ブロックに関する処理及び量子化により導入されるアーティファクトを取り除くために、ループフィルタリングユニット206により処理されてもよい。次に、少なくとも１つの現在ブロック又は有利には複数の現在ブロックを含む現在フレームは、再構成された現在ブロックから再構成できる。この再構成された現在フレームは、ビデオストリームの他のフレームのインター予測のための参照フレームとして機能するために、フレームバッファ207に記憶されることができる。

図１と同様に、ビデオコーダ200の入力ブロックがイントラ予測ユニット209により処理されるかインター予測ユニット210により処理されるかを選択するモード選択ユニット208は、ビデオコーダ200に提供される。モード選択ユニット208は、フレームのブロックがこのフレームからの情報のみを使用してイントラ符号化されるか、或いは他のフレーム、すなわち、フレームバッファ207に記憶された少なくとも１つの参照フレームからの更なる情報を使用してインター符号化されるかを対応して選択する。

イントラ予測ユニット209は、イントラ予測の役目をし、イントラ予測に基づいて予測ブロックを生成する。前述のように、インター予測ユニット210は、インター予測の役目をし、時間冗長性を低減するために、参照フレーム内の同じサイズのブロックから予測される予測ブロックを生成する。

特に、鮮鋭化フィルタ211は、常に有効とすることができる。これは、インター予測ユニット210により生成された予測ブロックが常に鮮鋭化フィルタ211に供給され、残差ブロックが現在ブロックと、鮮鋭化フィルタ211により出力された鮮鋭化された予測ブロックとの差により常に出力されることを意味する。

或いは、鮮鋭化フィルタ211は、適用又は迂回できる。鮮鋭化フィルタ211が適用される場合、鮮鋭化フィルタ211は、鮮鋭化された予測ブロックを生成し、残差ブロックは、現在ブロックと、鮮鋭化フィルタ211により出力された鮮鋭化された予測ブロックとの差により取得される。鮮鋭化フィルタ211が迂回される場合、残差ブロックは、現在ブロックと、インター予測ユニット210により出力された予測ブロックとの差により取得される。

鮮鋭化フィルタ211の選択的適用及び迂回のうち少なくとも１つは、制御ユニット212により制御される。制御ユニットは、例えば、残差ブロックを最小化するためのコスト関数に依存して、鮮鋭化フィルタ211の少なくとも１つの適用又は迂回を制御するように適合されてもよい。コスト関数は、例えば、レート歪み最適化に基づいてもよい。コスト関数は、特に、鮮鋭化フィルタ211により出力された予測ブロックから取得された残差ブロックと、インター予測ユニット210により出力された予測ブロックから取得された残差ブロックとに適用される。コスト関数の結果に依存して、鮮鋭化フィルタ211は、適用又は迂回されてもよい。

鮮鋭化フィルタ211を迂回又は適用する制御ユニット212の判断は、符号化ユニット又はエントロピー符号化ユニット203により生成された符号化ビデオビットストリーム内のシグナリングデータとして送信できる。制御ユニット212は、鮮鋭化フィルタ情報を符号化ユニット203に送信し、この鮮鋭化フィルタ情報は、鮮鋭化フィルタ211の選択的迂回又は選択的適用のうち少なくとも１つを反映する。次に、符号化ユニット203は、符号化ビデオビットストリーム内のシグナリングデータとして鮮鋭化フィルタ情報を追加する。

鮮鋭化フィルタ情報は、２つの値、例えば、0及び1を取ることができる鮮鋭化フィルタフラグの形式とすることができる。これらの２つの値の一方、例えば、1は、鮮鋭化フィルタが適用されることを規定し、一方で、他方の値は、鮮鋭化フィルタが迂回されることを規定する。或いは、鮮鋭化フィルタ情報の欠如は、鮮鋭化フィルタの迂回を反映するものとして解釈でき、一方で、鮮鋭化フィルタ情報の存在は、鮮鋭化フィルタの適用を反映できる。

鮮鋭化フィルタ情報の粒度は変動できる。鮮鋭化フィルタ情報は、例えば、各予測ブロック、フレームの任意の領域若しくは規則的な領域のブロックレベル、フレームレベル、GOP（グループオブピクチャ）レベル、PPS（ピクチャパラメータセット）レベル又はSPS（シーケンスパラメータセット）レベルにおいて追加できる。鮮鋭化フィルタ情報が各予測ブロックのブロックレベルにおいて追加される場合、符号化ユニット203は、インター予測ユニット210により生成される予測ブロック毎に、鮮鋭化フィルタ情報を追加できる。次に、符号化ユニット203は、予測ブロック毎に、対応する量子化された残差変換係数及び対応する鮮鋭化フィルタ情報を符号化ビデオビットストリームに追加する。

図３は、本発明の実施例によるビデオデコーダ、特に、動き補償に従って後続のフレームのビデオストリームを予測符号化することにより取得された符号化ビデオビットストリームを復号化するビデオデコーダ300を示す。

ビデオデコーダ300は、特に、フレームバッファ307と、インター予測ユニット310と、鮮鋭化フィルタ311とを含む。フレームバッファ307は、符号化ビデオビットストリームから取得された少なくとも１つの参照フレームを記憶するように適合され、この参照フレームは、符号化ビデオビットストリームの現在フレームとは異なる。インター予測ユニット310は、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成するように適合される。鮮鋭化フィルタ311は、予測ブロックをフィルタリングするように適合される。

デコーダ300は、ビデオコーダ200により生成された符号化ビデオビットストリームを復号化するように適合され、デコーダ300及びコーダ200の双方は、同一の予測を生成する。フレームバッファ307、インター予測ユニット310及び鮮鋭化フィルタ311の特徴は、図２のフレームバッファ207、インター予測ユニット210及び鮮鋭化フィルタ211の特徴と同様である。

特に、ビデオデコーダ300は、例えば、逆量子化ユニット304、逆変換ユニット305、ループフィルタリングユニット306及びイントラ予測ユニット309のように、ビデオコーダ200にも存在する更なるユニットを含み、これらは、それぞれビデオコーダ200の逆量子化ユニット204、逆変換ユニット205、ループフィルタリングユニット206及びイントラ予測ユニット209に対応する。エントロピー復号化ユニット303は、受信した符号化ビデオビットストリームを復号化し、量子化された残差変換係数及び存在する場合には鮮鋭化フィルタ情報を対応して取得するように適合される。量子化された残差変換係数は、残差ブロックを生成するために逆量子化ユニット304及び逆変換ユニット305に供給される。残差ブロックは、予測ブロックに追加され、追加は、復号化ビデオを取得するために、ループフィルタリングユニット306に供給される。復号化ビデオのフレームは、フレームバッファ307に記憶され、インター予測のための参照フレームとして機能できる。

特に、鮮鋭化フィルタ311は、常に有効とすることができる。これは、鮮鋭化フィルタによりフィルタリングされた予測単位が復号化ビデオを取得するために使用されることを意味する。

或いは、鮮鋭化フィルタは、例えば、制御ユニット312により選択的に適用又は迂回できる。符号化ビデオビットストリームから復号化ユニット303により取得された鮮鋭化フィルタ情報は、鮮鋭化フィルタ情報に依存して鮮鋭化フィルタ311の選択的迂回及び選択的適用のうち少なくとも１つを制御する制御ユニット312に供給できる。

鮮鋭化フィルタ情報は、鮮鋭化フィルタ311の選択的迂回及び選択的適用のうち少なくとも１つを反映し、好ましくは、ビデオコーダ200により符号化ビデオビットストリームに追加された鮮鋭化フィルタ情報に対応する。例えば、ビデオコーダ200に関して説明した鮮鋭化フィルタ情報の形式及び粒度に関する異なる態様もまた、ビデオデコーダ300に関して適用する。

図４は、本発明による鮮鋭化フィルタ400の実施例、特に、ビデオコーダ200の鮮鋭化フィルタ211又はビデオデコーダ300の鮮鋭化フィルタ311の実施例を示す。ビデオデコーダ300は、好ましくは、インター予測ユニット310の後に配置された、ビデオコーダ200と同じ鮮鋭化フィルタを有する。

鮮鋭化フィルタ400は、好ましくは、非線形フィルタである。線形フィルタの代わりに非線形鮮鋭化フィルタの使用は、動き補間フィルタ及び参照ブロック又はフレームの量子化により引き起こされるアーティファクトを除去するのに好ましい。

特に、鮮鋭化フィルタ400は、エッジマップ計算ユニット401、402と、ぼけフィルタ404と、高域フィルタ405と、スケーリングユニット406と、ワープユニット407とを含む。

エッジマップ計算ユニット401、402は、ソースブロックのエッジマップを生成するように適合され、このソースブロックは、参照ブロック又は予測ブロックである。ぼけフィルタ404は、ソースブロックのエッジマップをぼやかすように適合される。高域フィルタ405は、ぼけたエッジマップを高域フィルタリングすることにより、ソースブロックの各位置の微分ベクトル（d2x,d2y）を生成するように適合される。スケーリングユニット406は、鮮鋭化強度係数kで微分ベクトル（d2x,d2y）をスケーリングすることにより、変位ベクトル（wx,wy）を生成するように適合される。ワープユニット407は、変位ベクトル（wx,wy）に基づいて予測ブロックをワープするように適合される。

エッジマップ計算ユニット401、402は、ソースブロックの各位置について勾配ベクトル（dx,dy）を生成するように適合された勾配ベクトルユニット401と、ソースブロックのエッジマップを生成するために、各位置の勾配ベクトル（dx,dy）の長さを計算するように適合された勾配ベクトル長ユニット402とを含むことができる。

勾配ベクトルは、以下の式に従って対応するPrewittフィルタを適用することにより、dx及びdyについて別々に、すなわち、図４におけるソースブロックと呼ばれるソースブロックの水平及び垂直方向の双方について別々に１次微分を取ることにより取得できる。

エッジマップは、以下の式に従って勾配ベクトル長を計算することにより、勾配ベクトル長ユニット402により取得できる。

有利には、鮮鋭化フィルタ400は、ソースブロックのエッジマップをクリップするように適合されたクリッピングユニット403を含み、このクリッピングユニット403は、エッジマップ計算ユニット401、402と、ぼけフィルタ404との間に位置する。閾値でのエッジマップのクリッピングは、ワープベクトルの極めて高い値及び低い値の処理を妨げることができる。

クリップされたエッジマップのぼけのステップは、以下のように規定できるガウスフィルタの形式のぼけフィルタ404により取得できる。

高域フィルタは、例えば、以下に従って、d2x及びd2yについて別々に２次微分を取得するために使用される。

変位ベクトル（wx,wy）は、係数kで２次微分ベクトル（d2x,d2y）をスケーリングすることにより取得され、係数kは、以下の式に従って鮮鋭化強度として考えられることができる。

ワープユニット407は、分数画素位置においてサンプル値を取得するための、例えば、バイリニア補間フィルタである補間フィルタを含む。ワープユニット407は、スケーリングユニット406により生成された変位ベクトルを使用する。

鮮鋭化フィルタ400は、ソースブロックから計算された変位ベクトルに基づくワープを含み、ソースブロックは、図４においてソース画像と呼ばれる。実施例によれば、ソースブロックは、フレームバッファ207、307に記憶された参照フレームの参照ブロックであり、そのため、変位ベクトルは（wx,wy）は、参照ブロックから導出される。代替実施例によれば、ソースブロックは、インター予測ユニット210、310により生成された予測ブロックであり、そのため、変位ベクトル（wx,wy）は、予測ブロックから導出される。

図５は、本発明の実施例によるビデオ符号化方法、特に、動き補償に従って後続のフレームのビデオストリームを符号化ビデオビットストリームに予測符号化する方法500を示す。

方法500は、ビデオストリームの少なくとも１つの参照フレームを記憶するステップ501を含み、この参照フレームは、ビデオストリームの現在フレームとは異なる。

方法500は、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成することを含むインター予測ステップ502を更に含む。

方法500は、鮮鋭化フィルタを予測ブロックに適用し、それにより、予測ブロックをフィルタリングすることを含む鮮鋭化フィルタステップ503を更に含む。

図６は、本発明の実施例によるビデオ復号化方法、特に、動き補償に従って後続のフレームのビデオストリームを予測符号化することにより取得された符号化ビデオビットストリームを復号化する方法600を示す。

方法600は、符号化ビデオビットストリームから取得された少なくとも１つの参照フレームを記憶するステップ601を含み、この参照フレームは、符号化ビデオビットストリームの現在フレームとは異なる。

方法600は、参照フレームの参照ブロックから現在フレームの現在ブロックの予測ブロックを生成することを含むインター予測ステップ602を含む。

方法600は、鮮鋭化フィルタを予測ブロックに適用し、そのため、予測ブロックをフィルタリングすることを含む鮮鋭化フィルタステップ603を含む。

ビデオコーダ200又はビデオデコーダ300に関して説明した更なる態様及び特徴はまた、符号化方法500及び復号化方法600にも適用可能である。

本発明について、例としての様々な実施例及び実現と共に説明した。しかし、図面、この開示及び独立請求項の研究から、他の変形が請求項に記載の発明を実施する当業者により理解及び実施され得る。特許請求の範囲及び説明において、「含む」という用語は、他のエレメント又はステップを除外せず、不定冠詞「１つ」は複数を除外しない。単一のエレメント又は他のユニットは、請求項に記載の複数のエンティティ又は項目の機能を実現してもよい。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利な実現において使用できないことを示すものではない。

Claims (21)

1. 動き補償に従って後続のフレームのビデオストリームを符号化ビデオビットストリームに予測符号化するビデオコーダであって。
   前記ビデオストリームの少なくとも１つの参照フレームを記憶するように適合されたフレームバッファであり、前記参照フレームは、前記ビデオストリームの現在フレームとは異なるフレームバッファと、
   前記参照フレームの参照ブロックから前記現在フレームの現在ブロックの予測ブロックを生成するように適合されたインター予測ユニットと、
   前記予測ブロックをフィルタリングするように適合された鮮鋭化フィルタと
   を含み、
   前記鮮鋭化フィルタは、
   ソースブロックのエッジマップを生成するように適合されたエッジマップ計算ユニットであり、前記ソースブロックは、前記参照ブロック又は前記予測ブロックであるエッジマップ計算ユニットと、
   前記ソースブロックの前記エッジマップをぼやかすように適合されたぼけフィルタと、
   前記ぼけたエッジマップを高域フィルタリングすることにより、前記ソースブロックの各位置の微分ベクトルを生成するように適合された高域フィルタと、
   鮮鋭化強度係数で前記微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されたスケーリングユニットと、
   前記変位ベクトルに基づいて前記予測ブロックをワープするように適合されたワープユニットと
   を含む、ビデオコーダ。
2. 前記鮮鋭化フィルタは、非線形フィルタである、請求項１に記載のビデオコーダ。
3. 前記エッジマップ計算ユニットは、前記ソースブロックの各位置について勾配ベクトルを生成するように適合された勾配ベクトルユニットと、
   前記ソースブロックの前記エッジマップを生成するために、各位置の前記勾配ベクトルの長さを計算するように適合された勾配ベクトル長ユニットと
   を含む、請求項１に記載のビデオコーダ。
4. 前記勾配ベクトルユニットは、Prewittフィルタである、請求項３に記載のビデオコーダ。
5. 前記鮮鋭化フィルタは、前記ソースブロックの前記エッジマップをクリップするように適合されたクリッピングユニットを含み、前記クリッピングユニットは、前記エッジマップ計算ユニットと前記ぼけフィルタとの間に位置する、請求項１乃至４のうちいずれか１項に記載のビデオコーダ。
6. 前記ぼけフィルタは、ガウスフィルタである、請求項１乃至５のうちいずれか１項に記載のビデオコーダ。
7. 前記ワープユニットは、分数位置においてサンプル値を取得するためのバイリニア補間フィルタを含む、請求項１乃至６のうちいずれか１項に記載のビデオコーダ。
8. 前記ソースブロックは、前記参照ブロックであり、そのため、前記変位ベクトルは、前記参照ブロックから導出される、請求項１乃至７のうちいずれか１項に記載のビデオコーダ。
9. 前記ソースブロックは、前記予測ブロックであり、そのため、前記変位ベクトルは、前記予測ブロックから導出される、請求項１乃至７のうちいずれか１項に記載のビデオコーダ。
10. 前記鮮鋭化フィルタは、常に有効である、請求項１乃至９のうちいずれか１項に記載のビデオコーダ。
11. 前記鮮鋭化フィルタの選択的迂回及び前記鮮鋭化フィルタの選択的適用のうち少なくとも１つを制御するように適合された制御ユニットを含む、請求項１乃至９のうちいずれか１項に記載のビデオコーダ。
12. 前記制御ユニットは、残差ブロックを最小化するためのコスト関数に依存して、前記鮮鋭化フィルタの前記選択的迂回及び前記選択的適用のうち前記少なくとも１つを制御するように適合され、前記残差ブロックは、前記現在ブロックと前記予測ブロックとの間の差であり、前記コスト関数は、レート歪み最適化に基づく、請求項１１に記載のビデオコーダ。
13. 前記符号化ビデオビットストリームを生成するように適合された符号化ユニットを含み、
    前記制御ユニットは、前記鮮鋭化フィルタの前記選択的迂回及び前記選択的適用のうち前記少なくとも１つを反映する鮮鋭化フィルタ情報を前記符号化ユニットに送信するように適合され、
    前記符号化ユニットは、前記符号化ビデオビットストリーム内に前記鮮鋭化フィルタ情報を追加するように適合される、請求項１１又は１２に記載のビデオコーダ。
14. 前記鮮鋭化フィルタ情報は、各予測ブロック、前記フレームの任意の領域若しくは規則的な領域のブロックレベル、フレームレベル、GOP（グループオブピクチャ）レベル、PPS（ピクチャパラメータセット）レベル又はSPS（シーケンスパラメータセット）レベルにおいて追加される、請求項１３に記載のビデオコーダ。
15. 動き補償に従って後続のフレームのビデオストリームを符号化ビデオビットストリームに予測符号化する方法であって、
    前記ビデオストリームの少なくとも１つの参照フレームを記憶するステップであり、前記参照フレームは、前記ビデオストリームの現在フレームとは異なるステップと、
    前記参照フレームの参照ブロックから前記現在フレームの現在ブロックの予測ブロックを生成するステップと、
    鮮鋭化フィルタを予測ブロックに適用するステップと
    を含み、
    前記鮮鋭化フィルタは、
    ソースブロックのエッジマップを生成するように適合されたエッジマップ計算ユニットであり、前記ソースブロックは、前記参照ブロック又は前記予測ブロックであるエッジマップ計算ユニットと、
    前記ソースブロックの前記エッジマップをぼやかすように適合されたぼけフィルタと、
    前記ぼけたエッジマップを高域フィルタリングすることにより、前記ソースブロックの各位置の微分ベクトルを生成するように適合された高域フィルタと、
    鮮鋭化強度係数で前記微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されたスケーリングユニットと、
    前記変位ベクトルに基づいて前記予測ブロックをワープするように適合されたワープユニットと
    を含む、方法。
16. 動き補償に従って後続のフレームのビデオストリームを予測符号化することにより取得された符号化ビデオビットストリームを復号化するビデオデコーダであって、
    前記符号化ビデオビットストリームから取得された少なくとも１つの参照フレームを記憶するように適合されたフレームバッファであり、前記参照フレームは、前記符号化ビデオビットストリームの現在フレームとは異なるフレームバッファと、
    前記参照フレームの参照ブロックから前記現在フレームの現在ブロックの予測ブロックを生成するように適合されたインター予測ユニットと、
    前記予測ブロックをフィルタリングするように適合された鮮鋭化フィルタと
    を含み、
    前記鮮鋭化フィルタは、
    ソースブロックのエッジマップを生成するように適合されたエッジマップ計算ユニットであり、前記ソースブロックは、前記参照ブロック又は前記予測ブロックであるエッジマップ計算ユニットと、
    前記ソースブロックの前記エッジマップをぼやかすように適合されたぼけフィルタと、
    前記ぼけたエッジマップを高域フィルタリングすることにより、前記ソースブロックの各位置の微分ベクトルを生成するように適合された高域フィルタと、
    鮮鋭化強度係数で前記微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されたスケーリングユニットと、
    前記変位ベクトルに基づいて前記予測ブロックをワープするように適合されたワープユニットと
    を含む、ビデオデコーダ。
17. 前記鮮鋭化フィルタは、常に有効である、請求項１６に記載のビデオデコーダ。
18. 前記鮮鋭化フィルタの選択的迂回及び前記鮮鋭化フィルタの選択的適用のうち少なくとも１つを制御するように適合された制御ユニットを含む、請求項１６に記載のビデオデコーダ。
19. 前記制御ユニットは、前記符号化ビデオビットストリームから取得された鮮鋭化フィルタ情報に依存して、前記鮮鋭化フィルタの前記選択的迂回及び前記選択的適用のうち前記少なくとも１つを制御するように適合される、請求項１８に記載のビデオデコーダ。
20. 動き補償に従って後続のフレームのビデオストリームを予測符号化することにより取得された符号化ビデオビットストリームを復号化する方法であって、
    前記符号化ビデオビットストリームから取得された少なくとも１つの参照フレームを記憶するステップであり、前記参照フレームは、前記符号化ビデオビットストリームの現在フレームとは異なるステップと、
    前記参照フレームの参照ブロックから前記現在フレームの現在ブロックの予測ブロックを生成するステップと、
    鮮鋭化フィルタを前記予測ブロックに適用するステップと
    を含み、
    前記鮮鋭化フィルタは、
    ソースブロックのエッジマップを生成するように適合されたエッジマップ計算ユニットであり、前記ソースブロックは、前記参照ブロック又は前記予測ブロックであるエッジマップ計算ユニットと、
    前記ソースブロックの前記エッジマップをぼやかすように適合されたぼけフィルタと、
    前記ぼけたエッジマップを高域フィルタリングすることにより、前記ソースブロックの各位置の微分ベクトルを生成するように適合された高域フィルタと、
    鮮鋭化強度係数で前記微分ベクトルをスケーリングすることにより、変位ベクトルを生成するように適合されたスケーリングユニットと、
    前記変位ベクトルに基づいて前記予測ブロックをワープするように適合されたワープユニットと
    を含む、方法。
21. コンピュータプログラムがコンピューティングデバイス上で実行したときに、請求項１５又は２０に記載の方法を実行するプログラムコードを有するコンピュータプログラム。

Images