JP4561508B2 - 画像処理装置、画像処理方法およびそのプログラム - Google Patents
画像処理装置、画像処理方法およびそのプログラム Download PDFInfo
- Publication number
- JP4561508B2 JP4561508B2 JP2005200702A JP2005200702A JP4561508B2 JP 4561508 B2 JP4561508 B2 JP 4561508B2 JP 2005200702 A JP2005200702 A JP 2005200702A JP 2005200702 A JP2005200702 A JP 2005200702A JP 4561508 B2 JP4561508 B2 JP 4561508B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image data
- prediction
- processed
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本発明は、画像データの画像処理装置、画像処理方法およびそのプログラムに関する。
近年、画像データデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ(Moving Picture Experts Group)に続いて、より圧縮率が高いＨ．２６４／ＡＶＣ(Advanced Video Coding)などの符号化方式に準拠した符号化装置および復号装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
ところで、例えば、フェード・インやフェード・アウトなどのように明るさが時間的に変化する画像を符号化する場合に、動き予測・補償の処理対象のピクチャデータと、その参照ピクチャデータとの間でＤＣ成分にずれが生じる。
このようなＤＣ成分のずれは、符号化画像の品質を大幅に劣化させる要因となる。
上述したＨ．２６４／ＡＶＣの符号化方式では、上記ＤＣ成分のずれによる影響を抑制するために、フ参照ピクチャデータに所定のパラメータに基づいた重み付け係数を掛けて予測画像データを生成している。
このようなＤＣ成分のずれは、符号化画像の品質を大幅に劣化させる要因となる。
上述したＨ．２６４／ＡＶＣの符号化方式では、上記ＤＣ成分のずれによる影響を抑制するために、フ参照ピクチャデータに所定のパラメータに基づいた重み付け係数を掛けて予測画像データを生成している。
しかしながら、上述したＨ．２６４／ＡＶＣの符号化方式では、上記重み付け係数の具体的な算出方法は規定されていない。
従って、符号化効率を高め、且つ復号画像の画質向上を図れるように重み付け係数を算出したいという要請がある。
従って、符号化効率を高め、且つ復号画像の画質向上を図れるように重み付け係数を算出したいという要請がある。
本発明はかかる事情に鑑みてなされたものであり、動き予測・補償の処理対象の画像データと参照画像データとの間でＤＣ（直流）成分にずれが生じる場合に、符号化効率を高め、且つ復号画像の画質向上を図れることができる画像処理装置、画像処理方法およびそのプログラムを提供することを目的とする。
本発明の画像処理装置は、参照画像データと、処理対象の画像データとを基に、重み付け値を算出する重み算出手段と、前記重み算出手段が算出した前記重み付け値と、前記参照画像データと、前記処理対象の画像データとを基に動き予測・補償処理を行って予測画像データを生成する動き予測・補償手段と、前記処理対象の画像データと前記参照画像データとの間でブロックデータを単位として、その差異を示す指標データを算出し、当該指標データを基に、前記処理対象の画像データの前記ブロックデータがインター予測あるいはイントラ予測の何れの予測が用いられるかを予測する予測手段と、を有し、前記重み算出手段は、前記参照画像データの画素データの第１の平均値と、前記処理対象の画像データの画素データの第２の平均値とを基に、前記予測手段において前記インター予測が用いられると予測されたブロックデータの画素データのみを用いて前記第１の平均値を前記第２の平均値に近づけるための前記重み付け値を算出し、前記動き予測・補償手段は、前記重み算出手段が算出した前記重み付け値を前記参照画像データに乗じたデータを用いて前記予測画像データを生成する。
本発明の画像処理方法は、重み算出手段と、動き予測・補償手段と、予測手段と、を有する画像処理装置の画像処理方法であって、前記予測手段が、処理対象の画像データと参照画像データとの間でブロックデータを単位として、その差異を示す指標データを算出し、当該指標データを基に、前記処理対象の画像データの前記ブロックデータがインター予測あるいはイントラ予測の何れの予測が用いられるかを予測する第１の工程と、前記重み算出手段が、前記参照画像データの画素データの第１の平均値と、前記処理対象の画像データの画素データの第２の平均値とを基に、前記第１の工程において前記インター予測が用いられると予測されたブロックデータの画素データのみを用いて前記第１の平均値を前記第２の平均値に近づけるための重み付け値を算出する第２の工程と、前記動き予測・補償手段が、前記第２の工程で算出した前記重み付け値と、前記参照画像データと、前記処理対象の画像データとを基に、前記重み付け値を前記参照画像データに乗じたデータを用いて動き予測・補償処理を行って予測画像データを生成する第３の工程と、を有する。
本発明のプログラムは、画像処理装置が有するコンピュータに実行させるプログラムであって、処理対象の画像データと参照画像データとの間でブロックデータを単位として、その差異を示す指標データを算出し、当該指標データを基に、前記処理対象の画像データの前記ブロックデータがインター予測あるいはイントラ予測の何れの予測が用いられるかを予測する第１の手順と、前記参照画像データの画素データの第１の平均値と、前記処理対象の画像データの画素データの第２の平均値とを基に、前記第１の手順において前記インター予測が用いられると予測されたブロックデータの画素データのみを用いて前記第１の平均値を前記第２の平均値に近づけるための重み付け値を算出する第２の手順と、前記第２の手順で算出した前記重み付け値と、前記参照画像データと、前記処理対象の画像データとを基に、前記重み付け値を前記参照画像データに乗じたデータを用いて動き予測・補償処理を行って予測画像データを生成する第３の手順と、を前記コンピュータに実行させる。
本発明によれば、動き予測・補償の処理対象の画像データと参照画像データとの間でＤＣ成分にずれが生じる場合に、符号化効率を高め、且つ復号画像の画質向上を図れることができる画像処理装置、画像処理方法およびそのプログラムを提供することができる。
以下、本発明の実施形態の通信システムについて説明する。
先ず、本実施形態の構成と本発明の構成との関係を説明する。
動き予測・補償回路４３，４３ａが、図５に示すステップＳＴ１２〜ＳＴ１４あるいは図６に示すステップＳＴ２〜ＳＴ２５を実行することで本発明の重み算出手段の一例が実現される。
また、動き予測・補償回路４３，４３ａが、図５に示すステップＳＴ１６あるいは図６に示すステップＳＴ２７を実行することで本発明の動き予測・補償手段の一例が実現される。
また、動き予測・補償回路４３，４３ａが、図５に示すステップＳＴ１２あるいは図６に示すステップＳＴ２２を実行することで、本発明の予測手段が実現される。
先ず、本実施形態の構成と本発明の構成との関係を説明する。
動き予測・補償回路４３，４３ａが、図５に示すステップＳＴ１２〜ＳＴ１４あるいは図６に示すステップＳＴ２〜ＳＴ２５を実行することで本発明の重み算出手段の一例が実現される。
また、動き予測・補償回路４３，４３ａが、図５に示すステップＳＴ１６あるいは図６に示すステップＳＴ２７を実行することで本発明の動き予測・補償手段の一例が実現される。
また、動き予測・補償回路４３，４３ａが、図５に示すステップＳＴ１２あるいは図６に示すステップＳＴ２２を実行することで、本発明の予測手段が実現される。
＜第１実施形態＞
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
図１は、本実施形態の通信システム１の概念図である。
図１に示すように、通信システム１は、送信側に設けられた符号化装置２と、受信側に設けられた復号装置３とを有する。
本実施形態では、符号化装置２が、図５等に示すように、動き予測・補償回路４３が、参照画像データＲＥＦと、処理対象の画像データとを基に、重み付けのパラメータを算出し、そのパラメータを基に、明示的な重み付け予測を行うことを特徴としている。
この重み付け予測では、パラメータを基に調整した参照画像データを基に、予測画像データＰＩを生成する。
この重み付け予測では、パラメータを基に調整した参照画像データを基に、予測画像データＰＩを生成する。
通信システム１では、送信側の符号化装置２において、離散コサイン変換やカルーネン・レーベ変換などの直交変換と動き補償によって圧縮したフレーム画像データ（ビットストリーム）を生成し、当該フレーム画像データを変調した後に、衛星放送波、ケーブルＴＶ網、電話回線網、携帯電話回線網などの伝送媒体を介して送信する。
受信側では、復号装置３において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
受信側では、復号装置３において受信した画像信号を復調した後に、上記変調時の直交変換の逆変換と動き補償によって伸張したフレーム画像データを生成して利用する。
なお、上記伝送媒体は、光ディスク、磁気ディスクおよび半導体メモリなどの記録媒体であってもよい。
<符号化装置２＞
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２１、ピクチャタイプ割り当て回路２２、画面並べ替え回路２３、演算回路３１、直交変換回路３２、量子化回路３３、レート制御回路３４、可逆符号化回路３５、バッファメモリ３６、逆量子化回路３７、逆直交変換回路３８、加算回路３９、デブロックフィルタ４０、フレームメモリ４１、イントラ予測回路４２、動き予測・補償回路４３を有する。
以下、図１に示す符号化装置２について説明する。
図２は、図１に示す符号化装置２の全体構成図である。
図２に示すように、符号化装置２は、例えば、Ａ／Ｄ変換回路２１、ピクチャタイプ割り当て回路２２、画面並べ替え回路２３、演算回路３１、直交変換回路３２、量子化回路３３、レート制御回路３４、可逆符号化回路３５、バッファメモリ３６、逆量子化回路３７、逆直交変換回路３８、加算回路３９、デブロックフィルタ４０、フレームメモリ４１、イントラ予測回路４２、動き予測・補償回路４３を有する。
以下、符号化装置２の構成要素について説明する。
［Ａ／Ｄ変換回路２１］
Ａ／Ｄ変換回路２１は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号Ｓ１０をデジタルのピクチャデータに変換し、これをピクチャタイプ割り当て回路２２に出力する。
［Ａ／Ｄ変換回路２１］
Ａ／Ｄ変換回路２１は、入力されたアナログの輝度信号Ｙ、色差信号Ｐｂ，Ｐｒから構成される原画像信号Ｓ１０をデジタルのピクチャデータに変換し、これをピクチャタイプ割り当て回路２２に出力する。
［ピクチャタイプ割り当て回路２２］
ピクチャタイプ割り当て回路２２は、Ａ／Ｄ変換回路２１から入力したピクチャデータのそれぞれに、Ｉ，Ｐ，Ｂのいずれかのピクチャタイプを割り当てる。
ピクチャタイプ割り当て回路２２は、Ａ／Ｄ変換回路２１から入力したピクチャデータのそれぞれに、Ｉ，Ｐ，Ｂのいずれかのピクチャタイプを割り当てる。
［画面並べ替え回路２３］
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２が生成したピクチャデータを、ピクチャタイプ割り当て回路２２で割り当てたピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて動き予測・補償回路５１に出力する。
画面並べ替え回路２３は、Ａ／Ｄ変換回路２２が生成したピクチャデータを、ピクチャタイプ割り当て回路２２で割り当てたピクチャタイプＩ，Ｐ，ＢからなるＧＯＰ(Group Of Pictures) 構造に応じて、符号化する順番に並べ替えて動き予測・補償回路５１に出力する。
［演算回路３１］
演算回路３１は、画面並べ替え回路２３から入力した符号化対象のピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとの差分を示す画像データを生成し、これを直交変換回路３２に出力する。
演算回路３１は、画面並べ替え回路２３から入力した符号化対象のピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとの差分を示す画像データを生成し、これを直交変換回路３２に出力する。
［直交変換回路３２］
直交変換回路３２は、演算回路３１から入力した画像データに離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ（例えばＤＣＴ係数）を生成し、これをリフレッシュ対策回路５４に出力する。
直交変換回路３２は、演算回路３１から入力した画像データに離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）やカルーネン・レーベ変換などの直交変換を施して変換係数を示す画像データ（例えばＤＣＴ係数）を生成し、これをリフレッシュ対策回路５４に出力する。
［量子化回路３３］
量子化回路３３は、直交変換回路３２から入力した画像データ（量子化前の変換係数）を、レート制御回路３４から入力した量子化スケールＱＳを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路３５および逆量子化回路３７に出力する。
量子化回路３３は、直交変換回路３２から入力した画像データ（量子化前の変換係数）を、レート制御回路３４から入力した量子化スケールＱＳを基に量子化して量子化後の変換係数を示す画像データを生成し、これを可逆符号化回路３５および逆量子化回路３７に出力する。
［レート制御回路３４］
レート制御回路３４は、例えば、バッファメモリ３６から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化回路３３に出力する。
レート制御回路３４は、例えば、バッファメモリ３６から読み出した画像データを基に量子化スケールＱＳを生成し、これを量子化回路３３に出力する。
［可逆符号化回路３５］
可逆符号化回路３５は、量子化回路３３から入力した画像データを可変長符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路３５は、動き予測・補償回路４３から入力した動きベクトルＭＶあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路４２から入力したイントラ予測モードをヘッダデータなどに格納する。
可逆符号化回路３５は、量子化回路３３から入力した画像データを可変長符号化した画像データをバッファ２８に格納する。
このとき、可逆符号化回路３５は、動き予測・補償回路４３から入力した動きベクトルＭＶあるいはその差分動きベクトル、参照画像データの識別データ、並びにイントラ予測回路４２から入力したイントラ予測モードをヘッダデータなどに格納する。
［バッファメモリ３６］
バッファメモリ３６に格納された画像データは、変調等された後に画像データＳ２として送信される。
当該画像データＳ２は、後述するように、復号装置３によって復号される。
［逆量子化回路３７］
逆量子化回路３７は、量子化回路３３の量子化に対応した逆量子化処理を、量子化回路３３からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路３８に出力する。
［逆直交変換回路３８］
逆直交変換回路３８は、逆量子化回路３７から入力したデータに、直交変換回路３２における直交変換の逆変換を施して生成した画像データを加算回路３９に出力する。
バッファメモリ３６に格納された画像データは、変調等された後に画像データＳ２として送信される。
当該画像データＳ２は、後述するように、復号装置３によって復号される。
［逆量子化回路３７］
逆量子化回路３７は、量子化回路３３の量子化に対応した逆量子化処理を、量子化回路３３からの画像データに施して、それによって得られたデータを生成し、これを逆直交変換回路３８に出力する。
［逆直交変換回路３８］
逆直交変換回路３８は、逆量子化回路３７から入力したデータに、直交変換回路３２における直交変換の逆変換を施して生成した画像データを加算回路３９に出力する。
［加算回路３９］
加算回路３３は、逆直交変換回路３８から入力した（デコードされた）画像データと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとを加算して参照（再構成）ピクチャデータを生成し、これをデブロックフィルタ４０に出力する。
加算回路３３は、逆直交変換回路３８から入力した（デコードされた）画像データと、イントラ予測回路４２あるいは動き予測・補償回路４３から入力した予測画像データＰＩとを加算して参照（再構成）ピクチャデータを生成し、これをデブロックフィルタ４０に出力する。
［デブロックフィルタ４０］
デブロックフィルタ４０は、加算回路３９から入力した参照ピクチャデータのブロック歪みを除去してフレームメモリ４１に書き込む。
デブロックフィルタ４０は、加算回路３９から入力した参照ピクチャデータのブロック歪みを除去してフレームメモリ４１に書き込む。
［イントラ予測回路４２］
イントラ予測回路４２は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路４２は、ブロックサイズとして、４ｘ４および１６ｘ１６画素を用いる。
イントラ予測回路４２は、イントラ予測が選択された場合に、イントラ予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。
イントラ予測回路４２は、イントラ符号化するマクロブロックにおいて、残差が最小となるイントラ予測のモードおよび予測ブロックのブロックサイズを決定する。
イントラ予測回路４２は、ブロックサイズとして、４ｘ４および１６ｘ１６画素を用いる。
イントラ予測回路４２は、イントラ予測が選択された場合に、イントラ予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。
［動き予測・補償回路４３］
動き予測・補償回路４３は、既に符号化後に局所復号されてフレームメモリ３１に記憶されている参照ピクチャデータＲＥＦを基に動き予測を行い、残差を最小にする動きベクトルおよび動く補償のブロックサイズを決定する。
動き予測・補償回路４３は、ブロックサイズとして、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８および４ｘ４画素を用いる。
動き予測・補償回路４３は、インター予測が選択された場合に、インター予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。
動き予測・補償回路４３は、既に符号化後に局所復号されてフレームメモリ３１に記憶されている参照ピクチャデータＲＥＦを基に動き予測を行い、残差を最小にする動きベクトルおよび動く補償のブロックサイズを決定する。
動き予測・補償回路４３は、ブロックサイズとして、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８および４ｘ４画素を用いる。
動き予測・補償回路４３は、インター予測が選択された場合に、インター予測による予測画像データＰＩを演算回路３１および加算回路３９に出力する。
以下、動き予測・補償回路４３が行う重み付け予測について説明する。
例えば、フェード・インやフェード・アウトなどのように明るさが時間的に変化する画像を符号化する場合に、図３に示すように、動き予測・補償の処理対象のピクチャデータＣ＿ＰＩＣと、その参照ピクチャデータＲＥＦとの間でＤＣ成分にずれが生じる。
このようなＤＣ成分のずれは、符号化画像の品質を大幅に劣化させる要因となる。
そのため、動き予測・補償回路４３では、上記ＤＣ成分のずれによる影響を抑制するために、フレームメモリ４１から読み出した参照ピクチャデータＲＥＦに所定のパラメータに基づいた重み付け係数を掛けて予測画像データＰＩを生成する。
すなわち、動き予測・補償回路４３では、参照ピクチャデータＲＥＦに対して、重み付けを行うためのパラメータ（ｗ(Weight)、ｏ(Offset)）を算出する。
そして、動き予測・補償回路４３は、上記パラメータを基に重み付けを行った参照ピクチャデータＲＥＦを用いて、予測画像データＰＩを生成する。
例えば、フェード・インやフェード・アウトなどのように明るさが時間的に変化する画像を符号化する場合に、図３に示すように、動き予測・補償の処理対象のピクチャデータＣ＿ＰＩＣと、その参照ピクチャデータＲＥＦとの間でＤＣ成分にずれが生じる。
このようなＤＣ成分のずれは、符号化画像の品質を大幅に劣化させる要因となる。
そのため、動き予測・補償回路４３では、上記ＤＣ成分のずれによる影響を抑制するために、フレームメモリ４１から読み出した参照ピクチャデータＲＥＦに所定のパラメータに基づいた重み付け係数を掛けて予測画像データＰＩを生成する。
すなわち、動き予測・補償回路４３では、参照ピクチャデータＲＥＦに対して、重み付けを行うためのパラメータ（ｗ(Weight)、ｏ(Offset)）を算出する。
そして、動き予測・補償回路４３は、上記パラメータを基に重み付けを行った参照ピクチャデータＲＥＦを用いて、予測画像データＰＩを生成する。
下記式（１）は、動き予測・補償回路４３が、片方向予測の場合に、参照画像データＲＥＦから上記パラメータを基に、予測画像データＰＲＥを生成するために用いる式である。
下記式（１）では、「ｌｏｇＷＤ≧１」を例えば、満たすか否かで、異なる式を用いる。
下記式（１）において、ｌｏｇＷＤは、１秒間に表示するフレーム数に応じて予め設定された値を示す。
また、ＲＥＦ［ｘ，ｙ］は、フレームメモリ４１から読み出した参照ピクチャデータの画素位置（ｘ，ｙ）の画素データを示す。
また、ＰＩ［ｘ，ｙ］は、予測画像データの画素位置（ｘ，ｙ）の画素データを示す。
また、Ｗは重み付け係数を示し、ｏはオフセットを示している。また、Ｃｌｉｐはクリッピング処理を示している。
下記式（１）では、「ｌｏｇＷＤ≧１」を例えば、満たすか否かで、異なる式を用いる。
下記式（１）において、ｌｏｇＷＤは、１秒間に表示するフレーム数に応じて予め設定された値を示す。
また、ＲＥＦ［ｘ，ｙ］は、フレームメモリ４１から読み出した参照ピクチャデータの画素位置（ｘ，ｙ）の画素データを示す。
また、ＰＩ［ｘ，ｙ］は、予測画像データの画素位置（ｘ，ｙ）の画素データを示す。
また、Ｗは重み付け係数を示し、ｏはオフセットを示している。また、Ｃｌｉｐはクリッピング処理を示している。
式（２）は、動き予測・補償回路４３が、両方向予測の場合に、参照画像データＲＥＦ０，ＲＥＦ１から上記パラメータＷ０，Ｗ１，ｏ０，ｏ１を基に、予測画像データＰＩを生成するために用いる式である。
なお、上記式（１），（２）において、オフセットｏ，ｏ０，ｏ１は、重み付け係数Ｗ，Ｗ０，Ｗ１として整数値を用いたことによる誤差を調整するために用いられる。
動き予測・補償回路４３には、例えば、ユーザの設定によって、暗黙的重み付け予測(Implicit Weighted Prediction)と、明示的重み付け予測(Explicit Weighted Prediction)とのいずれか一方が指定（設定）されている。
動き予測・補償回路４３は、暗黙的重み付け予測が指定されている場合に、動き予測・補償の処理対象のピクチャデータと参照ピクチャデータとの距離を基に、上記パラメータを自動的に算出する手法である。
ここで、動き予測・補償回路４３は、図４に示すように、処理対象のピクチャデータＣ＿ＰＩＣのマクロブロックＭＢがＢスライスに属し、双方向の２つの参照ピクチャデータＲＥＦ０，ＲＥＦ１を用い、且つ（Weighted_bipred_idc=2）であることを条件に、暗黙的重み付け予測を行う。
この場合に、動き予測・補償回路４３は、以下の式（３）で定義される値を用いる。
ここで、ＤｉｓｔＳｃａｌｅＦａｃｔｏｒは、ピクチャデータ間の距離を示している。
ここで、動き予測・補償回路４３は、図４に示すように、処理対象のピクチャデータＣ＿ＰＩＣのマクロブロックＭＢがＢスライスに属し、双方向の２つの参照ピクチャデータＲＥＦ０，ＲＥＦ１を用い、且つ（Weighted_bipred_idc=2）であることを条件に、暗黙的重み付け予測を行う。
この場合に、動き予測・補償回路４３は、以下の式（３）で定義される値を用いる。
ここで、ＤｉｓｔＳｃａｌｅＦａｃｔｏｒは、ピクチャデータ間の距離を示している。
（数３）
ｌｏｇＷＤ＝５（定数）
Ｗ０＝６４―（ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＞＞２）
Ｗ１＝ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＞＞２
ｏ０＝０（定数）
ｏ１＝０（定数）
…（３）
ｌｏｇＷＤ＝５（定数）
Ｗ０＝６４―（ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＞＞２）
Ｗ１＝ＤｉｓｔＳｃａｌｅＦａｃｔｏｒ＞＞２
ｏ０＝０（定数）
ｏ１＝０（定数）
…（３）
動き予測・補償回路４３は、明示的重み付け予測が指定されている場合に、ユーザによってスライス単位で指定された上記パラメータを用いる。
ここで、動き予測・補償回路４３は、処理対象のマクロブロックＭＢがＰ，ＳＰ，Ｂスライスの何れかに属し、後方の参照ピクチャのみをも用い(PredFlagL0 or PredFlagL1 = 1)、且つ（Weighted_bipred_idc = 1）であることを条件に、明示的重み付け予測を行う。
この場合に、動き予測・補償回路４３は、下記式（４）で規定される値を用いる。
本実施形態では、動き予測・補償回路４３は、後述する手法で、下記式（４）の右辺の値を決定する。
なお、本実施形態では、ｌｏｇＷＤとしては固定値が用いられる。
ここで、動き予測・補償回路４３は、処理対象のマクロブロックＭＢがＰ，ＳＰ，Ｂスライスの何れかに属し、後方の参照ピクチャのみをも用い(PredFlagL0 or PredFlagL1 = 1)、且つ（Weighted_bipred_idc = 1）であることを条件に、明示的重み付け予測を行う。
この場合に、動き予測・補償回路４３は、下記式（４）で規定される値を用いる。
本実施形態では、動き予測・補償回路４３は、後述する手法で、下記式（４）の右辺の値を決定する。
なお、本実施形態では、ｌｏｇＷＤとしては固定値が用いられる。
（数４）
ｌｏｇＷＤ ＝ ｌｕｍａ＿ｌｏｇ２＿ｗｅｉｇｈｔ＿ｄｅｎｏｍ
Ｗ０ ＝ ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０［ｒｅｆｉｄｘＬ０］
Ｗ１ ＝ ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１［ｒｅｆｉｄｘＬ１］
ｏ０ ＝ ｌｕｍａ＿ｏｆｆｓｅｔ＿ｌ０［ｒｅｆｉｄｘＬ０］
ｏ１ ＝ ｌｕｍａ＿ｏｆｆｓｅｔ＿ｌ１［ｒｅｆｉｄｘＬ１］
…（４）
ｌｏｇＷＤ ＝ ｌｕｍａ＿ｌｏｇ２＿ｗｅｉｇｈｔ＿ｄｅｎｏｍ
Ｗ０ ＝ ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ０［ｒｅｆｉｄｘＬ０］
Ｗ１ ＝ ｌｕｍａ＿ｗｅｉｇｈｔ＿ｌ１［ｒｅｆｉｄｘＬ１］
ｏ０ ＝ ｌｕｍａ＿ｏｆｆｓｅｔ＿ｌ０［ｒｅｆｉｄｘＬ０］
ｏ１ ＝ ｌｕｍａ＿ｏｆｆｓｅｔ＿ｌ１［ｒｅｆｉｄｘＬ１］
…（４）
動き予測・補償回路４３は、上述したパラメータを可逆符号化回路３５において符号化させて符号化画像データに格納させる。
図５は、図２に示す動き予測・補償回路４３の処理を説明するための図である。
ステップＳＴ１１：
動き予測・補償回路４３は、明示予測モードが指定されているか否かを判断し、明示予測モードが指定されていると判断するとステップＳＴ１２に進み、そうでない場合（暗示予測モードが指定されている場合）にステップＳＴ１５に進む。
ステップＳＴ１１：
動き予測・補償回路４３は、明示予測モードが指定されているか否かを判断し、明示予測モードが指定されていると判断するとステップＳＴ１２に進み、そうでない場合（暗示予測モードが指定されている場合）にステップＳＴ１５に進む。
ステップＳＴ１２：
動き予測・補償回路４３は、例えば、処理対象のピクチャデータＣ＿ＰＩＣ内の処理対象のマクロブロックＭＢにインター予測とイントラ予測の何れが適用されるかを予測する。
動き予測・補償回路４３は、例えば、処理対象のピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々を構成するマクロブロックＭＢの各々について、当該マクロブロックＭＢにインター予測とイントラ予測の何れが適用されるかを特定あるいは予測する。
動き予測・補償回路４３は、上記マクロブロックＭＢのうち、既にインター予測とイントラ予測との何れかが適用されるかが最終的に決定されているマクロブロックＭＢについて、その決定されたものを特定する。
また、動き予測・補償回路４３は、上記マクロブロックＭＢのうち、当該マクロブロックＭＢにインター予測とイントラ予測の何れが適用されるかが未定のマクロブロックＭＢについて、そのマクロブロックＭＢと、並びにフレームメモリ４１に記憶されたマクロブロックＭＢを基に、インター予測とイントラ予測の何れが適用されるかを予測する。
このとき、動き予測・補償回路４３は、処理対象のピクチャデータ内の処理対象のマクロブロックＭＢと、当該処理対象のマクロブロックＭＢに対応した参照ピクチャデータ内のマクロブロックＭＢとの間の平均値の差分を算出する。
動き予測・補償回路４３は、上記算出した平均値の差分が、処理対象のピクチャデータ内の全マクロブロックＭＢについて生成した差分を基に規定したしきい値より大きい場合にイントラ予測が適用されると予測し、そうでない場合にインター予測が適用されると予測する。
なお、動き予測・補償回路４３は、上記しきい値を決定する際に、処理対象のピクチャデータ内の中央付近のマクロブロックＭＢについて、周辺付近のマクロブロックＭＢより高い重み付けを付けてもよい。
動き予測・補償回路４３は、例えば、処理対象のピクチャデータＣ＿ＰＩＣ内の処理対象のマクロブロックＭＢにインター予測とイントラ予測の何れが適用されるかを予測する。
動き予測・補償回路４３は、例えば、処理対象のピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々を構成するマクロブロックＭＢの各々について、当該マクロブロックＭＢにインター予測とイントラ予測の何れが適用されるかを特定あるいは予測する。
動き予測・補償回路４３は、上記マクロブロックＭＢのうち、既にインター予測とイントラ予測との何れかが適用されるかが最終的に決定されているマクロブロックＭＢについて、その決定されたものを特定する。
また、動き予測・補償回路４３は、上記マクロブロックＭＢのうち、当該マクロブロックＭＢにインター予測とイントラ予測の何れが適用されるかが未定のマクロブロックＭＢについて、そのマクロブロックＭＢと、並びにフレームメモリ４１に記憶されたマクロブロックＭＢを基に、インター予測とイントラ予測の何れが適用されるかを予測する。
このとき、動き予測・補償回路４３は、処理対象のピクチャデータ内の処理対象のマクロブロックＭＢと、当該処理対象のマクロブロックＭＢに対応した参照ピクチャデータ内のマクロブロックＭＢとの間の平均値の差分を算出する。
動き予測・補償回路４３は、上記算出した平均値の差分が、処理対象のピクチャデータ内の全マクロブロックＭＢについて生成した差分を基に規定したしきい値より大きい場合にイントラ予測が適用されると予測し、そうでない場合にインター予測が適用されると予測する。
なお、動き予測・補償回路４３は、上記しきい値を決定する際に、処理対象のピクチャデータ内の中央付近のマクロブロックＭＢについて、周辺付近のマクロブロックＭＢより高い重み付けを付けてもよい。
ステップＳＴ１３：
動き予測・補償回路４３は、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、当該ピクチャデータ内のステップＳＴ１２でインター予測が適用されると予測されたマクロブロックＭＢの画素データのみを用いて、各ピクチャデータ内の画素データの平均値を算出する。
例えば、動き予測・補償回路４３は、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、平均値ＡＶＥ（Ｃ＿ＰＩＣ），ＡＶＥ（ＲＥＦ），ＡＶＥ（ＲＥＦ０），ＡＶＥ（ＲＥＦ１）をそれぞれ生成する。
動き予測・補償回路４３は、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、当該ピクチャデータ内のステップＳＴ１２でインター予測が適用されると予測されたマクロブロックＭＢの画素データのみを用いて、各ピクチャデータ内の画素データの平均値を算出する。
例えば、動き予測・補償回路４３は、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、平均値ＡＶＥ（Ｃ＿ＰＩＣ），ＡＶＥ（ＲＥＦ），ＡＶＥ（ＲＥＦ０），ＡＶＥ（ＲＥＦ１）をそれぞれ生成する。
ステップＳＴ１４：
動き予測・補償回路４３は、ステップＳＴ１３で算出した平均値を基に、上記式（１），（２）に示すパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を算出する。
具体的には、動き予測・補償回路４３は、「ＡＶＥ（Ｃ＿ＰＩＣ）／ＡＶＥ（ＲＥＦ）」の演算結果をパラメータＷとする。
また、動き予測・補償回路４３は、「ＡＶＥ（Ｃ＿ＰＩＣ）／ＡＶＥ（ＲＥＦ０）」の演算結果をパラメータＷ０とする。
また、動き予測・補償回路４３は、「ＡＶＥ（Ｃ＿ＰＩＣ）／ＡＶＥ（ＲＥＦ１）」の演算結果をパラメータＷ１とする。
また、動き予測・補償回路４３は、式（１），（２）などで行う丸め込み処理によって生じる誤差を補正するようにパラメータｏ，ｏ０，ｏ１を算出する。
動き予測・補償回路４３は、ステップＳＴ１３で算出した平均値を基に、上記式（１），（２）に示すパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を算出する。
具体的には、動き予測・補償回路４３は、「ＡＶＥ（Ｃ＿ＰＩＣ）／ＡＶＥ（ＲＥＦ）」の演算結果をパラメータＷとする。
また、動き予測・補償回路４３は、「ＡＶＥ（Ｃ＿ＰＩＣ）／ＡＶＥ（ＲＥＦ０）」の演算結果をパラメータＷ０とする。
また、動き予測・補償回路４３は、「ＡＶＥ（Ｃ＿ＰＩＣ）／ＡＶＥ（ＲＥＦ１）」の演算結果をパラメータＷ１とする。
また、動き予測・補償回路４３は、式（１），（２）などで行う丸め込み処理によって生じる誤差を補正するようにパラメータｏ，ｏ０，ｏ１を算出する。
ステップＳＴ１５：
動き予測・補償回路４３は、処理対象の画像データＣ＿ＰＩＣと、参照画像データＲＥＦ，ＲＥＦ０，ＲＥＦ１との距離を基に、上記式（３）に基づいて、パラメータＷ，Ｗ０，Ｗ１を算出する。
また、動き予測・補償回路４３は、パラメータｏ，ｏ０，ｏ１として予め決められた定数値を用いる。
動き予測・補償回路４３は、処理対象の画像データＣ＿ＰＩＣと、参照画像データＲＥＦ，ＲＥＦ０，ＲＥＦ１との距離を基に、上記式（３）に基づいて、パラメータＷ，Ｗ０，Ｗ１を算出する。
また、動き予測・補償回路４３は、パラメータｏ，ｏ０，ｏ１として予め決められた定数値を用いる。
ステップＳＴ１６：
動き予測・補償回路４３は、動きベクトルＭＶを決定後に、ステップＳＴ１４，ＳＴ１５で算出したパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を用いて、式（１），（２）に基づいて、決定した動きベクトルＭＶに対応した予測画像データＰＩを算出する。
動き予測・補償回路４３は、動きベクトルＭＶを決定後に、ステップＳＴ１４，ＳＴ１５で算出したパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を用いて、式（１），（２）に基づいて、決定した動きベクトルＭＶに対応した予測画像データＰＩを算出する。
以下、図２に示す符号化装置２の全体動作を説明する。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２１においてデジタル信号に変換される。
次に、ピクチャタイプ割り当て回路２２において、ピクチャタイプが割り当てられ、続いて、画面並べ替え回路２３において、画像圧縮情報のＧＯＰ構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、演算回路３１、イントラ予測回路４２および動き予測・補償回路４３に出力される。
そして、演算回路３１において、画面並べ替え回路２３からのピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３からの予測画像データＰＩとの差分画像が生成され、これが直交変換回路３２に出力される。
入力となる画像信号は、まず、Ａ／Ｄ変換回路２１においてデジタル信号に変換される。
次に、ピクチャタイプ割り当て回路２２において、ピクチャタイプが割り当てられ、続いて、画面並べ替え回路２３において、画像圧縮情報のＧＯＰ構造に応じ、ピクチャデータの並べ替えが行われ、それによって得られたピクチャデータが、演算回路３１、イントラ予測回路４２および動き予測・補償回路４３に出力される。
そして、演算回路３１において、画面並べ替え回路２３からのピクチャデータと、イントラ予測回路４２あるいは動き予測・補償回路４３からの予測画像データＰＩとの差分画像が生成され、これが直交変換回路３２に出力される。
そして、直交変換回路３２、量子化回路３３、逆量子化回路３７および逆直交変換回路３８において、上記差分画像が直交変換、量子化、逆量子化および逆直交変換されて加算回路３９に出力される。
そして、加算回路３９において、イントラ予測回路４２あるいは動き予測・補償回路４３からの予測画像データＰＩと、逆直交変換回路３８からの差分画像とが再構成され、再構成画像が参照画像データとしてデブロックフィルタ４０を介してフレームメモリ４１に書き込まれる。
そして、動き予測・補償回路４３において、フレームメモリ４１に記憶された参照画像データＲＥＦを基に、図５に示す手順で予測画像データＰＩを生成する。
そして、加算回路３９において、イントラ予測回路４２あるいは動き予測・補償回路４３からの予測画像データＰＩと、逆直交変換回路３８からの差分画像とが再構成され、再構成画像が参照画像データとしてデブロックフィルタ４０を介してフレームメモリ４１に書き込まれる。
そして、動き予測・補償回路４３において、フレームメモリ４１に記憶された参照画像データＲＥＦを基に、図５に示す手順で予測画像データＰＩを生成する。
以上説明したように、符号化装置２によれば、図５に示すステップＳＴ１２，ＳＴ１３に示すように、インター予測が行われると予測されるマクロブロックＭＢの画素データのみを用いて平均値を算出し、ステップＳＴ１４において当該平均値を基にパラメータＷ，Ｗ０，Ｗ１を算出する。
そのため、符号化装置２によれば、画面内の変化の激しいシーケンスなどにおいて、ピクチャデータ内の全画素データを用いて単純に平均値を算出する場合に比べて、インター予測符号化に適した高品質なパラメータを算出でき、符号化効率を向上できると共に、復号画像の画質向上を図れる。
さらには、符号化装置２によれば、演算量を削減でき、小規模化および処理時間の短縮が図れる。
そのため、符号化装置２によれば、画面内の変化の激しいシーケンスなどにおいて、ピクチャデータ内の全画素データを用いて単純に平均値を算出する場合に比べて、インター予測符号化に適した高品質なパラメータを算出でき、符号化効率を向上できると共に、復号画像の画質向上を図れる。
さらには、符号化装置２によれば、演算量を削減でき、小規模化および処理時間の短縮が図れる。
なお、復号装置３は、符号化装置２から受信（入力）したビットストリームを可変長復号し、当該復号によって得られた上記パラメータを用いて、上記式（１），（２）により、予測画像データＰＩを生成する。
復号装置３は、上記生成した予測画像データＰＩを用いて復号画像データを生成する。
復号装置３は、上記生成した予測画像データＰＩを用いて復号画像データを生成する。
＜第２実施形態＞
本実施形態の符号化装置は、図２に示す動き予測・補償回路４３ａの処理を除いて、第１実施形態の符号化装置２と同じである。
図６は、本実施形態の符号化装置の動き予測・補償回路４３ａの処理を説明するためのフローチャートである。
図６において、ステップＳＴ２１，ＳＴ２２，ＳＴ２６は、それぞれ図５に示すステップＳＴ１，ＳＴ２，ＳＴ１５と同じである
本実施形態の符号化装置は、図２に示す動き予測・補償回路４３ａの処理を除いて、第１実施形態の符号化装置２と同じである。
図６は、本実施形態の符号化装置の動き予測・補償回路４３ａの処理を説明するためのフローチャートである。
図６において、ステップＳＴ２１，ＳＴ２２，ＳＴ２６は、それぞれ図５に示すステップＳＴ１，ＳＴ２，ＳＴ１５と同じである
ステップＳＴ２３：
動き予測・補償回路４３ａは、ステップＳＴ２２でインター予測が適用されると予測したマクロブロックＭＢ内の画素データのうち、図２に示す原画像信号Ｓ１０を生成したカムコーダの特性に起因した飽和値付近の画素データ以外の画素データを特定する。
本実施形態では、動き予測・補償回路４３ａは、例えば、上記画素データが８ビットである場合に、その値が２４０を超える画素データ以外の画素データを上記特定する。
動き予測・補償回路４３ａは、ステップＳＴ２２でインター予測が適用されると予測したマクロブロックＭＢ内の画素データのうち、図２に示す原画像信号Ｓ１０を生成したカムコーダの特性に起因した飽和値付近の画素データ以外の画素データを特定する。
本実施形態では、動き予測・補償回路４３ａは、例えば、上記画素データが８ビットである場合に、その値が２４０を超える画素データ以外の画素データを上記特定する。
ステップＳＴ２４：
動き予測・補償回路４３ａは、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、当該ピクチャデータ内のステップＳＴ２３で特定された画素データのみを用いて、各ピクチャデータ内の画素データの平均値を算出する。
例えば、動き予測・補償回路４３ａは、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、平均値ＡＶＥ（Ｃ＿ＰＩＣ），ＡＶＥ（ＲＥＦ），ＡＶＥ（ＲＥＦ０），ＡＶＥ（ＲＥＦ１）をそれぞれ生成する。
動き予測・補償回路４３ａは、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、当該ピクチャデータ内のステップＳＴ２３で特定された画素データのみを用いて、各ピクチャデータ内の画素データの平均値を算出する。
例えば、動き予測・補償回路４３ａは、ピクチャデータＣ＿ＰＩＣと参照ピクチャデータＲＥＦ，ＲＥＦ０，ＲＥＦ１との各々について、平均値ＡＶＥ（Ｃ＿ＰＩＣ），ＡＶＥ（ＲＥＦ），ＡＶＥ（ＲＥＦ０），ＡＶＥ（ＲＥＦ１）をそれぞれ生成する。
ステップＳＴ２５：
動き予測・補償回路４３ａは、ステップＳＴ２４で算出した平均値を基に、上記式（１），（２）に示すパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を算出する。
動き予測・補償回路４３ａは、ステップＳＴ２４で算出した平均値を基に、上記式（１），（２）に示すパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を算出する。
ステップＳＴ２７：
動き予測・補償回路４３ａは、ステップＳＴ２５，ＳＴ２６で算出したパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を用いて、式（１），（２）に基づいて、予測画像データＰＩを算出する。
動き予測・補償回路４３ａは、ステップＳＴ２５，ＳＴ２６で算出したパラメータＷ，Ｗ０，Ｗ１，ｏ，ｏ０，ｏ１を用いて、式（１），（２）に基づいて、予測画像データＰＩを算出する。
本実施形態の符号化装置によれば、動き予測・補償回路４３ａにおいて、図２に示す原画像信号Ｓ１０を生成したカムコーダの特性に起因した飽和値付近の画素データ以外の画素データを基に、パラメータを決定するため、インター予測符号化に適した高品質なパラメータを算出でき、符号化効率を向上できると共に、復号画像の画質向上を図れる。
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した符号化装置２の機能の全部あるいは一部を、図７に示すように、メモリ２５２に記憶されたプログラムＰＲＧの記述に従ってＣＰＵ(Central Processing Unit)などの処理回路２５３が実行してもよい。
この場合に、インターフェース２５１を介して、符号化対象の画像データが入力され、その処理結果が出力される。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
例えば、上述した符号化装置２の機能の全部あるいは一部を、図７に示すように、メモリ２５２に記憶されたプログラムＰＲＧの記述に従ってＣＰＵ(Central Processing Unit)などの処理回路２５３が実行してもよい。
この場合に、インターフェース２５１を介して、符号化対象の画像データが入力され、その処理結果が出力される。
１…通信システム、２…符号化装置、３…復号装置、２１…Ａ／Ｄ変換回路、２２…ピクチャタイプ割り当て回路、２３…画面並べ替え回路、３１…演算回路、３２…直交変換回路、３３…量子化回路、３４…レート制御回路、３５…可逆符号化回路、３６…バッファメモリ、３７…逆量子化回路、３８…逆直交変換回路、３９…加算回路、４０…デブロックフィルタ、４１…フレームメモリ、４２…イントラ予測回路、４３，４３ａ…動き予測・補償回路、
Claims (7)
- 参照画像データと、処理対象の画像データとを基に、重み付け値を算出する重み算出手段と、
前記重み算出手段が算出した前記重み付け値と、前記参照画像データと、前記処理対象の画像データとを基に動き予測・補償処理を行って予測画像データを生成する動き予測・補償手段と、
前記処理対象の画像データと前記参照画像データとの間でブロックデータを単位として、その差異を示す指標データを算出し、当該指標データを基に、前記処理対象の画像データの前記ブロックデータがインター予測あるいはイントラ予測の何れの予測が用いられるかを予測する予測手段と、
を有し、
前記重み算出手段は、前記参照画像データの画素データの第１の平均値と、前記処理対象の画像データの画素データの第２の平均値とを基に、前記予測手段において前記インター予測が用いられると予測されたブロックデータの画素データのみを用いて前記第１の平均値を前記第２の平均値に近づけるための前記重み付け値を算出し、
前記動き予測・補償手段は、前記重み算出手段が算出した前記重み付け値を前記参照画像データに乗じたデータを用いて前記予測画像データを生成する
画像処理装置。 - 前記予測手段は、
前記ブロックデータを単位として、前記処理対象の画像データと前記参照画像データとの間で相互に対応する画素データの差分の平均値を示す前記指標データを算出し、
複数の前記ブロックデータの前記指標データの平均値よりも小さい前記指標データに対応した前記ブロックデータに前記インター予測が用いられると予測する
請求項１に記載の画像処理装置。 - 前記動き予測・補償手段は、
前記重み算出手段が算出した前記重み付け値を用いて前記予測画像データを生成するモードである明示モードと、
前記参照画像データと前記処理対象の画像データとの符号化順の距離に基づいて規定した前記重み付け値を用いて前記予測画像データを生成する暗黙モードと、
の２つのモードを指定可能である
請求項１に記載の画像処理装置。 - 前記重み算出手段は、前記参照画像データと前記処理対象の画像データとを構成する画素データのうち、当該画素データの生成装置の特性に起因した当該画素データの飽和値付近の値を示す画素データ以外の前記画素データを用いて前記重み付け値を算出する
請求項１に記載の画像処理装置。 - 重み算出手段と、動き予測・補償手段と、予測手段と、を有する画像処理装置の画像処理方法であって、
前記予測手段が、処理対象の画像データと参照画像データとの間でブロックデータを単位として、その差異を示す指標データを算出し、当該指標データを基に、前記処理対象の画像データの前記ブロックデータがインター予測あるいはイントラ予測の何れの予測が用いられるかを予測する第１の工程と、
前記重み算出手段が、前記参照画像データの画素データの第１の平均値と、前記処理対象の画像データの画素データの第２の平均値とを基に、前記第１の工程において前記インター予測が用いられると予測されたブロックデータの画素データのみを用いて前記第１の平均値を前記第２の平均値に近づけるための重み付け値を算出する第２の工程と、
前記動き予測・補償手段が、前記第２の工程で算出した前記重み付け値と、前記参照画像データと、前記処理対象の画像データとを基に、前記重み付け値を前記参照画像データに乗じたデータを用いて動き予測・補償処理を行って予測画像データを生成する第３の工程と、
を有する画像処理方法。 - 前記処理対象の画像データと、前記第３の工程で生成した前記予測画像データとの差分を符号化する第４の工程
をさらに有する請求項５に記載の画像処理方法。 - 画像処理装置が有するコンピュータに実行させるプログラムであって、
処理対象の画像データと参照画像データとの間でブロックデータを単位として、その差異を示す指標データを算出し、当該指標データを基に、前記処理対象の画像データの前記ブロックデータがインター予測あるいはイントラ予測の何れの予測が用いられるかを予測する第１の手順と、
前記参照画像データの画素データの第１の平均値と、前記処理対象の画像データの画素データの第２の平均値とを基に、前記第１の手順において前記インター予測が用いられると予測されたブロックデータの画素データのみを用いて前記第１の平均値を前記第２の平均値に近づけるための重み付け値を算出する第２の手順と、
前記第２の手順で算出した前記重み付け値と、前記参照画像データと、前記処理対象の画像データとを基に、前記重み付け値を前記参照画像データに乗じたデータを用いて動き予測・補償処理を行って予測画像データを生成する第３の手順と、
を前記コンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005200702A JP4561508B2 (ja) | 2005-07-08 | 2005-07-08 | 画像処理装置、画像処理方法およびそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005200702A JP4561508B2 (ja) | 2005-07-08 | 2005-07-08 | 画像処理装置、画像処理方法およびそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007019995A JP2007019995A (ja) | 2007-01-25 |
| JP4561508B2 true JP4561508B2 (ja) | 2010-10-13 |
Family
ID=37756731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005200702A Expired - Fee Related JP4561508B2 (ja) | 2005-07-08 | 2005-07-08 | 画像処理装置、画像処理方法およびそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4561508B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4822444B2 (ja) * | 2007-03-30 | 2011-11-24 | Ｋｄｄｉ株式会社 | 動画編集装置 |
| US8711930B2 (en) | 2009-07-09 | 2014-04-29 | Qualcomm Incorporated | Non-zero rounding and prediction mode selection techniques in video encoding |
| US8995526B2 (en) | 2009-07-09 | 2015-03-31 | Qualcomm Incorporated | Different weights for uni-directional prediction and bi-directional prediction in video coding |
| US9161057B2 (en) | 2009-07-09 | 2015-10-13 | Qualcomm Incorporated | Non-zero rounding and prediction mode selection techniques in video encoding |
| CN102695061B (zh) * | 2011-03-20 | 2015-01-21 | 华为技术有限公司 | 一种权重因子的确定方法和装置,以及一种帧内加权预测方法和装置 |
| US9497473B2 (en) * | 2013-10-03 | 2016-11-15 | Qualcomm Incorporated | High precision explicit weighted prediction for video coding |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09186989A (ja) * | 1995-12-27 | 1997-07-15 | Canon Inc | 画像信号の符号化圧縮装置および方法 |
| JP2000106675A (ja) * | 1998-07-29 | 2000-04-11 | Matsushita Electric Ind Co Ltd | 映像符号化方法、映像符号化装置及び動きベクトル検出装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007525072A (ja) * | 2003-06-25 | 2007-08-30 | トムソン ライセンシング | 置換されたフレーム差を使用する重み付き予測推定の方法と装置 |
-
2005
- 2005-07-08 JP JP2005200702A patent/JP4561508B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09186989A (ja) * | 1995-12-27 | 1997-07-15 | Canon Inc | 画像信号の符号化圧縮装置および方法 |
| JP2000106675A (ja) * | 1998-07-29 | 2000-04-11 | Matsushita Electric Ind Co Ltd | 映像符号化方法、映像符号化装置及び動きベクトル検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007019995A (ja) | 2007-01-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4449915B2 (ja) | 符号化装置、符号化方法およびプログラム、並びに、記録媒体 | |
| KR100393123B1 (ko) | 동화상의부호화방법및복호화방법 | |
| JP5269593B2 (ja) | 符号化装置、符号化方法、復号装置、復号方法およびそれらのプログラム | |
| US20080049837A1 (en) | Image Processing Apparatus, Program for Same, and Method of Same | |
| KR100950743B1 (ko) | 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법 | |
| JP2001145113A (ja) | 画像情報変換装置及び方法 | |
| JPWO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
| JP2006005438A (ja) | 画像処理装置およびその方法 | |
| JP4561508B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
| US20070140576A1 (en) | Data processing apparatus, the method and coding apparatus | |
| JP4360093B2 (ja) | 画像処理装置および符号化装置とそれらの方法 | |
| JP2005110083A (ja) | データ処理装置およびその方法と符号化装置 | |
| CN116828176A (zh) | 解码设备、编码设备和发送设备 | |
| US20050111551A1 (en) | Data processing apparatus and method and encoding device of same | |
| JP4028900B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
| US20060146183A1 (en) | Image processing apparatus, encoding device, and methods of same | |
| JP4407249B2 (ja) | データ処理装置およびその方法と符号化装置、その方法及びプログラム | |
| JP4655791B2 (ja) | 符号化装置、符号化方法およびそのプログラム | |
| JP2006025033A (ja) | 画像処理装置および画像処理方法 | |
| JP2005167721A (ja) | データ処理装置およびその方法と符号化装置 | |
| JP4517963B2 (ja) | 符号化装置、符号化方法、プログラムおよび記録媒体 | |
| JPH10164594A (ja) | 動画像の圧縮符号化方法およびその装置 | |
| KR101307469B1 (ko) | 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법 | |
| JPH0730895A (ja) | 画像処理装置及びその処理方法 | |
| JP2001128175A (ja) | 画像情報変換装置及び方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100427 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100719 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |