JP3971930B2 - 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 - Google Patents
動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3971930B2 JP3971930B2 JP2002009571A JP2002009571A JP3971930B2 JP 3971930 B2 JP3971930 B2 JP 3971930B2 JP 2002009571 A JP2002009571 A JP 2002009571A JP 2002009571 A JP2002009571 A JP 2002009571A JP 3971930 B2 JP3971930 B2 JP 3971930B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- padding
- vop
- block
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、ＶＯＰ（形状信号により形状が存在する画素信号の領域）内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化方法と装置に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ−４などの動画像符号化アルゴリズムでは、参照画像のＶＯＰ外の画素値をＶＯＰ内の画素値から生成することでＶＯＰ外を指定する動きベクトルも生成可能としている。このため、動画像符号化装置と復号装置で参照画像に対する参照パディングが必要となる。
【０００３】
参照パディング処理は、動き補償後の画像に対し、パディング処理を施すため、従来の動画像符号化システムでは、ＶＯＰ内の画素があるマクロブロックを符号化した後、ＶＯＰ内のローカルデコード画像を生成し、その後、ＶＯＰ外とＶＯＰ境界のマクロブロックに対してバディング処理を施すのが一般的である。したがって、入力画像をメモリに格納し、その後、形状信号をメモリから読み出し、参照パディングの処理方法を決定し、その後、メモリから画素信号を読み出して参照パディング処理を行う必要がある。
【０００４】
参照画像のパディングはマクロブロック単位で行われ、ＶＯＰとの関係により下記の３種類の何れかのパディングが行われる（文献“三木弼一編／著「ＭＰＥＧ−４のすべて 多彩な映像、音声を自在に符号化する」、工業調査会、１９９８年９月発行、ＩＳＢＮ：４−７６９３−１１６７−２”参照）。
【０００５】
１）ＶＯＰ境界を含むマクロブロック
水平方向および垂直方向のパディング、
２）ＶＯＰ境界を含むマクロブロックに隣接するＶＯＰ外のブロック
拡張パディング、
３）上記以外のＶＯＰ外のマクロブロック
一定値パディング。
【０００６】
参照画像のパディングは、参照画像のパウンディングボックス内のみ行われ、パディング単位であるマクロブロック位置は、符号化時の（動き補償及びＤＣＴ符号化を行う）マクロブロックである。パウンディングボックス外の画素値を動き検出・動き補償で参照する場合は、フレーム単位符号化でフレーム外の画素値を参照する場合と同様に扱い、パウンデイングボックス内部の境界部の画素値が水平・垂直方向に連続しているものとする（境界部がＶＯＰ外の画素の場合は、境界パディング／拡張パディング／一定値パディングした値が連続しているものとする）。
【０００７】
１）ＶＯＰ境界のパディング
ＶＯＰ境界部のパディング処理は、水平方向パディングと垂直方向パディングの２ステップで行われる。
【０００８】
ａ）水平方向パディング
水平方向パディングは、ＶＯＰ内の画素を水平方向にコピーし、ＶＯＰ外の画素の画素値とする方法である。ＶＯＰ外の画素値は、マクロブロック内の同じ水平ラインの右位置と定位置の最も近いＶＯＰ内画素値の平均値となる。なお、マクロブロックの右位置もしくは定位置にのみＶＯＰ内の画素値が存在する場合は、その画素値をＶＯＰ外の画素値とし、右位置および定位置のいずれもＶＯＰ内画系が存在しない場合は、垂直方向パディングを行う。
【０００９】
ｂ）垂直方向パディング
垂直パディングは水平方向パディングを行ったマクロブロックに対し、垂直方向に水平方向パディングと同じ処理を行う。すなわち、ＶＯＰ外の画素値は、マクロブロック内の同じ垂直コラムの上位置と下位置の最も近いＶＯＰ内画素値または水平パディング値の平均値となる。マクロブロックの上位置もしくは下位置にのみＶＯＰ内の画素値または水平パディング値が存在する場合は、その画素値をＶＯＰ外の画素値とする。なお、垂直パディングは、水平方向パディングが行われなかったＶＯＰ外画素にのみ行われる。
【００１０】
２）拡張パディング
ＶＯＰ外のマクロブロックに対し、隣接する上下左右の４方向の何れかのマクロブロックがＶＯＰ内部の画素を有する場合に、そのＶＯＰ内部の画素を含むマクロブロックの画素でパディングを行うことを拡張パディングと呼ぶ。４方向の隣接するマクロブロックの中で、ＶＯＰ内部の画素を含むマクロブロックが複数個存在する場合は、下記ａ）〜ｄ）の規則で１つを選択し、参照マクロブロックとする（この参照マクロブロックの選択順序は、ソフトウェアでデコードする際に、メモリが効率良くアクセスできることを考慮して決定された）。
【００１１】
ａ）左マクロブロックがＶＯＰ内の画素を含んでいれば、左マクロブロックを参照マクロブロックとする。
【００１２】
ｂ）ａ）の条件が成立しないが、上マクロブロックがＶＯＰ内の画素を含んでいれば、上マクロブロックを参照マクロブロックとする。
【００１３】
ｃ）ａ）とｂ）の条件が成立しないが、右マクロブロックがＶＯＰ内の画素を含んでいれば、右マクロブロックを参照マクブロックとする。
【００１４】
ｄ）ａ），ｂ）及びｃ）の条件が成立しない場合は、下マクロブロックを参照マクロブロックとする。
【００１５】
拡張パディングでは、隣接する参照マクロブロックの境界の画素値を水平または垂直方向にコピーする。マクロブロックの右端画素の画素値を右側に繰り返しコピーすることで、拡張パディングが実現される。参照ブロックが右マクロブロックの場合は左側への繰り返しコピーとなり、上マクロブロックおよび下マクロブロックが参照マクロブロックの場合は、それぞれ下側または上側への繰り返しコピーとなる。
【００１６】
なお、参照マクロブロックの境界の画素がＶＯＰ外の場合は、１）の境界パディシグの結果をその画素の画素値とする。
【００１７】
３）一定値パディング
参照画像のＶＯＰ外のマクロブロックで、拡張パディングが行われないマクロブロックでは、画素値として一定値１２８（カラー信号のグレーに相当する）をそのマクロブロックの画素値とする。
【００１８】
【発明が解決しようとする課題】
しかしながら、上記従来の動画像符号化システムでは、参照パディングの処理方法を決定する処理に、以下のような問題が生じる。
【００１９】
１．入力画像をメモリに格納した後、参照パディングの処理方法を判定するために、形状信号をメモリから読み出す必要がある。参照画像になる画像フレームでは、ＳＤＴＶの場合、約１０Ｍｂｐｓ、ＨＤＴＶの場合、約６０Ｍｂｐｓ程度のメモリバンド幅を必要とする。
【００２０】
２．入力時に参照パディングの処理方法を決定しない場合、参照画像生成後にパディング処理を行う必要があり、パディング処理のために画素信号をメモリから読み出したり格納したりする必要がある。この処理については、ＶＯＰの形状に依存する。例として、画像フレームの２０％が境界パディングの対象のブロック、２０％が拡張パディングの対象のブロック、１０％が一定値パディングの対象のブロックだと仮定すると、参照画像になる画像フレームでは、ＳＤＴＶの場合、約２３Ｍｂｐｓ、ＨＤＴＶの場合、約１４０Ｍｂｐｓ程度のメモリバンド幅を必要とする。
【００２１】
以上により、従来の方法では、メモリバンド幅が大きくなるという問題があった。
【００２２】
本発明の目的は、参照パディングの処理を行う動画像符号化の際に、メモリバンド幅を削減した動画像符号化方法と装置を提供することである。
【００２３】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、形状信号により形状が存在する画素信号の領域（以下、ＶＯＰと呼ぶ）内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化方法において、画像フレームを入力する時に、入力される形状信号から参照画像パディングの処理方法を決定する第１の段階と、画素信号と形状信号と参照パディングの処理方法を入力し、ＶＯＰ内を符号化する第２の段階と、を有することを特徴とする動画像符号化方法を手段とする。
【００２４】
あるいは、上記の動画像符号化方法の第１の段階において、画像フレームを複数のブロックに分割したブロック毎に、ＶＯＰとの関係により、−（状態１）ＶＯＰ内の画素とＶＯＰ外の画素が混在するブロック（以下、ＶＯＰ境界と呼ぶ）、−（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、−（状態３）上記以外のＶＯＰ外のブロック、に分類する第３の段階と、前記各状態により、参照パディングの処理方法を、−（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、−（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、−（状態３）の場合、一定値パディング、に決定する第４の段階と、を有することを特徴とする動画像符号化方法を手段とする。
【００２５】
あるいは、上記の動画像符号化方法の第３、第４の段階において、メモリ上に、水平方向のブロック数分を１セットとし、複数個の当該データ（（以下、参照パディングの処理方法を決定するためのデータ領域と呼ぶ）を用意し、初期設定として参照パディングの方法を一定値パディングとする第５の段階と、１ブロックの水平方向の画素数の形状値を入力とし、−（状態１）全ての画素がＶＯＰ内である状態、−（状態２）全ての画素がＶＯＰ外である状態、−（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在している状態、に分類する第６の段階と、入力されたブロックの更新中のラインに対応した１ライン前のラインの状態（以下、（過去のラインの状態）と呼ぶ）に基づきライン方向に繰り返し行い、第５の段階で取得した状態から、メモリに格納されている参照パディングの処理方法を・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング、に更新する第７の段階と、第６の段階と第７の段階を水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から・上に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・左に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・下に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、・右に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、の値に更新する第８の段階と、を有することを特徴とする動画像符号化方法を手段とする。
【００２６】
また、本発明は、画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、ＶＯＰ内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化装置において、画像フレームを入力する時に、入力される形状信号から参照画像パディングの処理方法を決定する第１の手段と、画素信号と形状信号と参照パディングの処理方法を入力し、ＶＯＰ内を符号化する第２の手段と、を具備することを特徴とする動画像符号化装置を手段とする。
【００２７】
あるいは、上記の動画像符号化装置の第１の手段において、画像フレームを複数のブロックに分割したブロック毎に、ＶＯＰとの関係により、−（状態１）ＶＯＰ内の画素とＶＯＰ外の画素が混在するブロック（ＶＯＰ境界）、−（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、−（状態３）上記以外のＶＯＰ外のブロック、に分類する第３の手段と、前記各状態により、参照パディングの処理方法を、−（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、−（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、−（状態３）の場合、一定値パディング、に決定する第４の手段と、を具備することを特徴とする動画像符号化装置を手段とする。
【００２８】
あるいは、上記の動画像符号化装置の第３、第４の手段において、メモリ上に、水平方向のブロック数分を１セットとし、参照パディングの処理方法を決定するための複数個の当該データ領域を用意し、初期設定として参照パディングの方法を一定値パディングとする第５の手段と、１ブロックの水平方向の画素数の形状値を入力とし、−（状態１）全ての画素がＶＯＰ内である状態、−（状態２）全ての画素がＶＯＰ外である状態、−（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在している状態、に分類する第６の手段と、入力されたブロックの更新中のラインに対応した１ライン前の（過去のラインの状態）に基づきライン方向に繰り返し行い、第５の手段で取得した状態から、メモリに格納されている参照パディングの処理方法を・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング、に更新する第７の手段と、第６の手段と第７の手段を水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から・上に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・左に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・下に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、・右に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、の値に更新する第８の手段と、を具備することを特徴とする動画像符号化装置を手段とする。
【００２９】
また、本発明は、コンピュータに上記の動画像符号化方法を実行させるプログラム、あるいは、コンピュータに上記の動画像符号化方法を実行させるプログラムを記録した記録媒体を手段とする。
【００３０】
本発明では、入力画像をメモリに格納する時に形状信号から参照パディングの処理方法を決定することにより、形状信号をメモリに記憶した後、またメモリから読み出す必要をなくし、メモリのＩ／Ｏレートを削減する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００３２】
図１は、本発明の第一の実施形態例の構成とその処理を示している。
【００３３】
図中１，２は、入力の画素信号と形状信号を示す。図中１は、輝度信号と色差信号から構成される画素信号を示し、図中２は、画素信号に対応した形状信号を示している。図中３は、動画像符号化システムを示し、図中４は、動画像符号化システムの入力部を示す。図中１，２の画素信号と形状信号は、図中４の入力部に入力され、第１の手段により、入力される形状信号から参照パディングの処理方法が決定され、図中５の画素信号（輝度信号、色差信号）と、図中６の形状信号と、図中７の参照パディングの処理方法が出力される。
【００３４】
図中８は、第２の手段を示し、図中５の画素信号と、図中６の形状信号と、図中７の参照パディングの処理方法を入力し、ＶＯＰを符号化し、図中９のビットストリームを出力する。
【００３５】
図２は、本発明の第二の実施形態例を示し、上記入力部４の第１の手段の構成と処理を示している。
【００３６】
図中２１は、入力の形状信号を示す。図中２２は、第３の手段を示し、入力される形状信号から、（状態１）ＶＯＰ境界のブロック、（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、（状態３）上記以外のＶＯＰ外のブロック、に分類する。図中２３は、第３の手段で判断した状態を示し、図中２４の第４の手段に入力される。
【００３７】
図中２４の第４の手段では、入力された状態により、参照画像のパディング方法を、（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、（状態３）の場合、一定値パディング、と決定し、図中２５で出力する。
【００３８】
図３は、本発明の第三の実施形態例を示し、上記第３、第４の手段の構成とその処理を示している。
【００３９】
図中３０１は、第５の手段を示し、図中３０２は、水平方向のブロック数を１セットとし、３セット分のデータ領域を示している。第５の手段は、初期設定として、全てのデータ領域の参照パディングの方法を一定値パディングとする。
【００４０】
図中３０３は、入力される画素に対応した形状値を示している。形状値は１ラインごとにラスタ順に入力される。このため、状態の判定３０５をラインごとに行い、このラインごとの判定処理をブロックのライン数分繰り返すことにより、１つのブロック列内に含まれる全ブロックの状態が決定される。図では、例として、ブロックの水平方向の画素数を８画素にした場合を示している。図中３０４は、第６の手段を示し、図中３０３の形状値は図中３０５に入力され、形状値の値により図中３０６，３０７，３０８に示す状態に対応するか判定を行う。図中３０６は、（状態１）全ての画素がＶＯＰ内であることを示し、図中３０７は、（状態２）全ての画素がＶＯＰ外であることを示し、図中３０８は、（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在していることを示す。
【００４１】
図中３０９は、第７の手段を示し、図中３１０はメモリを示す。第７の手段は、第６の手段で判定した状態と図３、図４に示す更新処理対象のブロック内の更新中のラインに対応した１ライン前のラインの状態（以下、過去のラインの状態という。）に基づき、ライン方向に繰り返し以下の更新処理を行う。
・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、
・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、
・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング。
【００４２】
上記処理を１つのブロック列のライン数分繰り返して１つのブロック列内に含まれる全てのブロックの参照画像パディングのタイプが決定される。図３では、例として、図中３１１のデータを更新している。
【００４３】
図中３１２は、第８の手段を示し、第６の手段と第７の手段を繰り返し行い、水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から
・上に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・左に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・下に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、
・右に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、
の値に更新する。
【００４４】
１つのブロック列の最後のブロックの処理が終了した場合には、図中３１３に示すように、処理が終了した上のブロック列に関する参照画像パディングのタイプを示すデータをメモリに格納し、次のブロックの処理を行う。
【００４５】
なお、図１〜図３で示した各実施形態例の構成の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、各実施形態例の処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００４６】
【発明の効果】
以上の説明により明らかなように、本発明によれば、形状信号の入力時に参照パディングの処理方法を決定できるため、形状信号をメモリに記憶した後、またメモリから読み出す必要がなくなり、メモリのＩ／Ｏレートを削減することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態例を示す図である。
【図２】本発明の第二の実施形態例を示す図である。
【図３】本発明の第三の実施形態例を示す図である。
【図４】上記第三の実施形態例における領域データの更新の様子を示す図である。
【符号の説明】
１…画素信号
２…形状信号
３…動画像符号化システム
４…入力部
５…画素信号
６…形状信号
７…参照パディングの処理方法
２１…形状信号
２２…第３の手段
２３…状態
２４…第４の手段
２５…参照パディングの処理方法
３０１…第５の手段
３０２…データ領域
３０３…形状値
３０４…第６の手段
３０５…状態の判定
３０６…（状態１）
３０７…（状態２）
３０８…（状態３）
３０９…第７の手段
３１０…メモリ
３１１…更新されるブロック
３１２…第８の手段
３１３…最後のブロックの処理
【発明の属する技術分野】
本発明は、画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、ＶＯＰ（形状信号により形状が存在する画素信号の領域）内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化方法と装置に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ−４などの動画像符号化アルゴリズムでは、参照画像のＶＯＰ外の画素値をＶＯＰ内の画素値から生成することでＶＯＰ外を指定する動きベクトルも生成可能としている。このため、動画像符号化装置と復号装置で参照画像に対する参照パディングが必要となる。
【０００３】
参照パディング処理は、動き補償後の画像に対し、パディング処理を施すため、従来の動画像符号化システムでは、ＶＯＰ内の画素があるマクロブロックを符号化した後、ＶＯＰ内のローカルデコード画像を生成し、その後、ＶＯＰ外とＶＯＰ境界のマクロブロックに対してバディング処理を施すのが一般的である。したがって、入力画像をメモリに格納し、その後、形状信号をメモリから読み出し、参照パディングの処理方法を決定し、その後、メモリから画素信号を読み出して参照パディング処理を行う必要がある。
【０００４】
参照画像のパディングはマクロブロック単位で行われ、ＶＯＰとの関係により下記の３種類の何れかのパディングが行われる（文献“三木弼一編／著「ＭＰＥＧ−４のすべて 多彩な映像、音声を自在に符号化する」、工業調査会、１９９８年９月発行、ＩＳＢＮ：４−７６９３−１１６７−２”参照）。
【０００５】
１）ＶＯＰ境界を含むマクロブロック
水平方向および垂直方向のパディング、
２）ＶＯＰ境界を含むマクロブロックに隣接するＶＯＰ外のブロック
拡張パディング、
３）上記以外のＶＯＰ外のマクロブロック
一定値パディング。
【０００６】
参照画像のパディングは、参照画像のパウンディングボックス内のみ行われ、パディング単位であるマクロブロック位置は、符号化時の（動き補償及びＤＣＴ符号化を行う）マクロブロックである。パウンディングボックス外の画素値を動き検出・動き補償で参照する場合は、フレーム単位符号化でフレーム外の画素値を参照する場合と同様に扱い、パウンデイングボックス内部の境界部の画素値が水平・垂直方向に連続しているものとする（境界部がＶＯＰ外の画素の場合は、境界パディング／拡張パディング／一定値パディングした値が連続しているものとする）。
【０００７】
１）ＶＯＰ境界のパディング
ＶＯＰ境界部のパディング処理は、水平方向パディングと垂直方向パディングの２ステップで行われる。
【０００８】
ａ）水平方向パディング
水平方向パディングは、ＶＯＰ内の画素を水平方向にコピーし、ＶＯＰ外の画素の画素値とする方法である。ＶＯＰ外の画素値は、マクロブロック内の同じ水平ラインの右位置と定位置の最も近いＶＯＰ内画素値の平均値となる。なお、マクロブロックの右位置もしくは定位置にのみＶＯＰ内の画素値が存在する場合は、その画素値をＶＯＰ外の画素値とし、右位置および定位置のいずれもＶＯＰ内画系が存在しない場合は、垂直方向パディングを行う。
【０００９】
ｂ）垂直方向パディング
垂直パディングは水平方向パディングを行ったマクロブロックに対し、垂直方向に水平方向パディングと同じ処理を行う。すなわち、ＶＯＰ外の画素値は、マクロブロック内の同じ垂直コラムの上位置と下位置の最も近いＶＯＰ内画素値または水平パディング値の平均値となる。マクロブロックの上位置もしくは下位置にのみＶＯＰ内の画素値または水平パディング値が存在する場合は、その画素値をＶＯＰ外の画素値とする。なお、垂直パディングは、水平方向パディングが行われなかったＶＯＰ外画素にのみ行われる。
【００１０】
２）拡張パディング
ＶＯＰ外のマクロブロックに対し、隣接する上下左右の４方向の何れかのマクロブロックがＶＯＰ内部の画素を有する場合に、そのＶＯＰ内部の画素を含むマクロブロックの画素でパディングを行うことを拡張パディングと呼ぶ。４方向の隣接するマクロブロックの中で、ＶＯＰ内部の画素を含むマクロブロックが複数個存在する場合は、下記ａ）〜ｄ）の規則で１つを選択し、参照マクロブロックとする（この参照マクロブロックの選択順序は、ソフトウェアでデコードする際に、メモリが効率良くアクセスできることを考慮して決定された）。
【００１１】
ａ）左マクロブロックがＶＯＰ内の画素を含んでいれば、左マクロブロックを参照マクロブロックとする。
【００１２】
ｂ）ａ）の条件が成立しないが、上マクロブロックがＶＯＰ内の画素を含んでいれば、上マクロブロックを参照マクロブロックとする。
【００１３】
ｃ）ａ）とｂ）の条件が成立しないが、右マクロブロックがＶＯＰ内の画素を含んでいれば、右マクロブロックを参照マクブロックとする。
【００１４】
ｄ）ａ），ｂ）及びｃ）の条件が成立しない場合は、下マクロブロックを参照マクロブロックとする。
【００１５】
拡張パディングでは、隣接する参照マクロブロックの境界の画素値を水平または垂直方向にコピーする。マクロブロックの右端画素の画素値を右側に繰り返しコピーすることで、拡張パディングが実現される。参照ブロックが右マクロブロックの場合は左側への繰り返しコピーとなり、上マクロブロックおよび下マクロブロックが参照マクロブロックの場合は、それぞれ下側または上側への繰り返しコピーとなる。
【００１６】
なお、参照マクロブロックの境界の画素がＶＯＰ外の場合は、１）の境界パディシグの結果をその画素の画素値とする。
【００１７】
３）一定値パディング
参照画像のＶＯＰ外のマクロブロックで、拡張パディングが行われないマクロブロックでは、画素値として一定値１２８（カラー信号のグレーに相当する）をそのマクロブロックの画素値とする。
【００１８】
【発明が解決しようとする課題】
しかしながら、上記従来の動画像符号化システムでは、参照パディングの処理方法を決定する処理に、以下のような問題が生じる。
【００１９】
１．入力画像をメモリに格納した後、参照パディングの処理方法を判定するために、形状信号をメモリから読み出す必要がある。参照画像になる画像フレームでは、ＳＤＴＶの場合、約１０Ｍｂｐｓ、ＨＤＴＶの場合、約６０Ｍｂｐｓ程度のメモリバンド幅を必要とする。
【００２０】
２．入力時に参照パディングの処理方法を決定しない場合、参照画像生成後にパディング処理を行う必要があり、パディング処理のために画素信号をメモリから読み出したり格納したりする必要がある。この処理については、ＶＯＰの形状に依存する。例として、画像フレームの２０％が境界パディングの対象のブロック、２０％が拡張パディングの対象のブロック、１０％が一定値パディングの対象のブロックだと仮定すると、参照画像になる画像フレームでは、ＳＤＴＶの場合、約２３Ｍｂｐｓ、ＨＤＴＶの場合、約１４０Ｍｂｐｓ程度のメモリバンド幅を必要とする。
【００２１】
以上により、従来の方法では、メモリバンド幅が大きくなるという問題があった。
【００２２】
本発明の目的は、参照パディングの処理を行う動画像符号化の際に、メモリバンド幅を削減した動画像符号化方法と装置を提供することである。
【００２３】
【課題を解決するための手段】
上記の目的を達成するため、本発明は、画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、形状信号により形状が存在する画素信号の領域（以下、ＶＯＰと呼ぶ）内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化方法において、画像フレームを入力する時に、入力される形状信号から参照画像パディングの処理方法を決定する第１の段階と、画素信号と形状信号と参照パディングの処理方法を入力し、ＶＯＰ内を符号化する第２の段階と、を有することを特徴とする動画像符号化方法を手段とする。
【００２４】
あるいは、上記の動画像符号化方法の第１の段階において、画像フレームを複数のブロックに分割したブロック毎に、ＶＯＰとの関係により、−（状態１）ＶＯＰ内の画素とＶＯＰ外の画素が混在するブロック（以下、ＶＯＰ境界と呼ぶ）、−（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、−（状態３）上記以外のＶＯＰ外のブロック、に分類する第３の段階と、前記各状態により、参照パディングの処理方法を、−（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、−（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、−（状態３）の場合、一定値パディング、に決定する第４の段階と、を有することを特徴とする動画像符号化方法を手段とする。
【００２５】
あるいは、上記の動画像符号化方法の第３、第４の段階において、メモリ上に、水平方向のブロック数分を１セットとし、複数個の当該データ（（以下、参照パディングの処理方法を決定するためのデータ領域と呼ぶ）を用意し、初期設定として参照パディングの方法を一定値パディングとする第５の段階と、１ブロックの水平方向の画素数の形状値を入力とし、−（状態１）全ての画素がＶＯＰ内である状態、−（状態２）全ての画素がＶＯＰ外である状態、−（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在している状態、に分類する第６の段階と、入力されたブロックの更新中のラインに対応した１ライン前のラインの状態（以下、（過去のラインの状態）と呼ぶ）に基づきライン方向に繰り返し行い、第５の段階で取得した状態から、メモリに格納されている参照パディングの処理方法を・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング、に更新する第７の段階と、第６の段階と第７の段階を水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から・上に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・左に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・下に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、・右に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、の値に更新する第８の段階と、を有することを特徴とする動画像符号化方法を手段とする。
【００２６】
また、本発明は、画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、ＶＯＰ内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化装置において、画像フレームを入力する時に、入力される形状信号から参照画像パディングの処理方法を決定する第１の手段と、画素信号と形状信号と参照パディングの処理方法を入力し、ＶＯＰ内を符号化する第２の手段と、を具備することを特徴とする動画像符号化装置を手段とする。
【００２７】
あるいは、上記の動画像符号化装置の第１の手段において、画像フレームを複数のブロックに分割したブロック毎に、ＶＯＰとの関係により、−（状態１）ＶＯＰ内の画素とＶＯＰ外の画素が混在するブロック（ＶＯＰ境界）、−（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、−（状態３）上記以外のＶＯＰ外のブロック、に分類する第３の手段と、前記各状態により、参照パディングの処理方法を、−（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、−（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、−（状態３）の場合、一定値パディング、に決定する第４の手段と、を具備することを特徴とする動画像符号化装置を手段とする。
【００２８】
あるいは、上記の動画像符号化装置の第３、第４の手段において、メモリ上に、水平方向のブロック数分を１セットとし、参照パディングの処理方法を決定するための複数個の当該データ領域を用意し、初期設定として参照パディングの方法を一定値パディングとする第５の手段と、１ブロックの水平方向の画素数の形状値を入力とし、−（状態１）全ての画素がＶＯＰ内である状態、−（状態２）全ての画素がＶＯＰ外である状態、−（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在している状態、に分類する第６の手段と、入力されたブロックの更新中のラインに対応した１ライン前の（過去のラインの状態）に基づきライン方向に繰り返し行い、第５の手段で取得した状態から、メモリに格納されている参照パディングの処理方法を・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング、に更新する第７の手段と、第６の手段と第７の手段を水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から・上に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・左に隣接するブロックの状態を−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、−（過去のブロックの状態）が境界パディングの場合、境界パディング、・下に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、・右に隣接するブロックの状態を−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、の値に更新する第８の手段と、を具備することを特徴とする動画像符号化装置を手段とする。
【００２９】
また、本発明は、コンピュータに上記の動画像符号化方法を実行させるプログラム、あるいは、コンピュータに上記の動画像符号化方法を実行させるプログラムを記録した記録媒体を手段とする。
【００３０】
本発明では、入力画像をメモリに格納する時に形状信号から参照パディングの処理方法を決定することにより、形状信号をメモリに記憶した後、またメモリから読み出す必要をなくし、メモリのＩ／Ｏレートを削減する。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００３２】
図１は、本発明の第一の実施形態例の構成とその処理を示している。
【００３３】
図中１，２は、入力の画素信号と形状信号を示す。図中１は、輝度信号と色差信号から構成される画素信号を示し、図中２は、画素信号に対応した形状信号を示している。図中３は、動画像符号化システムを示し、図中４は、動画像符号化システムの入力部を示す。図中１，２の画素信号と形状信号は、図中４の入力部に入力され、第１の手段により、入力される形状信号から参照パディングの処理方法が決定され、図中５の画素信号（輝度信号、色差信号）と、図中６の形状信号と、図中７の参照パディングの処理方法が出力される。
【００３４】
図中８は、第２の手段を示し、図中５の画素信号と、図中６の形状信号と、図中７の参照パディングの処理方法を入力し、ＶＯＰを符号化し、図中９のビットストリームを出力する。
【００３５】
図２は、本発明の第二の実施形態例を示し、上記入力部４の第１の手段の構成と処理を示している。
【００３６】
図中２１は、入力の形状信号を示す。図中２２は、第３の手段を示し、入力される形状信号から、（状態１）ＶＯＰ境界のブロック、（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、（状態３）上記以外のＶＯＰ外のブロック、に分類する。図中２３は、第３の手段で判断した状態を示し、図中２４の第４の手段に入力される。
【００３７】
図中２４の第４の手段では、入力された状態により、参照画像のパディング方法を、（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、（状態３）の場合、一定値パディング、と決定し、図中２５で出力する。
【００３８】
図３は、本発明の第三の実施形態例を示し、上記第３、第４の手段の構成とその処理を示している。
【００３９】
図中３０１は、第５の手段を示し、図中３０２は、水平方向のブロック数を１セットとし、３セット分のデータ領域を示している。第５の手段は、初期設定として、全てのデータ領域の参照パディングの方法を一定値パディングとする。
【００４０】
図中３０３は、入力される画素に対応した形状値を示している。形状値は１ラインごとにラスタ順に入力される。このため、状態の判定３０５をラインごとに行い、このラインごとの判定処理をブロックのライン数分繰り返すことにより、１つのブロック列内に含まれる全ブロックの状態が決定される。図では、例として、ブロックの水平方向の画素数を８画素にした場合を示している。図中３０４は、第６の手段を示し、図中３０３の形状値は図中３０５に入力され、形状値の値により図中３０６，３０７，３０８に示す状態に対応するか判定を行う。図中３０６は、（状態１）全ての画素がＶＯＰ内であることを示し、図中３０７は、（状態２）全ての画素がＶＯＰ外であることを示し、図中３０８は、（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在していることを示す。
【００４１】
図中３０９は、第７の手段を示し、図中３１０はメモリを示す。第７の手段は、第６の手段で判定した状態と図３、図４に示す更新処理対象のブロック内の更新中のラインに対応した１ライン前のラインの状態（以下、過去のラインの状態という。）に基づき、ライン方向に繰り返し以下の更新処理を行う。
・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、
・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、
・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング。
【００４２】
上記処理を１つのブロック列のライン数分繰り返して１つのブロック列内に含まれる全てのブロックの参照画像パディングのタイプが決定される。図３では、例として、図中３１１のデータを更新している。
【００４３】
図中３１２は、第８の手段を示し、第６の手段と第７の手段を繰り返し行い、水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から
・上に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・左に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・下に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、
・右に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、
の値に更新する。
【００４４】
１つのブロック列の最後のブロックの処理が終了した場合には、図中３１３に示すように、処理が終了した上のブロック列に関する参照画像パディングのタイプを示すデータをメモリに格納し、次のブロックの処理を行う。
【００４５】
なお、図１〜図３で示した各実施形態例の構成の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、各実施形態例の処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００４６】
【発明の効果】
以上の説明により明らかなように、本発明によれば、形状信号の入力時に参照パディングの処理方法を決定できるため、形状信号をメモリに記憶した後、またメモリから読み出す必要がなくなり、メモリのＩ／Ｏレートを削減することができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態例を示す図である。
【図２】本発明の第二の実施形態例を示す図である。
【図３】本発明の第三の実施形態例を示す図である。
【図４】上記第三の実施形態例における領域データの更新の様子を示す図である。
【符号の説明】
１…画素信号
２…形状信号
３…動画像符号化システム
４…入力部
５…画素信号
６…形状信号
７…参照パディングの処理方法
２１…形状信号
２２…第３の手段
２３…状態
２４…第４の手段
２５…参照パディングの処理方法
３０１…第５の手段
３０２…データ領域
３０３…形状値
３０４…第６の手段
３０５…状態の判定
３０６…（状態１）
３０７…（状態２）
３０８…（状態３）
３０９…第７の手段
３１０…メモリ
３１１…更新されるブロック
３１２…第８の手段
３１３…最後のブロックの処理
Claims (4)
- 画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、形状信号により形状が存在する画素信号の領域（以下、ＶＯＰと呼ぶ）内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化方法において、
画像フレームを入力する時に、入力される形状信号から参照画像パディングの処理方法を決定する第１の段階と、
画素信号と形状信号と参照パディングの処理方法を入力し、ＶＯＰ内を符号化する第２の段階と、を有し、
前記第１の段階は、画像フレームを複数のブロックに分割したブロック毎に、ＶＯＰとの関係により、
−（状態１）ＶＯＰ内の画素とＶＯＰ外の画素が混在するブロック（以下、ＶＯＰ境界と呼ぶ）、
−（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、
−（状態３）上記以外のＶＯＰ外のブロック、に分類する第３の段階と、
前記各状態により、参照パディングの処理方法を、
−（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、
−（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、
−（状態３）の場合、一定値パディング、
に決定する第４の段階と、を有し、
前記第３、第４の段階は、メモリ上に、水平方向のブロック数分を１セットとし、複数個の当該データ（（以下、参照パディングの処理方法を決定するためのデータ領域と呼ぶ）を用意し、初期設定として参照パディングの方法を一定値パディングとする第５の段階と、
１ブロックの水平方向の画素数の形状値を入力とし、
−（状態１）全ての画素がＶＯＰ内である状態、
−（状態２）全ての画素がＶＯＰ外である状態、
−（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在している状態、
に分類する第６の段階と、
入力されたブロックの更新中のラインに対応した１ライン前のラインの状態（以下、（過去のラインの状態）と呼ぶ）に基づきライン方向に繰り返し行い、第５の段階で取得した状態から、メモリに格納されている参照パディングの処理方法を
・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、
・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、
・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状 態を境界パディング、
・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング、
に更新する第７の段階と、
第６の段階と第７の段階を水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から
・上に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・左に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・下に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、
・右に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、
の値に更新する第８の段階と、を有する
ことを特徴とする動画像符号化方法。 - 画素信号と画素信号に対応した形状信号とから構成される矩形形状の画像フレームを入力とし、ＶＯＰ内を符号化したビットストリームを出力とし、動き推定処理のための参照画像としてＶＯＰ外に画素値を代入する参照パディング処理を備えた動画像符号化装置において、
画像フレームを入力する時に、入力される形状信号から参照画像パディングの処理方法を決定する第１の手段と、
画素信号と形状信号と参照パディングの処理方法を入力し、ＶＯＰ内を符号化する第２の手段と、を具備し、
前記第１の手段は、画像フレームを複数のブロックに分割したブロック毎に、ＶＯＰとの関係により、
−（状態１）ＶＯＰ内の画素とＶＯＰ外の画素が混在するブロック（ＶＯＰ境界）、
−（状態２）ＶＯＰ外のブロックで隣接する上下左右の４方向の何れかのブロックがＶＯＰ内の画素を有するブロック、
−（状態３）上記以外のＶＯＰ外のブロック、に分類する第３の手段と、
前記各状態により、参照パディングの処理方法を、
−（状態１）の場合、水平方向および垂直方向のパディングを行うＶＯＰ境界パディング、
−（状態２）の場合、隣接する上下左右の４方向の何れかのブロックの画素でパディングを行う拡張パディング、
−（状態３）の場合、一定値パディング、
に決定する第４の手段と、を具備し、
前記第３、第４の手段は、メモリ上に、水平方向のブロック数分を１セットとし、参照パディングの処理方法を決定するための複数個の当該データ領域を用意し、初期設定として参照パディングの方法を一定値パディングとする第５の手段と、
１ブロックの水平方向の画素数の形状値を入力とし、
−（状態１）全ての画素がＶＯＰ内である状態、
−（状態２）全ての画素がＶＯＰ外である状態、
−（状態３）ＶＯＰ内の画素とＶＯＰ外の画素が混在している状態、
に分類する第６の手段と、
入力されたブロックの更新中のラインに対応した１ライン前の（過去のラインの状態）に基づきライン方向に繰り返し行い、第５の手段で取得した状態から、メモリに格納されている参照パディングの処理方法を
・（状態ａ）（過去のラインの状態）が一定値パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｂ）（過去のラインの状態）が境界パディング、かつ、（状態１）である場合、次の状態を境界パディング、
・（状態ｃ）（過去のラインの状態）が拡張パディング、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｄ）（過去のラインの状態）がＶＯＰ内、かつ、（状態１）である場合、次の状態をＶＯＰ内、
・（状態ｅ）（過去のラインの状態）が一定値パディング、かつ、（状態２）である場合、次の状態を一定値パディング、
・（状態ｆ）（過去のラインの状態）が境界パディング、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｇ）（過去のラインの状態）が拡張パディング、かつ、（状態２）である場合、次の状態を拡張パディング、
・（状態ｈ）（過去のラインの状態）がＶＯＰ内、かつ、（状態２）である場合、次の状態を境界パディング、
・（状態ｉ）（過去のラインの状態）が一定値パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｊ）（過去のラインの状態）が境界パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｋ）（過去のラインの状態）が拡張パディング、かつ、（状態３）である場合、次の状態を境界パディング、
・（状態ｌ）（過去のラインの状態）がＶＯＰ内、かつ、（状態３）である場合、次の状態を境界パディング、
に更新する第７の手段と、
第６の手段と第７の手段を水平方向のブロック数分繰り返すことをブロックの垂直ライン数分繰り返し、ブロックの最後のラインを処理する時に、境界パディングと判定した場合、隣接する上下左右のブロックの状態を過去のブロックの状態から
・上に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディングの場合、次の状態を下に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・左に隣接するブロックの状態を
−（過去のブロックの状態）がＶＯＰ内の場合、ＶＯＰ内、
−（過去のブロックの状態）が一定値パディング、あるいは、下に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を右に隣接するブロックの画素値からコピーする拡張パディング、
−（過去のブロックの状態）が境界パディングの場合、境界パディング、
・下に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディングの場合、次の状態を上に隣接するブロックの画素値からコピーする拡張パディング、
・右に隣接するブロックの状態を
−（過去のブロックの状態）が一定値パディング、あるいは、上に隣接するブロックの画素値からコピーする拡張パディングの場合、次の状態を左に隣接するブロックの画素値からコピーする拡張パディング、
の値に更新する第８の手段と、を具備する
ことを特徴とする動画像符号化装置。 - コンピュータに請求項１記載の動画像符号化方法を実行させるプログラム。
- コンピュータに請求項１記載の動画像符号化方法を実行させるプログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002009571A JP3971930B2 (ja) | 2002-01-18 | 2002-01-18 | 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002009571A JP3971930B2 (ja) | 2002-01-18 | 2002-01-18 | 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003219417A JP2003219417A (ja) | 2003-07-31 |
| JP3971930B2 true JP3971930B2 (ja) | 2007-09-05 |
Family
ID=27647549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002009571A Expired - Fee Related JP3971930B2 (ja) | 2002-01-18 | 2002-01-18 | 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3971930B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101671676B1 (ko) * | 2009-03-04 | 2016-11-01 | 르네사스 일렉트로닉스 가부시키가이샤 | 압축 동화상 부호화 장치, 압축 동화상 복호화 장치, 압축 동화상 부호화 방법 및 압축 동화상 복호화 방법 |
| CN103888780B (zh) * | 2009-03-04 | 2017-06-16 | 瑞萨电子株式会社 | 动态图像编码装置、动态图像解码装置、动态图像编码方法及动态图像解码方法 |
| JP5718438B2 (ja) * | 2013-11-28 | 2015-05-13 | ルネサスエレクトロニクス株式会社 | 圧縮動画符号化装置、圧縮動画復号化装置、圧縮動画符号化方法および圧縮動画復号化方法 |
| US11985324B2 (en) | 2019-03-14 | 2024-05-14 | Hfi Innovation Inc. | Methods and apparatuses of video processing with motion refinement and sub-partition base padding |
-
2002
- 2002-01-18 JP JP2002009571A patent/JP3971930B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003219417A (ja) | 2003-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5261376B2 (ja) | 画像符号化装置および画像復号化装置 | |
| CN1960495B (zh) | 图像编码装置、图像编码方法和集成电路装置 | |
| US8582666B2 (en) | Image compression and decompression | |
| JP4455487B2 (ja) | 復号化装置及び復号化方法及びプログラム | |
| JP5246264B2 (ja) | 画像符号化装置、画像復号化装置、画像符号化方法及び画像復号化方法 | |
| TW201946456A (zh) | 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體 | |
| US7162090B2 (en) | Image processing apparatus, image processing program and image processing method | |
| JP2008054267A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
| JP3760049B2 (ja) | 任意形状符号化方法 | |
| US7327904B2 (en) | Pattern classification and filter design for increasing image resolution | |
| JP2003032688A (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| TW202034691A (zh) | 圖像編碼裝置、圖像編碼方法及程式 | |
| JP3971930B2 (ja) | 動画像符号化方法と装置、並びにこの方法の実行プログラムとこの方法の実行プログラムを記録した記録媒体 | |
| US20070147511A1 (en) | Image processing apparatus and image processing method | |
| WO2012165428A1 (ja) | 映像符号化装置 | |
| JP3715273B2 (ja) | 画像データの平滑化処理装置、平滑化処理方法及び平滑化処理プログラム | |
| JP2006339774A (ja) | 動画像符号化装置 | |
| TW202034700A (zh) | 圖像解碼裝置、圖像解碼方法及程式 | |
| JP3775630B2 (ja) | 動画像の領域分割符号化装置 | |
| JP5111260B2 (ja) | 画像処理装置、及び、特定領域検出方法 | |
| CN113365080A (zh) | 串编码技术的编解码方法、设备及存储介质 | |
| TW202025747A (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 | |
| TW202038612A (zh) | 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法 | |
| TW202002635A (zh) | 影像編碼裝置、影像解碼裝置、其等之控制方法及程式 | |
| JP4617442B2 (ja) | 画像復号方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070611 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100615 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110615 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120615 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130615 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140615 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |