JP4025570B2 - 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 - Google Patents
動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4025570B2 JP4025570B2 JP2002100746A JP2002100746A JP4025570B2 JP 4025570 B2 JP4025570 B2 JP 4025570B2 JP 2002100746 A JP2002100746 A JP 2002100746A JP 2002100746 A JP2002100746 A JP 2002100746A JP 4025570 B2 JP4025570 B2 JP 4025570B2
- Authority
- JP
- Japan
- Prior art keywords
- division
- information
- decoding
- division pattern
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化に関するものである。
【０００２】
【従来の技術】
動画像符号化には画面を領域に分割して領域毎に符号化を行う方法がある。例えば、画面を縦横１６画素（１６×１６）のマクロブロック（ＭＢ）に分割し、ＭＢ単位に符号化を行う。輝度情報についてはＭＢを更に縦横８画素（８×８）のブロックまたは縦横４画素（４×４）のブロックに分割して、ブロック毎に画像情報を直交変換等のブロック符号化する。
【０００３】
動画像でフレーム間予測符号化を使う場合には、ブロック毎に参照画像と原画像との間の予測誤差を符号化するため、ブロック毎に符号化する予測誤差の有無を示す情報をＭＢ毎に符号化することにより、予測誤差が無い場合に符号化効率を向上することができる。
【０００４】
更に、フレーム間予測符号化には、領域毎に動き情報を加える動き補償符号化や、参照画像を複数備え参照画像を選択して符号化する方法がある。ＭＢを更に分割した分割単位毎に動きベクトルや参照画像指定情報を符号化することができる。この分割単位は上記のブロックと一致しない場合もあり、例えば４×４ブロック毎に直交変換する場合には「ITU-TSG16 Q.6、“H.26L Test Model Long Term Number8(TML-8)draft0,"VCEG-N10,Sep,2001」に記載されている、図５に示すような分割が可能である。
【０００５】
更に、動きベクトルや参照画像を変更して予測誤差を低減し符号化効率を向上するだけではなく、分割単位毎にフレーム内符号化を行うかどうかを選択し、より符号化効率の高い方法を選択することができる。
【０００６】
分割パターン情報は、ＭＢ毎にエントロピー符号化される。例えば「ITU-TSG16 Q.6、“H.26L Test Model Long Term Number8(TML-8)draft0,"VCEG-N10,Sep,2001」で可変長符号化する場合には、下記の表１に記載の可変長符号をパターン毎に割り当てる。
【０００７】
分割パターン情報を可変長符号化する場合には、一般的に発生頻度の高いパターンほど短い符号長の符号を割り当てることにより符号化効率を向上する。符号化対象領域に関する符号量が少ないものほど発生頻度を多くするようにすると画面全体の符号量が低減されるため、フレーム間予測符号化をする領域では一般的に、直交変換係数の符号量以外の合計が少ない場合ほど発生頻度を多くする。分割数が多いとそれだけ領域全体の動きベクトルや参照画像を指定する情報の符号量の合計が多くなるため、一般的に分割数が少ないほど符号長の短い符号が割り当てられる。下記の表１に記載の符号も分割数の少ないものほど短い符号が割り当てられる。
【０００８】
【表１】
【０００９】
【発明が解決しようとする課題】
１６×１６画素のＭＢを４×４ブロック毎に直交変換する場合には、領域を２分割する場合に、例えば「ITU-T SG16Q.6,“Refined Results on the Low-overhead Prediction Modes,"VCEG-O22,Nov,2001」に記載の、図６に示すような分割をすることが可能である。この分割では、画面内に前景と背景が有る場合に前景と背景の境界部分で分割することが可能となり、より予測誤差を低減することが可能となる。
【００１０】
分割数に従って分割パターン情報に対する可変長符号を割り当てると、図６の各番号に対応した表１の符号になる。図５のパターンで５ビットであった表１における４番目の分割パターンは図６では９ビットになる。
【００１１】
しかし、図６で新たに設定した分割パターンに沿って前景と背景の境界が存在する割合が多いとは限らない。例えば、図６における第８番目の分割パターンでは斜め方向に分割されるが、一般的に世の中の建造物は水平垂直方向の平面で構成される等、水平垂直方向の境界が多い。従って、分割パターン自体は図６で新規に設定したものよりも、図５に元々存在した図６における１６番目の方が多くなる傾向がある。この場合には、図６における１６番目の分割パターンでの直交変換係数符号量以外の符号量合計が、図６における８番目のものよりも多くても、実際の符号化では１６番目の分割パターンを選択する場合が多くなる。そのため図５における５ビットから図６における９ビツトに加算された分だけ画面全体の符号化効率が低下する。
【００１２】
本発明の目的は、上記の課題を解決した動画像符号化方法と装置、動画像復号方法と装置、これらのプログラム、これらのプログラムを記録した記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明は、上記の課題を解決するため、以下の動画像符号化方法と動画像符号化装置、動画像復号方法と動画像復号装置、これらのプログラム、これらプログラムを記録した記録媒体を特徴とする。
【００１４】
（１）請求項１に記載の発明では、画面を領域に分割し領域毎に符号化する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする。
（２）請求項２に記載の発明では、画面を領域に分割し領域毎に符号化する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する情報および分割位置を表す分割領域情報で分割位置を指定することを示す情報によって構成される第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
分割位置を表す分割領域情報を符号化する分割領域情報符号化過程と、
を有することを特徴とする。
【００１５】
（３）請求項３に記載の発明では、領域毎に動き補償を行う、請求項１または２に記載の動画像符号化方法であって、
予め設定された個数に分割した分割領域毎に動きベクトルを符号化する動きベクトル符号化過程を有することを特徴とする。
【００１６】
（４）請求項４に記載の発明では、参照画像を複数蓄積して領域毎に参照画像を指定する、請求項１または２に記載の動画像符号化方法であって、
予め設定された個数に分割した分割領域毎に参照画像を指定する情報を符号化する参照画像指定情報符号化過程を有することを特徴とする。
【００１７】
（５）請求項５に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じベクトルを使用することを示す情報または分割領域が異なる動きベクトルを使用することを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン動きベクトル符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする。
【００１８】
（６）請求項６に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ参照画像を使用することを示す情報または分割領域が異なる参照画像を使用することを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン参照画像符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする。
【００１９】
（７）請求項７に記載の発明では、画面を領域に分割した領域毎に復号する動画像復号方法であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする。
（８）請求項８に記載の発明では、画面を領域に分割した領域毎に復号する動画像復号方法であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する情報および分割位置を表す分割領域情報で分割位置を指定することを示す情報によって構成される第２の分割パターン情報を復号する第２分割パターン復号過程と、
分割位置を表す分割領域情報を復号する分割領域情報復号過程と、
を有することを特徴とする。
【００２０】
（９）請求項９に記載の発明では、領域毎に動き補償を行う、請求項７または８に記載の動画像復号方法であって、
予め設定された個数に分割した分割領域毎に動きベクトルを復号する動きベクトル復号過程を有することを特徴とする。
【００２１】
（１０）請求項１０に記載の発明では、参照画像を複数蓄積して領域毎に参照画像を指定する、請求項７または８に記載の動画像復号方法であって、
予め設定された個数に分割した分割領域毎に参照画像を指定する情報を復号する参照画像指定情報復号過程を有することを特徴とする。
【００２２】
（１１）請求項１１に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像復号方法であって、
分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ動きベクトルを使用することを示す情報または分割領域が異なる動きベクトルを使用することを示す情報によって構成される第１の分割パターンを復号する第１分割パターン動きベクトル復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする。
【００２３】
（１２）請求項１２に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像復号方法であって、
分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ参照画像を使用することを示す情報または分割領域が異なる参照画像を使用することを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン参照画像復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする。
【００２４】
（１３）請求項１３に記載の発明では、画面を領域に分割し領域毎に参照画像を変更し動き補償を行う動画像符号化装置であって、
画像を入力する画像入力部と、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを指定する第１分割指定部と、
第１分割指定部で更に予め設定された個数に分割されることを指定した場合に、その分割位置を示す第２の分割パターンを指定する第２分割指定部と、
第１分割指定部あるいは第２分割指定部からの分割パターン情報に従って分割される分割単位毎に参照画像も変更しながら動き探索を行う動き探索部と、
参照画像を蓄積する参照画像メモリと、
動き探索結果から領域の分割パターンを決定する分割決定部と、
動き補償を行い、予測誤差を符号化する動き補償予測誤差符号化部と、
動きベクトルを符号化する動きベクトル符号化部と、
参照画像を指定する情報を符号化する参照画像指定符号化部と、
第１の分割パターン情報を符号化する第１分割パターン符号化部と、
第２の分割パターン情報を符号化する第２分割パターン符号化部と、
を備えたことを特徴とする。
【００２５】
（１４）請求項１４に記載の発明では、請求項１３に記載の動画像符号化装置であって、
入力画像の特徴量を解析する画像解析部と、
画像解析部で得られる情報から分割位置を決定する分割領域指定部と、
分割位置を表す分割領域情報を符号化する分割領域符号化部と、
を備えた事を特徴とする。
【００２６】
（１５）請求項１５に記載の発明では、画面を領域に分割し領域毎に参照画像を変更し動き補償を行う動画像復号装置であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターン情報を復号する第１分割パターン復号部と、
第１分割パターン復号部で予め設定された個数に分割する情報を復号した場合に第２分割パターンを復号する第２分割パターン復号部と、
動きベクトルを復号する動きベクトル復号部と、
参照画像指定情報を復号する参照画像指定情報復号部と、
参照画像を蓄積する参照画像メモリと、
動き補償を行い、予測誤差を復号する動き補償予測誤差復号部と、
を備えたことを特徴とする。
【００２７】
（１６）請求項１６に記載の発明では、請求項１５に記載の動画像復号装置であって、
分割位置を表す分割領域情報を復号する分割領域復号部を備えたことを特徴とする。
【００２８】
（１７）請求項１７に記載の発明では、請求項１〜６のいずれか１項に記載の動画像符号化方法、または請求項１３、１４のいずれか１項に記載の動画像符号化装置を、コンピュータで実行可能なプログラムとして構成したことを特徴とする。
【００２９】
（１８）請求項１８に記載の発明では、請求項７〜１２のいずれか１項に記載の動画像復号方法、または請求項１５、１６のいずれか１項に記載の動画像復号装置を、コンピュータで実行可能なプログラムとして構成したことを特徴とする。
【００３０】
（１９）請求項１９に記載の発明では、請求項１〜６のいずれか１項に記載の動画像符号化方法、または請求項１３、１４のいずれか１項に記載の動画像符号化装置を、コンピュータで実行可能にしたプログラムを、コンピュータが読取可能な記録媒体に記録したことを特徴とする。
【００３１】
（２０）請求項２０に記載の発明では、請求項７〜１２のいずれか１項に記載の動画像復号方法、または請求項１５、１６のいずれか１項に記載の動画像復号装置を、コンピュータで実行可能にしたプログラムを、コンピュータが読取可能な記録媒体に記録したことを特徴とする。
【００３２】
以上までの各項において、請求項１、２等に記載の発明によれば、第１の分割パターン情報では複数に分割することを示す情報のみ符号化し、第２の分割パターン情報で分割位置を示す情報を符号化することができる。これにより、更に分割数の多い分割パターンで分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００３３】
例えば、第１の分割パターン情報では２分割することを示す情報のみ符号化し、第２の分割パターン情報で２分割する位置を示す情報を符号化する。これにより、４分割や１６分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００３４】
この場合、分割パターンは図７のようになり、第１の分割パターン情報の第２番目は２分割する事を示し、これを選択された場合に第２の分割パターン情報として２−１から２−１４までの分割パターンのうちいずれかを選択する。
【００３５】
この場合に割り当てられる符号は、第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、第１の分割パターンとして、表１における番号２の０１０を割り当て、続いて第２の分割パターンとして下記の表２における各番号の符号を割り当てられる。
【００３６】
【表２】
【００３７】
更に、第１の分割パターン情報で複数に分割することを示す符号を複数用意することにより、第２の分割パターン情報で示す分割位置情報の符号量を削減することができる。
【００３８】
例えば、第１の分割パターン情報で２分割することを示す符号を２つ持つ場合には分割パターンは図８のようになり、第１の分割パターン情報の第２番目または第３番目が２分割する事を示し、これらのうちいずれかを選択された場合に第２の分割パターン情報として２−１から２−７までかあるいは３−１から３−７までの分割パターンのうちいずれかを選択する。
【００３９】
この場合に割り当てられる符号は、第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、まず第１の分割パターンとして表１における番号２の０１０か番号３の０１１を割り当て、続いて第２の分割パターンとして同じく表１における各番号の符号を割り当てられる。これにより、第１の分割パターン情報で複数に分割することを示す符号を１つ用意する場合よりも、符号長の短い符号を割り当てることができる。
【００４０】
また、複数に分割する位置は図７や図８に限られず、符号化側と復号側で同じ分割パターン情報を持つものであればよく、分割位置を第２の分割パターン番号で示すことができる。
【００４１】
更に、符号化側と復号側で同じパターン情報を持たずとも、符号化側で分割単位の領域情報を符号化し復号側で同情報を復号することにより、分割位置を明示的に符号化することも可能である。特に、この場合には、直交変換するブロックの境界に一致しない位置を分割位置にすることも可能である。例えば、図１０中の灰色で示した領域を分割単位Ａとし、白色で示した領域を分割単位Ｂとすることも可能である。２分割単位の領域情報の符号化には、例えば、ＪＢＩＧ等の２値画像符号化と同様な手法や、分割位置をチェイン符号化やＦＡＸ等で使用されているＭＨ符号化で符号化することが可能である。
【００４２】
Ｎ分割単位の領域情報の符号化には、例えば、ＪＰＥＧ−ＬＳ等の多値画像符号化を用いることも可能である。境界をまたぐブロックの直交変換方法としては、分割単位毎に符号化しても、境界を関係なく画像情報を符号化してもよい。分割単位毎に符号化する方法では、例えば、次のように符号化する。
【００４３】
図１１に示すように、（ａ）のような位置に境界がある場合に分割単位Ａのフレーム内符号化する場合には、まず分割単位Ａのブロックとして（ｂ）に示すように境界画素で分割単位Ｂの位置の画像情報をパディングしてブロック内画素を作成する。そして、ブロックを直交変換する。分割単位Ａをフレーム間予測符号化する場合には、分割単位Ｂの位置の部分は予測誤差無しとして直交変換する。境界を関係なく画像情報を直交変換する方法では、図１１（ａ）にある画像情報をそのまま直交変換する。
【００４４】
このように分割単位の領域情報を符号化する方法によれば、符号化側で任意の位置に分割境界を設定することができ、より符号化効率を向上することができる。この方法は分割パターン情報を分割パターン番号で示す方法と組み合わせることが可能である。例えば、この方法を、図７における第２の分割パターン情報の２−１５や、図８における第２の分割パターン情報の２−８等に割り当てることにより、分割位置を任意に指定するかどうかを選択することができる。
【００４５】
請求項３等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに動きベクトルを符号化することができる。これにより、複数の分割単位で同じ参照画像を使用するが異なる動きベクトルを使用する場合に、分割単位毎に動きベクトルを符号化することができる。
【００４６】
請求項４等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに参照画像指定情報を符号化することができる。これにより、複数の分割単位で同じ動きベクトルを使うが異なる参照画像を使用する場合に、分割単位毎に参照画像指定情報を符号化することができる。
【００４７】
更に、参照画像指定情報の特定の値を示す場合に、その分割単位をフレーム内符号化することを示すようにする方法も可能である。例えば、参照画像指定情報として０を指定した場合にフレーム内符号化を行い、０以外の場合に参照画像指定情報によって指定される画像を参照画像にする方法も可能である。
【００４８】
請求項５等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに異なる動きベクトルを使用するか、複数の分割単位で同じ動きベクトルを使用するのかを選択することができる。これにより、複数の分割単位で同じ動きベクトルを使用するが異なる参照画像を使用する場合に、分割単位毎に動きベクトルを符号化することを避けることができる。
【００４９】
例えば、分割した分割単位ごとに異なる動きベクトルを使用する場合に第１の分割パターン情報の第３番目を選択し、複数の分割単位で同じ動きベクトルを使用する場合に第１の分割パターン情報の第２番目を選択する。この場合、分割パターンは図９のようになり、第１の分割パターン情報の第２番目と第３番目は２分割する事を示し、これを選択された場合に第２の分割パターン情報として２−１から２−１４までかあるいは３−１から３−１４までの分割パターンのうちいずれかを選択する。
【００５０】
この場合に割り当てられる符号は第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、まず第１の分割パターンとして表１における番号２の０１０か番号３の０１１を割り当て、続いて第２の分割パターンとして表２における各番号の符号を割り当てられる。
【００５１】
請求項６等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに異なる参照画像を使用するか、複数の分割単位で同じ参照画像を使用するのかを選択することができる。これにより、複数の分割単位で同じ参照画像を使用するが異なる動きベクトルを使用する場合に、分割単位毎に参照画像指定情報を符号化することを避けることができる。
【００５２】
例えば、分割した分割単位ごとに異なる参照画像を使用する場合に第１の分割パターン情報の第３番目を選択し、複数の分割単位で同じ参照画像を使用する場合に第１の分割パターン情報の第２番目を選択する。
【００５３】
この場合、分割パターンは図９のようになり、第１の分割パターン情報の第２番目と第３番目は２分割する事を示し、これを選択された場合に第２の分割パターン情報として２−１から２−１４までかあるいは３−１から３−１４までの分割パターンのうちいずれかを選択する。
【００５４】
この場合に割り当てられる符号は、第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、まず第１の分割パターンとして表１における番号２の０１０か番号３の０１１を割り当て、続いて第２の分割パターンとして表２における各番号の符号を割り当てられる。
【００５５】
【発明の実施の形態】
本発明の実施形態を図面を参照して説明する。
【００５６】
３フレーム分の参照画像メモリを備えておき、１６×１６画素のＭＢ（マクロブロック）毎に入力画像を符号化し、ＭＢを分割した分割単位ごとに動きベクトルと参照画像を指定する方法について示す。
【００５７】
分割パターンは図９と同様であり、第１の分割パターンでは参照画像が分割単位毎に異なる場合には第３番目を選択し、ＭＢ内の全ての分割単位で同じである場合には第２番目を選択するものとする。分割パターンは入力ＭＢの符号化に必要な符号量の予測値（動き探索コストと呼ぶことにする）に基づいて決定するものとする。動き探索コストは以下の式（１）によって計算されるものとする。
【００５８】
【数１】
【００５９】
ここで、Ｎ（）は各符号化情報の符号量を示す。ｉはＭＢ内の分割領域を示す。ＭＢｍｏｄｅは分割パターン情報を表し、ＣＢＰは４×４画素のブロック毎にブロック内に直交変換すべき画像情報や予測誤差があるかどうかを示す情報を表し、ＭＶｉは分割領域ｉの動きベクトル情報を表し、ＲＥＦｉは分割領域ｉの参照画像を指定する情報を表す。ＭＡＤｉは動き探索位置での絶対値差分和を示し、以下の式（２）によって計算される。ｊは分割領域内ｉの画素を示し、ｆ（ｊ，ｔ）は時刻ｔにおける入力画像の画素ｊの画像情報を示す。
【００６０】
【数２】
【００６１】
画像符号化装置の構成を図１に示す。画像をＭＢ毎に入力する画像入力部１０１と、第１の分割パターンを指定する第１分割指定部１０４と、ＭＢを２分割する際の第２の分割パターンを指定する第２分割指定部１０５と、第１分割指定部あるいは第２分割指定部からの分割パターン情報に従って分割される分割単位毎に参照画像も変更しながら動き探索を行い、動き探索コストの最小値を求める動き探索部１０２と、動き探索と動き補償に使う参照画像を蓄積する参照画像メモリ１０７と、動き探索部１０２で得られる動き探索コストの最小値から分割パターンを決定する分割決定部１０６と、動き補償を行い予測誤差を符号化する動き補償予測誤差符号化部１０３と、動きベクトルを符号化する動きベクトル符号化部１０９と、参照画像を指定する情報を符号化する参照画像指定符号化部１０８と、第１の分割パターン情報を符号化する第１分割パターン符号化部１１０と、分割決定部が２分割すると決定した際に第２の分割パターン情報を符号化する第２分割パターン符号化部１１１とを備える。
【００６２】
このような前提のもとで画像が入力された場合の動作は次のようになる。
【００６３】
まず、画像入力部１０１から１６×１６画素の画像が入力される。動き探索部１０２は、第１分割指定部１０４によって指定される第１番目の分割パターン毎に動き探索を行い、動き探索コストの最小値を求める。続いて、第１分割指定部１０４は、第２番目と第３番目の分割パターンに対応してＭＢを２分割することを指定するため、第２分割指定部１０５が分割パターンを指定する。動き探索部１０２は、第２分割指定部１０５によって指定される各分割パターン毎に動き探索を行い、動き探索コストの最小値を求める。続いて、第１分割指定部１０４で第４番目から第７番目までの分割パターンに対して、それぞれ動き探索を行い、動き探索コストの最小値を求める。
【００６４】
分割決定部１０６は、分割パターン毎に得られた動き探索コストの最小値を比較して、値が最小となる分割パターン（最小分割パターン）を求める。最小分割パターンが、第１の分割パターン情報で第１番目または第４番目から第７番目の分割パターンである場合には、第１分割パターン符号化部１０４は第１の分割パターン情報を符号化する。このとき、第２分割パターン符号化部１０５は何も符号化しない。
【００６５】
動きベクトル符号化部１０９は、最小分割パターンとなる動きベクトルを分割単位毎に符号化し、参照画像指定符号化部は最小分割パターンとなる参照画像指定情報を符号化する。
【００６６】
動き補償予測誤差符号化部１０３は、最小分割パターンとなる参照画像を使って予測誤差を求め予測誤差を符号化する。最小分割パターンが、第１の分割パターン情報で２分割（第２番目または第３番目の分割パターン）である場合には、第１分割パターン符号化部１０４は第１の分割パターン情報を符号化し、第２分割パターン符号化部１０５は第２の分割パターン情報を符号化する。このとき、最小分割パターンで参照画像指定情報が２分割単位で異なる場合には第１の分割パターン情報として第３番目を、参照画像指定情報が２分割単位で同じ場合には第１の分割パターン情報として第２番目を符号化する。
【００６７】
動きベクトル符号化部１０９は、動きベクトルを分割単位毎に符号化する。
【００６８】
参照画像指定符号化部１０８は、第１の分割パターン情報で第２番目が最小分割パターンである場合にはＭＢ毎の参照画像指定情報を符号化し、第１の分割パターン情報で第３番目が最小分割パターンである場合には分割単位毎の参照画像指定情報を符号化する。
【００６９】
動き補償予測誤差符号化部１０３は、最小分割パターンとなる参照画像を使って予測誤差を求め予測誤差を符号化する。
【００７０】
続いて、この画像符号化装置で出力される符号化データを復号する画像復号装置の動作を示す。
【００７１】
画像復号装置の構成を図２に示す。ＭＢの第１分割パターン情報を復号する第１分割パターン復号部１１２と、第２分割パターンを復号する第２分割パターン復号部１１３と、第１分割パターン情報または第２分割パターン情報に従って分割単位毎の動きベクトルを復号する動きベクトル復号部１１４と、第１分割パターン情報または第２分割パターン情報に従って分割単位毎の参照画像指定情報を復号する参照画像指定情報復号部１１５と、動き補償に使う参照画像を蓄積する参照画像メモリ１０７と、動き補償を行い予測誤差を復号する動き補償予測誤差復号部１１６とを備える。
【００７２】
このような前提のもとで符号化データは次のように復号される。
【００７３】
まず、第１分割パターン復号部１１２は第１の分割パターン情報を復号する。第１の分割パターン情報が図９において第１番目または第４番目から第７番目を示す場合には、第１の分割パターンで示される分割単位数だけ、動きベクトルと参照画像指定情報を復号する。そして、動き補償を行い、予測誤差を復号して復号画像を得る。
【００７４】
第１の分割パターン情報が図９において第２番目を示す場合には、続いて第２の分割パターン情報を復号する。そして、第２の分割パターンの分割単位数である数２だけ、動きベクトルを復号する。
【００７５】
第１の分割パターン情報が図９における第２番目を示す場合には参照画像指定情報がＭＢ毎に１つのみであるため、参照画像指定情報は１つだけ復号する。そして、動き補償を行い予測誤差を復号して復号画像を得る。
【００７６】
第１の分割パターン情報が図９において第３番目を示す場合には、続いて第２の分割パターン情報を復号する。そして、第２の分割パターンの分割単位数である数２だけ、動きベクトルと参照画像指定情報を復号する。そして動き補償を行い、予測誤差を復号して復号画像を得る。
【００７７】
以上のように、本実施形態によれば、第１の分割パターン情報では複数に分割することを示す情報のみ符号化し、第２の分割パターン情報で分割位置を示す情報を符号化することができる。これにより、更に分割数の多い分割パターンで分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００７８】
なお、本実施形態では、２分割する際に２分割単位で参照画像が同じ場合と異なる場合とで異なる第１の分割パターン情報を与えたが、第２番目で動きベクトルが同じ場合を示し、第３番目で動きベクトルが異なる場合を示すことも可能である。この場合には第２番目と第３番目の両方で、分割単位毎に参照画像指定情報を符号化する必要がある。
【００７９】
また、参照画像指定番号の特定の番号をフレーム内符号化の指定に割り当てることにより、分割単位がフレーム内符号化を行うことを指定することも可能である。この場合、動き探索部１０２では、動き探索コストとしてフレーム内符号化を行う場合のコストを算出する。このコストは例えば式（１）と（３）によって計算される。
【００８０】
【数３】
【００８１】
また、分割パターン情報を分割パターン番号によって示したが、分割位置を２値画像符号化により符号化する方法も可能である。例えば、図９における、第２の分割パターン情報の２−１５または３−１５に、分割位置を２値画像符号化データによって示す事を割り当てることも可能である。
【００８２】
この場合の画像符号化装置の構成例は図３のようになる。図１の構成に追加して、入力画像の特徴量を解析する画像解析部１１７と、画像解析部で得られる情報から分割位置を決定する分割領域指定部１１８と、分割領域情報をＪＢＩＧにより符号化する分割領域符号化部１０６とを備える。
【００８３】
まず、画像解析部１１７は入力画像のエッジを検出し、分割領域指定部１１８はエッジに沿って画像を２分割する分割位置を決定する。その後、上記の画像符号化装置の動作例と同様に動き探索部１０２が各分割パターンに対する動き探索コストの最小値を求める。第２の分割パターン２−１５と３−１５の際に使用される動き探索コストは式（４）で計算される。ＭＡＤｉは、フレーム間予測符号化を用いる場合には式（２）を使い、フレーム内予測符号化を用いる場合には式（３）を使う。Ｎ（Ｂｉ）は分割領域ｉの領域情報符号量である。
【００８４】
【数４】
【００８５】
動き探索コストの最小値を求めた結果、第２の分割パターン２−１５または３−１５が最小となった場合には、第１の分割パターン情報と第２の分割パターン情報の他に、分割領域情報もＪＢＩＧにより符号化して出力する。
【００８６】
ここで出来る符号化データを復号する画像復号装置の構成例を図４に示す。図２の構成に追加して、分割領域情報を復号する分割領域復号部１２０を備える。第２分割パターン復号部１１３が２−１５または３−１５を復号すると、分割領域復号部１２０は分割領域情報をＪＢＩＧを使って復号して、分割位置を求める。
【００８７】
なお、実施形態では、参照画像を複数フレーム分備えたが、１フレーム分備える構成にすることも可能である。この場合には画像符号化装置と画像復号装置に参照画像メモリを備えない。また、第１の分割パターンは図７または図８となる。
【００８８】
また、本実施形態では２分割する場合の実施形態を示したが、本方式はＮ分割（Ｎは整数）する方法に適用することも可能である。この場合には第２の分割パターンとして、Ｎ分割する分割パターンを定義する。更に、２分割する分割パターンも図９に記載のパターン以外の分割パターンも定義することが可能である。
【００８９】
また、本実施形態では、分割位置を画像符号化装置内で決定する場合に、マクロブロック毎に分割領域情報を符号化したが、分割領域情報はフレーム毎に符号化しても良い。例えば、ＭＰＥＧ−４における任意形状画像符号化方式のように、分割領域情報が画像符号化装置内で決定されるのではなく、予め指定される場合にはフレーム毎に分割領域情報を符号化しておき、その分割領域情報に従って各マクロブロックを２分割する。
【００９０】
また、動き補償において、平行移動だけではなく、回転や拡大を行うことも好適である。例えば、文献「石川ら、“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化、”信学技報IE2001-76,pp.15-22,2001」では、回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や、拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
【００９１】
また、画像情報と予測誤差の符号化には、ＤＣＴやアダマール変換やＷａｖｅｌｅｔ変換等の直交変換や、ベクトル量子化を用いても良い。さらに、複数フレーム分の画像情報をまとめて直交変換しても良い。例えば、文献「石川ら、“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化、”信学技報IE2001-76,pp.15-22,2001」のように、複数フレーム分の画像情報をＤＣＴしたり、文献「J.-R.Ohm,"Three-dimentional subband coding with motion compensation,"IEEE Trans.,Image Process.,vol.3,pp.559-571,1994」のように複数フレーム分の画像情報をＷａｖｅｌｅｔ変換しても良い。
【００９２】
なお、本発明は、図１〜図４に示した方法又は装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいはこれら処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００９３】
【発明の効果】
本発明によれば、領域毎に画像を符号化するときに、第１の分割パターン情報では領域を更に複数に分割することを示す情報のみ符号化し、第２の分割パターン情報で分割位置を示す情報を符号化することができる。
【００９４】
更に、分割数の多い分割パターンで分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００９５】
従って、符号量の増加を抑えつつ、画面内に前景と背景が有る場合に前景と背景の境界部分で２分割することが可能となり、より予測誤差を低減することが可能となる。
【図面の簡単な説明】
【図１】実施形態における画像符号化装置の構成１。
【図２】実施形態における画像復号装置の構成１。
【図３】実施形態における画像符号化装置の構成２。
【図４】実施形態における画像復号装置の構成２。
【図５】分割パターン例１。
【図６】分割パターン例２。
【図７】分割パターン例３。
【図８】分割パターン例４。
【図９】分割パターン例５。
【図１０】分割パターン例６。
【図１１】ブロック内画素生成の例。
【符号の説明】
１０１…画像入力部
１０２…動き探索部
１０３…動き補償予測誤差符号化部
１０４…第１分割指定部
１０５…第２分割指定部
１０６…分割決定部
１０７…参照画像メモリ
１０８…参照画像指定符号化部
１０９…動きベクトル符号化部
１１０…第１分割パターン符号化部
１１１…第２分割パターン符号化部
１１２…第１分割パターン復号部
１１３…第２分割パターン復号部
１１４…動きベクトル復号部
１１５…参照画像指定復号部
１１６…動き補償予測誤差復号部
１１７…画像解析部
１１８…分割領域指定部
１１９…分割領域符号化部
１２０…分割領域復号部
【発明の属する技術分野】
本発明は、動画像符号化に関するものである。
【０００２】
【従来の技術】
動画像符号化には画面を領域に分割して領域毎に符号化を行う方法がある。例えば、画面を縦横１６画素（１６×１６）のマクロブロック（ＭＢ）に分割し、ＭＢ単位に符号化を行う。輝度情報についてはＭＢを更に縦横８画素（８×８）のブロックまたは縦横４画素（４×４）のブロックに分割して、ブロック毎に画像情報を直交変換等のブロック符号化する。
【０００３】
動画像でフレーム間予測符号化を使う場合には、ブロック毎に参照画像と原画像との間の予測誤差を符号化するため、ブロック毎に符号化する予測誤差の有無を示す情報をＭＢ毎に符号化することにより、予測誤差が無い場合に符号化効率を向上することができる。
【０００４】
更に、フレーム間予測符号化には、領域毎に動き情報を加える動き補償符号化や、参照画像を複数備え参照画像を選択して符号化する方法がある。ＭＢを更に分割した分割単位毎に動きベクトルや参照画像指定情報を符号化することができる。この分割単位は上記のブロックと一致しない場合もあり、例えば４×４ブロック毎に直交変換する場合には「ITU-TSG16 Q.6、“H.26L Test Model Long Term Number8(TML-8)draft0,"VCEG-N10,Sep,2001」に記載されている、図５に示すような分割が可能である。
【０００５】
更に、動きベクトルや参照画像を変更して予測誤差を低減し符号化効率を向上するだけではなく、分割単位毎にフレーム内符号化を行うかどうかを選択し、より符号化効率の高い方法を選択することができる。
【０００６】
分割パターン情報は、ＭＢ毎にエントロピー符号化される。例えば「ITU-TSG16 Q.6、“H.26L Test Model Long Term Number8(TML-8)draft0,"VCEG-N10,Sep,2001」で可変長符号化する場合には、下記の表１に記載の可変長符号をパターン毎に割り当てる。
【０００７】
分割パターン情報を可変長符号化する場合には、一般的に発生頻度の高いパターンほど短い符号長の符号を割り当てることにより符号化効率を向上する。符号化対象領域に関する符号量が少ないものほど発生頻度を多くするようにすると画面全体の符号量が低減されるため、フレーム間予測符号化をする領域では一般的に、直交変換係数の符号量以外の合計が少ない場合ほど発生頻度を多くする。分割数が多いとそれだけ領域全体の動きベクトルや参照画像を指定する情報の符号量の合計が多くなるため、一般的に分割数が少ないほど符号長の短い符号が割り当てられる。下記の表１に記載の符号も分割数の少ないものほど短い符号が割り当てられる。
【０００８】
【表１】
【発明が解決しようとする課題】
１６×１６画素のＭＢを４×４ブロック毎に直交変換する場合には、領域を２分割する場合に、例えば「ITU-T SG16Q.6,“Refined Results on the Low-overhead Prediction Modes,"VCEG-O22,Nov,2001」に記載の、図６に示すような分割をすることが可能である。この分割では、画面内に前景と背景が有る場合に前景と背景の境界部分で分割することが可能となり、より予測誤差を低減することが可能となる。
【００１０】
分割数に従って分割パターン情報に対する可変長符号を割り当てると、図６の各番号に対応した表１の符号になる。図５のパターンで５ビットであった表１における４番目の分割パターンは図６では９ビットになる。
【００１１】
しかし、図６で新たに設定した分割パターンに沿って前景と背景の境界が存在する割合が多いとは限らない。例えば、図６における第８番目の分割パターンでは斜め方向に分割されるが、一般的に世の中の建造物は水平垂直方向の平面で構成される等、水平垂直方向の境界が多い。従って、分割パターン自体は図６で新規に設定したものよりも、図５に元々存在した図６における１６番目の方が多くなる傾向がある。この場合には、図６における１６番目の分割パターンでの直交変換係数符号量以外の符号量合計が、図６における８番目のものよりも多くても、実際の符号化では１６番目の分割パターンを選択する場合が多くなる。そのため図５における５ビットから図６における９ビツトに加算された分だけ画面全体の符号化効率が低下する。
【００１２】
本発明の目的は、上記の課題を解決した動画像符号化方法と装置、動画像復号方法と装置、これらのプログラム、これらのプログラムを記録した記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明は、上記の課題を解決するため、以下の動画像符号化方法と動画像符号化装置、動画像復号方法と動画像復号装置、これらのプログラム、これらプログラムを記録した記録媒体を特徴とする。
【００１４】
（１）請求項１に記載の発明では、画面を領域に分割し領域毎に符号化する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする。
（２）請求項２に記載の発明では、画面を領域に分割し領域毎に符号化する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する情報および分割位置を表す分割領域情報で分割位置を指定することを示す情報によって構成される第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
分割位置を表す分割領域情報を符号化する分割領域情報符号化過程と、
を有することを特徴とする。
【００１５】
（３）請求項３に記載の発明では、領域毎に動き補償を行う、請求項１または２に記載の動画像符号化方法であって、
予め設定された個数に分割した分割領域毎に動きベクトルを符号化する動きベクトル符号化過程を有することを特徴とする。
【００１６】
（４）請求項４に記載の発明では、参照画像を複数蓄積して領域毎に参照画像を指定する、請求項１または２に記載の動画像符号化方法であって、
予め設定された個数に分割した分割領域毎に参照画像を指定する情報を符号化する参照画像指定情報符号化過程を有することを特徴とする。
【００１７】
（５）請求項５に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じベクトルを使用することを示す情報または分割領域が異なる動きベクトルを使用することを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン動きベクトル符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする。
【００１８】
（６）請求項６に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ参照画像を使用することを示す情報または分割領域が異なる参照画像を使用することを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン参照画像符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする。
【００１９】
（７）請求項７に記載の発明では、画面を領域に分割した領域毎に復号する動画像復号方法であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする。
（８）請求項８に記載の発明では、画面を領域に分割した領域毎に復号する動画像復号方法であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する情報および分割位置を表す分割領域情報で分割位置を指定することを示す情報によって構成される第２の分割パターン情報を復号する第２分割パターン復号過程と、
分割位置を表す分割領域情報を復号する分割領域情報復号過程と、
を有することを特徴とする。
【００２０】
（９）請求項９に記載の発明では、領域毎に動き補償を行う、請求項７または８に記載の動画像復号方法であって、
予め設定された個数に分割した分割領域毎に動きベクトルを復号する動きベクトル復号過程を有することを特徴とする。
【００２１】
（１０）請求項１０に記載の発明では、参照画像を複数蓄積して領域毎に参照画像を指定する、請求項７または８に記載の動画像復号方法であって、
予め設定された個数に分割した分割領域毎に参照画像を指定する情報を復号する参照画像指定情報復号過程を有することを特徴とする。
【００２２】
（１１）請求項１１に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像復号方法であって、
分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ動きベクトルを使用することを示す情報または分割領域が異なる動きベクトルを使用することを示す情報によって構成される第１の分割パターンを復号する第１分割パターン動きベクトル復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする。
【００２３】
（１２）請求項１２に記載の発明では、画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像復号方法であって、
分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ参照画像を使用することを示す情報または分割領域が異なる参照画像を使用することを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン参照画像復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする。
【００２４】
（１３）請求項１３に記載の発明では、画面を領域に分割し領域毎に参照画像を変更し動き補償を行う動画像符号化装置であって、
画像を入力する画像入力部と、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを指定する第１分割指定部と、
第１分割指定部で更に予め設定された個数に分割されることを指定した場合に、その分割位置を示す第２の分割パターンを指定する第２分割指定部と、
第１分割指定部あるいは第２分割指定部からの分割パターン情報に従って分割される分割単位毎に参照画像も変更しながら動き探索を行う動き探索部と、
参照画像を蓄積する参照画像メモリと、
動き探索結果から領域の分割パターンを決定する分割決定部と、
動き補償を行い、予測誤差を符号化する動き補償予測誤差符号化部と、
動きベクトルを符号化する動きベクトル符号化部と、
参照画像を指定する情報を符号化する参照画像指定符号化部と、
第１の分割パターン情報を符号化する第１分割パターン符号化部と、
第２の分割パターン情報を符号化する第２分割パターン符号化部と、
を備えたことを特徴とする。
【００２５】
（１４）請求項１４に記載の発明では、請求項１３に記載の動画像符号化装置であって、
入力画像の特徴量を解析する画像解析部と、
画像解析部で得られる情報から分割位置を決定する分割領域指定部と、
分割位置を表す分割領域情報を符号化する分割領域符号化部と、
を備えた事を特徴とする。
【００２６】
（１５）請求項１５に記載の発明では、画面を領域に分割し領域毎に参照画像を変更し動き補償を行う動画像復号装置であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターン情報を復号する第１分割パターン復号部と、
第１分割パターン復号部で予め設定された個数に分割する情報を復号した場合に第２分割パターンを復号する第２分割パターン復号部と、
動きベクトルを復号する動きベクトル復号部と、
参照画像指定情報を復号する参照画像指定情報復号部と、
参照画像を蓄積する参照画像メモリと、
動き補償を行い、予測誤差を復号する動き補償予測誤差復号部と、
を備えたことを特徴とする。
【００２７】
（１６）請求項１６に記載の発明では、請求項１５に記載の動画像復号装置であって、
分割位置を表す分割領域情報を復号する分割領域復号部を備えたことを特徴とする。
【００２８】
（１７）請求項１７に記載の発明では、請求項１〜６のいずれか１項に記載の動画像符号化方法、または請求項１３、１４のいずれか１項に記載の動画像符号化装置を、コンピュータで実行可能なプログラムとして構成したことを特徴とする。
【００２９】
（１８）請求項１８に記載の発明では、請求項７〜１２のいずれか１項に記載の動画像復号方法、または請求項１５、１６のいずれか１項に記載の動画像復号装置を、コンピュータで実行可能なプログラムとして構成したことを特徴とする。
【００３０】
（１９）請求項１９に記載の発明では、請求項１〜６のいずれか１項に記載の動画像符号化方法、または請求項１３、１４のいずれか１項に記載の動画像符号化装置を、コンピュータで実行可能にしたプログラムを、コンピュータが読取可能な記録媒体に記録したことを特徴とする。
【００３１】
（２０）請求項２０に記載の発明では、請求項７〜１２のいずれか１項に記載の動画像復号方法、または請求項１５、１６のいずれか１項に記載の動画像復号装置を、コンピュータで実行可能にしたプログラムを、コンピュータが読取可能な記録媒体に記録したことを特徴とする。
【００３２】
以上までの各項において、請求項１、２等に記載の発明によれば、第１の分割パターン情報では複数に分割することを示す情報のみ符号化し、第２の分割パターン情報で分割位置を示す情報を符号化することができる。これにより、更に分割数の多い分割パターンで分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００３３】
例えば、第１の分割パターン情報では２分割することを示す情報のみ符号化し、第２の分割パターン情報で２分割する位置を示す情報を符号化する。これにより、４分割や１６分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００３４】
この場合、分割パターンは図７のようになり、第１の分割パターン情報の第２番目は２分割する事を示し、これを選択された場合に第２の分割パターン情報として２−１から２−１４までの分割パターンのうちいずれかを選択する。
【００３５】
この場合に割り当てられる符号は、第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、第１の分割パターンとして、表１における番号２の０１０を割り当て、続いて第２の分割パターンとして下記の表２における各番号の符号を割り当てられる。
【００３６】
【表２】
更に、第１の分割パターン情報で複数に分割することを示す符号を複数用意することにより、第２の分割パターン情報で示す分割位置情報の符号量を削減することができる。
【００３８】
例えば、第１の分割パターン情報で２分割することを示す符号を２つ持つ場合には分割パターンは図８のようになり、第１の分割パターン情報の第２番目または第３番目が２分割する事を示し、これらのうちいずれかを選択された場合に第２の分割パターン情報として２−１から２−７までかあるいは３−１から３−７までの分割パターンのうちいずれかを選択する。
【００３９】
この場合に割り当てられる符号は、第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、まず第１の分割パターンとして表１における番号２の０１０か番号３の０１１を割り当て、続いて第２の分割パターンとして同じく表１における各番号の符号を割り当てられる。これにより、第１の分割パターン情報で複数に分割することを示す符号を１つ用意する場合よりも、符号長の短い符号を割り当てることができる。
【００４０】
また、複数に分割する位置は図７や図８に限られず、符号化側と復号側で同じ分割パターン情報を持つものであればよく、分割位置を第２の分割パターン番号で示すことができる。
【００４１】
更に、符号化側と復号側で同じパターン情報を持たずとも、符号化側で分割単位の領域情報を符号化し復号側で同情報を復号することにより、分割位置を明示的に符号化することも可能である。特に、この場合には、直交変換するブロックの境界に一致しない位置を分割位置にすることも可能である。例えば、図１０中の灰色で示した領域を分割単位Ａとし、白色で示した領域を分割単位Ｂとすることも可能である。２分割単位の領域情報の符号化には、例えば、ＪＢＩＧ等の２値画像符号化と同様な手法や、分割位置をチェイン符号化やＦＡＸ等で使用されているＭＨ符号化で符号化することが可能である。
【００４２】
Ｎ分割単位の領域情報の符号化には、例えば、ＪＰＥＧ−ＬＳ等の多値画像符号化を用いることも可能である。境界をまたぐブロックの直交変換方法としては、分割単位毎に符号化しても、境界を関係なく画像情報を符号化してもよい。分割単位毎に符号化する方法では、例えば、次のように符号化する。
【００４３】
図１１に示すように、（ａ）のような位置に境界がある場合に分割単位Ａのフレーム内符号化する場合には、まず分割単位Ａのブロックとして（ｂ）に示すように境界画素で分割単位Ｂの位置の画像情報をパディングしてブロック内画素を作成する。そして、ブロックを直交変換する。分割単位Ａをフレーム間予測符号化する場合には、分割単位Ｂの位置の部分は予測誤差無しとして直交変換する。境界を関係なく画像情報を直交変換する方法では、図１１（ａ）にある画像情報をそのまま直交変換する。
【００４４】
このように分割単位の領域情報を符号化する方法によれば、符号化側で任意の位置に分割境界を設定することができ、より符号化効率を向上することができる。この方法は分割パターン情報を分割パターン番号で示す方法と組み合わせることが可能である。例えば、この方法を、図７における第２の分割パターン情報の２−１５や、図８における第２の分割パターン情報の２−８等に割り当てることにより、分割位置を任意に指定するかどうかを選択することができる。
【００４５】
請求項３等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに動きベクトルを符号化することができる。これにより、複数の分割単位で同じ参照画像を使用するが異なる動きベクトルを使用する場合に、分割単位毎に動きベクトルを符号化することができる。
【００４６】
請求項４等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに参照画像指定情報を符号化することができる。これにより、複数の分割単位で同じ動きベクトルを使うが異なる参照画像を使用する場合に、分割単位毎に参照画像指定情報を符号化することができる。
【００４７】
更に、参照画像指定情報の特定の値を示す場合に、その分割単位をフレーム内符号化することを示すようにする方法も可能である。例えば、参照画像指定情報として０を指定した場合にフレーム内符号化を行い、０以外の場合に参照画像指定情報によって指定される画像を参照画像にする方法も可能である。
【００４８】
請求項５等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに異なる動きベクトルを使用するか、複数の分割単位で同じ動きベクトルを使用するのかを選択することができる。これにより、複数の分割単位で同じ動きベクトルを使用するが異なる参照画像を使用する場合に、分割単位毎に動きベクトルを符号化することを避けることができる。
【００４９】
例えば、分割した分割単位ごとに異なる動きベクトルを使用する場合に第１の分割パターン情報の第３番目を選択し、複数の分割単位で同じ動きベクトルを使用する場合に第１の分割パターン情報の第２番目を選択する。この場合、分割パターンは図９のようになり、第１の分割パターン情報の第２番目と第３番目は２分割する事を示し、これを選択された場合に第２の分割パターン情報として２−１から２−１４までかあるいは３−１から３−１４までの分割パターンのうちいずれかを選択する。
【００５０】
この場合に割り当てられる符号は第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、まず第１の分割パターンとして表１における番号２の０１０か番号３の０１１を割り当て、続いて第２の分割パターンとして表２における各番号の符号を割り当てられる。
【００５１】
請求項６等に記載の発明によれば、請求項１等に記載の発明に従って分割した分割単位ごとに異なる参照画像を使用するか、複数の分割単位で同じ参照画像を使用するのかを選択することができる。これにより、複数の分割単位で同じ参照画像を使用するが異なる動きベクトルを使用する場合に、分割単位毎に参照画像指定情報を符号化することを避けることができる。
【００５２】
例えば、分割した分割単位ごとに異なる参照画像を使用する場合に第１の分割パターン情報の第３番目を選択し、複数の分割単位で同じ参照画像を使用する場合に第１の分割パターン情報の第２番目を選択する。
【００５３】
この場合、分割パターンは図９のようになり、第１の分割パターン情報の第２番目と第３番目は２分割する事を示し、これを選択された場合に第２の分割パターン情報として２−１から２−１４までかあるいは３−１から３−１４までの分割パターンのうちいずれかを選択する。
【００５４】
この場合に割り当てられる符号は、第１の分割パターンと第２の分割パターンを組み合わせたものである。例えば、まず第１の分割パターンとして表１における番号２の０１０か番号３の０１１を割り当て、続いて第２の分割パターンとして表２における各番号の符号を割り当てられる。
【００５５】
【発明の実施の形態】
本発明の実施形態を図面を参照して説明する。
【００５６】
３フレーム分の参照画像メモリを備えておき、１６×１６画素のＭＢ（マクロブロック）毎に入力画像を符号化し、ＭＢを分割した分割単位ごとに動きベクトルと参照画像を指定する方法について示す。
【００５７】
分割パターンは図９と同様であり、第１の分割パターンでは参照画像が分割単位毎に異なる場合には第３番目を選択し、ＭＢ内の全ての分割単位で同じである場合には第２番目を選択するものとする。分割パターンは入力ＭＢの符号化に必要な符号量の予測値（動き探索コストと呼ぶことにする）に基づいて決定するものとする。動き探索コストは以下の式（１）によって計算されるものとする。
【００５８】
【数１】
ここで、Ｎ（）は各符号化情報の符号量を示す。ｉはＭＢ内の分割領域を示す。ＭＢｍｏｄｅは分割パターン情報を表し、ＣＢＰは４×４画素のブロック毎にブロック内に直交変換すべき画像情報や予測誤差があるかどうかを示す情報を表し、ＭＶｉは分割領域ｉの動きベクトル情報を表し、ＲＥＦｉは分割領域ｉの参照画像を指定する情報を表す。ＭＡＤｉは動き探索位置での絶対値差分和を示し、以下の式（２）によって計算される。ｊは分割領域内ｉの画素を示し、ｆ（ｊ，ｔ）は時刻ｔにおける入力画像の画素ｊの画像情報を示す。
【００６０】
【数２】
画像符号化装置の構成を図１に示す。画像をＭＢ毎に入力する画像入力部１０１と、第１の分割パターンを指定する第１分割指定部１０４と、ＭＢを２分割する際の第２の分割パターンを指定する第２分割指定部１０５と、第１分割指定部あるいは第２分割指定部からの分割パターン情報に従って分割される分割単位毎に参照画像も変更しながら動き探索を行い、動き探索コストの最小値を求める動き探索部１０２と、動き探索と動き補償に使う参照画像を蓄積する参照画像メモリ１０７と、動き探索部１０２で得られる動き探索コストの最小値から分割パターンを決定する分割決定部１０６と、動き補償を行い予測誤差を符号化する動き補償予測誤差符号化部１０３と、動きベクトルを符号化する動きベクトル符号化部１０９と、参照画像を指定する情報を符号化する参照画像指定符号化部１０８と、第１の分割パターン情報を符号化する第１分割パターン符号化部１１０と、分割決定部が２分割すると決定した際に第２の分割パターン情報を符号化する第２分割パターン符号化部１１１とを備える。
【００６２】
このような前提のもとで画像が入力された場合の動作は次のようになる。
【００６３】
まず、画像入力部１０１から１６×１６画素の画像が入力される。動き探索部１０２は、第１分割指定部１０４によって指定される第１番目の分割パターン毎に動き探索を行い、動き探索コストの最小値を求める。続いて、第１分割指定部１０４は、第２番目と第３番目の分割パターンに対応してＭＢを２分割することを指定するため、第２分割指定部１０５が分割パターンを指定する。動き探索部１０２は、第２分割指定部１０５によって指定される各分割パターン毎に動き探索を行い、動き探索コストの最小値を求める。続いて、第１分割指定部１０４で第４番目から第７番目までの分割パターンに対して、それぞれ動き探索を行い、動き探索コストの最小値を求める。
【００６４】
分割決定部１０６は、分割パターン毎に得られた動き探索コストの最小値を比較して、値が最小となる分割パターン（最小分割パターン）を求める。最小分割パターンが、第１の分割パターン情報で第１番目または第４番目から第７番目の分割パターンである場合には、第１分割パターン符号化部１０４は第１の分割パターン情報を符号化する。このとき、第２分割パターン符号化部１０５は何も符号化しない。
【００６５】
動きベクトル符号化部１０９は、最小分割パターンとなる動きベクトルを分割単位毎に符号化し、参照画像指定符号化部は最小分割パターンとなる参照画像指定情報を符号化する。
【００６６】
動き補償予測誤差符号化部１０３は、最小分割パターンとなる参照画像を使って予測誤差を求め予測誤差を符号化する。最小分割パターンが、第１の分割パターン情報で２分割（第２番目または第３番目の分割パターン）である場合には、第１分割パターン符号化部１０４は第１の分割パターン情報を符号化し、第２分割パターン符号化部１０５は第２の分割パターン情報を符号化する。このとき、最小分割パターンで参照画像指定情報が２分割単位で異なる場合には第１の分割パターン情報として第３番目を、参照画像指定情報が２分割単位で同じ場合には第１の分割パターン情報として第２番目を符号化する。
【００６７】
動きベクトル符号化部１０９は、動きベクトルを分割単位毎に符号化する。
【００６８】
参照画像指定符号化部１０８は、第１の分割パターン情報で第２番目が最小分割パターンである場合にはＭＢ毎の参照画像指定情報を符号化し、第１の分割パターン情報で第３番目が最小分割パターンである場合には分割単位毎の参照画像指定情報を符号化する。
【００６９】
動き補償予測誤差符号化部１０３は、最小分割パターンとなる参照画像を使って予測誤差を求め予測誤差を符号化する。
【００７０】
続いて、この画像符号化装置で出力される符号化データを復号する画像復号装置の動作を示す。
【００７１】
画像復号装置の構成を図２に示す。ＭＢの第１分割パターン情報を復号する第１分割パターン復号部１１２と、第２分割パターンを復号する第２分割パターン復号部１１３と、第１分割パターン情報または第２分割パターン情報に従って分割単位毎の動きベクトルを復号する動きベクトル復号部１１４と、第１分割パターン情報または第２分割パターン情報に従って分割単位毎の参照画像指定情報を復号する参照画像指定情報復号部１１５と、動き補償に使う参照画像を蓄積する参照画像メモリ１０７と、動き補償を行い予測誤差を復号する動き補償予測誤差復号部１１６とを備える。
【００７２】
このような前提のもとで符号化データは次のように復号される。
【００７３】
まず、第１分割パターン復号部１１２は第１の分割パターン情報を復号する。第１の分割パターン情報が図９において第１番目または第４番目から第７番目を示す場合には、第１の分割パターンで示される分割単位数だけ、動きベクトルと参照画像指定情報を復号する。そして、動き補償を行い、予測誤差を復号して復号画像を得る。
【００７４】
第１の分割パターン情報が図９において第２番目を示す場合には、続いて第２の分割パターン情報を復号する。そして、第２の分割パターンの分割単位数である数２だけ、動きベクトルを復号する。
【００７５】
第１の分割パターン情報が図９における第２番目を示す場合には参照画像指定情報がＭＢ毎に１つのみであるため、参照画像指定情報は１つだけ復号する。そして、動き補償を行い予測誤差を復号して復号画像を得る。
【００７６】
第１の分割パターン情報が図９において第３番目を示す場合には、続いて第２の分割パターン情報を復号する。そして、第２の分割パターンの分割単位数である数２だけ、動きベクトルと参照画像指定情報を復号する。そして動き補償を行い、予測誤差を復号して復号画像を得る。
【００７７】
以上のように、本実施形態によれば、第１の分割パターン情報では複数に分割することを示す情報のみ符号化し、第２の分割パターン情報で分割位置を示す情報を符号化することができる。これにより、更に分割数の多い分割パターンで分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００７８】
なお、本実施形態では、２分割する際に２分割単位で参照画像が同じ場合と異なる場合とで異なる第１の分割パターン情報を与えたが、第２番目で動きベクトルが同じ場合を示し、第３番目で動きベクトルが異なる場合を示すことも可能である。この場合には第２番目と第３番目の両方で、分割単位毎に参照画像指定情報を符号化する必要がある。
【００７９】
また、参照画像指定番号の特定の番号をフレーム内符号化の指定に割り当てることにより、分割単位がフレーム内符号化を行うことを指定することも可能である。この場合、動き探索部１０２では、動き探索コストとしてフレーム内符号化を行う場合のコストを算出する。このコストは例えば式（１）と（３）によって計算される。
【００８０】
【数３】
また、分割パターン情報を分割パターン番号によって示したが、分割位置を２値画像符号化により符号化する方法も可能である。例えば、図９における、第２の分割パターン情報の２−１５または３−１５に、分割位置を２値画像符号化データによって示す事を割り当てることも可能である。
【００８２】
この場合の画像符号化装置の構成例は図３のようになる。図１の構成に追加して、入力画像の特徴量を解析する画像解析部１１７と、画像解析部で得られる情報から分割位置を決定する分割領域指定部１１８と、分割領域情報をＪＢＩＧにより符号化する分割領域符号化部１０６とを備える。
【００８３】
まず、画像解析部１１７は入力画像のエッジを検出し、分割領域指定部１１８はエッジに沿って画像を２分割する分割位置を決定する。その後、上記の画像符号化装置の動作例と同様に動き探索部１０２が各分割パターンに対する動き探索コストの最小値を求める。第２の分割パターン２−１５と３−１５の際に使用される動き探索コストは式（４）で計算される。ＭＡＤｉは、フレーム間予測符号化を用いる場合には式（２）を使い、フレーム内予測符号化を用いる場合には式（３）を使う。Ｎ（Ｂｉ）は分割領域ｉの領域情報符号量である。
【００８４】
【数４】
動き探索コストの最小値を求めた結果、第２の分割パターン２−１５または３−１５が最小となった場合には、第１の分割パターン情報と第２の分割パターン情報の他に、分割領域情報もＪＢＩＧにより符号化して出力する。
【００８６】
ここで出来る符号化データを復号する画像復号装置の構成例を図４に示す。図２の構成に追加して、分割領域情報を復号する分割領域復号部１２０を備える。第２分割パターン復号部１１３が２−１５または３−１５を復号すると、分割領域復号部１２０は分割領域情報をＪＢＩＧを使って復号して、分割位置を求める。
【００８７】
なお、実施形態では、参照画像を複数フレーム分備えたが、１フレーム分備える構成にすることも可能である。この場合には画像符号化装置と画像復号装置に参照画像メモリを備えない。また、第１の分割パターンは図７または図８となる。
【００８８】
また、本実施形態では２分割する場合の実施形態を示したが、本方式はＮ分割（Ｎは整数）する方法に適用することも可能である。この場合には第２の分割パターンとして、Ｎ分割する分割パターンを定義する。更に、２分割する分割パターンも図９に記載のパターン以外の分割パターンも定義することが可能である。
【００８９】
また、本実施形態では、分割位置を画像符号化装置内で決定する場合に、マクロブロック毎に分割領域情報を符号化したが、分割領域情報はフレーム毎に符号化しても良い。例えば、ＭＰＥＧ−４における任意形状画像符号化方式のように、分割領域情報が画像符号化装置内で決定されるのではなく、予め指定される場合にはフレーム毎に分割領域情報を符号化しておき、その分割領域情報に従って各マクロブロックを２分割する。
【００９０】
また、動き補償において、平行移動だけではなく、回転や拡大を行うことも好適である。例えば、文献「石川ら、“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化、”信学技報IE2001-76,pp.15-22,2001」では、回転運動に対して回転角度を示す情報によって予測画像を作成して回転角度情報を符号化する方法や、拡大運動に対して拡大率を示す情報によって予測画像を作成して拡大率情報を符号化する方法を用いている。
【００９１】
また、画像情報と予測誤差の符号化には、ＤＣＴやアダマール変換やＷａｖｅｌｅｔ変換等の直交変換や、ベクトル量子化を用いても良い。さらに、複数フレーム分の画像情報をまとめて直交変換しても良い。例えば、文献「石川ら、“マルチパラメータ動き補償を用いた動画像の３Ｄ／２Ｄハイブリッド符号化、”信学技報IE2001-76,pp.15-22,2001」のように、複数フレーム分の画像情報をＤＣＴしたり、文献「J.-R.Ohm,"Three-dimentional subband coding with motion compensation,"IEEE Trans.,Image Process.,vol.3,pp.559-571,1994」のように複数フレーム分の画像情報をＷａｖｅｌｅｔ変換しても良い。
【００９２】
なお、本発明は、図１〜図４に示した方法又は装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいはこれら処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【００９３】
【発明の効果】
本発明によれば、領域毎に画像を符号化するときに、第１の分割パターン情報では領域を更に複数に分割することを示す情報のみ符号化し、第２の分割パターン情報で分割位置を示す情報を符号化することができる。
【００９４】
更に、分割数の多い分割パターンで分割する場合の、第１の分割パターン情報の符号量を低減することができる。
【００９５】
従って、符号量の増加を抑えつつ、画面内に前景と背景が有る場合に前景と背景の境界部分で２分割することが可能となり、より予測誤差を低減することが可能となる。
【図面の簡単な説明】
【図１】実施形態における画像符号化装置の構成１。
【図２】実施形態における画像復号装置の構成１。
【図３】実施形態における画像符号化装置の構成２。
【図４】実施形態における画像復号装置の構成２。
【図５】分割パターン例１。
【図６】分割パターン例２。
【図７】分割パターン例３。
【図８】分割パターン例４。
【図９】分割パターン例５。
【図１０】分割パターン例６。
【図１１】ブロック内画素生成の例。
【符号の説明】
１０１…画像入力部
１０２…動き探索部
１０３…動き補償予測誤差符号化部
１０４…第１分割指定部
１０５…第２分割指定部
１０６…分割決定部
１０７…参照画像メモリ
１０８…参照画像指定符号化部
１０９…動きベクトル符号化部
１１０…第１分割パターン符号化部
１１１…第２分割パターン符号化部
１１２…第１分割パターン復号部
１１３…第２分割パターン復号部
１１４…動きベクトル復号部
１１５…参照画像指定復号部
１１６…動き補償予測誤差復号部
１１７…画像解析部
１１８…分割領域指定部
１１９…分割領域符号化部
１２０…分割領域復号部
Claims (20)
- 画面を領域に分割し領域毎に符号化する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする動画像符号化方法。 - 画面を領域に分割し領域毎に符号化する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する情報および分割位置を表す分割領域情報で分割位置を指定することを示す情報によって構成される第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
分割位置を表す分割領域情報を符号化する分割領域情報符号化過程と、
を有することを特徴とする動画像符号化方法。 - 領域毎に動き補償を行う、請求項１または２に記載の動画像符号化方法であって、
予め設定された個数に分割した分割領域毎に動きベクトルを符号化する動きベクトル符号化過程を有することを特徴とする動画像符号化方法。 - 参照画像を複数蓄積して領域毎に参照画像を指定する、請求項１または２に記載の動画像符号化方法であって、
予め設定された個数に分割した分割領域毎に参照画像を指定する情報を符号化する参照画像指定情報符号化過程を有することを特徴とする動画像符号化方法。 - 画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じベクトルを使用することを示す情報または分割領域が異なる動きベクトルを使用することを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン動きベクトル符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする動画像符号化方法。 - 画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像符号化方法であって、
分割された領域の動き探索結果から決定された分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ参照画像を使用することを示す情報または分割領域が異なる参照画像を使用することを示す情報によって構成される第１の分割パターンを示す情報を符号化する第１分割パターン参照画像符号化過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を符号化する第２分割パターン符号化過程と、
を有することを特徴とする動画像符号化方法。 - 画面を領域に分割した領域毎に復号する動画像復号方法であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする動画像復号方法。 - 画面を領域に分割した領域毎に復号する動画像復号方法であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する情報および分割位置を表す分割領域情報で分割位置を指定することを示す情報によって構成される第２の分割パターン情報を復号する第２分割パターン復号過程と、
分割位置を表す分割領域情報を復号する分割領域情報復号過程と、
を有することを特徴とする動画像復号方法。 - 領域毎に動き補償を行う、請求項７または８に記載の動画像復号方法であって、
予め設定された個数に分割した分割領域毎に動きベクトルを復号する動きベクトル復号過程を有することを特徴とする動画像復号方法。 - 参照画像を複数蓄積して領域毎に参照画像を指定する、請求項７または８に記載の動画像復号方法であって、
予め設定された個数に分割した分割領域毎に参照画像を指定する情報を復号する参照画像指定情報復号過程を有することを特徴とする動画像復号方法。 - 画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像復号方法であって、
分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ動きベクトルを使用することを示す情報または分割領域が異なる動きベクトルを使用することを示す情報によって構成される第１の分割パターンを復号する第１分割パターン動きベクトル復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする動画像復号方法。 - 画面を領域に分割し、領域毎に動き補償を行い、領域毎に参照画像を指定する動画像復号方法であって、
分割パターン情報および領域を予め設定された個数に分割し、かつ分割領域が同じ参照画像を使用することを示す情報または分割領域が異なる参照画像を使用することを示す情報によって構成される第１の分割パターンを示す情報を復号する第１分割パターン参照画像復号過程と、
予め設定された個数に分割する場合に予め設定した分割位置を指定する第２の分割パターン情報を復号する第２分割パターン復号過程と、
を有することを特徴とする動画像復号方法。 - 画面を領域に分割し領域毎に参照画像を変更し動き補償を行う動画像符号化装置であって、
画像を入力する画像入力部と、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターンを指定する第１分割指定部と、
第１分割指定部で更に予め設定された個数に分割されることを指定した場合に、その分割位置を示す第２の分割パターンを指定する第２分割指定部と、
第１分割指定部あるいは第２分割指定部からの分割パターン情報に従って分割される分割単位毎に参照画像も変更しながら動き探索を行う動き探索部と、
参照画像を蓄積する参照画像メモリと、
動き探索結果から領域の分割パターンを決定する分割決定部と、
動き補償を行い、予測誤差を符号化する動き補償予測誤差符号化部と、
動きベクトルを符号化する動きベクトル符号化部と、
参照画像を指定する情報を符号化する参照画像指定符号化部と、
第１の分割パターン情報を符号化する第１分割パターン符号化部と、
第２の分割パターン情報を符号化する第２分割パターン符号化部と、
を備えたことを特徴とする動画像符号化装置。 - 請求項１３に記載の動画像符号化装置であって、
入力画像の特徴量を解析する画像解析部と、
画像解析部で得られる情報から分割位置を決定する分割領域指定部と、
分割位置を表す分割領域情報を符号化する分割領域符号化部と、
を備えた事を特徴とする動画像符号化装置。 - 画面を領域に分割し領域毎に参照画像を変更し動き補償を行う動画像復号装置であって、
分割パターン情報および予め設定された個数に分割するかどうかを示す情報によって構成される第１の分割パターン情報を復号する第１分割パターン復号部と、
第１分割パターン復号部で予め設定された個数に分割する情報を復号した場合に第２分割パターンを復号する第２分割パターン復号部と、
動きベクトルを復号する動きベクトル復号部と、
参照画像指定情報を復号する参照画像指定情報復号部と、
参照画像を蓄積する参照画像メモリと、
動き補償を行い、予測誤差を復号する動き補償予測誤差復号部と、
を備えたことを特徴とする動画像復号装置。 - 請求項１５に記載の動画像復号装置であって、
分割位置を表す分割領域情報を復号する分割領域復号部を備えたことを特徴とする動画像復号装置。 - 請求項１〜６のいずれか１項に記載の動画像符号化方法、または請求項１３、１４のいずれか１項に記載の動画像符号化装置を、コンピュータで実行可能なプログラムとして構成したことを特徴とする動画像符号化プログラム。
- 請求項７〜１２のいずれか１項に記載の動画像復号方法、または請求項１５、１６のいずれか１項に記載の動画像復号装置を、コンピュータで実行可能なプログラムとして構成したことを特徴とする動画像復号プログラム。
- 請求項１〜６のいずれか１項に記載の動画像符号化方法、または請求項１３、１４のいずれか１項に記載の動画像符号化装置を、コンピュータで実行可能にしたプログラムを、コンピュータが読取可能な記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
- 請求項７〜１２のいずれか１項に記載の動画像復号方法、または請求項１５、１６のいずれか１項に記載の動画像復号装置を、コンピュータで実行可能にしたプログラムを、コンピュータが読取可能な記録媒体に記録したことを特徴とする動画像復号プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002100746A JP4025570B2 (ja) | 2002-04-03 | 2002-04-03 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002100746A JP4025570B2 (ja) | 2002-04-03 | 2002-04-03 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003299100A JP2003299100A (ja) | 2003-10-17 |
| JP2003299100A5 JP2003299100A5 (ja) | 2007-07-12 |
| JP4025570B2 true JP4025570B2 (ja) | 2007-12-19 |
Family
ID=29388485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002100746A Expired - Fee Related JP4025570B2 (ja) | 2002-04-03 | 2002-04-03 | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4025570B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| MY191783A (en) | 2010-04-13 | 2022-07-15 | Samsung Electronics Co Ltd | Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units |
| JP5561611B2 (ja) * | 2010-10-18 | 2014-07-30 | 日本電信電話株式会社 | 画像符号化方法，画像符号化装置および画像符号化プログラム |
| CN107071439B (zh) | 2011-03-10 | 2021-12-28 | 夏普株式会社 | 图像解码装置及方法、以及记录介质 |
| JP5729825B2 (ja) * | 2011-09-26 | 2015-06-03 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
| JP5711636B2 (ja) * | 2011-09-26 | 2015-05-07 | 日本電信電話株式会社 | 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム |
| KR102012906B1 (ko) | 2014-11-14 | 2019-08-21 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 디지털 이미지의 블록을 처리하는 시스템 및 방법 |
| CN107211131B (zh) | 2014-11-14 | 2020-07-21 | 华为技术有限公司 | 对数字图像块进行基于掩码的处理的系统和方法 |
| KR101978194B1 (ko) | 2014-11-14 | 2019-05-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 디지털 이미지를 처리하는 방법 및 시스템 |
-
2002
- 2002-04-03 JP JP2002100746A patent/JP4025570B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003299100A (ja) | 2003-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7055230B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体 | |
| JP6605063B2 (ja) | 動画像復号装置、動画像復号方法、動画像符号化装置、および、動画像符号化方法 | |
| JP6147368B2 (ja) | 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 | |
| JP6082073B2 (ja) | 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム | |
| WO2011125256A1 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP5488612B2 (ja) | 動画像符号化装置および動画像復号装置 | |
| CN111213379A (zh) | 用于将图像编码/解码的方法、装置和存储比特流的记录介质 | |
| JPWO2014199634A1 (ja) | 画像符号化装置及び画像符号化方法 | |
| KR20070026914A (ko) | 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체 | |
| US20170289567A1 (en) | Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor | |
| JP2007110568A (ja) | 画像符号化装置 | |
| JP4025570B2 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体 | |
| JP2013131786A (ja) | 動画像符号化装置および動画像復号装置 | |
| JP6373008B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JP6362370B2 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
| JP2011223319A (ja) | 動画像符号化装置および動画像復号装置 | |
| JP2015027097A (ja) | 動画像復号方法 | |
| JP2014204311A (ja) | カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法 | |
| JP2014090327A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP2014090326A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP2015080002A (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 | |
| JP5533885B2 (ja) | 動画像符号化装置および動画像復号装置 | |
| JP2020074582A (ja) | 動画像符号化方法及び動画像復号化方法 | |
| JP2018166329A (ja) | 画像符号化装置および画像復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071005 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101012 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111012 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121012 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131012 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |