JP4643736B2 - 映像符号化装置、映像符号化方法、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、２つのフィールドで１つのフレームが構成される映像データを規定の大きさのマクロブロックに分割して圧縮する映像符号化装置及びその方法と、その映像符号化方法の実現に用いられる映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、符号化効率を低下させずに計算量及びハード規模の削減を実現する映像符号化装置及びその方法と、その映像符号化方法の実現に用いられる映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

２つのフィールドで１つのフレームが構成される映像データ（インタレース構造の映像データ）をマクロブロックに分割して符号化する場合、フレームマクロブロックモードかフィールドマクロブロックモードのどちらかのモードを選択して符号化を行うという方式が用いられている。

この符号化方式では、図１５に示すように、１つのフレームから切り出される水平Ｍ画素で垂直２Ｎ画素の大きさを持つ処理対象の領域の映像データを符号化対象として、その映像データを符号化する場合に、フレームマクロブロックモードで符号化を行う場合には、図１６に示すように、その領域を水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することで２つのフレームマクロブロックを生成して、それを使って符号化を行い、一方、フィールドマクロブロックモードで符号化を行う場合には、図１７及び図１８に示すように、その領域を水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することで２つのフィールドマクロブロックを生成して、それを使って符号化を行うようにしている。

従来技術では、この符号化方式に従って、フレームマクロブロックモードかフィールドマクロブロックモードのどちらかのモードを選択して符号化を行う場合には、フレームマクロブロックモード及びフィールドマクロブロックモードの双方で符号化を行って、その発生ビット量を比較して、最終的にどちらのモードで符号化を行うのかを決定するようにしている。また、符号化過程を二重にして、第１過程の結果からモードを決定するという技術も提案されている。

さらに、本発明に関連する技術として、下記に示す特許文献１に記載される発明のような技術も提案されている。

特開平６−２３７４４６号公報

しかしながら、従来技術のように、フレームマクロブロックモードかフィールドマクロブロックモードのどちらかのモードを選択して符号化を行う場合にあって、フレームマクロブロックモード及びフィールドマクロブロックモードの双方で符号化を行うことで効率の良いモードを選択するようにしていると、符号化処理を複数回行う必要があることから、ソフトウェアで実装する場合には、ＣＰＵ負荷が増大するとともに、処理時間が増大するという問題があり、また、ハードウェアで実装する場合には、チップ面積が増大するとともに、消費電力が増大するという問題がある。

本発明はかかる事情に鑑みてなされたものであって、フレームマクロブロックモード及びフィールドマクロブロックモードの双方で符号化を行うことなくマクロブロックモードを適応的に選択できるようにすることで、符号化効率を低下させずに計算量及びハード規模の削減を実現する新たな映像符号化技術の提供を目的とする。

上記の目的を達成するために、本発明の映像符号化装置は、２つのフィールドで１つのフレームが構成される映像データ（インタレース構造の映像データ）を規定の大きさのマクロブロックに分割して圧縮するという構成を採るときにあって、（ｉ）水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することでフレームマクロブロックを生成して、そのフレームマクロブロックを使って動き探索を行うことで符号化コストを算出する第１の算出手段と、（ii）水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することでフィールドマクロブロックを生成して、そのフィールドマクロブロックを使って動き探索を行うことで符号化コストを算出する第２の算出手段と、(iii) 第１の算出手段の算出した符号化コストと、第２の算出手段の算出した符号化コストとの差分絶対値を算出する第３の算出手段と、(iｖ）第３の算出手段の算出した差分絶対値が所定の閾値よりも小さい場合には、上記処理対象の領域に隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データをフレームマクロブロックを使って符号化するのか、フィールドマクロブロックを使って符号化するのかを決定し、閾値よりも大きい場合には、第１及び第２の算出手段の算出した符号化コストに基づいて、その決定を行う決定手段とを備えるように構成する。

以上の各処理手段が動作することで実現される本発明の映像符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の映像符号化装置では、第１の算出手段がフレームマクロブロックを使って動き探索を行うことで符号化コストを算出し、第２の算出手段がフィールドマクロブロックを使って動き探索を行うことで符号化コストを算出すると、第３の算出手段は、その２つの符号化コストの差分絶対値を算出する。

この２つの符号化コストの差分絶対値の算出結果を受けて、決定手段は、その差分絶対値が所定の閾値よりも小さい場合には、隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データをフレームマクロブロックを使って符号化するのか、フィールドマクロブロックを使って符号化するのかを決定し、一方、その閾値よりも大きい場合には、第１及び第２の算出手段の算出した２つの符号化コストに基づいて、符号化コストが小さなものとなるマクロブロックを使って符号化することを決定する。

ある１つのフレームの映像データについて符号化を行う場合、フレームマクロブロックを使う符号化モードとフィールドマクロブロックを使う符号化モードとが混在すると、各マクロブロックについて、どちらの符号化モードで符号化を行ったのかということを示す情報を付加する必要があり、これによる符号量の増大が問題となる。

そこで、本発明の映像符号化装置は、動き探索までの符号化を行って、２つの符号化コストに大きな差がない場合には、どちらの符号化モードで符号化を行ったのかということを示す情報の符号量の削減を図るべく、隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データをフレームマクロブロックを使って符号化するのか、フィールドマクロブロックを使って符号化するのかを決定し、一方、２つの符号化コストに大きな差がある場合には、本来の原則に従って、符号化コストが小さなものとなるマクロブロックを使って符号化することを決定するように処理するのである。

本発明によれば、２つのフィールドで１つのフレームが構成される映像データをマクロブロックに分割して符号化するときにあって、動き探索までの符号化を行うことで、フレームマクロブロックモードとフィールドマクロブロックモードの内のどちらのマクロブロックモードを使って符号化を行うのかを適応的に選択できるようになり、これにより、符号化効率を低下させずに計算量及びハード規模の削減を実現できるようになる。

これから、本発明によれば、ソフトウェアで実装する場合には、ＣＰＵ負荷を削減できるようになるとともに、処理時間を削減できるようになる。そして、ハードウェアで実装する場合には、チップ面積を削減できるようになるとともに、消費電力を削減できるようになる。

本発明に関連する発明で構成される映像符号化装置の一例である。 本発明に関連する発明で構成される映像符号化装置の実行する処理フローの一例である。 本発明に関連する発明で構成される映像符号化装置の実行する処理の説明図である。 本発明に関連する発明で構成される映像符号化装置の実行する処理フローの他の一例である。 本発明に関連する発明で構成される映像符号化装置の実行する処理の説明図である。 本発明に関連する発明で構成される映像符号化装置の実行する処理フローの他の一例である。 本発明に関連する発明で構成される映像符号化装置の実行する処理の説明図である。 本発明に関連する発明で構成される映像符号化装置の実行する処理フローの他の一例である。 本発明に関連する発明で構成される映像符号化装置の実行する処理の説明図である。 本発明に関連する発明の有効性を検証するために行ったシミュレーションの結果の説明図である。 本発明に関連する発明の有効性を検証するために行ったシミュレーションの結果の説明図である。 本発明に関連する発明の有効性を検証するために行ったシミュレーションの結果の説明図である。 本発明の映像符号化装置の一実施形態例である。 本発明の映像符号化装置の実行する処理フローの一実施形態例である。 本発明の適用される符号化方式の説明図である。 フレームマクロブロックモードによる符号化の説明図である。 フィールドマクロブロックモードによる符号化の説明図である。 フィールドマクロブロックモードによる符号化の説明図である。

以下、実施の形態に従って本発明を詳細に説明する。

本発明の説明に入る前に、本発明に関連する発明で構成される映像符号化装置について説明する。

図１に、本発明に関連する発明で構成される映像符号化装置１の一例を図示する。

この図に示すように、本発明に関連する発明で構成される映像符号化装置１は、１フレーム分の映像データを格納するフレームメモリ１０と、フレームマクロブロック生成手段１１と、フレームマクロブロック映像データ格納手段１２と、第１の算出手段１３と、第１の補正値算出手段１４と、第１の加算手段１５と、フィールドマクロブロック生成手段１６と、フィールドマクロブロック映像データ格納手段１７と、第２の算出手段１８と、第２の補正値算出手段１９と、第２の加算手段２０と、符号化モード決定手段２１と、第１の符号化手段２２と、第２の符号化手段２３とを備える。

このフレームマクロブロック生成手段１１は、フレームメモリ１０に格納される映像データから切り出される水平Ｍ画素で垂直２Ｎ画素の大きさを持つ処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することでフレームマクロブロックを生成する。フレームマクロブロック映像データ格納手段１２は、フレームマクロブロック生成手段１１の生成したフレームマクロブロックの映像データを格納する。

第１の算出手段１３は、フレームマクロブロック生成手段１１の生成したフレームマクロブロックの映像データに基づいて、その映像データの動きの大きさを示す値を算出する。第１の補正値算出手段１４は、フレームマクロブロック生成手段１１の生成したフレームマクロブロックの映像データから導出される補正値を算出する。第１の加算手段１５は、第１の算出手段１３の算出した値に第１の補正値算出手段１４の算出した補正値を加算する。

フィールドマクロブロック生成手段１６は、フレームメモリ１０に格納される映像データから切り出される水平Ｍ画素で垂直２Ｎ画素の大きさを持つ処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することでフィールドマクロブロックを生成する。フィールドマクロブロック映像データ格納手段１７は、フィールドマクロブロック生成手段１６の生成したフィールドマクロブロックの映像データを格納する。

第２の算出手段１８は、フィールドマクロブロック生成手段１６の生成したフィールドマクロブロックの映像データに基づいて、第１の算出手段１３の算出した値の比較値となる値を算出する。第２の補正値算出手段１９は、フィールドマクロブロック生成手段１６の生成したフィールドマクロブロックの映像データから導出される補正値を算出する。第２の加算手段２０は、第２の算出手段１８の算出した値に第２の補正値算出手段１９の算出した補正値を加算する。

符号化モード決定手段２１は、第１の加算手段１５の算出した値と第２の加算手段２０の算出値とを比較することで、フレームマクロブロックモードで符号化を行うのか、フィールドマクロブロックモードで符号化を行うのかを決定する。第１の符号化手段２２は、フレームマクロブロックモードに従って処理対象の領域の映像データを符号化する。第２の符号化手段２３は、フィールドマクロブロックモードに従って処理対象の領域の映像データを符号化する。

図２に、このように構成される本発明に関連する発明で構成される映像符号化装置１の実行する処理フローの一例を図示する。

次に、この処理フローに従って、本発明に関連する発明で構成される映像符号化装置１の実行する処理について詳細に説明する。以下、説明の便宜上、上述したＭ，Ｎについて、Ｍ＝Ｎ＝１６を想定している。

本発明に関連する発明で構成される映像符号化装置１は、フレームメモリ１０に格納される映像データから水平Ｍ画素で垂直２Ｎ画素の大きさを持つ符号化対象となる処理対象の領域を選択すると、図２の処理フローに示すように、先ず最初に、ステップ１００で、処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することで２つのフレームマクロブロックを生成する。

続いて、ステップ１０１で、その生成した２つのフレームマクロブロックの映像データについて、フレームマクロブロックの（ｍ，ｎ）位置の画素値をｉ（ｍ，ｎ）で表し、ａの絶対値をＡＢＳ〔ａ〕で表すならば、
Ｓ_frm (1) ＝Σ_m Σ_n ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
Ｓ_frm (2) ＝Σ_m Σ_n ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
Σ_m ：ｍ＝１〜１６についての総和
Σ_n ：ｎ＝１〜１５についての総和
という算出式に従って、垂直方向隣接画素間の差分値の絶対値和Ｓ_frm を算出する。

ここで、Ｓ_frm (1) は一方のフレームマクロブロックについての垂直方向隣接画素間の差分値の絶対値和を示し、Ｓ_frm (2) はもう一方のフレームマクロブロックについての垂直方向隣接画素間の差分値の絶対値和を示している。

続いて、ステップ１０２で、Ｓ_frm (1) の算出元となった差分絶対値
ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
の最大値ＭＡＸ_frm (1) を特定して、その符号を反転させることで補正値Ｃ_frm (1)
Ｃ_frm (1) ＝−ＭＡＸ_frm (1)
を算出するとともに、Ｓ_frm (2) の算出元となった差分絶対値
ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
の最大値ＭＡＸ_frm (2) を特定して、その符号を反転させることで補正値Ｃ_frm (2)
Ｃ_frm (2) ＝−ＭＡＸ_frm (2)
を算出する。

続いて、ステップ１０３で、
Ｓ' _frm (1) ＝Ｓ_frm (1) ＋Ｃ_frm (1)
Ｓ' _frm (2) ＝Ｓ_frm (2) ＋Ｃ_frm (2)
を算出して、その合計値
Ｓ' _frm ＝Ｓ' _frm (1) ＋Ｓ' _frm (2)
を求めることで、フレームマクロブロックについての垂直方向隣接画素間の差分値の絶対値和の最終的な値Ｓ' _frm を算出する。

ここで、Ｓ_frm (1) をＣ_frm (1) で補正し、Ｓ_frm (2) をＣ_frm (2) で補正したのは、ある１つの画素の持つ差分絶対値の最大値が判定結果に支配的な影響を与えるのを避けるためである。

続いて、ステップ１０４で、処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することで２つのフィールドマクロブロックを生成する。

続いて、ステップ１０５で、その生成した２つのフィールドマクロブロックの映像データについて、フィールドマクロブロックの（ｍ，ｎ）位置の画素値をｉ（ｍ，ｎ）で表し、ａの絶対値をＡＢＳ〔ａ〕で表すならば、
Ｓ_fld (1) ＝Σ_m Σ_n ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
Ｓ_fld (2) ＝Σ_m Σ_n ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
Σ_m ：ｍ＝１〜１６についての総和
Σ_n ：ｎ＝１〜１５についての総和
という算出式に従って、垂直方向隣接画素間の差分値の絶対値和Ｓ_fld を算出する。

続いて、ステップ１０６で、Ｓ_fld (1) の算出元となった差分絶対値
ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
の最大値ＭＡＸ_fld (1) を特定して、その符号を反転させることで補正値Ｃ_fld (1)
Ｃ_fld (1) ＝−ＭＡＸ_fld (1)
を算出するとともに、Ｓ_fld (2) の算出元となった差分絶対値
ＡＢＳ〔ｉ（ｍ，ｎ）−ｉ（ｍ，ｎ＋１）〕
の最大値ＭＡＸ_fld (2) を特定して、その符号を反転させることで補正値Ｃ_fld (2)
Ｃ_fld (2) ＝−ＭＡＸ_fld (2)
を算出する。

続いて、ステップ１０７で、
Ｓ' _fld (1) ＝Ｓ_fld (1) ＋Ｃ_fld (1)
Ｓ' _fld (2) ＝Ｓ_fld (2) ＋Ｃ_fld (2)
を算出して、その合計値
Ｓ' _fld ＝Ｓ' _fld (1) ＋Ｓ' _fld (2)
を求めることで、フィールドマクロブロックについての垂直方向隣接画素間の差分値の絶対値和の最終的な値Ｓ' _fld を算出する。

ここで、Ｓ_fld (1) をＣ_fld (1) で補正し、Ｓ_fld (2) をＣ_fld (2) で補正したのは、ある１つの画素の持つ差分絶対値の最大値が判定結果に支配的な影響を与えるのを避けるためである。

続いて、ステップ１０８で、ステップ１０３で算出したＳ' _frm と、ステップ１０７で算出したＳ' _fld とを比較して、ステップ１０３で算出したＳ' _frm の方が小さいことを判断するときには、ステップ１０９に進んで、フレームマクロブロックモードで符号化することを決定して、処理対象の領域について符号化を行う。

一方、ステップ１０８で、ステップ１０７で算出したＳ' _fld の方が小さいことを判断するときには、ステップ１１０に進んで、フィールドマクロブロックモードで符号化することを決定して、処理対象の領域について符号化を行う。

このようにして、本発明に関連する発明で構成される映像符号化装置１は、図２の処理フローを実行する場合には、図３に示すように、フレームマクロブロックの映像データについて垂直方向隣接画素間の差分値の絶対値和Ｓ_frm を算出するとともに、フィールドマクロブロックの映像データについて垂直方向隣接画素間の差分値の絶対値和Ｓ_fld （Ｓ_frm の比較基準値となるもの）を算出し、その２つの値を補正してから比較して、フレームマクロブロックの映像データから算出される垂直方向隣接画素間の差分値の絶対値和の方が小さいことで、映像データの動きが小さなものであることを判断する場合には、フレームマクロブロックを使って符号化し、一方、フィールドマクロブロックの映像データから算出される垂直方向隣接画素間の差分値の絶対値和の方が小さいことで、映像データの動きが大きなものであることを判断する場合には、フィールドマクロブロックを使って符号化するように処理するのである。

ここで、図２の処理フローでは、
Ｓ' _frm ＝Ｓ' _frm (1) ＋Ｓ' _frm (2)
Ｓ' _fld ＝Ｓ' _fld (1) ＋Ｓ' _fld (2)
という算出式に従って、Ｓ' _frm , Ｓ' _fld を算出するようにしているが、
Ｓ' _frm ＝（Ｓ' _frm (1) ＋Ｓ' _frm (2) ）／２
Ｓ' _fld ＝（Ｓ' _fld (1) ＋Ｓ' _fld (2) ）／２
という算出式に従って、Ｓ' _frm , Ｓ' _fld を算出するようにしてもよい。

また、図２の処理フローでは、最大の差分絶対値を持つ１つの画素の影響を取り除くような形で補正値Ｃ_frm , Ｃ_fld を算出するようにしているが、大きな差分絶対値を持つ上位複数画素の影響を取り除くような形で補正値Ｃ_frm , Ｃ_fld を算出するようにしてもよい。

図４に、本発明に関連する発明で構成される映像符号化装置１の実行する処理フローの他の一例を図示する。

この処理フローと図２に示した処理フローとの違いは、本発明に関連する発明で構成される映像符号化装置１は、この処理フローを実行する場合には、
Ｖ_frm ＝Σ_m Σ_n 〔ｉ（ｍ，ｎ）−Ａ_ave (frm) 〕² ／（ＭＮ−１）
Ｖ_fld ＝Σ_m Σ_n 〔ｉ（ｍ，ｎ）−Ａ_ave (fld) 〕² ／（ＭＮ−１）
Ａ_ave (frm) ：フレームマクロブロック内画素の平均値
Ａ_ave (fld) ：フィールドマクロブロック内画素の平均値
という算出式に従って分散値Ｖ_frm , Ｖ_fld を算出して、それを使って、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定するように処理することにある。

ここで、この処理フローを実行する場合には、Ｓ_frm の算出元となった差分２乗値
〔ｉ（ｍ，ｎ）−Ａ_ave (frm) 〕²
の最大値ＭＡＸ_frm を特定して、
Ｃ_frm ＝−ＭＡＸ_frm ／（ＭＮ−１）
という算出式に従って補正値Ｃ_frm を算出するとともに、Ｓ_fld の算出元となった差分２乗値
〔ｉ（ｍ，ｎ）−Ａ_ave (fld) 〕²
の最大値ＭＡＸ_fld を特定して、
Ｃ_fld ＝−ＭＡＸ_fld ／（ＭＮ−１）
という算出式に従って補正値Ｃ_fld を算出することになる。

このようにして、本発明に関連する発明で構成される映像符号化装置１は、図４の処理フローを実行する場合には、図５に示すように、フレームマクロブロックの映像データについて分散値Ｖ_frm を算出するとともに、フィールドマクロブロックの映像データについて分散値Ｖ_fld （Ｖ_frm の比較基準値となるもの）を算出し、その２つの値を補正してから比較して、フレームマクロブロックの映像データから算出される分散値の方が小さいことで、映像データの動きが小さなものであることを判断する場合には、フレームマクロブロックを使って符号化し、一方、フィールドマクロブロックの映像データから算出される分散値の方が小さいことで、映像データの動きが大きなものであることを判断する場合には、フィールドマクロブロックを使って符号化するように処理するのである。

図６に、本発明に関連する発明で構成される映像符号化装置１の実行する処理フローの他の一例を図示する。

この処理フローと図２に示した処理フローとの違いは、本発明に関連する発明で構成される映像符号化装置１は、この処理フローを実行する場合には、フレームマクロブロックの映像データを８×８画素に分割し、それぞれに対して２次元ＤＣＴ処理を施し、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_frm を算出するとともに、フィールドマクロブロックの映像データを８×８画素に分割し、それぞれに対して２次元ＤＣＴ処理を施し、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_fld を算出して、それを使って、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定するように処理することにある。

ここで、この処理フローを実行する場合には、Ｓ_frm の算出元となったＤＣＴ係数のＡＣ成分の中から最大値ＭＡＸ_frm を特定して、その符号を反転させることで補正値Ｃ_frm を算出するとともに、Ｓ_fld の算出元となったＤＣＴ係数のＡＣ成分の中から最大値ＭＡＸ_fld を特定して、その符号を反転させることで補正値Ｃ_fld を算出することになる。

また、この処理フローでは、ＤＣＴ係数の全てのＡＣ成分を加算対象として、その絶対値和を算出するようにしているが、所定の空間周波数以上のＡＣ成分を加算対象として、その絶対値和を算出するようにしてもよい。

このようにして、本発明に関連する発明で構成される映像符号化装置１は、図６の処理フローを実行する場合には、図７に示すように、フレームマクロブロックの映像データに対して２次元ＤＣＴ処理を施すことで、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_frm を算出するとともに、フィールドマクロブロックの映像データに対して２次元ＤＣＴ処理を施すことで、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_fld （Ｓ_frm の比較基準値となるもの）を算出し、その２つの値を補正してから比較して、フレームマクロブロックの映像データから算出されるＡＣ成分の絶対値和の方が小さいことで、映像データの動きが小さなものであることを判断する場合には、フレームマクロブロックを使って符号化し、一方、フィールドマクロブロックの映像データから算出されるＡＣ成分の絶対値和の方が小さいことで、映像データの動きが大きなものであることを判断する場合には、フィールドマクロブロックを使って符号化するように処理するのである。

図８に、本発明に関連する発明で構成される映像符号化装置１の実行する処理フローの他の一例を図示する。

この処理フローと図６に示した処理フローとの違いは、本発明に関連する発明で構成される映像符号化装置１は、この処理フローを実行する場合には、フレームマクロブロックの映像データを垂直方向８画素に分割し、それぞれに対して１次元ＤＣＴ処理を施し、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_frm を算出するとともに、フィールドマクロブロックの映像データを垂直方向８画素に分割し、それぞれに対して１次元ＤＣＴ処理を施し、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_fld を算出して、それを使って、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定するように処理することにある。

このようにして、本発明に関連する発明で構成される映像符号化装置１は、図８の処理フローを実行する場合には、図９に示すように、フレームマクロブロックの映像データに対して１次元ＤＣＴ処理を施すことで、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_frm を算出するとともに、フィールドマクロブロックの映像データに対して１次元ＤＣＴ処理を施すことで、そのＤＣＴ係数のＡＣ成分の絶対値和Ｓ_fld （Ｓ_frm の比較基準値となるもの）を算出し、その２つの値を補正してから比較して、フレームマクロブロックの映像データから算出されるＡＣ成分の絶対値和の方が小さいことで、映像データの動きが小さなものであることを判断する場合には、フレームマクロブロックを使って符号化し、一方、フィールドマクロブロックの映像データから算出されるＡＣ成分の絶対値和の方が小さいことで、映像データの動きが大きなものであることを判断する場合には、フィールドマクロブロックを使って符号化するように処理するのである。

図１０〜図１２に、本発明に関連する発明の有効性を検証するために行ったシミュレーションの結果を図示する。

このシミュレーションは、ＭＰＥＧで配付されている参照ソフトウェア（ＪＭ）を符号化対象として、量子化パラメータ（ＱＰ）を変化させながら、
（１）従来技術通りに、フレームマクロブロックモード及びフィールドマクロブロック モードの双方で符号化を行って発生符号量を比較して、発生符号量の少ない方で 最終的な符号化を行い、
（２）さらに、本発明に関連する発明については、図２の処理フロー／図４の処理フロ ー／図６の処理フロー／図８の処理フローのそれぞれに従って符号化を行って、
これらについて、ＰＳＮＲ（ピーク信号対信号比）とビットレートとを比較することで行った。

図１０は参照ソフトウェアで用意される“Horse Race”画像に対して行ったシミュレーション結果を示し、図１１は参照ソフトウェアで用意される“Bicycle"画像に対して行ったシミュレーション結果を示し、図１２は参照ソフトウェアで用意される“Football”画像に対して行ったシミュレーション結果を示す。

ここで、図１０〜図１２中に示す“ＪＭ”が従来技術を用いて符号化を行った場合のシミュレーション結果を示し、“差分値”が図２の処理フローを用いて符号化を行った場合のシミュレーション結果を示し、“分散値”が図４の処理フローを用いて符号化を行った場合のシミュレーション結果を示し、“２次元ＤＣＴ”が図６の処理フローを用いて符号化を行った場合のシミュレーション結果を示し、“１次元ＤＣＴ”が図８の処理フローを用いて符号化を行った場合のシミュレーション結果を示している。

これらのシミュレーション結果から分かるように、本発明に関連する発明を用いることで、フレームマクロブロックモード及びフィールドマクロブロックモードの双方で符号化を行わなくても、従来技術と同等の符号化量でもって符号化を行うことができることを検証できた。

次に、本発明を具備する映像符号化装置について説明する。

図１３に、本発明を具備する映像符号化装置１の一実施形態例を図示する。

この図に示す本発明の映像符号化装置１は、映像データを格納する映像データメモリ３０と、動き探索を行う動き探索手段３１と、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定する符号化モード決定手段３２と、フレームマクロブロックモードに従って処理対象の領域の映像データを符号化する第１の符号化手段３３と、フィールドマクロブロックモードに従って処理対象の領域の映像データを符号化する第２の符号化手段３４とを備える。

これまでに説明した本発明に関連する発明では、水平Ｍ画素で垂直２Ｎ画素の大きさを持つ処理対象の領域について一切の符号化を行うことなく、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定するように処理している。

これに対して、図１３に示す本発明の映像符号化装置１は、動き探索までの符号化を行って符号化コストを算出して、それに基づいて、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定するという構成を採る。

ある１つのフレームの映像データについて符号化を行う場合、フレームマクロブロックを使う符号化モードとフィールドマクロブロックを使う符号化モードとが混在すると、各マクロブロックについて、どちらの符号化モードで符号化を行ったのかということを示す情報を付加する必要があり、これによる符号量の増大が問題となる。

そこで、図１３に示す本発明の映像符号化装置１では、動き探索までの符号化を行って、２つの符号化コストに大きな差がない場合には、どちらの符号化モードで符号化を行ったのかということを示す情報の符号量の削減を図るべく、１つ前に符号化したマクロブロックの符号化モードに基づいて、処理対象の領域の映像データをフレームマクロブロックを使って符号化するのか、フィールドマクロブロックを使って符号化するのかを決定し、一方、２つの符号化コストに大きな差がある場合には、本来の原則に従って、符号化コストが小さなものとなるマクロブロックを使って符号化することを決定するように処理するという構成を採っている。

すなわち、図１３のように構成される本発明の映像符号化装置１は、フレームメモリ１０に格納される映像データから水平Ｍ画素で垂直２Ｎ画素の大きさを持つ符号化対象となる処理対象の領域を選択すると、図１４の処理フローに示すように、先ず最初に、ステップ５００で、処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することで２つのフレームマクロブロックを生成して、その生成したフレームマクロブロックで動き探索を行うことで符号化コスト（マクロブロックの予測誤差と、マクロブロックの動きベクトルと周囲の動きベクトルとの差という２つの値の合計値）を算出する。

続いて、ステップ５０１で、処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することで２つのフィールドマクロブロックを生成して、その生成したフィールドマクロブロックで動き探索を行うことで符号化コスト（マクロブロックの予測誤差と、マクロブロックの動きベクトルと周囲の動きベクトルとの差という２つの値の合計値）を算出する。

続いて、ステップ５０２で、算出した２つの符号化コストの差分絶対値Ｄを算出し、続くステップ５０３で、その差分絶対値Ｄが予め設定される閾値より小さいのか否かを判断する。

この判断処理に従って、差分絶対値Ｄが予め設定される閾値より小さいことを判断する場合には、ステップ５０４に進んで、１つ前に符号化したマクロブロックの符号化モードに基づいて、処理対象の領域の映像データをフレームマクロブロックを使って符号化するのか、フィールドマクロブロックを使って符号化するのかを決定して、処理対象の領域を符号化する。

一方、ステップ５０３の判断処理に従って、差分絶対値Ｄが予め設定される閾値より大きいことを判断する場合には、ステップ５０５に進んで、フレームマクロブロックの符号化コストの方が小さいのかをチェックする。

続いて、ステップ５０６で、このチェック処理に従ってフレームマクロブロックの符号化コストの方が小さいことを判断する場合には、ステップ５０７に進んで、フレームマクロブロックを使って符号化することを決定して処理対象の領域を符号化し、一方、フィールドマクロブロックの符号化コストの方が小さいことを判断する場合には、ステップ５０８に進んで、フィールドマクロブロックを使って符号化することを決定して処理対象の領域を符号化する。

このようにして、図１３に示す本発明の映像符号化装置１では、動き探索までの符号化を行うことで、フレームマクロブロックモードで符号化するのか、フィールドマクロブロックモードで符号化するのかを決定するのである。

１ 映像符号化装置
１０ フレームメモリ
１１ フレームマクロブロック生成手段
１２ フレームマクロブロック映像データ格納手段
１３ 第１の算出手段
１４ 第１の補正値算出手段
１５ 第１の加算手段
１６ フィールドマクロブロック生成手段
１７ フィールドマクロブロック映像データ格納手段
１８ 第２の算出手段
１９ 第２の補正値算出手段
２０ 第２の加算手段
２１ 符号化モード決定手段
２２ 第１の符号化手段
２３ 第２の符号化手段

Claims (4)

1. ２つのフィールドで１つのフレームが構成される映像データを規定の大きさのマクロブロックに分割して圧縮する映像符号化装置において、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することでフレームマクロブロックを生成して、そのフレームマクロブロックを使って動き探索を行うことで符号化コストを算出する第１の算出手段と、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することでフィールドマクロブロックを生成して、そのフィールドマクロブロックを使って動き探索を行うことで符号化コストを算出する第２の算出手段と、
   上記２つの符号化コストの差分絶対値を算出する第３の算出手段と、
   上記差分絶対値が所定の閾値よりも小さい場合には、上記処理対象の領域に隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データを上記フレームマクロブロックを使って符号化するのか、上記フィールドマクロブロックを使って符号化するのかを決定し、閾値よりも大きい場合には、上記２つの符号化コストに基づいて、その決定を行う決定手段とを備えることを、
   特徴とする映像符号化装置。
2. ２つのフィールドで１つのフレームが構成される映像データを規定の大きさのマクロブロックに分割して圧縮する映像符号化方法において、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することでフレームマクロブロックを生成して、そのフレームマクロブロックを使って動き探索を行うことで符号化コストを算出する第１の算出過程と、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することでフィールドマクロブロックを生成して、そのフィールドマクロブロックを使って動き探索を行うことで符号化コストを算出する第２の算出過程と、
   上記２つの符号化コストの差分絶対値を算出する第３の算出過程と、
   上記差分絶対値が所定の閾値よりも小さい場合には、上記処理対象の領域に隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データを上記フレームマクロブロックを使って符号化するのか、上記フィールドマクロブロックを使って符号化するのかを決定し、閾値よりも大きい場合には、上記２つの符号化コストに基づいて、その決定を行う決定過程とを備えることを、
   特徴とする映像符号化方法。
3. ２つのフィールドで１つのフレームが構成される映像データを規定の大きさのマクロブロックに分割して圧縮する映像符号化方法の実現に用いられる映像符号化プログラムであって、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することでフレームマクロブロックを生成して、そのフレームマクロブロックを使って動き探索を行うことで符号化コストを算出する第１の算出処理と、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することでフィールドマクロブロックを生成して、そのフィールドマクロブロックを使って動き探索を行うことで符号化コストを算出する第２の算出処理と、
   上記２つの符号化コストの差分絶対値を算出する第３の算出処理と、
   上記差分絶対値が所定の閾値よりも小さい場合には、上記処理対象の領域に隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データを上記フレームマクロブロックを使って符号化するのか、上記フィールドマクロブロックを使って符号化するのかを決定し、閾値よりも大きい場合には、上記２つの符号化コストに基づいて、その決定を行う決定処理とをコンピュータに実行させるための映像符号化プログラム。
4. ２つのフィールドで１つのフレームが構成される映像データを規定の大きさのマクロブロックに分割して圧縮する映像符号化方法の実現に用いられる映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で垂直Ｎ画素の領域と水平Ｍ画素で垂直Ｎ画素の領域とに分割することでフレームマクロブロックを生成して、そのフレームマクロブロックを使って動き探索を行うことで符号化コストを算出する第１の算出処理と、
   水平Ｍ画素で垂直２Ｎ画素の大きさを持つ映像データの処理対象の領域を、水平Ｍ画素で奇数フィールドの垂直Ｎ画素の領域と水平Ｍ画素で偶数フィールドの垂直Ｎ画素の領域とに分割することでフィールドマクロブロックを生成して、そのフィールドマクロブロックを使って動き探索を行うことで符号化コストを算出する第２の算出処理と、
   上記２つの符号化コストの差分絶対値を算出する第３の算出処理と、
   上記差分絶対値が所定の閾値よりも小さい場合には、上記処理対象の領域に隣接する符号化済みのマクロブロックの符号化モードに基づいて、処理対象の領域の映像データを上記フレームマクロブロックを使って符号化するのか、上記フィールドマクロブロックを使って符号化するのかを決定し、閾値よりも大きい場合には、上記２つの符号化コストに基づいて、その決定を行う決定処理とをコンピュータに実行させるための映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images