JP5525945B2 - 符号化装置及び符号化プログラム - Google Patents

Description

本発明は、画像を符号化する符号化装置及び符号化プログラムに関し、特に、イントラスライスを用いて符号化する技術に関する。

画面間予測に比べて符号化効率が悪い（符号量が多い）画面内予測を各ピクチャに分散したイントラスライスを用いて符号化する技術がある。イントラスライスを用いれば、画面内予測を行なうイントラＭＢ（マクロブロック）が各ピクチャに分散されるため、ピクチャ毎の符号量変化が小さくなり、符号量変化を吸収するためのバッファを小さくすることができる。さらに、遅延が大きくなる原因であるＩピクチャがないため、低遅延での伝送が可能となる。フレーム構造だけでなくフィールド構造で符号化する場合においてもイントラスライスを用いることが可能である（例えば、特許文献１）。

しかし、特許文献１に記載の技術においてイントラスライスを用いた場合、イントラスライス部分のＭＢ（イントラＭＢ）に比べて、イントラスライス以外の部分のＭＢ（インターＭＢ）の画質が劣化するため、イントラＭＢとインターＭＢの画質の差が目立つことがある。これは、データ伝送レートの制約があるため、イントラＭＢによって発生符号量が多くなった分をインターＭＢで少なくする制御を行なう必要があるからである。これによって、イントラＭＢに隣接するインターＭＢの画質が急激に劣化することになり、画質の差が目立ちやすくなる。

これに対し、イントラＭＢの圧縮率を高く設定することで符号量を少なくし、イントラＭＢ以降のインターＭＢの圧縮率を低く設定することで符号量を多くする技術がある（例えば、特許文献２）。すなわち、特許文献２では、イントラスライスとイントラスライス以降の符号量の差を少なくして画質の差を小さくすることで画質劣化を目立ちにくくしている。

特開２００３−０８７８００号公報 特開２００５−１２４０４１号公報

しかし、特許文献２に記載の技術では、符号化効率の悪いイントラＭＢの圧縮率を高めているため、イントラスライス部分がぼけてしまい、イントラスライス部分が反対に目立ってしまう。特に、インターＭＢは動きが少ない映像では絵柄の複雑さが画質に影響せず画質が良くなるのに対し、イントラＭＢは絵柄が複雑になるほど画質が悪くなる傾向があるため、絵柄が複雑で動きが少ない映像の場合、イントラスライス部分で画質の差が目立ちやすくなる。さらに、圧縮率の設定を行なっているため、演算量の増大を招き、回路規模の増大や、遅延が発生する可能性もある。

本発明は、上述した従来の技術に鑑み、イントラスライスを挿入する場合でも演算量の増大を防ぎ、イントラスライス部分を目立ちにくくする符号化装置及び符号化プログラムを提供することを目的とする。

上記目的を達成するため、第１の態様に係る発明は、画像を符号化する符号化装置であって、前フレームを符号化した際のイントラスライス挿入の有無、挿入された場合は挿入位置を示す情報である前フレームについてのイントラスライス挿入情報を格納する符号化情報格納部と、前記符号化情報格納部から符号化対象画像のピクチャ構造情報と前記符号化対象画像の前フレームについてのイントラスライス挿入情報を取得し、取得した前記符号化対象画像のピクチャ構造情報、及び、前記符号化対象画像の前フレームについてのイントラスライス挿入情報に基づいて、前記符号化対象画像に対してイントラスライスを挿入するかどうかを判定するとともにイントラスライスを挿入する場合はその挿入位置を判定し、その判定結果を示すイントラスライス挿入情報を生成するイントラスライス挿入判定部と、前記イントラスライス挿入判定部によって生成されたイントラスライス挿入情報に基づいて、前記符号化対象画像にイントラスライスを挿入して符号化を行なう符号化部とを備える。ここで、前記符号化部は、前記符号化対象画像のピクチャ構造がフィールド構造の場合、トップフィールドにイントラスライスを挿入する際はボトムフィールドにイントラスライスを挿入せず、ボトムフィールドにイントラスライスを挿入する際はトップフィールドにイントラスライスを挿入しない。さらに、前記符号化部は、前記符号化対象画像の前フレームについてのイントラスライス挿入位置がトップフィールドもしくはボトムフィールドであって、かつ、最下部もしくは最右部でない場合、前フレームについてのイントラスライス挿入位置の次のスライス位置にイントラスライスを挿入し、前記符号化対象画像の前フレームについてのイントラスライス挿入位置がトップフィールドであって、かつ、最下部もしくは最右部である場合、ボトムフィールドの最上部もしくは最左部にイントラスライスを挿入し、前記符号化対象画像の前フレームについてのイントラスライス挿入位置がボトムフィールドであって、かつ、最下部もしくは最右部である場合、トップフィールドの最上部もしくは最左部にイントラスライスを挿入する。

第２の態様に係る発明は、第１の態様に係る発明において、前記符号化部が、前記符号化対象画像のピクチャ構造がフレーム構造の場合、イントラスライスが一周した後、一定期間はイントラスライスを挿入しないことを要旨とする。

第３の態様に係る発明は、第２の態様に係る発明において、前記符号化部が、前記符号化対象画像の前フレームにイントラスライス挿入がなく、かつ、イントラスライスが挿入されていない期間が一定期間を経過している場合、フレームの一番上もしくは一番左にイントラスライスを挿入し、前記符号化対象画像の前フレームにイントラスライス挿入があり、かつ、前フレームについてのイントラスライス挿入位置が一番下もしくは一番右でない場合、前フレームについてのイントラスライス挿入位置の次のスライス位置にイントラスライスを挿入し、前記符号化対象画像の前フレームにイントラスライス挿入があり、かつ、前フレームについてのイントラスライス挿入位置が一番下もしくは一番右である場合、及び、前記符号化対象画像の前フレームにイントラスライス挿入がなく、かつ、イントラスライスが挿入されていない期間が一定期間を経過していない場合、イントラスライスを挿入しないことを要旨とする。

また、上記目的を達成するため、第４の態様に係る発明は、第１から第３のいずれかの態様に記載した各処理部としてコンピュータを機能させるための符号化プログラムであることを要旨とする。

本発明によれば、イントラスライスを挿入する場合でも演算量の増大を防ぎ、イントラスライス部分を目立ちにくくする符号化装置及び符号化プログラムを提供することができる。

本発明の概要を示す図である。 本発明の実施の形態における符号化装置の構成図である。 本発明の実施の形態におけるイントラスライス挿入判定のフローチャートである。 本発明の実施の形態におけるイントラスライス挿入判定のフローチャートである。 本発明の実施の形態におけるイントラスライス挿入の説明図である。 本発明の実施の形態におけるイントラスライス挿入の説明図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の概要を示す図である。この図に示すように、本発明では、イントラリフレッシュ周期におけるイントラスライス挿入数を少なくし、画質劣化を防ぐことによって、演算量の増大を防いでいる。同時に、イントラスライス挿入による発生符号量を少なくすることができるため、その分の符号量を他のインターＭＢやイントラＭＢに割り振ることができる。これによって、イントラＭＢとインターＭＢの画質差を小さくすることができるため、イントラスライス部分を目立ちにくくすることが可能となる。

具体的には、図１（Ａ）に示すように、ピクチャ構造がフィールド構造の場合は、トップフィールドもしくはボトムフィールドのいずれかにイントラスライスを挿入する。例えば、トップフィールドにイントラスライスを挿入する際はボトムフィールドにイントラスライスを挿入しない（図中の（イ）参照）。逆に、ボトムフィールドにイントラスライスを挿入する際はトップフィールドにイントラスライスを挿入しない。このように、ピクチャ構造がフィールド構造の場合は、イントラスライスがどちらか一方のフィールドに挿入されるため、イントラスライス部分を目立ちにくくすることができる。一方、図１（Ｂ）に示すように、ピクチャ構造がフレーム構造の場合は、イントラスライスが一周した後、一定期間はイントラスライスを挿入しない（図中の（ロ）参照）。イントラスライスが一周するとは、イントラスライスが画面の一番上から一番下まで移動することをいう。

図２は、本発明の実施の形態における符号化装置１０の構成図である。この符号化装置１０は、画像を符号化する装置であって、符号化部１１と、符号化制御部１２とを備えている。符号化制御部１２には、符号化情報格納部１３と、イントラスライス挿入判定部１４と、レート制御部１５とが含まれる。

符号化部１１は、イントラスライス挿入判定部１４によって生成されたイントラスライス挿入情報と、レート制御部１５によって生成された符号化制御情報に基づいて、符号化対象画像にイントラスライスを挿入して符号化を行ない、符号化情報格納部１３に符号化情報を出力する。符号化情報には、発生符号量や平均ＱＰ（量子化パラメータ）値、予測画像と入力画像の差分（例えばＳＡＤやＳＡＴＤ）といった情報が含まれている。フィールド構造で符号化する際は同一パリティのみを参照し、インター予測を行う。なお、同一パリティを参照するのは以下の理由による。例えば、図１（Ａ）の（イ）の時間帯でトップフィールドのイントラスライスより上のＭＢがボトムフィールドを参照した場合、エンコーダとデコーダでのデコード画像が不一致となる可能性がある。そのため、正しいデコード画像が生成できなくなるためである。

符号化情報格納部１３は、符号化情報中の発生符号量と平均ＱＰ値をレート制御部１５に出力する。また、予測画像と入力画像との差分情報からピクチャ構造情報を生成し、格納していた前フレームについてのイントラスライス挿入情報とともにイントラスライス挿入判定部１４に出力する。ピクチャ構造情報とは、符号化対象画像がフレーム構造であるかフィールド構造であるか、フィールド構造である場合はトップフィールドであるかボトムフィールドであるかを示す情報である。前フレームについてのイントラスライス挿入情報は、前フレームを符号化した際のイントラスライス挿入の有無、挿入された場合は挿入位置を示す情報である。

レート制御部１５は、符号化情報格納部１３に格納されている発生符号量や平均ＱＰ値から符号化レートを求め、符号化制御情報として符号化部１１に出力する。

イントラスライス挿入判定部１４は、ピクチャ構造情報と前フレームについてのイントラスライス挿入情報に基づいて、符号化対象画像に対してイントラスライスを挿入するかどうかを判定するとともに、イントラスライスを挿入する場合はその挿入位置を判定する。そして、その判定結果を示すイントラスライス挿入情報を生成して符号化部１１と符号化情報格納部１３に出力する。

図３は、イントラスライス挿入判定部１４の処理を示すフローチャートである。以下、図３を用いて、イントラスライス挿入判定部１４の処理をさらに詳しく説明する。

まず、イントラスライス挿入判定部１４は、符号化情報格納部１３からピクチャ構造情報と前フレームについてのイントラスライス挿入情報を取得した後（Ｓ３０１）、符号化開始直後であるかどうかを判定する（Ｓ３０２）。ここで、符号化開始直後でないと判定した場合、前フレームを符号化した際のピクチャ構造と現フレームのピクチャ構造が異なるかどうかを判定する（Ｓ３０３）。さらに、前フレームと現フレームのピクチャ構造が同じであると判定した場合、現フレームのピクチャ構造がフィールド構造であるかどうかを判定する（Ｓ３０４）。

Ｓ３０４においてピクチャ構造がフィールド構造でない（フレーム構造である）と判定した場合、後述するフレーム構造時のイントラスライス挿入フロー（図４）に従う。一方、Ｓ３０４においてピクチャ構造がフィールド構造であると判定した場合、前フレームについてのイントラスライス挿入位置がボトムフィールドの一番下であるかどうかを判定する（Ｓ３０５）。この際、イントラスライスが縦長の場合は、ボトムフィールドの一番右であるかどうかを判定することになる。Ｓ３０２、Ｓ３０３、Ｓ３０５のいずれかに該当した場合、トップフィールドもしくはフレームの一番上（イントラスライスが縦長の場合は一番左）へのイントラスライス挿入を決定する（Ｓ３０６）。

Ｓ３０５において前フレームについてのイントラスライス挿入位置がボトムフィールドの一番下（一番右）でないと判定した場合、前フレームについてのイントラスライス挿入位置がトップフィールドの一番下（一番右）であるかどうかを判定する（Ｓ３０７）。ここで、イントラスライス挿入位置が一番下（一番右）であると判定した場合、ボトムフィールドの一番上（一番左）へのイントラスライス挿入を決定する（Ｓ３０８）。一方、イントラスライス挿入位置が一番下（一番右）でないと判定した場合、前フレームについてのイントラスライス挿入位置を一つ下（右）にずらして挿入することを決定する（Ｓ３０９）。

Ｓ３０６、Ｓ３０８、Ｓ３０９においてイントラスライス挿入を決定した後、イントラスライス挿入位置を示すイントラスライス挿入情報を符号化部１１に出力する（Ｓ３１０）。符号化部１１は、イントラスライス挿入情報に従ってイントラスライスを挿入して符号化を行なう。Ｓ３１０の後、符号化が終了しているかどうかを判定し（Ｓ３１１）、終了していなければＳ３０１に戻り、終了していれば処理を終了する。

図４は、Ｓ３０４においてピクチャ構造がフィールド構造でない（フレーム構造である）と判定した場合のフローチャートである。この場合、まず、前フレームにイントラスライス挿入がなかったかどうかを判定する（Ｓ４０１）。ここで、前フレームにイントラスライス挿入がなかったと判定した場合、イントラスライスが挿入されていない期間が一定期間を経過したかどうかを判定する（Ｓ４０２）。さらに、イントラスライスが挿入されていない期間が一定期間を経過したと判定した場合、フレームの一番上（一番左）へのイントラスライス挿入を決定する（Ｓ４０３）。

Ｓ４０１において前フレームにイントラスライス挿入があったと判定した場合、前フレームについてのイントラスライス挿入位置が一番下（一番右）かどうかを判定する（Ｓ４０４）。ここで、前フレームについてのイントラスライス挿入位置が一番下（一番右）でないと判定した場合、前フレームについてのイントラスライスの位置を１つ下（右）にずらしてイントラスライス挿入を決定する（Ｓ４０５）。Ｓ４０４において前フレームについてのイントラスライス挿入位置が一番下（一番右）であると判定した場合、及び、Ｓ４０２においてイントラスライスが挿入されていない期間が一定期間を経過していないと判定した場合、イントラスライスを挿入しないと判定する（Ｓ４０６）。

Ｓ４０３、Ｓ４０５においてイントラスライスを挿入した場合、イントラスライス挿入位置を示すイントラスライス挿入情報を符号化部１１に出力する（Ｓ４０７）。また、Ｓ４０６においてイントラスライスを挿入しないと判定した場合も、「イントラスライスなし」というイントラスライス挿入情報を符号化部１１に出力する（Ｓ４０７）。符号化部１１は、イントラスライス挿入情報に従ってイントラスライスを挿入して符号化を行なう。Ｓ４０７の後、符号化が終了しているかどうかを判定し（Ｓ４０８）、終了していなければ図３のＳ３０１に戻り、終了していれば処理を終了する。

図５は、本発明の実施の形態における符号化装置１０によって挿入されたイントラスライスを示す図である。ここでは、ピクチャ構造がフィールド構造である場合を想定し、上段にトップフィールド、下段にボトムフィールド、横軸に時間を示している。

まず、時間ｔ１のフレームにイントラスライスを挿入する場合は、符号化開始直後であるためＳ３０２において「ＹＥＳ」と判定され、トップフィールドの一番上にイントラスライスが挿入される（Ｓ３０６）。引き続き、時間ｔ２のフレームにイントラスライスを挿入する場合は、前フレーム（時間ｔ１のフレーム）と現フレームのピクチャ構造が同じであるためＳ３０３において「ＮＯ」、ピクチャ構造がフィールド構造であるためＳ３０４において「ＹＥＳ」、前フレームについてのイントラスライス挿入位置が一番下でないためＳ３０５とＳ３０７において「ＮＯ」と判定される。その結果、前フレームについてのイントラスライス位置を一つ下にずらした位置にイントラスライス挿入が決定され（Ｓ３０９）、そのイントラスライス挿入情報が符号化部１１に出力される（Ｓ３１０）。これによって、イントラスライス挿入情報に従って符号化が行なわれた結果、時間ｔ２のフレームには、時間ｔ１のフレームに挿入されたイントラスライスから一つ下にずれた位置にイントラスライスが挿入される。

また、時間ｔ６のフレームにイントラスライスを挿入する場合は、前フレームについてのイントラスライス挿入位置がトップフィールドの一番下であるためＳ３０７において「ＹＥＳ」と判定され、ボトムフィールドの一番上にイントラスライスが挿入される（Ｓ３０８）。同様に、時間ｔ１１のフレームにイントラスライスを挿入する場合は、前フレームについてのイントラスライス挿入位置がボトムフィールドの一番下であるためＳ３０５において「ＹＥＳ」と判定され、トップフィールドの一番上にイントラスライスが挿入される（Ｓ３０６）。

図６は、本発明の実施の形態における符号化装置１０によって挿入されたイントラスライスを示す図である。ここでは、ピクチャ構造がフレーム構造である場合を想定している。

まず、時間ｔ１のフレームにイントラスライスを挿入する場合は、符号化開始直後であるためＳ３０２において「ＹＥＳ」と判定され、フレームの一番上にイントラスライスが挿入される（Ｓ３０６）。引き続き、時間ｔ２のフレームにイントラスライスを挿入する場合は、ピクチャ構造がフレーム構造であるためＳ３０４において「ＮＯ」、前フレームにイントラスライスを挿入しているためＳ４０１において「ＮＯ」、前フレームについてのイントラスライス挿入位置がフレームの一番下でないためＳ４０４において「ＮＯ」と判定され、前フレームについてのイントラスライス位置を一つ下にずらした位置にイントラスライスが挿入される（Ｓ４０５）。

また、時間ｔ６については、Ｓ４０４において「ＹＥＳ」と判定されるため、イントラスライスを挿入しない（Ｓ４０６）。続く時間ｔ７〜ｔ１０については、Ｓ４０２において「ＮＯ」と判定されるため、イントラスライスを挿入しない（Ｓ４０６）。なお、Ｓ４０２の判定に使用するイントラスライスを挿入しない期間はユーザが任意に設定することができる。

以上のように、本発明では、イントラリフレッシュ周期におけるイントラスライス挿入数を少なくし、画質劣化を防ぐことによって、演算量の増大を防いでいる。同時に、イントラスライス挿入による発生符号量を少なくすることができるため、その分の符号量を他のインターＭＢやイントラＭＢに割り振ることができる。これによって、イントラＭＢとインターＭＢの画質差を小さくすることができるため、イントラスライス部分を目立ちにくくすることが可能となる。すなわち、本発明では、イントラスライスの挿入位置を制御するのみであるため、演算量が増大することなくイントラスライス部分を目立ちにくくすることが可能となる。

なお、本発明は、符号化装置１０として実現することができるだけでなく、このような符号化装置１０が備える特徴的な処理部をステップとする符号化方法として実現したり、それらのステップをコンピュータに実行させる符号化プログラムとして実現したりすることもできる。このようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

１０…符号化装置
１１…符号化部
１２…符号化制御部
１３…符号化情報格納部
１４…イントラスライス挿入判定部
１５…レート制御部

Claims (4)

1. 画像を符号化する符号化装置であって、
   前フレームを符号化した際のイントラスライス挿入の有無、挿入された場合は挿入位置を示す情報である前フレームについてのイントラスライス挿入情報を格納する符号化情報格納部と、
   前記符号化情報格納部から符号化対象画像のピクチャ構造情報と前記符号化対象画像の前フレームについてのイントラスライス挿入情報を取得し、取得した前記符号化対象画像のピクチャ構造情報、及び、前記符号化対象画像の前フレームについてのイントラスライス挿入情報に基づいて、前記符号化対象画像に対してイントラスライスを挿入するかどうかを判定するとともにイントラスライスを挿入する場合はその挿入位置を判定し、その判定結果を示すイントラスライス挿入情報を生成するイントラスライス挿入判定部と、
   前記イントラスライス挿入判定部によって生成されたイントラスライス挿入情報に基づいて、前記符号化対象画像にイントラスライスを挿入して符号化を行なう符号化部と、
   を備え、
   前記符号化部は、前記符号化対象画像のピクチャ構造がフィールド構造の場合、トップフィールドにイントラスライスを挿入する際はボトムフィールドにイントラスライスを挿入せず、ボトムフィールドにイントラスライスを挿入する際はトップフィールドにイントラスライスを挿入せず、
   さらに、前記符号化部は、
   前記符号化対象画像の前フレームについてのイントラスライス挿入位置がトップフィールドもしくはボトムフィールドであって、かつ、最下部もしくは最右部でない場合、前フレームについてのイントラスライス挿入位置の次のスライス位置にイントラスライスを挿入し、
   前記符号化対象画像の前フレームについてのイントラスライス挿入位置がトップフィールドであって、かつ、最下部もしくは最右部である場合、ボトムフィールドの最上部もしくは最左部にイントラスライスを挿入し、
   前記符号化対象画像の前フレームについてのイントラスライス挿入位置がボトムフィールドであって、かつ、最下部もしくは最右部である場合、トップフィールドの最上部もしくは最左部にイントラスライスを挿入する
   ことを特徴とする符号化装置。
2. 前記符号化部は、前記符号化対象画像のピクチャ構造がフレーム構造の場合、イントラスライスが一周した後、一定期間はイントラスライスを挿入しないことを特徴とする請求項１記載の符号化装置。
3. 前記符号化部は、
   前記符号化対象画像の前フレームにイントラスライス挿入がなく、かつ、イントラスライスが挿入されていない期間が一定期間を経過している場合、フレームの一番上もしくは一番左にイントラスライスを挿入し、
   前記符号化対象画像の前フレームにイントラスライス挿入があり、かつ、前フレームについてのイントラスライス挿入位置が一番下もしくは一番右でない場合、前フレームについてのイントラスライス挿入位置の次のスライス位置にイントラスライスを挿入し、
   前記符号化対象画像の前フレームにイントラスライス挿入があり、かつ、前フレームについてのイントラスライス挿入位置が一番下もしくは一番右である場合、及び、前記符号化対象画像の前フレームにイントラスライス挿入がなく、かつ、イントラスライスが挿入されていない期間が一定期間を経過していない場合、イントラスライスを挿入しない
   ことを特徴とする請求項２記載の符号化装置。
4. 請求項１から３のいずれか一項に記載した各処理部としてコンピュータを機能させるための符号化プログラム。

Images