JP5481251B2 - 画像符号化装置 - Google Patents

Description

本特許は、画像を低遅延で伝送可能な画像符号化装置方法に関する。

特許文献１に、シリアルバスを介して通信モジュール間でデータのパケット転送を行うデータ転送装置に関し、シリアル転送のバス幅と同じ信号線数とクロック速度であっても、より高速の転送能力が得られるようにすることを目的としたデータ転送装置が開示されている。

特開平６−１１０８３１号公報

画像を符号化して低遅延に転送するために、画像符号化時に一部の領域に対して強制的に画面内符号化を用いてリフレッシュを行なう方式も提案されているが、無線伝送のようなストリームエラーが発生する環境で用いた場合について考慮されていないため、
伝送画像が崩れてしまうことが懸念される。

本発明は、ストリームエラーが多く発生する場合でも、再生画像の破綻を抑制可能な画像符号化装置を提供することを目的とする。

本願発明は、上記課題に鑑み、例えば特許請求に記載の構成を備える。

低遅延の画像伝送において、ストリームエラーが多く発生する場合でも、表示画像の破綻を抑制可能な画像符号化装置を提供することができる。

Intra予測のモード選択を説明するための概念図である。 エラー耐性を強化したスライス構造の一例を示す図である。 画像符号化装置の構成例を示す図である。 Intra予測モード選択の具体例を示す図である。 エラー耐性を強化したスライス構造の一例を示す図である。 Intra予測の予測モードを説明するための概念図である。 リフレッシュエリアを説明するための概念図である。 符号量とリフレッシュエリアの関係例を示す図である。 リフレッシュエリア境界での段差対策例を示す図である。 画像伝送装置の構成例を示す図である。

以下、符号化方式として、動画像符号化の国際標準方式であるH.264符号化を例に説明する。

図３は、画像符号化装置の構成例を示す図である。

画像符号化装置は、画像入力部301から入力された入力画像に対してIntra予測を行なうIntra予測部303と、Inter予測を行なうInter予測部304と、Intra予測かInter予測かを判定を行なう判定部305と、入力画像と判定部で判定した予測画像との差を取り誤差画像を生成する誤差画像生成部306と、誤差画像に対してDCT/量子化を行なうDCT/量子化部307と、量子化された画像情報と符号化に必要なサブ情報をストリーム化するストリーム生成部308と、ローカルデコードを行なう逆量子化/逆DCT部309と、復号画像を生成する復号画像生成部310と、復号画像に対してループ内フィルタを行なうループ内フィルタ部311と、ループ内フィルタ後の画像を格納しておく参照画像メモリ部312と、各ブロックを制御する制御部302とを備える。

この構成図において、制御部302より、Intra予測部にスライス構造の情報・Intra予測の強制モード情報が、DCT/量子化部に量子化値が、判定部に強制的にIntra予測とする為の強制モード情報が、ストリーム生成部にスライス構造情報が通知され、Intra予測の予測モード、ＭＢ毎の量子化値、画面を符号化する際のスライス分割情報を符号化時に、強制的に設定できる構成としている。

本例では、低遅延での画像伝送を実現することを課題としている。画像情報の低遅延化とは、一例として、カメラから入力された画像を、圧縮して画像のデータ量を削減し、そのデータを無線で転送し、受信側で伸張して再生するシステムである。送受信側で違和感を感じさないで行なうには、遅延は例えば100ms以内にする必要があるといわれている。

そして、この様な低遅延化を行なう場合には、画像符号化の際に、以下の条件を満たす必要が生じる。
（１）画像圧縮・伸張時にリオーダーリングを発生させる双方向予測ピクチャ（Bピクチャ）を使用せずに、IピクチャとPピクチャから構成する
（２）各画像の符号量が、伝送路のレートを超えないようにする
すなわち、１枚の画像の符号量が多い場合には、それを伝送・デコードするに時間を要し低遅延化が実現できなくなる。

本課題に対応するために、１枚の符号量が多くかかるIピクチャを定期的に使用せずに、画面間符号化方式であるPピクチャを連続させ、その一部を強制的にIピクチャ相当の画面内符号化（リフレッシュエリア）とし、誤差の蓄積をリセットする事が有効である。図７にリフレッシュエリアを説明するための概念図を示す。

一連の画像を符号化する場合には、先頭はIピクチャとするが、それ以降の各ピクチャは画面間符号化(Pピクチャ)として、その一部を画面内符号化（IntraMB）からなるリフレッシュエリアを定義する。そして、そのリフレッシュエリアを移動させることで、以後Iピクチャを用いる事無くリフレッシュを実現する。図左は横方向にリフレッシュエリアを設けた場合、図右は縦方向にリフレッシュエリアを設けた場合である。

このリフレッシュエリアは、Interを行なう際の動き予測の範囲より広い範囲設定する事で、動き予測による誤差の伝播を防止する事が可能となる。この様に設定する事で１枚あたりの符号量が均一化でき、低遅延化を可能とする。

図８に符号量とリフレッシュエリアの関係例を示す。定期的に全て画面内符号化からなるIピクチャを用いてリフレッシュを行なった場合には、Iピクチャの場所で多くの符号量が発生する。これにより、そのピクチャを符号化するのに多くの時間を要するのと共に、その符号量が伝送路の伝送レートを超える場合には、そのピクチャを伝送するのに、遅延が生じてしまい、低遅延画像伝送を実現することができない。逆に、伝送レートに収まるようにIピクチャを符号化する事を考えると、Iピクチャの画質が低下してしまい、表示画像の品質が低下してしまう。レートの均一化については、図７の縦方向にリフレッシュエリアを設ける方が、ピクチャ内のレートコントロールが容易となり実現性が高い。

しかし、この様にリフレッシュエリアを用いて伝送する際に、伝送路にエラーが発生した場合に問題が生じる場合がある。ストリームにエラーが生じた際には、その画像の内の符号化単位であるスライス内のどのＭＢでエラーとなったか判断が難しく、そのスライス内全てのデータが信頼できない再生画像となってしまう。特に高圧縮化が可能なH.264等ではCABAC等の算術符号化が用いられており、どこまでが正しいデータ化を判定する事は不可能である。リフレッシュエリアを含むスライスでこのエラーが発生すると、このリフレッシュエリアが今後参照する全ての画像がエラーとなってしまう可能性がある。

その課題に対応するために、以下に示すリフレッシュエリアのスライス化を行なう事が有効である。スライスとは、規格で定義されており、画像を符号化する際に、符号化順で１つ以上のMBをグループとして、そのグループ単位で復号が出来る様にしたもので、どの単位でグループを形成するかは、符号化側が決める事が出来る。

図２を用いてエラー耐性を強化したスライス構造例について説明する。図は、ある１枚の画像101に対して、符号化単位であるMB102と、画像の一部を強制的にIntraMBとしたリフレッシュエリア103、スライス領域201を示している。図中の灰色の部分をリフレッシュ領域と定義した場合には、それを囲むようにスライス領域を定義する（スライス１，３，５、７，９、１１，１３、１５，１７，１９，２１、２３，２５）。このリフレッシュエリアは、前述した通り画像毎に位置を移動させるので、スライス構造もリフレッシュエリアを包括する様にピクチャ毎に変更する。

このようにする事で、再生画像生成で重要となるリフレッシュエリアがエラーとなる確率を低減でき再生画像のエラー伝播をとどめる事が出来る。特に、低遅延画像伝送の場合には、レートの平滑化の観点でIピクチャは使用できない場合が多いので、このリフレッシュエリアのスライス化が重要となる。

一方、符号化効率の点から見ると、画像を多くのスライスに分割する事は、それを表現する分割情報が増えてしまい、符号化効率が低下し、画質が低下する事が懸念される。伝送路のレートが低い場合や、大きな画像サイズで画像伝送を行なう場合には問題となる。スライス構造の幅と、リフレッシュ領域の幅は、伝送レートと符号化効率から決定するが、スライス構造の幅よりリフレッシュ領域が小さい場合には、上記問題と更に以下の問題が生じる。スライス内のリフレッシュ領域内のIntra予測が、リフレッシュ領域外の画素を参照した場合には、リフレッシュ外の領域がInter予測で参照している領域の画像にエラーが発生していた画像であった場合に、そのエラーがIntra予測によりリフレッシュ領域に入り込んでしまう事である。これにより、リフレッシュ領域が正常な画像に復号されず、再生画像が崩れてしまうという問題点が考えられる。

以上の課題については、下記の２つの対策を行なう。

１つ目は、リフレッシュ領域を含むスライスにリフレッシュ領域外を含む場合には、Intraをリフレッシュ領域内の画素で予測する様に、Intra予測のモードを選択する。図１は、Intra予測のモード選択を説明するための概念図である。符号化対象画像101をMB102毎に符号化を行なうが、その際に複数のIntraMBで構成するリフレッシュエリア103を設ける。そのリフレッシュエリアに属するIntraMBのIntra予測方向については、リフレッシュエリア外を参照しない様に制御する。図では、リフレッシュエリアの左ＭＢの予測方向は左を参照しない様にする。

H.264では、MB毎に8x8, 16x16, 4x4画素サイズのIntra予測を選択可能である。図6は、4x4画素のIntra予測の予測モードを説明するための概念図である。16x16画素からなるMBに対して、4x4画素Intra予測の場合には、MB内を全て4x4画素から構成するサブブロック分割にする。そして、サブブロック毎に同時刻の画像の周辺画素から予測符号化対照画素を予測して、予測との差分を符号化する。図６では、4x4の予測モードを示しており、白色は符号化対象の予測対象画素、灰色は既に符号化済みの周辺画素を示している。Intra予測は、灰色の周辺画素を用いて、内部の白色の画素を予測する事になる。4x4では、9種類のモードが定義されており、それぞれ予測される画素、方向が異なる。例えばモード0は、予測対象ブロックの上の画素が予測値となる。モード2では、上と左の画素の平均値が予測値となる。

この予測において、この灰色の画素がリフレッシュエリア外とならないようにリフレッシュエリア内のIntra予測を決定する。

例えば図４の上図の場合には、リフレッシュエリア外と接するMB404は、その内部4x4ブロックについて、リフレッシュエリア外を予測できるブロック（図の4x4の斜線ブロック）については、リフレッシュエリア外を予測しない様に予測モードを図６のモード０かモード３かモード７を用いる。

図４の下図では、リフレッシュエリア内のMB405は、同様の概念でリフレッシュエリアを予測の画素としない横方向の予測モード、モード１かモード８を用いる。

この様にする事で、リフレッシュエリア外の画素にエラーが含まれている場合でも、そのエラーを予測とする事無く、確実にリフレッシュを実行する事が可能となる。

本例は、H.264の4x4画素のIntra予測の例であったが、H.264の8x8, 16x16ブロックのIntra予測、または、別符号化方式にあっても同様の概念を用いて、リフレッシュエリア外からの予測によるエラーの伝播を防止したリフレッシュエリアのエラー耐性を実現する事ができる。

また、予測モードを制限すると圧縮効率が低下し、再生画像がそのＭＢのみ劣化してしまうことが考えられる。この課題に対応するために、予測モードを制限したＭＢに対しては、量子化値を下げることを行なう。これにより、再生画像の品質を上げることができ、再生画像の劣化を防止できる。

再生画像の崩れに対する対策の2つ目は、Intra予測が領域外を予測しないように、スライス構造を形成することである。図６に示すように、Intra予測では左、上方向の画素から予測を行なうため、図５に示すように、リフレッシュエリアの先頭ＭＢがスライスの先頭ＭＢとなる様にスライス構造を形成する（スライス１〜１３）。スライス０は、画面先頭であるため、図の例では、リフレッシュエリア外のＭＢが先頭となるが、リフレッシュエリアが画面の左端から開始される場合には、先頭のスライス０もリフレッシュエリアに属するＭＢから構成される。

この様にする事で、図２のスライス構造に比べて約半分スライス数で、リフレッシュエリア外からリフレッシュエリア内へのエラーの伝播を防止できる。

次に、リフレッシュエリアを用いることによって画質の違いにより段差が見えてしまう問題について説明する。一連の動画像に対して、リフレッシュエリアを移動させながら符号化を行なうと、リフレッシュエリアとリフレッシュエリア外との画質の違いにより、画像に段差が見えてしまう。これは、Intra/Inter予測の違いにより発生し、強制的にIntra予測とするリフレッシュエリアの境界でより認識されやすい。

本問題に対応するために、図９に示す様にリフレッシュエリアに接するリフレッシュエリア外のＭＢについては、Intra/Inter予測をランダムで選択するようにする。

そうする事で、リフレッシュエリア境界で固定的にIntra予測が発生しないので、境界での段差が目立たなくなる。

次に、本符号化装置を用いた画像伝送装置について説明する。図１０に構成例を示す。カメラ撮像部1001から画像が入力され、上記説明した低遅延の符号化を行なう画像符号化部1002により画像符号化される。マイク部1003より音声情報が入力され、音声符号化部1004により音声圧縮行なわれる。画像符号化データと音声符号化データを多重化部1005により多重化処理し、伝送部1006から無線又は有線でデータが転送される。受信部1007で転送データを受信し、分離部1008で画像情報と音声情報に分離される。画像データは、画像伸張部1009により表示画像1010に変換され表示部でディスプレイに表示される。音声データは、音声伸張部1011で再生音に変換されスピーカ部1012から出力される。

なお、図１０の例では、音声を含めた構成にしているが、画像のみを伝送する場合には、音声に関するブロックを使用しないように制御する。

301 画像入力部
302 制御部
303 Intra予測部
304 Inter予測部
305 判定部
306 誤差画像生成部
307 DCT/量子化部
308 ストリーム生成部
309 逆量子化/逆DCT部
310 復号画像生成部
311 ループ内フィルタ部
312 参照画像メモリ部

Claims (8)

1. 画像を符号化する画像符号化装置であって、
   画面内符号化と画面間符号化を用いて、一連の画像を符号化する際に、画像の一部を強制的に画面内符号化（IntraMB）にするリフレッシュエリアを使用し、
   リフレッシュエリア内のIntraＭＢは、リフレッシュエリア外の画素を参照可能な場合でもリフレッシュエリア内の画像のみで予測できる予測モードを選択することを特徴とする画像符号化装置。
2. 請求項１記載の画像符号化装置であって、
   前記リフレッシュエリア内のIntraＭＢは、複数のＭＢラインでスライスすることでリフレッシュエリア外の画素を参照可能としつつ、リフレッシュエリア内の画像のみを用いて予測できる予測モードを選択することを特徴とする画像符号化装置。
3. 請求項１又は２に記載の画像符号化装置であって、リフレッシュエリア内IntraMBにおいて、リフレッシュエリアの左端に位置するＭＢの量子化値を、リフレッシュエリア内の他のＭＢの量子化値よりも小さくすることを特徴とする画像符号化装置。
4. 請求項１から３のいずれかに記載の画像符号化装置であって、
   リフレッシュエリアの左に位置するリフレッシュエリア外のＭＢが、ストリームエラーによる情報を参照した予測を行なった場合でも、リフレッシュエリアにそのエラー情報が混入されない事を特徴とする画像符号化装置。
5. 請求項１から４のいずれかに記載の画像符号化装置であって、
   リフレッシュエリアと接するリフレッシュエリア外のＭＢは、画面間符号化と画面内符号化とがランダムに出現することを特徴とする画像符号化装置。
6. 請求項１から５のいずれかに記載の画像符号化装置と、入力画像を取得するカメラ撮像部と、音声を取得圧縮する音声取り込み圧縮部と、音声と映像を多重化する多重化部と、多重化データを伝送する伝送部と、伝送データを受信する受信部と、受信データを分離する分離部と、映像を伸張する伸張部と、音声を伸張する伸張部と、映像を表示する表示部を、音声を出力する音声出力部を有する画像伝送装置。
7. 画像を符号化する画像符号化方法であって、
   画面内符号化と画面間符号化を用いて、一連の画像を符号化する際に、画像の一部を強制的に画面内符号化（IntraMB）にするリフレッシュエリアを使用し、
   リフレッシュエリア内のIntraＭＢは、リフレッシュエリア外の画素を参照可能な場合でもリフレッシュエリア内の画像のみで予測できる予測モードを選択することを特徴とする画像符号化方法。
8. 請求項７記載の画像符号化方法であって、
   前記リフレッシュエリア内のIntraＭＢは、複数のＭＢラインでスライスすることでリフレッシュエリア外の画素を参照可能としつつ、リフレッシュエリア内の画像のみを用いて予測できる予測モードを選択することを特徴とする画像符号化方法。

Images