JP4159436B2

JP4159436B2 - 動画像符号化装置及び方法

Info

Publication number: JP4159436B2
Application number: JP2003323650A
Authority: JP
Inventors: 則和萩谷
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2003-09-16
Filing date: 2003-09-16
Publication date: 2008-10-01
Anticipated expiration: 2023-09-16
Also published as: JP2005094258A

Description

本発明が動画像符号化装置及び方法に関し、特に極めて低レートで符号化を行う動画像符号化装置及び方法に関する。

従来、撮影用のカメラに動きがある場合、例えばカメラが上下左右にパン（撮影しながらの緩やかな移動）を行ったり、ズーム撮影を行う場合などに、その動きに応じて画面上の特定領域の解像度を自動的に高くしたりするなどの処理を施して、「詳細に符号化をしておくことが求められる領域」と「必ずしも詳細な符号化が求められていない領域」を分けて処理することにより、限られた発生情報量を注視したい部分に集中適用する動画像符号化装置及び方法が知られている。以下、この種の装置の一例として、特許第３３１７３２７号公報「動画像符号化方法および装置」に記載された技術につき、図６を参照して簡単に説明する。

まず、符号化対象画像が、多角形パターンとともに動き検出部に入力され、各パッチの動ベクトルが求められる。次に動ベクトルはカメラパラメータ検出部に入力され、（パン・ズーム等の）カメラパラメータが検出される。検出されたカメラパラメータは解像度変換部位決定部に入力され、パラメータ種類及び度合いの値に基づき、符号化対象画像のどの部分の解像度を変更するかを決定し、「重要」「重要でない」を示すフラグをマクロブロック毎に設定する。選ばれた部位を示す解像度変換部位識別子は空間冗長度圧縮部に入力される。

これに並行して動ベクトルはブロック動き補償部にも送られる。ブロック動き補償部では各マクロブロックの動ベクトルと直前フレームの局部復号画像とから動き補償予測画像を生成する。この動き補償予測画像と上述した符号化対象画像の差分から求められる動き補償予測誤差は、解像度変換部位識別子とともに空間冗長圧縮部に入力され、空間冗長度の抑圧が行われる。

空間冗長度圧縮部から出力される圧縮差分データは差分データ伸長部にて伸長差分画像に復号され、この伸長差分画像は動き補償予測画像と加算され、現在の符号化対象画像の局部復号画像が生成される。一方、動き補償予測誤差に対する圧縮差分圧縮データは、差分データ符号化部で符号化される。差分画像符号化データと動ベクトル符号化データは多重化され、伝送または蓄積される。

特許第３３１７３２７号公報

従来の動画像符号化方法及び装置においては、例えばカメラが左から右にパンした場合、右端は細かく、左端は粗く量子化して符号化する。左端は消えていく画面であり粗い量子化で鮮明な画像を得られなくてもさほど問題はない。しかし、新しく表示される右端だけを細かい量子化で符号化をするのでは、全体の発生情報量を制御するため画面中央付近の画像は、左端ほどではないにしても若干粗い量子化で符号化せざるを得ず、画面全体として鮮明な映像を得られなくなる。

また、ズーム（拡大）の場合は画面中央部分を細かく量子化して符号化するが、それ以外の領域では粗い量子化テーブルを選択しているのみである。この際ベクトル検出も通常に行われており、カメラが動いている間は前フレームとの差分情報が発生し、その分の符号化による発生情報量を注視したい箇所に集中させることができなくなる。

本発明の目的は、カメラ制御を行った場合に、映像の変化にリアルタイムの符号化が間に合わずコマ送りになってしまうことを防止するため、映像内に詳細に符号化する領域を設けることにより、通常符号化するより多くの情報量を発生させ、カメラの動きに対して全画面を符号化する場合よりも鮮明な画像を符号化する動画像符号化装置及び方法を提供することにある。

また、本発明の別の目的は、特殊な復号化装置を設けずとも、伝送路において接続可能な全ての装置で効果を確認することの可能な動画像符号化装置及び方法を提供することにもある。

以上の課題を鑑み、本発明の動画像符号化方法は、撮像装置により得られる動画像信号を符号化して送信する動画像符号化方法において、符号化対象画像情報を複数のマクロブロックに分割するとともに特定領域を主画面ブロックに設定し、前記撮像装置の動作状態に対応して前記符号化対象画面情報をすでに送出された前画面情報の差分を算出して、前記符号化対象画像情報をマクロブロック毎にイントラモード判定を行い、前記主画面ブロック以外のマクロブロックについてはイントラモードのみ符号化し、主画面ブロック以外でかつ該イントラモード以外は量子化ステップ量を最も粗く符号化し、前記主画面ブロックに対して余剰符号化ビットを割り当てて最大限可能な量子化ステップ量で符号化し、符号化された全マクロブロックを併せて符号化済画像情報を送出した後、前記送出された符号済画像情報を前画面情報として更新することを特徴としている。

上述の方法に加えてさらに、本発明の動画像符号化方法の別構成例では、前記主画面ブロック以外でかつイントラモード以外の領域については、差分値０を選択出力して量子化するとともに動ベクトル０を選択して前記符号化済画像情報に多重化することを特徴としている。

また、本発明の動画像符号化装置は、撮像装置により得られる動画像信号を符号化して送信する動画像符号化装置において、符号化対象画像情報を複数のマクロブロックに分割して特定領域を主画面ブロックに設定するマクロブロック設定手段と、前記撮像装置の動作状態に対応して前記符号化対象画面情報をすでに送出された前画面情報の差分を算出する減算手段と、前記符号化対象画像情報をマクロブロック毎にイントラモード判定を行うイントラ判定手段と、量子化ステップ量を設定する量子化テーブル設定手段と、前記符号化対象画像情報を前記主画面ブロック以外のマクロブロックについてはイントラモードのみ符号化し、前記主画面ブロック以外かつ該イントラモード以外のマクロブロックは量子化ステップ量を最も粗く符号化し、前記主画面ブロックについては余剰符号化ビットを割り当てて最大限可能な細かさの量子化ステップ量で符号化する符号化手段と、符号化された全マクロブロックを併せて符号化済画像情報を送出する送出手段と、前記送出された符号済画像情報を前画面情報として更新する記憶手段とからなることを特徴としている。

上述の装置に加えてさらに、本発明の動画像符号化装置の別構成例では、前記主画面ブロック以外でかつイントラモード以外の領域について、差分値０を選択出力する第一の選択器と、動ベクトル０を選択出力する第二の選択器と、該動ベクトル０を符号化済画像情報に多重化する多重化手段とを備えることを特徴としている。

以上説明したように、本発明の動画像符号化装置及び方法では、詳細に符号化する領域を設けることで、画面全体を符号化するよりも効率的に発生情報量を集中させることができ、情報量不足によるコマ落ちや粗い量子化に起因する不鮮明な画面の発生が緩和される。

また、（符号化は勧告に従った方法で行われ）差分が０のデータを符号化するので、結果に特殊な処理を施すこともない。よって本発明の画像符号化装置と接続可能な画像符号化装置であれば、映像データの復号化については支障なく行われ、対応する復号化装置を用意する必要がなくなる。

さらに、詳細符号化領域は画面上の任意の場所に設定が可能なため、詳細符号化領域であるかどうかを判定する判定回路は、全画面の画素数を数えることのできるフレームカウンタがあれば１フレームデータの中からその位置を特徴付けることができ、領域が決まれば予め設定する情報量も設定することが可能となる。

以下、本発明の動画像符号化装置及び方法の最良の実施形態について、図１および図２を参照して詳細に説明する。

図１は本発明の実施形態における符号化部の詳細構成を示すブロック図である。映像データとイントラモード判定が減算器１６に入力される。ここで述べるイントラモードとは、ＴＴＣ標準H.261に規定されている符号化則の一つであり、１フレームの符号化データのみで全ての画素情報を復号化可能なモードである。減算器１６は、フレームメモリ２９から出力される前フレームのＭＢ（マクロブロック）と、これから符号化を行うＭＢとの差分を求める。続いて選択器１７は、符号化領域判定回路２１の判定結果が「詳細符号化領域」を示し、かつイントラ判定が「イントラＭＢであること」を示していれば映像データをそのまま選択する。これに対してイントラ判定が「イントラ以外のＭＢ」であれば、前フレームのＭＢとの差分を０とするよう切り替える。切り替え処理については符号化領域判定回路２１が制御を司る。符号化領域判定回路２１は、全画面の画素数をカウントするフレームカウンタと、このカウンタ出力をデコードして制御信号を生成するデコーダによって構成されている。または全画素を蓄えられる容量を有するメモリやＲＯＭなどで構成してもよい。

選択された映像データは、離散コサイン変換（ＤＣＴ）回路１８により周波数成分に変換され、続いて量子化器１９により量子化される。量子化結果はさらに可変長符号化回路２０と、逆量子化回路２３にそれぞれ入力される。
図３に示すように、H.261やH.263で規定される映像フォーマットのＣＩＦで符号化している場合は、１画面の映像データは横２２ＭＢ、縦１８ＭＢの大きさで符号化される。１ＭＢは１６Ｘ１６画素から構成されるため、任意のＭＢの位置を表すには１画面の画素数を数える１６Ｘ１６Ｘ２２Ｘ１８のカウンタがあれば可能である。1/22のカウンタは横方向のＭＢをカウントし、1/18のカウンタは縦方向のＭＢをカウントする。
図４にＭＢ単位の符号化領域判定回路をフレームカウンタとデコーダで構成した回路を示す。カウンタの出力から縦横それぞれのＭＢ位置を示す値の時にＨレベルを出力するようデコードする。ただしイントラ判定の場合はＬレベルを出力する。カメラ操作時には、ズーム時の領域、上下操作時の領域、左右操作時の領域がＨレベルとなり、それぞれをＯＲした結果が符号化領域判定結果となる。
また図５にはＭＢ単位の符号化領域判定回路をフレームカウンタとＲＯＭで構成した回路を示す。カウンタの出力とカメラ制御信号とイントラ判定信号が、ＲＯＭのアドレスに入力されているので、符号化領域判定は容易に判定可能である。図４におけるのデコード回路が不要になるので、回路構成の簡素化が可能である。

可変長符号化された映像信号符号化データは多重化部２に入力され、動ベクトルやヘッダ情報、その他付加情報と共に多重化された後に伝送路に出力される。

一方、逆量子化回路２３に入力された映像信号符号化データは、逆ＤＣＴ回路（ＩＤＣＴ）２４へ入力され、選択器１７で選択されたデータの近似値に変換される。この場合、同値ではなく近似値になる理由は量子化誤差を含んでいるためである。

続いて加算器２８において、ベクトル検出回路３１によって検出されるベクトル分だけ動いた前フレームのデータと、フレームメモリ２９から読み出された後、遅延素子２７によってタイミングを調整されたデータとが加算される。加算結果は、これから符号化しようとするＭＢとの差分を得るため、前フレームのデータを蓄えたフレームメモリ２９と、ベクトル検出のために必要な検索領域を蓄えたフレームメモリ３０にそれぞれ書き込まれる。

また符号化領域判定回路２１は、上述した選択器１７の制御のほかに、量子化テーブル設定回路２２と選択器２６の制御も行う。通常は多重化部２で発生した情報量を基に発生情報量制御回路２５に「一番粗い量子化テーブル」が選択されるよう制御が行われる。この際、選択器２６では「ベクトル０」が選択され、多重化部２において可変等符号化された映像信号符号化データと多重化される。

図２は、本発明の符号化部にカメラ制御信号がどのように伝わるかを示したブロック図である。ローカル側画像伝送装置において、リモコン１０３からの制御信号は、リモートコントローラレシーバ１５で受信され装置制御ＣＰＵ１４に入力される。

ＣＰＵ１４を制御する装置制御ソフトウェアに基づいて自局カメラ１０２を動作させ、このカメラ１０２が撮影した映像を符号化して相手に伝送するローカル制御の場合、ＣＰＵ１４を介して制御信号が送信されて自局カメラ１０２が制御される。その後制御内容は符号化部（ＥＮＣＯＤＥＲ）１１へ送信され、カメラ制御信号を受信している最中はずっと符号化処理が行われる。

これに対し相手局カメラ２０２を動かし、相手局カメラ２０２が撮影した映像を自局で復号化し自局モニタ１０１に映し出すリモート制御の場合についても説明する。リモートコントローラレシーバ１５より装置制御ＣＰＵ１４へ送信された制御信号は多重化部（ＭＵＸ）１２へ送信され、さらにＬＳＤ（Low Speed Data）領域で多重化され、映像、音声とともにリモート側画像伝送装置２００へ伝送される。リモート側画像伝送装置２００において、制御信号は分離部６にてＬＳＤ領域から分離され、装置制御ＣＰＵ４へ送信される。装置制御ＣＰＵ４の装置制御ソフトウェアによりカメラ２０２へ制御信号が送信され、カメラ制御信号を受信中は符号化領域を制限した符号化を行う。

続いて、本発明の実施形態の動作について詳細に説明する。ここでは、詳細符号化領域を画面全体の１／３にした場合につき説明する。一般に、映像データは１６×１６画素で構成されるマクロブロック単位で符号化処理される。ＩＴＵ−Ｔ（前ＣＣＩＴＴ）勧告H.261やH.263で規定される映像フォーマットのＣＩＦ（Common-intermediate-form）で符号化している場合は、図３ａに示すように１画面の映像データは横２２ＭＢ、縦１８ＭＢの大きさで符号化される。本発明による詳細符号化領域を画面全体の１／３とした場合、カメラ制御が「左右」「上下」「ズームアップ／ダウン」におけるそれぞれの詳細符号化領域は次のように設定される。

左右：横１ＭＢ〜２２ＭＢ、縦７ＭＢ〜１２ＭＢ（図３ｂ）
上下：横８ＭＢ〜１４ＭＢ、縦１ＭＢ〜１８ＭＢ（図３ｃ）
ズーム：横６ＭＢ〜１７ＭＢ、縦５ＭＢ〜１５ＭＢ（図３ｄ）
また符号化部では次のような動作が行われる。リモコン等でカメラを操作した場合、カメラ制御信号はリモコンリモートコントローラレシーバ１５より制御ＣＰＵ１４へ送信される。たとえばローカル制御なら装置制御ソフトウェアにより制御信号が送信されることで自局カメラ１０２が制御される。同時にこの制御内容は符号化部１１へ送信され、カメラ制御信号を受信している最中は符号化領域を制限する。リモート制御の場合は、リモートコントローラレシーバ１５より制御ＣＰＵ１４へ送信された信号は多重化部１２へ送信され、ＬＳＤ領域に多重され映像、音声とともにリモート側画像伝送装置へ送出される。リモート側においては、制御信号は分離部６にてＬＳＤ領域から分離され、装置制御ＣＰＵ４へ送信される。ＣＰＵ１４の装置制御ソフトウェアによりカメラ２０２へ送信されカメラを制御する。同時に制御内容はリモート側の符号化部１へ送信され、カメラ制御信号を受信している最中は符号化領域を制限する。

符号化部１あるいは１１に入力された映像データは、イントラＭＢであれば何も減算せず離散コサイン変換（ＤＣＴ）回路へ入力される。イントラＭＢでなく詳細符号化領域のＭＢであれば、減算器により前フレームの符号化データとの差分が求められ、ＤＣＴ回路へ入力される。可変長符号化回路から出力した映像符号化データは多重化部へ入力され、動ベクトルやその他の付加情報とともに多重され、伝送路へ出力される。またこれと同時に映像符号化データは発生情報量制御回路にも入力され、量子化テーブルを制御する。逆量子化回路の出力は逆ＤＣＴ回路に入力される。この回路の出力データは、ベクトル検出回路によって検出されたベクトル分だけ動いた前フレームのデータと加算された後、フレームメモリに書き込まれる。

符号化領域判定部では、これから符号化しようとしているＭＢが詳細符号化領域内に存在するか、それ以外の領域に存在するかを判定する。この回路はフレームカウンタ等で容易に実現可能である。判定結果は、前フレームのＭＢとの差分を０とする選択器と、量子化テーブル設定回路と、動ベクトルとベクトル０を切り替える選択器へそれぞれ入力される。
イントラモードでありかつこれから符号化しようとしているＭＢが詳細符号化領域内に存在する場合は、差分値を選択し、量子化テーブルは発生情報量制御回路により制御され、ベクトル検出回路が検出した動ベクトルが選択される。イントラモード以外あるいは詳細符号化領域外に存在する場合は、前フレームのＭＢとの差分を０とするように選択器を切り替える。これにより、量子化テーブルは一番粗いものが選択され、ＤＣＴ回路により求められたＤＣＴ係数を量子化する。また、選択器２６によりベクトル０が選択され、動ベクトル符号化データが多重化部（ＭＵＸ）へ入力される。

本回路では、全体の２／３は前フレームのＭＢとの差分を０としているためＤＣＴ係数は０となり、０を一番粗い量子化ステップサイズで量子化し、ベクトルを０として符号化する。したがって詳細符号化領域に通常の符号化時より約３倍多くの情報量を発生させることができる。そのため、「コマ落ち」や「粗い量子化による画面全体の不鮮明化」といった課題を抑制することができ、より鮮明な映像を送信可能となる。

詳細符号化領域は任意に設定することが可能であり、また判定回路は全画面の画素を数えるフレームカウンタがあれば容易に実現可能である。これから符号化しようとするＭＢが詳細符号化領域なのかそれ以外なのかは、画面中の任意の場所に設定することが可能である。

また、前フレームのＭＢとの差分を０にする選択器があれば、量子化ステップサイズを強制的に一番粗いものとせずとも量子化結果は同じとなり、判定回路が量子化テーブル設定を制御する必要がない。判定回路は、発生情報量制御回路によらず確実に量子化ステップを一番粗いものとすることと、量子化のための演算回路の負荷を軽減させることに専念できる。

本発明の実施形態における符号化回路の構成を示す詳細ブロック図である。本発明の符号化回路を適用した動画像符号化装置及び方法の構成を示す全体ブロック図である。（ａ）はＣＩＦで符号化された１画面の映像データ領域であり、（ｂ）はカメラ制御が「左右」、（ｃ）は「上下」、（ｄ）は「ズームアップ／ダウン」における詳細符号化領域を示す図である。フレームカウンタとデコーダで構成したＭＢ単位の符号化領域判定回路を示す図である。フレームカウンタとＲＯＭで構成したＭＢ単位の符号化領域判定回路を示す図である。従来の画像符号化装置を示すブロック図である

符号の説明

１符号化部（リモート側）
２多重化部（リモート側）
３送信バッファメモリ（リモート側）
４装置制御ＣＰＵ（リモート側）
５受信バッファメモリ（リモート側）
６分離部（リモート側）
７復号化部（リモート側）
８受信バッファメモリ（リモート側）
９分離部（ローカル側）
１０復号化部（ローカル側）
１１符号化部（ローカル側）
１２多重化部（ローカル側）
１３送信バッファメモリ（ローカル側）
１４装置制御ＣＰＵ（ローカル側）
１５リモートコントローラレシーバ
１６減算器
１７選択器
１８ＤＣＴ（離散コサイン変換）回路
１９量子化器
２０可変長符号化回路
２１符号化領域判定部
２２量子化テーブル設定回路
２３逆量子化器
２４ＩＤＣＴ（逆離散コサイン変換）回路
２５発生情報量制御回路
２６選択器
２７遅延素子
２８加算器
２９フレームメモリ
３０フレームメモリ
３１ベクトル検出回路
１００ローカル側画像伝送装置
１０１モニタ（ローカル側）
１０２カメラ（ローカル側）
１０３リモコン
２００リモート側画像伝送装置
２０１モニタ（リモート側）
２０２カメラ（リモート側）

Claims

撮像装置により得られる動画像信号を符号化して送信する動画像符号化方法において、
符号化対象画像情報を複数のマクロブロックに分割するとともに特定領域を主画面ブロックに設定し、前記撮像装置の動作状態に対応して前記符号化対象画面情報をすでに送出された前画面情報の差分を算出して、前記符号化対象画像情報をマクロブロック毎にイントラモード判定を行い、前記主画面ブロック以外のマクロブロックについてはイントラモードのみ符号化し、主画面ブロック以外でかつイントラモード以外の領域は選択量子化ステップ量を最も粗く符号化し、前記主画面ブロックに対して余剰符号化ビットを割り当てて最大限可能な量子化ステップ量で符号化し、該符号化された全マクロブロックを併せて符号化済画像情報を送出した後、前記送出された符号済画像情報を前画面情報として更新することを特徴とする動画像符号化方法。
前記主画面ブロック以外でかつイントラモード以外の領域については、差分値０を選択出力して量子化するとともに動ベクトル０を選択して前記符号化済画像情報に多重化することを特徴とする請求項１記載の動画像符号化方法。
撮像装置により得られる動画像信号を符号化して送信する動画像符号化装置において、
符号化対象画像情報を複数のマクロブロックに分割して特定領域を主画面ブロックに設定するマクロブロック設定手段と、前記撮像装置の動作状態に対応して前記符号化対象画面情報をすでに送出された前画面情報の差分を算出する減算手段と、前記符号化対象画像情報をマクロブロック毎にイントラモード判定を行うイントラ判定手段と、量子化ステップ量を設定する量子化テーブル設定手段と、前記符号化対象画像情報を前記主画面ブロック以外のマクロブロックについてはイントラモードのみ符号化し、前記主画面ブロック以外かつイントラモード以外のマクロブロックは差分値０を出力する選択手段と、前記選択手段が差分値０を出力した際に量子化ステップ量を最も粗く符号化し、前記主画面ブロックについては余剰符号化ビットを割り当てて最大限可能な細かさの量子化ステップ量で符号化する符号化手段と、符号化された全マクロブロックを併せて符号化済画像情報を送出する送出手段と、前記送出された符号済画像情報を前画面情報として更新する記憶手段とからなることを特徴とする動画像符号化装置。
前記主画面ブロック以外でかつイントラモード以外の領域について、差分値０を選択出力する第一の選択器と、動ベクトル０を選択出力する第二の選択器と、該動ベクトル０を符号化済画像情報に多重化する多重化手段とを備えることを特徴とする請求項３記載の動画像符号化装置。