JP3210082B2 - 符号化装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は符号化装置に係り、特
に符号化の際に動きベクトルによる動き補償を用いた動
き補償予測符号化装置に関するものである。

【０００２】

【従来の技術】従来より画像情報をデジタル伝送する場
合、伝送データ量を削減するために各種の符号化方式が
提案されている。

【０００３】その提案されている符号化方式の１つに、
フレーム内符号化とフレーム間符号化とを切り換えて符
号化する方式がある。

【０００４】フレーム内圧縮は、近接する画素同士は明
るさと色が類似する同画像の特性を利用して情報低減す
る方式である。

【０００５】実際の画像では、空や壁など大半の部分は
同程度の明るさと色がほぼ続いているため、フレーム内
圧縮のみを用いても１／５〜１／１０程度の圧縮が可能
である。

【０００６】フレーム間圧縮は、類似した画像を利用し
て、補正分の情報のみで画像を得る方式である。

【０００７】通常動画では近接するフレームの絵柄は、
多少の動きや変形はあるが類似している。この点を利用
して、まず圧縮符号化しようとするフレームと近接する
フレーム間との類似性（動き、色、明るさ等）を計算す
る。その計算に基づいて「予測値」、つまり「近接フレ
ーム」から「符号化しようとするフレーム」に更に類似
したフレームの値を算出する。

【０００８】次に、符号化しようとするフレームから
「予測値」との差分情報のみを符号化（記録・伝送）す
る。このため、データ量（補正分）が低減する。

【０００９】つまり人物だけ移っている動画で人物が右
に移動した場合、一つ前のフレームで、移動の補正情報
も含めて人物がいる画素が予測値で、右に移動した全体
の画素から予測値を引いたものが差分となる。

【００１０】従来の符号化装置の場合、一般にフレーム
間処理により圧縮する場合、伝送路上で誤りが発生する
と、その誤りが伝播することが知られている。したがっ
て、フレーム間処理を所定数行うと自動的にフレーム内
処理（リフレッシュ動作）を行うものとなっていった。

【００１１】

【発明が解決しようとする課題】各符号化画面の１フレ
ーム当りのデータ量は、フレーム内処理の場合１６Ｋ〜
２５Ｋバイト、フレーム間処理の場合７〜１０Ｋバイト
程度である。

【００１２】つまり、一般にフレーム内処理はフレーム
間処理よりも発生するデータ量が多いことが知られてい
る。

【００１３】従って、定期的にフレーム内符号化を行う
場合、その直前の量子化ステップ（フレーム間符号化に
使われた量子化ステップ）を使って量子化すると急にデ
ータ発生量が増えてしまい、伝送レート上の問題とな
る。

【００１４】そこで、データ発生量を抑えるために量子
化ステップを変えて、符号化を行うと今度は画質劣化を
引き起こしてしまうという問題が生じる。

【００１５】上述のような問題は、複数の符号化モード
を適応的に切り換えて符号化を行う符号化装置（少なく
とも予測符号化モードを有する）に発生するものであ
る。

【００１６】上述したような背景から、本願発明は従来
の符号化装置における上述の問題を解消し、信号劣化を
防止した画像符号化装置及びその方法を提供することを
目的とする。

【００１７】

【課題を解決するための手段】本願は斯かる目的下にそ
の一つの発明として、画像データを入力する入力手段
と、前記画像データの１画面中の第１エリアに対して画
面内符号化し、前記１画面中の前記第１エリア以外の第
２エリアに対して画面内符号化と動き補償を用いた画面
間符号化とを適応的に用いて符号化する符号化手段と、
前記第１エリアの位置を所定画面毎に移動させる制御手
段とを有し、前記第１エリアの移動方向に対する幅Ｗ
は、Ｗ≧Ｍ＋１、Ｍ：前記移動方向に対する前記動き補
償可能な最大検索範囲量、を満足する値であり、前記制
御手段には、１≦Ｓ≦(Ｗ−Ｍ)、Ｓ：前記所定画面毎に
移動させる前記第１エリアの移動量、を満足する値に設
定された移動量Ｓを示すデータが入力され、その入力さ
れたデータに基づいて前記第１のエリアを移動させるこ
とを特徴とする画像符号化装置を提示する。また、その
一つの発明として、画像データを入力する入力工程と、
前記画像データの１画面中の第１エリアに対して画面内
符号化し、前記１画面中の前記第１エリア以外の第２エ
リアに対して画面内符号化と動き補償を用いた画面間符
号化とを適応的に用いて符号化する符号化工程と、前記
第１エリアの位置を所定画面毎に移動させる制御工程と
を有し、前記第１エリアの移動方向に対する幅Ｗは、Ｗ
≧Ｍ＋１、Ｍ：前記移動方向に対する前記動き補償可能
な最大検索範囲量、を満足する値であり、前記制御工程
では、１≦Ｓ≦(Ｗ−Ｍ)、Ｓ：前記所定画面毎に移動さ
せる前記第１エリアの移動量、を満足する値に設定され
た移動量Ｓを示すデータが入力され、その入力されたデ
ータに基づいて前記第１のエリアを移動させることを特
徴とする画像符号化方法を提示する。

【００１８】

【００１９】

【実施例】以下、本願発明にかかる実施例の符号化装置
を説明する。

【００２０】図１は本実施例を適用させた符号化装置の
ブロック図である。

【００２１】図１において、１０１は画像信号が入力さ
れる入力端子、１０２は入力されたアナログ信号をデジ
タル信号に変換するＡ／Ｄ変換回路、１０３は画素順序
を入れかえてブロックに分割するブロック分割回路、１
０４は現フレーム信号と予測信号の差分演算を行う予測
誤差算出回路、１０５は前記ブロック分割器１０３から
の入力と予測誤差算出回路１０４からの入力とを切り換
えるスイッチ回路である。

【００２２】１０６は現フレーム信号と予測誤差信号と
を比較し、符号化信号を選択する判定回路である。

【００２３】１０７はリフレッシュ制御回路である。リ
フレッシュ制御回路１０７にはフレーム信号と後述する
Ｗ，Ｓの設定値が入力されている。リフレッシュ制御回
路１０７の動作は後述詳しく説明する。

【００２４】１０８は前記判定回路１０６の判定結果と
リフレッシュ制御回路１０７からのリフレッシュ制御信
号を入力とするＯＲ回路、１０９はスイッチ回路１０５
により選択された信号を直交変換する直交変換回路、１
１０は直交変換係数を量子化する量子化回路、１１１は
量子化回路１１０により量子化された係数を可変長符号
化する可変長符号化回路、１１２は発生するデータ量と
伝送されるデータ量を制御するためのバッファメモリ、
１１３は伝送フォーマットを作成する為の伝送Ｉ／Ｆ回
路、１１４は伝送信号出力端子である。

【００２５】１１５は量子化回路１１０の逆量子化を行
う逆量子化回路、１１６は直交変換回路１０９の逆変換
を行う逆直交変換回路、１１７は現フレームの画像を再
生するための加算回路、１１８はスイッチ回路１０５に
連動してＯＲ回路１０８の出力によりａ，ｂ端を選択す
るスイッチ回路である。

【００２６】１１９は現フレームの再生画像を一時記憶
する画像メモリ回路、１２０は現フレームと前フレーム
の信号を比較して動きベクトルを算出する動きベクトル
検出回路、１２１は前フレームの再生画像信号に対して
動きベクトル検出回路１２０の信号に応じて動き補償を
行う動き補償回路である。

【００２７】以下、上述のような構成を備える符号化装
置の動作について説明する。

【００２８】入力端子１０１に入力されたアナログ画像
信号はＡ／Ｄ変換回路１０２でデジタル信号に変換さ
れ、更にブロック分割器１０３で水平方向ａ画素、垂直
方向ｂラインのブロック、例えばａ＝ｂ＝８に分割され
る。

【００２９】この信号は予測誤差算出回路１０４、フレ
ーム内／フレーム間符号化切換スイッチ回路１０５ａ
端、フレーム内／フレーム間符号化判定回路１０６に入
力される。

【００３０】予測誤差算出回路１０４には、前フレーム
の動き予測値と現フレームの信号が入力され、その差分
値を算出してスイッチ１０５ｂ端と判定回路１０６に入
力される。

【００３１】判定回路１０６は入力された現フレーム信
号と予測誤差信号とで比較を行い符号化効率の良い方
（フレーム間／フレーム内符号化）を判定出力とする。

【００３２】判定出力はＯＲ回路１０８を介してスイッ
チ回路１０５，１１８を制御し、現フレームが符号化効
率がよければａ端を、予測誤差信号の方がよければｂ端
を適応的に選択する。

【００３３】ＯＲ回路１０８の他方にはリフレッシュ制
御回路１０７からのリフレッシュのために定期的に強制
フレーム内とする制御信号が入力される。

【００３４】このリフレッシュ動作は画像に誤りが発生
した場合に、その誤りの伝播を止めることを目的として
いる。

【００３５】この制御回路１０７の動作の詳細は後述す
る。

【００３６】スイッチ回路１０５により選択された信号
は直交変換回路１０９に入力される。

【００３７】本実施例では直交変換方式として、高い変
換効率を持ち、ハードウェア化で実現性のある離散コサ
イン変換（ＤＣＴ）を適用する。

【００３８】直交変換回路１０９からはその変換後の係
数が出力され、量子化回路１１０に入力される。

【００３９】量子化回路１１０では、入力された直交変
換係数を画像の視覚特性等を考慮した特性により量子化
する。量子化回路１１０の出力信号は可変長符号回路１
１１と逆量子化回路１１５にそれぞれ入力される。

【００４０】可変長符号化回路１１１は直行変換後のデ
ータが画像の特性からデータ発生分布が効率よく符号化
されるようにデータの並び変えを行ない、更にその分布
の特性が符号化効率に最適となるような可変長符号化を
行なう。

【００４１】可変長符号化回路１１１からの出力信号は
バッファメモリ１１２に入力される。バッファメモリ１
１２では可変長符号化回路１１１からのデータの発生量
と伝送されるデータ量をある単位時間で等しくなるよう
に動作する。バッファメモリ１１２からの出力は伝送Ｉ
／Ｆ回路１１３に入力される。

【００４２】伝送Ｉ／Ｆ回路１１３では伝送クロックに
同期して、バッファメモリ１１２の画像データを伝送フ
ォーマットに従って出力端子１１４に出力する。このと
き伝送フォーマットに含まれる動きベクトル情報，伝送
同期信号及び誤り訂正符号等も同時に多重伝送される。

【００４３】一方、逆量子化回路１１５に入力された信
号は、量子化回路１１０と逆の特性により量子化回路１
１０の入力信号と同じ信号が逆量子化回路１１５から出
力され、逆直交変換回路１１６に入力される。同様に直
交変換回路１０９の逆変換回路である逆直交変換回路１
１６により、直交変換回路１０９の入力信号と同じ信号
が出力される。

【００４４】加算回路１１７には、前記逆変換された信
号と、スイッチ１１８からの出力信号とが入力される。

【００４５】スイッチ１１８がａ端に接続された時は、
フレーム内処理でありスイッチ１０５も同様にａ端が選
択され、現フレームの信号が差分を取ることなく符号
化、逆符号化され加算回路１１７に入力される。

【００４６】このときスイッチ１１８のａ端は「０」で
あるため、加算回路１１７の出力はブロック分割回路１
０３の出力信号と等しくなる。

【００４７】また、スイッチ１１８がｂ端の時は動き補
償回路１２１の出力、つまり予測値との差分がスイッチ
１０５から出力され、加算回路１１７に入力される。

【００４８】スイッチ１１８のｂ端は前記予測値と同じ
信号なので加算回路１１７で加算されることで出力は同
様にブロック分割回路１０３の出力と等しくなる。

【００４９】画像メモリ１１９は現フレーム信号を記憶
し、約１フレーム分の遅れをもって出力される。

【００５０】動きベクトル検出回路１２０は前記画像メ
モリ１１９の出力、つまり現フレームの画像データが入
力され、画像メモリ１１９に記憶されている前フレーム
の画像信号と比較して、符号化ブロックの動きを動きベ
クトルとして算出して動き補償回路１２１に出力する。

【００５１】動き補償回路１２１は前フレームの画像信
号を動きベクトル検出回路１２０からのベクトル情報に
より動き補償を行ない予測値として出力する。

【００５２】以下、リフレッシュ制御回路１０７の制御
動作について詳細に説明する。

【００５３】図２はリフレッシュ制御回路１０７からの
出力信号と入力される設定値Ｗ，Ｓの関係を示す図であ
る。

【００５４】ある第１フレームは設定されたＷ期間リフ
レッシュ動作となる”１”の信号であり、他の期間は”
０”であり、通常動作、つまり通常の符号化処理を行な
う。

【００５５】このＷが”１”の期間は１ライン周期で繰
り返し出力されるため画面上ではＷの幅をもつ縦ストラ
イプとなり、その画面エリアがリフレッシュ動作される
ことになる。

【００５６】次のフレームである第２フレームでは”
１”の期間が第１フレームに対し、設定値Ｓだけ遅れた
信号となっている。画面上では同じＷの幅をもつ縦スト
ライプがＳだけ横に移動した形となる。

【００５７】第３フレームについても同様のシフト動作
を繰り返し、ｎフレームで一巡する。

【００５８】リフレッシュ制御回路１０８からは以上の
ような動作となるリフレッシュ制御信号が出力される。
この動作を画面上に表現した図が図３（ａ）である。

【００５９】図３（ｂ）は（ａ）の縦、横の関係を逆に
した場合であり、この場合であっても次に述べる条件を
満足させるＷ，Ｓの値であれば同様な効果が得られる。

【００６０】本実施例ではＷ、Ｓ及び後述するＭを次の
ような条件を満足する値に設定する。

【００６１】以下、図４を用いて説明する。

【００６２】図４において、第１フレームにおいて図に
示すようなリフレッシュ動作をした場合、第１フレーム
のエラーを含む画像部分は、第２フレームにおいてフレ
ーム間動き補償により、その補償範囲にエラー伝播する
可能性がある。

【００６３】その伝播可能な範囲の幅をＭとする。つま
り前記Ｍ幅は動き補償を行う際の検索移動範囲量であ
る。このとき Ｗ≧Ｍ＋１ １≦Ｓ≦（Ｗ−Ｍ） を満足するＷ，Ｓの値に設定する。

【００６４】図４中の第２フレームでは、リフレッシュ
エリア（フレーム内符号化を行うエリア）が第１フレー
ムに対しＳだけ移動するが、上記条件式を満足すると第
１フレームと第２フレームのリフレッシュエリアはＭ以
上オーバーラップするためエラー伝播可能な範囲は第２
フレームで再びリフレッシュされ、第１フレームでリフ
レッシュされたエリアにはエラーが伝播することはな
い。

【００６５】同様に横方向に順おって移動し、リフレッ
シュすることでエラーを含む画像エリアはすべてエラー
を残すことなくリフレッシュすることが可能となる。

【００６６】更に全フレームに対して常に一定量のリフ
レッシュエリアが設定されるため、リフレッシュによる
急激な情報量の変化を避けることができ、急激な画像劣
化又、バッファ制御（情報量制御）への影響が低減され
る。

【００６７】本実施例では、フレーム間動き補償符号化
について説明したがフィールド間動き補償についても同
様である。又、フィールド間／フレーム間動き補償につ
いてもそれぞれの動き補償範囲について同様である。

【００６８】Ｍ，Ｗ，Ｓの値は、画素単位、ブロック単
位でもよくハードウェアの通合に設定可能な値にそれぞ
れ量子化、換算して設定すればよい。

【００６９】

【発明の効果】以上説明したように、本願発明によれ
ば、従来のようにリフレッシュによって急激な情報量の
変化がなくなり、リフレッシュによる急激な画質劣化、
フリッカーをなくすことができる。また、誤りの伝播を
所定周期で確実に止めることができるので、総合的な画
質を大幅に向上させる効果がある。

【図面の簡単な説明】

【図１】本実施例にかかる符号化装置を説明するための
ブロック図である。

【図２】本願発明の図１中のリフレッシュ制御回路１０
７を説明する図である。

【図３】本実施例のリフレッシュ動作を説明する図であ
る。

【図４】本実施例のリフレッシュ動作を説明する図であ
る。

【符号の説明】

１０５，１１８ スイッチ回路 １０６ 判定回路 １０７ リフレッシュ制御回路 １０８ ＯＲ回路 １２０ 動きベクトル検出回路 １２１ 動き補償回路

フロントページの続き (56)参考文献 特開 平５−236464（ＪＰ，Ａ) 特開 平２−200084（ＪＰ，Ａ) 特開 平３−136587（ＪＰ，Ａ) 特開 平３−190482（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 画像データを入力する入力手段と、 前記画像データの１画面中の第１エリアに対して画面内
   符号化し、前記１画面中の前記第１エリア以外の第２エ
   リアに対して画面内符号化と動き補償を用いた画面間符
   号化とを適応的に用いて符号化する符号化手段と、 前記第１エリアの位置を所定画面毎に移動させる制御手
   段とを有し、 前記第１エリアの移動方向に対する幅Ｗは Ｗ≧Ｍ＋１ Ｍ：前記移動方向に対する前記動き補償可能な最大検索
   範囲量 を満足する値であり、 前記制御手段には、 １≦Ｓ≦(Ｗ−Ｍ) Ｓ：前記所定画面毎に移動させる前記第１エリアの移動
   量 を満足する値に設定された移動量Ｓを示すデータが入力
   され、その入力されたデータに基づいて前記第１エリア
   の位置を移動させることを特徴とする画像符号化装置。
2. 【請求項２】 画像データを入力する入力工程と、 前記画像データの１画面中の第１エリアに対して画面内
   符号化し、前記１画面中の前記第１エリア以外の第２エ
   リアに対して画面内符号化と動き補償を用いた画面間符
   号化とを適応的に用いて符号化する符号化工程と、 前記第１エリアの位置を所定画面毎に移動させる制御工
   程とを有し、 前記第１エリアの移動方向に対する幅Ｗは Ｗ≧Ｍ＋１ Ｍ：前記移動方向に対する前記動き補償可能な最大検索
   範囲量 を満足する値であり、 前記制御工程では、 １≦Ｓ≦(Ｗ−Ｍ) Ｓ：前記所定画面毎に移動させる前記第１エリアの移動
   量 を満足する値に設定された移動量Ｓを示すデータが入力
   され、その入力されたデータに基づいて前記第１エリア
   を移動させることを特徴とする画像符号化方法。