JPH10210480A - 動画像符号化方式 - Google Patents

Abstract

(57)【要約】 【課題】 各ブロックが領域の境界近辺にあるか否かで
有効ブロック判定の閾値を変えることにより、視覚的に
目立たない予測誤差の符号化を避け、符号量削減のでき
る動画像符号化方式を得る。 【解決手段】 ブロック毎に予測誤差信号の評価量Ｅｍ
を求め、評価量Ｅｍが閾値以上のときは当該ブロックを
有効ブロック、閾値未満のときは無効ブロックと判定
し、かつこの閾値は当該ブロックの領域内の位置によっ
て切り替えられるよう構成した有効ブロック判定部１０
１を有し、無効ブロックと判定された場合には当該ブロ
ックに関する予測誤差情報は送らず、有効ブロックと判
定された場合には直交変換した後にその変換係数を量子
化し、非零信号が生じた場合には量子化された変換係数
値を伝送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、動画像の時間軸
方向の相関を利用して符号化を行う動画像符号化方式に
関する。

【０００２】

【従来の技術】図６は、例えば、特公平８−２１０６号
公報に示された従来の動画像符号化方式を示すブロック
図である。図６において、入力端子１より供給される入
力画像信号は減算器２の第一の入力に与えられる。減算
器２の出力は遅延器３ａを介して、切替器４の第一の入
力に与えられる。入力端子１より供給される入力画像信
号は遅延器３ｂを介して、切替器４の第二の入力にも与
えられる。切替器４の第三の入力には零信号が与えられ
る。一方、入力端子１より供給される入力画像信号と減
算器２の出力は、有効ブロック判定部およびフレーム間
／フレーム内選択部（以下、「判定および選択部」とい
う）５にも入力される。この判定および選択部５の第
一，第二の出力は、それぞれ、切替器４の第四，第五の
入力に与えられる。切替器４の出力は直交変換器６およ
び量子化器７を介して図示していない復号器側に送出さ
れるが、合わせて逆量子化器８にも送られる。逆量子化
器８の出力は逆直交変換器９を介して、加算器１０の第
一の入力に与えられる。加算器１０の出力は動き補償予
測器１１の第一の入力に与えられる。動き補償予測器１
１の第二の入力には入力端子１から供給される入力画像
信号が与えられ、動き補償予測器１１の出力は減算器２
の第二の入力と切替器１２の第一の入力に与えられる。
切替器１２の第二の入力には零信号が与えられ、切替器
１２の第三の入力には判定および選択部５の第一の出力
が与えられる。切替器１２の出力は加算器１０の第二の
入力に与えられる。

【０００３】次に動作について説明する。入力信号は動
画像信号を複数画素分まとめてブロック化したものであ
る。この入力信号は入力端子１から供給されて、減算器
２において動き補償予測値との差分がとられ、フレーム
間予測誤差信号が得られる。この予測誤差信号と入力画
像信号は、判定および選択部５に送られる。この判定お
よび選択部５は、各ブロックをフレーム間で符号化する
かフレーム内で符号化するかを示す第一の制御信号と、
各ブロックが有効ブロックであるか否かを示す第二の制
御信号とを出力する。遅延器３ａおよび３ｂは判定およ
び選択部５内で生ずる遅延分を補正するためのものであ
る。切替器４は判定および選択部５から出力される２つ
の制御信号に基づき、フレーム間予測誤差信号、フレー
ム内信号、零信号のいずれかを選択して出力する。切替
器４の出力は直交変換され、量子化されて、図示してい
ない復号器側へ出力される。

【０００４】この量子化された変換係数は、逆量子化器
８を介して逆直交変換器９にも入力され、再生値が出力
される。加算器１０において、この再生値に動き補償予
測値を加えるか、零を加えるかは、前記フレーム間／フ
レーム内選択部５からの第一の制御信号により決定さ
れ、切替器１２で選択される。

【０００５】加算器１０から出力される信号は復号信号
であり、動き補償予測器１１の中に記憶され、以後の予
測符号化に使用される。動き補償予測器１１は、入力端
子１から供給される入力信号と、記憶されている復号信
号との比較により動き量を検出し、動き補償予測値を出
力する。

【０００６】判定および選択部５は、両部分を別々に構
成することもできるが、共通化できる部分も多数あるた
め、両者を合わせた判定および選択部５で示している。
一般に、テレビ会議信号のような動画像信号を対象とす
る場合、背景などの静止している部分については、フレ
ーム間予測誤差信号が０となるので、この誤差信号を送
らないことにより伝送効率を高めることが可能である。
しかしながら、このような静止部分においても、入力画
像信号に雑音が乗っていたりするために、予測誤差信号
が０とならず、これを直交変換するとある変換係数に大
きな値が生じることがある。この場合、本来なら情報を
送らなくてよいブロックについても信号を送らなくては
ならないことになる。このような場合には、伝送効率の
低下となるばかりでなく、隣り合うブロックで情報を送
ったり送らなかったりするために、ブロック歪みが生じ
て視覚的妨害となることがある。そこで、直交変換を行
う前に、予測誤差信号をブロック毎にまとめて有効／無
効の判定を行い、無効ブロックについては予測誤差信号
を０にリセットすることで、効率の低下を防いでいる。

【０００７】また、動きの大きなブロックやシーンチェ
ンジにおいては、予測誤差が大きくなるため、入力画像
信号をそのまま直交変換した方が伝送効率が高くなるこ
とがある。そこで、ブロック毎に、フレーム間／フレー
ム内符号化を選択することが有効となる。

【０００８】まず、有効ブロック判定部は、ブロック毎
に予測誤差信号の２乗和Ｓｍをとり、この評価量Ｓｍが
予め定められた閾値Ｔ１以上のときは現入力ブロックを
有効ブロックとしてフレーム間予測誤差信号をそのまま
直交変換符号化するが、Ｔ１未満のときは現入力ブロッ
クを無効ブロックとし、以後このブロックの予測誤差信
号を全て零とする。また、フレーム間／フレーム内選択
部は、上記評価値Ｓｍと、入力ブロックの分散値Ｓｉと
を用い、予め定めた閾値Ｔ２について、Ｓｍ≧Ｔ２でか
つＳｍ＞Ｓｉの時には、入力画像信号を選択して、フレ
ーム内符号化を行うように制御し、Ｓｍ＜Ｔ２またはＳ
ｍ≦Ｓｉの時にはフレーム間予測誤差信号を選択するよ
う制御する。

【０００９】

【発明が解決しようとする課題】従来の動画像符号化方
式においては、静止している部分の画像に雑音が乗って
いる場合も、画質劣化や伝送効率の低下を生じないよう
に、有効ブロックの判定を行なっていた。しかしなが
ら、従来、有効ブロックの判定には予測誤差信号のみを
用いているため、入力画像の性質が考慮されず、視覚的
に目立たない予測誤差も符号化を行い、符号量削減の妨
害となっているという問題があった。

【００１０】この発明は上記のような問題点を解消する
ためになされたもので、当該ブロックが視覚的に誤差の
目立ちやすい領域の境界に存在するか否かを検出し、境
界近辺に存在するブロックに対しては有効ブロックが増
えるように、領域の内部に存在するブロックに対しては
無効ブロックが増えるように、有効ブロック判定の閾値
を変えることにより、視覚的に目立たない予測誤差の符
号化を避け、符号量削減のできる動画像符号化方式を得
ることを目的とする。

【００１１】

【課題を解決するための手段】請求項１の発明による動
画像符号化方式は、入力映像信号をブロックに分割し、
１個ないし互いに隣接する複数個のブロックをまとめて
領域を構成し、領域毎に画像間の動きパラメータを検出
し、この動きパラメータを用いた予測符号化により得ら
れる予測誤差信号を複数画素からなるブロックに分割
し、直交変換してブロック毎に予測誤差信号の評価量Ｅ
ｍを求め、評価量Ｅｍが閾値以上のときは当該ブロック
を有効ブロック、閾値未満のときは無効ブロックと判定
し、かつこの閾値は当該ブロックの領域内の位置によっ
て値が切り替えられるよう構成した有効ブロック判定部
を有し、無効ブロックと判定された場合には当該ブロッ
クに関する予測誤差情報は送らず、有効ブロックと判定
された場合には直交変換した後にその変換係数を量子化
し、非零信号が生じた場合には量子化された変換係数値
を伝送する。

【００１２】請求項２の発明による動画像符号化方式
は、画面間の予測符号化により得られる予測誤差信号を
複数画素からなるブロックに分割し、ブロック毎に直交
変換してブロック毎に予測誤差信号の評価量Ｅｍを求
め、評価量Ｅｍが閾値以上のときは当該ブロックを有効
ブロック、閾値未満のときは無効ブロックと判定し、か
つこの閾値は当該ブロックの領域内の位置によって値が
切り替えられるよう構成した有効ブロック判定部を有
し、無効ブロックと判定された場合には当該ブロックに
関する予測誤差情報は送らず、有効ブロックと判定され
た場合には直交変換した後にその変換係数を量子化し、
非零信号が生じた場合には量子化された変換係数値を伝
送する。

【００１３】

【発明の実施の形態】以下、この発明をその実施の形態
を示す図面に基づいて具体的に説明する。 実施の形態１．図１はこの発明の一実施形態による動画
像符号化方式を示すブロック図である。図において、１
は入力端子であり、入力端子１から入力された画像信号
は減算器２の第一の入力と動き検出回路１０３の第一の
入力に与えられる。減算器２の出力は遅延器（Ｔ）３ａ
に入力されるとともに、有効ブロック判定部１０１の第
一の入力にも与えられる。遅延器３ａの出力は切替器４
ａの第一の入力に与えられる。切替器４ａの第二の入力
には零信号が与えられ、切替器４ａの第三の入力には有
効ブロック判定部１０１の出力が与えられる。切替器４
ａの出力は直交変換器６に入力される。直交変換器６の
出力は量子化器（Ｑ）７に入力され、量子化器７の出力
は復号器側へ伝送されるとともに、逆量子化器（Ｑ^-1）
８にも入力される。

【００１４】逆量子化器８の出力は逆直交変換器９に入
力され、逆直交変換器９の出力は加算器１０の第一の入
力に与えられる。加算器１０の出力はフレームメモリ１
０２に入力され、フレームメモリ１０２の出力は、動き
検出回路１０３の第二の入力と予測画像作成回路１０４
の第一の入力に与えられる。動き検出回路１０３の第一
の出力は、分割情報符号化回路１０５の入力と予測画像
作成回路１０４の第二の入力と有効ブロック判定部１０
１の第二の入力に与えられる。動き検出回路１０３の第
二の出力は、領域情報符号化回路１０６の入力と予測画
像作成回路１０４の第三の入力と有効ブロック判定部１
０１の第三の入力に与えられる。動き検出回路１０３の
第三の出力は、動きパラメータ符号化回路１０７の入力
と予測画像作成回路１０４の第四の入力と有効ブロック
判定部１０１の第四の入力に与えられる。予測画像作成
回路の出力は減算器２の第二の入力と加算器１０の第二
の入力に与えられる。なお、フレームメモリ１０２と動
き検出回路１０３と予測画像作成回路１０４とは動き補
償予測器１１ａを構成している。

【００１５】図２は動き検出回路１０３の一構成例を示
すブロック図である。図において、２０１は入力端子１
から入力される画像と、フレームメモリ１０２から出力
される画像とを入力とするブロック単位動きベクトル検
出回路であり、ブロック単位動きベクトル検出回路２０
１の出力はブロック分割決定手段２０３の第一の入力に
与えられる。一方、入力端子１から入力される画像と、
フレームメモリ１０２から出力される画像とは、分割ブ
ロック単位動きベクトル検出回路２０２にも入力され、
分割ブロック単位動きベクトル検出回路２０２の出力は
ブロック分割決定手段２０３の第二の入力に与えられ
る。ブロック分割決定手段２０３の出力は、ブロック分
割／領域情報記憶手段２０４の第一の入力に与えられ
る。他方、入力端子１から入力される画像と、フレーム
メモリ１０２から出力される画像とは、動き情報検出手
段２０５の第一，第二の入力にも与えられる。動き情報
検出手段２０５の第三の入力には、ブロック分割／領域
情報記憶手段２０４の第一の出力が与えられ、動き情報
検出手段２０５の第一の出力はブロック分割／領域情報
記憶手段２０４の第二の入力に与えられる。ブロック分
割／領域情報記憶手段２０４の第二，第三の出力は、そ
れぞれ動き検出回路１０３の第一，第二の出力として出
力される。また、動き情報検出手段２０５の第二の出力
は、動き検出回路１０３の第三の出力として出力され
る。

【００１６】次に動作について説明する。入力端子１か
ら入力される映像信号は、例えば、１秒あたり３０枚の
画像で構成されている。各画像は、減算器２において、
予測画像作成回路１０４から出力される予測画像との差
分が求められる。減算器２から出力される予測誤差は、
有効ブロック判定部１０１に入力される。有効ブロック
判定部１０１は各ブロックが有効ブロックか無効ブロッ
クかを示す制御信号を出力する。遅延器３ａはこの有効
ブロック判定部１０１内で生ずる遅延分を補正するため
のものである。切替器４ａは、有効ブロック判定部１０
１から出力される制御信号が有効ブロックを示している
ときには、遅延器３ａから出力される予測誤差信号を、
無効ブロックを示しているときは零信号を選択して出力
する。切替器４ａの出力は、直交変換され、量子化され
て、復号器側へ伝送される。

【００１７】一方、量子化された変換係数は、逆量子化
器８と逆直交変換器９により復号される。復号された予
測誤差は、加算器１０において、予測画像と加算され、
復号画像が生成される。この復号画像はフレームメモリ
１０２に記憶され、次の画像の符号化に用いられる。

【００１８】予測画像は次のようにして生成される。ま
ず、動き検出回路１０３で、入力画像と、フレームメモ
リ１０２に記憶された画像とが比較され、領域毎の動き
パラメータが検出される。この領域は、画像をブロック
に分割し、１個ないし互いに隣接する複数個のブロック
をまとめて構成したものである。予測画像作成回路１０
４は、この動き検出回路１０３で検出された領域毎の動
きパラメータと、ブロック分割の情報と、各領域を構成
するブロックの情報とを用いて、フレームメモリ１０２
に記憶された画像から予測画像を作成する。

【００１９】動き検出回路１０３から出力されるブロッ
ク分割の情報と、各領域を構成するブロックの情報と、
領域毎の動きパラメータは、それぞれの特性に従って符
号化され、復号器側へ伝送される。

【００２０】動き検出回路１０３の動作を図２につい
て、さらに詳しく説明する。まず、ブロック単位動きベ
クトル検出回路２０１は、入力画像を複数画素から成る
大ブロックに分割し、この大ブロック単位にフレームメ
モリ１０２に記憶された画像との比較を行い、動きベク
トルを検出する。すなわち、入力画像の画素データをｇ
１（ｘ，ｙ）、フレームメモリ１０２に記憶された画像
の画素データをｇ２（ｘ，ｙ）とすると、ブロック単位
動きベクトル検出回路２０１は、大ブロック毎に、

【００２１】

【数１】

【００２２】の値が最小となるａとｂを求めて、検出ベ
クトル（ａ，ｂ）と（１）式の最小値を出力する。分割
ブロック単位動きベクトル検出回路２０２は、上記大ブ
ロックをさらに小さい複数の小ブロックに分割し、この
小ブロック単位に動きベクトルの検出を行う点だけが、
ブロック単位動きベクトル検出回路２０１と異なる。

【００２３】ブロック分割決定手段２０３は、上記大ブ
ロックをそのまま用いるか、小ブロックに分割するかを
決定する。例えば、ブロック単位動きベクトル検出回路
２０１から出力される（１）式の最小値は、大ブロック
に分割したときの各大ブロックの予測歪みであり、分割
ブロック単位動きベクトル検出回路２０２から出力され
る（１）式の最小値は、小ブロックに分割したときの各
小ブロックの予測歪みであるので、各大ブロックの予測
歪みＥｎとその大ブロックに含まれるすべての小ブロッ
クの予測歪みの和Ｅｓを比較して、Ｅｓ＜Ｅｎであれ
ば、その大ブロックは小ブロックに分割し、Ｅｓ≧Ｅｎ
であれば、その大ブロックは小ブロックに分割しないと
する。あるいは、予測歪みが同等であれば分割しない方
が各領域を構成するブロックの情報を少ない符号量で表
わせるので、Ｅｓ＋α＜Ｅｎ（α≧０）であれば、その
大ブロックは小ブロックに分割し、Ｅｓ＋α≧Ｅｎであ
れば、その大ブロックは小ブロックに分割しないとして
もよい。例えば、図３のような画像の場合、ブロック分
割決定手段２０３は図４のようなブロック分割を決定
し、このブロック分割の情報はブロック分割／領域情報
記憶手段２０４に記憶される。

【００２４】動き情報検出手段２０５は、ブロック分割
／領域情報記憶手段２０４に記憶されたブロック分割を
もとに、隣接する複数のブロックをまとめて一つの領域
を構成できるか否かを判定し、構成された領域毎に動き
パラメータを検出する。ここで決定された各領域につい
て、どのブロックから構成されるかという情報が、ブロ
ック分割／領域情報記憶手段２０４に出力され、記憶さ
れる。従って、ブロック分割／領域情報記憶手段２０４
には、図４のようなブロック分割の情報と、これをもと
に構成した図５のような領域情報が記憶される。

【００２５】なお、動き情報検出手段２０５は、ある領
域について、画像間予測符号化より画像内符号化を行な
った方が効率がよいと判定した場合は、画像内符号化を
選択したことを示す信号を出力する。動き検出回路１０
３から出力される動きパラメータが画像内符号化を示し
ている場合、予測画像作成回路１０４は、予測画像とし
て零信号を出力する。

【００２６】有効ブロック判定部１０１は、動き検出回
路１０３から出力される動きパラメータが画像間予測符
号化の選択を示している場合に、予測誤差信号の評価量
から、各ブロックが有効ブロックか無効ブロックかを判
定する。例えば、予測誤差信号の評価量Ｅｍとして予測
誤差の二乗和を用いる。評価量Ｅｍが閾値Ｔ以上のとき
は当該ブロックを有効ブロック、Ｔ未満のときは無効ブ
ロックと判定する。このとき、閾値Ｔは当該ブロックが
領域の境界にあるときはＴ＝α、領域の内部にあるとき
は、Ｔ＝β（β≧α）なる値をとる。ただし、動き検出
回路１０３から出力される動きパラメータが画像内符号
化を示している場合は、当該ブロックを有効ブロックと
する。

【００２７】既に述べたように、無効ブロックと判定さ
れた場合には切替器４ａにより、そのブロックの予測誤
差信号が０に置き換えられるため、当該ブロックに関す
る予測誤差情報は送られない。

【００２８】なお、上記実施の形態１においては、予測
誤差信号の評価量Ｅｍとして予測誤差の二乗和を用いた
が、評価量Ｅｍはこれに限るものではなく、予測誤差の
絶対値和、絶対値の最大値、またこれらの値にオフセッ
ト値を加えたものなど、大きさの指標となる評価量を用
いることができる。

【００２９】また、上記実施の形態１においては、画像
をブロックに分割し、１個ないし互いに隣接する複数個
のブロックをまとめて領域を構成したが、領域の構成お
よび検出方法はこれに限らず、任意の形状の領域を対象
とし、各ブロックが領域の境界にあるか否かで、有効ブ
ロック判定の閾値を切り替えることもできる。

【００３０】

【発明の効果】以上のように、この発明による動画像符
号化方式は、入力映像信号をブロックに分割し、１個な
いし互いに隣接する複数個のブロックをまとめて領域を
構成し、領域毎に画像間の動きパラメータを検出する動
き情報検出手段を備え、この動きパラメータを用いた予
測符号化により得られる予測誤差信号を、複数画素から
なるブロックに分割し、ブロック毎に直交変換して量子
化を行う符号化方式において、ブロック毎に予測誤差信
号の評価量Ｅｍを求め、評価量Ｅｍが閾値以上のときは
当該ブロックを有効ブロック、閾値未満のときは無効ブ
ロックと判定し、かつこの閾値は当該ブロックの領域内
の位置によって値が切り替えられるよう構成したので、
視覚的に目立たない予測誤差の符号化を避け、符号量削
減のできる動画像符号化方式を得ることができる。

【００３１】また、この発明による動画像符号化方式
は、画面間の予測符号化により得られる予測誤差信号
を、複数画素からなるブロックに分割し、ブロック毎に
直交変換して量子化を行う符号化方式において、画像を
領域分割する手段を備え、上記ブロック毎に予測誤差信
号の評価量Ｅｍを求め、評価量Ｅｍが閾値以上のときは
当該ブロックを有効ブロック、閾値未満のときは無効ブ
ロックと判定し、かつこの閾値は当該ブロックの領域内
の位置によって値が切り替えられるよう構成したので、
視覚的に目立たない予測誤差の符号化を避け、符号量削
減のできる動画像符号化方式を得ることができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による動画像符号化
方式を示すブロック図である。

【図２】 実施の形態１による動画像符号化方式の動き
検出回路の一構成例を示すブロック図である。

【図３】 実施の形態１による動画像符号化方式の動き
検出回路の動作を説明するための画像の一例である。

【図４】 実施の形態１による動画像符号化方式の動き
検出回路の動作を説明するためのブロック分割の概念図
である。

【図５】 実施の形態１による動画像符号化方式の動き
検出回路の動作を説明するための領域分割の概念図であ
る。

【図６】 従来の動画像符号化装置を示すブロック図で
ある。

【符号の説明】

２ 減算器、３ａ 遅延器、６ 直交変換器、７ 量子
化器、８ 逆量子化器、９ 逆直交変換器、１０ 加算
器、１１ａ 動き補償予測器、１０１ 有効ブロック判
定部、１０２ フレームメモリ、１０３ 動き検出器、
１０４ 予測画像作成回路。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力映像信号をブロックに分割し、１個
   ないし互いに隣接する複数個のブロックをまとめて領域
   を構成し、領域毎に画像間の動きパラメータを検出する
   動き情報検出手段を備え、この動きパラメータを用いた
   予測符号化により得られる予測誤差信号を複数画素から
   なるブロックに分割し、ブロック毎に直交変換して量子
   化を行う符号化方式において、ブロック毎に予測誤差信
   号の評価量Ｅｍを求め、評価量Ｅｍが閾値以上のときは
   当該ブロックを有効ブロック、閾値未満のときは無効ブ
   ロックと判定し、かつこの閾値は当該ブロックの領域内
   の位置によって値が切り替えられるよう構成した有効ブ
   ロック判定部を有し、無効ブロックと判定された場合に
   は当該ブロックに関する予測誤差情報は送らず、有効ブ
   ロックと判定された場合には直交変換した後にその変換
   係数を量子化し、非零信号が生じた場合には量子化され
   た変換係数値を伝送することを特徴とする動画像符号化
   方式。
2. 【請求項２】 画面間の予測符号化により得られる予測
   誤差信号を複数画素からなるブロックに分割し、ブロッ
   ク毎に直交変換して量子化を行う符号化方式において、
   画像を領域分割する手段と、上記ブロック毎に予測誤差
   信号の評価量Ｅｍを求め、評価量Ｅｍが閾値以上のとき
   は当該ブロックを有効ブロック、閾値未満のときは無効
   ブロックと判定し、かつこの閾値は当該ブロックの領域
   内の位置によって値が切り替えられるよう構成した有効
   ブロック判定部を有し、無効ブロックと判定された場合
   には当該ブロックに関する予測誤差情報は送らず、有効
   ブロックと判定された場合には直交変換した後にその変
   換係数を量子化し、非零信号が生じた場合には量子化さ
   れた変換係数値を伝送することを特徴とする動画像符号
   化方式。