JP2618915B2

JP2618915B2 - 動き補償のブロックサイズ決定方法

Info

Publication number: JP2618915B2
Application number: JP22701487A
Authority: JP
Inventors: 真喜子田之上; 修川井; 伊藤　　隆; 喜一松田; 俊隆津田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1987-09-10
Filing date: 1987-09-10
Publication date: 1997-06-11
Anticipated expiration: 2012-06-11
Also published as: JPS6469180A

Description

【発明の詳細な説明】［目次］概要産業上の利用分野従来の技術（第4,5図）発明が解決しようとする問題点問題点を解決するための手段（第１図）作用（第１図）実施例［第２図，第３図（ａ）〜（ｃ）］発明の効果［概要］画像情報、特に動画像情報について予測誤差を求めて
動き補償を行なうべきブロックの大きさを決定するため
の動き補償のブロックサイズ決定方法に関し、動き補償を施すブロックサイズを画像情報に含まれる
エッジ情報に基づいて可変にできるようにすることを目
的とし、画像情報について動き補償を行なうべきブロックサイ
ズを決定するに際し、まず、前画面の再生画情報からエ
ッジを検出することにより、所要の大きさのブロック中
のエッジ個数を求め、該エッジ個数が所定のしきい値よ
り大きければ、エッジ個数がしきい値より小さくなるま
で、該ブロックを小さいブロックに分割してゆくことに
より、動き補償のためのブロックサイズを決定するよう
に構成する。

［産業上の利用分野］本発明は、画像情報、特に動画像情報について予測誤
差を求めて動き補償を行なうべきブロックの大きさを決
定するための動き補償のブロックサイズ決定方法に関す
る。

例えば、テレビ電話やテレビ会議での画像信号につい
ていえば、その２つのフレーム間では対応する画像は一
般に似通った値をもつため、このようなフレーム間の情
報は強い相関をもつ。このために、画像信号の帯域圧縮
符号化が施されるが、このとき動画像について予測誤差
を求めて動き補償を施すことが行なわれている。

ここで、動き補償方式は、動画像帯域圧縮方式の１つ
で、動き補償フレーム間符号化方式ともいい、これはフ
レーム間の相関を利用し、動きの検出を行なうことによ
り、時間軸方向の冗長度を大きく削減する方式である。

［従来の技術］第４図は動き補償方式を説明するためのシステム構成
図であるが、この第４図において、１は送信部で、この
送信部１では、入力信号（原画情報）に対し、動き補償
手段２によって例えば最小二乗誤差や絶対値誤差等から
予測誤差を求めることにより動き補償を施し、量子化手
段３によって量子化を施し、更には符号化手段４によっ
て符号化して、入力信号を受信部５へ送ることが行なわ
れる。

そして、受信部５では、受信信号を復号化手段６によ
って復号化し、動き補償手段７によって送信部１と同様
にして動き補償を施し、更には逆量子化手段８によって
逆量子化して再生画像として出力するようになってい
る。

なお、動き補償手段2,7は、第５図に示すごとく、フ
レームメモリ21,71や動き補償制御回路22,72をそなえて
いる。

ところで、従来の動き補償方式では、１フレームを複
数のブロックに分割して各ブロックごとに動き補償を施
すことが行なわれるが、動き補償をかけるブロックサイ
ズは画面の平坦部［エッジ（画像の輪郭部等）の少ない
部分］でも変化の激しい部分（エッジの多い部分）でも
同一である。

一般に、動き補償のブロックサイズは大きいほど、動
き補償の動き情報を伝送する情報量は少なく、また動き
補償により得られた画面と原画との差（誤差）は大き
い。

［発明が解決しようとする問題点］しかしながら、従来は、上述のごとく、画面のどんな
部分でも同じブロックサイズで動き補償を行なっている
ので、例えばブロックサイズが一様に大きいときには、
画面の平坦部では生じる誤差が少ないが、画面の変化が
激しい部分では誤差が大きく、また逆にブロックサイズ
が一様に小さいときには、画面の変化が激しい部分では
生じる誤差が少ないが、画面の平坦部では誤差はブロッ
クサイズが大きいときとほぼ同じであるにもかかわらず
余分な情報量が増えてしまうという問題点がある。

本発明は、このよう二律背反的な問題点を解決しよう
とするもので、動き補償を施すブロックサイズを画像情
報に含まれるエッジ情報に基づいて可変にできるように
した、動き補償のブロックサイズ決定方法を提供するこ
とを目的としている。

［問題点を解決するための手段］第１図は本発明の原理説明図である。

第１図において、S1は再生画Ａ（X,Y）情報を取り込
むステップであり、 S2は再生画Ａ（X,Y）情報に対応するエッジ検出画面
Ｅ（X,Y）を検出するステップであり、 S3は次に符号化する画面Ａ′（X,Y）情報を再生画Ａ
（X,Y）情報を用いて大きなブロックで動き補償をかけ
るとともに、再生画Ａ（X,Y）情報が動いた分だけエッ
ジ検出画面Ｅ（X,Y）を動かすステップであり、 S4はエッジ検出画面Ｅ（X,Y）を所要の大きなブロッ
クに分割するステップであり、 S5はエッジ検出画面Ｅ（X,Y）中のエッジ個数が所定
のしきい値TH以下になるまで、エッジ検出画面ブロック
サイズを小さくしてゆくステップであり、 S6はエッジ個数が所定のしきい値TH以下になったエッ
ジ検出画面Ｅ（X,Y）の大きさから動き補償を行なう再
生画ブロックの大きさを決定するステツプである。

なお、ステップS3は省略してもよい。

［作用］画像情報について動き補償を行なうべきブロックサイ
ズを決定するに際しては、第１図に示すごとく、まず、
前画面の再生画Ａ（X,Y）情報からエッジを検出するこ
とにより、所要の大きさのエッジ検出画面ブロック中の
エッジ個数を求める（ステップS1,S2,S4）。

このとき、ステツプS3で、前画面に対し大きなブロッ
クで動き補償を行なったのち、エッジ検出画面も同じ動
き量だけ動かしておく。

その後は、ステップS5,6で、エッジ個数が所定のしき
い値より大きければ、エッジ個数がしきい値より小さく
なるまで、このエッジ検出画面ブロックを小さいブロッ
クに分割してゆき、エッジ個数が所定のしきい値TH以下
になったエッジ検出画面Ｅ（X,Y）の大きさから動き補
償のための再生画ブロックサイズを決定する。

なお、ステップS3の処理は省略してもよい。

［実施例］以下、図面を参照して本発明の実施例を説明する。

さて、本実施例の場合、第２図に示すような動き補償
方式をもったシステムに適用されるが、このシステムで
は、送信部１で、入力信号（原画情報）に対し、動き補
償手段２によって予測誤差を求めることにより動き補償
を施し、量子化手段３によって量子化を施し、更には符
号化手段４によって符号化して、入力信号を受信部５へ
送ることが行なわれる。そして、受信部５で、受信信号
を復号化手段６によって復号化し、動き補償手段７によ
って送信部１と同様にして動き補償を施し、更には逆量
子化手段８によって逆量子化して再生画像として出力す
るようになっている。

ところで、送信部１には、前画面の再生画Ａ（X,Y）
情報からこの再生画Ａ（X,Y）情報に対応するエッジ検
出画面Ｅ（X,Y）を検出するエッジ検出手段9,このエッ
ジ検出手段９によって検出されたエッジ検出画面Ｅ（X,
Y）を記憶する２次元メモリ11,このメモリ11に記憶され
ているエッジ検出画面Ｅ（X,Y）としきい値THとに基づ
いてエッジ検出画面ブロックを分割してゆくブロック分
割手段13,このブロック分割手段13によって分割された
エッジ検出画面ブロックに基づいて動き補償を行なうべ
き再生画ブロックの大きさを決定するブロックの大きさ
決定手段15とが設けられており、このブロックの大きさ
決定手段15によって決定されたブロックサイズ情報は動
き補償手段２へ送られる。

なお、エッジの検出は一例としてラプラシアン等を用
いて行なわれ、エッジかエッジでないか（二値化）は、
適当なしきい値を、ラプラシアンをかけたあとに設け、
判断することが行なわれる。

また、受信部５にも、同様にして、エッジ検出手段1
0,2次元メモリ12,ブロック分割手段13,ブロックの大き
さ決定手段16が設けられている。

次に、第３図（ａ）〜（ｃ）に示すフローチャートを
用いて本発明の実施例を説明する。

この実施例において、画像情報について動き補償を行
なうべき再生画ブロックサイズを決定するに際しては、
まず、前画面を複数に分割した所要の大きさの再生画面
Ａ（X,Y）からエッジを検出することにより、この再生
画面Ａ（X,Y）に対応するエッジ検出画面Ｅ（X,Y）を求
める。

いま、所要の大きさの再生画面Ａ（X,Y）の大きさを3
2×32とすると、このエッジ検出画面Ｅ（X,Y）の大きさ
も32×32となり、これをＥ（32,32）と表記する。

また、第３図（ａ）に示すごとく、所定のしきい値TH
も設定し、カウンタの値COUNTを０にしておく（ステッ
プa1）。

その後は、ステップa2,a3で、Ｉ＝1,J＝１とおいて、
ステップa4で、Ｅ（1,1）には、エッジがあるかどうか
を判定し、もしエッジがあれば、ステップa5で、カウン
ト値を１つあげ、もしエッジがなければ、ステップa5を
ジャンプして、ステップa6で、Ｊ＝Ｊ＋１とする。これ
により、１つ隣りのエッジ検出画面要素Ｅ（1,2）に移
るが、次のステップa7で、Ｊ＞32かどうかを判定して、
最初はNOであるから、再度ステップa4へ戻る。従って、
このステップa4では、Ｅ（1,2）には、エッジがあるか
どうかが判定される。この場合も。同様にして、もしエ
ッジがあれば、ステップa5で、カウント値を１つあげ、
もしエッジがなければ、ステップa5をジャンプして、ス
テップa6で、Ｊ＝Ｊ＋１とする。

上記処理を繰返し行なうことにより、Ｅ（1,32）ま
で、エッジの有無を調べたあとは、ステップa7で、YES
ルートをとって、ステップa8で、Ｉ＝Ｉ＋１とし、次の
ステップa9で、Ｉ＞32かどうかを判定する。最初はNOで
あるから、ステップa3へ戻る。これにより、２行目のエ
ッジ検出画面要素Ｅ（2,1）に移り、このエッジ検出画
面要素Ｅ（2,1）について、再度ステップa4で、Ｅ（2,
1）には、エッジがあるかどうかが判定される。この場
合も。同様にして、もしエッジがあれば、ステップa5
で、カウント値を１つあげ、もしエッジがなければ、ス
テップa5をジャンプして、ステップa6で、Ｊ＝Ｊ＋１と
する。

その後は、ステップa7からステップa4へ戻ってステッ
プa7へ至るという小ループ処理を繰返し行ない、１行分
（32画素分）についてエッジの有無を検出し、更には１
行終わる毎に、ステップa8,a9を経てステップa3へ戻る
という大ループ処理を行ないながら、32×32のエッジ検
出画面すべてについて、エッジの有無を調べてゆく。

このようにして、エッジ検出画面（32×32）につい
て、エッジの個数が求まると、ステップa10で、エッジ
個数COUNTとしきい値THとが比較される。もし、エッジ
個数がしきい値TH以下であるなら、ステップa11で、動
き補償を行なうべき再生画ブロッックサイズを32×32と
決定して、終了する。

一方、エッジ個数がしきい値THよりも大きい場合は、
ステップa12で、エッジ検出画面Ｅ（32,32）を16×16の
４つのブロックに分割し第３図（ｂ）に示すルーチンに
進む。

この第３図（ｂ）に示すルーチンでは、上記第３図
（ａ）に示すものとほぼ同様の要領で処理を行なう。す
なわち、エッジ検出画面Ｅ（X,Y）の大きさを16×16と
し、同様にして、所定のしきい値THも設定し、カウンタ
の値COUNTを０にしておく（ステップa13）。

その後は、ステップa14,a15で、Ｉ＝1,J＝１とおい
て、ステップa16で、Ｅ（1,1）には、エッジがあるかど
うかを判定し、もしエッジがあれば、ステップa17で、
カウント値を１つあげ、もしエッジがなければ、ステッ
プa17をジャンプして、ステップa18で、Ｊ＝Ｊ＋１とす
る。これにより、１つ隣りのエッジ検出画面要素Ｅ（1,
2）に移るが、次のステップa19で、Ｊ＞16かどうかを判
定して、最初はNOであるから、再度ステップa16へ戻
る。従って、このステップa16では、Ｅ（1,2）には、エ
ッジがあるかどうかが判定される。この場合も。同様に
して、もしエッジがあれば、ステップa17で、カウント
値を１つあげ、もしエッジがなければ、ステップa17を
ジャンプして、ステップa18で、Ｊ＝Ｊ＋１とする。

上記処理を繰返し行なうことにより、Ｅ（1,16）ま
で、エッジの有無を調べたあとは、ステップa19で、YES
ルートをとって、ステップa20で、Ｉ＝Ｉ＋１とし、次
のステップa21で、Ｉ＞16かどうかを判定する。最初はN
Oであるから、ステップa15へ戻る。これにより、２行目
のエッジ検出画面要素Ｅ（2,1）に移り、このエッジ検
出画面要素Ｅ（2,1）について、再度ステップa16で、Ｅ
（2,1）には、エッジがあるかどうかが判定される。こ
の場合も。同様にして、もしエッジがあれば、ステップ
a17で、カウント値を１つあげ、もしエッジがなけれ
ば、ステップa17をジャンプして、ステップa18で、Ｊ＝
Ｊ＋１とする。

その後は、ステップa19からステップa16へ戻ってステ
ップa19へ至るという小ループ処理を繰返し行ない、１
行分（16画素分）についてエッジの有無を検出し、更に
は１行終わる毎に、ステップa20,a21を経てステップa15
へ戻るという大ループ処理を行ないながら、16×16のエ
ッジ検出画面すべてについて、エッジの有無を調べてゆ
く。

このようにして、各エッジ検出画面（16×16）につい
て、エッジの個数が求まると、ステップa22で、各エッ
ジ検出画面（16×16）について、エッジ個数COUNTとし
きい値THとが比較される。もし、エッジ個数がしきい値
TH以下であるなら、ステップa23で、動き補償を行なう
べき再生画ブロックサイズを16×16と決定して、終了す
る。

一方、エッジ個数がしきい値THよりも大きい場合は、
エッジ検出画面Ｅ（16,16）を８×８の４つのブロック
に分割し第３図（ｃ）に示すルーチンに進む。

この第３図（ｃ）に示すルーチンでは、上記第３図
（ａ），（ｂ）に示すものとほぼ同様の要領で処理を行
なう。すなわち、エッジ検出画面Ｅ（X,Y）の大きさを
８×８とし、同様にして、所定のしきい値THも設定し、
カウンタの値COUNTを０にしておく（ステップa25）。

その後は、ステップa26,a27で、Ｉ＝1,J＝１とおい
て、ステップa28で、Ｅ（1,1）には、エッジがあるかど
うかを判定し、もしエッジがあれば、ステップa29で、
カウント値を１つあげ、もしエッジがなければ、ステッ
プa29をジャンプして、ステップa30で、Ｊ＝Ｊ＋１とす
る。これにより、１つ隣りのエッジ検出画面要素Ｅ（1,
2）に移るが、次のステップa31で、Ｊ＞８かどうかを判
定して、最初はNOであるから、再度ステップa28へ戻
る。従って、このステップa28では、Ｅ（1,2）には、エ
ッジがあるかどうかが判定される。この場合も。同様に
して、もしエッジがあれば、ステップa29で、カウント
値を１つあげ、もしエッジがなければ、ステップa29を
ジャンプして、ステップa30で、Ｊ＝Ｊ＋１とする。

上記処理を繰返し行なうことにより、Ｅ（1,8）ま
で、エッジの有無を調べたあとは、ステップa31で、YES
ルートをとって、ステップa32で、Ｉ＝Ｉ＋１とし、次
のステップa33で、Ｉ＞８かどうかを判定する。最初はN
Oであるから、ステップa27へ戻る。これにより、２行目
のエッジ検出画面要素Ｅ（2,1）に移り、このエッジ検
出画面要素Ｅ（2,1）について、再度ステップa28で、Ｅ
（2,1）には、エッジがあるかどうかが判定される。こ
の場合も。同様にして、もしエッジがあれば、ステップ
a29で、カウント値を１つあげ、もしエッジがなけれ
ば、ステップa29をジャンプして、ステップa30で、Ｊ＝
Ｊ＋１とする。

その後は、ステップa31からステップa28へ戻ってステ
ップa31へ至るという小ループ処理を繰返し行ない、１
行分（８画素分）についてエッジの有無を検出し、更に
は１行終わる毎に、ステップa32,a33を経てステップa27
へ戻るという大ループ処理を行ないながら、８×８のエ
ッジ検出画面すべてについて、エッジの有無を調べてゆ
く。

このようにして、各エッジ検出画面（８×８）につい
て、エッジの個数が求まると、ステップa34で、各エッ
ジ検出画面（８×８）について、エッジ個数COUNTとし
きい値THとが比較される。もし、エッジ個数がしきい値
TH以下であるなら、ステップa35で、動き補償を行なう
べき再生画ブロックサイズを８×８と決定して、終了す
る。

一方、エッジ個数がしきい値THよりも大きい場合は、
ステップa36で、動き補償を行なうべき再生画ブロック
サイズを４×４と決定して、終了する。

なお、上記実施例においては、前画面に対し所要の大
きさのブロック（例えば32×32）でおおまかに動き補償
を行なったのち、エッジ検出画面も同じ動き量だけ動か
してから、ブロックサイズの大きさを決定してゆくこと
が行なわれているが、かかる処理は行なわなくてもよ
い。

また、上記の処理は送信部１および受信部５におい
て、それぞれ同じ前画面を保持して同じ処理を行なって
いるので、再生画ブロックサイズを変えたために、この
ブロックの大きさの情報は伝送する必要はない。なお、
はじめに前画面に対し所要の大きさのブロック（例えば
32×32）でおおまかに動き補償を行なった場合は、この
動き補償情報だけは伝送する必要がある。

このように、前画面の再生画Ａ（X,Y）情報からエッ
ジを検出することにより、所要の大きさのエッジ検出画
面ブロック中のエッジ個数を求めて、このエッジ検出画
面ブロック中のエッジ個数が所定のしきい値より大きけ
れば、エッジ個数がしきい値より小さくなるまで、この
エッジ検出画面ブロックを小さいブロックに分割してゆ
き、最後にエッジ個数が所定のしきい値TH以下になった
エッジ検出画面Ｅ（X,Y）の大きさから動き補償のため
の再生画ブロックサイズを決定することが行なわれるの
で、エッジの少ない画像の平坦部はブロックサイズを大
きくし、エッジの多い画像の変化の激しい部分はブロッ
クサイズを小さくすることができ、また決定したブロッ
クサイズ情報は伝送しなくてもよいことと相まって、全
体として伝送効率が向上する。

［発明の効果］以上詳述したように、本発明の動き補償のブロックサ
イズ決定方法によれば、前画面の再生画情報からエッジ
を検出することにより、所要の大きさのブロック中のエ
ッジ個数を求め、該エッジ個数が所定のしきい値より大
きければ、エッジ個数がしきい値より小さくなるまで、
該ブロックを小さいブロックに分割してゆくことによ
り、動き補償のためのブロックサイズを決定することが
行なわれるので、エッジの少ない画像の平坦部はブロッ
クサイズを大きくし、エッジの多い画像の変化の激しい
部分はブロックサイズを小さくして、動き補償を行なう
ことができ、これにより全体として伝送効率が向上する
という利点がある。

【図面の簡単な説明】

第１図は本発明の原理説明図、第２図は本発明の一実施例を示すブロック図、第３図（ａ）〜（ｃ）はいずれも本発明の一実施例の作
用を説明するためのフローチャート、第４図は動き補償方式を説明するためのシステム構成
図、第５図は動き補償手段のブロック図である。図において、１は送信部、２は動き補償手段、３は量子化手段、４は符号化手段、５は受信部、６は復号化手段、７は動き補償手段、８は逆量子化手段、 9,10はエッジ検出手段、 11,12はメモリ、 13,14はブロック分割手段、 15,16はブロックの大きさ決定手段、 21,71はフレームメモリ、 22,72は動き補償制御回路である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者松田喜一神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者津田俊隆神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (56)参考文献電子情報通信学会創立70周年記念総合全国大会講演論文集、５−39（昭62− ３) 電子情報通信学会創立70周年記念総合全国大会講演論文集、５−50（昭62− ３)

Claims

(57)【特許請求の範囲】

【請求項１】画像情報について動き補償を行なうべきブ
ロックサイズを決定するに際し、まず、前画面の再生画情報からエッジを検出することに
より、所要の大きさのブロック中のエッジ個数を求め、該エッジ個数が所定のしきい値より大きければ、エッジ
個数がしきい値より小さくなるまで、該ブロックを小さ
いブロックに分割してゆくことにより、動き補償のため
のブロックサイズを決定することを、特徴とする、動き補償のブロックサイズ決定方法。
【請求項２】前画面に対し所要の大きさのブロックで動
き補償を行なったのち、エッジ検出画面も同じ動き量だ
け動かしてから、該ブロックサイズの大きさを決定して
ゆく特許請求の範囲第１項に記載の動き補償のブロック
サイズ決定方法。