JPH0458756B2

JPH0458756B2 -

Info

Publication number: JPH0458756B2
Application number: JP18344183A
Authority: JP
Inventors: Toshio Koga
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1983-09-30
Filing date: 1983-09-30
Publication date: 1992-09-18
Also published as: US4656511A; JPS6075184A; CA1242023A

Description

【発明の詳細な説明】本発明は動画像信号の圧縮符号化に関する。大
きな動きを含まない動画像信号の能率良いすなわ
ち大幅な圧縮率でかつ画質が良い符号化方法とし
ては、代表的な動画像信号であるテレビジヨン信
号の場合フレーム間符号化が挙げられる。しかし
このフレーム間符号化は大面積の動きや激しい動
きに対しては符号化能率が低下する弱点がある。
この弱点をカバーするために動き部分をも高い能
率で符号化できる動き補償が考案された。

動き補償には大別すると２種ある。一つは符号
化済みの画素のみを用いて画素単位で動きを検出
し、動き補償予測符号化する。他の一つは入力さ
れた符号化すべき動画像信号に対して複数個の画
素からなるブロツク単位に動きを検出し、ブロツ
ク単位で動き補償予測符号化する。

このブロツク単位で動き補償予測符号化を行う
方法としては、たとえば古閑他による「会議テレ
ビ信号の動き補償フレーム間符号化」と題する論
文（電子通信学会通信方式研究会資料CS81−87，
1981年７月22日）に記載された方法を用いること
ができる。この方法においては、ブロツクに分割
された現フレームのテレビジヨン信号に対して、
テレビジヨン画面上の同一位置を基準として種々
の変位量（試行ペクトルと称す）だけずれた位置
の前フレームのブロツク内のテレビジヨン信号と
現フレームのブロツク内のテレビジヨン信号との
類似度を示す評価値を求め、最も類似度の高い前
フレームのブロツクの信号を現フレームのブロツ
クに対する予測信号として、予測符号化を行う。

この後者のブロツク単位で動き補償を行なう符
号化装置を構成する場合には通例は符号化を行な
う冒頭に第１図に示すようにブロツクを形成する
走査変換回路（SC）が設けられる。走査変換の
例として、たとえば第４図に示すa₀，a₁，a₂，…
…，a₇，a₈，……a_n，b₀，b₁，b₂，……，b₇，
b₈，……b_n，c₀，c₁，c₂，……，c₇，c₈，……，
c_n，d₀，d₁，d₂，……，d₇，d₈，……，d_n，……
なる時系列（時系列Ａ）入力される画像信号が、
ブロツクサイズを４ライン×８画素とするとき a₀，a₁，a₂，……，a₇，b₀，b₁，b₂，……，
b₇，c₀，c₁，c₂，……，c₇，d₀，d₁，d₂，……，
d₇，a₈，a₀，……，a₁₅，b₈，b₉，……，b₁₅，c₈，
c₉，……，c₁₅，d₈，d₉，……，d₁₅，……なる異
なつた時系列（時系列Ｂ）に変換される。ただ
し、１走査線は（ｍ＋１）画素からなるものとす
る。このようにすると、一たん走査変換してしま
えばあとは画素単位に順次に信号処理を行なつて
も４×８＝32（画素）毎にブロツク単位の処理が
完了するという利点がある。

送信側では動き検出部（VD）にて検出された
動き情報を用いて、たとえば前記文献に記載され
ているようにブロツク単位で動き補償予測符号化
（COD）を行ない、受信側ではやはり動き情報を
用いて予測復号化（DEC）を行なう。そして最
後に走査変換された動画像再生信号を走査逆変換
（SI）して、もとのラスター走査に戻す。

しかしながらこのように冒頭でブロツク化する
と反対に不都合なことが起ることがある。これに
ついて第５図を参照して説明する。第５図におい
てブロツクの大きさをＮライン×Ｍ画素、動き補
償可能な範囲を垂直方向に±Ｖライン、水平方向
に±Ｈ画素とする。いま入力動画像信号内の符号
化しようとするブロツクが図中Ｎライン単位で区
切られた領域２に対応する位置にあるものとする
と、Ｖ＞Ｎならば動き補償範囲は±Ｖラインすな
わち領域０，１，２，３，４にまたがることにな
る。入力動画像信号内の動きを実時間にて検出す
るためには、現ブロツクを含むＮラインについて
動きを検出するのに並行して新たにＮラインを次
の動き検出のために、メモリに補充してやらねば
ならない。たとえば、かりに、領域２に含まれる
あるブロツクＡ（Ｍ画素×Ｎライン）について動
き検出を行なうとすると第５図中に示すように
2N＞Ｖ＞Ｎの場合には領域５に動画像信号を補
充する必要がある。この場合には領域０と４にお
いていずれも（2N−Ｖ）ライン分相当のメモリ
は実質的には使用されず無駄であるが、ブロツク
単位で補充を行なう以上これは避けられない。つ
ぎに動き検出すべきブロツク（たとえばＢ）が領
域３にある時の動き検出範囲は領域１〜５にまた
がり、補充される場所は領域５のつぎの領域であ
るが、この時には領域０がもはや使用済みである
のでこれに補充すれば良い。さらに、領域４内に
あるブロツク（たとえばＣ）に対して動き検出を
行なう時の検出範囲は領域２，３，４，５，０に
またがり、補充する場所は領域１とすればよい。
以上のように動き検出、補充を実行するためには
合計６個の領域すなわち6Nライン分のメモリが
必要となり、この中の２×（2N−Ｖ）ラインは実
効的には無駄になつている。またこの6Nライン
の中Ｎライン分を減少させるための一つの方法と
してたとえば領域２内のブロツクについて動き検
出を行なつている時に領域０内ですでに動き検出
に使用されなくなつた場所に補充することも可能
である。すなわちブロツクＡについて現在動き検
出が行なわれており、水平方向の検出範囲が±Ｈ
画素とすると、領域０内にあつてブロツクＡと同
位置にくるブロツクよりＨ以上左方（走査は図面
上左か５右になされているとする）にある場所に
補充するようにすると領域５は不要となり所要領
域数は０〜４の５個、すなわち5Nラインとなる。
しかしながら、このようにしてなお２×（2N−
Ｖ）ラインの無駄なメモリが用いられており、か
つ読み出し、書き込みのアドレス制御が複雑とな
る。

これらの所要メモリの無駄あるいはアドレス制
御の複雑さも結局はあらかじめＮライン×Ｍ画素
にブロツク化したことによる。したがつてこのよ
うな無駄を省くためには、Ｖの大きさをＮに等し
いかＮの倍数にとらざるを得なくなる。

本発明は、通常複数個の画素からなるブロツク
単位に行われる動き補償においても、符号化処理
をブロツク化する前の通常のテレビジヨンのラス
ター走査にて実行可能とすることにより、装置化
を簡単にすることを目的とする。

本発明によれば時系列に従つて入力される動画
像信号に対して複数の走査線にまたがる複数個の
画素からなるブロツク毎にこの動画像信号内の動
きを検出し、この検出された動きを示す情報を前
記入力動画像信号と同一の時系列に画素単位に並
びかえ、この並びかえられた動きを示す情報を用
いて予測信号を発生し、前記入力動画像信号の時
系列に従つて予測符号化することを特徴とする動
画像信号の符号化方式が得られる。

また本発明によれば時系列として入力された動
画像信号の予測符号化において、該入力動画像信
号を時系列を変更することなく入力し、複数の走
査線にまたがる複数個の画素からなるブロツク毎
に前記動画像信号内の動きを検出する手段、該検
出された動きを示す情報を前記時系列に従つて画
素単位で出力する手段、該出力された動き情報に
従つて前記時系列で予測信号を発生する手段、該
予測信号と前記動画像信号とから前記時系列で局
部復号信号を得る手段、該局部復号信号をおよそ
１フレーム時間遅延し前記予測信号を発生する手
段に前記時系列で供給する手段、とを含むことを
特徴とする動画像信号の符号化装置が得られる。

さらに本発明によれば、時系列として入力され
た動画像信号に対して、複数の走査線にまたがる
複数個の画素からなるブロツク毎に前記動画像信
号内に含まれる動きを検出し、検出された動きを
用いる予測符号化を行なつて得られる動きを表わ
す情報と予測誤差信号を少なくとも含む、圧縮符
号化された動画像信号の予測復号化にあたり、圧
縮された動きを表わす情報と予測誤差信号を伸長
し、該動きをを表わす情報についても同じく画素
単位で前記動画像信号と同じ時系列に従つて出力
する手段、該出力された動き情報に応じて前記時
系列に従つて予測信号を発生する手段、前記予測
誤差信号と該予測信号とを用いて前記時系列で復
号信号を得る手段、該復号信号をおよそ１フレー
ム時間遅延し前記予測信号を発生する手段に前記
時系列で供給する手段、とを少なくとも含むこと
を特徴とする動画像信号の復号化装置が得られ
る。

次に本明の原理について説明する。もし動き検
出部（VD）に第５図に示したような動き検出の
領域を用意した場合、Ｎライン×Ｍ画素にブロツ
ク化した動画像信号でもつて補充を行なうには２
×（Ｖ−Ｎ）ライン分のメモリが実効的に無駄と
なることを述べた。ここでもし補充がもとの入力
動画像信号と同じ時系列で行なわれるものとする
と複数の領域にたとえまたがる場合でも、またが
らない場合と同様に補充を実行することができ
る。すなわち走査変換を行なつていないため１走
査線の動画像信号をＮ回補充すれば良いので領域
の区切り方が種々変化しても一向に差しつかえな
い。これが走査変換を行なつていない動画像信号
をVDに補充することにより得られる大きな利点
である。

つぎにこのようなVDを用いた時の動き補償予
測符号化の例を示す。

第２図にはブロツク単位で求められた動き情報
を、入力動画像信号と同じ時系列Ａに並びかえ
（VI）た後で、動き補償予測符号化（COD）を行
なう。この時には受信側における動き補償予測復
号化（DEC）において得られる復号された動画
像信号はもとの入力動画像信号の時系列(A)と同じ
である。

第３図には走査変換した場合の符号化例を示
す。VDは前述のとうり走査変換をしてない時系
列Ａで補充を受け、検出した動き情報は並びかえ
（VI）を行なわずに時系列Ｂに対応してCODに送
られるが、入力動画像信号も走査変換（SC）さ
れ、時系列ＢにてCODに送られるので、CODで
は時系列Ｂに従つて符号化が行なわれる。復号化
された動画像信号は時系列Ｂであるため走査逆変
換（SI）により時系列Ａの動画像信号とされる。

ここで動き情報の並びかえ（VI）について説
明する。

動き情報の並びかえは基本的には第４図を用い
て説明した走査変換と類似している。すなわち、
ブロツクの大きさは前と同様に４ライン×８画素
とし、第６図に示すように（ｍ＋１）個のブロツ
クに対応するV₀〜V_nなる動き情報がVDにて検
出されているとすると、各ブロツク内の第１走査
線（すなわち第４図中の第ｉ走査線）上に示され
ている動き情報を１走査線分だけ続けて読み出
し、以下同様に第（ｉ＋１），（ｉ＋２），（ｉ＋
３）走査線について行なう。第４図の例では第ｉ
走査線においてV₀がまず８画素分連続して読み
出され、ついでV₁，V₂，……，V_g，……，
V_n-1，V_nが各々８画素時間づつ連続して読み出
される。そしてつぎの第（ｉ＋１）走査線では同
様にV₀，V₁，V₂，……V_g，……，V_n-1，V_nが
各々８画素時間づつ連続して読み出される。第
（ｉ＋２），（ｉ＋３）走査線についてもまつたく
同様である。第（ｉ＋４）走査線以下についても
第ｉ〜（ｉ＋３）走査線についてと同様の並びか
えが行なわれる。

このように本発明を用いると垂直方向に関する
ブロツクの大きさと動き補償範囲が何ら互いに制
限を受けることなく選べるため装置構成を簡単化
することができる。またブロツク単位に検出され
た動き情報は入力動画像信号と同じ時系列に表わ
すことにより、予測符号化／復号化は走査変換を
しないままで実行できる。

以下図面を参照しながら本発明について詳細に
説明する。第７図に本発明に係る符号化・復号化
装置の一実施例を示す。送信側（符号化装置）に
おいて、入力された動画像信号は線１０００によ
り遅延回路２０と動き検出回路１１に供給され、
ここで動きがブロツク単位で検出される。

動き検出回路１１については後に詳しく説明す
る。ブロツク毎に検出された動き情報は並びかえ
回路１２において線１０００を介して供給される
入力動画像信号と同じ時系列Ａになるように並び
かえが行なわれた後、線１２００を介して可変遅
延回路１３と符号圧縮回路１８へ同時に供給され
る。可変遅延回路１３は、この動き情報に応じて
フレームメモリ１４から供給される動画像信号の
遅延時間を変化させて動きを補償した予測信号を
発生し、これを線１３００を介し減算器１５と加
算器１７へ供給する。減算器１５は、可変遅延回
路１３の出力動画像信号と遅延回路２０において
動き検出に要する時間を補償した入力動画像信号
との間で差分をとり、その差すなわち予測誤を量
子化器１６へ供給する。量子化器１６は予測誤差
を量子化して線１６００を介して加算器１７と符
号圧縮回路１８に供給する。加算器１７はこの量
子化された予測誤差と線１３００を介して供給さ
れる予測信号を用いて局部復号信号を発生する。
この局部復号信号は動画像信号のおよそ１フレー
ムを記憶するフレームメモリ１４に供給される。
なお、動き情報が静止すなわち動き無しを表わし
ている場合には、フレームメモリ１４と可変遅延
回路１３の遅延時間の和は、減算器１５、量子化
器１６および加算器１７の遅延が無いものと、丁
度１フレーム時間となる。

符号圧縮回路１８においては、線１６００を介
して供給される量子化された予測誤差と、動き情
報がいずれもたとえばハフマン符号化などに代表
される不等長符号化により同期、制御情報ととも
に符号化される。圧縮符号化された動画像信号
は、バツフアメモリ１９において伝送路２０００
における伝送速度との速度整合の後に伝送路２０
００へ送り出される。なお、伝送路２０００の代
りにたとえば磁気、光学等記録媒体を用いること
もできる。ここでは伝送路２０００を通すことと
して説明をつづける。

受信側（復号化装置）においては、まず、受信
した圧縮された動画像信号を一たん速度整合用の
バツフアメモリ５９に記憶し、復号化の速さに応
じて符号伸長回路５８へ供給する。符号伸長回路
５８は送信号の符号圧縮回路１８の逆の操作によ
り圧縮符号化する前の動き情報、量子化された予
測誤差、同期、制御情報などが再生される。再生
された予測誤差は線５８５７を介して加算器５７
へ、動き情報は線５８５３を介して可変遅延回路
５３へ、それぞれ供給される。可変遅延回路５３
は供給された動き情報に応じてフレームメモリ５
４より供給される動画像信号の遅延時間を変化さ
せて予測信号を発生し加算器５７へ供給する。こ
の可変遅延回路５３は送信側の可変遅延回路１３
と同一構成にて実現することができる。加算器５
７はこの予測信号と線５８５７を介して供給され
る予測誤差を用いて動画像信号を復号し、線３０
００を介してフレームメモリ５４に供給するが、
この動画像信号が復号信号として復号化装置の外
へ出力される。送信側（符号化装置）の場合と同
じく、フレームメモリ５４と可変遅延回路５３に
おける遅延時間の和は静止すなわち動きが無い場
合には加算器５７の遅延は無いものとすると１フ
レーム時間である。

ここで動き検出回路１１について第３図を用い
て詳細に説明する。

線１０００を介して供給される入力動画像信号
はおよそ１フレームの画像を記憶できるフレーム
メモリ１１１と時系列Ａから時系列Ｂへ走査変換
するブロツクメモリ１１３へ入力される。動き検
出制御回路１１０は線１１００を介して試行ペク
トルを次々に出力しアドレス変換回路１１８と最
適ベクトル決定回路１１７へ供給する。アドレス
変換回路１１８は供給された試行ベクトルだけブ
ロツクの位置を空間に変位したメモリ・アドレス
を発生し、可変遅延回路１１２へ供給する。仮に
試行ベクトルが零であるとするとこの時のフレー
ムメモリ１１１と可変遅延回路１１２の遅延時間
の和は丁度１フレームとなつている。試行ベクト
ルだけ空間的に変位したブロツク内の画像信号は
線１１２０を介して減算器１１４へ供給され、こ
こで線１１３０を介して供給されるブロツクメモ
リ１１３の出力画像信号との間で減算が行なわれ
る。ブロツクメモリ１１３はＮライン分のメモリ
を２個持つており、一方のメモリに線１０００を
介して供給される入力動画像信号を時系列Ａに従
つて書き込んでいる間に、他方のメモリから時系
列Ｂに従つて読み出し、線１１３０を介して出力
する機能を有する。またＮライン毎に読み出しと
書き込みが入れかわる。減算結果は線１１４０を
介して累積加算器１１５へ供給される。累積加算
器１１５は任意の１試行ベクトルに対するブロツ
ク当りの差分量あるいはその変換結果の累積値前
述した評価値に対応する）を、比較回路１１６へ
出力する。比較回路１１６では動き検出制御回路
１１０から次々と出力される試行ベクトルの各々
に対する累積結果を順次比較し、たとえばより小
さな累積結果を発生した試行ベクトルを最適ベク
トル決定回路１１７に仮の最適ベクトルとして一
時記憶しておくように切換信号を発する。最適ベ
クトル決定回路１１７はこの切換信号に従つて試
行ベクトルの一時記憶を行ない、線１１１７によ
り供給させるブロツク毎の所定タイミングにおい
て保持されている仮の最適ベクトルをこの最適ベ
クトル検出回路１１７における検出結果（動き情
報）として出力する。この出力は第７図における
並びかえ回路１２へ供給される。

つぎに可変遅延回路１１２について説明する。
この可変遅延回路１１２には第５図にしたような
動き補償範囲を含むのに必要な容量のメモリを含
んでいるものとする。このとき、フレームメモリ
１１１から供給されるおよそ１フレーム時間遅延
した入力動画像信号は時系列Ａすなわちラスター
走査線に従つて可変遅延回路１１２に補充用画像
信号として供給される。たとえば第５図中に斜線
で示したブロツク（Ｍ画素×Ｎライン）がある試
行ベクトルに対応して読み出されている間に、領
域４内に計Ｎラインが走査線毎に上から下へと順
次補充されており、領域２のＮラインにわたつて
形成されたブロツクの全てについて動き情報が検
出された時にブロツク４のＮラインの補充が完了
する。すなわち、この可変遅延回路１１２への書
き込みはラスター走査に従い、読み出しはブロツ
ク単位に、たとえば第４図に関して説明した走査
変換後の時系列Ｂに従つて行なわれる。しかしな
がら、実時間で動き情報を計算するのが、使用論
理回路素子の動作スピードなどにより困難である
場合には、可変遅延回路１１２、ブロツクメモリ
１１３を並列出力可能な構成とし、同時に減算器
１１４、累積加算器１１５は並列入力、並列演算
が可能な構成とすると等価的に高速演算が実行で
きるようになる。

なお本実施例の説明において、動き情報の符号
化は必ずしも画素単位に行なう必要はない。なぜ
なら、ブロツクの大きさが前述と同様に４ライン
×８画素であるとすると、各動き情報は走査線方
向に必ず８画素連続すること、さらに後続の３走
査線は同じ情報の繰り返しであるためブロツク単
位と画素単位の符号化のいずれも本質的には差異
はない。またこのことはブロツクの大きさには左
右されない。

以上詳しく説明したように本発明を実施すると
ブロツク単位で動きを検出する符号化能率がきわ
めて高い動き補償符号化が、通常のテレビジヨン
信号と同じラスター走査に従つて実現され、また
動き検出回路１１への動画像信号の補充も同じく
ラスター走査に従つて実行できるため符号化能率
が高くかつ構成の簡単な符号化方式を実現でき、
本発明の実用に供するその効果は極めて大であ
る。

【図面の簡単な説明】

第１図は従来の符号化・復号化装置を説明する
ためのブロツク図、第２図は本発明に関る符号
化・復号化装置を説明するためのブロツク図、第
３図は動画像信号の走査変換を説明するためのブ
ロツク図、第４，６図は動き情報の並びかえを説
明する図、第５図は動画像信号の補充の方法を説
明する図、第７，８図は本発明に関る一実施例を
説明するためのブロツク図である。図中、１１は動き検出回路、１２は並びかえ回
路、１３，５３は可変遅延回路、１４，５４はフ
レームメモリ、１５は減算器、１６は量子化器、
１７，５７は加算器、１８は符号圧縮回路、１
９，５９はバツフアメモリ、２０は遅延回路、５
８は符号伸長回路をそれぞれ示す。

Claims

【特許請求の範囲】１時系列として入力される動画像信号に対して
複数の走査線にまたがる複数個の画素からなるブ
ロツク毎に該動画像信号内の動きを検出し、該検
出された動きを用いて予測符号化を行なうにあた
り、前記入力動画像信号と同一の時系列に画素単
位で並びかえられた前記ブロツク単位に検出され
た動きを示す情報を用いて予測信号を発生し、前
記入力動画像信号の時系列に従つて予測符号化す
ることを特徴とする動画像信号の符号化方式。２時系列として入力された動画像信号の予測符
号化において、該入力動画像信号を時系列を変更
することなく入力し、複数の走査線にまたがる複
数個の画素からなるブロツク毎に前記動画像信号
内の動きを検出する手段、該検出された動きを示
す情報を前記時系列に従つて画素単位で出力する
手段、該出力された動き情報に従つて前記時系列
で予測信号を発生する手段、該予測信号と前記動
画像信号とから前記時系列で局部復号信号を得る
手段、該局部復号信号をおよそ１フレーム時間遅
延し前記予測信号を発生する手段に前記時系列で
供給する手段とを含むことを特徴とする動画像信
号の符号化装置。３時系列として入力された動画像信号に対し
て、複数の走査線にまたがる複数個の画素からな
るブロツク毎に前記動画像信号内に含まれる動き
を検出し、検出された動きを用いる予測符号化を
行なつて得られる動きを表わす情報と予測誤差信
号を少なくとも含む、圧縮符号化された動画像信
号の予測復号化にあたり、圧縮された動きを表わ
す情報と予測誤差信号を伸長し、該動きを表わす
情報についても同じく画素単位で、前記動画像信
号と同じ時系列に従つて出力する手段、該出力さ
れた動き情報に応じて前記時系列に従つて予測信
号を発生する手段、前記予測誤差信号と該予測信
号とを用いて前記時系列で復号信号を得る手段、
該復号信号をおよそ１フレーム時間遅延し前記予
測信号を発生する手段に前記時系列で供給する手
段、とを少なくとも含むことを特徴とする動画像
信号の復号化装置。