JP2798244B2 - 高能率符号の復号装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、ディジタルビデオ信号等の画像データの
データ量を圧縮して伝送する符号化装置からの高能率符
号を復号する高能率符号の復号装置に関する。 〔発明の概要〕 この発明は、サブサンプリングのレートに応じてサン
プリング位相が順次シフトされるサブサンプリングによ
る画像データの圧縮がなされた高能率符号の復号装置に
おいて、画素単位で動き検出を行って、動き検出結果に
基づいてサブサンプリングにより間引かれた画素に対し
て時間方向補間及び空間内補間のいずれかを適応に行う
ようにし、静止／動きブロック間での解像度の不連続を
防止して良質な復元画像を得るようにしたものである。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元のデータ量に比して圧縮する方法として、サ
ブサンプリングによって画素を間引き、サンプリング周
波数を低くするものが知られている。サブサンプリング
では、例えば画像データが1/2に間引かれ、サブサンプ
リング点と、補間の時に使用するサブサンプリング点の
位置を示す（即ち、補間点の上下又は左右の何れのサブ
サンプリング点のデータを使用するかを示す）フラグと
を伝送するものが提案されている。 しかしながら、単なるサブサンプリングの場合には、
圧縮率を高くした場合に、復元画像の画質の劣化が目立
つものとなる。そこて、サブサンプリングとダイナミッ
クレンジに適応した高能率符号とを組み合わせた符号化
装置が提案されている。 即ち、本願出願人は、特願昭59−266407号明細書に記
載されているような、２次元ブロック内に含まれる複数
画素の最大値及び最小値により規定されるダイナミック
レンジを求め、このダイナミックレンジに適応した符号
化を行う高能率符号化装置を提案している。また、特願
昭60−232789号明細書に記載されているように、複数フ
レームに夫々含まれる領域の画素から形成された３次元
ブロックに関してダイナミックレンジに適応した符号化
を行う高能率符号化装置が提案されている。 更に、特願昭60−268817号明細書に記載されているよ
うに、量子化を行った時に生じる最大歪が一定となるよ
うなダイナミックレンジに応じてビット数が変化する可
変長符号化方法が提案されている。 これらのダイナミックレンジに適応した符号化方法
は、ブロックの画像の動きと関係なく、常にブロック内
の全ての画素データを符号化していた。しかし、画像の
動きが無い時には、特願昭60−247840号明細書に記載さ
れているように、ブロック内の１個の領域のデータのみ
を符号化する所謂駒落とし処理により、圧縮率を一層高
くすることができる。 更に、上述の３次元ブロックのダイナミックレンジに
適応した符号化方法を使用し、動きの有無に応じて駒落
としを行う高能率符号化装置と組合わせ、圧縮率をより
一層高くできると共に、受信側で画像を良好に復元する
ことができる高能率符号化装置として、特願昭61−1794
83号明細書に記載されているものが提案されている。 この出願明細書に示される高能率符号化装置では、サ
ブサンプリングを用いてサンプリング周波数を低減する
場合において、静止ブロック内の間引かれた画素を受信
側で良好に補間できるように、サブサンプリングの位相
が順次シフトされる。例えば、同一の位置を占める２個
の３次元ブロックの一方と他方とでサブサンプリングの
位相が反転され、相補的な関係が成り立つようにサブサ
ンプリングされる。受信側において、ブロック毎の動き
判定により、現在のブロック及び前のブロックが共に静
止ブロックと判定される場合には、サブサンプリングで
間引かれた画素が前のブロックで実際に存在している画
素のデータにより置換される。従って、静止ブロックで
の画質の劣化が殆ど生じない。 また、前のブロック及び現在のブロックのうちで少な
くとも一方が動きブロックと判定される場合には、前の
ブロックのデータを使用できないので、例えば、同一フ
ィールド内の画素のデータを使用したフィールド内補間
がなされる。このフィールド内補間としては、補間の対
象の画素の左右に位置する２個の画素の平均値或いは上
下及び左右の夫々に位置する４個の画素の平均値が使用
される。 〔発明が解決しようとする問題点〕 しかしながら、上述した高能率符号化装置において
は、サブサンプリングにより間引かれた画素を補間する
場合に、ブロック単位での動き判定に基づいて異なる補
間処理がブロック毎に適応になされるため、静止ブロッ
クと動きブロックとの間における解像度の不連続、即
ち、解像度の差のアンバランスさによって動きブロック
の画質の劣化が目立つ問題点があった。 従って、この発明の目的は、静止ブロック及び動きブ
ロック間での解像度の不連続を防止し、より良好な復元
画像を得ることができる高能率符号の復号装置を提供す
ることにある。 〔問題点を解決するための手段〕 この発明は、ディジタル画像信号の各フレームを所定
の大きさの領域に分割し、時間的に連続するｎフレーム
（ｎは２以上の整数）の夫々に属し、且つフレーム内の
空間的な位置が同一であるｎ個の領域からブロックを構
成し、ブロックの夫々の画素数を（1/m）（ｍは２以上
の整数）とし、且つブロック内のサブサンプリングの位
相が同一とされると共に、ｍ個のブロックの間でサブサ
ンプリングの位相が順次シフトされるようにサブサンプ
リングしてディジタル画像信号を符号化するようにした
高能率符号の復号装置において、 サブサンプリングにより間引かれた画素の周辺に位置
する間引かれない画素を抽出し、抽出された画素の値
と、ブロック内の空間的に同一の位置の間引かれない画
素の値間のフレーム間差分を演算し、フレーム間差分の
絶対値から間引かれた画素の動きについての判定を行
い、画素毎に判定出力を形成する動き判定手段と、 間引かれた画素と時間的に近接し、画面上で同一位置
となる、異なるブロックに含まれる間引かれないデータ
を時間方向補間出力として抽出する時間方向補間手段
と、 同一ブロックに含まれ、間引かれた画素の上下及び左
右に位置する間引かれない画素のデータの平均値を空間
内補間出力として出力する空間内補間手段と、 画素毎の動き判定手段の出力に応じて時間方向補間出
力及び空間内補間出力の一方を間引かれた画素の補間デ
ータとして出力する選択手段と を備えたことを特徴とする高能率符号の復号装置であ
る。 〔作用〕 動き適応補間回路16において、サブサンプリングの位
相が一致する２フレーム間で同一位置の画素の差分の絶
対値が求められ、得られた画素の差分の絶対値のうちで
補間点を中心として水平及び垂直方向に隣接する４個の
画素に対応したものが遅延回路群により抽出され、得ら
れた４個の差分の絶対値のうちで最大となるものが選択
される。差分の絶対値の最大値と所定のしきい値とが比
較され、しきい値より最大値が大とされる場合には、動
き画素と判定されると共に、しきい値より最大値が小と
される場合には、静止画素と判定されて判定結果に対応
した出力が形成される。この判定出力に基づいて静止画
素と判定される画素に対して時間方向補間がなされると
共に、動き画素と判定される画素に対して空間内補間が
なされる。時間方向補間がなされる場合には、例えば、
補間点と画面上で対応する異なるサブサンプリング位相
の前のフレームの画素データが補間データとして出力さ
れる。また、空間内補間がなされる場合には、例えば、
補間点を中心とした同一フィールド内の水平及び垂直方
向に隣接する４個の画素のデータの平均値が補間データ
として出力される。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.送信側の構成 b.受信側の構成 c.動き適応補間処理の説明 a.送信側の構成 第２図は、この発明の送信側（ビデオテープレコーダ
の場合では記録側）の構成を全体として示すものであ
る。 第２図において、１で示されるのが入力端子であり、
この入力端子１に、例えば、所定のサンプリング周波数
fsで標本化されて８ビットで量子化されたディジタルビ
デオ信号が入力信号として供給される。入力端子１から
の入力ディジタルビデオ信号がブロック化回路２に供給
される。 ブロック化回路２は、順次供給されるサンプルデータ
の順序を入れ換えて三次元的な所定の画面領域内に存在
するデータ単位、即ち、高能率符号化の処理単位となる
ブロックの順序のデータ列を形成する。例えば、ブロッ
ク化回路２において、連続する２フレームの夫々に属す
る同一位置となる二次元の画面領域（例えば、４ライン
×４画素）から三次元的な１個のブロック（例えば、４
ライン×４画素×２フレーム＝32画素）が構成される。
ブロック化回路２の出力が空間内サブサンプル回路３に
供給される。 空間内サブサンプル回路３は、本来のサンプリング周
波数fsの例えば1/2の周波数となる1/2fsで、然も、２フ
レーム毎に位相が反転するサンプリングパルスにより各
ブロックの画素を標本化し、データ量を1/2に圧縮す
る。つまり、空間内サブサンプル回路３において、同一
の画面領域となる連続したブロック間において相補的な
関係が成り立つ五の目状のサンプリングパターンが形成
される。 例えば、第４図は、全体として空間内サブサンプル回
路３において形成される五の目状のサンプリングパター
ンを示すもので、そのパターンを第４図Ａ〜Ｄで示され
る連続したフレーム上の同一領域を用いて示す。尚、第
４図Ａ〜Ｄにおいて、○で示されるのがサブサンプリン
グされた画素を示し、×で示されるのが間引かれた画素
を示す。 また、第４図Ａに示す画面領域と第４図Ｂに示す画面
領域から１個のブロックＮが形成され、第４図Ｃに示す
画面領域と第４図Ｄに示す画面領域から１個のブロック
（Ｎ＋１）が形成される。尚、第４図において実線で示
されるのが奇数フィールドの４ラインを示し、破線で示
されるのが偶数フィールドのラインを示す。 第４図に示すように、２フレーム（１ブロック）毎に
サブサンプリングされた画素が１画素分のズレを有する
ような形とされており、ブロックＮの画素とブロック
（Ｎ＋１）の画素とを重ね合わせることにより、本来の
画素数のフレームを合成できる。空間内サブサンプル回
路３の出力が動き適応駒落し回路４に供給される。 動き適応駒落し回路４は、ブロック内の２フレーム間
で同一位置の画素の差分を求め、その差分の絶対値の最
大値と所定のしきい値とを比較することにより、動き検
出を行い、動き検出結果に基づいて動きの少ないブロッ
クに関して駒落し処理を行う。 即ち、同一位置の画素の差分の絶対値の最大値と所定
のしきい値とが比較され、しきい値より差分の絶対値の
最大値が大となる場合には、動きブロックと判定され、
しきい値より差分の絶対値の最大値が小となる場合に
は、静止ブロックと判定される。静止ブロックに関して
は、ブロック内のフレームの同一位置の画素の間で平均
値が夫々に算出され、このフレーム間の平均値がブロッ
クを形成するサブサンプルデータの代わりとして出力さ
れる。 動き適応駒落し回路４の出力がエンコーダ回路５に供
給されると共に、動き適応駒落し処理の過程において発
生した動き検出の判定結果に対応する判定コードがエン
コーダ回路５及びフレーム化回路６に供給される。 エンコード回路５は、ブロック毎のダイナミックレン
ジに基づいてダイナミックレンジに適応した形でビット
数を可変させて符号化を行う。例えば、エンコーダ回路
５において、順次供給されるブロック内のデータの最大
値及び最小値が検出されると共に、最大値から最小値が
減算されてダイナミックレンジが算出される。そして、
ブロック内のデータの値から最小値が減算され、この最
小値除去後のデータがダイナミックレンジに応じたビッ
ト数でもって量子化され、圧縮されたビット数のコード
信号が形成される。エンコーダ回路５の処理により得ら
れるダイナミックレンジ，最小値及びコード信号の夫々
がフレーム化回路６に供給される。 フレーム化回路６において、動き適応駒落し回路４か
らの動き検出の判定コードとエンコーダ回路５からのダ
イナミックレンジ，最小値及びコード信号からなるデー
タ部分にエラー訂正符号が付加され、それらがシリアル
データに変換されて伝送データとされ、この伝送データ
が出力端子７から取り出される。 b.受信側の構成 第３図は、この発明の受信側（ビデオテープレコーダ
の場合では再生側）の構成を全体として示すものであ
る。第３図において、11で示されるのが受信データの入
力端子である。 入力端子11からの受信データがフレーム分解回路12に
供給される。フレーム分解回路12において、受信データ
に対してエラー訂正処理がなされると共に、動き検出の
判定コード，ダイナミックレンジ，最小値及びコード信
号の夫々が分離される。フレーム分解回路12において分
離された動き検出の判定コードがデコーダ回路13,駒落
し復元回路14の夫々に供給される。 デコーダ回路13は、フレーム分解回路12において、分
離されたダイナミックレンジに基づいてコード信号を復
号して最小値が除去されたデータを形成し、最小値が除
去されたデータの値に対して最小値を加算してデータを
復元する。デコーダ回路13の出力が駒落し復元回路14に
供給される。 駒落し復元回路14において、送信側において駒落し処
理がなされた静止ブロックに対して復元処理がなされ
る。例えば、動き検出の判定コードに基づいて静止ブロ
ックに対して復元処理がなされ、ブロック内のフレーム
間において平均化されたサブサンプルデータを所定のタ
イミングで二度読み出すことにより、本来の画素数のブ
ロックが復元される。駒落し復元回路14の出力がブロッ
ク分解回路15に供給される。 ブロック分解回路15は、ブロックの順序のデータを走
査順序のデータ列に変換する。つまり、ブロック分解回
路15において、サブサンプルデータの順番がテレビジョ
ン信号の走査と同様な順番とされる。ブロック分解回路
15の出力が動き適応補間回路16に供給される。 動き適応補間回路16は、画素毎に動き検出を行うと共
に、動き検出の判定結果に基づいて適応に時間方向補間
若しくは空間内補間の何れかの処理を行い、送信側にお
けるサブサンプル処理によって間引かれた画素を復元し
て本来の画素数のフレームを再現する。 例えば、サブサンプリングの位相が一致する２フレー
ム間で同一位置の画素の差分の絶対値が求められ、得ら
れる画素の差分の絶対値のうちで補間点を中心として水
平及び垂直方向に隣接する４個の画素に対応したものが
遅延回路群により抽出され、得られた４個の差分の絶対
値のうちで最大となるものが選択される。差分の絶対値
の最大値と所定のしきい値とを比較することで動き検出
がなされ、例えば、しきい値より最大値が大とされる場
合には、動き画素と判定されると共に、しきい値より最
大値が小とされる場合には、静止画素と判定されて判定
結果に対応した出力が形成される。 この判定出力に基づいて静止画素と判定される画素に
対して時間方向補間がなされると共に、動き画素と判定
される画素に対して空間内補間がなされる。時間方向補
間がなされる場合には、例えば、補間点と画面上で対応
する異なるサブサンプリング位相の前のフレームの画素
データが補間データとして出力される。また、空間内補
間がなされる場合には、例えば、補間点を中心とした同
一フィールド内の水平及び垂直方向に隣接する４個の画
素のデータの平均値が補間データとして出力される。 動き適応補間回路16において本来の画素数分のデータ
列が再現され、動き適応補間回路16の出力が出力端子17
から取り出される。従って、出力端子17からは、所定の
サンプリング周波数fsで標本化されて８ビットで量子化
されたディジタルビデオ信号が得られる。 c.動き適応補間処理の説明 第１図は、前述した高能率符号の受信側に設けられる
動き適応補間回路16の一例を示す。第１図において21で
示される端子には、ブロック分解回路15からのサブサン
プルデータが入力信号として供給される。尚、第１図に
おいて、SDで表現される31,35,37,36,44,47,48,49の夫
々は、１サンプル周期（1/fs）の遅延量を有するサンプ
ル遅延回路であり、LDで表現される33,34,45,46の夫々
は、１水平周期の遅延量を有するライン遅延回路であ
る。 入力端子21からの入力ディジタル信号が直列に接続さ
れた３個のフレームメモリ22,23,24に供給されると共
に、スイッチ回路26の一方の入力端子26aに供給され
る。フレームメモリ22で１フレーム周期遅延された出力
が減算器29,ライン遅延回路45及びサンプル遅延回路44
の夫々に供給される。また、入力信号に対して２フレー
ム周期遅延されたフレームメモリ23の出力がスイッチ回
路26の他方の入力端子26bに供給されると共に、スイッ
チ回路28の一方の入力端子28aに供給される。更に、入
力信号に対して３フレーム周期遅延されたフレームメモ
リ24の出力がスイッチ回路28の他方の入力端子28bに供
給される。 スイッチ回路26には、端子25から２フレーム周期のク
ロック信号が供給され、１周期の前半区間において入力
端子21からの信号が選択されると共に、１周期の後半区
間においてフレームメモリ23の出力が選択される。スイ
ッチ回路26の出力が減算器29に供給される。減算器29に
おいて、スイッチ回路29の出力とフレームメモリ22の出
力との間で減算処理がなされ、減算出力が絶対値変換回
路30に供給される。絶対値変換回路30において、減算器
29の出力が絶対値に変換される。従って、絶対値変換回
路30からは、サブサンプリングの位相が一致する２フレ
ーム間で同一位置となる画素の差分の絶対値が順次出力
される。この絶対値出力がサンプル遅延回路31及びライ
ン遅延回路33の夫々に供給される。 また、スイッチ回路28には、端子27から２フレーム周
期のクロック信号が供給され、１周期の前半区間におい
てフレームメモリ23の出力が選択されると共に、１周期
の後半区間においてフレームメモリ24の出力が選択され
る。このため、スイッチ回路28からは、１フレームおき
に同一フレームの画素のデータが２度ずつ出力される。
スイッチ回路28の出力が時間合わせ用の遅延回路42を介
してスイッチ43の一方の入力端子43aに供給される。 絶対値変換回路30の出力がサンプル遅延回路31を介し
て選択回路32の一方の入力端子に供給されると共に、ラ
イン遅延回路33を介して選択回路32の他方の入力端子に
供給される。また、絶対値変換回路30の出力がライン遅
延回路33及びサンプル遅延回路35,36を介して選択回路3
8の一方の入力端子に供給されると共に、ライン遅延回
路33,44及びサンプル遅延回路37を介して選択回路38の
他方の入力端子に供給される。つまり、選択回路32,38
には、補間点を中心として水平及び垂直方向に隣接する
４個の画素に対応した差分の絶対値が供給される。 選択回路32,38及び39の夫々は、供給されるデータの
値を比較して大とされる方を出力する構成とされてお
り、選択回路32及び38の出力の夫々が選択回路39に供給
される。選択回路39において、更に大とされる方が選択
され、４個の絶対値のうちで最大となるデータMAXが選
択回路39から出力される。選択回路39の出力が比較回路
41に供給される。 比較回路41には、端子40から所定のしきい値データTH
が供給されており、しきい値データTHと最大値データMA
Xとが比較され、比較出力が制御信号としてスイッチ回
路43の制御端子に供給される。つまり、差分の絶対値の
最大値と所定のしきい値とを比較することにより、補間
点に対する動き検出がなされ、検出結果に対応した出力
が形成される。例えば、しきい値データTHより最大値デ
ータMAXが小とされる場合には、静止画素と判断されて
ローレベルの出力が形成されると共に、しきい値データ
THより最大値データMAXが大とされる場合には、動き画
素と判断されてハイレベルの出力が形成される。 一方、フレームメモリ22の出力がサンプル遅延回路44
を介して加算器50に供給されると共に、ライン遅延回路
45を介して加算器50に供給される。また、フレームメモ
リ22の出力がライン遅延回路45及びサンプル遅延回路4
7,49を介して加算器52に供給されると共に、ライン遅延
回路45,46及びサンプル遅延回路48を介して加算器52に
供給される。加算器50の出力が加算器51に供給され、加
算器52の出力が加算器51に供給される。加算器51の出力
が1/4割算回路53に供給され、加算器51の出力が1/4とさ
れる。従って、1/4割算回路53からは、補間点を中心と
して同一フィールド内の水平及び垂直方向に隣接する画
素のデータの平均値が出力される。1/4割算回路53の出
力がスイッチ回路43の他方の入力端子43bに供給され
る。また、フレームメモリ22の出力がライン遅延回路45
及びサンプル遅延回路47を介してスイッチ回路54の他方
の入力端子54bに供給される。 スイッチ回路43は、比較回路41からの制御信号に基づ
いて入力端子43a及び43bに供給される信号のどちらか一
方を選択的に出力する。つまり、比較回路41からの制御
信号がローレベルとされる静止画素の場合には、入力端
子43aが選択されて、補間点に対応する異なるサブサン
プリング位相の前のフレームの画素のデータが出力され
る。また、比較回路41からの制御信号がハイレベルとさ
れる動き画素の場合には、入力端子43bが選択され、補
間点を中心とした同一フィールド内の水平及び垂直方向
に隣接する４個の画素のデータの平均値が出力される。
スイッチ回路43からの補間出力がスイッチ回路54の一方
の入力端子54aに供給される。 スイッチ54には、端子55からサンプリング周波数fsの
サンプリングパルスがクロック信号として供給される。
スイッチ回路54において、１サンプル周期毎に入力端子
54a,54bに供給されている信号が交互に選択される。つ
まり、データ及び補間データがスイッチ回路54により交
互に選択される。スイッチ回路54の出力信号が出力端子
56から取り出される。 上述した動き適応補間回路16の動作を第４図を参照し
て更に具体的に説明する。第４図Ａに示す画面領域のデ
ータがフレームメモリ24に格納され、第４図Ｂに示す画
面領域のデータがフレームメモリ23に格納され、第４図
Ｃに示す画面領域のデータがフレームメモリ22に格納さ
れているものとする。また、第４図Ｄにおいて65,66,6
7,68で示される画素のデータの値をa,b,c,dとし、第４
図Ｃにおいて75,76,77,78で示される画素のデータの値
をe,f,g,hとする。 第４図Ｄにおいて61で示される間引かれた画素が入力
端子21に供給されるタイミングでは、フレームメモリ23
から画素63（第４図Ｂに示す）のデータが出力され、フ
レームメモリ24から画素64（第４図Ａに示す）のデータ
が出力される。 この時、スイッチ回路26は、入力端子26a側を選択す
るように制御されているため、サンプル遅延回路31から
|a−e|が出力され、ライン遅延回路33から|b−f|が出力
され、サンプル遅延回路36から|c−g|が出力され、サン
プル遅延回路37から|d−h|が出力される。選択回路32,3
8,39において、同一位置となる画素の差分の絶対値|a−
e|,|b−f|,|c−g|,|d−h|のうちで最大となるものが選
択され、選択回路39から最大値データMAXが出力され
る。比較回路41において、しきい値データTHと最大値デ
ータMAXとが比較され、補間点となる間引かれた画素81
（第４図Ｃに示す）に対する動き検出がなされる。 また、この時、サンプル遅延回路44から画素75のデー
タｅが出力され、ライン遅延回路45から画素76のデータ
ｆが出力され、サンプル遅延回路49から画素77のデータ
ｇが出力され、サンプル遅延回路48から画素78のデータ
ｈが出力される。このため、1/4割算回路53からは、1/4
（ｅ＋ｆ＋ｇ＋ｈ）が出力される。 更に、この時、スイッチ回路28は、入力端子28a側を
選択するように制御されているため、フレームメモリ23
の出力が遅延回路42に供給され、遅延回路42からは、画
素73（第４図Ｂに示す）のデータが出力される。 比較回路41において、画素81が静止画素と判断される
（TH≧MAX）の場合には、スイッチ回路43が制御されて
入力端子43a側が選択される。従って、スイッチ回路43
からは、遅延回路42からの画素73のデータが画素81の補
間データとして出力される。また、比較回路41におい
て、画素81が動き画素と判断される（TH＜MAX）の場合
には、スイッチ回路43が制御されて入力端子43b側が選
択される。従って、スイッチ回路43からは、1/4割算回
路53からの隣接画素の平均値1/4（（ｅ＋ｆ＋ｇ＋ｈ）
が画素81の補間データとして出力される。 スイッチ回路54は、画素61が入力端子21に供給される
のタイミングにおいて、一方の入力端子54aを選択する
ように端子55からのクロック信号により制御されてお
り、スイッチ回路43からの上記補間データが出力端子56
から取り出される。従って、補間データがサブサンプル
データの間に挿入された形で出力され、本来のサンプル
データ列が復元される。 また、画素61の次に位置する第４図Ｄにおいて62で示
される画素が入力端子21に供給されるタイミングにおい
ては、スイッチ回路54は、他方の入力端子54bを選択す
るように端子55からのクロック信号により制御されてい
るため、サンプル遅延回路47からの出力、つまり、画素
76（第４図Ｃに示す）のデータがスイッチ回路54から出
力される。 更に、上述した画素61が入力端子21に供給されるタイ
ミングから１フレーム周期経過後においては、第４図Ｂ
に示す画面領域のデータがフレームメモリ24に格納さ
れ、第４図Ｃに示す画面領域のデータがフレームメモリ
23に格納され、第４図Ｄに示す画面領域のデータがフレ
ームメモリ22に格納されている。 画素61が入力端子21に供給されるタイミングから１フ
レーム周期経過したタイミングでは、フレームメモリ24
から画素63（第４図Ｂに示す）のデータが出力される。 この時、スイッチ回路26は、入力端子26b側を選択す
るように制御されているため、前述した場合と同様の関
係の画素間の差分の絶対値が求められ、サンプル遅延回
路31から|a−e|が出力され、ライン遅延回路33から|b−
f|が出力され、サンプル遅延回路36から|c−g|が出力さ
れ、サンプル遅延回路31から|d−h|が出力される。選択
回路32,33,39において、画素の差分の絶対値|a−e|,|b
−f|,|c−g|,|d−h|のうちで最大となるものが選択さ
れ、選択回路39から最大値データMAXが出力される。比
較回路41において、しきい値データTHと最大値データMA
Xとが比較され、補間点となる間引かれた画素91（第４
図Ｄに示す）に対する動き検出がなされる。 また、この時、サンプル遅延回路44から画素65のデー
タａがが出力され、ライン遅延回路45から画素66のデー
タｂが出力され、サンプル遅延回路49から画素67のデー
タｃが出力され、サンプル遅延回路48から画素68のデー
タｄが出力される。このため、1/4割算回路53からは、1
/4（ａ＋ｂ＋ｃ＋ｄ）が出力される。 更に、この時、スイッチ回路28は、入力端子28b側を
選択するように制御されているため、フレームメモリ24
の出力が遅延回路42に供給され、遅延回路42からは、画
素73（第４図Ｂに示す）のデータが出力される。 比較回路41において、画素91が静止画素と判断される
（TH≧MAX）の場合には、スイッチ回路43が制御されて
入力端子43a側が選択される。従って、スイッチ回路43
からは、遅延回路42からの画素73のデータが画素91の補
間データとして出力される。また、比較回路41におい
て、画素91が動き画素と判断される（TH＜MAX）の場合
には、スイッチ回路43が制御されて入力端子43b側が選
択される。従って、スイッチ回路43からは、1/4割算回
路53からの隣接画素の平均値1/4（ａ＋ｂ＋ｃ＋ｄ）が
画素91の補間データとして出力される。 スイッチ回路55は、画素61が入力端子21に供給される
タイミングから１フレーム周期経過後のタイミングにお
いて、前述した場合と同様に一方の入力端子54aを選択
するように端子55からのクロック信号により制御されて
おり、スイッチ回路43からの上記補間データが出力端子
56から取り出される。従って、補間データがサブサンプ
ルデータの間に挿入された形で出力され、本来のサンプ
ルデータ列が復元される。 〔発明の効果〕 この発明では、動き適応補間回路において、サブサン
プリングの位相が一致する２フレーム間で同一位置の画
素の差分の絶対値が求められ、得られた画素の差分の絶
対値のうちで補間点を中心として水平及び垂直方向に隣
接する４個の画素に対応したものが遅延回路群により抽
出され、得られた４個の差分の絶対値のうちで最大とな
るものが選択される。差分の絶対値の最大値と所定のし
きい値とが比較され、しきい値より最大値が大とされる
場合には、動き画素と判定されると共に、しきい値より
最大値が小とされる場合には、静止画素と判定されて判
定結果に対応した出力が形成される。この判定出力に基
づいて静止画素と判定される画素に対して時間方向補間
がなされると共に、動き画素と判定される画素に対して
空間的補間がなされる。時間方向補間がなされる場合に
は、例えば、補間点と画面上で対応する異なるサブサン
プリング位相の前のフレームの画素データが補間データ
として出力される。また、空間内補間がなされる場合に
は、例えば、補間点を中心とした同一フィールド内の水
平及び垂直方向に隣接する４個の画素のデータの平均値
が補間データとして出力される。 従って、この発明に依れば、画素単位で動き検出を行
うと共に、この検出結果に基づいて補間点毎に適応に補
間処理することができるため、従来のように静止ブロッ
クと動きブロックとの間で発生していた解像度の不連続
が防止され、良好な復元画像を得ることができる。

【図面の簡単な説明】 第１図はこの発明の一実施例のブロック図、第２図はこ
の発明が適用される高能率符号化装置の送信側のブロッ
ク図、第３図はこの発明が適用される高能率符号化装置
の受信側のブロック図、第４図はこの発明の一実施例の
動作説明に用いる略線図である。 図面における主要な符号の説明 21:サブサンプルデータの供給端子、22,23,24:フレーム
メモリ、26,28,43,54:スイッチ回路、29:減算器、30:絶
対値変換回路、31,35,37,36,44,47,48,49:サンプル遅延
回路、32,38,39:選択回路、41:比較回路、33,34,45,46:
ライン遅延回路、42:時間方向補間用の遅延回路、50,5
1,52:加算器、53:1/2割算回路、56:出力端子。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭49−29718（ＪＰ，Ａ) テレビジョン学会技術報告、８［２ ］ＩＣＳ67−７（昭59−４−５）Ｐ．47 −54

Claims (1)

1. (57)【特許請求の範囲】 １．ディジタル画像信号の各フレームを所定の大きさの
   領域に分割し、時間的に連続するｎフレーム（ｎは２以
   上の整数）の夫々に属し、且つフレーム内の空間的な位
   置が同一であるｎ個の領域からブロックを構成し、上記
   ブロックの夫々の画素数を（1/m）（ｍは２以上の整
   数）とし、且つブロック内のサブサンプリングの位相が
   同一とされると共に、ｍ個のブロックの間で上記サブサ
   ンプリングの位相が順次シフトされるようにサブサンプ
   リングして上記ディジタル画像信号を符号化するように
   した高能率符号の復号装置において、 上記サブサンプリングにより間引かれた画素の周辺に位
   置する間引かれない画素を抽出し、抽出された画素の値
   と、ブロック内の空間的に同一の位置の間引かれない画
   素の値間のフレーム間差分を演算し、上記フレーム間差
   分の絶対値から上記間引かれた画素の動きについての判
   定を行い、画素毎に判定出力を形成する動き判定手段
   と、 上記間引かれた画素と時間的に近接し、画面上で同一位
   置となる、異なるブロックに含まれる間引かれないデー
   タを時間方向補間出力として抽出する時間方向補間手段
   と、 同一ブロックに含まれ、上記間引かれた画素の上下及び
   左右に位置する間引かれない画素のデータの平均値を空
   間内補間出力として出力する空間内補間手段と、 上記画素毎の上記動き判定手段の出力に応じて上記時間
   方向補間出力及び上記空間内補間出力の一方を上記間引
   かれた画素の補間データとして出力する選択手段と を備えたことを特徴とする高能率符号の復号装置。