JP2718034B2 - 高能率符号の復号装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、高能率符号の復号装置、特にディジタル
ビデオ信号のような画像データのデータ量を圧縮して伝
送する符号化装置から得られる高能率符号を復号する高
能率符号の復号装置に関する。 〔従来の技術〕 ディジタルビデオ信号を伝送する場合に、伝送するデ
ータ量を元の量に比較して圧縮する方法として、サブサ
ンプリングによって画素を間引き、サンプリング周波数
を低くするものが知られている。しかしながら、単なる
サブサンプリングの場合には、圧縮率を高くした時、復
元画素の画質の劣化が目立つものとなる。 そこで、本願出願人は、特願昭59-266407号明細書、
特願昭60-232789号明細書等にてダイナミックレンジに
適応した符号化装置を提案している。しかしながら、こ
れらの符号化装置は、ブロックの画像の動きと関係な
く、常にブロック内の全ての画素データを符号化してい
るので、伝送するデータ量が多くなるものであった。 そのため、画像の動きが無い時、圧縮率をより一層高
くすると共に、受信側で画像を良好に復元することを目
的として、特願昭61-179483号明細書に記載されている
ような技術を提案している。 この出願明細書に示される高能率符号化装置では、サ
ブサンプリングを用いてサンプリング周波数を低減する
場合において、静止ブロック内の間引かれた画素を受信
側で良好に補間すべく、サブサンプリングの位相が順次
シフトされるようになっている。例えば、同一の位置を
占める２個の３次元ブロックの一方と他方とでサブサン
プリングの位相が反転され、相補的な関係が成り立つよ
うにサブサンプリングされる。受信側において、ブロッ
ク毎の動き判定により、現在のブロック及び前のブロッ
クが共に静止ブロックと判定される場合には、サブサン
プリングで間引かれた画素〔以下、補間画素と称する〕
が前のブロックで且つ補間画素と対応する位置に存在し
ている画素〔以下、対応画素と称する〕のデータにより
置換される。 また、前のブロック及び現在のブロックのうちで少な
くとも一方が動きブロックと判定される場合には、前の
ブロックのデータを使用できないので、例えば、同一フ
ィールド内の画素のデータを使用したフィールド内補間
〔いわゆる空間内補間〕がなされる。このフィールド内
補間としては、補間画素の左右に位置する２個の画素の
平均値或いは上下左右の夫々に位置する４個の周囲画素
の平均値が使用される。 〔発明が解決しようとする問題点〕 上述した従来技術において、サブサンプリングにより
間引かれた画素の補間は、ブロック単位での動き判定に
基づいて時間方向〔対応画素のデータ〕または空間内
〔周囲画素の４点平均〕の補間処理がブロックごとに行
われている。 しかしながら、上述の受信側における動き判定が誤っ
てなされた場合、時間方向補間にあっては、ドット状の
ノイズが発生し、また空間内補間にあっては、復元画像
が劣化して不鮮明になる〔いわゆるボケ〕状態になると
いう問題点があり、改善が望まれていた。 従って、この発明の目的は、ドット状のノイズ或いは
ボケ状態の解消された良好な画質の復元画像を得ること
のできる高能率符号の復号装置を提供することにある。 〔問題点を解決するための手段〕 この発明は、ディジタル画像信号を、時間的に連続す
る複数フレームの夫々に属し且つ各フレームで位置的に
対応している複数個の領域からなるブロックに分割し、
ブロックの夫々の画素数を（1/m）とし、そしてｍ個の
ブロック間でサブサンプリングの位相が時間方向あるい
は空間内で順次シフトされるようにサブサンプリングす
ると共に、ブロックのダイナミックレンジに適応して符
号化されているディジタル画像信号を復号化するように
した高能率符号の復号装置において、 サブサンプリングの位相が同一であるブロック内の伝
送データを用いて、画素単位で動き検出を行う手段と、 補間すべき注目画素位置に対応し、ブロックよりも時
間的に前のブロックに位置する特定画素データと、ブロ
ックの複数画素の内、特定画素のデータに重み付けする
べく、注目画素位置周辺に位置する他の画素に動き検出
より得られる動き情報に基づいてオフセットを加えた画
素データの中から画素データを選択出力する非線形処理
手段とを備えたことを特徴とする高能率符号の復号装置
である。 〔作用〕 この発明に係る動き検出手段と、非線形処理手段は、
サブサンプリングにより間引かれた画素データを補間す
るもので、この補間に際しては、動き検出手段による画
素単位の動き検出と、非線形処理手段による補間値とし
ての画素データの選択出力が行われる。 動き検出手段において、サブサンプリングの位相が一
致する現ブロックの２フレーム間で同一位置の画素デー
タの差分の絶対値が求められる。そして、補間画素を中
心として水平及び垂直方向に隣り合う４個の画素に対応
する差分の絶対値が遅延回路群により抽出され、得られ
た４個のデータの中から最大値が選択される。上述の最
大値と所定の閾値とが比較され、閾値より最大値が大な
る場合には、動き画素と判定され、閾値より最大値が小
なる場合には、静止画素と判定される。そして夫々判定
結果に対応した動き情報が非線形処理手段に出力され
る。 非線形処理手段では、現ブロックの複数の周囲画素の
データ中から最大値及び最小値を抽出すると共に、前ブ
ロックより対応画素のデータを抽出する。そして前述の
動き情報に基づいて最大値・最小値にオフセットを加え
〔即ち、対応画素のデータに重み付けし〕、対応画素デ
ータの出力し得る範囲を可変とする。ついで周囲画素よ
り選択されオフセットの加えられた最大値・最小値と、
オフセットにより重み付けされたことになる対応画素と
の間で、データレベルの比較を行い、三者間の中間レベ
ルに位置するものを補間値として選択出力し、補間画素
に内挿するものである。 静止画像は勿論、動画像でも、動き或いは画素データ
のレベル変化の少ない場合〔特に細かな絵柄のような高
周波領域〕には、補間画素と対応画素との間に、周囲画
素に対するよりも高い相関が認められ且つ対応画素レベ
ルが最大値・最小値間に存在する確率が高い。従って、
補間画素を対応画素によって内挿しても補間画素本来の
データ〔以下、真値と称する〕との誤差が少なくでき
る。 一方、変化の大きい動画像の場合には、対応画素のデ
ータレベルが周囲画素のデータレベルとかけ離れた値を
取り、最大値、最小値の範囲外に存在して上述の誤差が
大になる確率が高い。また動きによるフレーム間差分が
白色成分である事から、対応画素の値が最大値よりも大
なる時は最大値で、最小値よりも小なる時は最小値で置
換することが妥当である。 従って、 オフセット最大値＜対応画素データ…オフセット最
大値を補間値とし選択・出力 オフセット最小値≦対応画像データ≦オフセット最
大値…対応画像データを補間値として出力 対応画素データ＜オフセット最小値…オフセット最
小値…オフセット最小値を補間値として選択・出力 ところで、補間画素と周囲画素の間には、一般的に水
平・垂直方向からなる二次元において高い相関〔いわゆ
る画像の局所的相関性〕があり、また画像における単調
性も一般的に成立する。また、ブロック間で静止画像が
連続する場合は、勿論、対応画素と補間画素のデータレ
ベルは等しい。 従って、データサンプリング密度が比較的高い場合に
は、画像の局所的相関性と画像の単調性とが良好に維持
されているため、真値と、補間値との誤差は少なく、画
像の解像度は良好に保たれる。一方、サンプリング密度
が低くなると、上述の画像の局所的相関性と単調性が維
持され難くなり、一般的に画像の解像度は低下する傾向
がある。 これに対し、前述のように最大値・最小値にオフセッ
トを加え、対応画素のデータの出力し得る範囲を可変と
することによって、サンプリング密度の高低に係わらず
に良好な画質の復元画像が得られ、解像度の低下を防止
できるものである。 〔実施例〕 以下、この発明の一実施例について図面を参照して説
明する。この説明は、下記の順序に従ってなされる。 a.送信側の構成 b.受信側の構成 c.動き適応補間回路における信号処理の説明 a.送信側の説明 第２図は、この発明の送信側（ビデオテープレコーダ
の場合では記録側）の構成を全体として示すものであ
る。 第２図において、１で示されるのが入力端子であり、
この入力端子１に、例えば、所定のサンプリング周波数
fsで標本化されて８ビットで量子化されたディジタルビ
デオ信号が入力信号として供給される。入力端子１から
のの入力ディジタルビデオ信号がブロック化回路２に供
給される。 ブロック化回路２は、順次供給されるサンプルデータ
の順序を入れ換えて三次元的な所定の画面領域内に存在
するデータ単位、即ち、高能率符号化の処理単位となる
ブロックの順序のデータ列を形成する。例えば、ブロッ
ク化回路２において、連続する２フレームの夫々に属す
る同一位置となる二次元の画面領域（例えば、４ライン
×４画素）から第４図Ａ及びＢ、そして同図Ｃ及びＤに
示す如く、三次元的な１個のブロック（例えば、４ライ
ン×４画素×２フレーム＝32画素）が構成される。ブロ
ック化回路２の出力が空間内サブサンプル回路３に供給
される。 空間内サブサンプリング回路３は、本来のサンプル周
波数fsの例えば1/2の周波数となる1/2fsで、然も、２フ
レーム毎に位相が反転するサンプリングパルスにより各
ブロックの画素を標本化し、データ量を1/2に圧縮す
る。つまり、空間内サブサンプル回路３において、同一
の画面領域となる連続したブロック間において相補的な
関係が成り立つ五の目状のサンプリングパターンが形成
される。 例えば、第４図は、全体として空間内サブサンプル回
路３において形成される五の目状のサンプリングパター
ンを示すもので、そのパターンを第４図Ａ〜Ｄで示され
る連続したフレーム上の同一領域を用いて示す。尚、第
４図Ａ〜Ｄにおいて、○は、サブサンプリングされた画
素〔◎は対応画素〕を示し、×は間引かれた画素を示
し、△は、或る時点で補間の対象とされる画素を夫々示
す。 また、第４図Ａに示す画面領域〔第１フレーム〕と第
４図Ｂに示す画面領域〔第２フレーム〕から前ブロック
Ｎが形成され、第４図Ｃに示す画面領域〔第１フレー
ム〕と第４図Ｄ〔第２フレーム〕に示す画面領域から現
ブロック（Ｎ＋１）が形成される。尚、第４図において
実線で示されるのが奇数フィールドの４ラインを示し、
破線で示されるのが偶数フィールドのラインを示す。 第４図に示すように、２フレーム（１ブロック）毎に
サブサンプリングされた画素が１画素分のズレを有する
ような形とされており、前ブロックＮの画素と現ブロッ
ク（Ｎ＋１）の画素とを重ね合わせることにより、本来
の画素数のフレームを合成できる。空間内サブサンプル
回路３の出力が動き適応駒落し回路４に供給される。 動き適応駒落し回路４は、ブロック内の２フレーム間
で同一位置の画素の差分〔フレーム差分〕を求め、その
差分の絶対値の最大値と所定の閾値とを比較することに
より、動き検出を行い、動き検出結果に基づいて動きの
少ないブロックに関して駒落し処理を行う。即ち、同一
位置で対応する同士の差分の絶対値の内の最大値と所定
の閾値とが比較され、閾値より上述の最大値が大となる
場合には、動きブロックと判定され、閾値より上述の最
大値が小となる場合には、静止ブロックと判定される。
静止ブロックには関しては、ブロック内のフレームの同
一位置の画素の間で平均値が夫々に算出され、このフレ
ーム間の平均値がブロックを形成するデータとして１フ
レーム分のみ出力され、他のフレームの画素データにつ
いては出力されない。 動き適応駒落し回路４の出力がエンコーダ回路５に供
給されると共に、動き適応駒落し処理の過程において発
生した動き検出の判定結果に対応する判定コードがエン
コーダ回路５及びフレーム化回路６に供給される。 エンコーダ回路５は、ブロック毎のダイナミックレン
ジに基づいてダイナミックレンジに適応した形でビット
数を可変させて符号化を行う。例えば、エンコーダ回路
５において、順次供給れさるブロック内のデータ最大値
及び最小値が検出されると共に、最大値から最小値が減
算されてダイナッミクレンジが算出される。そして、ブ
ロック内のデータの値から最小値が減算され、この最小
値除去後のデータがダイナミックレンジに応じたビット
数で量子化され、圧縮されたビット数のコード信号が形
成される。エンコーダ回路５の処理により得られるダイ
ナミックレンジ、最小値及びコード信号の夫々がフレー
ム化回路６に供給される。 フレーム化回路６において、動き適応駒落し回路４か
らの動き検出の判定コードとエンコーダ回路５からのダ
イナミックレンジ、最小値及びコード信号からなるデー
タ部分にエラー訂正符号が付加され、それらがシリアル
データに変換されて伝送データとされ、この伝送データ
が出力端子７から取り出される。 b.受信側の構成 第３図は、この発明の受信側（ビデオテープレコーダ
の場合では再生側）の構成として示すものである。第３
図において、11で示されるのが受信データの入力端子で
ある。 入力端子11からの受信データがフレーム分解回路12に
供給される。フレーム分解回路12において、受信データ
に対してエラー訂正処理がなされると共に、動き検出の
判定コード、ダイナミックレンジ、最小値及びコード信
号の夫々が分離される。フレーム分解回路12において分
離された動き検出の判定コードでデコーダ回路13、駒落
し復元回路14の夫々に供給される。 デコーダ回路13は、フレーム分解回路12において、分
離されたダイナミックレンジに基づいてコード信号を復
号して最小値が除去されたデータを形成し、最小値が除
去されたデータの値に対して最小値を加算してデータを
復元する。デコーダ回路13の出力が駒落し復元回路14に
供給される。 駒落し復元回路14において、送信側で駒落し処理がな
された静止ブロックに対して復元処理がなされる。例え
ば、動き検出の判定コードに基づいて静止ブロックに対
して復元処理がなされ、ブロック内のフレーム間におい
て平均化されたサブサンプルデータを所定のタイミング
で二度読み出すことにより、本来のフレーム数、画素数
のブロックが復元される。駒落し復元回路14の出力がブ
ロック分解回路15に供給される。 ブロック分解回路15は、ブロックの順序のデータを走
査順序のデータ列に変換する。つまり、ブロック分解回
路15において、サブサンプルデータの順番がテレビジョ
ン信号の走査と同様な順番とされる。ブロック分解回路
15の出力が動き適応補間回路16に供給される。 動き適応補間回路16は、画素毎に動き検出を行うと共
に、動き検出の判定結果に基づき非線形処理により妥当
なデータを以て補間画素P_inを内挿し、補間画素を復元
して本来の画素数のフレームを再現する。例えば、サブ
サンプリングの位相が一致する２フレーム間で同一位置
の画素の差分の絶対値が求められ、補間画素を中心とし
て水平及び垂直方向に隣り合う４個の画素データに対応
する差分の絶対値が遅延回路群により抽出され、得られ
た４個のデータのうちで最大値が選択される。差分の絶
対値の最大値と所定の閾値とを比較することで動き検出
がなされる。例えば、閾値より最大値が大とされる場合
には、動き画素と判定れさると共に、閾値より最大値が
小とされる場合には、静止画素と判定される。そして夫
々の判定結果に対応した動き情報が形成される。 動き適応補間回路16では、更に現ブロック（Ｎ＋１）
の複数の周囲画素のデータの中から最大値及び最小値を
抽出すると共に、前ブロックＮより対応画素P_xのデータ
を抽出し、前述の動き情報に基づいて、最大値・最小値
にオフセットを加え〔即ち、対応画素のデータに重み付
けし〕、対応画素データD_pxの出力し得る範囲を可変と
する。次いでオフセットの加えられた最大値・最小値
と、オフセットにより重み付けされたことになる対応画
素P_xとの間で、データレベルの比較を行い、三者間の中
間レベルに位置するものを補間値D_inとして選択出力す
る。 動き適応補間回路16において本来の画素数分のデータ
列が再現され、動き適応補間回路16の出力が出力端子17
から取り出される。従って、出力端子17からは、所定の
サンプリング周波数fsで標本化され８ビットで量子化さ
れたディジタルビデオ信号が得られる。 c.動き適応補間回路における信号処理の説明 第１図は、前述した高能率符号の受信側に設けられる
動き適応補間回路16の一例を示す。第１図において21で
示される端子には、ブロック分解回路15からのサブサン
プルデータが入力信号として供給される。尚、第１図に
おいて、SDで表現される31,35,37,36,44,47,48,49の夫
々は、１サンプル周期（1/fs）の遅延量を有するサンプ
ル遅延回路であり、LDで表現される33,34,45,46の夫々
は、１水平周期の遅延量を有するライン遅延回路であ
る。 入力端子21からの入力ディジタル信号が直列に接続さ
れた３個のフレームメモリ22,23,24に供給されると共
に、選択回路26の一方の入力端子に供給される。フレー
ムメモリ22で１フレーム周期遅延された処理が減算器2
9,ライン遅延回路45及びサンプル遅延回路44の夫々に供
給される。また、入力信号に対して２フレーム周期遅延
されたフレームメモリ23の出力が選択回路26の他方の入
力端子に供給されると共に、選択回路28の一方の入力端
子に供給される。更に、入力信号に対して３フレーム周
期遅延されたフレームメモリ24の出力が選択回路28の他
方の入力端子に供給される。 選択回路26には、端子25から２フレーム周期のクロッ
ク信号が供給され、１周期の前半区間において入力端子
21からの信号が選択されると共に、１周期の後半区間に
おいてフレームメモリ23の出力が選択される。選択回路
26の出力が減算器29に供給される。減算器29において、
選択回路26の出力とフレームメモリ22の出力との間で減
算処理がなされる、減算出力が絶対値変換回路30に供給
される。絶対値変換回路30において、減算器29の出力が
絶対値に変換される。従って、絶対値変換回路30から
は、サブサンプリングの位相が一致する２フレーム間で
同一位置となる画素の差分の絶対値が順次出力される。
この絶対値出力がサンプル遅延回路31及びライン遅延回
路33の夫々に供給される。 また、選択回路28には、端子27から２フレーム周期の
クロック信号が供給され、１周期の前半区間においてフ
レームメモリ23の出力が選択されると共に、１周期の後
半区間においてフレームメモリ24の出力が選択される。
このため、選択回路28からは、第４図Ｂに示す前ブロッ
クＮの２フレーム目のデータが１周期の前半・後半区間
共に選択されて出力される。選択回路28の出力が比較回
路57,58の夫々の一方の入力端子に供給される。 絶対値変換回路30の出力がサンプル遅延回路31を介し
て選択回路32の一方の入力端子に供給されると共に、ラ
イン遅延回路33を介して選択回路32の他方の入力端子に
供給される。また、絶対値変換回路30の出力がライン遅
延回路33及びサンプル遅延回路35,36を介して選択回路3
8の一方の入力端子に供給されると共に、ライン遅延回
路33,44及びサンプル遅延回路37を介して選択回路38の
他方の入力端子に供給される。つまり、選択回路32,38
には、補間画素P_inを中心として水平及び垂直方向に隣
り合う４個の周囲画素に対応した差分の絶対値が供給さ
れる。 選択回路32,38及び39の夫々は、供給されるデータの
値を比較して大とされる方を出力する構成とされてお
り、選択回路32及び38の出力の夫々が選択回路39に供給
される。選択回路39において、更に大とされる方が選択
され、４個の絶対値のうちで最大となるデータDMAXが選
択回路39から出力される。選択回路39の出力が比較回路
41に供給される。 比較回路41には、端子40から所定の閾値データTHが供
給されており、閾値データTHと最大値データDMAXとが比
較され、比較出力が接続信号としてオフセット決定回路
43の入力端子に供給される。つまり、差分の絶対値の最
大値と所定の閾値とを比較することにより、補間画素P
_inに対する動き検出がなされ、検出結果に対応した動き
情報が形成され、オフセット決定回路43に出力される。
例えば、閾値データTHより最大値データDMAXが小される
場合には、静止画素と判断されてローレベルの出力が形
成れさると共に、閾値データTHより最大値データDMAXが
大とされる場合には、動き画素と判断されてハイレベル
の出力が形成される。 一方、フレームメモリ22の出力がサンプル遅延回路44
を介して選択回路50の一方の入力端子に供給されると共
に、ライン遅延回路45を介して選択回路50の他方の入力
端子に供給される。また、フレームメモリ22の出力がラ
イン遅延回路45及びサンプル遅延回路47,49を介して選
択回路52の一方の入力端子に供給されると共に、ライン
遅延回路45,46及びサンプル遅延回路48を介して選択回
路52の他方の入力端子に供給される。 選択回路50及び52は、２つの入力信号の中でより大き
いレベルの信号を一方の出力端子に夫々発生し、上記２
つの入力信号の中でより小さいレベルの信号を他方の出
力端子に夫々発生する。選択回路50及び52の一方の出力
端子に夫々発生する２つの信号〔大きいレベル〕が選択
回路53に供給される。また選択回路50及び52の他方の出
力端子に夫々発生する２つの信号〔小さいレベル〕が選
択回路54に供給される。 一方の選択回路53は、２つの入力信号の内でよりレベ
ルの大きい信号を出力信号として選択し、他方の選択回
路54はよりレベルの小さい信号を出力信号として選択す
る。 第１図において、選択回路50は、周囲画素P_e及びP_fの
大小関係を判別し、選択回路52は周囲画素P_g及びP_hの大
小関係を判別する。従って、選択回路53は、４個の周囲
画素P_e〜P_hの中の最大値MAXを出力し、選択回路54は、
最小値MINを出力する。 オフセット決定回路43は、選択回路53及び比較回路57
間に設けられている加算回路55と、選択回路54及び比較
回路58間に設けられている減算回路56とに夫々接続され
ている。オフセット決定回路43は、選択回路53,54より
出力される周囲画素P_e〜P_h中の最大値MAX、最小値MINの
値を、比較回路41より供給される画素毎の動き情報に応
じ夫々変化させるために設けられている。オフセット決
定回路43から発生せしめられるオフセットΔが加算回路
55により最大値MAXに加えられ最大値MAX₀（MAX₀＝MAX＋
Δ）が形成される。またオフセットΔが減算回路56にて
最小値MINより減算され最小値MIN₀（MIN₀＝MIN−Δ）が
形成される。 加算回路55の出力信号〔即ち、最大値MAX₀〕が比較回
路57の一方の入力端子及び選択回路60の第１の入力端子
に供給される。 減算回路56の出力信号〔即ち、最小値MIN₀〕が比較回
路58の一方の入力端子及び選択回路60の第２の入力端子
に供給される。 比較回路57及び58の夫々の他方の入力端子には、選択
回路28の出力信号〔即ち、対応画素データD_px〕が夫々
供給されると共に、選択回路60の第３の入力端子にも供
給される。 比較回路57は、参照画素P_e〜P_hの内、最大値MAX₀とし
て選択された画素データと、選択回路28より出力される
対応画素データD_pxを比較し、その大小関係を比較信号S
_C1として判定回路59に供給する。 比較回路58は、周囲画素P_e〜P_hの内、最小値MIN₀とし
て選択された画素データと選択回路28より出力される対
応画素データD_pxを比較し、その大小関係を比較信号S_C2
として判定回路59に供給する。尚、この比較回路57,58
に於いて、最大値MAX₀，最小値MIN₀は、共にオフセット
Δが加えられているため、対応画素データD_pxが重み付
けされていることになる。 判定回路59は、比較信号S_C1，S_C2に基づいて、最大値
MAX₀，最小値MIN₀，対応画素データD_pxの全体的な大小
関係を決定し、その中の中間レベルの値〔以下、中間
値〕を選択するための２ビットの判定信号SJを出力す
る。 選択回路60が上述の判定信号SJにより制御され、３個
の信号の中の中間値が出力信号として選択的に出力端子
17に補間値D_inとして取出される。 上述した動き適応補間回路16の動作を第４図を参照し
て更に具体的に説明する。第４図Ａに示す画面領域のデ
ータがフレームメモリ24に格納され、第４図Ｂに示す画
面領域のデータがフレームメモリ23に格納され、第４図
Ｃに示す画像領域のデータがフレームメモリ22に格納さ
れているものとする。また、第４図ＤにおいてP_a，P_b，
P_c，P_dで示される周囲画素のデータの値をa,b,c,dと
し、第４図ＣにおいてP_e，P_f，P_g，P_hで示される周囲画
素のデータの値をe,f,g,hとする。 第４図ＤにおいてP_33dで示される間引かれた画素が入
力端子21に供給されるタイミングでは、フレームメモリ
23から第４図Ｂに示す画素P_33bのデータが出力され、フ
レームメモリ24から第４図Ａに示す画素P_33aのデータが
出力される。 この時、選択回路26は、入力端子21側からのデータを
選択するように制御されているため、サンプル遅延回路
31から|a−e|が出力され、ライン遅延回路33から|b−f|
が出力され、サンプル遅延回路36から|c−g|が出力さ
れ、サンプル遅延回路37から|d−h|が出力される。選択
回路32,38,39において、同一位置となる画素の差分の絶
対値|a−e|,|b−f|,|c−g|,|d−h|のうちで最大となる
ものが選択され、選択回路39から比較回路41に対し最大
値データDMAXが出力される。比較回路41において、閾値
データTHと最大値データDMAXとが比較され、第４図Ｃに
示す補間画素P_in1に対する動きが検出がなされる。 また、この時点で、上述のライン遅延回路45,46と、
サンプル遅延回路44,47,49,48とにより、補間画素P_in1
の上下左右に４個の周囲画素P_e，P_f，P_g，P_hが抽出され
る。即ち、入力端子21に画素P_33dが供給されるタイミン
グでは、サンプル遅延回路44から周囲画素P_eが得られ、
ライン遅延回路45から周囲画素P_fが得られ、サンプル遅
延回路49から周囲画素P_gが得られ、サンプル遅延回路48
から周囲画素P_hが得られる。 更に、この時、選択回路28は、フレームメモリ23側か
らのデータを選択するように制御されているため、フレ
ームメモリ23の出力が比較回路57,58に供給され、フレ
ームメモリ23からは、前ブロックＮにおける対応画素P_x
（第４図Ｂに示す）のデータD_pxが出力される。 比較回路41において、補間画素P_in1が静止画素と判断
される（TH≧DMAX）場合には、オフセット決定回路43に
てオフセットΔＳが生成され、加算回路55,減算回路56
に夫々出力されて最大値MAX₀（＝MAX＋ΔＳ），最小値M
IN₀（＝MIN−ΔＳ）が生成される。比較回路41におい
て、補間画素P_in1が動き画素と判断される（TH＜DMAX）
の場合には、オフセット決定回路43にてオフセットΔＤ
が生成され、加算回路55,減算回路56に夫々出力され最
大値MAX₀，最小値MIN₀が夫々生成される。 比較回路57及び58からの比較信号S_C1，S_C2は、下記の
ものとなる。 対応画素データD_px＞オフセット最大値MAX₀の場合
には、（S_C1＝“1",S_C2＝“1"）となり、オフセット最
大値MAX₀を選択するための判定信号SJ（＝01）が形成さ
れる。 オフセット最大値MAX₀≧対応画素データD_px≧オフ
セット最小値MIN₀の場合には、（S_C1＝“0",S_C2＝
“1"）となり、対応画素データD_pxを選択するための判
定信号SJ（＝11）が形成される。 オフセット最小値MIN₀＞対応画素データD_pxの場合
には、（S_C1＝“0",S_C2＝“0"）となり、オフセット最
小値MIN₀を選択するための判定信号SJ（＝10）が形成さ
れる。 従って、選択回路60が上述の判定信号SJにより制御さ
れ、３個の信号の中の中間値が出力信号として選択的に
出力端子17に補間値D_inとして取り出される。そして、
補間値D_inがサブサンプルデータの間に挿入された形で
出力される。この処理を全ての補間画素P_inに対して行
うことにより、本来のサンプルデータ列が復元される。 上述した画素P_33dが入力端子21に供給されるタイミン
グから１フレーム周期経過後においては、第４図Ｂに示
す画面領域のデータがフレームメモリ24に格納され、第
４図Ｃに示す画面領域のデータがフレームメモリ23に格
納され、第４図Ｄに示す画面領域のデータがフレームメ
モリ22に格納されている。 画素P_33dが入力端子21に供給されるタイミングから１
フレーム周期経過したタイミングでは、フレームメモリ
24から第４図Ｂに示す画素P_33bのデータが出力される。 この時、選択回路26は、フレームメモリ23側のデータ
を選択するように制御されているため、前述した場合と
同様に画素間の差分の絶対値が求められ、サンプル遅延
回路31から|a−c|が出力され、ライン遅延回路33から|b
−f|が出力され、サンプル遅延回路36から|c−g|が出力
され、サンプル遅延回路37から|d−h|が出力される。選
択回路32,38,39において、上述の画素の差分の絶対値の
内で最大となるものが選択され、選択回路39から最大値
データDMAXが出力される。比較回路41において、閾値デ
ータTHと最大値データDMAXとが比較され、補間画素P_in2
（第４図Ｄに示す）に対する動き検出がなされる。 また、この時点では、上述のライン遅延回路45,46
と、サンプル遅延回路44,47,49,48とにより、補間画素P
_in2の上下左右に４個の周囲画素P_a，P_b，P_c，P_dが抽出
される。即ち、サンプル遅延回路44から周囲画素P_aが得
られ、ライン遅延回路45から周囲画素P_bが得られ、サン
プル遅延回路49から周囲画素P_cが得られ、サンプル遅延
回路48から周囲画素P_dが得られる。更に、この時、選択
回路28は、前述の如く、第４図Ｂに示す前ブロックＮの
フレーム目のデータを１周期の前半・後半区間共に選択
するように制御されているため、フレームメモリ24側か
らのデータを選択する。フレームメモリ24の出力、即ち
対応画素P_x（第４図Ｂに示す）のデータD_pxか比較回路5
7,58に供給される。 比較回路41において、補間画素P_in2が静止画素と判断
される（TH≧DMAX）場合には、オフセット決定回路43に
てオフセットΔＳが生成され、加算回路55,減算回路56
に夫々出力される。また、比較回路41において、補間画
素P_in2が動き画素と判断される（TH＜DMAX）場合には、
オフセット決定回路43にてオフセットΔＤが生成され、
加算回路55,減算回路56に夫々出力される。そして最大
値MAX₀，最小値MIN₀が各々の場合に於いて生成される。 比較信号S_C1，S_C2及び判定信号SJは、前述の場合と同
様にして形成される。 対応画素データD_px＞オフセット最大値MAX₀の場合
には、オフセット最大値MAX₀を選択するための判定信号
SJが形成される。 オフセット最大値MAX₀≧対応画素データD_px≧オフ
セット最小値MIN₀の場合には、対応画素データD_pxを選
択するための判定信号SJが形成される。 オフセット最小値MIN₀＞対応画素データD_pxの場合
には、オフセット最小値MIN₀を選択するための判定信号
SJが形成される。 従って、選択回路60が上述の判定信号SJにより制御さ
れ、３個の信号の中の中間値が出力信号として選択的に
出力端子17に補間値D_inとして取り出される。そして補
間値D_inがサブサンプルデータの間に挿入された形で出
力される。これを全ての補間画素P_inに対して行うこと
により本来のサンプルデータ列が復元される。 このように、補間画素P_inには、補間値D_inとして、オ
フセット最大値MAX₀，対応画素データD_px，オフセット
最小値MIN₀の中の中間値のデータが内挿される。これに
より、静止画像，同画像、夫々の特性に応じて間引き画
素の補間を行える。同画像は勿論、静止画像でも復元画
像の解像度の低下、画質の劣化が生ぜず、従来と比較す
れば復元画像の画質は向上する。 尚、この実施例では、動き検出の結果を、動きと静止
の２段階にわけて夫々、オフセットΔ（ΔD,ΔＳ）を加
・減算するものとしているが、これに限定されるもので
はなく、動き検出手段を動きの程度をも検出し得るもの
とし、それに応じてオフセットΔ（ΔD,ΔＳ）を連続的
に或いは段階的に変化させても良いものである。また、
この実施例では、周囲画素P_a〜P_d，P_e〜P_hは上下・左右
方向に位置する各４点の画素を選択するものとしている
が、これに限定されず、周囲画素の範囲を更に拡大して
選択しても良い。 〔発明の効果〕 この発明によれば、画素単位で動き検出を行うと共
に、非線形処理により画素データを選択出力とし、補間
値として用いているので、従来の如く、受信側でブロッ
ク単位の動き判定を誤るというようなことがなく、時間
方向補間におけるドット状のノイズの発生、時間方向補
間におけるドット状のノイズの発生、また空間内補間に
おける不鮮明〔いわゆるボケ〕状態の発生が解消され、
動画像部分は勿論、静止画像部分の解像度も劣化するこ
となく良好な画質の復元画像を得ることがてきるという
効果がある。 また、ブロックの複数の画素の内、ある特定の画素の
データに重み付けするべく他の画素に動き検出より得ら
れる動き情報に基づいてオフセットを加える非線形処理
手段により補間値を選択・出力しているので、サンプリ
ング密度の精粗にかかわらず、良好に作動して解像度の
劣化を避けることができ、上述の動き情報に基づいてオ
フセットを決定しているため、動きにより適応した補間
を行うことができるという効果もある。 そして、ハードウェアが小型化でき、その上、要素が
動き・静止いずれの状態であっても同一のハードウェア
で対応できるので、効率的であるという効果がある。 上述の同一サンプリング位相の画素間での動き検出
は、受信側でのみ行うので、送信側から受信側に対して
画素単位の判定コードをつける必要がなく、信号の伝送
効率が良いという効果もある。

【図面の簡単な説明】 第１図はこの発明の一実施例のブロック図、第２図はこ
の発明が適用される高能率符号化装置の送信側のブロッ
ク図、第３図はこの発明が適用される高能率符号化装置
の受信側のブロック図、第４図はこの発明の一実施例の
動作説明に用いる略線図である。 図面における主要な符号の説明 16:動き適応補間回路、P_x：対応画素、D_px：対応画素デ
ータ、P_in：補間画素、D_in：補間値、N,N＋1:ブロッ
ク、P_a，P_b，P_c，P_d，P_e，P_f，P_g，P_h：周囲画素、Δ，
ΔS,ΔD:オフセット。

Claims (1)

1. (57)【特許請求の範囲】 １．ディジタル画像信号を、時間的に連続する複数フレ
   ームの夫々に属し且つ各フレームで位置的に対応してい
   る複数個の領域からなるブロックに分割し、上記ブロッ
   クの夫々の画素数を（1/m）とし、そしてｍ個のブロッ
   ク間でサブサンプリングの位相が時間方向あるいは空間
   内で順次シフトされるようにサブサンプリングすると共
   に、上記ブロックのダイナミックレンジに適応して符号
   化されている上記ディジタル画像信号を復号化するよう
   にした高能率符号の復号装置において、 上記サブサンプリングの位相が同一であるブロック中の
   伝送データを用いて、画素単位で動き検出を行う手段
   と、 補間すべき注目画素位置に対応し、上記ブロックよりも
   時間的に前のブロックに位置する特定画素データと、上
   記ブロックの複数画素の内、上記特定画素のデータに重
   み付けするべく、上記注目画素位置周辺に位置する他の
   画素に動き検出より得られる動き情報に基づいてオフセ
   ットを加えた画素データの中から画素データを選択出力
   する非線形処理手段とを備えたことを特徴とする高能率
   符号の復号装置。