JP2910110B2 - 画像データの受信装置及び受信方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、サブサンプリングで伝送データ量を圧縮
する画像データの伝送システムに適用される画像データ
の受信装置及び受信方法に関する。

〔従来の技術〕

ディジタル画像データは、データ量が多いために、磁
気記録／再生系、アナログ通信回路等の伝送容量が比較
的小さい伝送路を使用する時には、データ圧縮がなされ
る。その一つの手法として、サブサンプリングで規則的
に位置する画素データを間引くことが知られている。例
えばテレビジョン画像の１フレーム内で五の目格子状の
サンプリング格子が適用される。この空間内のサブサン
プリングと共に、時間方向でサンプリング格子にオフセ
ットを持たせる方式が提案されている。つまり、時間方
向に隣接するフレーム同士でサンプリング格子の位相が
反転される。

受信側では、間引かれた画素データがこれと強い相関
を持つ伝送画素データを使用して補間される。上述の時
空間サブサンプリングの場合では、空間内補間又は時間
方向補間が使用される。空間内補間は、同一フレーム内
の近接した複数の伝送画素データを使用してなされる。
例えば非伝送画素の左右の伝送画素のデータの平均値で
この非伝送画素が補間される。時間方向補間は、前のフ
レームの伝送画素であって、空間的に同一の画素データ
で置換する補間である。空間内補間と時間方向補間と
は、画像の動きに応じて選択される。画像の動きは、１
フレームを細分化したブロック毎に検出され、そのブロ
ックが動き画像が静止画像かが検出され、検出結果が伝
送画素データと共に伝送される。

〔発明が解決しようとする課題〕

第７図を参照して時間方向補間について説明する。第
７図において、B1nは、第１フレームのｎ番目のブロッ
クであり、B2nは、第１フレームの次の第２フレームの
ｎ番目のブロックである。これらのブロックB1n及びB2n
は、空間的に同一の位置のものである。ブロックB1n及
びB2nは、（３×４）の大きさであり、第７図において
各画素データの真値の一例が数字で表されている。第７
図の例では、各画素の値が１フレーム期間で＋１増えて
おり、＋１の動き量があるものと考えられる。また、○
付きの数字は、サブサンプリングで間引かれる非伝送画
素の値を示している。

ブロックB2nが静止かどうかの判定は、送信側でなさ
れ、ブロックB1n及びB2nの空間的に対応する画素同士の
差分の絶対値の集計値がしきい値と比較され、この集計
値がしきい値より小さい時に、そのブロックB2nが静止
ブロックと判定される。第７図の例で、現フレームのブ
ロックB2nが静止ブロックと判定された場合、受信側で
は、前フレームのブロックB1nの対応する画素データで
非伝送画素が補間され、○が除かれたようなブロックB2
nの復元データが得られる。この第７図の例で、ブロッ
クB2nの原データと復元データとを比較することで分る
ように、従来の時間方向補間は、補間されたデータと真
値との誤差がかなり生じるおそれがあった。この誤差を
小さくしようとすると、静止／動きの判定のしきい値を
小さくする必要があり、その結果、動きブロックと判定
される割合が増える。このことは、静止ブロックに関し
て駒落としで圧縮を行うようにした方式では、圧縮率が
高くできない問題を生じる。

従って、この発明の目的は、サブサンプリングで間引
かれた画素データを時間方向に補間する時に、誤差を小
さくできる画素データの受信装置及び受信方法を提供す
ることにある。

〔課題を解決するための手段〕

請求項１の発明は、ブロック化された画素データを時
間方向に連続する所定単位毎に反転する位相でサブサン
プリングし、間引かれない画素データをブロック単位で
符号化して伝送されたデータを受信する画像データの受
信装置において、 空間方向で対応し、時間方向で隣接するブロック間の
動き量が所定値より大きい場合には、間引き画素の周辺
の複数の間引かれない画素データによって、間引き画素
の補間値を形成する空間内補間手段と、 動き量が所定値以下の場合には、間引き画素と空間方
向で対応し、先行するブロックの画素データによって、
間引き画素の補間値を形成する時間方向補間手段とを備
え、 時間方向補間手段は、動き量から演算した画素単位の
差分データと先行するブロックの画素データと合成する
ことによって、間引き画素の補間値を形成することを特
徴とする画像データの受信装置である。

請求項２の発明は、このように補間を行うようにした
受信方法である。

〔作用〕

ブロック間の動き量が所定値以下のブロックは、静止
ブロックの判定される。静止ブロックに関しては、時間
方向の補間で非伝送画素が補間される。この場合、時間
的に先行するブロックの伝送画素に対して動き量が加味
された補間値が形成され、時間方向の補間に関する誤差
を少ないものとできる。

〔実施例〕

以下、この発明の一実施例について図面を参照して説
明する。第１図は、送信側の構成を示し、１が入力ビデ
オ信号が供給される入力端子、２がビデオ信号をディジ
タルビデオ信号に変換するA/D変換器であるディジタル
ビデオ信号は、ブロック化回路３に供給され、走査の順
序からブロックの順序に変換される。ブロック化回路３
の出力信号がサブサンプリング回路４、１フレーム遅延
回路６及び減算回路７に夫々供給される。

１フレームの画像が第２図に示すようなブロックに細
分化される。１ブロックは、（ｘ画素×ｙライン）の大
きさであり、１ブロック内にＮ個の画素データが含まれ
る。第２図において、B1nが第１フレーム内のブロック
であり、B2nが次の第２フレーム内に含まれ、ブロックB
1nと空間的に同一の位置のブロックである。サブサンプ
リング回路４では、１ライン毎にサンプリング位相が反
転され、五の目格子のサブサンプリングを行うと共に、
時間的に隣接するフレーム間でもサンプリング位相が反
転される。従って、ブロックB1nとB2nのサンプリング位
相が互いに反転している。

サブサンプリング回路４からの伝送画素データがブロ
ック符号の符号化を行うブロックエンコーダ５に供給さ
れる。ブロックエンコーダ５は、ブロック符号化により
伝送データ量を圧縮するものである。ブロック符号化と
しては、本願出願人の提案に係わるADRC（ダイナミック
レンジに適応した符号化）、DCT（Diiscrete cosine tr
ansform）等を使用できる。ブロックエンコーダ５の符
号化出力DTがフレーム化回路10に供給される。

減算回路７では、ブロック化回路３の出力信号から１
フレーム遅延回路６の出力信号が減算される。減算回路
７の出力は、時間的に連続するフレームに夫々含まれ、
空間的に同一の位置の画素同士の値の差分である。減算
回路７からの差分データが集計回路８に供給される。集
計回路８は、差分データを１ブロック毎に集計する。集
計回路８は、ブロック化回路３からのタイミングパルス
により１ブロック毎にリセットされる。集計回路８の出
力信号がディジタル割算回路９に供給され、集計値が１
ブロックの画素数Ｎで割算される。この商は、１フレー
ム期間に生じた１画素毎の動き量の平均値を示してい
る。

この割算回路９の商が判定コードSJとしてフレーム化
回路10に供給される。判定コードSJのビット数が大きく
ならないように、割算回路９では、整数化或いは近似さ
れた商が形成される。フレーム化回路10では、ブロック
エンコーダ５の出力信号DT及び判定コードSJがフレーム
構成の伝送データに変換される。フレーム化回路10で
は、必要に応じてエラー訂正符号化がなされる。

伝送データは、磁気記録／再生の過程等の伝送路を介
して第３図に示す受信側の入力端子21に供給される。受
信データは、フレーム分解回路22に供給され、符号化デ
ータDTと判定コードSJとに分解される。

符号化データDTがブロックデコーダ23に供給される。
ブロックデコーダ23は、送信側のブロックエンコーダ５
と逆に、各伝送画素の復元データPiを発生する。ブロッ
クデコーダ23の出力Piが適応補間回路24に供給される。
適応補正回路24は、後述のように、判定コードSJと判別
回路28からの検出信号Psとに応じてサブサンプリングで
間引かれた画素のデータを補間する。判別回路28は、判
定コードSJを所定のしきい値と比較することで、静止ブ
ロックと動きブロックとを区別する検出信号Psを発生す
る。

適応補間回路24からの復元データがブロック分解回路
25に供給され、ブロックの順序から走査の順序に変換さ
れたデータが形成される。ブロック分解回路25の出力が
D/A変換器26に供給され、アナログのビデオ信号が出力
端子27に取り出される。

適応補間回路24の一例を第４図に示す。適応補間回路
24は、１フレーム遅延回路31、加算回路32、スイッチン
グ回路33により形成された時間方向の補間値と、フレー
ム内補間回路35により形成された空間内の補間値とがス
イッチング回路36の入力端子ａ及びｂに夫々供給され
る。スイッチング回路36が検出信号Psで制御され、静止
ブロックに関しては、非伝送画素が時間方向に補間値に
置き換えられ、また、動きブロックに関しては、非伝送
画素が空間内の補間値に置き換えられる。

ブロックデコーダ23からの各画素の復元データPiがス
イッチング回路33の入力端子ｃ、１フレーム遅延回路31
及びフレーム内補間回路35に供給される。１フレーム遅
延回路35の出力信号と判定コードSJが加算回路32に供給
され、加算回路32の出力信号がスイッチング回路33の入
力端子ｄに供給される。スイッチング回路33は、端子34
からのサブサンプリングクロックにより画素周期で切り
替えられる。つまり、伝送画素のタイミングでは、入力
端子ｃが選択され、非伝送画素のタイミングでは、入力
端子ｄが選択される。

前述のように、判定コードSJは、あるブロックに関し
て、１フレーム期間の動き量を画素単位で示している。
従って、加算回路32の出力信号は、この動き量が加えら
れたものであり、単に前のフレームの画素データで置換
する従来の方式に比してより真値に近い時間方向の補間
値を生成することができる。

フレーム内補間回路35は、非伝送画素の左右の伝送画
素の値の平均値のように、非伝送画素と空間的に近接し
た複数の伝送画素から補間値を生成する。スイッチング
回路33と同様のスイッチング回路がフレーム内補間回路
35に設けられており、非伝送画素がフレーム内の補間値
で補間された出力がフレーム内補間回路35から出力され
る。

第５図及び第６図を参照してこの発明の他の実施例に
ついて説明する。第５図は、他の実施例の送信側の構成
を示す。前述の一実施例における送信側（第１図）と同
様に、アナログビデオ信号がA/D変換器２でディジタル
化され、ブロック化回路３によりブロックの順序に変換
される。サブサンプリング回路４により、フレームオフ
セットのサブサンプリングがなされ、伝送画素のデータ
がブロックエンコーダ５で符号化され、出力端子11に符
号化データDTが発生する。

上述の一実施例と異なり、１フレーム期間の動き量を
示す判定コードSJの伝送を行わず、伝送データ量の低減
を図っている。但し、ブロック毎に静止ブロックか動き
ブロックかを示す１ビットのコード信号を伝送しても良
い。

第５図の送信側と対応する受信側の構成を第６図に示
す。21で示す入力端子からの符号化データDTがブロック
デコーダ23に供給され、ブロックデコーダ23から伝送画
素の復号データPiが発生する。この画素データPiが適応
補間回路24に供給される。適応補間回路24からの復元デ
ータがブロック分解回路25を介してD/A変換器26に供給
され、出力端子27にアナログビデオ信号が得られる。

他の実施例では、受信側で判定コードSJと対応するS
J′と、検出信号Psと対応するPs′とが生成される。ブ
ロックデコーダ23からの画素データPiが減算回路41に供
給される。減算回路41には、適応補間回路24からの復元
データが１フレーム遅延回路42とスイッチング回路43と
を介して供給される。スイッチング回路43は、端子44か
らのクロックによりオン／オフされる。このスイッチン
グ回路43がオンするのには、１フレーム遅延回路42の出
力のフレームにおける伝送画素のタイミングである。従
って、減算回路41からは、現フレームの伝送画素の値と
前フレームの伝送画素の値との差分が得られる。フレー
ムオフセットのサブサンプリングがなされているので、
減算回路41に供給される二つの画素の位置は、１画素分
の空間的なずれを有しいる。しかし、画像の空間的な相
関から差分データを近似的な動き量としても良い。

減算回路41からの差分データが集計回路45に供給さ
れ、１ブロック毎に集計される。集計回路45は、ブロッ
クデコーダ23からのタイミング信号でブロック毎にリセ
ットされる。集計回路45の出力信号が割算回路46に供給
される。ブロックデコーダ23の出力に発生する画素デー
タPiは、補間処理の前のものであるので、１ブロック当
りの画素数が1/2Nである。従って、割算回路46では、集
計値が1/2Nで割算されることで、１フレーム期間の動き
量が求められる。

割算回路46で発生した商が判定コードSJ′として適応
補間回路24に供給されると共に、判別回路47に供給され
る。判別回路47では、判定コードSJ′としきい値とが比
較されることで、静止ブロックと動きブロックとを区別
する１ビットの検出信号Ps′が生成される。１ビットの
検出信号を伝送する時には、判別回路47を設ける必要が
ない。この検出信号Ps′が適応補間回路24に供給され
る。適応補間回路24は、検出信号Ps′により、時間方向
補間とフレーム内補間が切り替えられるもので、第４図
に示す構成と同様のものである。判定コードSJ′が前の
フレームの画素データに加算されることで、時間方向の
補間値が形成される。

なお、この発明は、２次元ブロックに限らず、複数フ
レームに夫々属する２次元領域からなる３次元ブロック
の構成に対しても適用できる。また、３次元ブロックの
構成において、静止ブロックの場合に、複数の領域の画
素データの代わりに、この画素データの平均値を伝送す
る駒落としを行うようにしても良い。更に、サブサンプ
リングのパターンは、五の目格子に限られない。

〔発明の効果〕

この発明は、サブサンプリングで間引かれた画素を時
間方向に補間する時に、動き量を考慮した伝送画素デー
タを用いるので、誤差が少ない補間を行うことができ
る。

【図面の簡単な説明】

第１図はこの発明の一実施例の送信側のブロック図、第
２図はブロックの一例を示す略線図、第３図は一実施例
の受信側のブロック図、第４図は適応補間回路の一例の
ブロック図、第５図はこの発明の他の実施例の送信側の
ブロック図、第６図は他の実施例の受信側のブロック
図、第７図は従来の時間方向の補間方式の問題点の説明
に用いる略線図である。 図面における主要な符号の説明 23:ブロック符号化のデコーダ、24:適応補間回路、31:1
フレーム遅延回路、32:加算回路、33、36:スイッチング
回路、35:フレーム内補間回路。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】ブロック化された画素データを時間方向に
   連続する所定単位毎に反転する位相でサブサンプリング
   し、間引かれない画素データをブロック単位で符号化し
   て伝送されたデータを受信する画像データの受信装置に
   おいて、 空間方向で対応し、時間方向で隣接するブロック間の動
   き量が所定値より大きい場合には、間引き画素の周辺の
   複数の間引かれない画素データによって、上記間引き画
   素の補間値を形成する空間内補間手段と、 上記動き量が所定値以下の場合には、間引き画素と空間
   方向で対応し、先行するブロックの画素データによっ
   て、上記間引き画素の補間値を形成する時間方向補間手
   段とを備え、 上記時間方向補間手段は、動き量から演算した画素単位
   の差分データと上記先行するブロックの画素データと合
   成することによって、上記間引き画素の補間値を形成す
   ることを特徴とする画像データの受信装置。
2. 【請求項２】ブロック化された画素データを時間方向に
   連続する所定単位毎に反転する位相でサブサンプリング
   し、間引かれない画素データをブロック単位で符号化し
   て伝送されたデータを受信する画像データの受信方法に
   おいて、 空間方向で対応し、時間方向で隣接するブロック間の動
   き量が所定値より大きい場合には、間引き画素の周辺の
   複数の間引かれない画素データによって、上記間引き画
   素の補間値を形成する空間内補間のステップと、 上記動き量が所定値以下の場合には、間引き画素と空間
   方向で対応し、先行するブロックの画素データによっ
   て、上記間引き画素の補間値を形成する時間方向補間の
   ステップとを備え、 上記時間方向補間のステップは、動き量から演算した画
   素単位の差分データと上記先行するブロックの画素デー
   タと合成することによって、上記間引き画素の補間値を
   形成することを特徴とする画素データの受信方法。