JPH09233055A

JPH09233055A - 信号復元装置

Info

Publication number: JPH09233055A
Application number: JP4015296A
Authority: JP
Inventors: Shoichiro Yamazaki; 彰一郎山嵜
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-02-27
Filing date: 1996-02-27
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】受信した符号化データの一部に損失が生じて
いた場合に少ない演算量で精度よく信号を復元する。【解決手段】この通信端末１の信号復元手段３は、複
数の受信信号ブロックａ_0,0〜ａ_2,2の損失の有無を判
定する判定手段１２と、損失があったブロックａ_1,1の
一部とそれ以外の無損失のブロックａ_0,0〜ａ_1,0、ａ
_1,2〜ａ_2,2の一部とを含むオーバーラップ（重複）ブ
ロックｂ_0,0〜ｂ_1,1を設定し補間により各重複ブロッ
クｂ_0,0〜ｂ_1,1の一次近似ｖ_0,0〜_1,1を生成する近
似ブロック生成手段１３と、一次近似ｖ_0,0〜_1,1の周
波数成分Ｅ_0,0〜_1,1の高周波領域のみを誤差推定領域
に設定する領域設定手段１４と、この高周波領域につい
て近似誤差の大きさを推定する近似誤差推定手段１５
と、推定した近似誤差を一次近似ｖ_0,0〜_1,1から減算
し一次近似を修正して信号を復元する近似誤差除去手段
１６とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】例えば画像データなどを符号
化した信号フレームを取得して復元する信号復元装置に
関する。

【０００２】

【従来の技術】近年、Ｈ．２６１やＭＰＥＧ１、ＭＰＥ
Ｇ２などと呼ばれる符号化方式の標準化がなされてい
る。これらの符号化方式は、データをブロック単位に分
割し各ブロック毎に離散コサイン変換（ＤＣＴ）処理と
量子化処理とを施すことにより大量のデータを圧縮し符
号化するものであり、信号処理はブロック単位で行われ
る。ところで、このようにして生成された符号化デー
タを伝送路を利用して通信すると、伝送路上における雑
音などの発生によって符号誤りが発生することがある。
また符号化データをネットワーク上にパケット形式で通
信する場合はネットワークの輻輳などのためパケット損
失が発生することがある。

【０００３】このように符号誤りやパケット損失などの
生じた符号化データを従来の信号復元装置で受信し復号
すると、再生画像にブロック抜けが生じ再生画像品質の
劣化を引き起こすことがある。このことは画像データに
限らず音声信号であっても同様の問題が生じる。

【０００４】そこで、この対策として、送信データに誤
り訂正符号を付加する技術（誤り訂正符号化：ＦＥＣ）
や誤りのあったデータに対して再送を自動的に要求する
技術（自動再生要求：ΑＲＱ）などが考案されている。

【０００５】しかしながら、上記技術は以下のような問
題がある。

【０００６】例えばＦＥＣは、送信側で情報ビットに冗
長ビットを付加して符号化し、受信側の復号で冗長ビッ
トを基に情報ビットの誤りを除去するため、誤り訂正能
力をある程度得るためには付加冗長ビットを増やす必要
がありデータの伝送効率が劣化する。

【０００７】またＡＲＱは、受信側で伝送の際、誤りを
生じたことを検出して、送信側に再送を要求するため、
再送回数の増加に伴い上記同様データ伝送効率が劣化す
る。このように伝送効率を劣化させない対策として、エ
ラーコンシールメントと言われる技術が提案されてい
る。

【０００８】画像などの信号ブロックは、同一フレーム
内の周辺のブロックとの類似性が強い。動画像の場合は
前後のフレームのブロックと類似性が強い。言い換える
と、相関が強いという性質がある。

【０００９】エラーコンシールメントは、この性質を利
用して信号の復号後、劣化あるいは消失した信号ブロッ
クを、同一フレーム内もしくは前後のフレーム間で補間
する技術である。この技術の場合、送信側で冗長ビット
を加えたり再送要求するなどの操作を行わずに済むこと
から伝送効率は劣化しない。

【００１０】ここで、従来のエラーコンシールメントの
技術について図１３を参照して説明する。

【００１１】図１３（ａ）は消失ブロックを同一フレー
ム内の周辺ブロックから補間する場合を示す図、図１３
（ａ）は消失ブロックを前後のフレームのブロックで補
間する場合を示す図である。

【００１２】同図（ａ）に示すように、それぞれのブロ
ックａ_i,j（ｉ＝0,1,2,ｊ＝0,1,2）は、Ｍ×Ｍ（ 8×
8などの）ブロック構成であり、Ｍ²の要素を有してい
る。

【００１３】このブロック配列を次の行列式に示す。

【００１４】

【数１】この例において、ブロックａ_1,1を消失ブロックとし、
この消失ブロック周辺の 8個のブロックを劣化していな
いブロック（無損失ブロック）とする。画像符号化処理
では離散コサイン変換（ＤＣＴ）が用いられることが多
く、一例として、ＤＣＴ変換を利用した周波数領域の処
理について説明する。

【００１５】ブロックａ_i,j（ｉ＝0,1,2,ｊ＝0,1,2 ）
にＤＣＴ処理を施して生成したブロックをＡ_i,j（ｉ＝
0,1,2,ｊ＝0,1,2 ）とする。

【００１６】

【数２】ここで、消失ブロックΑ_1,1の要素Ａ_1,1（ｍ，ｎ），
ｍ＝0,1,…，Ｍ−１，ｎ＝0,1,…，Ｍ−１を以下のよう
に周辺ブロックＡ_i,j（ｍ，ｎ) に重みｗ_i,jを乗算し
た後、加算して定める。

【００１７】Ａ_1,1(m,n)=ｗ_0,0,Ａ_0,0(m,n）＋ｗ_0,1
Ａ_0,1(m,n）＋ｗ_0,2Ａ_0,2(m,n)＋ｗ_1,0Ａ_1,0(m,
n）＋ｗ_1,2Ａ_1,2(m,n）＋ｗ_2,0Ａ_2,0(m,n)＋ｗ_2,1
Ａ_2,1(m,n）＋ｗ_2,2Ａ_2,2(m+n）消失ブロックΑ_1,1が周辺の 8個のブロックとほぼ等し
い相関を有している場合、重みは全て 1/8とし、このと
きは平均処理となる。通常は画像のエッジなどの有無を
基に、消失ブロックΑ_1,1と周辺 8個のそれぞれブロッ
クとの関連性に応じて重みの値を変えて定める。

【００１８】消失ブロックの周波数領域のブロックΑ
_1,1が求められれば、逆離散コサイン変換（ＩＤＣＴ）
により空間領域の消失ブロックａ_1,1を求めることがで
きる。なお上記処理では、周波数領域で補間した後、空
間領域に変換して消失ブロックを求めたが、空間領域で
直接フィルタリング操作しそれを補間して消失ブロック
を定める手法もある。

【００１９】一方、動画像の場合などは、同一フレーム
（画面）内で補間すること以外に、図１３（ｂ）に示す
ように、前後のフレームから消失ブロックの位置に相当
するブロックを持ってきて消失ブロックを補間すること
が行われているが、この場合、前後のフレーム（画面）
間でシーンチェンジが起きやすい状態変化の早い動画に
は使えない。

【００２０】ところで、上記同一フレーム内で消失ブロ
ックを補間する場合において、空間領域／周波数領域の
手法とも重み付け加算フィルタリング操作などを行って
いるため周波数領域の低周波数成分は精度よく再生され
るが、ここでは高周波数成分の再生が無視されている。

【００２１】また、前後のフレームから消失ブロックを
補間する場合も当該フレームと前後のフレームで細かい
動きがある画像の場合は高周波数成分を精度よく再生す
ることができる。

【００２２】そこで、高周波数成分の再生精度を向上さ
せるための技術が、最近、いくつかの文献に発表されて
いる。

【００２３】例えばX.Lee,Y.Zhang,A.Garcia,[Informat
ion Loss Recovery for Block-Based Image Coding Tec
hniques-A Fuzzy Logic Approach],IEEE Trans.Image P
rocessing,Vol.4,No.3,pp.259-273,March 1995．の文献
（以下文献１と称す）には、ファジー推論を導入し、高
周波数成分の再生を行う技術が記載されている。

【００２４】また、H.Sun,W.Kwok,[Concealment of Dam
aged Block Transform Coded Images Using Projection
s onto Convex Sets],IEEE Trans.Image Processing,Vo
l.4,No.4,pp.470-477,April 1995．の文献（以下文献２
と称す）には、空間領域と周波数領域の変換を何度も繰
り返し、徐々に高周波数成分を再生して行く技術が提案
されている。

【００２５】しかしながら、これらの技術は、共に処理
が複雑かつ演算量が多いことから、特にデータ量の多い
動画像への適用は困難である。

【００２６】

【発明が解決しようとする課題】このように従来の信号
復元技術では、ブロック単位で符号化された画像などの
信号を伝送すると、符号誤りやパケット消失を生じた場
合、そのまま復号すると、再生信号にブロック抜けを生
じる品質劣化が問題となる。この対策として画像の相関
特性を利用してフレーム内／間で補間する手法がある
が、周波数領域において低周波数成分の再生には有効で
あるが高周波数成分については再生が困難であるという
問題があった。

【００２７】なおこれを解決するための技術も発表され
ているが、処理が複雑であり、しかも膨大な演算量を要
することから動画像を再生するのには実用的ではない。

【００２８】本発明は、このような課題を解決するため
になされたもので、消失ブロックを少ない演算量で低周
波成分から高周波数成分まで精度よく再生することので
きる信号復元装置を提供することを目的としている。

【００２９】

【課題を解決するための手段】上記した課題を解決する
ために、請求項１記載の発明は、信号フレームを取得す
る信号取得手段と、前記信号取得手段により取得された
信号フレームから複数の信号成分からなるブロック信号
を生成するブロック信号生成手段と、このブロック信号
生成手段により生成された前記ブロック信号における信
号成分が損失しているか否かを判定する判定手段と、こ
の判定手段により信号成分が損失していないと判定され
た信号ブロックを無損失ブロックとし、かつ信号成分が
損失していると判定された信号ブロックを損失ブロック
とすると共にこの損失ブロックの少なくとも一部と前記
無損失ブロックの少なくとも一部とを含む重複ブロック
を設定し、この重複ブロックの信号成分を前記無損失ブ
ロックの信号成分から近似して近似ブロックを生成する
近似ブロック生成手段と、この近似ブロック生成手段に
より生成された近似ブロックの周波数領域においてその
中の一部領域を設定する領域設定手段と、この領域設定
手段により設定された周波数領域における近似誤差の大
きさを、前記近似ブロックと前記無損失ブロックの重複
領域の近似誤差から推定する近似誤差推定手段と、この
近似誤差推定手段により推定された近似誤差の大きさを
前記近似ブロックから除去する近似誤差除去手段とを具
備したことを特徴としている。

【００３０】この請求項１記載の発明の場合、信号取得
手段により信号フレームが取得されると、それから複数
の信号成分からなるブロック信号が生成され、このブロ
ック信号における信号成分が損失しているか否かを判定
される。ここで、例えば信号成分が損失していない信号
ブロックは、無損失ブロックとされ、信号成分が損失し
ている信号ブロックは損失ブロックとされ、この損失ブ
ロックの少なくとも一部を含む信号ブロックは重複ブロ
ックと仮定される。そして、複数の無損失ブロックの信
号成分から近似して近似ブロックが生成され、生成され
た近似ブロックの周波数領域においてその中の一部領域
が設定される。そして、近似誤差推定手段は、限定され
た周波数領域の近似誤差の大きさを、近似ブロックと無
損失ブロックの重複領域の近似誤差から推定し、この推
定された近似誤差が近似誤差除去手段により近似ブロッ
クから除去される。

【００３１】すなわち、比較的誤差の大きな周波数領域
を限定した上で、近似誤差を推定し、除去するので、少
ない演算量で消失信号を復元することができる。

【００３２】請求項２記載の発明は、請求項１記載の信
号復元装置において、近似誤差推定手段は、近似誤差の
周波数領域における周波数値と大きさに関する多項式と
を予め設定し、その周波数値と大きさから近似誤差を推
定することを特徴としている。この請求項２記載の発
明の場合、予め設定された近似誤差の周波数領域におけ
る周波数値と大きさに関する多項式とから近似誤差を推
定する。すなわち近似誤差を多項式の演算によって求め
るので、演算時間が少なく済む。

【００３３】請求項３記載の発明は、請求項１記載の信
号復元装置において、近似誤差推定手段は、実数体ある
いは複素数体上の誤り訂正符号を用いて近似誤差を推定
することを特徴としている。

【００３４】この請求項３記載の発明の場合、近似誤差
は、実数体あるいは複素数体上の誤り訂正符号を用いて
推定されるので、従来のようにビットストリーム上で有
限体上の誤り訂正符号化処理を行う必要がない。

【００３５】請求項４記載の発明は、請求項１記載の信
号復元装置において、近似ブロック生成手段は、複数の
連結した消失ブロックがある場合、消失ブロックと隣接
した上下左右のブロックが無消失ブロックとして多く残
っている部分から重複ブロックを設定して近似ブロック
を生成し、近似誤差除去手段により近似誤差の除去され
た近似ブロックを新たな無損失ブロックとみなし、逐
次、消失ブロックを減少させることを特徴としている。

【００３６】この請求項４記載の発明の場合、複数の連
結した消失ブロックがある場合、消失ブロックと隣接し
た上下左右のブロックが無消失ブロックとして多く残っ
ている部分から重複ブロックを設定して近似ブロックを
生成し近似誤差を除去し、その近似誤差が除去された新
たなブロックを無損失ブロックとみなして、逐次、消失
ブロックを減少させるので、複数の消失ブロックがあっ
た場合でも、信号を復元することができる。

【００３７】請求項５記載の発明は、請求項１記載の信
号復元装置において、近似ブロック生成手段は、消失ブ
ロックと同一の信号フレームまたは前記消失ブロックと
異なる信号フレームのうち少なくとも一方から近似ブロ
ックを生成することを特徴としている。

【００３８】この請求項５記載の発明の場合、消失ブロ
ックと同一の信号フレームまたは消失ブロックとは異な
る信号フレームのうち少なくとも一方から無損失ブロッ
クを持ってきて補間し近似ブロックを生成するので、２
次元画像や３次元画像にも対応できる。

【００３９】請求項６記載の発明は、請求項１記載の信
号復元装置において、周波数帯域設定手段は、近似ブロ
ック生成手段により生成された近似ブロックの周波数領
域において高周波領域を比較的近似誤差の大きい領域と
して設定することを特徴としている。

【００４０】この請求項６記載の発明の場合、近似ブロ
ックの周波数領域において高周波領域を比較的近似誤差
の大きい領域として設定し、この誤差の大きい領域に限
定して近似誤差の大きさを推定し除去するので、少ない
演算量で精度よく信号を復元することができる。

【００４１】このように上記した各発明では、消失ブロ
ックと無消失ブロックの一部を含む重複ブロックを設定
し、補間により重複ブロックの１次近似ブロックを生成
した後、周波数領域において近似誤差成分を所定の周波
数領域のみに限定して近似誤差の大きさを推定し１次近
似ブロックから減算することにより１次近似ブロックを
修正し精度の高い信号復元を少ない演算量で行う。

【００４２】これにより、ブロック単位で符号化された
動画像などの符号化データを復元する上で、受信信号ブ
ロックの一部が消失あるいは損失を受けた場合でも、低
周波数から高周波数までの信号成分を少ない演算量で精
度よく復元することができる。

【００４３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。

【００４４】図１は本発明に係る信号復元装置の一つの
実施形態である通信端末の構成を示す図、図２は図１の
通信端末の信号復元手段の構成を示す図である。

【００４５】図１において、１はコンピュータなどの通
信端末である。この通信端末１はネットワークから符号
化データ（信号フレーム）を受信（取得）したり送信し
たりする通信手段２、この通信手段２により受信された
符号化データを復元する信号復元手段３、通信手段２か
ら送信する符号化データを生成する信号符号化手段４、
入力手段５、出力手段６などを有している。通信手段２
は通信モデムなどのハードウェアとこの通信モデムの機
能を制御する通信ソフトウェアなどである。入力手段５
は例えばキーボート、マウスなどであり、出力手段６は
例えばモニタ、プリンタなどである。

【００４６】図２に示すように、信号復元手段３は、ブ
ロック信号生成手段１１、判定手段１２、近似ブロック
生成手段１３、領域設定手段１４、近似誤差推定手段１
５、近似誤差除去手段１６などを有している。これら各
手段は、ハードウェアでもソフトウェアでも実現可能で
あるが、ここでは、コンピュータ内に搭載されているＣ
ＰＵが実行するソフトウェアの各モジュールとする。

【００４７】以下、図３〜図７を参照してこの通信端末
１の第１の動作例を説明する。

【００４８】この通信端末１の場合、ネットワークを通
じて符号化データが通信手段２に受信されると、そのデ
ータは信号復元手段３へ渡される。

【００４９】まず、受信された符号化データのうち、図
３に示すように、Μ×Ｍのブロックａ_i,jの中の中央の
1つのブロックａ_1,1が消失した場合の簡単な例につい
て説明する。

【００５０】このＭ×Ｍのブロックａ_i,j但し（ｉ＝0,
1 …M-1 、ｊ＝0,1 …M-1 ）は、次の行列式に示すよう
なＭ²個の要素を有している。

【００５１】

【数３】この場合、信号復元手段３では、図４に示すように、消
失ブロックａ_1,1に重複するブロック（オーバーラップ
ブロック）、つまりｒ×ｒ（ｒ＝Ｍ／２）の部分が重複
した 4個のＭ×Ｍのオーバーラップブロックｂ_i,j但し
（ｉ＝0,1 ，ｊ＝0,1 ）を仮定して設定する。

【００５２】そして、これらそれぞれのオーバーラップ
ブロックｂ_i,jを未知として、補間することによってオ
ーバーラップブロックの１次近似ｖ_i,j但し（ｉ＝ 0,
1、ｊ＝0,1 ）を生成する。

【００５３】まず、図５に示すように、消失ブロックａ
_1,1と同一フレーム内で周波数領域の１次近似ｖ_0,0を
求める処理について説明する。

【００５４】この場合、信号復元手段３の近似ブロック
生成手段１３では、ブロックａ_i,jの周波数領域のブロ
ックを、ブロックＡ_i,j但し（ｉ＝0,1,2 、ｊ＝0,1,2
）とし、このブロックＡ_i,jは次の式（２）で示すこ
とができる。

【００５５】

【数４】そして、１次近似ｖ_0,0の周波数領域のブロックをブロ
ックＶ_0,0とすると、このブロックＶ_0,0は、次の式
（３）で示すことができる。

【００５６】

【数５】ここで、オーバーラップブロックｂ_0,0の１次近似ｖ
_0,0の要素Ｖ_0,0（ｍ，ｎ）但し（ｍ=0,1…M-1 、ｎ＝
0,1 …M-1 ）を、以下の式（４）ように各Ａ_i,j（ｍ，
ｎ）に重みｗ_i,jを乗算した後、それぞれを加算して定
める。

【００５７】Ｖ_1,1(m,n)=ｗ_0,0Ａ_0,0(m,n）＋ｗ_0,1Ａ_0,1(m,n）＋ｗ_0,2Ａ_0,2(m,n) ＋ｗ_1,0Ａ_1,0(m,n）＋ｗ_1,2Ａ_1,2(m,n）＋ｗ_2,0Ａ_2,0(m,n) ＋ｗ_2,1Ａ_2,1(m,n）＋ｗ_2,2Ａ_2,2(m+n）（４）消失ブロックａ_1,1の周辺にエッジがない場合は、消失
ブロックａ_1,1とその周辺の 8個のブロックとの相関が
ほぼ等しいと考えられ、ブロックｖ_0,0を求める場合の
重みｗ_0,0は、ｗ_0,0＝ｗ_0,1＝ｗ_1,0＝9/32 （５）ｗ_0,2＝ｗ_1,2＝ｗ_2,0＝ｗ_2,1＝ｗ_2,2＝1/32 （６）となる。

【００５８】通常、近似ブロック生成手段１３は、画像
のエッジの有無などを基に消失ブロックとその周辺の 8
個の各ブロックとの関連性に応じて重みの値を設定す
る。

【００５９】オーバーラップブロックｂ_0,0の周波数領
域のブロックＶ_0,0が求められると、それを空間領域に
変換することにより消失ブロック（１次近似オーバーラ
ップブロック）ｖ_0,0を求めることができる。

【００６０】一方、符号化データが動画像の場合は、近
似ブロック生成手段１３は、図６に示すように、オーバ
ーラップブロックｂ_0,0と相関の強い他のフレーム（前
または後のフレーム）の一つを選出し、１次近似オーバ
ーラップブロックｖ_0,0を生成する。なおこのように前
後のフレームからだけではなく、同一フレームのブロッ
クと前後のフレームのブロックとを共に利用して１次近
似オーバーラップブロックｖ_0,0を生成してもよい。

【００６１】続いて、領域設定手段１４によりこの一次
近似オーバーラップブロックｖ_0,0の誤差領域が設定さ
れる。

【００６２】例えばオーバーラップブロックｂ_0,0にお
いては、既知の領域と消失した未知の領域とに区分でき
る。つまり無損失ブロックａ_0,0、ａ_0,1、ａ_1,0の一
部と重複している3/4 の領域は既知の領域であり、残り
の1/4 の領域が未知の領域である。

【００６３】同様に、図７（ａ）に示すように、近似誤
差ブロックｅ_0,0の場合も、空間領域において、既知の
誤差領域７０と推定すべき未知の誤差領域７１とに区分
でき、近似誤差ブロックｅ_0,0は、ｅ_0,0＝ｖ_0,0−ｂ
_0,0と表すことができる。

【００６４】この近似誤差ブロックｅ_0,0を離散フーリ
エ変換（ＤＦＴ）すると、図７（ｂ）に示すように、周
波数成分（周波数領域）Ｅ_0,0が得られるが、この周波
数領域Ｅ_0,0においては、左上隅が低い周波数であり、
右下隅に向かうほど高い周波数になる。この場合、低／
中周波数領域７２の近似誤差は小さく、高周波領域７３
の近似誤差は大きくなることが多い。この周波数領域Ｅ
_0,0においても、Ｅ_0, ₀＝Ｖ_0,0−Ｂ_0,0が成り立つ。

【００６５】ところで、上式ｅ_0,0＝ｖ_0,0−ｂ_0,0を
変形すると、ｖ_0,0＝ｂ_0,0＋ｅ_0,0 （７）となり、近似オーバーラップブロックｖ_0,0は、近似誤
差ブロックｅ_0,0を含んでいる。したがって、この近似
誤差ブロックｅ_0,0の誤差を推定すればよい。

【００６６】この場合、近似誤差ブロックｅ_0,0は、

【数６】に示すように、Ｍ×Ｍの行列であり、Ｍ²個の成分を有
している。この中で、未知の項は、近似誤差ブロックｅ
_0,0（ｍ，ｎ）但し（m=r,r+1 …M-1 、n=r,r+1…M-1
）である。なぜならば、これ以外の項は、近似オーバ
ーラップブロックｖ_0,0と無損失ブロックａ_0,0，ａ
_0,1，ａ_1,0の重複している部分とから近似誤差が解る
からである。

【００６７】ここで近似誤差ブロックｅ_0,0の水平方向
のＭ個のべクトルｅ_0,0（ｍ）は、ｅ_0,0（ｍ）＝（ｅ_0,0（ｍ,0）ｅ_0,0（ｍ,1）…ｅ_0,0（ｍ,M−１））但し（ｍ＝0,1 …M-1 ）（９）と示すことができる。

【００６８】このべクトルｅ_0,0（ｍ）について、実数
演算になるよう対称成分を付加した２Ｍ個の要素からな
るベクトルｅ_0,0（ｍ)'を、ｅ_0,0（ｍ)'＝（ｅ_0,0（ｍ,0)' ｅ_0,0（ｍ,1)' … ｅ_0,0（ｍ,2M-1 )' ）但し（ｍ＝0,1,…,2M-1 ）（１０）ｅ_0,0（ｍ，ｎ)'＝ｅ_0,0（ｍ，ｎ),ｎ＝0,1,…，Ｍ−１（１１）ｅ_0,0（ｍ，ｎ)'＝ｅ_0,0（ｍ,2Ｍ−１−ｎ),ｎ＝Ｍ，…,2Ｍ−１（１２）と設定する。

【００６９】ここで、ベクトルｅ_0,0（ｍ)'の離散フー
リエ変換（ＤＦＴ）ベクトルＥ_0,0（ｍ)'は、Ｅ_0,0（ｍ)'＝（Ｅ_0,0（ｍ,0)' Ｅ_0,0（ｍ,1)'…Ｅ_0,0（ｍ,2M-1 )'），但し（ｍ＝0,1 …2M-1）（１３）と定めることができる。

【００７０】このＤＦＴベクトルＥ_0,0（ｍ)'は、オー
バーラップブロックｂ_0,0の１次近似ブロックｖ_0,0が
含む誤差の周波数領域のＭ個の水平方向ベクトルであ
る。それぞれの水平方向ベクトルは 2Ｍ個の項からなる
が、各ベクトルのうちの 2ｒ個と比較して他の 2Ｍ− 2
ｒ個は非常に小さい（ほぼ 0）と仮定する。支配的な 2
ｒ個の誤差を推定するためには、誤差の生じている位置
（この場合は周波数値）と、誤差の大きさの両者を推定
する必要がある。この場合は、空間領域で 4ｒ個の誤差
が既知である必要がある。

【００７１】以下、近似誤差推定手段１５が、誤り訂正
符号の原理を用いて誤差を推定する。１次元信号に対す
る誤り訂正の原理の詳細は以下の文献に記載されてい
る。

【００７２】R.E.Blahut,[Algebraic Methods for Sign
al Processing and CommunicationsCoding],Springer-V
erlag,1992.ここで、 2ｒ個の誤差を生じている位置が
予め特定されており、大きさのみ未知と仮定する。この
ように仮定すると以下の利点がある。

【００７３】まず第１に誤差の生じている位置を決定す
るための多くの演算量、かつ高い演算精度を要する逆行
列演算が不要となる。

【００７４】第２に、 2ｒ個の誤差の位置と大きさの両
者を決定するためには、従来、空間領域の既知の誤差が
4ｒ個必要であったが、本発明では、誤差の位置が予め
解っており誤差の大きさのみを推定すればよく、この場
合、空間領域の既知の誤差が2ｒ個あれば済む。

【００７５】なおオーバーラップブロックｂ_0,0を近似
した１次近似オーバーラップブロックｖ_0,0は補間によ
り求めているが、低周波数領域の近似は比較的精度が高
いため近似誤差は小さいと仮定でき、近似精度の悪い高
周波数領域の 2ｒ個を誤差とする。

【００７６】以下の誤り位置多項式を定める。

【００７７】

【数７】この式（１９）に関しても上記同様に処理することで、
２次元空間領域の誤差ｅ_0,0を推定できる。これを１次
近似オーバーラップブロックｖ_0,0から減算することに
よりオーバーラップブロックｂ_0,0を得ることができ
る。他のオーバーラップブロックｂ_0,1，ｂ_1,0，ｂ
_1,1についても同様に、補間により１次近似オーバーラ
ップブロックｖ_0,1，ｖ_1,0，ｖ_1,1を求め、近似誤差
ｅ_0,1，ｅ_1, ₀，ｅ_1,1を推定することにより、各オー
バーラップブロックｂ_0,1，ｂ_1,0，ｂ_1,1を得ること
ができる。

【００７８】これらオーバーラップブロックｂ_0,0，ｂ
_0,1，ｂ_1,0，ｂ_1,1において、消失ブロックａ_1,1と
重複している部分が、消失ブロックａ_1,1を再構成した
ブロックとなる。

【００７９】このようにこの通信端末１の第１の動作例
によれば、消失ブロックａ_1,1と無消失ブロックａ_0,0
〜ａ_0,2、ａ_1,0、ａ_1,3、ａ_2,0〜ａ_2,2とにまたが
って重複したオーバーラップブロックｂ_0,0〜ｂ_1,1を
設定し、各オーバーラップブロックｂ_0,0〜ｂ_1,1を同
一フレーム内あるいは前後のフレームから補間して近似
オーバーラップブロックｖ_0,0〜ｖ_1,1を求め、補間に
よる近似が低周波数領域の近似精度が高いことを利用し
て、求めた各近似オーバーラップブロックｖ_0, ₀〜ｖ
_1,1に対して誤り訂正符号の原理を基に誤差推定領域を
高周波数領域のみに限定して近似誤差の大きさを推定
し、その大きさを近似オーバーラップブロックｖ_0,0〜
ｖ_1,1から差し引いて近似誤差を修正し信号を復元する
ので、受信信号を少ない演算量で精度よく復元できる。

【００８０】この結果、受信信号、つまり符号化データ
が動画像などの大量のデータの場合でも受信信号をリア
ルタイムに精度よく復元することができる。

【００８１】なお、通常の誤り訂正は、送信側でデータ
のビットストリームに冗長ビットを付加して符号化し、
伝送路で加わったビット誤りを受信側の復号操作で冗長
ビットを用いてデータに付加した誤りを推定し除去する
ものであり、有限体上で設計した誤り訂正符号を用いて
いる。しかし、本発明は、従来のように送信側で冗長ビ
ットを加えるものではなく、またビットストリーム上で
補間処理を行うものでもない。

【００８２】すなわち、画像信号のもつ相関特性を冗長
とみなして、画像信号の平面上で誤り推定／除去処理を
行っていることが通常の誤り訂正符号の応用とは大きく
異なるものである。また有限体上の処理ではなく、ＤＣ
ＴやＩＤＣＴ上における複素数体あるいは実数体上の処
理である点も従来と異なる。

【００８３】これにより、劣化した信号を再生する際
に、従来技術では困難であった低周波領域から高周波領
域に至るまでの動画像の信号再生を少ない演算量で実現
することができる。

【００８４】またこの第１の動作例の場合、高周波数領
域の近似誤差が大きいものとしてこれを推定して除去し
たが、本発明はこの高周波数領域のみに限定されるもの
ではなく、例えば別の周波数領域、例えば低周波領域や
センター付近の所定の周波数領域の近似誤差が大きいと
しても誤差を近似し推定／除去できる。さらにこの第１
の動作例では、２次元信号の画像を前提として説明した
が本発明はこれのみに限定されるものではなく、例えば
１次元信号の音声などにも適用できる。この場合は水平
方向あるいは垂直方向のベクトルのみの処理を行えばよ
い。

【００８５】次に、図８〜図９を参照してこの通信端末
１の第２の動作例について説明する。図８は受信信号
ブロックのうち複数のブロックａ_1,1、ａ_1,2が消失し
た場合の例を示す図、図９は図８の消失ブロック
ａ_1,1、ａ_1,2をカバーするようにオーバーラップブロ
ックｂ_0,0〜ｂ_1,2を設定したときの図である。

【００８６】上記第１の動作例では、受信信号ブロック
の中の 1つが消失した簡単な例について説明したが、こ
の第２の動作例では、上記よりも複雑な例、つまり 2個
以上のブロックが消失した場合について説明する。

【００８７】図８に示すように、受信信号ブロックａ
_0,0〜ａ_2,3のうち、複数のブロックａ_1,1、ａ_1,2が
消失した場合、図９に示すように、これら複数の消失ブ
ロックａ_1,1、ａ_1,2とそれ以外の無損失ブロックの一
部を含むようなオーバーラップブロックｂ_0,0〜ｂ_1,2
を設定し、第１の動作例と同様に補間処理を行うことに
より近似オーバーラップブロックを求める。

【００８８】その後、近似オーバーラップブロックを基
に上記同様にＤＣＴおよび周波数領域の設定を行い、例
えば左側に位置するオーバーラップブロックｂ_0,0とオ
ーバーラップブロックｂ_1,0とに関して近似誤差の推定
／除去を行い、消失ブロックａ_1,1の左側のＭ／２×Ｍ
のブロックを再生する。

【００８９】続いて、オーバーラップブロックｂ_0,2と
オーバーラップブロックｂ_1,2とに関して近似誤差の推
定／除去を行い、消失ブロックａ_1,2の右側のＭ／２×
Ｍのブロックを再生する。残った未再生ブロックは、消
失ブロックａ_1,1の右側と消失ブロックａ_1,2の左側の
ブロックとで計Ｍ×Ｍの 1個のブロックの消失に対する
再生に帰着することができる。以後は第１の動作例と同
様の処理になる。

【００９０】このようにこの通信端末１の第２の動作例
によれば、通信端末１で受信した受信信号ブロックａ
_0,0〜ａ_2,3のうち、複数のブロックａ_1,1、ａ_1,2が
損失を受けていた場合あるいは消失していた場合、これ
ら複数の消失ブロックａ_1,1、ａ_1,2を含み、それ以外
の無損失ブロックの一部を含むようなオーバーラップブ
ロックｂ_0,0〜ｂ_1,2を仮定しその仮定に基づいて誤差
推定の範囲を拡張して復元処理することにより、複数の
消失ブロック_1,1、ａ_1,2に対しても信号を復元できる
ようになる。

【００９１】次に、図１０〜図１１を参照してこの通信
端末１の第３の動作例について説明する。

【００９２】上記第１の動作例では、消失ブロックの一
部と無消失ブロックの一部とが重複したブロックをオー
バーラップブロックとしたが、図１０に示すように、Ｍ
×Ｍの 1つの消失ブロックを完全に包含した 1個のΝ×
Ν、但しΝ≧ 2×Ｍのブロックをオーバーラップブロッ
クｂ_0,0としてもよい。

【００９３】第１の動作例では、 1個の消失ブロックａ
_1,1に対してそれぞれが部分的に重複する 4個のオーバ
ーラップブロックｂ_0,0〜ｂ_1,1を定めたが、この場
合、Ｎ×Νの大きなオーバーラップブロックｂ_0,0を 1
つだけ設定し、このオーバーラップブロックｂ_0,0に対
する近似ブロックを１次近似として求め、第１の動作例
と同様に近似誤差推定／除去を行うことにより 1個の消
失ブロックａ_1,1を復元することができる。なおこの場
合、再生精度自体は、第１の動作例よりも向上するがオ
ーバーラップブロックｂ_0,0の領域が広くなる分、演算
量が大きくなる。また、消失したブロックが 1個ではな
く、図１１に示すように、複数のブロックａ_2,3、ａ
_3,2、ａ_3,3が消失した場合、これら複数の消失ブロッ
クａ_2,3、ａ_3,2、ａ_3,3を含むようなＮ×Ｎのオーバ
ーラップブロックｂ_0,0を設定する。このオーバーラ
ップブロックｂ_0,0は、複数の消失ブロックａ_2,3、ａ
_3,2、ａ_3,3を包含する最小のブロックとし、その大き
さをｒ×ｒとしたとき、Ｎ≧2×ｒである。

【００９４】この場合も上記同様に、オーバーラップブ
ロックｂ_0,0に対する近似ブロックを１次近似として求
め近似誤差推定／除去を行うことにより複数の消失ブロ
ックａ_2,3、ａ_3,2、ａ_3,3を復元できる。なおこの場
合、図１０の例に比べてオーバーラップブロックｂ_0,0
の領域がさらに広くなる分、演算量も大きくなる。

【００９５】次に、図１２を参照してこの通信端末１の
第４の動作例について説明する。

【００９６】この第４の動作例では、第１の動作例の際
に 1個の消失ブロックａ_1,1の1/4の領域がそれぞれ重
複するような 4個のオーバーラップブロックｂ_0,0〜ｂ
_1,1を配置したが、その配置例以外の場合について説明
する。

【００９７】例えば図１２（ａ）に示すように、消失ブ
ロックａ_0,0が 1個消失した場合、その垂直方向のみに
1/2 （半分）だけ重複するオーバーラップブロックｂ
_0,0を設定することも可能である。この場合、近似誤差
の推定は、垂直方向の誤差ベクトルに対してのみ行う。
なおこの場合、消失ブロックａ_0,0の大きさＭとオーバ
ーラップブロックｂ_0,0の大きさＮとの関係はＭ＝Ｎと
する。

【００９８】また図１２（ｂ）に示すように、消失ブロ
ックａ_0,0が 1個消失した場合、その水平方向のみに1/
2 （半分）だけ重複するオーバーラップブロックｂ_0,0
を設定することも可能である。この場合、近似誤差の推
定は、水平方向の誤差ベクトルに対してのみ行う。なお
この場合の消失ブロックａ_0,0の大きさＭとオーバーラ
ップブロックｂ_0,0の大きさＮとの関係もＭ＝Ｎとす
る。

【００９９】

【発明の効果】以上説明したように本発明によれば、受
信信号ブロックをブロック単位に復元する際、周波数領
域において比較的誤差の大きい所定の周波数領域のみに
限定して誤差を推定し除去するので、伝送路障害などが
あり信号の一部が消失あるいは損失を受けた場合でも少
ない演算量で信号を復元することができる。

【図面の簡単な説明】

【図１】本発明の一つの実施形態である通信端末の構成
を示す図である。

【図２】図１の通信端末の信号復元手段の構成を示す図
である。

【図３】この通信端末の第１の動作例で受信された受信
信号のブロックを示す図である。

【図４】この通信端末の第１の動作例で仮定されるオー
バーラップブロックを示す図である。

【図５】１次近似ブロックの同一フレームからの補間を
示す図である。

【図６】１次近似ブロックの他のフレームからの補間を
示す図である。

【図７】（ａ）は１次近似ブロックの空間領域における
近似誤差領域を示す図である。（ｂ）は周波数領域の近
似誤差の大小を示す図である。

【図８】この通信端末の第２の動作例で受信された受信
信号ブロックを示す図である。

【図９】この通信端末の第２の動作例で設定されるオー
バーラップブロックを示す図である。

【図１０】消失ブロックが一つ発生した場合に第３の動
作例で設定されるオーバーラップブロックを示す図であ
る。

【図１１】複数の消失ブロックが発生した場合に第３の
動作例で設定されるオーバーラップブロックを示す図で
ある。

【図１２】（ａ）はこの通信端末の第４の動作例で消失
ブロックの垂直方向に設定されるオーバーラップブロッ
クを示す図である。（ｂ）はこの通信端末の第４の動作
例で消失ブロックの水平方向に設定されるオーバーラッ
プブロックを示す図である。

【図１３】（ａ）は従来の同一フレームからの補間法を
示す図である。（ｂ）は従来の他のフレームからの補間
法を示す図である。

【符号の説明】

１…通信端末、２…通信手段、３…信号復元手段、４…
信号符号化手段、５…入力手段、６…出力手段、１１…
ブロック信号生成手段、１２…判定手段、１３…近似ブ
ロック生成手段、１４…領域設定手段、１５…近似誤差
推定手段。

Claims

【特許請求の範囲】

【請求項１】信号フレームを取得する信号取得手段
と、前記信号取得手段により取得された信号フレームから複
数の信号成分からなるブロック信号を生成するブロック
信号生成手段と、このブロック信号生成手段により生成された前記ブロッ
ク信号における信号成分が損失しているか否かを判定す
る判定手段と、この判定手段により信号成分が損失していないと判定さ
れた信号ブロックを無損失ブロックとし、かつ信号成分
が損失していると判定された信号ブロックを損失ブロッ
クとすると共にこの損失ブロックの少なくとも一部と前
記無損失ブロックの少なくとも一部とを含む重複ブロッ
クを設定し、この重複ブロックの信号成分を前記無損失
ブロックの信号成分から近似して近似ブロックを生成す
る近似ブロック生成手段と、この近似ブロック生成手段により生成された近似ブロッ
クの周波数領域においてその中の一部領域を設定する領
域設定手段と、この領域設定手段により設定された周波数領域における
近似誤差の大きさを、前記近似ブロックと前記無損失ブ
ロックの重複領域の近似誤差から推定する近似誤差推定
手段と、この近似誤差推定手段により推定された近似誤差の大き
さを前記近似ブロックから除去する近似誤差除去手段と
を具備したことを特徴とする信号復元装置。
【請求項２】近似誤差推定手段は、近似誤差の周波数領域における周波数値と大きさに関す
る多項式とを予め設定し、その周波数値と大きさから近
似誤差を推定することを特徴とする請求項１記載の信号
復元装置。
【請求項３】近似誤差推定手段は、実数体あるいは複素数体上の誤り訂正符号を用いて近似
誤差を推定することを特徴とする請求項１記載の信号復
元装置。
【請求項４】近似ブロック生成手段は、複数の連結した消失ブロックがある場合、消失ブロック
と隣接した上下左右のブロックが無消失ブロックとして
多く残っている部分から重複ブロックを設定して近似ブ
ロックを生成し、近似誤差除去手段により近似誤差の除
去された近似ブロックを新たな無損失ブロックとみな
し、逐次、消失ブロックを減少させることを特徴とする
請求項１記載の信号復元装置。
【請求項５】近似ブロック生成手段は、消失ブロックと同一の信号フレームまたは前記消失ブロ
ックとは異なる信号フレームのうち少なくとも一方から
近似ブロックを生成することを特徴とする請求項１記載
の信号復元装置。
【請求項６】周波数帯域設定手段は、近似ブロック生成手段により生成された近似ブロックの
周波数領域において高周波領域を比較的近似誤差の大き
い領域として設定することを特徴とする請求項１記載の
信号復元装置。