JP3859768B2 - 映像信号のチャネルエラー訂正方法 - Google Patents
映像信号のチャネルエラー訂正方法 Download PDFInfo
- Publication number
- JP3859768B2 JP3859768B2 JP14029396A JP14029396A JP3859768B2 JP 3859768 B2 JP3859768 B2 JP 3859768B2 JP 14029396 A JP14029396 A JP 14029396A JP 14029396 A JP14029396 A JP 14029396A JP 3859768 B2 JP3859768 B2 JP 3859768B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- class
- error
- edge
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号を符号化するための方法に関することであり、特に、ブロック単位の映像信号符号化器から伝送された復号化された映像信号に現れるチャネルエラーを訂正する方法に関することである。
【０００２】
【従来の技術】
ＭＰＥＧ標準案によれば、通常のブロック単位の映像信号符号化器は、一連の変換動作、量子化及びエントロピー符号化によって信号源の符号化を実行する。詳述すると、映像を複数の重ならないブロックに分割し、各ブロックをＤＣＴ（離散的コサイン変換）を経てＤＣＴ係数に変換することによって、空間的重複性を除去する。その後、ＤＣＴ係数を、量子化すると共に可変長符号語を用いてエントロピー符号化する。続けて、符号化された映像信号を、伝送チャネルを経て映像信号復号化器へ伝送する。
【０００３】
しかし、符号化された映像信号を伝送する過程でチャネルエラーが発生し易いため、そのチャネルエラーを訂正するかまたは除去するために、通常、種々のエラー制御符号化方法を用いて符号化された映像信号に対してチャネル符号化を実行する。通常のエラー制御符号化方法において、予め定められた各々の信号源コードの組に付加ビットを加えて、チャネル復号化過程の際に生じるチャネルエラーを検出し、訂正する。しかしながら、このような方法でエラーを訂正することは、エラーが微少に現れる場合のみ可能である。もし、予め定められた信号源コードの組において、エラーの発生量がエラー訂正限度を超えた場合には、エラーを検出することが困難となり、発生したエラーが訂正されることなしに、エラーのある復号化されたブロックの全画素データがエラーとして見なされる。従って、復号化された映像において、例えば、肉眼で明らかに識別し得るブロック単位の画素データが無くなるため、映像の画質が大きく劣化する。このような問題を克服するために、種々のエラー訂正方法、例えば、ＰＯＣＳ（Ｐｒｏｊｅｃｔｉｏｎｓ ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ）方法を用いてエラーのあるブロックの画素データを除去するか推定することによって、伝送過程から生じた画質の劣化を補償する（Ｈｕｉｆａｎｇ Ｓｕｎらの論文、「Ｃｏｎｃｅａｌｍｅｎｔｏｆ Ｄａｍａｇｅｄ Ｂｌｏｃｋ Ｔｒａｎｓｆｏｒｍ Ｃｏｄｅｄ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｐｒｏｊｅｃｔｉｏｎｓ ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，４，Ｎｏ．４，４７０−４７７頁（１９９５年４月）参照）。
【０００４】
しかし、このような従来のチャネルエラー訂正方法は、与えられた映像信号の特性を充分に考慮せずに行われるため、画質が劣化する。
【０００５】
【発明が解決しようとする課題】
従って、本発明の主な目的は、映像信号の特性に基づいて映像信号のチャネルエラーを訂正し得る改善されたチャネルエラー訂正方法を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、伝送された映像信号をブロック単位で復号化して復号化された映像信号を発生すると共に、エラーのあるブロックを検出する復号化回路が組み込まれている映像信号復号化システムで用いられ、前記ブロック単位で圧縮されて伝送された前記映像信号内のエラーを訂正する映像信号のチャネルエラー訂正方法において、前記エラーのあるブロックがエラーのない予め定められた数の周囲ブロックを有し、前記周囲ブロックの各々が複数の画素を有し、前記方法が、
前記周囲ブロックの分散と前記周囲ブロックに対する複数方向の投射値とによって、前記周囲ブロックの各々を、エッジのないブロックを表す単調性クラスと、１つのエッジのみを有するブロックを表すエッジクラスと、２つ以上のエッジを有するブロックを表すテクスチャクラスとに分類する周囲ブロック分類過程と、
前記エラーのあるブロックに対して互いに対向して位置する一対の前記周囲ブロックのみが前記エッジクラスであり、前記エラーのあるブロックを通過する同一のエッジ方向を有する場合、前記エラーのあるブロックをエッジクラスとして分類し、そうでない場合、前記単調性クラスや前記テクスチャクラスを有する前記周囲ブロックの数に応じて、前記エラーのあるブロックを単調性クラスまたはテクスチャクラスに分類し、前記エラーのあるブロックが前記単調性クラスの場合、前記エラーのあるブロックに含まれる前記画素を前記周囲ブロックの画素値を平均することによって得られる同一の値に代替し、前記エラーのあるブロックが前記エッジクラスの場合、前記エラーのあるブロックを通過する前記同一のエッジ方向を形成する前記画素値に基づいて、前記エラーのあるブロックに対する前記画素値を決定し、前記エラーのあるブロックが前記テクスチャクラスの場合、前記テクスチャクラスの前記周囲ブロックに対する周波数成分の係数を平均した値に基づいて、前記エラーのあるブロックに対する前記画素値を決定するクラス分類過程と、
前記周囲ブロックは前記エラーのあるブロックのエッジに接する４つのエッジブロックと、前記エッジのあるブロックに隣接し各コーナーに位置する４つのコーナーブロックとを含み、
前記周囲ブロックの分類過程は、
各々の周囲ブロックの分散を求める過程と、
第１の閾値と各々の前記周囲ブロックの分散を比較する過程と、
前記第１の閾値より分散が大きい場合は投射ブロックに、前記第１の閾値より分散が小さいかまたは等しい場合は単調性クラスに分類する過程と、
前記投射ブロックの垂直方向の投射値および水平方向の投射値間の第１の差分値と、前記投射ブロックの第１の対角線方向の投射値および第２の対角線方向の投射値間の第２の差分値とを求める過程と、
前記第１の差分値および前記第２の差分値を第２の閾値と比較する過程と、
前記差分値のうちいずれか一方のみが前記第２の閾値より大きいかまたは等しい場合はエッジクラスに、前記第１の差分値および前記第２の差分値の双方が前記第２の閾値より全て大きいかまたは全て小さい場合はテクスチャクラスに分類する過程とを含む映像信号のチャネルエラー訂正方法が提供される。
【０００７】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながら詳細に説明する。
図１は、本発明によるチャネルエラー訂正装置の概略的なブロック図である。図示するように、伝送された映像信号を、伝送チャネルを経て復号化回路１０２に入力する。ここで、伝送された映像信号は、符号化器でブロック単位で信号源符号化され、伝送端で通常のエラー制御符号化技法を用いてチャネル符号化された信号である。復号化回路１０２では、入力された映像信号をブロック単位で復号化して復号化された映像信号を発生し、更に、伝送チャネル上で発生し得るエラーを検出し訂正する。このようなエラーを、エラー制御符号化技法により添加された付加ビットに基づくエラー訂正技法を用いることによって訂正する。しかし、このエラー訂正技法の付加ビットの限度を超える多量のエラーが発生する場合は、エラーの訂正が困難であり、なお、訂正されないエラーを含んでいる全ブロックが復号化されないため、エラーのあるブロックとして見なされる。復号化回路１０２からの出力信号は、ブロック単位で復号化された映像信号と、エラーのあるブロックを表すエラー情報信号とであり、これらの信号をエラーブロック切替ユニット１０４へ供給する。このエラーブロック切替ユニット１０４において、エラーのあるブロックの位置を表すエラー情報信号に応じて、復号化された映像信号を格納している内部の格納部（図示せず）から複数（例えば、８つ）の周囲ブロックを取出す。エラーブロック切替ユニット１０４からの取出された隣接ブロック及び該ブロックの位置情報信号を、ラインＬ１０を経てクラス決定ブロック１０６、単調性クラス訂正ユニット１０８、エッジクラス訂正ユニット１１０及びテクスチャ訂正ユニット１２０へ各々供給する。エラーのあるブロックを、周囲ブロックのクラス情報に基づいて、単調性クラスユニット１０８、エッジクラス訂正ユニット１１０及びテクスチャ訂正ユニット１２０うちのいずれか一つを用いて訂正する。
【０００８】
映像信号の特徴に適した最適の訂正方法を選択するために、最初に、クラス決定ブロック１０６は、各周囲ブロックをそのエッジパターンに基づいて３つの範囲のうちの１つに分類する。詳述すると、この３つの範囲とは、周囲ブロックに如何なるエッジもないブロックに対応する単調性クラスと、１つのエッジのみを有するブロックに対応するエッジクラスと、２つ以上のエッジを有するブロックに対応するテクスチャクラスとを表す。その後、クラス決定ブロック１０６は、周囲ブロックのクラス情報に基づいてエラーのあるブロックのクラスを決定する。その後、このエラーのあるブロックのクラス情報を、スイッチング制御信号としてラインＬ１２を経てスイッチ１１８へ供給する。このクラス決定ブロック１０６の詳細を、以下図２を参照しつつ記述する。
【０００９】
図２は、図１のクラス決定ブロック１０６の詳細なブロック図である。図示するように、エラーブロック切替ユニット１０４からの各周囲ブロックに対する画素データ及び位置情報信号を、ラインＬ１０を経て分散計算ユニット２０２及びエッジ検出器２１９へ入力する。分散計算ユニット２０２は、各周囲ブロックに対する分散を計算することによって、各周囲ブロックでエッジが少なくとも１つ存在するか否かを決定する。分散Ｂvar を、次式（１）のように計算する。
【数１】
ここで、Ｎ：周囲ブロックの行及び列に各々位置する画素の総数
Ｂm ：周囲ブロックの平均画素値
Ｘ（ｉ，ｊ）：周囲ブロックの画素位置（ｉ，ｊ）における画素値
各周囲ブロックに対する分散及び画素値を、第１コンパレータ２０４へ供給する。
【００１０】
その後、この第１コンパレータ２０４において、各周囲ブロックに対する分散Ｂvar と第１閾値ＴＨ１とを比較する。分散Ｂvar が第１閾値ＴＨ１より大きい場合、該当周囲ブロックを１つまたはそれ以上のエッジを有するものとして決定し、その周囲ブロックに対する画素値を投射ブロック２０８へ供給する。分散Ｂvar が第１閾値ＴＨ１と等しいかまたは小さい場合、該当周囲ブロックをエッジのない単調性クラスとして決定すると共に、ハイレベルの論理信号を第１カウンタ２０６へ供給する。この第１カウンタ２０６は、単調性クラスの周囲ブロックの数をカウントする。
【００１１】
投射ブロック２０８において、第１コンパレータ２０４からの各周囲ブロックが１つのエッジのみを有するか、または２つ以上のエッジを有するか否かを決定するために、入力される各周囲ブロックに対して複数の方向に投射(projection)を実行する。
【００１２】
図３〜図７は、本発明による投射ブロック２０８で行う４つの方向の投射過程を概略的に示す説明図である。図３に示すように、１６個の画素値よりなる４ｘ４ブロックを例として示しており、４つの方向への投射（即ち、垂直方向、水平方向、第１対角線方向及び第２対角線方向）を図４〜図７に各々示す。図４〜図７に示す各々の投射値は、図３に示す各参照番号で表示された各投射線に沿って位置する複数の画素の平均値を表す。投射の結果を、差分計算ユニット２１０及びエッジ検出器２１９へ各々供給する。
【００１３】
差分計算ユニット２１０において、垂直方向への投射値と水平方向の投射値との間の第１の差分値と、第１対角線方向への投射値と第２対角線方向への投射値との間の第２の差分値とを計算する。第１の差分値を次のように決定する。即ち、第１の差分値を、最初に、水平方向への投射の第１〜第４の投射線の各々に対する投射値と、垂直方向への投射の対応する各投射線（水平方向の投射線と同じ参照番号で表示されている）に対する投射値との間の差の絶対値を求めた後、全投射線に対する差の絶対値を平均することによって決定する。第２の差分値も、第１の差分値と同様にして求め得る。求められた第１及び第２の差分値を、ラインＬ１３を経て、第２コンパレータ２１２及びエッジ検出器２１９へ各々供給する。
【００１４】
第２コンパレータ２１２によって、入力される第１及び第２の差分値と予め定められた第２の閾値ＴＨ２とを比較する。もし、第１及び第２の差分値のうちの一つが予め定められた第２の閾値ＴＨ２と等しいかまたは大きい場合は、１つのエッジまたは優勢なエッジが存在することを意味するため、周囲ブロックを、１つのエッジのみを有するブロックに対応する「エッジクラス(edge class)」として分類する。この場合、第２コンパレータ２１２の出力信号を、エッジクラス信号としてエッジ検出部２１９へ供給する。このエッジクラス信号は、周囲ブロックが「エッジクラス」であることを表す。第１及び第２の差分値の双方が予め定められた第２の閾値ＴＨ２より小さい場合は、２つ以上の非優勢的なエッジがブロック内に存在すると見なして、該ブロックを「テクスチャクラス(texture class) 」として分類する。更に、第１及び第２の差分値が予め定められた第２の閾値ＴＨ２と等しいかまたは大きい場合にも、同様に、「テクスチャクラス」として分類する。即ち、ブロック内に２つ以上の明確なエッジが存在することを意味する。与えられた周囲ブロックがテクスチャクラスとして決定される場合、現周囲ブロックがテクスチャクラスであることを表すハイレベルのテクスチャクラス信号を、ラインＬ１５を経てテクスチャクラス訂正ユニット１２０のＤＣＴブロック１１２（図１参照）及び第２カウンタ２１４へ供給する。この第２カウンタ２１４は、テクスチャクラスの周囲ブロックの数をカウントする。
【００１５】
エッジ検出部２１９は、エッジクラスの各周囲ブロックにおけるエッジの方向を決定した後、決定されたエッジ方向に基づいて、エラーのあるブロックにおけるエッジの存在及びその方向を決定する。詳述すると、最初に、エッジクラスの各周囲ブロックに対するエッジの方向を決定するために、第２コンパレータ２１２からのエッジクラス信号に応じて、与えられた周囲ブロックに対する第１及び第２の差分値を互いに比較して、より大きい差分値を有する投射の組（即ち、垂直及び水平方向への投射の組、または、第１及び第２対角線方向への投射の組）を選択した後、選択した各投射の組に対する投射値の分散を計算して、どの方向への投射がより大きい分散を有するかを決定する。しかる後、より大きい分散値を有する投射の方向を、与えられた周囲ブロックに対するエッジ方向として選択する。図３〜図７に示す例に関しては、垂直及び水平方向への投射の組が第１対角線方向及び第２対角線方向の組より大きい差分値を有しており、水平方向への投射の分散値が垂直方向への投射の分散値より大きいため、図３に示すように、画素値を有する周囲ブロックを、水平方向のエッジを有するものと見なす。選択された投射方向の組の分散が同じ場合、その周囲ブロックを非エッジクラスとして取り扱い、そのエッジ方向をエッジ検出器２１９で決定しない。ここで、決定された周囲ブロックのエッジは、周囲ブロックにより取り囲まれているブロック（以下、中央ブロックと称す）を必ず通過するということに注目されたい。即ち、エッジクラスの１つの周囲ブロックのエッジは、中央ブロックを貫通する４つのエッジのうちのいずれか１つに量子化される。
【００１６】
エッジクラスの各周囲ブロックに対するエッジの方向を決定した後、その周囲ブロックを、エラーブロック切替ユニット１０４からの位置情報信号に応じてその位置を決定し、エッジクラスの周囲ブロックのエッジの方向に基づいてエラーのあるブロックのエッジの方向を決定する。詳述すると、エラーのあるブロックに対して互いに対向して位置する一対の周囲ブロックが同じ方向のエッジを一つだけ有する場合（例えば、図８に示すように、Ａ１及びＡ２、Ｂ１及びＢ２、Ｃ１及びＣ２、または、Ｄ１及びＤ２の場合）、エラーのあるブロックをエッジクラスに分類し、該一対の周囲ブロックに対応するエッジの方向を、エラーのあるブロックのエッジ方向として決定する。このような場合、エッジ検出器２１９からのエッジ検出信号をラインＬ１７を経てクラス決定器２１８へ、決定されたエラーのあるブロックのエッジの方向を表すエッジエラー方向信号をラインＬ１４を経てエッジクラス訂正ユニット１１０（図１参照）へ各々供給する。その他の場合には、例えば、図９に示すように、周囲ブロックのエッジの組（即ち、（Ｅ１、Ｅ２及びＥ３）、（Ｆ１、Ｆ２及びＦ３）、（Ｇ１、Ｇ２及びＧ３）及び（Ｈ１、Ｈ２及びＨ３））が、エラーのあるブロックを通過せずにエラーのあるブロックの行方向または列方向に平行に存在する場合、または、図８に示すように、一対以上の周囲ブロックが存在する場合、エラーのあるブロックを非エッジクラスとして決定する。
【００１７】
クラス決定器２１８において、第１カウンタ２０６及び第２カウンタ２１４からのカウント数と、エッジ検出器２１９からのエッジ検出信号とに応じて、エラーのあるブロックのクラスを決定する。即ち、クラス決定器２１８がエッジ検出信号を受け取る場合、エラーのあるブロックを、第１カウンタ２０６及び第２カウンタ２１４からのカウント数に拘らずエッジクラスとして決定し、そうでない場合は、第１カウンタ２０６のカウント数と第２カウンタ２１４のカウント数とを比較して、より大きいカウント数を有するクラスをエラーのあるブロックのクラスとして規定する。即ち、第１カウンタ２０６からのカウント数が、第２カウンタ２１４からのカウント数と等しいかまたは大きい場合、エラーのあるブロックを単調性クラスとして分類し、そうでない場合、テクスチャクラスとして分類する。エラーのあるブロックのクラスを表すクラス信号を、スイッチング制御信号としてラインＬ１２を経てスイッチ１１８へ供給する。
【００１８】
図１を参照すると、単調性クラス訂正ユニット１０８は、全ての周囲ブロックの画素データに基づいて、エラーのあるブロックの画素値を決定する。詳述すると、図１０に示す例のように、エラーのあるブロックＤＢ1 を取り囲む周囲ブロックＢ1 〜Ｂ8 を２つの群（即ち、Ｂ2 ，Ｂ4 、Ｂ5 及びＢ7 と、Ｂ1 、Ｂ3 、Ｂ6 及びＢ8 ）に分類する場合、一方の群は、エラーのあるブロックがエッジにより取り囲まれるエッジブロックであり、他方の群は、エラーのあるブロックの各コーナーに位置するブロックである。エラーのあるブロックＤＢ1 の代表の画素値を、次式（２）のように求めることができる。
Ｅ＝w1(m1+m3＋m6＋m8）＋w2（m2＋m4＋m5＋m7） 式（２）
ここで、Ｅ：エラーのあるブロックＤＢ1 に対する代表の画素値
ｍk ：周囲ブロックＢk の平均値（k は、１〜８の範囲の正の整数）
ｗ1 及びｗ2 ：重みファクター
ただし、重みファクターｗ1 と重みファクターｗ2 との和は、０．２５（即ち、４分の１）であり、重みファクターｗ1 は重みファクターｗ2 より小さい。これは、周囲のエッジブロックが、コーナーブロックに比べてエラーのあるブロックに非常に大きい影響を及ぼすためである。
【００１９】
代表の画素値を、エラーのあるブロックの全画素に対する推定値として決定し、ラインＬ１６を経て訂正された第１のブロック信号としてスイッチ１１８へ供給する。
【００２０】
一方、エッジクラスのエラーのあるブロックを、前述したＨｕｉｆａｎｇ Ｓｕｎらの論文に記述された反復復元アルゴリズム(iterative restoration algorithm) を用いてエッジクラス訂正ユニット１１０により訂正する。この反復復元アルゴリズムは３つの過程を有する。第一に、図２のエッジ検出器２１９からエッジ方向信号が供給される場合、エラーのあるブロックの全画素値をゼロにセットし、エラーのあるブロック及びその周囲ブロックからなる処理ブロックを、例えば、フーリエ変換方法を用いて変換して変換係数の組を発生する。ここで、空間領域の現処理ブロックのエッジ方向は、周波数領域の該エッジ方向の垂直方向に沿った変換係数の組の特定部分に影響を及ぼす。その後、処理ブロックにおいて空間的に関連のあるエッジ情報を用いるために、変換係数の組の特定部分の外側に置かれる変換係数をゼロ値によってマスクする。また、変換ブロックを、例えば、逆フーリエ変換を用いて逆変換することによって、処理ブロックを再構成する。ここで、変換ブロックは、マスクされない変換係数の部分とその外側に置かれるゼロ値によってマスクされた部分とからなる。最後に、周囲ブロックに対応する再構成された処理ブロックの画素値を、その元の画素値で代替することによって、マスクされた処理ブロックを発生する。このマスクされた処理ブロックは、周囲ブロックの位置の処理ブロックの元の画素値と、エラーのあるブロックの位置の再構成された画素値とから構成される。例えば、処理ブロックのエッジが図１１に示すような対角線方向の場合、エラーのあるブロックの画素値をゼロ値にセットし、全処理ブロックをフーリエ変換技法を用いて変換し、図１２に示すように、位置（０、０）の１つのＤＣ値と複数の高調波成分Ｈｆとを有する変換係数の組を発生する。その後、エッジ方向に直交する方向に沿ってＤＣ値を含む変換係数（即ち、図１２中の斜線部分）と、ゼロ値によってマスクされた変換係数（即ち、図１２中の斜線部分の両外側部分）とを用いて、逆フーリエ変換を行って処理ブロックを再構成する。このような過程を、マスクされた処理ブロックに対して予め定められた数、Ｎ回だけ繰り返すことによって、エラーのあるブロックの画素値をＮ回更新し、エッジクラスのエラーのあるブロックに対して予測した画素値を発生する。この予測した画素値を、訂正された第２のブロック信号としてラインＬ１８を経てスイッチ１１８へ供給する。
【００２１】
テクスチャクラス訂正ユニット１２０は、ＤＣＴ（離散的コサイン変換）ブロック１１２、平均係数計算機１１４及びＩＤＣＴ（離散的逆コサイン変換）ブロック１１６からなり、テクスチャクラスのエラーのあるブロックを、その同一の形態の周囲ブロックを用いて訂正する。例えば、図１３（Ａ）に示すように、エラーのあるブロックＤＢ2 の周囲ブロックは、単調性クラスブロックＭ1 及びＭ2 と、エッジクラスブロックＥ1 及びＥ2 と、テクスチャクラスブロックＴ1 〜Ｔ4 とからなり、エラーのあるブロックＤＢ2 を、４つのテクスチャクラスブロックＴ1 〜Ｔ4 によって訂正する。詳述すると、ＤＣＴブロック１１２は、テクスチャクラスブロックＴ1 〜Ｔ4 の各々を、クラス決定ブロック１０６の第２コンパレータ２１２（図２参照）からのテクスチャクラス信号に応じて、ＤＣＴ変換係数の組に変換する。ここで、ＤＣＴ変換係数の組は、図１３（Ｂ）〜図１３（Ｅ）に示すように、１つのＤＣ係数と予め定められた数のＡＣ係数とを各々有する。これらの各係数は、それに対応する周波数成分の大きさを表す。
【００２２】
平均係数計算機１１４は、エラーのあるブロックに関する各周波数成分に対応するテクスチャクラスの周囲ブロックの対応する周波数成分の係数を平均することによって、エラーのあるブロックに関する各周波数成分の変換係数を計算する。図１３（Ｆ）を参照すれば、エラーのあるブロックＤＢ2 に対する変換係数が図解されている。ここで、ＤＣ1 は、図１３（Ｂ）〜図１３（Ｅ）に示すＤＣ変換係数ｄｃ１〜ｄｃ４を平均した変換係数であり、ＡＣ1 は、ＡＣ係数ａｃ１、ａｃ４、ａｃ７及びａｃ１０の平均であり、ＡＣ2 は、ＡＣ変換係数ａｃ２、ａｃ５、ａｃ８及びａｃ１１の平均であり、ＡＣ3 は、ＡＣ変換係数ａｃ３、ａｃ６、ａｃ９及びａｃ１２の平均である。ＩＤＣＴブロック１１６において、図１３（Ｆ）に示す平均変換係数の組を、テクスチャクラスのエラーのあるブロックに対する推定された画素値に変換する。この推定された画素値を、訂正された第３のブロック信号としてラインＬ２０を経てスイッチ１１８へ供給する。
【００２３】
スイッチ１１８は、クラス決定ブロック１０６からのクラス信号に応じて、単調性クラス訂正ユニット１０８、エッジクラス訂正ユニット１１０及びテクスチャクラス訂正ユニット１２０から供給された訂正されたブロック信号のうちのいずれか１つを選択する。選択された訂正されたブロック信号を、エラーブロック切替ユニット１０４へ供給する。ここで、エラーのあるブロックを、選択された訂正されたブロック信号に代替する。復号化された映像信号でのエラーのあるブロック全体を訂正した後、例えば、表示装置（図示せず）へ供給し、表示する。
【００２４】
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２５】
【発明の効果】
従って、本発明によれば、ブロック単位でエラーが発生する場合、エラーが発生したブロックの周囲特性を鑑みてエラーのあるブロックを訂正することによって、映像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明によるチャネルエラー訂正装置のブロック図である。
【図２】図１のクラス決定ブロックの詳細なブロック図である。
【図３】４×４ブロックを４つの方向に投射する過程を説明するための線図である。
【図４】垂直方向に投射したブロックを示す線図である。
【図５】水平方向に投射したブロックを示す線図である。
【図６】第１対角線方向に投射したブロックを示す線図である。
【図７】第２対角線方向に投射したブロックを示す線図である。
【図８】周囲ブロック内のエッジの方向を示す線図である。
【図９】エラーのあるブロックを通過せずに周囲ブロックの行及び列方向に存在するエッジを示す線図である。
【図１０】図１の単調性クラス訂正ユニットの動作を説明するためのエラーブロックＤＢ1 とその周囲ブロックＢ1 〜Ｂ8 とを示す線図である。
【図１１】図１のエッジクラス訂正ユニットの動作を説明するための線図である。
【図１２】図１のエッジクラス訂正ユニットの動作を説明するための線図である。
【図１３】（Ａ）は、エラーのあるブロックＢＢ2 とその周囲ブロックＥ1 、Ｅ2 、Ｍ1 、Ｍ2 、Ｔ1 〜Ｔ4 とを示す線図であり、（Ｂ）〜（Ｆ）は、各々テクスチャクラスブロックＴ1 〜Ｔ4 の各々に対する変換係数を示す線図である。
【符号の説明】
１０２ 復号化回路
１０４ エラーブロック切替ユニット
１０６ クラス決定ブロック
１０８ 単調性クラス訂正ユニット
１１０ エッジクラス訂正ユニット
１１２ ＤＣＴブロック
１１４ 平均係数計算機
１１６ １ＤＣＴブロック
１１８ スイッチ
１２０ テクスチャクラス訂正ユニット
２０２ 分散計算ユニット
２０４、２１２ 第１及び第２コンパレータ
２０６、２１４ 第１及び第２カウンタ
２０８ 投射ブロック
２１０ 差分値計算ユニット
２１８ クラス決定器
２１９ エッジ検出器
【発明の属する技術分野】
本発明は、映像信号を符号化するための方法に関することであり、特に、ブロック単位の映像信号符号化器から伝送された復号化された映像信号に現れるチャネルエラーを訂正する方法に関することである。
【０００２】
【従来の技術】
ＭＰＥＧ標準案によれば、通常のブロック単位の映像信号符号化器は、一連の変換動作、量子化及びエントロピー符号化によって信号源の符号化を実行する。詳述すると、映像を複数の重ならないブロックに分割し、各ブロックをＤＣＴ（離散的コサイン変換）を経てＤＣＴ係数に変換することによって、空間的重複性を除去する。その後、ＤＣＴ係数を、量子化すると共に可変長符号語を用いてエントロピー符号化する。続けて、符号化された映像信号を、伝送チャネルを経て映像信号復号化器へ伝送する。
【０００３】
しかし、符号化された映像信号を伝送する過程でチャネルエラーが発生し易いため、そのチャネルエラーを訂正するかまたは除去するために、通常、種々のエラー制御符号化方法を用いて符号化された映像信号に対してチャネル符号化を実行する。通常のエラー制御符号化方法において、予め定められた各々の信号源コードの組に付加ビットを加えて、チャネル復号化過程の際に生じるチャネルエラーを検出し、訂正する。しかしながら、このような方法でエラーを訂正することは、エラーが微少に現れる場合のみ可能である。もし、予め定められた信号源コードの組において、エラーの発生量がエラー訂正限度を超えた場合には、エラーを検出することが困難となり、発生したエラーが訂正されることなしに、エラーのある復号化されたブロックの全画素データがエラーとして見なされる。従って、復号化された映像において、例えば、肉眼で明らかに識別し得るブロック単位の画素データが無くなるため、映像の画質が大きく劣化する。このような問題を克服するために、種々のエラー訂正方法、例えば、ＰＯＣＳ（Ｐｒｏｊｅｃｔｉｏｎｓ ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ）方法を用いてエラーのあるブロックの画素データを除去するか推定することによって、伝送過程から生じた画質の劣化を補償する（Ｈｕｉｆａｎｇ Ｓｕｎらの論文、「Ｃｏｎｃｅａｌｍｅｎｔｏｆ Ｄａｍａｇｅｄ Ｂｌｏｃｋ Ｔｒａｎｓｆｏｒｍ Ｃｏｄｅｄ Ｉｍａｇｅｓ Ｕｓｉｎｇ Ｐｒｏｊｅｃｔｉｏｎｓ ｏｎｔｏ Ｃｏｎｖｅｘ Ｓｅｔｓ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，４，Ｎｏ．４，４７０−４７７頁（１９９５年４月）参照）。
【０００４】
しかし、このような従来のチャネルエラー訂正方法は、与えられた映像信号の特性を充分に考慮せずに行われるため、画質が劣化する。
【０００５】
【発明が解決しようとする課題】
従って、本発明の主な目的は、映像信号の特性に基づいて映像信号のチャネルエラーを訂正し得る改善されたチャネルエラー訂正方法を提供することである。
【０００６】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、伝送された映像信号をブロック単位で復号化して復号化された映像信号を発生すると共に、エラーのあるブロックを検出する復号化回路が組み込まれている映像信号復号化システムで用いられ、前記ブロック単位で圧縮されて伝送された前記映像信号内のエラーを訂正する映像信号のチャネルエラー訂正方法において、前記エラーのあるブロックがエラーのない予め定められた数の周囲ブロックを有し、前記周囲ブロックの各々が複数の画素を有し、前記方法が、
前記周囲ブロックの分散と前記周囲ブロックに対する複数方向の投射値とによって、前記周囲ブロックの各々を、エッジのないブロックを表す単調性クラスと、１つのエッジのみを有するブロックを表すエッジクラスと、２つ以上のエッジを有するブロックを表すテクスチャクラスとに分類する周囲ブロック分類過程と、
前記エラーのあるブロックに対して互いに対向して位置する一対の前記周囲ブロックのみが前記エッジクラスであり、前記エラーのあるブロックを通過する同一のエッジ方向を有する場合、前記エラーのあるブロックをエッジクラスとして分類し、そうでない場合、前記単調性クラスや前記テクスチャクラスを有する前記周囲ブロックの数に応じて、前記エラーのあるブロックを単調性クラスまたはテクスチャクラスに分類し、前記エラーのあるブロックが前記単調性クラスの場合、前記エラーのあるブロックに含まれる前記画素を前記周囲ブロックの画素値を平均することによって得られる同一の値に代替し、前記エラーのあるブロックが前記エッジクラスの場合、前記エラーのあるブロックを通過する前記同一のエッジ方向を形成する前記画素値に基づいて、前記エラーのあるブロックに対する前記画素値を決定し、前記エラーのあるブロックが前記テクスチャクラスの場合、前記テクスチャクラスの前記周囲ブロックに対する周波数成分の係数を平均した値に基づいて、前記エラーのあるブロックに対する前記画素値を決定するクラス分類過程と、
前記周囲ブロックは前記エラーのあるブロックのエッジに接する４つのエッジブロックと、前記エッジのあるブロックに隣接し各コーナーに位置する４つのコーナーブロックとを含み、
前記周囲ブロックの分類過程は、
各々の周囲ブロックの分散を求める過程と、
第１の閾値と各々の前記周囲ブロックの分散を比較する過程と、
前記第１の閾値より分散が大きい場合は投射ブロックに、前記第１の閾値より分散が小さいかまたは等しい場合は単調性クラスに分類する過程と、
前記投射ブロックの垂直方向の投射値および水平方向の投射値間の第１の差分値と、前記投射ブロックの第１の対角線方向の投射値および第２の対角線方向の投射値間の第２の差分値とを求める過程と、
前記第１の差分値および前記第２の差分値を第２の閾値と比較する過程と、
前記差分値のうちいずれか一方のみが前記第２の閾値より大きいかまたは等しい場合はエッジクラスに、前記第１の差分値および前記第２の差分値の双方が前記第２の閾値より全て大きいかまたは全て小さい場合はテクスチャクラスに分類する過程とを含む映像信号のチャネルエラー訂正方法が提供される。
【０００７】
【発明の実施の形態】
以下、本発明の好適な実施例について図面を参照しながら詳細に説明する。
図１は、本発明によるチャネルエラー訂正装置の概略的なブロック図である。図示するように、伝送された映像信号を、伝送チャネルを経て復号化回路１０２に入力する。ここで、伝送された映像信号は、符号化器でブロック単位で信号源符号化され、伝送端で通常のエラー制御符号化技法を用いてチャネル符号化された信号である。復号化回路１０２では、入力された映像信号をブロック単位で復号化して復号化された映像信号を発生し、更に、伝送チャネル上で発生し得るエラーを検出し訂正する。このようなエラーを、エラー制御符号化技法により添加された付加ビットに基づくエラー訂正技法を用いることによって訂正する。しかし、このエラー訂正技法の付加ビットの限度を超える多量のエラーが発生する場合は、エラーの訂正が困難であり、なお、訂正されないエラーを含んでいる全ブロックが復号化されないため、エラーのあるブロックとして見なされる。復号化回路１０２からの出力信号は、ブロック単位で復号化された映像信号と、エラーのあるブロックを表すエラー情報信号とであり、これらの信号をエラーブロック切替ユニット１０４へ供給する。このエラーブロック切替ユニット１０４において、エラーのあるブロックの位置を表すエラー情報信号に応じて、復号化された映像信号を格納している内部の格納部（図示せず）から複数（例えば、８つ）の周囲ブロックを取出す。エラーブロック切替ユニット１０４からの取出された隣接ブロック及び該ブロックの位置情報信号を、ラインＬ１０を経てクラス決定ブロック１０６、単調性クラス訂正ユニット１０８、エッジクラス訂正ユニット１１０及びテクスチャ訂正ユニット１２０へ各々供給する。エラーのあるブロックを、周囲ブロックのクラス情報に基づいて、単調性クラスユニット１０８、エッジクラス訂正ユニット１１０及びテクスチャ訂正ユニット１２０うちのいずれか一つを用いて訂正する。
【０００８】
映像信号の特徴に適した最適の訂正方法を選択するために、最初に、クラス決定ブロック１０６は、各周囲ブロックをそのエッジパターンに基づいて３つの範囲のうちの１つに分類する。詳述すると、この３つの範囲とは、周囲ブロックに如何なるエッジもないブロックに対応する単調性クラスと、１つのエッジのみを有するブロックに対応するエッジクラスと、２つ以上のエッジを有するブロックに対応するテクスチャクラスとを表す。その後、クラス決定ブロック１０６は、周囲ブロックのクラス情報に基づいてエラーのあるブロックのクラスを決定する。その後、このエラーのあるブロックのクラス情報を、スイッチング制御信号としてラインＬ１２を経てスイッチ１１８へ供給する。このクラス決定ブロック１０６の詳細を、以下図２を参照しつつ記述する。
【０００９】
図２は、図１のクラス決定ブロック１０６の詳細なブロック図である。図示するように、エラーブロック切替ユニット１０４からの各周囲ブロックに対する画素データ及び位置情報信号を、ラインＬ１０を経て分散計算ユニット２０２及びエッジ検出器２１９へ入力する。分散計算ユニット２０２は、各周囲ブロックに対する分散を計算することによって、各周囲ブロックでエッジが少なくとも１つ存在するか否かを決定する。分散Ｂvar を、次式（１）のように計算する。
【数１】
Ｂm ：周囲ブロックの平均画素値
Ｘ（ｉ，ｊ）：周囲ブロックの画素位置（ｉ，ｊ）における画素値
各周囲ブロックに対する分散及び画素値を、第１コンパレータ２０４へ供給する。
【００１０】
その後、この第１コンパレータ２０４において、各周囲ブロックに対する分散Ｂvar と第１閾値ＴＨ１とを比較する。分散Ｂvar が第１閾値ＴＨ１より大きい場合、該当周囲ブロックを１つまたはそれ以上のエッジを有するものとして決定し、その周囲ブロックに対する画素値を投射ブロック２０８へ供給する。分散Ｂvar が第１閾値ＴＨ１と等しいかまたは小さい場合、該当周囲ブロックをエッジのない単調性クラスとして決定すると共に、ハイレベルの論理信号を第１カウンタ２０６へ供給する。この第１カウンタ２０６は、単調性クラスの周囲ブロックの数をカウントする。
【００１１】
投射ブロック２０８において、第１コンパレータ２０４からの各周囲ブロックが１つのエッジのみを有するか、または２つ以上のエッジを有するか否かを決定するために、入力される各周囲ブロックに対して複数の方向に投射(projection)を実行する。
【００１２】
図３〜図７は、本発明による投射ブロック２０８で行う４つの方向の投射過程を概略的に示す説明図である。図３に示すように、１６個の画素値よりなる４ｘ４ブロックを例として示しており、４つの方向への投射（即ち、垂直方向、水平方向、第１対角線方向及び第２対角線方向）を図４〜図７に各々示す。図４〜図７に示す各々の投射値は、図３に示す各参照番号で表示された各投射線に沿って位置する複数の画素の平均値を表す。投射の結果を、差分計算ユニット２１０及びエッジ検出器２１９へ各々供給する。
【００１３】
差分計算ユニット２１０において、垂直方向への投射値と水平方向の投射値との間の第１の差分値と、第１対角線方向への投射値と第２対角線方向への投射値との間の第２の差分値とを計算する。第１の差分値を次のように決定する。即ち、第１の差分値を、最初に、水平方向への投射の第１〜第４の投射線の各々に対する投射値と、垂直方向への投射の対応する各投射線（水平方向の投射線と同じ参照番号で表示されている）に対する投射値との間の差の絶対値を求めた後、全投射線に対する差の絶対値を平均することによって決定する。第２の差分値も、第１の差分値と同様にして求め得る。求められた第１及び第２の差分値を、ラインＬ１３を経て、第２コンパレータ２１２及びエッジ検出器２１９へ各々供給する。
【００１４】
第２コンパレータ２１２によって、入力される第１及び第２の差分値と予め定められた第２の閾値ＴＨ２とを比較する。もし、第１及び第２の差分値のうちの一つが予め定められた第２の閾値ＴＨ２と等しいかまたは大きい場合は、１つのエッジまたは優勢なエッジが存在することを意味するため、周囲ブロックを、１つのエッジのみを有するブロックに対応する「エッジクラス(edge class)」として分類する。この場合、第２コンパレータ２１２の出力信号を、エッジクラス信号としてエッジ検出部２１９へ供給する。このエッジクラス信号は、周囲ブロックが「エッジクラス」であることを表す。第１及び第２の差分値の双方が予め定められた第２の閾値ＴＨ２より小さい場合は、２つ以上の非優勢的なエッジがブロック内に存在すると見なして、該ブロックを「テクスチャクラス(texture class) 」として分類する。更に、第１及び第２の差分値が予め定められた第２の閾値ＴＨ２と等しいかまたは大きい場合にも、同様に、「テクスチャクラス」として分類する。即ち、ブロック内に２つ以上の明確なエッジが存在することを意味する。与えられた周囲ブロックがテクスチャクラスとして決定される場合、現周囲ブロックがテクスチャクラスであることを表すハイレベルのテクスチャクラス信号を、ラインＬ１５を経てテクスチャクラス訂正ユニット１２０のＤＣＴブロック１１２（図１参照）及び第２カウンタ２１４へ供給する。この第２カウンタ２１４は、テクスチャクラスの周囲ブロックの数をカウントする。
【００１５】
エッジ検出部２１９は、エッジクラスの各周囲ブロックにおけるエッジの方向を決定した後、決定されたエッジ方向に基づいて、エラーのあるブロックにおけるエッジの存在及びその方向を決定する。詳述すると、最初に、エッジクラスの各周囲ブロックに対するエッジの方向を決定するために、第２コンパレータ２１２からのエッジクラス信号に応じて、与えられた周囲ブロックに対する第１及び第２の差分値を互いに比較して、より大きい差分値を有する投射の組（即ち、垂直及び水平方向への投射の組、または、第１及び第２対角線方向への投射の組）を選択した後、選択した各投射の組に対する投射値の分散を計算して、どの方向への投射がより大きい分散を有するかを決定する。しかる後、より大きい分散値を有する投射の方向を、与えられた周囲ブロックに対するエッジ方向として選択する。図３〜図７に示す例に関しては、垂直及び水平方向への投射の組が第１対角線方向及び第２対角線方向の組より大きい差分値を有しており、水平方向への投射の分散値が垂直方向への投射の分散値より大きいため、図３に示すように、画素値を有する周囲ブロックを、水平方向のエッジを有するものと見なす。選択された投射方向の組の分散が同じ場合、その周囲ブロックを非エッジクラスとして取り扱い、そのエッジ方向をエッジ検出器２１９で決定しない。ここで、決定された周囲ブロックのエッジは、周囲ブロックにより取り囲まれているブロック（以下、中央ブロックと称す）を必ず通過するということに注目されたい。即ち、エッジクラスの１つの周囲ブロックのエッジは、中央ブロックを貫通する４つのエッジのうちのいずれか１つに量子化される。
【００１６】
エッジクラスの各周囲ブロックに対するエッジの方向を決定した後、その周囲ブロックを、エラーブロック切替ユニット１０４からの位置情報信号に応じてその位置を決定し、エッジクラスの周囲ブロックのエッジの方向に基づいてエラーのあるブロックのエッジの方向を決定する。詳述すると、エラーのあるブロックに対して互いに対向して位置する一対の周囲ブロックが同じ方向のエッジを一つだけ有する場合（例えば、図８に示すように、Ａ１及びＡ２、Ｂ１及びＢ２、Ｃ１及びＣ２、または、Ｄ１及びＤ２の場合）、エラーのあるブロックをエッジクラスに分類し、該一対の周囲ブロックに対応するエッジの方向を、エラーのあるブロックのエッジ方向として決定する。このような場合、エッジ検出器２１９からのエッジ検出信号をラインＬ１７を経てクラス決定器２１８へ、決定されたエラーのあるブロックのエッジの方向を表すエッジエラー方向信号をラインＬ１４を経てエッジクラス訂正ユニット１１０（図１参照）へ各々供給する。その他の場合には、例えば、図９に示すように、周囲ブロックのエッジの組（即ち、（Ｅ１、Ｅ２及びＥ３）、（Ｆ１、Ｆ２及びＦ３）、（Ｇ１、Ｇ２及びＧ３）及び（Ｈ１、Ｈ２及びＨ３））が、エラーのあるブロックを通過せずにエラーのあるブロックの行方向または列方向に平行に存在する場合、または、図８に示すように、一対以上の周囲ブロックが存在する場合、エラーのあるブロックを非エッジクラスとして決定する。
【００１７】
クラス決定器２１８において、第１カウンタ２０６及び第２カウンタ２１４からのカウント数と、エッジ検出器２１９からのエッジ検出信号とに応じて、エラーのあるブロックのクラスを決定する。即ち、クラス決定器２１８がエッジ検出信号を受け取る場合、エラーのあるブロックを、第１カウンタ２０６及び第２カウンタ２１４からのカウント数に拘らずエッジクラスとして決定し、そうでない場合は、第１カウンタ２０６のカウント数と第２カウンタ２１４のカウント数とを比較して、より大きいカウント数を有するクラスをエラーのあるブロックのクラスとして規定する。即ち、第１カウンタ２０６からのカウント数が、第２カウンタ２１４からのカウント数と等しいかまたは大きい場合、エラーのあるブロックを単調性クラスとして分類し、そうでない場合、テクスチャクラスとして分類する。エラーのあるブロックのクラスを表すクラス信号を、スイッチング制御信号としてラインＬ１２を経てスイッチ１１８へ供給する。
【００１８】
図１を参照すると、単調性クラス訂正ユニット１０８は、全ての周囲ブロックの画素データに基づいて、エラーのあるブロックの画素値を決定する。詳述すると、図１０に示す例のように、エラーのあるブロックＤＢ1 を取り囲む周囲ブロックＢ1 〜Ｂ8 を２つの群（即ち、Ｂ2 ，Ｂ4 、Ｂ5 及びＢ7 と、Ｂ1 、Ｂ3 、Ｂ6 及びＢ8 ）に分類する場合、一方の群は、エラーのあるブロックがエッジにより取り囲まれるエッジブロックであり、他方の群は、エラーのあるブロックの各コーナーに位置するブロックである。エラーのあるブロックＤＢ1 の代表の画素値を、次式（２）のように求めることができる。
Ｅ＝w1(m1+m3＋m6＋m8）＋w2（m2＋m4＋m5＋m7） 式（２）
ここで、Ｅ：エラーのあるブロックＤＢ1 に対する代表の画素値
ｍk ：周囲ブロックＢk の平均値（k は、１〜８の範囲の正の整数）
ｗ1 及びｗ2 ：重みファクター
ただし、重みファクターｗ1 と重みファクターｗ2 との和は、０．２５（即ち、４分の１）であり、重みファクターｗ1 は重みファクターｗ2 より小さい。これは、周囲のエッジブロックが、コーナーブロックに比べてエラーのあるブロックに非常に大きい影響を及ぼすためである。
【００１９】
代表の画素値を、エラーのあるブロックの全画素に対する推定値として決定し、ラインＬ１６を経て訂正された第１のブロック信号としてスイッチ１１８へ供給する。
【００２０】
一方、エッジクラスのエラーのあるブロックを、前述したＨｕｉｆａｎｇ Ｓｕｎらの論文に記述された反復復元アルゴリズム(iterative restoration algorithm) を用いてエッジクラス訂正ユニット１１０により訂正する。この反復復元アルゴリズムは３つの過程を有する。第一に、図２のエッジ検出器２１９からエッジ方向信号が供給される場合、エラーのあるブロックの全画素値をゼロにセットし、エラーのあるブロック及びその周囲ブロックからなる処理ブロックを、例えば、フーリエ変換方法を用いて変換して変換係数の組を発生する。ここで、空間領域の現処理ブロックのエッジ方向は、周波数領域の該エッジ方向の垂直方向に沿った変換係数の組の特定部分に影響を及ぼす。その後、処理ブロックにおいて空間的に関連のあるエッジ情報を用いるために、変換係数の組の特定部分の外側に置かれる変換係数をゼロ値によってマスクする。また、変換ブロックを、例えば、逆フーリエ変換を用いて逆変換することによって、処理ブロックを再構成する。ここで、変換ブロックは、マスクされない変換係数の部分とその外側に置かれるゼロ値によってマスクされた部分とからなる。最後に、周囲ブロックに対応する再構成された処理ブロックの画素値を、その元の画素値で代替することによって、マスクされた処理ブロックを発生する。このマスクされた処理ブロックは、周囲ブロックの位置の処理ブロックの元の画素値と、エラーのあるブロックの位置の再構成された画素値とから構成される。例えば、処理ブロックのエッジが図１１に示すような対角線方向の場合、エラーのあるブロックの画素値をゼロ値にセットし、全処理ブロックをフーリエ変換技法を用いて変換し、図１２に示すように、位置（０、０）の１つのＤＣ値と複数の高調波成分Ｈｆとを有する変換係数の組を発生する。その後、エッジ方向に直交する方向に沿ってＤＣ値を含む変換係数（即ち、図１２中の斜線部分）と、ゼロ値によってマスクされた変換係数（即ち、図１２中の斜線部分の両外側部分）とを用いて、逆フーリエ変換を行って処理ブロックを再構成する。このような過程を、マスクされた処理ブロックに対して予め定められた数、Ｎ回だけ繰り返すことによって、エラーのあるブロックの画素値をＮ回更新し、エッジクラスのエラーのあるブロックに対して予測した画素値を発生する。この予測した画素値を、訂正された第２のブロック信号としてラインＬ１８を経てスイッチ１１８へ供給する。
【００２１】
テクスチャクラス訂正ユニット１２０は、ＤＣＴ（離散的コサイン変換）ブロック１１２、平均係数計算機１１４及びＩＤＣＴ（離散的逆コサイン変換）ブロック１１６からなり、テクスチャクラスのエラーのあるブロックを、その同一の形態の周囲ブロックを用いて訂正する。例えば、図１３（Ａ）に示すように、エラーのあるブロックＤＢ2 の周囲ブロックは、単調性クラスブロックＭ1 及びＭ2 と、エッジクラスブロックＥ1 及びＥ2 と、テクスチャクラスブロックＴ1 〜Ｔ4 とからなり、エラーのあるブロックＤＢ2 を、４つのテクスチャクラスブロックＴ1 〜Ｔ4 によって訂正する。詳述すると、ＤＣＴブロック１１２は、テクスチャクラスブロックＴ1 〜Ｔ4 の各々を、クラス決定ブロック１０６の第２コンパレータ２１２（図２参照）からのテクスチャクラス信号に応じて、ＤＣＴ変換係数の組に変換する。ここで、ＤＣＴ変換係数の組は、図１３（Ｂ）〜図１３（Ｅ）に示すように、１つのＤＣ係数と予め定められた数のＡＣ係数とを各々有する。これらの各係数は、それに対応する周波数成分の大きさを表す。
【００２２】
平均係数計算機１１４は、エラーのあるブロックに関する各周波数成分に対応するテクスチャクラスの周囲ブロックの対応する周波数成分の係数を平均することによって、エラーのあるブロックに関する各周波数成分の変換係数を計算する。図１３（Ｆ）を参照すれば、エラーのあるブロックＤＢ2 に対する変換係数が図解されている。ここで、ＤＣ1 は、図１３（Ｂ）〜図１３（Ｅ）に示すＤＣ変換係数ｄｃ１〜ｄｃ４を平均した変換係数であり、ＡＣ1 は、ＡＣ係数ａｃ１、ａｃ４、ａｃ７及びａｃ１０の平均であり、ＡＣ2 は、ＡＣ変換係数ａｃ２、ａｃ５、ａｃ８及びａｃ１１の平均であり、ＡＣ3 は、ＡＣ変換係数ａｃ３、ａｃ６、ａｃ９及びａｃ１２の平均である。ＩＤＣＴブロック１１６において、図１３（Ｆ）に示す平均変換係数の組を、テクスチャクラスのエラーのあるブロックに対する推定された画素値に変換する。この推定された画素値を、訂正された第３のブロック信号としてラインＬ２０を経てスイッチ１１８へ供給する。
【００２３】
スイッチ１１８は、クラス決定ブロック１０６からのクラス信号に応じて、単調性クラス訂正ユニット１０８、エッジクラス訂正ユニット１１０及びテクスチャクラス訂正ユニット１２０から供給された訂正されたブロック信号のうちのいずれか１つを選択する。選択された訂正されたブロック信号を、エラーブロック切替ユニット１０４へ供給する。ここで、エラーのあるブロックを、選択された訂正されたブロック信号に代替する。復号化された映像信号でのエラーのあるブロック全体を訂正した後、例えば、表示装置（図示せず）へ供給し、表示する。
【００２４】
上記において、本発明の特定の実施例について説明したが、本明細書に記載した特許請求の範囲を逸脱することなく、当業者は種々の変更を加え得ることは勿論である。
【００２５】
【発明の効果】
従って、本発明によれば、ブロック単位でエラーが発生する場合、エラーが発生したブロックの周囲特性を鑑みてエラーのあるブロックを訂正することによって、映像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明によるチャネルエラー訂正装置のブロック図である。
【図２】図１のクラス決定ブロックの詳細なブロック図である。
【図３】４×４ブロックを４つの方向に投射する過程を説明するための線図である。
【図４】垂直方向に投射したブロックを示す線図である。
【図５】水平方向に投射したブロックを示す線図である。
【図６】第１対角線方向に投射したブロックを示す線図である。
【図７】第２対角線方向に投射したブロックを示す線図である。
【図８】周囲ブロック内のエッジの方向を示す線図である。
【図９】エラーのあるブロックを通過せずに周囲ブロックの行及び列方向に存在するエッジを示す線図である。
【図１０】図１の単調性クラス訂正ユニットの動作を説明するためのエラーブロックＤＢ1 とその周囲ブロックＢ1 〜Ｂ8 とを示す線図である。
【図１１】図１のエッジクラス訂正ユニットの動作を説明するための線図である。
【図１２】図１のエッジクラス訂正ユニットの動作を説明するための線図である。
【図１３】（Ａ）は、エラーのあるブロックＢＢ2 とその周囲ブロックＥ1 、Ｅ2 、Ｍ1 、Ｍ2 、Ｔ1 〜Ｔ4 とを示す線図であり、（Ｂ）〜（Ｆ）は、各々テクスチャクラスブロックＴ1 〜Ｔ4 の各々に対する変換係数を示す線図である。
【符号の説明】
１０２ 復号化回路
１０４ エラーブロック切替ユニット
１０６ クラス決定ブロック
１０８ 単調性クラス訂正ユニット
１１０ エッジクラス訂正ユニット
１１２ ＤＣＴブロック
１１４ 平均係数計算機
１１６ １ＤＣＴブロック
１１８ スイッチ
１２０ テクスチャクラス訂正ユニット
２０２ 分散計算ユニット
２０４、２１２ 第１及び第２コンパレータ
２０６、２１４ 第１及び第２カウンタ
２０８ 投射ブロック
２１０ 差分値計算ユニット
２１８ クラス決定器
２１９ エッジ検出器
Claims (3)
- 伝送された映像信号をブロック単位で復号化して復号化された映像信号を発生すると共に、エラーのあるブロックを検出する復号化回路が組み込まれている映像信号復号化システムで用いられ、前記ブロック単位で圧縮されて伝送された前記映像信号内のエラーを訂正する映像信号のチャネルエラー訂正方法において、前記エラーのあるブロックがエラーのない予め定められた数の周囲ブロックを有し、前記周囲ブロックの各々が複数の画素を有し、前記方法が、
前記周囲ブロックの分散と前記周囲ブロックに対する複数方向の投射値とによって、前記周囲ブロックの各々を、エッジのないブロックを表す単調性クラスと、１つのエッジのみを有するブロックを表すエッジクラスと、２つ以上のエッジを有するブロックを表すテクスチャクラスとに分類する周囲ブロック分類過程と、
前記エラーのあるブロックに対して互いに対向して位置する一対の前記周囲ブロックのみが前記エッジクラスであり、前記エラーのあるブロックを通過する同一のエッジ方向を有する場合、前記エラーのあるブロックをエッジクラスとして分類し、そうでない場合、前記単調性クラスや前記テクスチャクラスを有する前記周囲ブロックの数に応じて、前記エラーのあるブロックを単調性クラスまたはテクスチャクラスに分類し、前記エラーのあるブロックが前記単調性クラスの場合、前記エラーのあるブロックに含まれる前記画素を前記周囲ブロックの画素値を平均することによって得られる同一の値に代替し、前記エラーのあるブロックが前記エッジクラスの場合、前記エラーのあるブロックを通過する前記同一のエッジ方向を形成する前記画素値に基づいて、前記エラーのあるブロックに対する前記画素値を決定し、前記エラーのあるブロックが前記テクスチャクラスの場合、前記テクスチャクラスの前記周囲ブロックに対する周波数成分の係数を平均した値に基づいて、前記エラーのあるブロックに対する前記画素値を決定するクラス分類過程と、
前記周囲ブロックは前記エラーのあるブロックのエッジに接する４つのエッジブロックと、前記エッジのあるブロックに隣接し各コーナーに位置する４つのコーナーブロックとを含み、
前記周囲ブロックの分類過程は、
各々の周囲ブロックの分散を求める過程と、
第１の閾値と各々の前記周囲ブロックの分散を比較する過程と、
前記第１の閾値より分散が大きい場合は投射ブロックに、前記第１の閾値より分散が小さいかまたは等しい場合は単調性クラスに分類する過程と、
前記投射ブロックの垂直方向の投射値および水平方向の投射値間の第１の差分値と、前記投射ブロックの第１の対角線方向の投射値および第２の対角線方向の投射値間の第２の差分値とを求める過程と、
前記第１の差分値および前記第２の差分値を第２の閾値と比較する過程と、
前記差分値のうちいずれか一方のみが前記第２の閾値より大きいかまたは等しい場合はエッジクラスに、前記第１の差分値および前記第２の差分値の双方が前記第２の閾値より全て大きいかまたは全て小さい場合はテクスチャクラスに分類する過程とを含むことを特徴とする映像信号のチャネルエラー訂正方法。 - 請求項１に記載の映像信号のチャネルエラー訂正方法において、前記クラス分類過程の前記同一の値を、前記４つのエッジブロックの前記画素値に第１の重みファクターを乗じ、前記４つのコーナーブロックの前記画素値に第２の重みファクターを乗じた後、それらの各々を和することによって求めることを特徴とする映像信号のチャネルエラー訂正方法。
- 請求項２に記載の映像信号のチャネルエラー訂正方法において、前記エラーを、映像信号の伝送の際に発生するチャネルエラーとしたことを特徴とする映像信号のチャネルエラー訂正方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950064313A KR100220678B1 (ko) | 1995-12-29 | 1995-12-29 | 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법 |
| KR95-64313 | 1995-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09200754A JPH09200754A (ja) | 1997-07-31 |
| JP3859768B2 true JP3859768B2 (ja) | 2006-12-20 |
Family
ID=19446869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14029396A Expired - Fee Related JP3859768B2 (ja) | 1995-12-29 | 1996-06-03 | 映像信号のチャネルエラー訂正方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5841477A (ja) |
| EP (1) | EP0782347B1 (ja) |
| JP (1) | JP3859768B2 (ja) |
| KR (1) | KR100220678B1 (ja) |
| CN (1) | CN1115052C (ja) |
| DE (1) | DE69631819T2 (ja) |
| IN (1) | IN189082B (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100346740B1 (ko) * | 1996-09-21 | 2002-09-18 | 삼성전자 주식회사 | 이산코사인변환계수예측방법 |
| DE19737872A1 (de) * | 1997-08-29 | 1999-03-04 | Siemens Ag | Verfahren und Vorrichtung zur Fehlerlokalisierung eines Übertragungsfehlers, der bei der Decodierung eines codierten Bildes erkannt wurde |
| US6118391A (en) * | 1998-01-07 | 2000-09-12 | Microsoft Corporation | Compression into arbitrary character sets |
| US6295384B1 (en) * | 1998-11-04 | 2001-09-25 | Schlumberger Technologies, Inc. | Removing noise caused by artifacts from a digital image signal |
| US6621936B1 (en) * | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
| US6999673B1 (en) * | 1999-09-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Moving picture decoding method, moving picture decoding apparatus and program recording medium |
| US7110452B2 (en) * | 2001-03-05 | 2006-09-19 | Intervideo, Inc. | Systems and methods for detecting scene changes in a video data stream |
| DE60220047T2 (de) * | 2001-05-29 | 2008-01-10 | Koninklijke Philips Electronics N.V. | Verfahren und einrichtung zum verbergen von fehlern |
| KR100761542B1 (ko) * | 2001-10-17 | 2007-09-27 | 매그나칩 반도체 유한회사 | 이웃한 매크로블럭의 움직임 벡터를 이용한 에러 은닉장치 및 방법 |
| US7120308B2 (en) | 2001-11-26 | 2006-10-10 | Seiko Epson Corporation | Iterated de-noising for image recovery |
| US7260269B2 (en) * | 2002-08-28 | 2007-08-21 | Seiko Epson Corporation | Image recovery using thresholding and direct linear solvers |
| KR100582595B1 (ko) * | 2002-12-23 | 2006-05-23 | 한국전자통신연구원 | 이산여현변환에 기반하여 압축된 영상으로부터 블록에지를 검출 및 분류하는 방법 |
| US20060146940A1 (en) * | 2003-01-10 | 2006-07-06 | Thomson Licensing S.A. | Spatial error concealment based on the intra-prediction modes transmitted in a coded stream |
| KR100504824B1 (ko) | 2003-04-08 | 2005-07-29 | 엘지전자 주식회사 | 이미지 신호 블록오류 보정 장치 및 방법 |
| US7352909B2 (en) * | 2003-06-02 | 2008-04-01 | Seiko Epson Corporation | Weighted overcomplete de-noising |
| JP2007504700A (ja) * | 2003-09-02 | 2007-03-01 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 閉塞検出に基づく画素の時間的補間 |
| US20050105817A1 (en) * | 2003-11-17 | 2005-05-19 | Guleryuz Onur G. | Inter and intra band prediction of singularity coefficients using estimates based on nonlinear approximants |
| KR100886191B1 (ko) * | 2004-12-06 | 2009-02-27 | 엘지전자 주식회사 | 영상 블록을 디코딩 하는 방법 |
| US8265141B2 (en) | 2005-05-17 | 2012-09-11 | Broadcom Corporation | System and method for open loop spatial prediction in a video encoder |
| US7587098B2 (en) * | 2005-07-14 | 2009-09-08 | Mavs Lab. Inc. | Pixel data generating method |
| KR100706720B1 (ko) * | 2005-09-15 | 2007-04-12 | 한양대학교 산학협력단 | 방향성 보간을 이용한 공간적 에러은닉 방법 |
| JP4961182B2 (ja) * | 2005-10-18 | 2012-06-27 | 株式会社リコー | ノイズ除去装置、ノイズ除去方法、ノイズ除去プログラム及び記録媒体 |
| US8542726B2 (en) * | 2006-10-17 | 2013-09-24 | Microsoft Corporation | Directional and motion-compensated discrete cosine transformation |
| WO2012050301A2 (ko) * | 2010-10-14 | 2012-04-19 | 엘지전자 주식회사 | 영상 부호화 및 복호화 방법과 이를 이용한 장치 |
| CN104243996B (zh) * | 2013-06-14 | 2017-07-28 | 瑞昱半导体股份有限公司 | 回路内处理装置及选择性的像素差值补偿方法和编码系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3117206A1 (de) * | 1981-04-30 | 1982-11-18 | Robert Bosch Gmbh, 7000 Stuttgart | Verfahren und schaltungsanordnung zum verdecken von fehlern in einem digitalen farbvideosignal |
| WO1987002210A1 (en) * | 1985-10-02 | 1987-04-09 | Deutsche Thomson-Brandt Gmbh | Process for correcting transmission errors |
| JP3018366B2 (ja) * | 1989-02-08 | 2000-03-13 | ソニー株式会社 | ビデオ信号処理回路 |
| US5243428A (en) * | 1991-01-29 | 1993-09-07 | North American Philips Corporation | Method and apparatus for concealing errors in a digital television |
| US5455629A (en) * | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
| GB2263373B (en) * | 1992-01-09 | 1995-05-24 | Sony Broadcast & Communication | Data error concealment |
| US5247363A (en) * | 1992-03-02 | 1993-09-21 | Rca Thomson Licensing Corporation | Error concealment apparatus for hdtv receivers |
| US5365604A (en) * | 1993-01-14 | 1994-11-15 | Rca Thomson Licensing Corporation | Error concealment apparatus for video signal processors |
| US5442400A (en) * | 1993-04-29 | 1995-08-15 | Rca Thomson Licensing Corporation | Error concealment apparatus for MPEG-like video data |
| KR960014184B1 (ko) * | 1993-08-31 | 1996-10-14 | 대우전자 주식회사 | 분류 벡터 양자화된 영상의 클라스(Class) 오류 검출 방법 |
| KR960012931B1 (ko) * | 1993-08-31 | 1996-09-25 | 대우전자 주식회사 | 분류 벡터 양자화된 영상의 채널 오류 은폐 방법 |
| US5517250A (en) * | 1995-02-28 | 1996-05-14 | General Instrument Corporation Of Delaware | Acquisition of desired data from a packetized data stream and synchronization thereto |
| US5568200A (en) * | 1995-06-07 | 1996-10-22 | Hitachi America, Ltd. | Method and apparatus for improved video display of progressively refreshed coded video |
-
1995
- 1995-12-29 KR KR1019950064313A patent/KR100220678B1/ko not_active IP Right Cessation
-
1996
- 1996-05-22 US US08/651,381 patent/US5841477A/en not_active Expired - Lifetime
- 1996-05-24 IN IN944CA1996 patent/IN189082B/en unknown
- 1996-06-03 DE DE1996631819 patent/DE69631819T2/de not_active Expired - Lifetime
- 1996-06-03 CN CN96106402A patent/CN1115052C/zh not_active Expired - Fee Related
- 1996-06-03 EP EP19960304000 patent/EP0782347B1/en not_active Expired - Lifetime
- 1996-06-03 JP JP14029396A patent/JP3859768B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE69631819T2 (de) | 2005-02-03 |
| CN1115052C (zh) | 2003-07-16 |
| JPH09200754A (ja) | 1997-07-31 |
| KR970058000A (ko) | 1997-07-31 |
| EP0782347B1 (en) | 2004-03-10 |
| EP0782347A2 (en) | 1997-07-02 |
| DE69631819D1 (de) | 2004-04-15 |
| CN1154049A (zh) | 1997-07-09 |
| EP0782347A3 (en) | 1999-11-03 |
| IN189082B (ja) | 2002-12-14 |
| US5841477A (en) | 1998-11-24 |
| KR100220678B1 (ko) | 1999-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3859768B2 (ja) | 映像信号のチャネルエラー訂正方法 | |
| CN100446560C (zh) | 用于平滑在误差掩蔽期间产生的人为产物的解码器装置和方法 | |
| US6748113B1 (en) | Noise detecting method, noise detector and image decoding apparatus | |
| US20030012286A1 (en) | Method and device for suspecting errors and recovering macroblock data in video coding | |
| JP2624087B2 (ja) | 映像信号復号化方法 | |
| JP2007129765A (ja) | 映像データフィルタリング方法及び映像データフィルタリング装置 | |
| CN1190292A (zh) | 差错隐蔽方法和装置 | |
| WO2010074170A1 (ja) | 画像復号装置及び画像符号化装置 | |
| KR100873317B1 (ko) | 에러 은폐 방법 및 장치 | |
| US7020207B1 (en) | Video error concealment mechanism for block based video decompression | |
| CN1126376C (zh) | 用于消除在比特数据流中的误差的方法和装置 | |
| CN100373951C (zh) | 检测块假象的方法 | |
| WO2011105231A1 (ja) | フィルタ係数符号化装置、フィルタ係数復号装置、動画像符号化装置、動画像復号装置、および、データ構造 | |
| Zhao et al. | Spatial error concealment using directional extrapolation | |
| Algazi et al. | Preprocessing for improved performance in image and video coding | |
| KR101152482B1 (ko) | 고속 부호율-적응 저밀도 패리티 코드를 이용한 복호화 방법 및 이러한 방법을 사용하는 부/복호화 장치 | |
| Kang et al. | A new hybrid error concealment scheme for MPEG-2 video transmission | |
| Chen et al. | A new hybrid error concealment scheme for H. 264 video transmission | |
| Kimoto | Spatial Image Watermarking by Error-Correction Coding in Gray Codes | |
| JP3271100B2 (ja) | ディジタル画像信号復号装置および方法 | |
| Lakhdar et al. | Noise reduction of VQ encoded Medical image | |
| KR970008102B1 (ko) | 영상데이터의 오류블럭검출/보정장치와 그 방법 | |
| Zargari et al. | Improved error detection in the JPEG2000 codec | |
| KR20070026507A (ko) | 디코딩된 비디오에서 아티팩트들을 감소시키기 위한알고리즘 | |
| Lee et al. | Detection and concealment of transmission errors in MPEG-4 images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060306 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060920 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |