JP3859099B2 - Decoding device, decoding method, transmission / reception device, and transmission / reception method - Google Patents
Decoding device, decoding method, transmission / reception device, and transmission / reception method Download PDFInfo
- Publication number
- JP3859099B2 JP3859099B2 JP27248597A JP27248597A JP3859099B2 JP 3859099 B2 JP3859099 B2 JP 3859099B2 JP 27248597 A JP27248597 A JP 27248597A JP 27248597 A JP27248597 A JP 27248597A JP 3859099 B2 JP3859099 B2 JP 3859099B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- decoding
- data
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、復号化装置、復号化方法、送受信装置、および、送受信方法に関し、特に、符号化された画像を、簡単な処理によりプレビュー画像として表示することが可能な復号化装置、復号化方法、送受信装置、および、送受信方法に関する。
【0002】
【従来の技術】
インターネットの普及に伴い、例えば、アナログ回線である公衆回線を利用した画像の伝送が盛んになってきている。
【0003】
ところで、このようなアナログ回線は、もともとは、音声を伝送するための回線であるので、画像を伝送するためには、伝送スピードが充分であるとは言い難い。
【0004】
そこで、回線の伝送スピードの遅さをカバーするために、JPEG規格などに基づいて画像データを圧縮して伝送し、受信側で元の画像データに伸長する方法が一般的に用いられている。
【0005】
【発明が解決しようとする課題】
しかしながら、このようなJPEG規格に基づいて画像データを送受信する場合、画像データの圧縮または伸長処理に多大な演算が必要となり、その結果、処理に多大な時間を要するという課題があった。
【0006】
また、受信側が不要と判断した画像に対しては、伸長処理を施さないようにするために、例えば、伸長処理の途中経過のデータをプレビュー画像として表示し、その画像が必要な場合にのみ、伸長処理を継続するようにすることが考えられる。しかしながら、JPEG規格に基づいた圧縮伸長方式では、処理の途中経過のデータを画像として表示することは困難であるので、以上のような方法による画像の取捨選択が困難であるという課題があった。
【0007】
そこで、例えば、もとの画像から所定の割合で画素を間引いてプレビュー画像を作成する方法が考えられる。例えば、もとの画像データに対して、水平および垂直方向にそれぞれ1/3の帯域制限フィルタ処理を施して帯域制限を施した後、図14に示すように、画像データを3×3の画素からなる複数のブロックに分割し、各ブロックの中心の画素のみを抽出して、所定の圧縮処理を施して伝送し、受信側で伸長処理を施せば、プレビュー画像を得ることができる。
【0008】
このような方法によれば、簡単な演算によりプレビュー画像を得ることができる。従って、前述のように、必要な画像に対してのみ演算処理を行うようにすることができるので、結果的に情報の伝送スピードを向上させることが可能となる。
【0009】
しかしながら、このような方法では、画像の情報量が1/9に減少するため、このプレビュー画像からもとの画像を復元することが困難であるという課題があった。
【0010】
そこで、例えば、元の画像に対して、水平および垂直方向に対して1/2の帯域制限フィルタ処理を施し、前述のように3×3の画素ブロックから、中心の画素だけを抽出して伝送することが考えられる。
【0011】
ところが、このような処理によれば、画像の情報量の減少を、前述の場合と比較して低く抑えることが可能となるが、ナイキストの定理より、再生された画像に折り返し成分がエラーとして混入することになるので、画像が劣化するという課題があった。
【0012】
本発明は、以上のような状況に鑑みてなされたものであり、少ない演算量で画像を充分に圧縮するとともに、伸長処理の途中経過をプレビュー画像として表示可能にすることを目的とする。
【0015】
【課題を解決するための手段】
請求項1に記載の復号化装置は、符号化処理が施された画像データに対して所定の復号化処理を施す復号化手段と、復号化手段により得られた画像データをプレビュー画像として出力する第1の出力手段と、復号化手段により得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバート手段と、アップコンバート手段により得られた画像データをアップコンバート画像として出力する第2の出力手段とを備え、アップコンバート手段は、復号化手段により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化手段により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものであることを特徴とする。
【0016】
請求項3に記載の復号化方法は、符号化処理が施された画像データに対して所定の復号化処理を施す復号化ステップと、復号化ステップにより得られた画像データをプレビュー画像として出力する第1の出力ステップと、復号化ステップにより得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバートステップと、アップコンバートステップにより得られた画像データをアップコンバート画像として出力する第2の出力ステップとを備え、アップコンバートステップの処理は、復号化ステップの処理により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化ステップの処理により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものであることを特徴とする。
【0017】
請求項4に記載の送受信装置は、送信側は、もとの画像データの所定の空間周波数以上の成分を制限する帯域制限手段と、帯域制限手段により得られた画像データを所定の割合でサンプリングするサンプリング手段と、サンプリング手段により得られた画像データを複数のブロックに分割する分割手段と、分割手段により得られた画像データのブロック毎に符号化を行う符号化手段と、符号化手段から出力されるデータを送信する送信手段とを備え、受信側は、送信手段により送信されたデータを受信する受信手段と、受信手段により受信されたデータに対して所定の復号化処理を施す復号化手段と、復号化手段により得られた画像データをプレビュー画像として出力する第1の出力手段と、復号化手段により得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバート手段と、アップコンバート手段により得られた画像データをアップコンバート画像として出力する第2の出力手段とを備え、アップコンバート手段は、復号化手段により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化手段により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものであることを特徴とする。
【0018】
請求項7に記載の送受信方法は、送信側は、もとの画像データの所定の空間周波数以上の成分を制限する帯域制限ステップと、帯域制限ステップにより得られた画像データを所定の割合でサンプリングするサンプリングステップと、サンプリングステップにより得られた画像データを複数のブロックに分割する分割ステップと、分割ステップにより得られた画像データのブロック毎に符号化を行う符号化ステップと、符号化ステップから出力されるデータを送信する送信ステップとを備え、受信側は、送信ステップにより送信されたデータを受信する受信ステップと、受信ステップにより受信されたデータに対して所定の復号化処理を施す復号化ステップと、復号化ステップにより得られた画像データをプレビュー画像として出力する第1の出力ステップと、復号化ステップにより得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバートステップと、アップコンバートステップにより得られた画像データをアップコンバート画像として出力する第2の出力ステップとを備え、アップコンバートステップの処理は、復号化ステップの処理により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化ステップの処理により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものであることを特徴とする。
【0021】
請求項1に記載の復号化装置においては、符号化処理が施された画像データに対して所定の復号化処理を復号化手段が施し、復号化手段により得られた画像データをプレビュー画像として第1の出力手段が出力し、復号化手段により得られた画像データを、解像度が更に高い画像データにアップコンバート手段がアップコンバートし、アップコンバート手段により得られた画像データをアップコンバート画像として第2の出力手段が出力する。例えば、ADRC方式に基づいて符号化された画像データが復号化手段により復号化され、もとの画像の1/4の画素からなるプレビュー画像として第1の出力手段が出力するとともに、アップコンバート手段がもとの画像と同一の解像度の画像にアップコンバートし、第2の出力手段がアップコンバート手段により得られた画像を、アップコンバート画像として出力する。このアップコンバート手段は、復号化手段により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化手段により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである。
【0022】
請求項3に記載の復号化方法においては、符号化処理が施された画像データに対して所定の復号化処理を復号化ステップが施し、復号化ステップにより得られた画像データをプレビュー画像として第1の出力ステップが出力し、復号化ステップにより得られた画像データを、解像度が更に高い画像データにアップコンバートステップがアップコンバートし、アップコンバートステップにより得られた画像データをアップコンバート画像として第2の出力ステップが出力する。例えば、ADRC方式に基づいて符号化された画像データが復号化ステップにより復号化され、もとの画像の1/4の画素からなるプレビュー画像として第1の出力ステップが出力するとともに、アップコンバートステップがもとの画像と同一の解像度の画像にアップコンバートし、第2の出力ステップがアップコンバートステップにより得られた画像を、アップコンバート画像として出力する。このアップコンバートステップの処理は、復号化ステップの処理により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化ステップの処理により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである。
【0023】
請求項4に記載の送受信装置においては、送信側は、もとの画像データの所定の空間周波数以上の成分を帯域制限手段が制限し、帯域制限手段により得られた画像データを所定の割合でサンプリング手段がサンプリングし、サンプリング手段により得られた画像データを複数のブロックに分割手段が分割し、分割手段により得られた画像データのブロック毎に符号化手段が符号化し、符号化手段から出力されるデータを送信手段が送信し、受信側は、送信手段により送信されたデータを受信手段が受信し、受信手段により受信されたデータに対して所定の復号化処理を復号化手段が施し、復号化手段により得られた画像データをプレビュー画像として第1の出力手段が出力し、復号化手段により得られた画像データを、解像度が更に高い画像データにアップコンバート手段がアップコンバートし、アップコンバート手段により得られた画像データをアップコンバート画像として第2の出力手段が出力する。例えば、送信側では、もとの画像の水平方向および垂直方向に周波数成分を1/2に帯域制限手段が制限し、得られた画像を3×3画素からなるブロックに分割手段が分割し、分割手段により分割された3×3画素からなる各ブロックを、符号化手段がADRC方式に基づいて符号化し、得られたデータを送信手段が送信する。受信側では、ADRC方式に基づいて符号化された画像データを受信手段が受信し、受信手段により受信された画像データを復号化手段が復号化し、もとの画像の1/4の画素からなるプレビュー画像として第1の出力手段が出力するとともに、アップコンバート手段がもとの画像と同一の解像度の画像にアップコンバートし、第2の出力手段がアップコンバート手段により得られた画像を、アップコンバート画像として出力する。このアップコンバート手段は、復号化手段により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化手段により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである。
【0024】
請求項7に記載の送受信方法においては、送信側は、もとの画像データの所定の空間周波数以上の成分を帯域制限ステップが制限し、帯域制限ステップにより得られた画像データを所定の割合でサンプリングステップがサンプリングし、サンプリングステップにより得られた画像データを複数のブロックに分割ステップが分割し、分割ステップにより得られた画像データのブロック毎に符号化ステップが符号化し、符号化ステップから出力されるデータを送信ステップが送信し、受信側は、送信ステップにより送信されたデータを受信ステップが受信し、受信ステップにより受信されたデータに対して所定の復号化処理を復号化ステップが施し、復号化ステップにより得られた画像データをプレビュー画像として第1の出力ステップが出力し、復号化ステップにより得られた画像データを、解像度が更に高い画像データにアップコンバートステップがアップコンバートし、アップコンバートステップにより得られた画像データをアップコンバート画像として第2の出力ステップが出力する。例えば、送信側では、もとの画像の水平方向および垂直方向に周波数成分を1/2に帯域制限ステップが制限し、得られた画像を3×3画素からなるブロックに分割ステップが分割し、分割ステップにより分割された3×3画素からなる各ブロックを、符号化ステップがADRC方式に基づいて符号化し、得られたデータを送信ステップが送信する。受信側では、ADRC方式に基づいて符号化された画像データを受信ステップが受信し、受信ステップにより受信された画像データを復号化ステップが復号化し、もとの画像の1/4の画素からなるプレビュー画像として第1の出力ステップが出力するとともに、アップコンバートステップがもとの画像と同一の解像度の画像にアップコンバートし、第2の出力ステップがアップコンバートステップにより得られた画像を、アップコンバート画像として出力する。このアップコンバートステップの処理は、復号化ステップの処理により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、復号化ステップの処理により得られた画像データを解像度が高い画像データにアップコンバートし、テーブルは、もととなる画像データに対して、画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである。
【0025】
【発明の実施の形態】
図1は、本発明の送受信装置の一実施の形態の構成例を示すブロック図である。この図において、エンコーダ1は、入力された原画像(もとの画像)に対して所定の圧縮処理を施して出力するようになされている。モデム2は、エンコーダ1より出力されたデータを公衆回線に対応するアナログデータに変換して出力するようになされている。
【0026】
モデム3は、公衆回線を介して伝送されて来たアナログデータを受信して、ディジタルデータに変換するようになされている。デコーダ4は、モデム3より出力されるディジタルデータに対して所定の復号化処理を施し、プレビュー画像として出力するとともに、このプレビュー画像に対してアップコンバート処理を施し、得られた画像をアップコンバート画像として出力するようになされている。
【0027】
スイッチ5は、図示せぬ制御部により制御され、画像データが受信された場合は、まず、プレビュー画像を選択し、CRTモニタ6に出力する。そして、そのプレビュー画像を表示する必要があると判定された場合には、図示せぬ制御部によりスイッチ5の接続が切り換えられ、アップコンバート画像がCRTモニタ6に供給されて表示されることになる。
【0028】
図2は、図1に示すエンコーダ1の詳細な構成の一例を示すブロック図である。水平方向帯域制限フィルタ20(帯域制限手段)は、画像データの水平方向の空間周波数を1/2に制限するようになされている。垂直方向帯域制限フィルタ21(帯域制限手段)は、画像データの垂直方向の空間周波数を同じく1/2に制限するようになされている。
【0029】
サンプリング回路22(サンプリング手段)は、水平方向帯域制限フィルタ20および垂直方向帯域制限フィルタ21により帯域制限された画像データから、図3に黒丸で示されている画素だけをサンプリング(抽出)することにより、画素数を1/4に間引きするようになされている。
【0030】
符号化回路23(符号化手段、送信手段)は、サンプリング回路22によりサンプリングされた画素に対して後述する圧縮処理を施して、得られた画像を出力するようになされている。
【0031】
図4は、符号化回路23の詳細な構成例を示すブロック図である。この図において、ブロック化回路40は、図3に黒丸で示される画素を3×3個よりなるブロックに分割するようになされている。
【0032】
最大値検出回路(MAX DET)41は、ブロック化回路40(分割手段)より出力された各ブロックに含まれる画素の最大値を検出するようになされている。最小値検出回路(MIN DET)42は、ブロック化回路40より出力された各ブロックに含まれている画素の最小値を検出するようになされている。
【0033】
遅延回路(DL)43は、最大値検出回路41および最小値検出回路42がそれぞれ最大値および最小値を検出するまで、ブロック化回路40の出力データを一時的に保持するようになされている。
【0034】
減算回路44は、最大値検出回路41により検出された最大値MAXから、最小値検出回路42により検出された最小値MINを減算してダイナミックレンジDRを算出し、フレーミング回路47と量子化回路46(符号化手段)に供給するようになされている。
【0035】
減算回路45は、遅延回路43から出力される画素データから、最小値検出回路42より出力される最小値MINを減算して正規化した後、量子化回路46に出力するようになされている。
【0036】
量子化回路46は、減算回路45の出力データを、ダイナミックレンジDRの値に応じて量子化するようになされている。例えば、4ビットの固定長ADRC(Adaptive Dynamic Range Coding)の場合では、ダイナミックレンジDRの値を16で除算することにより、量子化ステップΔを得る。そして、得られた量子化ステップΔにより、減算回路45から出力される画素データ(正規化されたデータ)を除算し、得られたデータの少数部分を切り捨てることにより整数化し、量子化されたデータとして出力する。
【0037】
フレーミング回路47は、エラー訂正符号のパリティを発生するとともに、最小値MIN、ダイナミックレンジDR、量子化された画素データ、および、エラー訂正符号のパリティを、各ブロック単位で1つのシンクブロックにまとめて出力する。エラー訂正符号としては、例えば、データのマトリクス状配列の水平方向および垂直方向のそれぞれに対してエラー符号化を行う積符号を採用することができる。また、フレーミング回路47は、各シンクブロックに対して、シンクブロック同期信号およびID信号を付加して送出するようになされている。
【0038】
図5は、図1に示すデコーダ4の構成例を示すブロック図である。この図において、適応復号化回路60(復号化手段、第1の出力手段、受信手段)は、モデム3より出力されたデータに対して後述する適応復号化処理を施して出力するようになされている。なお、この適応復号化回路60より出力された画像データは、プレビュー画像としてスイッチ5に供給される。アップコンバータ61(アップコンバート手段、第2の出力手段)は、適応復号化回路60から出力された画像データに対して、後述するアップコンバート処理を施し、アップコンバート画像としてスイッチ5に供給するようになされている。
【0039】
図6は、図5に示す適応復号化回路60の構成例を示すブロック図である。この図において、フレーム分解回路80は、受信された各シンクブロックに含まれているデータを抽出するようになされている。メモリ81は、フレーム分解回路80により抽出された量子化データ(受信されたデータ)DTを記憶し、1ブロック単位でデータ変換回路82に出力するようになされている。データ変換回路82は、量子化データの値が所定の範囲を逸脱した場合には、データをシフトするとともに、それでも、所定の範囲内に収まらない場合にはクリップ処理を施して、補正データテーブル83に供給するようになされている。なお、データ変換回路82が、量子化データに対してシフト処理を行った場合には、補正データ変換回路84に対して、シフト量を出力するようになされている。
【0040】
補正データテーブル83は、データ変換回路82より出力された量子化データを最適な補正値に変換して出力するようになされている。即ち、補正データテーブル83には、学習により得られた補正値が格納されており、供給される量子化データに対応する補正値が出力されるようになされている。
【0041】
補正データ変換回路84は、データ変換回路82によりシフト処理が実行された場合には、補正データテーブル83から出力された補正値に対して、逆のシフト処理を行うようになされている。例えば、データ変換回路82において、“+2”のシフトが実行され、補正データテーブル83からの出力データが、“7.2438”であった場合には、補正データ変換回路84は、“−2”のシフト処理を実行し、“5.2438”を出力する。
【0042】
復号化回路85は、フレーム分解回路80から出力されるダイナミックレンジDRと最小値MINを参照して、補正データ変換回路84より出力されたデータに対して、復号化処理を施し、得られたデータをプレビュー画像として出力するようになされている。
【0043】
図7は、図5に示すアップコンバータ61の詳細な構成の一例を示すブロック図である。この図において、ブロック化回路100は、復号化回路85より出力されたプレビュー画像データを、3×3個の画素からなるブロックに分割するようになされている。ADRC回路101は、ブロック化回路100から出力される各ブロックの2次元的なレベル分布のパターンを検出するとともに、検出されたレベル分布のパターンを示すデータを圧縮して出力するようになされている。
【0044】
クラスコード発生回路102は、ADRC回路101から出力されたパターン情報をもとにして、そのブロックの画像情報が属するクラスを検出し、出力するようになされている。ROMテーブル103は、1/9に圧縮されて伝送されてきた画像データを、原画像と同一の解像度に変換するための代表値をクラス毎に記憶しており、クラスコード発生回路102から供給されるクラスコードに対応する代表値を読み出して、推定演算回路104に供給するようになされている。
【0045】
推定演算回路104は、ブロック化回路100から供給された画像のブロックデータと、ROMテーブル103から供給された代表値を参照して、1/9に圧縮処理されている画像を、原画像と同一の解像度の画像に変換するようになされている。
【0046】
次に、以上の実施の形態の動作について説明する。
【0047】
図1に示すエンコーダ1に入力された原画像は、水平方向帯域制限フィルタ20により、水平方向に対して1/2の帯域制限が施され、また、垂直方向帯域制限フィルタ21により、垂直方向に対して1/2の帯域制限が施される。サンプリング回路22では、図3に示す原画像(帯域制限が施された画像)から、黒丸で示されている画素だけがサンプリングにより抽出され、符号化回路23に出力される。なお、原画像の各画素は、8ビット長のデータであるとする。
【0048】
符号化回路23に入力されたデータは、図4に示すブロック化回路40に供給される。ブロック化回路40は、図3に黒丸で示す画素データを、3×3画素からなるブロックに分割し、得られたブロックを、最大値検出回路41、最小値検出回路42、および、遅延回路43に対して出力する。
【0049】
最大値検出回路41は、ブロック化回路40から出力されたブロックに含まれる画素の中から、最大の画素値を検出して、減算回路44に出力する。また、最小値検出回路42は、ブロック化回路40から出力されたブロックに含まれている画素の中から、最小の画素値を検出して、減算回路44,45、および、フレーミング回路47に出力する。
【0050】
遅延回路43は、最大値検出回路41および最小値検出回路42の双方が最大値および最小値を検出するまで、ブロック化回路40から出力されるデータを保持し、検出が完了した時点で保持しているデータを出力する。
【0051】
減算回路44は、最大値検出回路41より出力される最大値MAXから、最小値検出回路42より出力される最小値MINを減算してダイナミックレンジDRを算出し、量子化回路46とフレーミング回路47に供給する。
【0052】
減算回路45は、遅延回路43より出力される画像のブロックデータから、最小値検出回路42より出力される最小値MINを減算して、画像データを正規化した後、量子化回路46に対して出力する。
【0053】
量子化回路46は、減算回路45より出力される正規化されたブロックデータを、減算回路44より出力されたダイナミックレンジDRの値に応じて量子化する。いま、符号化回路23が4ビットの固定長ADRCであるとすると、ダイナミックレンジDRの値を値16で除算することにより、量子化ステップΔが算出される。量子化回路46は、この量子化ステップΔにより、正規化されたブロックデータを除算して小数点以下を切り捨てることにより、量子化データDTを算出し、フレーミング回路47に出力する。
【0054】
フレーミング回路47は、量子化データDT、ダイナミックレンジDR、および、最小値MINをまとめて1つのシンクブロックを形成するとともに、エラー訂正用のパリティ、シンクブロックの同期信号、および、シンクブロックのID信号を発生して、前述のシンクブロックに付加して出力する。
【0055】
フレーミング回路47より出力されたデータは、モデム2に入力されて、アナログ信号に変換され、公衆回線を介して受信側に伝送される。
【0056】
受信側では、公衆回線を介して伝送されてきたデータをモデム3により受信し、ディジタル信号に変換した後、デコーダ4に供給する。
【0057】
デコーダ4に供給されたデータは、適応復号化回路60を構成するフレーム分解回路80に供給される。フレーム分解回路80では、フレーミング回路47の場合と逆の操作により、ダイナミックレンジDR、最小値MIN、および、量子化データDTが抽出される。メモリ81は、フレーム分解回路80より出力された量子化データDTを所定量だけ記憶した後、復号対象である注目画素を中心とする、3×3画素の量子化データを1ブロックとして、データ変換回路82に対して出力する。
【0058】
いま、注目画素を図3に示す画素eであるとすると、メモリ81は、注目画素画素eの画素値とともに、周辺画素として画素a,b,c,d,f,g,h,iの画素値を、データ変換回路82に対して出力する。
【0059】
データ変換回路82は、メモリ81から出力されるデータの値が所定の範囲を逸脱している場合には、そのデータを含むブロックのデータに対してシフト処理を施すとともに、シフト処理を実行した場合でも、ブロックに含まれている全てのデータが所定の範囲に収まらない場合にはクリッピング処理を実行し、得られたデータをアドレス値として補正データテーブルに供給する。
【0060】
即ち、4ビットの固定長ADRCの場合、出現する量子化データDTの値は、0乃至15の範囲に限られる。そのため、補正データテーブル83は、0乃至15の値のみに対応するように構成されている。しかしながら、例えば、注目画素が画素hである場合には、周辺画素として、画素j,k,lが必要となる。これらの画素は、画素a乃至iとは異なるブロック(周辺ブロック)に含まれている(画素j乃至rからなるブロックに含まれている)ため、そのダイナミックレンジDRおよび最小値MINは、画素a乃至iよりなるブロックのそれとは異なっている。従って、そのような場合には、メモリ81から供給される量子化データDTの値が0乃至15の範囲を外れる場合が生ずる。そこで、量子化データDTの値が0乃至15の範囲を外れた場合には、量子化データDTの値を所定量だけシフトし(所定の値を加算または減算し)、それでも、前述の範囲内に収まらない場合には、そのデータをクリップし(最大値15または最小値0に変換し)、得られたデータを出力する。
【0061】
補正データテーブル83は、データ変換回路82より供給された周辺画素の値をアドレス値として、そのアドレスに格納されている補正データを注目画素の補正値として出力する。なお、この補正データテーブル83には、周辺画素が所定のパターンを有する場合に、最も高い頻度で出現する注目画素の値が統計処理により算出されて格納されている。なお、このような統計処理は、標準的な画像信号に対して施され、得られたデータが補正データテーブル83に格納される。
【0062】
補正データテーブル83から出力されたデータは、補正データ変換回路84に供給され、データ変換回路82とは逆方向のシフトが行われる。即ち、前述のように、データ変換回路82において、“+2”のシフトが実行された場合には、補正データ変換回路84により、補正データに対して“−2”のシフトが施される。そして、得られたデータが復号化回路85に供給される。
【0063】
復号化回路85は、注目画素の復号を行う。即ち、復号化回路85は、フレーム分解回路80から供給されるダイナミックレンジDRと最小値MIN、および、補正データ変換回路84から供給される出力信号Fとの間で以下のような演算を実行し、得られた復号値Lを出力する。なお、Δは量子化ステップであり、また、[]はガウス記号を示しており、記号内の実数を越えない整数のうち、最大のものを与える。
【0064】
L=[F×Δ+MIN+0.5] ・・・(1)
【0065】
以上のようにして得られた画像データは、もとの画像(原画像)の1/4の情報量を持つプレビュー画像(図3に黒丸で示す画素から構成される画像)として、図1に示すスイッチ5に出力される。スイッチ5がプレビュー画像側を選択している場合には、このプレビュー画像は、CRTモニタ6に供給されて表示されることになる。
【0066】
また、このプレビュー画像は、図5に示すアップコンバータ61にも供給される。アップコンバータ61のブロック化回路100は、プレビュー画像を3×3の画素ブロックに分割して、ADRC回路101と推定演算回路104に対して出力する。ADRC回路101は、入力されたデータのビット数を圧縮処理して出力する。なお、このADRC回路101の動作は、図4に示す符号化回路23と同様であるので、その説明は省略する。
【0067】
クラスコード発生回路102は、ADRC回路101からの出力データに対して以下の演算を行い、そのデータの所属するクラスをROMテーブル103に出力する。
【0068】
【数1】
【0069】
ここで、qi(i=0,1,・・・,8)は、ADRC回路101から出力された1ブロック分のデータ(例えば、画素a乃至iの値)に対応しており、また、Pは、ADRC回路101から出力されるデータのビット数(例えば、3ビット)を示している。
【0070】
いま、図3に示す画素a乃至iをアップコンバートすることにより、画素A乃至Iを生成する場合について考える。例えば、画素Aを生成する場合、ADRC回路101から出力された、画素a乃至iを圧縮した値は、e,a,b,c,f,i,h,g,dの順序で、クラスコード発生回路102に供給される。クラスコード発生回路102は、式(2)に示す演算を行い、その画素のパターンが属するクラスを生成し、ROMテーブル103に供給する。ROMテーブル103には、そのクラスの標準的な画素値(この場合では、画素Aの画素値)が格納されており、クラスに対応する画素値が出力される。
【0071】
なお、このROMテーブル103に格納されているデータは、複数の原画像に対して統計処理を行い、それぞれのクラスの標準的な値(重心値)を、例えば、以下の式により求める。ここで、Xは画素A乃至Iのうち、注目する画素の画素値であり、baseは、そのブロック内の画素a乃至iの最小レベル、または、注目する画素に最も近い画素A乃至Iの画素値、または、画素a乃至iの相加平均あるいは加重平均値の何れかである。
【0072】
sum(class)=(X−base)/DR ・・・(3)
n(class)=n(class)+1 ・・・(4)
【0073】
以上のような操作を複数の原画像に対して施し、所定の画素(例えば、画素A乃至Hの何れか)に注目した場合において、所定のクラスclassに属する画素の積算値sum(class)と、累積度n(class)を求める。そして、得られた値を以下の式に適用することにより、所定のclassに属する画素値の重心値g(class)を求める。
【0074】
g(class)=sum(class)/n(class) ・・・(5)
【0075】
以上のようにして得られた各クラスの重心値であるg(class)は、原画像の画素のレベルが、baseからどれくらい離れた位置に平均的に存在するのかを示している。このような重心値g(class)は、ROMテーブル103の、classの値に対応するアドレスに順次格納される。
【0076】
図7に戻って、ROMテーブル103は、クラスコード発生回路102から供給されたクラスコードに対応するアドレスから重心値gを読み出し、推定演算回路104に供給する。推定演算回路104は、ROMテーブル103から出力された重心値をもとに、以下の演算を行うことにより、入力されたプレビュー画像に対応する、アップコンバート画像X’を算出して出力する。
【0077】
X’=DR・g(class)+base ・・・(6)
【0078】
以上のようにして得られたアップコンバート画像は、図1に示すスイッチ5に供給される。スイッチ5が、アップコンバート画像側に接続されている場合には、デコーダ4から出力されたアップコンバート画像は、CRTモニタ6に供給されて表示される。
【0079】
以上の実施の形態によれば、送信側において、原画像の画素を1/4に間引いた後、ADRC方式に基づく画像圧縮を行って伝送し、受信側では、受信された画像データに対して適応符号化処理を施し、得られた画像をプレビュー画像として出力するとともに、このプレビュー画像に対してアップコンバート処理を施して原画像と同一の解像度を持つアップコンバート画像を生成して表示するようにしたので、簡単な演算により画像を圧縮することが可能となるとともに、伸長処理の途中経過をプレビュー画像として表示することが可能となるので、画像を迅速に送受信することが可能となる。
【0080】
次に、本発明の第2の実施の形態について説明する。
【0081】
なお、第2の実施の形態の概略構成は、図1に示す場合と同様とされており、また、エンコーダ1も図2に示す場合と同様の概略構成とされているが、それぞれの部分における処理が若干異なっている。従って、以下では、異なる部分を中心として構成および動作の説明を行う。
【0082】
第2の実施の形態では、図2に示す水平方向帯域制限フィルタ20は、水平方向に1/2の帯域制限を行うようになされている。また、垂直方向帯域制限フィルタ21は、第1の実施例と同様に、垂直方向に1/3の帯域制限を行うようになされている。サンプリング回路22は、図8に示すように、水平方向に1/2、垂直方向に1/3の割合で画素を間引き、黒丸で示される画素の画素値をサンプリングするようになされている。
【0083】
符号化回路23は、後述するような可変密度画素伝送方式に基づいて、画像データを符号化(圧縮)し、モデム2に出力するようになされている。なお、モデム2およびモデム3の構成は、第1の実施の形態の場合と同様である。
【0084】
図9は、デコーダ4の詳細な構成の一例を示すブロック図である。この図において、復号化回路120(復号化手段)は、モデム3から供給されたデータから、図8に黒丸で示す画素データを復号化するようになされている。データ補正処理回路121(復号化手段、第1の出力手段)は、復号化された画像データに対して適応化処理を行い、プレビュー画像を生成するようになされている。補正データテーブル122は、データ補正処理を行う際に必要な補正データが格納されている。アップコンバータ123(アップコンバート手段、第2の出力手段)は、アップコンバート処理により、1/6に間引きされた画像を原画像と同一の解像度の画像にアップコンバートするようになされている。
【0085】
次に、以上の実施の形態の動作について説明する。
【0086】
図10は、符号化回路23で実行される処理の一例を説明するフローチャートである。サンプリング回路22によりサンプリングされた画像データが符号化回路23に供給されると、符号化回路23は、図11に示すように、2×2画素からなるブロックを形成する。そして、各ブロック毎に図10に示す処理を実行することになる。
【0087】
図10に示す処理が実行されると、ステップS1において、符号化回路23は、処理の対象となるブロックに含まれている画素の最大値を変数maxに代入する。続くステップS2では、符号化回路23は、同じく処理の対処となるブロックに含まれている画素の最小値を変数minに代入する。そして、ステップS4に進む。
【0088】
ステップS4では、変数maxから変数minを減算した値(=max−min)が、所定の値よりも小さいか否かが判定される。即ち、処理の対象となるブロックのダイナミックレンジが所定の値よりも小さいか否かが判定される。その結果、ダイナミックレンジが所定の値よりも大きい(NO)と判定された場合にはステップS6に進み、また、ダイナミックレンジが所定の値よりも小さい(YES)と判定された場合にはステップS4に進む。
【0089】
ステップS4では、変数f(圧縮処理の種類を示す変数)に値0が代入され、ステップS5に進む。ステップS5では、画素a乃至iの相加平均値(=(a+b+c+d)/4)が求められ、変数xに代入される。なお、変数xは最大で32ビットのデータを格納することが可能とされている。ステップS5の処理が終了すると、処理を終了する(エンド)。
【0090】
ステップS3において、NOと判定された場合には、ステップS6に進む。ステップS6では、画素aと画素bの画素値の差分の絶対値が所定の値よりも小さく、かつ、画素cと画素dの画素値の差分の絶対値が所定の値よりも小さいか否かが判定される。即ち、画素の水平方向の差分の絶対値が所定の値よりも小さいか否かが判定される。その結果、画素aと画素bの画素値の差分の絶対値が所定の値よりも大きいか、または、画素cと画素dの画素値の差分の絶対値が所定の値よりも大きい(NO)と判定された場合には、ステップS9に進み、また、画素aと画素bの画素値の差分の絶対値が所定の値よりも小さく、かつ、画素cと画素dの画素値の差分の絶対値が所定の値よりも小さい(YES)と判定された場合にはステップS7に進む。
【0091】
ステップS7では、変数fに値1が代入される。そして、ステップS8において、画素a,bの相加平均値(=(a+b)/2)が上位8ビット、画素c,dの相加平均値(=(c+d)/2)が下位8ビットとして変数xに代入された後、処理を終了する(エンド)。なお、{ ,}は連接を示している。即ち、{i,j}の場合では、変数iの値を上位8ビット、変数jの値を下位8ビットとして変数xに代入することを示している。
【0092】
ステップS6において、NOと判定された場合には、ステップS9に進む。ステップS9では、画素aと画素cの画素値の差分の絶対値が所定の値よりも小さく、かつ、画素bと画素dの画素値の差分の絶対値が所定の値よりも小さいか否かが判定される。即ち、画素の垂直方向の差分の絶対値が所定の値よりも小さいか否かが判定される。その結果、画素aと画素cの画素値の差分の絶対値が所定の値よりも大きいか、または、画素bと画素dの画素値の差分の絶対値が所定の値よりも大きい(NO)と判定された場合には、ステップS12に進み、また、画素aと画素cの画素値の差分の絶対値が所定の値よりも小さく、かつ、画素bと画素dの画素値の差分の絶対値が所定の値よりも小さい(YES)と判定された場合にはステップS10に進む。
【0093】
ステップS10では、変数fに値2が代入される。続くステップS11では、画素a,cの相加平均値(=(a+c)/2)が上位8ビット、画素b,dの相加平均値(=(b+d)/2)が下位8ビットとして変数xに代入された後、処理を終了する(エンド)。
【0094】
ステップS9において、NOと判定された場合には、ステップS12に進み、変数fに値3が代入される。続くステップS13では、画素aの値を変数xの上位8ビットに、画素bの値を変数xの第23乃至第16ビットに、画素cの値を変数xの第15乃至第8ビットに、そして、画素dの値を変数xの下位8ビットにそれぞれ格納する。そして、処理を終了する(エンド)。
【0095】
このような処理により得られた変数fと変数xの値は、各データブロック毎に同期信号、ID信号、および、エラー訂正用のパリティが付加されて、シンクブロックが形成され、モデム2に供給される。
【0096】
以上のような処理によれば、結果として、以下のような符号化処理が実行されることになる。
【0097】
(A)各画素ブロックの画素a乃至dの画素値が所定の範囲に収まっている場合にはこれらの画素の平均値だけが伝送される。
(B)上述の(A)の条件を満足しない場合であって、水平方向に連続する画素の差分の絶対値がそれぞれ所定の範囲に収まっている場合には、画素a,bの平均値と、画素c,dの平均値の2つの値が伝送される。
(C)上述の(A)の条件を満足しない場合であって、垂直方向に連続する画素の差分の絶対値がそれぞれ所定の範囲に収まっている場合には、画素a,cの平均値と、画素b,dの平均値の2つの値が伝送される。
(D)上述の(A)乃至(C)の全ての条件を満足しない場合は、画素a乃至dの全ての画素値を伝送する。
【0098】
このようにして圧縮された画像データは、モデム2に供給され、そこでアナログ信号に変換された後、公衆回線を介して受信側に伝送される。受信側では、モデム3により、伝送されてきたアナログ信号をディジタル信号に変換し、デコーダ4に供給する。
【0099】
デコーダ4に供給されたデータは、図9に示す復号化回路120に供給される。復号化回路120では、図12に示す処理が実行されており、伝送されて来た画像データが復号化される。
【0100】
即ち、図12に示す処理が実行されると、復号化装置120は、ステップS30において、受信されたシンクブロックに含まれている変数fの値が0であるか否かを判定する。その結果、変数fの値が0ではない(NO)と判定した場合には、ステップS32に進み、また、変数fの値が0である(YES)と判定した場合にはステップS31に進み、シンクブロックに含まれている変数xの値を、画素a,b,c,dのそれぞれに代入した後、処理を終了する(エンド)。
【0101】
ステップS30でNOと判定された場合には、ステップS32に進み、変数fの値が1であるか否かが判定される。その結果、変数fの値が1ではない(NO)と判定された場合には、ステップS34に進み、また、変数fの値が1である(YES)と判定された場合には、ステップS33に進む。
【0102】
ステップS33では、変数xの上位8ビットの値が画素a,bにそれぞれ代入され、また、変数xの下位8ビットの値が画素c,dにそれぞれ代入された後、処理を終了する(エンド)。
【0103】
ステップS32でNOと判定された場合には、ステップS34に進み、変数fの値が2であるか否かが判定される。その結果、変数fの値が2ではない(NO)と判定された場合には、ステップS36に進み、また、変数fの値が2である(YES)と判定された場合には、ステップS35に進む。
【0104】
ステップS35では、変数xの上位8ビットが画素a,cにそれぞれ代入され、また、変数xの下位8ビットが画素b,dにそれぞれ代入された後、処理を終了する(エンド)。
【0105】
ステップS34でNOと判定された場合には、ステップS36に進み、変数fの値が3であるか否かが判定される。その結果、変数fの値が3ではない(NO)と判定された場合には処理を終了し(エンド)、また、変数fの値が3である(YES)と判定された場合には、ステップS37に進む。
【0106】
ステップS37では、変数xの上位8ビットが画素aに、変数xの第23ビット乃至第16ビットが画素bに、変数xの第15乃至第8ビットが画素cに、また、変数xの下位8ビットが画素dにそれぞれ代入された後、処理を終了する(エンド)。
【0107】
以上の処理が各ブロック毎に繰り返され、図11に黒丸で示す画素の画素値が復号化され、各ブロック毎にデータ補正処理回路121に供給される。
【0108】
データ補正処理回路121は、入力されたブロックデータの所定の画素に注目し、それ以外の画素のパターンから、統計的に最も確からしい注目画素の画素値(補正値)を生成する。例えば、いま、画素aが注目画素であるとすると、画素b乃至dのパターンを検出し、そのパターンの場合に最も確からしい注目画素aの値を補正データテーブル122より読み出し、画素aの値として出力する。同様の処理は、画素b乃至cに対しても繰り返され、1ブロック分のデータが生成される。
【0109】
補正データテーブルに格納されているデータは、第1の実施例の補正データテーブル83に格納されているデータと同様の処理により生成することができるので、その説明は省略する。
【0110】
なお、以上の補正処理では、4つの画素a乃至dを1ブロックとして処理を行うようにしたが、第1の実施例の場合と同様に、3×3画素を1ブロックとして補正処理を実行するようにしてもよいことは勿論である。
【0111】
以上のような処理により得られた画像データは、プレビュー画像としてスイッチ5に供給される。スイッチ5がプレビュー画像側に接続されている場合には、CRTモニタ6にプレビュー画像が表示されることになる。
【0112】
データ補正回路121から出力されたプレビュー画像は、スイッチ5に供給されるとともに、アップコンバータ123にも供給される。
【0113】
アップコンバータ123は、1/6に間引きされたデータを原画像と同一の解像度の画像に変換して出力する。なお、アップコンバータ123は、図7に示す場合と同様の構成とされているので、その動作の説明は省略する。
【0114】
アップコンバータ123から出力された画像データは、スイッチ5に供給される。スイッチ5の接続がアップコンバート画像側とされている場合には、CRTモニタ6にアップコンバート画像が表示されることになる。
【0115】
以上の実施の形態によれば、送信側では、原画像を1/6に間引きした後、2×2画素から構成されるブロックに分解し、各ブロックの画素レベルの分布状況に応じてデータを符号化して伝送し、また、受信側では、各ブロックの画素を復号化した後、データ補正処理を施し、得られた補正データをプレビュー画像として出力するとともに、この画像にアップコンバートを更に施してアップコンバート画像として出力するようにしたので、簡単な処理により画像を大幅に圧縮することが可能となるとともに、伸長処理の途中経過のデータをプレビュー画像として参照することが可能となるので、不要な画像に対する伸長処理を省略することが可能となり、結果として、画像データの伝送速度を向上させることが可能となる。また、画像データは、同一の色からなる部分や、水平または垂直方向の線分などを含む場合が多いので、以上の符号化処理によれば、効率よく画像を符号化することが可能となる。
【0116】
ところで、第1の実施例における、補正データテーブル83に格納されているデータ(重心値)を求める場合、以下の手順で行われることが多い。即ち、先ず、学習用の原画像(標準的な画像)に対して、水平方向および垂直方向にそれぞれ1/2の帯域制限フィルタリング処理を施す。そして、帯域制限が施された画像から水平方向および垂直方向にそれぞれ1/2の割合で画素を間引き、図3に黒丸で示す画素を抽出する。そして、このようにして抽出された画像を元に、各クラスに対する注目画素の標準的な値(重心値)を統計処理により算出する。
【0117】
このように、通常では、画素の間引きの割合に応じた帯域制限フィルタリング処理を施して得られた画像を用いて重心値が算出されるが、帯域制限フィルタの制限帯域を低めに設定して得られた重心値を用いた方が、視覚的に鮮鋭な画像が得られる場合が多い。
【0118】
しかしながら、制限帯域を低めに設定した場合、画像に含まれるパターンによっては、有効とはならない部分が生ずる。そこで、画像に含まれているブロックのパターンに応じて、帯域制限フィルタの制限帯域を適宜変更することにより、より鮮鋭な画像を得ることが可能となる。
【0119】
図13は、以上のような手法により、重心値を算出する重心値算出回路の構成例を示すブロック図である。
【0120】
この図において、ブロック化回路140は、原画像を6×6の画素ブロックに分割してADRC回路141と遅延回路142に出力するようになされている。ADRC回路141は、ブロック化回路140より出力されたブロックデータに対してADRCを施して得られたデータ(例えば、3ビットデータ)をパターン検出回路143に対して出力するようになされている。
【0121】
パターン検出回路143は、各ブロックに以下のパターンが存在しているか否かを判定し、これらのパターンが検出された場合には、水平方向帯域制限フィルタ144と垂直方向帯域制限フィルタ145に所定のコマンドを供給するようになされている。
【0122】
(A)垂直または水平方向のエッジ部分
(B)45度以外の角度を有する線、または、エッジ部に隣接した平坦部
【0123】
遅延回路142は、パターン検出回路143のパターン検出処理が終了するまで画像データを保持した後、水平方向帯域制限フィルタ144に出力するようになされている。水平方向帯域制限フィルタ144は、パターン検出回路143からの出力に応じた帯域制限処理をブロックデータに施し、得られたデータを垂直方向帯域制限フィルタ145に出力する。垂直方向帯域制限フィルタ145も同様に、パターン検出回路143からの出力に応じた帯域制限処理をブロックデータに施し、得られたデータをサンプリング回路146に出力する。
【0124】
サンプリング回路146は、図3に黒丸で示す画素だけをサンプリング(抽出)し、積算値算出回路147とクラスコード発生回路148に対して供給するようになされている。積算値算出回路147は、前述の式(3)に基づき、積算値sum(class)を算出するようになされている。クラスコード発生回路148は、サンプリング回路146から供給されたブロックデータの属するクラスコードを生成して、メモリ149,151に対してアドレスデータとして供給するようになされている。
【0125】
メモリ149は、累積度を格納するようになされている。即ち、クラスコード発生回路148から供給されたクラスコードに対応するアドレスに格納されているデータが読み出されて加算回路150に供給され、そこで1だけインクリメントされて元のアドレスに再度格納されるようになされている。加算回路150は、メモリ150から出力されたデータを1だけインクリメントするようになされている。
【0126】
メモリ151は、積算値を格納するようになされている。即ち、クラスコード発生回路148から供給されたクラスコードに対応するアドレスに格納されているデータが読み出されて加算回路152に供給され、そこで積算値算出回路147から新たに供給された積算値が加算され、元のアドレスに再度格納されるようになされている。加算回路152は、前述のように、メモリ151から出力されたデータに対して、積算値算出回路147から新たに出力されたデータを加算するようになされている。
【0127】
割り算回路153は、メモリ149に格納されている積算値を、メモリ151に格納されている累積度で除算した値をROMテーブル103に対して供給するようになされている。ROMテーブル103は、図7に示すように、アップコンバータ61の一部を成している。
【0128】
アドレスカウンタ154は、メモリ149,151に格納されているデータから重心値を算出して、ROMテーブル103に格納する際に、これらのメモリのアドレスを指定するようになされている。
【0129】
次に、以上の実施の形態の動作について説明する。
【0130】
原画像がブロック化回路140に供給されると、ブロック化回路140は、原画像を6×6画素からなるブロックに分割し、ADRC回路141と遅延回路142とに供給する。
【0131】
ADRC回路141は、6×6画素からなるブロックに対して、ADRC処理を施し、得られたデータをパターン検出回路143に供給する。パターン検出回路143は、ADRC回路141からの出力を参照して、対象となるブロックに(A)垂直または水平方向のエッジ、あるいは、(B)45度以外の角度を有する線、または、エッジ部に隣接した平坦部が含まれているか否かを判定する。そして、これらのパターンが検出された場合には、水平方向帯域制限フィルタ144と垂直方向帯域制限フィルタ145に対して検出結果を出力する。
【0132】
水平方向帯域制限フィルタ144および垂直方向帯域制限フィルタ145は、パターン検出回路143により前述の(A)のパターンが検出された場合には、遅延回路142から出力されるブロックデータに対して、10/24の帯域制限を水平方向または垂直方向のそれぞれに施す。また、前述の(B)のパターンが検出された場合は、12/24の帯域制限を水平方向または垂直方向のそれぞれに施す。更に、(A)または(B)の何れのパターンも検出されなかった場合には、11/24の帯域制限を水平方向または垂直方向のそれぞれに施す。
【0133】
水平方向帯域制限フィルタ144および垂直方向帯域制限フィルタ145により帯域制限が施されたブロックデータは、サンプリング回路146に供給され、図3に黒丸で示す画素が抽出されて3×3の画素ブロックが構成され、積算値算出回路147とクラスコード発生回路148に供給される。
【0134】
クラスコード発生回路148は、前述の式(2)により、クラスコードclassを生成し、メモリ149およびメモリ151にアドレスデータとして供給する。メモリ149は、クラスコードに対応するアドレスに格納されている累積度を読み出す。加算回路150は、メモリ149から読み出された値を1だけインクリメントして、元のアドレスに格納する。また、メモリ151は、クラスコードに対応するアドレスから積算値を読み出す。加算回路152は、メモリ151から読み出された値に、積算値算出回路147から出力された積算値sum(class)(式(3)参照)を加算し、得られたデータを元のアドレスに格納する。
【0135】
以上のような動作は、原画像の全てのブロックに対して施され、その結果、所定の原画像に対する累積度と積算値とが算出される。このような処理を、複数の異なる原画像に対して行うことにより、確度の高いデータを生成することが可能となる。
【0136】
以上のように、複数の原画像に対する処理が終了すると、アドレスカウンタ154は、メモリ149,151の最小のアドレス値から最大のアドレス値までの値を1ずつインクリメントしながら順次出力する。その結果、メモリ149からは、そのアドレスデータに対応するclassに属する累積度n(class)が読みだされ、割り算回路153に供給される。また、メモリ151からは、そのアドレスデータに対応するclassに属する積算値sum(class)が読みだされ、割り算回路153に供給される。
【0137】
割り算回路153は、メモリ151から出力された所定のクラスclassに属する積算値sum(class)を、同じクラスに属する累積度n(class)で除算し、得られたデータをROMテーブル103のclassの値に対応するアドレスに格納する。
【0138】
以上の処理により、ROMテーブル103には、複数の原画像から生成された、重心値(式(5)参照)が格納されることになる。
【0139】
以上のような実施の形態により得られた重心値を用いて、アップコンバート処理を実行すると、通常の処理(画像のパターンによらず1/2の帯域制限を施す処理)と比較して、より鮮鋭な画像を得ることが可能となる。
【0140】
なお、以上の実施の形態においては、ADRC回路101により、ブロックデータを圧縮処理した後、このデータをもとに、ブロックデータをクラス分類するようにした。しかしながら、本発明は、このような場合に限定されるものではなく、他の方法(例えば、DCT(ディスクリートコサイン変換)など)により、ブロックデータを圧縮処理するようにしてもよい。また、この圧縮処理は、省略することも可能である。
【0141】
また、以上の実施の形態では、公衆回線を介して圧縮された画像データを伝送するようにしたが、本発明はこのような場合のみに限定されるものではないことは勿論である。
【0143】
【発明の効果】
請求項1に記載の復号化装置および請求項3に記載の復号化方法によれば、符号化処理が施された画像データに対して所定の復号化処理を施し、復号化された画像データをプレビュー画像として出力するとともに、復号化された画像データを、解像度が更に高い画像データにアップコンバートし、アップコンバートされた画像データをアップコンバート画像として出力するようにしたので、符号化処理の途中経過をプレビュー画像として出力することが可能となる。
【0144】
請求項4に記載の送受信装置および請求項7に記載の送受信方法によれば、送信側は、もとの画像データの所定の空間周波数以上の成分を帯域制限し、帯域制限された画像データを所定の割合でサンプリングし、サンプリングされた画像データを複数のブロックに分割し、分割された画像データをブロック毎に符号化し、符号化されるデータを送信し、受信側は、送信されたデータを受信し、受信されたデータに対して所定の復号化処理を施し、復号化された画像データをプレビュー画像として出力するとともに、復号化された画像を解像度が更に高い画像データにアップコンバートし、アップコンバート画像として出力するようにしたので、画像を簡単な演算により圧縮伸長することが可能となるともに、画像をプレビュー画像により確認した後、必要な画像だけをアップコンバートすることが可能となるので、処理スピードを向上させることが可能となる。
【図面の簡単な説明】
【図1】本発明の送受信装置の一実施の形態の構成例を示すブロック図である。
【図2】図1に示すエンコーダ1の詳細な構成の一例を示すブロック図である。
【図3】図2に示すエンコーダ1において実行される処理を説明するための図である。
【図4】図2に示す符号化回路23の詳細な構成の一例を示すブロック図である。
【図5】図1に示すデコーダ4の詳細な構成の一例を示すブロック図である。
【図6】図5に示す適応符号化回路60の詳細な構成の一例を示すブロック図である。
【図7】図5示すアップコンバータ61の詳細な構成の一例を示すブロック図である。
【図8】本発明の第2の実施の形態において実行される処理を説明するための図である。
【図9】本発明の第2の実施の形態のデコーダ4の詳細な構成を示すブロック図である。
【図10】本発明の第2の実施の形態の符号化回路23において実行される処理を説明するフローチャートである。
【図11】本発明の第2の実施の形態において実行される処理を説明するための図である。
【図12】図9に示す復号化回路120において実行される処理の一例を説明するフローチャートである。
【図13】図6に示す補正データテーブル83に格納するデータを生成する回路の構成例を示すブロック図である。
【図14】従来の画像圧縮伸長処理を説明するための図である。
【符号の説明】
20 水平方向帯域制限フィルタ(帯域制限手段), 21 垂直方向帯域制限フィルタ(帯域制限手段), 22 サンプリング回路(サンプリング手段), 23 符号化回路(符号化手段、送信手段), 40 ブロック化回路(分割手段), 60 適応復号化回路(復号手段、第1の出力手段、受信手段),61 アップコンバータ(アップコンバート手段、第2の出力手段), 120 復号化回路(復号化手段), 121 データ補正処理回路(復号化手段、第1の出力手段), 123 アップコンバータ(アップコンバート手段、第2の出力手段)[0001]
BACKGROUND OF THE INVENTION
The present inventionRecoveryEncoding device, decoding method, transmission / reception device, and transmission / reception method, particularly, an encoded image can be displayed as a preview image by a simple processRecoveryThe present invention relates to an encoding device, a decoding method, a transmission / reception device, and a transmission / reception method.
[0002]
[Prior art]
With the spread of the Internet, for example, transmission of images using a public line that is an analog line has become popular.
[0003]
By the way, since such an analog line is originally a line for transmitting sound, it is difficult to say that the transmission speed is sufficient for transmitting an image.
[0004]
Therefore, in order to cover the slow transmission speed of the line, a method is generally used in which image data is compressed and transmitted based on the JPEG standard or the like, and decompressed to the original image data on the receiving side.
[0005]
[Problems to be solved by the invention]
However, when image data is transmitted and received based on such a JPEG standard, a large amount of computation is required for the compression or expansion processing of the image data, and as a result, there is a problem that a long time is required for the processing.
[0006]
Also, in order not to perform the decompression process on the image that the receiving side determines to be unnecessary, for example, data in the middle of the decompression process is displayed as a preview image, and only when the image is necessary, It is conceivable to continue the decompression process. However, in the compression / decompression method based on the JPEG standard, it is difficult to display data in the middle of processing as an image, and there is a problem that it is difficult to select an image by the above method.
[0007]
Therefore, for example, a method of creating a preview image by thinning out pixels from the original image at a predetermined ratio is conceivable. For example, the original image data is subjected to band limitation filter processing by 1/3 in the horizontal and vertical directions, respectively, and then subjected to band limitation, and then the image data is converted into 3 × 3 pixels as shown in FIG. A preview image can be obtained by dividing the block into a plurality of blocks, extracting only the pixel at the center of each block, performing a predetermined compression process and transmitting it, and performing a decompression process on the receiving side.
[0008]
According to such a method, a preview image can be obtained by a simple calculation. Therefore, as described above, it is possible to perform the arithmetic processing only on the necessary image, and as a result, it is possible to improve the information transmission speed.
[0009]
However, such a method has a problem that it is difficult to restore the original image from the preview image because the information amount of the image is reduced to 1/9.
[0010]
Therefore, for example, the original image is subjected to 1/2 band limiting filter processing in the horizontal and vertical directions, and only the center pixel is extracted and transmitted from the 3 × 3 pixel block as described above. It is possible to do.
[0011]
However, according to such processing, it is possible to suppress the reduction in the amount of information of the image as compared with the case described above. However, according to the Nyquist theorem, the aliasing component is mixed into the reproduced image as an error. Therefore, there is a problem that the image is deteriorated.
[0012]
The present invention has been made in view of the above situation, and can sufficiently compress an image with a small amount of calculation and can display the progress of expansion processing as a preview image.InThe purpose is to do.
[0015]
[Means for Solving the Problems]
Claim1The decoding device according to 1 includes a decoding unit that performs a predetermined decoding process on the image data that has been subjected to the encoding process, and a first image that outputs the image data obtained by the decoding unit as a preview image. An output means; an up-conversion means for up-converting the image data obtained by the decoding means into image data having a higher resolution; and a second output for outputting the image data obtained by the up-conversion means as an up-converted image. With meansThe up-conversion means reads the data corresponding to the image pattern of each block obtained by the decoding means from the table, and performs predetermined operations on the read representative values to obtain the data by the decoding means. The image data obtained is up-converted into image data with a high resolution, and the table converts the image data obtained by subjecting the original image data to a band limiting process in accordance with the image pattern. It is generated based on image data generated by sampling at a rateIt is characterized by that.
[0016]
Claim3The decoding method described in 1 is a decoding step for performing a predetermined decoding process on the image data that has been subjected to the encoding process, and a first method for outputting the image data obtained by the decoding step as a preview image. An output step; an up-conversion step for up-converting the image data obtained by the decoding step into image data having a higher resolution; and a second output for outputting the image data obtained by the up-conversion step as an up-converted image. With stepsIn the up-conversion step, the data corresponding to the image pattern of each block obtained by the decoding step is read from the table, and a predetermined calculation is performed on the read representative value. The image data obtained by the processing of the conversion step is up-converted to high-resolution image data, and the table is obtained by subjecting the original image data to band limiting processing according to the image pattern The image data is generated based on the image data generated by sampling at a predetermined rate.It is characterized by that.
[0017]
Claim4The transmission / reception apparatus according to
[0018]
Claim7In the transmission / reception method described in the above, the transmission side limits the component of the original image data having a frequency equal to or higher than a predetermined spatial frequency, and the sampling step samples the image data obtained by the band limitation step at a predetermined ratio. A division step for dividing the image data obtained by the sampling step into a plurality of blocks, a coding step for performing coding for each block of the image data obtained by the division step, and data output from the coding step A receiving step for receiving the data transmitted in the transmitting step, a decoding step for performing a predetermined decoding process on the data received in the receiving step, and a decoding step A first output step for outputting the image data obtained in the conversion step as a preview image. And an up-conversion step for up-converting the image data obtained in the decoding step into image data having a higher resolution, and a second output step for outputting the image data obtained in the up-conversion step as an up-converted image And withIn the up-conversion step, the data corresponding to the image pattern of each block obtained by the decoding step is read from the table, and a predetermined calculation is performed on the read representative value. The image data obtained by the processing of the conversion step is up-converted to high-resolution image data, and the table is obtained by subjecting the original image data to band limiting processing according to the image pattern The image data is generated based on the image data generated by sampling at a predetermined rate.It is characterized by that.
[0021]
Claim1In the decoding device described in (1), the decoding unit performs a predetermined decoding process on the image data on which the encoding process has been performed, and the image data obtained by the decoding unit is output as a preview image for the first output. And the image data obtained by the decoding means is up-converted by the up-conversion means to image data having a higher resolution, and the image data obtained by the up-conversion means is used as the up-converted image as the second output means. Is output. For example, image data encoded based on the ADRC method is decoded by the decoding means, and the first output means outputs as a preview image composed of ¼ pixels of the original image, and the up-conversion means Are up-converted to an image having the same resolution as the original image, and the second output means outputs the image obtained by the up-conversion means as an up-converted image.The up-conversion means reads data corresponding to the image pattern of each block obtained by the decoding means from the table, and performs predetermined operations on the read representative values to obtain the data by the decoding means. The image data obtained is up-converted into image data with a high resolution, and the table converts the image data obtained by subjecting the original image data to a band limiting process in accordance with the image pattern. It is generated based on image data generated by sampling at a rate.
[0022]
Claim3In the decoding method described in 1), a predetermined decoding process is performed on the image data on which the encoding process has been performed, and the first output is performed using the image data obtained by the decoding step as a preview image. And the image data obtained by the decoding step is up-converted into image data having a higher resolution, and the image data obtained by the up-conversion step is used as an up-converted image as a second output step. Is output. For example, image data encoded based on the ADRC method is decoded by the decoding step, and the first output step is output as a preview image including 1/4 pixels of the original image, and the up-conversion step Are up-converted to an image having the same resolution as the original image, and the second output step outputs the image obtained by the up-conversion step as an up-converted image.This up-conversion step process is performed by reading data corresponding to the image pattern of each block obtained by the decoding step process from the table and performing a predetermined operation on the read representative value. The image data obtained by the processing of the conversion step is up-converted to high-resolution image data, and the table is obtained by subjecting the original image data to band limiting processing according to the image pattern The image data is generated based on image data generated by sampling at a predetermined rate.
[0023]
Claim4In the transmitting / receiving apparatus described in the above, the transmitting side restricts the component of the original image data having a predetermined spatial frequency or higher by the band limiting unit, and the sampling unit sets the image data obtained by the band limiting unit at a predetermined rate. The sampling means divides the image data obtained by the sampling means into a plurality of blocks, the encoding means encodes each block of the image data obtained by the dividing means, and the data output from the encoding means The transmission means transmits the data, and the reception side receives the data transmitted by the transmission means. The reception means receives the data, and the decoding means performs a predetermined decoding process on the data received by the reception means. The obtained image data is output as a preview image by the first output means, and the image data obtained by the decoding means is converted into image data having a higher resolution. Ppukonbato means up-converts the second output means outputs the image data obtained by up-converting means as an up-converted image. For example, on the transmission side, the band limiting unit limits the frequency component to ½ in the horizontal and vertical directions of the original image, and the dividing unit divides the obtained image into blocks of 3 × 3 pixels, The encoding unit encodes each block composed of 3 × 3 pixels divided by the dividing unit based on the ADRC method, and the transmission unit transmits the obtained data. On the receiving side, the receiving means receives the image data encoded based on the ADRC method, and the decoding means decodes the image data received by the receiving means, and consists of 1/4 pixels of the original image. The first output means outputs as a preview image, the up-convert means up-converts the image to the same resolution as the original image, and the second output means up-converts the image obtained by the up-convert means. Output as an image.The up-conversion means reads data corresponding to the image pattern of each block obtained by the decoding means from the table, and performs predetermined operations on the read representative values to obtain the data by the decoding means. The image data obtained is up-converted into image data with a high resolution, and the table converts the image data obtained by subjecting the original image data to a band limiting process in accordance with the image pattern. It is generated based on image data generated by sampling at a rate.
[0024]
Claim7In the transmission / reception method described in the above, the transmission side limits the component of the original image data having a predetermined spatial frequency or higher by the band limiting step, and the image data obtained by the band limiting step is sampled at a predetermined rate. The sampling step divides the image data obtained by the sampling step into a plurality of blocks, the encoding step encodes each block of the image data obtained by the division step, and the data output from the encoding step is The transmission step transmits, and the reception side receives the data transmitted by the transmission step, the reception step receives the data, and the decoding step performs a predetermined decoding process on the data received by the reception step. The obtained image data is output as a preview image by the first output step and decoded. The image data obtained by the step, resolution up-conversion step to a higher image data is up-converted, the second output step outputs the image data obtained by up-converting step as the up-converted image. For example, on the transmission side, the band limiting step limits the frequency component to ½ in the horizontal and vertical directions of the original image, and the dividing step divides the obtained image into blocks of 3 × 3 pixels, The encoding step encodes each block composed of 3 × 3 pixels divided by the division step based on the ADRC method, and the transmission step transmits the obtained data. On the receiving side, the reception step receives image data encoded based on the ADRC method, and the decoding step decodes the image data received by the reception step, and consists of 1/4 pixels of the original image. The first output step is output as a preview image, the up-conversion step up-converts the image to the same resolution as the original image, and the second output step converts the image obtained by the up-conversion step. Output as an image.This up-conversion step process is performed by reading data corresponding to the image pattern of each block obtained by the decoding step process from the table and performing a predetermined operation on the read representative value. The image data obtained by the processing of the conversion step is up-converted to high-resolution image data, and the table is obtained by subjecting the original image data to band limiting processing according to the image pattern The image data is generated based on image data generated by sampling at a predetermined rate.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a block diagram showing a configuration example of an embodiment of a transmission / reception apparatus of the present invention. In this figure, an
[0026]
The
[0027]
The switch 5 is controlled by a control unit (not shown), and when image data is received, first, a preview image is selected and output to the
[0028]
FIG. 2 is a block diagram showing an example of a detailed configuration of the
[0029]
The sampling circuit 22 (sampling means) samples (extracts) only the pixels indicated by the black circles in FIG. 3 from the image data band-limited by the horizontal band-limiting
[0030]
The encoding circuit 23 (encoding means, transmission means) performs a compression process described later on the pixels sampled by the
[0031]
FIG. 4 is a block diagram illustrating a detailed configuration example of the
[0032]
The maximum value detection circuit (MAX DET) 41 is configured to detect the maximum value of the pixels included in each block output from the blocking circuit 40 (dividing means). The minimum value detection circuit (MIN DET) 42 detects the minimum value of the pixels included in each block output from the blocking
[0033]
The delay circuit (DL) 43 temporarily holds the output data of the blocking
[0034]
The
[0035]
The
[0036]
The
[0037]
The framing
[0038]
FIG. 5 is a block diagram showing a configuration example of the
[0039]
FIG. 6 is a block diagram showing a configuration example of the
[0040]
The correction data table 83 converts the quantized data output from the data conversion circuit 82 into an optimal correction value and outputs it. That is, the correction data table 83 stores correction values obtained by learning, and outputs correction values corresponding to the supplied quantized data.
[0041]
The correction
[0042]
The
[0043]
FIG. 7 is a block diagram showing an example of a detailed configuration of the up-
[0044]
Based on the pattern information output from the
[0045]
The
[0046]
Next, the operation of the above embodiment will be described.
[0047]
The original image input to the
[0048]
The data input to the
[0049]
The maximum value detection circuit 41 detects the maximum pixel value from the pixels included in the block output from the blocking
[0050]
The delay circuit 43 holds the data output from the blocking
[0051]
The
[0052]
The subtracting
[0053]
The
[0054]
The framing
[0055]
Data output from the framing
[0056]
On the receiving side, the data transmitted via the public line is received by the
[0057]
The data supplied to the
[0058]
Now, assuming that the pixel of interest is the pixel e shown in FIG. 3, the memory 81 includes pixels a, b, c, d, f, g, h, i as peripheral pixels together with the pixel value of the pixel of interest pixel e. The value is output to the data conversion circuit 82.
[0059]
When the value of the data output from the memory 81 deviates from the predetermined range, the data conversion circuit 82 performs a shift process on the data of the block including the data and executes the shift process However, when all the data included in the block does not fall within the predetermined range, clipping processing is executed, and the obtained data is supplied to the correction data table as an address value.
[0060]
That is, in the case of a 4-bit fixed length ADRC, the value of the quantized data DT that appears is limited to a range of 0 to 15. Therefore, the correction data table 83 is configured to correspond only to
[0061]
The correction data table 83 outputs the peripheral pixel value supplied from the data conversion circuit 82 as an address value and the correction data stored at the address as the correction value of the target pixel. This correctiondataIn the table 83, when the surrounding pixels have a predetermined pattern, the value of the target pixel that appears with the highest frequency is calculated and stored by statistical processing. Such statistical processing is performed on a standard image signal, and the obtained data is stored in the correction data table 83.
[0062]
The data output from the correction data table 83 is supplied to the correction
[0063]
The
[0064]
L = [F × Δ + MIN + 0.5] (1)
[0065]
The image data obtained as described above is shown in FIG. 1 as a preview image (an image composed of pixels indicated by black circles in FIG. 3) having a 1/4 information amount of the original image (original image). Is output to the switch 5 shown. When the switch 5 selects the preview image side, this preview image is supplied to the
[0066]
This preview image is also supplied to the up-
[0067]
The class
[0068]
[Expression 1]
[0069]
Here, qi (i = 0, 1,..., 8) corresponds to one block of data (for example, the values of pixels a to i) output from the
[0070]
Consider a case where pixels A to I are generated by up-converting pixels a to i shown in FIG. For example, when generating the pixel A, the compressed values of the pixels a to i output from the
[0071]
Note that the data stored in the ROM table 103 is subjected to statistical processing on a plurality of original images, and the standard value (centroid value) of each class is obtained by the following equation, for example. Here, X is the pixel value of the pixel of interest among the pixels A to I, and base is the pixel A to I closest to the pixel of interest or the minimum level of the pixels a to i in the block Value, or an arithmetic average or a weighted average value of pixels a to i.
[0072]
sum (class) = (X-base) / DR (3)
n (class) = n (class) +1 (4)
[0073]
When the above operation is performed on a plurality of original images and attention is paid to a predetermined pixel (for example, any one of the pixels A to H), an integrated value sum (class) of pixels belonging to a predetermined class class and Then, the cumulative degree n (class) is obtained. Then, by applying the obtained value to the following equation, the center-of-gravity value g (class) of the pixel value belonging to the predetermined class is obtained.
[0074]
g (class) = sum (class) / n (class) (5)
[0075]
The center-of-gravity value g (class) obtained as described above indicates how far the pixel level of the original image is located at an average distance from the base. Such centroid value g (class) is sequentially stored in the address corresponding to the value of class in the ROM table 103.
[0076]
Returning to FIG. 7, the ROM table 103 reads the centroid value g from the address corresponding to the class code supplied from the class
[0077]
X ′ = DR · g (class) + base (6)
[0078]
The up-converted image obtained as described above is supplied to the switch 5 shown in FIG. When the switch 5 is connected to the up-converted image side, the up-converted image output from the
[0079]
According to the embodiment described above, on the transmission side, after the pixels of the original image are thinned to ¼, image compression based on the ADRC method is performed for transmission, and on the reception side, the received image data is processed. Apply the adaptive encoding process, output the obtained image as a preview image, and perform an up-conversion process on the preview image to generate and display an up-convert image having the same resolution as the original image Therefore, the image can be compressed by a simple calculation, and the progress of the expansion process can be displayed as a preview image, so that the image can be transmitted and received quickly.
[0080]
Next, a second embodiment of the present invention will be described.
[0081]
The schematic configuration of the second embodiment is the same as that shown in FIG. 1, and the
[0082]
In the second embodiment, the horizontal
[0083]
The
[0084]
FIG. 9 is a block diagram illustrating an example of a detailed configuration of the
[0085]
Next, the operation of the above embodiment will be described.
[0086]
FIG. 10 is a flowchart for explaining an example of processing executed by the
[0087]
When the process shown in FIG. 10 is executed, in step S1, the
[0088]
In step S4, it is determined whether or not a value obtained by subtracting the variable min from the variable max (= max−min) is smaller than a predetermined value. That is, it is determined whether or not the dynamic range of the block to be processed is smaller than a predetermined value. As a result, when it is determined that the dynamic range is larger than the predetermined value (NO), the process proceeds to step S6, and when it is determined that the dynamic range is smaller than the predetermined value (YES), step S4. Proceed to
[0089]
In step S4, the
[0090]
If it is determined as NO in step S3, the process proceeds to step S6. In step S6, whether or not the absolute value of the difference between the pixel values of the pixel a and the pixel b is smaller than a predetermined value and the absolute value of the difference between the pixel values of the pixel c and the pixel d is smaller than a predetermined value. Is determined. That is, it is determined whether or not the absolute value of the horizontal difference between the pixels is smaller than a predetermined value. As a result, the absolute value of the difference between the pixel values of the pixel a and the pixel b is larger than a predetermined value, or the absolute value of the difference between the pixel values of the pixel c and the pixel d is larger than a predetermined value (NO). If it is determined that the absolute value of the difference between the pixel values of the pixel a and the pixel b is smaller than a predetermined value and the difference between the pixel values of the pixel c and the pixel d is absolute. If it is determined that the value is smaller than the predetermined value (YES), the process proceeds to step S7.
[0091]
In step S7, the
[0092]
If it is determined as NO in step S6, the process proceeds to step S9. In step S9, whether or not the absolute value of the difference between the pixel values of the pixel a and the pixel c is smaller than a predetermined value and the absolute value of the difference between the pixel values of the pixel b and the pixel d is smaller than a predetermined value. Is determined. That is, it is determined whether or not the absolute value of the pixel vertical difference is smaller than a predetermined value. As a result, the absolute value of the difference between the pixel values of the pixel a and the pixel c is larger than a predetermined value, or the absolute value of the difference between the pixel values of the pixel b and the pixel d is larger than a predetermined value (NO). If it is determined, the process proceeds to step S12, and the absolute value of the difference between the pixel values of the pixels a and c is smaller than a predetermined value, and the absolute value of the difference between the pixel values of the pixels b and d is absolute. If it is determined that the value is smaller than the predetermined value (YES), the process proceeds to step S10.
[0093]
In step S10, the
[0094]
If it is determined as NO in step S9, the process proceeds to step S12, and the
[0095]
The values of the variable f and the variable x obtained by such processing are added to the synchronization signal, the ID signal, and the error correction parity for each data block to form a sync block, which is supplied to the
[0096]
According to the above processing, the following encoding processing is executed as a result.
[0097]
(A) When the pixel values of the pixels a to d of each pixel block are within a predetermined range, only the average value of these pixels is transmitted.
(B) When the above-mentioned condition (A) is not satisfied and the absolute values of the differences between the pixels consecutive in the horizontal direction are within a predetermined range, the average value of the pixels a and b is , Two values of the average value of the pixels c and d are transmitted.
(C) When the above condition (A) is not satisfied and the absolute value of the difference between pixels that are consecutive in the vertical direction is within a predetermined range, the average value of the pixels a and c is , Two values of the average value of the pixels b and d are transmitted.
(D) When not satisfying all the conditions (A) to (C) described above, all the pixel values of the pixels a to d are transmitted.
[0098]
The compressed image data is supplied to the
[0099]
The data supplied to the
[0100]
That is, when the process shown in FIG. 12 is executed, the
[0101]
When it is determined NO in step S30, the process proceeds to step S32, and it is determined whether or not the value of the variable f is 1. As a result, when it is determined that the value of the variable f is not 1 (NO), the process proceeds to step S34, and when it is determined that the value of the variable f is 1 (YES), the process proceeds to step S33. Proceed to
[0102]
In step S33, the value of the upper 8 bits of the variable x is assigned to the pixels a and b, respectively, and the value of the lower 8 bits of the variable x is assigned to the pixels c and d, respectively. ).
[0103]
If it is determined as NO in step S32, the process proceeds to step S34, and it is determined whether or not the value of the variable f is 2. As a result, when it is determined that the value of the variable f is not 2 (NO), the process proceeds to step S36, and when it is determined that the value of the variable f is 2 (YES), the process proceeds to step S35. Proceed to
[0104]
In step S35, the upper 8 bits of the variable x are assigned to the pixels a and c, respectively, and the lower 8 bits of the variable x are assigned to the pixels b and d, respectively, and then the process ends (END).
[0105]
If it is determined as NO in step S34, the process proceeds to step S36, and it is determined whether or not the value of the variable f is 3. As a result, if it is determined that the value of the variable f is not 3 (NO), the process ends (end), and if the value of the variable f is determined to be 3 (YES), Proceed to step S37.
[0106]
In step S37, the upper 8 bits of the variable x are the pixel a, the 23rd to 16th bits of the variable x are the pixel b, the 15th to 8th bits of the variable x are the pixel c, and the lower order of the variable x After 8 bits are assigned to each pixel d, the processing ends (END).
[0107]
The above processing is repeated for each block, and the pixel values of the pixels indicated by black circles in FIG. 11 are decoded and supplied to the data
[0108]
The data
[0109]
Since the data stored in the correction data table can be generated by the same processing as the data stored in the correction data table 83 of the first embodiment, description thereof is omitted.
[0110]
In the above correction process, the four pixels a to d are processed as one block. However, as in the first embodiment, the correction process is executed with 3 × 3 pixels as one block. Of course, you may do it.
[0111]
The image data obtained by the above processing is supplied to the switch 5 as a preview image. When the switch 5 is connected to the preview image side, the preview image is displayed on the
[0112]
The preview image output from the
[0113]
The up-
[0114]
The image data output from the up-
[0115]
According to the above embodiment, on the transmission side, the original image is thinned out to 1/6, and then decomposed into blocks each composed of 2 × 2 pixels, and data is obtained according to the distribution of pixel levels in each block. The data is encoded and transmitted. On the receiving side, the pixels of each block are decoded, and then data correction processing is performed. The obtained correction data is output as a preview image, and the image is further up-converted. Since it is output as an up-converted image, it is possible to greatly compress the image by a simple process, and it is possible to refer to data in the middle of the expansion process as a preview image, which is unnecessary. It is possible to omit the decompression process for the image, and as a result, it is possible to improve the transmission speed of the image data. In addition, since image data often includes portions of the same color, horizontal or vertical line segments, etc., the above encoding process enables efficient image encoding. .
[0116]
By the way, when obtaining the data (centroid value) stored in the correction data table 83 in the first embodiment, the following procedure is often used. That is, first, a half-band filtering process is applied to the learning original image (standard image) in the horizontal direction and the vertical direction, respectively. Then, pixels are thinned out at a ratio of 1/2 in the horizontal direction and the vertical direction from the band-limited image, and pixels indicated by black circles in FIG. 3 are extracted. Then, based on the image extracted in this way, a standard value (centroid value) of the target pixel for each class is calculated by statistical processing.
[0117]
As described above, normally, the centroid value is calculated using the image obtained by performing the band limiting filtering process according to the pixel decimation rate, but the band-limited value of the band limiting filter is obtained by setting a lower band. In many cases, a visually sharp image can be obtained by using the obtained barycentric value.
[0118]
However, when the limit band is set to a lower value, a portion that is not effective is generated depending on the pattern included in the image. Therefore, a sharper image can be obtained by appropriately changing the band limitation of the band limitation filter according to the block pattern included in the image.
[0119]
FIG. 13 is a block diagram illustrating a configuration example of a centroid value calculation circuit that calculates the centroid value by the method as described above.
[0120]
In this figure, the blocking
[0121]
The
[0122]
(A) Vertical or horizontal edge portion
(B) A line having an angle other than 45 degrees or a flat part adjacent to the edge part
[0123]
The
[0124]
The
[0125]
The
[0126]
The
[0127]
The
[0128]
The
[0129]
Next, the operation of the above embodiment will be described.
[0130]
When the original image is supplied to the
[0131]
The
[0132]
When the
[0133]
The block data subjected to band limitation by the horizontal
[0134]
The class
[0135]
The above operation is performed on all blocks of the original image, and as a result, the cumulative degree and integrated value for a predetermined original image are calculated. By performing such processing on a plurality of different original images, it is possible to generate highly accurate data.
[0136]
As described above, when the processing for a plurality of original images is completed, the
[0137]
The dividing
[0138]
Through the above processing, the centroid value (see Expression (5)) generated from a plurality of original images is stored in the ROM table 103.
[0139]
When the up-conversion processing is executed using the centroid value obtained by the embodiment as described above, the up-conversion processing is more effective than the normal processing (processing that limits the bandwidth by 1/2 regardless of the image pattern). A sharp image can be obtained.
[0140]
In the above embodiment, after the block data is compressed by the
[0141]
In the above embodiment, compressed image data is transmitted via a public line, but the present invention is not limited to such a case.
[0143]
【The invention's effect】
Claim1Decoding device according to claim and claim3Described inDecryptionAccording to the method, the image data that has been subjected to the encoding process is subjected to a predetermined decoding process, the decoded image data is output as a preview image, and the decoded image data is further reduced in resolution. Since up-conversion to high image data is performed and the up-converted image data is output as an up-converted image, it is possible to output the progress of the encoding process as a preview image.
[0144]
Claim4Transmitter / receiver device and claim7According to the transmission / reception method described in the above, the transmission side performs band limitation on a component of the original image data that is equal to or higher than a predetermined spatial frequency, samples the band limited image data at a predetermined ratio, Is divided into a plurality of blocks, the divided image data is encoded for each block, the encoded data is transmitted, and the receiving side receives the transmitted data and performs a predetermined process on the received data. The decoding process is performed, and the decoded image data is output as a preview image, and the decoded image is up-converted into image data having a higher resolution and output as an up-converted image. It is possible to compress / decompress with simple operations, and after confirming the image with the preview image, up-convert only the necessary image. Since Rukoto becomes possible, it becomes possible to improve the processing speed.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a transmission / reception apparatus according to the present invention.
FIG. 2 is a block diagram showing an example of a detailed configuration of an
FIG. 3 is a diagram for explaining processing executed in an
4 is a block diagram showing an example of a detailed configuration of an
5 is a block diagram showing an example of a detailed configuration of a
6 is a block diagram showing an example of a detailed configuration of an
7 is a block diagram showing an example of a detailed configuration of an up-
FIG. 8 is a diagram for explaining processing executed in the second embodiment of this invention;
FIG. 9 is a block diagram showing a detailed configuration of a
FIG. 10 is a flowchart illustrating processing executed in an
FIG. 11 is a diagram for explaining processing executed in the second embodiment of this invention;
12 is a flowchart for explaining an example of processing executed in the
13 is a block diagram illustrating a configuration example of a circuit that generates data to be stored in the correction data table 83 illustrated in FIG. 6;
FIG. 14 is a diagram for explaining a conventional image compression / decompression process;
[Explanation of symbols]
20 horizontal band limiting filter (band limiting unit), 21 vertical band limiting filter (band limiting unit), 22 sampling circuit (sampling unit), 23 encoding circuit (encoding unit, transmission unit), 40 blocking circuit ( Dividing means), 60 adaptive decoding circuit (decoding means, first output means, receiving means), 61 upconverter (upconverting means, second output means), 120 decoding circuit (decoding means), 121 data Correction processing circuit (decoding means, first output means), 123 up-converter (up-conversion means, second output means)
Claims (7)
前記符号化処理が施された画像データに対して所定の復号化処理を施す復号化手段と、
前記復号化手段により得られた画像データをプレビュー画像として出力する第1の出力手段と、
前記復号化手段により得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバート手段と、
前記アップコンバート手段により得られた画像データをアップコンバート画像として出力する第2の出力手段と
を備え、
前記アップコンバート手段は、前記復号化手段により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、前記復号化手段により得られた画像データを前記解像度が高い画像データにアップコンバートし、
前記テーブルは、もととなる画像データに対して、前記画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである
ことを特徴とする復号化装置。In a decoding device that outputs information obtained by performing information expansion processing on image data that has been subjected to encoding processing after being divided into a plurality of blocks,
Decoding means for performing a predetermined decoding process on the image data subjected to the encoding process;
First output means for outputting the image data obtained by the decoding means as a preview image;
Up-conversion means for up-converting the image data obtained by the decoding means into image data having a higher resolution;
Second output means for outputting the image data obtained by the up-conversion means as an up-converted image ,
The up-conversion means reads out data corresponding to the image pattern of each block obtained by the decoding means from the table, and performs a predetermined operation on the read representative value, whereby the decoding means Up-convert the image data obtained by the above to image data with a high resolution,
The table is based on image data generated by sampling a predetermined ratio of image data obtained by subjecting the original image data to bandwidth limitation processing according to the image pattern. Is generated
Decoding device, characterized in that.
ことを特徴とする請求項1に記載の復号化装置。The decoding apparatus according to claim 1 , wherein the decoding unit performs an adaptive decoding process in which data corresponding to an image pattern of the block is read from a table and output.
前記符号化処理が施された画像データに対して所定の復号化処理を施す復号化ステップと、
前記復号化ステップにより得られた画像データをプレビュー画像として出力する第1の出力ステップと、
前記復号化ステップにより得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバートステップと、
前記アップコンバートステップにより得られた画像データをアップコンバート画像として出力する第2の出力ステップと
を備え、
前記アップコンバートステップの処理は、前記復号化ステップの処理により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、前記復号化ステップの処理により得られた画像データを前記解像度が高い画像データにアップコンバートし、
前記テーブルは、もととなる画像データに対して、前記画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである
ことを特徴とする復号化方法。In a decoding method for performing image decompression on image data that has been subjected to encoding processing after being divided into a plurality of blocks and outputting the obtained image data,
A decoding step of performing a predetermined decoding process on the image data subjected to the encoding process;
A first output step of outputting the image data obtained by the decoding step as a preview image;
An up-conversion step of up-converting the image data obtained by the decoding step into image data having a higher resolution;
A second output step of outputting the image data obtained by the up-conversion step as an up-conversion image ,
The processing of the up-conversion step reads data corresponding to the image pattern of each block obtained by the processing of the decoding step from the table, and performs a predetermined calculation on the read representative value, Up-converting the image data obtained by the process of the decoding step into the image data having a high resolution,
The table is based on image data generated by sampling a predetermined ratio of image data obtained by subjecting the original image data to bandwidth limitation processing according to the image pattern. A decoding method, characterized in that the decoding method is generated .
前記送信側は、
前記もとの画像データの所定の空間周波数以上の成分を制限する帯域制限手段と、
前記帯域制限手段により得られた画像データを所定の割合でサンプリングするサンプリング手段と、
前記サンプリング手段により得られた画像データを複数のブロックに分割する分割手段と、
前記分割手段により得られた画像データのブロック毎に符号化を行う符号化手段と、
前記符号化手段から出力されるデータを送信する送信手段とを備え、
前記受信側は、
前記送信手段により送信された前記データを受信する受信手段と、
前記受信手段により受信された前記データに対して所定の復号化処理を施す復号化手段と、
前記復号化手段により得られた画像データをプレビュー画像として出力する第1の出力手段と、
前記復号化手段により得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバート手段と、
前記アップコンバート手段により得られた画像データをアップコンバート画像として出力する第2の出力手段とを備え、
前記アップコンバート手段は、前記復号化手段により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表値に対して所定の演算を施すことにより、前記復号化手段により得られた画像データを前記解像度が高い画像データにアップコンバートし、
前記テーブルは、もととなる画像データに対して、前記画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである
ことを特徴とする送受信装置。The transmission side transmits image data obtained by performing information compression processing on the original image data, and the reception side is obtained by performing information decompression processing on the transmitted image data. In the transmission / reception device that outputs the received image data,
The sender side
Band limiting means for limiting a component of the original image data having a predetermined spatial frequency or higher;
Sampling means for sampling the image data obtained by the band limiting means at a predetermined rate;
Dividing means for dividing the image data obtained by the sampling means into a plurality of blocks;
Encoding means for performing encoding for each block of image data obtained by the dividing means;
Transmission means for transmitting data output from the encoding means,
The receiving side
Receiving means for receiving the data transmitted by the transmitting means;
Decoding means for performing a predetermined decoding process on the data received by the receiving means;
First output means for outputting the image data obtained by the decoding means as a preview image;
Up-conversion means for up-converting the image data obtained by the decoding means into image data having a higher resolution;
Second output means for outputting the image data obtained by the up-conversion means as an up-converted image ,
The up-conversion means reads out data corresponding to the image pattern of each block obtained by the decoding means from the table, and performs a predetermined operation on the read representative value, whereby the decoding means Up-convert the image data obtained by the above to image data with a high resolution,
The table is based on image data generated by sampling a predetermined ratio of image data obtained by subjecting the original image data to bandwidth limitation processing according to the image pattern. A transmission / reception apparatus characterized in that the transmission / reception apparatus is generated .
ことを特徴とする請求項4に記載の送受信装置。The transmission / reception apparatus according to claim 4 , wherein the encoding unit encodes the image data based on an ADRC method.
ことを特徴とする請求項4に記載の送受信装置。The transmitting / receiving apparatus according to claim 4 , wherein the encoding unit encodes the image data based on a variable density pixel transmission method.
前記送信側は、
前記もとの画像データの所定の空間周波数以上の成分を制限する帯域制限ステップと、
前記帯域制限ステップにより得られた画像データを所定の割合でサンプリングするサンプリングステップと、
前記サンプリングステップにより得られた画像データを複数のブロックに分割する分割ステップと、
前記分割ステップにより得られた画像データのブロック毎に符号化を行う符号化ステップと、
前記符号化ステップから出力されるデータを送信する送信ステップとを備え、
前記受信側は、
前記送信ステップにより送信された前記データを受信する受信ステップと、
前記受信ステップにより受信された前記データに対して所定の復号化処理を施す復号化ステップと、
前記復号化ステップにより得られた画像データをプレビュー画像として出力する第1の出力ステップと、
前記復号化ステップにより得られた画像データを、解像度が更に高い画像データにアップコンバートするアップコンバートステップと、
前記アップコンバートステップにより得られた画像データをアップコンバート画像として出力する第2の出力ステップとを備え、
前記アップコンバートステップの処理は、前記復号化ステップの処理により得られた各ブロックの画像のパターンに対応するデータをテーブルより読み出し、読み出された代表 値に対して所定の演算を施すことにより、前記復号化ステップの処理により得られた画像データを前記解像度が高い画像データにアップコンバートし、
前記テーブルは、もととなる画像データに対して、前記画像のパターンに応じた帯域制限処理を施すことにより得られた画像データを、所定の割合でサンプリングすることにより生成された画像データを元に生成されたものである
ことを特徴とする送受信方法。The transmission side transmits image data obtained by performing information compression processing on the original image data, and the reception side is obtained by performing information decompression processing on the transmitted image data. In the transmission / reception method for outputting the received image data,
The sender side
A band limiting step for limiting a component of the original image data at a predetermined spatial frequency or higher;
A sampling step of sampling the image data obtained by the band limiting step at a predetermined rate;
A dividing step of dividing the image data obtained by the sampling step into a plurality of blocks;
An encoding step for performing encoding for each block of image data obtained by the dividing step;
A transmission step of transmitting data output from the encoding step,
The receiving side
A receiving step of receiving the data transmitted by the transmitting step;
A decoding step of performing a predetermined decoding process on the data received by the receiving step;
A first output step of outputting the image data obtained by the decoding step as a preview image;
An up-conversion step of up-converting the image data obtained by the decoding step into image data having a higher resolution;
A second output step of outputting the image data obtained by the up-conversion step as an up-conversion image ,
The processing of the up-conversion step reads data corresponding to the image pattern of each block obtained by the processing of the decoding step from the table, and performs a predetermined calculation on the read representative value, Up-converting the image data obtained by the process of the decoding step into the image data having a high resolution,
The table is based on image data generated by sampling a predetermined ratio of image data obtained by subjecting the original image data to bandwidth limitation processing according to the image pattern. transmission and reception method which is characterized in that which has been generated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27248597A JP3859099B2 (en) | 1997-10-06 | 1997-10-06 | Decoding device, decoding method, transmission / reception device, and transmission / reception method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27248597A JP3859099B2 (en) | 1997-10-06 | 1997-10-06 | Decoding device, decoding method, transmission / reception device, and transmission / reception method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11112975A JPH11112975A (en) | 1999-04-23 |
JP3859099B2 true JP3859099B2 (en) | 2006-12-20 |
Family
ID=17514587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27248597A Expired - Fee Related JP3859099B2 (en) | 1997-10-06 | 1997-10-06 | Decoding device, decoding method, transmission / reception device, and transmission / reception method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3859099B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108762099B (en) * | 2018-09-07 | 2021-07-23 | 南方电网电力科技股份有限公司 | Active disturbance rejection control method and active disturbance rejection controller |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04181820A (en) * | 1990-11-15 | 1992-06-29 | Matsushita Electric Ind Co Ltd | Coder |
JPH05219387A (en) * | 1992-02-03 | 1993-08-27 | Fuji Photo Film Co Ltd | Recording method and reproduction method for picture data |
JP3590996B2 (en) * | 1993-09-30 | 2004-11-17 | ソニー株式会社 | Hierarchical encoding and decoding apparatus for digital image signal |
JP3470403B2 (en) * | 1994-08-01 | 2003-11-25 | ソニー株式会社 | Digital image signal processing unit |
-
1997
- 1997-10-06 JP JP27248597A patent/JP3859099B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11112975A (en) | 1999-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2629238B2 (en) | Decoding device and decoding method | |
KR100499135B1 (en) | Encoding/decoding method and apparatus for orientation interpolator | |
US5574449A (en) | Signal processing with hybrid variable-length and entropy encodidng | |
EP0482180A1 (en) | Block adaptive linear predictive coding with adaptive gain and bias. | |
JP2001268565A (en) | Image encoding device and image decoding device | |
JP2008510349A (en) | System and method for compressing mixed graphic and video sources | |
JP2002238054A (en) | Image-coding decoding method, image coder and image decoder | |
JP4083934B2 (en) | Image processing apparatus and image processing method | |
GB2563413A (en) | Processing display data | |
US5136618A (en) | Method and apparatus for bandwidth reduction of modulated signals | |
US6701019B1 (en) | Determining visually noticeable differences between two images | |
US6529086B2 (en) | Encoding/decoding apparatus for orientation interpolator node data | |
JP3859099B2 (en) | Decoding device, decoding method, transmission / reception device, and transmission / reception method | |
JP2002190956A (en) | Image encoding equipment and image decoding equipment | |
US7450769B2 (en) | Image processing method for facilitating data transmission | |
WO1988010544A1 (en) | Block adaptive linear predictive coding with adaptive gain and bias | |
US6584225B1 (en) | Frequency domain halftoning | |
KR100612828B1 (en) | Coding apparatus and method for orientation interpolator node | |
JP2002374533A (en) | Image coder, image decoder and method therefor | |
JPH08275153A (en) | Image compressor and image decoder | |
JP3274566B2 (en) | Image coding device | |
JP3261200B2 (en) | Image compression encoding apparatus and method, and image decompression decoding apparatus and method | |
JP2698641B2 (en) | Color image data encoding method and decoding method | |
JP3375080B2 (en) | Image compression method | |
JP2584854B2 (en) | Image coding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060914 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090929 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100929 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110929 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120929 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130929 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |