JP4103059B2 - 画像変換装置および方法、並びに記録媒体 - Google Patents

画像変換装置および方法、並びに記録媒体 Download PDF

Info

Publication number
JP4103059B2
JP4103059B2 JP24277598A JP24277598A JP4103059B2 JP 4103059 B2 JP4103059 B2 JP 4103059B2 JP 24277598 A JP24277598 A JP 24277598A JP 24277598 A JP24277598 A JP 24277598A JP 4103059 B2 JP4103059 B2 JP 4103059B2
Authority
JP
Japan
Prior art keywords
image
pixels
pixel
prediction coefficient
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24277598A
Other languages
English (en)
Other versions
JP2000078537A (ja
Inventor
哲二郎 近藤
小林  直樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP24277598A priority Critical patent/JP4103059B2/ja
Publication of JP2000078537A publication Critical patent/JP2000078537A/ja
Application granted granted Critical
Publication of JP4103059B2 publication Critical patent/JP4103059B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、原画像とほぼ同一の画像を復元できる圧縮画像を生成する画像変換装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
従来から、低解像度の画像を用いて、高解像度の画像を創造することができるようにする技術が提案されており、例えば、高解像度の原画像を圧縮した(符号化した)低解像度画像から原画像とほぼ同一の高解像度画像を復号することができる。この提案においては、創造する高解像度画像の画素データの近傍に位置する低解像度画像の画素データの所定の特徴を検出し、その特徴を用いてクラス分類を行い、それぞれのクラス毎に、予測係数値を学習させておき、画像静止部においては、フレーム内相関を利用し、動き部においては、フィールド内相関を利用して、より真値に近い高解像度画像の画素データを得るようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、実際に低解像度画像の特徴量から適切なクラス分類を効率的に行うことは困難であり、したがって、低解像度画像から原画像とほぼ同一の高解像度画像を得ることが困難である課題があった。
【0004】
本発明はこのような状況に鑑みてなされたものであり、効率的なクラス分類を行うことにより、原画像とほぼ同一の高解像度画像を得ることができる低解像度画像を生成できるようにするとともに、生成した低解像度画像から原画像とほぼ同一の高解像度画像を得ることができるようにするものである。
【0005】
【課題を解決するための手段】
本発明の第1の画像変換装置は、原画像を複数の画素からなるブロックに分割し、ブロック毎に複数の画素の画素値の平均値を算出し、算出した平均値を画素値とする上位画像の1個の画素を生成する生成手段と、生成された上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取手段と、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生手段と、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出手段と、予測係数と予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算手段と、下位画像と原画像とのS/N(signal/noise)比を算出する算出手段と、算出されたS/N比が所定の閾値より小さい場合、上位画像の注目画素の画素値を1ずつインクリメントすることにより更新する更新手段とを備えることを特徴とする。
【0006】
本発明の第1の画像変換方法は、原画像を複数の画素からなるブロックに分割し、ブロック毎に複数の画素の画素値の平均値を算出し、算出した平均値を画素値とする上位画像の1個の画素を生成する生成ステップと、生成された上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、予測係数と予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップと、下位画像と原画像とのS/N(signal/noise)比を算出する算出ステップと、算出されたS/N比が所定の閾値より小さい場合、上位画像の注目画素の画素値を1ずつインクリメントすることにより更新する更新ステップとを含むことを特徴とする。
【0007】
本発明の第1の記録媒体は、原画像を複数の画素からなるブロックに分割し、ブロック毎に複数の画素の画素値の平均値を算出し、算出した平均値を画素値とする上位画像の1個の画素を生成する生成ステップと、生成された上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、予測係数と予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップと、下位画像と原画像とのS/N(signal/noise)比を算出する算出ステップと、算出されたS/N比が所定の閾値より小さい場合、上位画像の注目画素の画素値を1ずつインクリメントすることにより更新する更新ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする。
【0008】
本発明の第2の画像変換装置は、上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取手段と、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生手段と、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出手段と、予測係数予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算手段とを備えることを特徴とする。
【0009】
本発明の第2の画像変換方法は、上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、予測係数予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップとを含むことを特徴とする。
【0010】
本発明の第2の記録媒体は、上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、予測係数予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップとを含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする
【0011】
本発明の第1の画像変換装置および方法、並びに記録媒体のプログラムにおいては、原画像が複数の画素からなるブロックに分割され、ブロック毎に複数の画素の画素値の平均値が算出され、算出された平均値を画素値とする上位画像の1個の画素が生成される。また、生成された上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットがクラスコードとして読み取られ、クラスコードに対応する予測係数が、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出されることにより発生され、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素が予測タップとして抽出され、予測係数と予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値が演算される。さらに、下位画像と原画像とのS/N(signal/noise)が算出され、算出されたS/N比が所定の閾値より小さい場合、上位画像の注目画素の画素値が1ずつインクリメントされることにより更新される。
【0012】
本発明の第2の画像変換装置および方法、並びに記録媒体のプログラムにおいては、上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットがクラスコードとして読み取られ、クラスコードに対応する予測係数が、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出されることにより発生され、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素が予測タップとして抽出される。さらに、予測係数予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値が演算される。
【0013】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態(但し一例)を付加して本発明の特徴を記述すると、次のようになる。
【0014】
すなわち、請求項1に記載の画像変換装置は、原画像を複数の画素からなるブロックに分割し、ブロック毎に複数の画素の画素値の平均値を算出し、算出した平均値を画素値とする上位画像の1個の画素を生成する生成手段(例えば、図1の初期上位階層画像生成回路1)と、生成された上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取手段(例えば、図1のクラス分類回路3)と、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生手段(例えば、図1の予測係数出力回路4)と、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出手段(例えば、図1の予測タップ抽出回路5)と、予測係数と予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算手段(例えば、図1のマッピング回路6)と、下位画像と原画像とのS/N(signal/noise)比を算出する算出手段(例えば、図1の収束判定回路8)と、算出されたS/N比が所定の閾値より小さい場合、上位画像の注目画素の画素値を1ずつインクリメントすることにより更新する更新手段(例えば、図1の上位階層画像更新回路9)とを備える。
【0015】
求項5に記載の画像変換装置は、上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取手段(例えば、図7のクラス分類回路43)と、クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生手段(例えば、図7のマッピング回路45)と、上位画像を構成する複数の画素のうち、注目画素と注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出手段(例えば、図7の予測タップ取得回路44)と、予測係数予測タップを構成する複数の画素の画素値との線形1次結合演算により、原画像と同じ画素数の下位画像の画素の画素値を演算する演算手段(例えば、図7のマッピング回路45)とを備える
【0016】
但し勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【0017】
本発明を適用したエンコーダの構成について、図1を参照して説明する。初期上位階層画像生成回路1は、入力された原画像を、図2に示すように、3画素×3画素からなるブロックに分割し、各ブロック内の9画素の画素値の平均値をブロックの中心に位置する上位階層画像の画素の画素値として初期上位階層画像を生成して、スイッチ2の接点aに出力するようになされている。したがって、上位階層画像(以下、上位画像と記述する)の縦および横の画素数は、原画像の縦および横の画素数の1/3となる。
【0018】
スイッチ2は、更新回数カウンタ10からの制御信号に基づいて、接点aまたは接点bに切り換えられるようになされている。クラス分類回路3は、図3に示すように、スイッチ2を介して入力される上位画像の所定の着目画素の画素値(8ビット)のうちの下位5ビットを読み出し、その値をクラスを示すクラスコードとして予測係数出力回路4に出力するようになされている。したがって、クラスコードは、5ビットで表現される0乃至31のうちのいずれかの値となる。
【0019】
予測係数出力回路4は、内蔵するメモリに予め記憶されている予測係数テーブルからクラス分類回路3から入力されたクラスコードに対応する予測係数を読み出して、マッピング回路6に出力するようになされている。また、予測係数出力回路4は、記憶している予測係数テーブルを収束判定回路8および上位階層画像更新回路9の予測係数テーブルメモリ24(図4)に出力するようになされている。
【0020】
予測タップ取得回路5は、スイッチ2を介して入力される上位画像から、クラス分類回路3で着目した画素を中心とする5画素×5画素の予測タップを抽出して、マッピング回路6に出力するようになされている。マッピング回路6は、図2に示すように、着目画素とその近傍の下位階層画素a乃至hの画素値として、予測係数出力回路4から入力された予測係数と予測タップ取得回路5から入力された予測タップの画素値との線形1次結合を演算し、収束判定回路8に出力するようになされている。
【0021】
収束判定回路8は、マッピング回路6から入力された下位階層画像(以下、下位画像と記述する)の画素値からなる下位画像と遅延回路7を介して入力された原画像とのS/N比を演算し、そのS/N比が所定の値以上である場合、または更新回数カウンタ10から更新回数が所定の数に達したことを示す信号を受信した場合、予測係数テーブルとともに、対応する上位画像データを最適上位画像データとして後段に出力するようになされている。また、収束判定回路8は、そのS/N比が所定の値以下であれば、上位階層画像更新回路9に上位画像の更新を指令するようになされている。
【0022】
上位階層画像更新回路9は、図1のスイッチ2を介して入力された上位画像の画素値を適切な値に更新するようになされている。上位階層画像更新回路9の詳細な構成について、図4を参照して説明する。上位階層画像データメモリ21は、入力された上位画像を記憶するとともに、スイッチ33を介して入力される画素値を用いて記憶している上位画像の画素値を更新するようになされている。予測タップ取得回路22は、図1の予測タップ取得回路5と同様に、上位階層画像データメモリ21から上位画像の所定の着目画素を中心とする5画素×5画素の予測タップを取得して、着目画素値だけを更新画素値カウンタから入力される値に置き換えてマッピング回路25に出力するようになされている。
【0023】
クラス分類回路23は、図1のクラス分類回路3と同様に、予測タップ取得回路22が取得した予測タップの中心に位置する着目画素の画素値(8ビット)の下位5ビットを読み出し、その値をクラスコードとして予測係数テーブルメモリ24に出力するようになされている。予測係数テーブルメモリ24は、入力されたクラスコードに対応する予測係数をマッピング回路25に出力するようになされている。
【0024】
マッピング回路25は、図1のマッピング回路6と同様に、着目画素を中心とする3画素×3画素の下位画像(予測画像)の画素値として、予測タップ取得回路22から入力された予測タップの画素値と、予測係数テーブルメモリ24から入力された予測係数との線形1次結合を演算し、その値を誤差算出回路26、およびスイッチ28に出力するようになされている。
【0025】
誤差算出回路26は、マッピング回路25から入力された3画素×3画素の予測画像の画素値と、対応する原画像データの画素値とのS/N比を演算し、その結果を比較器27に出力するようになされている。比較器27は、入力された誤差(S/N比)と最小誤差保存用レジスタ29が保存する最小誤差(最大S/N比)とを比較し、誤差算出回路26から入力された誤差が最小誤差保存用レジスタ29が保存する最小誤差よりも小さい場合、スイッチ28,31をオンとする制御信号を出力するようになされている。この制御信号に対応して、スイッチ28がオンとされることにより、最小誤差保存用レジスタ29に保存されている最小誤差が誤差算出回路26からの誤差値で更新され、スイッチ31がオンとされることにより、最適画素値保存用レジスタ32に保存されている最適画素値が、更新画素値カウンタ30からの更新画素値で更新されるようになされている。また、比較器27は、比較判定後、カウンタインクリメント信号を更新画素値カウンタ30に出力するようになされている。
【0026】
更新画素値カウンタ30は、比較器27からのカウンタインクリメント信号に対応して着目画素の画素値を0乃至255まで、1ずつインクリメントして予測タップ取得回路22およびスイッチ31に出力するようになされている。
【0027】
また、更新画素値カウンタ30は、着目画素の画素値を255に更新した後、カウンタをリセットし、スイッチ33をオンとする制御信号を出力するようになされている。この制御信号に対応して、スイッチ33がオンとされることにより、最適画素値保存用レジスタ32に保存されている最適画素値が上位階層画像データメモリ21に出力され、その値で上位階層画像データメモリ21で記憶されている上位画像の画素値が更新されるようになされている。上位階層画像データメモリ21に記憶されている上位画像の全ての画素値が更新された後、その更新上位画像は、図1のスイッチ2の接点bに出力されるようになされている。
【0028】
図1に戻る。更新回数カウンタ10は、スイッチ2に対する制御信号を出力するとともに、上位階層画像更新回路9による更新回数をカウントし、カウント数が予め設定されている所定の値に達した場合、その情報を収束判定回路8に出力するようになされている。
【0029】
出力された最適上位階層画像および予測係数は、図示せぬ伝送媒体または記録媒体を介して後述するデコーダに供給されるようになされている。
【0030】
次に、このエンコーダの圧縮符号化処理について、図5を参照して説明する。エンコーダに原画像が入力されると、その原画像は初期上位階層画像生成回路1、遅延回路7、および上位階層画像更新回路9に供給される。ステップS1において、初期上位階層画像生成回路1は、入力された原画像を、図2に示すように、3画素×3画素からなるブロックに分割し、各ブロック内の9画素の画素値の平均値をブロックの中心に位置する上位画像の画素の画素値とする初期上位画像を生成して、スイッチ2の接点aに出力する。スイッチ2は、更新回数カウンタ10からの制御信号に基づいて、接点aに切り換えられており、初期上位画像は、上位階層画像更新回路9の上位階層画像データメモリ21に供給される。
【0031】
ステップS2において、上位階層画像更新回路9は、画素値更新処理を実行する。この画素値更新処理の詳細について、図6のフローチャートを参照して説明する。
【0032】
ステップS11において、予測タップ取得回路22は、上位階層画像データメモリ21に供給されて記憶された上位画像の所定の画素を着目画素とし、着目画素を中心とする5画素×5画素の予測タップを抽出する。さらに、予測タップ取得回路22は、取得した着目画素の画素値をクラス分類回路23に出力する。ステップS12において、クラス分類回路23は、入力された着目画素の画素値(8ビット)のうちの下位5ビットを読み出し、その値を用いてクラス分類を行い、クラスコードを予測係数テーブルメモリ24に出力する。予測係数テーブルメモリ24は、予測係数出力回路4から供給されている予測係数テーブルからクラス分類回路23から入力されたクラスコードに対応する予測係数を読み出して、マッピング回路25に出力する。
【0033】
ステップS13において、更新画素値カウンタ30は、着目画素の更新画素値として0を予測タップ取得回路22およびスイッチ31に出力する。
【0034】
ステップS14において、予測タップ取得回路22は、ステップS11で取得した予測タップのうちの着目画素の画素値を、更新画素値カウンタ30から供給された値に置き換えて、マッピング回路25に出力する。マッピング回路25は、予測係数テーブルメモリ24から入力された予測係数と予測タップ取得回路22ら入力された予測タップの画素値との線形1次結合を演算し、その値を着目画素を中心とする3画素×3画素の下位画像の画素値として、誤差算出回路26に出力する。
【0035】
ステップS15において、誤差算出回路26は、入力された3画素×3画素の下位画像の画素値と、対応する原画像の画素値との誤差(S/N比)を演算し、その結果を比較器27、およびスイッチ28に出力する。ステップS16において、比較器27は、入力された誤差(S/N比)と最小誤差保存用レジスタ29が保存する最小誤差(最大S/N比)とを比較し、誤差算出回路26から入力された誤差が最小誤差保存用レジスタ29が保存する最小誤差よりも小さいか否かを判定する。誤差算出回路26から入力された誤差が最小誤差保存用レジスタ29が保存する最小誤差よりも小さくないと判定された場合、ステップS17をスキップし、誤差算出回路26から入力された誤差が最小誤差保存用レジスタ29が保存する最小誤差よりも小さいと判定された場合、ステップS17に進む。
【0036】
ステップS17において、比較器27は、スイッチ28,31をオンとする制御信号を出力する。この制御信号に対応して、スイッチ28,31がオンとされ、最小誤差保存用レジスタ29に保存されている最小誤差、および最適画素値保存用レジスタ32に保存されている最適画素値が、それぞれ誤差算出回路26からの誤差、または更新画素値カウンタ30からの更新画素値で更新される。その後、比較器27は、カウンタインクリメント信号を更新画素値カウンタ30に出力する。
【0037】
ステップS18において、更新画素値カウンタ30は、予測タップ取得回路22およびスイッチ31に供給した着目画素の更新画素値が255よりも小さいか否かを判定する。供給した着目画素の更新画素値が255よりも小さいと判定された場合、ステップS19に進む。ステップS19において、更新画素値カウンタ30は、着目画素の画素値を1だけインクリメントして、予測タップ取得回路22およびスイッチ31に供給する。
【0038】
その後、ステップS18において、予測タップ取得回路22に供給した着目画素の更新画素値が255よりも小さくないと判定されるまで、ステップS14乃至S17の処理が繰り返され、着目画素の画素値として0乃至255のうちで最も誤差が小さい(S/N比が大きい)値が最適画素値保存用レジスタ32に保存される。
【0039】
ステップS20において、更新画素値カウンタ30は、スイッチ33に制御信号を出力する。この制御信号に対応して、スイッチ33はオンとされ、最適画素値保存用レジスタに32に保存されている着目画素の画素値で上位階層画像データメモリ221に記憶されている上位画像の対応する画素の画素値が更新される。
【0040】
ステップS21において、予測タップ取得回路22は、上位画像の全ての画素を着目画素としたか否かを判定し、上位画像の全ての画素を着目画素としたと判定するまで、ステップS11乃至S21の処理を繰り返す。
【0041】
その後、ステップS21において、上位画像の全ての画素を着目画素としたと判定された場合、上位階層画像データメモリ21が記憶している更新された上位画像がスイッチ2の接点bに出力される。
【0042】
図5に戻る。ステップS3において、スイッチ2は、更新回数カウンタ10からの制御信号に基づいて、接点bに切り換えられ、スイッチ2を介して更新上位画像が、クラス分類回路3、予測タップ取得回路5、収束判定回路8、および上位階層画像更新回路9に供給される。クラス分類回路3は、入力された更新上位画像の所定の画素を着目画素に決定する。
【0043】
ステップS4において、クラス分類回路3は、着目画素の画素値(8ビット)のうちの下位5ビットを読み出し、その値をクラスコードとして予測係数出力回路4に出力する。予測係数出力回路4は、内蔵するメモリに予め記憶されている予測係数テーブルからクラス分類回路3から入力されたクラスコードに対応する予測係数を読み出して、マッピング回路6に出力する。このとき同時に、予測タップ取得回路5は、スイッチ2を介して入力された更新上位画像から、ステップS3で決定された着目画素を中心とする5画素×5画素の予測タップを取得して、マッピング回路6に出力する。
【0044】
ステップS5において、マッピング回路6は、予測係数出力回路4から入力された予測係数と予測タップ取得回路5から入力された予測タップの画素値との線形1次結合を演算し、その値を、図2に示すような着目画素を中心とする3画素×3画素の予測画像(下位画像)の画素値として収束判定回路8に出力する。
【0045】
ステップS6において、クラス分類回路3は、入力された更新上位画像の全ての画素を着目画素としたか否かを判定し、更新上位画像の全ての画素を着目画素としたと判定するまで、ステップS2乃至S6の処理を繰り返す。その後、ステップS6において、更新上位画像の全ての画素を着目画素としたと判定された場合、ステップS7に進む。
【0046】
ステップS7において、収束判定回路8は、マッピング回路6から入力された予測画像と、遅延回路7で所定にタイミングだけ遅延されて入力された原画像とのS/N比を演算し、その結果が所定の値以上であるか、否かを判定するとともに、更新回数カウンタ10から更新回数が所定の回数に達したことを示す信号が入力されたか否かを判定する。信号が入力されておらず、S/N比が所定の値以上ではないと判定された場合、ステップS2に戻り、上述した処理が繰り返される。
【0047】
その後、ステップS7において、S/N比が所定の値以上であると判定された場合、または、更新回数カウンタ10から信号が入力されたと判定された場合、ステップS8に進む。ステップS8において、収束判定部8は、判定した予測画像に対応する上位画像を、対応する予測係数テーブルとともに出力する。
【0048】
出力された最適上位画像および予測係数テーブルは、図示せぬ伝送媒体または記録媒体を介して後述するデコーダに供給される。
【0049】
以上のように、本実施の形態においては、予測係数を固定した状態で画素値を最適化(更新)し、最適化された画素値を用いて予測係数を変更し、再度、予測係数を固定した状態で画素値を最適化することを繰り返すようにしたので、画像的な特徴がある程度似ている画素が同一のクラスに集中する。したがって、結果的に、デコードした際にS/N比が向上する上位画像が生成される。
【0050】
図7は、供給された最適上位画像を予測係数テーブルを用いて下位画像に復号するデコーダの構成を示している。エンコーダから供給された最適上位画像は、上位階層画像メモリ41に記憶され、予測係数テーブルは、マッピング回路45に内蔵されたメモリに記憶されるようになされている。
【0051】
着目画素値取得回路42は、上位階層画像メモリ41に記憶された最適上位画像の所定の画素を着目画素に決定し、その画素値を取得してクラス分類回路43に出力するようになされている。クラス分類回路43は、図3に示すように、着目画素の画素値(8ビット)のうちの下位5ビットを読み出し、その値をクラスコードとしてマッピング回路45に出力するようになされている。
【0052】
予測タップ取得回路44は、着目画素値取得回路42が決定した着目画素を中心とする5画素×5画素の予測タップを上位階層画像メモリ41に記憶された記憶された最適上位画像から抽出し、マッピング回路45に出力するようになされている。
【0053】
マッピング回路45は、クラス分類回路43から入力されたクラスコードに対応する予測係数を、内蔵するメモリに記憶している、エンコーダから供給された予測係数テーブルから読み出す。さらに、マッピング回路45は、図2に示すように、着目画素とその近傍の下位階層画素a乃至hの画素値として、読み出した予測係数と、予測タップ取得回路44から入力された予測タップの画素値との線形1次結合を演算し、下位階層画像メモリ46に出力するようになされている。下位階層画像メモリ46は、マッピング回路45から入力された下位画像の画素値を記憶し、所定のタイミングで下位画像を図示せぬ表示装置に出力するようになされている。
【0054】
このデコーダの復号処理について、図8のフローチャートを参照して説明する。ユーザからの復号開始指令に対応し、エンコーダからの最適上位画像および予測係数テーブルを受け付けたデコーダは、ステップS31において、最適上位画像を上位階層画像メモリ41に記憶させ、予測係数テーブルをマッピング回路45に内蔵されたメモリに記憶させる。
【0055】
ステップS32において、着目画素値取得回路42は、上位階層画像メモリ41に記憶された最適上位画像の画素を、順次、着目画素に決定し、その画素値を取得してクラス分類回路43に出力する。ステップS33において、クラス分類回路43は、着目画素の画素値(8ビット)のうちの下位5ビットを読み出し、その値をクラスコードとしてマッピング回路45に出力する。
【0056】
ステップS34において、予測タップ取得回路44は、ステップS32で着目画素値取得回路42が決定した着目画素を中心とする5画素×5画素の予測タップを上位階層画像メモリ41に記憶された最適上位画像から抽出し、マッピング回路45に出力する。
【0057】
ステップS35において、マッピング回路45は、クラス分類回路43から入力されたクラスコードに対応する予測係数を、ステップS31で内蔵するメモリに記憶した予測係数テーブルから読み出す。さらに、マッピング回路45は、図2に示すように、着目画素とその近傍の下位階層画素a乃至hの画素値として、読み出した予測係数と、予測タップ取得回路44から入力された予測タップの画素値との線形1次結合を演算し、下位階層画像メモリ46に出力する。下位階層画像メモリ46は、入力された下位画像の画素値を記憶する。
【0058】
ステップS36において、着目画素値取得回路42は、上位階層画像メモリ41に記憶された最適上位画像の全ての画素を着目画素としたか否かを判定する。最適上位画像の全画素を着目画素としていないと判定された場合、ステップS32乃至S36の処理を繰り返し、上位画像の全画素を着目画素としたと判定された場合、ステップS37に進む。ステップS37において、下位階層画像メモリ46に記憶されている下位画像が、図示せぬ表示装置に出力されて表示される。
【0059】
図9は、図1の予測係数出力回路4に内蔵されるメモリに記憶するクラスコードに対応する予測係数テーブルを学習によって得る学習装置の構成を示している。この学習装置においては、教師信号(学習信号)としての原画像を用いてクラス毎の予測係数テーブルを生成する。
【0060】
教師信号(学習信号)としての原画像が、上位階層画像生成回路51に入力されるとともに、遅延回路54に入力される。上位階層画像生成回路51は、図2に示すように、入力された教師信号(学習信号)としての原画像データを3画素×3画素からなるブロックに分割し、各ブロック内の9画素の画素値の平均値をブロックの中心に位置する上位階層画像の画素の画素値として上位階層画像を生成し、クラス分類回路52および予測タップ取得回路53に出力する。
【0061】
クラス分類回路52は、図3に示すように、入力された上位画像の所定の着目画素の画素値(8ビット)のうちの下位5ビットを読み出し、その値をクラスコードとして予測係数演算回路55に出力する。予測タップ取得回路53は、クラス分類回路52で決定された着目画素を中心とする5画素×5画素の予測タップを上位画像から抽出して、予測係数演算回路55に出力する。
【0062】
予測係数演算回路55は、遅延回路54から所定のタイミングだけ遅延されて入力される教師信号としての原画像と、予測タップ取得回路53から供給される予測タップとしての上位画像の画素とを用いて、クラス毎(クラスコード毎)に正規方程式を生成し、クラス毎に最小自乗法により正規方程式を解き、クラス毎の予測係数テーブルを演算する。求められたクラス毎の予測係数テーブルは、図1の予測係数出力部4が内蔵するメモリに書き込まれることになる。
【0063】
なお、本実施の形態においては、クラス毎の予測係数テーブルを、図9に示した構成によって演算して求めるようにしたが、コンピュータを用いてシュミレーションで演算して求めるようにしてもよい。
【0064】
また、予測タップとして切り出される画素データの数は、上述した例に限らず、その数はいくつであってもよい。ただし、予測タップとして切り出す数を多くすればするほど生成される下位画像の精度は高くなるが、演算量が多くなったり、メモリが大きくなったりするため、演算量、ハード面での負荷が大きくなるため、最適な数を設定する必要がある。
【0065】
また、上述したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【0066】
【発明の効果】
以上のように、本発明の第1の画像変換装置および方法、並びに記録媒体のプログラムによれば、画像とほぼ同一の画像を復元できる上位画像を生成することが可能となる。
【0067】
また、本発明の第2の画像変換装置および方法、並びに記録媒体のプログラムによれば、上位画像に基づいて原画像とほぼ同一の復元画像を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明を適用したエンコーダの構成を示すブロック図である。
【図2】図1の初期上位階層画像生成回路1の動作を説明するための図である。
【図3】図1のクラス分類回路3の動作を説明するための図である。
【図4】図1の上位階層画像更新回路9の詳細な構成を示すブロック図である。
【図5】図1のデコーダの圧縮符号化処理を説明するフローチャートである。
【図6】図5のステップS2の画素値更新処理を説明するフローチャートである。
【図7】本発明を適用したデコーダの構成を示すブロック図である。
【図8】図7のデコーダの復号処理を説明するフローチャートである。
【図9】図1の予測係数出力部4に内蔵されるメモリに記憶される予測係数の学習処理を行う学習装置の構成を示すブロック図である。
【符号の説明】
1 初期上位階層画像生成回路, 2 スイッチ, 3 クラス分類回路, 4 予測係数出力回路, 5 予測タップ取得回路, 6 マッピング回路, 7 遅延回路, 8 収束判定回路, 9 上位階層画像更新回路, 10 更新回数カウンタ, 21 上位階層画像データメモリ, 22 予測タップ取得回路, 23 クラス分類回路, 24 予測係数テーブルメモリ, 25 マッピング回路, 26 誤差算出回路, 27 比較器, 28 スイッチ, 29 最小誤差保存用レジスタ, 30 更新画素値カウンタ, 31 スイッチ, 32 最適画素値保存用レジスタ, 33 スイッチ, 41 上位階層画像メモリ, 42 着目画素値取得回路, 43 クラス分類回路, 44 予測タップ取得回路, 45 マッピング回路, 46 下位階層画像メモリ,51 上位階層画像生成回路, 52 クラス分類回路, 53 予測タップ取得回路, 54 遅延回路, 55 予測係数演算回路

Claims (7)

  1. 複数の画素からなる原画像を、より少ない画素からなる上位画像に変換する画像変換装置において、
    前記原画像を複数の画素からなるブロックに分割し、前記ブロック毎に前記複数の画素の画素値の平均値を算出し、算出した前記平均値を画素値とする前記上位画像の1個の画素を生成する生成手段と、
    生成された前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取手段と、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生手段と、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出手段と、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算する演算手段と、
    前記下位画像と前記原画像とのS/N(signal/noise)比を算出する算出手段と、
    算出された前記S/N比が所定の閾値より小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する更新手段と
    を備えることを特徴とする画像変換装置。
  2. 前記更新手段は、算出された前記S/N比が所定の閾値より小さい場合、且つ、前記上位画像を構成する画素の画素値を更新する回数が所定の回数よりも小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する
    ことを特徴とする請求項1に記載の画像変換装置。
  3. 複数の画素からなる原画像を、より少ない画素からなる上位画像に変換する画像変換装置の画像変換方法において、
    前記原画像を複数の画素からなるブロックに分割し、前記ブロック毎に前記複数の画素の画素値の平均値を算出し、算出した前記平均値を画素値とする前記上位画像の1個の画素を生成する生成ステップと、
    生成された前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップと、
    前記下位画像と前記原画像とのS/N(signal/noise)比を算出する算出ステップと、
    算出された前記S/N比が所定の閾値より小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する更新ステップと
    を含むことを特徴とする画像変換方法。
  4. 複数の画素からなる原画像を、より少ない画素からなる上位画像に変換する画像変換装置の制御用のプログラムであって、
    前記原画像を複数の画素からなるブロックに分割し、前記ブロック毎に前記複数の画素の画素値の平均値を算出し、算出した前記平均値を画素値とする前記上位画像の1個の画素を生成する生成ステップと、
    生成された前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップと、
    前記下位画像と前記原画像とのS/N(signal/noise)比を算出する算出ステップと、
    算出された前記S/N比が所定の閾値より小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する更新ステップと
    を含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
  5. 複数の画素からなる原画像を複数の画素からなるブロックに分割し、前記ブロック毎に前記複数の画素の画素値の平均値を算出し、算出した前記平均値を画素値とする、前記原画像より少ない画素からなる上位画像の1個の画素を生成し、
    生成した前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取り、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出し、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出し、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算し、
    前記下位画像と前記原画像とのS/N(signal/noise)比を算出し、
    算出された前記S/N比が所定の閾値より小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する画像生成装置によって生成された前記上位画像を、前記原画像と同じ画素数の復元画像に変換する画像変換装置において、
    前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取手段と、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生手段と、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出手段と、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算する演算手段と
    を備えることを特徴とする画像変換装置。
  6. 複数の画素からなる原画像を複数の画素からなるブロックに分割し、前記ブロック毎に前記複数の画素の画素値の平均値を算出し、算出した前記平均値を画素値とする、前記原画像より少ない画素からなる上位画像の1個の画素を生成し、
    生成した前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取り、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出し、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出し、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算し、
    前記下位画像と前記原画像とのS/N(signal/noise)比を算出し、
    算出された前記S/N比が所定の閾値より小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する画像生成装置によって生成された前記上位画像を、前記原画像と同じ画素数の復元画像に変換する画像変換装置の画像変換方法において、
    前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップと
    を含むことを特徴とする画像変換方法。
  7. 複数の画素からなる原画像を複数の画素からなるブロックに分割し、前記ブロック毎に前記複数の画素の画素値の平均値を算出し、算出した前記平均値を画素値とする、前記原画像より少ない画素からなる上位画像の1個の画素を生成し、
    生成した前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取り、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出し、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出し、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算し、
    前記下位画像と前記原画像とのS/N(signal/noise)比を算出し、
    算出された前記S/N比が所定の閾値より小さい場合、前記上位画像の前記注目画素の画素値を1ずつインクリメントすることにより更新する画像生成装置によって生成された前記上位画像を、前記原画像と同じ画素数の復元画像に変換する画像変換装置の制御用のプログラムであって、
    前記上位画像を構成する複数の画素のうち、処理対象とする注目画素のnビットからなる画素値の下位mビットをクラスコードとして読み取る読取ステップと、
    前記クラスコードに対応する予測係数を、学習用の画像を用いて予め生成されている予測係数がクラスコードに対応付けて記憶されているメモリから読み出すことにより発生する予測係数発生ステップと、
    前記上位画像を構成する複数の画素のうち、前記注目画素と前記注目画素の近傍に位置する複数の画素を予測タップとして抽出する抽出ステップと、
    前記予測係数と前記予測タップを構成する複数の画素の画素値との線形1次結合演算により、前記原画像と同じ画素数の下位画像の画素の画素値を演算する演算ステップと
    を含む処理を画像変換装置のコンピュータに実行させるプログラムが記録されていることを特徴とする記録媒体。
JP24277598A 1998-08-28 1998-08-28 画像変換装置および方法、並びに記録媒体 Expired - Fee Related JP4103059B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24277598A JP4103059B2 (ja) 1998-08-28 1998-08-28 画像変換装置および方法、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24277598A JP4103059B2 (ja) 1998-08-28 1998-08-28 画像変換装置および方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2000078537A JP2000078537A (ja) 2000-03-14
JP4103059B2 true JP4103059B2 (ja) 2008-06-18

Family

ID=17094105

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24277598A Expired - Fee Related JP4103059B2 (ja) 1998-08-28 1998-08-28 画像変換装置および方法、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4103059B2 (ja)

Also Published As

Publication number Publication date
JP2000078537A (ja) 2000-03-14

Similar Documents

Publication Publication Date Title
CN1960495B (zh) 图像编码装置、图像编码方法和集成电路装置
JPH10191336A (ja) 可変長符号化装置
JPH10257488A (ja) 画像符号化装置および画像復号化装置
JP4462823B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
US20050053290A1 (en) Video decoding apparatus
JP3915855B2 (ja) 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
KR100504415B1 (ko) 화상부호화장치,화상부호화방법,화상복호장치,화상복호방법및기록매체
AU714554B2 (en) Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
JP2005151391A (ja) 動画像符号化方法、動画像符号化装置およびプログラム
JPH09121359A (ja) 画像符号化方法および画像復号化方法
JP4103059B2 (ja) 画像変換装置および方法、並びに記録媒体
JP3491001B1 (ja) 信号符号化方法、信号復号方法、信号符号化装置、信号復号装置、信号符号化プログラム、及び、信号復号プログラム
JP3173257B2 (ja) 符号化方法と符号化装置
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JP4214595B2 (ja) 画像変換装置および方法、並びに記録媒体
JPH10191353A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
JP3912628B2 (ja) 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体
JP4217930B2 (ja) 画像符号化装置および方法、画像復号装置および方法、並びに記録媒体
JP3991346B2 (ja) 画像変換装置および方法、並びに記録媒体
JP4200401B2 (ja) 画像変換装置および方法、並びに記録媒体
JP4200403B2 (ja) 画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体
JPH11103463A (ja) 画像符号化方法及び記憶媒体
JP4487900B2 (ja) 画像処理システム
JP2006109499A (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、記録媒体、並びに画像復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070918

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080229

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080313

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110404

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120404

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130404

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140404

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees