JP4164912B2 - 信号処理装置及び信号処理方法 - Google Patents
信号処理装置及び信号処理方法 Download PDFInfo
- Publication number
- JP4164912B2 JP4164912B2 JP27898798A JP27898798A JP4164912B2 JP 4164912 B2 JP4164912 B2 JP 4164912B2 JP 27898798 A JP27898798 A JP 27898798A JP 27898798 A JP27898798 A JP 27898798A JP 4164912 B2 JP4164912 B2 JP 4164912B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- conversion table
- gradient
- output
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び信号処理方法に関し、特に、クラス分類してクラス毎に補間処理等を行うような信号処理装置及び信号処理方法に関するものである。
【０００２】
【従来の技術】
近年において、映像信号や音声信号の解像度あるいはサンプリング周波数等を向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の線形補間による手法よりも、例えば特開平６−１７８２７７号公報や特開昭７−７９４１８号公報に開示されるようなクラス分類を伴う変換処理を行う方が、性能的に良好な結果を得られることが知られている。
【０００３】
このクラス分類を伴う変換処理とは、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、入力されたＳＤ信号をクラス分類してクラスコードを発生し、このクラスコードを用いてクラス毎に予め設定されている予測係数を選んで上記入力ＳＤ信号を予測演算処理することにより、ＨＤ信号を得るものである。上記予測演算処理には例えば線形１次式が用いられる。
【０００４】
上記クラス分類を伴う変換処理は、上述したようなＳＤ信号からＨＤ信号へのアップコンバージョン以外にも、映像信号の走査方式についてインターレース／プログレッシブ変換を行う場合や、走査線数を変換する場合や、ぼけた画像を鮮明な画像に変換する場合や、電子ズーム処理や、フレーム数変換処理（例えば１秒間に２４フレームと３０フレームとの間での変換）や、フォーマット変換処理等の種々の信号変換処理に適用して好ましい結果が得られている。
【０００５】
【発明が解決しようとする課題】
ところで、上述のクラス分類を伴う変換処理におけるクラス分類の手法としては、適応型ダイナミックレンジ符号化（ＡＤＲＣ）によるパターン分類や動き補償的な要素を取り入れるために動きベクトルを使用することがある。
【０００６】
ここで、動きベクトルを求める場合に、例えばブロックマッチングのような非常に処理の重い方法は、ハードウェアにインストールするのが困難であることから、いわゆる勾配法等が用いられることが多い。
【０００７】
この勾配法は、注目画素の隣接画素との差分をとることで水平空間勾配及び垂直空間勾配を求め、また、注目画素のフレーム差分を求め、フレーム差分に基づく成分を空間勾配に基づく成分で割り算することにより、動きベクトルを求めるものである。この割り算があるために、除数及び被除数がそれぞれ例えば１０ビットの語長の場合には、割り算に必要な語長が２０ビット位になってしまい、ハードウェアロジックで実現するにはゲート規模が大きくなり、ＲＯＭを用いる場合にも４Ｍビット程度の記憶容量が必要となる。
【０００８】
本発明は、上述したような実情に鑑みてなされたものであり、クラス分類に勾配法を用いる場合に、ハードウェア構成が簡単で済むような信号処理装置及び信号処理方法の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上述した課題を解決するために、入力信号をクラス分類するクラス分類手段と、上記クラス分類手段により分類されたクラスに応じた予測係数を出力する予測係数出力手段と、上記入力信号を上記予測係数出力手段からの予測係数を用いて予測演算して予測値を出力する予測演算手段とを有し、上記クラス分類手段は、上記入力信号の空間勾配を求める空間勾配算出手段と、上記入力信号の時間勾配を求める時間勾配算出手段と、上記空間勾配算出手段からの出力を非線形量子化するための第１の変換テーブルと、上記時間勾配算出手段からの出力を非線形量子化するための第２の変換テーブルと、上記第１及び第２の変換テーブルからの各出力を入力とし、上記第２の変換テーブルからの出力を上記第１の変換テーブルからの出力で除算した値に基づく値をクラス情報として出力する第３の変換テーブルと、上記第３の変換テーブルから出力されるクラス情報と、上記入力信号をパターン分類して得られるクラス情報とに基づいて、クラスコードを発生するクラスコード発生手段とを有する。
【００１０】
クラス分類には、上記第３の変換テーブルからのクラス情報と、上記入力信号を適応型ダイナミックレンジ符号化することにより得られるクラス情報とに基づいて得るようにすることが好ましい。
【００１１】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
先ず、本発明に係る信号処理装置として、上述したクラス分類を伴う変換処理を行う信号変換装置の具体例を、図１を参照しながら説明する。この具体例では、特に、画像のＳＤ信号をＨＤ信号に解像度変換する画像情報変換装置を想定している。
【００１２】
この図１において、入力端子１１には標準解像度のＳＤ信号が供給され、予測タップ生成回路１２を介して予測演算回路１３に送られている。また、入力端子１１からのＳＤ信号は、クラス分類回路１５に供給されてクラス分類が行われ、決定されたクラスのインデックスをアドレスとして予測係数ＲＯＭ１６がアクセスされて予測係数が読み出され、予測演算回路１３に送られる。
【００１３】
予測演算回路１３は、推定演算回路あるいは補間値生成回路とも称され、クラス毎に適応的に選択された予測係数により予測演算を行うことで、入力されたＳＤデータに対するＨＤデータを算出するものである。予測演算回路１３にて予測演算されることにより得られたＨＤ信号は、出力端子１４より取り出される。予測係数ＲＯＭ１６には、予測係数が記憶されている。
【００１４】
クラス分類回路１５は、例えば入力信号をＡＤＲＣ（適応型ダイナミックレンジ符号化）することによりクラス情報を出力するＡＤＲＣ回路１７と、上述した空間勾配及び時間勾配を用いた動きベクトルを用いてクラス情報を出力する動き検出回路２０と、これらのＡＤＲＣ回路１７及び動き検出回路２０からのクラス情報が送られてクラスコードを生成するクラスコード生成回路１８とを有して構成されている。
【００１５】
上記ＡＤＲＣ回路１７における適応型ダイナミックレンジ符号化とは、特開昭６１−１４４９８９号公報等に開示されるように、本来ビデオ信号の高能率圧縮符号化のために開発されたものであるが、ビデオ信号のレベル分布のパターンを短い語長で効率的に表現できることから、このＡＤＲＣ符号化データに基づいてクラス分類のための情報を得ているものである。すなわち、ビデオ信号の符号化単位となるブロック内のダイナミックレンジＤＲは、当該ブロック内の最大値ＭＡＸ及び最小値ＭＩＮにより、
ＤＲ ＝ ＭＡＸ−ＭＩＮ＋１
と表せ、ブロック内の各画素データのレベルＬをｎビットに再量子化するときの再量子化コードＱは、
Ｑ ＝［（Ｌ−ＭＩＮ＋0.５）・２n／ＤＲ］
ただし、［ ］は切り捨て処理を意味する
となる。上記ブロック内の再量子化コードＱを用いて、当該ブロックのビデオ信号をクラス分類するための情報を求める。上記図１の例では、４ビットのクラス情報を得て、クラスコード生成回路１８に送っている。
【００１６】
上記動き検出回路２０は、例えば図２に示すように構成されている。この図２において、入力端子２１には、上記図１の入力端子１１に供給された標準解像度のＳＤ信号が入力され、水平及び垂直方向の空間勾配を計算する空間勾配算出回路２２と、時間勾配としてのフレーム差分を計算する時間勾配算出回路２３とに送られている。空間勾配算出回路２２からの空間勾配Δｓは、例えば１０ビットの語長をもっており、非線形量子化処理を実現するためのＲＯＭ２４に送られて４ビットのデータに変換される。また、時間勾配算出回路２３からのフレーム差分Δｆは、例えば１０ビットの語長をもっており、非線形量子化処理を実現するためのＲＯＭ２５に送られて４ビットのデータに変換される。これらのＲＯＭ２４，２５からの各４ビットのデータはＲＯＭ２６に送られ、ＲＯＭ２６では８ビット入力をアドレスとして４ビットのクラス情報を変換し、出力端子２７より取り出される。この４ビットのクラス情報は、図１のクラスコード生成回路１８に送られる。
【００１７】
ところで、空間勾配算出回路２２及び時間勾配算出回路２３からの各１０ビットの勾配データΔｓ，Δｆに基づいて直接上記４ビットのクラス情報を求めようとすると、例えば図３に示すような大容量のＲＯＭ２９構成が必要となる。このＲＯＭ２９は、入力２０ビットをアドレスとして４ビットデータを出力することから、４１９４３０４ビットもの大容量が必要とされる。これに対して、上記図２の構成によれば、ＲＯＭ２４，２５がそれぞれ４０９６ビット、ＲＯＭ２６が１０２４ビットで、合計９２１６ビットの記憶容量で済む。
【００１８】
次に、上記空間勾配算出回路２２及び時間勾配算出回路２３における勾配の計算内容と、これらの勾配データから動きベクトルを求める計算内容について説明する。
【００１９】
画面上の座標（ｘ，ｙ）における現在フレームの画素値をｇ1（ｘ，ｙ） とし、同じ空間位置の１フレーム前（過去）の画素値をｇ0（ｘ，ｙ） とする。ｘは水平方向、ｙは垂直方向の画素毎に整数値をとる座標値であり、右側及び上側をそれぞれ正の向きとする。このとき、座標（ｘ，ｙ）における水平空間勾配、垂直空間勾配、及びフレーム差分（時間勾配）は、
右側水平勾配：Δｘr ＝ ｇ1(x,y) − ｇ1(x+1,y)
左側水平勾配：Δｘl ＝ ｇ1(x-1,y) − ｇ1(x,y)
上側垂直勾配：Δｙa ＝ ｇ1(x,y) − ｇ1(x,y+1)
下側垂直勾配：Δｙu ＝ ｇ1(x,y-1) − ｇ1(x,y)
フレーム差分：Δｔ ＝ ｇ1(x,y) − ｇ0(x,y)
の各式で計算される。
【００２０】
これらの式から、水平、垂直方向の勾配法による動きベクトルの各方向成分、すなわち、水平方向の動きベクトルＶX 及び垂直方向の動きベクトルＶY は、
右側水平方向：ＶXr ＝ （ΣΔｔsign(Δｘr)）／（Σ｜Δｘr｜）
左側水平方向：ＶXl ＝ （ΣΔｔsign(Δｘl)）／（Σ｜Δｘl｜）
水平方向 ：ＶX ＝ （ＶXrとＶXlとの内の絶対値の大きい方）
上側垂直方向：ＶYa ＝ （ΣΔｔsign(Δｙa)）／（Σ｜Δｙa｜）
下側垂直方向：ＶYu ＝ （ΣΔｔsign(Δｙu)）／（Σ｜Δｙu｜）
垂直方向 ：ＶY ＝ （ＶYaとＶYuとの内の絶対値の大きい方）
の各式で計算する。
【００２１】
これらの式中の“Σ”は、例えば縦横３×３の成分の総和をとることが挙げられ、具体的には、例えば図４に示すような構成により実現できる。この図４は、水平方向差分の絶対値の総和（Σ｜Δｘ｜）をとる場合の例を示しており、端子３１から入力された画素値ｇは、１画素分だけ遅延させる遅延回路３２と減算器３３とにより水平方向の隣接画素間の差分がとられ、絶対値化回路３４により絶対値がとられ、遅延マトリクス回路３５により縦横３×３の成分が取り出され、総和器３６によりこれらの３×３の成分の総和がとられて、端子３７より出力される。遅延マトリクス回路３５は、それぞれ１画素分だけ遅延させる９個の遅延回路ＤＬA と、それぞれほぼ１ライン分だけ遅延させる２個の遅延回路ＤＬB とを有して成り、各遅延回路ＤＬA からの出力が縦横で隣接する３×３の成分となっている。なお、垂直方向差分の絶対値の総和（Σ｜Δｙ｜）をとる場合には、遅延回路３２として１ライン分遅延させるものを用いればよい。
【００２２】
以上のようにして、勾配法を用いて動きベクトルを求めることができる。この勾配法の特長としては、画素以下の動きベクトルの精度が良い、ということが挙げられる。
【００２３】
ここで、上述したような勾配法を用いて動きベクトルを求めるためのハードウェアを考察する。先ず、上述した式の通りの演算を行わせる場合には、割る数も割られる数も共に１０ビット程度の語長を持っており、割り算に必要な語長が２０ビット位になってしまい、ゲート規模が大きくなってしまう。しかしながら、勾配法の結果をクラス情報として使用する場合はそれほど精度を必要としないため、簡略化しても問題を生じることは少ない。また、線形演算の結果をそのまま利用するよりは、クラスとしては非線形の偏りを持たせた方がより精度が向上することがある。
【００２４】
そこで本実施の形態においては、前述したように、図２に示す構成を用い、非線形要素と小型化を兼ねあわせたＲＯＭによる勾配法クラス生成を実現している。簡単のために、上記の式を一般化し、動きベクトルＶを、空間勾配Δｓとフレーム差分（時間勾配）Δｆとで、
Ｖ ＝ Δｆ／Δｓ
のように表す。
【００２５】
図２のＲ０Ｍ２４は、フレーム差分Δｆの非線形量子化を行うためのもので、入力アドレスが１０ビットで、出力データが例えば４ビットのものを使用する。また、ＲＯＭ２５は、空間勾配Δｓの非線形量子化を行うためのもので、ＲＯＭ２４と同様に、入力アドレスが１０ビットで、出力データが例えば４ビットのものを使用する。これらのＲＯＭ２４、２５の記憶容量は、いずれも４０９６ビットである。非線形量子化については、種々の手法があるが、例えば図５に示すような入力を圧縮して出力するものが挙げられる。この図５はデータが正の値のみ有する場合の例であるが、正負の値を有するデータの場合には、図６に示すような非線形量子化も挙げられる。
【００２６】
ＲＯＭ２６は、ＲＯＭ２４、２５の各出力が入力され、入力アドレスが８ビットで出力データが例えば４ビットのものを使用する。このＲＯＭ２６の記憶容量は１０２４ビットであり、出力されるクラス（動きベクトルに応じたクラス）は１６クラスとなる。ＲＯＭ２６の内容については、単なる割り算の結果ではなく、性能が向上するようチューニングしたものを用いればよい。次の表１は、入力される各４ビットのΔｓ，Δｆに対する４ビットのクラスコード値のテーブルの一例を示すものである。
【００２７】
【表１】
【００２８】
このような構成によれば、前述したように、ＲＯＭ２４，２５がそれぞれ４０９６ビット、ＲＯＭ２６が１０２４ビットで、合計９２１６ビットの記憶容量で済む。これは、上記図３に示すような構成に用いられるＲＯＭ２９が、入力２０ビットをアドレスとして４ビットデータを出力するために４１９４３０４ビットもの大容量が必要とされることを考慮すれば、本発明の実施の形態により、ハードウェア構成を大幅に簡略化できることが明らかである。
【００２９】
次に、上記図１に示したクラス分類を伴う変換処理のクラス毎の予測係数を最小自乗法によって求めるための学習装置について、図７を参照しながら説明する。この具体例では、上記図１に示す信号処理装置として、標準あるいは低解像度の映像信号に相当する標準テレビジョン信号（ＳＤ信号）を、高解像度の映像信号であるいわゆるＨＤＴＶ信号（ＨＤ信号）に変換する装置を想定し、このＳＤ信号をＨＤ信号に変換する変換装置に用いられる予測係数を求めるための学習を行うための学習装置を図７に示している。
【００３０】
図７の入力端子５１には、教師信号となる高解像度のＨＤ信号が供給されており、このＨＤ信号をダウンコンバータ５２に送ってローパスフィルタリング処理やダウンサンプリング処理等を施すことにより、ＨＤ信号に対応する擬似的な標準解像度のＳＤ信号を得ている。これらのＨＤ信号及びＳＤ信号は、正規方程式生成回路５３に送られる。また、ダウンコンバータ５２からのＳＤ信号は、ＡＤＲＣ（適応ダイナミックレンジ符号化）回路５４及び動き検出回路５５に送られて、それぞれクラス情報が求められ、これらのクラス情報がクラスコード生成回路５６に送られてクラスコードが生成される。これらのＡＤＲＣ回路５４、動き検出回路５５及びクラスコード生成回路５６は、それぞれ上記図１のＡＤＲＣ回路１７、動き検出回路２０及びクラスコード生成回路１８に相当するものであるため、説明を省略する。
【００３１】
クラスコード生成回路５６から出力されたクラスコードは、正規方程式生成回路５３に送られる。正規方程式生成回路５３は、クラス毎にそれぞれ正規方程式を生成する回路であり、学習素材が入力し終わった後に得られた各クラス毎の正規方程式を連立方程式解法回路５７に送り、各クラス毎に正規方程式から連立方程式を解いて各クラス毎の予測係数を求め、これらの各クラス毎の予測係数を予測係数メモリ５８に記憶する。この予測係数メモリ５８の記憶内容が、図１の予測係数ＲＯＭ１６に書き込まれて用いられる。
【００３２】
以上説明したような本発明の実施の形態によれば、映像信号の入力に対して勾配法によるクラス分類を行って適応的な変換処理を行う際に、時間勾配（フレーム差分）と、空間勾配（隣接画素差分）をそれぞれ非線形量子化するための２種類のＲＯＭ２４，２５を持ち、さらにその２種類のＲＯＭ出力を入力し、クラス情報を発生する第３のＲＯＭ２６を持つことにより、これらを１つのＲＯＭで構成する場合に比べて小さいハードウェアで済み、しかも、各ＲＯＭ２４，２５やＲＯＭ２６の入出力特性をチューニングすることで、性能向上も図れる。
【００３３】
なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、クラス分類は、ＡＤＲＣと組み合わせて行っているが、勾配法のみ、あるいは他のクラス分類手法との組み合わせで最終的なクラス分類を行わせてもよい。また、標準解像度の映像信号（ＳＤ信号）を高解像度の映像信号（ＨＤ信号）に変換する場合のみに限定されず、所定解像度の映像信号を他の解像度の映像信号に変換する場合や、所定のサンプリング周波数あるいはサンプルビット数のオーディオ信号を、他のサンプリング周波数やサンプルビット数のオーディオ信号に変換する場合等にも適用できることは勿論である。
【００３４】
【発明の効果】
本発明によれば、入力信号をクラス分類し、分類されたクラスに応じた予測係数予測係数を用いて予測演算して予測値を出力する際に、上記クラス分類処理は、上記入力信号の空間勾配及び時間勾配を求め、上記空間勾配を第１の変換テーブルにより非線形量子化し、上記時間勾配を第２の変換テーブルにより非線形量子化し、これらの第１及び第２の変換テーブルからの各出力を第３の変換テーブルによりクラス情報に変換しているため、勾配法を用いたクラス分類が簡単なハードウェア構成で容易に実現できる。
【００３５】
また、適応型ダイナミックレンジ符号化により得られるクラス情報と、上記第３の変換テーブルからの符号化情報とに基づいて、クラスコードを生成することにより、性能の良いクラス分類が行える。
【図面の簡単な説明】
【図１】本発明の実施の形態として、クラス分類を伴う変換処理を行う画像情報変換装置の一例を示すブロック図である。
【図２】本発明の実施の形態の画像情報変換装置に用いられる勾配法によりクラス情報を生成するための動き検出部を示すブロック図である。
【図３】従来の画像情報変換装置に用いられる勾配法によりクラス情報を生成するための動き検出部を示すブロック図である。
【図４】勾配法における動きベクトル検出のための水平方向差分の総和をとるための構成の一例を示すブロック図である。
【図５】ＲＯＭテーブルによる非線形量子化の入出力特性を示す特性図である。
【図６】ＲＯＭテーブルによる非線形量子化の入出力特性の他の例を示す特性図である。
【図７】本発明の実施の形態を説明するための、クラス分類を伴う変換処理の予測係数を求めるための学習装置の一例を示すブロック図である。
【符号の説明】
１２ 予測タップ生成回路、 １３ 予測演算回路、 １５ クラス分類回路、 １６ 予測係数ＲＯＭ、 １７ ＡＤＲＣ（適応型ダイナミックレンジ符号化）回路、 １８ クラスコード生成回路、 ２２ 空間勾配算出回路、 ２３時間勾配算出回路、 ２４，２５，２６ ＲＯＭ
【発明の属する技術分野】
本発明は、信号処理装置及び信号処理方法に関し、特に、クラス分類してクラス毎に補間処理等を行うような信号処理装置及び信号処理方法に関するものである。
【０００２】
【従来の技術】
近年において、映像信号や音声信号の解像度あるいはサンプリング周波数等を向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の線形補間による手法よりも、例えば特開平６−１７８２７７号公報や特開昭７−７９４１８号公報に開示されるようなクラス分類を伴う変換処理を行う方が、性能的に良好な結果を得られることが知られている。
【０００３】
このクラス分類を伴う変換処理とは、例えば、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、入力されたＳＤ信号をクラス分類してクラスコードを発生し、このクラスコードを用いてクラス毎に予め設定されている予測係数を選んで上記入力ＳＤ信号を予測演算処理することにより、ＨＤ信号を得るものである。上記予測演算処理には例えば線形１次式が用いられる。
【０００４】
上記クラス分類を伴う変換処理は、上述したようなＳＤ信号からＨＤ信号へのアップコンバージョン以外にも、映像信号の走査方式についてインターレース／プログレッシブ変換を行う場合や、走査線数を変換する場合や、ぼけた画像を鮮明な画像に変換する場合や、電子ズーム処理や、フレーム数変換処理（例えば１秒間に２４フレームと３０フレームとの間での変換）や、フォーマット変換処理等の種々の信号変換処理に適用して好ましい結果が得られている。
【０００５】
【発明が解決しようとする課題】
ところで、上述のクラス分類を伴う変換処理におけるクラス分類の手法としては、適応型ダイナミックレンジ符号化（ＡＤＲＣ）によるパターン分類や動き補償的な要素を取り入れるために動きベクトルを使用することがある。
【０００６】
ここで、動きベクトルを求める場合に、例えばブロックマッチングのような非常に処理の重い方法は、ハードウェアにインストールするのが困難であることから、いわゆる勾配法等が用いられることが多い。
【０００７】
この勾配法は、注目画素の隣接画素との差分をとることで水平空間勾配及び垂直空間勾配を求め、また、注目画素のフレーム差分を求め、フレーム差分に基づく成分を空間勾配に基づく成分で割り算することにより、動きベクトルを求めるものである。この割り算があるために、除数及び被除数がそれぞれ例えば１０ビットの語長の場合には、割り算に必要な語長が２０ビット位になってしまい、ハードウェアロジックで実現するにはゲート規模が大きくなり、ＲＯＭを用いる場合にも４Ｍビット程度の記憶容量が必要となる。
【０００８】
本発明は、上述したような実情に鑑みてなされたものであり、クラス分類に勾配法を用いる場合に、ハードウェア構成が簡単で済むような信号処理装置及び信号処理方法の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上述した課題を解決するために、入力信号をクラス分類するクラス分類手段と、上記クラス分類手段により分類されたクラスに応じた予測係数を出力する予測係数出力手段と、上記入力信号を上記予測係数出力手段からの予測係数を用いて予測演算して予測値を出力する予測演算手段とを有し、上記クラス分類手段は、上記入力信号の空間勾配を求める空間勾配算出手段と、上記入力信号の時間勾配を求める時間勾配算出手段と、上記空間勾配算出手段からの出力を非線形量子化するための第１の変換テーブルと、上記時間勾配算出手段からの出力を非線形量子化するための第２の変換テーブルと、上記第１及び第２の変換テーブルからの各出力を入力とし、上記第２の変換テーブルからの出力を上記第１の変換テーブルからの出力で除算した値に基づく値をクラス情報として出力する第３の変換テーブルと、上記第３の変換テーブルから出力されるクラス情報と、上記入力信号をパターン分類して得られるクラス情報とに基づいて、クラスコードを発生するクラスコード発生手段とを有する。
【００１０】
クラス分類には、上記第３の変換テーブルからのクラス情報と、上記入力信号を適応型ダイナミックレンジ符号化することにより得られるクラス情報とに基づいて得るようにすることが好ましい。
【００１１】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
先ず、本発明に係る信号処理装置として、上述したクラス分類を伴う変換処理を行う信号変換装置の具体例を、図１を参照しながら説明する。この具体例では、特に、画像のＳＤ信号をＨＤ信号に解像度変換する画像情報変換装置を想定している。
【００１２】
この図１において、入力端子１１には標準解像度のＳＤ信号が供給され、予測タップ生成回路１２を介して予測演算回路１３に送られている。また、入力端子１１からのＳＤ信号は、クラス分類回路１５に供給されてクラス分類が行われ、決定されたクラスのインデックスをアドレスとして予測係数ＲＯＭ１６がアクセスされて予測係数が読み出され、予測演算回路１３に送られる。
【００１３】
予測演算回路１３は、推定演算回路あるいは補間値生成回路とも称され、クラス毎に適応的に選択された予測係数により予測演算を行うことで、入力されたＳＤデータに対するＨＤデータを算出するものである。予測演算回路１３にて予測演算されることにより得られたＨＤ信号は、出力端子１４より取り出される。予測係数ＲＯＭ１６には、予測係数が記憶されている。
【００１４】
クラス分類回路１５は、例えば入力信号をＡＤＲＣ（適応型ダイナミックレンジ符号化）することによりクラス情報を出力するＡＤＲＣ回路１７と、上述した空間勾配及び時間勾配を用いた動きベクトルを用いてクラス情報を出力する動き検出回路２０と、これらのＡＤＲＣ回路１７及び動き検出回路２０からのクラス情報が送られてクラスコードを生成するクラスコード生成回路１８とを有して構成されている。
【００１５】
上記ＡＤＲＣ回路１７における適応型ダイナミックレンジ符号化とは、特開昭６１−１４４９８９号公報等に開示されるように、本来ビデオ信号の高能率圧縮符号化のために開発されたものであるが、ビデオ信号のレベル分布のパターンを短い語長で効率的に表現できることから、このＡＤＲＣ符号化データに基づいてクラス分類のための情報を得ているものである。すなわち、ビデオ信号の符号化単位となるブロック内のダイナミックレンジＤＲは、当該ブロック内の最大値ＭＡＸ及び最小値ＭＩＮにより、
ＤＲ ＝ ＭＡＸ−ＭＩＮ＋１
と表せ、ブロック内の各画素データのレベルＬをｎビットに再量子化するときの再量子化コードＱは、
Ｑ ＝［（Ｌ−ＭＩＮ＋0.５）・２n／ＤＲ］
ただし、［ ］は切り捨て処理を意味する
となる。上記ブロック内の再量子化コードＱを用いて、当該ブロックのビデオ信号をクラス分類するための情報を求める。上記図１の例では、４ビットのクラス情報を得て、クラスコード生成回路１８に送っている。
【００１６】
上記動き検出回路２０は、例えば図２に示すように構成されている。この図２において、入力端子２１には、上記図１の入力端子１１に供給された標準解像度のＳＤ信号が入力され、水平及び垂直方向の空間勾配を計算する空間勾配算出回路２２と、時間勾配としてのフレーム差分を計算する時間勾配算出回路２３とに送られている。空間勾配算出回路２２からの空間勾配Δｓは、例えば１０ビットの語長をもっており、非線形量子化処理を実現するためのＲＯＭ２４に送られて４ビットのデータに変換される。また、時間勾配算出回路２３からのフレーム差分Δｆは、例えば１０ビットの語長をもっており、非線形量子化処理を実現するためのＲＯＭ２５に送られて４ビットのデータに変換される。これらのＲＯＭ２４，２５からの各４ビットのデータはＲＯＭ２６に送られ、ＲＯＭ２６では８ビット入力をアドレスとして４ビットのクラス情報を変換し、出力端子２７より取り出される。この４ビットのクラス情報は、図１のクラスコード生成回路１８に送られる。
【００１７】
ところで、空間勾配算出回路２２及び時間勾配算出回路２３からの各１０ビットの勾配データΔｓ，Δｆに基づいて直接上記４ビットのクラス情報を求めようとすると、例えば図３に示すような大容量のＲＯＭ２９構成が必要となる。このＲＯＭ２９は、入力２０ビットをアドレスとして４ビットデータを出力することから、４１９４３０４ビットもの大容量が必要とされる。これに対して、上記図２の構成によれば、ＲＯＭ２４，２５がそれぞれ４０９６ビット、ＲＯＭ２６が１０２４ビットで、合計９２１６ビットの記憶容量で済む。
【００１８】
次に、上記空間勾配算出回路２２及び時間勾配算出回路２３における勾配の計算内容と、これらの勾配データから動きベクトルを求める計算内容について説明する。
【００１９】
画面上の座標（ｘ，ｙ）における現在フレームの画素値をｇ1（ｘ，ｙ） とし、同じ空間位置の１フレーム前（過去）の画素値をｇ0（ｘ，ｙ） とする。ｘは水平方向、ｙは垂直方向の画素毎に整数値をとる座標値であり、右側及び上側をそれぞれ正の向きとする。このとき、座標（ｘ，ｙ）における水平空間勾配、垂直空間勾配、及びフレーム差分（時間勾配）は、
右側水平勾配：Δｘr ＝ ｇ1(x,y) − ｇ1(x+1,y)
左側水平勾配：Δｘl ＝ ｇ1(x-1,y) − ｇ1(x,y)
上側垂直勾配：Δｙa ＝ ｇ1(x,y) − ｇ1(x,y+1)
下側垂直勾配：Δｙu ＝ ｇ1(x,y-1) − ｇ1(x,y)
フレーム差分：Δｔ ＝ ｇ1(x,y) − ｇ0(x,y)
の各式で計算される。
【００２０】
これらの式から、水平、垂直方向の勾配法による動きベクトルの各方向成分、すなわち、水平方向の動きベクトルＶX 及び垂直方向の動きベクトルＶY は、
右側水平方向：ＶXr ＝ （ΣΔｔsign(Δｘr)）／（Σ｜Δｘr｜）
左側水平方向：ＶXl ＝ （ΣΔｔsign(Δｘl)）／（Σ｜Δｘl｜）
水平方向 ：ＶX ＝ （ＶXrとＶXlとの内の絶対値の大きい方）
上側垂直方向：ＶYa ＝ （ΣΔｔsign(Δｙa)）／（Σ｜Δｙa｜）
下側垂直方向：ＶYu ＝ （ΣΔｔsign(Δｙu)）／（Σ｜Δｙu｜）
垂直方向 ：ＶY ＝ （ＶYaとＶYuとの内の絶対値の大きい方）
の各式で計算する。
【００２１】
これらの式中の“Σ”は、例えば縦横３×３の成分の総和をとることが挙げられ、具体的には、例えば図４に示すような構成により実現できる。この図４は、水平方向差分の絶対値の総和（Σ｜Δｘ｜）をとる場合の例を示しており、端子３１から入力された画素値ｇは、１画素分だけ遅延させる遅延回路３２と減算器３３とにより水平方向の隣接画素間の差分がとられ、絶対値化回路３４により絶対値がとられ、遅延マトリクス回路３５により縦横３×３の成分が取り出され、総和器３６によりこれらの３×３の成分の総和がとられて、端子３７より出力される。遅延マトリクス回路３５は、それぞれ１画素分だけ遅延させる９個の遅延回路ＤＬA と、それぞれほぼ１ライン分だけ遅延させる２個の遅延回路ＤＬB とを有して成り、各遅延回路ＤＬA からの出力が縦横で隣接する３×３の成分となっている。なお、垂直方向差分の絶対値の総和（Σ｜Δｙ｜）をとる場合には、遅延回路３２として１ライン分遅延させるものを用いればよい。
【００２２】
以上のようにして、勾配法を用いて動きベクトルを求めることができる。この勾配法の特長としては、画素以下の動きベクトルの精度が良い、ということが挙げられる。
【００２３】
ここで、上述したような勾配法を用いて動きベクトルを求めるためのハードウェアを考察する。先ず、上述した式の通りの演算を行わせる場合には、割る数も割られる数も共に１０ビット程度の語長を持っており、割り算に必要な語長が２０ビット位になってしまい、ゲート規模が大きくなってしまう。しかしながら、勾配法の結果をクラス情報として使用する場合はそれほど精度を必要としないため、簡略化しても問題を生じることは少ない。また、線形演算の結果をそのまま利用するよりは、クラスとしては非線形の偏りを持たせた方がより精度が向上することがある。
【００２４】
そこで本実施の形態においては、前述したように、図２に示す構成を用い、非線形要素と小型化を兼ねあわせたＲＯＭによる勾配法クラス生成を実現している。簡単のために、上記の式を一般化し、動きベクトルＶを、空間勾配Δｓとフレーム差分（時間勾配）Δｆとで、
Ｖ ＝ Δｆ／Δｓ
のように表す。
【００２５】
図２のＲ０Ｍ２４は、フレーム差分Δｆの非線形量子化を行うためのもので、入力アドレスが１０ビットで、出力データが例えば４ビットのものを使用する。また、ＲＯＭ２５は、空間勾配Δｓの非線形量子化を行うためのもので、ＲＯＭ２４と同様に、入力アドレスが１０ビットで、出力データが例えば４ビットのものを使用する。これらのＲＯＭ２４、２５の記憶容量は、いずれも４０９６ビットである。非線形量子化については、種々の手法があるが、例えば図５に示すような入力を圧縮して出力するものが挙げられる。この図５はデータが正の値のみ有する場合の例であるが、正負の値を有するデータの場合には、図６に示すような非線形量子化も挙げられる。
【００２６】
ＲＯＭ２６は、ＲＯＭ２４、２５の各出力が入力され、入力アドレスが８ビットで出力データが例えば４ビットのものを使用する。このＲＯＭ２６の記憶容量は１０２４ビットであり、出力されるクラス（動きベクトルに応じたクラス）は１６クラスとなる。ＲＯＭ２６の内容については、単なる割り算の結果ではなく、性能が向上するようチューニングしたものを用いればよい。次の表１は、入力される各４ビットのΔｓ，Δｆに対する４ビットのクラスコード値のテーブルの一例を示すものである。
【００２７】
【表１】
このような構成によれば、前述したように、ＲＯＭ２４，２５がそれぞれ４０９６ビット、ＲＯＭ２６が１０２４ビットで、合計９２１６ビットの記憶容量で済む。これは、上記図３に示すような構成に用いられるＲＯＭ２９が、入力２０ビットをアドレスとして４ビットデータを出力するために４１９４３０４ビットもの大容量が必要とされることを考慮すれば、本発明の実施の形態により、ハードウェア構成を大幅に簡略化できることが明らかである。
【００２９】
次に、上記図１に示したクラス分類を伴う変換処理のクラス毎の予測係数を最小自乗法によって求めるための学習装置について、図７を参照しながら説明する。この具体例では、上記図１に示す信号処理装置として、標準あるいは低解像度の映像信号に相当する標準テレビジョン信号（ＳＤ信号）を、高解像度の映像信号であるいわゆるＨＤＴＶ信号（ＨＤ信号）に変換する装置を想定し、このＳＤ信号をＨＤ信号に変換する変換装置に用いられる予測係数を求めるための学習を行うための学習装置を図７に示している。
【００３０】
図７の入力端子５１には、教師信号となる高解像度のＨＤ信号が供給されており、このＨＤ信号をダウンコンバータ５２に送ってローパスフィルタリング処理やダウンサンプリング処理等を施すことにより、ＨＤ信号に対応する擬似的な標準解像度のＳＤ信号を得ている。これらのＨＤ信号及びＳＤ信号は、正規方程式生成回路５３に送られる。また、ダウンコンバータ５２からのＳＤ信号は、ＡＤＲＣ（適応ダイナミックレンジ符号化）回路５４及び動き検出回路５５に送られて、それぞれクラス情報が求められ、これらのクラス情報がクラスコード生成回路５６に送られてクラスコードが生成される。これらのＡＤＲＣ回路５４、動き検出回路５５及びクラスコード生成回路５６は、それぞれ上記図１のＡＤＲＣ回路１７、動き検出回路２０及びクラスコード生成回路１８に相当するものであるため、説明を省略する。
【００３１】
クラスコード生成回路５６から出力されたクラスコードは、正規方程式生成回路５３に送られる。正規方程式生成回路５３は、クラス毎にそれぞれ正規方程式を生成する回路であり、学習素材が入力し終わった後に得られた各クラス毎の正規方程式を連立方程式解法回路５７に送り、各クラス毎に正規方程式から連立方程式を解いて各クラス毎の予測係数を求め、これらの各クラス毎の予測係数を予測係数メモリ５８に記憶する。この予測係数メモリ５８の記憶内容が、図１の予測係数ＲＯＭ１６に書き込まれて用いられる。
【００３２】
以上説明したような本発明の実施の形態によれば、映像信号の入力に対して勾配法によるクラス分類を行って適応的な変換処理を行う際に、時間勾配（フレーム差分）と、空間勾配（隣接画素差分）をそれぞれ非線形量子化するための２種類のＲＯＭ２４，２５を持ち、さらにその２種類のＲＯＭ出力を入力し、クラス情報を発生する第３のＲＯＭ２６を持つことにより、これらを１つのＲＯＭで構成する場合に比べて小さいハードウェアで済み、しかも、各ＲＯＭ２４，２５やＲＯＭ２６の入出力特性をチューニングすることで、性能向上も図れる。
【００３３】
なお、本発明は上述した実施の形態のみに限定されるものではなく、例えば、クラス分類は、ＡＤＲＣと組み合わせて行っているが、勾配法のみ、あるいは他のクラス分類手法との組み合わせで最終的なクラス分類を行わせてもよい。また、標準解像度の映像信号（ＳＤ信号）を高解像度の映像信号（ＨＤ信号）に変換する場合のみに限定されず、所定解像度の映像信号を他の解像度の映像信号に変換する場合や、所定のサンプリング周波数あるいはサンプルビット数のオーディオ信号を、他のサンプリング周波数やサンプルビット数のオーディオ信号に変換する場合等にも適用できることは勿論である。
【００３４】
【発明の効果】
本発明によれば、入力信号をクラス分類し、分類されたクラスに応じた予測係数予測係数を用いて予測演算して予測値を出力する際に、上記クラス分類処理は、上記入力信号の空間勾配及び時間勾配を求め、上記空間勾配を第１の変換テーブルにより非線形量子化し、上記時間勾配を第２の変換テーブルにより非線形量子化し、これらの第１及び第２の変換テーブルからの各出力を第３の変換テーブルによりクラス情報に変換しているため、勾配法を用いたクラス分類が簡単なハードウェア構成で容易に実現できる。
【００３５】
また、適応型ダイナミックレンジ符号化により得られるクラス情報と、上記第３の変換テーブルからの符号化情報とに基づいて、クラスコードを生成することにより、性能の良いクラス分類が行える。
【図面の簡単な説明】
【図１】本発明の実施の形態として、クラス分類を伴う変換処理を行う画像情報変換装置の一例を示すブロック図である。
【図２】本発明の実施の形態の画像情報変換装置に用いられる勾配法によりクラス情報を生成するための動き検出部を示すブロック図である。
【図３】従来の画像情報変換装置に用いられる勾配法によりクラス情報を生成するための動き検出部を示すブロック図である。
【図４】勾配法における動きベクトル検出のための水平方向差分の総和をとるための構成の一例を示すブロック図である。
【図５】ＲＯＭテーブルによる非線形量子化の入出力特性を示す特性図である。
【図６】ＲＯＭテーブルによる非線形量子化の入出力特性の他の例を示す特性図である。
【図７】本発明の実施の形態を説明するための、クラス分類を伴う変換処理の予測係数を求めるための学習装置の一例を示すブロック図である。
【符号の説明】
１２ 予測タップ生成回路、 １３ 予測演算回路、 １５ クラス分類回路、 １６ 予測係数ＲＯＭ、 １７ ＡＤＲＣ（適応型ダイナミックレンジ符号化）回路、 １８ クラスコード生成回路、 ２２ 空間勾配算出回路、 ２３時間勾配算出回路、 ２４，２５，２６ ＲＯＭ
Claims (6)
- 入力信号をクラス分類するクラス分類手段と、
上記クラス分類手段により分類されたクラスに応じた予測係数を出力する予測係数出力手段と、
上記入力信号を上記予測係数出力手段からの予測係数を用いて予測演算して予測値を出力する予測演算手段とを有し、
上記クラス分類手段は、
上記入力信号の空間勾配を求める空間勾配算出手段と、
上記入力信号の時間勾配を求める時間勾配算出手段と、
上記空間勾配算出手段からの出力を非線形量子化するための第１の変換テーブルと、
上記時間勾配算出手段からの出力を非線形量子化するための第２の変換テーブルと、
上記第１及び第２の変換テーブルからの各出力を入力とし、上記第２の変換テーブルからの出力を上記第１の変換テーブルからの出力で除算した値に基づく値をクラス情報として出力する第３の変換テーブルと、
上記第３の変換テーブルから出力されるクラス情報と、上記入力信号をパターン分類して得られるクラス情報とに基づいて、クラスコードを発生するクラスコード発生手段と
を有する信号処理装置。 - 上記クラス分類手段は、適応型ダイナミックレンジ符号化により上記入力信号をパターン分類して得られるクラス情報と、上記第３の変換テーブルからの符号化情報とに基づいて、クラスコードを生成する請求項１記載の信号処理装置。
- 上記入力信号はビデオ信号であり、上記空間勾配は、水平方向の隣接画素間の差分をとって得られる水平空間勾配と、垂直方向の隣接画素間の差分をとって得られる垂直空間勾配とを有し、上記時間勾配は画素のフレーム差分をとって得られるものである請求項１記載の信号処理装置。
- 入力信号をクラス分類し、分類されたクラスに応じた予測係数予測係数を用いて予測演算して予測値を出力する信号処理方法において、
上記クラス分類処理は、上記入力信号の空間勾配及び時間勾配を求め、上記空間勾配を第１の変換テーブルにより非線形量子化し、上記時間勾配を第２の変換テーブルにより非線形量子化し、これらの第１及び第２の変換テーブルからの各出力を第３の変換テーブルにより、上記第２の変換テーブルからの出力を上記第１の変換テーブルからの出力で除算した値に基づく値としてのクラス情報に変換し、上記第３の変換テーブルから出力されるクラス情報と、上記入力信号をパターン分類して得られるクラス情報とに基づいて、クラスコードを発生する信号処理方法。 - 上記クラス分類処理は、適応型ダイナミックレンジ符号化により上記入力信号をパターン分類して得られるクラス情報と、上記第３の変換テーブルからの符号化情報とに基づいて、クラスコードを生成する請求項４記載の信号処理方法。
- 上記入力信号はビデオ信号であり、上記空間勾配は、水平方向の隣接画素間の差分をとって得られる水平空間勾配と、垂直方向の隣接画素間の差分をとって得られる垂直空間勾配とを有し、上記時間勾配は画素のフレーム差分をとって得られるものである請求項４記載の信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27898798A JP4164912B2 (ja) | 1998-09-30 | 1998-09-30 | 信号処理装置及び信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27898798A JP4164912B2 (ja) | 1998-09-30 | 1998-09-30 | 信号処理装置及び信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000113167A JP2000113167A (ja) | 2000-04-21 |
| JP4164912B2 true JP4164912B2 (ja) | 2008-10-15 |
Family
ID=17604847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27898798A Expired - Fee Related JP4164912B2 (ja) | 1998-09-30 | 1998-09-30 | 信号処理装置及び信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4164912B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| JP4441846B2 (ja) * | 2003-02-28 | 2010-03-31 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2009135878A (ja) * | 2007-11-06 | 2009-06-18 | Sony Corp | 画像処理装置及び方法、学習装置及び方法、並びにプログラム |
-
1998
- 1998-09-30 JP JP27898798A patent/JP4164912B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000113167A (ja) | 2000-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4847076B2 (ja) | トランスコーディングのために出力マクロブロック及び動きベクトルを推定する方法及びトランスコーダ | |
| KR19990036105A (ko) | 화상 정보 변환 장치와 방법 및 적화 연산 회로와 방법 | |
| JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP4164912B2 (ja) | 信号処理装置及び信号処理方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| EP0654941A2 (en) | Motion detection circuit and method using spatial information | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JPH1023420A (ja) | 動き検出方法および動き検出装置 | |
| JPH10136317A (ja) | 画像信号変換装置および方法 | |
| JP3784086B2 (ja) | 映像信号符号化・復号化装置及び符号化・復号化方法 | |
| JP3326879B2 (ja) | 画像信号変換装置 | |
| JP3480015B2 (ja) | 画像データの生成装置および生成方法 | |
| JPH06133297A (ja) | 解像度変換された画像の動き補償方法と装置 | |
| JPH08307835A (ja) | クラス分類適応処理装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3861325B2 (ja) | 動きベクトル検出装置および検出方法 | |
| JPH06178277A (ja) | 画像情報変換装置 | |
| JP3824176B2 (ja) | 画像信号変換方法、画像信号変換装置及び画像信号伝送装置 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP3831955B2 (ja) | クラス分類適応処理装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050825 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080721 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |