JPH1040235A - 行列乗算器 - Google Patents
行列乗算器Info
- Publication number
- JPH1040235A JPH1040235A JP8192367A JP19236796A JPH1040235A JP H1040235 A JPH1040235 A JP H1040235A JP 8192367 A JP8192367 A JP 8192367A JP 19236796 A JP19236796 A JP 19236796A JP H1040235 A JPH1040235 A JP H1040235A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- constant
- data
- multiplication
- multiplier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Complex Calculations (AREA)
Abstract
る。 【解決手段】 DCT係数行列[X]の要素Xは、行単
位で順次的に複数の乗算器51に与えられ、定数行列
[c]の乗算定数C1〜C7と個々に乗算される。複数
の選択器52a〜52dでは、各選択器52に接続され
る複数の累積回路53a,53h;53b,53g;5
3c,53f;53d,53eにおいて乗算行列[p]
の演算されるべき要素が属する列と同じ列番号の定数行
列[c]の列の要素の絶対値と等しい乗算定数と要素X
との積を示す出力選択データaを選択して、該選択器5
2に接続される累積回路53に導出する。各累積回路で
は、該積と累積メモリ58の累積データΣaが表す累積
値とを、各回路53に対応する列および要素Xが属する
行にそれぞれ属する定数行列[c]の要素の符号に応じ
て加算または減算して、要素pを得る。
Description
における行列演算において好適に用いられる行列乗算器
に関する。
スチルカメラである撮像装置において、撮像された画像
を示す画像信号は符号化されて記録されることが多い。
画像信号の符号化処理および信号の圧縮処理を行う符号
化装置として、2次元離散コサイン変換法(Discrete C
osine Transform;以後、「DCT」と略称することが
ある)を利用した装置が多く用いられる。離散コサイン
変換法は周波数変換法の一種であり、その演算手法は離
散フーリエ変換法の演算手法に類似する。
数の画素が行列状に配置されて構成される。画像信号
は、たとえば各画素の輝度を示す画素データの集合であ
る離散信号である。この画像信号を符号化するとき、符
号化装置では、まず画像を複数の画素を含むブロックに
分割し、画像信号のうち各ブロック内の画素データだけ
からなる分割信号を生成する。次いで、各ブロック毎
に、該ブロックの分割信号に対して符号化処理を施す。
符号化された画像信号は、符号化処理が施された分割信
号である符号化信号の集合である。画像のブロックは、
たとえば(8×8)個の画素が8行8列に配置されるよ
うに設定される。
下に示す。
[x]は分割信号であり、(8×8)個の画素データを
要素とする8行8列のデータ行列である。[c]は2次
元離散コサイン変換の演算における乗算定数を要素c1
1〜c88とする8行8列の定数行列である。t[c]
は、定数行列[c]の転置行列である。[X]は、符号
化処理が施された分割信号であり、(8×8)個のDC
T係数を要素とする8行8列のDCT係数行列である。
である2次元逆離散コサイン変換法(Inverse Discrete
Cosine Transform;以後、「IDCT」と略称するこ
とがある)の変換式を、以下に示す。
1の電気的構成を示すブロック図である。演算装置1
は、行列乗算器3,6、定数記憶回路4,7、および中
間結果蓄積回路5を含んで構成される。演算装置1では
DCT係数行列[X]を入力行列とし、該行列[X]に
2次元逆離散コサイン変換法に基づく変換処理を施し
て、データ行列[x]を復号し出力する。
えられ、定数記憶回路4に記憶される定数行列[c]と
乗算される。この乗算で得られる行列積([X]・
[c])は、中間結果蓄積回路5に一時的にストアされ
る。さらに該行列積は行列乗算器6に与えられ、定数記
憶回路7に記憶される転置行列t[c]と乗算される。
この行列積(t[c]・[X]・[c])が、データ行
列[x]として出力される。
回路図である。行列乗算器3では、DCT係数行列
[X]に定数行列[c]を後ろから掛ける乗算を行う。
以後、この乗算で得られる行列積([X]・[c])を
乗算行列[p]と表す。
部9をデータ行列[x]の行の数と同数有する。各DC
T演算部9は、乗算器10、加算器11、および累積器
12を有し、任意の第i行の単一要素xin(i=1以
上8以下の任意の整数;n=1〜8)の演算を個別的に
行う。ゆえに、行列乗算器3では、乗算行列[p]の各
要素pのうち、同一列に属する要素p1n〜p8nの演
算を並行して同時に行うことができる。
各要素p1n〜p8nの演算における行列乗算器3に対
する入出力値の変遷を示す動作シーケンスを示す表であ
る。
(i,n=1〜8)は、各DCT演算部9に入力される
演算変数を示す。演算変数Xiには、行列入力端13か
ら入力されるDCT係数行列[X]の要素Xinが代入
される。演算変数cnには、定数行列[c]の要素ci
nが代入される。また、表1において「ΣXi・c」
は、各DCT演算部9の累積器12にストアされる累積
変数を示す。表1および図6を併せて説明する。これら
の説明で、変数i,nは1以上8以下の任意の自然数で
ある。
任意の列の要素が演算される。この演算処理では、乗算
器10における単一回の乗算動作および加算器11にお
ける単一回の累積動作を含む乗算累積動作が、DCT係
数行列[X]の列の数と同数回だけ繰返される。
入力端13からは、DCT係数行列[X]の任意の第n
列に属する要素X1n〜X8nが入力され、各DCT演
算部9の乗算器10にそれぞれ与えられる。また、各乗
算器10には、定数発生回路14から、定数行列[c]
の第i行第n列に属する同一の定数要素cinが与えら
れる。各乗算器10では、変数要素X1n〜X8nと定
数要素cinとが乗算され、その積が加算器11に与え
られる。加算器11には、累積器12にストアされるそ
れまでの積の累積値Σ(X1・c)〜Σ(X8・c)が
与えられている。加算器11では、積(X1n・ci
n)〜(X8n・cin)と累積値Σ(X1・c)〜Σ
(X8・c)とがそれぞれ累積加算される。この累積結
果は、再度累積器12にストアされる。
の第1列〜第8列に関して順次的に繰返して得た最終的
な累積値Σ(X1・c)〜Σ(X8・c)は、乗算行列
[p]の第n列の要素p1n〜p8nと一致する。最終
的な累積値が得られると、選択器15は、各DCT演算
部9の累積器12にストアされた値を順次的に中間結果
蓄積回路5に導出する。
個の要素を含む出力行列を得るためには、生成された定
数要素cinと行列要素Xin(i,n=1以上I,N
以下の任意の自然数)との演算を、各乗算器10におい
てそれぞれ個別的に演算する必要があり、演算処理の処
理量が極めて多い。また、演算処理の対象となる変数行
列および定数行列の要素の数が増加するほど、演算処理
の処理量が増大する。また、出力行列の列の数と同数の
DCT演算部9を有する必要があるので、変数および定
数行列の行及び列の数が増加すると、回路構成もまた増
大する。
行列[c]の各要素cinは、以下の式で定義される。
[c]の各要素は余弦関数を含み周期的に変化する。し
たがって、行列[c]全体として、各要素の値の種類
は、要素の数よりも少なくなる。これによって、行列
[c]は該要素の数未満の数の定数で表すことができる
状態に縮退している。たとえば定数行列[c]の各要素
cinは、定数C1〜C7およびその負の値(−C1)
〜(−C7)のいずれかとなるように、定数行列[c]
は縮退している。
上述したIDCT演算装置に用いられる行列乗算器に関
する第2の従来技術が開示されている。図7は、本公報
に開示される行列乗算器21の詳細な構成を示す回路図
である。行列乗算器21は、たとえば第1の従来技術の
行列乗算器6と同じく2次元逆離散コサイン変換法の演
算処理における乗算([X]・[c])を行う。行列乗
算器21の単一回の演算動作では、乗算行列[p]の単
一行に属する複数の要素を並列して求める。
任意の第i行第n列に属する要素Xinが、行列入力端
22を経て複数の乗算器23に与えられ、定数C1〜C
7と乗算される。この乗算で得る積(C1・Xin)〜
(C7・Xin)は、複数の乗算器23の後段に設けら
れる累積部25の選択器26にそれぞれ与えられる。累
積部25は、乗算行列[p]の列の数と同数設けられ、
各列に属する要素pin(i=1〜8)を演算する。各
累積部25では、選択器26で与えられた積(C1・X
in)〜(C7・Xin)のうち、該列の要素の演算に
必要な積を選択し、加減算器27においてそれまでの累
積結果に加算または減算して累積し、累積器28にスト
アさせる。選択器26における結果の選択および加減算
器27における加減算の選択は、選択器制御回路29に
よって制御される。このような乗算累積動作が第i行に
関し列の数と同数繰返された後に、選択器30は累積器
28のストア結果を乗算行列[p]の要素pとして出力
する。
他の行列乗算器31の構成を示す回路図である。この行
列乗算器31は前述した行列乗算器21と類似の構成を
有し、同一の動作を行う構成要素には同一の符号を付
し、説明は省略する。行列乗算器31は、DCT演算装
置において乗算([x]・t[c])をするときに用い
られる。該演算器31の各累積部25の選択器32に
は、各乗算器23からの出力のうち、各累積部における
累積演算に用いられる積だけが与えられる。また、転置
行列[c]の列のうち単一の定数Cで表される列に関す
る累積演算が行われる累積部25では、選択器が削除さ
れ直接加減算器27に積が与えられる。
に開示される行列乗算器21,31では、基本的に乗算
行列[p]の行または列の数と同数の選択器が必要とさ
れる。これら各選択器は与えられる積の数が多く選択処
理の処理量が大きいので、回路構成が大きい。したがっ
て、このような選択器を多く有する行列乗算器21,3
1自体の回路構成が増大する。乗算行列[p]の行また
は列の数が増大すると、この回路構成は更に増大する。
型化された行列乗算器を提供することである。
定数行列とを乗算して、その積を表す出力行列を得る行
列乗算器において、被乗数行列は、複数の行および列を
有し、該行列の各要素を示す入力要素データから成る信
号で表され、出力行列は、複数の行および列を有し、該
行列の各要素を示す出力要素データから成る信号で表さ
れ、定数行列は、該行列の要素の数よりも少ない複数の
予め定める乗算定数から成る複数の行および列を有し、
少なくとも2つの列または行を構成する乗算定数の絶対
値の配列が等しく、各乗算定数の絶対値を示す定数デー
タと、該行列の各列または行内の位置であって、各入力
要素データが属する被乗数行列の行または列内の該デー
タの位置と対応する位置であり、該位置の該定数行列の
要素の絶対値と等しい定数データを示す配列データと、
各出力要素データの演算に用いられる該行列の各列また
は行毎の各要素の符号の配列を示す符号データとから成
る信号で表され、定数データの数と同数準備され、被乗
数行列の行または列単位で順次的に与えられる入力要素
データと各定数データとを乗算して、積を示す積データ
をそれぞれ出力する定数乗算手段と、乗算定数の絶対値
の異なる配列の数だけ準備され、積データから該配列と
等しい配列を有する定数行列の列または行の配列データ
が示す定数データと該入力要素データとの積であるいず
れか1つの積データを選択する累積選択手段と、出力行
列の列または行の各出力要素データを個別的に生成する
複数の累積手段であって、累積選択手段で選択された積
データを、符号データに応じて加算または減算して、該
入力要素データが属する被乗数行列の行または列単位で
累積する累積手段とを含み、演算に用いる定数行列の列
または行の乗算定数の絶対値の配列が等しい累積手段に
は、同一の累積選択手段から選択された積データが与え
られることを特徴とする行列乗算器である。本発明に従
えば、行列乗算器は、任意の変数を要素とする被乗数行
列[z]と予め定める乗算定数を要素とする定数行列
[c]とを乗算して、その行列積である出力行列を求め
る。定数行列は、その要素の数よりも少ない乗算定数か
ら構成される。この定数行列の複数の列および行のいず
れか一方群のうち、少なくとも2つの一方群を構成する
乗算定数の絶対値の配列が等しい。また乗算定数には、
たとえば絶対値が等しく符号が正および負である一対の
正および負の定数が含まれる。 被乗数行列および出力行列は、それぞれ各要素を示す要
素データから成る信号の形式で表される。また定数行列
は、定数データ、符号データおよび配列データから成る
信号の形式で表される。定数データは各乗算定数の絶対
値を示す。符号データは、定数行列の各定数要素の符号
を該行列の列または行単位で示す。また配列データは、
各定数要素の絶対値がいずれの定数データで表されるも
のであるかを、定数行列の各列および行単位で、該定数
要素を出力要素の演算に用いるとき共に用いる入力要素
の配列位置に対応させて示す。 行列乗算器には、被乗数行列[z]の入力要素を示す入
力要素データが、たとえば列および行のいずれか他方群
に属するものを1群の単位として個別的に与えられる。
該他方群に属する入力要素データは、乗算定数の絶対値
の数と同数の定数乗算手段の全てに与えられ、各手段で
各定数データと乗算される。これによって、各入力要素
データ毎に、各乗算定数の絶対値と該入力要素との積を
示す積データが乗算定数の絶対値の数と同数生成され
る。これら複数の積データは、複数の累積選択手段にそ
れぞれ全て与えられる。 前述したように乗算定数に1対の正および負の定数が含
まれるとき、該積に定数の符号に応じて「1」または
「−1」を乗算すれば、該一対の定数と入力要素との積
が得られる。これは、累積演算において、加算または減
算を切換えて行うことと等価である。ゆえに、各定数乗
算手段で乗算定数の絶対値と各入力要素とを乗算させる
ようにすると、乗算定数から該一対の定数の負の定数を
除いた残余の定数の分だけ該手段を準備すれば良くな
る。したがって、定数乗算手段での演算処理を簡略化
し、また該手段の回路構成を縮小することができる。 累積選択手段は、定数行列の一方群の数よりも少ない数
だけ準備される。各累積選択手段は、定数行列の複数の
一方群の乗算定数の絶対値の配列のうち、いずれかの配
列に個別的に対応する。また各累積選択手段が対応する
配列は、相互に異なる。これら各累積選択手段には、そ
れぞれ1または複数の累積手段が接続される。各累積手
段では、出力行列の一方群に属する複数の出力要素デー
タを個別的に求める。このとき単一の累積選択手段に接
続される累積手段は、累積選択手段に対応する該配列と
同じ配列を有する定数行列の一方群を用いて、出力行列
の要素を演算するものが選ばれる。 たとえば、被乗数行列[z]をI行M列の行列とし、定
数行列[c]をM行N列(I,M,Nは、任意の自然
数)の行列とし、定数行列の任意の2つの列である第p
列および第q列(p,qは1以上N以下の異なる任意の
自然数)の乗算定数の絶対値の配列が等しいとする。行
列乗算器では、この被乗数行列[z]の後ろから定数行
列[c]を乗算して、行列積であるI行N列の出力行列
[v]([v]=[z]・[c])を得るものとする。
このとき、行列乗算器では、出力行列の任意の行に属す
る複数の要素を並行して求めるものとする。以後、行列
[α]の第i行第j列(i,jは1以上I,M,N以下
の任意の自然数)に属する要素を「αij」と表す。 出力行列[v]の出力要素vijは、被乗数行列[z]
の第i行の全ての入力要素zi1〜ziJと、定数行列
[c]の第j列の全ての定数要素c1j〜cMjとの積
の累積値(zi1・c1j+zi2・c2j+…+zi
M・cMj)である。この累積値は、入力要素zijと
定数要素の絶対値|cij|との要素積(zij・|c
ij|)を、定数要素cijの符号に応じて加算または
減算して累積した値と見なすことができる。この要素積
は、各定数乗算手段からの積データのうちのいずれか1
つに対応する。 ゆえに各累積選択手段では、入力要素zijが与えられ
るとき、複数の積データのうちの定数要素c1j〜cM
jの絶対値と等しい乗算定数の絶対値と該入力要素との
積データをそれぞれ選ぶ。入力要素zijに対応する定
数要素c1j〜cMjの絶対値がいずれの定数データと
等しいかは、配列データによって示されている。選ばれ
た積データを、符号データに基づいて各累積手段で各定
数要素c1j〜cMjの符号に応じて加算または減算し
て累積すると、各出力要素vi1〜viNがそれぞれ得
られる。このように、出力要素vi1〜viNの演算に
用いられる要素積は、各乗算定数の絶対値と入力要素z
ijの積の中に含まれる。ゆえに、各入力要素zi1〜
ziMに関して該積データを全て求めるようにしておけ
ば、出力要素vi1〜viNの累積演算を並列して行う
ことができる。 上述したように第p列および第q列の乗算定数の絶対値
の配列が等しいとき、これら2つの列の各定数要素の絶
対値と被乗数行列[z]の任意の第i行の各要素との要
素積(zij・|cip|),(zij・|ciq|)
が等しい。したがって、たとえば出力要素vi1〜vi
Nの演算が行われる場合であって入力要素zi1の入力
要素データが与えられるとき、出力行列[v]の第p列
および第q列の出力要素データを得る累積手段で加算ま
たは減算されるべき積データは等しい。ゆえに、複数の
積データのうちからこの積データを選択する累積選択手
段を共有化することができる。これによって、累積選択
手段の数を、累積手段の数よりも減少させることができ
る。 また、絶対値の配列が3つ以上の列で等しいときには、
該列を用いて出力要素データを演算する累積手段を全て
同一の累積選択手段に接続して、さらに累積選択手段の
数を減少させることができる。さらにまた、2種類以上
の異なる絶対値の配列に関してそれぞれ配列が等しい2
つ以上の列があるとき、該配列に対応する各累積選択手
段にそれぞれ複数の累積手段を接続して、さらに累積選
択手段の数を減少させることができる。 以上の説明では、絶対値の配列が定数行列[c]の列で
等しく、また定数行列[c]を被乗数行列[z]の後ろ
から掛ける演算であるとした。上述した行列乗算器で
は、列単位で入力要素データを代入し、各累積選択手段
で定数行列の行の絶対値の配列に応じて積データを選択
させ、同一行の出力要素vi1〜vi8を並列して累積
演算させると、被乗数行列[z]の前から定数行列の転
置行列t[c]を掛けて得る行列積(t[c]・[z])
を得ることができる。
サイン変換における定数行列であって、前記被乗数行列
は、複数の画素が行列状に配置されて構成される画像を
表し、各画素の輝度を表す画素データから成る画像信号
を2次元離散コサイン変換した2次DCT係数を入力要
素データとする行列であることを特徴とする。 本発明に従えば、上述した行列乗算器は、2次元逆離散
コサイン変換法の演算に用いられる。2次元逆離散コサ
イン変換法は、たとえば電子スチルカメラである撮像装
置において2次元離散コサイン変換法で圧縮処理された
画像信号の伸長処理に用いられる。撮像装置で撮像され
る画像は、行列状に配置された複数の画素から構成され
る。この画像を示す信号は、たとえば各画素の輝度を表
す画素データで構成される。この画素データには、輝度
の他にカラー画像の色差信号が含まれることもある。 画像信号の圧縮処理では、該画像を予め定める数の画素
を含む複数の画像に分割して、分割後の各画像を表す画
像信号に対して個別的に圧縮処理を施すことが多い。こ
のとき画像は、圧縮処理の演算量が過大に成らない量で
あって、変換後の信号の離散幅が過剰に大きくならない
ように分割される。このような分割がなされた画像は、
たとえば(8×8)個の画素から構成される。この画像
の画像信号を2次元DCT変換して得られる圧縮画像信
号は、(8×8)個のDCT係数で構成される8行8列
の2次DCT係数行列で表される。 2次元逆離散コサイン変換法では、定数行列[c]、被
乗数行列である2次DCT係数行列[x]、および該定
数行列の転置行列t[c]との乗算(t[c]・[x]・
[c])を行う。たとえば複数の行および列のDCT係
数行列に対する該変換法で用いられる定数行列[c]
は、同数の行および列から成る行列で表される。該定数
行列の定数要素は、それぞれ余弦関数を含む式で表さ
れ、周期的に変化するので、該行列のうちに絶対値の配
列の等しい列または行が存在する。ゆえに、配列の等し
い列または行に関して、累積選択手段を共有化させるこ
とができる。たとえば該行列を8行8列の行列であると
するとき、定数行列[c]は、配列が等しい列を4対有
する。ゆえに、本来8個必要な累積選択手段を半分の4
個に減少させることができる。 また、該定数行列の各定数要素は周期的に変化して縮退
している、たとえば該行列が8行8列の行列であると
き、各定数要素は14個の乗算定数C1〜C7,−C1
〜−C7のいずれかで表される。また、この乗算定数
は、絶対値が等しく符号が正および負である1対の定数
が7種類あると見なされる。ゆえに、本来14個必要な
定数乗算手段を半分の7個に減少させることができる。 上述した行列乗算器は、たとえば2次DCT係数行列
[X]と該定数行列[c]との行列積([X]・
[c])の演算に用いられる。この行列積の転置行列を
被乗数行列[z]として、同一構成の行列乗算器を用い
て再度定数行列[c]との乗算を行うと、元の画像信号
を表す行列の転置行列{t(t[c]・[X]・[c])
が得られる。ゆえに、行列乗算器の出力を転置して再度
同一行列乗算器に入力する構成で、2次逆離散コサイン
変換法の処理を行う演算回路を得ることができる。この
演算回路は、行列乗算器を2つ用いる従来の回路と比較
して、行列乗算器の数を減少させることができるので、
回路構成が簡略化される。
あるIDCT演算装置41の電気的構成を示すブロック
図である。装置41では、与えられる入力行列に2次元
逆離散コサイン変換法(以後、「IDCT」と略称する
ことがある)に基づく逆周波数変換処理を施して、得ら
れた結果を出力行列として出力する。該装置41は、た
とえば撮像装置において圧縮処理された圧縮画像信号を
復号化するための画像復号回路として用いられる。
散コサイン変換法(以後、「DCT」と略称することが
ある)の逆変換である。2次元離散コサイン変換法は、
たとえば画像信号の符号化処理に用いられる。該変換法
は、符号化処理に用いられる変換法のうち、統計的観点
から最適変換とされるカルーネン・レーヴェ変換法を良
く近似することが知られている。該変換法に基づく周波
数変換処理を行う2次元DCT演算装置では、I行I列
のデータ行列[x]およびM行N列の定数行列[c]か
ら、M行M列のDCT係数行列[X]を得る。定数I,
M,Nは、任意の自然数である。以後、行列[α]の要
素には符号「α」を付して示す。また行列[α]の任意
の第i行第j列に属する要素には、さらに要素の符号に
符号「ij」を付して示す。変数i,jは、1以上行列
[α]の行および列の数以下の任意の自然数である。
に示す。
す。
行I列の行列状に配置されて構成される画像を表す分割
画像信号を表し、各画素の輝度を示す画素データの値を
各データ要素xとする。データ行列[x]を構成するデ
ータ要素xの数は、2次元離散コサイン変換法に基づく
演算処理の演算量が過大にならない数であって、処理後
の信号の離散幅が過剰に大きくならないような数が選ば
れる。たとえば、変数Iの数は、たとえば「8」に設定
される。
れるDCT係数を要素X11〜XMMとする。
換法における変換処理に用いられる乗算定数を要素c1
1〜cMNとする。t[c]は、定数行列[c]の転置
行列である。定数行列[c]の列の数を表す定数Nの数
は、データ行列[x]の行および列の数を表す定数Iの
数と等しい。定数行列[c]を以下に示す。
する要素cmnは、以下の式で規定される。m,nは、
1以上8以下の任意の自然数である。
列[c]の各要素cの絶対値は、7種類の乗算定数C1
〜C7のいずれかと等しい。乗算定数C1〜C7を以下
に示す。以後、「乗算定数C」と総称することがある。
数C1〜C7およびその負の値(−C1)〜(−C7)
である14種類の値で表されるものに縮退されている。
この定数行列[c]を以下に示す。
1列と第8列とを構成する乗算定数Cの絶対値およびそ
の配列は、各行毎にそれぞれ等しいことが解る。同様
に、第2列と第7列、第3列と第6列、および第4列と
第5列とを構成する乗算定数Cの絶対値およびその配列
は、各行毎にそれぞれ等しいことが解る。
1は、選択器43、制御回路44、行列乗算器45、定
数記憶回路46、および中間結果蓄積回路47を含んで
構成される。装置41には、入力行列として8行8列の
DCT係数行列[X]が与えられる。また装置41から
は、8行8列のデータ行列[x]が出力行列として出力
される。
Xは選択器43に与えられる。選択器43にはまた、中
間結果蓄積回路47から後述する乗算転置行列t[p]
の各乗算要素pが与えられる。選択器43は、制御回路
44から与えられる制御信号に基づいて、行列[X],
t[p]のうちいずれか一方の行列の要素を順次的に行
列乗算器45に導出する。たとえば、式(1)に示す演
算処理が開始された直後には、選択器43は該行列
[X]の要素Xを予め定める順序でを行列乗算器45に
導出する。またDCT係数行列[X]を導出した後に乗
算転置行列t[p]が与えられると、該行列t[p]の乗
算要素pを予め定める順序で乗算行列器45に導出す
る。
られる行列要素の他に、定数記憶回路46から前述した
乗算定数C1〜C7が与えられる。行列乗算器45で
は、選択器43から与えられた行列に定数行列[c]を
後ろから乗算する演算を行う。行列乗算器45における
詳細な処理動作は後述する。
与えられたとき、行列乗算器45は、該行列[X]に定
数行列[c]を後ろから掛ける乗算([X]・[c])
をする第1の乗算処理を行う。この乗算で得られる行列
積([X]・[c])を、乗算行列[p]と表す。
回路47にストアされる。前述した乗算転置行列
t[p]は、乗算行列[p]の転置行列である。行列乗
算器45において第1の乗算処理が終了すると、回路4
7は、乗算転置行列t[p]の乗算要素pを予め定める
順序で順次的に選択器43に出力する。該順序は、回路
47に対する乗算要素pの入力順序を転置したものであ
る。
で実現される。該回路47には、データの格納場所を示
すアドレスが複数設定されており、該アドレスは、出力
される行列の行および列に対応する。すなわち、該回路
47に入力される乗算行列[p]の任意の第m行第n列
(m,n=1以上M,N以下の任意の自然数)の要素p
mnは、回路47内において乗算転置行列t[p]の第
n行第m列の要素pnmに対応したアドレスが示す位置
にストアされる。たとえば該アドレスが乗算転置行列t
[p]の行を主の順とし列を従の順として、数字が若い
ものから順次的に設定されるとき、乗算行列[p]の要
素pは、乗算行列[p]の行を従の順とし列を主の順と
して、飛石状に書込まれる。乗算転置行列t[p]が出
力されるとき、要素pは回路47からアドレスに沿って
順次読出されて出力される。
置行列t[p]が与えられると、該行列t[p]に定数行
列[c]を後ろから掛ける乗算(t[p]・[c])を
する第2の乗算処理を行う。この乗算で得られる行列積
(t[p]・[c])は、出力行列であるデータ行列
[x]の転置行列t[x]と等しい。
す回路図である。行列乗算器45は、乗算器51a〜5
1g、選択器52a〜52d、累積回路53a〜53
h、選択器54、および制御回路55を含んで構成され
る。以後、各構成要素51a〜51g;52a〜52
d;53a〜53hをそれぞれ「乗算器51」、「選択
器52」および「累積回路53」と総称することがあ
る。複数の乗算器51の数は、定数行列[c]の14種
類の乗算定数のうち、該定数の絶対値を表す乗算定数C
1〜C7の数と等しい。複数の累積回路53の数は、出
力すべき演算出力行列[v]の列の数と等しい。
[X],t[p]のいずれか一方である演算入力行列
[z]([z]=[X]またはt[p])の要素zを示
すデータが行単位で与えられる。該要素zのデータが与
えられると、乗算器45は、演算出力行列[v]の出力
要素vのうち、同一行に属する複数の要素vを並列して
演算する。
タは、各乗算器51a〜51gにそれぞれ与えられる。
各乗算器51にはそれぞれ定数記憶回路46から各乗算
定数Cの絶対値を示すデータが与えられ、要素zと各乗
算定数C1〜C7との乗算が行われる。要素zと乗算定
数Cとの積(z・C1)〜(z・C7)を表す出力デー
タa1〜a7は、各乗算器51から選択器52a〜52
dに与えられる。
a〜53hのうち、1以上の回路とそれぞれ接続され
る。選択器52には、出力データa1〜a7の他に制御
回路55から要素選択信号sが与えられる。4つの選択
器57では、要素選択信号sに応じて出力データa1〜
a7のうちから個別的に単一個のデータだけ選択し、接
続された1または複数の累積回路53に与える。以後、
出力データa1〜a7のうちで選択されたデータを、出
力選択データaと称する。
[v]の任意の第i行に関する演算処理において、第1
列〜第8列に属する出力要素vi1〜vi8の演算をそ
れぞれ行う。単一の選択器52に接続される累積回路5
3は、該回路53における出力要素vの演算で用いられ
る乗算定数Cの絶対値の組合わせおよび配列が等しいも
のが選ばれる。行列乗算器45は乗算([z]・
[c])を行うので、該累積回路として、定数行列
[c]において列を構成する8つの定数要素の絶対値の
組合わせが等しくかつ配列が等しい列を用いて演算され
る出力要素vを求める累積回路が選ばれる。
力行列[v]の第i行第1列に属する出力要素vi1を
演算する累積回路53a、および出力要素vi8を演算
する累積回路53hが、同一の選択器52aに接続され
る。同様に、累積回路53b,53g;53c,53
f;53d,53eが、選択器52b〜52dにそれぞ
れ接続される。ゆえに、前述した従来技術の行列乗算器
21において定数行列[c]の列の数と同数用意された
選択器の数を、半分に減少させることができる。
れる累積回路53での演算で用いられる定数行列[c]
の第n列の定数要素c1n〜c8nの絶対値と、演算入
力要素zijの属する列の番号jとに応じて決定され
る。制御回路55は、第n列、および該列の番号jと等
しい番号の定数行列[c]の行に属する要素cjnの絶
対値を表す乗算定数Cと演算入力要素zijとの積を表
す出力データaを該累積回路53に与えるように、各選
択器52を制御する。
および累積メモリ58を含んで構成される。累積メモリ
58は、単一行に関する演算において、加減算器57に
おける累積演算で得られる累積値を表す累積データΣa
をストアする。加減算器57には、各選択器52からの
出力選択データaと、累積メモリ58にストアされる前
回の処理までの累積データΣaとが与えられる。さらに
加減算器57a〜57hには、出力選択データaが示す
積を累積データΣaが示す累積値に加算するか減算する
かを選択する符号選択信号f1〜f8(以後、「符号選
択信号f」と総称する)が制御回路55からそれぞれ与
えられる。
力選択データaの選択基準となった定数要素cijの符
号の正負を表す。制御回路55は、該符号が正であると
き、加減算器57において出力選択データaが表す積と
累積データΣaが表す累積値とを加算させる。該符号が
負であるとき、加減算器57において該累積値から該積
を減算させる。
て、該積を該累積値に加算するか、該累積値から減算す
るかは、制御回路55からの符号選択信号fによって切
換えられる。各符号選択信号fは、入力された要素Xi
jの属する行、ならびに累積回路53において演算生成
される出力行列の要素の属する列に応じて予め決定され
る。回路45に対する入力行列の要素の入力順が決定さ
れるとき、各符号選択信号fの出力順、すなわち加減算
器57における加算および減算の切換え順もまた決定さ
れる。
回路図である。加減算器は、演算可能な桁数と同数の排
他的論理和回路および全加算器を含む。図3では、加減
算器57は2進数において2桁の演算を行い、各々2つ
の排他的論理和回路61,62と全加算器63,64と
を含んで構成されるものとする。
位の値および10の位の値は、排他的論理和回路61,
62にそれぞれ与えられる。回路61,62には、制御
回路55からの符号選択信号fがそれぞれ与えられる。
符号選択信号fは、1の位の演算を行う全加算器63に
も与えられる。
れ出力選択データaの各位の値と符号選択信号fとの排
他的論理和を求める。符号選択信号fは、出力選択デー
タaと累積データΣaとを加算するときには値が「0」
となり、減算するときには値が「1」となる。ゆえに、
減算を行うとき、回路61,62からの出力は、出力選
択データaの1の補数となって、各桁の全加算器63,
64に出力される。加算するときは、回路61,62か
らは出力選択データaがそのまま出力される。
回路61の出力値である値A、累積回路53の累積デー
タΣaの1の位の値である値B、および符号選択信号f
が加算される。加算結果のうち1の位の値は累積データ
Σaの1の位の値S1としてそのまま出力され、桁上げ
の数Cは10の位の全加算器64に与えられる。10の
位の全加算器64では、排他的論理和回路62の出力値
である値A、累積回路53の累積データΣaの10の位
の値である値B、および1の位の全加算器63からの桁
上げの数Cが加算される。加算結果のうち1の位の値は
累積データΣaの10の位の値S2としてそのまま出力
され、桁上げの数Cは累積データΣaの正負の判断に用
いられる。
択信号fの値は「1」であるので、排他的論理和回路6
1,62から出力される出力選択データaの1の補数に
1が加算されたことと等価になり、出力選択データaの
補数が2の補数となる。ゆえに、全加算器63,64か
らの出力値は、10の位の全加算器64の桁上げの数C
が「1」であるときそのまま累積データΣaとなり、桁
上げの数Cがないとき累積データΣaの2の補数とな
る。加減算器57では、このような演算処理によって、
出力選択データaと累積データΣaとの累積演算を行
う。
力される累積データΣaは、累積メモリ58にストアさ
れる。乗算器51に対して演算入力行列[z]の任意の
第i行を構成する全ての入力要素zi1〜zi8が与え
られ、該入力要素に関する加減算器57における演算が
終了すると、各累積データΣaの値は演算出力行列
[v]の任意の第i行および累積回路53で演算される
べき列jに属する出力要素vijと等しい値となる。
入力行列の入力要素zi1〜zi8に関する演算が終了
すると、各回路53の累積メモリ58のストア内容を順
次的に読出し、演算出力行列の出力要素vi1〜vi8
として出力する。
において乗算行列[p]の任意の第i行に関する演算処
理を行うとき、各構成要素51〜53から入出力される
値を示す動作シーケンスを表す表である。この表におい
て、「Z」は選択器43から与えられる入力行列要素を
示す。上述の表を参照して、第1の乗算処理における詳
細な乗算動作を以下に説明する。
CT係数行列[X]の第1〜第8行に属する各要素が、
行単位で与えられる。以後の説明では、番号が若い行か
ら順に行単位であって、かつ任意の第i行において該列
に属する要素Xi1〜Xi8が属する列の番号が若いも
のから順に乗算器51に与えられるものとする。選択器
43における該要素の導出順は同一行に属する8個の要
素Xの中であれば、列の順以外の順であってもよい。ま
た、各行単位の要素の導出順は、行単位であれば、行の
順以外の順であっても良い。第i行の要素が与えられる
とき、出力行列である乗算行列[p]の第i行の各要素
pi1〜pi8の演算が各々並行して行われる。
る演算が行われる。回路45に要素Xi1が与えられる
と、乗算器51は出力データa1〜a7として積(Xi
1・C1)〜(Xi1・C7)を各選択器52に与え
る。制御回路55は、各選択器52a〜52dに、定数
行列[c]の第1行の各要素c11,c18;c12,
c17;c13,c16;c14,c15の絶対値をそ
れぞれ表す乗算定数C4と要素Xi1との積(Xi1・
C4)である出力データa4を選択させる。この出力デ
ータa4が、出力選択データaとして累積回路53に与
えられる。
力行列の各行の演算処理が開始されるとき、累積データ
Σaの初期値として、「0」がストアされる。各加減算
器57では、出力データa4が示す積(Xi1・C4)
と累積データΣaの初期値「0」とをそれぞれ累積し
て、累積メモリ58にストアさせる。要素Xi1に関す
る累積演算が終了すると、続いて、要素Xi2に関する
第2の演算に移る。
2が与えられる。以後、第1の演算と同様に、乗算器5
1において積(Xi2・C1)〜(Xi2・C7)求め
られ、該積が出力データaとして各選択器52に与えら
れる。制御回路55は、各選択器52a〜52dに、定
数行列[c]の第2行の各要素c21,c28;c2
2,c27;c23,c26;c24,c25の絶対値
をそれぞれ表す乗算定数C1,C3,C5,C7と要素
Xi2との積を示す出力データa1,a3,a5,a7
を選択させる。これら出力データa1,a3,a5,a
7は、各累積回路53において、前回得られた累積デー
タΣaである積(Xi1・C4)に対して、第2行の定
数要素c21〜c28の符号に応じて加算または減算さ
れてと累積される。この累積結果が累積メモリ58にス
トアされて、第2の演算が終了する。
繰返すと、最終的に要素X1i〜Xi8と各乗算定数C
との積の累積値が8種類だけ各累積回路53毎に個別的
に得られる。これらの累積値を示す累積データΣaを、
それぞれ乗算行列[p]の第i行に属する要素pi1〜
pi8として、選択器54から予め定める順序で順次的
に出力して、乗算行列[p]の第i行に関する演算を終
了する。この演算を第1〜第8行に関して順次的に繰返
し、乗算行列[p]の全ての要素pを得る。
算装置に用いられる行列乗算器45は、従来技術のID
CT演算装置と比較して累積回路53の前段の選択器5
2の数を減少させることができるので、回路構成が簡略
化される。また、出力行列の各列の要素は、複数の乗算
器51の出力データa1〜a7のうち、一部の出力デー
タだけを用いて演算される。ゆえに、該選択器52に対
して後段の累積回路53に対応した要素の演算に用いら
れる出力データaだけを与えるようにすると、各選択器
52自身の回路構成をさらに簡略化することができる。
各入力要素に関する演算処理を行および列に関して入換
えると、要素の絶対値およびその配置が等しい行を含む
定数行列を被乗数行列に前から掛ける乗算処理を行わせ
ることができる。このとき、選択器43は、演算入力行
列[z]の入力要素を列単位で出力する。各選択器52
は、定数行列の行の絶対値の配列に対応して、選択出力
データaを選択する。このとき行列乗算器45では、演
算出力行列[v]の同一列の出力要素を並列して演算す
る。
演算を行うとき、定数行列[c]の転置行列t[c]を
新たに定数行列と見なすと、上述した2次逆離散コサイ
ン変換法に基づく演算処理の順を逆転させることができ
る。このときは、まず行列積(t[c]・[X])を求
め、次いで該積の転置行列と転置行列t[c]との行列
積(t[c]・t[X]・[c])を求め、この行列積の
転置行列を出力行列とする。このように、行列乗算器
は、回路構成を保ったまま処理手順を行および列に関し
て入換えると、定数行列を乗算する方向を入換えること
ができる。
基づく演算処理において、まず前述したように演算出力
行列[v]の同一行の出力要素を並列して演算する手順
を用いて行列積([X]・[c])を求め、次いで行列
[v]の同一列の出力要素を並列して演算する手順を用
いて転置行列t[c]と該行列積([X]・[c])と
を乗算すると、出力行列である行列積(t[c]・
[X]・[c])を直接得ることができる。
41は、行列乗算器45を単一個だけ有するので、行列
乗算器を2個有する従来技術の2次IDCT演算装置と
比較して、回路構成を簡略化することができる。このと
き、行列乗算器は従来技術の行列乗算器6,21,31
を用いても良い。本実施形態の行列乗算器45を用いる
とき、従来技術の行列乗算器6,21,31を用いたと
きと比較して、演算装置41全体の回路構成を簡略化さ
せ、演算装置41を小型化することができる。また、上
述した2次IDCT演算装置と同様の構成を用いて、2
次離散コサイン変換法に基づく周波数変換処理を行う演
算装置の回路構成を簡略化させることもできる。
の行列乗算器45では、8行8列の定数行列であって、
それぞれ要素の絶対値およびその並び順が等しい列が4
対ある行列を用いて乗算を行った。他の実施形態の行列
乗算器として、複数行および列の定数行列であって、該
行および列の数の半数未満の数の上述した行または列の
対がある定数行列と被乗数行列との乗算処理を行う行列
乗算器が考えられる。この行列乗算器は、該対の行また
は列の要素を演算する累積回路の前段の選択器が共有の
ものとなり、他の行および列の要素を演算する累積回路
の前段の選択器がそれぞれ個別のものとなる。このよう
な構成の行列乗算器は、従来技術の行列乗算器と比較し
て、該選択器の数を減少させて、乗算器全体の回路構成
を簡略化することができる。また、このような行列乗算
器を用いて、離散コサイン変換法以外の行列演算を行う
行列演算装置を実現することができる。
器は定数行列[c]の列または行に要素の絶対値の少な
くとも1種類の配列が等しい列が1対以上含まれると
き、該配列が等しい列を用いて出力行列[v]の要素を
求める累積手段を、同一の累積選択手段に接続する。こ
れによって、行列乗算器の回路構成を簡略化することが
できる。したがって、行列乗算器を小型化し、かつ製造
コストを減少させることができる。
像装置の画像伸長処理に好適に実施される2次元逆離散
コサイン変換法の演算に用いられる。該変換法では8行
8列の定数行列のうち4対の列の要素の絶対値の配列が
等しいので、本来必要とされる累積選択手段の数を半分
にすることができる。したがって、行列乗算器の回路構
成を簡略化して小型化し、かつ製造コストを減少させる
ことができる。これによって、小型の装置である撮像装
置内における画像伸長回路の占める領域を縮小すること
ができる。
41の電気的構成を示すブロック図である。
な構成を示す回路図である。
示す回路図である。
行列[p]の任意の第i行に関する演算処理を行うと
き、各構成要素51〜53から入出力される値を示す動
作シーケンスを表す表である。
1の電気的構成を示すブロック図である。
細な構成を示す回路図である。
乗算器21の詳細な構成を示す回路図である。
置の行列乗算器31の詳細な構成を示す回路図である。
1g 乗算器 53a,53b,53c,53d,53e,53f,5
3g,53h 累積回路 57 加減算器 58 累積メモリ
Claims (2)
- 【請求項1】 被乗数行列と定数行列とを乗算して、そ
の積を表す出力行列を得る行列乗算器において、 被乗数行列は、複数の行および列を有し、該行列の各要
素を示す入力要素データから成る信号で表され、 出力行列は、複数の行および列を有し、該行列の各要素
を示す出力要素データから成る信号で表され、 定数行列は、該行列の要素の数よりも少ない複数の予め
定める乗算定数から成る複数の行および列を有し、少な
くとも2つの列または行を構成する乗算定数の絶対値の
配列が等しく、各乗算定数の絶対値を示す定数データ
と、該行列の各列または行内の位置であって、各入力要
素データが属する被乗数行列の行または列内の該データ
の位置と対応する位置であり、該位置の該定数行列の要
素の絶対値と等しい定数データを示す配列データと、各
出力要素データの演算に用いられる該行列の各列または
行毎の各要素の符号の配列を示す符号データとから成る
信号で表され、 定数データの数と同数準備され、被乗数行列の行または
列単位で順次的に与えられる入力要素データと各定数デ
ータとを乗算して、積を示す積データをそれぞれ出力す
る定数乗算手段と、 乗算定数の絶対値の異なる配列の数だけ準備され、積デ
ータから該配列と等しい配列を有する定数行列の列また
は行の配列データが示す定数データと該入力要素データ
との積であるいずれか1つの積データを選択する累積選
択手段と、 出力行列の列または行の各出力要素データを個別的に生
成する複数の累積手段であって、累積選択手段で選択さ
れた積データを、符号データに応じて加算または減算し
て、該入力要素データが属する被乗数行列の行または列
単位で累積する累積手段とを含み、 演算に用いる定数行列の列または行の乗算定数の絶対値
の配列が等しい累積手段には、同一の累積選択手段から
選択された積データが与えられることを特徴とする行列
乗算器。 - 【請求項2】 前記定数行列は、2次元離散コサイン変
換における定数行列であって、 前記被乗数行列は、複数の画素が行列状に配置されて構
成される画像を表し、各画素の輝度を表す画素データか
ら成る画像信号を2次元離散コサイン変換した2次DC
T係数を入力要素データとする行列であることを特徴と
する請求項1記載の行列乗算器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19236796A JP3652018B2 (ja) | 1996-07-22 | 1996-07-22 | 行列演算装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19236796A JP3652018B2 (ja) | 1996-07-22 | 1996-07-22 | 行列演算装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1040235A true JPH1040235A (ja) | 1998-02-13 |
JP3652018B2 JP3652018B2 (ja) | 2005-05-25 |
Family
ID=16290112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19236796A Expired - Fee Related JP3652018B2 (ja) | 1996-07-22 | 1996-07-22 | 行列演算装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3652018B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG73644A1 (en) * | 1998-10-30 | 2002-04-16 | Agilent Technologies Inc | Signal processing distributed arithmetic architecture |
KR100416250B1 (ko) * | 2001-02-05 | 2004-01-24 | 삼성전자주식회사 | 시분할 방식의 행렬연산기 |
JP2011096254A (ja) * | 2009-10-30 | 2011-05-12 | Arm Ltd | 乗累算演算を実行するための装置および方法 |
US9330986B2 (en) | 2011-08-02 | 2016-05-03 | Mitsubishi Electric Corporation | Manufacturing method for solar cell and solar cell manufacturing system |
-
1996
- 1996-07-22 JP JP19236796A patent/JP3652018B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG73644A1 (en) * | 1998-10-30 | 2002-04-16 | Agilent Technologies Inc | Signal processing distributed arithmetic architecture |
KR100416250B1 (ko) * | 2001-02-05 | 2004-01-24 | 삼성전자주식회사 | 시분할 방식의 행렬연산기 |
JP2011096254A (ja) * | 2009-10-30 | 2011-05-12 | Arm Ltd | 乗累算演算を実行するための装置および方法 |
US9330986B2 (en) | 2011-08-02 | 2016-05-03 | Mitsubishi Electric Corporation | Manufacturing method for solar cell and solar cell manufacturing system |
Also Published As
Publication number | Publication date |
---|---|
JP3652018B2 (ja) | 2005-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2931389B2 (ja) | 単一のマルチプライヤ/アキュムレータと単一のランダムアクセスメモリを用いてdct/idct演算を繰り返す集積回路装置 | |
JP4559622B2 (ja) | 知覚的に無損失の画像をもたらす2次元離散ウェーブレット変換に基づくカラー画像の圧縮 | |
US5361220A (en) | Discrete cosine transformation with reduced components | |
JPH05158966A (ja) | 行列乗算器 | |
US20070094320A1 (en) | Parallel Adder-Based DCT / IDCT Design Using Cyclic Convolution | |
JPH0526229B2 (ja) | ||
JPH05502534A (ja) | ディジタル画像のノイズ除去システムおよび方法 | |
JPH07146853A (ja) | 逆離散余弦変換プロセッサ | |
JPH09107464A (ja) | 圧縮されたデータ形式で与えられる画像を変倍する方法 | |
JPS62269519A (ja) | ディスクリ−トコサイン変換回路 | |
US6308193B1 (en) | DCT/IDCT processor | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
JP3652018B2 (ja) | 行列演算装置 | |
JPH0844708A (ja) | 二次元離散コサイン変換演算回路 | |
CN114331845A (zh) | 影像处理设备以及方法 | |
JP3971135B2 (ja) | Dct行列分解方法及びdct装置 | |
JPH10283343A (ja) | データ処理方法 | |
JP2017525185A (ja) | ウェーブレット変換行列に適応可能な高精度化及び量子化方法 | |
JPH1093929A (ja) | 画像情報変換装置および方法 | |
JP3046115B2 (ja) | 離散コサイン変換器 | |
JP2003283840A (ja) | フィルタ処理装置およびフィルタ処理方法 | |
CN104794694B (zh) | 基于自适应低秩规则化的图像内插系统及方法 | |
JP3136785B2 (ja) | データ圧縮装置 | |
JP2802158B2 (ja) | 逆直交変換方法および逆直交変換回路 | |
JP3046116B2 (ja) | 離散コサイン変換器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050222 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080304 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090304 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100304 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110304 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |