JP3901884B2 - 画像処理方法および装置 - Google Patents

画像処理方法および装置 Download PDF

Info

Publication number
JP3901884B2
JP3901884B2 JP25837299A JP25837299A JP3901884B2 JP 3901884 B2 JP3901884 B2 JP 3901884B2 JP 25837299 A JP25837299 A JP 25837299A JP 25837299 A JP25837299 A JP 25837299A JP 3901884 B2 JP3901884 B2 JP 3901884B2
Authority
JP
Japan
Prior art keywords
image
spectral
light source
light
forming medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25837299A
Other languages
English (en)
Other versions
JP2001086354A (ja
Inventor
磴  秀康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP25837299A priority Critical patent/JP3901884B2/ja
Publication of JP2001086354A publication Critical patent/JP2001086354A/ja
Application granted granted Critical
Publication of JP3901884B2 publication Critical patent/JP3901884B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えば蛍光のような物質を含む画像形成媒体に光を照射して得られる画像に基づいて、所望とする光源下において撮影した場合と同様の見え方を有する画像を得る画像処理方法および装置に関するものである。
【0002】
【従来の技術】
異なる透過波長域を有する例えば8種類のフィルタを通して撮影を行うマルチバンドカメラを用いて被写体を撮影することにより、被写体の色情報を波長毎に表す複数のスペクトル画像を取得し、この画像から被写体の分光反射率を測定する手法が提案されている。このようなマルチバンドカメラを用いることにより、被写体の分光反射率を高精度に測定することができるため、とくに絵画のように多数の色を用いた被写体を撮影する場合であっても、被写体の色再現性を損なうことなく高精度の画像を取得することができる。
【0003】
ここで、マルチバンドカメラにより得られるスペクトル画像においては、各画素におけるデータ値は、(被写体の分光反射率)×(光源の分光エネルギー)となっている。したがって、被写体の分光反射率を求めるためには、マクベスチャートなどの分光反射率が既知の物体を被写体とともにシーンに含めて撮影を行い、この物体に対応するデータ値を、上記既知の分光反射率により除することにより光源の分光エネルギーを求め、各波長に対応する分光エネルギーにより各画素のデータ値を規格化することにより、画像中の被写体の分光反射率を求めることができる。なお、光源の分光エネルギー分布が既知であれば、上述したようなマクベスチャートを用いることなく、被写体の分光反射率を求めることができる。
【0004】
また、このように分光反射率を求めれば、撮影時とは異なる所望とする光源下において撮影を行った場合と同様の見え方となるような画像を得ることも容易である。すなわち、各画素毎において得られる分光反射率に、所望とする光源の分光エネルギーを乗算すれば、その値はその光源下において撮影を行った場合と同様のデータ値となるため、これにより所望とする光源下において撮影を行った場合と同様の見え方となる画像を得ることができる。
【0005】
さらに、マルチバンドカメラのみならず、スキャナのような画像読取装置においても、画像形成媒体から画像を読取る際に、読取光を透過波長域が異なる複数のフィルタを介して検出することにより、画像の色情報を波長毎に表す複数のスペクトル画像を取得することができ、上記と同様に画像形成媒体に形成された画像を取得した際の光源とは異なる所望とする光源下において撮影を行った場合と同様の見え方となるような画像を取得することができる。
【0006】
【発明が解決しようとする課題】
ところで、蛍光物質を含む画像形成媒体に形成された画像や、蛍光インクにより画像形成媒体に形成された画像は、光源の分光エネルギー分布によって蛍光の励起状態が異なるため、各画素のデータ値が光源の分光エネルギー分布に応じて変化する。このため、上述したように画像の色情報を波長毎に表す複数のスペクトル画像を得ても、画像形成媒体や画像に蛍光が含まれていると、撮影時とは異なる所望とする光源下において撮影を行った場合と同様の見え方となるような画像を取得することができない。
【0007】
本発明は上記事情に鑑みなされたものであり、蛍光のような物質が画像形成媒体に含まれている場合であっても、所望とする光源下において撮影を行った場合と同様の見え方となるような画像を得ることができる画像処理方法および装置を提供することを目的とするものである。
【0008】
【課題を解決するための手段】
本発明による画像処理方法は、光の照射により能動的に光エネルギーを発する物質を含む画像形成媒体に、互いに異なる分光エネルギー分布を有する複数の光源から発せられる光を照射して、前記画像形成媒体に形成された画像を担持する光を該画像形成媒体から発生させ、該光を透過波長域を変更可能なフィルタを切り替えつつ光電的に検出して、前記画像の色情報を予め定められた複数の所定波長毎に表す複数のスペクトル画像を前記各光源毎に取得し、
該複数のスペクトル画像に基づいて、前記各光源毎の前記スペクトル画像の全画素における分光反射率を取得し、
所望とする光源の前記複数の所定波長に対応する分光エネルギー分布を、前記各光源の分光エネルギー分布を重み付け加算して表す際の重み係数を算出し、
該重み係数により前記光源毎の前記各スペクトル画像の全画素における分光反射率を相対応する画素毎に重み付け加算して、前記画像の前記所望とする光源下における分光反射率を取得することを特徴とするものである。
【0009】
ここで、「光の照射により能動的に光エネルギーを発する物質」としては、光の照射により励起された光を発する蛍光や、光の照射により熱を発する物質など種々の物質を採用することができる。
【0010】
「物質を含む画像形成媒体」とは、画像が上記物質により画像形成媒体に形成されているのみならず、色をより白く見せるために蛍光物質が含有されたプリント用紙のように、画像形成媒体自体に上記物質が含まれていることをも意味するものである。
【0011】
「複数の光源」としては、3種類以上であることが好ましく、さらには5種類以上であることがより好ましい。なお、例えば5種類の光源を使用する場合、具体的には、紫外光、近紫外光、6500K程度の昼光、2800K程度の昼光および蛍光灯を含むことが好ましい。
【0012】
「画像形成媒体に形成された画像を担持する光」としては、画像形成媒体に照射された光の反射光であっても、画像形成媒体が光を透過する媒体の場合は透過光であってもよい。
【0013】
「透過波長域を変更可能なフィルタ」としては、透過波長域が異なる複数のフィルタをディスク上に配置し、このディスクを回転させることにより、画像を担持する光の光路上に異なるフィルタを位置せしめるようにしたフィルタや、印加電圧に応じて透過波長域を任意に変更可能な液晶チューナブルフィルタ等を採用可能である。
【0014】
「複数のスペクトル画像」としては6以上の波長域において撮影を行うことにより得られるスペクトル画像をいうものである。
【0015】
なお、本発明による画像処理方法においては、前記複数の光源に、前記所望とする光源と略同一の分光エネルギー分布を有する光源を含むことが好ましい。
【0016】
本発明による画像処理装置は、光の照射により能動的に光エネルギーを発する物質を含む画像形成媒体に、互いに異なる分光エネルギー分布を有する複数の光源から発せられる光を照射して、前記画像形成媒体に形成された画像を担持する光を該画像形成媒体から発生させ、該光を透過波長域を変更可能なフィルタを切り替えつつ光電的に検出して、前記画像の色情報を予め定められた複数の所定波長毎に表す複数のスペクトル画像を前記各光源毎に取得する画像取得手段と、
該複数のスペクトル画像に基づいて、前記各光源毎の前記スペクトル画像の全画素における分光反射率を取得する分光反射率取得手段と、
所望とする光源の前記複数の所定波長に対応する分光エネルギー分布を、前記各光源の分光エネルギー分布を重み付け加算して表す際の重み係数を算出する重み係数算出手段と、
該重み係数により前記光源毎の前記各スペクトル画像の全画素における分光反射率を相対応する画素毎に重み付け加算して、前記画像の前記所望とする光源下における分光反射率を取得する加算手段とを備えたことを特徴とするものである。
【0017】
なお、本発明による画像処理装置においては、前記複数の光源に、前記所望とする光源と略同一の分光エネルギー分布を有する光源を含むことが好ましい。
【0018】
【発明の効果】
本発明によれば、光の照射により能動的に光エネルギーを発する物質を含む画像形成媒体に形成された画像の色情報を予め定められた複数の所定波長毎に表す複数のスペクトル画像が各光源毎に取得され、この複数のスペクトル画像に基づいて、各光源毎のスペクトル画像の全画素における分光反射率を得る。ここで、所望とする光源の複数の所定波長に対応する分光エネルギー分布は、各光源の分光エネルギー分布を重み付け加算することにより表すことができるため、この重み付け加算を行う際の重み係数を算出する。そして、この重み係数により、光源毎の各スペクトル画像の全画素における分光反射率を相対応する画素毎に重み付け加算すれば、画像形成媒体に形成された画像の所望とする光源下における分光反射率を取得することができる。したがって、この分光反射率に所望とする光源の分光エネルギー分布を乗算することにより、蛍光物質のような光の照射により能動的に光エネルギーを発する物質が画像形成媒体に含まれている場合であっても、所望とする光源下における上記物質により表される画素値を推定することができ、所望光源下において撮影した場合と同様の見え方を有する画像を得ることができる。
【0019】
また、複数の光源に、所望とする光源と略同一の分光エネルギー分布を有する光源が含まれていれば、上記重み付け加算を行うための重み係数が簡易なものとなるため、演算を高速に行うことができる。
【0020】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【0021】
図1は本発明の実施形態による画像処理装置を適用した撮影装置の構成を示す概略ブロック図である。図1に示すように、この撮影装置は、画像形成媒体1を保持する透明板などからなる保持部2と、保持部2に保持された画像形成媒体1に光を照射する光源部3と、光源部3から発せられ画像形成媒体1において反射した光を光電的に検出して画像形成媒体1に形成された画像を表す画像データS0を得る検出部4と、検出部4において検出された画像データS0に基づいて、後述する種々の演算を行って所望とする光源下において撮影された場合と同様の見え方となるような画像を表す画像データS1を得る演算部5と、光源部3および検出部4を保持部2に対して矢印Y方向に移動させて、画像形成媒体1の全面に対して光源部3から発せられた光を走査させる走査部(不図示)とを備える。なお、本実施形態においては検出部4がマルチバンドカメラと観念される。
【0022】
画像形成媒体1には画像が形成されているが、この画像は一部または全部が蛍光インクにより描画されているものである。なお、この蛍光インクに含まれる蛍光物質としては、一定強度の光を照射した際に図2(a),(b)に示す波長域の光を吸収して、図3(a),(b)に示す波長域の蛍光を図示の強度にて発生するものを用いることができる。なお、図2および図3においては9種類の蛍光物質の特性を示している。
【0023】
光源部3は本実施形態においては8種類の光源L1〜L8を切り替えて、各光源L1〜L8から発せられる光を保持部2に保持された画像形成媒体1に照射するものである。なお、光源L1〜L8としては、紫外光、近紫外光、6500K程度の昼光、2800K程度の昼光および蛍光灯の光を発する光源を含むものが用いられる。また、光源L1〜L8から発せられる光の分光エネルギー分布は既知であるものとする。
【0024】
図4に示すように、マルチバンドカメラとしての検出部4は、画像形成媒体1において反射された光の透過波長域を変更可能な分光フィルタ11と、画像形成媒体1に形成された画像を担持する光を光電変換してこの画像を表す電気信号を得るCCDカメラなどからなる撮像デバイス12と、撮像デバイス12において得られた電気信号をデジタルの画像データS0に変換する変換部13と、分光フィルタ11、撮像デバイス12および変換部13の駆動を制御する制御部14とを備える。なお、分光フィルタ11としては、本実施形態においては、400〜720nmの波長範囲において透過波長域を任意に変更可能な液晶チューナブルフィルタが用いられる。また、本実施形態においては8つの光源L1〜L8を切り替えつつ、例えば410〜710nmの波長域において20nm間隔にて透過波長域を変更して16の波長域において撮影を行い、各光源毎に16、合計128のスペクトル画像を表す画像データS0を得るものとする。さらに、制御部14を演算部5の機能を有するものとしてもよい。
【0025】
ここで、分光フィルタ11としては、例えばCRI社製Varispec Tunable Filterを使用することができ、撮像デバイス12としては、例えばDALSA社製CA-D4-1024A(ピクセル数1024×1024、ピクセルサイズ12×12ミクロン、PCIインターフェース付き、モノクロ)を使用することができる。また、撮像する際には撮像レンズ(例えばNikomart(f=50mm,F1.4))および400nm以下の紫外光と730nm以上の赤外光とをカットするフィルタを使用することが好ましい。
【0026】
演算部5においては下記のようにして演算が行われる。ここで、8種類の光源L1〜L8の、波長λsにおける分光エネルギー分布をS(k,λs)(但し、k=1〜8)とし、k番目の光源により得られた16のスペクトル画像における各画素の分光反射率をRij(k,λol)(但し、ij:画素位置、k=1〜8、λo:波長、l=1〜16;スペクトル画像に対応)とする。ここで、光源L1〜L8の分光エネルギー分布S(k,λs)の波長λsは、スペクトル画像の波長に対応させるものとし、以降波長λolにおける分光エネルギー分布S(k,λol)と表すものとする。なお、スペクトル画像における各画素のデータ値は、(各画素の分光反射率)×(光源の分光エネルギー分布)となっており、光源の分光エネルギー分布が既知であることから、各画素のデータ値を光源の分光エネルギー分布によって除することにより算出することができる。
【0027】
まず、所望とする光源の波長λolにおける分光エネルギー分布So(λol)を、下記の式(1)に示すように8個の光源L1〜L8の分光エネルギー分布S(k,λol)の荷重和により表す。なお、分光エネルギー分布So(λol)および分光エネルギー分布S(k,λs)は下記の式(2)に示すようにエネルギーの積算値により規格化されているものとする。このように規格化することにより、式(1)における重み係数Akを1より小さい値とすることができる。
【0028】
So(λol)=ΣkAk・S(k,λol) (1)
但し、Ak:重み係数(k=1〜8、Ak≧0)
ΣkSo(λol)=ΣkS(k,λs) (2)
一般に、上記式(1)の関係は厳密には成立しないため、下記の式(3)、(4)がそれぞれ最小値min、最大値maxとなるように重み係数Akを最適化して求める。
【0029】
{ΣkSo(λol)−Σk(Ak・S(k,λol))2} (3)
Σk(Ak)2 (4)
なお、分光エネルギー分布So(λol)および分光エネルギー分布S(k,λs)は上記式(2)に示すようにエネルギーの積算値により規格化されているため、式(4)の値は分光エネルギー分布S(k,λs)が分光エネルギー分布So(λol)と同一の値となった場合に最大で1となる。また、式(4)を最大値maxとするのは、式(1)において分光エネルギー分布So(λol)を求める際に、なるべく分光エネルギー分布So(λol)に近い値を有する分光エネルギー分布S(k,λs)を使用するためである。ここで、式(3)、(4)は同時最適化するものとして、下記の式(5)を最小値minとするように、重み係数Akをシンプレックス法により求める。
【0030】
Figure 0003901884
但し、ρ:定数
ここで、シンプレックス法とは、独立変数が2個以上の関数の極小を求めるための手法であり、シンプレックス(幾何学的な図形)を用いて、この図形の頂点の値を独立変数として、図形の形状を変更しつつ関数の極小を求める方法である。なお、シンプレックス法については、「Numerical Recipes in C[日本語版]、W.H.Pressら、訳者奥村ら、株式会社技術評論社、平成6年8月25日、pp295-299)に詳細が記載されている。
【0031】
そして、上述したように求めた重み係数Akにより、下記の式(6)に示すように各画素の分光反射率を重み付け加算して、画像形成媒体1に形成された画像の所望とする光源下における分光反射率Roij(λol)をスペクトル画像に対応する波長毎に得る。
【0032】
Roij(λol)=ΣAk・Rij(k,λol) (6)
このように、各波長域に対応するスペクトル画像における各画素の分光反射率Roij(λol)が求められると、この分光反射率Roij(λol)に所望とする光源の分光エネルギー分布を乗算して各画素の画素値を得、この画素値により上記所望とする光源下において撮影を行った場合と同様の見え方を有する画像を表す画像データS1を得ることができる。
【0033】
次いで、本実施形態の動作について説明する。図5は本実施形態の動作を示すフローチャートである。まず、保持部2に保持された画像形成媒体1に光源部3の光源を切り替えつつ光を照射し、さらに検出部4において分光フィルタ11の透過波長を変更しつつ画像形成媒体1に形成された画像を担持する光を光電変換して、この画像を表す画像データS0を得る(ステップS1)。画像データS0は演算部5に入力され、ここで、上述したように重み係数Akが算出されて(ステップS2)、分光反射率Roij(λol)が算出される(ステップS3)。そして、この分光反射率Roij(λol)に、所望とする光源L1〜L8の分光エネルギー分布を乗算して、所望とする光源下において撮影した場合と同様の見えとなるような画像を表す画像データS1を得(ステップS4)、処理を終了する。
【0034】
このように、本実施形態においては、画像形成媒体1に形成され画像が蛍光インクにより描画されたものであっても、所望とする光源下における上記物質により表される分光反射率を求め、この分光反射率に基づいて所望光源下において得られる画像と同様の見え方を有する画像を得ることができる。
【0035】
なお、上記実施形態においては、画像形成媒体1に形成された画像が蛍光インクにより描画されているものとして説明したが、画像形成媒体1自体に蛍光物質が含まれている場合にも、上記と同様にして本発明を適用することができるものである。
【図面の簡単な説明】
【図1】本発明の実施形態による画像処理装置を適用した撮影装置の構成を示す概略ブロック図
【図2】蛍光物質における吸収する光の波長域を示すグラフ
【図3】図2に示す蛍光インクから発せられる蛍光の分光分布を示すグラフ
【図4】検出部の構成を示すブロック図
【図5】本実施形態の動作を示すフローチャート
【符号の説明】
1 画像形成媒体
2 保持部
3 光源部
4 検出部
5 演算部

Claims (4)

  1. 光の照射により能動的に光エネルギーを発する物質を含む画像形成媒体に、互いに異なる分光エネルギー分布を有する複数の光源から発せられる光を照射して、前記画像形成媒体に形成された画像を担持する光を該画像形成媒体から発生させ、該光を透過波長域を変更可能なフィルタを切り替えつつ光電的に検出して、前記画像の色情報を予め定められた複数の所定波長毎に表す複数のスペクトル画像を前記各光源毎に取得し、
    該複数のスペクトル画像に基づいて、前記各光源毎の前記スペクトル画像の全画素における分光反射率を取得し、
    所望とする光源の前記複数の所定波長に対応する分光エネルギー分布を、前記各光源の分光エネルギー分布を重み付け加算して表す際の重み係数を算出し、
    該重み係数により前記光源毎の前記各スペクトル画像の全画素における分光反射率を相対応する画素毎に重み付け加算して、前記画像の前記所望とする光源下における分光反射率を取得することを特徴とする画像処理方法。
  2. 前記複数の光源に、前記所望とする光源と略同一の分光エネルギー分布を有する光源を含むことを特徴とする請求項1記載の画像処理方法。
  3. 光の照射により能動的に光エネルギーを発する物質を含む画像形成媒体に、互いに異なる分光エネルギー分布を有する複数の光源から発せられる光を照射して、前記画像形成媒体に形成された画像を担持する光を該画像形成媒体から発生させ、該光を透過波長域を変更可能なフィルタを切り替えつつ光電的に検出して、前記画像の色情報を予め定められた複数の所定波長毎に表す複数のスペクトル画像を前記各光源毎に取得する画像取得手段と、
    該複数のスペクトル画像に基づいて、前記各光源毎の前記スペクトル画像の全画素における分光反射率を取得する分光反射率取得手段と、
    所望とする光源の前記複数の所定波長に対応する分光エネルギー分布を、前記各光源の分光エネルギー分布を重み付け加算して表す際の重み係数を算出する重み係数算出手段と、
    該重み係数により前記光源毎の前記各スペクトル画像の全画素における分光反射率を相対応する画素毎に重み付け加算して、前記画像の前記所望とする光源下における分光反射率を取得する加算手段とを備えたことを特徴とする画像処理装置。
  4. 前記複数の光源に、前記所望とする光源と略同一の分光エネルギー分布を有する光源を含むことを特徴とする請求項3記載の画像処理装置。
JP25837299A 1999-09-13 1999-09-13 画像処理方法および装置 Expired - Fee Related JP3901884B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25837299A JP3901884B2 (ja) 1999-09-13 1999-09-13 画像処理方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25837299A JP3901884B2 (ja) 1999-09-13 1999-09-13 画像処理方法および装置

Publications (2)

Publication Number Publication Date
JP2001086354A JP2001086354A (ja) 2001-03-30
JP3901884B2 true JP3901884B2 (ja) 2007-04-04

Family

ID=17319341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25837299A Expired - Fee Related JP3901884B2 (ja) 1999-09-13 1999-09-13 画像処理方法および装置

Country Status (1)

Country Link
JP (1) JP3901884B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3829238B2 (ja) * 2001-11-02 2006-10-04 独立行政法人情報通信研究機構 色再現システム
AUPS155202A0 (en) * 2002-04-05 2002-05-16 Commonwealth Scientific And Industrial Research Organisation Methods of identifying endmember spectral values for hyperspectral image data
JP4197276B2 (ja) 2003-07-16 2008-12-17 シャープ株式会社 画像処理装置、画像読取装置、画像形成装置、および画像処理方法
US8964089B2 (en) 2012-05-09 2015-02-24 Canon Kabushiki Kaisha Systems and methods for simulated preview for preferred image exposure
CN114372982B (zh) * 2022-03-22 2022-06-17 山东泗水金阳光纸业有限公司 一种无碳复写纸生产异常检测方法

Also Published As

Publication number Publication date
JP2001086354A (ja) 2001-03-30

Similar Documents

Publication Publication Date Title
EP0660591B1 (en) A method for reducing colour crosstalk
EP2637004B1 (en) Multispectral imaging color measurement system and method for processing imaging signals thereof
EP0948191B1 (en) Scanner illumination
US6751349B2 (en) Image processing system
US6439784B1 (en) Method and system for using calibration patches in electronic film processing
JP5285824B2 (ja) デジタルカメラの較正方法
JP4851580B2 (ja) 画像読取装置、及びそれを備えた画像データ出力処理装置、並びに画像読取方法
CN101573989B (zh) 用于荧光成像的校准装置和方法
JPH08275006A (ja) カラー・スキャナ装置
Tominaga et al. Spectral imaging by synchronizing capture and illumination
US20010026369A1 (en) Light source device and device for reading original
JP4111040B2 (ja) 光沢評価方法および装置
JP3901884B2 (ja) 画像処理方法および装置
JP2021113744A (ja) 撮像システム
US7538334B2 (en) Devices and methods for targeting printing plates and measuring dot coverage thereon
US7324243B2 (en) Fluorescent color scanning method for use in a scanner
JP2012189342A (ja) 顕微分光測定装置
JP2007208908A (ja) スキャナー装置
US5729348A (en) Fluorescence dot area meter
EP0884582A1 (en) Fluorescence dot area meter.
JP3950266B2 (ja) 画像処理方法および装置
JP7139854B2 (ja) 情報処理装置及びプログラム
Rahaman Use of reflectance measurementas to study turbid media by imaging
JP3943296B2 (ja) 画像処理方法および装置
JP2001223861A (ja) 画像読取装置および画像読取方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140112

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees