JPH09159529A - 色分類装置 - Google Patents
色分類装置Info
- Publication number
- JPH09159529A JPH09159529A JP7316422A JP31642295A JPH09159529A JP H09159529 A JPH09159529 A JP H09159529A JP 7316422 A JP7316422 A JP 7316422A JP 31642295 A JP31642295 A JP 31642295A JP H09159529 A JPH09159529 A JP H09159529A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- image
- classification
- read
- transmission wavelength
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 65
- 230000003287 optical effect Effects 0.000 claims description 67
- 230000005540 biological transmission Effects 0.000 claims description 52
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000003860 storage Methods 0.000 claims description 33
- 238000001228 spectrum Methods 0.000 abstract description 105
- 230000015654 memory Effects 0.000 abstract description 92
- 238000004364 calculation method Methods 0.000 abstract description 58
- 238000001514 detection method Methods 0.000 abstract description 17
- 238000000034 method Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 abstract description 5
- 239000003086 colorant Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 45
- 230000000694 effects Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 21
- 238000012544 monitoring process Methods 0.000 description 11
- 230000033001 locomotion Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 230000004907 flux Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000411 transmission spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/51—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/462—Computing operations in or between colour spaces; Colour management systems
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Spectrometry And Color Measurement (AREA)
Abstract
物の色分類を正確に行うことができるようにした色分類
装置を提供する。 【解決手段】 本発明によると、結像光学系と、この結
像光学系の結像面に配置した撮像素子と、この撮像素子
より光学的な前側に配置され、異なる複数の光の透過波
長帯域を選択可能な光学的バンドパスフィルタと、この
複数の光の透過波長帯域から一つの透過波長帯域を選択
する透過波長選択手段と、この透過波長選択手段が選択
した透過波長帯域を有する前記光学的バンドパスフィル
タを通過し前記撮像素子で撮像した各像情報と前記透過
波長選択手段が選択した透過波長帯域情報とを対応して
格納する記憶手段と、この記憶手段から前記各像情報の
内の対象物に対応する領域を読み出す読み出し手段と、
前記記憶手段に格納された対象物の各像情報の位置ずれ
に応じて、前記読み出し手段が読み出す前記各像情報の
領域を補正する補正手段とを有する対象物の色分類装置
が提供される。
Description
物を分類,判定または識別する色分類装置及び色分類方
法に関する。
塗装色,染色度の管理、または生産物の色測定、あるい
は医療,学術分野における被検体の色測定などにおいて
は、対象物の色を識別する色識別装置が利用されてい
る。
開示されている色識別装置では、対象物の反射分光スペ
クトルに統計的処理を施すことによって2クラスの分類
を行なっている。
分光スペクトルをFoley Sammon変換(FS
変換)を利用して統計処理している(Q.Tian,
M.Barbaro他、“Image classif
ication by Foley−Sammon t
ransform”,Optical Enginee
ring,Vol.25,No.7,1986参照)。
類する手法であり、具体的には、ある対象物が2つ与え
られたときのS1 ,S2 からFisher ratio R(di )=(di t S1 di )/(di t S2 di ) …(1) di :分類スペクトル di t :分類スペクトル(転置) S1 :クラス間共分散行列 S2 :クラス内共分散行列 のR(di )を最大にするときのスペクトルdi を求め
ることである。
分類スペクトルと呼ぶ。
クトルと同じ次元数を有するため、正確にはdi (λ)
と表記すべきであるが、本明細書では、簡単のためにd
i と記すものとする。
くする分類スペクトルを2種類求める。Fisher
ratioを最大にする分類スペクトルdi をd1 、こ
のd1 と直交するスペクトルの中でFisher ra
tioを最大にする分類スペクトルdi をd2 とする。
る空間に各データを投影することにより、2つのクラス
が分類される。
る。
ラス1とクラス2の差スペクトル)、Iは単位行列であ
る。
d2 で構成される空間に各データを投影するために、分
類スペクトルと対象物の反射分光スペクトルとの内積を
求める。
(但し、λ=波長)とすれば、内積t1 ,t2 は次式で
表せられる。
された色識別装置では、この内積t1 ,t2 の値から図
38のように分類境界を決め、この分類スペクトルの特
性を有するフィルタを図40に示すように回折格子Gと
液晶フィルタFを用いて実現している。
般に、図41に示すように形状が複雑であり、また、正
負の値をとるため、回折格子G,液晶フィルタFなどの
取り付け精度も厳しく要求される。
動により、その取り付け位置がずれると、分類精度が著
しく低下してしまう。
問題もある。
で、且つ機械的振動等にも耐えられるような色分類装置
が望まれている。
に開示された色識別装置では、光源をある程度限定して
いる(ランプL)ため、異なる光源に対しての分類には
不向きであり、光源のスペクトルが変化する場合には良
好な分類を行なうことが難しい。
は、光源を限定することができるが、光源を限定せず
に、そのスペクトルが変化する場合などにも良好に色分
類することができる装置が望まれている。
平7−120324号公報に開示されているように、装
置構成が簡単で、低コストで、且つ機械的振動等にも耐
えられ、しかも光源を限定せずにそのスペクトルが変化
する場合などにも良好に色分類可能な色分類装置に係る
発明の出願をなしている。
20324号公報に開示された色分類装置は、対象物の
反射分光スペクトルを撮像する撮像手段と、上記対象物
と撮像手段との間に設置したそれぞれ異なる帯域を持つ
複数のバンドパスフィルタと、上記撮像手段によって撮
像された対象物の反射分光スペクトルから統計的手法を
用いた分類のための分類スペクトルを算出し、この分類
スペクトルを用いて上記対象物の分類を行なう分類手段
とを備えることを特徴としている。
異なる帯域を持つ複数のバンドパスフィルタを用意して
おき、これら複数のバンドパスフィルタのそれぞれを上
記対象物と撮像手段との間に配置する。
によって撮像された対象物の反射分光スペクトルから統
計的手法を用いた分類のための分類スペクトルを算出
し、この分類スペクトルを用いて上記対象物の分類を行
なう。
明する。
フィルタを、特開平3−267726号公報に開示され
た従来の色識別装置のような回折格子及び液晶フィルタ
で構成するのではなく、図33の(A)に示すような特
定の波長のみを透過させるようなバンドパスフィルタを
複数組み合わせた同図の(B)や(C)に示すようなフ
ィルタを用いることにより、簡易で安価な構成の色分類
装置を実現するものである。
源のもとでも色分類を行なうために、対象物を撮像する
ときと同じ条件で、適当な参照板の反射分光スペクトル
を計測し、対象物の反射分光スペクトルを参照板の反射
分光スペクトルで補正することによって、光源(照明
光)の影響を除去するようにしている。
分光スペクトルをf(λ)、参照板の反射分光スペクト
ルをs(λ)、照明光の反射分光スペクトルをL
(λ)、撮影系の感度スペクトル(撮影レンズの透過ス
ペクトル、撮影素子の感度スペクトル等)をM(λ)と
すれば、対象物の撮影スペクトルgi (λ)、及び参照
板の撮影スペクトルgs (λ)はそれぞれ、 gi (λ)=f(λ)×L(λ)×M(λ) gs (λ)=s(λ)×L(λ)×M(λ) で表せられ、対象物のスペクトルgi ′(λ)は、 gi ′(λ)=gi (λ)/gs (λ)=f(λ)/s(λ) …(4) と表すことができる。
(λ)の影響を除去でき、gi ′(λ)を用いれば、異
なる光源のもとでも分類できることになる。
は、除去後の信号gi ′(λ)のパワーを正規化すれば
良い。
分類を行なう色分類装置について説明する。
の色分類装置は、絞りやレンズを含む光学系10、図3
3の(A)に示されるような複数枚のバンドパスフィル
タ12A,12B,…,12Eで構成される回転色フィ
ルタ12、対象物O及び参照板Rの画像を取り込むため
のCCD14、A/D変換器16、フレームメモリ1
8、撮影している部分を表示するモニタ20、CCD駆
動ドライバ22、回転色フィルタ12の駆動モータ2
4、CCD駆動ドライバ22及び回転色フィルタ駆動モ
ータ24等を制御すると共に分類演算回路28に命令を
送るコントロール部26、分類を行なうための分類演算
回路28から構成される。
(B)に示すように、何種類かのバンドパスフィルタ1
2A〜12Eから構成されており、各フィルタは同図の
(A)に示すような任意のバンド幅を透過するような特
性を持っている。
枚のバンドパスフィルタで回転色フィルタ12を構成し
ている。
配置は、光学系10の前に回転色フィルタ12を配置す
るような逆の配置でも良い。
うに、対象物Oの輝度成分を抽出するための輝度成分抽
出部30、分類のための演算(FS変換等)を行なう分
類演算部32、及び分類判定のための学習及び分類判定
を行なう分類判定部34から成る。
5に示すように、撮影した画像の対象物O及び参照板R
の測定領域を抽出する3個の測定領域抽出部36A,3
6B,36W、測定した輝度成分の平均を求める3個の
輝度成分平均化部38A,38B,38W、撮影したク
ラス1またはクラス未知のテータの輝度成分を書き込む
輝度成分メモリ“A”40A、撮影したクラス2のデー
タの輝度成分を書き込む輝度成分メモリ“B”40B、
撮影した参照板Rのデータの輝度成分を書き込む輝度成
分メモリ“W”40W、光源の影響を補正するための補
正回路42、補正したクラス1又はクラス未知のデータ
を書き込む輝度スペクトルメモリ“dta”44A、及び
補正したクラス2のデータを書き込む輝度スペクトルメ
モリ“dtb”44Bを有している。
Wは、回転色フィルタ12を構成するバンドパスフィル
タの枚数(この例では、5枚)分だけの輝度成分を書き
込むことができるようになっている。
すように除算器421 、または同図の(B)に示すよう
に除算器421 とパワー正規化回路422 により構成さ
れる。以下の説明では、同図の(B)に示した構成とし
て説明を行うものとする。
は、撮影するデータのサンプル数Nだけの輝度成分(各
輝度成分はフィルタ枚数個のデータからなる)を書き込
むことができるようになっている。
(C)に示すように、切り替えスイッチ“A”46、分
類スペクトルを求める分類スペクトル算出部48、分類
スペクトルd1 を書き込む分類スペクトルd1 メモリ5
0、分類スペクトルd2 を書き込む分類スペクトルd2
メモリ52、切り替えスイッチ“B”54、積算器5
6、加算器58Aとラッチ58Bで構成され累積加算を
行なう累積演算部58とによって構成されている。
ように、切り替えスイッチ“C”60、分類境界を決定
する分類境界決定部62、決定した分類境界を書き込む
分類境界メモリ“c1 ”64、分類判定を行なう分類決
定部66とから構成されている。
い、2クラスの対象物を分類する処理について説明す
る。
の学習モードを実行し、次にクラス未知のデータの色分
類を行なうための分類モードを行なう。
象物Oを分類するための分類スペクトルを求めるもので
ある。
0の方向及び焦点距離を、2クラスの対象物を同時に撮
像できるように調節する。
焦調節を行うと共に、図示しない測光器により測光し光
学系10の絞り及びCCD14の露光時間を設定する。
ドパスフィルタ(例えば、12A)で撮影が行なわれる
ように、回転色フィルタ12の位置を制御する。
マンドを送ることによって第1の画像を撮影する。
でA/D変換された画像データは、フレームメモリ18
に転送され格納される。
リ18に格納された画像データを読み込ませる。
は、まず、輝度成分抽出部30へ転送される。
像について、測定領域抽出部36A,36Bにて、取り
込んだ各画像データのなかでそれぞれクラス1,クラス
2に対応する分類対象領域を抽出し、その各画素ごとに
輝度成分を抽出する。
にて、各領域での輝度の平均値を検出し、輝度成分メモ
リ40A,40Bに書き込む。
のフィルタ(例えば、12B)で第2の画像を撮影し、
同様にして平均値を輝度成分メモリ40A,40Bに書
き込む。
ば、12E)まで行ない、輝度成分メモリ“A”40A
にデータda3 ,da4 ,da5 を、また輝度成分メモ
リ“B”40Bにデータda3 ,da4 ,da5 を書き
込む。
モリ“A”40Aにはデータdai(但し、i=1〜
5)を、輝度成分メモリ“B”40Bにはデータdbi
(i=1〜5)を書き込む。
同様に5種類のフィルタで撮影し、輝度成分メモリ
“W”40Wにデータdwi (i=1〜5)を書き込
む。
いては輝度成分メモリ“A”40Aと輝度成分メモリ
“W”40Wから、またクラス2については輝度成分メ
モリ“B”40Bと輝度成分メモリ“W”40Wから、
データを読み出して補正を行なう。
分メモリ“A”40Aのデータを輝度成分メモリ“W”
40Wのデータで除算器421 にて次式のように除算す
る。
を除去できる。
番号を示す。
記除算されたデータのパワー値が一定化されるように、
パワー値Cam 及びCbm により次式の演算が行なわれ
る。
なる場合の影響を除去することができる。
dbm i ″を、輝度スペクトルとして輝度スペクトルメ
モリ“dta”44A及び“dtb”44Bに書き込む。
行ない、輝度スペクトルメモリ“dta”44A及び“dt
b”44Bに輝度スペクトルを書き込む。
ものを交換しても良いし、同一対象物の異なる領域を利
用しても良い。
“dta”44A,“dtb”44Bには、対象物のサンプ
ル数Nだけの輝度スペクトルデータが書き込まれること
になる。
影できない場合は、1つのクラス毎に対象物、参照板に
ついて上記と同様に撮影及び補正を行い、それぞれ輝度
スペクトルメモリ“dta”44A及び“dtb”44Bに
それぞれの輝度スペクトルを書き込む。この操作をサン
プル数Nだけ行なうようにする。
スイッチ“A”46をb側に切り替える。
4A及び“dtb”44Bからそれぞれクラス1及びクラ
ス2に係る輝度スペクトルデータを読み出し、分類スペ
クトル算出部48にて、前述したFS変換を用いて分類
スペクトルd1i(但し、i=1〜5)、及びこれに直交
するd2i(i=1〜5)を求め、それぞれ分類スペクト
ルd1 メモリ50及びd2 メモリ52にそれぞれ分類ス
ペクトルd1i及びd2iを書き込む。
に、また分類判定部34の切り替えスイッチ“C”60
をb側に切り替える。
側に切り替えて、輝度スペクトルメモリ“dta”44A
から輝度スペクトルデータdam i ″を、また分類スペ
クトルd1 メモリ50から分類スペクトルデータd1iを
読み出して、積算器56及び累積演算部58により内積
演算
界決定部62へ転送する。
4Bから輝度スペクトルデータdbm i ″を、また分類
スペクトルd1 メモリ50から分類スペクトルデータd
1iを読み出して、同様に内積演算
送する。
に切り替えて、輝度スペクトルメモリ“dta”44Aか
ら輝度スペクトルデータdam i ″を、また分類スペク
トルd2 メモリ52から分類スペクトルデータd2iを読
み出して、内積演算
送する。続いて、輝度スペクトルメモリ“dtb”44B
から輝度スペクトルデータdbm i ″を、また分類スペ
クトルd2 メモリ52から分類スペクトルデータd2iを
読み出して、内積演算
送する。
分だけ処理を行ない、こうして得た内積値を分類境界決
定部62で図38のように分類境界を決定し、分類境界
メモリ“c1 ”64に書き込む。
ような分類したいクラス未知の対象物Oを、学習モード
のときと同様に撮影し、輝度成分メモリ“A”40Aに
輝度スペクトルdxi (但し、i=1〜5)を書き込
む。
を同様に撮影し、輝度成分メモリ“W”40Wに輝度ス
ペクトルdwi (但し、i=1〜5)を書き込む。
A及び“W”40Wからデータを読み込んで、補正回路
42で補正 dxi ′=dxi /dwi (但し、i=1〜5) …(10) を行ない、更にパワー正規化回路422 にて上記除算さ
れたデータのパワー値が正規化されるように
44Aにスペクトルdxi ″を書き込む。
イッチ“A”46をa側に切り替え、分類判定部34で
は、切り替えスイッチ“C”60をa側に切り替える。
チ“B”54をまずa側に切り替えて、輝度スペクトル
メモリ“dta”44Aから輝度スペクトルdxi ″を、
また分類スペクトルd1 メモリ50から分類スペクトル
データd1iを読み出して、積算器56及び累積演算部5
8により内積演算
定部66へ転送する。
に切り替えて、輝度スペクトルメモリ“dta”44Aか
ら輝度スペクトルdxi ″を、また分類スペクトルd2
メモリ52から分類スペクトルデータd2iを読み出し
て、内積演算
る。
リ“c1 ”64から分類境界を読み出して、このデータ
より、上記転送されてきた内積値tx1 ,tx2 が分類
境界のどちら側にあるかを判定し、分類結果を出力す
る。
は、光源のスペクトル特性の相違を除算器421 にて、
また輝度の相違をパワー正規化回路422 にて補正する
ため、異なる光源についても良好な分類を行うことがで
きる。
うに、パワー正規化回路422 を用いているために、光
源の輝度が変化する場合においても良好な分類を行なう
ことができる。
度のみが変化する場合には、除算回路421 は不要で、
パワー正規化回路422 だけで良い。
構成であるため、安価で機械的振動等にも頑健になる。
とから、異なる分類目的にも容易に対応することができ
る。
32を、既に学習済みの分類スペクトルd1i,d2iを記
憶する分類スペクトルd1 ,d2 メモリ50,52の対
とそれらを選択するための切り替えスイッチ“B”54
との組を複数設け、それぞれの組の分類スペクトルd1
,d2 メモリ50,52に異なる学習済みの分類スペ
クトルを記憶しておき、各組を選択するための切り替え
スイッチ“C′”68を利用するようにすれば、異なる
分類目的にも瞬時に対応することができる。
て、図33の(B)に示すように、円形のフィルタ12
A〜12Eを同一円上に配置した構成のものを用い、各
フィルタで停止させるため各フィルタ毎にその位置を制
御するようにしているが、図33の(C)に示すよう
に、フィルタ12A〜12Eを円弧状に構成し、それら
を同一円上に配列してなる回転色フィルタ12を用いれ
ば、各フィルタ毎に停止させ位置制御する必要がなくな
り、常に動かし続けることができるので、より高速に分
類処理を行なえる。
CCD14での露光のタイミングと回転色フィルタ12
の回転のスピードとの同期をとる必要がある。
に応じて異なる色の画像として表示しても良いし、音声
等で撮影者に知らせるようにしても良い。
7−120324号公報に記載の先願による色分類装置
では、それぞれ異なる通過帯域特性を有する複数の光学
バンドパスフィルタを備えた回転フィルタを介して対象
物を撮像することにより得られるマルチスペクトル画像
データから、対象物の色成分を分類している。
データは、回転フィルタの回転に対応して撮像されてい
るので、各データの撮像時刻は全て異なっている。
ァクトリオートメーション(FA)の製品検査ライン等
での使用において、一方向に移動する対象物をN個の光
学バンドパスフィルタを備えた回転フィルタを介して撮
像する場合には、得られる画像1、画像2、画像3…画
像Nは、対象物の移動に応じて撮像位置がずれてしま
う。
がずれているマルチスペクトル画像データをそのままの
状態で上述のように分類演算処理したとしても、それら
は互いに異なる画素間で処理されてしまうことになるの
で、対象物の色分類を正確に行うことができない。
報に記載の先願による色分類装置では、撮像位置にずれ
が生じるような場合でも、対象物の色分類を正確に行う
ことができるようにする点で改善の余地がある。
なされたもので、撮像位置にずれが生じるような場合
に、その撮影画像の位置ずれを補正して得られるマルチ
スペクトル画像データに基いて所望の分類演算を行うよ
うにすることにより、このような場合でも対象物の色分
類を正確に行うことができるようにした色分類装置を提
供することを目的としている。
題を解決するために、対象物の色成分を分類する色分類
装置において、結像光学系と、この結像光学系の結像面
に配置した撮像素子と、この撮像素子より光学的な前側
に配置され、異なる複数の光の透過波長帯域を選択可能
な光学的バンドパスフィルタと、この複数の光の透過波
長帯域から一つの透過波長帯域を選択する透過波長選択
手段と、この透過波長選択手段が選択した透過波長帯域
を有する前記光学的バンドパスフィルタを通過し前記撮
像素子で撮像した各像情報と前記透過波長選択手段が選
択した透過波長帯域情報とを対応して格納する記憶手段
と、この記憶手段から前記各像情報の内の対象物に対応
する領域を読み出す読み出し手段と、前記記憶手段に格
納された対象物の各像情報の位置ずれに応じて、前記読
み出し手段が読み出す前記各像情報の領域を補正する補
正手段とを有することを特徴とする色分類装置が提供さ
れる。
前記透過波長選択手段が前記光学的バンドパスフィルタ
の透過波長帯域を選択するタイミングと、対象物の移動
速度とから、前記読み出し手段が読み出す前記各像情報
の領域を補正することを特徴とする色分類装置が提供さ
れる。
において、更に、対象物を一定速度で搬送する対象物搬
送手段と、前記撮像素子の露光タイミングを発生するタ
イミング発生手段と、前記タイミング発生手段のタイミ
ングに同期して前記選択手段が前記光学的バンドパスフ
ィルタの選択を行うように制御する同期制御手段とを有
し、前記補正手段は前記タイミング発生手段が発生する
露光タイミングの周期の間に対象物が移動する距離を前
記対象物搬送手段が対象物を搬送する速度から求め、こ
の求めた移動する距離から前記読み出し手段が読み出す
前記各像情報の領域を補正することを特徴とする色分類
装置が提供される。
る色分類装置の実施の形態につき説明する。
形態として等速運動をする搬送部への応用例について説
明する。
下、被写体と記す)116は、立体的あるいは平面的な
もので、例えばFAラインにおけるベルトコンベア等の
等速運動をする搬送部114上に乗せられて、所定間隔
(等間隔とは限らない)で搬送されてくる。
として、回転フィルタ102と撮像素子107とを有す
る画像入力部101とパーソナルコンピュータ等のコン
トロール部110から構成されている。
送部114上には、光電スイッチ、近接スイッチ等の位
置検出センサ115が配設されている。
6が所定の位置にきたときにそれを検出してトリガ信号
をコントロール部110内のインタフェース回路112
に出力する。
02は、前述した先願のそれと同様に通過帯域の異なる
バンドパスフィルタが複数(N)枚備えられており、モ
ータ駆動回路103で制御されるモータ104により、
等速度で回転駆動される。
上に対向して配設されているフイルタ位置検出部109
は、現在どのフィルタが結像光学系としてのレンズ10
8に対向した撮影位置にあるかをモニタリングし、フィ
ルタ位置信号をコントロール部110内のインタフェー
ス回路112に送る。
ル部110内のインタフェース回路112を介してモー
タ駆動回路103によりその回転速度等が制御される。
はCCD固体撮像素子であり、コントロール部110内
のインタフェース回路112を介して撮像素子ドライバ
105により画像信号の読み出しや電子シャッタ速度設
定が行われる。
ィルタ102の各フイルタ毎に撮影された被写体116
の像情報としての画像信号は、増幅器106を介してコ
ントロール部110内のアナログ/デジタル(A/D)
変換器111に送られる。
フェース回路112及びアナログ/デジタル(A/D)
変換器111を介して画像処理部113により後述する
ような所定の処理を行う。
内の画像処理部113に設けられた位置ずれ補正部12
2には、回転フィルタ102の各フィルタにて撮影され
た画像信号をA/D変換後に記憶するためのN個のフレ
ームメモリ1,2…Nが設けられている。
像処理部113において、アナログ/デジタル(A/
D)変換器111を介して送られてくる画像データは、
インタフェース回路112を介して送られてくるフィル
タ位置信号に基ずいて切り替えられる切替スイッチ11
7により回転フィルタ102の各フィルタのフィルタ位
置番号と同じ番号のフレームメモリ1,2…Nに記憶さ
れる。
処理部113において、読み出し制御部119は、後述
する読出位置計算部118からの出力に基ずいてフレー
ムメモリ1,2…Nからの読み出し位置を制御する。
における搬送部114の移動速度及び回転フィルタ10
2の回転速度とに基ずいて後述するような撮影位置の位
置ずれ補正するために必要な所定の読み出し位置を計算
している。
部121に対し、撮影位置の位置ずれを補正し得るよう
に各フレームメモリ1,2…Nからの読み出しアドレス
が変更される。
モリ1からは読出開始位置R1から被写体116より大
きな所定の領域(図3の読出領域)を読み出す。
位置R2から、以下同様に、フレームメモリNからは読
出開始位置RNから読み出す。
は、搬送部114が等速運動することからそれぞれ等間
隔離れた位置であり、搬送部114の移動速度と回転フ
ィルタ102の回転速度から読出位置計算部118にて
予め計算されている。
ントロール部110内のインタフェース回路112を介
して送られてくる前述した位置検出センサ115からの
トリガ信号に基ずいて読出位置計算部118、読み出し
制御部119及び分類演算部121に対し所定の制御信
号を出力している。
の搬送が開始され、被写体116が位置検出センサ11
5の直前に到来したときにトリガ信号が発生される。
転フィルタ102が連続回転しているため、図4に示す
ようにトリガ信号がきた直後のフィルタiが撮像位置に
移動してきたタイミングにおいて、1枚目の撮像が行わ
れる。
りフィルタ番号iに対応するフィルタ位置信号が切替ス
イッチ117に送られるので、その画像信号はフレーム
メモリiに記憶される。
位置に回転移動してきたときに、2枚目の撮像が行わ
れ、その画像信号はフレームメモリi+1に記憶され
る。
れることにより、N枚の撮影及びそれらの各画像信号の
記憶が終了する。
は、位置ずれを補正するように読み出し制御部119を
介して送られてくる読出位置計算部118にて予め計算
された読出開始位置R1,R2,…,RNから画像信号
が読み出されて分類演算部121に送られる。
位置ずれのない同じ画素間で所望の分類処理演算が行わ
れ、その分類結果が出力される。
演算は、前述した先願のそれと同様であるので、ここに
その記載を編入するものとしてその説明を省略する。
よると、各フレームメモリからの読み出し位置を搬送部
の移動速度および回転フィルタの回転速度から設定する
ため、被写体の移動による位置ずれを良好に補正するこ
とができる。
ィルタのフィルタ位置検出部からのフィルタ位置信号よ
ってフレームメモリを切り替える切り替えスイッチを具
備することから、トリガ信号が発せられた直後の画像信
号を所定のフレームメモリに書き込むことができ、処理
の高速化が図れる。
に示すように、被写体の読み出し領域を被写体より大き
くしておくことにより、トリガ信号が発せられてから1
枚目の画像を取り込むまでの時間が異なる場合にも、確
実に被写体を撮像することができる。
に示すように分類演算部での演算処理領域を被写体より
小さくしておいてもよい。
形態として、前述した第1の実施の形態における回転フ
ィルタの取り付け誤差による位置ずれを撮影位置の位置
ずれと併せて補正をする場合について説明する。
て、前述した第1の実施の形態と同様に構成されている
と共に、同様な機能を有している部分については、同一
符号又は関連符号を付して援用することにより、それら
の説明又は図示を適宜省略するものとする。
回転フィルタの取り付け誤差による位置ずれについて説
明すると、図6の(a)に示すように、図1に示した回
転フィルタ102に相当するフィルタ1,2が取り付け
られている円盤102A,Bが光軸に対して垂直な平面
内で回転しないと各フィルタ1,2に応じて結像位置に
ずれが生じる。
には、本来の結像位置P0に対して、フィルタ1ではP
1、フィルタ2ではP2に結像し、各々Δ1,Δ2の位
置ずれを生じている。
タ1の円盤102が光軸に対して垂直であったとして
も、フィルタ1自体が光軸に対して垂直に取り付けられ
ていない場合もある。
にも、上述と同様に位置ずれΔ1が生じる。
ィルタごとに固定して値となっている。
ずれ量を計測しておき、それを図7に示すように、コン
トロール部110内の画像処理部113における位置ず
れ補正部122に新たに設けられたフィルタずれ量メモ
リ701に記憶させておくものとする。
信号に応じてフィルタずれ量メモリ701から位置ずれ
量Δを読み出し、読出位置計算部118では、この位置
ずれ量Δも補正するように読み出しのアドレスが計算さ
れる。
構成がそのまま援用されると共に、図7の構成において
は、前述したようにフィルタ位置信号に応じてフィルタ
ずれ量メモリ701から位置ずれ量Δを読み出し、読出
位置計算部118ではこのΔも補正するように読み出し
のアドレスが計算される点のみが図2の構成と異なって
いる。
般に、安価に製作すると、上述のようなフィタルの取り
付け誤差が生じるが、このずれを良好に補正することが
できると言う効用を有している。
形態として、前述した第1の実施の形態の撮像素子に代
えてCMD(Charge Modulation D
evice)を用いたブロック読み出しを利用する場合
について説明する。
8に示すように、前述した第1の実施の形態の撮像素子
107に代えてCMD107Aを用いると共に、撮像素
子ドライバ105に代えてCMDドライバ105Aを用
いている。
8822号公報及び特開平5−268521号公報に開
示されている増幅型XYアドレス方式の撮像素子であっ
て、撮像素子中の任意位置から任意の画素数だけブロッ
ク状に読み出すこともできるものである。
した第1の実施の形態にて行っていたフレームメモリ
1,2…Nからの読み出し位置の変更を、CMD107
Aの撮像素子から直接読み出し位置を変更することがで
きるようにしたものである。
ル部110内の画像処理部113における位置ずれ補正
部122において、読み出し制御部119は、前述した
読出位置計算部118からの出力に基ずいて図8のCM
Dドライバ105Aを介してCMD107Aからの読み
出し位置を制御するようにしている。
下のような効果がある。
読み出しが高速化でき、搬送部の移動速度をさらに向上
させることができる。
第1の実施の形態の読み出し領域(図5参照)に相当す
る容量に削減することができる。
と、前述した第1の実施の形態の撮像素子107に代え
て用いるCMD107Aには、画素毎に増幅のばらつき
が固定パターンノイズ(Fixed Pattern
Noise:FPN)として現れると言うCMDに特有
な問題がある。
Aの回転フィルタ102に備えられる複数(N)枚の通
過帯域の異なるバンドパスフィルタのうち、少なくとも
1枚は透過率ゼロの暗時画像信号入力用フィルタとす
る。
110Aにおけるアナログ/デジタル(A/D)変換器
111と画像処理部113との間に、新たにFPN除去
部123を設ける。
て、前記透過率ゼロの暗時画像信号入力用フィルタで撮
像される暗時画像信号を、それ以外の別の各フィルタで
撮像される画像信号から減算処理することにより、FP
Nの除去を行うことができる。 (第4の実施の形態)次に、第4の実施の形態として、
前述した第1の実施の形態の回転フィルタの代わりに波
長可変フィルタを利用する場合について説明する。
の第4の実施の形態では前述した第1の実施の形態の回
転フィルタ102の代えて波長可変フィルタ125を用
いるようにしている。
第1の実施の形態のモータ駆動回路103に代えて用い
られる波長可変フィルタ駆動回路124による電気的制
御により、その透過波長が制御される。
長のチューニングに必要とする時間が数ms〜数十ms
かかり、読出位置計算部118において読み出し位置を
算出する上での重要なファクターとなる。
置計算部118に対して、前述した第1の実施の形態の
回転フィルタの回転速度の代わりに波長チューニング速
度が入力されている。
第1の実施の形態のフィルタ位置信号の代わりにチュー
ニングフィルタ信号が入力されている。
下のような効果がある。
ィルタのようなメカニカルな駆動部がないので、画像入
力部を小型軽量化することができる。
長が制御される構成なので、撮影時の透過波長を容易に
且つ任意に選ぶことができる。
ィルタの通過帯域や枚数を最適化する必要があり、前述
した第1の実施の形態における回転フィルタ102の場
合には、回転フィルタの場合にはフィルタそのものを交
換する必要があったが、この第4の実施の形態における
波長可変フィルタの場合には、チューニングする波長を
変えるだけでよく、容易に異なる被写体に対して最適化
できる。
タを用いれば容易に測色値に高精度に変換することがで
きる。
形態として、前述した第1の実施の形態における撮像素
子の前にストライプフィルタを配設する場合について説
明する。
12の(a)に示すように、前述した第1の実施の形態
における回転フィルタ102や前述した第4の実施の形
態における波長可変(チューナブル)フィルタ125の
変わりに、図示のごとくストライプ状のカラーフィルタ
A,B,C,D,Eを撮像素子107Bの直前に配置す
る。
宜上5種類のストライプフィルタ、つまり、カラーフィ
ルタA,B,C,D,Eを示しているが、その数は限定
的なものではない。
Eの縦横の大きさはそれぞれ等しいものとしている。
による撮像の様子を示す。
A,B,C,D,Eは各カラーフィルタA,B,C,
D,Eで撮像される領域を示している。
体116Aを撮影する。
領域A,B,C,D,Eより小さい場合を想定している
ため、時刻T1において、被写体116Aは領域Aにの
み存在し、領域Aの画像信号のみが前述したようにして
図13に示すような位置ずれ補正部122Cにおけるフ
レームメモリ126に記憶される。
を行うと、被写体116Aは領域Bにのみ存在し、領域
Bの画像信号のみが図13に示すような位置ずれ補正部
122Cにおけるフレームメモリ126に記憶される。
信号が図13に示すような位置ずれ補正部122Cにお
けるフレームメモリ126に順次に記憶される。
レームメモリが僅か1個でよいと共に、前述した第1の
実施の形態における回転フィルタ部がないので、小型、
軽量化が図れるという効果がある。
信号を被写体116Aが領域Aにきたときのみ発生する
ようにしたが、前述した第1の実施の形態における位置
検出センサ115を複数用いて各領域A,B,C,D,
E毎にトリガ信号を発生するようにすることにより、前
述した第1の実施の形態における搬送部114の速度が
等速でない場合にも、良好に分類演算を行なうようにす
ることができる。
A,B,C,D,Eより小さいことが条件であったが、
図12の(c)に示すようにシート状の被写体116B
である場合や被写体が多数ある場合には、図13に示す
ような位置ずれ補正部122Cに代えて、図14に示す
ような位置ずれ補正部122Dとする。
22Dでは、図12の(c)に示す各撮影時刻毎に撮像
された画像信号をフレームメモリ1,2…5に対し、そ
の書き込みが切り換えられる。
応領域がそれぞれ読み出される。
4に示すようにフレームルメモリ1からは領域A、フレ
ームメモリ2からは領域B、フレームメモリ3からは領
域C、フレームメモリ4からは領域D、フレームメモリ
5からは領域Eの各画像信号が読み出され分類演算部1
21へ送られ処理が行われる。
は領域E、フレームメモリ2からは領域A、フレームメ
モリ3からは領域B、フレームメモリ4からは領域C、
フレームメモリ5からは領域Dの各画像信号が読み出さ
れ分類演算部121へ送られ処理が行われる。
演算された分類結果は、結果合成部127にて合成され
た後、モニタ信号生成部128を介してモニタ129等
へ表示される。
れば、高速で移動するシート状の連続被写体(印刷物、
フィルム等)の分類演算も良好に行うことができる。
形態として、前述した第1の実施の形態におけるトリガ
信号を位置検出センサの代わりに画像信号から得るよう
にした場合について説明する。
号中に図16に示すような監視領域を用いるものとす
る。
おけるフレームメモリ130からの画像信号に基ずいて
画像位置検出部131により、この監視領域の平均値を
算出する。
7の(a)に示すように、平均値算出部132によって
算出された監視領域の平均値と、背景部平均値算出部1
33によって算出された画像の背景部となる搬送部11
4そのものの平均値とを比較部134によって比較し、
その比較結果がある一定値以上異なる場合には被写体で
あると判定し、トリガ信号を発生する。
背景部の平均値を算出して各フィルタ毎に記憶してお
き、それらを測定時に各フィルタ毎に対応付けて読み出
すようにしておいてもよい。
(b)に示すように、エッジ抽出部135によってエッ
ジ信号を抽出し、このエッジ信号の大きさがある一定値
以上になったことを判定部136が判定した場合にトリ
ガ信号を発生するようにしておいてもよい。
(c)に示すように、被写体上に設けられる文字の印刷
や印鑑、手書き文字等でなる特定パターンを特定パター
ン抽出部137によって抽出し、この特定パターン抽出
号の大きさがある一定値以上になったことを判定部13
8が判定した場合にトリガ信号を発生するようにしてお
いてもよい。
(c)の場合には、図17の(a)の場合のように、各
フィルタ毎の背景部の平均値を記憶しておく必要はな
い。
タ毎の画像信号の差分をとり動きを検出するようにして
もよい。
置検出センサが不要になるので、搬送部の構成が煩雑に
はならないと共に、位置検出センサで検出しにくい微小
な被写体でも検出することができるという効果がある。
上述した第3乃至第5の実施の形態におけるトリガ検出
に用いるようにしてもよい。
が一つであったが、図20に示すように監視領域を複数
設けるようにしてもよい。
形例によれば、後述する第7の実施の形態のように位置
検出センサを複数使う場合に比してコストが安価ですむ
という効果がある。
形態として、前述した第1の実施の形態における搬送部
が等速に移動しない場合について説明する。
が等速に移動しない場合には、予め計算した読み出し開
始位置R1,R2…から読み出すようにしても、それだ
けでは正しく位置ずれを補正することができない。
8に示すように、位置検出センサ115Aを回転フィル
タ102の数に対応づけて複数設ける。
ィルタ102は間欠駆動されるものと仮定する。
の発生の直後に撮像を行うようにすると、撮像後直ちに
回転フィルタ102は次の撮影用のフィルタに切り換え
られる。
部が等速で動いているということを仮定していたが、こ
の第7の実施の形態では、搬送部が等速で動いていない
といった場合に対応するための例である。
18に示すように、位置検出センサ115Aが複数個あ
るということであり、この場合、回転フィルタ102の
フィルタがN個であるとすると、位置検出センサ115
Aも図19に示すセンサ1,2…NのようにN個あると
いうことになっている。
置検出センサ115Aが置かれている関係になってい
る。
ようになっている。
出力するが、センサ1で撮像する時のトリガ信号がこの
タイミングで出力する。
がこのタイミングで出力する。
ていると、それは被写体116の間隔すなわち、撮像す
るタイミングの時間が変わってくるということになる。
る時には、回転フィルタ102のフィルタは予めフィル
タ1にセットされているものとする。
に動いているので、回転フィルタ102の方が等速に動
くということでは撮影タイミングが合わないので、この
場合には回転フィルタ102は間欠駆動することが前提
になっている。
れると、すぐに撮像が行われるように、回転フィルタ1
02のフィルタ1による撮像素子107の露光タイミン
グが制御される。
フィルタ102のフィルタは、フィルタ1からフィルタ
2に切り替わる。
ィルタ2の設定が終わって、次のセンサ2によるトリガ
信号が出力されるといった形態で進行されて行く。
動時間があまりにも遅いと、次のトリガーが掛ってしま
うことになるので、この露光タイミングはある所定間隔
が開くように予め設定しておく必要がある。
スピードを少し遅くしておくということが必要になる。
グして撮影するとか、または、搬送部に適当な等間隔の
パターンを設けておいて、そのパターンの数をカウント
して所定の量だけ進んだと判断してトリガを掛けるとい
うことも可能である。
なるが、複数個のセンサは不要となり、1個のセンサだ
けで済むという利点がある。
送部が等速に移動しない場合にも確実に位置ずれを補正
することができるという効果がある。
形態として、前述した第1の実施の形態における搬送部
が等速に移動しない場合について説明する。
14が等速に移動しない場合には、予め各フィルタ毎に
撮像された画像信号をフレームメモリ1,2…Nから読
み出して相関演算回路139で相関演算行うことによ
り、撮像時の位置ずれを検出する。
部119Dによる読み出しアドレスを変更する。
う際に、透過波長が全く離れたフィルタ画像では相関性
が低いので、図22に示すように回転フィルタ1,2,
3,4,5,6,7,8の透過波長配列がなるべく連続
するように配置する(フィルタ8枚の例)。
示すように、エッジ検出回路140によるエッジ検出後
に、相関演算回路139での相関演算を行うようにして
もよい。
マークや所定文字)を設け、この特定パターンから位置
ずれを検出するようにしてもよい。
れば位置検出センサが不要になるという効果がある。
形態として、前述した第1の実施の形態において、被写
体が平行に移動しない場合について説明する。
搬送部114がベルトコンベアなどの場合、振動により
被写体が回転してしまうことがある。
の形態のように、単に平行移動だけを補正するだけでは
位置ずれを完全に補正することはできない。
4に示すように、相関演算回路139A及び補関演算回
路139Bを用いて、例えば特開平6−14126号公
報に開示されているような手法により、被写体116の
平行移動量だけでなく、回転移動量も検出して位置ずれ
の補正を行う。
の画像を図25の(b)に示す。
写体116が不等速に動くだけではなくて、ベルトコン
ベア等の搬送部114の振動等によって更に回転によっ
て動いてしまうという場合の対処の仕方である。
関演算の中で被写体116の平行移動量だけではなく
て、回転量を求めると共に、回転角を求めることが特徴
となっている。
でなく、回転量を求めるためには、相関演算回路139
Aによる相関演算はある1箇所ではなくて複数箇所で行
う必要がある。
て、最低2箇所以上の位置でその相関演算を行えば、被
写体116の平行移動量と回転量及び回転角を求めるこ
とができる。
回転角と読み出し位置から補関演算回路139Bの補関
演算によって正しい画像の並びになるように画像を作り
直して、それをフレームメモリ141,142…14N
に入れる。
の形態と同じとなる。
よると、被写体116が図25の(a)に示すように、
通常は平行移動するものとして読み出しアドレスを読出
開始位置R1,R2.…RNのように順番にずらしてい
くだけであると、被写体116が回転した場合に読み出
し領域の中からはみでてしてしまうのを避けることがで
きる。
メモリ1,2…Nから読み出し位置とその読み出しの方
向を、被写体116が回転した場合に図25の(b)に
示すようにその被写体116の回転に応じて回転させた
り、平行移動させたりすることによって、常に読み出し
された後は同じように画像が移動するようになっている
のが特徴である。
施の形態として、前述した第1の実施の形態における撮
像素子としてのエリアセンサの代わりにラインセンサを
利用する場合について説明する。
図26に示すように、ラインセンサ150を複数用いる
ものであるが、各ラインセンサ150の直前には通過波
長帯域の異なる複数のバンドパスフィルタ150aを配
置する。
るが、読み出しの位置は配置されたラインセンサ150
の間隔にのみ依存する。
読み出し位置は固定となるので、搬送部の速度が変わっ
ても読み出し位置を変更する必要がないと共に、例えば
1000×1000画素以上の高精細な撮像を行うとき
に、エリアセンサは非常に高価であるが、ラインセンサ
を用いることにより非常に安価に実現できるという効果
がある。
施の形態として、前述した第1の実施の形態における回
転フィルタの回転数と撮像素子の露光時間との制御につ
いて説明する。
わゆるケラレが生じて画像を正しく撮像することができ
ない。
態で、フィルタが撮影光束を完全にカバーしている。
生じている状態で、フィルタが撮影光束を完全にカバー
しきれていない。
撮像素子の露光時間が長いためである。
28に示すように、回転フィルタの回転速度と撮像時の
光束の直径を決める光学系のFナンバーから、ケラレが
生じない最長の露光時間を最長露光時間計算部145で
計算し、この最長の露光時間より短くなるように制御部
120にて撮像素子の露光時間が設定されることを特徴
とする。
常にケラレが生ぜずに良好な撮影が行える。
いては、露光時間をある程度長くせざるを得ない状況も
あり、このような場合には、このケラレを補正する必要
がある。
ラのように生じるため、図29に示すように、感度補正
部146にてケラレに応じた感度補正を行う。
よれば、様々な撮影状況に対応できると言う効用があ
る。
には、ケラレを生じる位置がフィールド毎に異なるの
で、それも考慮して感度補正部146にて補正(フィー
ルド毎に異なる補正)を行うようにしてやればよい。
開始時間と露光終了時間が光束に対して非対称の場合、
ケラレが非対称に生じるので、このような場合にも予め
感度補正部146にその情報も取り込んでおくことによ
り、補正を行うようにしてやればよい。
12の実施の形態として、複数の位置検出センサ115
毎に対応して複数の撮像装置151を設け、この複数の
撮像装置151からの画像信号をコントロール部152
で各別に処理して振り分け装置153により振り分ける
ようにした例を示す。
2に基づいて説明したが、本明細書には以下の発明が含
まれる。
置において、結像光学系と、この結像光学系の結像面に
配置した撮像素子と、この撮像素子により光学的な前側
に配置され、異なる複数の光の透過波長帯域を選択可能
な光学的バンドパスフィルタと、この複数の光の透過波
長帯域から一つの透過波長帯域を選択する透過波長選択
手段と、この透過波長選択手段が選択した透過波長帯域
を有する前記光学的バンドパスフィルタを通過し前記撮
像素子で撮像した各像情報と前記透過選択手段が選択し
た透過波長帯域情報とを対応して格納する記憶手段と、
この記憶手段から前記各像情報の内の対象物に対応する
領域を読み出す読み出し手段と、前記記憶手段に格納さ
れた対象物の各像情報の位置ずれに応じて、前記読み出
し手段が読み出す前記各像情報の領域を補正する補正手
段とを有することを特徴とする色分類装置。
形態1〜10が対応する。
フィルタは回転フィルタが対応し、透過波長選択手段は
モータとモータ駆動回路とフィルタ位置検出部とが対応
している。
は、各フィルタ毎の撮影時に対象物が動いてしまっても
補正手段によって記憶手段からの読み出し位置を補正す
ることにより、位置ずれのない状態で対象物の情報を読
み出せることが挙げられる。
置において、結像光学系と、この結像光学系の結像面に
記憶するXYアドレス方式の撮像素子と、この撮像素子
より光学的な前側に配置され、異なる複数の光の透過波
長帯域を選択可能な光学的バンドパスフィルタと、この
複数の透過波長帯域から一つの透過波長帯域を選択する
透過波長選択手段と、この透過波長選択手段が選択した
透過波長を有する前記光学的バンドパスフィルタを通過
し前記撮像素子で撮像した各像情報のうち、対象物に対
応する領域を前記撮像素子から読み出す読み出し手段
と、前記撮像素子上に結像する対象物の像の位置ずれに
応じて、前記読み出し手段が読み出す前記撮像素子のア
ドレスを補正する手段とを有することを特徴とする色分
類装置。
形態3が対応する。
フィルタは回転フィルタが対応し、透過波長選択手段は
モータとモータ駆動回路とフィルタ位置検出部とが対応
している。
は、撮像素子として、例えばCMDのようなXYアドレ
ス方式の素子を用いていることにより、撮像素子からの
読み出し位置をアドレスによって制御することができる
ので、上記(1)に示すような記憶手段を用いなくても
よいことが挙げられる。
手段が前記光学的バンドパスフィルタの透過波長帯域を
選択するタイミングと、対象物の移動速度とから、前記
読み出し手段が読み出す前記各像情報の領域を補正する
ことを特徴とすることを特徴とする上記(1)又は
(2)記載の色分類装置。
形態1(特には図2)が対応する。
読出し制御部が対応する。
は、撮像素子で各帯域のフィルタを通過した像情報を順
に取り込むものであるが、この際、撮像のタイミングと
光学的バンドパスフィルタが選択されるタイミングとが
関係を有しているので、光学的バンドパスフィルタが選
択されるタイミングと対象物の移動速度とから、読み出
し手段が読み出す各像情報の領域を補正することができ
る点が挙げられる。
対象物搬送手段と、前記撮像素子の露光タイミングを発
生するタイミング発生手段と、前記タイミング発生手段
のタイミングに同期して前記選択手段が前記光学的バン
ドパスフィルタの選択を行うように制御する同期制御手
段とを有し、前記補正手段は前記タイミング発生手段が
発生する露光タイミングの周期の間に対象物が移動する
距離を前記対象物搬送手段が対象物を搬送する速度から
求め、この求めた移動する距離から前記読み出し手段が
読み出す前記各像情報の領域を補正することを特徴とす
る上記(1)又は(2)記載の色分類装置。
形態1(特には図4)が対応する。
読出し制御部が対応すると共に、同期制御手段は前記光
学的バンドパスフィルタの選択周期に前記タイミング発
生手段のタイミングが同期するように制御しても良い。
すように、光学的バンドパスフィルタの選択周期と撮像
素子の露光周期とを同期させ、且つ、フィルタが結像光
学系の光軸上に存在しているときに露光することができ
る。
搬送する速度から、記憶手段に格納された異なる透過波
長帯域のフィルタを透過し前記撮像素子で撮像した各像
情報のずれ量が求められ、ずれ補正をして読み出すこと
ができる。
リガ信号を出力する複数の位置検出手段を有し、前記撮
像手段は前記トリガ信号が出力されたタイミングで撮像
し、前記透過波長選択手段はこの撮像が終了してからフ
ィルタ透過波長の選択を行い、更に、前記補正手段は、
前記複数の位置検出手段の配置間隔から前記読み出し手
段が読み出す前記各像情報の領域を補正することを特徴
とする上記(1)又は(2)記載の色分類装置。
形態7が対応する。
は、位置検出手段が複数有り、これにより出力されるト
リガ信号で同期を取って像情報を撮像するので、各像情
報のずれ量は各位置検出手段の配置間隔に依存すること
により、この複数の位置検出手段の配置間隔から前記読
み出し手段が読み出す前記各像情報の領域を補正するこ
とができると共に、透過波長選択手段は撮像終了後にフ
ィルタの透過波長帯域を間欠的に選択するので、確実に
フィルタを通過した像情報を撮像することができる点が
挙げられる。
リガ信号を出力する位置検出手段と、この位置検出手段
がトリガ信号を出力した後、像情報を格納した前記記憶
手段のうち透過する光の波長帯域が隣り合うフィルタに
対応する記憶手段から像情報を読み出し相関演算を行う
相関演算手段とを有し、前記トリガ信号と相関演算手段
の相関結果とから前記読み出し手段が読み出す前記各像
情報の領域を補正することを特徴する上記(1)記載の
色分類装置。
形態8、9が対応する。
算を行う前に各記憶手段から読み出した像情報に対して
エッジ抽出を行っても良い。エッジ抽出を行うことによ
って、各記憶手段に記憶された像情報のずれ量を更に正
確に把握して補正手段で補正することができる。
は、各記憶手段に記憶されている像情報は単一スペクト
ルによる像情報であり、スペクトルが近い2つの像情報
間で相関を取れるので、より良い相関結果を得ることが
できると共に、対象物が一方向のみに動いた場合は元よ
り、対象物が回転しながら移動するような場合にも補正
手段による補正が可能となる点が挙げられる。
電気制御手段と、この電気制御手段により透過する波長
を制御する波長可変フィルタとから構成することを特徴
とする上記(1)〜(6)のいずれか一つに記載に色分
類装置。
形態4が対応する。
は、電気制御手段により、対象物が撮像エリアに入った
段階から作用し透過する波長を変える点が挙げられる。
置において、結像光学系と、この結像光学系の結像面に
配置した撮像素子と、この撮像素子の光学的にすぐ前側
に配置し帯状に形成されたそれぞれ異なる光の透過波長
帯域を有する複数の帯状光学的バンドパスフィルタと、
対象物を搬送させる手段と、この搬送させる手段により
前記撮像素子上の対象物の像が前記帯状光学的バンドパ
スフィルタの幅分だけ動く周期で、前記撮像素子で撮像
した各像情報を格納する記憶手段と、前記各帯域のフィ
ルタを通過した像情報が格納された記憶手段から前記各
像情報の内の対象物の特定部分に対応する領域を読み出
す読み出し手段と、を有することを特徴とする色分類装
置。
形態5(変形例を含む)が対応する。
は、一つの撮像素子の前面に帯状の光学的バンドパスフ
ィルタを配置することにより、対象物を帯状に分割して
取り込むので、1回で撮像できないような大きな対象物
にも対応できると共に、フィルタを回転させるなどのメ
カニカルな機構が不要になる点が挙げられる。
が予想されるエリアを撮像し像情報を得る監視撮像手段
と、この監視撮像手段が対象物の存在しない背景部を撮
像し、得た像情報の輝度情報を平均化し予め格納する背
景情報格納手段と、前記監視撮像手段が撮像し、得た像
情報の輝度情報を平均化する像情報平均化手段と、前記
背景情報格納手段が格納する平均化された背景部の像情
報の輝度情報と、前記像情報平均化手段が平均化した像
情報の輝度情報とを比較する比較手段とを有し、この比
較手段の比較の結果に差が生じた時には前記対象物の通
過が予想されるエリアに対象物が存在するとしてトリガ
信号を出力することを特徴とする上記(5)又は(6)
記載の色分類装置。
形態6(変形例を含む)が対応する。
段の一部を兼用しても良い。
過が予想されるエリアを撮像し像情報を得る監視撮像手
段と、前記監視撮像手段が撮像し、得た像情報のパター
ンを抽出する抽出手段と、前記抽出手段が抽出した特定
パターン情報を対象物の特定パターンか否かを判定する
判定手段とを有し、この判定手段が前記特定パターン情
報が対象物のものと判定した時には前記対象物の通過が
予想されるエリアに対象物が存在するとしてトリガ信号
を出力することを特徴とする上記(5)又は(6)記載
の色分類装置。
形態6(変形例を含む)が対応する。
ば、エッジ情報で良い。
装置において、結像光学系と、この結像光学系の結像面
に長手方向が略平行となるように配置した複数のライン
センサと、前記ラインセンサより光学的な前側に各ライ
ンセンサに一色づつ対応して配置したそれぞれ異なる光
の透過波長帯域を有する複数の光学的バンドパスフィル
タと、前記ラインセンサで撮像した各像情報を格納する
記憶手段と、前記各帯域フィルタを通過した像情報が格
納された記憶手段から前記各像情報の内の対象物に対応
する領域を読み出す読み出し手段と、前記記憶手段に格
納された対象物の各像情報の位置ずれに応じて、前記読
み出し手段が読み出す前記各像情報の領域を補正する補
正手段とを有することを特徴とする色分類装置。
形態10が対応する。
は、記憶手段に複数のラインセンサによって対象物の各
バンドの像情報を格納すると共に、各像情報のずれ量が
各ラインセンサの配置間隔に依存していることによっ
て、この各ラインセンサの配置間隔から前記読み出し手
段が読み出す前記各像情報の領域を補正することができ
る点が挙げられる。
トリガ信号を出力する位置検出手段と、前記ラインセン
サの配置間隔を記憶するセンサ間隔記憶手段とから構成
され、前記トリガ信号と記憶された前記ラインセンサの
配置間隔から前記読み出し手段が読み出す前記各像情報
の領域を補正することを特徴とする上記(11)記載の
色分類装置。
形態10が対応する。
調節する露光時間調節手段と、前記結像光学系のFナン
バーを制御するFナンバー制御手段と、前記光学的バン
ドパスフィルタが配置される面上の前記結像光学系の撮
像光束が、前記露光時間調節手段が調節した露光時間の
間、前記光学的バンドパスフィルタをケラレなく通過す
るように、前記透過波長選択手段、前記露光時間調節手
段、前記Fナンバー制御手段のうち少なくとも一つを制
御する制御手段とを有することを特徴とする上記(1)
又は(2)記載の色分類装置。
形態11が対応する。
は、制御手段の制御によって、露光時間中にフィルタが
移動しても移動するフィルタの通過領域がオーバラップ
する部分を撮像光束がケラレなく通過し撮像素子に到達
するが、もし、ケラレが発生するような場合には、フィ
ルタの交換速度を遅くする、又は、露光時間を短くす
る、又は、Fナンバーを小さくし入射瞳経を小さくす
る、のうち少なくとも一つを行って、ケラレがなくなる
ように制御すればよい点が挙げられる。
タによる撮像光束のケラレ情報を記憶するケラレ情報記
憶手段と、前記撮像素子で撮像した各像情報を前記記憶
手段に格納する前に、前記ケラレ情報記憶手段に記憶さ
れた情報を用いて補正する感度補正手段とを有すること
を特徴とする上記(13)記載の色分類装置。
形態11の変形例(図29)が対応する。
は、上記(13)記載の制御手段の制御によっても、何
らかの理由によってケラレが発生することがあり得ると
共に、ケラレが発生する理由としては、例えば、制御に
直接関係しない要因の変化(例えば、回転フィルタの変
形等)が考えられ、ケラレが発生すると照明ムラが発生
したような対象物の像情報中の輝度ムラが生ずるので、
このような場合に、対象物を撮像しない状態で撮像光束
のケラレ情報のみを取り込み、これをケラレ情報記憶手
段に記憶すると共に、この情報を用いて、撮像素子で撮
像した各像情報を記憶手段に格納する前に補正してケラ
レがない像情報に近づける点が挙げられる。
ルタのフィルタ取り付け誤差に伴う前記結像光学系の結
像位置ずれを各透過波長帯域のフィルタに対応して格納
するフィルタずれ量記憶手段を有し、前記読み出し手段
はこのフィルタずれ量記憶手段に格納されている結像位
置ずれ情報を用いて各透過波長帯域ごとに読み出し位置
を補正することを特徴とする上記(1)又は(2)記載
の色分類装置。
形態2が対応する。
れば、撮像位置にずれが生じるような場合に、その撮影
画像の位置ずれを補正して得られるマルチスペクトル画
像データに基いて所望の分類演算を行うようにすること
により、このような場合でも対象物の色分類を正確に行
うことができるようにした色分類装置を提供することが
可能となる。
図。
補正部を示す概略構成図。
補正部の動作説明図。
補正部の動作説明図。
補正部の変形例の動作説明図。
の説明図。
補正部を示す概略構成図。
図。
補正部を示す概略構成図。
図。
れ補正部を示す概略構成図。
図とそれの位置ずれ補正部の動作説明図。
れ補正部を示す概略構成図。
れ補正部の変形例のを示す概略構成図。
れ補正部を示す概略構成図。
域の説明図。
置検出部を示す概略構成図。
図。
れ補正部の動作説明図。
る監視領域の説明図。
れ補正部を示す概略構成図。
タ配列の説明図。
れ補正部の変形例を示す概略構成図。
れ補正部を示す概略構成図。
れ補正部の動作説明図。
成図。
図。
ずれ補正部を示す概略構成図。
ずれ補正部の変形例を示す概略構成図。
成図。
ずれ補正部を示す概略構成図。
図である。
回転色フィルタに使用される複数のバンドパスフィルタ
の特性を示す図であり、(B)及び(C)はそれぞれ回
転色フィルタの構成を示す図である。
ある。
ある。
回路の構成を示す図であり、(C)は図3中の分類演算
部及び分類判定部の構成を示す図である。
る分類境界を示す図である。
る。
図である。
特性を有するフィルタの構成を示す図である。
Claims (3)
- 【請求項1】 対象物の色成分を分類する色分類装置に
おいて、 結像光学系と、 この結像光学系の結像面に配置した撮像素子と、 この撮像素子より光学的な前側に配置され、異なる複数
の光の透過波長帯域を選択可能な光学的バンドパスフィ
ルタと、 この複数の光の透過波長帯域から一つの透過波長帯域を
選択する透過波長選択手段と、 この透過波長選択手段が選択した透過波長帯域を有する
前記光学的バンドパスフィルタを通過し前記撮像素子で
撮像した各像情報と前記透過波長選択手段が選択した透
過波長帯域情報とを対応して格納する記憶手段と、 この記憶手段から前記各像情報の内の対象物に対応する
領域を読み出す読み出し手段と、 前記記憶手段に格納された対象物の各像情報の位置ずれ
に応じて、前記読み出し手段が読み出す前記各像情報の
領域を補正する補正手段とを有することを特徴とする色
分類装置。 - 【請求項2】 前記補正手段は、 前記透過波長選択手段が前記光学的バンドパスフィルタ
の透過波長帯域を選択するタイミングと、対象物の移動
速度とから、前記読み出し手段が読み出す前記各像情報
の領域を補正することを特徴とする請求項1記載の色分
類装置。 - 【請求項3】 更に、対象物を一定速度で搬送する対象
物搬送手段と、 前記撮像素子の露光タイミングを発生するタイミング発
生手段と、 前記タイミング発生手段のタイミングに同期して前記選
択手段が前記光学的バンドパスフィルタの選択を行うよ
うに制御する同期制御手段とを有し、 前記補正手段は前記タイミング発生手段が発生する露光
タイミングの周期の間に対象物が移動する距離を前記対
象物搬送手段が対象物を搬送する速度から求め、この求
めた移動する距離から前記読み出し手段が読み出す前記
各像情報の領域を補正することを特徴とする請求項1記
載の色分類装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31642295A JP3744989B2 (ja) | 1995-12-05 | 1995-12-05 | 色分類装置及びその領域補正方法 |
US08/753,783 US5706093A (en) | 1995-12-05 | 1996-12-02 | Color classification apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31642295A JP3744989B2 (ja) | 1995-12-05 | 1995-12-05 | 色分類装置及びその領域補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09159529A true JPH09159529A (ja) | 1997-06-20 |
JP3744989B2 JP3744989B2 (ja) | 2006-02-15 |
Family
ID=18076910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31642295A Expired - Fee Related JP3744989B2 (ja) | 1995-12-05 | 1995-12-05 | 色分類装置及びその領域補正方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5706093A (ja) |
JP (1) | JP3744989B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190105564A (ko) * | 2017-01-09 | 2019-09-17 | 유니티 세미컨덕터 게엠베하 | 샘플 스택에 있어서의 층들의 두께를 결정하기 위한 방법 및 조립체 |
CN110312909B (zh) * | 2017-01-09 | 2024-06-07 | 德商.联合半导体股份有限公司 | 用来判断在样本堆叠中的层厚度的方法及组件 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1300713A3 (en) | 1995-11-30 | 2004-11-03 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
US6718053B1 (en) | 1996-11-27 | 2004-04-06 | Chromavision Medical Systems, Inc. | Method and apparatus for automated image analysis of biological specimens |
AU762085B2 (en) | 1999-04-13 | 2003-06-19 | Chromavision Medical Systems, Inc. | Histological reconstruction and automated image analysis |
AU6347700A (en) * | 1999-07-13 | 2001-04-24 | Chromavision Medical Systems, Inc. | Apparatus for counting color transitions and areas in real time camera images |
WO2003042788A2 (en) * | 2001-11-13 | 2003-05-22 | Chromavision Medical Systems, Inc. | A system for tracking biological samples |
US20050037406A1 (en) * | 2002-06-12 | 2005-02-17 | De La Torre-Bueno Jose | Methods and apparatus for analysis of a biological specimen |
US7272252B2 (en) * | 2002-06-12 | 2007-09-18 | Clarient, Inc. | Automated system for combining bright field and fluorescent microscopy |
US8712118B2 (en) * | 2003-04-10 | 2014-04-29 | Carl Zeiss Microimaging Gmbh | Automated measurement of concentration and/or amount in a biological sample |
US20040202357A1 (en) | 2003-04-11 | 2004-10-14 | Perz Cynthia B. | Silhouette image acquisition |
US7653260B2 (en) * | 2004-06-17 | 2010-01-26 | Carl Zeis MicroImaging GmbH | System and method of registering field of view |
US8582924B2 (en) * | 2004-06-30 | 2013-11-12 | Carl Zeiss Microimaging Gmbh | Data structure of an image storage and retrieval system |
US20080019596A1 (en) * | 2004-09-16 | 2008-01-24 | Koninklijke Philips Electronics, N.V. | Imaging Method and Apparatus for Analysing Objects |
US20070031043A1 (en) * | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of intelligently directed segmentation analysis for automated microscope systems |
US20070091109A1 (en) * | 2005-09-13 | 2007-04-26 | Roscoe Atkinson | Image quality |
JP4915071B2 (ja) * | 2005-09-22 | 2012-04-11 | 株式会社ニコン | 顕微鏡、およびバーチャルスライド作成システム |
US8260053B2 (en) * | 2007-12-10 | 2012-09-04 | Symbol Technologies, Inc. | Device and method for virtualizing an image sensor |
EP2243011A4 (en) * | 2008-02-13 | 2013-12-18 | Hewlett Packard Co | COLOR DETECTOR HAVING ZONE-SIZED PHOTODETECTORS |
EP2090905A1 (en) * | 2008-02-15 | 2009-08-19 | Eltronix Co., Inc. | Passive millimeter wave system for detecting concealed objects |
US8346574B2 (en) | 2008-02-29 | 2013-01-01 | Dako Denmark A/S | Systems and methods for tracking and providing workflow information |
CN103575917A (zh) * | 2013-10-15 | 2014-02-12 | 中国农业大学 | 一种多光谱图像采集方法和装置 |
CN110161786B (zh) * | 2018-02-12 | 2021-08-31 | 深圳富泰宏精密工业有限公司 | 光投射模块、三维影像感测装置及其感测方法 |
US11049224B2 (en) * | 2018-12-05 | 2021-06-29 | Microsoft Technology Licensing, Llc | Automated real-time high dynamic range content review system |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5221959A (en) * | 1990-03-16 | 1993-06-22 | Olympus Optical Co., Ltd. | Color discrimination data input apparatus |
US5164795A (en) * | 1990-03-23 | 1992-11-17 | Sunkist Growers, Inc. | Method and apparatus for grading fruit |
-
1995
- 1995-12-05 JP JP31642295A patent/JP3744989B2/ja not_active Expired - Fee Related
-
1996
- 1996-12-02 US US08/753,783 patent/US5706093A/en not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190105564A (ko) * | 2017-01-09 | 2019-09-17 | 유니티 세미컨덕터 게엠베하 | 샘플 스택에 있어서의 층들의 두께를 결정하기 위한 방법 및 조립체 |
CN110312909A (zh) * | 2017-01-09 | 2019-10-08 | 德商.联合半导体股份有限公司 | 用来判断在样本堆叠中的层厚度的方法及组件 |
JP2020504308A (ja) * | 2017-01-09 | 2020-02-06 | ユニティ・セミコンダクター・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツングUnity Semiconductor Gmbh | サンプルスタックにおける複数層の厚さを判断するための方法およびアセンブリ |
CN110312909B (zh) * | 2017-01-09 | 2024-06-07 | 德商.联合半导体股份有限公司 | 用来判断在样本堆叠中的层厚度的方法及组件 |
Also Published As
Publication number | Publication date |
---|---|
US5706093A (en) | 1998-01-06 |
JP3744989B2 (ja) | 2006-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH09159529A (ja) | 色分類装置 | |
CN101971072B (zh) | 图像传感器和焦点检测装置 | |
US10051183B2 (en) | Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle | |
US7151560B2 (en) | Method and apparatus for producing calibration data for a digital camera | |
CN1917611B (zh) | 成像设备和成像方法 | |
JP3469619B2 (ja) | 色分類装置 | |
US20070065134A1 (en) | Target-image position detecting apparatus, method and program for controlling said apparatus | |
US20020025164A1 (en) | Solid-state imaging device and electronic camera and shading compensation method | |
KR100399884B1 (ko) | 이미지 센서의 결함 픽셀 보정 장치 및 그 방법 | |
US20060228100A1 (en) | Method and apparatus for capturing and analyzing thermo-graphic images of a moving object | |
US20170017135A1 (en) | Imaging apparatus, iris device, imaging method, and program | |
JPH0961244A (ja) | 色分類装置及び色分類方法 | |
US6437335B1 (en) | High speed scanner using multiple sensing devices | |
US7180045B2 (en) | System and method of electronic image shifting for image stabilization | |
US7683935B2 (en) | Imaging device | |
JP2003309856A (ja) | 撮像装置および方法、記録媒体、並びにプログラム | |
US20090174807A1 (en) | Focus detection device, focus detection method, and image pickup apparatus | |
US6757491B2 (en) | Photometric apparatus and method for evaluating backlight | |
JP2770521B2 (ja) | 焦点位置検出方式 | |
JP3854654B2 (ja) | 色分類装置及び色分類方法 | |
US7064779B1 (en) | Imaging system combining multiple still images for higher resolution image output | |
US6640003B1 (en) | Surface inspection system for work boards | |
JP2790283B2 (ja) | 透過率測定方法 | |
JP2003174581A (ja) | 撮像装置 | |
JPH1098649A (ja) | Ccdラインセンサ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050906 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051116 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081202 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091202 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |