JP3176330B2 - Color identification method and device using neutral density filter - Google Patents

Color identification method and device using neutral density filter

Info

Publication number
JP3176330B2
JP3176330B2 JP28135897A JP28135897A JP3176330B2 JP 3176330 B2 JP3176330 B2 JP 3176330B2 JP 28135897 A JP28135897 A JP 28135897A JP 28135897 A JP28135897 A JP 28135897A JP 3176330 B2 JP3176330 B2 JP 3176330B2
Authority
JP
Japan
Prior art keywords
color
light
neutral density
density filter
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28135897A
Other languages
Japanese (ja)
Other versions
JPH11101693A (en
Inventor
雅幸 榎本
孝夫 金丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP28135897A priority Critical patent/JP3176330B2/en
Publication of JPH11101693A publication Critical patent/JPH11101693A/en
Application granted granted Critical
Publication of JP3176330B2 publication Critical patent/JP3176330B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、ガラスや合成樹脂
などの物体の色を識別する方法と装置に関し、特に再生
利用するガラス瓶の色を自動識別するために適用して効
果がある方法と装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for identifying the color of an object such as glass or synthetic resin, and more particularly to a method and an apparatus which are effective for automatically identifying the color of a glass bottle to be recycled. About.

【0002】[0002]

【従来の技術】例えば、廃棄された各種のガラス瓶を回
収して再生利用する場合、ガラスの色により分別して個
別にリサイクルすることにより、再生製品の利用価値を
高めることができる。一般に流通しているガラス瓶に
は、無色透明のものの他、緑色系のもの、茶色系のも
の、青色系のもの、さらに濃緑色の不透明に近いものな
どがある。例えば無色透明のガラス瓶は着色されたガラ
ス瓶と混同せずそのまま無色のガラス製品として再生す
ることが好ましい。また、それぞれの色に着色されたも
のも、含有されている原料が異なるため、それぞれ分別
して同系統色の再生ガラス製品とすることが好ましい。
2. Description of the Related Art For example, when collecting and recycling various types of discarded glass bottles, the value of recycled products can be increased by separating them according to the color of the glass and recycling them individually. The glass bottles that are generally distributed include colorless and transparent ones, greenish ones, brownish ones, blue ones, and dark green ones that are almost opaque. For example, it is preferable that a colorless and transparent glass bottle be recycled as a colorless glass product without being confused with a colored glass bottle. In addition, it is preferable to separate the products colored in each color into recycled glass products of the same system color because the raw materials contained therein are different.

【0003】このため、回収工程で廃棄ガラス瓶の色を
識別し色に従った分別収集を行う必要があり、色識別装
置が用いられている。通常は所定の間隔で送り込んだガ
ラス瓶を所定の光度の照明光を当てて透過光や反射光を
分光分析して色を判別する方法が採用されている。分光
分析は3原色受光素子における出力強度分布を測定して
行えばよい。
For this reason, it is necessary to identify the color of the waste glass bottle in the recovery step and perform separate collection according to the color, and a color identification device is used. Usually, a method is employed in which a glass bottle fed at a predetermined interval is irradiated with illumination light having a predetermined luminous intensity, and transmitted light or reflected light is spectrally analyzed to determine a color. The spectral analysis may be performed by measuring the output intensity distribution in the three primary color light receiving elements.

【0004】しかし、流通しているガラス瓶は色の種類
や材料の厚さによって色の濃淡が異なる場合があり、一
定の照明光を瓶に照射してカメラ等で観察すると、個々
のガラス瓶により透過光量が異なり、検出素子の出力が
飽和したり逆に判定に足りない程度に微小になって、正
確に色の判定が行えない場合が生じる。たとえば茶色の
瓶にカメラの絞りを合わせれば、無色の瓶を測定すると
きには入射光量が多すぎてハレーションを起こしてしま
い、無色の瓶に絞りを合わせれば茶色の瓶を透過する僅
かな光を捉えることが出来ず色を判別することが出来な
い。また、回収された廃棄ガラス瓶はラベルが貼付され
ていたり泥などの汚れが付着していたり内部に異物が残
っていたりして、透過光が一部遮蔽されたり色の情報が
希釈されている場合も多い。このため、従来は露出度の
異なる複数のカメラを用い透過率の違いに対処するか、
透過光量を検出して光源の光量を適切な値に調整する必
要があった。
[0004] However, in the glass bottles in circulation, the shade of the color may be different depending on the kind of the color and the thickness of the material, and when a certain illumination light is applied to the bottle and observed with a camera or the like, the glass bottle is transmitted by each glass bottle. In some cases, the amounts of light are different, and the output of the detection element becomes so small as to saturate or, conversely, is insufficient for the determination, so that accurate color determination cannot be performed. For example, if you adjust the aperture of the camera to a brown bottle, when measuring a colorless bottle, the amount of incident light will be too large and cause halation. Cannot be performed and the color cannot be determined. Also, if the collected waste glass bottle is affixed with a label, has dirt such as mud, or has foreign matter remaining inside, the transmitted light is partially blocked or the color information is diluted There are many. For this reason, to deal with differences in transmittance by using multiple cameras with different exposure levels in the past,
It was necessary to detect the transmitted light amount and adjust the light amount of the light source to an appropriate value.

【0005】このような問題を解決するため、例えば、
特開平7−209087号公報には、受光素子から得ら
れる画像信号から瓶の輝度を測定し、その輝度が色判定
に適合する適正範囲にないときには照明装置の照度ある
いは減光フィルタの開度を調節し、適正範囲内に調整し
てから色の判定を行うようにした発明が開示されてい
る。上記公報に開示された発明によれば、回収されたガ
ラス瓶の色濃度が異なる場合でも正しく色の種類を判定
して、それぞれ適正な回収処理工程に送り込むようにす
ることが出来る。
To solve such a problem, for example,
Japanese Patent Application Laid-Open No. 7-209087 discloses that the brightness of a bottle is measured from an image signal obtained from a light-receiving element, and when the brightness is not within an appropriate range suitable for color determination, the illuminance of the lighting device or the opening of the neutral density filter is determined. An invention is disclosed in which the color is determined after the adjustment and the adjustment within an appropriate range. According to the invention disclosed in the above publication, even when the color densities of the collected glass bottles are different, it is possible to correctly determine the type of color and to send them to appropriate recovery processing steps.

【0006】しかし、この開示発明では一旦透過光等を
測定して輝度を判定して適正範囲にない場合は照明光の
照度や減光フィルタの開度の調整を行って再度測定する
ため、照度を変化させる時間あるいはフィルタ開度を調
整する時間が余分に必要となる。従って、色判定の結果
を得るまでに時間がかかることがあり、高速処理が要求
される場合には十分対応できない。このため、実際には
結局、処理対象となる物体の種類に応じた幾つかの色判
定装置を並列配置して、対象物が有する色濃度や色相に
応じて個別処理を行うことにより迅速化の要求に応える
ようにする場合が多かった。また、一般に、対象物の搬
送装置を挟んで照明装置と色判定装置を上下に配置する
方式が採用されることが多いが、この場合には装置全体
の高さ方向の寸法が大きいため複数系列の判定装置を上
下方向に重ねることが出来ず、設置面積の節約が難しか
った。
However, according to the disclosed invention, once the transmitted light or the like is measured and the luminance is determined, and the luminance is not within an appropriate range, the illuminance of the illumination light and the opening of the neutral density filter are adjusted and measured again. , Or extra time to adjust the filter opening. Therefore, it may take a long time to obtain the result of the color determination, and it cannot sufficiently cope with a case where high-speed processing is required. Therefore, in practice, several color determination devices corresponding to the type of the object to be processed are arranged in parallel, and individual processing is performed in accordance with the color density and hue of the object, thereby speeding up the processing. In many cases, we responded to requests. In general, a method of arranging an illumination device and a color determination device vertically above and below a device for transporting an object is often employed. In this case, however, a plurality of systems are arranged because the size of the entire device in the height direction is large. Cannot be vertically stacked, and it is difficult to save the installation area.

【0007】同じ問題は、ガラス瓶の分別回収以外にも
着色ガラス製品の生産工程における分別や各種合成樹脂
製品の色識別などにおいても見られる。なお、色の判別
は対象物を透過する光ばかりでなく表面に照射する光を
観測することによっても可能であることは言うまでもな
く。この場合にも上記と同じ要求がなされる。
[0007] The same problem can be seen not only in the separation and recovery of glass bottles, but also in the separation of colored glass products in the production process and the color identification of various synthetic resin products. Needless to say, it is possible to determine the color by observing not only light transmitted through the object but also light irradiated on the surface. In this case, the same request is made as above.

【0008】[0008]

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、ガラスや合成樹脂などの物体の色
を高速で識別する方法および装置を提供するところにあ
る。特に透過光を利用して色を識別する方法と装置であ
って、再生利用するためのガラス瓶の色を自動識別する
ために適用できる色識別方法と装置を提供するところに
ある。
SUMMARY OF THE INVENTION An object of the present invention is to provide a method and an apparatus for quickly identifying the color of an object such as glass or synthetic resin. In particular, it is an object of the present invention to provide a method and an apparatus for identifying a color using transmitted light, which method can be applied to automatically identify a color of a glass bottle for recycling.

【0009】[0009]

【課題を解決するための手段】上記課題を解決するた
め、本発明の色識別方法は、異なる透過率を有する複数
の部分から構成される減光フィルタを用いこれを介して
対象物の像をカラー撮像装置で撮像し、減光フィルタの
いずれかの部分を透過した光に基づいて対象物の色を識
別するようにしたことを特徴とする。また、対象物は順
次供給されるガラス瓶とすることが可能である。なお、
減光フィルタは対象物の移動方向に縞となった透過率の
異なる部分を有するようにすることが好ましい。
In order to solve the above-mentioned problems, a color identification method according to the present invention uses a neutral density filter composed of a plurality of portions having different transmittances, through which an image of an object is formed. The color of the target object is identified based on light that has been picked up by a color image pickup device and transmitted through any part of the neutral density filter. Further, the object can be a glass bottle supplied sequentially. In addition,
It is preferable that the neutral density filter has portions having different transmittances, which are striped in the moving direction of the object.

【0010】また、上記課題を解決するため、本発明の
色識別装置は、対象物を搬送する装置を挟み照明光を対
象物に照射する照明装置と対象物を透過した光を減光フ
ィルタを介して受光するカラー撮像装置を備え、この減
光フィルタが異なる透過率を有する複数の部分から構成
され、カラー撮像装置が減光フィルタにおける透過率の
異なる複数の部分を透過した光を検出し、そのうちのい
ずれかの部分を透過した光に基づいて対象物の色を識別
することを特徴とする。なお、減光フィルタはインコネ
ルを縞状に蒸着させて光透過率を変化させたものである
ことが好ましい。また、カラー撮像装置としてCCDカ
メラを利用することが出来る。さらに、搬送装置はガラ
ス瓶を順次搬送するようなものとすることができる。
In order to solve the above-mentioned problems, a color discriminating apparatus according to the present invention includes an illumination device for irradiating an object with illumination light with a device for transporting the object therebetween, and a light-reducing filter for reducing light transmitted through the object. A color image pickup device that receives light through the light reduction filter is configured by a plurality of portions having different transmittances, the color imaging device detects light transmitted through a plurality of portions having different transmittances in the light reduction filter, The color of the object is identified based on the light transmitted through any of the portions. In addition, it is preferable that the light attenuating filter is obtained by changing light transmittance by depositing Inconel in a stripe shape. Further, a CCD camera can be used as a color imaging device. Further, the transport device may be such as to transport glass bottles sequentially.

【0011】本発明の色識別方法によれば、対象物の映
像が透過率分布のある減光フィルタを介して得られるた
め、対象物の輝度が測定毎に異なる場合でも画像信号中
のいずれかの部分については色の判定が可能な適正な濃
度の色信号として存在するようにすることができる。従
って、映像信号中の減光度合が異なる部分を順次に色判
定処理していけば、1枚の画像だけで対象物の色を的確
に識別することが出来る。このため、光源を調整して透
過光の強さを適正化したりフィルタ開度を調整してカメ
ラに入射する光量を調整するための機械的な操作をする
必要がなく、電子的な演算処理だけで済むので色判定の
時間が大幅に短縮され、たとえば毎分数10mの速さで
通過して行く対象物の色判定が可能となる。
According to the color identification method of the present invention, since an image of an object is obtained through a neutral density filter having a transmittance distribution, even if the luminance of the object differs every measurement, any one of the image signals can be obtained. Can be made to exist as a color signal having an appropriate density from which the color can be determined. Therefore, by sequentially performing color determination processing on portions having different degrees of dimming in the video signal, it is possible to accurately identify the color of the target object using only one image. Therefore, there is no need to adjust the light source to optimize the intensity of transmitted light or to adjust the filter opening to adjust the amount of light incident on the camera. Thus, the time required for color determination is greatly reduced, and for example, the color of an object passing at a speed of several tens of meters per minute can be determined.

【0012】また特にガラス瓶を対象物とする場合は、
ベルトコンベヤなどで順次供給してガラス瓶が測定位置
を通過する間に上記方法により高速で色測定することに
より、例えば廃棄ガラス瓶の再生処理工程に色分けされ
た材料を能率良く連続的に供給するようにすることが出
来る。なお、減光フィルタの撮像装置の視野に入る領域
に透過率が階段的に変化する部分を縞状に形成して、こ
の縞が対象物の移動方向に平行になるように減光フィル
タを設置するようにすれば、対象物にラベルや異物が付
着している場合にも映像中に対象物の色が判定できる部
分が含まれるように出来るので、誤検出が減少する。
In particular, when the object is a glass bottle,
By supplying color sequentially at a high speed by the above-mentioned method while the glass bottles are sequentially supplied by a belt conveyor or the like while passing the measurement position, for example, to efficiently and continuously supply color-coded materials in the recycling process of waste glass bottles. You can do it. In addition, a portion where the transmittance changes stepwise is formed in a stripe shape in a region of the dimming filter that is within the visual field of the imaging device, and the dimming filter is installed so that the stripes are parallel to the moving direction of the object. By doing so, even when a label or a foreign substance is attached to the target object, it is possible to include a portion where the color of the target object can be determined in the video, so that erroneous detection is reduced.

【0013】対象物の色を判定するためには、対象物の
表面からの反射光に基づいても良いが、特にガラスや合
成樹脂製品のように透過性物体の場合はハロゲンランプ
などを用いた白色光を対象物の裏側から照射して透過光
を観察するようにすると、対象物表面に付着した不透明
な異物の色情報を拾うことなく対象物の正確な色を認識
しやすい。なお、識別しようとする物体色によってはそ
の色が判定しやすい色成分を有する有色照明であっても
良いことは言うまでもない。
The color of the object may be determined based on the reflected light from the surface of the object. In particular, in the case of a transparent object such as glass or a synthetic resin product, a halogen lamp or the like is used. When the transmitted light is observed by irradiating white light from the back side of the object, the accurate color of the object can be easily recognized without picking up the color information of the opaque foreign matter attached to the surface of the object. It goes without saying that, depending on the object color to be identified, colored illumination having a color component whose color is easy to determine may be used.

【0014】また、本発明の色識別装置によれば、カラ
ー撮像装置により取得された対象物の映像が異なる透過
率を有する複数の部分からなる減光フィルタを介してい
るため、画像信号が飽和水準に近くて色判定が困難にな
った部分や画像信号が弱すぎて色検出が出来ない部分を
避け、映像中の適当な部分を選択利用して対象物の色を
正しく判定することが出来る。この色判定は撮像装置か
らの映像信号を電子的に取り扱うものであるから、従来
のような機械的な操作を必要とせず、極めて高速な処理
が可能である。
According to the color discriminating apparatus of the present invention, since the image of the object acquired by the color image pickup device passes through the neutral density filter including a plurality of portions having different transmittances, the image signal is saturated. It is possible to avoid the part where the color judgment is difficult due to being close to the standard or the part where the image signal is too weak to detect the color, and select and use the appropriate part in the video to correctly judge the color of the object. . Since this color determination electronically handles the video signal from the imaging device, it does not require a mechanical operation as in the related art, and enables extremely high-speed processing.

【0015】なお、減光フィルタとしてインコネルを縞
状に蒸着させて光透過率を変化させたものを用いると、
色成分による透過率の偏りが少ないため、フィルタを透
過する光に基づいた物体色の判定が正確になる利点があ
る。また、カラー撮像装置としてCCDカメラを利用す
る場合は、小型軽量の装置を用いて簡便な処理により映
像の部分毎の色判定が出来る。さらに、ガラス瓶を測定
位置に順次搬入して測定後搬出する搬送装置を採用する
と、回収した廃棄ガラス瓶の色を高速判定して瓶毎に適
切な再生処理工程へ弁別供給することが可能となる。
[0015] When a light-attenuating filter in which inconel is vapor-deposited in a stripe pattern to change the light transmittance is used,
Since the deviation of the transmittance due to the color component is small, there is an advantage that the determination of the object color based on the light transmitted through the filter becomes accurate. When a CCD camera is used as a color imaging device, color determination can be performed for each portion of an image by simple processing using a small and lightweight device. Further, if a transport device that sequentially carries glass bottles into the measurement position, and carries out the measurement bottles after the measurement is adopted, it is possible to determine the color of the collected waste glass bottles at high speed and discriminate and supply the bottles to an appropriate reprocessing process for each bottle.

【0016】また、インコネルを縞状に蒸着させて光透
過率を変化させた減光フィルタは、色成分による光透過
率の偏りが少ないため、上記発明の方法および装置に利
用すると簡単な処理で正確な色判定を行うことが可能と
なる。
[0016] Further, a light-attenuating filter in which light transmittance is changed by depositing Inconel in stripes has a small deviation in light transmittance due to a color component. Accurate color determination can be performed.

【0017】[0017]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

【実施例】以下、実施例に基づいて本発明に係る色判定
法法と装置を詳細に説明する。図1は本発明の色判定装
置の1実施例を示す斜視図、図2は減光フィルタの1形
態、図3は色識別の論理を示すフローチャートである。
図示した実施例において、参照番号1は照明装置、2は
カラー撮像装置、3は対象物の搬送装置である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a method and an apparatus for determining a color according to the present invention will be described in detail based on embodiments. FIG. 1 is a perspective view showing one embodiment of a color determination device of the present invention, FIG. 2 is a form of a neutral density filter, and FIG. 3 is a flowchart showing the logic of color identification.
In the illustrated embodiment, reference numeral 1 is a lighting device, 2 is a color imaging device, and 3 is a device for transporting an object.

【0018】照明装置1には、適当数のハロゲンランプ
11と拡散板12と直流電源装置13が含まれ、全体が
図示しない筐体に納められている。ハロゲンランプ11
は拡散板12にほぼ平行に並んでおり、直流安定化電源
装置13から供給される直流電源により点灯されると波
長分布の広い安定した光線を発生し、拡散板12を裏面
から隈無く照射する。拡散板12は乳白色のアクリル板
からなりハロゲンランプ11の照明ムラを緩和し、拡散
板12の全面に亘って比較的均質な白色光を生成し、格
好な面照明体として外の対象物を照射する。
The lighting device 1 includes an appropriate number of halogen lamps 11, a diffuser plate 12, and a DC power supply 13, all of which are housed in a casing (not shown). Halogen lamp 11
Are arranged substantially parallel to the diffusion plate 12, generate stable light rays having a wide wavelength distribution when illuminated by the DC power supply supplied from the DC stabilizing power supply 13, and irradiate the diffusion plate 12 from the back to the whole. . The diffusion plate 12 is made of a milky white acrylic plate, reduces uneven illumination of the halogen lamp 11, generates relatively uniform white light over the entire surface of the diffusion plate 12, and irradiates an external object as a cool surface illuminator. I do.

【0019】搬送装置3は中央に凹みを有するコンベア
ベルト31であって、横置に整列されたガラス瓶32を
1本ずつ凹み部分に置いて左右に転がらないように規制
しながら拡散板12の前に当たる測定位置に搬入する。
ガラス瓶32は測定位置で十分均質化された白色光に照
らされ、ガラスを透過した透過光はカラー撮像装置2の
壁に設けられた減光フィルタの部分に投射される。な
お、搬送装置3の部分全体をトンネル状に囲って外光の
影響を抑制するようにしてある。搬送装置3には図示し
ない物体検出器が備えられていて、物体検出器がガラス
瓶が撮影に適した位置に達したことを検知すると、励起
信号がカラー撮像装置2に伝送される。ガラス瓶の撮影
は瞬時に終了するので、搬送装置3はガラス瓶32を停
止することなくそのまま搬出する。
The conveying device 3 is a conveyor belt 31 having a recess in the center. The glass bottles 32 arranged horizontally are placed one by one in the recessed portion, and are regulated in front of the diffusion plate 12 while being restricted from rolling left and right. Into the measuring position corresponding to.
The glass bottle 32 is illuminated with white light that has been sufficiently homogenized at the measurement position, and the transmitted light that has passed through the glass is projected on a portion of a neutral density filter provided on the wall of the color imaging device 2. The entire portion of the transport device 3 is surrounded in a tunnel shape so as to suppress the influence of external light. The transport device 3 includes an object detector (not shown). When the object detector detects that the glass bottle has reached a position suitable for photographing, an excitation signal is transmitted to the color imaging device 2. Since the photographing of the glass bottle ends instantaneously, the transport device 3 carries out the glass bottle 32 without stopping.

【0020】カラー撮像装置2には、減光フィルタ21
と反射鏡22,およびカラーカメラ23が備えられてい
て、外光を遮蔽する図示しない筐体に納められている。
減光フィルタ21は拡散板12に対向する位置に配置さ
れ、ガラス瓶32を透過してきた光が投影される。減光
フィルタ21は透明板に金属を蒸着したもので、1枚の
フィルタ中に異なる光透過率の部分が縞状に分布するよ
うになっている。本実施例では図2に示したように上側
と下側に透過率25%の部分41、44を生成しその間
に透過率100%の部分42と透過率4%の部分43を
形成してある。減光フィルタ21は縞の方向がガラス瓶
32の搬送方向と平行になるように設置される。なお、
蒸着金属にインコネルを採用すると、色成分による透過
率差が少ないので減光フィルタを透過する間に透過光に
含まれる本来の色成分が変化せず、ガラス瓶32の色を
正確に識別が出来るため好ましい。
The color image pickup device 2 includes a neutral density filter 21
And a reflection mirror 22 and a color camera 23, which are housed in a casing (not shown) for shielding external light.
The neutral density filter 21 is arranged at a position facing the diffuser plate 12 and projects the light transmitted through the glass bottle 32. The neutral density filter 21 is formed by depositing a metal on a transparent plate, and portions having different light transmittances are distributed in a stripe shape in one filter. In this embodiment, as shown in FIG. 2, portions 41 and 44 having a transmittance of 25% are formed on the upper and lower sides, and a portion 42 having a transmittance of 100% and a portion 43 having a transmittance of 4% are formed therebetween. . The neutral density filter 21 is installed such that the direction of the stripe is parallel to the direction of transport of the glass bottle 32. In addition,
When Inconel is used as the vapor-deposited metal, the original color component contained in the transmitted light does not change during transmission through the neutral density filter because the transmittance difference due to the color component is small, and the color of the glass bottle 32 can be accurately identified. preferable.

【0021】カラーカメラ23はCCD素子を平面配置
したもので、各画素毎に3原色成分を備えそれぞれの色
成分毎の受光強度を出力する。カラーカメラ23は搬送
装置3から励起信号を受信すると、減光フィルタ21の
裏側からガラス瓶32を撮影する。カラーカメラ23は
ガラス瓶32の搬送方向と平行に配置されていて、カラ
ー撮像装置2を搬送装置3の脇の狭い空間に設置出来る
ようにしてある。カラーカメラを搬送方向と平行に配置
することにより、従来の同様の型式の色識別装置と比較
して装置全体の高さを約50cm程度低くすることが出来
るので、複数の色識別装置を上下方向に重ねて配置して
設置面積を節約することも可能になった。例えば大型瓶
と小型瓶のラインを上下に重ねて配置することも容易に
なった。減光フィルタ21を透過する光は反射鏡22で
垂直方向に反射してカラーカメラ23に入射させる。C
CD素子で得られた画像信号は色分析装置に送られ、そ
こで画素毎に3原色成分の強度を対比して色相を判定す
る。色判定をより簡単に行うために、CCD撮像面に投
影される減光フィルタ21の像における縞の方向とCC
D素子の走査方向はほぼ同一に合わせておくことが好ま
しい。
The color camera 23 has a CCD device arranged in a plane, and has three primary color components for each pixel and outputs the received light intensity for each color component. When the color camera 23 receives the excitation signal from the transport device 3, the color camera 23 photographs the glass bottle 32 from behind the neutral density filter 21. The color camera 23 is arranged parallel to the direction of transport of the glass bottle 32 so that the color imaging device 2 can be installed in a narrow space beside the transport device 3. By arranging a color camera in parallel with the transport direction, the height of the entire device can be reduced by about 50 cm as compared with a conventional color identification device of the same type. It is also possible to save the installation area by arranging them on top of each other. For example, it has become easy to arrange the lines of a large bottle and a small bottle one above the other. The light transmitted through the neutral density filter 21 is reflected by the reflecting mirror 22 in the vertical direction and is incident on the color camera 23. C
The image signal obtained by the CD element is sent to a color analyzer, where the hue is determined by comparing the intensities of the three primary color components for each pixel. To make the color judgment easier, the direction of the stripes in the image of the neutral density filter 21 projected on the CCD
It is preferable that the scanning directions of the D elements are substantially the same.

【0022】色相を判定するためには各原色の光成分を
比較して比定するため、信号強度は適正な範囲内にある
必要がある。ところが、ガラス瓶は無色透明から不透明
に近い濃緑色まであって、個体毎に色濃度が異なる。そ
こで、たとえば透明なガラス瓶を透過してくる光に基づ
いて色の判定をするときには、照明光がほぼ全量カメラ
に入射すると各色成分の画像信号が飽和特性を現すため
色相を正確に判定することが困難になるので、入射光量
を制限する必要がある。
In order to determine the hue, the light components of each primary color are compared and determined, so that the signal intensity must be within an appropriate range. However, glass bottles range from colorless and transparent to almost opaque dark green, and the color density differs for each individual. Therefore, for example, when making a color determination based on light transmitted through a transparent glass bottle, it is necessary to accurately determine the hue because the image signal of each color component exhibits saturation characteristics when almost all of the illumination light enters the camera. This makes it difficult to limit the amount of incident light.

【0023】一方、光透過率の低いガラスの色相を判定
するためには微弱な画像信号を用いて色成分差を検出す
るため少しでも多くの光を受ける必要がある。このよう
に、色濃度の差異に対応して適当な減光フィルタにより
適当に入射光量を調整した画像を得て分析する必要があ
る。また、フィルタの透過率が色成分により異なる場合
には、信号処理をするときにフィルタ特性に従った補正
を行うため複雑な論理が必要となるので、透過率が色成
分に左右されないものを選択することが好ましい。
On the other hand, in order to determine the hue of glass having a low light transmittance, it is necessary to receive as much light as possible to detect a color component difference using a weak image signal. As described above, it is necessary to obtain and analyze an image in which the amount of incident light is appropriately adjusted by an appropriate neutral density filter corresponding to the difference in color density. If the transmittance of the filter differs depending on the color component, a complex logic is required to perform the correction according to the filter characteristics when performing signal processing. Therefore, select a filter whose transmittance does not depend on the color component. Is preferred.

【0024】本実施例の色識別装置では、減光フィルタ
21は図2に示したように透過率の異なる縞状部分が形
成されている。減光フィルタ21における縞の光透過率
を等比級数的になるように選択することによって、透過
率の異なる部分を3種類設けるだけで広い範囲の光強度
に対応できるようにできる。この減光フィルタ21を介
してガラス瓶32を撮影すると、ガラスの色濃度に係わ
らず減光フィルタ21のどこかには適当な光強度の部分
が存在してガラスの色相を判定できるようになってい
る。結局、減光フィルタ21が3種類の減光率を有する
部分を持っているため、実質的に絞り値の異なる3個の
カメラを設置したと同等の効果を得ることが出来ること
になる。
In the color discriminating apparatus according to the present embodiment, the dimming filter 21 has striped portions having different transmittances as shown in FIG. By selecting the light transmittance of the stripes in the neutral density filter 21 to be a geometric series, it is possible to cope with a wide range of light intensity by providing only three types of portions having different transmittances. When the glass bottle 32 is photographed through the neutral density filter 21, there is a portion having an appropriate light intensity somewhere on the neutral density filter 21 regardless of the color density of the glass, and the hue of the glass can be determined. I have. After all, since the neutral density filter 21 has portions having three types of neutral density, the same effect can be obtained as when three cameras having substantially different aperture values are installed.

【0025】以下、図3のフローチャートにより本実施
例の色識別装置における色判定の手順を説明する。色識
別装置が稼働しているときに(S1)、搬送装置3によ
りガラス瓶32が色識別装置に搬入されて測定位置に到
達すると物体検出器が瓶を検出して励起信号を生成する
(S2)。カラー撮像装置23はこの励起信号を待って
減光フィルタ21の裏側からガラス瓶32を撮影する
(S3)。ガラス瓶32の映像は減光フィルタ21と重
なった状態で形成される。減光フィルタ21の縞模様は
ガラス瓶32の軸に平行に配置される。また、映像中の
ガラス瓶32の幅に全ての種類の縞が含まれるようにな
っている。したがって、ガラス瓶32の映像は減光フィ
ルタ21における透過率の異なる縞状部分に対応して明
るさが変化している。
Hereinafter, the procedure of color judgment in the color identification apparatus of this embodiment will be described with reference to the flowchart of FIG. While the color identification device is operating (S1), when the glass bottle 32 is carried into the color identification device by the transport device 3 and reaches the measurement position, the object detector detects the bottle and generates an excitation signal (S2). . The color imaging device 23 waits for the excitation signal and photographs the glass bottle 32 from behind the neutral density filter 21 (S3). The image of the glass bottle 32 is formed so as to overlap the neutral density filter 21. The stripe pattern of the neutral density filter 21 is arranged parallel to the axis of the glass bottle 32. In addition, all types of stripes are included in the width of the glass bottle 32 in the video. Therefore, the brightness of the image of the glass bottle 32 changes corresponding to the striped portions having different transmittances in the neutral density filter 21.

【0026】したがって、まず最も光透過率の小さい部
分について画像信号の強さを測定し、色の判定ができる
程度の出力値を有するか否かを判断する(S4)。この
部分における透過光が適当な範囲にあって色の判定が可
能であれば色判定工程(S9)に進めるが(S5)、微
弱で色判定が出来ない場合は光透過率がもう少し大きな
部分に移動して画像信号の強さを測定して(S6)、色
判定の可能性を判断し可能であれば色判定工程に進め
(S7)、まだ弱い場合は最も光透過率の大きい部分に
移動して(S8)、映像出力を色判定装置に送って色判
定を行う(S9)。
Therefore, first, the intensity of the image signal is measured for the portion having the smallest light transmittance, and it is determined whether or not the portion has an output value enough to determine the color (S4). If the transmitted light in this portion is within an appropriate range and the color can be determined, the process proceeds to the color determination step (S9) (S5). The image is moved to measure the intensity of the image signal (S6), and the possibility of color judgment is judged. If it is possible, the process proceeds to the color judgment step (S7). If it is still weak, the image is moved to the portion with the highest light transmittance. Then, the video output is sent to the color determination device to perform color determination (S9).

【0027】色判定装置では、CCD素子を走査して順
次送り込まれてくる色毎の信号を適当部分について積算
して、色成分毎に対比して色相を判定する。減光フィル
タ21に用いたインコネル蒸着板は色ガラスフィルタに
比べて減光率の波長依存性が小さいため、本実施例では
色によって判定アルゴリズムを変更する必要がない。な
お、カラーカメラ23と減光フィルタ21の位置関係は
任意でよいが、特にCCD画像素子の主走査方向と撮像
面に投影される減光フィルタ21の縞の方向が一致する
ように配置すると、順次送入されてくる画像信号が同じ
縞の部分の色信号となるため、色判定装置における演算
がより容易になる利点がある。
The color determining device scans the CCD element, accumulates signals for each color sequentially sent in an appropriate portion, and compares the signals for each color component to determine the hue. Since the wavelength dependence of the dimming rate of the Inconel vapor deposition plate used for the neutral density filter 21 is smaller than that of the color glass filter, it is not necessary to change the determination algorithm depending on the color in this embodiment. The positional relationship between the color camera 23 and the neutral density filter 21 may be arbitrary. In particular, if the color camera 23 and the neutral density filter 21 are arranged such that the main scanning direction of the CCD image element and the direction of the stripes of the neutral density filter 21 projected on the imaging surface coincide with each other, Since the sequentially transmitted image signals become the color signals of the same stripe portion, there is an advantage that the calculation in the color determination device becomes easier.

【0028】本実施例の色識別装置では、減光フィルタ
21の透過率4%の部分を透過した光に基づいて主に無
色透明のガラスと薄青色のガラスを判定し、透過率25
%の部分で主として緑色と茶色のガラスを判定し、透過
率100%の部分で濃緑色のガラスを判別するように意
図されている。たとえば、特に再生価値の高い無色透明
のガラス材は、最も透過率の小さい部分を透過してくる
光に基づいて、3原色成分全てが均衡して強いことから
容易に判定できる。また、透過率の小さい濃緑色瓶の判
定も、フィルタの切り替えや照明の強度調整をせずに、
同じ条件における1回の撮影で取得した同じ画像信号に
基づいて最も透過率の大きい部分を透過した光を用いて
行うことが出来る。ただし、色の判別と透過率ゾーンの
関係は上記に固定する必要はないことはいうまでもな
い。
In the color discriminating apparatus of this embodiment, the colorless transparent glass and the light blue glass are mainly determined based on the light transmitted through the 4% transmittance portion of the neutral density filter 21, and the transmittance is 25%.
It is intended to determine mainly green and brown glass in the part of% and dark green glass in the part of 100% transmittance. For example, a colorless and transparent glass material having a particularly high reproduction value can be easily determined because all three primary color components are balanced and strong based on light transmitted through a portion having the smallest transmittance. Also, the determination of a dark green bottle with a small transmittance can be made without switching filters or adjusting the intensity of illumination.
Based on the same image signal acquired in one photographing under the same condition, it can be performed by using light transmitted through a portion having the highest transmittance. However, it goes without saying that the relationship between the color discrimination and the transmittance zone need not be fixed as described above.

【0029】なお、ガラス瓶32が減光フィルタ21か
ら外れた部分があれば、その部分は白色光そのままの特
性を示すので処理対象から除外することによりより正確
な色判定が行える。また、ガラス表面に貼付されたラベ
ル等が残っている場合は、その部分は透過光が遮られて
色相についての情報を有しないので処理対象から除外で
きる。瓶の内外に泥などの異物が残存している場合も同
様である。
If there is a portion where the glass bottle 32 deviates from the neutral density filter 21, the portion shows the characteristic of white light as it is, and by excluding it from the processing target, more accurate color judgment can be performed. If a label or the like affixed to the glass surface remains, that portion is blocked from transmitted light and has no information on hue, so that it can be excluded from processing. The same applies when foreign matter such as mud remains inside and outside the bottle.

【0030】なお、本実施例に用いた減光フィルタは3
段階の透過率差を有する4個の縞状のゾーンが形成され
たものであったが、さらに多数の透過率差を用いればゾ
ーンの切り替えが煩雑になるが色の判定はより正確にな
る。また、透過率も対象物の輝度に対応して適当に選択
することが出来る。さらに、縞の幅をもっと狭くして同
じ透過率を有する縞の数を増やせば、大きさや形状が異
なる対象物が混在して測定位置に搬送されてくる場合に
も、いずれかの縞を用いて色の判定が出来るようにな
る。また、透過率の異なる部分の形状は縞に限らず、市
松模様や水玉など適当な形状を選択してもよい。色判定
装置が予めこの形状を知っていれば、これに基づいて色
識別を行うことができる。
The neutral density filter used in this embodiment is 3
Although four striped zones having different transmittance differences are formed, the use of a larger number of transmittance differences makes the switching of the zones complicated, but makes the color determination more accurate. Also, the transmittance can be appropriately selected according to the luminance of the object. Furthermore, if the width of the stripes is further reduced and the number of stripes having the same transmittance is increased, even when objects having different sizes and shapes are mixed and conveyed to the measurement position, one of the stripes is used. Color judgment. Further, the shape of the portion having different transmittance is not limited to a stripe, and an appropriate shape such as a checkered pattern or a polka dot may be selected. If the color determination device knows this shape in advance, it can perform color identification based on this.

【0031】上記実施例は、廃棄ガラス瓶の回収再生設
備においてガラス瓶を色に基づいて分別するための色識
別装置に関するものであったが、多くの種類の製品が流
れる搬送工程で仕分けをする装置やガラス以外の材料の
分別回収装置など、他の装置であっても材料の色に基づ
いて識別する必要がある場合に本発明が有効に利用でき
ることは言うまでもない。対象となる材料も、透過光を
使用できるガラスや合成樹脂などの透明あるいは半透明
の材料に限らない。不透明の材料についても反射光を利
用して、材料の輝度差を透過率の異なる部分を有する減
光フィルタを介在させて撮影して色判定することによ
り、照明やフィルタの調整を省略して迅速に色に基づい
て分別することが出来る。
The above embodiment relates to a color identification device for separating glass bottles based on color in a waste glass bottle recovery and recycling facility. However, the present invention relates to a device for sorting in a transport process in which many types of products flow. Needless to say, the present invention can be effectively used when it is necessary to identify other devices, such as a device for separating and collecting materials other than glass, based on the colors of the materials. The target material is not limited to a transparent or translucent material such as glass or synthetic resin that can use transmitted light. Even for opaque materials, the reflected light is used to determine the difference in brightness between the materials through a neutral density filter with different transmittances, and color judgment is performed. Can be sorted based on color.

【0032】[0032]

【発明の効果】以上説明した通り、本発明の色識別方法
および装置は、特殊な減光フィルタを用いてカメラの視
野内に透過率の異なる減光領域を複数設定することによ
り露出値の異なる処理領域を画像中に複数設定するもの
で、画面中に透過率の高い物体と低い物体のどちらが存
在しても絞りやシャッタ速度あるいは照明光などをその
都度調整することなく、1台のカメラと画像処理装置で
安定に色識別できるようになる。このようにカメラと画
像処理装置が1式あれば済むため設備費用が節約できる
ばかりでなく、信頼性が向上し保全も容易になる。本発
明の色識別方法および装置によれば、従来より簡単な構
成でありながら従来と比較して極めて高速に物体色の判
定を行うことが出来、たとえば廃棄物の再生処理のため
色判定が必要な場合にも十分対処できるようになる。ま
た、本発明のインコネル製縞模様減光フィルタを用いる
ことにより各種の物体色をひとつの装置でより正確に識
別できるようになる。
As described above, according to the color identification method and apparatus of the present invention, a plurality of dim areas having different transmittances are set within a field of view of a camera by using a special dim filter, so that exposure values differ. A plurality of processing areas are set in an image, regardless of whether an object with a high transmittance or an object with a low transmittance exists on the screen, without having to adjust the aperture, shutter speed, illumination light, etc. each time. The color can be stably identified by the image processing device. As described above, since only one camera and one image processing apparatus are required, not only the equipment cost can be saved, but also the reliability is improved and the maintenance is facilitated. ADVANTAGE OF THE INVENTION According to the color identification method and apparatus of this invention, although the structure is simpler than before, it is possible to determine the object color at an extremely high speed as compared with the conventional one. Will be able to cope with such situations. In addition, the use of the Inconel striped neutral density filter of the present invention enables more accurate identification of various object colors with a single device.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の色識別装置の1実施例を説明する一部
切り欠き斜視図である。
FIG. 1 is a partially cutaway perspective view illustrating one embodiment of a color identification device of the present invention.

【図2】本実施例に用いる減光フィルタの1実施例を示
す平面図である。
FIG. 2 is a plan view showing one embodiment of a neutral density filter used in the present embodiment.

【図3】本実施例における操作手順を表す流れ図であ
る。
FIG. 3 is a flowchart illustrating an operation procedure in the present embodiment.

【符号の説明】[Explanation of symbols]

1 照明装置 2 カラー撮像装置 3 搬送装置 11 ハロゲンランプ 12 拡散板 13 直流電源装置 21 減光フィルタ 22 反射鏡 23 カラーカメラ 31 コンベア 32 ガラス瓶 41、42、43、44 透過率の異なるゾーン DESCRIPTION OF SYMBOLS 1 Illumination device 2 Color imaging device 3 Transport device 11 Halogen lamp 12 Diffusion plate 13 DC power supply 21 Dimming filter 22 Reflector 23 Color camera 31 Conveyor 32 Glass bottle 41,42,43,44 Zones with different transmittance

フロントページの続き (56)参考文献 特開 平7−209087(JP,A) 特開 昭61−292027(JP,A) 特開 昭49−131485(JP,A) 特開 昭63−243726(JP,A) 特開 平4−275503(JP,A) 特開 平10−54762(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01J 3/00 - 3/52 G02B 5/20 Continuation of the front page (56) References JP-A-7-209087 (JP, A) JP-A-61-292027 (JP, A) JP-A-49-131485 (JP, A) JP-A-63-243726 (JP) JP-A-4-275503 (JP, A) JP-A-10-54762 (JP, A) (58) Fields investigated (Int. Cl. 7 , DB name) G01J 3/00-3/52 G02B 5/20

Claims (7)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 対象物を透過した光線をカラー撮像装置
に入射させて色識別する方法において、異なる透過率を
有する複数の部分から構成される減光フィルタを介して
前記透過光線を前記カラー撮像装置に入射させ、対象物
につき部分的に透過光量の異なる1個の映像を形成し
て、該映像のいずれかの部分に基づいて前記対象物の色
を識別するようにしたことを特徴とする色識別方法。
1. A method for identifying a color by causing a light beam transmitted through an object to be incident on a color image pickup apparatus, wherein the transmitted light beam is imaged through a neutral density filter including a plurality of portions having different transmittances. Make the target incident on the device
To form one image with partially different amount of transmitted light
Te, color identification method is characterized in that so as to identify the color of the object based on any of the parts of the said video.
【請求項2】 前記対象物が順次供給されるガラス瓶で
あることを特徴とする請求項1記載の色識別方法。
2. The color identification method according to claim 1, wherein said objects are glass bottles supplied sequentially.
【請求項3】 前記減光フィルタが対象物の移動方向に
対して平行に透過率の異なる縞状部分を有することを特
徴とする請求項1または2に記載の色識別方法。
3. The color identification method according to claim 1, wherein the neutral density filter has striped portions having different transmittances in parallel to a moving direction of the object.
【請求項4】 対象物を搬送する装置を挟み照明光を該
対象物に照射する照明装置と該対象物を透過した光を減
光フィルタを介して受光するカラー撮像装置を備えた色
識別装置であって、前記減光フィルタが異なる透過率を
有する複数の部分から構成され、前記カラー撮像装置が
対象物につき1個の映像を形成して減光フィルタにおけ
る透過率の異なる複数の部分を透過した光を検出し、
記映像中のいずれかの部分を透過した光に基づいて前記
対象物の色を識別することを特徴とする色識別装置。
4. A color discriminating apparatus comprising: an illuminating device for irradiating an object with illumination light across a device for transporting the object; and a color imaging device for receiving light transmitted through the object via a neutral density filter. Wherein the neutral density filter includes a plurality of portions having different transmittances, and the color imaging device
Detecting the light transmitted through different parts of the transmittance in the attenuation filter to form one picture per object, before
A color identification device for identifying a color of the object based on light transmitted through any part of the video .
【請求項5】 前記減光フィルタがインコネルを縞状に
蒸着させて光透過率を変化させたものであることを特徴
とする請求項4記載の色識別装置。
5. The color discriminating apparatus according to claim 4, wherein said neutral density filter has a light transmittance changed by depositing Inconel in a stripe shape.
【請求項6】 前記カラー撮像装置がCCDカメラであ
ることを特徴とする請求項4または5に記載の色識別装
置。
6. The color identification device according to claim 4, wherein the color imaging device is a CCD camera.
【請求項7】 前記搬送装置がガラス瓶を順次搬送する
ものであることを特徴とする請求項4から6のいずれか
に記載の色識別装置。
7. The color discriminating apparatus according to claim 4, wherein said conveying device sequentially conveys glass bottles.
JP28135897A 1997-09-29 1997-09-29 Color identification method and device using neutral density filter Expired - Fee Related JP3176330B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28135897A JP3176330B2 (en) 1997-09-29 1997-09-29 Color identification method and device using neutral density filter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28135897A JP3176330B2 (en) 1997-09-29 1997-09-29 Color identification method and device using neutral density filter

Publications (2)

Publication Number Publication Date
JPH11101693A JPH11101693A (en) 1999-04-13
JP3176330B2 true JP3176330B2 (en) 2001-06-18

Family

ID=17638005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28135897A Expired - Fee Related JP3176330B2 (en) 1997-09-29 1997-09-29 Color identification method and device using neutral density filter

Country Status (1)

Country Link
JP (1) JP3176330B2 (en)

Also Published As

Publication number Publication date
JPH11101693A (en) 1999-04-13

Similar Documents

Publication Publication Date Title
US6346966B1 (en) Image acquisition system for machine vision applications
US7551274B1 (en) Defect detection lighting system and methods for large glass sheets
KR100399507B1 (en) How to recognize and evaluate defects in reflective surface coatings
EP1943502B1 (en) Apparatus and methods for inspecting a composite structure for defects
JP3423688B2 (en) Method and apparatus for automatic inspection of moving surfaces
US20010030744A1 (en) Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
EP0387930B1 (en) Simultaneous double inspection
JPH0321235B2 (en)
JP2022058530A (en) Machine and method for inspecting flow of objects
JP2000241362A (en) Surface quality inspecting apparatus and method
US6424414B1 (en) Method and apparatus for detecting refractive defects in transparent containers
JP3673657B2 (en) Plasma display phosphor inspection apparatus and inspection method
US8184282B2 (en) Method and system for defect detection using transmissive bright field illumination and transmissive dark field illumination
JP2002039952A (en) Apparatus and method for inspecting defect
JP3176330B2 (en) Color identification method and device using neutral density filter
CA2153647A1 (en) Method and apparatus for recognizing geometrical features of parallelepiped-shaped parts of polygonal section
JP2914967B2 (en) Appearance inspection method
JP4892943B2 (en) Density unevenness inspection device
JPH04296978A (en) Vegetable/fruit discriminator
JP3449469B2 (en) Color / shape identification method and device
JPH06229957A (en) Material discrimination method
JP2002350360A (en) Detector, detection processor and inspection device of projecting and recessed pattern, and inspection device
JPH05188006A (en) Surface flaw detecting device
JPH11281588A (en) Surface inspecting apparatus
JP2997306B2 (en) Method and apparatus for detecting pattern position using transmitted illumination

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090406

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140406

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees