JPH09329496A - Color sensor - Google Patents

Color sensor

Info

Publication number
JPH09329496A
JPH09329496A JP16827096A JP16827096A JPH09329496A JP H09329496 A JPH09329496 A JP H09329496A JP 16827096 A JP16827096 A JP 16827096A JP 16827096 A JP16827096 A JP 16827096A JP H09329496 A JPH09329496 A JP H09329496A
Authority
JP
Japan
Prior art keywords
light
color
light emitting
emitting diodes
light receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP16827096A
Other languages
Japanese (ja)
Other versions
JP4094076B2 (en
Inventor
Eitoku Tabuse
栄徳 田伏
Takeshi Takao
健 鷹尾
Mitsutoshi Nomura
光俊 野村
Takaaki Douko
隆明 道古
Kazuhiro Nishihara
一寛 西原
Keisuke Inaoka
啓介 稲岡
Koji Inada
宏治 稲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Idec Izumi Corp
Original Assignee
Idec Izumi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Idec Izumi Corp filed Critical Idec Izumi Corp
Priority to JP16827096A priority Critical patent/JP4094076B2/en
Publication of JPH09329496A publication Critical patent/JPH09329496A/en
Application granted granted Critical
Publication of JP4094076B2 publication Critical patent/JP4094076B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Spectrometry And Color Measurement (AREA)

Abstract

PROBLEM TO BE SOLVED: To compensate quantities of light emission from light emitting diodes even when temperature is changed and perform color distinction in a stable manner by controlling a drive timing of a drive circuit and conducting an operational processing by comparison between a detection signal of a reflected light output from light emitting means and a color data signal of a reference color. SOLUTION: Reflected light from an object S to be detected, which is emitted from light emitting diodes 2, 3, 4, is detected by a photodiode 9 and a detection signal is input to a microprocessor 13. The microprocessor 13 conducts operational processing by comparison between a color data signal of a reference color which is in advance input and a color data of reflected light to output a distinction result of the object S to be detected. On the other hand, light in colors emitted from the light emitting diodes 2, 3, 4 is detected by a photodiode 16 and detection signal are input to drive voltage setting circuits 19, 20, 21. Voltage levels of detection signals of colors and reference voltages set in advance are respectively compared and thus drive circuits of the light emitting diodes 2, 3, 4 are controlled.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、たとえばファクト
リーオートメーション(FA)の生産ラインなどにおい
て被検出物の色を判別するためのカラーセンサに関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a color sensor for discriminating the color of an object to be detected in, for example, a factory automation (FA) production line.

【0002】[0002]

【従来の技術】従来のカラーセンサ50は、図6に示す
ように、光の三原色である赤色(R)、緑色(G)、青
色(B)をそれぞれ発光する発光ダイオード(LED)
51,52,53と、各発光ダイオードからの光を合成
するための色合成プリズム54と、色合成プリズム54
で合成された光を被検出物S側に反射させるとともに、
レンズ55を通り被検出物Sに投光されて反射された光
を透過させるハーフミラー56と、ハーフミラー56を
透過し、レンズ57で集光された光を受光するフォトダ
イオード(PD)58と備えている。
2. Description of the Related Art As shown in FIG. 6, a conventional color sensor 50 is a light emitting diode (LED) which emits light of three primary colors of red (R), green (G) and blue (B).
51, 52, 53, a color synthesizing prism 54 for synthesizing light from each light emitting diode, and a color synthesizing prism 54.
In addition to reflecting the light combined in step S to the detected object S side,
A half mirror 56 that transmits the light projected through the lens 55 and reflected by the detection object S, and a photodiode (PD) 58 that receives the light that is transmitted through the half mirror 56 and condensed by the lens 57. I have it.

【0003】各発光ダイオード51,52,53には、
駆動手段である投光回路59が接続されている。フォト
ダイオード58にはアンプ60が接続され、アンプ60
にはA/D変換器61が接続されている。A/D変換器
61には、投光回路59の駆動タイミングを制御すると
ともに、被検出物Sからの反射光の色データを、予め設
定された基準色の色データと比較して判別結果を出力す
るマイクロプロセッサ62が接続されている。マイクロ
プロセッサ62には、基準色の色データ信号が入力され
かつ該マイクロプロセッサからの出力信号が出力される
入出力回路63が接続されている。
Each light emitting diode 51, 52, 53 has a
A light projecting circuit 59 which is a driving means is connected. An amplifier 60 is connected to the photodiode 58, and the amplifier 60
An A / D converter 61 is connected to. The A / D converter 61 controls the drive timing of the light projecting circuit 59 and compares the color data of the reflected light from the detection object S with the color data of the preset reference color to determine the determination result. The output microprocessor 62 is connected. An input / output circuit 63 to which a color data signal of the reference color is input and an output signal from the microprocessor is output is connected to the microprocessor 62.

【0004】またアンプ60には、周囲の温度変化によ
る検出出力のドリフトを抑制するために、サーミスタま
たはバリスタダイオードを含む温度補償回路64が接続
されている。温度補償回路64では、サーミスタやバリ
スタダイオードの温度特性を利用して検出出力が補償さ
れるようになっている。なお、電源回路65には、外部
よりDC12〜24ボルトの電圧が供給されており、各
回路へは直流電源電圧が印加されている。
A temperature compensating circuit 64 including a thermistor or a varistor diode is connected to the amplifier 60 in order to suppress the drift of the detection output due to the ambient temperature change. In the temperature compensation circuit 64, the detection output is compensated by utilizing the temperature characteristics of the thermistor or varistor diode. The power supply circuit 65 is externally supplied with a voltage of DC 12 to 24 V, and a DC power supply voltage is applied to each circuit.

【0005】動作時には、各発光ダイオード51,5
2,53が所定のタイミングで順次点灯される。各発光
ダイオードから射出された光は被検出物Sで反射され、
その反射光がフォトダイオード58で受光される。フォ
トダイオード58では、その受光量に応じた受光信号が
出力される。
In operation, each light emitting diode 51, 5
2, 53 are sequentially turned on at a predetermined timing. The light emitted from each light emitting diode is reflected by the object S to be detected,
The reflected light is received by the photodiode 58. The photodiode 58 outputs a light reception signal according to the amount of light received.

【0006】フォトダイオード58からの受光信号は、
アンプ60に入力されて増幅され、次にA/D変換器6
1でディジタル信号に変換され、マイクロプロセッサ6
2に入力される。一方、マイクロプロセッサ62には、
入出力回路63から基準色の色データ信号が予め入力さ
れており、マイクロプロセッサ62は、この基準色の色
データ信号と被検出物Sからの反射光の色データ信号と
を比較して演算処理を行い、判別結果を出力する。
The received light signal from the photodiode 58 is
It is input to the amplifier 60 and amplified, and then the A / D converter 6
Converted into a digital signal by the microprocessor 6
2 is input. On the other hand, in the microprocessor 62,
The color data signal of the reference color is input in advance from the input / output circuit 63, and the microprocessor 62 compares the color data signal of the reference color with the color data signal of the reflected light from the object S to be processed. And output the discrimination result.

【0007】[0007]

【発明が解決しようとする課題】ところで、発光ダイオ
ードは、一般に、高温になるほど発光光量が低下すると
いった特性があり、このような温度特性は、図5に示す
ように、赤色(R)、緑色(G)、青色(B)のいずれ
の色を発光する発光ダイオードであるかにより、その変
化勾配が異なっている。また同じ色の発光ダイオードで
あっても、温度特性にばらつきが生じる。
By the way, the light emitting diode generally has a characteristic that the amount of emitted light decreases as the temperature rises, and such temperature characteristics are red (R) and green as shown in FIG. The change gradient differs depending on whether the light emitting diode emits light of (G) or blue (B). Further, even in the case of light emitting diodes of the same color, the temperature characteristics vary.

【0008】しかしながら、前記従来のカラーセンサで
は、個々の発光ダイオードについて温度補償を行ってい
ないため、温度補償が不十分であり、その結果、被検出
物Sの色判別が不安定になる場合がある。
However, in the conventional color sensor, temperature compensation is not performed for each light emitting diode, and thus temperature compensation is insufficient, and as a result, color discrimination of the object S to be detected may become unstable. is there.

【0009】本発明は、このような従来の実情に鑑みて
なされたもので、温度が変化した場合でも常に安定した
色判別を行うことができるカラーセンサを提供すること
を目的とする。
The present invention has been made in view of such a conventional situation, and an object of the present invention is to provide a color sensor capable of always performing stable color discrimination even when the temperature changes.

【0010】[0010]

【課題を解決するための手段】請求項1の発明に係るカ
ラーセンサは、光の三原色を発光する三種類の発光ダイ
オードと、前記各発光ダイオードに電流を供給する駆動
回路と、前記各発光ダイオードから被検出物に照射され
反射された各色光の反射光を受光して、その受光量に応
じた受光信号を出力する第1の受光手段と、前記各発光
ダイオードから射出された各色光を受光して、その受光
量に応じた受光信号を出力する第2の受光手段とを備
え、前記第2の受光手段から出力された、各色光に対応
する各受光信号の電圧レベルと、各色光について予め設
定された基準電圧とを比較して、前記駆動回路の駆動電
圧を設定する駆動電圧設定回路を備えるとともに、前記
駆動回路の駆動タイミングを制御しかつ、前記第1の受
光手段から出力された反射光の受光信号と予め設定され
た基準色の色データ信号とを比較して演算処理を行うこ
とにより、被検出物の色の判別結果を出力する制御手段
をさらに備えたことを特徴としている。
According to a first aspect of the present invention, there is provided a color sensor, which comprises three types of light emitting diodes for emitting three primary colors of light, a drive circuit for supplying a current to each of the light emitting diodes, and each of the light emitting diodes. First light receiving means for receiving the reflected light of each color light which is emitted to and reflected from the object to be detected and outputs a light receiving signal according to the amount of received light, and each color light emitted from each of the light emitting diodes And a second light receiving means for outputting a light receiving signal according to the amount of received light, the voltage level of each light receiving signal corresponding to each color light output from the second light receiving means, and each color light A drive voltage setting circuit for setting a drive voltage of the drive circuit by comparing with a preset reference voltage, controlling the drive timing of the drive circuit, and outputting from the first light receiving means. It is characterized by further comprising control means for outputting the discrimination result of the color of the object to be detected by comparing the received light signal of the reflected light with the color data signal of the preset reference color and performing arithmetic processing. .

【0011】請求項2の発明に係るカラーセンサは、光
の三原色を発光する三種類の発光ダイオードと、前記各
発光ダイオードに電流を供給する駆動回路と、前記各発
光ダイオードから被検出物に照射され反射された各色光
の反射光を受光して、その受光量に応じた受光信号を出
力する第1の受光手段と、前記各発光ダイオードから射
出された各色光を受光して、その受光量に応じた受光信
号を出力する第2の受光手段と、前記駆動回路の駆動タ
イミングを制御するとともに、第2の受光手段から出力
された各色光に対応する各受光信号の電圧レベルと各色
光について予め設定された基準電圧との差を演算し、そ
の演算結果に基づいて、第1の受光手段から出力された
反射光の受光信号を処理することにより、被検出物の色
の判別結果を出力する制御手段とを備えたことを特徴と
している。
A color sensor according to a second aspect of the present invention includes three types of light emitting diodes that emit the three primary colors of light, a drive circuit that supplies a current to each of the light emitting diodes, and an illumination of an object to be detected from each of the light emitting diodes. The first light receiving means for receiving the reflected light of the reflected and reflected respective color lights and outputting the received light signal according to the received light amount, and the respective light colors emitted from the respective light emitting diodes for receiving the received light amount. The second light receiving means for outputting a light receiving signal according to the above, and the drive timing of the drive circuit are controlled, and the voltage level of each light receiving signal corresponding to each color light output from the second light receiving means and each color light The difference with the preset reference voltage is calculated, and the received light signal of the reflected light output from the first light receiving means is processed based on the calculated result to output the color discrimination result of the detected object. It is characterized in that a that the control unit.

【0012】請求項1の発明において、被検出物の色の
判別を行う際には、まず、駆動回路から各発光ダイオー
ドに電流を供給することにより、各発光ダイオードを点
灯させる。このとき、各発光ダイオードの発光タイミン
グは、制御手段からの駆動タイミング信号により制御さ
れる。
In the invention of claim 1, when the color of the object to be detected is discriminated, first, each light emitting diode is turned on by supplying a current from the drive circuit to each light emitting diode. At this time, the light emission timing of each light emitting diode is controlled by the drive timing signal from the control means.

【0013】各発光ダイオードから射出された各色光
は、被検出物に照射されて反射される。被検出物で反射
された反射光は、第1の受光手段で受光される。第1の
受光手段では、各色光についてその受光量に応じた受光
信号が出力される。
The respective color lights emitted from the respective light emitting diodes are irradiated to the object to be detected and reflected. The reflected light reflected by the object to be detected is received by the first light receiving means. The first light receiving means outputs a light receiving signal corresponding to the amount of received light of each color light.

【0014】第1の受光手段から出力された受光信号
は、制御手段に入力される。一方、制御手段には基準色
の色データ信号が予め入力されており、制御手段は、こ
の基準色の色データ信号と被検出物からの反射光の色デ
ータ信号とを比較して演算処理を行うことにより、被検
出物の色の判別結果を出力する。
The light receiving signal output from the first light receiving means is input to the control means. On the other hand, the color data signal of the reference color is previously input to the control means, and the control means compares the color data signal of the reference color with the color data signal of the reflected light from the object to be detected to perform the arithmetic processing. By doing so, the discrimination result of the color of the object to be detected is output.

【0015】一方、各発光ダイオードから射出された各
色光は、第2の受光手段で受光される。第2の受光手段
では、各色光についてその受光量に応じた受光信号が出
力される。
On the other hand, each color light emitted from each light emitting diode is received by the second light receiving means. The second light receiving means outputs a light reception signal corresponding to the amount of light received for each color light.

【0016】第2の受光手段から出力された受光信号は
駆動電圧設定回路に入力される。駆動電圧設定回路で
は、第2の受光手段から出力される各色光の受光信号の
電圧レベルと、各色光について予め設定された基準電圧
とをそれぞれ比較して、各発光ダイオードの駆動回路を
制御する。
The light receiving signal output from the second light receiving means is input to the drive voltage setting circuit. The drive voltage setting circuit controls the drive circuit of each light emitting diode by comparing the voltage level of the light receiving signal of each color light output from the second light receiving unit with a reference voltage preset for each color light. .

【0017】すなわち、第2の受光手段から出力された
受光信号の電圧レベルが基準電圧より高い場合には、駆
動電圧を低く設定し、逆に、受光信号の電圧レベルが基
準電圧より低い場合には、駆動電圧を高く設定する。
That is, when the voltage level of the light receiving signal output from the second light receiving means is higher than the reference voltage, the drive voltage is set low, and conversely, when the voltage level of the light receiving signal is lower than the reference voltage. Sets the drive voltage high.

【0018】したがって、カラーセンサの動作中に温度
変化が生じた場合でも、個々の発光ダイオードにすぐに
適正な電流が供給されることになり、これにより、各発
光ダイオードの発光量が補償され、この結果、常に安定
した色判別を行うことができる。
Therefore, even if a temperature change occurs during the operation of the color sensor, an appropriate current is immediately supplied to each light emitting diode, whereby the light emission amount of each light emitting diode is compensated. As a result, stable color discrimination can always be performed.

【0019】請求項2の発明において、被検出物の色の
判別を行う際には、請求項1の発明の場合と同様に、ま
ず、制御手段からの駆動タイミング信号に基づいて、駆
動回路から各発光ダイオードに電流を供給し、各発光ダ
イオードを点灯させる。
In the invention of claim 2, when the color of the object to be detected is discriminated, first of all, as in the case of the invention of claim 1, firstly, the drive circuit is operated based on the drive timing signal from the control means. A current is supplied to each light emitting diode to light each light emitting diode.

【0020】各発光ダイオードから射出された各色光
は、被検出物に照射されて反射され、その反射光は、第
1の受光手段で受光される。第1の受光手段では、各色
光についてその受光量に応じた受光信号が出力され、こ
の受光信号は、制御手段に入力される。
Each color light emitted from each light emitting diode is irradiated to and reflected by the object to be detected, and the reflected light is received by the first light receiving means. The first light receiving means outputs a light receiving signal corresponding to the amount of light received for each color light, and this light receiving signal is input to the control means.

【0021】また、各発光ダイオードから射出された各
色光は、第2の受光手段で受光される。第2の受光手段
では、各色光についてその受光量に応じた受光信号が出
力され、この受光信号は、制御手段に入力される。
Further, each color light emitted from each light emitting diode is received by the second light receiving means. The second light receiving means outputs a light receiving signal corresponding to the amount of light received for each color light, and this light receiving signal is input to the control means.

【0022】一方、制御手段では、各色光について予め
基準電圧が設定されており、制御手段は、この基準電圧
と、第2の受光手段から出力された、各色光に対応する
各受光信号の電圧レベルとの差を演算し、その演算結果
に基づいて、第1の受光手段から出力された反射光の受
光信号と、予め設定された基準色の色データ信号とを比
較し演算処理を行うことにより、被検出物の色の判別結
果を出力する。
On the other hand, the control means sets a reference voltage for each color light in advance, and the control means controls the reference voltage and the voltage of each light reception signal corresponding to each color light output from the second light reception means. A difference from the level is calculated, and based on the calculation result, the received light signal of the reflected light output from the first light receiving unit is compared with the color data signal of the preset reference color to perform the calculation process. Thus, the discrimination result of the color of the detected object is output.

【0023】これにより、カラーセンサの動作中に温度
変化が生じ、各発光ダイオードの発光量が変化した場合
でも、その変化量に基づいて反射光の受光信号が処理さ
れることになるので、常に安定した色判別を行うことが
できる。
As a result, even if the temperature change occurs during the operation of the color sensor and the light emission amount of each light emitting diode changes, the received light signal of the reflected light is processed based on the change amount, so that the light receiving signal is always processed. Stable color discrimination can be performed.

【0024】[0024]

【発明の実施の形態】以下、本発明の実施態様を添付図
面に基づいて説明する。図1は本発明の一実施態様によ
るカラーセンサのブロック構成図、図2はカラーセンサ
中の各発光ダイオードの駆動タイミングの一例を示す図
である。図1に示すように、カラーセンサ1は、光の三
原色である赤色(R)、緑色(G)、青色(B)をそれ
ぞれ発光する発光ダイオード(LED)2,3,4と、
各発光ダイオード2,3,4から射出された光を合成す
るための色合成プリズム5とを備えている。
Embodiments of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a block configuration diagram of a color sensor according to an embodiment of the present invention, and FIG. 2 is a diagram showing an example of driving timing of each light emitting diode in the color sensor. As shown in FIG. 1, the color sensor 1 includes light emitting diodes (LEDs) 2, 3 and 4 which respectively emit red (R), green (G) and blue (B) which are three primary colors of light,
A color combining prism 5 for combining the lights emitted from the light emitting diodes 2, 3 and 4 is provided.

【0025】発光ダイオード2,3から射出された赤色
光および緑色光は、色合成プリズム5内の界面5aを透
過し、また発光ダイオード4から射出された青色光は、
界面5aで反射され、これにより、各色光が色合成プリ
ズム5内で合成されるようになっている。
The red light and the green light emitted from the light emitting diodes 2 and 3 pass through the interface 5a in the color combining prism 5, and the blue light emitted from the light emitting diode 4 is
The color lights are reflected by the interface 5a, and thus the respective color lights are combined in the color combining prism 5.

【0026】色合成プリズム5の一側方には、該色合成
プリズム内で合成された光を被検出物S側に反射させる
とともに、レンズ6を通り被検出物Sに投光されて反射
されてきた光を透過させるハーフミラー7と、ハーフミ
ラー7を透過してレンズ8で集光された光を受光するフ
ォトダイオード(PD)(第1の受光手段)9とが設け
られている。
On one side of the color synthesizing prism 5, the light synthesized in the color synthesizing prism is reflected to the side of the object S to be detected and is also projected and reflected by the object S to be detected through the lens 6. A half mirror 7 that transmits the received light and a photodiode (PD) (first light receiving unit) 9 that receives the light transmitted through the half mirror 7 and condensed by the lens 8 are provided.

【0027】各発光ダイオード2,3,4には、該各発
光ダイオードに電流を供給する投光回路(駆動回路)1
0が接続されている。フォトダイオード9には、該フォ
トダイオードから出力された受光信号を増幅するための
アンプ11が接続されている。アンプ11には、該アン
プで増幅された受光信号をディジタル値に変換するため
のA/D変換器12が接続されている。
A projecting circuit (driving circuit) 1 for supplying a current to each of the light emitting diodes 2, 3 and 4 is provided.
0 is connected. An amplifier 11 for amplifying the light reception signal output from the photodiode 9 is connected to the photodiode 9. An A / D converter 12 for converting the light reception signal amplified by the amplifier into a digital value is connected to the amplifier 11.

【0028】A/D変換器12には、マイクロプロセッ
サ(制御手段)13が接続されている。マイクロプロセ
ッサ13は、投光回路10の駆動タイミングを制御する
とともに、被検出物Sで反射された反射光の色データ
を、予め設定された基準色の色データと比較して判別結
果を出力するためのものである。
A microprocessor (control means) 13 is connected to the A / D converter 12. The microprocessor 13 controls the drive timing of the light projecting circuit 10 and compares the color data of the reflected light reflected by the object S with the color data of the preset reference color and outputs the determination result. It is for.

【0029】マイクロプロセッサ13には入出力回路1
4が接続されている。入出力回路14は、基準色の色デ
ータ信号を予め設定(ティーチング)するための入力回
路と、マイクロプロセッサ13からの出力信号が出力さ
れる出力回路とから構成されている。
The microprocessor 13 has an input / output circuit 1
4 are connected. The input / output circuit 14 is composed of an input circuit for presetting (teaching) the color data signal of the reference color and an output circuit for outputting an output signal from the microprocessor 13.

【0030】色合成プリズム5の他側方には、フォトダ
イオード(第2の受光手段)16が配置されている。フ
ォトダイオード16は、発光ダイオード2,3から射出
された光のうち、界面5aで反射される光と、発光ダイ
オード4から射出された光のうち、界面5aを透過する
光とを受光して、各色光についてその受光量に応じた受
光信号をそれぞれ出力するためのものである。
On the other side of the color synthesizing prism 5, a photodiode (second light receiving means) 16 is arranged. The photodiode 16 receives the light reflected by the interface 5a among the light emitted from the light emitting diodes 2 and 3 and the light transmitted through the interface 5a among the light emitted from the light emitting diode 4, This is for outputting a light reception signal corresponding to the amount of light received for each color light.

【0031】フォトダイオード16の出力側には、該フ
ォトダイオードからの各受光信号を増幅するためのアン
プ17が接続されている。アンプ17には、該アンプで
増幅された各受光信号を、対応する各積分回路(駆動電
圧設定回路)19,20,21に入力するための切換回
路18が接続されている。切換回路18は、発光ダイオ
ード2,3,4の各駆動タイミングに同期してマイクロ
プロセッサ13により切換制御される。
An amplifier 17 for amplifying each light reception signal from the photodiode 16 is connected to the output side of the photodiode 16. The amplifier 17 is connected to a switching circuit 18 for inputting each received light signal amplified by the amplifier to the corresponding integration circuit (driving voltage setting circuit) 19, 20, 21. The switching circuit 18 is switching-controlled by the microprocessor 13 in synchronization with each driving timing of the light emitting diodes 2, 3, 4.

【0032】なお、図示を省略しているが、上述の各回
路には、電源回路からの直流電源電圧が印加されてい
る。
Although not shown, a DC power supply voltage from a power supply circuit is applied to each of the above circuits.

【0033】各積分回路19,20,21は、入力され
る受光信号を、予め設定された基準電圧VSR,VSG,V
SBとそれぞれ比較して積分を行うものである。各積分回
路19,20,21からの各出力VDR,VDG,VDBは、
駆動電圧として各発光ダイオード2,3,4の投光回路
10に入力されるようになっている。
Each of the integrator circuits 19, 20, 21 receives the received light signal and sets the reference voltages V SR , V SG , V set in advance.
It is compared with SB and integrated. The outputs V DR , V DG , and V DB from the integrating circuits 19, 20, and 21 are
The driving voltage is input to the light projecting circuit 10 of each of the light emitting diodes 2, 3 and 4.

【0034】次に、本実施態様の動作について説明す
る。カラーセンサ1の動作時には、投光回路10から各
発光ダイオード2,3,4に順次電流が供給されること
により、各発光ダイオード2,3,4が所定のタイミン
グで順次点灯される。
Next, the operation of this embodiment will be described. When the color sensor 1 is in operation, the light emitting circuit 10 sequentially supplies a current to each of the light emitting diodes 2, 3, 4 so that each of the light emitting diodes 2, 3, 4 is sequentially turned on at a predetermined timing.

【0035】各発光ダイオード2,3,4の駆動タイミ
ングとしては、たとえば図2に示すように、発光ダイオ
ード2の駆動後、時間t経過後に発光ダイオード3が駆
動され、その後さらに時間t経過後に発光ダイオード4
が駆動される。時間tとしては、たとえば16〜17μ
sec に設定される。なお、各発光ダイオード2,3,4
の駆動タイミングは、図2に示すものに限定されない。
As the driving timing of each of the light emitting diodes 2, 3 and 4, for example, as shown in FIG. 2, the light emitting diode 3 is driven after a lapse of time t after the drive of the light emitting diode 2, and then the light is emitted after a lapse of time t. Diode 4
Is driven. The time t is, for example, 16 to 17 μ.
Set to sec. In addition, each light emitting diode 2, 3, 4
The drive timing of is not limited to that shown in FIG.

【0036】発光ダイオード2,3から射出された光は
色合成プリズム5内の界面5aを透過し、また発光ダイ
オード4から射出された光は界面5aで反射される。そ
して、色合成プリズム5を出た光は、ハーフミラー7で
反射されてレンズ6で集光され、被検出物Sに照射され
る。
The light emitted from the light emitting diodes 2 and 3 is transmitted through the interface 5a in the color synthesizing prism 5, and the light emitted from the light emitting diode 4 is reflected at the interface 5a. Then, the light emitted from the color synthesizing prism 5 is reflected by the half mirror 7, condensed by the lens 6, and applied to the object S to be detected.

【0037】被検出物Sで反射された反射光は、ハーフ
ミラー7を透過してレンズ8で集光され、フォトダイオ
ード9で受光される。フォトダイオード9では、その受
光量に応じた受光信号が出力される。
The reflected light reflected by the object S to be detected is transmitted through the half mirror 7, condensed by the lens 8 and received by the photodiode 9. The photodiode 9 outputs a light reception signal according to the amount of light received.

【0038】フォトダイオード9からの受光信号は、ア
ンプ11に入力されて増幅され、次にA/D変換器12
でディジタル信号に変換され、マイクロプロセッサ13
に入力される。
The received light signal from the photodiode 9 is input to and amplified by the amplifier 11, and then the A / D converter 12
Converted into a digital signal by the microprocessor 13
Is input to

【0039】一方、マイクロプロセッサ13において
は、入出力回路14の入力信号TEにより予め設定され
た基準色の色データ信号が読み込まれ、記憶される(す
なわちティーチング入力される)。マイクロプロセッサ
13は、この基準色の色データ信号と被検出物Sからの
反射光の色データ信号とを比較して演算処理を行うこと
により、被検出物Sの色の判別結果を出力する。
On the other hand, in the microprocessor 13, the color data signal of the reference color preset by the input signal TE of the input / output circuit 14 is read and stored (that is, teaching input). The microprocessor 13 compares the color data signal of the reference color with the color data signal of the reflected light from the detected object S and performs arithmetic processing to output the discrimination result of the color of the detected object S.

【0040】一方、発光ダイオード2,3から射出され
た光のうち、色合成プリズム5内の界面5aで反射され
た光は、フォトダイオード16で受光される。同様に、
発光ダイオード4から射出された光のうち、色合成プリ
ズム5内の界面5aを透過した光は、フォトダイオード
16で受光される。フォトダイオード16では、各色光
についてその受光量に応じた受光信号が出力される。
On the other hand, of the light emitted from the light emitting diodes 2 and 3, the light reflected by the interface 5a in the color combining prism 5 is received by the photodiode 16. Similarly,
Of the light emitted from the light emitting diode 4, the light transmitted through the interface 5 a in the color combining prism 5 is received by the photodiode 16. The photodiode 16 outputs a light reception signal corresponding to the amount of light received for each color light.

【0041】フォトダイオード16から出力された各受
光信号はアンプ17で増幅され、増幅された各受光信号
は切換回路18に入力される。次に、マイクロプロセッ
サ13からの切換制御信号に基づいて切換回路18が切
り換えられることにより、各色光の受光信号が後段のそ
れぞれ対応する各積分回路19,20,21に入力され
る。
The light receiving signals output from the photodiode 16 are amplified by the amplifier 17, and the amplified light receiving signals are input to the switching circuit 18. Next, the switching circuit 18 is switched based on the switching control signal from the microprocessor 13, so that the light receiving signals of the respective color lights are input to the corresponding integrating circuits 19, 20, 21 in the subsequent stages.

【0042】各積分回路19,20,21では、入力さ
れる受光信号を、予め設定された基準電圧VSR,VSG
SBとそれぞれ比較して積分が行われる。ここで、各基
準電圧VSR,VSG,VSBの設定は、被検出物Sとして白
色のものを用意し、この被検出物から反射される各色光
の光量が同じレベルになるように行われる。各積分回路
19,20,21からの各出力VDR,VDG,VDBは、駆
動電圧として、各発光ダイオード2,3,4の投光回路
10に入力される。
In each of the integrator circuits 19, 20, and 21, the received light signal input is supplied with a preset reference voltage V SR , V SG ,
The integration is performed by comparing each with V SB . Here, the reference voltages V SR , V SG , and VS B are set so that a white object is prepared as the detected object S and the light amounts of the respective colored lights reflected from the detected object are at the same level. Be seen. The outputs V DR , V DG and V DB from the integrating circuits 19, 20 and 21 are input to the light projecting circuits 10 of the light emitting diodes 2, 3 and 4 as drive voltages.

【0043】これにより、フォトダイオード16から出
力され増幅された受光信号の電圧レベルが基準電圧より
高い場合には、対応する発光ダイオードの駆動電圧が下
げられ、逆にフォトダイオード16からの受光信号の電
圧レベルが基準電圧より低い場合には、対応する発光ダ
イオードの駆動電圧が上げられることになる。
Thus, when the voltage level of the received light signal output from the photodiode 16 and amplified is higher than the reference voltage, the drive voltage of the corresponding light emitting diode is lowered, and conversely the received light signal from the photodiode 16 is changed. When the voltage level is lower than the reference voltage, the driving voltage of the corresponding light emitting diode is increased.

【0044】したがって、動作中に温度変化が生じた場
合でも、各発光ダイオード2,3,4にすぐに適正な電
流が供給されることになり、これにより、各発光ダイオ
ードの発光光量が補償され、この結果、常に安定した色
判別を行うことができる。
Therefore, even if a temperature change occurs during operation, an appropriate current is immediately supplied to each of the light emitting diodes 2, 3 and 4, whereby the amount of light emitted from each light emitting diode is compensated. As a result, stable color discrimination can always be performed.

【0045】なお、前記実施態様では、フォトダイオー
ド16を色合成プリズム5の近傍に配置した例を示した
が、本発明の適用はこれに限定されない。色合成プリズ
ム5で合成された光のうち、ハーフミラー7を透過する
光を受光するように、図1の二点鎖線に示す位置にフォ
トダイオード16を配置するようにしてもよい。ただ
し、この場合には、カラーセンサ全体が若干大型化する
ことになる。
In the above embodiment, the photodiode 16 is arranged in the vicinity of the color synthesizing prism 5, but the application of the present invention is not limited to this. The photodiode 16 may be arranged at the position shown by the alternate long and two short dashes line in FIG. 1 so as to receive the light transmitted through the half mirror 7 among the lights combined by the color combining prism 5. However, in this case, the entire color sensor becomes slightly larger.

【0046】図3は、本発明の他の実施態様によるカラ
ーセンサを示している。図3において、前記実施態様と
同一符号は同一または相当部分を示している。ここで
は、アンプ17から後段の部分の構成が前記実施態様と
異なっている。このカラーセンサ1′においては、アン
プ17にはA/D変換器25が接続されており、該A/
D変換器の出力側はマイクロプロセッサ13に接続され
ている。
FIG. 3 shows a color sensor according to another embodiment of the present invention. In FIG. 3, the same reference numerals as those in the above-mentioned embodiment indicate the same or corresponding portions. Here, the configuration of the portion subsequent to the amplifier 17 is different from that of the above embodiment. In this color sensor 1 ', an A / D converter 25 is connected to the amplifier 17, and the A / D converter 25 is connected to the A / D converter 25.
The output side of the D converter is connected to the microprocessor 13.

【0047】この場合には、フォトダイオード16から
出力された、発光ダイオード2,3,4の各発光量に対
応する各受光信号は、アンプ17で増幅された後、A/
D変換器25に入力されてディジタル信号に変換され、
マイクロプロセッサ13に入力される。
In this case, the light reception signals corresponding to the respective light emission amounts of the light emitting diodes 2, 3, 4 output from the photodiode 16 are amplified by the amplifier 17 and then A /
It is input to the D converter 25 and converted into a digital signal,
It is input to the microprocessor 13.

【0048】一方、マイクロプロセッサ13において
は、入出力回路14からのティーチング入力信号TEが
入力されると、各発光ダイオード2,3,4に対応する
フォトダイオード16の受光電圧V′R ,V′G ,V′
B を基準電圧V′SR,V′SG,V′SBとするとともに、
フォトダイオード9の受光電圧を基準色データとして読
み込み、記憶する。これらは、入出力回路14のティー
チング入力信号TEが再び入力されるまで保持されてい
る。
Meanwhile, in the microprocessor 13, the teaching input signal TE from the input-output circuit 14 is inputted, the light receiving voltage V of the photodiode 16 corresponding to the respective light emitting diodes 2, 3, 4 'R, V' G , V '
B is the reference voltage V'SR , V'SG , V'SB, and
The light receiving voltage of the photodiode 9 is read and stored as reference color data. These are held until the teaching input signal TE of the input / output circuit 14 is input again.

【0049】ここで、図4は、各発光ダイオード2,
3,4の駆動タイミングの一例を示すとともに、入出力
回路14のティーチング入力信号TEによる基準信号の
取り込みの例を示している。
Here, FIG. 4 shows each light emitting diode 2,
An example of the driving timings of 3 and 4 and an example of fetching the reference signal by the teaching input signal TE of the input / output circuit 14 are shown.

【0050】同図に示すように、マイクロプロセッサ1
3は、A/D変換器25から出力された各発光ダイオー
ド2,3,4の各受光電圧V′R ,V′G ,V′B と、
前述のように記憶された基準電圧V′SR,V′SG,V′
SBとを比較し、その差ΔV′R ,ΔV′G ,ΔV′B
基づいて、フォトダイオード9から取り込まれる反射光
の受光信号を補償した後、受光信号と前記基準色データ
とを比較して、被検出物Sの色の判別を行う。
As shown in the figure, the microprocessor 1
Reference numeral 3 denotes the light receiving voltages V ′ R , V ′ G and V ′ B of the light emitting diodes 2, 3 and 4 output from the A / D converter 25,
The stored reference voltage V 'SR, V' as described above SG, V '
SB is compared, and based on the differences ΔV ′ R , ΔV ′ G , and ΔV ′ B , the received light signal of the reflected light taken in from the photodiode 9 is compensated, and then the received light signal and the reference color data are compared. Then, the color of the detected object S is determined.

【0051】これにより、動作中に温度変化が生じ、各
発光ダイオード2,3,4の発光量が変化した場合で
も、その変化量に基づいて、被検出物Sからの反射光の
受光信号が評価されることになるので、常に安定した色
判別を行うことができる。
As a result, even when the temperature changes during operation and the light emission amounts of the respective light emitting diodes 2, 3, 4 change, the received light signal of the reflected light from the object S to be detected is based on the change amount. Since it will be evaluated, stable color discrimination can always be performed.

【0052】[0052]

【発明の効果】以上のように請求項1の発明に係るカラ
ーセンサによれば、各発光ダイオードに常時適正な電流
が供給されるようにしたので、温度が変化した場合でも
各発光ダイオードの発光量が補償され、これにより、常
に安定した色判別を行うことができる効果がある。
As described above, according to the color sensor of the first aspect of the present invention, since an appropriate current is always supplied to each light emitting diode, the light emission of each light emitting diode is maintained even when the temperature changes. The amount is compensated, which has the effect of always performing stable color discrimination.

【0053】また請求項2の発明に係るカラーセンサで
は、各発光ダイオードから射出される各色光の受光信号
の電圧レベルと予め設定された基準電圧との差に基づい
て、被検出物からの反射光の受光信号を処理するように
したので、温度変化により各発光ダイオードの発光量が
変化した場合でも、その変化量に基づいて反射光の受光
信号が処理されることになり、これにより、常に安定し
た色判別を行うことができる効果がある。
In the color sensor according to the second aspect of the invention, the reflection from the object to be detected is based on the difference between the voltage level of the received light signal of each color light emitted from each light emitting diode and the preset reference voltage. Since the light reception signal of light is processed, even if the light emission amount of each light emitting diode changes due to temperature change, the light reception signal of reflected light is processed based on the change amount, and thus, The effect is that stable color discrimination can be performed.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の一実施態様によるカラーセンサのブロ
ック構成図。
FIG. 1 is a block diagram of a color sensor according to an embodiment of the present invention.

【図2】前記カラーセンサにおける各発光ダイオードの
駆動タイミングの一例を示す図。
FIG. 2 is a diagram showing an example of a drive timing of each light emitting diode in the color sensor.

【図3】本発明の他の実施態様によるカラーセンサのブ
ロック構成図。
FIG. 3 is a block diagram of a color sensor according to another embodiment of the present invention.

【図4】前記カラーセンサ(図3)において、各発光ダ
イオードの駆動タイミングの一例を示すとともに、基準
信号の取り込みの例を示す図。
FIG. 4 is a diagram showing an example of driving timing of each light emitting diode and an example of capturing a reference signal in the color sensor (FIG. 3).

【図5】発光ダイオードの温度特性を示す図。FIG. 5 is a diagram showing temperature characteristics of a light emitting diode.

【図6】従来のカラーセンサのブロック構成図。FIG. 6 is a block diagram of a conventional color sensor.

【符号の説明】[Explanation of symbols]

1,1′ カラーセンサ 2,3,4 発光ダイオード 9 フォトダイオード(第1の受光手
段) 10 投光回路(駆動回路) 13 マイクロプロセッサ(制御手段) 16 フォトダイオード(第2の受光手
段) 19,20,21 積分回路(駆動電圧設定回路)
1, 1'color sensor 2, 3, 4 light emitting diode 9 photo diode (first light receiving means) 10 light projecting circuit (driving circuit) 13 microprocessor (control means) 16 photo diode (second light receiving means) 19, 20,21 Integrator circuit (Drive voltage setting circuit)

───────────────────────────────────────────────────── フロントページの続き (72)発明者 道古 隆明 大阪市淀川区西宮原1丁目7番31号 和泉 電気株式会社内 (72)発明者 西原 一寛 大阪市淀川区西宮原1丁目7番31号 和泉 電気株式会社内 (72)発明者 稲岡 啓介 大阪市淀川区西宮原1丁目7番31号 和泉 電気株式会社内 (72)発明者 稲田 宏治 大阪市淀川区西宮原1丁目7番31号 和泉 電気株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Takaaki Michiko 1-37 Nishimiyahara, Yodogawa-ku, Osaka City Izumi Electric Co., Ltd. (72) Inventor Kazuhiro Nishihara 1-37-1 Nishimiyahara, Yodogawa-ku, Osaka In Izumi Electric Co., Ltd. (72) Keisuke Inaoka 1-31 Nishimiyahara, Yodogawa-ku, Osaka City Izumi Electric Co., Ltd. (72) Koji Inada 1-37 Nishimiyahara, Yodogawa-ku, Osaka Izumi Electric Co., Ltd. Within

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】 光の三原色を発光する三種類の発光ダイ
オードと、 前記各発光ダイオードに電流を供給する駆動回路と、 前記各発光ダイオードから被検出物に照射され反射され
た各色光の反射光を受光して、その受光量に応じた受光
信号を出力する第1の受光手段と、 前記各発光ダイオードから射出された各色光を受光し
て、その受光量に応じた受光信号を出力する第2の受光
手段と、 前記第2の受光手段から出力された、各色光に対応する
各受光信号の電圧レベルと、各色光について予め設定さ
れた基準電圧とを比較して、前記駆動回路の駆動電圧を
設定する駆動電圧設定回路と、 前記駆動回路の駆動タイミングを制御するとともに、前
記第1の受光手段から出力された反射光の受光信号と予
め設定された基準色の色データ信号とを比較して演算処
理を行うことにより、被検出物の色の判別結果を出力す
る制御手段と、を備えたカラーセンサ。
1. A light emitting diode of three types that emits three primary colors of light, a drive circuit that supplies a current to each of the light emitting diodes, and a reflected light of each color light that is emitted from and reflected by an object to be detected from each of the light emitting diodes. A first light receiving means for receiving and receiving a light receiving signal according to the received light amount; and a first light receiving means for receiving each color light emitted from each of the light emitting diodes and outputting a light receiving signal according to the received light amount. The second light receiving means and the voltage level of each light receiving signal corresponding to each color light output from the second light receiving means are compared with a reference voltage preset for each color light to drive the drive circuit. A drive voltage setting circuit that sets a voltage, controls the drive timing of the drive circuit, and compares the received light signal of the reflected light output from the first light receiving means with a color data signal of a preset reference color. Color sensor with by performing arithmetic processing, and a control means for outputting a determination result of the color of the object to be detected, the Te.
【請求項2】 光の三原色を発光する三種類の発光ダイ
オードと、 前記各発光ダイオードに電流を供給する駆動回路と、 前記各発光ダイオードから被検出物に照射され反射され
た各色光の反射光を受光して、その受光量に応じた受光
信号を出力する第1の受光手段と、 前記各発光ダイオードから射出された各色光を受光し
て、その受光量に応じた受光信号を出力する第2の受光
手段と、 前記駆動回路の駆動タイミングを制御するとともに、第
2の受光手段から出力された各色光に対応する各受光信
号の電圧レベルと各色光について予め設定された基準電
圧との差を演算し、その演算結果に基づいて、第1の受
光手段から出力された反射光の受光信号を処理すること
により、被検出物の色の判別結果を出力する制御手段
と、を備えたカラーセンサ。
2. A light emitting diode of three kinds which emits three primary colors of light, a drive circuit which supplies a current to each of the light emitting diodes, and a reflected light of each color light which is emitted from the light emitting diodes and is reflected by an object to be detected. A first light receiving means for receiving and receiving a light receiving signal according to the received light amount; and a first light receiving means for receiving each color light emitted from each of the light emitting diodes and outputting a light receiving signal according to the received light amount. The second light receiving unit controls the drive timing of the drive circuit, and the difference between the voltage level of each light receiving signal corresponding to each color light output from the second light receiving unit and the reference voltage preset for each color light. And a control means for outputting the discrimination result of the color of the object to be detected by processing the received light signal of the reflected light output from the first light receiving means based on the calculation result. Support.
JP16827096A 1996-06-07 1996-06-07 Color sensor Expired - Fee Related JP4094076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16827096A JP4094076B2 (en) 1996-06-07 1996-06-07 Color sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16827096A JP4094076B2 (en) 1996-06-07 1996-06-07 Color sensor

Publications (2)

Publication Number Publication Date
JPH09329496A true JPH09329496A (en) 1997-12-22
JP4094076B2 JP4094076B2 (en) 2008-06-04

Family

ID=15864913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16827096A Expired - Fee Related JP4094076B2 (en) 1996-06-07 1996-06-07 Color sensor

Country Status (1)

Country Link
JP (1) JP4094076B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011000544A (en) * 2009-06-19 2011-01-06 Meidensha Corp Method for regenerating photocatalyst and apparatus for cleaning corrosive gas
CN102261956A (en) * 2011-04-11 2011-11-30 诸荩锋 Light ray color sensor employing two transmission lines and using method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011000544A (en) * 2009-06-19 2011-01-06 Meidensha Corp Method for regenerating photocatalyst and apparatus for cleaning corrosive gas
CN102261956A (en) * 2011-04-11 2011-11-30 诸荩锋 Light ray color sensor employing two transmission lines and using method thereof

Also Published As

Publication number Publication date
JP4094076B2 (en) 2008-06-04

Similar Documents

Publication Publication Date Title
JP4923500B2 (en) Projector apparatus and light source control method thereof
JP4520290B2 (en) Light source control system
US20060290625A1 (en) Light source device and projection type display device
KR101095800B1 (en) Projector apparatus using pulse-driven light sources of different colors
JP2525943B2 (en) Laser diode control system for optical recording / reproducing apparatus
JP2004296841A (en) Projection type display system, lighting unit, and method for measuring characteristics of semiconductor light source element in display system
JP2004163527A (en) Light quantity controller, illuminator, its control method and projector
US20090167193A1 (en) Image-processing equipments, image-processing method, program, and recording medium
CN110703553B (en) Laser projection device
JPH09329496A (en) Color sensor
JP2012053279A (en) Color image forming apparatus, color image forming method, and projector including the color image forming apparatus
JP5858070B2 (en) Projector and projector control method
CN111812929B (en) Projection device, projection control device, and recording medium
JP5541271B2 (en) Projector and projector control method
JP3559653B2 (en) Imaging device
JPS60130257A (en) Color original reader
KR20070072078A (en) Method and apparatus for controlling of (a) projection type image display device
JPS61113358A (en) Original reader
JPS61265878A (en) Optical modulation type detecting device
JPH07170369A (en) Integrated circuit for driving light emitting element and peripheral circuit therefor
JPH07283710A (en) Photoelectric sensor
JPS6171760A (en) Optical reader
JP2003121367A (en) Apparatus for inspecting product or the like and illumination-control apparatus
JPH05102526A (en) Orange-color lighting method
JPH0686009A (en) Picture information reader

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050510

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080305

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees