JP3429974B2 - Flow type particle image analysis method and apparatus - Google Patents

Flow type particle image analysis method and apparatus

Info

Publication number
JP3429974B2
JP3429974B2 JP08017797A JP8017797A JP3429974B2 JP 3429974 B2 JP3429974 B2 JP 3429974B2 JP 08017797 A JP08017797 A JP 08017797A JP 8017797 A JP8017797 A JP 8017797A JP 3429974 B2 JP3429974 B2 JP 3429974B2
Authority
JP
Japan
Prior art keywords
image
lighting
particle
lamp
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP08017797A
Other languages
Japanese (ja)
Other versions
JPH10274618A (en
Inventor
秀之 堀内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP08017797A priority Critical patent/JP3429974B2/en
Publication of JPH10274618A publication Critical patent/JPH10274618A/en
Application granted granted Critical
Publication of JP3429974B2 publication Critical patent/JP3429974B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、例えば、血液や尿
中の細胞又は粒子のような、流れている液体中に懸濁し
た粒子の画像を撮影し、粒子を分析するに適した粒子画
像解析方法及び装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a particle image suitable for analyzing particles by taking an image of particles suspended in a flowing liquid such as cells or particles in blood or urine. The present invention relates to an analysis method and device.

【0002】[0002]

【従来の技術】血液中の細胞や尿中の細胞や粒子を分類
分析するには、従来、スライドガラス上に標本を作成
し、顕微鏡にて観察することで行われてきた。尿の場合
には、尿中の粒子濃度が薄いため、サンプルを予め遠心
分離器で遠心濃縮してから観察している。
2. Description of the Related Art Classification and analysis of cells in blood and cells and particles in urine have hitherto been carried out by preparing a sample on a slide glass and observing with a microscope. In the case of urine, since the particle concentration in urine is low, the sample is observed after being centrifugally concentrated by a centrifugal separator.

【0003】これらの観察、検査の作業を自動化する装
置においては、血液などのサンプル試料をスライドガラ
ス上に塗沫したあと、顕微鏡にセットし、顕微鏡ステー
ジを自動的に走査し粒子の存在する位置で顕微鏡ステー
ジを止めて粒子の静止画像を撮影する。そして、撮影し
た静止画像について、画像処理技術による特徴抽出およ
びパターン認識手法を用い、サンプル試料中にある粒子
の分類等を行っている。
In an apparatus for automating these observation and inspection operations, a sample such as blood is smeared on a slide glass, set on a microscope, and the microscope stage is automatically scanned to detect the position where particles are present. Stop the microscope stage and take a still image of the particles. Then, with respect to the photographed still image, the feature extraction by the image processing technique and the pattern recognition method are used to classify the particles in the sample.

【0004】しかし、上記手法では標本作成に時間がか
かり、さらに顕微鏡ステージを機械的に移動しながら粒
子を見つけ、粒子を適当な画像取り込み領域へ移動させ
る作業が必要である。そのため、分析に時間を要した
り、機械機構部が複雑になるという問題点がある。
However, in the above method, it takes time to prepare a sample, and it is necessary to find particles while mechanically moving the microscope stage and move the particles to an appropriate image capturing area. Therefore, there are problems that analysis takes time and the mechanical mechanism section becomes complicated.

【0005】そこで、塗沫標本を作成せず、サンプル試
料を液体中に懸濁させたままフローセル中を流し、光学
的に分析するフローサイトメータ法が知られている。こ
のフローサイトメータによる方法は、サンプル中の粒子
1個1個からの蛍光強度や散乱光強度を観測するもの
で、毎秒数千個の処理能力を持っている。しかし、粒子
の形態学的特徴を反映する特徴量を観測することはむず
かしく、従来、顕微鏡下で行われていた形態学的特徴で
粒子を分類することができない。
Therefore, there is known a flow cytometer method in which a smear sample is not prepared, and a sample sample is allowed to flow in a flow cell while being suspended in a liquid for optical analysis. This method using a flow cytometer observes the fluorescence intensity and scattered light intensity from each particle in a sample, and has a processing capacity of several thousand per second. However, it is difficult to observe the feature quantity that reflects the morphological characteristics of the particles, and it is impossible to classify the particles by the morphological characteristics that are conventionally performed under a microscope.

【0006】また、連続的に流れているサンプル試料中
の粒子画像を撮影し、個々の粒子画像から粒子を分析・
分類する試みとしては、特表昭57−500995号公
報、特開昭63−94156号公報、特開平5−296
915号公報、特開平4−72544公報等が知られて
いる。
Particle images in a continuously flowing sample sample are photographed, and the particles are analyzed from the individual particle images.
As an attempt to classify the materials, JP-A-57-500995, JP-A-63-94156, and JP-A-5-296
Japanese Patent Laid-Open No. 915 and Japanese Patent Laid-Open No. 4-72544 are known.

【0007】特表昭57−500995号公報では、サ
ンプル試料を特別な形状の流路に通し、そこで試料中の
粒子を幅広の撮像領域中に流し、フラッシュランプによ
る静止画像を撮影し、その画像を用い粒子分析する方法
が示されている。顕微鏡を用いてサンプル粒子の拡大画
像をCCDカメラ上に投影するとき、パルス光源である
フラッシュランプがCCDカメラの動作に同期して周期
的に発光する。パルス光源の発光時間は短く、粒子が連
続的に流れていても静止画像を得ることができ、かつC
CDカメラは毎秒30枚の静止画像を撮影することが出
来る。
[0007] In Japanese Patent Publication No. 57-500995, a sample is passed through a channel having a special shape, particles in the sample are flowed into a wide imaging area, a still image is taken by a flash lamp, and the image is taken. A method for particle analysis using is shown. When a magnified image of sample particles is projected on a CCD camera using a microscope, a flash lamp, which is a pulse light source, periodically emits light in synchronization with the operation of the CCD camera. The emission time of the pulsed light source is short, a still image can be obtained even when particles are continuously flowing, and C
The CD camera can take 30 still images per second.

【0008】また、特開昭63−94156号公報で
は、静止画像撮影系とは別にサンプル流れ中の粒子画像
撮影領域より上流に粒子検出用光学系を有している。こ
の特開昭63−94156号公報記載の方法は、あらか
じめ粒子検出部で粒子通過を知り、丁度その粒子が粒子
画像撮影領域に達したとき適当なタイミングでフラッシ
ュランプを点灯させる方法である。この方法では、パル
ス光源の発光を周期的に行わず粒子の通過を検出した時
だけタイミングを合わせて静止画像を撮影することがで
き、効率的に粒子画像が集められ、濃度が薄いサンプル
試料の場合でも無意味な粒子の存在しない画像を処理す
ることはない。
In Japanese Patent Laid-Open No. 63-94156, a particle detection optical system is provided upstream of a particle image capturing area in the sample flow, in addition to the still image capturing system. The method described in Japanese Patent Laid-Open No. 63-94156 is a method in which the particle detection unit knows the passage of particles in advance, and when the particles have just reached the particle image capturing area, the flash lamp is turned on at an appropriate timing. In this method, it is possible to capture a still image at a timing only when the passage of particles is detected without periodically emitting light from a pulsed light source, the particle images are efficiently collected, and a sample sample with a low concentration is sampled. It does not even process images without meaningless particles.

【0009】また、特開平5−296915号公報で
は、さらに粒子検出用光学系を粒子画像撮像系の中に組
み込んだ方法が示されている。すなわち、粒子検出用レ
ーザ光束が、顕微鏡画像撮像系の顕微鏡コンデンサレン
ズを通してサンプル試料流れに照射する方法が述べられ
ている。粒子検出用の光学系を別に用意する必要がない
こと、粒子検出位置を出来るだけ粒子画像取り込み領域
に近づけて配置できるという特徴がある。
Further, Japanese Patent Laid-Open No. 5-296915 discloses a method in which a particle detection optical system is further incorporated into a particle image pickup system. That is, a method of irradiating a sample sample flow with a laser beam for particle detection through a microscope condenser lens of a microscope image pickup system is described. It is characterized in that it is not necessary to separately prepare an optical system for particle detection, and the particle detection position can be arranged as close to the particle image capturing area as possible.

【0010】さらに、特開平5−296915号公報に
おいては、画像処理した粒子数から測定サンプル全体に
含まれる粒子数および粒子濃度を求めるための粒子数補
正方法が提案されている。
Further, Japanese Patent Laid-Open No. 5-296915 proposes a particle number correction method for obtaining the number of particles and the particle concentration contained in the entire measurement sample from the number of particles subjected to image processing.

【0011】また、特開平7−83818号公報におい
ては、粒子検出系、フラッシュランプおよび、CCDカ
メラをインターレース方式で使用する場合の、ランプ点
灯タイミング、画像取込の制御を行うためのタイミング
制御方法について記述されている。
Further, in Japanese Patent Laid-Open No. 7-83818, a timing control method for controlling the lamp lighting timing and image capturing when the particle detection system, flash lamp and CCD camera are used in an interlaced system. Is described.

【0012】[0012]

【発明が解決しようとする課題】一般に、連続的に流れ
ている粒子サンプルの静止画像を解析して、サンプル中
の複数種類の粒子の数の計数や分類を効率よく行うため
には、上述した公知例で行われているように、粒子静止
画像撮像領域またはその上流の通過粒子を検出する粒子
検出系が必要である。
Generally, in order to efficiently count and classify the number of plural kinds of particles in a sample by analyzing a still image of a particle sample that is flowing continuously, the above-mentioned method is used. As is done in the known example, a particle detection system is required to detect particles passing through in the particle still image imaging area or upstream thereof.

【0013】すなわち、粒子が通過したときだけパルス
光源を点灯させ、粒子の静止画像を撮影する。この方法
は、粒子濃度の薄い測定サンプルに対し、非常に効率よ
く分析処理できるため、測定サンプル量の増大、測定時
間の短縮、測定精度の向上を計ることができる。
That is, the pulse light source is turned on only when the particles have passed, and a still image of the particles is taken. Since this method can perform analysis processing on a measurement sample having a low particle concentration very efficiently, it is possible to increase the amount of measurement sample, shorten the measurement time, and improve the measurement accuracy.

【0014】また、濃度の濃い粒子サンプルを処理する
場合については、画像入力に伴うデットタイムのために
粒子の数え落としが生じるが、上述した特開平5−29
6915号公報においては、画像処理した粒子数から測
定サンプル全体に含まれる粒子数および粒子濃度を求め
るための粒子数補正方法が提案されている。
Further, in the case of processing a particle sample having a high density, particles are missed due to dead time associated with image input.
Japanese Patent No. 6915 proposes a particle number correction method for obtaining the number of particles and the particle concentration contained in the entire measurement sample from the number of particles subjected to image processing.

【0015】また、特開平5−296915号公報およ
び特開平4−72544号公報におては、粒子検出系を
通過した全粒子を計数するカウンタを使用している。こ
の場合、粒子カウンタの値と画像処理した粒子数の存在
比率から、サンプル内の各々の種類の粒子数を知ること
ができるとしている。
Further, in JP-A-5-296915 and JP-A-4-72544, a counter for counting all the particles that have passed through the particle detection system is used. In this case, the number of particles of each kind in the sample can be known from the value of the particle counter and the existence ratio of the number of particles subjected to image processing.

【0016】粒子検出としては、通常、フローセル中を
流れている測定サンプルにレーザ光束を集光して照射
し、このレーザ光束を横切った粒子からの光散乱光を検
出する方法が使われる。光散乱光は、一般的に粒子の実
効散乱断面積に比例した強さの光信号を生じる。この光
信号は、光検出器で電気信号に変換される。光信号の大
きさは、粒子の光学的な屈折率、吸収、サイズ、粒子の
内部状態、散乱光検出条件などにより影響を受る。粒子
検出の他の方法としては、1次元イメージセンサに粒子
像を結像して信号処理により粒子を検出する方法が知ら
れている。
For particle detection, a method is generally used in which a laser beam is focused on a measurement sample flowing in a flow cell and irradiated, and light scattered light from particles traversing the laser beam is detected. Light scattered light generally produces an optical signal whose intensity is proportional to the effective scattering cross section of the particle. This optical signal is converted into an electric signal by a photodetector. The magnitude of the optical signal is affected by the optical refractive index of particles, absorption, size, internal state of particles, scattered light detection conditions, and the like. As another method of detecting particles, a method of forming a particle image on a one-dimensional image sensor and detecting the particles by signal processing is known.

【0017】しかし、上述したように、連続して流れて
いる粒子について個々の粒子の静止画像を解析して、サ
ンプル中に含まれている複数種類の粒子の数を測定した
り分類するには、以下に述べるような測定におけるデッ
トタイムの問題が存在する。
However, as described above, in order to measure or classify the number of plural kinds of particles contained in the sample by analyzing the still images of the particles flowing continuously, However, there is a problem of dead time in measurement as described below.

【0018】上述したデッドタイムは、TVカメラを用
いて、顕微鏡粒子画像を電気信号に変換するときに生じ
るものである。サンプル粒子が粒子検出系を通過する場
合、粒子の到着時間はランダムである。一方、一般のイ
ンターレース方式のCCD・TVカメラでは粒子の到着
とは独立に、1フレームにつき2フィールド、すなわち
奇数フィールド、偶数フィールドの2回に分けて画像信
号として取り出す。CCD素子の感光部に蓄積された電
荷は、読みだしパルス信号で、一旦蓄積部に転送され、
その後、順次映像信号が出力される。垂直同期信号ごと
に、1フィールド分の画像読みだしパルス信号が1つ出
力される。
The dead time mentioned above occurs when a microscopic particle image is converted into an electric signal using a TV camera. When the sample particles pass through the particle detection system, the particle arrival times are random. On the other hand, in a general interlaced CCD / TV camera, two fields per frame, that is, an odd field and an even field, are extracted as image signals independently of the arrival of particles. The electric charge accumulated in the photosensitive portion of the CCD element is once transferred to the accumulating portion as a read pulse signal,
After that, video signals are sequentially output. One image reading pulse signal for one field is output for each vertical synchronization signal.

【0019】2つの画像読みだしパルス信号が出るま
で、次の画像を撮影すること、すなわち、粒子検出にと
もなう粒子画像を得るためのフラッシュランプの発光を
行うことが出来ない。なぜなら、画像転送が終了してい
ないのに次の粒子画像を撮像すると、2重露出となるた
めである。ここに、粒子測定のデットタイムが生じる。
Until the two image reading pulse signals are output, the next image cannot be captured, that is, the flash lamp cannot emit light to obtain a particle image associated with particle detection. This is because if the next particle image is picked up even though the image transfer has not been completed, double exposure will result. This is where the dead time of particle measurement occurs.

【0020】特開平7−83818号公報では、任意の
フィールドにおいて、フラッシュランプの点灯を可能と
するインターレース方式CCDカメラおよびフラッシュ
ランプ点灯のタイミングを制御する方法については述べ
られているが、デットタイムを少なくする方法についは
記述されていない。
Japanese Unexamined Patent Publication (Kokai) No. 7-83818 describes an interlaced CCD camera that enables lighting of a flash lamp and a method of controlling the lighting timing of the flash lamp in an arbitrary field. How to reduce it is not described.

【0021】この特開平7−83818号公報に記載さ
れた方法では、粒子の到来がランダムであると考える
と、粒子濃度が小さいときには最小1フィールド時間、
最大2フィールド時間、平均で1.5フィールド時間の
デットタイムがある。粒子濃度が大きい場合には、各フ
レーム毎に、フラッシュランプが点灯し、平均デットタ
イムは1.5フィールドから2フィールドに近づく。こ
の場合、デットタイムは1フィールド以上であるから、
フラッシュランプの点灯能力としての繰り返し周期は1
フィールド時間以内で有れば十分である。
In the method described in Japanese Patent Laid-Open No. 7-83818, considering that the arrival of particles is random, a minimum one field time is required when the particle concentration is small,
There is a maximum dead time of 2 field hours and 1.5 field hours on average. When the particle concentration is high, the flash lamp is turned on for each frame, and the average dead time approaches from 2 fields to 1.5 fields. In this case, the dead time is 1 field or more,
The repetition cycle as the lighting ability of the flash lamp is 1
It is enough to be within the field time.

【0022】ところで、フロー式粒子画像解析装置にお
いて、測定画像数を増加させるために、ノンインタレー
ス方式のCCDカメラを適用することが考えれる。この
ノンインターレース方式のCCDカメラでは、1フレー
ム=1フィールドで画像を撮像するため、インターレー
ス方式の場合の2倍の画像を撮影できる。すなわち、代
表的には、毎秒60枚の画像を撮像できる。
By the way, it is conceivable to apply a non-interlaced CCD camera to the flow type particle image analyzer in order to increase the number of measured images. Since this non-interlaced CCD camera captures an image in one frame = 1 field, it can capture twice as many images as in the interlaced system. That is, typically, 60 images can be captured per second.

【0023】インターレース方式のフロー式粒子画像処
理については、特開平5−296915号公報に一部記
載されているが、フラッシュランプの点灯タイミングと
2重露光対策、フラッシュランプの点灯能力としての繰
り返し周期の問題、CCDカメラの粒子画像入力のタイ
ミングなどを考慮して、上述したデットタイムをいかに
して最小にするかの問題については考慮されていない。
The interlaced flow-type particle image processing is partially described in Japanese Patent Laid-Open No. 5-296915, but the flash lamp lighting timing, double exposure measures, and the repetition cycle as the flash lamp lighting capability. In consideration of the above problem, the timing of particle image input of the CCD camera, and the like, the above-mentioned problem of how to minimize the dead time is not considered.

【0024】ノンインターレース方式においても、CC
D素子の感光部に蓄積された電荷は、読みだしパルス信
号で一旦蓄積部に転送され、その後、順次映像信号が出
力される。したがって、垂直同期信号ごとに、1フレー
ム=1フィールド分の画像読みだしパルス信号が1つ出
力される。
Even in the non-interlaced system, CC
The electric charge accumulated in the photosensitive portion of the D element is once transferred to the accumulating portion by a read pulse signal, and then the video signal is sequentially output. Therefore, one image reading pulse signal for one frame = 1 field is output for each vertical synchronizing signal.

【0025】任意の時間にフラッシュランプが点灯する
と、次の画像読みだしパルス信号が出力されるまで、次
の画像を撮影すること、すなわち粒子検出にともなう粒
子画像を得るためにフラッシュランプを発光させること
には問題がある。なぜなら、画像転送が終了していない
のに次の粒子画像を撮像すると、2重露出となるためで
ある。このため、ノンインターレース方式でも、粒子測
定のデットタイムが生じる。このデットタイムの最大は
1フィールド分、最小は0、粒子濃度が小さい場合の平
均デットタイムは0.5フィールドである。
When the flash lamp is turned on at an arbitrary time, the next image is photographed until the next image reading pulse signal is output, that is, the flash lamp is caused to emit light in order to obtain a particle image associated with particle detection. There is a problem with that. This is because if the next particle image is picked up even though the image transfer has not been completed, double exposure will result. Therefore, even in the non-interlaced method, dead time for particle measurement occurs. The maximum dead time is 1 field, the minimum is 0, and the average dead time when the particle concentration is small is 0.5 field.

【0026】しかし、実際には、フラッシュランプの繰
り返し周期には限界があり、ランプ点灯後、一定時間経
過しないと、ランプを点灯できないため、これもデット
タイムの原因として加えられる。インターレース方式で
は、上述したように、1フィールド時間以上のデットタ
イムが存在し、ランプ繰り返し周期によるデットタイム
分は十分吸収されるが、ノンインターレース方式では吸
収できない場合がある。
In practice, however, the flash lamp has a limited cycle, and the lamp cannot be turned on until a fixed time elapses after the lamp is turned on. This is also a cause of dead time. In the interlace system, as described above, there is a dead time of one field time or more, and the dead time corresponding to the ramp repetition period is sufficiently absorbed, but in the non-interlace system, it may not be absorbed.

【0027】本発明の目的は、上述したノンインターレ
ース方式のTVカメラを使用したフロー式粒子画像解析
におけるデットタイムを、インターレース方式と比べて
短縮して、測定粒子画像数を増大させ、測定精度が向上
されるとともに、測定時間の短縮、処理速度の向上・改
善を図ることが可能なフロー式粒子画像解析方法及び装
置を実現することである。
An object of the present invention is to shorten the dead time in the flow type particle image analysis using the above-mentioned non-interlaced type TV camera as compared with the interlaced type, to increase the number of measured particle images and to improve the measurement accuracy. It is an object of the present invention to realize a flow-type particle image analysis method and apparatus that can be improved and can shorten the measurement time and improve / improve the processing speed.

【0028】[0028]

【課題を解決するための手段】[Means for Solving the Problems]

(1)上記目的を達成するため、本発明は次のように構
成される。すなわち、液体中に懸濁する粒子サンプルを
フローセル中に流し、このフローセル中の粒子検出領域
を通過する粒子を検出し、上記フローセル中の撮像領域
を通過した検出粒子の静止画像を撮像手段を用い撮像
し、この撮像した粒子画像を画像解析することにより粒
子の形態学的分類を行うフロー式粒子画像解析方法にお
いて、上記撮像手段は、ノンインターレース方式の撮像
手段であり、粒子を検出するために上記撮像領域に光を
照射するパルスランプを点灯した後、上記撮像手段の次
の画像読みだしパルス信号が出力されるまで、粒子検出
のための上記パルスランプの点灯を禁止し、上記パルス
ランプが点灯した後、上記撮像手段の画像読み出し信号
が出力されるまでの時間が、上記パルスランプの所定の
最小点灯周期より短い場合には、上記パルスランプ点灯
後のランプ点灯禁止時間をランプ点灯能力で決まる最小
点灯周期とし、このパルスランプの点灯を禁止する第1
の点灯禁止時間として、上記検出粒子の静止画像を撮像
手段を用いて撮像する。
(1) In order to achieve the above object, the present invention is configured as follows. That is, a particle sample suspended in a liquid is caused to flow in a flow cell, particles that pass through a particle detection region in the flow cell are detected, and a still image of the detected particles that have passed through the imaging region in the flow cell is used by an imaging means. In a flow-type particle image analysis method for performing morphological classification of particles by imaging and performing an image analysis on the imaged particle image, the imaging means is a non-interlaced imaging means for detecting particles. After turning on the pulse lamp for irradiating the image pickup area with light, the pulse lamp is prohibited from turning on for particle detection until the next image reading pulse signal of the image pickup means is output. When the time until the image reading signal of the image pickup means is output after lighting is shorter than a predetermined minimum lighting period of the pulse lamp, The pulse lamp Lamp prohibition time after lighting the minimum lighting cycle determined by the lamp operating capability, the first to prohibit the lighting of the pulsed lamps
As the lighting prohibition time of, the still image of the detected particles is captured using the image capturing means.

【0029】(2)好ましくは、上記(1)において、
上記撮像手段の特性から決定される、第2の点灯禁止時
間を設定し、この第2の点灯禁止時間に上記パルスラン
プを点灯する条件となったとき、パルスランプの発光の
タイミングを上記第2の点灯禁止時間経過の直後とす
る。
(2) Preferably, in the above (1),
When the second lighting prohibition time determined by the characteristics of the image pickup means is set and the pulse lamp is turned on during the second lighting prohibition time, the timing of light emission of the pulse lamp is set to the second lighting prohibition time. Immediately after the lighting prohibition time of has elapsed.

【0030】(3)また、好ましくは、上記(1)にお
いて、上記撮像手段の特性から決定される、第2の点灯
禁止時間を設定し、この第2の点灯禁止時間にパルスラ
ンプを点灯する条件となったとき、パルスランプの点灯
を禁止する。
(3) Further, preferably, in the above (1), a second lighting prohibition time which is determined from the characteristics of the image pickup means is set, and the pulse lamp is lit during this second lighting prohibition time. When the conditions are met, the pulse lamp is prohibited from lighting.

【0031】(4)また、液体中に懸濁する粒子サンプ
ルをフローセル中に流し、このフローセル中の粒子検出
領域を通過する粒子を検出し、上記フローセル中の撮像
領域を通過した検出粒子の静止画像を撮像手段を用い撮
像し、この撮像した粒子画像を画像解析することにより
粒子の形態学的分類を行うフロー式粒子画像解析方法に
おいて、上記撮像手段は、ノンインターレース方式の撮
像手段であり、第1の放電コンデンサを有する第1のパ
ルスランプ点灯用充電回路と、この第1のパルスランプ
点灯用充電回路とは互いに独立し、第2の放電コンデン
サを有する第2のパルスランプ点灯用充電回路とによ
り、粒子を検出するために上記撮像領域に光を照射する
パルスランプが点灯され、上記第1のパルスランプ点灯
用充電回路を通常の条件でのパルスランプ点灯用として
使用し、パルスランプ点灯後、上記撮像手段の次の画像
読みだしパルス信号が出力されるまでパルスランプ点灯
を禁止し、パルスランプ点灯後、上記撮像手段の画像読
みだしパルス信号が出力されるまでの時間が、パルスラ
ンプの能力で決定される最小点灯周期より短い場合に
は、上記第2の放電コンデンサに充電されたエネルギー
を使用してパルスランプを点灯させる。
(4) Further, a particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection area in this flow cell are detected, and the detection particles passing through the imaging area in the flow cell are stopped. An image is picked up using an image pickup means, and in a flow type particle image analysis method for performing morphological classification of particles by analyzing the imaged particle image, the image pickup means is a non-interlaced image pickup means, A first pulse lamp lighting charging circuit having a first discharge capacitor and a second pulse lamp lighting charging circuit independent of each other and having a second discharge capacitor The pulse lamp for irradiating the imaging region with light to detect particles is turned on, and the charging circuit for turning on the first pulse lamp is normally operated. It is used for lighting the pulse lamp in a certain situation.After the pulse lamp is lit, the pulse lamp lighting is prohibited until the next image reading pulse signal of the image pickup means is output, and after the pulse lamp is lit, the image reading of the image pickup means is performed. However, when the time until the pulse signal is output is shorter than the minimum lighting period determined by the ability of the pulse lamp, the energy charged in the second discharge capacitor is used to light the pulse lamp.

【0032】(5)好ましくは、上記(4)において、
上記撮像手段の撮像画像の1フィールド毎に、上記第1
の充電回路と第2の充電回路とを、上記パルスランプ点
灯用の充電回路として、交互に切り替えて使用する。
(5) Preferably, in the above (4),
For each field of the image captured by the image capturing means, the first
The charging circuit and the second charging circuit are alternately switched and used as the charging circuit for lighting the pulse lamp.

【0033】(6)また、液体中に懸濁する粒子サンプ
ルをフローセル中に流し、このフローセル中の粒子検出
領域を通過する粒子を検出し、上記フローセル中の撮像
領域を通過した検出粒子の静止画像を撮像手段を用い撮
像し、この撮像した粒子画像を画像解析することにより
粒子の形態学的分類を行うフロー式粒子画像解析方法に
おいて、上記撮像手段は、ノンインターレース方式の撮
像手段であり、互いに独立した、第1のパルスランプと
第2のパルスランプとのいずれかにより、粒子画像を撮
像するための光が上記撮像領域に照射され、上記第1の
パルスランプを通常のパルスランプとして使用し、この
第1のパルスランプ点灯後、上記撮像手段の画像読み出
し信号が出力されるまで、次のパルスランプ点灯を禁止
し、上記第1のパルスランプ点灯後、上記撮像手段の画
像読み出し信号が出力されるまでの時間が、パルスラン
プの能力で決まる最小点灯周期より短い場合には、上記
第2のパルスランプを点灯させる。
(6) Further, a particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection area in this flow cell are detected, and detection particles passing through an imaging area in the flow cell are stopped. An image is picked up using an image pickup means, and in a flow type particle image analysis method for performing morphological classification of particles by analyzing the imaged particle image, the image pickup means is a non-interlaced image pickup means, Light for capturing a particle image is emitted to the imaging region by either the first pulse lamp or the second pulse lamp, which are independent of each other, and the first pulse lamp is used as a normal pulse lamp. However, after the first pulse lamp is turned on, the next pulse lamp is turned off until the image reading signal of the image pickup means is output, and the first pulse lamp is turned on. After slump lighting, time until the image reading signal of the imaging means is outputted is shorter than the minimum lighting period determined by the pulse lamp abilities, turns on the second pulse lamp.

【0034】(7)好ましくは、上記(6)において、
上記撮像手段の撮像画像の1フィールド毎に、上記第1
のパルスランプと第2のパルスランプとを、粒子画像を
撮像するための光源として、交互に切り替えて使用す
る。
(7) Preferably, in the above (6),
For each field of the image captured by the image capturing means, the first
The pulse lamp and the second pulse lamp are alternately switched and used as a light source for capturing a particle image.

【0035】(8)また、液体中に懸濁する粒子サンプ
ルをフローセル中に流し、このフローセル中の粒子検出
領域を通過する粒子を検出し、上記フローセル中の撮像
領域を通過した検出粒子の静止画像を撮像手段を用い撮
像し、この撮像した粒子画像を画像解析することにより
粒子の形態学的分類を行うフロー式粒子画像解析装置に
おいて、ノンインターレース方式の撮像手段と、粒子を
検出するために上記撮像領域に光を照射するパルスラン
プと、上記パルスランプを点灯した後、上記撮像手段の
次の画像読みだしパルス信号が出力されるまで、粒子検
出のための上記パルスランプの点灯を禁止し、上記パル
スランプが点灯した後、上記撮像手段の画像読み出し信
号が出力されるまでの時間が、上記パルスランプの所定
の最小点灯周期より短い場合には、上記パルスランプ点
灯後のランプ点灯禁止時間をランプ点灯能力で決まる最
小点灯周期とし、このパルスランプの点灯を禁止する第
1の点灯禁止時間とするパルスランプ点灯制御駆動手段
と、を備える。
(8) Further, a particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection area in this flow cell are detected, and detection particles passing through an imaging area in the flow cell are stopped. In order to detect a particle in a flow-type particle image analysis device that images an image using an image capturing unit and performs morphological classification of particles by analyzing the captured particle image. After the pulse lamp for irradiating the imaging area with light and the pulse lamp are lit, the lighting of the pulse lamp for particle detection is prohibited until the next image reading pulse signal of the imaging means is output. After the pulse lamp is turned on, the time until the image reading signal of the image pickup means is output is a predetermined minimum lighting period of the pulse lamp. If it is short, the lamp lighting prohibition time after lighting the pulse lamp is set as the minimum lighting cycle determined by the lamp lighting ability, and the pulse lamp lighting control drive means is set as the first lighting prohibition time for prohibiting the lighting of the pulse lamp. Equipped with.

【0036】[0036]

【0037】[0037]

【0038】[0038]

【0039】[0039]

【0040】[0040]

【0041】[0041]

【0042】[0042]

【0043】[0043]

【0044】[0044]

【0045】本発明においては、ノンインターレース方
式の撮像手段を使用する。この場合における、2重露光
の問題を避けるために、パルスランプ点灯後、撮像手段
の読み出し信号が出るまでパルスランプの点灯を禁止す
る。さらに、パルスランプ点灯から、読み出し信号まで
の時間が、パルスランプ駆動系などの制約で点灯繰りか
えし周期より短い条件では、撮像手段の読み出し信号が
出力された後も、パルスランプ点灯を禁止している。
In the present invention, a non-interlaced image pickup means is used. In order to avoid the problem of double exposure in this case, after the pulse lamp is turned on, the pulse lamp is turned off until a read signal from the imaging means is output. Further, under the condition that the time from the lighting of the pulse lamp to the reading signal is shorter than the lighting repeating cycle due to the restrictions of the pulse lamp driving system and the like, the lighting of the pulse lamp is prohibited even after the reading signal of the imaging means is output. .

【0046】この結果として、粒子画像の2重露光や光
量不足による不適正画像を撮像することがなく、正し
く、粒子画像を撮像できる。この第1のフラッシュラン
プ発光禁止時間を設けることにより、正しい粒子画像処
理が実行できる。
As a result, the particle image can be correctly captured without capturing an incorrect image due to double exposure of the particle image or insufficient light amount. By providing this first flash lamp emission prohibition time, correct particle image processing can be executed.

【0047】さらに、撮像手段自体が有している特性と
して、第2のランプ点灯禁止時間を設ける事により、第
2の点灯禁止時間にパルスランプ点灯のタイミングが合
っても、撮像手段が誤動作することはない。この第2の
点灯禁止時間に粒子検出によりパルスランプを点灯させ
たいときには、第2の点灯禁止時間の直後に、パルスラ
ンプを点灯させる事で対処することができる。
Further, as a characteristic of the image pickup means itself, by providing the second lamp turn-off prohibition time, the image pickup means malfunctions even if the timing of lighting the pulse lamp coincides with the second turn-on prohibition time. There is no such thing. When it is desired to light the pulse lamp by the particle detection during the second lighting prohibition time, it can be dealt with by lighting the pulse lamp immediately after the second lighting prohibition time.

【0048】これにより、このような条件での粒子の処
理を中止することがなくなり、正しく画像処理すること
が可能になる。この問題に対する別な対応方法として
は、第2の点灯禁止時間は十分小さいとして、パルスラ
ンプの点灯を取りやめる事である。どちらの方法をとる
にしても、上述した撮像手段の誤動作を防ぐことができ
る。
As a result, the processing of particles under such conditions is not stopped, and correct image processing can be performed. As another countermeasure against this problem, it is possible to stop the lighting of the pulse lamp while the second lighting prohibition time is sufficiently small. Whichever method is adopted, it is possible to prevent the above-mentioned malfunction of the image pickup means.

【0049】パルスランプの点灯周期の最小時間が、1
フィールド以下であることが最低条件であるが、1フィ
ールド近辺ではデットタイムの最小値が1フィールド近
くなる。このパルスランプの制約が大きすぎる場合に
は、放電コンデンサの充電回路を2回路設け、各フィー
ルド毎に放電回路を切り替えることにより、放電コンデ
ンサの充電時間による制約を解消でき、デッドタイムの
最小値をパルスランプ自体の特性および放電回路時定数
で決まる値まで小さくすることが出来る。
The minimum time of the lighting cycle of the pulse lamp is 1
The minimum condition is to be less than or equal to the field, but the minimum value of the dead time is close to 1 field in the vicinity of 1 field. If the pulse lamp is too restrictive, by providing two discharge capacitor charging circuits and switching the discharge circuit for each field, the restriction due to the charging time of the discharge capacitor can be eliminated, and the minimum dead time can be reduced. It can be reduced to a value determined by the characteristics of the pulse lamp itself and the discharge circuit time constant.

【0050】さらに、パルスランプまで含めたパルスラ
ンプ点灯回路を2つ設置し、両者を各フィールド毎に切
り替えると、ランプ特性および放電時定数の影響も無視
できる。
Furthermore, if two pulse lamp lighting circuits including a pulse lamp are installed and both are switched for each field, the influence of the lamp characteristics and the discharge time constant can be ignored.

【0051】[0051]

【発明の実施の形態】以下、本発明の実施形態を添付図
面に基づいて説明する。図1は、本発明の第1の実施形
態であるフロー式粒子画像解析方法を実施するためのフ
ロー式粒子画像解析装置の全体概略構成図である。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is an overall schematic configuration diagram of a flow type particle image analysis apparatus for carrying out a flow type particle image analysis method according to a first embodiment of the present invention.

【0052】まず、図1により、フロー式粒子画像解析
装置の構成を説明する。図1に示すように、本発明の第
1の実施形態であるフロー式粒子画像解析装置は、粒子
を懸濁させたサンプル液が供給されるフローセル10
0、画像撮像手段101、粒子分析手段102、及び粒
子検出手段103を備える。
First, the structure of a flow type particle image analysis apparatus will be described with reference to FIG. As shown in FIG. 1, the flow-type particle image analyzer according to the first embodiment of the present invention is a flow cell 10 to which a sample liquid in which particles are suspended is supplied.
0, an image pickup means 101, a particle analysis means 102, and a particle detection means 103.

【0053】画像撮像手段101は、顕微鏡としての機
能を持ち、パルス光源であるフラッシュランプ(パルス
ランプ)1、フラッシュランプ1を発光させるフラッシ
ュランプ駆動回路1a、フラッシュランプ1からのパル
ス光束を平行にするフィールドレンズ2、このフィール
ドレンズ2からの平行なパルス光束10をフローセル1
00内のサンプル液流れ110に集束させる顕微鏡コン
デンサレンズ3を有する。
The image pickup means 101 has a function as a microscope, and includes a flash lamp (pulse lamp) 1 which is a pulse light source, a flash lamp driving circuit 1a for causing the flash lamp 1 to emit light, and a pulse light flux from the flash lamp 1 to be parallel. A field lens 2 for controlling the flow of the parallel pulsed light flux 10 from the field lens 2
A microscope condenser lens 3 for focusing on the sample liquid flow 110 in 00.

【0054】また、画像撮像手段101は、フローセル
100内のサンプル液流れ110に照射されたパルス光
束を集光し結像位置6に結像させる顕微鏡対物レンズ
5、投影レンズ7を介して投影した結像位置6の像を取
り込み電気信号である画像データ信号に変換するTVカ
メラ8、パルス光束10の幅を制限する視野絞り11及
び開口絞り12を有する。
Further, the image pickup means 101 projects the pulsed light flux irradiated on the sample liquid flow 110 in the flow cell 100 via the microscope objective lens 5 and the projection lens 7 for focusing the light flux on the image forming position 6. It has a TV camera 8 that takes in the image at the imaging position 6 and converts it into an image data signal that is an electric signal, a field stop 11 that limits the width of the pulse beam 10, and an aperture stop 12.

【0055】なお、上記TVカメラ8としては、残像の
少ないCCDカメラ等が一般に用いられる。本発明にお
いては、CCD方式のTVカメラにおいて、特にノンイ
ンターレース方式のTVカメラを用いたものである。
As the TV camera 8, a CCD camera or the like with a small afterimage is generally used. In the present invention, a CCD type TV camera, particularly a non-interlaced type TV camera is used.

【0056】粒子分析手段102は、TVカメラ8から
転送された画像データ信号をディジタル信号に変換する
AD変換器24、このAD変換器24からの信号に基づ
くデータを所定のアドレスに記憶する画像メモリ25、
この画像メモリ25におけるデータの書き込み及び読み
出しの制御を行う画像処理制御回路26、画像メモリ2
5からの信号に基づき画像処理を行い粒子数のカウント
や粒子の分類を行う特徴抽出回路27及び識別回路28
を有する。
The particle analyzing means 102 is an AD converter 24 for converting the image data signal transferred from the TV camera 8 into a digital signal, and an image memory for storing data based on the signal from the AD converter 24 at a predetermined address. 25,
The image processing control circuit 26 for controlling writing and reading of data in the image memory 25, the image memory 2
A feature extraction circuit 27 and a discrimination circuit 28 that perform image processing based on the signal from 5 to count the number of particles and classify the particles.
Have.

【0057】また、粒子分析手段102は、サンプル液
中の粒子数を決定する粒子数分析部40、TVカメラ8
の撮影条件やフローセル100のサンプル液流れの条
件、画像処理制御回路26の制御、識別回路28からの
画像処理結果の記憶、粒子数分析部40とのデータの授
受、及び表示部50への表示を行う中央制御部29を有
する。
Further, the particle analysis means 102 includes a particle number analysis unit 40 for determining the number of particles in the sample liquid and the TV camera 8.
Imaging conditions, sample liquid flow conditions of the flow cell 100, control of the image processing control circuit 26, storage of image processing results from the identification circuit 28, exchange of data with the particle number analysis unit 40, and display on the display unit 50. It has a central control unit 29 for performing.

【0058】粒子検出手段103は、検出光としてのレ
ーザ光を発する検出光源である半導体レーザ15、この
半導体レーザ15からのレーザ光を平行なレーザ光束1
4とするコリメータレンズ16、このコリメータレンズ
16からのレーザ光束の一方向のみを集束させるシリン
ドリカルレンズ17、このシリンドリカルレンズ17か
らの光束を反射させる反射鏡18を有する。
The particle detecting means 103 is a semiconductor laser 15 which is a detection light source for emitting a laser beam as a detection beam, and the laser beam from the semiconductor laser 15 is a parallel laser beam 1.
The collimator lens 16 has a size of 4, a cylindrical lens 17 that focuses only one direction of the laser light beam from the collimator lens 16, and a reflecting mirror 18 that reflects the light beam from the cylindrical lens 17.

【0059】また、粒子検出手段103は、顕微鏡コン
デンサレンズ3とフローセル100との間に設けられ、
反射鏡18からのレーザ光束をサンプル液流れ110上
の画像取り込み領域の上流側であって、この画像取り込
み領域に接近した位置に導く微小反射鏡19、粒子によ
る上記レーザ光束の散乱光を集光する顕微鏡対物レンズ
5、この顕微鏡対物レンズ5で集光された散乱光を反射
させるビームスプリッタ20、このビームスプリッタ2
0からの散乱光を絞り21を介して受光しその強度に基
づく電気信号を出力する光検出回路22、この光検出回
路22からの電気信号に基づいてフラッシュランプ駆動
回路1aを作動させるフラッシュランプ点灯制御回路2
3を有する。なお、顕微鏡対物レンズ5は画像撮像手段
101と共用される。
The particle detecting means 103 is provided between the microscope condenser lens 3 and the flow cell 100,
A minute reflecting mirror 19 that guides the laser light flux from the reflecting mirror 18 to a position on the sample liquid flow 110 on the upstream side of the image capturing area and close to the image capturing area, and collects the scattered light of the laser light flux by the particles. A microscope objective lens 5, a beam splitter 20 that reflects scattered light collected by the microscope objective lens 5, and a beam splitter 2
A light detection circuit 22 that receives scattered light from 0 through a diaphragm 21 and outputs an electric signal based on its intensity, and flash lamp lighting that operates a flash lamp drive circuit 1a based on the electric signal from this light detection circuit 22. Control circuit 2
Have three. The microscope objective lens 5 is also used as the image pickup means 101.

【0060】また、フローセル100には、サンプル液
と共にシース液が供給され、このフローセル100内に
て、サンプル液がシース液に包まれる流れが形成され
る。そして、サンプル液流れ110は、画像撮像手段1
01の光軸(顕微鏡光軸)9に対して垂直方向に偏平な
断面形状を有する安定した定常流(シースフロー)とな
り、フローセル100の中心を紙面の下方へ向かって送
られる。このサンプル液流れ110の流速は、中央制御
部29において設定された条件に従って、適切な流速制
御手段(図示せず)によって制御される。
Further, the sheath liquid is supplied to the flow cell 100 together with the sample liquid, and a flow in which the sample liquid is wrapped in the sheath liquid is formed in the flow cell 100. Then, the sample liquid flow 110 is the image capturing means 1
A stable steady flow (sheath flow) having a flat cross-sectional shape in a direction perpendicular to the optical axis (01) of the optical axis 01 (microscope optical axis) of 01 is sent to the center of the flow cell 100 toward the lower side of the paper surface. The flow velocity of the sample liquid flow 110 is controlled by an appropriate flow velocity control means (not shown) according to the conditions set by the central controller 29.

【0061】なお、フラッシュランプ駆動回路1aと、
フラッシュランプ点灯制御回路23とにより、フラッシ
ュ(パルスランプ)点灯制御駆動手段が構成される。
In addition, the flash lamp drive circuit 1a,
The flash lamp lighting control circuit 23 constitutes flash (pulse lamp) lighting control drive means.

【0062】次に、図1に基づいて、フロー式粒子画像
解析装置の基本的な動作を説明する。半導体レーザ15
は、常時連続的に発振している。これは、常にサンプル
中の粒子が検出領域を通過するのを観測可能とするため
である。半導体レーザ15からのレーザ光束は、コリメ
ータレンズ16で平行なレーザ光束14に変換され、シ
リンドリカルレンズ17で光束の一方向のみ集束され
る。このレーザ光束は反射鏡18および微小反射鏡19
で反射され、フローセル100内のサンプル液流れ11
0上に照射される。この照射位置は、シリンドリカルレ
ンズ17によってレーザ光束が集束する粒子検出位置で
あり、サンプル液流れ110上の画像取り込み領域の上
流側であって、上記画像取り込み領域に近接した位置で
ある。
Next, the basic operation of the flow type particle image analyzer will be described with reference to FIG. Semiconductor laser 15
Always oscillates continuously. This is because it is always possible to observe particles in the sample passing through the detection area. The laser light flux from the semiconductor laser 15 is converted into a parallel laser light flux 14 by the collimator lens 16, and is focused by the cylindrical lens 17 in only one direction. This laser beam is reflected by the reflecting mirror 18 and the minute reflecting mirror 19.
Is reflected by the sample liquid flow in the flow cell 100.
0 is illuminated. This irradiation position is a particle detection position where the laser light beam is focused by the cylindrical lens 17, is an upstream side of the image capturing region on the sample liquid flow 110, and is a position close to the image capturing region.

【0063】測定対象である粒子が粒子検出用のレーザ
光束を横切ると、レーザ光束は散乱される。そして、こ
の散乱光は、ビームスプリッタ20で反射され、光検出
回路22において受光され、この光検出回路22で、そ
の強度に基づく電気信号に変換される。
When the particle to be measured crosses the laser beam for particle detection, the laser beam is scattered. Then, the scattered light is reflected by the beam splitter 20, received by the photodetector circuit 22, and converted into an electric signal based on the intensity thereof by the photodetector circuit 22.

【0064】さらに、光検出回路22において、変換さ
れた電気信号が所定の信号レベル以上あるかどうかが判
断され、所定の信号レベル以上であれば、画像処理処理
対象粒子が通過したものとみなされて、上記電気信号は
フラッシュランプ点灯制御回路23および粒子数分析部
40に送られる。
Further, in the photodetector circuit 22, it is judged whether or not the converted electric signal is above a predetermined signal level, and if it is above a predetermined signal level, it is considered that the image processing target particles have passed. Then, the electric signal is sent to the flash lamp lighting control circuit 23 and the particle number analysis unit 40.

【0065】フラッシュランプ点灯制御回路23は、粒
子がTVカメラ8の画像取り込み領域の所定の位置に丁
度達したときにフラッシュランプ1が発光し撮像が行わ
れるように、粒子検出位置と画像取り込み領域との距離
及びサンプル液の流速で決まる所定の遅延時間の後に、
検出信号をフラッシュランプ駆動回路1aに送る。
The flash lamp lighting control circuit 23 controls the particle detection position and the image capturing area so that the flash lamp 1 emits light to capture an image when the particles have just reached a predetermined position in the image capturing area of the TV camera 8. After a predetermined delay time determined by the distance between and and the flow rate of the sample solution,
The detection signal is sent to the flash lamp drive circuit 1a.

【0066】ただし、上記遅延時間は、粒子検出位置と
画像取り込み領域との距離がわずかであるために非常に
短い時間であり、粒子の検出や分析精度がサンプル液の
流速や粒子濃度の影響を受けることはない。
However, the delay time is very short because the distance between the particle detection position and the image capturing area is very short, and the accuracy of particle detection and analysis is influenced by the flow velocity of the sample solution and the particle concentration. I will not receive it.

【0067】また、フラッシュランプ点灯制御回路23
からは、上記検出信号と同時に発光レディ信号がフラッ
シュランプ駆動回路1aに送られ、フィールド信号のタ
イミングに基づいてフラッシュランプ1の発光タイミン
グが制御される。さらに、上記フラッシュランプ点灯制
御回路23からの検出信号は、画像処理制御回路26に
も送られる。
Further, the flash lamp lighting control circuit 23
Then, a light emission ready signal is sent to the flash lamp drive circuit 1a at the same time as the above detection signal, and the light emission timing of the flash lamp 1 is controlled based on the timing of the field signal. Further, the detection signal from the flash lamp lighting control circuit 23 is also sent to the image processing control circuit 26.

【0068】フラッシュランプ点灯制御回路23から上
記検出信号が、フラッシュランプ駆動回路1aに送られ
ると、フラッシュランプ駆動回路1aはフラッシュラン
プ1を発光させる。フラッシュランプ1から発せられた
パルス光は、顕微鏡光軸9上を進み、フィールドレンズ
2で平行光となり、顕微鏡コンデンサレンズ3により集
束されてフローセル100内のサンプル液流れ110上
に照射される。なお、視野絞り11および開口絞り12
によりパルス光束10の幅が制限される。
When the detection signal is sent from the flash lamp lighting control circuit 23 to the flash lamp driving circuit 1a, the flash lamp driving circuit 1a causes the flash lamp 1 to emit light. The pulsed light emitted from the flash lamp 1 travels on the microscope optical axis 9, becomes parallel light at the field lens 2, is focused by the microscope condenser lens 3, and is irradiated onto the sample liquid flow 110 in the flow cell 100. The field stop 11 and the aperture stop 12
This limits the width of the pulsed light flux 10.

【0069】フローセル100内のサンプル液流れ11
0に照射されたパルス光束は、顕微鏡対物レンズ5で集
光され、結像位置6に像を結像する。この結像位置6の
像は投影レンズ7によりTVカメラ8の撮像面上に投影
され、画像データ信号に変換される。これで粒子の静止
画像を撮像したことになる。このTVカメラ8における
撮像条件は中央制御部29に予め設定されており、これ
によってTVカメラ8の撮影動作が制御される。
Sample liquid flow 11 in flow cell 100
The pulsed light flux irradiated to 0 is condensed by the microscope objective lens 5 and forms an image at the image forming position 6. The image at the image forming position 6 is projected on the image pickup surface of the TV camera 8 by the projection lens 7 and converted into an image data signal. This means that a still image of the particles has been captured. The image capturing conditions of the TV camera 8 are preset in the central control unit 29, and the shooting operation of the TV camera 8 is controlled by this.

【0070】粒子分析手段102は次のように動作す
る。TVカメラ8から出力される画像データ信号は、A
D変換器24でディジタル信号に変換され、これに基づ
くデータが画像処理制御回路26の制御のもとに画像メ
モリ25の所定のアドレスに記憶される。画像メモリ2
5に記憶されたデータは、画像処理制御回路26の制御
のもとに読み出され、特徴抽出回路27及び識別回路2
8に入力されて画像処理が行われ、中央制御部29にそ
の結果が記憶される。
The particle analysis means 102 operates as follows. The image data signal output from the TV camera 8 is A
The digital signal is converted by the D converter 24, and the data based on the digital signal is stored in a predetermined address of the image memory 25 under the control of the image processing control circuit 26. Image memory 2
The data stored in 5 is read out under the control of the image processing control circuit 26, and the feature extraction circuit 27 and the identification circuit 2 are read.
8, the image processing is performed, and the result is stored in the central control unit 29.

【0071】中央制御部29に記憶されるのは、粒子分
類結果と粒子分類に使われた粒子識別特徴パラメータデ
ータとである。粒子の分類識別処理は、通常行われてい
るパターン認識処理により自動的に行われる。この画像
処理結果と測定条件及び画像処理された画像数情報とが
中央制御部29から粒子数分析部40に送られる。粒子
数分析部40では中央制御部29からの情報、光検出回
路22からの粒子検出信号、及び画像処理制御回路26
からの制御信号をもとに、検出された粒子と粒子分類結
果との対応関係を調べ、最終的な粒子画像の分類識別結
果の纏め、つまり、粒子の形態学的分類を行う。
What is stored in the central control unit 29 is a particle classification result and particle identification feature parameter data used for particle classification. The classification and identification processing of particles is automatically performed by the pattern recognition processing which is usually performed. The result of the image processing, the measurement condition, and the information on the number of images subjected to the image processing are sent from the central controller 29 to the particle number analyzer 40. In the particle number analysis unit 40, the information from the central control unit 29, the particle detection signal from the photodetection circuit 22, and the image processing control circuit 26.
Based on the control signal from, the correspondence between the detected particles and the particle classification results is examined, and the final classification and classification results of the particle images are summarized, that is, the morphological classification of particles is performed.

【0072】複数の測定モードで、サンプルを測定する
場合には、各測定モードで上述した操作段階を実行し、
最終段階で各モードの測定データを総合し最終結果とす
る。
When measuring a sample in a plurality of measurement modes, the above-mentioned operation steps are executed in each measurement mode,
At the final stage, combine the measurement data of each mode to obtain the final result.

【0073】本発明のフロー式粒子画像解析方法及びフ
ロー式粒子画像解析装置は、液体中に懸濁した生物サン
プルや細胞、血液中の赤血球や白血球などの血球成分、
または尿中に存在する尿沈渣成分の分類及び分析に有効
である。
The flow-type particle image analysis method and the flow-type particle image analysis apparatus of the present invention include biological samples and cells suspended in a liquid, blood cell components such as red blood cells and white blood cells in blood,
Alternatively, it is effective for classification and analysis of urinary sediment components existing in urine.

【0074】本発明においては、CCD方式のTVカメ
ラにおいて、特にノンインターレース方式のTVカメラ
を使用する。ノンインターレース方式のTVカメラで
は、1画像情報が1フィールド時間ごとに、映像信号と
して出力される。撮像面に蓄積された電荷は、フィール
ド読み出し信号(画像読みだしパルス信号)によって蓄
積部に転送され、続いて映像信号として外部に出力され
る。よって、フィールド読み出し信号が出るまでは、粒
子検出によるフラッシュランプ1の点灯が出来ない。
In the present invention, a CCD type TV camera, particularly a non-interlaced type TV camera is used. In the non-interlaced TV camera, one image information is output as a video signal every one field time. The charges accumulated on the imaging surface are transferred to the accumulation unit by a field read signal (image reading pulse signal), and then output to the outside as a video signal. Therefore, the flash lamp 1 cannot be lit by particle detection until the field read signal is output.

【0075】もし、フラッシュランプ1が点灯されれ
ば、2重露光となり、正常な粒子画像データを得ること
ができない。インターレース方式では2つの読み出し信
号が出るまで、ランプ発光を禁止しなければならない
が、ノンインターレース方式では次の読み出し信号が出
るまで、発光を禁止しなければならない。
If the flash lamp 1 is turned on, double exposure is performed, and normal particle image data cannot be obtained. In the interlace method, the lamp light emission must be prohibited until two read signals are output, whereas in the non-interlace method, the light emission must be prohibited until the next read signal is output.

【0076】しかし、フラッシュランプ用の放電コンデ
ンサに電荷が蓄えられるには時間がかかるため、読み出
し信号が出る直前では、電荷が蓄えられるに充分な時間
が確保されない。このため、電荷蓄積のための時間を考
慮して、フラッシュランプ1の点灯禁止時間を、フィー
ルド読み出し信号が出た後、所定時間だけ延長すること
が必要である。
However, since it takes time to store the charge in the discharge capacitor for the flash lamp, the time sufficient to store the charge cannot be secured immediately before the read signal is output. Therefore, it is necessary to extend the lighting prohibition time of the flash lamp 1 by a predetermined time after the field read signal is output, in consideration of the time for charge accumulation.

【0077】図2は、フラッシュランプ1の点灯禁止信
号の出力タイミングを示す図である。この図2を用い
て、ノンインターレース方式のCCDTVカメラでフロ
ー式粒子画像処理を行う場合の、フラッシュランプ点灯
禁止区間の説明をする。
FIG. 2 is a diagram showing the output timing of the lighting prohibition signal of the flash lamp 1. With reference to FIG. 2, the flash lamp lighting prohibited section when the flow type particle image processing is performed by the non-interlaced CCD TV camera will be described.

【0078】図2の(A)に示すように、フィールド読
み出し信号は、ほぼ垂直同期信号とおなじタイミングで
出力される。粒子が粒子検出領域を通過し、その粒子
が、光検出回路22で電気信号として検出されると、検
出した粒子が撮像領域の指定位置で撮像されるようにす
るため、一定時間の遅れた粒子検出ディレイ信号をつく
る(図2の(B))。
As shown in FIG. 2A, the field read signal is output at substantially the same timing as the vertical synchronizing signal. When a particle passes through the particle detection area and the particle is detected as an electric signal by the light detection circuit 22, the particle detected at the specified position in the imaging area is delayed by a certain time. A detection delay signal is created ((B) in FIG. 2).

【0079】このディレイ信号は、フラッシュランプ点
灯信号として動作するが、フラッシュランプ1を実際に
点灯させるかどうかは、フラッシュランプ点灯禁止信号
(図2の(D))がON状態かOFF状態であるかによ
って決まる。フラッシュランプ点灯禁止信号が、ONで
はフラッシュランプの点灯を禁止し、OFFではランプ
の点灯は可能である。
This delay signal operates as a flash lamp lighting signal. Whether or not the flash lamp 1 is actually lit depends on whether the flash lamp lighting prohibition signal ((D) in FIG. 2) is ON or OFF. Depends on When the flash lamp lighting prohibition signal is ON, lighting of the flash lamp is prohibited, and when it is OFF, lighting of the lamp is possible.

【0080】次に、ランダムに粒子検出系を通過する測
定粒子に対して、フラッシュランプ点灯禁止区間をどの
ようにして設定するかを説明する。粒子検出ディレイ信
号によりフラッシュランプが点灯すると、撮像面の電荷
が一旦蓄積部に転送され、次のフィールド読み出し信号
が出るまでの間がフラッシュランプ点灯禁止区間である
(図2の(D)の(a)区間)。
Next, how to set the flash lamp lighting prohibited section for the measurement particles that randomly pass through the particle detection system will be described. When the flash lamp is turned on by the particle detection delay signal, the charge on the imaging surface is once transferred to the storage unit, and the flash lamp turn-on prohibited section is a period until the next field read signal is output (((D) in FIG. 2). a) Section).

【0081】しかし、上述したように、フラッシュラン
プ用放電コンデンサに電荷が蓄えられるには時間がかか
るから、フラッシュランプ点灯からフィールド読み出し
信号が出るまでの時間が、放電コンデンサの充電時間
(図2の(C)のTc)より短い場合には、充電時間を
点灯禁止区間とする(図2の(D)の(b)区間)。こ
れら2つの操作を行うことにより、2重露光と充電時間
不足による発光強度変動を起こさない状態が維持され
る。
However, as described above, since it takes time for the electric charge to be stored in the discharge capacitor for the flash lamp, the time from the lighting of the flash lamp until the field read signal is output is the charging time of the discharge capacitor (see FIG. 2). When it is shorter than Tc of (C), the charging time is set as the lighting prohibited section (section (b) of (D) of FIG. 2). By performing these two operations, it is possible to maintain a state in which the light emission intensity does not change due to double exposure and insufficient charging time.

【0082】上述したフラッシュランプ点灯禁止区間を
第1の点灯禁止区間とする。図2に示したフラッシュラ
ンプ点灯禁止が有効に作用するためには、少なくとも放
電コンデンサの充電時間Tcが、フィールド読み出し信
号の繰り返し周期(1フィールド時間)より短いことが
必要である。デットタイムが1フィールド時間より大き
いと、インターレース方式との違いが出なくなるからで
ある。
The above flash lamp lighting prohibited section is referred to as a first lighting prohibited section. In order for the flash lamp lighting prohibition shown in FIG. 2 to work effectively, it is necessary that at least the charging time Tc of the discharge capacitor is shorter than the repetition period (one field time) of the field read signal. This is because if the dead time is longer than one field time, there is no difference from the interlaced method.

【0083】図3は、第2のフラッシュランプ点灯禁止
区間と、点灯禁止後の処理について示す図である。図3
において、フィールド読みだしパルスは垂直同期信号が
出力された直後(数10μs後)に出る(図3の
(A)、(B))。しかし、このフィールド読みだしパ
ルスの前後に第2のランプ点灯禁止区間がTVカメラの
動作上有している。つまり、TVカメラの高速シャッタ
動作をさせることが禁止されている。この区間に粒子検
出にともなうフラッシュランプ点灯のタイミングが存在
しても(図3の(D))、ランプ点灯禁止信号(図3の
(C))により、フラッシュランプ1を点灯させること
は禁止される。
FIG. 3 is a diagram showing a second flash lamp lighting prohibited section and processing after the lighting is prohibited. Figure 3
In, the field read pulse appears immediately after the vertical synchronizing signal is output (after several tens of microseconds) ((A) and (B) in FIG. 3). However, there is a second lamp lighting prohibited section before and after this field reading pulse in the operation of the TV camera. That is, the high-speed shutter operation of the TV camera is prohibited. Even if there is a timing of lighting the flash lamp due to particle detection in this section ((D) of FIG. 3), it is prohibited to light the flash lamp 1 by the lamp lighting prohibition signal ((C) of FIG. 3). It

【0084】しかし、測定粒子の通過はまったくランダ
ムな時間に生起するから、この第2のフラッシュランプ
点灯禁止区間に到着する確率は有限の値で存在する。よ
って、この区間でのフラッシュランプの点灯を禁止する
区間に測定粒子が撮影領域に到着した場合についての対
応処理を行う必要がある。
However, since the particles to be measured pass through at random times, the probability of arriving at the second flash lamp lighting prohibited section has a finite value. Therefore, it is necessary to perform a corresponding process for the case where the measurement particles arrive at the imaging region in the section where the flash lamp is prohibited from being lit in this section.

【0085】図3に示すように、この第2のフラッシュ
ランプ点灯禁止時間に粒子が通過したことを検出し、禁
止区間の後に時間を遅らせてフラッシュランプを点灯さ
せる場合について示して有る(図3の(E))。
As shown in FIG. 3, there is shown a case in which it is detected that particles have passed during the second flash lamp lighting prohibition time, and the flash lamp is lit after the prohibition section is delayed (FIG. 3). (E)).

【0086】通常、ランプ点灯禁止区間は数水平時間と
短いため、この区間に存在する粒子は、確率としては無
視できる場合もある。したがって、第2のフラッシュラ
ンプ点灯禁止区間に粒子が通過したとしても、フラッシ
ュランプの点灯を遅らせること無く、処理することも考
えられる。これら、どちらの方法を採用するかは、測定
サンプルの条件で決めることができる。
Since the lamp lighting prohibited section is usually short, which is several horizontal times, particles existing in this section may be negligible as a probability. Therefore, even if the particles pass through the second flash lamp lighting prohibited section, it is possible to process the particles without delaying the lighting of the flash lamp. Which of these methods is adopted can be determined by the conditions of the measurement sample.

【0087】以上説明したように、本発明の第1の実施
形態によれば、フラッシュランプ1の点灯後、CCDカ
メラの読みだし信号が出力されるまでは、フラッシュラ
ンプ1の点灯が、禁止されるため、2重露光が防止され
る。また、フラッシュランプ1の点灯後、放電コンデン
サの電荷蓄積時間経過後、次のフィールド読みだし信号
が出力されるまで、フラッシュランプの点灯が禁止さ
れ、フラッシュランプ点灯から、フィールド読み出し信
号が出るまでの時間が、放電コンデンサの充電時間より
短い場合には、充電時間を点灯禁止区間とするように構
成したので、充電時間不足による光量不足が回避され、
不適性画像の撮像が抑制される。
As described above, according to the first embodiment of the present invention, after the flash lamp 1 is turned on, the flash lamp 1 is prohibited from being turned on until the read signal of the CCD camera is output. Therefore, double exposure is prevented. In addition, after the flash lamp 1 is turned on, after the charge accumulation time of the discharge capacitor has elapsed, the flash lamp is prohibited from being turned on until the next field read signal is output. When the time is shorter than the charging time of the discharge capacitor, the charging time is configured as the lighting prohibited section, so that the shortage of light quantity due to the shortage of the charging time is avoided,
The capturing of an inappropriate image is suppressed.

【0088】したがって、ノンインターレース方式のT
Vカメラを使用したフロー式粒子画像解析におけるデッ
トタイムを、インターレース方式と比べて短縮して、測
定粒子画像数を増大させ、測定精度が向上されるととも
に、測定時間の短縮、処理速度の向上・改善を図ること
が可能なフロー式粒子画像解析方法及び装置を実現する
ことができる。
Therefore, the non-interlaced T
The dead time in flow type particle image analysis using a V camera is shortened compared to the interlaced method, the number of measured particle images is increased, the measurement accuracy is improved, the measurement time is shortened, the processing speed is improved. A flow type particle image analysis method and apparatus that can be improved can be realized.

【0089】ところで、上述した第1の実施形態である
フロー式粒子画像処理装置において、第1および第2の
フラッシュランプ点灯禁止区間は、これらの区間に測定
粒子が粒子検出系を通過しても画像処理されないため、
インターレース方式と比較して、短時間とはなっている
が、やはり、粒子測定におけるデットタイムが存在す
る。
By the way, in the above-described flow type particle image processing apparatus according to the first embodiment, the first and second flash lamp lighting prohibited sections are provided even if the measured particles pass through the particle detection system in these sections. Since the image is not processed,
Although it is shorter than the interlaced method, there is still dead time in particle measurement.

【0090】このデットタイムは出来るだけ小さくする
のが望ましいが、フラッシュ点灯からフィールド読み出
し信号までは、2重露光を避けるために必然的に必要な
ものである。しかし、ランプ電源の放電コンデンサに電
荷を蓄積する時間は、短縮化され、電荷蓄積によるデッ
ドタイムを縮小することが望ましい。この充電時間を短
くするには、電源容量の大きいフラッシュランプを採用
することが考えられる。しかしながら、電源容量が大き
なフラッシュランプは、実用的でない場合がある。
It is desirable to make this dead time as small as possible, but it is inevitably necessary from the flash lighting to the field read signal in order to avoid double exposure. However, the time for accumulating charges in the discharge capacitor of the lamp power supply is shortened, and it is desirable to reduce the dead time due to charge accumulation. To shorten the charging time, it is conceivable to use a flash lamp with a large power capacity. However, a flash lamp having a large power capacity may not be practical.

【0091】図4は、本発明の第2の実施形態であるフ
ロー式粒子画像解析方法を実施するための装置のフラッ
シュランプ駆動回路1aの内部ブロック図である。この
第2の実施形態は、上述した電荷蓄積によるデッドタイ
ムを縮小する例である。
FIG. 4 is an internal block diagram of a flash lamp drive circuit 1a of an apparatus for carrying out the flow type particle image analysis method according to the second embodiment of the present invention. The second embodiment is an example of reducing the dead time due to the charge accumulation described above.

【0092】図4において、フラッシュランプ駆動回路
1aの中には、2つの充電回路を有している。これら2
つの充電回路は、互いに同一構成を有するものとする。
30および33は、主電源1及び主電源2であり、31
および34は抵抗器1(Rm1)および抵抗器2(Rm
2)である。32および35は放電コンデンサ1(Cm
1)および放電コンデンサ2(Cm2)、36は切替
器、37はトリガ回路である。第1の充電回路は、主電
源30、抵抗31、放電コンデンサ32からなり、第2
の充電回路は、主電源33、抵抗34、放電コンデンサ
35からなる。
In FIG. 4, the flash lamp drive circuit 1a has two charging circuits. These two
The two charging circuits have the same configuration.
30 and 33 are the main power source 1 and the main power source 2, and 31
And 34 are resistor 1 (Rm1) and resistor 2 (Rm1
2). 32 and 35 are discharge capacitors 1 (Cm
1) and discharge capacitor 2 (Cm2), 36 is a switch, and 37 is a trigger circuit. The first charging circuit comprises a main power supply 30, a resistor 31, and a discharging capacitor 32, and a second charging circuit
The charging circuit of is composed of a main power supply 33, a resistor 34, and a discharge capacitor 35.

【0093】フラッシュランプ点灯制御回路23は、図
5の(A)、(B)、(C)に示すように、フィールド
読みだし信号に応じて、主電源1と主電源2とを交互に
切り換えるための信号を切替器36に供給する。
The flash lamp lighting control circuit 23, as shown in FIGS. 5A, 5B and 5C, alternately switches the main power source 1 and the main power source 2 in accordance with the field read signal. To supply the signal for switching to the switch 36.

【0094】各充電回路の充電時間Tcは、少なくとも
1フィールド時間より短くなっており、各主電源30又
は33がONになった時点では、放電コンデンサ32又
は35には十分電荷(エネルギー)が蓄えられている状
態となっている。そして、フラッシュランプ点灯制御回
路23から、トリガ回路37に粒子検出ディレイ信号が
出力されると(図5の(D))、トリガ回路37によ
り、フラッシュランプ1の放電が開始される。
The charging time Tc of each charging circuit is shorter than at least one field time, and when the main power supply 30 or 33 is turned on, sufficient charge (energy) is stored in the discharge capacitor 32 or 35. It is in the state of being. Then, when the particle detection delay signal is output from the flash lamp lighting control circuit 23 to the trigger circuit 37 ((D) of FIG. 5), the trigger circuit 37 starts discharging the flash lamp 1.

【0095】フラッシュランプ点灯禁止区間は、2重露
光を避けるために、粒子ディレイ信号が出力されてか
ら、次のフィールド読み出し信号が出力されるまでであ
る(図5の(E))。この場合には、第1の主電源回路
と第2の主電源回路とが、フィールド信号が出力される
毎に切り換えられているので、充電時間Tcによるフラ
ッシュランプ点灯禁止については考えなくて良い。粒子
はランダムに流れてくるから、本方式でもデットタイム
の最大は、1フィールド時間に近い時間となるが、デッ
ドタイムの最小時間はほとんど0に近づけることが出来
る。なお、他の構成については、図1に説明した例と同
様となるので、その説明は省略する。
The flash lamp lighting prohibition section is from the output of the particle delay signal to the output of the next field read signal in order to avoid double exposure ((E) of FIG. 5). In this case, since the first main power supply circuit and the second main power supply circuit are switched each time the field signal is output, it is not necessary to consider the prohibition of the flash lamp lighting by the charging time Tc. Since the particles flow randomly, the maximum dead time is close to one field time in this method, but the minimum dead time can be almost zero. Note that other configurations are the same as those in the example described in FIG. 1, and thus description thereof will be omitted.

【0096】以上説明したように、本発明の第2の実施
形態によれば、第1の実施形態と同様な効果を得ること
ができる他、第1の主電源回路からの出力と第2の主電
源回路からの出力とをフィールド読みだし信号が出力さ
れる毎に、切り換えて、フラッシュランプ1に供給する
よう構成したので、充電時間Tcによるフラッシュラン
プ点灯禁止時間を考慮する必要が無く、デッドタイムが
さらに短縮されたフロー式粒子画像解析方法及び装置を
実現することができる。
As described above, according to the second embodiment of the present invention, the same effect as that of the first embodiment can be obtained, and the output from the first main power supply circuit and the second main power supply circuit can be obtained. Since the output from the main power supply circuit is switched and supplied to the flash lamp 1 each time a field read signal is output, there is no need to consider the flash lamp lighting prohibition time due to the charging time Tc, and there is no dead. A flow type particle image analysis method and apparatus in which the time is further shortened can be realized.

【0097】ところで、上述した本発明の第2の実施形
態においても、ランプ固有の条件、放電時間を考慮する
と、デットタイムを0にすることは出来ない。そこで、
デットタイムの最小値を更に小さくするために、フラッ
シュランプをも含めた独立な光源を2系統使用すること
が考えられる。
By the way, also in the above-described second embodiment of the present invention, the dead time cannot be set to 0 in consideration of the conditions peculiar to the lamp and the discharge time. Therefore,
In order to further reduce the minimum dead time, it is possible to use two independent light sources including a flash lamp.

【0098】図6は、本発明の第3の実施形態であるフ
ロー式粒子画像解析方法を実施するための装置の要部説
明図である。図6において、80および82は、フラッ
シュランプ1および2であり、81および83がフィー
ルドレンズ1および2である。また、84はビームスプ
リッターで、2つのフラッシュランプ80又は82から
の光束を1つに合成するためにある。ビームスプリッタ
84としては、反射率透過率が一定であるもの、1フィ
ールド時間毎に反射率透過率が変化する特殊なものもあ
る。後者は、ランプ光源の光量を有効に利用できる利点
が有る。
FIG. 6 is an explanatory view of the main part of an apparatus for carrying out the flow type particle image analysis method according to the third embodiment of the present invention. In FIG. 6, 80 and 82 are flash lamps 1 and 2, and 81 and 83 are field lenses 1 and 2. A beam splitter 84 is provided to combine the light fluxes from the two flash lamps 80 or 82 into one. As the beam splitter 84, there is a beam splitter 84 having a constant reflectance and transmittance, and a special one having a reflectance and reflectance that changes every one field time. The latter has an advantage that the light quantity of the lamp light source can be effectively used.

【0099】フラッシュランプ80及び82は、それぞ
れ、別個の主電源及び放電コンデンサから、点灯用の電
力が供給され、上述した第2の実施形態と同様にして、
点灯可能なフラッシュランプが1フィールド毎に切り換
えられるものである。つまり、考え方の基本は、上述し
た第2の実施形態と同様となっている。
The flash lamps 80 and 82 are supplied with power for lighting from a separate main power source and discharge capacitor, respectively, and in the same manner as in the second embodiment described above,
The flash lamp that can be turned on is switched for each field. That is, the basic idea is the same as in the second embodiment described above.

【0100】以上説明したように、本発明の第3の実施
形態によれば、第1の実施形態と同様な効果を得ること
ができる他、フラッシュランプを2つ備え、フィールド
読みだし信号が出力される毎に、点灯可能なフラッシュ
ランプを切り換えるよう構成にしたので、充電時間Tc
によるフラッシュランプ点灯禁止時間のみならず、フラ
ッシュランプ固有の条件及び放電時間(ランプの能力で
決まる最小点灯周期)をも考慮する必要が無く、デッド
タイムが、さらに短縮されたフロー式粒子画像解析方法
及び装置を実現することができる。
As described above, according to the third embodiment of the present invention, the same effect as that of the first embodiment can be obtained, and in addition, two flash lamps are provided and a field read signal is output. The charging time Tc is changed because the flash lamp that can be turned on is switched each time
It is not necessary to consider not only the flash lamp turn-off prohibition time, but also the conditions unique to the flash lamp and the discharge time (minimum lighting cycle determined by the lamp capacity), and the dead time is further shortened. And a device can be realized.

【0101】なお、以上説明した実施形態においては、
撮像装置としてCCDタイプのものを例としたが、本発
明は、CCDタイプの撮像装置に限定されるものではな
く、同様な動作を行う他のタイプの撮像装置についても
成立する。
In the embodiment described above,
Although a CCD type image pickup device has been taken as an example of the image pickup device, the present invention is not limited to the CCD type image pickup device, and is applicable to other types of image pickup devices performing similar operations.

【0102】また、以上説明した実施形態においては、
光源として、フラッシュランプを代表して説明してきた
が、一般のパルス光源を用いた場合でも、上述した実施
形態と同様な効果を期待することができる。
In the embodiment described above,
Although the flash lamp has been described as a representative of the light source, the same effect as that of the above-described embodiment can be expected even when a general pulse light source is used.

【0103】また、本発明の粒子画像解析方法及び装置
は、種々の粒子の画像解析に適用可能であるが、生物細
胞の解析に適している。この生物細胞としては、血液中
に存在する血球成分や、尿中に存在する尿沈渣成分があ
る。
The particle image analysis method and apparatus of the present invention can be applied to image analysis of various particles, but is suitable for analysis of biological cells. The biological cells include blood cell components present in blood and urinary sediment components present in urine.

【0104】[0104]

【発明の効果】本発明は、以上説明したように構成され
ているため、次のような効果がある。パルスランプの点
灯後、撮像手段の読みだし信号が出力されるまでは、パ
ルスランプの点灯が、禁止されるため、2重露光が防止
される。また、パルスランプ1の点灯後、放電コンデン
サの電荷蓄積時間経過後、次のフィールド読みだし信号
が出力されるまで、パルスランプの点灯が禁止され、パ
ルスランプ点灯から、フィールド読み出し信号が出るま
での時間が、放電コンデンサの充電時間より短い場合に
は、充電時間を点灯禁止区間とするように構成したの
で、充電時間不足による光量不足が回避され、不適性画
像の撮像が抑制される。
Since the present invention is constructed as described above, it has the following effects. After the pulse lamp is turned on, the pulse lamp is prevented from being turned on until the reading signal of the image pickup means is output, so that double exposure is prevented. Further, after the pulse lamp 1 is turned on, after the charge accumulation time of the discharge capacitor has elapsed, the pulse lamp is prohibited from being turned on until the next field reading signal is output. When the time is shorter than the charging time of the discharge capacitor, the charging time is set to the lighting prohibited section, so that the shortage of the light amount due to the shortage of the charging time is avoided and the capturing of the inappropriate image is suppressed.

【0105】したがって、ノンインターレース方式の撮
像手段を使用したフロー式粒子画像解析におけるデット
タイムを、インターレース方式と比べて短縮して、測定
粒子画像数を増大させ、測定精度が向上されるととも
に、測定時間の短縮、処理速度の向上・改善を図ること
が可能なフロー式粒子画像解析方法及び装置を実現する
ことができる。
Therefore, the dead time in the flow type particle image analysis using the non-interlaced type image pickup means is shortened as compared with the interlaced type, and the number of measured particle images is increased, the measurement accuracy is improved, and the measurement is performed. It is possible to realize a flow type particle image analysis method and apparatus capable of shortening the time and improving / improving the processing speed.

【0106】また、パルスランプを点灯させる第1の主
電源回路と第2の主電源回路とを備え、第1の主電源回
路からの出力と第2の主電源回路からの出力とをフィー
ルド読みだし信号が出力される毎に、切り換えて、パル
スランプに供給するよう構成すれば、充電時間によるパ
ルスランプ点灯禁止時間を考慮する必要が無く、デッド
タイムがさらに短縮されたフロー式粒子画像解析方法及
び装置を実現することができる。
Further, the first main power supply circuit for lighting the pulse lamp and the second main power supply circuit are provided, and the output from the first main power supply circuit and the output from the second main power supply circuit are read by field reading. If it is configured such that it is switched and supplied to the pulse lamp each time the output signal is output, it is not necessary to consider the pulse lamp lighting prohibition time due to the charging time, and the dead time is further shortened, and the flow type particle image analysis method is reduced. And a device can be realized.

【0107】また、パルスランプを2つ備え、フィール
ド読みだし信号が出力される毎に、点灯可能なパルスラ
ンプを切り換えるよう構成すれば、充電時間によるパル
スランプ点灯禁止時間のみならず、パルスランプ固有の
条件及び放電時間をも考慮する必要が無く、デッドタイ
ムが、さらに短縮されたフロー式粒子画像解析方法及び
装置を実現することができる。
If two pulse lamps are provided and the pulse lamps that can be turned on are switched each time a field read signal is output, not only the pulse lamp lighting prohibition time due to the charging time but also the pulse lamp specific It is not necessary to consider the conditions and the discharge time, and it is possible to realize the flow type particle image analysis method and apparatus in which the dead time is further shortened.

【0108】ノンインターレース方式の撮像手段を使っ
たフロー式粒子画像解析装置において問題になる粒子撮
像におけるデットタイムを最小にすることができる。こ
のデットタイムはインターレース方式のデットタイムの
約1/2程度にすることが可能になる。
The dead time in particle imaging, which is a problem in the flow type particle image analysis apparatus using the non-interlaced imaging means, can be minimized. This dead time can be reduced to about 1/2 of the dead time of the interlaced system.

【0109】その結果として、処理サンプル体積の増
加、処理時間の短縮、測定精度の向上が期待できる。
As a result, it can be expected that the volume of processed sample is increased, the processing time is shortened, and the measurement accuracy is improved.

【0110】また、パルスランプの点灯周期の最小時間
が、1フィールド以下である能力を有するパルスランプ
を使用することが、上述した効果を最大にするが、2つ
の放電コンデンサを使う方式、または、2つのパルスラ
ンプを使う方式では、1フィールド毎に系を切り替える
ため、ランプ点灯周期の最小時間を極端に短くすること
は必要無く、1フィールド時間に近い値であっても正常
に動作する。
Further, although the use of a pulse lamp having a capability that the lighting cycle of the pulse lamp has a minimum time of one field or less maximizes the above-mentioned effect, a method using two discharge capacitors, or In the system using two pulse lamps, the system is switched for each field, so that it is not necessary to extremely shorten the minimum time of the lamp lighting cycle, and even if the value is close to one field time, it operates normally.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の第1の実施形態であるフロー式粒子画
像解析方法を実施するためのフロー式粒子画像解析装置
の全体概略構成図である。
FIG. 1 is an overall schematic configuration diagram of a flow type particle image analysis apparatus for carrying out a flow type particle image analysis method according to a first embodiment of the present invention.

【図2】図1の例におけるの粒子画像解析の処理タイミ
ング関係を示す説明図である。
FIG. 2 is an explanatory diagram showing a processing timing relationship of particle image analysis in the example of FIG.

【図3】図1の例における第2のフラッシュランプ点灯
禁止区間のタイミングの説明図である。
FIG. 3 is an explanatory diagram of a timing of a second flash lamp lighting prohibited section in the example of FIG. 1.

【図4】本発明の第2の実施形態であるフロー式粒子画
像解析方法を実施するための装置のフラッシュランプ駆
動回路1aの内部ブロック図である。
FIG. 4 is an internal block diagram of a flash lamp drive circuit 1a of an apparatus for carrying out a flow type particle image analysis method according to a second embodiment of the present invention.

【図5】図4の例におけるフラッシュランプ駆動回路の
動作タイミングを示す説明図である。
5 is an explanatory diagram showing an operation timing of the flash lamp drive circuit in the example of FIG. 4. FIG.

【図6】本発明の第3の実施形態であるフロー式粒子画
像解析方法を実施するための装置の要部説明図である。
FIG. 6 is an explanatory view of a main part of an apparatus for carrying out a flow type particle image analysis method according to a third embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 フラッシュランプ 1a フラッシュランプ駆動回路 2 フィールドレンズ 3 顕微鏡コンデンサレンズ 5 顕微鏡対物レンズ 6 結像位置 7 投影レンズ 8 TVカメラ 11 視野絞り 12 開口絞り 15 半導体レーザ 16 コリメータレンズ 17 シリンドリカルレンズ 18、19 反射鏡 20 ビームスプリッタ 21 絞り 22 光検出回路 23 フラッシュランプ点灯制御回路 24 AD変換器 25 画像メモリ 26 画像処理制御回路 27 特徴抽出回路 28 識別回路 29 中央制御部 30 主電源1 31 抵抗器1 32 放電コンデンサ1 33 主電源2 34 抵抗器2 35 放電コンデンサ2 36 切替器 37 トリガ回路 40 粒子数分析部 50 表示部 80 フラッシュランプ1 81 フィールドレンズ1 82 フラッシュランプ2 83 フィールドレンズ2 84 ビームスプリッタ 100 フローセル 101 画像撮像手段 102 粒子分析手段 103 粒子検出手段 110 サンプル流れ 1 flash lamp 1a Flash lamp drive circuit 2 field lens 3 Microscope condenser lens 5 Microscope objective lens 6 Imaging position 7 Projection lens 8 TV camera 11 Field stop 12 Aperture stop 15 Semiconductor laser 16 Collimator lens 17 Cylindrical lens 18, 19 Reflector 20 beam splitter 21 Aperture 22 Photodetector circuit 23 Flash lamp lighting control circuit 24 AD converter 25 image memory 26 Image processing control circuit 27 Feature extraction circuit 28 Identification circuit 29 Central control unit 30 Main power supply 1 31 resistor 1 32 discharge capacitor 1 33 Main power supply 2 34 Resistor 2 35 discharge capacitor 2 36 switch 37 Trigger circuit 40 Particle Count Analysis Section 50 display 80 flash lamp 1 81 Field lens 1 82 flash lamp 2 83 Field lens 2 84 beam splitter 100 flow cell 101 image capturing means 102 Particle analysis means 103 Particle detection means 110 sample flow

Claims (8)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】液体中に懸濁する粒子サンプルをフローセ
ル中に流し、このフローセル中の粒子検出領域を通過す
る粒子を検出し、上記フローセル中の撮像領域を通過し
た検出粒子の静止画像を撮像手段を用い撮像し、この撮
像した粒子画像を画像解析することにより粒子の形態学
的分類を行うフロー式粒子画像解析方法において、 上記撮像手段は、ノンインターレース方式の撮像手段で
あり、粒子を検出するために上記撮像領域に光を照射す
るパルスランプを点灯した後、上記撮像手段の次の画像
読みだしパルス信号が出力されるまで、粒子検出のため
の上記パルスランプの点灯を禁止し、上記パルスランプ
が点灯した後、上記撮像手段の画像読み出し信号が出力
されるまでの時間が、上記パルスランプの所定の最小点
灯周期より短い場合には、上記パルスランプ点灯後のラ
ンプ点灯禁止時間をランプ点灯能力で決まる最小点灯周
期とし、このパルスランプの点灯を禁止する第1の点灯
禁止時間として、上記検出粒子の静止画像を撮像手段を
用いて撮像することを特徴とするフロー式粒子画像解析
方法。
1. A particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection region in the flow cell are detected, and a still image of the detection particle passing through the imaging region in the flow cell is captured. In the flow-type particle image analysis method of performing morphological classification of particles by image-capturing using the means and performing image analysis of the captured particle images, the image-capturing means is a non-interlaced image-capturing means and detects particles. In order to do so, after turning on the pulse lamp for irradiating the image pickup area with light, the turning on of the pulse lamp for particle detection is prohibited until the next image reading pulse signal of the image pickup means is output. When the time until the image reading signal of the image pickup means is output after the pulse lamp is turned on is shorter than a predetermined minimum lighting period of the pulse lamp. Is the minimum lighting cycle determined by the lamp lighting ability after the pulse lamp has been lit, and a first image of the pulse lamp is prohibited as the first lighting inhibition time. A flow-type particle image analysis method, characterized in that the image is captured by a method.
【請求項2】請求項1記載のフロー式粒子画像解析方法
において、上記撮像手段の特性から決定される、第2の
点灯禁止時間を設定し、この第2の点灯禁止時間に上記
パルスランプを点灯する条件となったとき、パルスラン
プの発光のタイミングを上記第2の点灯禁止時間経過の
直後とすることを特徴とするフロー式粒子画像解析方
法。
2. A flow-type particle image analysis method according to claim 1, wherein a second lighting prohibition time is set, which is determined from the characteristics of the image pickup means, and the pulse lamp is turned on at the second lighting prohibition time. A flow type particle image analysis method, characterized in that, when a condition for lighting is reached, the timing of light emission of the pulse lamp is set immediately after the second lighting prohibition time has elapsed.
【請求項3】請求項1記載のフロー式粒子画像解析方法
において、上記撮像手段の特性から決定される、第2の
点灯禁止時間を設定し、この第2の点灯禁止時間にパル
スランプを点灯する条件となったとき、パルスランプの
点灯を禁止することを特徴とするフロー式粒子画像解析
方法。
3. A flow-type particle image analysis method according to claim 1, wherein a second lighting prohibition time is set, which is determined from the characteristics of said image pickup means, and a pulse lamp is lit during this second lighting prohibition time. The flow particle image analysis method is characterized in that the lighting of the pulse lamp is prohibited when the conditions are met.
【請求項4】液体中に懸濁する粒子サンプルをフローセ
ル中に流し、このフローセル中の粒子検出領域を通過す
る粒子を検出し、上記フローセル中の撮像領域を通過し
た検出粒子の静止画像を撮像手段を用い撮像し、この撮
像した粒子画像を画像解析することにより粒子の形態学
的分類を行うフロー式粒子画像解析方法において、 上記撮像手段は、ノンインターレース方式の撮像手段で
あり、第1の放電コンデンサを有する第1のパルスラン
プ点灯用充電回路と、この第1のパルスランプ点灯用充
電回路とは互いに独立し、第2の放電コンデンサを有す
る第2のパルスランプ点灯用充電回路とにより、粒子を
検出するために上記撮像領域に光を照射するパルスラン
プが点灯され、上記第1のパルスランプ点灯用充電回路
を通常の条件でのパルスランプ点灯用として使用し、パ
ルスランプ点灯後、上記撮像手段の次の画像読みだしパ
ルス信号が出力されるまでパルスランプ点灯を禁止し、
パルスランプ点灯後、上記撮像手段の画像読みだしパル
ス信号が出力されるまでの時間が、パルスランプの能力
で決定される最小点灯周期より短い場合には、上記第2
の放電コンデンサに充電されたエネルギーを使用してパ
ルスランプを点灯させることを特徴とするフロー式粒子
画像解析方法。
4. A particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection area in the flow cell are detected, and a still image of the detection particle passing through the imaging area in the flow cell is captured. In the flow-type particle image analysis method of performing morphological classification of particles by performing image analysis using the means and performing image analysis of the captured particle image, the imaging means is a non-interlaced imaging means, and A first pulse lamp lighting charging circuit having a discharge capacitor and a second pulse lamp lighting charging circuit having a second discharge capacitor are independent of each other In order to detect particles, a pulse lamp that irradiates the imaging area with light is lit, and the first pulse lamp lighting charging circuit is operated under normal conditions. It is used for slump lighting, and after lighting the pulse lamp, prohibits the lighting of the pulse lamp until the next image reading pulse signal of the image pickup means is output,
If the time from the lighting of the pulse lamp until the image reading pulse signal of the image pickup means is output is shorter than the minimum lighting cycle determined by the ability of the pulse lamp, the second
A method of analyzing a flow-type particle image, characterized in that a pulse lamp is turned on by using the energy charged in the discharge capacitor.
【請求項5】請求項4記載のフロー式粒子画像解析方法
において、上記撮像手段の撮像画像の1フィールド毎
に、上記第1の充電回路と第2の充電回路とを、上記パ
ルスランプ点灯用の充電回路として、交互に切り替えて
使用することを特徴とするフロー式粒子画像解析方法。
5. The flow type particle image analyzing method according to claim 4, wherein the first charging circuit and the second charging circuit are provided for lighting the pulse lamp for each field of the image captured by the imaging means. The flow type particle image analysis method is characterized in that the charging circuits are alternately switched and used.
【請求項6】液体中に懸濁する粒子サンプルをフローセ
ル中に流し、このフローセル中の粒子検出領域を通過す
る粒子を検出し、上記フローセル中の撮像領域を通過し
た検出粒子の静止画像を撮像手段を用い撮像し、この撮
像した粒子画像を画像解析することにより粒子の形態学
的分類を行うフロー式粒子画像解析方法において、 上記撮像手段は、ノンインターレース方式の撮像手段で
あり、互いに独立した、第1のパルスランプと第2のパ
ルスランプとのいずれかにより、粒子画像を撮像するた
めの光が上記撮像領域に照射され、上記第1のパルスラ
ンプを通常のパルスランプとして使用し、この第1のパ
ルスランプ点灯後、上記撮像手段の画像読み出し信号が
出力されるまで、次のパルスランプ点灯を禁止し、上記
第1のパルスランプ点灯後、上記撮像手段の画像読み出
し信号が出力されるまでの時間が、パルスランプの能力
で決まる最小点灯周期より短い場合には、上記第2のパ
ルスランプを点灯させることを特徴とするフロー式粒子
画像解析方法。
6. A particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection area in the flow cell are detected, and a still image of the detection particles passing through the imaging area in the flow cell is captured. In the flow-type particle image analysis method of performing morphological classification of particles by image-capturing using a means and performing image analysis of the captured particle image, the image-capturing means are non-interlaced image-capturing means and are independent of each other , Either the first pulse lamp or the second pulse lamp irradiates the imaging region with light for capturing a particle image, and the first pulse lamp is used as a normal pulse lamp. After the first pulse lamp is turned on, the next pulse lamp is turned off until the image reading signal of the image pickup means is output, and the first pulse lamp is turned on. When the time until the image reading signal of the image pickup means is output after lighting is shorter than the minimum lighting cycle determined by the capability of the pulse lamp, the second pulse lamp is turned on. Particle image analysis method.
【請求項7】請求項6記載のフロー式粒子画像解析方法
において、上記撮像手段の撮像画像の1フィールド毎
に、上記第1のパルスランプと第2のパルスランプと
を、粒子画像を撮像するための光源として、交互に切り
替えて使用することを特徴とするフロー式粒子画像解析
方法。
7. The flow type particle image analysis method according to claim 6, wherein a particle image is picked up by the first pulse lamp and the second pulse lamp for each field of the image picked up by the image pickup means. A flow-type particle image analysis method, which is characterized in that the light sources are alternately switched and used.
【請求項8】液体中に懸濁する粒子サンプルをフローセ
ル中に流し、このフローセル中の粒子検出領域を通過す
る粒子を検出し、上記フローセル中の撮像領域を通過し
た検出粒子の静止画像を撮像手段を用い撮像し、この撮
像した粒子画像を画像解析することにより粒子の形態学
的分類を行うフロー式粒子画像解析装置において、 ノンインターレース方式の撮像手段と、 粒子を検出するために上記撮像領域に光を照射するパル
スランプと、 上記パルスランプを点灯した後、上記撮像手段の次の画
像読みだしパルス信号が出力されるまで、粒子検出のた
めの上記パルスランプの点灯を禁止し、上記パルスラン
プが点灯した後、上記撮像手段の画像読み出し信号が出
力されるまでの時間が、上記パルスランプの所定の最小
点灯周期より短い場合には、上記パルスランプ点灯後の
ランプ点灯禁止時間をランプ点灯能力で決まる最小点灯
周期とし、このパルスランプの点灯を禁止する第1の点
灯禁止時間とするパルスランプ点灯制御駆動手段と、を
備えることを特徴とするフロー式粒子画像解析装置。
8. A particle sample suspended in a liquid is caused to flow in a flow cell, particles passing through a particle detection area in the flow cell are detected, and a still image of the detection particle passing through the imaging area in the flow cell is captured. In a flow-type particle image analyzer that performs morphological classification of particles by performing image analysis using the means and performing image analysis of the captured particle image, a non-interlaced imaging means and the above-mentioned imaging area for detecting particles A pulse lamp for irradiating light on the pulse lamp, and after turning on the pulse lamp, prohibit the turning on of the pulse lamp for particle detection until the next image reading pulse signal of the imaging means is output, and the pulse When the time until the image reading signal of the imaging means is output after the lamp is lit is shorter than the predetermined minimum lighting period of the pulse lamp A pulse lamp lighting control drive means for setting the lamp lighting prohibited time after the pulse lamp lighting as a minimum lighting cycle determined by the lamp lighting ability, and as a first lighting prohibited time for prohibiting lighting of the pulse lamp. A flow-type particle image analyzer characterized by:
JP08017797A 1997-03-31 1997-03-31 Flow type particle image analysis method and apparatus Expired - Fee Related JP3429974B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP08017797A JP3429974B2 (en) 1997-03-31 1997-03-31 Flow type particle image analysis method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP08017797A JP3429974B2 (en) 1997-03-31 1997-03-31 Flow type particle image analysis method and apparatus

Publications (2)

Publication Number Publication Date
JPH10274618A JPH10274618A (en) 1998-10-13
JP3429974B2 true JP3429974B2 (en) 2003-07-28

Family

ID=13711080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP08017797A Expired - Fee Related JP3429974B2 (en) 1997-03-31 1997-03-31 Flow type particle image analysis method and apparatus

Country Status (1)

Country Link
JP (1) JP3429974B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3145486B2 (en) * 1992-06-12 2001-03-12 シスメックス株式会社 Imaging flow cytometer
JP2826449B2 (en) * 1993-09-17 1998-11-18 株式会社日立製作所 Flow type particle image analysis method and flow type particle image analysis device

Also Published As

Publication number Publication date
JPH10274618A (en) 1998-10-13

Similar Documents

Publication Publication Date Title
JP3084296B2 (en) Flow image cytometer
JP3121849B2 (en) Flow image cytometer
US6084991A (en) CCD imager for confocal scanning microscopy
EP0791816B1 (en) Method and apparatus for particle image analysis using a flow cell
EP0501007A2 (en) Flow imaging cytometer
JPH07120375A (en) Method and apparatus for flow-type particle image analysis
JPH09273988A (en) Particle-analyzing apparatus
JP2826449B2 (en) Flow type particle image analysis method and flow type particle image analysis device
JP3282458B2 (en) Flow type particle image analysis method and apparatus
JP2826448B2 (en) Flow type particle image analysis method and flow type particle image analysis device
JP2001194303A (en) Device for analyzing diffusion motion of fluorescent molecule
JP3429974B2 (en) Flow type particle image analysis method and apparatus
JP2959813B2 (en) Particle image analyzer
JPH08145872A (en) Method and device for analyzing flow type particle picture
JPH06221986A (en) Flow-type method and apparatus for analyzing particle image
JPH06229904A (en) Method and apparatus for analyzing particle
JPH06213797A (en) Method and system for analyzing particle image in flow system
JPH0961339A (en) Flow type particle image analyzing method and device
JPH08304263A (en) Particle analyzing instrument
JPH07128218A (en) Particle analyzer
JP2959814B2 (en) Particle image analyzer
JPH07270301A (en) Flow type particle image analysis method and apparatus
JPH09257689A (en) Particle analyzer
JPH075093A (en) Flow type particle image analyzer
JPH06213799A (en) Flow type particle image analyzer and analyzing method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090516

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100516

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees