JPWO2016147315A1 - Fluorescence image generation apparatus and fluorescence image generation method - Google Patents
Fluorescence image generation apparatus and fluorescence image generation method Download PDFInfo
- Publication number
- JPWO2016147315A1 JPWO2016147315A1 JP2017505922A JP2017505922A JPWO2016147315A1 JP WO2016147315 A1 JPWO2016147315 A1 JP WO2016147315A1 JP 2017505922 A JP2017505922 A JP 2017505922A JP 2017505922 A JP2017505922 A JP 2017505922A JP WO2016147315 A1 JPWO2016147315 A1 JP WO2016147315A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- period
- fluorescence
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002073 fluorescence micrograph Methods 0.000 title claims abstract description 103
- 238000000034 method Methods 0.000 title claims description 44
- 238000003384 imaging method Methods 0.000 claims abstract description 59
- 230000005284 excitation Effects 0.000 claims abstract description 43
- 238000004458 analytical method Methods 0.000 claims description 29
- 229920006395 saturated elastomer Polymers 0.000 claims description 25
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000010191 image analysis Methods 0.000 description 35
- 238000003860 storage Methods 0.000 description 7
- 238000007792 addition Methods 0.000 description 6
- 239000007850 fluorescent dye Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6408—Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/069—Supply of sources
- G01N2201/0691—Modulated (not pulsed supply)
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/06—Illumination; Optics
- G01N2201/069—Supply of sources
- G01N2201/0692—Regulated sources; stabilised supply
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本発明の一形態に係る蛍光画像取得システム1は、観察対象物Pから発せられた蛍光を撮像することによって蛍光画像を生成するシステムであって、オン期間において観察対象物Pに対して励起光を出力し、オフ期間において励起光の出力を停止することにより、励起光の出力と停止とを繰り返す光照射装置5と、2次元的に配列された複数の画素を含む受光部4aと、受光部4aの露光を制御する露光制御部4bとを有し、オン期間及びオフ期間のそれぞれにおいて観察対象物Pを撮像することによってオン画像データ及びオフ画像データを出力する撮像装置3と、オン画像データ及びオフ画像データに基づいて、蛍光画像データを生成するとともに受光部4aの露光時間を設定するカメラコントローラ15とを備える。A fluorescence image acquisition system 1 according to an embodiment of the present invention is a system that generates a fluorescence image by imaging fluorescence emitted from an observation object P, and is an excitation light for the observation object P in an on period. , And by stopping the output of the excitation light in the off period, the light irradiation device 5 that repeats the output and stop of the excitation light, the light receiving unit 4a including a plurality of pixels arranged two-dimensionally, An image pickup apparatus 3 that has an exposure control unit 4b that controls exposure of the unit 4a, outputs on-image data and off-image data by imaging the observation object P in each of the on-period and off-period, and an on-image And a camera controller 15 that generates fluorescent image data based on the data and the off-image data and sets the exposure time of the light receiving unit 4a.
Description
本発明は、測定対象の蛍光を撮像することにより蛍光画像を生成する蛍光画像生成装置及び蛍光画像生成方法に関する。 The present invention relates to a fluorescence image generation apparatus and a fluorescence image generation method for generating a fluorescence image by imaging fluorescence of a measurement target.
従来から、生体等から励起光の照射に応じて生じる蛍光像を観察する観察装置が用いられている。このような観察装置では、照明光によって生じた蛍光を撮像装置で撮像することにより画像データを生成する。このような観察装置を使用する際には、蛍光以外の光の画像データへの影響を極力取り除くことが望ましい。例えば、下記特許文献1に記載された画像診断装置では、手術室での蛍光像の撮像時に、スイッチによって光源の近赤外波長成分を遮断するフィルタを挿入することにより、光源から照射される励起光のスペクトル特性を蛍光像撮像に影響の無い状態に切り換えている。
Conventionally, an observation apparatus for observing a fluorescent image generated in response to excitation light irradiation from a living body or the like has been used. In such an observation apparatus, image data is generated by imaging fluorescence generated by illumination light with an imaging apparatus. When using such an observation apparatus, it is desirable to remove as much as possible the influence of light other than fluorescence on the image data. For example, in the diagnostic imaging apparatus described in
しかしながら、上述した特許文献1に記載の装置においては、スイッチによりフィルタの出し入れを行う必要があるため、操作が煩雑であった。また、手術室等の使用環境には無影灯のほか、蛍光灯等の他の照明器具も存在していることが多いため、それらの影響を取り除くことは困難であった。
However, in the apparatus described in
そこで、本発明は、かかる課題に鑑みて為されたものであり、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることが可能な蛍光画像生成装置及び蛍光画像生成方法を提供することを目的とする。 Therefore, the present invention has been made in view of the above problems, and provides a fluorescence image generation apparatus and a fluorescence image generation method capable of obtaining an appropriate fluorescence image in which the influence of the use environment is reduced by a simple operation. The purpose is to provide.
上記課題を解決するため、本発明の一形態に係る蛍光画像生成装置は、対象物から発せられた蛍光を撮像することによって蛍光画像を生成する装置であって、励起光を出力する光源を有し、第1の期間において対象物に対して励起光を照射し、第1の期間と異なる第2の期間において励起光の照射を停止し、励起光の照射と停止とを繰り返す光照射部と、2次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて受光部の露光を制御する制御部とを有し、対象物を撮像することによって、第1の期間に対応する第1の画像データ及び第2の期間に対応する第2の画像データを出力する撮像部と、第1の画像データ及び第2の画像データに基づいて、蛍光画像データを生成する画像処理部と、受光部の露光時間を可変に設定する設定部と、を備える。 In order to solve the above problems, a fluorescence image generation device according to an aspect of the present invention is a device that generates a fluorescence image by imaging fluorescence emitted from an object, and has a light source that outputs excitation light. And a light irradiation unit that irradiates the object with excitation light in the first period, stops irradiation of excitation light in a second period different from the first period, and repeats irradiation and stop of excitation light. Corresponding to the first period by imaging a target object having a light receiving unit including a plurality of pixels arranged two-dimensionally and a control unit that controls exposure of the light receiving unit based on a drive clock An imaging unit that outputs first image data and second image data corresponding to the second period, and an image processing unit that generates fluorescence image data based on the first image data and the second image data And set the exposure time of the light receiving unit to be variable. It includes a setting unit, the.
或いは、本発明の他の形態に係る蛍光画像生成方法は、対象物から発せられた蛍光を撮像することによって蛍光画像を生成する方法であって、対象物に対して励起光を照射する光照射部を用いて、第1の期間において励起光を照射し、第1の期間と異なる第2の期間において励起光の照射を停止するステップ(照射ステップ)と、励起光の照射と停止とを繰り返すステップ(繰返しステップ)と、2次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて受光部の露光を制御する制御部とを有する撮像部を用いて対象物を撮像することによって、第1の期間に対応する第1の画像データ及び第2の期間に対応する第2の画像データを出力するステップ(撮像ステップ)と、画像処理部を用いて、第1の画像データ及び第2の画像データに基づいて、蛍光画像データを生成するステップ(生成ステップ)と、受光部の露光時間を可変に設定するステップ(設定ステップ)と、を備える。 Alternatively, a fluorescence image generation method according to another aspect of the present invention is a method of generating a fluorescence image by imaging fluorescence emitted from an object, and irradiates the object with excitation light. Using the unit, the step of irradiating the excitation light in the first period and stopping the irradiation of the excitation light in the second period different from the first period (irradiation step) and the irradiation and stop of the excitation light are repeated. An object is imaged using an imaging unit having a step (repetitive step), a light receiving unit including a plurality of pixels arranged two-dimensionally, and a control unit that controls exposure of the light receiving unit based on a drive clock. Accordingly, a step (imaging step) of outputting the first image data corresponding to the first period and the second image data corresponding to the second period, and the first image data using the image processing unit. And second Based on the image data, comprising the step (generation step) of generating a fluorescence image data, and step (setting step) for setting the exposure time of the light receiving unit variably, the.
このような蛍光画像生成装置、或いは蛍光画像生成方法によれば、対象物への励起光の照射が第1の期間及び第2の期間で繰り返しオン/オフされ、それぞれの期間で複数の画素を含む受光部を有する撮像部を用いて対象物を撮像することにより、第1の画像データ及び第2の画像データが出力され、それらの画像データを基に蛍光画像データが生成される。この際、受光部の露光時間が可変にされているので、撮像時の使用環境に応じて適切な露光時間を設定することにより、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。 According to such a fluorescent image generation apparatus or fluorescent image generation method, the irradiation of the excitation light to the object is repeatedly turned on / off in the first period and the second period, and a plurality of pixels are detected in each period. The first image data and the second image data are output by imaging an object using an imaging unit including a light receiving unit, and fluorescence image data is generated based on the image data. At this time, since the exposure time of the light receiving unit is made variable, by setting an appropriate exposure time according to the use environment at the time of imaging, an appropriate fluorescent image in which the influence of the use environment is reduced with a simple operation Can be obtained.
ここで、上記一形態に係る蛍光画像生成装置においては、設定部は、露光時間に相当する駆動クロックのカウント数を可変に設定し、制御部は、受光部の露光時間を制御するために、設定されたカウント数に基づいて駆動クロックをカウントする、ことでもよい。また、上記他の形態に係る蛍光画像生成方法においては、設定ステップでは、露光時間に相当する駆動クロックのカウント数を可変に設定し、撮像ステップでは、受光部の露光時間を制御するために、設定されたカウント数に基づいて駆動クロックをカウントする、ことでもよい。この場合、設定部で可変に設定された露光時間に基づいて受光部の露光時間を適切に制御することができる。 Here, in the fluorescence image generation device according to the above aspect, the setting unit variably sets the drive clock count corresponding to the exposure time, and the control unit controls the exposure time of the light receiving unit. The drive clock may be counted based on the set count number. In the fluorescent image generation method according to the other embodiment, in the setting step, the count number of the driving clock corresponding to the exposure time is variably set, and in the imaging step, in order to control the exposure time of the light receiving unit, The drive clock may be counted based on the set count number. In this case, the exposure time of the light receiving unit can be appropriately controlled based on the exposure time variably set by the setting unit.
また、第1の画像データ、第2の画像データ、及び蛍光画像データのうち少なくとも1つの画像データに基づいて、複数の画素に対応する画素値を解析する解析部をさらに備え、解析部は、複数の画素のうち画素値が飽和した画素を特定する、ことでもよい。また、第1の画像データ、第2の画像データ、及び蛍光画像データのうち少なくとも1つの画像データに基づいて、複数の画素に対応する画素値を解析するステップ(解析ステップ)をさらに備え、解析ステップでは、複数の画素のうち画素値が飽和した画素を特定する、ことでもよい。この場合、画像データにおける画素値の飽和状態に応じて受光部の露光時間を適切な値に設定することができる。その結果、使用環境による影響が低減された適切な蛍光画像を得ることができる。 In addition, the analysis unit further includes an analysis unit that analyzes pixel values corresponding to a plurality of pixels based on at least one of the first image data, the second image data, and the fluorescence image data. It is also possible to specify a pixel whose pixel value is saturated among a plurality of pixels. The method further includes a step (analysis step) of analyzing pixel values corresponding to a plurality of pixels based on at least one of the first image data, the second image data, and the fluorescence image data. In the step, a pixel having a saturated pixel value among a plurality of pixels may be specified. In this case, the exposure time of the light receiving unit can be set to an appropriate value according to the saturation state of the pixel value in the image data. As a result, it is possible to obtain an appropriate fluorescent image in which the influence of the use environment is reduced.
また、解析部及び解析ステップは、飽和した画素の数を算出し、設定部及び設定ステップでは、飽和した画素の数に基づいて露光時間を設定する、ことでもよい。かかる構成を採れば、画像データにおける画素値の飽和状態に応じて受光部の露光時間を自動で適値に設定することができる。その結果、より簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。 The analysis unit and the analysis step may calculate the number of saturated pixels, and the setting unit and the setting step may set the exposure time based on the number of saturated pixels. With this configuration, the exposure time of the light receiving unit can be automatically set to an appropriate value according to the saturation state of the pixel value in the image data. As a result, it is possible to obtain an appropriate fluorescent image in which the influence of the use environment is reduced by a simpler operation.
さらに、第1の画像データ、第2の画像データ、及び蛍光画像データのうち少なくとも1つの画像データに基づいて、複数の画素に対応する画素値を解析する解析部をさらに備え、解析部は、画素が飽和したことを示す飽和画素値と、複数の画素に対応する画素値の最大値との差である差分値を算出する、ことでもよい。また、第1の画像データ、第2の画像データ、及び蛍光画像データのうち少なくとも1つの画像データに基づいて、複数の画素に対応する画素値を解析するステップ(解析ステップ)をさらに備え、解析ステップでは、画素が飽和したことを示す飽和画素値と、複数の画素に対応する画素値の最大値との差である差分値を算出する、ことでもよい。こうすれば、画像データにおける画素値の最大値と飽和画素値との差に応じて受光部の露光時間を適切な値に設定することができる。その結果、使用環境による影響が低減された適切な蛍光画像を得ることができる。 Furthermore, an analysis unit that analyzes pixel values corresponding to a plurality of pixels based on at least one of the first image data, the second image data, and the fluorescence image data, the analysis unit includes: A difference value that is a difference between a saturated pixel value indicating that the pixel is saturated and a maximum value of pixel values corresponding to a plurality of pixels may be calculated. The method further includes a step (analysis step) of analyzing pixel values corresponding to a plurality of pixels based on at least one of the first image data, the second image data, and the fluorescence image data. In the step, a difference value that is a difference between a saturated pixel value indicating that the pixel is saturated and a maximum value of pixel values corresponding to a plurality of pixels may be calculated. In this way, the exposure time of the light receiving unit can be set to an appropriate value according to the difference between the maximum pixel value and the saturated pixel value in the image data. As a result, it is possible to obtain an appropriate fluorescent image in which the influence of the use environment is reduced.
またさらに、設定部及び設定ステップは、差分値に基づいて露光時間を設定する、ことでもよい。この場合、画像データにおける画素値の最大値と飽和画素値との差に応じて受光部の露光時間を自動で適値に設定することができる。その結果、より簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。 Furthermore, the setting unit and the setting step may set the exposure time based on the difference value. In this case, the exposure time of the light receiving unit can be automatically set to an appropriate value in accordance with the difference between the maximum pixel value and the saturated pixel value in the image data. As a result, it is possible to obtain an appropriate fluorescent image in which the influence of the use environment is reduced by a simpler operation.
さらにまた、光照射部は、第1の期間及び第2の期間の長さを可変に設定可能に構成されていてもよい。かかる光照射部を備えれば、励起光の照射時間を撮像部の露光時間に対応して設定することができる。 Furthermore, the light irradiation unit may be configured to be able to variably set the lengths of the first period and the second period. If such a light irradiation unit is provided, the irradiation time of the excitation light can be set corresponding to the exposure time of the imaging unit.
第1の期間及び第2の期間は、露光時間に応じて設定されていてもよい。こうすれば、励起光の照射時間を撮像部の露光時間に対応して設定されることで、蛍光像を効率的に撮像することができる。 The first period and the second period may be set according to the exposure time. In this way, the fluorescence image can be efficiently captured by setting the irradiation time of the excitation light corresponding to the exposure time of the imaging unit.
また、第1の期間と第2の期間とは、同一の時間に設定されていてもよい。この場合、第1の画像データと第2の画像データから蛍光画像データを得る際に処理を簡略化できる。 Further, the first period and the second period may be set to the same time. In this case, the processing can be simplified when obtaining fluorescent image data from the first image data and the second image data.
またさらに、設定部及び設定ステップは、露光時間を、少なくとも1msec以上30msec未満の範囲で可変に設定してもよい。 Furthermore, the setting unit and the setting step may variably set the exposure time in a range of at least 1 msec and less than 30 msec.
さらにまた、画像処理部及び生成ステップは、第1の期間及び第2の期間の繰り返しによって得られた複数の第1の画像データ及び複数の第2の画像データのそれぞれを加算し、加算後の複数の第1の画像データと加算後の複数の第2の画像データとの差分を算出し、蛍光画像データを生成する、ことでもよい。かかる構成を備えれば、加算された複数の第1の画像データと加算された複数の第2の画像データとの差分から蛍光画像データが生成されるので、個々の露光時間が短くても明瞭な蛍光画像を得ることができる。 Furthermore, the image processing unit and the generation step add each of the plurality of first image data and the plurality of second image data obtained by repetition of the first period and the second period. Differences between the plurality of first image data and the plurality of second image data after addition may be calculated to generate fluorescence image data. With such a configuration, the fluorescence image data is generated from the difference between the added plurality of first image data and the added plurality of second image data, so that it is clear even if each exposure time is short. A fluorescent image can be obtained.
画像処理部及び生成ステップは、第1の画像データと第2の画像データとの差分を算出して差分画像データを繰り返し生成し、繰り返し生成された複数の差分画像データを加算し、蛍光画像データを生成する、ことでもよい。かかる構成を備えれば、第1の画像データと第2の画像データとの差分画像データが繰り返し生成されてそれらの差分画像データが加算されることにより蛍光画像データが生成されるので、個々の露光時間が短くても明瞭な蛍光画像を得ることができる。 The image processing unit and the generation step calculate the difference between the first image data and the second image data, repeatedly generate the difference image data, add the plurality of repeatedly generated difference image data, and add fluorescence image data May be generated. With such a configuration, the difference image data between the first image data and the second image data is repeatedly generated, and the difference image data is added to generate the fluorescence image data. A clear fluorescent image can be obtained even if the exposure time is short.
また、画像処理部及び生成ステップは、30msecの間に少なくとも1つの蛍光画像データを生成するものであってもよい。 Further, the image processing unit and the generation step may generate at least one fluorescent image data in 30 msec.
さらに、画像解析部によって解析された結果を表示する表示部をさらに備えてもよい。また、解析ステップによって解析された結果を表示部に表示するステップ(表示ステップ)をさらに備えてもよい。かかる表示部及び表示ステップを備えれば、撮像部の露光時間を調整する際の判断材料としての解析結果を可視化することができ、露光時間の設定が容易となる。 Furthermore, you may further provide the display part which displays the result analyzed by the image analysis part. Moreover, you may further provide the step (display step) which displays the result analyzed by the analysis step on a display part. If such a display unit and a display step are provided, an analysis result as a judgment material when adjusting the exposure time of the imaging unit can be visualized, and the exposure time can be easily set.
本発明によれば、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。 According to the present invention, it is possible to obtain an appropriate fluorescent image in which the influence of the use environment is reduced by a simple operation.
以下、図面を参照しつつ本発明に係る蛍光画像生成装置及び蛍光画像生成方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。 Hereinafter, preferred embodiments of a fluorescent image generating apparatus and a fluorescent image generating method according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same or corresponding parts are denoted by the same reference numerals, and redundant description is omitted.
図1は、本発明の好適な一実施形態に係る蛍光画像取得システム1の概略構成を示すブロック図である。図1に示す蛍光画像取得システム1は、所定のフレームレートで時系列に観察対象物Pについての観察画像を取得することで、ユーザが観察対象物Pを動画で観察できるように構成されている。観察対象物Pは、例えば生体組織であり、予めインドシアニングリーンなどの蛍光色素が導入されている。蛍光画像取得システム1を用いれば、蛍光色素が生体の血管やリンパ管などを流れる様子や生体内の臓器やリンパ節などに蛍光色素が蓄積される様子を観察することができる。蛍光画像生成装置の一形態である蛍光画像取得システム1は、撮像装置(撮像部)3と光照射装置(光照射部)5とを内蔵するカメラユニット7と、カメラユニット7に電気的に結合され、カメラユニット7を制御する制御部9とカメラユニット7から出力された画像データを処理する画像処理部11及び画像解析部(解析部)13とを有するカメラコントローラ(設定部)15と、カメラコントローラ15に電気的に結合された、表示装置(表示部)17、入力装置19、及び記憶装置21とを備えている。
FIG. 1 is a block diagram showing a schematic configuration of a fluorescence
光照射装置5は、観察対象物Pに対して蛍光観察のために蛍光色素を励起するための励起光L1を出力する光源5aと、光源5aの励起光L1の出力をON/OFFを制御する光源制御部5bとを内蔵する。光源5aは、LED(発光ダイオード)、LD(レーザダイオード)、あるいはSLD(スーパールミネッセントダイオード)等の発光素子などであり、蛍光色素を励起する波長の光を出力する。光源制御部5bは、カメラユニット7と電気的に結合されたカメラコントローラ15による制御により、光源5aの励起光出力のON(出力の状態)とOFF(出力停止の状態)とを交互に繰り返し切り換える制御回路である。また、この光源制御部5bを含むことにより、光照射装置5は、カメラコントローラ15の制御により、励起光出力のONの期間の長さと、励起光出力のOFFの期間の長さとを独立に可変に設定可能にされる。なお、光源5aから出力される光の波長は蛍光の波長を含まないことが好ましいが、光源5aから出力される光の波長が蛍光の波長を含む場合、光照射装置5は、光源5aから出力される光のうち蛍光の波長と同じ波長の光を遮光する光学フィルタ(不図示)を備えてもよい。The
撮像装置3は、カメラコントローラ15の制御によって観察対象物Pからの光像を撮像する装置である。この撮像装置3は、蛍光色素が発する蛍光L2の波長の光を透過させ、励起光L1の波長の光を遮断する光学フィルタ3aと、光学フィルタ3aを透過した蛍光L2および観察対象物Pの蛍光像の背景からの光である背景光を受光し、それらの光を光電変換することにより画像データを出力する撮像素子3bと、カメラコントローラ15の制御により撮像素子3bの露光タイミングおよび露光時間を調整する撮像制御部(設定部)3cとを含んで構成される。撮像素子3bは、CCDイメージセンサ又はCMOSイメージセンサ等のエリアイメージセンサであり、2次元的に配列された複数の画素(光電変換素子)を有する受光部4aと、受光部4aの露光を制御する露光制御部4bを有する。露光制御部4bは、カメラコントローラ15(または、撮像制御部3c)が設定した露光時間に相当するカウント数を受けて、設定された露光時間に相当するカウント数だけ駆動クロックをカウントすることにより、受光部4aの露光を制御する。カメラコントローラ15(または、撮像制御部3c)は、露光時間に相当するカウント数を可変に設定できるため、蛍光画像取得システム1は、受光部4aの露光時間を可変に設定することができる。なお、受光部4aの露光時間の制御は、これに限らず、カメラコントローラ15(または、撮像制御部3c)が駆動クロックの周波数を可変に設定し、撮像素子3bの露光制御部4bは設定された周波数の駆動クロックに基づいて受光部4aの露光を制御してもよい。この場合、露光時間に相当するカウント数が同じであっても、駆動クロックの周波数を変更することで、蛍光画像取得システム1は、受光部4aの露光時間を可変に設定することができる。また、カメラコントローラ15(または、撮像制御部3c)は、駆動クロックを停止時間だけ停止させてもよい。この場合、露光時間に相当するカウント数や駆動クロックの周波数が同じであっても、停止時間の長さを変更することで、蛍光画像取得システム1は、受光部4aの露光時間を可変に設定することができる。なお、光学フィルタ3aは、蛍光L2の波長の光のほか、外部の照明装置から出力される照明光によって観察対象物Pにおいて生じる反射光の波長の光も透過するように構成されているので、撮像素子3bは観察対象物Pからの反射光を背景光として受光する。すなわち、手術室等の使用環境には無影灯、蛍光灯等の光照射装置5以外の照明装置も存在しうるので、それらの照明装置からの光による観察対象物Pにおける反射光には蛍光L2と同じ波長帯付近の光も含まれ、その光が背景光として撮像素子3bの受光部4aによって受光される。The
上記構成のカメラユニット7では、光源5aの励起光出力のONの期間(以下、単に「オン期間」と言う。)においては、撮像素子3bは観察対象物Pからの蛍光および背景光を受光(撮像)し、それに応じて画像データとしてオン画像データを出力する一方、光源5aの励起光出力のOFFの期間(以下、単に「オフ期間」と言う。)においては、撮像素子3bは観察対象物Pからの背景光を受光(撮像)し、それに応じて画像データとしてオフ画像データを出力する。撮像制御部3cは、撮像素子3bの露光制御部4bに対し駆動クロックを出力する。撮像素子3bの露光制御部4bは、露光時間に相当するクロック数だけ駆動クロックをカウントする。カメラユニット7の出力する画像データのフレームレートが例えば30フレーム/secに設定されている場合には、露光制御部4bは、露光時間が例えば30msecになるように設定された露光時間に相当するクロック数に基づいて駆動クロックをカウントし、カメラユニット7の設定変更によりフレームレートが15フレーム/sec〜1000フレーム/secの範囲で調整された場合には、それに応じて露光時間が60msec〜1msecの範囲で可変となるように設定された露光時間に相当するクロック数に基づいて駆動クロックをカウントする。露光時間の調整可能な範囲は、上記範囲に限定されるものではないが、様々な使用環境下で最適な蛍光画像を得るためには、撮像装置3が少なくとも露光時間を1msec〜30msecの範囲で可変に設定可能に構成される。なお、カメラコントローラ15から撮像素子3bの露光制御部4bに駆動クロックが出力されてもよい。
In the
カメラコントローラ15は、CPU等の演算処理回路、メモリ等を含むデータ処理装置であり、このデータ処理装置内に制御部9、画像処理部11、及び画像解析部13が機能的に実装されている。ただし、制御部9、画像処理部11、及び画像解析部13は、同一装置内に構成される場合には限定されず、複数の装置に分散されて構成されていてもよい。
The
カメラコントローラ15の制御部9は、撮像装置3及び光照射装置5の動作を制御する。すなわち、制御部9は、光照射装置5による励起光出力のON/OFFと、撮像素子3bの露光タイミングとを互いに同期するように制御する。さらに、制御部9は、後述する画像解析部13の解析結果に基づいて、撮像装置3の撮像素子3bの露光時間を撮像制御部3cを介して調整するように制御する。例えば、カメラコントローラ15の制御部9は、画像解析部13の解析結果に基づいて、撮像素子3bの受光部4aの露光期間に相当するカウント数を設定する。
The
カメラコントローラ15の画像処理部11は、撮像素子3bから出力されたオン画像データとオフ画像データを画像処理することにより、観察対象物Pからの光像のうちの蛍光が結ぶ像である蛍光像が反映された蛍光画像データと観察対象物Pからの光像のうちの背景光が結ぶ像である背景像が反映された背景画像データとを作成する。具体的には、画像処理部11は、オン画像データとオフ画像データとの間で各画像データの同一の画素位置での差分を算出することにより、蛍光画像データを作成する。また、画像処理部11は、オフ画像データをそのまま用いて背景画像データを作成する。さらに、画像処理部11は、蛍光画像データと背景画像データとを用いて、観察対象物Pからの背景像と観察対象物Pからの蛍光像とが重畳された像が反映された重畳画像データを作成し、作成した重畳画像データを出力用の画像データとして表示装置17および記憶装置21に送出する。
The
カメラコントローラ15の画像解析部(アナライザー)13は、撮像装置3から出力されたオン画像データ、オフ画像データ、及び画像処理部11によって作成された蛍光画像データのうちの少なくとも1つの画像データを対象に、その画像データ中の画素に対応する受光感度を示す画素値を解析する。すなわち、画像解析部13は、解析対象の画像データ中の複数の画素のうち画素値が飽和している画素を特定し、特定した画素の画素数を算出し、その画素数を解析結果として制御部9に通知する。それとともに、画像解析部13は、解析対象の画像データ中の複数の画素の画素値の最大値を特定し、その最大値と画素が飽和したことを示す飽和画素値との差分値を算出し、その差分値も解析結果として制御部9に通知する。
The image analysis unit (analyzer) 13 of the
表示装置17は、カメラコントローラ15に結合されたディスプレイ装置等の画像出力装置であり、画像処理部11から送出された表示用の画像データと、画像解析部13によって解析された解析結果とを表示する。また、入力装置19は、カメラコントローラ15に結合されたキーボート、マウス、あるいはタッチパネルディスプレイ等のデータ入力装置であり、カメラユニット7における撮像条件を指定するためのパラメータ、及び画像処理部11における画像処理の条件を示すパラメータを入力する。例えば、入力装置19は、撮像装置3の露光時間、光照射装置5の照射強度、及び画像処理部11における重畳画像の作成時の作成条件等の設定値の入力を受け付け、これらのパラメータをカメラコントローラ15に設定する。これに対応して、カメラコントローラ15の制御部9は、撮像装置3の露光時間、及び光照射装置5の照射強度を調整するように制御し、カメラコントローラ15の画像処理部11は、重畳画像の作成条件を調整する。例えば、カメラコントローラ15の制御部9は、入力装置19に入力された露光時間に関する情報に基づき、撮像素子3bの受光部4aの露光時間に相当するカウント数を設定する。そして、カウント数に関する情報を撮像素子3bの露光制御部4bに出力する。また、記憶装置21は、カメラコントローラ15に結合されたデータ記憶装置であり、表示用の画像データ及び解析結果のデータ、カメラコントローラ15で処理される各種画像データ、及び入力装置19によって設定される各種パラメータを記憶する。
The
ここで、光源5aの励起光出力のON/OFFタイミングと、撮像素子3bの露光タイミングと、画像処理部11による蛍光画像データの作成タイミングとの時間的関係について、図2及び図3を参照しながら説明する。図2は、カメラコントローラ15によって制御される各種動作のタイミングを示すタイミングチャートであり、(a)は光源5aの励起光出力のON/OFFタイミング、(b)は撮像素子3bの露光タイミング、(c)は画像処理部11の画像データの保存タイミング、(d)は画像処理部11の蛍光画像データの作成タイミングをそれぞれ示している。
Here, with reference to FIGS. 2 and 3, the temporal relationship between the ON / OFF timing of the excitation light output of the
図2(a),(b)に示すように、制御部9は、撮像素子3bの1フレームの露光期間に同期して交互にオン期間およびオフ期間が繰り返されるように、光源5aの励起光のON/OFFタイミングを制御する。つまり、オン期間の長さ及びオフ期間の長さと露光期間の長さ(露光時間)はほぼ同一とされ、オン期間と同じ長さで異なる期間となるようにオフ期間が設定される。例えば、オン期間、オフ期間の長さとして30msecが設定される。そして、画像処理部11は、オン期間において撮像素子3bの露光に応じて蓄積された電荷に基づいて出力された画像データをオン画像データAとして取得する。その後、画像処理部11は、後続するオフ期間において撮像素子3bの露光に応じて蓄積された電荷に基づいて出力された画像データをオフ画像データBとして取得する。このとき、最初のオン画像データAは取得された時点で画像処理部11内のメモリに記憶され、その後取得されるオフ画像データBは画像処理部11内の差分回路に入力されるとともにメモリに保存される。オフ画像データBが差分回路に入力されるタイミングでメモリ内のオン画像データAも差分回路に入力されることにより、2つの画像データの差分が算出されて蛍光画像データA−Bが作成される。続いて、後続して得られたオン画像データA’が差分回路に入力されるとともにメモリに保存さる。オン画像データA’が差分回路に入力されるタイミングでメモリ内のオフ画像データBも差分回路に入力されることにより、2つの画像データの差分が算出されて蛍光画像データA’−Bが作成される。このような処理が繰り返されることで、画像処理部11において撮像素子3bの露光期間(フレーム)毎に時系列の蛍光画像データを取得することができる。
As shown in FIGS. 2 (a) and 2 (b), the
また、図3には、制御部9により撮像装置3の露光時間が調整された場合の撮像素子3bの露光タイミングと画像処理部11による蛍光画像データの作成タイミングとの時間的関係を示している。図3は、図2に比較して露光時間が短く調整された際にカメラコントローラ15によって制御される各種動作のタイミングを示すタイミングチャートであり、(a)は光源5aの励起光出力のON/OFFタイミング、(b)は撮像素子3bの露光タイミング、(c)は画像処理部11の画像データの保存タイミング、(d)は画像処理部11の蛍光画像データの作成タイミングをそれぞれ示している。このように、オン画像データA及びオフ画像データBを取得する際の露光時間が短く調整されるに伴って、光源5aの励起光に関するオン期間及びオフ期間も露光期間に同期して短くなるように制御される。例えば、オン期間、オフ期間の長さとして15msecが設定される。
FIG. 3 shows a temporal relationship between the exposure timing of the
図4は、画像処理部11によってオン画像データGON及びオフ画像データGOFFを基に生成された蛍光画像データのイメージGFを示す図である。このように、蛍光像IMFと背景像IMBとが反映されたオン画像GONと、背景像IMBが反映されたオフ画像GOFFの差分が取られることにより、蛍光像IMFが反映された蛍光画像データを得ることができる。Figure 4 is a view showing an image G F fluorescence image data generated based on the on the image data G ON and OFF the image data G OFF by the
なお、画像処理部11により1枚のオン画像データ及び1枚のオフ画像データから作成される蛍光画像データの輝度値(画素値)が小さい場合には、次のようにして加算した画像データを基に蛍光画像データを生成することも可能とされる。すなわち、画像処理部11は、オン期間及びオフ期間の繰り返しに伴って得られた複数の同数枚のオン画像データ及び複数の同数枚のオフ画像データのそれぞれを加算し、加算後のオン画像データと加算後のオフ画像データとの差分画像データを蛍光画像データとして算出する。例えば、図3の例によれば、3枚のオン画像データA,A’,A’’を加算することにより加算後のオン画像データA+A’+A’’が生成されるとともに、3枚のオフ画像データB,B’,B’’を加算することにより加算後のオフ画像データB+B’+B’’が生成され、それらの差分を計算することで蛍光画像データ{(A+A’+A’’)−(B+B’+B’’)}が生成される。加算する画像データの枚数は、入力装置19によって設定されるパラメータで指定される。ただし、蛍光画像データを時間分解能の高い動画像として取得する観点から、30msecの間に少なくとも1枚の蛍光画像データが得られるように露光時間及び加算枚数が設定されることが好適である。
In addition, when the luminance value (pixel value) of the fluorescence image data created from one piece of on-image data and one piece of off-image data by the
続いて、カメラコントローラ15の画像解析部13による画像解析処理及び制御部9による露光時間の調整処理の詳細について説明する。図5は、画像解析部13によって算出された画像データの輝度値のヒストグラムを示すグラフ、図6は、画像解析部13による画像解析処理及び制御部9による露光時間の調整処理の手順を示すフローチャートである。
Next, details of image analysis processing by the
まず、露光時間の調整処理が開始されると、制御部9によって記憶装置21に記憶された露光時間の初期値を基に撮像装置3の露光時間が設定される(ステップS01)。この状態で画像解析部13により解析対象の画像データが取得される。この解析対象の画像データは、光源5aの励起光出力がOFFされた状態で画像処理部11によって取得されるオフ画像データが挙げられるが、光源5aの励起光出力がONされた状態で画像処理部11によって取得されるオン画像データであってもよいし、画像処理部11で生成される蛍光画像データであってもよいし、これらのうちからいずれかを選択して重畳した重畳画像データであってもよい。
First, when the exposure time adjustment process is started, the exposure time of the
次に、画像解析部13により、処理対象の画像データを対象に、画像データ中の画素の輝度値が集計されることにより、輝度値の度数分布を示すヒストグラムデータが算出される(ステップS03)。図5には、画像解析部13によって算出されたヒストグラムデータの一例を示している。このように、輝度値の最小値である0から飽和した輝度を示す輝度値の最大値(飽和輝度値)VSまでの範囲での度数分布が計算される。Next, the
さらに、画像解析部13により、算出したヒストグラムデータを基に、処理対象の画像データ中の画素のうちで飽和輝度値VSを有する画素の画素数Nが特定される(ステップS04)。その後、画像解析部13により、特定した画素数Nが予め規定されている閾値以上であるか否かが判定される(ステップS05)。判定の結果、画素数Nが閾値以上であると判定された場合には(ステップS05;YES)、制御部9により撮像装置3の露光時間を現在の設定値よりも所定時間だけ短くするように再設定され(ステップS06)、処理がステップS02に戻される。Further, the
一方、画像解析部13により、画素数Nが閾値未満であると判定された場合には(ステップS05;NO)、ヒストグラムデータを基に、処理対象の画像データ中の画素の輝度値のうちで最大値である最大輝度値VMが特定される(ステップS07)。さらに、画像解析部13により、飽和輝度値VSと最大輝度値VMとの差分値である差分輝度値VS−VMが計算される(ステップS08)。その後、画像解析部13により、差分輝度値VS−VMが予め規定されている閾値以上であるか否かが判定される(ステップS09)。判定の結果、差分輝度値VS−VMが閾値以上であると判定された場合には(ステップS09;YES)、制御部9により撮像装置3の露光時間を現在の設定値よりも所定時間だけ長くするように再設定され(ステップS10)、処理がステップS02に戻される。一方、画像解析部13により差分輝度値VS−VMが閾値未満であると判定された場合には(ステップS09;NO)、その時点で設定されている露光時間が最終的な露光時間として決定され(ステップS11)、露光時間の調整処理を終了する。その後、制御部9は、調整された露光時間に基づいて、例えば、露光時間に相当するカウント数または駆動クロックの周波数、停止時間のうち少なくとも1つを設定する。On the other hand, when the
上記の露光時間の調整処理は、露光時間の初期値の長短に対応できるような処理とされている。すなわち、ステップS04〜S06までの調整処理では、露光時間の初期値が一般的なフレームレートである30fpsに対応した露光時間30msecに設定された場合に、露光時間を最適な値にまで短くして調整することを可能にしている。これに対して、ステップS07〜S10までの調整処理では、露光時間の初期値が十分小さい時間(例えば、1msec)に設定された場合に、露光時間を最適な値にまで長くして調整することを可能にしている。ここで、ステップS04〜S06までの処理と、ステップS07〜S10までの処理は必ずしも両方実行される場合には限られず、露光時間の初期値が予め固定されている場合には、いずれかの処理が省略されていてもよい。 The exposure time adjustment process is a process that can cope with the length of the initial value of the exposure time. That is, in the adjustment process from step S04 to S06, when the initial value of the exposure time is set to an exposure time of 30 msec corresponding to a general frame rate of 30 fps, the exposure time is shortened to an optimum value. It is possible to adjust. On the other hand, in the adjustment process from step S07 to S10, when the initial value of the exposure time is set to a sufficiently small time (for example, 1 msec), the exposure time is adjusted to an optimum value for adjustment. Is possible. Here, the processing from steps S04 to S06 and the processing from steps S07 to S10 are not necessarily performed, and any processing is performed when the initial value of the exposure time is fixed in advance. May be omitted.
図7には、露光時間の初期値が比較的大きな値に設定されていた場合に露光時間の調整処理に伴って算出されたヒストグラムデータの変化の例を示している。露光時間が初期値に設定された時点では、図7のヒストグラムH1に示すように飽和輝度値VSに対応する画素数Nが閾値NThを超えているが、その後の調整処理により露光時間が調整される結果、画素数Nが減少して閾値NTh未満となり、0と飽和輝度値VSとの間の輝度値の度数分布が上昇したヒストグラムH2,H3が得られるように調整される。また、図8には、露光時間の初期値が比較的小さな値に設定されていた場合に露光時間の調整処理に伴って算出されたヒストグラムデータの変化の例を示している。露光時間が初期値に設定された時点では、図8のヒストグラムH4に示すように差分輝度値VS−VMが閾値を超えているが、その後の調整処理により露光時間が調整される結果、差分輝度値VS−VMが小さくなって閾値未満となり、輝度値の度数分布が飽和輝度値VS側によったヒストグラムH5が得られるように調整される。FIG. 7 shows an example of changes in histogram data calculated along with the exposure time adjustment process when the initial value of the exposure time is set to a relatively large value. At the time when the exposure time is set to the initial value, the number of pixels N corresponding to the saturated luminance value V S exceeds the threshold value N Th as shown in the histogram H 1 in FIG. As a result, the number N of pixels is decreased to be less than the threshold value N Th and the histograms H 2 and H 3 in which the frequency distribution of luminance values between 0 and the saturated luminance value V S is increased are obtained. Is done. FIG. 8 shows an example of changes in histogram data calculated along with the exposure time adjustment process when the initial value of the exposure time is set to a relatively small value. Results At the time of exposure time is set to an initial value, but the difference luminance values V S -V M exceeds the threshold value as shown in the histogram H 4 in FIG. 8, which is adjusted exposure time Subsequent adjustment processing becomes less than the threshold difference luminance value V S -V M is decreased, the histogram H 5 where the frequency distribution of the luminance values is due to the saturated luminance value V S side is adjusted so as to obtain.
以下、上述した蛍光画像取得システム1による蛍光画像データの生成処理の手順を説明するとともに、本実施形態の蛍光画像生成方法について詳述する。図9は、蛍光画像取得システム1による蛍光画像データの生成処理の手順を示すフローチャートである。蛍光画像取得システム1では、図9に示す処理が繰り返されることで、時系列に観察対象物Pの蛍光画像が取得できるように構成されている。
Hereinafter, the procedure of the generation process of the fluorescence image data by the fluorescence
まず、ユーザの指示入力により蛍光画像の取得処理が開始されると、撮像装置3の露光時間の調整処理が実行される(ステップS21)。そして、制御部9の制御により、撮像素子3bの露光期間に同期したタイミング(オン期間、オフ期間)において光源5aからの励起光のONN/OFFの切り換えが開始される(ステップS22)。このオン期間に同期して、画像処理部11により撮像装置3からオン画像データが取得される(ステップS23)。続いて、オフ期間に同期して、画像処理部11により撮像装置3からオフ画像データが取得される(ステップS24)。その後、画像処理部11により、オン画像データとオフ画像データとの差分が計算されることにより、蛍光画像データが作成される(ステップS25)。さらに、画像処理部11により、オフ画像データと蛍光画像データとを重畳することにより重畳画像データが作成される(ステップS26)。この重畳画像データは表示装置17に表示される。
First, when a fluorescent image acquisition process is started by an instruction input by a user, an exposure time adjustment process of the
以上説明した蛍光画像取得システム1によれば、観察対象物Pへの励起光の照射がオン期間及びオフ期間で繰り返しオン/オフされ、それぞれの期間で複数の画素を有する撮像素子3bを用いて観察対象物Pを撮像することにより、オン画像データ及びオフ画像データが出力され、それらの画像データを基に蛍光画像データが生成される。この際、撮像素子3bの複数の画素の露光時間が可変にされているので、撮像時の使用環境に応じて適切な露光時間を設定することにより、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。
According to the fluorescent
また、本実施形態では、画像データにおける画素値の飽和状態に応じて撮像素子3bの露光時間を適切な値に設定することができる。その結果、使用環境による影響が低減された適切な蛍光画像を得ることができる。すなわち、露光時間が長すぎた場合に画素が飽和してしまうことが防止されるとともに、露光時間が短すぎることによって蛍光画像データにおいてノイズが支配的になるといった事態も防止できる。例えば、手術室等の使用環境で無影灯等の照明器具が存在する場合であっても、画素の飽和及びノイズ発生を防止して明瞭な蛍光像を観察することができる。無影灯はLEDタイプ、蛍光灯タイプ、ランプタイプなどの様々な出力波長及び照度を有するものが存在する。露光時間がカメラコントローラ15の制御により可変に設定可能に構成されることにより、無影灯の種類に関係なく最適な露光時間が自動で設定される。
In the present embodiment, the exposure time of the
ここで、本実施形態では、オン期間及びオフ期間は、露光時間に応じて設定され、同一の時間に設定されている。こうすれば、励起光の照射時間を撮像素子3bの露光時間に対応して設定されることで蛍光像を効率的に撮像することができるとともに、オン画像データとオフ画像データの露光条件が揃うのでこれらから蛍光画像データを得る際に処理を簡略化できる。
さらに、画像処理部11は、加算したオン画像データと加算したオフ画像データとの差分を算出することにより、蛍光画像データを生成する。これにより、オン画像データ及びオフ画像データの個々の露光時間が短くても明瞭な蛍光画像を得ることができる。Here, in the present embodiment, the on period and the off period are set according to the exposure time, and are set to the same time. In this way, the irradiation time of the excitation light is set corresponding to the exposure time of the
Further, the
なお、本発明は、前述した実施形態に限定されるものではない。 In addition, this invention is not limited to embodiment mentioned above.
例えば、カメラコントローラ15による露光時間の調整処理は、画像解析部13の解析結果に応じて自動で制御されることには限定されず、ユーザによって入力装置19に入力された指示入力に応じて、露光時間が調整されるように実行されてもよい。
For example, the adjustment process of the exposure time by the
図10は、本発明の変形例にかかる蛍光画像取得システム1Aにおける露光時間の調整処理の流れを示すフローチャートである。まず、露光時間の調整処理が開始されると、制御部9によって記憶装置21に記憶された露光時間の初期値を基に撮像装置3の露光時間が設定される(ステップS31)。この状態で画像解析部13により解析対象の画像データが取得される。次に、画像解析部13により、処理対象の画像データを対象に、画像データ中の画素の輝度値が集計されることにより、輝度値の度数分布を示すヒストグラムデータが算出されるとともに、画素数N、差分輝度値VS−VM等の解析結果が算出される(ステップS33)。FIG. 10 is a flowchart showing the flow of exposure time adjustment processing in the fluorescence image acquisition system 1A according to the modification of the present invention. First, when the exposure time adjustment process is started, the exposure time of the
その後、画像解析部13により算出されたヒストグラムデータ、及び画像解析部13により作成された解析結果のデータが表示装置17に表示される(ステップS34)。図11には、このときに表示装置17に出力される情報のレイアウトの一例を示している。図11(a)に示されるように、表示装置17の画面上において、領域A1にはオフ画像データを基に外観画像が表示され、領域A2には蛍光画像データを基に蛍光画像が表示され、領域A3にはオフ画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域A4には蛍光画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域A5には、画素数N、差分輝度値VS−VM等の解析結果を含む各種パラメータが表示される。また、表示装置17には、図11(b)に示すようなレイアウトで情報が表示されてもよい。すなわち、表示装置17の画面上において、領域A6には重畳画像データを基に重畳画像が表示され、領域A7にはオフ画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域A8には蛍光画像データを基に算出されたヒストグラムがグラフ形式で表示され、領域A9には、画素数N、差分輝度値VS−VM等の解析結果を含む各種パラメータが表示される。Thereafter, the histogram data calculated by the
これに対して、ユーザによって表示装置17上に出力された表示情報を基に露光時間調整の要否が判断され、入力装置19にユーザから露光時間の変更の指示入力が為される。カメラコントローラ15の制御部9は、ユーザによって露光時間の変更の指示入力が為されたか否かを判定する(ステップS35)。判定の結果、露光時間の変更指示が為されたと判定された場合には(ステップS35;YES)、制御部9により撮像装置3の露光時間が再設定され(ステップS36)、処理がステップS32に戻される。一方、露光時間の変更指示が無かったと判定された場合には(ステップS35;NO)、その時点で設定されている露光時間が最終的な露光時間として決定され(ステップS37)、露光時間の調整処理を終了する。その後、制御部9は、調整された露光時間に基づいて、例えば、露光時間に相当するカウント数または駆動クロックの周波数、停止時間のうち少なくとも1つを設定する。
On the other hand, whether or not the exposure time adjustment is necessary is determined based on the display information output on the
このような変形例によれば、撮像素子3bの露光時間を調整する際の判断材料としての解析結果を可視化することができ、ユーザによる露光時間の設定が容易となる。これにより、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることができる。
According to such a modification, it is possible to visualize an analysis result as a judgment material when adjusting the exposure time of the
また、上述した実施形態においては、1枚のオン画像データ及び1枚のオフ画像データから作成される蛍光画像データの輝度値が小さい場合には、次のようにして蛍光画像データが生成されてもよい。すなわち、画像処理部11は、オン期間及びオフ期間の繰り返しに伴って交互に得られるオン画像データ及びオフ画像データを基に、それらの差分を算出することにより差分画像データを繰り返し生成し、それらの差分画像データを加算することにより蛍光画像データを算出してもよい。例えば、図3の例によれば、オン画像データA、及びオフ画像データBの差分を算出することにより差分画像データA−Bを算出し、その後同様な処理を繰り返すことにより差分画像データA’−B、及び差分画像データA’−B’を算出し、それらの差分画像データを加算することにより蛍光画像データ{(A−B)+(A’−B)+(A’−B’)}を生成する。このような処理によっても、露光時間が比較的短い場合でも明瞭な蛍光画像が得られる。
In the above-described embodiment, when the luminance value of the fluorescence image data created from one piece of on-image data and one piece of off-image data is small, the fluorescence image data is generated as follows. Also good. That is, the
本発明は、測定対象の蛍光を撮像することにより蛍光画像を生成する蛍光画像生成装置及び蛍光画像生成方法を使用用途とし、簡易な操作で使用環境による影響が低減された適切な蛍光画像を得ることを可能にするものである。 The present invention uses a fluorescence image generation apparatus and a fluorescence image generation method for generating a fluorescence image by imaging fluorescence of a measurement target, and obtains an appropriate fluorescence image with reduced influence by the use environment with a simple operation. It makes it possible.
1…蛍光画像取得システム、3…撮像装置(撮像部)、3b…撮像素子、4a…受光部、4b…露光制御部、3c…撮像制御部(設定部)、5…光照射装置(光照射部)、5a…光源、11…画像処理部、13…画像解析部、15…カメラコントローラ(設定部)、17…表示装置、19…入力装置、21…記憶装置、H1,H2,H3,H4,H5…ヒストグラム、L1…励起光、L2…蛍光、P…観察対象物。DESCRIPTION OF
Claims (15)
励起光を出力する光源を有し、第1の期間において前記対象物に対して励起光を照射し、前記第1の期間と異なる第2の期間において前記励起光の照射を停止し、前記励起光の照射と停止とを繰り返す光照射部と、
2次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて前記受光部の露光を制御する制御部とを有し、前記対象物を撮像することによって、前記第1の期間に対応する第1の画像データ及び前記第2の期間に対応する第2の画像データを出力する撮像部と、
前記第1の画像データ及び前記第2の画像データに基づいて、蛍光画像データを生成する画像処理部と、
前記受光部の露光時間を可変に設定する設定部と、
を備える蛍光画像生成装置。A fluorescence image generation device that generates a fluorescence image by imaging fluorescence emitted from an object,
A light source that outputs excitation light; irradiates the object with excitation light in a first period; stops irradiating the excitation light in a second period different from the first period; and A light irradiation unit that repeats irradiation and stop of light; and
The first period includes a light receiving unit including a plurality of pixels arranged two-dimensionally and a control unit that controls exposure of the light receiving unit based on a driving clock, and images the object. An imaging unit that outputs first image data corresponding to the second image data corresponding to the second period;
An image processing unit that generates fluorescence image data based on the first image data and the second image data;
A setting unit for variably setting an exposure time of the light receiving unit;
A fluorescence image generating apparatus comprising:
前記制御部は、前記受光部の前記露光時間を制御するために、設定された前記カウント数に基づいて前記駆動クロックをカウントする、
請求項1記載の蛍光画像生成装置。The setting unit variably sets a count number of the driving clock corresponding to the exposure time;
The control unit counts the drive clock based on the set count number in order to control the exposure time of the light receiving unit.
The fluorescent image generating apparatus according to claim 1.
前記解析部は、前記複数の画素のうち画素値が飽和した画素を特定する、
請求項1又は2記載の蛍光画像生成装置。An analysis unit that analyzes pixel values corresponding to the plurality of pixels based on at least one of the first image data, the second image data, and the fluorescence image data;
The analysis unit identifies a pixel whose pixel value is saturated among the plurality of pixels.
The fluorescent image generating apparatus according to claim 1 or 2.
前記設定部は、前記飽和した画素の数に基づいて前記露光時間を設定する、
請求項3記載の蛍光画像生成装置。The analysis unit calculates the number of saturated pixels,
The setting unit sets the exposure time based on the number of saturated pixels;
The fluorescent image generating apparatus according to claim 3.
前記解析部は、画素が飽和したことを示す飽和画素値と、前記複数の画素に対応する画素値の最大値との差である差分値を算出する、
請求項1又は2記載の蛍光画像生成装置。An analysis unit that analyzes pixel values corresponding to the plurality of pixels based on at least one of the first image data, the second image data, and the fluorescence image data;
The analysis unit calculates a difference value that is a difference between a saturated pixel value indicating that the pixel is saturated and a maximum value of pixel values corresponding to the plurality of pixels;
The fluorescent image generating apparatus according to claim 1 or 2.
請求項5記載の蛍光画像生成装置。The setting unit sets the exposure time based on the difference value;
The fluorescent image generating apparatus according to claim 5.
請求項1〜6のいずれか1項に記載の蛍光画像生成装置。The light irradiation unit is configured to be able to variably set the lengths of the first period and the second period.
The fluorescence image generation apparatus of any one of Claims 1-6.
請求項1〜7のいずれか1項に記載の蛍光画像生成装置。The first period and the second period are set according to the exposure time,
The fluorescence image generation device according to any one of claims 1 to 7.
請求項1〜8のいずれか1項に記載の蛍光画像生成装置。The first period and the second period are set to the same time.
The fluorescence image generation apparatus of any one of Claims 1-8.
請求項1〜9のいずれか1項に記載の蛍光画像生成装置。The setting unit variably sets the exposure time in a range of at least 1 msec and less than 30 msec;
The fluorescence image generation apparatus of any one of Claims 1-9.
請求項1〜10のいずれか1項に記載の蛍光画像生成装置。The image processing unit adds each of the plurality of first image data and the plurality of second image data obtained by repetition of the first period and the second period, Calculating the difference between the first image data and the plurality of second image data after addition, and generating the fluorescence image data,
The fluorescence image generation apparatus of any one of Claims 1-10.
請求項1〜10のいずれか1項に記載の蛍光画像生成装置。The image processing unit calculates a difference between the first image data and the second image data, repeatedly generates difference image data, adds the plurality of the repeatedly generated difference image data, and adds the fluorescence Generate image data,
The fluorescence image generation apparatus of any one of Claims 1-10.
請求項1〜12のいずれか1項に記載の蛍光画像生成装置。The image processing unit generates at least one fluorescent image data in 30 msec;
The fluorescence image generation apparatus of any one of Claims 1-12.
請求項3又は5に記載の蛍光画像生成装置。A display unit for displaying a result analyzed by the analysis unit;
The fluorescence image generation device according to claim 3 or 5.
前記対象物に対して励起光を照射する光照射部を用いて、第1の期間において前記励起光を照射し、前記第1の期間と異なる第2の期間において前記励起光の照射を停止するステップと、
前記励起光の照射と停止とを繰り返すステップと、
2次元的に配列された複数の画素を含む受光部と、駆動クロックに基づいて前記受光部の露光を制御する制御部とを有する撮像部を用いて前記対象物を撮像することによって、前記第1の期間に対応する第1の画像データ及び前記第2の期間に対応する第2の画像データを出力するステップと、
画像処理部を用いて、前記第1の画像データ及び前記第2の画像データに基づいて、蛍光画像データを生成するステップと、
前記受光部の露光時間を可変に設定するステップと、
を備える蛍光画像生成方法。A fluorescence image generation method for generating a fluorescence image by imaging fluorescence emitted from an object,
Using the light irradiation unit that irradiates the object with excitation light, the excitation light is irradiated in a first period, and the irradiation of the excitation light is stopped in a second period different from the first period. Steps,
Repeating the excitation light irradiation and stopping;
By imaging the object using an imaging unit having a light receiving unit including a plurality of pixels arranged two-dimensionally and a control unit that controls exposure of the light receiving unit based on a drive clock, Outputting first image data corresponding to one period and second image data corresponding to the second period;
Generating fluorescence image data based on the first image data and the second image data using an image processing unit;
Variably setting an exposure time of the light receiving unit;
A fluorescent image generation method comprising:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/057891 WO2016147315A1 (en) | 2015-03-17 | 2015-03-17 | Device for generating fluorescence image and method for generating fluorescence image |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016147315A1 true JPWO2016147315A1 (en) | 2017-12-28 |
JP6450832B2 JP6450832B2 (en) | 2019-01-09 |
Family
ID=56919884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017505922A Active JP6450832B2 (en) | 2015-03-17 | 2015-03-17 | Fluorescence image generation apparatus and fluorescence image generation method |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180080877A1 (en) |
EP (1) | EP3273223A4 (en) |
JP (1) | JP6450832B2 (en) |
WO (1) | WO2016147315A1 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017118296A (en) * | 2015-12-24 | 2017-06-29 | キヤノン株式会社 | Imaging apparatus, image processing apparatus, image processing method, image processing program, and storage medium |
US10523874B2 (en) * | 2016-02-16 | 2019-12-31 | Sony Corporation | Image processing apparatus, image processing method, and program |
US10645302B2 (en) * | 2017-03-30 | 2020-05-05 | Egis Technology Inc. | Image sensing device having adjustable exposure periods and sensing method using the same |
US11528466B2 (en) * | 2018-03-08 | 2022-12-13 | Emza Visual Sense Ltd. | Method and system to calibrate a camera clock using flicker |
US20190281193A1 (en) * | 2018-03-08 | 2019-09-12 | Emza Visual Sense Ltd | Method and system to calibrate a camera clock using flicker |
US10565678B2 (en) * | 2018-03-23 | 2020-02-18 | Microsoft Technology Licensing, Llc | Asynchronous camera frame allocation |
US11796679B2 (en) * | 2018-05-29 | 2023-10-24 | Sony Semiconductor Solutions Corporation | Time of flight sensor and method |
JPWO2020045014A1 (en) * | 2018-08-28 | 2021-08-12 | ソニーグループ株式会社 | Medical system, information processing device and information processing method |
US20220028301A1 (en) * | 2019-01-30 | 2022-01-27 | Sony Group Corporation | Encryption device and encryption method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008082922A (en) * | 2006-09-28 | 2008-04-10 | Sanyo Electric Co Ltd | Photographing device and cell observing device |
JP2009150829A (en) * | 2007-12-21 | 2009-07-09 | Olympus Corp | Biological sample observation method |
JP2009182461A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Imaging device |
WO2012043771A1 (en) * | 2010-09-30 | 2012-04-05 | オリンパスメディカルシステムズ株式会社 | Imaging device |
WO2012105445A1 (en) * | 2011-01-31 | 2012-08-09 | オリンパス株式会社 | Fluorescence observation device |
JP2013042998A (en) * | 2011-08-25 | 2013-03-04 | Olympus Corp | Automatic exposure controller, controller, endoscope and automatic exposure control method |
JP2013056001A (en) * | 2011-09-07 | 2013-03-28 | Olympus Corp | Fluorescence observation device |
JP2013079841A (en) * | 2011-10-03 | 2013-05-02 | Hamamatsu Photonics Kk | Fluorescent light observation apparatus and fluorescent light observation method |
JP2014150412A (en) * | 2013-02-01 | 2014-08-21 | Hamamatsu Photonics Kk | Image acquisition device and imaging device |
JP2014196953A (en) * | 2013-03-29 | 2014-10-16 | 浜松ホトニクス株式会社 | Fluorescence observation apparatus and fluorescence observation method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004054439A2 (en) * | 2002-12-13 | 2004-07-01 | Ietmed Ltd. | Optical examination method and apparatus particularly useful for real-time discrimination of tumors from normal tissues during surgery |
US20060018013A1 (en) * | 2004-07-07 | 2006-01-26 | Yoshimasa Suzuki | Microscope imaging apparatus and biological-specimen examination system |
DE102005045961B4 (en) * | 2005-09-26 | 2018-11-15 | Siemens Healthcare Gmbh | Method and device for displaying a tissue containing a fluorescent dye |
US8055034B2 (en) * | 2006-09-13 | 2011-11-08 | Fluidigm Corporation | Methods and systems for image processing of microfluidic devices |
US20080224067A1 (en) * | 2007-03-13 | 2008-09-18 | David Clark | Laser forensic detection method and apparatus |
WO2009079481A2 (en) * | 2007-12-14 | 2009-06-25 | University Of Pittsburgh - Of The Commonwealth System Of Higher Education | Methods to diagnose and immunize against the virus causing human merkel cell carcinoma |
CA2737116C (en) * | 2008-09-16 | 2019-01-15 | Historx, Inc. | Reproducible quantification of biomarker expression |
KR101669470B1 (en) * | 2009-10-14 | 2016-10-26 | 삼성전자주식회사 | Semiconductor device including metal silicide layer |
US9058648B2 (en) * | 2012-03-15 | 2015-06-16 | Bio-Rad Laboratories, Inc. | Image acquisition for chemiluminescent samples |
US8717095B2 (en) * | 2012-07-09 | 2014-05-06 | Siemens Energy, Inc. | Chopper circuitry operable in a high temperature environment of a turbine engine |
JP6361327B2 (en) * | 2014-07-02 | 2018-07-25 | セイコーエプソン株式会社 | Electro-optical device and electronic apparatus |
-
2015
- 2015-03-17 JP JP2017505922A patent/JP6450832B2/en active Active
- 2015-03-17 EP EP15885411.7A patent/EP3273223A4/en not_active Withdrawn
- 2015-03-17 WO PCT/JP2015/057891 patent/WO2016147315A1/en active Application Filing
- 2015-03-17 US US15/558,490 patent/US20180080877A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008082922A (en) * | 2006-09-28 | 2008-04-10 | Sanyo Electric Co Ltd | Photographing device and cell observing device |
JP2009150829A (en) * | 2007-12-21 | 2009-07-09 | Olympus Corp | Biological sample observation method |
JP2009182461A (en) * | 2008-01-29 | 2009-08-13 | Panasonic Electric Works Co Ltd | Imaging device |
WO2012043771A1 (en) * | 2010-09-30 | 2012-04-05 | オリンパスメディカルシステムズ株式会社 | Imaging device |
WO2012105445A1 (en) * | 2011-01-31 | 2012-08-09 | オリンパス株式会社 | Fluorescence observation device |
JP2013042998A (en) * | 2011-08-25 | 2013-03-04 | Olympus Corp | Automatic exposure controller, controller, endoscope and automatic exposure control method |
JP2013056001A (en) * | 2011-09-07 | 2013-03-28 | Olympus Corp | Fluorescence observation device |
JP2013079841A (en) * | 2011-10-03 | 2013-05-02 | Hamamatsu Photonics Kk | Fluorescent light observation apparatus and fluorescent light observation method |
JP2014150412A (en) * | 2013-02-01 | 2014-08-21 | Hamamatsu Photonics Kk | Image acquisition device and imaging device |
JP2014196953A (en) * | 2013-03-29 | 2014-10-16 | 浜松ホトニクス株式会社 | Fluorescence observation apparatus and fluorescence observation method |
Also Published As
Publication number | Publication date |
---|---|
WO2016147315A1 (en) | 2016-09-22 |
EP3273223A4 (en) | 2018-09-26 |
JP6450832B2 (en) | 2019-01-09 |
US20180080877A1 (en) | 2018-03-22 |
EP3273223A1 (en) | 2018-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6450832B2 (en) | Fluorescence image generation apparatus and fluorescence image generation method | |
JP7070412B2 (en) | Control devices, control systems, and control methods | |
JP2005198794A (en) | Endoscope | |
WO2016147822A1 (en) | Superimposed image creation apparatus and superimposed image creation method | |
US20190125174A1 (en) | Electronic endoscope system | |
JP6203452B1 (en) | Imaging system | |
WO2015115151A1 (en) | Fluorescence viewer | |
WO2016158376A1 (en) | Image processing apparatus | |
JP2012239757A (en) | Medical equipment and medical processor | |
JP2010279579A (en) | Image obtaining method and endoscopic apparatus | |
JP2016123576A (en) | Fluorescent observation apparatus | |
JP7399151B2 (en) | Light source device, medical observation system, adjustment device, lighting method, adjustment method and program | |
JP6452355B2 (en) | Image capturing apparatus, control method therefor, and program | |
JP5694492B2 (en) | Endoscope device | |
JP6535701B2 (en) | Imaging device | |
JP2016005804A (en) | Endoscope apparatus | |
JP6353962B2 (en) | Endoscope device | |
JP6046854B2 (en) | Endoscope device | |
JP6508900B2 (en) | Imaging system and control method therefor | |
JP5816765B2 (en) | Endoscope device | |
JP2005168828A (en) | Autologous fluorescence electronic endoscope apparatus | |
JP6113033B2 (en) | Endoscope device | |
JP2017209343A (en) | Control device | |
JP2021126153A (en) | Medical image processing device and medical observation system | |
JP2023018543A (en) | Endoscope system and operation method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180814 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450832 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |