WO2013051317A1 - 蛍光観測装置及び蛍光観測方法 - Google Patents

蛍光観測装置及び蛍光観測方法 Download PDF

Info

Publication number
WO2013051317A1
WO2013051317A1 PCT/JP2012/067978 JP2012067978W WO2013051317A1 WO 2013051317 A1 WO2013051317 A1 WO 2013051317A1 JP 2012067978 W JP2012067978 W JP 2012067978W WO 2013051317 A1 WO2013051317 A1 WO 2013051317A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
fluorescence
difference
field
output
Prior art date
Application number
PCT/JP2012/067978
Other languages
English (en)
French (fr)
Inventor
太加之 佐藤
Original Assignee
浜松ホトニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 浜松ホトニクス株式会社 filed Critical 浜松ホトニクス株式会社
Priority to EP12838958.2A priority Critical patent/EP2765406B1/en
Priority to CN201280048908.9A priority patent/CN103842802B/zh
Priority to US14/348,064 priority patent/US9404866B2/en
Publication of WO2013051317A1 publication Critical patent/WO2013051317A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/91—Investigating the presence of flaws or contamination using penetration of dyes, e.g. fluorescent ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Definitions

  • the present invention relates to a fluorescence observation apparatus and a fluorescence observation method that supply excitation light to an observation object and acquire an observation image of fluorescence from the observation object.
  • a fluorescence observation device that supplies and irradiates an observation target with excitation light having a predetermined wavelength and acquires an observation image of fluorescence generated in the target using an imaging device is used in various fields such as the medical field. ing.
  • fluorescence observation when it is desired to observe a temporal change in the state of an object, a method is used in which images are acquired in time series at a predetermined frame rate and the object is observed as a moving image. (For example, refer to Patent Documents 1 and 2).
  • JP-A-10-151104 Japanese Unexamined Patent Publication No. 7-155292
  • the fluorescence image acquired with excitation light supplied, and the state without fluorescence without supplying excitation light In some cases, a method of extracting and confirming an image component of fluorescence by generating and displaying a difference image with the background image acquired in step 1 may be used.
  • a method of extracting and confirming an image component of fluorescence by generating and displaying a difference image with the background image acquired in step 1 may be used.
  • the conventional configuration as described above, when acquiring an image in time series and observing an object with a moving image, it is difficult to generate a difference image from which fluorescence is extracted in a moving image in real time. is there.
  • the present invention has been made to solve the above-described problems, and in a configuration for acquiring fluorescence observation images of an object in time series, fluorescence capable of generating an image from which fluorescence is extracted in real time.
  • An object is to provide an observation apparatus and a fluorescence observation method.
  • the fluorescence observation apparatus can (1) supply excitation light for fluorescence observation to an observation object and switch ON / OFF of excitation light supply. And (2) taking an optical image from the observation object, and alternately obtaining the first field image and the second field image in time series as image data of the observation object obtained.
  • An interlaced imaging device for output, (3) image storage means for storing the first field image or the second field image output from the imaging device, and (4) the first field output from the imaging device.
  • the excitation light supply means acquires the fluorescence image by turning on the supply of excitation light for one of the image acquisition period of the first field and the image acquisition period of the second field by the imaging device.
  • the excitation light is supplied so that the other is a period for obtaining the background image by turning off the supply of the excitation light
  • the difference image generation means outputs a fluorescence image from the imaging device as its generation mode.
  • the second mode in which the background image is subtracted from the fluorescence image acquired before and stored in the image storage means to switch to the second mode in which the difference image is generated is applied.
  • the fluorescence observation method includes (1) excitation light supply means that supplies excitation light for fluorescence observation to an observation target and can switch ON / OFF of supply of excitation light; 2) an interlaced imaging device that captures a light image from the observation object and outputs the first field image and the second field image alternately in time series as the obtained image data of the observation object; (3) using a fluorescence observation device including an image storage means for storing an image of the first field or an image of the second field output from the imaging device, and (4) an image of the first field output from the imaging device. And a difference image for generating a difference image obtained by taking a difference between one of the second field image and the other of the first field image and the second field image stored in the image storage means.
  • a first mode in which a difference image is generated by subtracting a background image acquired before and stored in the image storage unit from the fluorescent image, and a background image is output from the imaging device
  • the background image is switched to the second mode in which the difference image is generated by subtracting the background image from the fluorescence image previously acquired and stored in the image storage means. Characterized in that it.
  • an interlaced imaging device in the time series acquisition of the fluorescence observation image of the object, an interlaced imaging device is used, and the image acquisition period of the first field and the image acquisition period of the second field are used.
  • the field image acquisition operation by the imaging device and the ON / OFF operation of excitation light supply by the excitation light supply means are controlled in synchronization so that one of them is the fluorescence image acquisition period and the other is the background image acquisition period.
  • an image storage means is provided as a field memory for the fluorescent image or background image output in time series from the imaging device.
  • the image stored in the image storage unit is the background acquired in the previous background image acquisition period. It is an image.
  • the image stored in the image storage unit is a fluorescence image acquired in the previous fluorescence image acquisition period. Yes.
  • difference image generation means for extracting the fluorescence image component of the observation image is provided for the imaging device and the image storage means. Then, in the generation of the difference image, a first mode in which the background image immediately before the output of the image storage unit is subtracted from the fluorescence image output from the imaging device to obtain a difference image, and the output immediately before the output of the image storage unit The second mode in which the background image of the output of the imaging device is subtracted from the fluorescence image is used as a difference image in synchronization with the operations of the imaging device and the excitation light supply means.
  • the field image acquisition operation by the interlaced imaging device and the excitation light supply ON / OFF operation by the excitation light supply unit are controlled in synchronization, and the imaging device
  • the image storage means is provided for the fluorescence image and the background image output in time series from the image pickup device
  • the difference image generation means is provided for the imaging device and the image storage means.
  • a first mode in which the background image output from the image storage means is subtracted from the image to obtain a difference image and a second mode in which the background image output from the imaging apparatus is subtracted from the fluorescence image output from the image storage means to obtain a difference image.
  • FIG. 1 is a block diagram showing the configuration of the first embodiment of the fluorescence observation apparatus.
  • FIG. 2 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • FIG. 3 is a block diagram showing the configuration of the second embodiment of the fluorescence observation apparatus.
  • FIG. 4 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • FIG. 5 is a diagram illustrating generation of a false difference image component in a difference image.
  • FIG. 6 is a diagram illustrating removal of a fake difference image component by filter processing.
  • FIG. 7 is a diagram illustrating generation of a fake difference image component in a difference image.
  • FIG. 1 is a block diagram showing the configuration of the first embodiment of the fluorescence observation apparatus.
  • FIG. 2 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • FIG. 3 is a block diagram showing the
  • FIG. 8 is a diagram illustrating removal of a fake difference image component by filtering.
  • FIG. 9 is a timing chart showing another example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • FIG. 10 is a block diagram showing the configuration of the third embodiment of the fluorescence observation apparatus.
  • FIG. 11 is a block diagram showing an example of the configuration of the distribution image generation unit in the fluorescence observation apparatus shown in FIG.
  • FIG. 12 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • FIG. 13 is a diagram illustrating an example of an observation image acquired in the fluorescence observation apparatus.
  • FIG. 1 is a block diagram showing the configuration of the first embodiment of the fluorescence observation apparatus.
  • the fluorescence observation apparatus 1A according to the present embodiment is configured to observe the object 10 as a moving image by acquiring the fluorescence observation images in time series at a predetermined frame rate for the observation object 10.
  • the fluorescence observation apparatus 1A includes an observation light source 11, an imaging device 12, a field memory 15, a difference calculator 20, and a switching signal generation unit 25.
  • the observation light source 11 is excitation light supply means configured to supply excitation light having a predetermined wavelength for fluorescence observation to the observation object 10 and to be able to switch on / off the supply of excitation light.
  • the imaging device 12 captures an optical image from the object 10, and as image data of the object 10, an interlace that alternately outputs a first field image and a second field image in time series.
  • Type imaging device for example, a standard synchronous interlaced video camera of the NTSC system or the PAL system can be used.
  • the operation of the observation light source 11 is controlled so as to supply excitation light to the object 10 in synchronization with the operation of the imaging device 12.
  • the light source 11 is generated in the object 10 with one of the image acquisition period of the first field and the image acquisition period of the second field by the imaging device 12 when the excitation light supply is turned on.
  • the fluorescence image acquisition period for acquiring the fluorescence image including the fluorescence image component is performed, and the other period is the background image (for example, the normal image of the target object 10) that does not include the fluorescence image component with the supply of excitation light turned off.
  • the excitation light is supplied to the object 10 so as to be the background image acquisition period for acquiring.
  • a switching signal generation unit that generates a switching signal that switches in synchronization with the image acquisition period of the first and second fields based on the signal from the imaging device 12. 25 is provided. Then, when the switching signal from the switching signal generation unit 25 is input to the light source 11, the acquisition of the first and second field images in the imaging device 12 and the ON / OFF of the excitation light supply in the light source 11 are synchronized. Control is realized.
  • one of the first and second field images output from the imaging device 12 is a fluorescent image and the other is a background image.
  • a field memory 15 is provided as an image storage means for storing the first field image or the second field image (fluorescence image or background image) output from the imaging device 12 for the imaging device 12.
  • a difference calculator 20 is provided for image output from the imaging device 12 and image output from the field memory 15.
  • the difference computing unit 20 includes one of the first and second field images output from the imaging device 12 and the first and second field images stored in the field memory 15 and output to the computing unit 20. It is a difference image generation means for generating a difference image obtained by taking a difference from the other.
  • the switching signal from the switching signal generator 25 is input to the difference calculator 20 in the same manner as the observation light source 11.
  • the difference calculator 20 refers to the input switching signal, and switches between the first mode and the second mode, which are different in the difference image generation method, as the difference calculation generation mode.
  • the first mode is applied when a fluorescent image is output from the imaging device 12, and a difference image is generated by subtracting a background image acquired before and stored in the field memory 15 from the fluorescent image.
  • the second mode is applied when a background image is output from the imaging device 12, and a difference image is generated by subtracting the background image from the fluorescence image acquired before and stored in the field memory 15. .
  • an arithmetic logic unit (ALU: ArithmetichmLogic Unit) is used as the difference computing unit 20.
  • the output (camera output) of the imaging device 12 is connected to the A input terminal of the difference calculator 20, and the output (memory output) of the field memory 15 is connected to the B input terminal. Further, a difference image as a calculation result is output from the Y output terminal of the difference calculator 20. In the difference calculation, when the calculation result is negative, the output is 0.
  • the display device 50 is connected to the difference calculator 20, and the difference image generated by the difference calculator 20 is displayed on the display device 50.
  • a display device 50 may be configured to include an image output device other than the display device. Or it is good also as a structure which sends out the data of the obtained difference image outside without providing image output apparatuses, such as a display apparatus.
  • FIG. 2 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG. In this timing chart, (a) excitation light supply ON / OFF operation in the observation light source 11, (b) first and second field image acquisition operations in the imaging device 12, (c) A input of the difference calculator 20 (D) a memory output as a B input, and (e) a difference image generated by a difference calculation.
  • a frame acquisition period T10 for acquiring an image of one frame includes a first period T11 for acquiring an image of the first field and a second period T12 for acquiring an image of the second field. It is configured.
  • the supply of excitation light is turned off in the first period T11, the first field image acquired in that period (background image acquisition period) is used as the background image, and in the second period T12.
  • the supply of excitation light is turned on, and the second field image acquired during that period (fluorescence image acquisition period) is used as the fluorescence image (excitation light supply step).
  • the fluorescence image acquired as an image of the second field in the imaging device 12 is output from the imaging device 12 in the subsequent first period T11, and is input to the difference calculator 20 by the A input. Input to the terminal. Further, in the first period T11, the background image output from the imaging device 12 in the previous second period T02 is stored in the field memory 15, and this background image is stored in the difference calculator 20 from the field memory 15. Input to B input terminal.
  • the difference calculator 20 executes AB calculation by subtracting the B input background image from the A input fluorescence image, thereby generating a difference image from which fluorescence is extracted (difference image generation step). .
  • the background image acquired as the first field image in the imaging device 12 in the first period T11 of the frame acquisition period T10 is output from the imaging device 12 in the subsequent second period T12, and the A input of the difference calculator 20 is input. Input to the terminal.
  • the field memory 15 stores the fluorescence image output from the imaging device 12 in the previous first period T11, and the fluorescence image is stored in the difference calculator 20 from the field memory 15. Input to B input terminal.
  • the second mode is applied as the operation mode of the difference calculator 20.
  • the difference calculator 20 executes a BA operation for subtracting the A input background image from the B input fluorescence image, thereby generating a difference image from which fluorescence is extracted (difference image generation step).
  • Such supply of excitation light from the light source 11, image acquisition by the imaging device 12, switching of the operation mode by the difference calculator 20, and generation of a difference image are performed in a first period and a second period in each frame acquisition period. By repeatedly performing the period, a difference image from which fluorescence is extracted is generated in each field image acquisition period.
  • the excitation light supply ON / OFF, the fluorescence image / background image acquisition, and the difference calculation mode switching in the first and second periods are not limited to the configuration shown in FIG.
  • the excitation light supply may be turned on to obtain a fluorescence image, and the excitation light supply may be turned off in the second period to obtain a background image.
  • the interlaced imaging device 12 is used and the first field image is used.
  • the field image acquisition operation by the imaging device 12 and the excitation light supply ON by the observation light source 11 are turned on so that one of the acquisition period T11 and the second field image acquisition period T12 is the fluorescence image acquisition period and the other is the background image acquisition period. Control in synchronization with / OFF operation.
  • the fluorescence image in the state where the excitation light is supplied and the background image in the state where the excitation light is not supplied are the first field image or the second image. It is alternately output as a field image in time series.
  • a field memory 15 is provided for a fluorescent image or a background image output in time series from the imaging device 12.
  • the fluorescence image output from the imaging device 12 and the background image are alternately input and stored in time series as a first field image or a second field image.
  • the observation image stored in the field memory 15 is acquired in the previous background image acquisition period. It is a background image.
  • the background image acquired in the background image acquisition period is output from the imaging device 12, the observation image stored in the field memory 15 is the same as the fluorescence image acquired in the previous fluorescence image acquisition period. It has become.
  • the difference calculator 20 for extracting the fluorescence image component of the observation image is provided for the imaging device 12 and the field memory 15. Then, in the generation of the difference image, the first mode in which the background image immediately before the output of the memory 15 is subtracted from the fluorescence image output from the imaging device 12 and the difference image is generated, and the output immediately before the output of the memory 15
  • the second mode in which the background image of the output of the imaging device 12 is subtracted from the fluorescence image to obtain a differential image is applied by switching alternately in synchronization with the operations of the imaging device 12 and the light source 11.
  • the image from which the fluorescence is extracted can be generated in real time without reducing the image update speed without changing the moving image.
  • the frame rate for image acquisition is 30 frames / second
  • the image acquisition rate for the first and second fields in the interlace operation is 60 fields / second, twice that rate.
  • the difference image generation mode is switched for each field image acquisition period as described above, a difference image can be generated and output at 60 images / second in synchronization with the field image acquisition operation. It becomes possible.
  • the fluorescence observation apparatus 1A generates a switching signal that generates a switching signal that switches in synchronization with the image acquisition period of the first field and the image acquisition period of the second field based on the signal from the imaging apparatus 12.
  • the difference calculator 20 uses a configuration in which the first mode and the second mode are switched and applied based on the switching signal. As described above, by using the switching signal generated in synchronization with the image acquisition periods of the first and second fields based on the signal from the imaging device 12, the first mode and the second mode in the generation of the difference image. Can be suitably realized.
  • FIG. 3 is a block diagram showing the configuration of the second embodiment of the fluorescence observation apparatus.
  • the fluorescence observation apparatus 1B includes an observation light source 11, an imaging apparatus 12, a field memory 15, a difference calculator 20, a MAX / MIN filter 21, a line memory 22, a switching signal generation unit 25,
  • the display device 50 is provided.
  • the configurations of the observation light source 11, the imaging device 12, the field memory 15, the difference calculator 20, the switching signal generation unit 25, and the display device 50 are the same as those of the first embodiment shown in FIG. is there.
  • the observation object 10 is not shown.
  • a MAX / MIN filter 21 is provided for the fluorescent image or background image output from the field memory 15 to the difference calculator 20.
  • This filter 21 is a plurality of pixels obtained by adding a pixel within a predetermined range in the vicinity of a target pixel to the luminance of each pixel (pixel) included in the image output from the memory 15.
  • Maximum filter (MAX filter) processing that uses the maximum luminance as the luminance of the target pixel, or a minimum filter that uses the minimum luminance at a plurality of pixels obtained by adding pixels within a predetermined range near the target pixel as the luminance of the target pixel
  • Filter processing means for performing (MIN filter) processing for performing (MIN filter) processing.
  • a line memory 22 is provided for the MAX / MIN filter 21.
  • the line memory 22 stores the line image data of the scanning line including the pixels within the predetermined range near the target pixel with respect to the line image data of the scanning line (scanning line) including the target pixel in the filtering process.
  • the second image storage means is configured by a memory for one line or a plurality of lines according to the contents of the filter processing executed in the filter 21. Among the field image data output from the field memory 15, one or a plurality of line image data necessary for the filter processing executed by the filter 21 is stored in the line memory 22. In addition, regarding the reading of image data from the memory 15 to the filter 21 and the memory 22, a predetermined amount of data is quickly read out as necessary in order to match the timing with the image data output from the imaging device 12. .
  • the switching signal from the switching signal generation unit 25 is input to the MAX / MIN filter 21 in the same manner as the light source 11 and the difference calculator 20.
  • the filter 21 refers to the input switching signal, and includes a first mode in which a background image is output from the field memory 15 as a processing target in the filter 21 and a second mode in which a fluorescent image is output from the field memory 15.
  • the maximum filter processing and the minimum filter processing are alternately switched in synchronization with the operations of the imaging device 12, the light source 11, and the difference calculator 20. That is, the MAX / MIN filter 21 performs the maximum filter process on the image from the memory 15 in one of the first and second modes, and performs the minimum filter process on the image from the memory 15 on the other hand.
  • FIG. 4 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • the basic operation in the timing chart shown in FIG. 4 is the same as that shown in FIG.
  • the maximum filter process is applied to the background image output from the field memory 15 in the first mode
  • the minimum filter process is applied to the fluorescent image output from the field memory 15 in the second mode. (Filtering step).
  • the fluorescent image acquired in the imaging device 12 in the second period T02 is input from the imaging device 12 to the A input terminal of the difference calculator 20 in the first period T11. Further, in the first period T11, the background image output from the imaging device 12 in the previous second period T02 is stored in the memory 15, and this background image is subjected to the maximum filter processing in the filter 21. It is input to the B input terminal of the difference calculator 20. In the difference calculator 20 to which the first mode is applied, an A-MAX (B) operation is performed by subtracting the B input background image to which the maximum filter processing is applied from the A input fluorescence image. An extracted difference image is generated.
  • B A-MAX
  • the background image acquired by the imaging device 12 in the first period T11 is input from the imaging device 12 to the A input terminal of the difference calculator 20 in the second period T12. Further, in the second period T12, the memory 15 stores the fluorescent image output from the imaging device 12 in the previous first period T11, and this fluorescent image is subjected to the minimum filter processing in the filter 21. It is input to the B input terminal of the difference calculator 20. In the difference calculator 20 to which the second mode is applied, a MIN (B) -A calculation is performed by subtracting the background image of A input from the B input fluorescence image to which the minimum filter processing is applied. An extracted difference image is generated.
  • Such supply of excitation light from the light source 11, acquisition of an image by the imaging device 12, switching of filter processing by the filter 21, switching of an operation mode by the difference calculator 20, and generation of a difference image are obtained for each frame.
  • a difference image from which fluorescence is extracted is generated in real time in each field image acquisition period.
  • a MAX / MIN filter 21 is provided for the image output from the field memory 15 and applied to the image in synchronization with the switching between the first and second modes in the difference calculator 20. The maximum filter processing and the minimum filter processing to be performed are alternately switched.
  • a MAX / MIN filter 21 that performs maximum filter processing or minimum filter processing on the luminance of each pixel of the image output from the field memory 15 is provided.
  • the maximum and minimum filter processes are switched and applied to the image. Thereby, extraction of the fake difference image component in the difference image of a fluorescence image and a background image can be suppressed.
  • the position of the image obtained as a result of the filtering processing and the image input from the imaging device 12 are input.
  • the position of the camera image must match. In this case, when reading out the image data from the memory 15, it is preferable to read out the data for the necessary lines in the vertical direction according to the specific contents of the filter processing.
  • the fluorescence observation apparatus 1B generates a switching signal that generates a switching signal that switches in synchronization with the image acquisition period of the first field and the image acquisition period of the second field based on the signal from the imaging apparatus 12.
  • the difference calculator 20 switches and applies the first mode and the second mode based on the switching signal, and the filter 21 applies the first mode and the first mode based on the switching signal.
  • a configuration in which the maximum filter processing and the minimum filter processing are switched and applied in the two modes is used.
  • the switching signal generated in synchronization with the image acquisition periods of the first and second fields based on the signal from the imaging device 12 the first mode and the second mode in the generation of the difference image. It is possible to suitably realize the switching of the generation mode and the switching of the filter processing between the maximum filter processing and the minimum filter processing in the filter processing.
  • the line image data of the scanning line including the pixels within the predetermined range in the vicinity of the target pixel is compared with the line image data of the scanning line including the target pixel in the filter processing.
  • a line memory 22 for storing is provided. In such a configuration, it is possible to suitably execute the filter processing on the image in the filter 21 using the line image data stored in the line memory 22.
  • n is an integer of 2 or more
  • the target pixel is temporally processed in the vertical direction stored in the line memory 22.
  • a process is performed in which the maximum brightness of the n pixels obtained by adding the previous n ⁇ 1 pixels is set as the brightness of the target pixel.
  • the target pixel is timed in the vertical direction stored in the line memory 22.
  • the maximum and minimum filter processing using n pixels obtained by adding n ⁇ 1 pixels preceding in time in the vertical direction to the target pixel, the extraction of false difference image components can be performed. Suppression can be suitably realized.
  • the number of pixels n used for the maximum filter processing and the minimum filter processing is preferably set to an integer of 3 to 5. The maximum and minimum filter processing conditions applied to the image will be described in detail later.
  • m is an integer equal to or larger than 2, and m ⁇ 1 pixels in the horizontal direction are added to the target pixel, and the maximum luminance at m pixels is set as the luminance of the target pixel.
  • the minimum filter processing a configuration may be used in which the target pixel is set to the minimum luminance of m pixels obtained by adding m-1 pixels in the horizontal direction to the target pixel.
  • the maximum and minimum filter processing executed on the fluorescence image or background image output from the field memory 15 and used as the B input of the difference calculator 20, and extraction of false difference image components thereby.
  • the suppression effect will be further described together with a specific example of filter processing.
  • FIG. 5 is a diagram illustrating generation of a false difference image component in a difference image between a fluorescent image and a background image.
  • the observation image 60 has a rectangular bright image portion 61 at the center and a dark image portion 62 around the center.
  • the solid line indicates the scanning line of the field image input to the A input terminal of the difference calculator 20
  • the broken line indicates the scanning line of the field image input to the B input terminal of the difference calculator 20. Show. Further, in FIG. 5A, the scanning line is not shown for the bright image portion 61.
  • P indicates a luminance distribution along the vertical line P shown in FIG.
  • the luminance at the scanning line A1 is “dark” at the upper end portion 66 of the bright image portion 61 between the A input scanning line A1 and the B input scanning line B1 that are subject to the difference calculation.
  • the luminance at the scanning line B1 is “bright”.
  • a false difference image component C1 is generated in the difference image obtained by the BA calculation.
  • the luminance on the scanning line A2 is “bright”, whereas the luminance on the scanning line B2 is “dark”.
  • a false difference image component C2 is generated in the difference image by the AB operation.
  • the false difference image component can be removed by filtering.
  • the minimum filter process is a process in which the minimum luminance of two pixels obtained by adding one pixel temporally previous in the vertical direction to the target pixel is set as the luminance of the target pixel.
  • FIG. 6A shows a minimum filter (MIN filter) process applied to generation of a false image component in the BA operation at the upper end 66 of the bright image portion 61.
  • MIN filter minimum filter
  • FIG. 6B shows a maximum filter (MAX filter) process applied to generation of a false image component in the AB calculation at the lower end portion 67 of the bright image portion 61.
  • MAX filter maximum filter
  • n 2
  • the maximum is obtained using two pixels obtained by adding the previous pixel in time in the vertical direction to the target pixel.
  • FIG. 7 is a diagram showing another example of generation of a false difference image component in a difference image between a fluorescent image and a background image.
  • the observed image 70 there is a rectangular bright image portion 71 in the central portion thereof, a dark image portion 72 in the periphery, and bright image portions 76 in the vicinity of the upper and lower end portions of the image portion 71, respectively.
  • the maximum and minimum filter processing may be performed as described above. There is a possibility that a fake image component is generated.
  • FIGS. 8A and 8B show a minimum filter (MIN filter) applied to generation of a false image component in the BA operation in the bright image portion 71 and the bright image portion 76 thereabove, respectively.
  • MIN filter minimum filter
  • the luminance is set as the luminance of the target pixel.
  • the number n of pixels in the vicinity of the target pixel used for the maximum and minimum filter processing is preferably set to an integer of 3 to 5 as described above (3 ⁇ n ⁇ 5). . Further, according to the configuration of the filter processing circuit, the memory, and the like, a pixel that is temporally later in the vertical direction than the target pixel may be used for the filter processing.
  • the generation of a false difference image component in the difference image between the fluorescent image and the background image may occur on the observation object 10 at a speed equal to or higher than the field time, in addition to the above-described boundary between the bright image portion and the dark image portion. It may also occur when there is a movement of. In the case of a false image component due to the movement of the object 10, the vertical movement can be removed by the above-described filtering process using n pixels in the vertical direction.
  • a false image component can be removed by performing the same filtering process using m pixels obtained by adding m-1 pixels in the horizontal direction to the target pixel.
  • the number m of pixels used for the maximum and minimum filter processing in the horizontal direction is set to an integer of 5 to 7 in consideration of the same points as in the vertical direction (5 ⁇ m ⁇ 7). Is preferred.
  • the filtering process may be performed using n ⁇ m pixels including the target pixel.
  • the excitation light supply ON / OFF in the first and second periods the acquisition of the fluorescence image / background image, the switching of the operation mode of the difference calculation, and the execution of the filter processing are as follows:
  • the configuration is not limited to the configuration illustrated in FIG. 4.
  • a fluorescence image is acquired by turning on the excitation light supply in the first period, and the background image is turned off in the second period. It is good also as a structure which acquires.
  • FIG. 9 is a timing chart showing another example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • the supply of excitation light is turned on in the first period T11, the first field image acquired in that period is set as the fluorescence image, and the second period At T12, the supply of excitation light is turned off, and the second field image acquired during that period is used as the background image.
  • the background image acquired in the imaging device 12 in the second period T02 is input from the imaging device 12 to the A input terminal of the difference calculator 20 in the first period T11. Further, in the first period T11, the memory 15 stores the fluorescent image output from the imaging device 12 in the previous second period T02, and this fluorescent image is subjected to the minimum filtering process in the filter 21. It is input to the B input terminal of the difference calculator 20. In the difference calculator 20 to which the second mode is applied, a MIN (B) -A calculation is performed by subtracting the background image of A input from the B input fluorescence image to which the minimum filter processing is applied. An extracted difference image is generated.
  • the fluorescent image acquired in the imaging device 12 in the first period T11 is input from the imaging device 12 to the A input terminal of the difference calculator 20 in the second period T12. Further, in the second period T12, the background image output from the imaging device 12 in the previous first period T11 is stored in the memory 15, and this background image is subjected to the maximum filter processing in the filter 21. It is input to the B input terminal of the difference calculator 20.
  • an A-MAX (B) operation is performed by subtracting the B input background image to which the maximum filter processing is applied from the A input fluorescence image. An extracted difference image is generated.
  • Such supply of excitation light from the light source 11, acquisition of an image by the imaging device 12, switching of filter processing by the filter 21, switching of an operation mode by the difference calculator 20, and generation of a difference image are obtained for each frame.
  • a difference image from which fluorescence is extracted is generated in real time in each field image acquisition period, as in the case of FIG.
  • FIG. 10 is a block diagram showing the configuration of the third embodiment of the fluorescence observation apparatus.
  • the fluorescence observation apparatus 1C includes an observation light source 11, an imaging device 12, a field memory 15, a difference calculator 20, a MAX / MIN filter 21, a line memory 22, a switching signal generation unit 25, The distribution image generating unit 30, the multiplexer 35, and the display device 50 are provided.
  • the configurations of the observation light source 11, the imaging device 12, the field memory 15, the difference calculator 20, the MAX / MIN filter 21, the line memory 22, the switching signal generation unit 25, and the display device 50 are illustrated in FIG. 3.
  • the configuration is the same as that of the second embodiment.
  • the distribution image generation unit 30 is provided for the difference image between the fluorescence image output from the difference calculator 20 and the background image.
  • the distribution image generation unit 30 is a distribution image generation unit that generates an intensity distribution image indicating the fluorescence intensity distribution based on the difference image output from the difference calculator 20.
  • the intensity distribution image in this case, for example, a single image or a plurality of threshold values are applied to the difference image to generate a binarized image or a color image that is an intensity distribution image. Can be used.
  • a multiplexer 35 is provided for the output from the imaging device 12 and the output from the distribution image generation unit 30.
  • the multiplexer 35 is a superimposed image generation unit that generates a superimposed image in which the fluorescence image or background image output from the imaging device 12 and the fluorescence intensity distribution image output from the distribution image generation unit 30 are superimposed.
  • the output of the imaging device 12 is connected to the A input terminal of the multiplexer 35, and the output of the distribution image generating unit 30 is connected to the B input terminal.
  • the multiplexer 35 receives the superimposition instruction signal from the distribution image generation unit 30, and refers to the instruction content by the superposition instruction signal, and the image input from the imaging device 12 and the distribution image generation unit 30. A superimposed image with the input image is generated. Further, the superimposed image generated in the multiplexer 35 is output to the display device 50.
  • FIG. 11 is a block diagram showing an example of the configuration of the distribution image generation unit in the fluorescence observation apparatus 1C shown in FIG.
  • the distribution image generation unit 30 in this configuration example includes a threshold setting unit 31, a comparator 32, and an image conversion unit 33, and a plurality of (N) thresholds for the difference image input from the difference calculator 20. Is applied to generate a color image (pseudo color image) corresponding to the intensity distribution of fluorescence.
  • the threshold setting unit 31 is configured to include, for example, a CPU, and sets N thresholds for generating a color image indicating the fluorescence intensity distribution.
  • the 3G motion sensor 13 is provided for the imaging device 12, and the threshold setting unit 31 refers to information about the movement of the imaging device 12 detected by the sensor 13. Set and change the threshold.
  • Such a configuration detects, for example, camera shake in the imaging device 12 and dynamically increases the threshold used for extraction of the difference image component based on the shake amount so that the false difference image component is not noticeable. This is effective when The camera shake of the imaging device 12 is a movement at the camera fulcrum, and thus the movement of the image is often large, and there are cases where it cannot be completely removed only by the spatial filter method using the maximum and minimum filter processes described above.
  • the comparator 32 compares the N threshold values set by the threshold setting unit 31 with the luminance at each pixel of the difference image input from the difference calculator 20, and outputs an N-stage determination value as the comparison result. N-stage comparator. Further, the image conversion unit 33 converts the difference image from the difference calculator 20 into an N-color pseudo-colorized difference image based on the N-value switching signal indicating the N-stage determination value output from the comparator 32. . Note that, for pixels whose luminance is smaller than the N thresholds, color image data is not generated because fluorescence is not generated.
  • the multiplexer 35 includes an original image (fluorescence image or background image) from the imaging device 12, a pseudo-colorized difference image indicating the fluorescence intensity distribution from the image conversion unit 33, and a comparator 32.
  • An N value switching signal (superimposition instruction signal) is input.
  • the multiplexer 35 refers to the N-value switching signal, adopts original image data from the imaging device 12 for pixels for which a colorized image has not been generated, and receives from the image conversion unit 33 for pixels for which a colorized image has been generated. By switching the image data on a pixel-by-pixel basis so as to adopt the color image data, a superimposed image of the original image and the color difference image (intensity distribution image) is generated.
  • FIG. 12 is a timing chart showing an example of the fluorescence observation method executed in the fluorescence observation apparatus shown in FIG.
  • a camera output as an A input of the difference calculator 20 (b) a memory output as a B input, (c) a difference image generated by the difference calculator 20, (d) a distribution image generation The colorized image produced
  • the difference calculator 20 In the first period T11, the difference calculator 20 generates a difference image by AB calculation by subtracting the B input background image from the A input fluorescence image.
  • the distribution image generation unit 30 applies N thresholds to the difference image, thereby generating an N colorized difference image indicating the fluorescence intensity distribution (distribution image generation step).
  • the multiplexer 35 generates a superimposed image of the color difference image output from the generation unit 30 and the fluorescent image output from the imaging device 12 (superimposed image generation step).
  • the difference calculator 20 generates a difference image by the BA calculation by subtracting the A input background image from the B input fluorescent image.
  • the distribution image generation unit 30 generates N color difference images by applying N threshold values to the difference images (distribution image generation step).
  • the multiplexer 35 generates a superimposed image of the color difference image output from the generation unit 30 and the background image output from the imaging device 12 (superimposed image generation step).
  • a distribution image generation unit 30 is provided for the difference image output from the difference calculator 20, and a binarized image or a colorized image indicating the fluorescence intensity distribution based on the difference image is provided.
  • the intensity distribution image is generated.
  • the distribution image generation unit 30 converts the intensity image into an intensity distribution image and uses it for the fluorescence observation. For example, the observation image of the weak fluorescence is visually confirmed. Various operations such as can be performed efficiently.
  • a multiplexer 35 that generates a superimposed image of the original image output from the imaging device 12 and the intensity distribution image output from the distribution image generation unit 30 is provided.
  • the generation position of the fluorescence in the object 10 is Efficient fluorescence observation of an object in various forms is possible, such as enabling visual confirmation from an observation image displayed on the display device 50.
  • FIG. 13 is a diagram showing an example of an observation image acquired in the fluorescence observation apparatus 1C shown in FIG.
  • FIG. 13A shows a normal observation image in which fluorescence extraction by generation of a colorized image, generation of a superimposed image, and the like are not performed
  • FIG. 13B shows a pseudo colorized difference image with respect to the original image.
  • the superimposed image which superimposes is shown.
  • an intensity distribution image such as a colorized image showing the intensity distribution of fluorescence or a superimposed image of the original image and the intensity distribution image, the generation position and range of the fluorescence in the observation object And its intensity distribution can be suitably confirmed.
  • the fluorescence observation apparatus and the fluorescence observation method according to the present invention are not limited to the above-described embodiments and configuration examples, and various modifications are possible.
  • the configurations of the difference image generation unit, the filter processing unit, the distribution image generation unit, the superimposed image generation unit, and the like are not limited to the configurations of the above-described embodiments, and various configurations may be used specifically.
  • the distribution image generation unit 30 and the multiplexer 35 illustrated in FIG. 10 can be applied to a configuration in which the MAX / MIN filter 21 is not provided as illustrated in FIG.
  • the intensity distribution image generated by the distribution image generation unit 30 may be displayed as it is on the display device 50 without providing the multiplexer 35 that generates the superimposed image.
  • excitation light supply means that supplies excitation light for fluorescence observation to an observation target and can switch ON / OFF of supply of excitation light
  • An interlaced imaging device that captures a light image from the observation target and outputs the first field image and the second field image alternately in time series as image data of the obtained observation target
  • image storage means for storing the first field image or the second field image output from the imaging device; and (4) one of the first field image and the second field image output from the imaging device.
  • the excitation light supply means is a period in which one of the image acquisition period of the first field and the image acquisition period of the second field by the imaging apparatus is acquired by turning on the supply of excitation light, and the other is the supply of excitation light.
  • the excitation light is supplied so as to be a period for acquiring the background image
  • the difference image generation means as its generation mode, when the fluorescence image is output from the imaging device, from the fluorescence image, A first mode for generating a difference image by subtracting the background image acquired before and stored in the image storage means, and when the background image is output from the imaging device, the background image is acquired before that
  • the second mode in which the difference image is generated by subtracting from the fluorescence image stored in the image storage means is used.
  • excitation light supply means that supplies excitation light for fluorescence observation to an observation target and can switch ON / OFF of supply of excitation light
  • An interlaced imaging device that captures a light image from an observation object and alternately outputs a first field image and a second field image in time series as image data of the obtained observation object
  • an image storage means for storing the first field image or the second field image output from the imaging device, and (4) the first field output from the imaging device.
  • a difference image is generated by taking a difference between one of the image and the second field image and the other of the first field image and the second field image stored in the image storage means.
  • the excitation light supply means acquires the fluorescence image with one of the first field image acquisition period and the second field image acquisition period being turned on by the imaging device.
  • a fluorescence image is output from the apparatus, a first mode in which a difference image is generated by subtracting a background image acquired before and stored in the image storage means from the fluorescence image; and a background image from the imaging apparatus
  • the background image is switched from the second mode in which the difference image is generated by subtracting the background image from the fluorescence image previously acquired and stored in the image storage means.
  • Ete uses a structure to be applied.
  • the fluorescence observation apparatus includes a switching signal generation unit that generates a switching signal that is switched in synchronization with the image acquisition period of the first field and the image acquisition period of the second field based on a signal from the imaging apparatus.
  • the image generation means can use a configuration in which the first mode and the second mode are switched and applied based on the switching signal.
  • the fluorescence observation method includes a switching signal generation step for generating a switching signal that switches in synchronization with the image acquisition period of the first field and the image acquisition period of the second field based on a signal from the imaging device, The image generation step can use a configuration in which the first mode and the second mode are switched and applied based on the switching signal.
  • the switching signal generated in synchronization with the image acquisition periods of the first and second fields based on the signal from the imaging device the first mode and the second mode in generating the difference image It is possible to suitably realize the generation mode switching.
  • the fluorescence observation apparatus is within a predetermined range in the vicinity of the target pixel with respect to the luminance of each pixel included in the image with respect to the fluorescence image or the background image output from the image storage unit to the difference image generation unit.
  • Maximum filter processing using the maximum luminance at multiple pixels plus pixels as the target pixel luminance, or the minimum luminance at multiple pixels plus pixels within a predetermined range nearby to the target pixel.
  • a plurality of pixels obtained by adding the pixels within a predetermined range to the target pixel with respect to the luminance of each pixel included in the image with respect to the fluorescence image or the background image output from the image storage unit.
  • Filter processing that uses the maximum brightness of the target pixel as the target pixel brightness, or the minimum filter that uses the minimum brightness of the target pixel as the target pixel brightness plus multiple pixels within the specified range in the vicinity of the target pixel
  • a filtering process step for performing processing wherein the filtering process step includes a maximum filtering process in a first mode in which a background image is output from the image storage unit and a second mode in which a fluorescence image is output from the image storage unit; It is preferable to switch and apply the minimum filter processing.
  • a false difference image component may be extracted at a boundary between a bright image portion and a dark image portion. Further, such extraction of a false difference image component may also occur when there is a movement of an object.
  • a filter processing unit that performs maximum filter processing or minimum filter processing on the luminance of each pixel of the image output from the image storage unit is provided, and in the filter processing unit, first, In synchronization with the switching operation of the second mode, the maximum and minimum filter processes are switched and applied to the image. Thereby, extraction of the fake difference image component in the difference image of a fluorescence image and a background image can be suppressed.
  • the fluorescence observation apparatus includes a switching signal generation unit that generates a switching signal that is switched in synchronization with the image acquisition period of the first field and the image acquisition period of the second field based on a signal from the imaging apparatus.
  • the image generation means switches and applies the first mode and the second mode based on the switching signal
  • the filter processing means performs the maximum filter processing in the first mode and the second mode based on the switching signal. And the minimum filter processing can be used.
  • the fluorescence observation method includes a switching signal generation step for generating a switching signal that switches in synchronization with the image acquisition period of the first field and the image acquisition period of the second field based on a signal from the imaging device,
  • the image generation step is applied by switching between the first mode and the second mode based on the switching signal
  • the filter processing step is the maximum filter processing in the first mode and the second mode based on the switching signal. And the minimum filter processing can be used.
  • the first mode and the second mode in generating the difference image It is possible to preferably realize switching of the generation mode and switching of the filter processing between the maximum filter processing and the minimum filter processing in the filter processing.
  • the fluorescence observation apparatus uses the line image data of the scanning line including the pixels within the predetermined range near the target pixel with respect to the line image data of the scanning line including the target pixel. It is preferable to include a second image storage means for storing data. According to such a configuration, it is possible to suitably execute the filter process on the image in the filter processing unit using the line image data stored in the second image storage unit.
  • the fluorescence observation apparatus uses the filter processing means so that n is an integer greater than or equal to 2 in the maximum filter processing and is temporally previous in the vertical direction to the target pixel.
  • a process is performed in which the maximum brightness of n pixels including n-1 pixels is set as the brightness of the target pixel.
  • n-1 pixels temporally preceding the target pixel in time It is possible to use a configuration for performing processing for setting the minimum luminance of the n pixels to which the luminance is added to the luminance of the target pixel.
  • n is an integer equal to or larger than 2, and n pixels obtained by adding n ⁇ 1 pixels temporally previous in the vertical direction to the target pixel.
  • the minimum filter processing the minimum luminance of n pixels obtained by adding n ⁇ 1 pixels temporally previous in the vertical direction to the target pixel is processed. A configuration for performing processing to obtain the luminance of the pixel can be used.
  • the number of pixels n used for the maximum filter processing and the minimum filter processing is preferably set to an integer of 3 to 5.
  • the fluorescence observation apparatus uses the maximum processing at the filter processing means to set the maximum luminance at m pixels by adding m ⁇ 1 pixels in the horizontal direction to the target pixel, where m is an integer of 2 or more.
  • a process of setting the luminance of the pixel is performed, and the minimum filter process uses a configuration in which the luminance of the target pixel is set to the minimum luminance of m pixels obtained by adding m ⁇ 1 pixels in the horizontal direction to the target pixel. May be.
  • m is an integer equal to or greater than 2
  • the maximum luminance at m pixels is obtained by adding m ⁇ 1 pixels in the horizontal direction to the target pixel.
  • the processing for setting the luminance of the target pixel is performed, and in the minimum filter processing, processing for setting the luminance of the target pixel to the minimum luminance at m pixels obtained by adding m ⁇ 1 pixels in the horizontal direction to the target pixel is performed. It may be used.
  • the fluorescence observation apparatus can be configured to include a distribution image generation unit that generates an intensity distribution image indicating the fluorescence intensity distribution based on the difference image output from the difference image generation unit.
  • the fluorescence observation method can use a configuration including a distribution image generation step for generating an intensity distribution image indicating the fluorescence intensity distribution based on the difference image output in the difference image generation step.
  • the difference image from which fluorescence is extracted as it is it is converted into an intensity distribution image and used for fluorescence observation, for example, visual confirmation of an observation image of weak fluorescence is efficiently performed. be able to.
  • the intensity distribution image is generated and used in this way, specifically, for example, by applying a single or a plurality of thresholds to the difference image, the binarized image or the colorization that is the intensity distribution image is used. A configuration for generating an image can be used.
  • the fluorescence observation apparatus uses a configuration including a superimposed image generation unit that generates a superimposed image in which the fluorescence image or background image output from the imaging device and the intensity distribution image output from the distribution image generation unit are superimposed. Can do.
  • the fluorescence observation method uses a configuration including a superimposed image generation step that generates a superimposed image in which the fluorescence image or background image output from the imaging device and the intensity distribution image output in the distribution image generation step are superimposed. be able to.
  • the superimposed image obtained by superimposing the original fluorescence image or the background image and the intensity distribution image such as the binarized image or the color image is used for the fluorescence observation, for example, generation of fluorescence in the object It becomes possible to efficiently observe the fluorescence of the object in various forms, such as the position can be visually confirmed from the observation image.
  • the present invention can be used as a fluorescence observation apparatus and a fluorescence observation method capable of generating an image from which fluorescence is extracted in real time in a configuration in which fluorescence observation images of an object are acquired in time series.
  • DESCRIPTION OF SYMBOLS 1A, 1B, 1C Fluorescence observation apparatus, 10 ... Observation object, 11 ... Observation light source (excitation light supply means), 12 ... Interlace type imaging device, 13 ... Motion sensor, 15 ... Field memory (image storage means), DESCRIPTION OF SYMBOLS 20 ... Difference calculator (difference image generation means), 21 ... MAX / MIN filter (filter processing means), 22 ... Line memory, 25 ... Switching signal generation part, 30 ... Distribution image generation part (distribution image generation means), 31 Threshold setting unit 32, comparator 33, image conversion unit 35, multiplexer (superimposed image generation means) 50, display device

Landscapes

  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Endoscopes (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)

Abstract

　励起光を供給する光源１１と、インターレース型の撮像装置１２と、撮像装置１２から出力された画像を記憶するフィールドメモリ１５と、差分画像を生成する差分演算器２０とによって蛍光観測装置１Ａを構成する。光源１１は、撮像装置１２での第１、第２フィールドの画像取得期間の一方が蛍光画像取得期間、他方が背景画像取得期間となるように励起光を供給する。差分演算器２０は、撮像装置１２の出力の蛍光画像からメモリ１５の背景画像を差し引く第１モードと、撮像装置１２の出力の背景画像をメモリ１５の蛍光画像から差し引く第２モードとを切り替えて適用する。これにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能となる。

Description

蛍光観測装置及び蛍光観測方法
　本発明は、観測対象物に励起光を供給して、観測対象物からの蛍光についての観測画像を取得する蛍光観測装置、及び蛍光観測方法に関するものである。
　観測対象物に対して、所定波長の励起光を供給、照射し、対象物で発生した蛍光についての観測画像を撮像装置によって取得する蛍光観測装置は、例えば医療分野などの様々な分野において用いられている。また、このような蛍光観測において、対象物の状態の時間的変化等を観測したい場合には、所定のフレームレートで時系列に画像を取得して、対象物を動画で観測する方法が用いられる（例えば、特許文献１、２参照）。
特開平１０－１５１１０４号公報 特開平７－１５５２９２号公報
　観測対象物からの蛍光観測において、微弱な蛍光の観測画像を目視で確認するなどの目的で、励起光を供給した状態で取得された蛍光画像と、励起光を供給せずに蛍光無しの状態で取得された背景画像との差分画像を生成、表示することで、蛍光の画像成分を抽出、確認する方法が用いられる場合がある。しかしながら、従来の構成では、上記したように時系列に画像を取得して動画で対象物の観測を行う場合、蛍光が抽出された差分画像を動画のままで、リアルタイムに生成することは困難である。
　本発明は、以上の問題点を解決するためになされたものであり、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置、及び蛍光観測方法を提供することを目的とする。
　このような目的を達成するために、本発明による蛍光観測装置は、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段と、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、（５）励起光供給手段は、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給するとともに、（６）差分画像生成手段は、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用することを特徴とする。
　また、本発明による蛍光観測方法は、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、（５）励起光供給手段により、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給する励起光供給ステップとを備え、（６）差分画像生成ステップは、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用することを特徴とする。
　上記した蛍光観測装置及び蛍光観測方法では、対象物の蛍光観測画像の時系列での取得において、インターレース型の撮像装置を用いるとともに、その第１フィールドの画像取得期間及び第２フィールドの画像取得期間の一方が蛍光画像取得期間、他方が背景画像取得期間となるように、撮像装置によるフィールド画像取得動作と、励起光供給手段による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御する。このとき、撮像装置からは、励起光を供給した状態での蛍光画像と、励起光を供給しない状態での背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に出力される。
　また、撮像装置から時系列に出力される蛍光画像または背景画像に対し、フィールドメモリとして画像記憶手段が設けられている。このような構成では、撮像装置から蛍光画像取得期間で取得された蛍光画像が出力される場合には、画像記憶手段に記憶されている画像は、その前の背景画像取得期間で取得された背景画像となっている。また、撮像装置から背景画像取得期間で取得された背景画像が出力される場合には、画像記憶手段に記憶されている画像は、その前の蛍光画像取得期間で取得された蛍光画像となっている。
　このような構成において、撮像装置及び画像記憶手段に対して、観測画像の蛍光画像成分を抽出するための差分画像生成手段を設ける。そして、差分画像の生成において、撮像装置の出力の蛍光画像から、画像記憶手段の出力の１つ前の背景画像を差し引いて差分画像とする第１モードと、画像記憶手段の出力の１つ前の蛍光画像から、撮像装置の出力の背景画像を差し引いて差分画像とする第２モードとを、撮像装置及び励起光供給手段の動作に同期させて切り替えて適用する。これにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像を動画のままで、画像更新速度を落とすことなくリアルタイムに生成することが可能となる。
　本発明の蛍光観測装置、及び蛍光観測方法によれば、インターレース型の撮像装置によるフィールド画像取得動作と、励起光供給手段による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御し、撮像装置から時系列に出力される蛍光画像及び背景画像に対して画像記憶手段を設けるとともに、撮像装置及び画像記憶手段に対して差分画像生成手段を設け、差分画像の生成において、撮像装置の出力の蛍光画像から、画像記憶手段の出力の背景画像を差し引いて差分画像とする第１モードと、撮像装置の出力の背景画像を、画像記憶手段の出力の蛍光画像から差し引いて差分画像とする第２モードとを切り替えて適用することにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能となる。
図１は、蛍光観測装置の第１実施形態の構成を示すブロック図である。 図２は、図１に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。 図３は、蛍光観測装置の第２実施形態の構成を示すブロック図である。 図４は、図３に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。 図５は、差分画像における偽の差分画像成分の発生について示す図である。 図６は、フィルタ処理による偽の差分画像成分の除去について示す図である。 図７は、差分画像における偽の差分画像成分の発生について示す図である。 図８は、フィルタ処理による偽の差分画像成分の除去について示す図である。 図９は、図３に示した蛍光観測装置において実行される蛍光観測方法の他の例について示すタイミングチャートである。 図１０は、蛍光観測装置の第３実施形態の構成を示すブロック図である。 図１１は、図１０に示した蛍光観測装置における分布画像生成部の構成の一例を示すブロック図である。 図１２は、図１０に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。 図１３は、蛍光観測装置において取得される観測画像の例を示す図である。
　以下、図面とともに本発明による蛍光観測装置、及び蛍光観測方法の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
　図１は、蛍光観測装置の第１実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ａは、観測対象物１０について、所定のフレームレートで時系列に蛍光観測画像を取得することで、対象物１０を動画で観測するように構成されている。具体的には、本蛍光観測装置１Ａは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、切替信号生成部２５とを備えて構成されている。
　観測光源１１は、観測対象物１０に対して蛍光観測のための所定波長の励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能に構成された励起光供給手段である。また、撮像装置１２は、対象物１０からの光像を撮像するものであり、対象物１０の画像データとして、第１フィールドの画像、及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置である。このような撮像装置１２としては、例えば、ＮＴＳＣ方式、またはＰＡＬ方式のスタンダード同期インターレース型ビデオカメラを用いることができる。
　観測光源１１は、撮像装置１２の動作と同期して対象物１０へと励起光を供給するように、その動作が制御される。具体的には、光源１１は、撮像装置１２による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方の期間が、励起光の供給をＯＮとして、対象物１０で発生した蛍光の画像成分を含む蛍光画像を取得する蛍光画像取得期間となり、他方の期間が、励起光の供給をＯＦＦとして、蛍光の画像成分を含まない背景画像（例えば、対象物１０の通常画像）を取得する背景画像取得期間となるように、対象物１０に対して励起光を供給する。
　図１に示した構成では、上記した同期を実現するために、撮像装置１２からの信号に基づいて第１、第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５が設けられている。そして、この切替信号生成部２５からの切替信号が光源１１に入力されることにより、撮像装置１２における第１、第２フィールド画像の取得と、光源１１における励起光供給のＯＮ／ＯＦＦとの同期制御が実現される。このような構成において、撮像装置１２から出力される第１、第２フィールドの画像は、その一方が蛍光画像、他方が背景画像となっている。
　また、撮像装置１２に対し、撮像装置１２から出力された第１フィールドの画像または第２フィールドの画像（蛍光画像または背景画像）を記憶する画像記憶手段としてフィールドメモリ１５が設けられている。さらに、撮像装置１２からの画像出力、及びフィールドメモリ１５からの画像出力に対し、差分演算器２０が設けられている。この差分演算器２０は、撮像装置１２から出力された第１、第２フィールドの画像の一方と、フィールドメモリ１５に記憶されて演算器２０へと出力された第１、第２フィールドの画像の他方との差分を取った差分画像を生成する差分画像生成手段である。
　この差分演算器２０には、観測光源１１と同様に、切替信号生成部２５からの切替信号が入力されている。差分演算器２０は、入力された切替信号を参照し、その差分演算生成モードとして、差分画像の生成方法が異なる第１モードと、第２モードとを切り替えて適用する。第１モードは、撮像装置１２から蛍光画像が出力された場合に適用され、蛍光画像から、その前に取得されてフィールドメモリ１５に記憶された背景画像を差し引くことで差分画像を生成する。また、第２モードは、撮像装置１２から背景画像が出力された場合に適用され、背景画像を、その前に取得されてフィールドメモリ１５に記憶された蛍光画像から差し引くことで差分画像を生成する。
　図１に示した構成では、差分演算器２０として、演算論理装置（ＡＬＵ：Arithmetic Logic Unit）を用いている。差分演算器２０のＡ入力端子には、撮像装置１２の出力（カメラ出力）が接続され、Ｂ入力端子には、フィールドメモリ１５の出力（メモリ出力）が接続されている。また、差分演算器２０のＹ出力端子からは、演算結果の差分画像が出力される。なお、差分演算において、演算結果が負の場合には０出力とする。
　また、図１に示した構成例では、差分演算器２０に対して表示装置５０が接続されており、差分演算器２０で生成された差分画像を表示装置５０に表示する構成となっている。ただし、このような表示装置５０については、表示装置以外の画像出力装置を設ける構成としても良い。あるいは、表示装置等の画像出力装置を設けずに、得られた差分画像のデータを外部へと送出する構成としても良い。
　図２は、図１に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。このタイミングチャートでは、（ａ）観測光源１１における励起光供給のＯＮ／ＯＦＦ動作、（ｂ）撮像装置１２における第１、第２フィールドの画像の取得動作、（ｃ）差分演算器２０のＡ入力となるカメラ出力、（ｄ）Ｂ入力となるメモリ出力、及び（ｅ）差分演算によって生成される差分画像を示している。
　図２のタイミングチャートにおいて、１つのフレームの画像を取得するためのフレーム取得期間Ｔ１０は、第１フィールドの画像を取得する第１期間Ｔ１１、及び第２フィールドの画像を取得する第２期間Ｔ１２によって構成されている。また、図２の例では、第１期間Ｔ１１において励起光の供給をＯＦＦとして、その期間（背景画像取得期間）で取得される第１フィールドの画像を背景画像とし、また、第２期間Ｔ１２において励起光の供給をＯＮとして、その期間（蛍光画像取得期間）で取得される第２フィールドの画像を蛍光画像としている（励起光供給ステップ）。
　フレーム取得期間Ｔ１０の前の第２期間Ｔ０２で、撮像装置１２において第２フィールドの画像として取得された蛍光画像は、続く第１期間Ｔ１１において撮像装置１２から出力され、差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、フィールドメモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィールドメモリ１５から差分演算器２０のＢ入力端子へと入力される。
　この第１期間Ｔ１１では、撮像装置１２から蛍光画像が出力されているため、差分演算器２０の動作モードとして、第１モードが適用される。このとき、差分演算器２０において、Ａ入力の蛍光画像からＢ入力の背景画像を差し引くＡ－Ｂ演算が実行され、これによって、蛍光が抽出された差分画像が生成される（差分画像生成ステップ）。
　また、フレーム取得期間Ｔ１０の第１期間Ｔ１１で、撮像装置１２において第１フィールドの画像として取得された背景画像は、続く第２期間Ｔ１２において撮像装置１２から出力され、差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、フィールドメモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィールドメモリ１５から差分演算器２０のＢ入力端子へと入力される。
　この第２期間Ｔ１２では、撮像装置１２から背景画像が出力されているため、差分演算器２０の動作モードとして、第２モードが適用される。このとき、差分演算器２０において、Ｂ入力の蛍光画像からＡ入力の背景画像を差し引くＢ－Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される（差分画像生成ステップ）。
　このような光源１１からの励起光の供給、撮像装置１２での画像取得、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、各フィールド画像取得期間において、蛍光が抽出された差分画像が生成される。なお、第１、第２期間における励起光供給のＯＮ／ＯＦＦ、蛍光画像／背景画像の取得、及び差分演算のモードの切替については、図２に示した構成に限らず、例えば、第１期間において励起光の供給をＯＮとして蛍光画像を取得し、第２期間において励起光の供給をＯＦＦとして背景画像を取得する構成としても良い。
　本実施形態による蛍光観測装置１Ａ、及び蛍光観測方法の効果について説明する。
　図１及び図２に示した蛍光観測装置１Ａ、及び蛍光観測方法では、対象物１０の蛍光観測画像の時系列での取得において、インターレース型の撮像装置１２を用いるとともに、その第１フィールドの画像取得期間Ｔ１１及び第２フィールドの画像取得期間Ｔ１２の一方が蛍光画像取得期間、他方が背景画像取得期間となるように、撮像装置１２によるフィールド画像取得動作と、観測光源１１による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御する。このとき、撮像装置１２からは、図２に示したように、励起光を供給した状態での蛍光画像と、励起光を供給しない状態での背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に出力される。
　また、撮像装置１２から時系列に出力される蛍光画像または背景画像に対し、フィールドメモリ１５が設けられている。このフィールドメモリ１５には、撮像装置１２から出力される蛍光画像と、背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に入力され、記憶される。このような構成では、撮像装置１２から蛍光画像取得期間で取得された蛍光画像が出力される場合には、フィールドメモリ１５に記憶されている観測画像は、その前の背景画像取得期間で取得された背景画像となっている。また、撮像装置１２から背景画像取得期間で取得された背景画像が出力される場合には、フィールドメモリ１５に記憶されている観測画像は、その前の蛍光画像取得期間で取得された蛍光画像となっている。
　このような構成において、撮像装置１２及びフィールドメモリ１５に対して、観測画像の蛍光画像成分を抽出するための差分演算器２０を設ける。そして、差分画像の生成において、撮像装置１２の出力の蛍光画像から、メモリ１５の出力の１つ前の背景画像を差し引いて差分画像とする第１モードと、メモリ１５の出力の１つ前の蛍光画像から、撮像装置１２の出力の背景画像を差し引いて差分画像とする第２モードとを、撮像装置１２及び光源１１の動作に同期させて交互に切り替えて適用する。
　これにより、対象物１０の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像を動画のままで、画像更新速度を落とすことなくリアルタイムに生成することが可能となる。例えば、画像取得のフレームレートが３０フレーム／秒の場合、インターレース動作における第１、第２フィールドの画像取得のレートは、その２倍の６０フィールド／秒となる。これに対して、上記のように差分画像の生成モードをフィールドの画像取得期間毎に切り替える構成によれば、フィールド画像取得動作と同期して６０画像／秒で差分画像を生成、出力することが可能となる。
　また、上記構成では、蛍光観測装置１Ａにおいて、撮像装置１２からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５を設けるとともに、差分演算器２０が、この切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いている。このように、撮像装置１２からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替えを好適に実現することができる。
　図３は、蛍光観測装置の第２実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ｂは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、ＭＡＸ／ＭＩＮフィルタ２１と、ラインメモリ２２と、切替信号生成部２５と、表示装置５０とを備えて構成されている。これらのうち、観測光源１１、撮像装置１２、フィールドメモリ１５、差分演算器２０、切替信号生成部２５、及び表示装置５０の構成については、図１に示した第１実施形態の構成と同様である。なお、図３においては、観測対象物１０については図示を省略している。
　図３に示した構成では、フィールドメモリ１５から差分演算器２０へと出力される蛍光画像または背景画像に対して、ＭＡＸ／ＭＩＮフィルタ２１が設けられている。このフィルタ２１は、メモリ１５から出力される画像に対して、その画像に含まれる各画素（ピクセル）の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ（ＭＡＸフィルタ）処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ（ＭＩＮフィルタ）処理を行うフィルタ処理手段である。
　また、このＭＡＸ／ＭＩＮフィルタ２１に対し、ラインメモリ２２が設けられている。ラインメモリ２２は、フィルタ処理での対象画素を含む走査線（走査ライン）のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段であり、フィルタ２１において実行されるフィルタ処理の内容に応じて、１ライン分または複数ライン分のメモリによって構成される。このラインメモリ２２には、フィールドメモリ１５から出力されるフィールド画像データのうちで、フィルタ２１で実行されるフィルタ処理に必要な１または複数のライン画像データが記憶される。また、メモリ１５からフィルタ２１、メモリ２２への画像データの読み出しについては、撮像装置１２から出力される画像データとのタイミングを合わせるため、必要に応じて、所定量のデータの早読み出しが行われる。
　このＭＡＸ／ＭＩＮフィルタ２１には、光源１１及び差分演算器２０と同様に、切替信号生成部２５からの切替信号が入力されている。フィルタ２１は、入力された切替信号を参照し、フィルタ２１での処理対象としてフィールドメモリ１５から背景画像が出力される第１モードと、フィールドメモリ１５から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを、撮像装置１２、光源１１、及び差分演算器２０の動作に同期させて、交互に切り替えて適用する。すなわち、ＭＡＸ／ＭＩＮフィルタ２１は、第１、第２モードの一方で、メモリ１５からの画像に対して最大フィルタ処理を行い、他方で、メモリ１５からの画像に対して最小フィルタ処理を行う。
　図４は、図３に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。なお、図４に示したタイミングチャートにおける基本的な動作は、図２に示したものと同様である。また、図４の例では、第１モードにおいて、フィールドメモリ１５から出力される背景画像に最大フィルタ処理を適用し、第２モードにおいて、フィールドメモリ１５から出力される蛍光画像に最小フィルタ処理を適用する構成としている（フィルタ処理ステップ）。
　第２期間Ｔ０２で撮像装置１２において取得された蛍光画像は、第１期間Ｔ１１で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、メモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィルタ２１での最大フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第１モードが適用された差分演算器２０では、Ａ入力の蛍光画像から、最大フィルタ処理が適用されたＢ入力の背景画像を差し引くＡ－ＭＡＸ（Ｂ）演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
　第１期間Ｔ１１で撮像装置１２において取得された背景画像は、第２期間Ｔ１２で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、メモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィルタ２１での最小フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第２モードが適用された差分演算器２０では、最小フィルタ処理が適用されたＢ入力の蛍光画像から、Ａ入力の背景画像を差し引くＭＩＮ（Ｂ）－Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
　このような光源１１からの励起光の供給、撮像装置１２での画像取得、フィルタ２１でのフィルタ処理の切替、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、各フィールド画像取得期間において、蛍光が抽出された差分画像がリアルタイムに生成される。
　本実施形態による蛍光観測装置１Ｂ、及び蛍光観測方法においても、第１実施形態による蛍光観測装置１Ａ、及び蛍光観測方法と同様の効果を得ることができる。さらに本実施形態では、フィールドメモリ１５から出力される画像に対して、ＭＡＸ／ＭＩＮフィルタ２１を設け、差分演算器２０での第１、第２モードの切替と同期して、画像に対して適用する最大フィルタ処理、最小フィルタ処理を交互に切り替える構成としている。
　上記したように、撮像装置１２でのフィールド画像取得動作と、観測光源１１での励起光供給動作と、差分演算器２０でのモード切替動作とを同期させる構成では、必要なカメラセンサが１つであるので、画像間の光学的な位置ずれがなく、光学系、機構の実現が容易である。一方、このような構成では、差分画像の生成において、第１フィールドの画像と、第２フィールドの画像との異なるフィールド間で差分をとるために、例えば、明るい画像部分と暗い画像部分との境界などにおいて、偽の差分画像成分が抽出される場合がある。また、このような偽の差分画像成分の抽出は、観測対象物１０に動きがあるなどの場合においても、同様に生じる可能性がある。
　これに対して、フィールドメモリ１５から出力される画像の各画素の輝度について最大フィルタ処理または最小フィルタ処理を実行するＭＡＸ／ＭＩＮフィルタ２１を設けるとともに、このフィルタ２１において、差分画像の生成での第１、第２モードの切替動作に同期して、最大、最小フィルタ処理を切り替えて画像に適用する。これにより、蛍光画像と背景画像との差分画像における偽の差分画像成分の抽出を抑制することができる。
　なお、このようにＭＡＸ／ＭＩＮフィルタ２１において差分演算器２０のＢ入力となる画像に対してフィルタ処理を行う場合、フィルタ処理を行った結果の画像の位置と、撮像装置１２から生で入力されるカメラ画像の位置とが合っている必要がある。この場合、メモリ１５からの画像データの読み出しにおいて、フィルタ処理の具体的な内容に応じて、垂直方向に必要なライン分、データの早読み出しを行うことが好ましい。
　また、上記構成では、蛍光観測装置１Ｂにおいて、撮像装置１２からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５を設けるとともに、差分演算器２０が、この切替信号に基づいて、第１モードと第２モードとを切り替えて適用し、また、フィルタ２１が、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いている。
　このように、撮像装置１２からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替え、及びフィルタ処理における最大フィルタ処理と最小フィルタ処理とのフィルタ処理の切り替えを好適に実現することができる。
　また、上記構成では、蛍光観測装置１Ｂにおいて、フィルタ処理での対象画素を含む走査線のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶するラインメモリ２２を設けている。このような構成では、ラインメモリ２２に記憶されたライン画像データを用いて、フィルタ２１における画像に対するフィルタ処理を好適に実行することができる。
　フィルタ２１で画像に対して実行されるフィルタ処理については、具体的には、最大フィルタ処理では、ｎを２以上の整数として、対象画素に、ラインメモリ２２に記憶された垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に、ラインメモリ２２に記憶された垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
　このように、対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素を用いて最大、最小フィルタ処理を実行することにより、偽の差分画像成分の抽出の抑制を好適に実現することができる。また、この場合、最大フィルタ処理及び最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることが好ましい。なお、画像に適用する最大、最小フィルタ処理の条件等については、詳しくは後述する。
　また、フィルタ処理について、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
　このように、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素を用いて最大、最小フィルタ処理を実行する構成によっても、例えば対象物１０に動きがある場合などにおいて、偽の差分画像成分の抽出の抑制を好適に実現することができる。
　ＭＡＸ／ＭＩＮフィルタ２１において、フィールドメモリ１５から出力されて差分演算器２０のＢ入力となる蛍光画像または背景画像に対して実行される最大、最小フィルタ処理、及びそれによる偽の差分画像成分の抽出の抑制効果について、フィルタ処理の具体例とともにさらに説明する。
　図５は、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生について示す図である。ここでは、図５（ａ）に示すように、観測画像６０において、その中央部分に矩形状の明るい画像部分６１が、また、周囲に暗い画像部分６２がある場合を考える。なお、以降の各図において、実線は差分演算器２０のＡ入力端子に入力されるフィールド画像の走査線を示し、破線は差分演算器２０のＢ入力端子に入力されるフィールド画像の走査線を示している。また、図５（ａ）では、明るい画像部分６１については走査線の図示を省略している。
　図５（ｂ）において、Ｐは、図５（ａ）に示す垂直方向の線Ｐに沿った輝度分布を示している。この輝度分布Ｐでは、明るい画像部分６１の上端部６６において、差分演算の対象となるＡ入力走査線Ａ１と、Ｂ入力走査線Ｂ１とで、走査線Ａ１での輝度が「暗」であるのに対し、走査線Ｂ１での輝度は「明」となっている。このとき、Ｂ－Ａ演算による差分画像において、偽の差分画像成分Ｃ１が発生する。同様に、明るい画像部分６１の下端部６７では、走査線Ａ２での輝度が「明」であるのに対し、走査線Ｂ２での輝度は「暗」となっている。このとき、Ａ－Ｂ演算による差分画像において、偽の差分画像成分Ｃ２が発生する。
　このような偽の差分画像成分に対し、図６に示すように、フィルタ処理によって、偽の差分画像成分を除去することができる。ここで、図６においては、フィルタ処理の画素数をｎ＝２として、最大フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最大輝度を対象画素の輝度とする処理としている。同様に、最小フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度とする処理としている。
　図６（ａ）は、明るい画像部分６１の上端部６６におけるＢ－Ａ演算での偽の画像成分の発生に対して適用される最小フィルタ（ＭＩＮフィルタ）処理について示している。この場合、元の輝度分布Ｐでは走査線Ｂ１での輝度は「明」であるが、Ｂ入力の画像に対してＭＩＮフィルタ処理を実行した結果、得られた輝度分布ＭＩＮ（Ｂ）では、走査線Ｂ１の１つ上の走査線（垂直方向で時間的に１つ前の走査線）での輝度が「暗」であるため、走査線Ｂ１での輝度が「暗」に置き換えられている。これにより、ＭＩＮ（Ｂ）－Ａ演算による差分画像において、偽の画像成分が発生しなくなる。これは、Ｂ入力の画像が蛍光画像である場合に相当する（図４参照）。
　図６（ｂ）は、明るい画像部分６１の下端部６７におけるＡ－Ｂ演算での偽の画像成分の発生に対して適用される最大フィルタ（ＭＡＸフィルタ）処理について示している。この場合、元の輝度分布Ｐでは走査線Ｂ２での輝度は「暗」であるが、Ｂ入力の画像に対してＭＡＸフィルタ処理を実行した結果、得られた輝度分布ＭＡＸ（Ｂ）では、走査線Ｂ２の１つ上の走査線での輝度が「明」であるため、走査線Ｂ２での輝度が「明」に置き換えられている。これにより、Ａ－ＭＡＸ（Ｂ）演算による差分画像において、偽の画像成分が発生しなくなる。これは、Ｂ入力の画像が背景画像である場合に相当する。
　ここで、図６においては、上記したように、フィルタ処理の画素数をｎ＝２として、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素を用いて最大、最小フィルタ処理を行う場合について説明した。ただし、実際の自然画像では、このようなフィルタ処理では、偽の差分画像成分の除去能力が不足する場合がある。
　図７は、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生の他の例について示す図である。ここでは、観測画像７０において、その中央部分に矩形状の明るい画像部分７１が、周囲に暗い画像部分７２があり、さらに、画像部分７１の上方、下方の端部近傍にそれぞれ明るい画像部分７６、７７がある場合を考える。自然画像において、明るい画像部分７１と暗い画像部分７２との境界で、このような画像部分７６、７７を含む輝度分布の変動があった場合、上記のように最大、最小フィルタ処理を行っても、偽の画像成分が発生する可能性がある。
　図８（ａ）、（ｂ）は、それぞれ、明るい画像部分７１、及びその上方の明るい画像部分７６におけるＢ－Ａ演算での偽の画像成分の発生に対して適用される最小フィルタ（ＭＩＮフィルタ）処理について示している。図８（ａ）では、図６と同様にフィルタ処理の画素数をｎ＝２として、最小フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度とする処理としている。また、図８（ｂ）では、フィルタ処理の画素数をｎ＝３として、最小フィルタ処理を、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最小輝度を対象画素の輝度とする処理としている。
　図８（ａ）において、元の輝度分布Ｐでは、走査線Ａ１での輝度が「暗」であるのに対して、走査線Ｂ１での輝度は「明」、走査線Ｂ１の１つ上の走査線Ｂ６での輝度も同じく「明」である。この場合、Ｂ入力の画像に対してｎ＝２のＭＩＮフィルタ処理を実行しても、得られた輝度分布ＭＩＮ（Ｂ）で走査線Ｂ１での輝度は「明」のままであり、したがって、ＭＩＮ（Ｂ）－Ａ演算による差分画像において偽の画像成分Ｃ１が発生する。
　一方、図８（ｂ）に示すように、同様の輝度分布Ｐについて、Ｂ入力の画像に対してｎ＝３のＭＩＮフィルタ処理を実行した場合、走査線Ｂ１の２つ上の走査線Ｂ７での輝度が「暗」であるために、得られた輝度分布ＭＩＮ（Ｂ）で、走査線Ｂ１での輝度が「暗」に置き換えられる。これにより、ＭＩＮ（Ｂ）－Ａ演算による差分画像において、偽の画像成分が発生しなくなる。なお、このような偽の画像成分の除去については、Ａ－Ｂ演算での偽の画像成分についても同様に実行可能である。
　このように、垂直方向についての最大、最小フィルタ処理において、フィルタ処理を適用する対象画素の近傍の画素数ｎを大きく設定した場合、それによって偽の差分画像成分の除去能力を向上することができる。一方、画素数ｎを大きくすると、フィルタ処理実行のための回路規模の増大などの問題が生じる。また、大きい画素数ｎでのフィルタ処理の実行は、例えば差分画像自体を小さくするなどの効果があり、抽出した目的の画像をも変形させてしまうため、必要以上に画素数ｎを大きくすることはできない。
　このような点を考慮すると、最大、最小フィルタ処理に用いられる対象画素の近傍の画素数ｎについては、上述したように３以上５以下の整数に設定する（３≦ｎ≦５）ことが好ましい。また、フィルタ処理回路、メモリの構成等に応じ、対象画素に対して垂直方向で時間的に後の画素についても、フィルタ処理に用いる構成としても良い。
　また、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生は、上記した明るい画像部分と暗い画像部分との境界以外にも、例えば、観測対象物１０にフィールド時間以上の速度での動きがあるなどの場合にも生じる可能性がある。対象物１０の動きによる偽の画像成分の場合、垂直方向の動きについては、上記した垂直方向のｎ個の画素を用いたフィルタ処理によって除去することが可能である。
　また、水平方向の動きについては、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素を用いて同様のフィルタ処理を行うことにより、偽の画像成分を除去することができる。この場合、水平方向の最大、最小フィルタ処理に用いられる画素数ｍについては、垂直方向の場合と同様の点を考慮して、５以上７以下の整数に設定する（５≦ｍ≦７）ことが好ましい。また、水平方向、垂直方向の両者についてフィルタ処理を行う場合には、例えば、対象画素を含むｎ×ｍ個の画素を用いてフィルタ処理を行えば良い。
　なお、図４に示したタイミングチャートにおいて、第１、第２期間における励起光供給のＯＮ／ＯＦＦ、蛍光画像／背景画像の取得、差分演算の動作モードの切替、及びフィルタ処理の実行については、図２に関して上述したように、図４に示した構成に限らず、例えば、第１期間において励起光の供給をＯＮとして蛍光画像を取得し、第２期間において励起光の供給をＯＦＦとして背景画像を取得する構成としても良い。
　図９は、図３に示した蛍光観測装置において実行される蛍光観測方法の他の例について示すタイミングチャートである。この図９の例では、図４の例とは逆に、第１期間Ｔ１１において励起光の供給をＯＮとして、その期間で取得される第１フィールドの画像を蛍光画像とし、また、第２期間Ｔ１２において励起光の供給をＯＦＦとして、その期間で取得される第２フィールドの画像を背景画像としている。
　第２期間Ｔ０２で撮像装置１２において取得された背景画像は、第１期間Ｔ１１で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、メモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィルタ２１での最小フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第２モードが適用された差分演算器２０では、最小フィルタ処理が適用されたＢ入力の蛍光画像から、Ａ入力の背景画像を差し引くＭＩＮ（Ｂ）－Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
　第１期間Ｔ１１で撮像装置１２において取得された蛍光画像は、第２期間Ｔ１２で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、メモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィルタ２１での最大フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第１モードが適用された差分演算器２０では、Ａ入力の蛍光画像から、最大フィルタ処理が適用されたＢ入力の背景画像を差し引くＡ－ＭＡＸ（Ｂ）演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
　このような光源１１からの励起光の供給、撮像装置１２での画像取得、フィルタ２１でのフィルタ処理の切替、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、図４の場合と同様に、各フィールド画像取得期間において、蛍光が抽出された差分画像がリアルタイムに生成される。
　図１０は、蛍光観測装置の第３実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ｃは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、ＭＡＸ／ＭＩＮフィルタ２１と、ラインメモリ２２と、切替信号生成部２５と、分布画像生成部３０と、マルチプレクサ３５と、表示装置５０とを備えて構成されている。これらのうち、観測光源１１、撮像装置１２、フィールドメモリ１５、差分演算器２０、ＭＡＸ／ＭＩＮフィルタ２１、ラインメモリ２２、切替信号生成部２５、及び表示装置５０の構成については、図３に示した第２実施形態の構成と同様である。
　図１０に示した構成では、差分演算器２０から出力される蛍光画像と背景画像との差分画像に対して、分布画像生成部３０が設けられている。この分布画像生成部３０は、差分演算器２０から出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段である。この場合の強度分布画像としては、具体的には例えば、差分画像に対して、単一または複数の閾値を適用して、強度分布画像である二値化画像またはカラー化画像を生成する構成を用いることができる。
　また、撮像装置１２からの出力、及び分布画像生成部３０からの出力に対して、マルチプレクサ３５が設けられている。このマルチプレクサ３５は、撮像装置１２から出力された蛍光画像または背景画像と、分布画像生成部３０から出力された蛍光の強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段である。
　図１０の構成では、マルチプレクサ３５のＡ入力端子には、撮像装置１２の出力が接続され、Ｂ入力端子には、分布画像生成部３０の出力が接続されている。また、マルチプレクサ３５には、分布画像生成部３０からの重畳指示信号が入力されており、この重畳指示信号による指示内容を参照して、撮像装置１２から入力した画像と、分布画像生成部３０から入力した画像との重畳画像が生成される。また、マルチプレクサ３５において生成された重畳画像は、表示装置５０へと出力される。
　図１１は、図１０に示した蛍光観測装置１Ｃにおける分布画像生成部の構成の一例を示すブロック図である。本構成例における分布画像生成部３０は、閾値設定部３１と、コンパレータ３２と、画像変換部３３とを有し、差分演算器２０から入力された差分画像に対し、複数（Ｎ個）の閾値を適用して、蛍光の強度分布に対応するカラー化画像（疑似カラー化画像）を生成するように構成されている。
　閾値設定部３１は、例えばＣＰＵを含んで構成され、蛍光の強度分布を示すカラー化画像を生成するためのＮ個の閾値を設定する。また、図１１の構成例では、撮像装置１２に対して３Ｇモーションセンサ１３が設けられており、閾値設定部３１は、センサ１３によって検知された撮像装置１２の動きについての情報を参照して、閾値を設定、変更する。このような構成は、例えば、撮像装置１２での手ぶれを検知して、そのふれ量から、差分画像成分の抽出に用いられる閾値を動的に上げて、偽の差分画像成分が目立たないようにする場合等において有効である。なお、撮像装置１２の手ぶれは、カメラ支点での動きになるため、画像の動きが大きくなることが多く、上述した最大、最小フィルタ処理による空間フィルタ方式だけでは、除去しきれない場合がある。
　コンパレータ３２は、閾値設定部３１で設定されたＮ個の閾値と、差分演算器２０から入力された差分画像の各画素での輝度とを比較し、その比較結果としてＮ段階の判定値を出力するＮ段コンパレータである。また、画像変換部３３は、コンパレータ３２から出力されたＮ段階の判定値を示すＮ値切替信号に基づき、差分演算器２０からの差分画像を、Ｎ色の疑似カラー化差分画像へと変換する。なお、輝度がＮ個の閾値よりも小さい画素については、蛍光が発生していないとしてカラー化画像データは生成されない。
　このような構成において、マルチプレクサ３５には、撮像装置１２からのオリジナル画像（蛍光画像または背景画像）と、画像変換部３３からの蛍光の強度分布を示す疑似カラー化差分画像と、コンパレータ３２からのＮ値切替信号（重畳指示信号）とが入力されている。マルチプレクサ３５は、Ｎ値切替信号を参照し、カラー化画像が生成されていない画素については撮像装置１２からのオリジナル画像データを採用し、カラー化画像が生成された画素については画像変換部３３からのカラー化画像データを採用するように、画素単位で画像データの切り替えを行うことで、オリジナル画像とカラー化差分画像（強度分布画像）との重畳画像を生成する。なお、このような構成において、閾値の個数をＮ＝１とすれば、強度分布画像として二値化画像が生成される。
　図１２は、図１０に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。このタイミングチャートでは、（ａ）差分演算器２０のＡ入力となるカメラ出力、（ｂ）Ｂ入力となるメモリ出力、（ｃ）差分演算器２０で生成される差分画像、（ｄ）分布画像生成部３０で生成されるカラー化画像、及び（ｅ）マルチプレクサ３５で生成される重畳画像を示している。
　なお、図１２に示したタイミングチャートにおける基本的な動作は、カラー化画像の生成、及び重畳画像の生成以外については、図２に示したものと同様である。また、図１２においては、ＭＡＸ／ＭＩＮフィルタ２１で実行される最大、最小フィルタ処理については、図示を省略している。
　第１期間Ｔ１１では、差分演算器２０において、Ａ入力の蛍光画像からＢ入力の背景画像を差し引くＡ－Ｂ演算によって差分画像が生成される。また、分布画像生成部３０において、差分画像に対してＮ個の閾値を適用することで、蛍光の強度分布を示すＮ色のカラー化差分画像が生成される（分布画像生成ステップ）。さらに、マルチプレクサ３５において、生成部３０から出力されたカラー化差分画像と、撮像装置１２から出力された蛍光画像との重畳画像が生成される（重畳画像生成ステップ）。
　同様に、第２期間Ｔ１２では、差分演算器２０において、Ｂ入力の蛍光画像からＡ入力の背景画像を差し引くＢ－Ａ演算によって差分画像が生成される。また、分布画像生成部３０において、差分画像に対してＮ個の閾値を適用することで、Ｎ色のカラー化差分画像が生成される（分布画像生成ステップ）。さらに、マルチプレクサ３５において、生成部３０から出力されたカラー化差分画像と、撮像装置１２から出力された背景画像との重畳画像が生成される（重畳画像生成ステップ）。
　本実施形態による蛍光観測装置１Ｃ、及び蛍光観測方法においても、第１実施形態による蛍光観測装置１Ａ、及び第２実施形態による蛍光観測装置１Ｂと同様の効果を得ることができる。
　さらに、本実施形態では、差分演算器２０から出力される差分画像に対して、分布画像生成部３０を設け、差分画像に基づいて蛍光の強度分布を示す二値化画像またはカラー化画像などの強度分布画像を生成する構成としている。このように、蛍光が抽出された差分画像をそのまま用いるのではなく、分布画像生成部３０において強度分布画像に変換して蛍光観測に用いることにより、例えば微弱な蛍光の観測画像の目視での確認などの様々な操作を効率的に行うことができる。
　また、本実施形態では、撮像装置１２から出力されたオリジナル画像と、分布画像生成部３０から出力された強度分布画像との重畳画像を生成するマルチプレクサ３５を設ける構成としている。このように、オリジナルの蛍光画像または背景画像と、閾値を適用して加工された強度分布画像との重畳画像を蛍光観測に用いる構成によれば、例えば、対象物１０における蛍光の発生位置を、表示装置５０に表示された観測画像から目視で確認することが可能になるなど、様々な形での効率的な対象物の蛍光観測が可能となる。
　ここで、図１３は、図１０に示した蛍光観測装置１Ｃにおいて取得される観測画像の例を示す図である。図１３（ａ）は、カラー化画像の生成による蛍光抽出、及び重畳画像の生成等を行っていない通常の観測画像を示し、図１３（ｂ）は、オリジナル画像に対して疑似カラー化差分画像を重畳した重畳画像を示している。このように、蛍光の強度分布を示すカラー化画像などの強度分布画像、あるいはさらに、オリジナル画像と強度分布画像との重畳画像を生成、表示することにより、観測対象物における蛍光の発生位置、範囲、及びその強度分布等を好適に確認することができる。
　本発明による蛍光観測装置、及び蛍光観測方法は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、差分画像生成手段、フィルタ処理手段、分布画像生成手段、及び重畳画像生成手段等の構成については、上記した実施形態の構成に限らず、具体的には様々な構成を用いて良い。また、例えば、図１０に示した分布画像生成部３０及びマルチプレクサ３５については、図１のようにＭＡＸ／ＭＩＮフィルタ２１を設けていない構成に対して適用することも可能である。また、重畳画像を生成するマルチプレクサ３５を設けずに、分布画像生成部３０で生成された強度分布画像を、そのまま表示装置５０に表示する構成としても良い。
　上記実施形態による蛍光観測装置では、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段と、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、（５）励起光供給手段は、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給するとともに、（６）差分画像生成手段は、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用する構成を用いている。
　また、上記実施形態による蛍光観測方法では、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、（５）励起光供給手段により、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給する励起光供給ステップとを備え、（６）差分画像生成ステップは、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用する構成を用いている。
　ここで、蛍光観測装置は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、差分画像生成手段は、切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いることができる。同様に、蛍光観測方法は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成ステップを備え、差分画像生成ステップは、切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いることができる。
　このように、撮像装置からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替えを好適に実現することができる。
　また、蛍光観測装置は、画像記憶手段から差分画像生成手段へと出力される蛍光画像または背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタ処理手段を備え、フィルタ処理手段は、画像記憶手段から背景画像が出力される第１モードと、画像記憶手段から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを切り替えて適用することが好ましい。
　同様に、蛍光観測方法は、画像記憶手段から出力される蛍光画像または背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタ処理ステップを備え、フィルタ処理ステップは、画像記憶手段から背景画像が出力される第１モードと、画像記憶手段から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを切り替えて適用することが好ましい。
　上記したように、撮像装置のフィールド画像取得動作と、励起光供給手段の励起光供給動作と、差分画像生成手段のモード切替動作とを同期させる構成では、差分画像の生成において、第１フィールドの画像と第２フィールドの画像との間で差分をとるために、例えば、明るい画像部分と暗い画像部分との境界などにおいて、偽の差分画像成分が抽出される場合がある。また、このような偽の差分画像成分の抽出は、対象物に動きがあるなどの場合にも生じる可能性がある。
　これに対して、画像記憶手段から出力される画像の各画素の輝度について最大フィルタ処理または最小フィルタ処理を実行するフィルタ処理手段を設けるとともに、このフィルタ処理手段において、差分画像の生成における第１、第２モードの切替動作に同期して、最大、最小フィルタ処理を切り替えて画像に適用する。これにより、蛍光画像と背景画像との差分画像における偽の差分画像成分の抽出を抑制することができる。
　この場合、蛍光観測装置は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、差分画像生成手段は、切替信号に基づいて、第１モードと第２モードとを切り替えて適用するとともに、フィルタ処理手段は、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いることができる。
　同様に、蛍光観測方法は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成ステップを備え、差分画像生成ステップは、切替信号に基づいて、第１モードと第２モードとを切り替えて適用するとともに、フィルタ処理ステップは、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いることができる。
　このように、撮像装置からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替え、及びフィルタ処理における最大フィルタ処理と最小フィルタ処理とのフィルタ処理の切り替えを好適に実現することができる。
　また、上記のようにフィルタ処理手段を用いる場合、蛍光観測装置は、対象画素を含む走査線のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段を備えることが好ましい。このような構成によれば、第２の画像記憶手段に記憶されたライン画像データを用いて、フィルタ処理手段における画像に対するフィルタ処理を好適に実行することができる。
　蛍光画像または背景画像に対するフィルタ処理については、具体的には、蛍光観測装置は、フィルタ処理手段において、最大フィルタ処理では、ｎを２以上の整数として、対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
　同様に、蛍光観測方法は、フィルタ処理ステップにおいて、最大フィルタ処理では、ｎを２以上の整数として、対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
　このように、対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素を用いて最大、最小フィルタ処理を実行することにより、偽の差分画像成分の抽出の抑制を好適に実現することができる。また、この場合、最大フィルタ処理及び最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることが好ましい。
　また、蛍光観測装置は、フィルタ処理手段において、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
　同様に、蛍光観測方法は、フィルタ処理ステップにおいて、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
　このように、対象画素に水平方向のｍ－１個の画素を加えたｍ個の画素を用いて最大、最小フィルタ処理を実行する構成によっても、例えば対象物に動きがある場合などにおいて、偽の差分画像成分の抽出の抑制を好適に実現することができる。
　蛍光観測装置は、差分画像生成手段から出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段を備える構成を用いることができる。同様に、蛍光観測方法は、差分画像生成ステップで出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成ステップを備える構成を用いることができる。
　このように、蛍光が抽出された差分画像をそのまま用いるのではなく、強度分布画像に変換して蛍光観測に用いることにより、例えば微弱な蛍光の観測画像の目視での確認等を効率的に行うことができる。また、このように強度分布画像を生成して用いる場合、具体的には例えば、差分画像に対して、単一または複数の閾値を適用して、強度分布画像である二値化画像またはカラー化画像を生成する構成を用いることができる。
　また、蛍光観測装置は、撮像装置から出力された蛍光画像または背景画像と、分布画像生成手段から出力された強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段を備える構成を用いることができる。同様に、蛍光観測方法は、撮像装置から出力された蛍光画像または背景画像と、分布画像生成ステップで出力された強度分布画像とを重畳した重畳画像を生成する重畳画像生成ステップを備える構成を用いることができる。
　このように、オリジナルの蛍光画像または背景画像と、二値化画像、カラー化画像等の強度分布画像とを重畳した重畳画像を蛍光観測に用いる構成によれば、例えば、対象物における蛍光の発生位置を、観測画像から目視で確認することが可能になるなど、様々な形での効率的な対象物の蛍光観測が可能となる。
　本発明は、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置、及び蛍光観測方法として利用可能である。
　１Ａ、１Ｂ、１Ｃ…蛍光観測装置、１０…観測対象物、１１…観測光源（励起光供給手段）、１２…インターレース型の撮像装置、１３…モーションセンサ、１５…フィールドメモリ（画像記憶手段）、
　２０…差分演算器（差分画像生成手段）、２１…ＭＡＸ／ＭＩＮフィルタ（フィルタ処理手段）、２２…ラインメモリ、２５…切替信号生成部、３０…分布画像生成部（分布画像生成手段）、３１…閾値設定部、３２…コンパレータ、３３…画像変換部、３５…マルチプレクサ（重畳画像生成手段）、５０…表示装置。

Claims (15)

  1. 　観測対象物に対して蛍光観測のための励起光を供給するとともに、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
    　前記観測対象物からの光像を撮像するとともに、得られた前記観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、
    　前記撮像装置から出力された前記第１フィールドの画像または前記第２フィールドの画像を記憶する画像記憶手段と、
    　前記撮像装置から出力された前記第１フィールドの画像及び前記第２フィールドの画像の一方と、前記画像記憶手段に記憶された前記第１フィールドの画像及び前記第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、
    　前記励起光供給手段は、前記撮像装置による前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間について、その一方が前記励起光の供給をＯＮとして蛍光画像を取得する期間、他方が前記励起光の供給をＯＦＦとして背景画像を取得する期間となるように前記励起光を供給するとともに、
    　前記差分画像生成手段は、その生成モードとして、
    　前記撮像装置から前記蛍光画像が出力された場合に、前記蛍光画像から、その前に取得されて前記画像記憶手段に記憶された前記背景画像を差し引くことで前記差分画像を生成する第１モードと、
    　前記撮像装置から前記背景画像が出力された場合に、前記背景画像を、その前に取得されて前記画像記憶手段に記憶された前記蛍光画像から差し引くことで前記差分画像を生成する第２モードと
    を切り替えて適用することを特徴とする蛍光観測装置。
  2. 　前記撮像装置からの信号に基づいて前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、
    　前記差分画像生成手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとを切り替えて適用することを特徴とする請求項１記載の蛍光観測装置。
  3. 　前記画像記憶手段から前記差分画像生成手段へと出力される前記蛍光画像または前記背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を前記対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を前記対象画素の輝度とする最小フィルタ処理を行うフィルタ処理手段を備え、
    　前記フィルタ処理手段は、前記画像記憶手段から前記背景画像が出力される前記第１モードと、前記画像記憶手段から前記蛍光画像が出力される前記第２モードとで、前記最大フィルタ処理と、前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項１記載の蛍光観測装置。
  4. 　前記撮像装置からの信号に基づいて前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、
    　前記差分画像生成手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとを切り替えて適用するとともに、
    　前記フィルタ処理手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとで、前記最大フィルタ処理と前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項３記載の蛍光観測装置。
  5. 　前記対象画素を含む走査線のライン画像データに対して、前記対象画素の近傍の前記所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段を備えることを特徴とする請求項３または４記載の蛍光観測装置。
  6. 　前記フィルタ処理手段において、
    　前記最大フィルタ処理では、ｎを２以上の整数として、前記対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最大輝度を前記対象画素の輝度とする処理を行い、
    　前記最小フィルタ処理では、前記対象画素に垂直方向で時間的に前のｎ－１個の画素を加えたｎ個の画素での最小輝度を前記対象画素の輝度とする処理を行う
    ことを特徴とする請求項３～５のいずれか一項記載の蛍光観測装置。
  7. 　前記フィルタ処理手段において、前記最大フィルタ処理及び前記最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることを特徴とする請求項６記載の蛍光観測装置。
  8. 　前記差分画像生成手段から出力された前記差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段を備えることを特徴とする請求項１～７のいずれか一項記載の蛍光観測装置。
  9. 　前記分布画像生成手段は、前記差分画像に対して、単一または複数の閾値を適用して、前記強度分布画像である二値化画像またはカラー化画像を生成することを特徴とする請求項８記載の蛍光観測装置。
  10. 　前記撮像装置から出力された前記蛍光画像または前記背景画像と、前記分布画像生成手段から出力された前記強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段を備えることを特徴とする請求項８または９記載の蛍光観測装置。
  11. 　観測対象物に対して蛍光観測のための励起光を供給するとともに、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
    　前記観測対象物からの光像を撮像するとともに、得られた前記観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、
    　前記撮像装置から出力された前記第１フィールドの画像または前記第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、
    　前記撮像装置から出力された前記第１フィールドの画像及び前記第２フィールドの画像の一方と、前記画像記憶手段に記憶された前記第１フィールドの画像及び前記第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、
    　前記励起光供給手段により、前記撮像装置による前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間について、その一方が前記励起光の供給をＯＮとして蛍光画像を取得する期間、他方が前記励起光の供給をＯＦＦとして背景画像を取得する期間となるように前記励起光を供給する励起光供給ステップとを備え、
    　前記差分画像生成ステップは、その生成モードとして、
    　前記撮像装置から前記蛍光画像が出力された場合に、前記蛍光画像から、その前に取得されて前記画像記憶手段に記憶された前記背景画像を差し引くことで前記差分画像を生成する第１モードと、
    　前記撮像装置から前記背景画像が出力された場合に、前記背景画像を、その前に取得されて前記画像記憶手段に記憶された前記蛍光画像から差し引くことで前記差分画像を生成する第２モードと
    を切り替えて適用することを特徴とする蛍光観測方法。
  12. 　前記画像記憶手段から出力される前記蛍光画像または前記背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を前記対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を前記対象画素の輝度とする最小フィルタ処理を行うフィルタ処理ステップを備え、
    　前記フィルタ処理ステップは、前記画像記憶手段から前記背景画像が出力される前記第１モードと、前記画像記憶手段から前記蛍光画像が出力される前記第２モードとで、前記最大フィルタ処理と、前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項１１記載の蛍光観測方法。
  13. 　前記差分画像生成ステップで出力された前記差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成ステップを備えることを特徴とする請求項１１または１２記載の蛍光観測方法。
  14. 　前記分布画像生成ステップは、前記差分画像に対して、単一または複数の閾値を適用して、前記強度分布画像である二値化画像またはカラー化画像を生成することを特徴とする請求項１３記載の蛍光観測方法。
  15. 　前記撮像装置から出力された前記蛍光画像または前記背景画像と、前記分布画像生成ステップで出力された前記強度分布画像とを重畳した重畳画像を生成する重畳画像生成ステップを備えることを特徴とする請求項１３または１４記載の蛍光観測方法。
PCT/JP2012/067978 2011-10-03 2012-07-13 蛍光観測装置及び蛍光観測方法 WO2013051317A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12838958.2A EP2765406B1 (en) 2011-10-03 2012-07-13 Fluorescent light observation device and fluorescent light observation method
CN201280048908.9A CN103842802B (zh) 2011-10-03 2012-07-13 荧光观测装置以及荧光观测方法
US14/348,064 US9404866B2 (en) 2011-10-03 2012-07-13 Fluorescent light observation device and fluorescent light observation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011219168A JP5798430B2 (ja) 2011-10-03 2011-10-03 蛍光観測装置及び蛍光観測方法
JP2011-219168 2011-10-03

Publications (1)

Publication Number Publication Date
WO2013051317A1 true WO2013051317A1 (ja) 2013-04-11

Family

ID=48043489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/067978 WO2013051317A1 (ja) 2011-10-03 2012-07-13 蛍光観測装置及び蛍光観測方法

Country Status (5)

Country Link
US (1) US9404866B2 (ja)
EP (1) EP2765406B1 (ja)
JP (1) JP5798430B2 (ja)
CN (1) CN103842802B (ja)
WO (1) WO2013051317A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2975381A1 (en) * 2014-07-18 2016-01-20 Olympus Corporation Fluorescence measuring apparatus and method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6198426B2 (ja) * 2013-03-29 2017-09-20 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法
JP6315759B2 (ja) * 2013-10-11 2018-04-25 シャープ株式会社 蛍光検出装置及び掃除機
CN105934191B (zh) * 2014-01-31 2018-01-02 奥林巴斯株式会社 荧光观察装置
JP6450832B2 (ja) * 2015-03-17 2019-01-09 浜松ホトニクス株式会社 蛍光画像生成装置及び蛍光画像生成方法
JP6451494B2 (ja) 2015-05-19 2019-01-16 株式会社島津製作所 イメージング装置
WO2018061390A1 (ja) 2016-09-28 2018-04-05 パナソニック株式会社 表示システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07155292A (ja) 1993-12-03 1995-06-20 Olympus Optical Co Ltd 蛍光観察装置
JPH09131306A (ja) * 1995-11-07 1997-05-20 Asahi Optical Co Ltd 蛍光観察内視鏡装置
JPH10151104A (ja) 1996-11-25 1998-06-09 Olympus Optical Co Ltd 蛍光内視鏡装置
JPH11308533A (ja) * 1998-04-23 1999-11-05 Fuji Photo Film Co Ltd インターライン型ｃｃｄ撮像装置
JP2001083432A (ja) * 1999-07-09 2001-03-30 Olympus Optical Co Ltd 共焦点顕微鏡
JP2002098900A (ja) * 2000-09-22 2002-04-05 Olympus Optical Co Ltd 共焦点顕微鏡

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3654325B2 (ja) * 1997-02-13 2005-06-02 富士写真フイルム株式会社 蛍光検出装置
US20050242296A1 (en) * 2004-04-28 2005-11-03 Kleinerman Marcos Y Optical detectors for infrared, sub-millimeter and high energy radiation
JP4598182B2 (ja) 2005-01-05 2010-12-15 Ｈｏｙａ株式会社 電子内視鏡システム
JP4761899B2 (ja) * 2005-09-12 2011-08-31 Ｈｏｙａ株式会社 電子内視鏡システム
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
JP4956221B2 (ja) * 2007-02-21 2012-06-20 キヤノン株式会社 発光検出装置及び蛍光検出装置
WO2008108025A1 (en) 2007-03-05 2008-09-12 Nec Electronics Corporation Imaging apparatus and flicker detection method
KR20100045964A (ko) 2007-07-06 2010-05-04 내셔널 유니버시티 오브 싱가포르 형광 초점변조 현미경 시스템 및 방법
WO2010032452A1 (ja) * 2008-09-19 2010-03-25 三井造船株式会社 強度変調したレーザ光による蛍光検出装置および蛍光検出方法
CN101424569B (zh) * 2008-10-17 2010-12-01 华南师范大学 紫外线强度荧光差分检测方法与装置
JP5292118B2 (ja) * 2009-01-30 2013-09-18 富士フイルム株式会社 蛍光内視鏡システム及び蛍光内視鏡システムの作動方法
US9155471B2 (en) * 2009-05-27 2015-10-13 Lumicell, Inc'. Methods and systems for spatially identifying abnormal cells
JP5699568B2 (ja) * 2010-11-29 2015-04-15 セイコーエプソン株式会社 光源装置、プロジェクター

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07155292A (ja) 1993-12-03 1995-06-20 Olympus Optical Co Ltd 蛍光観察装置
JPH09131306A (ja) * 1995-11-07 1997-05-20 Asahi Optical Co Ltd 蛍光観察内視鏡装置
JPH10151104A (ja) 1996-11-25 1998-06-09 Olympus Optical Co Ltd 蛍光内視鏡装置
JPH11308533A (ja) * 1998-04-23 1999-11-05 Fuji Photo Film Co Ltd インターライン型ｃｃｄ撮像装置
JP2001083432A (ja) * 1999-07-09 2001-03-30 Olympus Optical Co Ltd 共焦点顕微鏡
JP2002098900A (ja) * 2000-09-22 2002-04-05 Olympus Optical Co Ltd 共焦点顕微鏡

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2765406A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2975381A1 (en) * 2014-07-18 2016-01-20 Olympus Corporation Fluorescence measuring apparatus and method
US9535007B2 (en) 2014-07-18 2017-01-03 Olympus Corporation Measuring apparatus and fluorescence measuring method

Also Published As

Publication number Publication date
US9404866B2 (en) 2016-08-02
EP2765406A1 (en) 2014-08-13
CN103842802B (zh) 2015-12-02
EP2765406B1 (en) 2016-05-25
JP2013079841A (ja) 2013-05-02
JP5798430B2 (ja) 2015-10-21
US20140254953A1 (en) 2014-09-11
CN103842802A (zh) 2014-06-04
EP2765406A4 (en) 2015-09-02

Similar Documents

Publication Publication Date Title
JP5798430B2 (ja) 蛍光観測装置及び蛍光観測方法
EP2980562B1 (en) Fluorescence viewing device and fluorescence viewing method
KR100424600B1 (ko) 방향성에지보간을사용한모션적응스캔-율변환
JP5123443B2 (ja) 信号処理装置及び静止画生成方法
JP2007006021A (ja) 撮像装置および画像処理プログラム
US10778881B2 (en) Video signal processing device, video signal processing method, and camera device
JP2006277085A (ja) 光学式ポインティング制御装置及び該装置を用いたポインティングシステム
JP2007235965A (ja) ビデオ系列を処理する方法、及びその方法を実施する装置
JP5977909B1 (ja) 信号処理装置及び内視鏡システム
JP6411597B2 (ja) 蛍光観察装置及び蛍光観察方法
JP2006325274A (ja) 撮像装置
JP2009033293A (ja) 画像処理回路、半導体装置、画像処理装置
JP6331339B2 (ja) 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
JP2018185460A (ja) 映像生成システム、映像信号生成装置、および表示装置
JP2008158682A (ja) 画像処理装置
JP4677799B2 (ja) 画像処理装置及び画像処理方法
JP2008288942A (ja) 輪郭強調装置
JP2009065454A (ja) 監視カメラシステム
Pedrino et al. Color mathematical morphology in a FPGA
JPH1132238A (ja) 画像取り込み方法
JP2015115877A (ja) 撮像装置、その制御方法
JP2008160501A (ja) 画像信号処理装置
JP2013247670A (ja) 車載カメラシステム
JP2009290301A (ja) 映像信号処理装置
JP2005311572A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12838958

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14348064

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012838958

Country of ref document: EP