WO2009145157A1 - 信号処理システム及び信号処理プログラム - Google Patents

信号処理システム及び信号処理プログラム Download PDF

Info

Publication number
WO2009145157A1
WO2009145157A1 PCT/JP2009/059551 JP2009059551W WO2009145157A1 WO 2009145157 A1 WO2009145157 A1 WO 2009145157A1 JP 2009059551 W JP2009059551 W JP 2009059551W WO 2009145157 A1 WO2009145157 A1 WO 2009145157A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
subject
dedicated
coefficient
identified
Prior art date
Application number
PCT/JP2009/059551
Other languages
English (en)
French (fr)
Inventor
鶴岡 建夫
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to EP09754665.9A priority Critical patent/EP2286713B1/en
Priority to CN200980119299.XA priority patent/CN102046062B/zh
Publication of WO2009145157A1 publication Critical patent/WO2009145157A1/ja
Priority to US12/953,740 priority patent/US8805061B2/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524Calibration of colorimeters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device

Definitions

  • the present invention relates to a signal processing system for identifying a subject and a signal processing program for causing a computer to execute a procedure of such a signal processing system.
  • Patent Document 1 discloses an example in which a specific narrowband video signal is calculated by signal processing using broadband light as observation light. As a result, a high-definition narrow-band video signal with less noise can be obtained, so that a subject having specific spectral characteristics such as a blood vessel can be identified and displayed on a display monitor. Becomes easy.
  • the present invention has been made in view of the above points, and an object of the present invention is to provide a signal processing system and a signal processing program that can identify a subject to be identified with high reliability.
  • a base vector acquisition unit that acquires a dedicated base vector based on the known spectral characteristics of a subject to be identified whose spectral characteristics are known;
  • System spectroscopy for acquiring spectral characteristics of an imaging system including spectral characteristics relating to a color imaging system used for imaging a subject including the subject to be identified and spectral characteristics relating to illumination light used when imaging the subject by the color imaging system
  • a characteristic acquisition unit A calculation unit for calculating a weighting coefficient related to the dedicated base vector based on a video signal obtained by imaging the subject by the color imaging system, the dedicated base vector, and spectral characteristics of the imaging system;
  • An output signal calculation unit that calculates an output signal as an identification result of a subject to be identified whose spectral characteristics are known, based on a weighting factor related to the dedicated basis vector calculated by the calculation unit;
  • a signal processing system is provided.
  • acquisition means reading from a recording medium or reading via a network.
  • the known spectral characteristics of the subject to be identified whose spectral characteristics are known
  • the spectral characteristics related to the color imaging system used for imaging the subject including the subject to be identified and
  • a derivation coefficient acquisition unit that acquires a derivation coefficient indicating the correlation between the known spectral characteristic of the subject and the video signal, which is calculated based on the spectral characteristic of the illumination light used when the subject is imaged by the color imaging system.
  • a correlation coefficient calculating unit that calculates a correlation coefficient between the spectral characteristics of the subject to be identified and the video signal based on the video signal and the derived coefficient; Based on the correlation coefficient calculated by the correlation coefficient calculation unit, an output signal calculation unit that calculates an output signal as an identification result of a subject to be identified whose spectral characteristics are known; A signal processing system is provided.
  • a signal processing program for causing a computer to perform the above is provided.
  • the known spectral characteristics of the subject that is calculated based on the known spectral characteristics of the subject to be identified, the spectral characteristics of the color imaging system, and the spectral characteristics of the illumination light used when imaging the subject by the color imaging system.
  • a signal processing program for causing a computer to perform the above is provided.
  • FIG. 1 is a diagram showing a configuration of an endoscope to which a signal processing system according to a first embodiment of the present invention is applied.
  • FIG. 2 is a diagram illustrating a configuration of a Bayer-type primary color filter.
  • FIG. 3 is a diagram illustrating an example of the configuration of the calculation unit in FIG. 1.
  • FIG. 4 is a diagram illustrating an example of three types of dedicated basis vectors.
  • FIG. 5 is a diagram illustrating an example of a spectral luminance characteristic of a light source as a spectral characteristic related to illumination light used at the time of imaging.
  • FIG. 6 is a diagram illustrating an example of spectral sensitivity characteristics of a color imaging system including R, G, and B color filters as spectral characteristics related to the color imaging system.
  • FIG. 1 is a diagram showing a configuration of an endoscope to which a signal processing system according to a first embodiment of the present invention is applied.
  • FIG. 2 is a diagram illustrating a configuration of a
  • FIG. 7 is a diagram showing a dedicated basis vector of oxyhemoglobin and two general-purpose basis vectors as examples of the three types of basis vectors in the first modification of the first embodiment.
  • FIG. 8 is a diagram showing deoxyhemoglobin dedicated basis vectors and two general-purpose basis vectors as examples of the three types of basis vectors in Modification 1 of the first embodiment.
  • FIG. 9 is a diagram illustrating the configuration of the R, Gr, Gb, and B primary color filters in the second modification of the first embodiment.
  • FIG. 10 is a diagram illustrating a configuration of a color difference line sequential complementary color filter according to Modification 2 of the first embodiment.
  • FIG. 11 is a diagram illustrating spectral sensitivity characteristics of a color imaging system (four complementary colors) in Modification 2 of the first embodiment.
  • FIG. 12 is a diagram illustrating oxyhemoglobin dedicated basis vectors and three general-purpose basis vectors as examples of the four types of basis vectors in Modification 2 of the first embodiment.
  • FIG. 13 is a diagram showing dedicated base vectors of oxyhemoglobin and deoxyhemoglobin and two general-purpose base vectors as examples of the four types of base vectors in Modification 2 of the first embodiment.
  • FIG. 14 is a diagram illustrating a configuration of an endoscope to which the signal processing system according to the third modification of the first embodiment is applied.
  • FIG. 15 is a diagram illustrating a configuration of an endoscope to which the signal processing system according to the fourth modification of the first embodiment is applied.
  • FIG. 16 is a diagram illustrating a configuration of an endoscope to which the signal processing system according to the fifth modification of the first embodiment is applied.
  • FIG. 17 is a diagram illustrating a configuration of an endoscope to which a signal processing system according to Modification 6 of the first embodiment is applied.
  • FIG. 18 is a diagram illustrating a flowchart regarding the software processing of the signal processing in the modified example 7 of the first embodiment.
  • FIG. 19 is a diagram showing a flowchart regarding the calculation processing in FIG.
  • FIG. 20 is a diagram showing a configuration of an endoscope to which the signal processing system according to the second embodiment of the present invention is applied.
  • FIG. 21 is a diagram illustrating an example of the configuration of the second calculation unit in FIG. 20.
  • FIG. 22 is a diagram illustrating a configuration of an endoscope to which the signal processing system according to the first modification of the second embodiment is applied.
  • FIG. 23 is a diagram illustrating an emphasis gain generation function.
  • FIG. 24 is a diagram illustrating a flowchart regarding software processing of signal processing in the second modification of the second embodiment.
  • FIG. 25 is a diagram illustrating a flowchart regarding the second calculation process in FIG. 24.
  • FIG. 26 is a diagram showing a configuration of a microscope to which the signal processing system according to the third embodiment of the present invention is applied.
  • FIG. 27 is a diagram illustrating an example of the configuration of the correlation coefficient calculation unit in FIG.
  • FIG. 28 is a diagram illustrating a configuration of a microscope to which the signal processing system according to the first modification of the third embodiment is applied.
  • FIG. 29 is a diagram illustrating a configuration of a microscope to which the signal processing system according to the second modification of the third embodiment is applied.
  • FIG. 30 is a diagram illustrating a configuration of a microscope to which the signal processing system according to the third modification of the third embodiment is applied.
  • FIG. 31 is a flowchart illustrating signal processing software processing in Modification 4 of the third embodiment.
  • FIG. 32 is a diagram showing a flowchart regarding the correlation coefficient calculation processing in FIG.
  • an endoscope to which the signal processing system according to the first embodiment of the present invention is applied includes an imaging lens system 100, a CCD 101, an illumination lens system 102, an illumination light source 103, an optical fiber 104, an amplification unit ( (Indicated in the figure as Gain.) 105, A / D converter 106, buffer 107, interpolation unit 108, WB unit 109, photometric evaluation unit 110, signal processing unit 111, calculation unit 112, switching unit 113, basis vector ROM 114, system A spectral characteristic ROM 115, a normalization unit 116, an output unit 117, a control unit 118, and an external I / F unit 119 are provided.
  • a thick solid line arrow indicates the direction of the video signal
  • a thin solid line arrow indicates the direction of the control signal
  • a broken line arrow indicates the direction of other signals (the same applies to the other figures). is there).
  • An imaging lens system 100, a CCD 101, and an illumination lens system 102 are arranged at the distal end portion of the endoscope that is inserted into the body of the subject.
  • the illumination light source 103 is disposed, for example, on the rear end side of the endoscope, and the illumination light from the illumination light source 103 is guided to the endoscope front end portion via the optical fiber 104 and passes through the illumination lens system 102. Irradiates a subject (not shown).
  • the CCD 101 images the illuminated subject, and the video signal obtained by the imaging is amplified by the amplification unit 105 and then converted into a digital signal by the A / D converter 106.
  • the digital video signal from the A / D converter 106 is transferred to the interpolation unit 108 via the buffer 107.
  • the buffer 107 is also connected to the WB unit 109 and the photometric evaluation unit 110.
  • the WB unit 109 is connected to the amplification unit 105, and the photometric evaluation unit 110 is connected to the illumination light source 103 and the amplification unit 105.
  • the interpolation unit 108 is connected to the signal processing unit 111 and the calculation unit 112.
  • the signal processing unit 111 is connected to the switching unit 113.
  • the basis vector ROM 114 and the system spectral characteristic ROM 115 are connected to the calculation unit 112.
  • the calculation unit 112 is connected to the switching unit 113 via the normalization unit 116.
  • the switching unit 113 is connected to an output unit 117 such as a liquid crystal display.
  • the control unit 118 such as a microcomputer includes the amplification unit 105, the A / D converter 106, the interpolation unit 108, the WB unit 109, the photometric evaluation unit 110, the signal processing unit 111, the calculation unit 112, the switching unit 113, and the normalization unit. 116 and the output unit 117 are bidirectionally connected.
  • An external I / F unit 119 having an interface for performing settings such as a power switch, a shutter button, and switching of various modes at the time of imaging is also connected to the control unit 118 bidirectionally.
  • the imaging mode is entered by pressing the shutter button.
  • the external I / F unit 119 includes, for example, an identification target selection unit that selects one subject from a plurality of subjects to be identified, a plurality of color imaging systems, and a plurality of illumination lights. It functions as a color imaging system selection unit that selects one color imaging system and one illumination light.
  • a video signal obtained by imaging with the CCD 101 is continuously output from the CCD 101 as an analog signal at predetermined time intervals.
  • a plurality of continuously output video signals are simply referred to as video signals, and a video signal for one image is referred to as a frame signal.
  • 1/30 seconds hereinafter referred to as one frame time
  • the predetermined time interval is assumed as the predetermined time interval.
  • the CCD 101 a single plate CCD having a Bayer type primary color filter 120 as shown in FIG.
  • the Bayer type has 2 ⁇ 2 pixels as a basic unit, in which the red (R) color filter 121R and the blue (B) color filter 121B are arranged one by one, and the green (G) color filter 121G is arranged by two pixels. It is a thing.
  • the analog signal from the CCD 101 is amplified by a predetermined amount by the amplifying unit 105, converted into a digital signal by the A / D converter 106, and transferred to the buffer 107.
  • the buffer 107 can record a signal of one frame, and is sequentially overwritten from an old frame signal as imaging progresses.
  • the frame signal in the buffer 107 is intermittently transferred to the WB unit 109 and the photometric evaluation unit 110 at the predetermined time interval based on the control of the control unit 118.
  • the WB unit 109 calculates a white balance coefficient by integrating signals of a predetermined level such as an intermediate level for each color signal corresponding to the color filters 121R, 121G, and 121B. Then, the calculated white balance coefficient is transferred to the amplifying unit 105.
  • the amplification unit 105 performs white balance adjustment by multiplying the amplification factor by a white balance coefficient that is different for each color signal. Further, the photometric evaluation unit 110 controls the light amount of the illumination light source 103, the amplification factor of the amplification unit 105, and the like so as to achieve proper exposure.
  • the interpolation unit 108 reads a single-plate frame signal from the buffer 107 based on the control of the control unit 118, and generates a three-plate frame signal by a known interpolation process.
  • the generated three-plate frame signals are sequentially transferred to the signal processing unit 111 and the calculation unit 112 in units of frame signals.
  • Subsequent signal processing unit 111, calculation unit 112, and normalization unit 116 are processed synchronously in units of one frame signal based on the control of control unit 118.
  • the signal processing unit 111 performs known gradation processing and enhancement processing on the frame signal transferred from the interpolation unit 108 based on the control of the control unit 118, and transfers the processed frame signal to the switching unit 113.
  • the basis vector ROM 114 stores a dedicated basis vector based on the known spectral characteristics of each of the subjects to be identified.
  • the system spectral characteristic ROM 115 stores spectral characteristics related to each of a plurality of color imaging systems and spectral characteristics related to a plurality of illumination lights used at the time of imaging.
  • the spectral characteristics related to the color imaging system mean the spectral sensitivity characteristics of the CCD 101 taking into account the spectral transmittance characteristics of the imaging lens system 100.
  • the spectral characteristic related to the illumination light means a spectral luminance characteristic of the illumination light source 103 in consideration of the spectral transmittance characteristics of the transfer optical fiber 104 and the illumination lens system 102.
  • the calculation unit 112 Based on the control of the control unit 118 according to the imaging conditions set via the external I / F unit 119, the calculation unit 112 obtains a basis vector from the basis vector ROM 114, and a spectral characteristic from the system spectral characteristic ROM 115, respectively. Read. That is, from the basis vector ROM 114, a dedicated basis vector based on the known spectral characteristics of one subject to be identified and the known spectral characteristics of a non-identification subject that is a subject other than the one subject to be identified. And a dedicated basis vector based on.
  • the calculation unit 112 uses the read dedicated base vector, the spectral characteristics related to the color imaging system, and the spectral characteristics related to the illumination light with respect to the frame signal transferred from the interpolation unit 108.
  • a weighting coefficient related to the dedicated base vector of the subject to be identified is calculated.
  • the calculated weight coefficient of the dedicated basis vector takes a value proportional to the presence of the subject to be identified as will be described later, and is transferred to the normalization unit 116.
  • the normalization unit 116 performs normalization processing based on the control of the control unit 118 so that the weighting coefficient transferred from the calculation unit 112 matches the signal level of the video signal. That is, since the weighting coefficient calculated by the calculation unit 112 takes a value of “0” to “1”, for example, if the signal level is 8 bits, it is normalized to a value of “0” to “255”. . Then, the weighting coefficient after the normalization process is transferred to the switching unit 113 as a frame signal.
  • the switching unit 113 is either a normal frame signal transferred from the signal processing unit 111 or a frame signal related to the presence of an identification target transferred from the normalization unit 116. Select.
  • the selected frame signal is transferred to the output unit 117 and output.
  • the switching unit 113, the normalization unit 116, and the output unit 117 function as an output signal calculation unit that calculates an output signal as an identification result of a subject to be identified based on, for example, a weighting factor related to a dedicated basis vector.
  • the frame signal from the normalization unit 116 is output as a monochrome signal. For example, if the output unit 117 is a display monitor, the transferred frame signal is displayed.
  • the output unit 117 is not limited to a display monitor, and a form in which frame signals are sequentially recorded and stored in a recording medium such as a hard disk or a memory card is also possible.
  • the calculation unit 112 includes a data selection unit 200, an integration unit 201, a buffer 202, an inverse matrix calculation unit 203, a buffer 204, a coefficient selection unit 205, and a multiplication / addition unit 206.
  • the basis vector ROM 114 and the system spectral characteristic ROM 115 are connected to the data selection unit 200.
  • the data selection unit 200 is connected to the coefficient selection unit 205 via the integration unit 201, the buffer 202, the inverse matrix calculation unit 203, and the buffer 204.
  • the coefficient selection unit 205 and the interpolation unit 108 are connected to the multiplication / addition unit 206.
  • the multiplication / addition unit 206 is connected to the normalization unit 116.
  • the control unit 118 is bi-directionally connected to the data selection unit 200, the integration unit 201, the inverse matrix calculation unit 203, the coefficient selection unit 205, and the multiplication / addition unit 206.
  • the data selection unit 200 receives, from the control unit 118, information on the subject to be identified in the imaging condition set via the external I / F unit 119. Based on the information, a plurality of dedicated base vectors including the dedicated base vectors based on the known spectral characteristics of the subject to be identified are read from the base vector ROM 114. As described above, the basis vector ROM 114 and the data selection unit 200 function as a basis vector acquisition unit that acquires a dedicated basis vector based on the known spectral characteristics of the subject to be identified, for example. In this embodiment, since the CCD 101 is assumed to be a Bayer type including three color filters 121R, 121G, and 121B, the total number of dedicated base vectors is 3. As one of the three types of dedicated basis vectors, a dedicated basis vector based on the known spectral characteristics of the subject to be set as the identification target is used.
  • the dedicated basis vectors As an example of the dedicated basis vectors, three types of dedicated basis vectors (O1 ( ⁇ ), O2 ( ⁇ ), and O3 ( ⁇ )) are shown in FIG. Note that ⁇ means a visible region having a wavelength of 380 to 780 nm, for example.
  • the dedicated basis vector (O1 ( ⁇ )) is based on the spectral reflectance characteristic of oxyhemoglobin
  • the dedicated basis vector (O2 ( ⁇ )) is based on the spectral reflectance characteristic of deoxyhemoglobin. is there. Since these oxyhemoglobin and deoxyhemoglobin are contained in a large amount in the blood vessel site, they are important for diagnosis in an endoscope.
  • the dedicated basis vector (O3 ( ⁇ )) is based on the spectral luminance characteristic of autofluorescence of collagen that is a main subject in fluorescence observation.
  • Oxyhemoglobin is abundant in arteries and deoxyhemoglobin is abundant in veins. Thus, for example, when observing an artery, oxyhemoglobin is designated via the external I / F unit 119 as a subject to be identified. As a result, the data selection unit 200 reads three dedicated basis vectors including at least the dedicated basis vector (O1 ( ⁇ )) of oxyhemoglobin.
  • the other two dedicated basis vectors are the dedicated basis vectors of the non-identification subject, for example, the deoxyhemoglobin dedicated basis vector (O2 ( ⁇ )) and the collagen dedicated basis vector (O3 ( ⁇ )).
  • other dedicated basis vectors stored in the basis vector ROM 114 may be used.
  • the data selection unit 200 further receives, from the control unit 118, information on the color imaging system and illumination light under the imaging conditions set via the external I / F unit 119. Based on the above information, the spectral characteristics of the imaging system including the spectral characteristics relating to the color imaging system used for imaging the subject from the system spectral characteristics ROM 115 and the spectral characteristics relating to the illumination light used when imaging the subject by the color imaging system are obtained. Read. As described above, the system spectral characteristic ROM 115 and the data selection unit 200 function as, for example, a system spectral characteristic acquisition unit that acquires spectral characteristics of the imaging system.
  • FIG. 5 shows a spectral luminance characteristic (I ( ⁇ )) of a xenon light source as an example of a spectral characteristic related to illumination light used for imaging the subject.
  • FIG. 6 shows spectral sensitivity characteristics (SR ( ⁇ ), SG ( ⁇ ), SG) of a color imaging system including three color filters 121R, 121G, and 121B. SB ( ⁇ )).
  • the data selection unit 200 reads the read dedicated base vectors (O1 ( ⁇ ), O2 ( ⁇ ), O3 ( ⁇ )), the spectral luminance characteristic (I ( ⁇ )) of the light source, and the spectral sensitivity characteristic ( SR ( ⁇ ), SG ( ⁇ ), and SB ( ⁇ )) are transferred to the integrating unit 201.
  • the accumulating unit 201 calculates a system matrix M related to a 3 ⁇ 3 size imaging system represented by the following equation (1).
  • the data selection unit 200 and the integration unit 201 function as a matrix calculation unit that calculates a system matrix related to the imaging system, for example.
  • the system matrix M calculated by the accumulating unit 201 is transferred to the buffer 202 and stored therein.
  • the inverse matrix calculation unit 203 reads the system matrix M from the buffer 202 under the control of the control unit 118 and calculates an inverse matrix M ⁇ 1 of the system matrix M.
  • the calculated inverse matrix M ⁇ 1 is transferred to the buffer 204 and stored therein.
  • the dedicated basis vectors (O1 ( ⁇ ), O2 ( ⁇ ), O3 ( ⁇ )), the weighting coefficients (w1, w2, w3) can be obtained.
  • i and j are the coordinates in the x and y directions of the frame signal
  • m is each element of the inverse matrix M ⁇ 1 of the system matrix M, that is, the coefficient of the inverse matrix M ⁇ 1 . means.
  • the coefficient selection unit 205 selects elements m 11 , m 12 , and m 13 of the inverse matrix M ⁇ 1 of the system matrix M from the buffer 204 based on the control of the control unit 118, and multiplies and adds the unit 206. Forward to.
  • the multiplication / addition unit 206 receives elements m 11 , m 12 , m 13 of the inverse matrix M ⁇ 1 of the system matrix M from the coefficient selection unit 205, and then from the interpolation unit 108.
  • a frame signal is read in units of R, G, and B pixels. Based on the following equation (3), a weighting coefficient (w1 ij ) related to the dedicated base vector (O1 ( ⁇ )) of the subject to be identified is obtained.
  • the weight coefficient (w1 ij ) is a contribution to the dedicated base vector (O1 ( ⁇ )) of the subject to be identified
  • the weight coefficient (w1 ij ) takes a value proportional to the presence of oxyhemoglobin. That is, when oxyhemoglobin is present, the value is high, and when it is not present, the value is low. Therefore, oxyhemoglobin can be identified by converting the weight coefficient (w1 ij ) into a video signal.
  • the weighting coefficient (w1 ij ) calculated by the multiplication / addition unit 206 is sequentially transferred to the normalization unit 116 and subjected to normalization processing as described above. Then, the weighting factor after the normalization process is transferred to the output unit 117 which is a display monitor, for example, via the switching unit 113 and displayed as an output signal which is an identification result of the subject whose spectral characteristics are known. It will be.
  • the identification target is oxyhemoglobin, but it is needless to say that the present invention is not limited to this.
  • the subject to be identified may be switched to deoxyhemoglobin as necessary via the external I / F unit 119.
  • a weight coefficient (w1 ij , w2 ij ) for both oxyhemoglobin and deoxyhemoglobin it is possible to obtain a weight coefficient (w1 ij , w2 ij ) for both oxyhemoglobin and deoxyhemoglobin.
  • a plurality of multiplication / addition units 206 may be provided, or a combination of one multiplication / addition unit 206 and a buffer for storing the calculated weighting coefficient may be used.
  • a configuration for selecting and displaying via the external I / F unit 119, a configuration for combining and displaying both, and pseudo-coloring both for independent display Configuration can be set freely.
  • a dedicated base vector based on the known spectral characteristics of a subject to be identified whose spectral characteristics are known and a subject including the subject to be identified are used for imaging. From the spectral characteristics related to the color imaging system and the spectral characteristics related to the illumination light used when the subject is imaged by the color imaging system, a weighting coefficient is calculated for a dedicated base vector that takes a value proportional to the presence of the subject to be identified. Based on the weighting coefficient, an output signal is calculated as a result of identifying a subject to be identified whose spectral characteristics are known.
  • a weighting factor that takes a value proportional to the presence of the subject to be identified is calculated. Can do. Therefore, it is not necessary to perform signal processing including an error unlike the approximation based on the conventional least square method. Therefore, it is possible to identify a subject to be identified with high reliability with less occurrence of errors due to signal processing.
  • the processing speed and cost can be reduced.
  • a dedicated basis vector based on the known spectral characteristics of the subject to be identified, and a dedicated basis vector based on the known spectral characteristics of the non-identified subject whose spectral characteristics are known but outside the identification target And are used. Therefore, it is possible to apply signal processing using a dedicated basis vector to a region other than the identification target, and it is possible to improve the degree of freedom in processing for calculating the output signal at the subsequent stage.
  • a dedicated base vector of the subject to be identified is selected from a plurality of dedicated base vectors. Therefore, since the subject to be identified can be selected, the applicability as a system is improved, and it can be used for various purposes.
  • a spectral characteristic to be used is selected from spectral characteristics related to a plurality of color imaging systems or spectral characteristics related to a plurality of illumination lights according to the selection. Therefore, since a color imaging system or illumination light can be selected, the applicability as a system is improved, and it can be used for various purposes.
  • the inverse matrix of the system matrix based on the dedicated basis vector of the subject to be identified and the spectral characteristics of the imaging system is calculated, and the coefficient related to the dedicated basis vector of the subject to be identified is selected from the inverse matrix and selected.
  • a weighting coefficient related to the dedicated base vector of the subject to be identified is calculated. Therefore, since the dedicated base vector, that is, the weighting coefficient related to the identification target, is calculated in the signal processing based on the known spectral characteristics of the subject to be identified and the spectral characteristics of the imaging system, the occurrence of errors due to the signal processing is small and reliable. Highly distinctive identification is possible.
  • the system matrix includes a dedicated base vector for the non-identification subject, the region where the subject that is the identification target does not exist, that is, the existence region of the subject other than the identification target, if necessary. It becomes possible to apply signal processing using a dedicated basis vector, and the degree of freedom in processing for calculating the output signal at the subsequent stage is improved.
  • the output signal is obtained by normalizing the weighting coefficient related to the dedicated basis vector based on the known spectral characteristic of the subject to be identified, a highly accurate output signal can be obtained regarding the presence of the identification target. Furthermore, since the output signal is obtained only by normalization processing, the processing speed can be increased and the cost can be reduced.
  • the dedicated basis vectors are indicated by thick lines, and the general basis vectors are indicated by thin lines.
  • the principal reflectance analysis such as Munsell color chart is principally analyzed as general basis vectors (O2 ( ⁇ ), O3 ( ⁇ )), and the top two basis vectors having a high contribution rate are selected. The case where what was memorize
  • the dedicated basis vector (O1 ( ⁇ )) can be set from a plurality of dedicated basis vectors stored in the basis vector ROM 114 via the external I / F unit 119.
  • a subject to be identified for example, oxyhemoglobin contained in a large amount of a blood vessel site that is important for diagnosis in an endoscope is selected.
  • General-purpose basis vectors (O2 ( ⁇ ), O3 ( ⁇ )) are signals using the basis vectors for areas where there is no subject to be identified, that is, areas where subjects other than the identification target are present, as necessary. The processing can be applied, and can be used for the processing of calculating the output signal at the subsequent stage.
  • FIG. 8 is a diagram showing three types of basis vectors when deoxyhemoglobin is used as the dedicated basis vector (O1 ( ⁇ )).
  • the dedicated basis vectors are indicated by thick lines and the general basis vectors are indicated by thin lines.
  • an inverse matrix of the system matrix is calculated based on the general-purpose base vector, the dedicated base vector, and the spectral characteristics of the imaging system, and a coefficient related to the dedicated base vector is selected from the inverse matrix, and based on the selected coefficient and the video signal.
  • a weighting factor for the dedicated basis vector is calculated. Therefore, since the dedicated base vector, that is, the weighting coefficient related to the identification target, is calculated in the signal processing based on the known spectral characteristics of the subject to be identified and the spectral characteristics of the imaging system, the occurrence of errors due to the signal processing is small and reliable. Highly distinctive identification is possible.
  • system matrix includes general-purpose basis vectors
  • signal processing using general-purpose base vectors is applied to areas where there is no subject to be identified, that is, areas where subjects other than the identification target exist as needed. Therefore, the degree of freedom in the process of calculating the output signal at the subsequent stage is improved.
  • a single CCD having a Bayer-type primary color filter 120 composed of R, G, and B color filters 121R, 121G, and 121B arranged on the front surface is assumed in the imaging system.
  • the present invention can be applied to a single-plate CCD, a two-plate CCD, or a three-plate CCD in which a primary color filter composed of four color filters or a color difference line sequential complementary color filter is disposed on the front surface.
  • the primary color filter 122 including four color filters has 2 ⁇ 2 pixels as a basic unit, and the basic units include four color filters 121R, 121Gr, and 121Gb of R, Gr, Gb, and B. , 121B are arranged one pixel at a time.
  • the color difference line sequential complementary color filter 123 has 2 ⁇ 2 pixels as a basic unit, and the basic units include a cyan (Cy) color filter 121 Cy, a magenta (Mg) color filter 121 Mg, and a yellow color.
  • the (Ye) color filter 121Ye and the green (G) color filter 121G are arranged pixel by pixel. However, the positions of the Mg color filter 121Mg and the G color filter 121G are reversed for each line.
  • the spectral sensitivity characteristics (SCy ( ⁇ ), SMg ( ⁇ ), SYNe ( ⁇ ), SG ( ⁇ )) of the color imaging system when this color difference line sequential complementary filter 123 is used are, for example, as shown in FIG. become.
  • the configuration using the single-plate image sensor in which the Bayer type primary color filter 120 or the color difference line sequential complementary color filter 123 is disposed on the front surface has high affinity with the conventional imaging system, and can be applied to many imaging systems.
  • the spectral characteristics relating to the color imaging system and the spectral characteristics relating to the illumination light used for imaging the subject are recorded in the system spectral characteristics ROM 115, and the actual imaging is performed via the external I / F unit 119.
  • a configuration is also possible that selects the characteristics to be used.
  • the total number of dedicated base vectors and general-purpose base vectors is four.
  • the system matrix M shown in the above equation (1) and the inverse matrix M ⁇ 1 of the system matrix M shown in the above equation (2) have a size of 4 ⁇ 4.
  • the right side of the above equation (3) also has a form in which the fourth term is added.
  • FIGS. 12 and 13 show examples of dedicated basis vectors and general-purpose basis vectors, which are a total of four.
  • FIG. 12 includes a kind of dedicated basis vector (O1 ( ⁇ )) and three kinds of general-purpose basis vectors (O2 ( ⁇ ), O3 ( ⁇ ), and O4 ( ⁇ )).
  • the dedicated basis vectors are indicated by thick lines, and the general basis vectors are indicated by thin lines.
  • the general-purpose basis vectors are stored in the basis vector ROM 114 by performing principal component analysis on spectral reflectance characteristics such as Munsell color chart and selecting the top three basis vectors having a high contribution rate.
  • the dedicated basis vector indicates the case of oxyhemoglobin shown in FIG.
  • FIG. 13 includes two types of dedicated basis vectors (O1 ( ⁇ ), O2 ( ⁇ )) and two types of general-purpose basis vectors (O3 ( ⁇ ), O4 ( ⁇ )).
  • the dedicated basis vectors are indicated by thick lines
  • the general basis vectors are indicated by thin lines.
  • the two types of dedicated basis vectors are the cases of oxyhemoglobin and deoxyhemoglobin shown in FIG.
  • a dedicated basis vector based on all known spectral characteristics of the subject can be used as the basis vector.
  • the present invention can be applied to both moving images and still images.
  • the normalization unit 116 may be omitted from the configuration illustrated in FIG. 1, and the switching unit 113 may be replaced with the enhancement unit 124.
  • the basic configuration is the same as in FIG. 1, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the signal processing unit 111 and the calculation unit 112 are connected to the enhancement unit 124.
  • the emphasis unit 124 is connected to the output unit 117.
  • the control unit 118 is bidirectionally connected to the emphasizing unit 124.
  • a normal frame signal is transferred from the signal processing unit 111 to the enhancement unit 124, and a weighting coefficient related to a dedicated base vector based on the known spectral characteristics of the subject to be identified is transferred from the calculation unit 112.
  • the enhancement unit 124 performs enhancement processing on the frame signal transferred from the signal processing unit 111 based on the weighting coefficient transferred from the calculation unit 112 based on the control of the control unit 118.
  • the enhancement processing known edge enhancement processing and saturation enhancement processing are assumed, and these enhancement amounts are performed in a form proportional to the weighting factor.
  • the frame signal after the enhancement process is transferred to the output unit 117.
  • the enhancement unit 124 and the output unit 117 function as an output signal calculation unit that calculates an output signal as a result of identification of a subject to be identified based on, for example, a weight coefficient related to a dedicated basis vector.
  • the enhancement process by performing the enhancement process from the weighting coefficient related to the dedicated basis vector based on the spectral characteristics of the subject to be identified, only the existence region of the subject to be identified such as oxyhemoglobin is emphasized and the recognition ability is improved. It becomes possible.
  • the video signal that has undergone normal processing is also output for the region where the subject to be identified does not exist, that is, the region where the subject other than the identification target exists, the user can easily recognize the entire video signal. The operability for is improved.
  • the total number of basis vectors is not limited to three as described in the second modification, and may be a number that matches the number of types of filters that pass video signals from the color imaging system.
  • the present invention can be applied to both moving images and still images.
  • the signal processing unit 111 and the normalization unit 116 are connected to the synthesis unit 125.
  • the combining unit 125 is connected to the output unit 117.
  • the control unit 118 is bidirectionally connected to the synthesis unit 125.
  • a normal frame signal transferred from the signal processing unit 111 is transferred to the combining unit 125, and a frame signal related to the presence of the identification target is transferred from the normalizing unit 116.
  • the synthesizing unit 125 synthesizes the frame signal related to the presence of the identification target transferred from the normalization unit 116 with respect to the frame signal transferred from the signal processing unit 111 based on the control of the control unit 118.
  • the synthesizing unit 125 synthesizes the frame signal related to the presence of the identification target transferred from the normalization unit 116 with respect to the frame signal transferred from the signal processing unit 111 based on the control of the control unit 118.
  • the synthesis process a process such as a known superimpose is assumed.
  • the frame signal after the synthesis process is transferred to the output unit 117.
  • the normalization unit 116, the synthesis unit 125, and the output unit 117 function as an output signal calculation unit that calculates an output signal as an identification result of a subject to be identified based on, for example, a weighting factor related to a dedicated basis vector. To do.
  • the existence area of the subject to be identified is highly accurate.
  • An output signal is obtained.
  • synthesis processing is performed between video signals that have undergone normal processing, a video signal that has undergone normal processing is output even in a region where there is no subject to be identified, that is, a region where a subject other than the identification target exists. As a result, the entire video signal can be easily recognized, and the operability for the user is improved.
  • the synthesizing unit 125 displays a window on a part of the screen and displays a frame signal from the signal processing unit 111 or a frame signal from the normalization unit 116 as a sub-screen. It is good also as what performs the synthetic
  • all of the dedicated base vectors may be used, or at least the dedicated base vectors of the subject to be identified may be used, and the general-purpose base vectors may be used for others.
  • the total number of basis vectors is not limited to three.
  • the present invention can be applied to both moving images and still images.
  • the switching unit 113 may be omitted from the configuration shown in FIG. 1, and a second output unit 126 different from the output unit 117 may be added.
  • the basic configuration is the same as in FIG. 1, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the signal processing unit 111 is connected to the output unit 117.
  • the normalization unit 116 is connected to the second output unit 126.
  • the control unit 118 is bidirectionally connected to the second output unit 126.
  • the signal processing unit 111 transfers a normal frame signal to the output unit 117 based on the control of the control unit 118.
  • the output unit 117 displays a normal frame signal.
  • the normalization unit 116 transfers a frame signal related to the presence of the identification target to the second output unit 126. In the second output unit 126, a frame signal relating to the presence of the identification target is displayed.
  • the normalization unit 116, the output unit 117, and the second output unit 126 for example, an output signal calculation unit that calculates an output signal as an identification result of a subject to be identified based on a weighting factor related to a dedicated basis vector. Function as.
  • the video signal related to the identification target by normalizing the weighting coefficient related to the dedicated basis vector based on the known spectral characteristics of the subject to be identified, a high-accuracy output signal regarding the presence of the identification target can be obtained. can get.
  • the video signal that has undergone normal processing is also output independently, it is easy to recognize the entire video signal, and the operability for the user is improved.
  • all of the dedicated base vectors may be used, or at least the dedicated base vectors of the subject to be identified may be used, and the general-purpose base vectors may be used for others.
  • the total number of basis vectors is not limited to three.
  • the present invention can be applied to both moving images and still images.
  • the signal processing system includes the imaging lens system 100, CCD 101, illumination lens system 102, illumination light source 103, optical fiber 104, amplification unit 105, A / D converter 106, WB unit 109, and photometric evaluation.
  • the configuration is integrated with the imaging unit including the unit 110. However, it is not necessary to be limited to such a configuration.
  • a video signal captured by a separate imaging unit is recorded in an unprocessed Raw data form, and additional information regarding imaging conditions such as a subject to be identified, a color imaging system, and illumination light is recorded in the header part, Data stored in a recording medium such as a hard disk or a memory card can be read and processed.
  • a recording medium such as a hard disk or a memory card
  • the photometric evaluation unit 110 is omitted, and an input unit 127 and a header information analysis unit 128 are added.
  • the basic configuration is the same as in FIG. 1, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the input unit 127 is connected to the buffer 107 and the header information analysis unit 128.
  • the control unit 118 is bidirectionally connected to the input unit 127 and the header information analysis unit 128.
  • the external I / F unit 119 such as a mouse or a keyboard
  • signals and header information stored in a recording medium such as a hard disk or a memory card, or signals and headers received via a network Information
  • the video signals are sequentially read one by one at predetermined time intervals, in this modification, at one frame time intervals.
  • the signal from the input unit 127 is transferred to the buffer 107 and the header information is transferred to the header information analysis unit 128.
  • the header information analysis unit 128 extracts information at the time of imaging from the header information and transfers it to the control unit 118.
  • the subsequent processing is the same as in FIG.
  • all of the dedicated base vectors may be used, or at least the dedicated base vectors of the subject to be identified may be used, and the general-purpose base vectors may be used for others.
  • the total number of basis vectors is not limited to three, and may be adjusted to the number of types of filters that pass the acquired video signal.
  • the present invention can be applied to both moving images and still images.
  • Modification 7 Furthermore, in the first embodiment, processing based on hardware is assumed, but it is not necessary to be limited to such a configuration.
  • the video signal from the CCD 101 is converted into raw data form that has not been processed, and the control unit 118 outputs imaging conditions such as a subject to be identified, a color imaging system, and illumination light as header information.
  • imaging conditions such as a subject to be identified, a color imaging system, and illumination light.
  • a configuration in which header information is input to a computer (not shown) and processed by software is also possible.
  • the computer first inputs a video signal and header information regarding imaging conditions such as an identification target, a subject, a color imaging system, and illumination light (step S101).
  • imaging conditions such as an identification target, a subject, a color imaging system, and illumination light
  • a video signal from a Bayer type single-plate CCD including three color filters 121R, 121G, and 121B is processed.
  • dedicated base vectors (O1 ( ⁇ )) and general-purpose base vectors (O2 ( ⁇ ), O3 ( ⁇ )) are used as in the first modification will be described as an example.
  • step S101 a plurality of dedicated basis vectors and a plurality of general-purpose basis vectors are input (step S102), and spectral luminance characteristics of a plurality of light sources and spectral sensitivity characteristics of a plurality of color imaging systems are input (step S102).
  • step S102 a plurality of dedicated basis vectors and a plurality of general-purpose basis vectors are input (step S102), and spectral luminance characteristics of a plurality of light sources and spectral sensitivity characteristics of a plurality of color imaging systems are input (step S102).
  • step S103 the plurality of basis vectors and the plurality of spectral characteristics are input by reading from a recording medium provided in the computer or a removable recording medium, or by reading through a network.
  • step S104 a predetermined coefficient of the inverse matrix M ⁇ 1 of the system matrix M used for calculating the weighting coefficient related to the dedicated basis vector (O1 ( ⁇ )), that is, the elements m 11 and m 12 is calculated by a calculation process that will be described in detail later.
  • M 13 is calculated (step S104).
  • frame signals are sequentially extracted from the input video signals (step S105), and three-plate frame signals are generated by a known interpolation process (step S106).
  • signal processing such as known gradation processing and enhancement processing is performed on the frame signal (step S107).
  • step S108 the weighting coefficient (w1 ij ) related to the dedicated basis vector (O1 ( ⁇ )) is calculated as shown in the above equation (3) (step S108).
  • step S109 a frame signal relating to the presence of the identification target is generated (step S109).
  • step S110 either the normal frame signal from step S107 or the frame signal related to the presence of the subject to be identified from step S109 is switched (step S110), and the display signal (not shown) connected to the computer is connected to the frame signal. (Step S111). Thereafter, it is determined whether or not all the frame signals have been completed (step S112). If not completed, the process returns to step S105, and if completed, the process ends.
  • step S104 The calculation process in step S104 is performed as shown in FIG. First, among the plurality of dedicated basis vectors and the plurality of general-purpose basis vectors input in step S102, the spectral luminance characteristics of the plurality of light sources and the spectral sensitivity characteristics of the plurality of color imaging systems input in step S103, Data to be used is selected (step S201). This is based on the subject to be identified in the header information input in step S101, the color imaging system, the imaging conditions such as illumination light, and the like. A spectral sensitivity characteristic is selected. For example, a dedicated basis vector (O1 ( ⁇ )) and general-purpose basis vectors (O2 ( ⁇ ), O3 ( ⁇ )) as shown in FIG. 7, a spectral luminance characteristic of a light source as shown in FIG. 5, as shown in FIG. Select spectral sensitivity characteristics of a color imaging system.
  • step S202 the system matrix M shown in the above equation (1) is calculated (step S202), and the inverse matrix M ⁇ 1 of the system matrix M is calculated (step S203). Then, the elements m 11 , m 12 , and m 13 of the inverse matrix M ⁇ 1 required for calculating the weighting coefficient (w1 ij ) of the dedicated basis vector (O1 ( ⁇ )) are selected as the predetermined coefficients (step S204). The elements m 11 , m 12 , m 13 of the selected inverse matrix M ⁇ 1 are output (step S205).
  • step S112 the determination in step S112 is omitted and the process ends.
  • An endoscope to which the signal processing system according to the second embodiment of the present invention is applied, as shown in FIG. 20, has an imaging system ROM 129, an illumination system ROM 130, a second calculation in the configuration of the first embodiment shown in FIG. A part 131, a second normalization part 132, and a pseudo color part 133 are added.
  • the basic configuration is the same as that of the first embodiment, and the same name and reference number are assigned to the same configuration. Only the different parts will be described below.
  • the imaging system ROM 129 incorporated in the endoscope body and the illumination system ROM 130 incorporated in the illumination body are connected to the control unit 118.
  • the interpolation unit 108 is connected to the signal processing unit 111, the calculation unit 112, and the second calculation unit 131.
  • the basis vector ROM 114 and the system spectral characteristic ROM 115 are connected to the calculation unit 112 and the second calculation unit 131.
  • the second calculation unit 131 is connected to the second normalization unit 132.
  • the normalization unit 116 and the second normalization unit 132 are connected to the pseudo color unit 133.
  • the pseudo color unit 133 is connected to the switching unit 113.
  • the control unit 118 is bidirectionally connected to the second calculation unit 131, the second normalization unit 132, and the pseudo color unit 133.
  • the control unit 118 sets a subject to be identified through the external I / F unit 119, a color imaging system based on information from the imaging system ROM 129, and an imaging condition such as illumination light based on information from the illumination system ROM 130. Set each.
  • the imaging system and the illumination system are specified as a ROM for the imaging system and the illumination system.
  • the imaging system ROM 129 has spectral characteristics related to a color imaging system used for imaging a subject including the subject to be identified, and the illumination system ROM 130 has spectral characteristics related to illumination light used when imaging the subject by the color imaging system. If each is stored, the system spectral characteristic ROM 115 may be omitted, or a new imaging system or illumination system that is not stored in the system spectral characteristic ROM 115 may be dealt with.
  • the interpolation unit 108 reads a single-plate frame signal from the buffer 107 based on the control of the control unit 118, and generates a three-plate frame signal by a known interpolation process.
  • the generated three-plate frame signals are sequentially transferred to the signal processing unit 111, the calculation unit 112, and the second calculation unit 131 in units of frame signals.
  • the subsequent signal processing unit 111, calculation unit 112, normalization unit 116, second calculation unit 131, second normalization unit 132, and pseudo color unit 133 are synchronized in units of one frame signal based on the control of the control unit 118. Processing is done.
  • the signal processing unit 111 performs known gradation processing and enhancement processing on the frame signal transferred from the interpolation unit 108 based on the control of the control unit 118, and transfers the processed frame signal to the switching unit 113.
  • the calculation unit 112 calculates a weighting factor for a dedicated base vector based on an object to be identified, for example, oxyhemoglobin shown in FIG. 7, and transfers the weighting factor to the normalization unit 116.
  • the normalization unit 116 Based on the control of the control unit 118, the normalization unit 116 performs normalization processing so that the weighting coefficient transferred from the calculation unit 112 matches the signal level of the video signal, and the processed weighting coefficient relates to the presence of the identification target.
  • the frame signal is transferred to the pseudo color unit 133.
  • the second calculation unit 131 reads from the basis vector ROM 114 a dedicated basis vector based on the known spectral characteristics of the subject to be identified shown in FIG. 7 and the spectral characteristics of an arbitrary subject. Read general basis vectors used to estimate. Further, based on the control of the control unit 118, from the system spectral characteristic ROM 115, the spectral characteristic related to the illumination light used when the subject is imaged by the color imaging system shown in FIG. 5, and the spectral characteristic related to the color imaging system shown in FIG.
  • a weighting coefficient for the general-purpose base vector is calculated for the frame signal transferred from the interpolation unit 108 using the dedicated base vector, the general-purpose base vector, the spectral characteristics for the color imaging system, and the spectral characteristics for the illumination light.
  • the calculated weight coefficient of the general-purpose base vector is transferred to the second normalization unit 132.
  • the second normalization unit 132 performs normalization processing based on the control of the control unit 118 so that the weighting coefficient transferred from the second calculation unit 131 matches the signal level of the video signal.
  • the processed weight coefficient is transferred to the pseudo color unit 133 as a frame signal related to an area where no identification target exists, that is, an area where a subject other than the identification target exists.
  • the pseudo color unit 133 performs pseudo color processing from the frame signal transferred from the normalization unit 116 and the frame signal transferred from the second normalization unit 132 based on the control of the control unit 118.
  • the pseudo-colorization processing the frame signal related to the presence of the identification target transferred from the normalization unit 116 is converted into an R signal, and the identification target area transferred from the second normalization unit 132 does not exist, that is, the identification This is implemented by assigning frame signals relating to the existence area of subjects other than the target to the G and B signals.
  • the frame signal subjected to the pseudo color process is transferred to the switching unit 113.
  • the switching unit 113 selects one of a normal frame signal transferred from the signal processing unit 111 and a frame signal subjected to pseudo color processing transferred from the pseudo color unit 133, For example, the image is transferred to the output unit 117 which is a display monitor and displayed.
  • the output unit 117 is not limited to a display monitor, and a form in which frame signals are sequentially recorded and stored in a recording medium such as a hard disk or a memory card is also possible.
  • the normalization unit 116, the second normalization unit 132, the pseudo colorization unit 133, the switching unit 113, and the output unit 117 for example, based on the weighting factor related to the dedicated base vector, identify the subject to be identified. It functions as an output signal calculation unit that calculates the output signal.
  • the second calculation unit 131 includes a data selection unit 210, an integration unit 211, a buffer 212, an inverse matrix calculation unit 213, a buffer 214, a coefficient selection unit 215, and a multiplication / addition unit 216.
  • the basis vector ROM 114 and the system spectral characteristic ROM 115 are connected to the data selection unit 210.
  • the data selection unit 210 is connected to the coefficient selection unit 215 via the integration unit 211, the buffer 212, the inverse matrix calculation unit 213, and the buffer 214.
  • the coefficient selection unit 215 and the interpolation unit 108 are connected to the multiplication / addition unit 216.
  • the multiplication / addition unit 216 is connected to the second normalization unit 132.
  • the control unit 118 is bi-directionally connected to the data selection unit 210, the integration unit 211, the inverse matrix calculation unit 213, the coefficient selection unit 215, and the multiplication / addition unit 216.
  • the data selection unit 210 receives information on the subject to be identified set via the external I / F unit 119 from the control unit 118. Then, based on the information, a dedicated basis vector (O1 ( ⁇ )) based on the spectral characteristics of the subject to be identified shown in FIG. 7 from the basis vector ROM 114 and a general-purpose base vector used for estimating the spectral characteristics of an arbitrary subject. (O2 ( ⁇ ), O3 ( ⁇ )) is read. As described above, the basis vector ROM 114 and the data selection unit 210 function as a basis vector acquisition unit that acquires a dedicated basis vector based on known spectral characteristics of a subject to be identified, for example.
  • the data selection unit 210 receives from the control unit 118 information on the color imaging system set based on information from the imaging system ROM 129 and information on illumination light set based on information from the illumination system ROM 130. Based on the above information, the spectral luminance characteristic (I ( ⁇ )) of the light source shown in FIG. 5 from the system spectral characteristic ROM 115 and the spectral characteristics (SR ( ⁇ ), SG ( ⁇ )) relating to the color imaging system shown in FIG. , SB ( ⁇ )). In this way, the imaging system ROM 129, the illumination system ROM 130, and the data selection unit 210 function as a system spectral characteristic acquisition unit that acquires spectral characteristics of the imaging system, for example.
  • the dedicated base vector (O1 ( ⁇ )), general-purpose base vectors (O2 ( ⁇ ), O3 ( ⁇ )), the spectral luminance characteristic of the light source (I ( ⁇ )), and the spectral sensitivity characteristic of the color imaging system (SR ( ⁇ )) , SG ( ⁇ ), SB ( ⁇ )) are transferred to the integrating unit 211.
  • the integration unit 211 calculates a system matrix M related to the 3 ⁇ 3 size imaging system represented by the above equation (1).
  • the data selection unit 210 and the integration unit 211 function as a matrix calculation unit that calculates a system matrix related to the imaging system, for example.
  • the calculated system matrix M is transferred to the buffer 212 and stored.
  • the inverse matrix calculation unit 213 reads the system matrix M from the buffer 212 under the control of the control unit 118, and calculates the inverse matrix M- 1 .
  • the calculated inverse matrix M ⁇ 1 is transferred to the buffer 214 and stored.
  • the coefficient selection unit 215 receives the elements m 21 , m 22 , m 23 , m 31 , m 32 , and m 33 of the inverse matrix M ⁇ 1 of the system matrix M from the buffer 214 under the control of the control unit 118. This is selected and transferred to the multiplier / adder 216. Based on the control of the control unit 118, the multiplication / addition unit 216 transfers the elements m 21 , m 22 , m 23 , m 31 , m 32 , m 33 of the inverse matrix M ⁇ 1 of the system matrix M from the coefficient selection unit 205. After that, the frame signal is read from the interpolating unit 108 in units of R, G, and B pixels. Then, weighting coefficients (w2 ij , w3 ij ) related to the general basis vectors (O2 ( ⁇ ), O3 ( ⁇ )) are obtained based on the following expressions (4) and (5).
  • the weight coefficients (w2 ij , w3 ij ) are transferred to the second normalization unit 132.
  • the configuration of the second calculation unit 131 is basically the same as that of the calculation unit 112 shown in the first embodiment. For this reason, it is possible to integrate both of them and to calculate all the weight coefficients related to the dedicated base vector and the general-purpose base vector by one calculation unit.
  • the second calculation unit 131 may use a dedicated base vector of a subject whose spectral characteristics are known together with a dedicated base vector of a subject to be identified, instead of the generalized normalized vector. good.
  • the dedicated basis vector based on the known spectral characteristic of the subject to be identified whose spectral characteristics are known, and the known spectral of the non-identification subject that is not the identification target.
  • a dedicated basis vector based on characteristics or a general-purpose basis vector used for estimating spectral characteristics of an arbitrary subject, spectral characteristics related to a color imaging system used for imaging a subject including the subject to be identified, and the subject of the subject by the color imaging system
  • a weighting factor related to a dedicated base vector of the subject to be identified which takes a value proportional to the presence of the subject to be identified, from a spectral characteristic related to illumination light used at the time of imaging, and a dedicated base vector or general-purpose base for a subject that is not identified
  • a weighting factor for the vector is calculated, and an output signal is calculated based on the weighting factor of both.
  • a weighting factor that takes a value proportional to the presence of the subject to be identified is calculated. Therefore, it is not necessary to perform signal processing including an error unlike the approximation based on the conventional least square method. Therefore, it is possible to identify a subject to be identified with high reliability with less occurrence of errors due to signal processing. In addition, since wide-band normal illumination light is used, the influence of noise can be suppressed, and stable identification becomes possible. Furthermore, since the output signal is directly calculated from the weighting coefficient related to the dedicated basis vector, the processing speed can be increased and the cost can be reduced.
  • the video signal related to the identification target is obtained by normalizing the weighting coefficient related to the dedicated basis vector based on the known spectral characteristics of the subject to be identified, a high-accuracy output signal can be obtained regarding the presence of the identification target.
  • the present invention can be applied to an imaging system including four primary color filters 122 or a color difference line sequential complementary color filter 123, and a two-plate or three-plate CCD.
  • the pseudo colorizing unit 133, the switching unit 113, and the output unit 117 relate to the dedicated basis vectors of the subject to be identified, each normalized by the normalizing unit 116. It functions as a pseudo color signal calculation unit that calculates a pseudo color signal as an output signal from the weight coefficient and a weight coefficient related to a dedicated base vector of a subject that is not to be identified.
  • the present invention can be applied to both moving images and still images.
  • a signal obtained by normalizing the weighting coefficient related to the dedicated base vector or the weighting coefficient related to the general-purpose base vector based on the known spectral characteristics of the subject other than the identification target since pseudo color display is performed, it is easy to recognize the entire video signal, and the operability for the user is improved.
  • a dedicated base vector based on the known spectral characteristics of the subject to be identified and a dedicated base vector based on the known spectral characteristics of the subject not identified and the spectral characteristics related to the color imaging system used for imaging the subject Based on the spectral characteristics related to the illumination light to be used, a weighting factor related to the dedicated base vector of the subject to be identified and a weighting factor related to the dedicated base vector of the subject not to be identified are calculated, and an output signal is calculated based on both weighting factors. Therefore, since a dedicated basis vector based on the known spectral characteristics of the subject to be identified is used, it is possible to identify with high reliability with little occurrence of error due to signal processing. In addition, it is possible to apply signal processing using a dedicated base vector of a non-identification subject to a region other than the identification target, and the degree of freedom in processing for calculating an output signal is improved.
  • FIG. 22 is a configuration in which the normalization unit 116 and the second normalization unit 132 are omitted from the configuration shown in FIG. 20 and a spectral characteristic estimation unit 134, a correction unit 135, and a conversion unit 136 are added.
  • the basic configuration is the same as in FIG. 20, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the second calculation unit 131 is connected to the spectral characteristic estimation unit 134.
  • the calculation unit 112 and the spectral characteristic estimation unit 134 are connected to the correction unit 135.
  • the correction unit 135 is connected to the switching unit 113 via the conversion unit 136.
  • the system spectral characteristic ROM 115 is connected to the calculation unit 112, the second calculation unit 131, and the conversion unit 136.
  • the control unit 118 is bidirectionally connected to the spectral characteristic estimation unit 134, the correction unit 135, and the conversion unit 136.
  • the spectral characteristic estimation unit 134 estimates the spectral characteristic (O ij ( ⁇ )) of the subject on a pixel-by-pixel basis according to the following equation (6) based on the control of the control unit 118.
  • the spectral characteristic O ij ( ⁇ ) of the subject calculated over the entire visible range based on the above equation (6) is transferred to the correction unit 135.
  • the calculation unit 112 calculates the weighting coefficient (w1 ij ) related to the dedicated basis vector (O1 ( ⁇ )) and transfers it to the correction unit 135 together with the dedicated basis vector (O1 ( ⁇ )).
  • the correction unit 135 uses the spectral characteristic (O ij ( ⁇ )) of the subject transferred from the spectral characteristic estimation unit 134 based on the weighting coefficient (w1 ij ) transferred from the calculation unit 112. to correct.
  • the weighting coefficient (w1 ij ) is a value proportional to the presence of the subject to be identified, for example, oxyhemoglobin. For this reason, in a region such as a blood vessel having a large weight coefficient (w1 ij ), the spectral characteristic calculated from the general-purpose base vector shown in the above equation (6) is replaced with the spectral characteristic of the identification target itself, thereby improving the accuracy of the spectral characteristic. Can be improved.
  • the correction unit 135 is corrected by mixing the spectral characteristic (O ij ( ⁇ )) of the subject and the spectral characteristic of the identification target itself based on the weighting coefficient (w1 ij ) as shown in the following equation (7).
  • Spectral characteristics (O ′ ij ( ⁇ )) are obtained.
  • the dedicated basis vector (O1 ( ⁇ )) is based on the spectral characteristics of the identification target itself as shown in FIG. 4, it can be used as the spectral characteristics of the identification target.
  • the weighting coefficient (w1 ij ) can take values from “0” to “1”.
  • the correction unit 135 transfers the spectral characteristic (O ′ ij ( ⁇ )) corrected based on the equation (7) and the weighting coefficient (w1 ij ) transferred from the calculation unit 112 to the conversion unit 136.
  • the conversion unit 136 reads the spectral characteristics (SR ( ⁇ ), SG ( ⁇ ), SB ( ⁇ )) regarding the color imaging system as shown in FIG. Thereafter, based on the corrected spectral characteristic (O ′ ij ( ⁇ )) transferred from the correction unit 135, three signals R ij , G ij , and B ij are calculated by the following equation (8). .
  • K in the above equation (8) is a correction for matching the three signals R ij , G ij , and B ij with the signal level of the video signal (for example, “0” to “255” if the signal level is 8 bits).
  • gain () is a function for generating a gain for enhancement processing, and has a characteristic shown in FIG. 23, for example.
  • the conversion unit 136 transfers the three signals R ij , G ij , and B ij calculated based on the above equation (8) to the switching unit 113 as frame signals.
  • the frame signal generated by the conversion unit 136 is a signal in which R is emphasized in proportion to the presence of the identification target, and the discrimination is improved.
  • an area where a subject to be identified does not exist, that is, an area where a subject other than the identification target exists is generated by an equivalent process, a video signal having excellent uniformity and continuity with the identification target and high visibility can be obtained. can get.
  • the spectral characteristic estimation unit 134 the correction unit 135, the conversion unit 136, the switching unit 113, and the output unit 117, for example, output signals as identification results of the subject to be identified based on the weighting coefficient related to the dedicated base vector. It functions as an output signal calculation unit for calculating.
  • the spectral characteristics of the subject on the entire screen are estimated from the general-purpose base vector used for estimating the spectral characteristics of an arbitrary subject, and the weighting coefficient related to the dedicated base vector is used only for the subject to be identified. And the output signal is calculated from the corrected spectral characteristic. Therefore, the spectral characteristics of the subject on the entire screen are obtained from the general-purpose base vector and the dedicated base vector, and the output signal is calculated. Therefore, the continuity between the identification target and other areas is maintained, and an output signal with high visibility can be obtained. . In addition, since the identification target is corrected using a dedicated basis vector, an estimation error of spectral characteristics can be suppressed, and high-precision identification is possible.
  • the calculation unit 112 and the second calculation unit 131 may all use dedicated basis vectors, use at least the dedicated basis vectors of the subject to be identified, and use general-purpose basis vectors for others. May be. Furthermore, as described above, the total number of basis vectors is not limited to three. Further, the calculation unit 112 and the second calculation unit 131 may be integrated into one calculation unit. Of course, the present invention can be applied to both moving images and still images.
  • the spectral characteristics of the subject on the entire screen are calculated from the dedicated base vectors of the subject to be identified and the subject not to be identified, and the output signal is calculated, so that the continuity between the subject to be identified and the other region is maintained and the visual recognition is performed. A good output signal can be obtained.
  • the identification target is corrected using the dedicated base vector of the identification target subject, the estimation error of the spectral characteristics can be suppressed and high-precision identification is possible.
  • the video signal from the CCD 101 is converted into raw data form that has not been processed, and the control unit 118 outputs imaging conditions such as a subject to be identified, a color imaging system, and illumination light as header information.
  • imaging conditions such as a subject to be identified, a color imaging system, and illumination light.
  • a configuration in which header information is input to a computer (not shown) and processed by software is also possible.
  • FIG. 24 is a diagram showing a flowchart relating to software processing of signal processing by a computer (not shown). The same reference numerals are assigned to the same processing steps as those in the signal processing flowchart in the first embodiment shown in FIG.
  • the computer first inputs a video signal and header information regarding imaging conditions such as an identification target, a subject, a color imaging system, and illumination light (step S101).
  • a video signal from a Bayer type single-plate CCD including three color filters 121R, 121G, and 121B is processed.
  • a plurality of dedicated base vectors and a plurality of general-purpose base vectors are input (step S102), and spectral luminance characteristics of a plurality of light sources and spectral sensitivity characteristics of a plurality of color imaging systems are input (step S103).
  • the plurality of basis vectors and the plurality of spectral characteristics are input by reading from a recording medium included in the computer or a detachable recording medium or by reading through a network.
  • a predetermined coefficient of the inverse matrix M ⁇ 1 of the system matrix M used for calculating the weight coefficient regarding the dedicated basis vector (O1 ( ⁇ )), that is, the element m 11 , m 12 and m 13 are calculated (step S104). Further, the coefficient of the inverse matrix M ⁇ 1 of the system matrix M used for calculating the weighting coefficient for the general-purpose base vectors (O2 ( ⁇ ), O3 ( ⁇ )) by the second calculation process described later in detail, that is, the element calculating the m 21, m 22, m 23 , m 31, m 32, m 33 ( step S113).
  • step S105 frame signals are sequentially extracted from the input video signal (step S105), and a three-plate frame signal is generated by a known interpolation process (step S106). Then, signal processing such as known gradation processing and enhancement processing is performed on the frame signal (step S107).
  • step S108 the weighting coefficient (w1 ij ) related to the dedicated basis vector (O1 ( ⁇ )) is calculated as shown in the above equation (3) (step S108).
  • step S109 a frame signal relating to the presence of the identification target is generated (step S109).
  • the weighting coefficients (w2 ij , w3 ij ) relating to the general basis vectors (O2 ( ⁇ ), O3 ( ⁇ )) are calculated as shown in the above equations (4) and (5) (step S114), By normalizing the calculated weighting factors (w2 ij , w3 ij ), a frame signal relating to a region where the subject to be identified does not exist, that is, a subject region other than the subject to be identified is generated (step S115). Then, pseudo colorization processing is performed from the frame signal relating to the presence of the identification target generated in step S109 and the frame signal relating to the existence region of the subject other than the identification target generated in step S115 (step S116).
  • step S110 either the normal frame signal from step S107 or the pseudo-colored frame signal from step S116 is switched (step S110), and the frame signal is connected to the computer (not shown) or the like. (Step S111). Thereafter, it is determined whether or not all the frame signals have been completed (step S112). If not completed, the process returns to step S105, and if completed, the process ends.
  • the second calculation process in step S113 is performed as shown in FIG. First, among the plurality of dedicated basis vectors and the plurality of general-purpose basis vectors input in step S102, the spectral luminance characteristics of the plurality of light sources and the spectral sensitivity characteristics of the plurality of color imaging systems input in step S103, Data to be used is selected (step S211). This is based on the subject to be identified in the header information input in step S101, the color imaging system, the imaging conditions such as illumination light, and the like. A spectral sensitivity characteristic is selected. For example, a dedicated basis vector (O1 ( ⁇ )) and general-purpose basis vectors (O2 ( ⁇ ), O3 ( ⁇ )) as shown in FIG. 7, a spectral luminance characteristic of a light source as shown in FIG. 5, as shown in FIG. Select spectral sensitivity characteristics of a color imaging system.
  • step S212 the system matrix M shown in the above equation (1) is calculated (step S212), and the inverse matrix M ⁇ 1 of the system matrix M is calculated (step S213).
  • elements m 21 , m 22 , m 23 , m 31 , and m 2 of the inverse matrix M ⁇ 1 required for calculating the weighting coefficients (w 2 ij , w 3 ij ) of the general basis vectors (O 2 ( ⁇ ), O 3 ( ⁇ )) m 32 and m 33 are selected as the predetermined coefficients (step S214), and elements m 21 , m 22 , m 23 , m 31 , m 32 and m 33 of the selected inverse matrix M ⁇ 1 are output (step S214).
  • step S214 the predetermined coefficients
  • the case where one kind of dedicated basis vector and two kinds of general-purpose basis vectors are used has been described as an example. However, all three kinds may use a dedicated basis vector, or two kinds of dedicated basis vectors. A kind of general-purpose basis vector may be used. Further, as described above, the invention is not limited to three types. Also in the calculation process, as long as at least the dedicated base vector of the subject to be identified is used, the other may be a dedicated base vector or a general-purpose base vector.
  • calculation process and the second calculation process are basically the same, they are integrated to calculate all the weight coefficients related to the dedicated base vector and the general-purpose base vector by one calculation process. Of course, it is also good.
  • the present invention can be applied to both moving images and still images.
  • the microscope to which the signal processing system according to the third embodiment of the present invention is applied includes a calculation unit 112, a basis vector ROM 114, and a system spectral characteristic ROM 115 from the configuration of the first embodiment shown in FIG.
  • the configuration is omitted, and a correlation coefficient calculation unit 137 and a derivation coefficient ROM 138 are added.
  • the basic configuration is the same as that of the first embodiment, and the same name and reference number are assigned to the same configuration. Only the different parts will be described below.
  • the video signal from the CCD 101 of the microscope is amplified by the amplification unit 105 and converted into a digital signal by the A / D converter 106.
  • Illumination light from the illumination light source 103 is guided to the objective stage of the microscope via the illumination lens system 102.
  • the interpolation unit 108 is connected to the signal processing unit 111 and the correlation coefficient calculation unit 137.
  • the derived coefficient ROM 138 is connected to the correlation coefficient calculation unit 137.
  • the correlation coefficient calculation unit 137 is connected to the normalization unit 116.
  • the control unit 118 is bidirectionally connected to the correlation coefficient calculation unit 137.
  • the signal flow will be described.
  • a shutter button (not shown) in the external I / F unit 119 is half-pressed to enter the pre-imaging mode.
  • the CCD 101 captures a subject image formed on the CCD 101 via the imaging lens system 100 and outputs a video signal as an analog signal.
  • the analog signal is amplified by a predetermined amount by the amplifying unit 105, converted into a digital signal by the A / D converter 106, and transferred to the buffer 107.
  • the video signal in the buffer 107 is transferred to the WB unit 109 and the photometric evaluation unit 110 under the control of the control unit 118. Similar to the first embodiment, the WB unit 109 performs white balance processing, and the photometric evaluation unit 110 performs exposure control.
  • the main imaging is performed by fully pressing the shutter button in the external I / F unit 119, and the video signal is transferred to the buffer 107 as in the pre-imaging.
  • the video signal in the buffer 107 is transferred to the interpolation unit 108.
  • the interpolation unit 108 reads a single-plate video signal from the buffer 107, and generates a three-plate video signal by a known interpolation process.
  • the generated three-plate video signal is transferred to the signal processing unit 111 and the correlation coefficient calculation unit 137.
  • the signal processing unit 111 performs known gradation processing and enhancement processing on the video signal transferred from the interpolation unit 108 based on the control of the control unit 118, and transfers the processed video signal to the switching unit 113.
  • the derivation coefficient ROM 138 stores a derivation coefficient for deriving the correlation between the spectral characteristics of the subject and the video signal for each subject to be identified. This derivation coefficient is calculated and stored in advance based on the known spectral characteristics of the subject, the spectral characteristics related to the color imaging system used for imaging the subject, and the spectral characteristics related to the illumination light used when imaging the subject. In this way, the derivation coefficient ROM 138 functions as, for example, a derivation coefficient acquisition unit that acquires a derivation coefficient indicating the correlation between the known spectral characteristics of the subject and the video signal.
  • the correlation coefficient calculation unit 137 obtains the derivation coefficient from the derivation coefficient ROM 138 based on the control of the control unit 118 according to the selection of the subject to be identified in the imaging condition set via the external I / F unit 119. Read selectively. Thereafter, for the video signal transferred from the interpolation unit 108, the correlation coefficient between the spectral characteristic of the subject to be identified and the video signal is calculated using the read derivation coefficient.
  • the correlation coefficient calculated by the correlation coefficient calculation unit 137 takes a value proportional to the presence of the subject to be identified, is transferred to the normalization unit 116, and is signal level of the video signal (for example, signal If the level is 8 bits, normalization processing is performed so as to match “0” to “255”). The correlation coefficient after the normalization processing is transferred to the switching unit 113 as a video signal.
  • the switching unit 113 selects either a normal video signal transferred from the signal processing unit 111 or a video signal related to the presence of an identification target transferred from the normalization unit 116, for example,
  • the data is transferred to the output unit 117 which is a display monitor and displayed.
  • the video signal from the normalization unit 116 is output as a black and white signal.
  • the output unit 117 is not limited to a display monitor, and a form in which a video signal is recorded and stored in a recording medium such as a hard disk or a memory card is also possible.
  • the switching unit 113, the normalization unit 116, and the output unit 117 calculate an output signal as an identification result of a subject to be identified based on the correlation coefficient calculated by the correlation coefficient calculation unit 137, for example. It functions as an output signal calculation unit.
  • the correlation coefficient calculation unit 137 includes a coefficient selection unit 227 and a multiplication / addition unit 226 as shown in FIG.
  • the derived coefficient ROM 138 is connected to the multiplier / adder 226 via the coefficient selector 227.
  • the interpolation unit 108 is connected to the multiplication / addition unit 226.
  • the multiplication / addition unit 226 is connected to the normalization unit 116.
  • the control unit 118 is bidirectionally connected to the coefficient selection unit 227 and the multiplication / addition unit 226.
  • the coefficient selection unit 227 receives information on the subject to be identified in the imaging condition set via the external I / F unit 119 from the control unit 118, and based on the information, the coefficient to be identified from the derived coefficient ROM 138.
  • the derived coefficient for deriving the correlation between the spectral characteristics of the image and the video signal is read.
  • each element of the inverse matrix M ⁇ 1 of the system matrix M shown in the above equation (2) is recorded as a derived coefficient. This is based on the premise that the spectral characteristics relating to the color imaging system used for imaging the subject and the spectral characteristics relating to the illumination light used when imaging the subject by the color imaging system are fixed. In this case, the calculation process shown in the above equations (1) and (2) can be omitted, and the inverse matrix M ⁇ 1 of the system matrix M finally obtained may be recorded.
  • the multiplication / addition unit 226 reads the derived coefficient from the coefficient selection unit 227 and the video signal from the interpolation unit 108 in units of pixels based on the control of the control unit 118. Thereafter, a weighting coefficient is obtained based on the above equation (3).
  • the weight coefficient is a correlation coefficient that represents the correlation between the known spectral characteristics of the subject to be identified and the video signal. The correlation coefficients are sequentially transferred to the normalization unit 116.
  • a value proportional to the presence of the subject to be identified is obtained from the derived coefficient based on the known spectral property of the subject to be identified whose spectral characteristics are known.
  • a correlation coefficient between the known spectral characteristic of the subject to be identified and the video signal is obtained, and an output signal as a discrimination result of the subject to be identified whose spectral characteristic is known based on the correlation coefficient. calculate.
  • the correlation coefficient having a value proportional to the existence of the subject to be identified is calculated. Therefore, it is not necessary to perform signal processing including an error as in the case of approximation based on the conventional least square method. Therefore, the occurrence of error due to signal processing is small, and highly reliable identification is possible.
  • the output signal is obtained by normalizing the correlation coefficient related to the derived coefficient, a highly accurate output signal can be obtained regarding the presence of the identification target. Furthermore, since the output signal is obtained only by normalization processing, the processing speed can be increased and the cost can be reduced.
  • the configuration is such that still image processing is performed by a microscope, but it is not necessary to be limited to such a configuration. If the spectral characteristics relating to the color imaging system and the spectral characteristics relating to the illumination light used for imaging the subject are fixed, the present invention is also applied to moving image processing such as an endoscope as in the first and second embodiments described above. It is possible.
  • the video signal and the accompanying information are obtained from the recording medium in which the video signal captured by the separate imaging unit is recorded in the header portion with the accompanying information regarding the imaging conditions such as the subject to be identified in the raw raw data format. It is also possible to obtain and process. Further, as described in the second modification of the first embodiment described above, the present invention can also be applied to an imaging system including four primary color filters 122 or color difference line sequential complementary color filters 123, and a two-plate and three-plate CCD.
  • the switching unit is configured to switch either the normal video signal transferred from the signal processing unit 111 as the output of the video signal or the video signal related to the presence of the identification target transferred from the normalization unit 116. 113 is selected and output.
  • the switching unit is configured to switch either the normal video signal transferred from the signal processing unit 111 as the output of the video signal or the video signal related to the presence of the identification target transferred from the normalization unit 116. 113 is selected and output.
  • the normalization unit 116 may be omitted from the configuration shown in FIG. 26, and the switching unit 113 may be replaced with the emphasizing unit 124.
  • the basic configuration is the same as in FIG. 26, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the signal processing unit 111 and the correlation coefficient calculation unit 137 are connected to the enhancement unit 124.
  • the emphasis unit 124 is connected to the output unit 117.
  • the control unit 118 is bidirectionally connected to the emphasizing unit 124.
  • a normal video signal is transferred from the signal processing unit 111 to the enhancement unit 124, and a correlation coefficient between a known spectral characteristic of the subject to be identified and the video signal is transferred from the correlation coefficient calculation unit 137.
  • the enhancement unit 124 performs enhancement processing based on the correlation coefficient transferred from the correlation coefficient calculation unit 137 on the video signal transferred from the signal processing unit 111 based on the control of the control unit 118. Do.
  • the enhancement processing known edge enhancement processing or saturation enhancement processing is assumed, and these enhancement amounts are performed in a form proportional to the correlation coefficient.
  • the video signal after the enhancement process is transferred to the output unit 117.
  • the enhancement unit 124 and the output unit 117 are, for example, as output signal calculation units that calculate an output signal as an identification result of a subject to be identified based on the correlation coefficient calculated by the correlation coefficient calculation unit 137. Function.
  • the configuration shown in FIG. 26 may be configured such that the switching unit 113 is replaced with a combining unit 125.
  • the basic configuration is the same as in FIG. 26, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the signal processing unit 111 and the normalization unit 116 are connected to the synthesis unit 125.
  • the combining unit 125 is connected to the output unit 117.
  • the control unit 118 is bidirectionally connected to the synthesis unit 125.
  • a normal video signal transferred from the signal processing unit 111 is transferred to the combining unit 125, and a video signal related to the presence of the identification target is transferred from the normalizing unit 116.
  • the synthesizing unit 125 synthesizes a video signal related to the presence of the identification target transferred from the normalization unit 116 with respect to the video signal transferred from the signal processing unit 111 based on the control of the control unit 118. To do. As the synthesis process, a process such as a known superimpose is assumed. The video signal after the synthesis process is transferred to the output unit 117. As described above, the normalization unit 116, the synthesis unit 125, and the output unit 117 calculate the output signal as the identification result of the subject to be identified based on the correlation coefficient calculated by the correlation coefficient calculation unit 137, for example. It functions as an output signal calculation unit.
  • a highly accurate output signal can be obtained regarding the existence area of the subject to be identified.
  • synthesis processing is performed between video signals that have undergone normal processing, a video signal that has undergone normal processing is output even in a region where there is no subject to be identified, that is, a region where a subject other than the identification target exists. As a result, the entire video signal can be easily recognized, and the operability for the user is improved.
  • the synthesizing unit 125 displays a window on a part of the screen and displays a video signal from the signal processing unit 111 or a video signal from the normalization unit 116 as a sub-screen sub-screen.
  • a composition process such as a picture may be performed. In this case, it is preferable to be able to select which is the parent screen and which is the child screen by an instruction via the external I / F unit 119.
  • the switching unit 113 may be omitted and the second output unit 126 may be added from the configuration shown in FIG.
  • the basic configuration is the same as in FIG. 26, and the same name and reference number are assigned to the same configuration. Only different parts will be described below.
  • the signal processing unit 111 is connected to the output unit 117.
  • the normalization unit 116 is connected to the second output unit 126.
  • the control unit 118 is bidirectionally connected to the second output unit 126.
  • the signal processing unit 111 transfers a normal video signal to the output unit 117 based on the control of the control unit 118.
  • the output unit 117 displays a normal video signal.
  • the normalization unit 116 transfers a video signal related to the presence of the identification target to the second output unit 126. In the second output unit 126, a video signal relating to the presence of the identification target is displayed.
  • the normalization unit 116, the output unit 117, and the second output unit 126 for example, output the output signal as the identification result of the subject to be identified based on the correlation coefficient calculated by the correlation coefficient calculation unit 137. It functions as an output signal calculation unit for calculating.
  • the video signal related to the identification target by normalizing the correlation coefficient related to the derived coefficient, a highly accurate output signal can be obtained regarding the presence of the identification target.
  • the video signal that has undergone normal processing is also output independently, it is easy to recognize the entire video signal, and the operability for the user is improved.
  • the video signal from the CCD 101 is processed as raw data in an unprocessed raw data format, and the imaging condition of the subject to be identified is output as header information from the control unit 118, and the video signal and header information are output to a computer (not shown). It is possible to adopt a configuration in which it is input and processed by software.
  • FIG. 31 is a diagram showing a flowchart relating to software processing of signal processing by a computer (not shown). The same reference numerals are assigned to the same processing steps as those in the signal processing flowchart in the first embodiment shown in FIG.
  • the computer first inputs a video signal and header information related to imaging conditions such as a subject to be identified (step S101) and inputs a plurality of derivation coefficients (step S117).
  • the derivation coefficient is input by reading from a recording medium provided in the computer or a detachable recording medium or by reading through a network.
  • a three-plate video signal is generated from the input video signal by known interpolation processing (step S106), and signal processing such as known gradation processing and enhancement processing is performed on the video signal (step S107). ).
  • step S109 the correlation between the known spectral characteristics of the subject to be identified and the video signal based on the input derivation coefficient is performed by a correlation coefficient calculation process as will be described in detail later.
  • the number of relations is calculated (step S118).
  • step S109 the correlation coefficient relating to the presence of the identification target is generated (step S109).
  • step S110 either the normal video signal from step S107 or the video signal relating to the presence of the subject to be identified from step S109 is switched (step S110), and the video signal is connected to the computer (not shown). (Step S111), and the process is terminated.
  • step S118 The correlation coefficient calculation process in step S118 is performed as shown in FIG. First, a derivation coefficient is selected from a plurality of derivation coefficients input in step S117 based on subject information to be identified in the header information input in step S101 (step S226). Then, as shown in the above equation (3), a correlation coefficient is calculated based on the derived coefficient (step S227), and the calculated correlation coefficient is output (step S228).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Color Television Image Signal Generators (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)

Abstract

 算出部(112)は、例えば基底ベクトルROM(114)より、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルを取得し、システム分光特性ROM(115)より、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性とを取得する。そして、上記カラー撮像系による被写体の撮像により得た映像信号と、上記専用基底ベクトル及び上記撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出する。正規化部(116)は、この専用基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果を算出して、出力部(117)より出力信号として出力する。

Description

信号処理システム及び信号処理プログラム
 本発明は、被写体の識別を行う信号処理システム及びコンピュータにそのような信号処理システムの手順を実行させる信号処理プログラムに関する。
 特許文献1には、広帯域光を観察光として用いて、信号処理にて特定の狭帯域の映像信号を算出する例が開示されている。これにより、ノイズの少ない高品位な狭帯域の映像信号が得られるので、血管などの特定の分光特性を有する被写体を識別して、表示モニタに表示出力することができ、その識別対象被写体の観察が容易となる。
特開2003-93336号公報
 上記特許文献1に開示されている技術では、広帯域の通常光を用いるため照度が高く、ノイズの少ない高品位な映像信号が得られる。しかしながら、得られた映像信号から信号処理により狭帯域の信号を生成する過程で最小自乗法に基づく近似を行うため、負の感度特性という本来はあり得ない結果が発生するなど、信号処理に起因する誤差が生じてしまう。このため、識別対象の被写体の識別結果の信頼性が低いという課題がある。
 本発明は、上記の点に鑑みてなされたもので、高い信頼性を持って識別対象の被写体を識別することを可能とする信号処理システム及び信号処理プログラムを提供することを目的とする。
 本発明の第1の態様によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部と、
 上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
 上記カラー撮像系による被写体の撮像により得た映像信号、上記専用基底ベクトル、及び上記撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出する算出部と、
 上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
 を有する信号処理システムが提供される。
 なお、取得とは、記録媒体から読み出すことやネットワークを介して読み込むことなどを意味する。
 本発明の第2の態様によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得する導出係数取得部と、
 上記映像信号及び上記導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出する相関係数算出部と、
 上記相関係数算出部によって算出した上記相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
 を有する信号処理システムが提供される。
 本発明の第3の態様によれば、カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
 上記識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得するステップと、
 上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含む撮像システムの分光特性を取得するステップと、
 上記取得した映像信号、上記取得した専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
 上記算出した専用基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
 をコンピュータに発揮させる信号処理プログラムが提供される。
 本発明の第4の態様によれば、カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
 上記識別対象となる被写体の既知の分光特性、上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得するステップと、
 上記取得した映像信号及び上記取得した導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出するステップと、
 上記算出した上記相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
 をコンピュータに発揮させる信号処理プログラムが提供される。
図1は、本発明の第1実施例に係る信号処理システムを適用した内視鏡の構成を示す図である。 図2は、Bayer型原色フィルタの構成を示す図である。 図3は、図1中の算出部の構成の一例を示す図である。 図4は、三種の専用基底ベクトルの一例を示す図である。 図5は、撮像時に使用する照明光に関する分光特性として光源の分光輝度特性の一例を示す図である。 図6は、カラー撮像系に関する分光特性としてR,G,B色フィルタからなるカラー撮像系の分光感度特性の一例を示す図である。 図7は、第1実施例の変形例1における三種の基底ベクトルの例としてオキシヘモグロビンの専用基底ベクトルと二種の汎用基底ベクトルを示す図である。 図8は、第1実施例の変形例1における三種の基底ベクトルの例としてデオキシヘモグロビンの専用基底ベクトルと二種の汎用基底ベクトルを示す図である。 図9は、第1実施例の変形例2におけるR,Gr,Gb,B原色フィルタの構成を示す図である。 図10は、第1実施例の変形例2における色差線順次型補色フィルタの構成を示す図である。 図11は、第1実施例の変形例2におけるカラー撮像系(補色4色)の分光感度特性を示す図である。 図12は、第1実施例の変形例2における四種の基底ベクトルの例としてオキシヘモグロビンの専用基底ベクトルと三種の汎用基底ベクトルを示す図である。 図13は、第1実施例の変形例2における四種の基底ベクトルの例としてオキシヘモグロビンとデオキシヘモグロビンの専用基底ベクトルと二種の汎用基底ベクトルを示す図である。 図14は、第1実施例の変形例3に係る信号処理システムを適用した内視鏡の構成を示す図である。 図15は、第1実施例の変形例4に係る信号処理システムを適用した内視鏡の構成を示す図である。 図16は、第1実施例の変形例5に係る信号処理システムを適用した内視鏡の構成を示す図である。 図17は、第1実施例の変形例6に係る信号処理システムを適用した内視鏡の構成を示す図である。 図18は、第1実施例の変形例7における信号処理のソフトウェア処理に関するフローチャートを示す図である。 図19は、図18中の算出処理に関するフローチャートを示す図である。 図20は、本発明の第2実施例に係る信号処理システムを適用した内視鏡の構成を示す図である。 図21は、図20中の第2算出部の構成の一例を示す図である。 図22は、第2実施例の変形例1に係る信号処理システムを適用した内視鏡の構成を示す図である。 図23は、強調用ゲイン生成関数を示す図である。 図24は、第2実施例の変形例2における信号処理のソフトウェア処理に関するフローチャートを示す図である。 図25は、図24中の第2算出処理に関するフローチャートを示す図である。 図26は、本発明の第3実施例に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図27は、図26中の相関係数算出部の構成の一例を示す図である。 図28は、第3実施例の変形例1に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図29は、第3実施例の変形例2に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図30は、第3実施例の変形例3に係る信号処理システムを適用した顕微鏡の構成を示す図である。 図31は、第3実施例の変形例4における信号処理のソフトウェア処理に関するフローチャートを示す図である。 図32は、図31中の相関係数算出処理に関するフローチャートを示す図である。
 以下、本発明を実施するための形態を図面を参照して説明する。
 [第1実施例]
 (構成)
 図1に示すように、本発明の第1実施例に係る信号処理システムを適用した内視鏡は、撮像レンズ系100、CCD101、照明レンズ系102、照明光源103、光ファイバ104、増幅部(図では、Gainと記す。)105、A/Dコンバータ106、バッファ107、補間部108、WB部109、測光評価部110、信号処理部111、算出部112、切り換え部113、基底ベクトルROM114、システム分光特性ROM115、正規化部116、出力部117、制御部118及び外部I/F部119を備える。なお、図中、太い実線の矢印は映像信号の方向を示し、細い実線の矢印は制御信号の方向を示し、破線の矢印はその他の信号の方向を示している(他の図においても同様である)。
 被検体の体内に挿入される内視鏡の先端部には、撮像レンズ系100、CCD101及び照明レンズ系102が配されている。照明光源103は例えば内視鏡後端側に配され、該照明光源103からの照明光が、光ファイバ104を経由して該内視鏡先端部に導かれ、上記照明レンズ系102を介して図示しない被写体に対して照射される。上記CCD101は、こうして照明された被写体を撮像し、この撮像によって得られた映像信号は、増幅部105にて増幅された後、A/Dコンバータ106にてデジタル信号へ変換される。
 A/Dコンバータ106からのデジタル映像信号は、バッファ107を介して補間部108へ転送される。また、バッファ107は、WB部109及び測光評価部110へも接続されている。WB部109は上記増幅部105へ、測光評価部110は上記照明光源103及び上記増幅部105へ接続されている。補間部108は、信号処理部111と算出部112へ接続されている。信号処理部111は、切り換え部113へ接続されている。
 基底ベクトルROM114及びシステム分光特性ROM115は、上記算出部112へ接続されている。算出部112は、正規化部116を介して上記切り換え部113へ接続されている。切り換え部113は、液晶ディスプレイなどの出力部117へ接続されている。
 マイクロコンピュータなどの制御部118は、上記の増幅部105、A/Dコンバータ106、補間部108、WB部109、測光評価部110、信号処理部111、算出部112、切り換え部113、正規化部116及び出力部117と双方向に接続されている。また、電源スイッチ,シャッタボタン,及び撮像時の各種モードの切り替えなどの設定を行うためのインターフェースを備えた外部I/F部119も、この制御部118に双方向に接続されている。
 (作用)
 図1において、信号の流れを説明する。
 外部I/F部119を介して後述する識別対象となる被写体,カラー撮像系,照明光などの撮像条件を設定した後、シャッタボタンを押すことで撮像モードに入る。このように、外部I/F部119は、例えば、複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部、及び、複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択するカラー撮像系選択部として機能する。
 この撮像モードでは、CCD101による撮像によって得られた映像信号は、アナログ信号として所定時間間隔で連続的にCCD101から出力される。以後、連続的に出力される複数の映像信号を単に映像信号と表記し、画像1枚分の映像信号をフレーム信号と表記する。また、本実施例においては、上記所定時間間隔として1/30秒(以後は、1フレーム時間と表記する。)を想定する。
 さらに、上記CCD101としては、図2に示すようなBayer型原色フィルタ120を前面に配置した単板CCDを想定する。Bayer型は2×2画素を基本単位とし、該基本単位には赤(R)色フィルタ121R,青(B)色フィルタ121Bが1画素ずつ、緑(G)色フィルタ121Gが2画素、配置されたものである。
 上記CCD101からのアナログ信号は、増幅部105にて所定量増幅され、A/Dコンバータ106にてデジタル信号へ変換されて、バッファ107へ転送される。このバッファ107は、1フレームの信号を記録可能なものであり、撮像が進むにともない古いフレーム信号から順次上書きされることになる。このバッファ107内のフレーム信号は、制御部118の制御に基づき、上記所定時間間隔で、間欠的にWB部109及び測光評価部110へ転送される。
 WB部109では、中間レベル等の所定レベルの信号を色フィルタ121R,121G,121Bに対応する色信号ごとに積算することで、ホワイトバランス係数を算出する。そして、その算出したホワイトバランス係数を上記増幅部105へ転送する。増幅部105は、色信号ごとに異なるホワイトバランス係数を増幅率に乗算することでホワイトバランス調整を行う。また、測光評価部110では、適正露光となるように上記照明光源103の光量や上記増幅部105の増幅率などを制御する。
 一方、補間部108は、制御部118の制御に基づき、上記バッファ107から単板状態のフレーム信号を読み込み、公知の補間処理にて三板のフレーム信号を生成する。生成された三板のフレーム信号は、順次フレーム信号単位で、信号処理部111及び算出部112へ転送される。以降の信号処理部111、算出部112及び正規化部116は、制御部118の制御に基づき1フレーム信号単位で同期して処理がなされる。
 信号処理部111は、制御部118の制御に基づき、補間部108から転送されるフレーム信号に対して公知の階調処理及び強調処理を行い、処理後のフレーム信号を切り換え部113へ転送する。
 一方、基底ベクトルROM114は、複数の識別対象となる被写体それぞれの既知の分光特性に基づく専用基底ベクトルを記憶している。また、システム分光特性ROM115は、複数のカラー撮像系それぞれに関する分光特性と、撮像時に使用する複数の照明光それぞれに関する分光特性と、を記憶している。なお、本実施例においては、カラー撮像系に関する分光特性とは、撮像レンズ系100の分光透過率特性を加味したCCD101の分光感度特性を意味する。また、照明光に関する分光特性とは、転送用の光ファイバ104及び照明レンズ系102の分光透過率特性を加味した照明光源103の分光輝度特性を意味する。
 算出部112は、上記外部I/F部119を介して設定された上記撮像条件に応じた制御部118の制御に基づき、基底ベクトルROM114から基底ベクトルを、システム分光特性ROM115から分光特性を、それぞれ読み込む。即ち、上記基底ベクトルROM114からは、識別対象となる一つの被写体の既知の分光特性に基づく専用基底ベクトルと、上記識別対象となる一つの被写体以外の被写体である識別対象外被写体の既知の分光特性に基づく専用基底ベクトルと、を読み込む。また、上記システム分光特性ROM115からは、上記一つの識別対象となる被写体を含む被写体の撮像に供する一つのカラー撮像系に関する分光特性と、そのカラー撮像系による被写体の撮像時に使用する一つの照明光に関する分光特性と、を含んだ撮像システムの分光特性を読み込む。その後、算出部112は、詳細は後述するようにして、上記補間部108から転送されるフレーム信号に対して、上記読み出した専用基底ベクトル、カラー撮像系に関する分光特性及び照明光に関する分光特性を用いて、識別対象の被写体の専用基底ベクトルに関する重み係数を算出する。その算出された専用基底ベクトルの重み係数は、後述するように上記識別対象の被写体の存在に比例した値をとるものであり、正規化部116へ転送される。正規化部116は、制御部118の制御に基づき、上記算出部112から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行う。即ち、上記算出部112で算出される重み係数は「0」~「1」の値をとるので、それを、例えば信号レベルが8ビットならば「0」~「255」の値に正規化する。そして、正規化処理後の重み係数をフレーム信号として、上記切り換え部113へ転送する。
 切り換え部113は、制御部118の制御に基づき、上記信号処理部111から転送される通常のフレーム信号と、上記正規化部116から転送される識別対象の存在に関するフレーム信号と、のいずれか一方を選択する。選択されたフレーム信号は、出力部117へ転送されて、出力される。このように、切り換え部113、正規化部116及び出力部117は、例えば、専用基底ベクトルに関する重み係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。なお、正規化部116からのフレーム信号は、白黒の信号として出力される。例えば、出力部117が表示モニタであれば、転送されてきたフレーム信号は表示されることとなる。また、出力部117は、表示モニタに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体にフレーム信号を順次記録保存する形態も可能である。
 上記算出部112は、図3に示すように、データ選択部200、積算部201、バッファ202、逆行列算出部203、バッファ204、係数選択部205及び乗加算部206からなる。上記基底ベクトルROM114及び上記システム分光特性ROM115は、データ選択部200へ接続している。データ選択部200は、積算部201、バッファ202、逆行列算出部203及びバッファ204を介して、係数選択部205へ接続している。係数選択部205及び上記補間部108は、乗加算部206へ接続している。乗加算部206は、上記正規化部116へ接続している。上記制御部118は、データ選択部200、積算部201、逆行列算出部203、係数選択部205、乗加算部206と双方向に接続されている。
 データ選択部200は、上記外部I/F部119を介して設定された上記撮像条件における識別対象となる被写体の情報を上記制御部118から受け取る。そして、その情報に基づき、上記基底ベクトルROM114から識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを含む複数の専用基底ベクトルを読み込む。このように、基底ベクトルROM114及びデータ選択部200は、例えば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部として機能する。本実施例においては、CCD101として3つの色フィルタ121R,121G,121BからなるBayer型を想定しているため、専用基底ベクトルの総数は3となる。三種の専用基底ベクトルの内の一つとして、上記設定された識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを使用する。
 専用基底ベクトルの一例として、三種の専用基底ベクトル(O1(λ),O2(λ),O3(λ))を、図4に示す。なお、λは例えば波長380~780nmの可視域を意味する。図4において、専用基底ベクトル(O1(λ))は、オキシヘモグロビンの分光反射率特性に基づくものであり、専用基底ベクトル(O2(λ))は、デオキシヘモグロビンの分光反射率特性に基づくものである。これらオキシヘモグロビンとデオキシヘモグロビンは、血管部位に多く含まれるので、内視鏡における診断で重要となる。また、専用基底ベクトル(O3(λ))は、蛍光観察での主要被写体となるコラーゲンの自家蛍光の分光輝度特性に基づくものである。
 オキシヘモグロビンは動脈に多く含まれ、デオキシヘモグロビンは静脈に多く含まれる。そこで、例えば動脈の観察を行う場合には、識別対象となる被写体としてオキシヘモグロビンが上記外部I/F部119を介して指定される。これにより、少なくともオキシヘモグロビンの専用基底ベクトル(O1(λ))を含む3つの専用基底ベクトルがデータ選択部200によって読み込まれる。他の2つの専用基底ベクトルは、識別対象外被写体の専用基底ベクトルであり、例えば上記デオキシヘモグロビンの専用基底ベクトル(O2(λ))及びコラーゲンの専用基底ベクトル(O3(λ))であっても良いし、基底ベクトルROM114に記憶されているその他の専用基底ベクトルであっても構わない。
 以下、識別対象となる被写体としてオキシヘモグロビンが指定されたものと想定して説明していく。
 上記データ選択部200は、更に、外部I/F部119を介して設定された上記撮像条件におけるカラー撮像系,照明光の情報を制御部118から受け取る。そして、上記情報に基づき、システム分光特性ROM115から被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を読み込む。このように、システム分光特性ROM115及びデータ選択部200は、例えば、撮像システムの分光特性を取得するシステム分光特性取得部として機能する。
 上記被写体の撮像時に使用する照明光に関する分光特性の一例として、図5に、キセノン光源の分光輝度特性(I(λ))を示す。また、上記カラー撮像系に関する分光特性の一例として、図6に、R,G,B3つの色フィルタ121R,121G,121Bからなるカラー撮像系の分光感度特性(SR(λ),SG(λ),SB(λ))を示す。
 上記データ選択部200は、読み込んだ上記専用基底ベクトル(O1(λ),O2(λ),O3(λ))、光源の分光輝度特性(I(λ))及びカラー撮像系の分光感度特性(SR(λ),SG(λ),SB(λ))を、積算部201へ転送する。
 積算部201は、制御部118の制御に基づき、以下の(1)式に示される3×3サイズの撮像システムに関するシステム行列Mを算出する。
Figure JPOXMLDOC01-appb-M000001
このように、データ選択部200及び積算部201は、例えば、撮像システムに関するシステム行列を算出する行列算出部として機能する。
 この積算部201によって算出された上記システム行列Mは、バッファ202へ転送され、そこに保存される。逆行列算出部203は、制御部118の制御に基づき、このバッファ202から上記システム行列Mを読み込み、該システム行列Mの逆行列M-1を算出する。算出された逆行列M-1は、バッファ204へ転送され、そこに保存される。
 上記システム行列Mの逆行列M-1とR,G,Bからなるフレーム信号を使用することで、以下の(2)式により、各画素単位で専用基底ベクトル(O1(λ),O2(λ),O3(λ))に関する重み係数(w1,w2,w3)を求めることができる。なお、以下の(2)式において、i,jはフレーム信号のx,y方向の座標を、mはシステム行列Mの逆行列M-1の各要素、即ち、逆行列M-1の係数を意味する。
Figure JPOXMLDOC01-appb-M000002
 本実施例では、内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビンを識別対象と仮定しているため、識別対象となる被写体の専用基底ベクトル(O1(λ))に関係する重み係数(w1ij)を求めれば良い。このために必要となるシステム行列Mの逆行列M-1の係数は、要素m11,m12,m13の3つとなる。
 そこで、係数選択部205は、制御部118の制御に基づき、上記バッファ204から上記システム行列Mの逆行列M-1の要素m11,m12,m13を選択し、これを乗加算部206へ転送する。乗加算部206は、制御部118の制御に基づき、上記係数選択部205からシステム行列Mの逆行列M-1の要素m11,m12,m13が転送されてきた後、補間部108からフレーム信号をR,G,Bからなる画素単位で読み込む。そして、以下の(3)式に基づき、識別対象被写体の専用基底ベクトル(O1(λ))に関係する重み係数(w1ij)を求める。
Figure JPOXMLDOC01-appb-M000003
 上記重み係数(w1ij)は識別対象被写体の専用基底ベクトル(O1(λ))への寄与度となるため、本実施例においてはオキシヘモグロビンの存在に比例した値をとることになる。即ち、オキシヘモグロビンが存在する場合には高い値を、存在しない場合は低い値をとる。よって、この重み係数(w1ij)を映像信号化することで、オキシヘモグロビンの識別が可能となる。
 そこで、上記乗加算部206によって算出された重み係数(w1ij)は、順次、正規化部116へ転送されて上述したように正規化処理が行われる。そして、正規化処理後の重み係数が、上記分光特性が既知の被写体の識別結果である出力信号として、上記切り換え部113を介して、例えば表示モニタである出力部117へ転送されて表示されることとなる。
 なお、以上の説明では、識別対象をオキシヘモグロビンとしたが、それに限定されないことは勿論である。例えば、外部I/F部119を介して、識別対象となる被写体を必要に応じてデオキシヘモグロビンに切り換えても良い。
 さらに、オキシヘモグロビンとデオキシヘモグロビンの両者の重み係数(w1ij,w2ij)を求める構成も可能である。この場合、乗加算部206を複数設けても良いし、一つの乗加算部206と算出した重み係数を保存するバッファとの組み合わせで構成しても良い。また、2つの重み係数の算出結果の出力方法に関しても、外部I/F部119を介して選択して表示する構成、両者を合成して表示する構成、両者を疑似カラー化して独立に表示する構成など自由に設定できる。
 以上のように、本第1実施例によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルと上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とから、上記識別対象の被写体の存在に比例した値をとる専用基底ベクトルに関する重み係数を算出し、この重み係数に基づき上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する。このように、本第1実施例では、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができる。従って、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無い。よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別対象被写体の識別が可能となる。
 また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。
 さらに、専用基底ベクトルに関する重み係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
 また、専用基底ベクトルとして、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルと、分光特性が既知であるが識別対象外である識別対象外被写体の既知の分光特性に基づく専用基底ベクトルと、を用いる。従って、識別対象以外の領域に対しても専用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度を向上することができる。
 さらに、識別対象となる被写体の選択を受け付け、その選択に応じて、複数の専用基底ベクトルから識別対象となる被写体の専用基底ベクトルを選択する。従って、識別対象の被写体を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。
 また、カラー撮像系及び照明光の選択を受け付け、その選択に応じて、複数のカラー撮像系に関する分光特性または複数の照明光に関する分光特性から使用する分光特性を選択する。従って、カラー撮像系または照明光を選択できるため、システムとしての適用性が向上し、多様な用途での利用が可能となる。
 また、識別対象となる被写体の専用基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出し、この逆行列から識別対象被写体の専用基底ベクトルに関係する係数を選択し、選択された係数及び映像信号に基づき識別対象被写体の専用基底ベクトルに関する重み係数を算出する。従って、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて専用基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、システム行列に識別対象外被写体の専用基底ベクトルを含む構成のため、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、識別対象外被写体の専用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
 また、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。さらに、正規化処理のみで出力信号を求めるため、処理の高速化と低コスト化が可能となる。
 なお、動画像を処理する場合を説明したが、外部I/F部119の不図示シャッタボタンの操作に応じて静止画像を撮像し、その撮像した静止画像に対して同様の処理を行うことも可能なことは勿論である。
 [変形例1]
 なお、上記第1実施例では、基底ベクトルとして、図4に示すような専用基底ベクトルを使用したが、このような構成に限定される必要はない。
 例えば、図7に示されるように、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル(O1(λ))と、任意の被写体の分光特性の推定に用いる汎用基底ベクトル(O2(λ),O3(λ))と、を用いる構成も可能である。同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。この図7は、汎用基底ベクトル(O2(λ),O3(λ))として、マンセル色票などの分光反射率特性を主成分分析して、寄与率の高い上位2つの基底ベクトルを選択して基底ベクトルROM114に記憶してあるものを使用した場合を示している。一方、専用基底ベクトル(O1(λ))としては、上記第1実施例で説明したように、基底ベクトルROM114に記憶された複数の専用基底ベクトルから外部I/F部119を介した設定により、識別対象となる被写体、例えば内視鏡における診断で重要となる血管部位に多く含まれるオキシヘモグロビンを選択している。汎用基底ベクトル(O2(λ),O3(λ))は、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に対しても、基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理に使用することが可能となる。
 図8は、専用基底ベクトル(O1(λ))としてデオキシヘモグロビンを用いる場合の三種の基底ベクトルを示す図である。なお、同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。
 このように、基底ベクトルとして、全て被写体の既知の分光特性に基づく専用基底ベクトルを使用する必要はなく、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は任意の被写体の分光特性の推定に用いる汎用基底ベクトルを用いても、上記第1実施例と同様の効果を奏することができる。
 また、識別対象以外の領域に対して汎用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
 さらに、汎用基底ベクトル及び専用基底ベクトル及び撮像システムの分光特性に基づくシステム行列の逆行列を算出し、この逆行列から専用基底ベクトルに関係する係数を選択し、選択された係数及び映像信号に基づき専用基底ベクトルに関する重み係数を算出する。従って、識別対象となる被写体の既知の分光特性及び撮像システムの分光特性に基づく信号処理にて専用基底ベクトル、即ち識別対象に関する重み係数を算出するため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、システム行列に汎用基底ベクトルを含む構成のため、必要に応じて識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、汎用基底ベクトルを用いた信号処理を適用することが可能となり、後段の出力信号を算出する処理における自由度が向上する。
 [変形例2]
 また、上記第1実施例では、撮像系にR,G,B3つの色フィルタ121R,121G,121BからなるBayer型原色フィルタ120を前面に配置した単板CCDを想定したが、このような構成に限定される必要はない。例えば、4つの色フィルタからなる原色フィルタ又は色差線順次型補色フィルタを前面に配置した単板CCDや、二板CCDや、三板CCDにも適用可能である。
 図9に示すように、4つの色フィルタからなる原色フィルタ122は、2×2画素を基本単位とし、該基本単位には、R,Gr,Gb,Bの4つの色フィルタ121R,121Gr,121Gb,121Bが1画素ずつ配置されたものである。
 また、図10に示すように、色差線順次型補色フィルタ123は、2×2画素を基本単位とし、該基本単位には、シアン(Cy)色フィルタ121Cy,マゼンタ(Mg)色フィルタ121Mg,イエロー(Ye)色フィルタ121Ye,緑(G)色フィルタ121Gが1画素ずつ配置されたものである。ただし、Mg色フィルタ121MgとG色フィルタ121Gの位置はラインごとに反転している。この色差線順次型補色フィルタ123を用いた場合におけるカラー撮像系の分光感度特性(SCy(λ),SMg(λ),SYe(λ),SG(λ))は、例えば、図11に示すようになる。
 Bayer型原色フィルタ120または色差線順次型補色フィルタ123を前面に配置した単板撮像素子を用いる構成は、従来の撮像系との親和性が高く、多くの撮像システムへの適用が可能となる。
 また、上記カラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性は、複数の特性をシステム分光特性ROM115に記録しておき、外部I/F部119を介して、実際の撮像に使用される特性を選択する構成も可能である。
 図9及び図10に示される4色フィルタ122,123の場合、専用基底ベクトルと汎用基底ベクトルの総数は4となる。4色フィルタの場合、上記(1)式に示されるシステム行列M及び上記(2)式に示されるシステム行列Mの逆行列M-1は4×4サイズとなる。また、上記(3)式の右辺も第4項が追加された形態となる。
 図12及び図13は、総数4となる専用基底ベクトル及び汎用基底ベクトルの一例を示す。
 図12は、一種の専用基底ベクトル(O1(λ))と三種の汎用基底ベクトル(O2(λ),O3(λ),O4(λ))とからなる。同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。汎用基底ベクトルは、マンセル色票などの分光反射率特性を主成分分析して、寄与率の高い上位3つの基底ベクトルを選択することで基底ベクトルROM114に記憶される。専用基底ベクトルは、図4に示すオキシヘモグロビンの場合を示している。
 一方、図13は、二種の専用基底ベクトル(O1(λ),O2(λ))と二種の汎用基底ベクトル(O3(λ),O4(λ))からなる。同図において、専用基底ベクトルは太線で、汎用基底ベクトルは細線で記載している。二種の専用基底ベクトルは、図4に示すオキシヘモグロビンとデオキシヘモグロビンの場合である。
 なお、基底ベクトルとして、全て被写体の既知の分光特性に基づく専用基底ベクトルを用いることができることは上述した通りである。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 [変形例3]
 また、上記第1実施例では、映像信号の出力として信号処理部111から転送される通常のフレーム信号または正規化部116から転送される識別対象の存在に関するフレーム信号のいずれか一方を、切り換え部113によって選択し出力する構成となっていた。しかしながら、このような構成に限定される必要はない。
 例えば、図14に示すように、図1に示す構成から正規化部116を省略し、切り換え部113を強調部124へ置換した形態としても良い。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 信号処理部111及び算出部112は、強調部124へ接続されている。強調部124は、出力部117へ接続されている。制御部118は、強調部124と双方向に接続されている。強調部124へは、信号処理部111から通常のフレーム信号が、算出部112から識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数が転送される。
 このような構成において、強調部124は、制御部118の制御に基づき、信号処理部111から転送されるフレーム信号に対して算出部112から転送される重み係数に基づき強調処理を行う。上記強調処理としては、公知のエッジ強調処理や彩度強調処理が想定され、これらの強調量は重み係数に比例する形態で実施される。強調処理後のフレーム信号は出力部117へ転送される。このように、強調部124及び出力部117は、例えば、専用基底ベクトルに関する重み係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、識別対象となる被写体の分光特性に基づく専用基底ベクトルに関する重み係数から強調処理を行うことにより、オキシヘモグロビンなどの識別対象の被写体の存在領域のみが強調され、認識能を向上することが可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、通常の処理がなされた映像信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 なお、少なくとも識別対象となる被写体の専用基底ベクトルを用いれば、他は任意の被写体の分光特性の推定に用いる汎用基底ベクトルを用いても良いことは上述した通りである。更に、基底ベクトルの総数についても、上記変形例2で説明したように、三種に限定するものではなく、カラー撮像系からの映像信号を通すフィルタの種類の数に合致する数とすれば良い。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 [変形例4]
 また、図15に示すように、図1に示す構成において、切り換え部113を合成部125へ置換した形態としても良い。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 信号処理部111及び正規化部116は、合成部125へ接続されている。合成部125は、出力部117へ接続されている。制御部118は、合成部125と双方向に接続されている。合成部125へは、信号処理部111から転送される通常のフレーム信号が、正規化部116から識別対象の存在に関するフレーム信号が転送される。
 このような構成において、合成部125は、制御部118の制御に基づき、信号処理部111から転送されるフレーム信号に対して正規化部116から転送される識別対象の存在に関するフレーム信号を合成処理する。上記合成処理としては、公知のスーパーインポーズなどの処理が想定される。合成処理後のフレーム信号は、出力部117へ転送される。このように、正規化部116、合成部125及び出力部117は、例えば、専用基底ベクトルに関する重み係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めることにより、識別対象の被写体の存在領域に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号間で合成処理を行うため、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても通常の処理がなされた映像信号が出力されることになり、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 また、上記合成部125は、画面の一部にウィンドウを表示して、信号処理部111からのフレーム信号又は正規化部116からのフレーム信号を子画面として表示する公知のピクチャ・イン・ピクチャなどの合成処理を行うものとしても良い。この場合、外部I/F部119を介した指示により、何れを親画面とし何れを子画面とするか選択できるようにすることが好ましい。
 なお、本変形例においても、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではないことは上述した通りである。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 [変形例5]
 また、図16に示すように、図1に示す構成から、切り換え部113を省略し、上記出力部117とは別の第2出力部126を追加した形態としても良い。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 信号処理部111は、出力部117へ接続されている。正規化部116は、第2出力部126へ接続されている。制御部118は、第2出力部126と双方向に接続されている。信号処理部111は、制御部118の制御に基づき、通常のフレーム信号を出力部117へ転送する。出力部117においては、通常のフレーム信号が表示される。正規化部116は、制御部118の制御に基づき、識別対象の存在に関するフレーム信号を第2出力部126へ転送する。第2出力部126においては、識別対象の存在に関するフレーム信号が表示される。このように、正規化部116、出力部117及び第2出力部126は、例えば、専用基底ベクトルに関する重み係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めることにより、識別対象の存在に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号も独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 なお、本変形例においても、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではないことは上述した通りである。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 [変形例6]
 また、上記第1実施例では、信号処理システムは、撮像レンズ系100,CCD101,照明レンズ系102,照明光源103,光ファイバ104,増幅部105,A/Dコンバータ106,WB部109及び測光評価部110からなる撮像部と一体化した構成になっていた。しかしながら、このような構成に限定される必要はない。
 例えば、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、さらに識別対象となる被写体,カラー撮像系,照明光などの撮像条件に関する付随情報をヘッダ部に記録して、ハードディスクやメモリカードなどの記録媒体に保存したものを読み出して、処理をすることも可能である。あるいは、無線又は有線ネットワークを介して送信されてくる映像信号を受信して、処理をすることも可能である。
 この場合は、図17に示すように、図1に示す構成から撮像レンズ系100,CCD101,照明レンズ系102,照明光源103,光ファイバ104,増幅部105,A/Dコンバータ106,WB部109及び測光評価部110を省略し、入力部127,ヘッダ情報解析部128を追加した形態とする。基本構成は図1と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 入力部127は、バッファ107及びヘッダ情報解析部128へ接続している。制御部118は、入力部127,ヘッダ情報解析部128と双方向に接続している。マウス,キーボードなどの外部I/F部119を介して再生操作を開始することで、ハードディスクやメモリカードなどの記録媒体に保存された信号及びヘッダ情報、あるいは、ネットワークを介して受信した信号及びヘッダ情報が入力部127から読み込まれる。なお、映像信号は所定の時間間隔、本変形例では1フレーム時間間隔で1枚ずつ順次読み込まれる。入力部127からの信号はバッファ107へ、ヘッダ情報はヘッダ情報解析部128へ転送される。ヘッダ情報解析部128は、ヘッダ情報から撮像時の情報を抽出して制御部118へ転送する。以後の処理は、図1と同等である。
 なお、本変形例においても、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではなく、取得した映像信号を通すフィルタの種類の数に合わせれば良い。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 [変形例7]
 さらに、上記第1実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD101からの映像信号を未処理のままのRawデータ形態として、制御部118から、識別対象となる被写体やカラー撮像系,照明光などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。
 以下、図18を参照して、不図示コンピュータによる信号処理のソフトウェア処理に関して説明する。
 即ち、コンピュータはまず、映像信号と、識別対象や被写体及びカラー撮像系,照明光などの撮像条件に関するヘッダ情報を入力する(ステップS101)。なお、本変形例において3色の色フィルタ121R,121G,121BからなるBayer型単板CCDからの映像信号を処理することを想定する。また、ここでは、上記変形例1のように専用基底ベクトル(O1(λ))と汎用基底ベクトル(O2(λ),O3(λ))とを用いる場合を例に説明する。
 上記ステップS101に続けて、複数の専用基底ベクトル及び複数の汎用基底ベクトルを入力し(ステップS102)、また、複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性を入力する(ステップS103)。ここで、上記複数の基底ベクトル及び複数の分光特性は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりしたりすることで入力する。
 そして、詳細は後述するような算出処理により、専用基底ベクトル(O1(λ))に関する重み係数算出に使用されるシステム行列Mの逆行列M-1の所定の係数、つまり要素m11,m12,m13を算出する(ステップS104)。その後、上記入力された映像信号から順次フレーム信号を抽出し(ステップS105)、公知の補間処理にて三板のフレーム信号を生成する(ステップS106)。そして、そのフレーム信号に対して、公知の階調処理や強調処理といった信号処理を行う(ステップS107)。
 また、上記ステップS107の信号処理と並行して、上記(3)式に示されるように専用基底ベクトル(O1(λ))に関する重み係数(w1ij)を算出し(ステップS108)、その算出した重み係数(w1ij)を正規化することで識別対象の存在に関するフレーム信号を生成する(ステップS109)。
 そして、上記ステップS107からの通常のフレーム信号または上記ステップS109からの識別対象の被写体の存在に関するフレーム信号のどちらかを切り換えて(ステップS110)、フレーム信号を当該コンピュータに接続された図示しない表示モニタ等に出力する(ステップS111)。その後、全てのフレーム信号が完了したかを判断し(ステップS112)、完了していない場合は上記ステップS105に戻り、また、完了した場合は終了する。
 上記ステップS104における算出処理は、図19に示すように行なわれる。 
 まず、上記ステップS102で入力された複数の専用基底ベクトル及び複数の汎用基底ベクトルと、上記ステップS103で入力された複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性の中から、使用するデータを選択する(ステップS201)。これは、上記ステップS101で入力したヘッダ情報中の識別対象となる被写体やカラー撮像系,照明光などの撮像条件に基づき、専用基底ベクトル、汎用基底ベクトル、光源の分光輝度特性及びカラー撮像系の分光感度特性を選択するものである。例えば、図7に示すような専用基底ベクトル(O1(λ))及び汎用基底ベクトル(O2(λ),O3(λ))、図5に示すような光源の分光輝度特性、図6に示すようなカラー撮像系の分光感度特性を選択する。
 その後、上記(1)式に示されるシステム行列Mを算出し(ステップS202)、更に、そのシステム行列Mの逆行列M-1を算出する(ステップS203)。そして、専用基底ベクトル(O1(λ))の重み係数(w1ij)を算出するに要する逆行列M-1の要素m11,m12,m13を上記所定の係数として選択し(ステップS204)、選択された逆行列M-1の要素m11,m12,m13を出力する(ステップS205)。
 なお、ここでは上記変形例1に対応する処理をソフトウェアで実施する場合を例に説明したが、上記第1実施例及び変形例2乃至6のような処理に関しても、同様にソフトウェアで実施することが可能なことは言うまでもない。
 また、動画像及び静止画像の何れにも適用可能なことは勿論である。静止画像の場合には、上記ステップS112の判断を省略して、処理を終了することとなる。
 [第2実施例]
 次に、本発明の第2実施例を説明する。
 (構成)
 本発明の第2実施例に係る信号処理システムを適用した内視鏡は、図20に示すように、図1に示す第1実施例の構成に、撮像系ROM129、照明系ROM130、第2算出部131、第2正規化部132及び疑似カラー部133が追加された構成になっている。基本構成は上記第1実施例と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
 本実施例においては、内視鏡本体に内蔵された撮像系ROM129及び照明本体に内蔵された照明系ROM130は、制御部118へ接続されている。補間部108は、信号処理部111,算出部112,第2算出部131へ接続されている。基底ベクトルROM114及びシステム分光特性ROM115は、算出部112及び第2算出部131へ接続されている。第2算出部131は、第2正規化部132へ接続されている。正規化部116及び第2正規化部132は、疑似カラー部133へ接続されている。疑似カラー部133は、切り換え部113へ接続されている。制御部118は、第2算出部131,第2正規化部132,疑似カラー部133と双方向に接続されている。
 (作用)
 本実施例に係る信号処理システムの作用も、基本的に上記第1実施例と同等であり、異なる部分のみ説明する。
 図20において、信号の流れを説明する。制御部118は、外部I/F部119を介して識別対象となる被写体を、撮像系ROM129からの情報に基づきカラー撮像系を、照明系ROM130からの情報に基づき照明光などの撮像条件を、それぞれ設定する。ここで、複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択する際に、撮像系及び照明系にROMとして当該撮像系及び照明系を特定するための情報を記憶させておくことで、使用者が外部I/F部119を介して選択操作する必要が無くなる。更には、撮像系ROM129に上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性を、照明系ROM130に上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性を、それぞれ記憶させておけば、システム分光特性ROM115を省略したり、システム分光特性ROM115に記憶されていない新規な撮像系や照明系にも対処可能となったりする。
 上記第1実施例と同様に、補間部108は、制御部118の制御に基づき、バッファ107から単板状態のフレーム信号を読み込み、公知の補間処理にて三板のフレーム信号を生成する。生成された三板のフレーム信号は、順次フレーム信号単位で、信号処理部111、算出部112及び第2算出部131へ転送される。以降の信号処理部111,算出部112,正規化部116,第2算出部131,第2正規化部132及び疑似カラー部133では、制御部118の制御に基づき1フレーム信号単位で同期して処理がなされる。
 信号処理部111は、制御部118の制御に基づき、補間部108から転送されるフレーム信号に対して公知の階調処理及び強調処理を行い、処理後のフレーム信号を切り換え部113へ転送する。
 また、算出部112は、上記第1実施例と同様に、識別対象となる被写体、例えば図7に示されるオキシヘモグロビンに基づく専用基底ベクトルに関する重み係数を算出し、正規化部116へ転送する。正規化部116は、制御部118の制御に基づき、算出部112から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行い、処理後の重み係数を識別対象の存在に関するフレーム信号として疑似カラー部133へ転送する。
 同様に、第2算出部131は、制御部118の制御に基づき、基底ベクトルROM114から、図7に示される識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル及び任意の被写体の分光特性の推定に用いる汎用基底ベクトルを読み込む。さらに、同じく制御部118の制御に基づき、システム分光特性ROM115から、図5に示されるカラー撮像系による被写体の撮像時に使用する照明光に関する分光特性と、図6に示されるカラー撮像系に関する分光特性とを含んだ撮像システムの分光特性とを、それぞれ読み込む。その後、補間部108から転送されるフレーム信号に対して、専用基底ベクトル、汎用基底ベクトル、カラー撮像系に関する分光特性及び照明光に関する分光特性を用いて、汎用基底ベクトルに関する重み係数を算出する。算出された汎用基底ベクトルの重み係数は、第2正規化部132へ転送される。第2正規化部132は、制御部118の制御に基づき、第2算出部131から転送される重み係数に関して映像信号の信号レベルと合致するよう正規化処理を行う。そして、処理後の重み係数を、識別対象の存在しない領域つまり識別対象以外の被写体の存在領域に関するフレーム信号として、疑似カラー部133へ転送する。
 疑似カラー部133は、制御部118の制御に基づき、正規化部116から転送されるフレーム信号及び第2正規化部132から転送されるフレーム信号から疑似カラー化処理を行う。上記疑似カラー化処理としては、正規化部116から転送される識別対象の存在に関するフレーム信号をR信号へ、第2正規化部132から転送される識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関するフレーム信号をG,B信号へ割り当てることで実施される。疑似カラー化処理されたフレーム信号は、切り換え部113へ転送される。
 切り換え部113は、制御部118の制御に基づき、信号処理部111から転送される通常のフレーム信号及び疑似カラー部133から転送される疑似カラー化処理されたフレーム信号のいずれか一方を選択し、例えば表示モニタである出力部117へ転送して表示を行う。なお、出力部117は、表示モニタに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体にフレーム信号を順次記録保存する形態も可能である。このように、正規化部116、第2正規化部132、擬似カラー化部133、切り換え部113及び出力部117は、例えば、専用基底ベクトルに関する重み係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 上記第2算出部131は、図21に示すように、データ選択部210、積算部211、バッファ212、逆行列算出部213、バッファ214、係数選択部215及び乗加算部216からなる。上記基底ベクトルROM114及び上記システム分光特性ROM115は、データ選択部210へ接続している。データ選択部210は、積算部211、バッファ212、逆行列算出部213及びバッファ214を介して、係数選択部215へ接続している。係数選択部215及び補間部108は、乗加算部216へ接続している。乗加算部216は、上記第2正規化部132へ接続している。上記制御部118は、データ選択部210、積算部211、逆行列算出部213、係数選択部215、乗加算部216と双方向に接続されている。
 データ選択部210は、上記外部I/F部119を介して設定された識別対象となる被写体の情報を上記制御部118から受け取る。そして、その情報に基づき、上記基底ベクトルROM114から図7に示される識別対象となる被写体の分光特性に基づく専用基底ベクトル(O1(λ))及び任意の被写体の分光特性の推定に用いる汎用基底ベクトル(O2(λ),O3(λ))を読み込む。このように、基底ベクトルROM114及びデータ選択部210は、例えば、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部として機能する。さらに、データ選択部210は、撮像系ROM129からの情報に基づき設定されたカラー撮像系の情報及び照明系ROM130からの情報に基づき設定された照明光の情報を制御部118から受け取る。そして、上記情報に基づき、システム分光特性ROM115から図5に示される光源の分光輝度特性(I(λ))及び図6に示されるカラー撮像系に関する分光特性(SR(λ),SG(λ),SB(λ))を読み込む。このように、撮像系ROM129、照明系ROM130及びデータ選択部210は、例えば、撮像システムの分光特性を取得するシステム分光特性取得部として機能する。上記専用基底ベクトル(O1(λ))、汎用基底ベクトル(O2(λ),O3(λ))、光源の分光輝度特性(I(λ))及びカラー撮像系の分光感度特性(SR(λ),SG(λ),SB(λ))は、積算部211へ転送される。
 積算部211は、制御部118の制御に基づき、上記(1)式に示される3×3サイズの撮像システムに関するシステム行列Mを算出する。このように、データ選択部210及び積算部211は、例えば、撮像システムに関するシステム行列を算出する行列算出部として機能する。算出されたシステム行列Mは、バッファ212へ転送され、保存される。逆行列算出部213は、制御部118の制御に基づき、上記バッファ212から上記システム行列Mを読み込み、この逆行列M-1を算出する。算出された逆行列M-1は、バッファ214へ転送され、保存される。
 上記システム行列Mの逆行列M-1とR,G,Bからなるフレーム信号を使用することで、上記(2)式に示されるように、各画素単位で専用基底ベクトル(O1(λ))及び汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数(w1,w2,w3)を求めることができる。本第2算出部131においては、汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数(w2,w3)を求めることを想定している。このため、上記(2)式に示されるシステム行列の逆行列M-1において必要となる係数は、要素m21,m22,m23,m31,m32,m33の6つとなる。
 そこで、係数選択部215は、制御部118の制御に基づき、上記バッファ214から上記システム行列Mの逆行列M-1の要素m21,m22,m23,m31,m32,m33を選択し、これを乗加算部216へ転送する。乗加算部216は、制御部118の制御に基づき、上記係数選択部205からシステム行列Mの逆行列M-1の要素m21,m22,m23,m31,m32,m33が転送された後、補間部108からフレーム信号をR,G,Bからなる画素単位で読み込む。そして、以下の(4)式及び上記(5)式に基づき、汎用基底ベクトル(O2(λ),O3(λ))に関係する重み係数(w2ij,w3ij)を求める。
Figure JPOXMLDOC01-appb-M000004
 上記重み係数(w2ij,w3ij)は、第2正規化部132へ転送される。
 なお、上記第2算出部131の構成は、上記第1実施例に示される算出部112と基本的に同等である。このため、両者を統合して、1つの算出部によって専用基底ベクトル及び汎用基底ベクトルに関する全ての重み係数を算出する構成も可能である。
 また、第2算出部131においても、算出部112と同様に、汎用正規化ベクトルではなくて、分光特性が既知の被写体の専用基底ベクトルを、識別対象となる被写体の専用基底ベクトルと共に用いても良い。
 以上のように、本第2実施例によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルと、識別対象ではない識別対象外被写体の既知の分光特性に基づく専用基底ベクトル又は任意の被写体の分光特性の推定に用いる汎用基底ベクトルと、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と、上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とから、上記識別対象の被写体の存在に比例した値をとる上記識別対象の被写体の専用基底ベクトルに関する重み係数と、識別対象外被写体の専用基底ベクトル又は汎用基底ベクトルに関する重み係数とを算出し、両者の重み係数に基づき出力信号を算出する。
 従って、上記第1実施例と同様に、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いることで、上記識別対象の被写体の存在に比例した値をとる重み係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無い。よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別対象被写体の識別が可能となる。また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、専用基底ベクトルに関する重み係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
 また、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数を正規化することで識別対象に関する映像信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。
 なお、上記第1実施例と同様に、4つの原色フィルタ122又は色差線順次型補色フィルタ123からなる撮像系や、二板,三板CCDにも適用可能である。この場合、図8,図12,図13に示した専用基底ベクトル及び汎用基底ベクトルや、全て専用基底ベクトルを使用することも可能である。このように全て専用基底ベクトルを使用した場合、擬似カラー化部133、切り換え部113及び出力部117は、例えば、正規化部116によってそれぞれ正規化された、識別対象となる被写体の専用基底ベクトルに関する重み係数及び識別対象外の被写体の専用基底ベクトルに関する重み係数から、出力信号としての擬似カラー信号を算出する疑似カラー信号算出部として機能する。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 以上のように、識別対象以外の領域に対しても、識別対象外被写体の既知の分光特性に基づく専用基底ベクトルに関する重み係数又は汎用基底ベクトルに関する重み係数を正規化することで得られた信号と合わせて疑似カラー表示を行うため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 また、識別対象である被写体の存在しない領域、つまり識別対象外被写体の存在領域に関して識別対象外被写体の専用基底ベクトルに関する重み係数または汎用基底ベクトルに関する重み係数を算出するため、画面全体に関する信号処理が行われ、識別対象との統一性、連続性の確保が容易となる。
 また、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトル及び識別対象外の被写体の既知の分光特性に基づく専用基底ベクトルと被写体の撮像に供するカラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性とから、識別対象被写体の専用基底ベクトルに関する重み係数及び識別対象外被写体の専用基底ベクトルに関する重み係数を算出し、両者の重み係数に基づき出力信号を算出する。従って、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを用いるため、信号処理に起因する誤差の発生が少なく信頼性の高い識別が可能となる。また、識別対象以外の領域に対しても識別対象外被写体の専用基底ベクトルを用いた信号処理を適用することが可能となり、出力信号を算出する処理における自由度が向上する。
 [変形例1]
 また、上記第2実施例では、映像信号の出力として信号処理部111から転送される通常のフレーム信号または疑似カラー部133から転送される疑似カラー化処理されたフレーム信号のいずれか一方を選択し出力する構成となっていた。しかしながら、このような構成に限定される必要はない。
 例えば、図22に示されるように、汎用基底ベクトル(O2(λ),O3(λ))に関係する重み係数(w2ij,w3ij)から各画素単位で被写体の分光特性(Oij(λ))を推定し、推定された分光特性(Oij(λ))を専用基底ベクトル(O1(λ))に関する重み係数(w1ij)にて修正し、修正された分光特性(O’ij(λ))からカラー映像信号を生成する構成も可能である。
 図22は、図20に示す構成から正規化部116及び第2正規化部132を省略し、分光特性推定部134、補正部135及び変換部136を追加した形態となっている。基本構成は図20と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 第2算出部131は、分光特性推定部134へ接続されている。算出部112及び分光特性推定部134は、補正部135へ接続されている。補正部135は、変換部136を介して切り換え部113へ接続されている。システム分光特性ROM115は、算出部112、第2算出部131及び変換部136へ接続されている。制御部118は、分光特性推定部134、補正部135及び変換部136と双方向に接続されている。
 第2算出部131で算出された汎用基底ベクトル(O2(λ),O3(λ))に関係する重み係数(w2ij,w3ij)及び汎用基底ベクトル(O2(λ),O3(λ))は、分光特性推定部134へ転送される。分光特性推定部134は、制御部118の制御に基づき、以下の(6)式により、画素単位で被写体の分光特性(Oij(λ))を推定する。
Figure JPOXMLDOC01-appb-M000005
 上記(6)式に基づき可視域全体で算出された被写体の分光特性Oij(λ)は、補正部135へ転送される。
 一方、算出部112は、上述したように、専用基底ベクトル(O1(λ))に関する重み係数(w1ij)を算出し、専用基底ベクトル(O1(λ))と共に補正部135へ転送する。
 補正部135は、制御部118の制御に基づき、分光特性推定部134から転送された被写体の分光特性(Oij(λ))を、算出部112から転送された重み係数(w1ij)に基づき補正する。重み係数(w1ij)は、識別対象の被写体、例えばオキシヘモグロビンの存在に比例した値となっている。このため、重み係数(w1ij)が大きい血管などの領域においては、上記(6)式に示される汎用基底ベクトルより算出された分光特性を識別対象自体の分光特性に置き換えることで分光特性の精度を向上することができる。補正部135は、被写体の分光特性(Oij(λ))と識別対象自体の分光特性とを、以下の(7)式のように重み係数(w1ij)に基づき混合することで、補正された分光特性(O’ij(λ))を求める。なおここで、専用基底ベクトル(O1(λ))は、図4に示されるように識別対象自体の分光特性に基づくものであるため、識別対象の分光特性として流用することができる。また、以下の(7)式において、重み係数(w1ij)は、「0」~「1」までの値を取り得ることを前提としている。
Figure JPOXMLDOC01-appb-M000006
 補正部135は、上記(7)式に基づき補正した分光特性(O’ij(λ))及び上記算出部112から転送された重み係数(w1ij)を、変換部136へ転送する。
 変換部136は、制御部118の制御に基づき、システム分光特性ROM115から図6に示されるようなカラー撮像系に関する分光特性(SR(λ),SG(λ),SB(λ))を読み込む。この後、上記補正部135から転送された上記補正された分光特性(O’ij(λ))に基づき、以下の(8)式により、Rij,Gij,Bijの三信号を算出する。
Figure JPOXMLDOC01-appb-M000007
 上記(8)式におけるkは、Rij,Gij,Bijの三信号を映像信号の信号レベル(例えば、信号レベルが8ビットならば「0」~「255」)と合致するための補正係数を意味する。また、gain()は、強調処理用のゲインを生成する関数であり、例えば図23に示される特性をしている。
 変換部136は、上記(8)式に基づき算出したRij,Gij,Bijの三信号をフレーム信号として切り換え部113へ転送する。この変換部136により生成されるフレーム信号は、識別対象の存在に比例してRが強調された信号となっており、識別性が向上している。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても同等な処理により生成されるため、識別対象との統一性、連続性に優れ視認性の良い映像信号が得られる。このように、分光特性推定部134、補正部135、変換部136、切り換え部113及び出力部117は、例えば、専用基底ベクトルに関する重み係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、本変形例1では、任意の被写体の分光特性の推定に用いる汎用基底ベクトルから画面全体の被写体の分光特性を推定し、識別対象となる被写体に関してのみ専用基底ベクトルに関する重み係数にて補正を行い、補正された分光特性から出力信号を算出する。従って、汎用基底ベクトル及び専用基底ベクトルから画面全体の被写体の分光特性を求め出力信号を算出するため、識別対象とそれ以外の領域での連続性が保たれ、視認性の良い出力信号が得られる。また、識別対象は専用基底ベクトルにて補正を行うため、分光特性の推定誤差を抑制でき高精度な識別が可能となる。
 なお、本変形例においても、算出部112及び第2算出部131は、全て専用基底ベクトルを用いても良いし、少なくとも識別対象となる被写体の専用基底ベクトルを用い、他は汎用基底ベクトルを用いても良い。更に、基底ベクトルの総数についても三種に限定するものではないことは上述した通りである。また、算出部112と第2算出部131を一つの算出部に統合しても構わない。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 このように、識別対象被写体及び識別対象外被写体の専用基底ベクトルから画面全体の被写体の分光特性を求め出力信号を算出することにより、識別対象とそれ以外の領域での連続性が保たれ、視認性の良い出力信号が得られる。また、識別対象は識別対象被写体の専用基底ベクトルにて補正を行うため、分光特性の推定誤差を抑制でき高精度な識別が可能となる。
 [変形例2]
 さらに、上記第2実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD101からの映像信号を未処理のままのRawデータ形態として、制御部118から、識別対象となる被写体やカラー撮像系,照明光などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。
 図24は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図18に示す上記第1実施例における信号処理のフローチャートと同一な処理ステップに関しては、同一な参照符号を割り当てている。
 即ち、コンピュータはまず、映像信号と、識別対象や被写体及びカラー撮像系,照明光などの撮像条件に関するヘッダ情報を入力する(ステップS101)。なお、本変形例において3色の色フィルタ121R,121G,121BからなるBayer型単板CCDからの映像信号を処理することを想定する。
 次に、複数の専用基底ベクトル及び複数の汎用基底ベクトルを入力し(ステップS102)、また、複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性を入力する(ステップS103)。ここで、上記複数の基底ベクトル及び複数の分光特性は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりすることで入力する。
 そして、図19にて説明したような算出処理により、専用基底ベクトル(O1(λ))に関する重み係数算出に使用されるシステム行列Mの逆行列M-1の所定の係数、つまり要素m11,m12,m13を算出する(ステップS104)。また、詳細は後述するような第2算出処理により、汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数算出に使用されるシステム行列Mの逆行列M-1の係数、つまり要素m21,m22,m23,m31,m32,m33を算出する(ステップS113)。
 その後、上記入力された映像信号から順次フレーム信号を抽出し(ステップS105)、公知の補間処理にて三板のフレーム信号を生成する(ステップS106)。そして、そのフレーム信号に対して、公知の階調処理や強調処理といった信号処理を行う(ステップS107)。
 また、上記ステップS107の信号処理と並行して、上記(3)式に示されるように専用基底ベクトル(O1(λ))に関する重み係数(w1ij)を算出し(ステップS108)、その算出した重み係数(w1ij)を正規化することで識別対象の存在に関するフレーム信号を生成する(ステップS109)。更に、上記(4)式及び上記(5)式に示されるように汎用基底ベクトル(O2(λ),O3(λ))に関する重み係数(w2ij,w3ij)を算出し(ステップS114)、その算出した重み係数(w2ij,w3ij)を正規化することで識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関するフレーム信号を生成する(ステップS115)。そして、上記ステップS109で生成した識別対象の存在に関するフレーム信号及び上記ステップS115で生成した識別対象以外の被写体の存在領域に関するフレーム信号から疑似カラー化処理を行う(ステップS116)。
 そして、上記ステップS107からの通常のフレーム信号または上記ステップS116からの疑似カラー化処理されたフレーム信号のどちらかを切り換えて(ステップS110)、フレーム信号を当該コンピュータに接続された図示しない表示モニタ等に出力する(ステップS111)。その後、全てのフレーム信号が完了したかを判断し(ステップS112)、完了していない場合は上記ステップS105に戻り、また、完了した場合は終了する。
 上記ステップS113における第2算出処理は、図25に示すよう行なわれる。 
 まず、上記ステップS102で入力された複数の専用基底ベクトル及び複数の汎用基底ベクトルと、上記ステップS103で入力された複数の光源の分光輝度特性及び複数のカラー撮像系の分光感度特性の中から、使用するデータを選択する(ステップS211)。これは、上記ステップS101で入力したヘッダ情報中の識別対象となる被写体やカラー撮像系,照明光などの撮像条件に基づき、専用基底ベクトル、汎用基底ベクトル、光源の分光輝度特性及びカラー撮像系の分光感度特性を選択するものである。例えば、図7に示すような専用基底ベクトル(O1(λ))及び汎用基底ベクトル(O2(λ),O3(λ))、図5に示すような光源の分光輝度特性、図6に示すようなカラー撮像系の分光感度特性を選択する。
 その後、上記(1)式に示されるシステム行列Mを算出し(ステップS212)、更に、そのシステム行列Mの逆行列M-1を算出する(ステップS213)。そして、汎用基底ベクトル(O2(λ),O3(λ))の重み係数(w2ij,w3ij)を算出するに要する逆行列M-1の要素m21,m22,m23,m31,m32,m33を上記所定の係数として選択し(ステップS214)、選択された逆行列M-1の要素m21,m22,m23,m31,m32,m33を出力する(ステップS215)。
 なお、ここでは上記第2実施例に対応する処理をソフトウェアで実施する場合を例に説明したが、上記変形例1のような処理に関しても、同様にソフトウェアで実施することが可能なことは言うまでもない。
 また、第2算出処理において、一種の専用基底ベクトルと二種の汎用基底ベクトルを利用する場合を例に説明したが、三種とも専用基底ベクトルを使用しても良いし、二種の専用基底ベクトルと一種の汎用基底ベクトルを使用しても良い。更に、三種に限定しないことも上述した通りである。算出処理においても、同様に少なくとも識別対象となる被写体の専用基底ベクトルを用いれば、他は専用基底ベクトルでも汎用基底ベクトルでも構わない。
 また、上記算出処理と上記第2算出処理とは基本的に同等であるので、両者を統合して、1つの算出処理により専用基底ベクトル及び汎用基底ベクトルに関する全ての重み係数を算出するようにしても良いことは勿論である。また、動画像及び静止画像の何れにも適用可能なことは勿論である。
 [第3実施例]
 次に、本発明の第3実施例を説明する。
 (構成)
 本発明の第3実施例に係る信号処理システムを適用した顕微鏡は、図26に示すように、図1に示す第1実施例の構成から、算出部112、基底ベクトルROM114及びシステム分光特性ROM115を省略し、相関係数算出部137及び導出係数ROM138が追加された構成になっている。基本構成は上記第1実施例と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみを説明する。
 本実施例においては、顕微鏡のCCD101からの映像信号は、増幅部105にて増幅され、A/Dコンバータ106にてデジタル信号へ変換される。顕微鏡の対物ステージには、照明レンズ系102を介して照明光源103からの照明光が導かれている。補間部108は、信号処理部111及び相関係数算出部137へ接続されている。導出係数ROM138は、相関係数算出部137へ接続されている。相関係数算出部137は、正規化部116へ接続されている。制御部118は、相関係数算出部137と双方向に接続されている。
 (作用)
 本実施例に係る信号処理システムの作用も、基本的に上記第1実施例と同等であり、異なる部分のみ説明する。
 図26において、信号の流れを説明する。外部I/F部119を介して後述する識別対象となる被写体などの撮像条件を設定した後、外部I/F部119における図示しないシャッタボタンを半押しにすることで、プリ撮像モードに入る。CCD101は、撮像レンズ系100を介して当該CCD101に結像した被写体像を撮像し、映像信号をアナログ信号として出力する。上記アナログ信号は増幅部105にて所定量増幅され、A/Dコンバータ106にてデジタル信号へ変換されてバッファ107へ転送される。バッファ107内の映像信号は、制御部118の制御に基づき、WB部109及び測光評価部110へ転送される。上記第1実施例と同様に、WB部109にてホワイトバランス処理が、測光評価部110にて露光制御が行われる。
 次に、外部I/F部119におけるシャッタボタンを全押しにすることにより本撮像が行われ、映像信号はプリ撮像と同様にバッファ107へ転送される。バッファ107内の映像信号は、補間部108へ転送される。補間部108は、制御部118の制御に基づき、バッファ107から単板状態の映像信号を読み込み、公知の補間処理にて三板の映像信号を生成する。生成された三板の映像信号は、信号処理部111及び相関係数算出部137へ転送される。
 信号処理部111は、制御部118の制御に基づき、補間部108から転送される映像信号に対して公知の階調処理及び強調処理を行い、処理後の映像信号を切り換え部113へ転送する。
 一方、導出係数ROM138には、識別対象となる被写体毎に、当該被写体の分光特性と映像信号との間の相関性を導出する導出係数が記憶されている。この導出係数は、当該被写体の既知の分光特性、被写体の撮像に供するカラー撮像系に関する分光特性と被写体の撮像時に使用する照明光に関する分光特性に基づいて予め算出されて、記憶されている。このように、導出係数ROM138は、例えば、被写体の既知の分光特性と映像信号との間の相関性を示す導出係数を取得する導出係数取得部として機能する。相関係数算出部137は、外部I/F部119を介して設定された上記撮像条件における識別対象となる被写体の選択に応じた制御部118の制御に基づき、導出係数ROM138から上記導出係数を選択的に読み込む。その後、補間部108から転送される映像信号に対して、上記読み込んだ導出係数を用いて、識別対象となる被写体の分光特性と映像信号間の相関係数を算出する。この相関係数算出部137によって算出された相関係数は、上記識別対象の被写体の存在に比例した値をとるものであり、正規化部116へ転送され、映像信号の信号レベル(例えば、信号レベルが8ビットならば「0」~「255」)と合致するよう正規化処理がなされる。正規化処理後の相関係数は、映像信号として、切り換え部113へ転送される。
 切り換え部113は、制御部118の制御に基づき、信号処理部111から転送される通常の映像信号及び正規化部116から転送される識別対象の存在に関する映像信号のいずれか一方を選択し、例えば表示モニタである出力部117へ転送して表示を行う。なお、正規化部116からの映像信号は白黒の信号として出力されることになる。また、出力部117は、表示モニタに限定されるものではなく、ハードディスクやメモリカードなどの記録媒体に映像信号を記録保存する形態も可能である。このように、切り換え部113、正規化部116及び出力部117は、例えば、相関係数算出部137によって算出した相関係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 上記相関係数算出部137は、図27に示すように、係数選択部227と乗加算部226からなる。ここで、上記導出係数ROM138は、係数選択部227を介して乗加算部226へ接続している。上記補間部108は、乗加算部226へ接続している。乗加算部226は、上記正規化部116へ接続している。上記制御部118は、係数選択部227及び乗加算部226と双方向に接続されている。
 係数選択部227は、上記外部I/F部119を介して設定された上記撮像条件における識別対象となる被写体の情報を制御部118から受け取り、上記情報に基づき導出係数ROM138から識別対象となる被写体の分光特性と映像信号との間の相関性を導出する導出係数を読み込む。導出係数ROM138には、上記(2)式に示されるシステム行列Mの逆行列M-1の各要素が導出係数として記録されている。これは、顕微鏡では、被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とが固定されているということを前提としている。この場合は、上記(1)式及び上記(2)式に示す算出の過程を省略することができ、最終的に得られるシステム行列Mの逆行列M-1を記録しておけば良い。
 なお、識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルに関しては、予め想定される種類を用意し、複数のシステム行列の逆行列M-1を記録しているものとする。ここでは、上記第1実施例と同様にm11,m12,m13が導出係数として読み込まれるものとする。上記導出係数は、乗加算部226へ転送される。
 乗加算部226は、制御部118の制御に基づき、係数選択部227から導出係数を、上記補間部108から映像信号を画素単位で読み込む。この後、上記(3)式に基づき、重み係数を求める。上記重み係数は、識別対象となる被写体の既知の分光特性と映像信号との間の相関関係を表す相関係数となる。この相関係数は、順次、上記正規化部116へ転送される。
 以上のように、本第3実施例によれば、分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく導出係数から、上記識別対象の被写体の存在に比例した値をとる上記識別対象となる被写体の既知の分光特性と映像信号との間の相関係数を求め、その相関係数に基づき上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する。このように、本第3実施例では、識別対象となる被写体の既知の分光特性に基づく導出係数を用いることで、上記識別対象の被写体の存在に比例した値をとる相関係数を算出することができるので、従来の最小自乗法に基づく近似のように誤差を含む信号処理を行う必要が無く、よって、信号処理に起因する誤差の発生が少なく、信頼性の高い識別が可能となる。
 また、広帯域の通常の照明光を使用するため、ノイズによる影響を抑制でき、安定性のある識別が可能となる。さらに、導出係数からの相関係数の算出は容易であり、且つ相関係数から直接出力信号を算出するため、処理の高速化と低コスト化が可能となる。
 また、導出係数に関する相関係数を正規化することで出力信号を求めるため、識別対象の存在に関して高精度な出力信号が得られる。さらに、正規化処理のみで出力信号を求めるため、処理の高速化と低コスト化が可能となる。
 なお、上記第3実施例の説明では、顕微鏡による静止画像処理を行う構成となっていたが、このような構成に限定される必要はない。カラー撮像系に関する分光特性及び被写体の撮像時に使用する照明光に関する分光特性が固定されるのであれば、上述した第1及び第2実施例のような内視鏡などの動画像処理へも適用することが可能である。
 さらに、別体の撮像部で撮像された映像信号を未処理のRawデータ形態で、識別対象となる被写体などの撮像条件に関する付随情報をヘッダ部に記録した記録媒体から、映像信号及び付随情報を取得して処理をすることも可能である。また、上述した第1実施例の変形例2で説明したように、4つの原色フィルタ122又は色差線順次型補色フィルタ123からなる撮像系や、二板,三板CCDにも適用可能である。
 [変形例1]
 また、上記第3実施例では、映像信号の出力として信号処理部111から転送される通常の映像信号または正規化部116から転送される識別対象の存在に関する映像信号のいずれか一方を、切り換え部113によって選択し出力する構成となっていた。しかしながら、このような構成に限定される必要はない。
 例えば、図28に示すように、図26に示す構成から正規化部116を省略し、切り換え部113を強調部124へ置換した形態としても良い。基本構成は図26と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 信号処理部111及び相関係数算出部137は、強調部124へ接続されている。強調部124は、出力部117へ接続されている。制御部118は、強調部124と双方向に接続されている。強調部124へは、信号処理部111から通常の映像信号が、相関係数算出部137から識別対象となる被写体の既知の分光特性と映像信号との間の相関係数が転送される。
 このような構成において、強調部124は、制御部118の制御に基づき、信号処理部111から転送される映像信号に対して相関係数算出部137から転送される相関係数に基づき強調処理を行う。上記強調処理としては、公知のエッジ強調処理や彩度強調処理が想定され、これらの強調量は相関係数に比例する形態で実施される。強調処理後の映像信号は出力部117へ転送される。このように、強調部124及び出力部117は、例えば、相関係数算出部137によって算出した相関係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、導出係数に関する相関係数に基づき通常の処理がなされた映像信号を強調処理し、出力信号として出力することにより、オキシヘモグロビンなどの識別対象の被写体の存在領域のみが強調され、認識能を向上することが可能となる。また、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても、通常の処理がなされた映像信号が出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 [変形例2]
 また、図29に示すように、図26に示す構成において、切り換え部113を合成部125へ置換した形態としても良い。基本構成は図26と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 信号処理部111及び正規化部116は、合成部125へ接続されている。合成部125は、出力部117へ接続されている。制御部118は、合成部125と双方向に接続されている。合成部125へは、信号処理部111から転送される通常の映像信号が、正規化部116から識別対象の存在に関する映像信号が転送される。
 このような構成において、合成部125は、制御部118の制御に基づき、信号処理部111から転送される映像信号に対して正規化部116から転送される識別対象の存在に関する映像信号を合成処理する。上記合成処理としては、公知のスーパーインポーズなどの処理が想定される。合成処理後の映像信号は、出力部117へ転送される。このように、正規化部116、合成部125及び出力部117は、例えば、相関係数算出部137によって算出した相関係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、導出係数に関する相関係数を正規化することで識別対象に関する映像信号を求めることにより、識別対象の被写体の存在領域に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号間で合成処理を行うため、識別対象である被写体の存在しない領域、つまり識別対象以外の被写体の存在領域に関しても通常の処理がなされた映像信号が出力されることになり、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 また、上記合成部125は、画面の一部にウィンドウを表示して、信号処理部111からの映像信号又は正規化部116からの映像信号を子画面子画面として表示する公知のピクチャ・イン・ピクチャなどの合成処理を行うものとしても良い。この場合、外部I/F部119を介した指示により、何れを親画面とし何れを子画面とするか選択できるようにすることが好ましい。
 [変形例3]
 また、図30に示すように、図26に示す構成から、切り換え部113を省略し、第2出力部126を追加した形態としても良い。基本構成は図26と同等であり、同一の構成には同一の名称と参照符号を割り当てている。以下、異なる部分のみ説明する。
 信号処理部111は、出力部117へ接続されている。正規化部116は、第2出力部126へ接続されている。制御部118は、第2出力部126と双方向に接続されている。信号処理部111は、制御部118の制御に基づき、通常の映像信号を出力部117へ転送する。出力部117においては、通常の映像信号が表示される。正規化部116は、制御部118の制御に基づき、識別対象の存在に関する映像信号を第2出力部126へ転送する。第2出力部126においては、識別対象の存在に関する映像信号が表示される。このように、正規化部116、出力部117及び第2出力部126は、例えば、相関係数算出部137によって算出した相関係数に基づき、識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部として機能する。
 以上のように、導出係数に関する相関係数を正規化することで識別対象に関する映像信号を求めることにより、識別対象の存在に関して高精度な出力信号が得られる。また、通常の処理がなされた映像信号も独立に出力されるため、映像信号全体の認識がし易くなり、使用者に対する操作性が向上する。
 [変形例4]
 さらに、上記第3実施例では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、CCD101からの映像信号を未処理のままのRawデータ形態として、制御部118から、識別対象となる被写体などの撮像条件をヘッダ情報として出力し、それら映像信号とヘッダ情報を図示しないコンピュータに入力して、ソフトウェアにて処理する構成も可能である。
 図31は、不図示コンピュータによる信号処理のソフトウェア処理に関するフローチャートを示す図である。なお、図18に示す上記第1実施例における信号処理のフローチャートと同一な処理ステップに関しては、同一な参照符号を割り当てている。
 即ち、コンピュータはまず、映像信号と、識別対象となる被写体などの撮像条件に関するヘッダ情報を入力すると共に(ステップS101)、複数の導出係数を入力する(ステップS117)。ここで、上記導出係数は、コンピュータが備える記録媒体や着脱自在な記録媒体から読み出したり、ネットワークを介して読み込んだりすることで入力する。
 そして、上記入力された映像信号から公知の補間処理にて三板の映像信号を生成し(ステップS106)、その映像信号に対して、公知の階調処理や強調処理といった信号処理を行う(ステップS107)。
 また、上記ステップS107の信号処理と並行して、詳細は後述するような相関係数算出処理により、入力した導出係数に基づき識別対象となる被写体の既知の分光特性と映像信号との間の相関係数を算出する(ステップS118)。そして、その相関係数を正規化することで、識別対象の存在に関する映像信号を生成する(ステップS109)。
 そして、上記ステップS107からの通常の映像信号または上記ステップS109からの識別対象の被写体の存在に関する映像信号のどちらかを切り換えて(ステップS110)、映像信号を当該コンピュータに接続された図示しない表示モニタ等に出力して(ステップS111)、終了する。
 なお、顕微鏡の場合は、動画像ではなく静止画像を扱うため、図18や図24のような、全てのフレーム信号が完了したかの判断は不要である。
 上記ステップS118における相関係数算出処理は、図32に示すよう行なわれる。 
 まず、上記ステップS117で入力された複数の導出係数の中から、上記ステップS101で入力したヘッダ情報中の識別対象となる被写体情報に基づき、導出係数を選択する(ステップS226)。そして、上記(3)式に示されるように導出係数に基づき相関係数を算出して(ステップS227)、その算出された相関係数を出力する(ステップS228)。
 なお、ここでは上記第3実施例に対応する処理をソフトウェアで実施する場合を例に説明したが、上記変形例1乃至4のような処理に関しても、同様にソフトウェアで実施することが可能なことは言うまでもない。
 以上、実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

Claims (33)

  1.  分光特性が既知である識別対象となる被写体の上記既知の分光特性に基づく専用基底ベクトルを取得する基底ベクトル取得部と、
     上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含んだ撮像システムの分光特性を取得するシステム分光特性取得部と、
     上記カラー撮像系による被写体の撮像により得た映像信号、上記専用基底ベクトル、及び上記撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出する算出部と、
     上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
     を有することを特徴とする信号処理システム。
  2.  上記基底ベクトル取得部は、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに加えて、分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルをさらに取得することを特徴とする請求項1に記載の信号処理システム。
  3.  上記基底ベクトル取得部は、上記専用基底ベクトルと共に、任意の被写体の分光特性の推定に用いる汎用基底ベクトルをさらに取得することを特徴とする請求項1に記載の信号処理システム。
  4.  複数の識別対象となる被写体の中から一つの被写体を選択する識別対象選択部をさらに有し、
     上記基底ベクトル取得部は、上記識別対象選択部によって選択された一つの被写体の分光特性に基づく専用基底ベクトルを取得することを特徴とする請求項1に記載の信号処理システム。
  5.  複数のカラー撮像系及び複数の照明光の中から一つのカラー撮像系及び一つの照明光を選択するカラー撮像系選択部をさらに有し、
     上記システム分光特性取得部は、上記カラー撮像系選択部によって選択された一つのカラー撮像系に関する分光特性と一つの照明光に関する分光特性とを上記撮像システムの分光特性として取得することを特徴とする請求項1に記載の信号処理システム。
  6.  上記算出部は、
      上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
      上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
      上記逆行列算出部で算出した上記逆行列の係数から、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択する係数選択部と、
      上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
     を有することを特徴とする請求項2に記載の信号処理システム。
  7.  上記算出部は、
      上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
      上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
      上記逆行列算出部で算出した上記逆行列の係数から上記専用基底ベクトルに関係する係数を選択する係数選択部と、
      上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
     を有することを特徴とする請求項3に記載の信号処理システム。
  8.  上記出力信号算出部は、
      上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
      上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数を上記出力信号として出力する出力部と、
     を有することを特徴とする請求項1に記載の信号処理システム。
  9.  上記出力信号算出部は、
      上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記映像信号の強調処理を行う強調部と、
      上記強調部によって強調処理された上記映像信号を上記出力信号として出力する出力部と、
     を有することを特徴とする請求項1に記載の信号処理システム。
  10.  上記出力信号算出部は、
      上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
      上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数を、上記映像信号に合成する合成部と、
      上記合成部によって上記正規化された上記専用基底ベクトルに関する重み係数が合成された上記映像信号を上記出力信号として出力する出力部と、
     を有することを特徴とする請求項1に記載の信号処理システム。
  11.  上記出力信号算出部は、
      上記算出部で算出した上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
      上記正規化部によって正規化された上記専用基底ベクトルに関する重み係数及び上記映像信号の両者を、それぞれ、上記出力信号として出力する出力部と、
     を有することを特徴とする請求項1に記載の信号処理システム。
  12.  上記算出部は、上記カラー撮像系からの上記映像信号、上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記汎用基底ベクトルに関する重み係数をさらに算出し、
     上記出力信号算出部は、上記算出部で算出した上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数に基づき、上記出力信号を算出することを特徴とする請求項3に記載の信号処理システム。
  13.  上記出力信号算出部は、
      上記算出部で算出した上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数を正規化する正規化部と、
      上記正規化部によってそれぞれ正規化された上記専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数から、上記出力信号としての擬似カラー信号を算出する疑似カラー信号算出部と、
     を有することを特徴とする請求項12に記載の信号処理システム。
  14.  上記出力信号算出部は、
      上記算出部で算出した上記汎用基底ベクトルに関する重み係数に基づき、被写体の分光特性を推定する分光特性推定部と、
      上記算出部で算出した上記専用基底ベクトルに関する重み係数に基づき、上記分光特性推定部によって推定された上記分光特性を補正する補正部と、
      上記補正部によって補正された上記分光特性に基づき、上記出力信号を算出する変換部と、
     を有することを特徴とする請求項12に記載の信号処理システム。
  15.  上記算出部は、
      上記基底ベクトル取得部によって取得した上記汎用基底ベクトル及び上記専用基底ベクトル、及び上記システム分光特性取得部によって取得した上記撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
      上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
      上記逆行列算出部で算出した上記逆行列の係数から上記汎用基底ベクトルに関係する係数を選択する係数選択部と、
      上記係数選択部で選択された上記係数、及び上記映像信号に基づき、上記汎用基底ベクトルに関する重み係数を算出する乗加算部と、
     を有することを特徴とする請求項12に記載の信号処理システム。
  16.  上記算出部は、上記映像信号、上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数をさらに算出し、
     上記出力信号算出部は、上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数と、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数とに基づき、上記出力信号を算出することを特徴とする請求項2に記載の信号処理システム。
  17.  上記出力信号算出部は、
      上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数、及び、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を正規化する正規化部と、
      上記正規化部によってそれぞれ正規化された、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数から、上記出力信号としての擬似カラー信号を算出する疑似カラー信号算出部と、
     を有することを特徴とする請求項16に記載の信号処理システム。
  18.  上記出力信号算出部は、
      上記算出部で算出した上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数に基づき、被写体の分光特性を推定する分光特性推定部と、
      上記算出部で算出した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数に基づき、上記分光特性推定部によって推定された上記分光特性を補正する補正部と、
      上記補正部によって補正された上記分光特性に基づき、上記出力信号を算出する変換部と、
     を有することを特徴とする請求項16に記載の信号処理システム。
  19.  上記算出部は、
      上記基底ベクトル取得部によって取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記システム分光特性取得部によって取得した上記撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出する行列算出部と、
      上記行列算出部で算出した上記システム行列の逆行列を算出する逆行列算出部と、
      上記逆行列算出部で算出した上記逆行列の係数から上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択する係数選択部と、
      上記係数選択部で選択された上記係数及び上記カラー撮像系からの上記映像信号に基づき、上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出する乗加算部と、
     を有することを特徴とする請求項16に記載の信号処理システム。
  20.  分光特性が既知である識別対象となる被写体の上記既知の分光特性、上記識別対象となる被写体を含む被写体の撮像に供するカラー撮像系に関する分光特性、及び上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得する導出係数取得部と、
     上記映像信号及び上記導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出する相関係数算出部と、
     上記相関係数算出部によって算出した上記相関係数に基づき、上記分光特性が既知である識別対象となる被写体の識別結果としての出力信号を算出する出力信号算出部と、
     を有することを特徴とする信号処理システム。
  21.  上記出力信号算出部は、
      上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
      上記正規化部によって正規化された上記相関係数を上記出力信号として出力する出力部と、
     を有することを特徴とする請求項20に記載の信号処理システム。
  22.  上記出力信号算出部は、
      上記相関係数算出部によって算出した上記相関係数に基づき、上記映像信号の強調処理を行う強調部と、
      上記強調部によって強調処理された上記映像信号を上記出力信号として出力する出力部と、
     を有することを特徴とする請求項20に記載の信号処理システム。
  23.  上記出力信号算出部は、
      上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
      上記正規化部によって正規化された上記相関係数を、上記映像信号に合成する合成部と、
      上記合成部によって上記正規化された上記相関係数が合成された上記映像信号を上記出力信号として出力する出力部と、
     を有することを特徴とする請求項20に記載の信号処理システム。
  24.  上記出力信号算出部は、
      上記相関係数算出部によって算出した上記相関係数を正規化する正規化部と、
      上記正規化部によって正規化された上記相関係数、及び上記映像信号の両者を、それぞれ、上記出力信号として出力する出力部と、
     を有することを特徴とする請求項20に記載の信号処理システム。
  25.  上記映像信号は、赤,緑,青の3バンドの映像信号、またはシアン,マゼンタ,イエロー,緑の4バンドの映像信号であることを特徴とする請求項1または20に記載の信号処理システム。
  26.  カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
     上記識別対象となる被写体の既知の分光特性に基づく専用基底ベクトルを取得するステップと、
     上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性とを含む撮像システムの分光特性を取得するステップと、
     上記取得した映像信号、上記取得した専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
     上記算出した専用基底ベクトルに関する重み係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
     をコンピュータに発揮させることを特徴とする信号処理プログラム。
  27.  上記専用基底ベクトルを取得するステップは、さらに、分光特性が既知であるが識別対象外である識別対象外被写体の上記既知の分光特性に基づく専用基底ベクトルも取得することを特徴とする請求項26に記載の信号処理プログラム。
  28.  任意の被写体の分光特性の推定に用いる汎用基底ベクトルを取得するステップをさらにコンピュータに発揮させることを特徴とする請求項26に記載の信号処理プログラム。
  29.  上記専用基底ベクトルに関する重み係数を算出するステップは、
      上記取得した上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトル及び上記識別対象外の被写体の既知の分光特性に基づく上記専用基底ベクトルと、上記取得した撮像システムの分光特性とに基づき、上記撮像システムに関するシステム行列を算出するステップと、
      上記算出したシステム行列の逆行列を算出するステップと、
      上記算出した上記逆行列の係数から、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関係する係数を選択するステップと、
      上記選択された係数及び上記取得した映像信号に基づき、上記識別対象となる被写体の既知の分光特性に基づく上記専用基底ベクトルに関する重み係数を算出するステップと、
     を有することを特徴とする請求項27に記載の信号処理プログラム。
  30.  上記専用基底ベクトルに関する重み係数を算出するステップは、
      上記取得した上記専用基底ベクトル、上記取得した上記汎用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出するステップと、
      上記算出した上記システム行列の逆行列を算出するステップと、
      上記算出した上記逆行列の係数から上記専用基底ベクトルに関係する係数を選択するステップと、
      上記選択された係数及び上記取得した映像信号に基づき、上記専用基底ベクトルに関する重み係数を算出するステップと、
     を有することを特徴とする請求項28に記載の信号処理プログラム。
  31.  上記取得した映像信号、上記取得した汎用基底ベクトル及び専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記汎用基底ベクトルに関する重み係数を算出するステップをさらにコンピュータに発揮させ、
     上記出力信号を算出するステップは、上記算出した専用基底ベクトルに関する重み係数及び上記汎用基底ベクトルに関する重み係数に基づき、上記出力信号を算出することを特徴とする請求項28に記載の信号処理プログラム。
  32.  上記汎用基底ベクトルに関する重み係数を算出するステップは、
      上記取得した汎用基底ベクトル及び専用基底ベクトル、及び上記取得した撮像システムの分光特性に基づき、上記撮像システムに関するシステム行列を算出するステップと、
      上記算出したシステム行列の逆行列を算出するステップと、
      上記算出した逆行列の係数から上記汎用基底ベクトルに関係する係数を選択するステップと、
      上記選択された係数及び上記取得した映像信号に基づき、上記汎用基底ベクトルに関する重み係数を算出するステップと、
     を有することを特徴とする請求項31に記載の信号処理プログラム。
  33.  カラー撮像系による分光特性が既知である識別対象となる被写体を含む被写体の撮像によって得た映像信号を取得するステップと、
     上記識別対象となる被写体の既知の分光特性、上記カラー撮像系に関する分光特性と上記カラー撮像系による被写体の撮像時に使用する照明光に関する分光特性に基づき算出された、上記被写体の既知の分光特性と上記映像信号との間の相関性を示す導出係数を取得するステップと、
     上記取得した映像信号及び上記取得した導出係数に基づき、上記識別対象となる被写体の分光特性と上記映像信号との間の相関係数を算出するステップと、
     上記算出した上記相関係数に基づき、上記既知の分光特性を有する識別対象となる被写体の識別結果としての出力信号を算出するステップと、
     をコンピュータに発揮させることを特徴とする信号処理プログラム。
PCT/JP2009/059551 2008-05-28 2009-05-25 信号処理システム及び信号処理プログラム WO2009145157A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP09754665.9A EP2286713B1 (en) 2008-05-28 2009-05-25 Signal processing system and signal processing program
CN200980119299.XA CN102046062B (zh) 2008-05-28 2009-05-25 信号处理系统和信号处理方法
US12/953,740 US8805061B2 (en) 2008-05-28 2010-11-24 Signal processing system and signal processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008139930A JP5389380B2 (ja) 2008-05-28 2008-05-28 信号処理システム及び信号処理プログラム
JP2008-139930 2008-05-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/953,740 Continuation US8805061B2 (en) 2008-05-28 2010-11-24 Signal processing system and signal processing program

Publications (1)

Publication Number Publication Date
WO2009145157A1 true WO2009145157A1 (ja) 2009-12-03

Family

ID=41377030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/059551 WO2009145157A1 (ja) 2008-05-28 2009-05-25 信号処理システム及び信号処理プログラム

Country Status (5)

Country Link
US (1) US8805061B2 (ja)
EP (2) EP2286713B1 (ja)
JP (1) JP5389380B2 (ja)
CN (1) CN102046062B (ja)
WO (1) WO2009145157A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143348A (ja) * 2011-01-11 2012-08-02 Fujifilm Corp 分光計測システムおよび分光計測方法
EP2474853A3 (en) * 2011-01-11 2013-01-23 Fujifilm Corporation Electronic endoscope system
CN104116485A (zh) * 2013-04-26 2014-10-29 Hoya株式会社 损伤评估信息生成器及其方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389380B2 (ja) 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP5502812B2 (ja) * 2011-07-14 2014-05-28 富士フイルム株式会社 生体情報取得システムおよび生体情報取得システムの作動方法
JP5993184B2 (ja) * 2012-04-04 2016-09-14 オリンパス株式会社 蛍光観察装置および蛍光観察装置の作動方法
DE102014215095A1 (de) * 2014-07-31 2016-02-04 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur von beleuchtungsbedingten Abbildungsfehlern in einem modularen Digitalmikroskop, Digitalmikroskop und Datenverarbeitungsprogramm
JP6385465B2 (ja) * 2015-01-21 2018-09-05 オリンパス株式会社 内視鏡装置
JP6620426B2 (ja) * 2015-05-28 2019-12-18 富士通株式会社 情報検出装置、情報検出システム、情報検出プログラム、及び情報検出方法
CN106725263B (zh) * 2016-12-15 2018-07-06 深圳开立生物医疗科技股份有限公司 应用于内窥镜系统的成像方法
JP2018108173A (ja) * 2016-12-28 2018-07-12 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335451A (ja) * 1993-03-19 1994-12-06 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP2007111357A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 生体撮像装置及び生体観測システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796005B2 (ja) * 1987-10-27 1995-10-18 オリンパス光学工業株式会社 内視鏡装置
JP3217343B2 (ja) * 1989-03-23 2001-10-09 オリンパス光学工業株式会社 画像処理装置
US5550582A (en) * 1993-03-19 1996-08-27 Olympus Optical Co., Ltd. Endoscope-image processing apparatus for performing image processing of emphasis in endoscope image by pigment concentration distribution
US5995645A (en) * 1993-08-18 1999-11-30 Applied Spectral Imaging Ltd. Method of cancer cell detection
US6750964B2 (en) * 1999-08-06 2004-06-15 Cambridge Research And Instrumentation, Inc. Spectral imaging methods and systems
WO2001037544A1 (fr) * 1999-11-18 2001-05-25 Fujitsu Limited Procede et dispositif de creation de table de conversion de couleurs, et support de donnees sur lequel le programme de creation de table de conversion de couleurs est enregistre
US6888963B2 (en) * 2000-07-18 2005-05-03 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
US7864379B2 (en) * 2001-03-19 2011-01-04 Dmetrix, Inc. Multi-spectral whole-slide scanner
WO2004005895A1 (en) * 2002-07-09 2004-01-15 Medispectra, Inc. Methods and apparatus for characterization of tissue samples
US7136518B2 (en) * 2003-04-18 2006-11-14 Medispectra, Inc. Methods and apparatus for displaying diagnostic data
JP3767541B2 (ja) * 2002-11-12 2006-04-19 ソニー株式会社 光源推定装置、光源推定方法、撮像装置および画像処理方法
US20040202356A1 (en) * 2003-04-10 2004-10-14 Stookey George K. Optical detection of dental caries
US7321791B2 (en) * 2003-09-23 2008-01-22 Cambridge Research And Instrumentation, Inc. Spectral imaging of deep tissue
JP4021414B2 (ja) 2003-11-26 2007-12-12 オリンパス株式会社 スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法
WO2006120794A1 (ja) * 2005-05-11 2006-11-16 Olympus Medical Systems Corp. 生体観測装置用信号処理装置
WO2006120798A1 (ja) * 2005-05-12 2006-11-16 Olympus Medical Systems Corp. 生体観測装置
JP4409523B2 (ja) 2005-05-12 2010-02-03 オリンパスメディカルシステムズ株式会社 生体観測装置
JP4504324B2 (ja) 2005-05-13 2010-07-14 オリンパスメディカルシステムズ株式会社 生体観測装置
US7526116B2 (en) * 2006-01-19 2009-04-28 Luigi Armogida Automated microscopic sperm identification
US7916943B2 (en) * 2006-06-02 2011-03-29 Seiko Epson Corporation Image determining apparatus, image determining method, image enhancement apparatus, and image enhancement method
JP4959237B2 (ja) * 2006-06-22 2012-06-20 オリンパス株式会社 撮像システム及び撮像プログラム
WO2008019299A2 (en) * 2006-08-04 2008-02-14 Ikonisys, Inc. Image processing method for a microscope system
JP4931199B2 (ja) * 2006-09-29 2012-05-16 富士フイルム株式会社 電子内視鏡装置
JP4964568B2 (ja) 2006-11-24 2012-07-04 浜松ホトニクス株式会社 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
JP2008161550A (ja) 2006-12-28 2008-07-17 Olympus Corp 内視鏡システム
JP5389380B2 (ja) 2008-05-28 2014-01-15 オリンパス株式会社 信号処理システム及び信号処理プログラム
JP4717103B2 (ja) * 2008-07-18 2011-07-06 オリンパス株式会社 信号処理システム及び信号処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06335451A (ja) * 1993-03-19 1994-12-06 Olympus Optical Co Ltd 内視鏡用画像処理装置
JP2003093336A (ja) 2001-09-26 2003-04-02 Toshiba Corp 電子内視鏡装置
JP2006314557A (ja) * 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
JP2007111357A (ja) * 2005-10-21 2007-05-10 Olympus Medical Systems Corp 生体撮像装置及び生体観測システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2286713A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012143348A (ja) * 2011-01-11 2012-08-02 Fujifilm Corp 分光計測システムおよび分光計測方法
EP2474853A3 (en) * 2011-01-11 2013-01-23 Fujifilm Corporation Electronic endoscope system
US9113787B2 (en) 2011-01-11 2015-08-25 Fujifilm Corporation Electronic endoscope system
CN104116485A (zh) * 2013-04-26 2014-10-29 Hoya株式会社 损伤评估信息生成器及其方法
US9468356B2 (en) 2013-04-26 2016-10-18 Hoya Corporation Lesion evaluation information generator, and method and computer readable medium therefor

Also Published As

Publication number Publication date
EP2286713B1 (en) 2015-11-11
EP2949261A1 (en) 2015-12-02
US20110069868A1 (en) 2011-03-24
JP2009285084A (ja) 2009-12-10
CN102046062B (zh) 2014-01-29
JP5389380B2 (ja) 2014-01-15
CN102046062A (zh) 2011-05-04
EP2286713A4 (en) 2012-06-27
EP2286713A1 (en) 2011-02-23
US8805061B2 (en) 2014-08-12

Similar Documents

Publication Publication Date Title
JP5389380B2 (ja) 信号処理システム及び信号処理プログラム
US8532376B2 (en) Signal processing system and computer readable medium for recording signal processing program
JP5250342B2 (ja) 画像処理装置およびプログラム
JP4009626B2 (ja) 内視鏡用映像信号処理装置
JP6234350B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
WO2011096279A1 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理方法
EP3446617A1 (en) Endoscope system, image processing device, and image processing device operation method
JP4895834B2 (ja) 画像処理装置
JP6522539B2 (ja) 内視鏡システム及びその作動方法
EP2505121B1 (en) Endoscope apparatus
JP2007208413A (ja) 色補正装置および色補正方法ならびに色補正プログラム
JP2006319781A (ja) 画像処理装置、画像処理プログラム
US8238524B2 (en) Microscope color image pickup apparatus, microscope color image pickup program product, and microscope color image pickup method
JP4950544B2 (ja) マルチバンド撮像装置のカラーフィルタのパラメータを決定する方法
JP5087529B2 (ja) 識別処理装置、識別処理プログラム及び識別処理方法
JP2016015995A (ja) 電子内視鏡システム及び電子内視鏡用プロセッサ
JP4959237B2 (ja) 撮像システム及び撮像プログラム
CN112469324A (zh) 内窥镜系统
US8300093B2 (en) Endoscope image processing method and apparatus, and endoscope system using the same
JP2010200883A (ja) 内視鏡画像処理装置および方法ならびにプログラム
JP2008093225A (ja) 内視鏡システム及び内視鏡システムにおける画像処理方法
US20070126894A1 (en) Method for calculating color correction
JP2010213746A (ja) 内視鏡画像処理装置および方法ならびにプログラム
US10702127B2 (en) Endoscope system and evaluation value calculation device
JP2010213745A (ja) 内視鏡画像処理装置および方法ならびにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980119299.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09754665

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009754665

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE