WO2016013470A1 - 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム Download PDF

Info

Publication number
WO2016013470A1
WO2016013470A1 PCT/JP2015/070323 JP2015070323W WO2016013470A1 WO 2016013470 A1 WO2016013470 A1 WO 2016013470A1 JP 2015070323 W JP2015070323 W JP 2015070323W WO 2016013470 A1 WO2016013470 A1 WO 2016013470A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
imaging
unit
conversion information
Prior art date
Application number
PCT/JP2015/070323
Other languages
English (en)
French (fr)
Inventor
武 大塚
陽一 矢口
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2016013470A1 publication Critical patent/WO2016013470A1/ja
Priority to US15/410,184 priority Critical patent/US10089768B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an image processing program, and an imaging system that correct color misregistration in a multiband image captured by a frame sequential method.
  • a method of synthesizing a plurality of images (multiband images) acquired by performing imaging for each wavelength band is known.
  • the frame sequential method is known as an imaging method for multiband images.
  • the frame sequential method is an image pickup method in which a filter wheel in which a plurality of band pass filters are arranged is arranged in front of the camera and the filter wheel is rotated to sequentially pick up images through the band pass filters.
  • a chromatic aberration in which a focal position differs depending on the color of transmitted light.
  • the refractive index of the substance varies depending on the wavelength of light.
  • a phenomenon occurs in which the position of the image plane shifts back and forth on the optical axis or the size of the image differs according to the wavelength band.
  • a blue image having a shorter wavelength than green is formed on the side closer to the lens, and a red image having a longer wavelength than green is connected to the side farther from the lens.
  • a so-called color shift occurs in which the same subject image shifts for each color.
  • Patent Document 1 an edge in an image is extracted by Laplacian calculation that performs second-order differentiation, a chromatic aberration amount of each color component is calculated based on the edge, and further, from this chromatic aberration amount, A technique for correcting color misregistration by aligning images of different color components based on the calculated chromatic aberration characteristic curve is disclosed.
  • Patent Document 2 a correction table in which chromatic aberration characteristic data for each wavelength band is stored is prepared in advance. Based on the chromatic aberration characteristic data read from the correction table, an image for each wavelength band, that is, between spectral images. A technique for correcting color misregistration by performing the above positioning is disclosed.
  • Patent Document 2 by preparing a correction table in which chromatic aberration characteristic data is stored in advance, alignment can be performed even between spectral images with low color correlation. Since it is necessary to prepare chromatic aberration characteristic data for each wavelength band, the prior processing becomes complicated.
  • An object of the present invention is to provide an image processing apparatus, an image processing method, an image processing program, and an imaging system.
  • the image processing apparatus divides four or more images generated by sequentially imaging a subject into four or more different wavelength bands.
  • a reference image selection unit that selects one image of the image group as a reference image, and a process of selecting each of a plurality of images other than the reference image from the image group as a processing target image.
  • a target image selection unit an arrangement order setting unit that sets an arrangement order of images included in the image group such that at least one of a wavelength band at the time of imaging and an imaging order is adjacent between adjacent images
  • the image A conversion information estimation unit that estimates conversion information between adjacent images when images included in a group are arranged in the arrangement order, and the processing target image from the processing target image in the arrangement order
  • For a quasi-image by performing image conversion using the conversion information cumulatively, a deformed image creating unit that creates a deformed image, a plurality of deformed images respectively created based on the plurality of images, And a color image creation unit that creates a color image using the reference image.
  • the center wavelength of the wavelength band of the image in the arrangement order is monotonically shifted from the short wavelength side to the long wavelength side or from the long wavelength side to the short wavelength side.
  • the arrangement order is set for each processing target image selected by the processing target image selection unit.
  • the arrangement order is set in common among the processing target images selected by the processing target image selection unit.
  • the image group includes a plurality of images generated within a predetermined time including a reference time among a series of images generated by sequentially capturing an image of a subject in four or more wavelength bands.
  • the reference image selection unit selects an image generated at the reference time as the reference image, and controls the imaging order so that images included in the image group are captured along the arrangement order
  • a moving image creation unit that creates a moving image using the plurality of color images respectively created based on the plurality of image groups having different reference times.
  • At least one other wavelength band is inserted between the shortest wavelength band and the longest wavelength band among the four or more wavelength bands in the arrangement order.
  • the wavelength band of the image in the arrangement order is at least one round trip between the shortest wavelength band and the longest wavelength band among the four or more wavelength bands.
  • the image processing apparatus includes an interpolated image creating unit that creates an interpolated image at the reference time using two images having the same wavelength band generated before and after the reference time, and the four or more wavelength bands.
  • an interpolated image For an image set including four or more interpolated images created for each and an image generated at the reference time, an interpolated image that sets an arrangement order so that wavelength bands are adjacent between adjacent images
  • a column creation unit wherein the reference image selection unit selects an image generated at the reference time as the reference image, and the processing target image selection unit includes the interpolated image included in the image set. Is selected as the processing target image, the conversion information estimation unit estimates the conversion information using the image set as the image group, and the modified image creation unit performs the image conversion on the interpolated image.
  • a moving image creating unit that creates the deformed image, and further creates a moving image using the plurality of color images respectively created based on the plurality of image sets having different reference times. To do.
  • the image conversion is any one or a combination of non-rigid body conversion, plane projection conversion, affine conversion, linear conversion, scale conversion, rotation conversion, and parallel movement.
  • the modified image creation unit calculates cumulative conversion information obtained by sequentially accumulating the conversion information from the processing target image in the arrangement order toward the reference image, and uses the cumulative conversion information to calculate the conversion information.
  • the modified image is created by performing image conversion on the processing target image.
  • An image processing apparatus is configured to apply one of the image groups to an image group including four or more images generated by sequentially capturing a subject in four or more different wavelength bands.
  • a reference image selection unit that selects an image as a reference image
  • a processing target image selection unit that selects each of a plurality of images other than the reference image in the group of images as a processing target image, and between adjacent images at the time of imaging
  • An arrangement order setting unit that sets an arrangement order of images included in the image group so that at least one of a wavelength band and an imaging order is adjacent, and from the processing target image in the arrangement order toward the reference image
  • a conversion information estimation unit that estimates conversion information by sequentially using images included in the image group, and image conversion that sequentially uses the conversion information estimated by the conversion information estimation unit for the processing target image.
  • the conversion information estimation unit estimates conversion information between an image included in the image group and an image subjected to the image conversion by the modified image creation unit. To do.
  • An image processing method is directed to an image group including four or more images generated by sequentially capturing a subject in four or more different wavelength bands, and one of the image groups.
  • a conversion information estimation step for estimating conversion information between adjacent images; and for the processing target image, from the processing target image in the arrangement order toward the reference image, By using the conversion information cumulatively to perform image conversion, a deformed image creating step for creating a deformed image, a plurality of the deformed images respectively created based on the plurality of images, and the reference image are used.
  • An image processing program for an image group including four or more images generated by sequentially imaging a subject divided into four or more different wavelength bands.
  • a conversion information estimation step for estimating conversion information between adjacent images; and for the processing target image, from the processing target image in the arrangement order toward the reference image
  • An imaging system includes the image processing apparatus, an imaging unit that generates image data by performing imaging in the four or more wavelength bands by a frame sequential method, and outputs the image data to the image processing apparatus; It is characterized by providing.
  • the imaging unit includes a light receiving surface that receives observation light from the subject, and outputs at least four image sensors that output image data according to the intensity of light incident on the light receiving surface. And a filter section that sequentially arranges filters having sensitivity corresponding to each of the wavelength bands on the light receiving surface.
  • the imaging unit includes: a light irradiating unit that sequentially irradiates the subject with light limited in each of the four or more wavelength bands; and a light receiving surface that receives observation light from the subject. And an image sensor that outputs image data corresponding to the intensity of light incident on the light receiving surface.
  • the individual images included in the multiband image generated by the frame sequential method are adjacent when the images are arranged so that at least one of the wavelength band at the time of imaging and the imaging order is adjacent to each other.
  • Deformed images are created by performing image conversion using the conversion information between images cumulatively, and color images are created using these deformed images. Therefore, it is possible to generate a color image with reduced color shift and blurring.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 1 of the present invention.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the imaging apparatus illustrated in FIG.
  • FIG. 3 is a flowchart showing the operation of the imaging system shown in FIG.
  • FIG. 4 is a schematic diagram for explaining the operation of the imaging system shown in FIG.
  • FIG. 5 is a schematic diagram for explaining the operation of the imaging system according to the first modification of the first embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 2 of the present invention.
  • FIG. 7 is a flowchart showing an imaging operation in the imaging system shown in FIG. FIG.
  • FIG. 8 is a flowchart showing image processing in the imaging system shown in FIG.
  • FIG. 9 is a schematic diagram for explaining the operation of the imaging system shown in FIG.
  • FIG. 10 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 3 of the present invention.
  • FIG. 11 is a schematic diagram for explaining the operation of the imaging system shown in FIG.
  • FIG. 12 is a schematic diagram for explaining the operation of the imaging system shown in FIG.
  • FIG. 13 is a flowchart showing an imaging operation in the imaging system shown in FIG.
  • FIG. 14 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 4 of the present invention.
  • FIG. 15 is a flowchart showing image group acquisition processing executed by the image processing apparatus shown in FIG. FIG.
  • FIG. 16 is a schematic diagram for explaining image processing executed by the image processing apparatus shown in FIG.
  • FIG. 17 is a schematic diagram for explaining image processing executed by the image processing apparatus shown in FIG.
  • FIG. 18 is a diagram illustrating a configuration example of an imaging system according to Embodiment 5 of the present invention.
  • FIG. 19 is a schematic diagram illustrating a configuration example of an imaging system according to Embodiment 6 of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration example of an imaging system according to Embodiment 1 of the present invention.
  • an imaging system 1 according to the first embodiment is based on an imaging device 10 that generates an image by performing multiband imaging in a frame sequential manner, and an image output from the imaging device 10.
  • an image processing apparatus 100 for generating a color image In the present application, in multiband imaging, the subject is imaged for each wavelength band obtained by separating the visible light region into four or more wavelength bands.
  • FIG. 2 is a schematic diagram illustrating a configuration example of the imaging apparatus 10.
  • the imaging device 10 includes a monochrome camera 101, a filter unit 103, and an imaging lens 105.
  • the monochrome camera 101 includes, for example, an image sensor such as a CCD or a CMOS, and converts the light incident on the light receiving surface of the image sensor into an electrical signal corresponding to the intensity of the light and outputs it as image data.
  • the filter unit 103 includes a plurality of optical filters 103a having different spectral characteristics, and a filter wheel 103b that rotatably holds the optical filter 103a. By rotating the filter wheel 103b, the optical filter 103a disposed in front of the monochrome camera 101 is sequentially switched.
  • the filter unit 103 including five types of optical filters 103a is illustrated, but the configuration of the optical filter 103a is not limited to this.
  • a filter unit having 33 optical filters whose center wavelength in the wavelength band is shifted by 10 nm between 400 nm and 720 nm may be used.
  • the imaging lens 105 images observation light from the subject (for example, reflected light from the subject) on the light receiving surface of the monochrome camera 101.
  • the subject When performing multiband imaging, the subject is irradiated with white light, and imaging is performed while switching the optical filter 103a disposed in front of the monochrome camera 101 according to the imaging frame rate. Thereby, the observation light from the subject is sequentially incident on the monochrome camera 101 via the imaging lens 105 and the optical filter 103a, and images in the wavelength bands corresponding to the optical filters 103a are sequentially generated.
  • the imaging device 10 sequentially outputs image data representing the images of the respective wavelength bands generated in this way.
  • Such an imaging apparatus 10 is provided in a microscope apparatus, for example, and images a specimen or the like placed on the stage of the microscope apparatus as a subject.
  • the imaging device 10 may be provided in an endoscope that is inserted into the living body and images the inside of the lumen of the living body.
  • the configuration of the imaging apparatus 10 is not limited to the configuration shown in FIG.
  • a liquid crystal tunable filter whose spectral characteristics are changed by electrical control may be used.
  • the subject instead of irradiating the subject with white light, the subject is sequentially irradiated with light with a limited wavelength band, and reflected light from the subject is received by the monochrome camera 101 via the imaging lens 105, thereby An image in the wavelength band may be generated.
  • the image processing apparatus 100 includes an image acquisition unit 110 that acquires image data of an image group including images in a plurality of wavelength bands, and a control that controls operations of the image processing apparatus 100 and the entire imaging system 1.
  • Unit 120 a storage unit 130 that stores image data acquired by the image acquisition unit 110, a calculation unit 140 that executes predetermined image processing based on the image data stored in the storage unit 130, and an input unit 150 And a display unit 160.
  • the image acquisition unit 110 is appropriately configured according to the aspect of the imaging system 1 including the image processing apparatus 100.
  • the image acquisition unit 110 when the imaging apparatus 10 is connected to the image processing apparatus 100, the image acquisition unit 110 is configured by an interface that captures image data output from the imaging apparatus 10.
  • the image acquisition unit 110 when installing a server for storing image data generated by the imaging device 10, the image acquisition unit 110 includes a communication device connected to the server, and acquires image data by performing data communication with the server.
  • the image acquisition unit 110 may be configured by a reader device that detachably mounts a portable recording medium and reads image data recorded on the recording medium.
  • the control unit 120 is configured by hardware such as a CPU, for example, and reads various control programs stored in the storage unit 130 to read image data acquired by the image acquisition unit 110 and various signals input from the input unit 150. Accordingly, instructions to each unit constituting the image processing apparatus 100, data transfer, and the like are performed, and overall operations of the image processing apparatus 100 and the imaging system 1 are controlled in an integrated manner.
  • the control unit 120 includes a field sequential multiband imaging control unit 121 that controls a multiband imaging operation by the field sequential method in the imaging apparatus 10.
  • the storage unit 130 includes various IC memories such as ROM and RAM such as flash memory that can be updated and recorded, a built-in hard disk connected by a data communication terminal, or an information recording device such as a CD-ROM and a reading device thereof.
  • the storage unit 130 includes various control programs for controlling the operations of the image processing apparatus 100 and the imaging system 1, an image processing program for causing the arithmetic unit 140 to perform image processing for generating a color image based on a multiband image, and the like.
  • the calculation unit 140 is realized by hardware such as a CPU, and reads an image processing program stored in the program storage unit 131 to generate a color image based on the image data stored in the image data storage unit 132. Execute the process.
  • the calculation unit 140 includes an arrangement order setting unit 141, a reference image selection unit 142, a processing target image selection unit 143, a conversion information estimation unit 144, a modified image creation unit 145, and a color image creation unit. 146.
  • the arrangement order setting unit 141 sets the arrangement order of the images so that the wavelength bands are adjacent between adjacent images with respect to an image group including images of four or more wavelength bands in which the subject is captured.
  • an image group including images of four or more wavelength bands in which a subject is captured is also referred to as a multiband image group.
  • the reference image selection unit 142 selects one image from the multiband image group as a reference image.
  • the processing target image selection unit 143 sequentially sets images other than the reference image in the multiband image group as processing target images.
  • the conversion information estimation unit 144 estimates conversion information (conversion parameters) between adjacent images when images included in the multiband image group are arranged in the arrangement order set by the arrangement order setting unit 141.
  • image transformation include non-rigid transformation, planar projection transformation, affine transformation, linear transformation, scale transformation, rotation transformation, translation, or a combination of these transformations.
  • the deformed image creation unit 145 performs image conversion using the conversion information cumulatively from the processing target image to the reference image in the arrangement order set by the arrangement order setting unit 141, so that the modified image of the processing target image is displayed.
  • the color image creation unit 146 creates a color image by using the deformed image and the reference image respectively created from all images other than the reference image included in the multiband image group.
  • the input unit 150 is configured by various input devices such as a keyboard, a mouse, a touch panel, and various switches, and outputs an input signal corresponding to an operation input made from the outside to the control unit 120.
  • the display unit 160 includes a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens based on display signals output from the control unit 120. indicate.
  • a display device such as an LCD (Liquid Crystal Display), an EL (Electro Luminescence) display, or a CRT (Cathode Ray Tube) display, and displays various screens based on display signals output from the control unit 120. indicate.
  • FIG. 3 is a flowchart showing the operation of the imaging system 1.
  • FIG. 4 is a schematic diagram for explaining the operation of the imaging system 1.
  • the calculation unit 140 acquires a multiband image group generated by imaging a subject divided into four or more wavelength bands.
  • the imaging apparatus 10 is operated under the frame sequential multiband imaging control unit 121 to shift the center wavelength of the wavelength band by 10 nm between 400 nm and 720 nm (see FIG. 4), and the imaging cycle 1/33. Images are sequentially taken at a rate of 33 minutes, that is, an imaging frame rate of 33 frames / minute.
  • the image acquisition unit 110 sequentially acquires the image data of the 33-band image generated thereby from the imaging device 10 and stores the acquired image data in the image data storage unit 132.
  • the calculation unit 140 acquires the multiband image group by reading the image data from the image data storage unit 132.
  • an image in the wavelength band of the center wavelength ⁇ is referred to as an image I ( ⁇ ).
  • the calculation unit 140 sets the arrangement order of the images in the multiband image group. Specifically, when performing still image display in the image processing apparatus 100, the arrangement order setting unit 141 sets the arrangement order so that wavelength bands are adjacent between adjacent images. In the case of FIG. 4, since the wavelength band is sequentially shifted from the short wavelength side to the long wavelength side, the image arrangement order may be set according to the imaging order.
  • the conversion information estimation unit 144 estimates conversion information (conversion parameters) between these images by performing conversion estimation on two adjacent images in the arrangement order set in step S101.
  • conversion estimation is processing for estimating conversion information that matches when two images are superimposed.
  • processing for obtaining highly accurate conversion information by repeatedly estimating conversion information such as planar projection conversion based on density gradient information is performed.
  • Examples of the conversion process to be estimated include non-rigid body conversion, plane projection conversion, affine conversion, linear conversion, scale conversion, rotation conversion, known image conversion such as translation, or a combination thereof.
  • the conversion information estimation unit 144 performs such conversion estimation on a combination of all two adjacent images included in the multiband image group. For example, in the case of FIG. 4, conversion information tr (400) between image I (400) and image I (410), conversion information tr (410) between image I (410) and image I (420),. Is estimated.
  • the reference image selection unit 142 selects any one image included in the multiband image group as a reference image.
  • a reference image In FIG. 4, as an example, an image I (550) in a wavelength band with a center wavelength of 550 nm is used as a reference image.
  • the wavelength band of the reference image is also referred to as a reference wavelength band.
  • the processing target image selection unit 143 selects a processing target image from images other than the reference image among the images included in the multiband image group.
  • the deformed image creation unit 145 creates a deformed image by performing image conversion on the process target image using the conversion information cumulatively from the process target image toward the reference image.
  • the image I (410) is the processing target image
  • Conversion information is used. Specifically, the conversion information tr (410) between the image I (410) and the image I (420), the conversion information tr (420) between the image I (420) and the image I (430),.
  • Total conversion information (cumulative conversion information) obtained by sequentially accumulating the conversion information tr (540) between I (540) and image I (550) is calculated, and using this cumulative conversion information, an image I (410) is calculated. Perform image conversion.
  • the order of using the conversion information is the order from the processing target image to the reference image.
  • the wavelength band of the processing target image is shorter than the reference wavelength band, specifically, in FIG. 4, when the images I (400) to I (540) are processing target images, Conversion information is used cumulatively from the short wavelength side to the long wavelength side.
  • the wavelength band of the processing target image is longer than the reference wavelength band, specifically, in FIG. 4, when the images I (560) to I (720) are processing target images, the long wavelength Conversion information is used cumulatively from the side toward the short wavelength side.
  • Total conversion information (cumulative conversion information) obtained by sequentially accumulating the conversion information tr (640) of...,
  • the conversion information tr (560) between the image I (560) and the image I (550) is calculated.
  • Image conversion is performed on the image I (650) using the conversion information.
  • step S106 the modified image creation unit 145 determines whether a modified image of an image in all wavelength bands other than the reference wavelength band has been created. If there remains a wavelength band other than the reference wavelength band for which a deformed image has not yet been created (step S106: No), the operation of the calculation unit 140 returns to step S104.
  • the color image creating unit 146 when a deformed image of all wavelength bands other than the reference wavelength band is created (step S106: Yes), the color image creating unit 146 then creates a color image from the reference image and the deformed image of the entire wavelength band (step S106). S107). Specifically, the color image creation unit 146 creates a color image by correcting each modified image with the spectral characteristics of illumination and multiplying the spectral characteristics of the rendering illumination, the color matching function, and the sRGB conversion matrix.
  • step S108 operation unit 140 outputs the color image created in step S107.
  • the control unit 120 displays a color image on the display unit 160 and stores the image data of the color image in the image data storage unit 132. Thereafter, the operation of the imaging system 1 ends.
  • the conversion information from the processing target image toward the reference image Since the processing target image is deformed by cumulative use, it is possible to appropriately correct the processing target image with respect to the reference image without requiring complicated processing. Therefore, it is possible to generate a color image in which color shift due to chromatic aberration is reduced.
  • the wavelength band when performing multiband imaging, is monotonously shifted from the short wavelength side to the long wavelength side, but may be monotonously shifted from the long wavelength side to the short wavelength side. It may be good or may be shifted at random.
  • the arrangement order setting unit 141 sets the arrangement order of the images in the multiband image group, so the order of wavelength bands when performing multiband imaging is not particularly considered. May be.
  • the arrangement order of the images in the multiband image group is uniformly set, and the transformation image is created using the conversion information in the order along the arrangement order for all the processing target images.
  • the arrangement order may be changed for each processing target image.
  • FIG. 5 is a schematic diagram for explaining the operation of the imaging system according to the first modification of the first embodiment of the present invention.
  • conversion information is estimated for all combinations of two adjacent images in the arrangement order set by the arrangement order setting unit 141 (see step S102 in FIG. 3), and then necessary conversion information is obtained. Using this, a deformed image of each processing target image was created (step SS105). However, when creating a deformed image of each processing target image, conversion information may be estimated sequentially.
  • the conversion information estimation unit 144 first estimates the conversion information tr400 between the adjacent image I (410) and the modified image creation unit 145. Generates the deformed image I (400) 410 by converting the image I (400) using the conversion information tr (400). Subsequently, the conversion information estimation unit 144 estimates conversion information tr (410) ′ between the next image I (420) in the arrangement order and the deformed image I (400) 410 created immediately before, and the deformed image creating unit 145 uses the conversion information tr (410) ', by further deforming the deformed image I (400) 410, to create a modified image I (400) 420.
  • the conversion information between the original image and the deformed image created immediately before is estimated along the image arrangement order, and the deformed image created immediately before is further converted using this conversion information. Repeat the process cumulatively.
  • the image I (400) 540 using the conversion information tr between image I and the (550) and the deformed image I (400) 540 (540) ', the image I (400) The final modified image I (400) 550 is acquired.
  • FIG. 6 is a block diagram showing a configuration of an imaging system according to Embodiment 2 of the present invention.
  • the imaging system 2 according to the second embodiment includes an imaging device 10 and an image processing device 200.
  • the configuration and operation of the imaging apparatus 10 are the same as those in the first embodiment.
  • the image processing apparatus 200 includes a control unit 210 and a calculation unit 220 instead of the control unit 120 and the calculation unit 140 shown in FIG.
  • the configuration and operation of each part of the image processing apparatus 200 other than the control unit 210 and the calculation unit 220 are the same as those in the first embodiment.
  • the control unit 210 is a field sequential multiband imaging control unit 211 that controls a multiband imaging operation by a frame sequential method in the imaging apparatus 10 and continuous imaging control that causes the imaging apparatus 10 to repeatedly and repeatedly execute this multiband imaging operation.
  • Unit 212 is a field sequential multiband imaging control unit 211 that controls a multiband imaging operation by a frame sequential method in the imaging apparatus 10 and continuous imaging control that causes the imaging apparatus 10 to repeatedly and repeatedly execute this multiband imaging operation.
  • the calculation unit 220 further includes a moving image creation unit 221 in addition to the reference image selection unit 142 to the color image creation unit 146 shown in FIG.
  • the moving image creation unit 221 creates a moving image using color images that are sequentially created based on image data continuously input from the imaging device 10.
  • the moving image herein may be a moving image in a standard format such as MPEG (Moving Picture Experts Group) or AVI (Audio Video Interleave), or may be a moving image in a format unique to the image processing apparatus 200.
  • the operations of the reference image selection unit 142 to the color image creation unit 146 are the same as those in the first embodiment.
  • FIG. 7 is a flowchart showing an imaging operation in the imaging system 2.
  • FIG. 8 is a flowchart showing image processing in the imaging system 2.
  • FIG. 9 is a schematic diagram for explaining the operation of the imaging system 2.
  • the frame sequential multiband imaging control unit 211 sets the order in which imaging is performed for four or more wavelength bands.
  • the order of the wavelength bands is set so that the wavelength bands are adjacent to each other between images that are continuously captured. Specifically, as shown in FIG. 9, the center wavelength of the wavelength band is shifted by 10 nm from the shortest wavelength of 400 nm toward the longest wavelength of 720 nm.
  • the frame sequential multiband imaging control unit 211 sets an initial value of a wavelength band when starting multiband imaging.
  • multiband imaging is started from a wavelength band having a center wavelength of 400 nm.
  • step S202 the imaging apparatus 10 captures an image of the subject in the wavelength band set in step S201, and generates image data.
  • step S ⁇ b> 203 the imaging apparatus 10 outputs the generated image data to the image processing apparatus 200.
  • step S ⁇ b> 204 the imaging apparatus 10 determines whether an imaging end control signal is input from the continuous imaging control unit 212.
  • the imaging apparatus 10 changes the wavelength band in the order set in step S200 (step S205). Thereafter, the operation of the imaging apparatus 10 proceeds to step S202.
  • the image data of the image of each wavelength band is sequentially output to the image processing apparatus 200.
  • the wavelength band reaches the longest wavelength of 720 nm, the wavelength band returns to the shortest wavelength of 400 nm, and the wavelength band from the short wavelength side toward the long wavelength side is shifted again.
  • step S204 when an imaging end control signal is input from the continuous imaging control unit 212 (step S204: Yes), the imaging operation of the imaging device 10 ends.
  • the image processing apparatus 200 When the image data is output from the imaging device 10 (see step S203 in FIG. 7), the image processing apparatus 200 starts capturing the image data and sequentially stores the image data in the image data storage unit 132 (see step S210 in FIG. 8). ).
  • step S211 the calculation unit 220 sets an arbitrary reference time.
  • the time t1 is set as the reference time.
  • step S ⁇ b> 212 the arithmetic unit 220 acquires multiband image groups generated within a predetermined time before and after the reference time based on the image data sequentially stored in the image data storage unit 132 in the order of imaging time.
  • the range for acquiring the image group is arbitrary as long as all wavelength bands are covered, and some wavelength bands may overlap. For example, as shown in FIG. 9, when all 33 band images are generated in one minute, an image generated in at least one minute including the reference time may be acquired. In FIG. 9, images I (400) 1 to I (720) 1 generated in 30 seconds before and after the time t1 are acquired. Note that the reference time is not necessarily centered with respect to the period for acquiring the image.
  • step S102 conversion information between images arranged in order of imaging time is estimated.
  • step S103 (in FIG. 9, the image I (550 corresponding to the time t1) 1) image at the set reference time in step S211 is set as the reference image. Thereby, a color image is created based on the images I (400) 1 to I (720) 1 (see step S107).
  • step S213 following step S107 the moving image creating unit 221 creates a moving image using the color image created in step S107 as a frame image at the reference time.
  • a color image created based on the images I (400) 1 to I (720) 1 is an image of frame 1 corresponding to the reference time t1.
  • the calculation unit 220 outputs the created moving image, and the control unit 210 causes the display unit 160 to display a moving image based on a color image (step S214).
  • step S215 when new image data is input from the imaging device 10 (step S215: Yes), the calculation unit 220 changes the reference time (step S216).
  • the cycle of the reference time is arbitrary, but in order to create a high frame rate moving image, it is preferable to shorten the cycle of the reference time. For example, in FIG. 9, following time t1, time t2 after 1/33 minutes equal to the imaging period is set as the reference time. Thereafter, the operation of the calculation unit 220 returns to step S212.
  • a color image as each frame image of a moving image is sequentially created based on a multiband image group generated within a predetermined time including a reference time.
  • the color image of frame 2 is created based on the images I (410) 1 to I (400) 2 generated 30 seconds before and after the reference time t2, and the image I generated 30 seconds before and after the reference time t3.
  • a color image of frame 3 is created.
  • step S215 when the input of the image data from the imaging device 10 is finished (step S215: No), the operation of the image processing device 200 is finished.
  • the imaging order of each wavelength band is set so that the wavelength bands are adjacent to each other between consecutively captured images, so color shift caused by chromatic aberration It is possible to create a color image in which both the image blur and the blur due to the difference in imaging time are accurately corrected. Therefore, by using such a color image, it is possible to create a color moving image with good image quality.
  • step S213 and S214 the moving image is created and displayed in real time using the image data sequentially input from the imaging device 10.
  • the color image created in step S107 is stored and stored. It is also possible to create a moving image by connecting the color images.
  • FIG. 10 is a block diagram showing a configuration of an imaging system according to Embodiment 3 of the present invention.
  • the imaging system 3 according to the third embodiment includes an imaging device 10 and an image processing device 300.
  • the image processing apparatus 300 includes a control unit 310 instead of the control unit 210 shown in FIG. Note that the configuration and operation of the imaging apparatus 10 are the same as those in the first embodiment.
  • the configuration and operation of the image processing apparatus 300 other than the control unit 310 are the same as those in the second embodiment.
  • the control unit 310 includes a field sequential multiband imaging control unit 311 that controls a multiband imaging operation by a field sequential method in the imaging apparatus 10 and a continuous imaging control unit that causes the imaging apparatus 10 to repeatedly and repeatedly execute the multiband imaging operation. 212.
  • the frame sequential multiband imaging control unit 311 controls the wavelength band changing operation and the direction in which the wavelength band is changed when the imaging apparatus 10 performs multiband imaging.
  • the operation of the continuous imaging control unit 212 is the same as that in the second embodiment.
  • the wavelength band when the wavelength band is monotonously shifted from the short wavelength side to the long wavelength side as in the second embodiment, the wavelength band has the longest wavelength in the time band for acquiring the multiband image group based on the reference time.
  • the timing for jumping from 1 to the shortest wavelength may be included.
  • images I (550) 1 to I (450) as a multiband image group for the reference time t0. ) 2 is acquired.
  • the image I (720) 1 and the image I (400) 2 having a low correlation between wavelength bands are continuous, the conversion estimation accuracy between the two images is low.
  • the accuracy of the deformed image created using the conversion information between the image I (720) 1 and the image I (400) 2 decreases.
  • the accuracy of the deformed image is reduced. As a result, it may be difficult to create an appropriate color image.
  • the wavelength band when performing continuous imaging, the wavelength band is shifted by one or more steps, and in one cycle multiband imaging, the shortest wavelength band and the longest wavelength are shifted.
  • the shortest wavelength band and the longest wavelength band are not directly adjacent to each other, that is, another wavelength band is inserted between them.
  • the center wavelength is shifted in the order of 400 nm ⁇ 500 nm ⁇ 600 nm ⁇ 700 nm, and after acquiring the image of each wavelength band, the image of the longest wavelength band is acquired.
  • the wavelength bands of the center wavelengths of 450 nm, 550 nm, and 650 nm are skipped. Thereafter, the center wavelength is shifted in the order of 650 nm ⁇ 550 nm ⁇ 450 nm, and an image in each wavelength band is acquired. That is, on the return path, the wavelength bands of the center wavelengths 700 nm, 600 nm, and 500 nm are skipped.
  • the same wavelength band may be duplicated.
  • the number of times of imaging for overlapping is less than half of the number of times of imaging in one cycle.
  • the correlation between the wavelength bands is calculated for all combinations of images in which the imaging order is adjacent in the multiband image group, regardless of the set reference time. Can be maintained at a high level. Specifically, the multiband image group I (400) 3 to I (450) 3 extracted based on the reference time t1, and the multiband image group I (500) 3 extracted based on the reference time t2. To I (400) 4 and the multiband image group I (600) 3 to I (500) 4 extracted based on the reference time t3, the correlation of the wavelength bands between the adjacent images in the imaging order No combination of images has occurred that is significantly lower.
  • the frame sequential multiband imaging control unit 311 shifts the wavelength band by one or more steps each time imaging is performed, thereby shortening the shortest in one cycle multiband imaging. Control is performed to reciprocate the wavelength band at least once between the wavelength band and the longest wavelength band.
  • FIG. 13 is a flowchart showing an imaging operation in the imaging system 3.
  • the frame sequential multiband imaging control unit 311 sets four or more wavelength bands for performing multiband imaging.
  • multiband imaging of eight wavelength bands having a center wavelength of 400 nm to 720 nm is performed.
  • the field sequential multiband imaging control unit 311 sets the wavelength band and the initial value in the direction in which the wavelength band is changed.
  • the initial value of the wavelength band the shortest wavelength band with the center wavelength of 400 nm is set as the initial value, and the initial value in the direction of changing the wavelength band is set in ascending order.
  • step S302 the imaging apparatus 10 captures an image of the subject in the wavelength band set in step S301, and generates image data.
  • step S ⁇ b> 303 the imaging apparatus 10 outputs the generated image data to the image processing apparatus 300.
  • step S304 the imaging apparatus 10 changes the wavelength band in the direction set in step S301 by leaving one or more steps. Specifically, with respect to the wavelength band of the center wavelength of 400 nm, the wavelength band of the center wavelength of 450 nm is skipped and changed to the wavelength band of the center wavelength of 500 nm.
  • step S305 the frame sequential multiband imaging control unit 311 determines whether the changed wavelength band is the outermost wavelength band of the wavelength band set in step S300, that is, whether the wavelength band is the upper or lower wavelength band. If the changed wavelength band is the extreme wavelength band (step S305: Yes), the frame sequential multiband imaging control unit 311 switches the direction of changing the wavelength band (step S306). When the center wavelength of the wavelength band after the change in step S304 is 720 nm, that is, the upper end wavelength band, the direction of changing the wavelength band is switched in descending order, while the changed wavelength band is not the outermost wavelength band. (Step S305: No), the operation proceeds to step S307 as it is.
  • step S307 the imaging apparatus 10 determines whether or not an imaging end control signal is input from the continuous imaging control unit 212.
  • the imaging end control signal is not input (step S307: No)
  • the operation of the imaging apparatus 10 proceeds to step S302. In this case, imaging in the wavelength band changed in step S304 is performed.
  • the imaging end control signal is input (step S307: Yes)
  • the operation of the imaging apparatus 10 ends.
  • the correlation between wavelength bands in all combinations of adjacent images in the imaging order is high in the multiband image group regardless of the reference time setting. It is possible to prevent the local wavelength band from being lowered. Therefore, it is possible to always generate a color image in which both the color shift caused by chromatic aberration and the blur caused by the difference in imaging time are accurately corrected. Therefore, it is possible to create a high-quality color moving image by using such a color image.
  • the center wavelength of the wavelength band in one cycle is, for example, 400 nm ⁇ 500 nm ⁇ 600 nm ⁇ 700 nm ⁇ 720 nm ⁇ 650 nm ⁇ 550 nm ⁇ What is necessary is just to create a control program so that it may change in order of 450 nm.
  • FIG. 14 is a block diagram showing a configuration of an imaging system according to Embodiment 4 of the present invention.
  • the imaging system 4 according to the fourth embodiment includes an imaging device 10 and an image processing device 400.
  • the configuration and operation of the imaging apparatus 10 are the same as those in the fourth embodiment.
  • the image processing apparatus 400 includes a calculation unit 410 instead of the calculation unit 220 shown in FIG.
  • the computing unit 410 includes an interpolated image creating unit 411 and an interpolated image sequence creating unit 412 in addition to the configuration of the computing unit 220 shown in FIG.
  • the configuration and operation of the image processing apparatus 400 other than the calculation unit 410 are the same as those in the second embodiment.
  • the interpolated image creation unit 411 creates an interpolated image at the reference time from images in the same wavelength band generated before and after the reference time.
  • the interpolated image sequence creating unit 412 arranges the interpolated images of the respective wavelength bands created by the interpolated image creating unit 411 in a predetermined arrangement order.
  • FIG. 15 is a flowchart showing detailed operations performed by the calculation unit 410 in step S212.
  • 16 and 17 are schematic diagrams for explaining the detailed operation of the calculation unit 410 in step S212.
  • the interpolated image creation unit 411 selects a processing target wavelength band from wavelength bands other than the wavelength band at the reference time set in step S211 of FIG.
  • the interpolated image creation unit 411 selects image pairs in the processing target wavelength band generated before and after the reference time. For example, in FIG. 16, when the center wavelength of the wavelength band to be processed is 400 nm, an image pair of the images I (400) 5 and I (400) 6 generated before and after the reference time t5 is selected.
  • the interpolated image creation unit 411 estimates the movement of the subject from the image pair selected in step S401.
  • Known techniques such as a block matching method and a gradient method can be used for the motion estimation.
  • step S403 the interpolated image creation unit 411 estimates the position of the subject at the reference time from the motion of the subject.
  • the interpolated image creating unit 411 creates an interpolated image at the reference time based on the position of the subject (see, for example, JP 2012-142817A).
  • the image I (400) 5 may be created interpolation image I (400) t5 at the reference time t5, may be created interpolation image I (400) t5 from the image I (400) 6 .
  • the image I (400) 5 and the image I (400) 6 is used, for example, the image with the earlier imaging time, the image with the later imaging time, or the one with the imaging time closer to the reference time. What is necessary is just to set suitably like an image.
  • the interpolated image I (400) t5 may be created using both the image I (400) 5 and the image I (400) 6 .
  • step S405 the interpolated image creation unit 411 determines whether an interpolated image of all wavelength bands other than the wavelength band at the reference time has been created. If there remains a wavelength band for which an interpolated image has not yet been created other than the wavelength band at the reference time (step S405: No), the operation of the calculation unit 410 proceeds to step S400.
  • the interpolated images I (400) t5 , I () at the reference time t5 are obtained for the wavelength bands of the center wavelengths 400 nm, 450 nm, 500 nm, 550 nm, 600 nm, 650 nm, and 720 nm.
  • 450) t5 I (500) t5 , I (550) t5 , I (600) t5 , I (650) t5 , I (720) t5 .
  • the interpolated image sequence creation unit 412 includes an image set including all the interpolated images and the images at the reference time.
  • the arrangement order of the images is set so that the wavelength bands are adjacent between the adjacent images (step S406). Thereafter, the operation of the calculation unit 410 returns to the main routine.
  • step S102 and subsequent steps subsequent to step S212 the image set in which the arrangement order is set in step S406 is regarded as a multiband image group, and image processing is executed as in the second embodiment.
  • step S103 an image captured at the reference time is selected as the reference image. Accordingly, in the case of FIG.
  • the image I (700) 5 is selected as the reference image, and each of the interpolated images I (400) t5 , I (450) t5 , I (500) t5 , I selected as the processing target images (550) t5 , I (600) t5 , I (650) t5 , and I (720) t5 are between adjacent interpolated images from the processing target image toward the reference image (image I (700) 5 ).
  • the estimated conversion information is cumulatively converted into a deformed image (see step S105).
  • the interpolated images created using the images of the respective wavelength bands generated before and after the reference time are handled as a multiband image group. Regardless of the order of wavelength bands to be performed, it is possible to create a color image in which both the color shift caused by chromatic aberration and the blur caused by the difference in imaging time are accurately corrected. Therefore, it is possible to create a high-quality moving image by using such a color image.
  • FIG. 18 is a diagram illustrating a configuration example of an imaging system according to Embodiment 5 of the present invention.
  • the imaging system 5 according to the fifth embodiment includes a microscope apparatus 500 provided with the imaging apparatus 10 and an image processing apparatus 100.
  • an image processing apparatus 200 shown in FIG. 6, an image processing apparatus 300 shown in FIG. 10, or an image processing apparatus 400 shown in FIG. 14 may be provided.
  • the microscope apparatus 500 includes a substantially C-shaped arm 500a provided with an epi-illumination unit 501 and a transmission illumination unit 502, a sample stage 503 attached to the arm 500a and on which a subject SP to be observed is placed, An objective lens 504 provided on one end side of the tube 505 so as to face the sample stage 503 via the trinocular tube unit 507, and a stage position changing unit 506 for moving the sample stage 503 are provided.
  • the trinocular tube unit 507 branches the observation light of the subject SP incident from the objective lens 504 into an imaging device 10 provided on the other end side of the lens barrel 505 and an eyepiece unit 508 described later.
  • the eyepiece unit 508 is for the user to directly observe the subject SP.
  • the epi-illumination unit 501 includes an epi-illumination light source 501a and an epi-illumination optical system 501b, and irradiates the subject SP with epi-illumination light.
  • the epi-illumination optical system 501b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the epi-illumination light source 501a and guide it in the direction of the observation optical path L.
  • the transmitted illumination unit 502 includes a transmitted illumination light source 502a and a transmitted illumination optical system 502b, and irradiates the subject SP with transmitted illumination light.
  • the transmission illumination optical system 502b includes various optical members (filter unit, shutter, field stop, aperture stop, etc.) that collect the illumination light emitted from the transmission illumination light source 502a and guide it in the direction of the observation optical path L.
  • the objective lens 504 is attached to a revolver 509 that can hold a plurality of objective lenses having different magnifications (for example, objective lenses 504 and 504 ').
  • the imaging magnification can be changed by rotating the revolver 509 and changing the objective lenses 504 and 504 ′ facing the sample stage 503.
  • a zoom unit including a plurality of zoom lenses and a drive unit that changes the position of these zoom lenses is provided.
  • the zoom unit enlarges or reduces the subject image within the imaging field of view by adjusting the position of each zoom lens.
  • the stage position changing unit 506 includes a driving unit 506a such as a stepping motor, for example, and changes the imaging field of view by moving the position of the sample stage 503 within the XY plane. Further, the stage position changing unit 506 moves the sample stage 503 along the Z axis to focus the objective lens 504 on the subject SP.
  • a driving unit 506a such as a stepping motor, for example
  • a color image of the subject SP is displayed on the display unit 160 by performing multi-band imaging of the magnified image of the subject SP generated in the microscope apparatus 500 with the imaging device 10.
  • FIG. 19 is a schematic diagram showing an endoscope system as a configuration example of an imaging system according to Embodiment 6 of the present invention.
  • An endoscope system 6 shown in FIG. 19 includes an image processing apparatus 100, an endoscope 600 that generates an image in a lumen by inserting a distal end portion into a lumen of a living body and performing imaging, and an endoscope. And a light source device 700 that generates illumination light emitted from the tip of the mirror 600.
  • the image processing apparatus 100 performs predetermined image processing similar to that of the first embodiment on the image generated by the endoscope 600 and comprehensively controls the operation of the entire endoscope system 6. Instead of the image processing apparatus 100, the image processing apparatuses 200, 300, and 400 according to the second to fourth embodiments may be applied.
  • a display unit 160 (see FIG. 1) provided in the image processing apparatus 100 is illustrated outside the main body.
  • the endoscope 600 includes an insertion portion 61 having a flexible elongated shape, an operation portion 62 that is connected to the proximal end side of the insertion portion 61 and receives input of various operation signals, and the insertion portion from the operation portion 62 to the insertion portion.
  • 61 includes a universal cord 63 that extends in a direction different from the direction in which 61 extends and incorporates various cables for connecting to the image processing apparatus 100 and the light source apparatus 700.
  • the insertion portion 61 is connected to the distal end portion 64, a bendable bending portion 65 constituted by a plurality of bending pieces, and a proximal end side of the bending portion 65, and has a long flexible tube 66 having flexibility. And have.
  • An optical system and an image sensor for collecting light incident from the outside are provided at the distal end portion 64 of the insertion portion 61.
  • a collective cable in which a plurality of signal lines for transmitting and receiving electrical signals to and from the image processing apparatus 100 are bundled is connected between the operation unit 62 and the distal end portion 64.
  • the plurality of signal lines include a signal line for transmitting a video signal (image data) output from the image sensor to the image processing apparatus 100, a signal line for transmitting a control signal output from the image processing apparatus 100 to the image sensor, and the like. It is.
  • the operation unit 62 includes a bending knob 621 for bending the bending portion 65 in the vertical direction and the left-right direction, a treatment instrument insertion unit 622 for inserting a treatment instrument such as a biopsy needle, a bioforceps, a laser knife, and an inspection probe, and an image processing apparatus. 100 and the light source device 700, and a plurality of switches 623 which are operation input units for inputting operation instruction signals to peripheral devices such as an air supply unit, a water supply unit, and a gas supply unit.
  • the universal cord 63 incorporates at least a light guide and an assembly cable.
  • the connector 67 is detachably attached to the light source device 700, and the connector 67 is electrically connected via a coiled coil cable 670.
  • An electrical connector unit 68 that is connected and detachable from the image processing apparatus 100 is provided.
  • the image processing apparatus 100 generates an image to be displayed on the display unit 160 based on the image data output from the image sensor provided at the distal end portion 64.
  • the light source device 700 sequentially generates light for each wavelength band obtained by separating the visible light region into four or more wavelength bands under the control of the control unit 120 (see FIG. 1), and the front end portion via the light guide.
  • the inside of the lumen is irradiated from 64 tips.
  • the imaging system shown in FIG. 1, FIG. 6, FIG. 10, or FIG. 14 is applied to a biological endoscope system.
  • an industrial endoscope system is used. You may apply to.
  • the imaging system shown in FIG. 1, FIG. 6, FIG. 10, or FIG. 14 may be applied to a capsule endoscope that is introduced into a living body and performs imaging while moving in the living body.
  • Multiband imaging may be performed by receiving reflected light from inside the lumen via an optical filter.
  • the present invention is not limited to the above-described first to sixth embodiments as they are, and various inventions are formed by appropriately combining a plurality of constituent elements disclosed in the first to sixth embodiments. be able to. For example, some components may be excluded from all the components shown in the first to sixth embodiments. Or you may form combining the component shown in different embodiment suitably.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Optical Filters (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

　面順次方式により生成されたマルチバンド画像に基づき、事前に煩雑な処理を要することなく色ずれやぶれを低減したカラー画像を生成することができる画像処理装置等を提供する。画像処理装置１００は、マルチバンド撮像により生成された画像群のうちの１つの画像を基準画像として選択する基準画像選択部１４２と、基準画像以外の各画像を処理対象画像として選択する処理対象画像選択部１４３と、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように画像の並び順を設定する並び順設定部１４１と、該並び順において隣接する画像間の変換情報を推定する変換情報推定部１４４と、上記並び順における処理対象画像から基準画像に向け変換情報を累積的に用いて処理対象画像に画像変換を施して変形画像を作成する変形画像作成部１４５と、変形画像と基準画像とを用いてカラー画像を作成するカラー画像作成部１４６とを備える。

Description

画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム
　本発明は、面順次方式により撮像されたマルチバンド画像における色ずれを補正する画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムに関する。
　カラー画像の生成方法として、波長帯域ごとに撮像を行うことにより取得した複数の画像（マルチバンド画像）を合成する方法が知られている。
　マルチバンド画像の撮像方式としては、面順次方式が知られている。面順次方式とは、複数のバンドパスフィルタが並べられたフィルタホイールをカメラの前面に配置し、フィルタホイールを回転させることにより、各バンドパスフィルタを介して順次撮像を行う撮像方式である。
　ところで、レンズにおいては一般的に、透過する光の色によって焦点位置が異なる色収差が生じる。これは、物質の屈折率が光の波長に応じて異なることに起因する。具体的には、波長帯域に応じて像面の位置が光軸上において前後にずれる、或いは像の大きさが異なる、といった現象が生じる。例えば、緑色の像面の位置を基準にすると、緑色よりも短波長である青色の像はレンズに近い側に結像し、緑色よりも長波長である赤色の像はレンズから遠い側に結像する。そのため、上述したマルチバンド画像を合成してカラー画像を生成した場合、同一の被写体の像が色ごとにずれる、所謂色ずれが発生してしまう。
　このような問題に対し、例えば特許文献１には、２階微分を行うラプラシアン演算により画像内のエッジを抽出し、このエッジに基づいて各色成分の色収差量を算出し、さらに、この色収差量から算出した色収差特性曲線をもとに異なる色成分の像の間で位置合わせを行うことで、色ずれを補正する技術が開示されている。
　また、特許文献２には、波長帯域別の色収差特性データが記憶された補正テーブルを事前に用意し、補正テーブルから読み出した色収差特性データをもとに、波長帯域ごとの画像、即ち分光画像間の位置合わせを行うことで、色ずれを補正する技術が開示されている。
特開２０００－２９９８７４号公報 特開２００８－２４４８３３号公報
　しかしながら、面順次方式で撮像されたマルチバンド画像においては、補正対象波長の画像と基準波長の画像との間で色の相関が低い場合がある。例えば、マルチバンド画像における各分光画像の波長帯域が４００ｎｍ～７００ｎｍである場合、４００ｎｍを中心とする波長帯域の分光画像と７００ｎｍを中心とする波長帯域の分光画像とでは色の相関が低い。このように色の相関が低い分光画像同士に対して、上記特許文献１に開示された技術を適用すると、エッジの特徴が合わず、良好な位置合わせを行うことが困難となる。
　この点について、上記特許文献２においては、色収差特性データが記憶された補正テーブルを事前に用意しておくことで、色の相関が低い分光画像同士であっても位置合わせを行うことができるが、波長帯域別の色収差特性データを用意しておく必要があるため、事前の処理が煩雑になってしまう。
　また、マルチバンド画像を面順次方式によって取得した場合、色収差に起因する色ずれに加えて、撮像タイミングの差に起因するぶれが生じるおそれもある。従って、面順次方式の場合には、後者のぶれも合わせて補正できると、より好ましい。
　本発明は、上記に鑑みてなされたものであり、面順次方式により生成されたマルチバンド画像に基づき、事前に煩雑な処理を要することなく、色ずれやぶれを低減したカラー画像を生成することができる画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定部と、前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、を備えることを特徴とする。
　上記画像処理装置において、前記並び順において画像の波長帯域の中心波長が、短波長側から長波長側、又は長波長側から短波長側に、単調にシフトする、ことを特徴とする。
　上記画像処理装置において、前記並び順は、前記処理対象画像選択部が選択する処理対象画像ごとに設定される、ことを特徴とする。
　上記画像処理装置において、前記並び順は、前記処理対象画像選択部が選択する各処理対象画像の間で共通に設定される、ことを特徴とする。
　上記画像処理装置において、前記画像群は、４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された一連の画像のうち、基準時刻を含む所定時間内に生成された複数の画像からなり、前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、前記画像群に含まれる画像が前記並び順に沿って撮像されるように撮像順を制御する制御部と、前記基準時刻が異なる複数の前記画像群に基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部と、をさらに備えることを特徴とする。
　上記画像処理装置において、前記並び順における前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間に、少なくとも１つの別の波長帯域が挿入されている、ことを特徴とする。
　上記画像処理装置において、前記並び順において画像の波長帯域が、前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間を少なくとも１往復する、ことを特徴とする。
　上記画像処理装置は、基準時刻の前後に生成された波長帯域が同一の２つの画像を用いて、前記基準時刻における内挿画像を作成する内挿画像作成部と、前記４つ以上の波長帯域についてそれぞれ作成された４つ以上の前記内挿画像と前記基準時刻に生成された画像とを含む画像セットに対し、隣接する画像間において波長帯域が隣り合うように並び順を設定する内挿画像列作成部と、をさらに備え、前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、前記処理対象画像選択部は、前記画像セットに含まれる前記内挿画像を前記処理対象画像として選択し、前記変換情報推定部は、前記画像セットを前記画像群として前記変換情報を推定し、前記変形画像作成部は、前記内挿画像に前記画像変換を施すことにより、前記変形画像を作成し、さらに、前記基準時刻が異なる複数の前記画像セットに基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部を備える、ことを特徴とする。
　上記画像処理装置において、前記画像変換は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、及び平行移動のいずれか又は組み合わせである、ことを特徴とする。
　上記画像処理装置において、前記変形画像作成部は、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を順次累積した累積変換情報を算出し、該累積変換情報を用いて前記処理対象画像に画像変換を施すことにより、前記変形画像を作成する、ことを特徴とする。
　本発明に係る画像処理装置は、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、前記並び順における前記処理対象画像から前記基準画像に向け、前記画像群に含まれる画像を順次用いて変換情報を推定する変換情報推定部と、前記処理対象画像に対し、前記変換情報推定部により推定された変換情報を順次用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、を備え、前記変換情報推定部は、前記画像群に含まれる画像と、前記変形画像作成部により前記画像変換が施された画像との間における変換情報を推定する、ことを特徴とする。
　本発明に係る画像処理方法は、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、を含み、前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、ことを特徴とする。
　本発明に係る画像処理プログラムは、互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、をコンピュータに実行させ、前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、ことを特徴とする。
　本発明に係る撮像システムは、前記画像処理装置と、面順次方式により前記４つ以上の波長帯域に分けて撮像を行うことにより画像データを生成し、前記画像処理装置に出力する撮像手段と、を備えることを特徴とする。
　上記撮像システムにおいて、前記撮像手段は、前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、前記４つ以上の波長帯域の各々に対応する感度を有するフィルタを前記受光面に順次配置するフィルタ部と、を備えることを特徴とする。
　上記撮像システムにおいて、前記撮像手段は、前記４つ以上の波長帯域の各々に帯域が制限された光を前記被写体に順次照射する光照射手段と、前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、を備えることを特徴とする。
　本発明によれば、面順次方式により生成されたマルチバンド画像に含まれる個々の画像に対し、撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように画像を並べた場合に隣接する画像間の変換情報を累積的に用いて画像変換を行うことにより変形画像を作成し、これらの変形画像を用いてカラー画像を作成するので、事前に煩雑な処理を要することなく好適に画像間の位置合わせを行うことができ、色ずれやぶれを低減したカラー画像を生成することが可能となる。
図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。 図２は、図１に示す撮像装置の構成例を示す模式図である。 図３は、図１に示す撮像システムの動作を示すフローチャートである。 図４は、図１に示す撮像システムの動作を説明するための模式図である。 図５は、本発明の実施の形態１の変形例１に係る撮像システムの動作を説明するための模式図である。 図６は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。 図７は、図６に示す撮像システムにおける撮像動作を示すフローチャートである。 図８は、図６に示す撮像システムにおける画像処理を示すフローチャートである。 図９は、図６に示す撮像システムの動作を説明するための模式図である。 図１０は、本発明の実施の形態３に係る撮像システムの構成例を示すブロック図である。 図１１は、図１０に示す撮像システムの動作を説明するための模式図である。 図１２は、図１０に示す撮像システムの動作を説明するための模式図である。 図１３は、図１０に示す撮像システムにおける撮像動作を示すフローチャートである。 図１４は、本発明の実施の形態４に係る撮像システムの構成例を示すブロック図である。 図１５は、図１４に示す画像処理装置が実行する画像群の取得処理を示すフローチャートである。 図１６は、図１４に示す画像処理装置が実行する画像処理を説明するための模式図である。 図１７は、図１４に示す画像処理装置が実行する画像処理を説明するための模式図である。 図１８は、本発明の実施の形態５に係る撮像システムの構成例を示す図である。 図１９は、本発明の実施の形態６に係る撮像システムの構成例を示す模式図である。
　以下、本発明に係る画像処理装置、画像処理方法、画像処理プログラム、及び撮像システムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を附して示している。
（実施の形態１）
　図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。図１に示すように、本実施の形態１に係る撮像システム１は、面順次方式でマルチバンド撮像を行うことにより画像を生成する撮像装置１０と、該撮像装置１０から出力された画像に基づいてカラー画像を生成する画像処理装置１００とを備える。本出願においては、マルチバンド撮像に際して、可視光領域を４つ以上の波長帯域に分離した波長帯域ごとに被写体を撮像することとする。
　図２は、撮像装置１０の構成例を示す模式図である。図２に示すように、撮像装置１０は、モノクロカメラ１０１と、フィルタ部１０３と、結像レンズ１０５とを備える。モノクロカメラ１０１は、例えばＣＣＤやＣＭＯＳ等の撮像素子を含み、撮像素子の受光面に入射した光を、該光の強度に応じた電気信号に変換して画像データとして出力する。
　フィルタ部１０３は、分光特性が互いに異なる複数の光学フィルタ１０３ａと、該光学フィルタ１０３ａを回転可能に保持するフィルタホイール１０３ｂとを備える。このフィルタホイール１０３ｂを回転させることにより、モノクロカメラ１０１の前面に配置される光学フィルタ１０３ａが順次切り換えられる。なお、図２においては、５種類の光学フィルタ１０３ａを備えるフィルタ部１０３を図示しているが、光学フィルタ１０３ａの構成はこれに限定されない。一例として、波長帯域の中心波長が４００ｎｍ～７２０ｎｍの間で１０ｎｍずつシフトする３３枚の光学フィルタを有するフィルタ部を用いても良い。
　結像レンズ１０５は、被写体からの観察光（例えば被写体からの反射光）をモノクロカメラ１０１の受光面に結像する。
　マルチバンド撮像を行う際には、被写体に白色光を照射し、モノクロカメラ１０１の前面に配置される光学フィルタ１０３ａを撮像フレームレートに合わせて切り換えながら撮像を行う。それにより、被写体からの観察光が結像レンズ１０５及び光学フィルタ１０３ａを介してモノクロカメラ１０１に順次入射し、各光学フィルタ１０３ａに対応する波長帯域の画像が順次生成される。撮像装置１０は、このようにして生成した各波長帯域の画像を表す画像データを順次出力する。
　このような撮像装置１０は、例えば顕微鏡装置に設けられ、顕微鏡装置のステージ上に載置された標本等を被写体として撮像する。或いは、撮像装置１０を、生体内に挿入されて生体の管腔内を撮像する内視鏡に設けても良い。
　なお、撮像装置１０の構成は、図２に示す構成に限定されない。例えば、フィルタ部１０３の代わりに、電気的な制御により分光特性が変化する液晶チューナブルフィルタを用いても良い。
　また、被写体に白色光を照射する代わりに、波長帯域が制限された光を被写体に順次照射し、被写体からの反射光を、結像レンズ１０５を介してモノクロカメラ１０１によって受光することにより、各波長帯域の画像を生成しても良い。
　再び図１を参照すると、画像処理装置１００は、複数の波長帯域の画像を含む画像群の画像データを取得する画像取得部１１０と、画像処理装置１００及び撮像システム１全体の動作を制御する制御部１２０と、画像取得部１１０が取得した画像データ等を記憶する記憶部１３０と、記憶部１３０に記憶された画像データに基づき、所定の画像処理を実行する演算部１４０と、入力部１５０と、表示部１６０とを備える。
　画像取得部１１０は、当該画像処理装置１００を含む撮像システム１の態様に応じて適宜構成される。例えば図１に示すように、画像処理装置１００に撮像装置１０を接続する場合、画像取得部１１０は、撮像装置１０から出力された画像データを取り込むインタフェースによって構成される。また、撮像装置１０によって生成された画像データを保存しておくサーバを設置する場合、画像取得部１１０はサーバと接続される通信装置等により構成され、サーバとデータ通信を行って画像データを取得する。或いは、画像取得部１１０を、可搬型の記録媒体を着脱自在に装着し、該記録媒体に記録された画像データを読み出すリーダ装置によって構成しても良い。
　制御部１２０は、例えばＣＰＵ等のハードウェアによって構成され、記憶部１３０に記憶されている各種制御プログラムを読み込むことにより、画像取得部１１０が取得した画像データや入力部１５０から入力された各種信号に従って、画像処理装置１００を構成する各部への指示やデータの転送等を行い、画像処理装置１００及び撮像システム１全体の動作を統括的に制御する。また、制御部１２０は、撮像装置１０における面順次方式によるマルチバンド撮像動作を制御する面順次マルチバンド撮像制御部１２１を備える。
　記憶部１３０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ－ＲＯＭ等の情報記録装置及びその読取装置等によって構成される。記憶部１３０は、当該画像処理装置１００及び撮像システム１の動作を制御するための各種制御プログラムや、マルチバンド画像に基づいてカラー画像を生成する画像処理を演算部１４０に実行させる画像処理プログラム等の各種プログラムを記憶するプログラム記憶部１３１と、撮像装置１０から出力された画像データを記憶する画像データ記憶部１３２とを含み、画像処理プログラムの実行中に使用されるデータ等を格納する。
　演算部１４０は、ＣＰＵ等のハードウェアによって実現され、プログラム記憶部１３１に記憶された画像処理プログラムを読み込むことにより、画像データ記憶部１３２に記憶された画像データに基づいてカラー画像を生成する画像処理を実行する。
　より詳細には、演算部１４０は、並び順設定部１４１と、基準画像選択部１４２と、処理対象画像選択部１４３と、変換情報推定部１４４と、変形画像作成部１４５と、カラー画像作成部１４６とを備える。
　並び順設定部１４１は、被写体が写った４つ以上の波長帯域の画像を含む画像群に対し、隣接する画像間で波長帯域が隣り合うように、画像の並び順を設定する。以下、被写体が写った４つ以上の波長帯域の画像を含む画像群のことを、マルチバンド画像群ともいう。
　基準画像選択部１４２は、マルチバンド画像群のうちの１つの画像を基準画像として選択する。
　処理対象画像選択部１４３は、マルチバンド画像群のうちの基準画像以外の画像を、処理対象画像として順次設定する。
　変換情報推定部１４４は、並び順設定部１４１により設定された並び順でマルチバンド画像群に含まれる画像を並べた場合に隣接する画像間の変換情報（変換パラメータ）を推定する。画像変換としては、具体的には、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、及び平行移動のいずれか、又はこれらの変換の組み合わせが挙げられる。
　変形画像作成部１４５は、並び順設定部１４１により設定された並び順において、処理対象画像から基準画像に向け、変換情報を累積的に用いて画像変換を行うことにより、処理対象画像の変形画像を作成する。
　カラー画像作成部１４６は、マルチバンド画像群に含まれる基準画像以外の全ての画像からそれぞれ作成された変形画像と基準画像とを用いてカラー画像を作成する。
　入力部１５０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、外部からなされる操作入力に応じた入力信号を制御部１２０に出力する。
　表示部１６０は、ＬＣＤ（Liquid　Crystal　Display）やＥＬ（Electro　Luminescence）ディスプレイ、ＣＲＴ（Cathode　Ray　Tube）ディスプレイ等の表示装置によって構成され、制御部１２０から出力された表示信号をもとに各種画面を表示する。
　次に、撮像システム１の動作について説明する。図３は、撮像システム１の動作を示すフローチャートである。また、図４は、撮像システム１の動作を説明するための模式図である。
　まず、ステップＳ１００において、演算部１４０は、４つ以上の波長帯域に分けて被写体を撮像することにより生成されたマルチバンド画像群を取得する。詳細には、面順次マルチバンド撮像制御部１２１の下で撮像装置１０を動作させ、波長帯域の中心波長を４００ｎｍ～７２０ｎｍの間で１０ｎｍずつシフトさせながら（図４参照）、撮像周期１／３３分、即ち撮像フレームレート３３枚／分で順次撮像を行う。画像取得部１１０は、それによって生成された３３バンドの画像の画像データを撮像装置１０から順次取得し、画像データ記憶部１３２に記憶させる。演算部１４０は、画像データ記憶部１３２から画像データを読み出すことによりマルチバンド画像群を取得する。以下において、中心波長λの波長帯域の画像を、画像Ｉ（λ）と記す。
　続くステップＳ１０１において、演算部１４０は、マルチバンド画像群における画像の並び順を設定する。具体的には、画像処理装置１００において静止画表示を行う場合、並び順設定部１４１は、隣接する画像間で波長帯域が隣り合うように並び順を設定する。なお、図４の場合、波長帯域を短波長側から長波長側に順次シフトさせるので、撮像順に従って画像の並び順を設定すれば良い。
　続くステップＳ１０２において、変換情報推定部１４４は、ステップＳ１０１において設定された並び順で隣接する２つの画像に対して変換推定を行うことにより、これらの画像間の変換情報（変換パラメータ）を推定する。ここで、変換推定とは、２つの画像を重ねた場合に一致する変換情報を推定する処理である。変換推定の一例として、特開２００７－２５７２８７号公報に開示されているように、濃度勾配情報に基づく平面射影変換等の変換情報の推定を繰り返すことにより、高精度な変換情報を取得する処理が挙げられる。推定される変換処理としては、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、平行移動等の公知の画像変換、或いはこれらの組み合わせが挙げられる。
　変換情報推定部１４４は、このような変換推定を、マルチバンド画像群に含まれる全ての隣接する２つの画像の組み合わせに対して実行する。例えば、図４の場合、画像Ｉ（４００）と画像Ｉ（４１０）との間の変換情報ｔｒ（４００）、画像Ｉ（４１０）と画像Ｉ（４２０）との変換情報ｔｒ（４１０）、…が推定される。
　続くステップＳ１０３において、基準画像選択部１４２は、マルチバンド画像群に含まれる任意の１つの画像を基準画像として選択する。図４においては、一例として、中心波長５５０ｎｍの波長帯域の画像Ｉ（５５０）を基準画像とする。以下、基準画像の波長帯域を基準波長帯域ともいう。
　続くステップＳ１０４において、処理対象画像選択部１４３は、マルチバンド画像群に含まれる画像のうちの基準画像以外の画像から、処理対象画像を選択する。
　続くステップＳ１０５において、変形画像作成部１４５は、処理対象画像から基準画像に向かって、変換情報を累積的に用いて処理対象画像に画像変換を施すことにより、変形画像を作成する。例えば図４において、画像Ｉ（４１０）が処理対象画像である場合、画像Ｉ（４１０）と、基準画像である画像Ｉ（５５０）との間に位置する画像Ｉ（４２０）～画像Ｉ（５４０）に関する変換情報が利用される。具体的には、画像Ｉ（４１０）－画像Ｉ（４２０）間の変換情報ｔｒ（４１０）と、画像Ｉ（４２０）－画像Ｉ（４３０）間の変換情報ｔｒ（４２０）と、…、画像Ｉ（５４０）－画像Ｉ（５５０）間の変換情報ｔｒ（５４０）とを順次累積したトータルの変換情報（累積変換情報）を算出し、この累積変換情報を用いて、画像Ｉ（４１０）に画像変換を施す。
　ここで、変換情報を利用する順序は、処理対象画像から基準画像に向かう順とする。詳細には、処理対象画像の波長帯域が基準波長帯域よりも短波長帯域である場合、具体的に、図４においては、画像Ｉ（４００）～Ｉ（５４０）が処理対象画像である場合、短波長側から長波長側に向かって変換情報を累積的に利用する。一方、処理対象画像の波長帯域が基準波長帯域よりも長波長帯域である場合、具体的に、図４においては、画像Ｉ（５６０）～Ｉ（７２０）が処理対象画像である場合、長波長側から短波長側に向かって変換情報を累積的に利用する。例えば、画像Ｉ（６５０）を処理対象画像とする場合、まず、画像Ｉ（６５０）－画像Ｉ（６４０）間の変換情報ｔｒ（６５０）と、画像Ｉ（６４０）－画像Ｉ（６３０）間の変換情報ｔｒ（６４０）と、…、画像Ｉ（５６０）－画像Ｉ（５５０）間の変換情報ｔｒ（５６０）とを順次累積したトータルの変換情報（累積変換情報）を算出し、この累積変換情報を用いて、画像Ｉ（６５０）に画像変換を施す。
　ステップＳ１０６において、変形画像作成部１４５は、基準波長帯域以外の全波長帯域の画像の変形画像を作成したか否かを判定する。基準波長帯域以外で未だ変形画像を作成していない波長帯域が残っている場合（ステップＳ１０６：Ｎｏ）、演算部１４０の動作はステップＳ１０４に戻る。
　一方、基準波長帯域以外の全波長帯域の変形画像を作成した場合（ステップＳ１０６：Ｙｅｓ）、続いてカラー画像作成部１４６は、基準画像及び全波長帯域の変形画像からカラー画像を作成する（ステップＳ１０７）。詳細には、カラー画像作成部１４６は、各変形画像を照明の分光特性で補正し、レンダリング照明の分光特性、等色関数、ｓＲＧＢ変換行列を乗算することでカラー画像を作成する。
　続くステップＳ１０８において、演算部１４０は、ステップＳ１０７において作成したカラー画像を出力する。これに応じて、制御部１２０は、カラー画像を表示部１６０に表示させると共に、カラー画像の画像データを画像データ記憶部１３２に記憶させる。
　その後、撮像システム１の動作は終了する。
　以上説明したように、本発明の実施の形態１によれば、基準波長帯域に対して処理対象画像の波長帯域の相関が低い場合であっても、処理対象画像から基準画像に向かって変換情報を累積的に用いることにより処理対象画像を変形するので、煩雑な処理を要することなく、基準画像に対して処理対象画像を好適に補正することができる。従って、色収差に起因する色ずれが低減されたカラー画像を生成することが可能となる。
　なお、上記実施の形態１においては、マルチバンド撮像を行う際に、波長帯域を短波長側から長波長側に単調にシフトさせたが、長波長側から短波長側に単調にシフトさせても良いし、ランダムにシフトさせても良い。いずれにしても、静止画を表示する場合には、並び順設定部１４１がマルチバンド画像群における画像の並び順を設定するので、マルチバンド撮像を行う際の波長帯域の順序は特に考慮しなくても良い。
　また、上記実施の形態１においては、マルチバンド画像群における画像の並び順を一律に設定し、全ての処理対象画像に対し、この並び順に沿った順で変換情報を用いて変形画像を作成することとしたが、処理対象画像ごとに並び順を異ならせても良い。
　（変形例１）
　次に、本発明の実施の形態１の変形例１について説明する。図５は、本発明の実施の形態１の変形例１に係る撮像システムの動作を説明するための模式図である。
　上記実施の形態１においては、並び順設定部１４１が設定した並び順において隣接する２つの画像の全ての組み合わせについて変換情報を推定し（図３のステップＳ１０２参照）、その後、必要な変換情報を用いて各処理対象画像の変形画像を作成した（ステップＳＳ１０５）。しかしながら、各処理対象画像の変形画像を作成する際に、変換情報の推定を逐次行っても良い。
　例えば、図５において画像Ｉ（４００）を処理対象画像とする場合、変換情報推定部１４４は、まず、隣接する画像Ｉ（４１０）との間の変換情報ｔｒ４００を推定し、変形画像作成部１４５は、この変換情報ｔｒ（４００）を用いて画像Ｉ（４００）を変換することにより、変形画像Ｉ（４００）410を作成する。続いて、変換情報推定部１４４は、並び順が次の画像Ｉ（４２０）と直前に作成された変形画像Ｉ（４００）410との間の変換情報ｔｒ（４１０）’を推定し、変形画像作成部１４５は、この変換情報ｔｒ（４１０）’を用いて、変形画像Ｉ（４００）410をさらに変形することにより、変形画像Ｉ（４００）420を作成する。このように、画像の並び順に沿って、もとの画像と、直前に作成された変形画像との変換情報を推定し、この変換情報を用いて直前に作成された変形画像をさらに変換するという処理を累積的に繰り返す。そして、最後に、画像Ｉ（５５０）と変形画像Ｉ（４００）540との間の変換情報ｔｒ（５４０）’を用いて変形画像Ｉ（４００）540を変換することで、画像Ｉ（４００）の最終的な変形画像Ｉ（４００）550を取得する。
（実施の形態２）
　次に、本発明の実施の形態２について説明する。図６は、本発明の実施の形態２に係る撮像システムの構成を示すブロック図である。図６に示すように、本実施の形態２に係る撮像システム２は、撮像装置１０と画像処理装置２００とを備える。撮像装置１０の構成及び動作は、実施の形態１と同様である。
　画像処理装置２００は、図１に示す制御部１２０及び演算部１４０の代わりに、制御部２１０及び演算部２２０をそれぞれ備える。制御部２１０及び演算部２２０以外の画像処理装置２００の各部の構成及び動作は、実施の形態１と同様である。
　制御部２１０は、撮像装置１０における面順次方式によるマルチバンド撮像動作を制御する面順次マルチバンド撮像制御部２１１と、このマルチバンド撮像の動作を撮像装置１０に連続して繰り返し実行させる連続撮像制御部２１２とを備える。
　演算部２２０は、図１に示す基準画像選択部１４２～カラー画像作成部１４６に加え、動画作成部２２１をさらに備える。動画作成部２２１は、撮像装置１０から連続的に入力される画像データに基づき順次作成されるカラー画像を用いて動画を作成する。なお、ここでいう動画は、ＭＰＥＧ（Moving　Picture　Experts　Group）やＡＶＩ（Audio　Video　Interleave）等の標準フォーマットの動画であっても良いし、画像処理装置２００独自のフォーマットの動画であっても良い。また、基準画像選択部１４２～カラー画像作成部１４６の動作は、実施の形態１と同様である。
　次に、撮像システム２の動作について説明する。図７は、撮像システム２における撮像動作を示すフローチャートである。図８は、撮像システム２における画像処理を示すフローチャートである。図９は、撮像システム２の動作を説明するための模式図である。
　まず、ステップＳ２００において、面順次マルチバンド撮像制御部２１１は、４つ以上の波長帯域に対して撮像を行う順序を設定する。本実施の形態２においては、連続して撮像される画像間において波長帯域が隣接するように、波長帯域の順序を設定する。具体的には、図９に示すように、波長帯域の中心波長を、最短波長の４００ｎｍから最長波長の７２０ｎｍに向かって１０ｎｍずつシフトさせる。
　続くステップＳ２０１において、面順次マルチバンド撮像制御部２１１は、マルチバンド撮像を開始する際の波長帯域の初期値を設定する。本実施の形態２においては、図９に示すように、中心波長が４００ｎｍの波長帯域からマルチバンド撮像を開始する。
　ステップＳ２０２において、撮像装置１０は、ステップＳ２０１において設定された波長帯域で被写体を撮像し、画像データを生成する。続くステップＳ２０３において、撮像装置１０は、生成した画像データを画像処理装置２００に出力する。
　ステップＳ２０４において、撮像装置１０は、連続撮像制御部２１２から撮像終了の制御信号が入力されたか否かを判定する。撮像終了の制御信号が入力されない場合（ステップＳ２０４：Ｎｏ）、撮像装置１０は、ステップＳ２００において設定された順に波長帯域を変更する（ステップＳ２０５）。その後、撮像装置１０の動作はステップＳ２０２に移行する。このような動作を繰り返すことにより、各波長帯域の画像の画像データが順次画像処理装置２００に出力される。なお、波長帯域が最長波長の７２０ｎｍに至った場合には最短波長の４００ｎｍに戻り、再び短波長側から長波長側に向かった波長帯域をシフトさせる。
　一方、連続撮像制御部２１２から撮像終了の制御信号が入力された場合（ステップＳ２０４：Ｙｅｓ）、撮像装置１０の撮像動作は終了する。
　画像処理装置２００は、撮像装置１０から画像データが出力されると（図７のステップＳ２０３参照）、画像データの取り込みを開始し、画像データ記憶部１３２に順次記憶させる（図８のステップＳ２１０参照）。
　続くステップＳ２１１において、演算部２２０は任意の基準時刻を設定する。図９においては、まず、時刻ｔ１が基準時刻に設定されたものとする。
　ステップＳ２１２において、演算部２２０は、画像データ記憶部１３２に順次記憶された画像データに基づいて、基準時刻の前後所定時間内に生成されたマルチバンド画像群を撮像時刻順に取得する。画像群を取得する範囲は、全ての波長帯域がカバーされていれば任意であり、いくつかの波長帯域が重複していても構わない。例えば図９に示すように、１分間に全３３バンドの画像が生成される場合、基準時刻を含む少なくとも１分間に生成された画像を取得すれば良い。図９においては、時刻ｔ１を中心とする前後３０秒間に生成された画像Ｉ（４００）1～Ｉ（７２０）1を取得している。なお、画像を取得する期間に対して基準時刻は必ずしも中心である必要はない。
　ステップＳ２１２に続くステップＳ１０２～Ｓ１０７の動作は、実施の形態１と同様である。このうち、ステップＳ１０２においては、撮像時刻順に並べられた画像間における変換情報が推定される。また、ステップＳ１０３においては、ステップＳ２１１において設定された基準時刻における画像（図９においては、時刻ｔ１に対応する画像Ｉ（５５０）1）が基準画像に設定される。それにより、画像Ｉ（４００）1～Ｉ（７２０）1に基づき、カラー画像が作成される（ステップＳ１０７参照）。
　ステップＳ１０７に続くステップＳ２１３において、動画作成部２２１は、ステップＳ１０７において作成されたカラー画像を基準時刻におけるフレーム画像として動画を作成する。例えば、画像Ｉ（４００）1～Ｉ（７２０）1に基づいて作成されたカラー画像は、基準時刻ｔ１に対応するフレーム１の画像となる。
　これに応じて、演算部２２０は作成された動画を出力し、制御部２１０はカラー画像による動画を表示部１６０に表示させる（ステップＳ２１４）。
　ステップＳ２１５において、撮像装置１０から新たな画像データの入力がある場合（ステップＳ２１５：Ｙｅｓ）、演算部２２０は、基準時刻を変更する（ステップＳ２１６）。基準時刻の周期は任意であるが、高フレームレートの動画を作成するためには、基準時刻の周期を短くすると良い。例えば図９においては、時刻ｔ１に続いて、撮像周期と等しい１／３３分後の時刻ｔ２を基準時刻に設定している。その後、演算部２２０の動作はステップＳ２１２に戻る。
　このような動作を繰り返すことにより、基準時刻を含む所定時間内に生成されたマルチバンド画像群に基づいて、動画の各フレーム画像としてのカラー画像が順次作成される。例えば、基準時刻ｔ２の前後３０秒間に生成された画像Ｉ（４１０）1～Ｉ（４００）2に基づいてフレーム２のカラー画像が作成され、基準時刻ｔ３の前後３０秒間に生成された画像Ｉ（４２０）1～Ｉ（４１０）2に基づいてフレーム３のカラー画像が作成される。
　一方、ステップＳ２１５において、撮像装置１０からの画像データの入力が終了した場合（ステップＳ２１５：Ｎｏ）、画像処理装置２００の動作は終了する。
　以上説明したように、本発明の実施の形態２によれば、連続して撮像される画像間において波長帯域が隣接するように各波長帯域の撮像順を設定するので、色収差に起因する色ずれと撮像時刻の差に起因するぶれとの両方が精度良く補正されたカラー画像を作成することができる。従って、このようなカラー画像を用いることにより、画質の良いカラーの動画を作成することが可能となる。
　なお、上記ステップＳ２１３、Ｓ２１４においては、撮像装置１０から順次入力される画像データを用いて、リアルタイムで動画を作成及び表示することとしたが、ステップＳ１０７において作成されたカラー画像を記憶し、蓄積されたカラー画像を繋げて動画を作成することとしても良い。
（実施の形態３）
　次に、本発明の実施の形態３について説明する。図１０は、本発明の実施の形態３に係る撮像システムの構成を示すブロック図である。図１０に示すように、本実施の形態３に係る撮像システム３は、撮像装置１０と画像処理装置３００とを備える。この画像処理装置３００は、図６に示す制御部２１０の代わりに、制御部３１０を備える。なお、撮像装置１０の構成及び動作は、実施の形態１と同様である。また、制御部３１０以外の画像処理装置３００の構成及び動作は、実施の形態２と同様である。
　制御部３１０は、撮像装置１０における面順次方式によるマルチバンド撮像動作を制御する面順次マルチバンド撮像制御部３１１と、このマルチバンド撮像動作を撮像装置１０に連続して繰り返し実行させる連続撮像制御部２１２とを備える。面順次マルチバンド撮像制御部３１１は、撮像装置１０にマルチバンド撮像を実行させる際に、波長帯域の変更動作の制御、及び波長帯域を変更させる方向の制御を行う。なお、連続撮像制御部２１２の動作は、実施の形態２と同様である。
　ここで、実施の形態２のように、波長帯域を短波長側から長波長側に単調にシフトさせる場合、基準時刻をもとにマルチバンド画像群を取得する時間帯に、波長帯域が最長波長から最短波長にジャンプするタイミングが含まれてしまう場合がある。具体的には、図１１に示すように、中心波長４００ｎｍ～７２０ｎｍの８バンドのマルチバンド撮像を行う場合基準時刻ｔ０に対しては、マルチバンド画像群として画像Ｉ（５５０）1～Ｉ（４５０）2が取得される。このマルチバンド画像群においては、波長帯域の相関が低い画像Ｉ（７２０）1と画像Ｉ（４００）2とが連続しているため、両画像間における変換推定精度が低くなる。それにより、画像Ｉ（７２０）1と画像Ｉ（４００）2との変換情報を利用して作成された変形画像の精度が低下してしまう。例えば図１１の場合、画像Ｉ（４５０）2から基準画像Ｉ（７００）1に向かって作成される変形画像や、画像Ｉ（４００）2から基準画像Ｉ（７００）1に向かって作成される変形画像の精度が低下する。その結果、適切なカラー画像を作成することが困難になるおそれがある。
　そこで、本実施の形態３においては、図１２に示すように、連続して撮像を行う際に波長帯域を１段階以上空けてシフトさせ、１サイクルのマルチバンド撮像において、最短波長帯域と最長波長帯域との間で波長帯域を少なくとも１往復させることにより、最短波長帯域と最長波長帯域とが直接隣り合わないように、即ち、間に別の波長帯域が挿入されているようにする。具体的には、図１２の場合、まず、中心波長を４００ｎｍ→５００ｎｍ→６００ｎｍ→７００ｎｍの順にシフトさせて、各波長帯域の画像を取得した後、最長波長帯域の画像を取得する。即ち、往路においては、中心波長４５０ｎｍ、５５０ｎｍ、６５０ｎｍの波長帯域をスキップする。その後、中心波長を６５０ｎｍ→５５０ｎｍ→４５０ｎｍの順にシフトさせて、各波長帯域の画像を取得する。即ち、復路においては、中心波長７００ｎｍ、６００ｎｍ、５００ｎｍの波長帯域をスキップする。
　なお、１サイクルのマルチバンド撮像においては、同じ波長帯域を重複して撮像しても良い。この場合、画像処理装置３００における画像処理の効率の観点から、重複分の撮像回数は、１サイクルの撮像回数の半分以下にすることが好ましい。
　このようなサイクルで波長帯域をシフトさせてマルチバンド撮像を行う場合、設定される基準時刻によらず、マルチバンド画像群内で撮像順が隣接する全ての画像の組み合わせにおいて、波長帯域の相関を、高いレベルで維持することができる。具体的には、基準時刻ｔ１をもとに抽出されたマルチバンド画像群Ｉ（４００）3～Ｉ（４５０）3、基準時刻ｔ２をもとに抽出されたマルチバンド画像群Ｉ（５００）3～Ｉ（４００）4、基準時刻ｔ３をもとに抽出されたマルチバンド画像群Ｉ（６００）3～Ｉ（５００）4のいずれにおいても、撮像順が隣接する画像間において、波長帯域の相関が大幅に低い画像の組合せは発生していない。
　面順次マルチバンド撮像制御部３１１は、このように、撮像装置１０に対して、撮像を１回行うごとに波長帯域を１段階以上空けてシフトさせることにより、１サイクルのマルチバンド撮像において、最短波長帯域と最長波長帯域との間で波長帯域を少なくとも１往復させる制御を行う。
　図１３は、撮像システム３における撮像動作を示すフローチャートである。まず、ステップＳ３００において、面順次マルチバンド撮像制御部３１１は、マルチバンド撮像を行う４つ以上の波長帯域を設定する。本実施の形態３においては、図１１に示すように、中心波長が４００ｎｍ～７２０ｎｍの８つの波長帯域のマルチバンド撮像を行うこととする。
　続くステップＳ３０１において、面順次マルチバンド撮像制御部３１１は、波長帯域及び波長帯域を変更する方向の初期値を設定する。本実施の形態３においては、波長帯域の初期値として、中心波長４００ｎｍの最短波長帯域を初期値として設定すると共に、波長帯域を変更する方向の初期値を昇順に設定する。
　ステップＳ３０２において、撮像装置１０は、ステップＳ３０１において設定された波長帯域で被写体を撮像し、画像データを生成する。続くステップＳ３０３において、撮像装置１０は、生成した画像データを画像処理装置３００に出力する。
　ステップＳ３０４において、撮像装置１０は、ステップＳ３０１において設定された方向に、波長帯域を１段階以上空けて変更する。具体的には、中心波長４００ｎｍの波長帯域に対し、中心波長４５０ｎｍの波長帯域をスキップして、中心波長５００ｎｍの波長帯域に変更される。
　ステップＳ３０５において、面順次マルチバンド撮像制御部３１１は、変更後の波長帯域が、ステップＳ３００において設定された波長帯域の最端波長帯域であるか、即ち（上端又は下端の波長帯域であるか否かを判定する。変更後の波長帯域が最端波長帯域である場合（ステップＳ３０５：Ｙｅｓ）、面順次マルチバンド撮像制御部３１１は、波長帯域を変更する方向を切り換える（ステップＳ３０６）。例えば、ステップＳ３０４において変更された後の波長帯域の中心波長が７２０ｎｍ、即ち上端波長帯域であった場合、波長帯域を変更する方向を降順に切り換える。一方、変更後の波長帯域が最端波長帯域でない場合（ステップＳ３０５：Ｎｏ）、動作はそのままステップＳ３０７に移行する。
　ステップＳ３０７において、撮像装置１０は、連続撮像制御部２１２から撮像終了の制御信号が入力されたか否かを判定する。撮像終了の制御信号が入力されない場合（ステップＳ３０７：Ｎｏ）、撮像装置１０の動作はステップＳ３０２に移行する。この場合、ステップＳ３０４において変更された波長帯域での撮像が行われる。一方、撮像終了の制御信号が入力された場合（ステップＳ３０７：Ｙｅｓ）、撮像装置１０の動作は終了する。
　以上説明したように、本発明の実施の形態３によれば、基準時刻の設定によらず、マルチバンド画像群において、撮像順が隣接する画像の全ての組み合わせにおける波長帯域の相関を高いレベルで維持し、局所的な波長帯域の相関の低下を防ぐことができる。従って、色収差に起因する色ずれと撮像時刻の差に起因するぶれとの両方が精度良く補正されたカラー画像を、常に生成することが可能となる。従って、このようなカラー画像を用いることにより、高品質なカラーの動画を作成することが可能となる。
　なお、撮像装置において、液晶チューナブルフィルタ等を用いた電気的な制御により波長帯域を変化させる場合、１サイクルで波長帯域の中心波長が例えば４００ｎｍ→５００ｎｍ→６００ｎｍ→７００ｎｍ→７２０ｎｍ→６５０ｎｍ→５５０ｎｍ→４５０ｎｍの順で変化するように、制御プログラムを作成すれば良い。
（実施の形態４）
　次に、本発明の実施の形態４について説明する。図１４は、本発明の実施の形態４に係る撮像システムの構成を示すブロック図である。図１４に示すように、本実施の形態４に係る撮像システム４は、撮像装置１０と画像処理装置４００とを備える。撮像装置１０の構成及び動作は、実施の形態４と同様である。
　画像処理装置４００は、図６に示す演算部２２０の代わりに、演算部４１０を備える。演算部４１０は、図６に示す演算部２２０の構成に加えて、内挿画像作成部４１１及び内挿画像列作成部４１２を備える。なお、演算部４１０以外の画像処理装置４００の構成及び動作は、実施の形態２と同様である。
　内挿画像作成部４１１は、基準時刻の前後において生成された同一の波長帯域の画像から、基準時刻における内挿画像を作成する。
　内挿画像列作成部４１２は、内挿画像作成部４１１が作成した各波長帯域の内挿画像を、所定の並び順で並べる。
　撮像システム４の動作は、全体として実施の形態２（図７及び図８参照）と同様であり、図８のステップＳ２１２における基準時刻の前後所定時間内に生成された画像群を取得する動作が実施の形態２と異なる。図１５は、ステップＳ２１２において演算部４１０が実行する詳細な動作を示すフローチャートである。また、図１６及び図１７は、ステップＳ２１２における演算部４１０の詳細な動作を説明するための模式図である。
　まず、ステップＳ４００において、内挿画像作成部４１１は、図８のステップＳ２１１において設定された基準時刻における波長帯域以外の波長帯域から、処理対象の波長帯域を選択する。続くステップＳ４０１において、内挿画像作成部４１１は、基準時刻の前後に生成された処理対象の波長帯域の画像対を選択する。例えば図１６において、処理対象の波長帯域の中心波長が４００ｎｍである場合、基準時刻ｔ５の前後に生成された画像Ｉ（４００）5及び画像Ｉ（４００）6の画像対が選択される。
　続くステップＳ４０２において、内挿画像作成部４１１は、ステップＳ４０１において選択された画像対から、被写体の動きを推定する。動きの推定には、ブロックマッチング法、勾配法等の公知の技術を用いることができる。
　ステップＳ４０３において、内挿画像作成部４１１は、被写体の動きから、基準時刻における被写体の位置を推定する。
　ステップＳ４０４において、内挿画像作成部４１１は、被写体の位置に基づいて、基準時刻における内挿画像を作成する（例えば、特開２０１２－１４２８１７号公報参照）。この際、動きの推定に用いた画像対のいずれを用いても良い。例えば、画像Ｉ（４００）5から基準時刻ｔ５における内挿画像Ｉ（４００）t5を作成しても良いし、画像Ｉ（４００）6から内挿画像Ｉ（４００）t5を作成しても良い。画像Ｉ（４００）5と画像Ｉ（４００）6とのいずれを用いるかについては、例えば、撮像時刻が早い方の画像、撮像時刻が遅い方の画像、撮像時刻がより基準時刻に近い方の画像というように、適宜設定すれば良い。或いは、画像Ｉ（４００）5と画像Ｉ（４００）6との両方を用いて内挿画像Ｉ（４００）t5を作成しても良い。
　ステップＳ４０５において、内挿画像作成部４１１は、基準時刻における波長帯域以外の全ての波長帯域の内挿画像を作成したか否かを判定する。基準時刻における波長帯域以外で未だ内挿画像を作成していない波長帯域が残っている場合（ステップＳ４０５：Ｎｏ）、演算部４１０の動作はステップＳ４００に移行する。この処理を繰り返すことにより、図１７に示すように、中心波長４００ｎｍ、４５０ｎｍ、５００ｎｍ、５５０ｎｍ、６００ｎｍ、６５０ｎｍ、７２０ｎｍの各波長帯域について、基準時刻ｔ５における内挿画像Ｉ（４００）t5、Ｉ（４５０）t5、Ｉ（５００）t5、Ｉ（５５０）t5、Ｉ（６００）t5、Ｉ（６５０）t5、Ｉ（７２０）t5が作成される。
　基準時刻における波長帯域以外の全ての波長帯域の内挿画像を作成した場合（ステップＳ４０５：Ｙｅｓ）、内挿画像列作成部４１２は、全ての内挿画像と基準時刻における画像とからなる画像セットに対し、隣接する画像間で波長帯域が隣り合うように、画像の並び順を設定する（ステップＳ４０６）。その後、演算部４１０の動作はメインルーチンに戻る。
　ステップＳ２１２に続くステップＳ１０２以降においては、ステップＳ４０６において並び順が設定された画像セットをマルチバンド画像群とみなし、実施の形態２と同様に画像処理が実行される。この際、ステップＳ１０３においては、基準時刻に撮像された画像が基準画像として選択される。従って、図１７の場合、画像Ｉ（７００）5が基準画像として選択され、処理対象画像として選択された各内挿画像Ｉ（４００）t5、Ｉ（４５０）t5、Ｉ（５００）t5、Ｉ（５５０）t5、Ｉ（６００）t5、Ｉ（６５０）t5、Ｉ（７２０）t5は、当該処理対象画像から基準画像（画像Ｉ（７００）5）に向かって、隣接する内挿画像間で推定された変換情報を累積的に利用して変形画像に変換される（ステップＳ１０５参照）。
　以上説明したように、本発明の実施の形態４によれば、基準時刻の前後に生成された各波長帯域の画像を用いて作成された内挿画像をマルチバンド画像群として扱うので、撮像を行う波長帯域の順序によらず、色収差に起因する色ずれと撮像時刻の差に起因するぼけとの両方が精度良く補正されたカラー画像を作成することが可能となる。従って、そのようなカラー画像を用いることにより、高品質な動画を作成することが可能となる。
（実施の形態５）
　次に、本発明の実施の形態５について説明する。図１８は、本発明の実施の形態５に係る撮像システムの構成例を示す図である。図１８に示すように、本実施の形態５に係る撮像システム５は、撮像装置１０が設けられた顕微鏡装置５００と、画像処理装置１００とを備える。なお、画像処理装置１００の代わりに、図６に示す画像処理装置２００、図１０に示す画像処理装置３００、又は図１４に示す画像処理装置４００を設けても良い。
　顕微鏡装置５００は、落射照明ユニット５０１及び透過照明ユニット５０２が設けられた略Ｃ字形のアーム５００ａと、該アーム５００ａに取り付けられ、観察対象である被写体ＳＰが載置される標本ステージ５０３と、鏡筒５０５の一端側に三眼鏡筒ユニット５０７を介して標本ステージ５０３と対向するように設けられた対物レンズ５０４と、標本ステージ５０３を移動させるステージ位置変更部５０６とを有する。三眼鏡筒ユニット５０７は、対物レンズ５０４から入射した被写体ＳＰの観察光を、鏡筒５０５の他端側に設けられた撮像装置１０と後述する接眼レンズユニット５０８とに分岐する。接眼レンズユニット５０８は、ユーザが被写体ＳＰを直接観察するためのものである。
　落射照明ユニット５０１は、落射照明用光源５０１ａ及び落射照明光学系５０１ｂを備え、被写体ＳＰに対して落射照明光を照射する。落射照明光学系５０１ｂは、落射照明用光源５０１ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　透過照明ユニット５０２は、透過照明用光源５０２ａ及び透過照明光学系５０２ｂを備え、被写体ＳＰに対して透過照明光を照射する。透過照明光学系５０２ｂは、透過照明用光源５０２ａから出射した照明光を集光して観察光路Ｌの方向に導く種々の光学部材（フィルタユニット、シャッタ、視野絞り、開口絞り等）を含む。
　対物レンズ５０４は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ５０４、５０４’）を保持可能なレボルバ５０９に取り付けられている。このレボルバ５０９を回転させて、標本ステージ５０３と対向する対物レンズ５０４、５０４’を変更することにより、撮像倍率を変化させることができる。
　鏡筒５０５の内部には、複数のズームレンズと、これらのズームレンズの位置を変化させる駆動部とを含むズーム部が設けられている。ズーム部は、各ズームレンズの位置を調整することにより、撮像視野内の被写体像を拡大又は縮小させる。
　ステージ位置変更部５０６は、例えばステッピングモータ等の駆動部５０６ａを含み、標本ステージ５０３の位置をＸＹ平面内で移動させることにより、撮像視野を変化させる。また、ステージ位置変更部５０６には、標本ステージ５０３をＺ軸に沿って移動させることにより、対物レンズ５０４の焦点を被写体ＳＰに合わせる。
　このような顕微鏡装置５００において生成された被写体ＳＰの拡大像を撮像装置１０においてマルチバンド撮像することより、被写体ＳＰのカラー画像が表示部１６０に表示される。
（実施の形態６）
　次に、本発明の実施の形態６について説明する。図１９は、本発明の実施の形態６に係る撮像システムの構成例としての内視鏡システムを示す模式図である。図１９に示す内視鏡システム６は、画像処理装置１００と、生体の管腔内に先端部を挿入して撮像を行うことにより管腔内の画像を生成する内視鏡６００と、内視鏡６００の先端から出射する照明光を発生する光源装置７００とを備える。画像処理装置１００は、内視鏡６００が生成した画像に対し、上記実施の形態１と同様の所定の画像処理を施すとともに、内視鏡システム６全体の動作を統括的に制御する。なお、画像処理装置１００の代わりに、実施の形態２～４に係る画像処理装置２００、３００、４００を適用しても良い。また、図１９においては、画像処理装置１００が備える表示部１６０（図１参照）を本体の外部に図示している。
　内視鏡６００は、可撓性を有する細長形状をなす挿入部６１と、挿入部６１の基端側に接続され、各種の操作信号の入力を受け付ける操作部６２と、操作部６２から挿入部６１が延びる方向と異なる方向に延び、画像処理装置１００及び光源装置７００と接続する各種ケーブルを内蔵するユニバーサルコード６３とを備える。
　挿入部６１は、先端部６４と、複数の湾曲駒によって構成された湾曲自在な湾曲部６５と、湾曲部６５の基端側に接続され、可撓性を有する長尺状の可撓管６６とを有する。この挿入部６１の先端部６４に、外部から入射する光を集光する光学系や撮像素子が設けられている。
　操作部６２と先端部６４との間には、画像処理装置１００との間で電気信号の送受信を行う複数の信号線が束ねられた集合ケーブルが接続されている。複数の信号線には、撮像素子が出力した映像信号（画像データ）を画像処理装置１００に伝送する信号線、及び画像処理装置１００が出力する制御信号を撮像素子へ伝送する信号線等が含まれる。
　操作部６２は、湾曲部６５を上下方向及び左右方向に湾曲させる湾曲ノブ６２１と、生検針、生体鉗子、レーザメス、及び検査プローブ等の処置具を挿入する処置具挿入部６２２と、画像処理装置１００や光源装置７００の他、送気手段、送水手段、送ガス手段等の周辺機器に対して操作指示信号を入力する操作入力部である複数のスイッチ６２３と、を有する。
　ユニバーサルコード６３は、ライトガイド及び集合ケーブルを少なくとも内蔵している。また、ユニバーサルコード６３の操作部６２に連なる側と異なる側の端部には、光源装置７００に着脱自在なコネクタ部６７と、コイル状をなすコイルケーブル６７０を介してコネクタ部６７と電気的に接続され、画像処理装置１００と着脱自在な電気コネクタ部６８とが設けられている。
　画像処理装置１００は、先端部６４に設けられた撮像素子から出力された画像データをもとに、表示部１６０に表示する画像を生成する。
　光源装置７００は、制御部１２０（図１参照）の制御の下で、可視光領域を４つ以上の波長帯域に分離した波長帯域ごとの光を順次発生し、ライトガイドを経由して先端部６４の先端から管腔内を照射する。
　なお、上記実施の形態６においては、図１、図６、図１０、又は図１４に示す撮像システムを生体用の内視鏡システムに適用する例を説明したが、工業用の内視鏡システムに適用しても良い。或いは、図１、図６、図１０、又は図１４に示す撮像システムを、生体内に導入されて該生体内を移動しつつ撮像を行うカプセル型内視鏡に適用しても良い。
　また、光源装置７００の代わりに白色光を発生する光源装置を設けると共に、内視鏡６００の先端部６４に分光特性が互いに異なる複数の光学フィルタを設け、管腔内に白色光を照射し、管腔内からの反射光を光学フィルタを介して受光することにより、マルチバンド撮像を行っても良い。
　本発明は、上述した各実施の形態１～６そのままに限定されるものではなく、各実施の形態１～６に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態１～６に示される全構成要素からいくつかの構成要素を除外して形成してもよい。或いは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。
　１～５　撮像システム
　６　内視鏡システム
　１０　撮像装置
　１０１　モノクロカメラ
　１０３　フィルタ部
　１０３ａ　光学フィルタ
　１０３ｂ　フィルタホイール
　１０５　結像レンズ
　１００、２００、３００、４００　画像処理装置
　１１０　画像取得部
　１２０、２１０、３１０　制御部
　１２１、２１１、３１１　面順次マルチバンド撮像制御部
　１３０　記憶部
　１３１　プログラム記憶部
　１３２　画像データ記憶部
　１４０、２２０、４１０　演算部
　１４１　並び順設定部
　１４２　基準画像選択部
　１４３　処理対象画像選択部
　１４４　変換情報推定部
　１４５　変形画像作成部
　１４６　カラー画像作成部
　１５０　入力部
　１６０　表示部
　２１２　連続撮像制御部
　２２１　動画作成部
　４１１　内挿画像作成部
　４１２　内挿画像列作成部
　５００　顕微鏡装置
　５００ａ　アーム
　５０１　落射照明ユニット
　５０１ａ　落射照明用光源
　５０１ｂ　落射照明光学系
　５０２　透過照明ユニット
　５０２ａ　透過照明用光源
　５０２ｂ　透過照明光学系
　５０３　標本ステージ
　５０４、５０４’　対物レンズ
　５０５　鏡筒
　５０６　ステージ位置変更部
　５０６ａ　駆動部
　５０７　三眼鏡筒ユニット
　５０８　接眼レンズユニット
　５０９　レボルバ
　６００　内視鏡
　６１　挿入部
　６２　操作部
　６３　ユニバーサルコード
　６４　先端部
　６５　湾曲部
　６６　可撓管
　６７　コネクタ部
　６８　電気コネクタ部
　６２１　湾曲ノブ
　６２２　処置具挿入部
　６２３　スイッチ
　６７０　コイルケーブル
　７００　光源装置
 
 

Claims (16)

  1. 　互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、
    　前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、
    　隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、
    　前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定部と、
    　前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、
    　前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、
    を備えることを特徴とする画像処理装置。
  2. 　前記並び順において、画像の波長帯域の中心波長が、短波長側から長波長側、又は長波長側から短波長側に、単調にシフトする、ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記並び順は、前記処理対象画像選択部が選択する処理対象画像ごとに設定される、ことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 　前記並び順は、前記処理対象画像選択部が選択する各処理対象画像の間で共通に設定される、ことを特徴とする請求項１又は２に記載の画像処理装置。
  5. 　前記画像群は、４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された一連の画像のうち、基準時刻を含む所定時間内に生成された複数の画像からなり、
    　前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、
    　前記画像群に含まれる画像が前記並び順に沿って撮像されるように撮像順を制御する制御部と、
    　前記基準時刻が異なる複数の前記画像群に基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部と、
    をさらに備えることを特徴とする請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記並び順における前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間に、少なくとも１つの別の波長帯域が挿入されている、ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記並び順において、画像の波長帯域が、前記４つ以上の波長帯域のうち最短波長帯域と最長波長帯域との間を少なくとも１往復する、ことを特徴とする請求項１～５のいずれか１項に記載の画像処理装置。
  8. 　基準時刻の前後に生成された波長帯域が同一の２つの画像を用いて、前記基準時刻における内挿画像を作成する内挿画像作成部と、
    　前記４つ以上の波長帯域についてそれぞれ作成された４つ以上の前記内挿画像と前記基準時刻に生成された画像とを含む画像セットに対し、隣接する画像間において波長帯域が隣り合うように並び順を設定する内挿画像列作成部と、
    をさらに備え、
    　前記基準画像選択部は、前記基準時刻に生成された画像を前記基準画像として選択し、
    　前記処理対象画像選択部は、前記画像セットに含まれる前記内挿画像を前記処理対象画像として選択し、
    　前記変換情報推定部は、前記画像セットを前記画像群として前記変換情報を推定し、
    　前記変形画像作成部は、前記内挿画像に前記画像変換を施すことにより、前記変形画像を作成し、
    　さらに、
    　前記基準時刻が異なる複数の前記画像セットに基づいてそれぞれ作成された複数の前記カラー画像を用いて動画を作成する動画作成部を備える、
    ことを特徴とする請求項１に記載の画像処理装置。
  9. 　前記画像変換は、非剛体変換、平面射影変換、アフィン変換、線形変換、スケール変換、回転変換、及び平行移動のいずれか又は組み合わせである、ことを特徴とする請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　前記変形画像作成部は、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を順次累積した累積変換情報を算出し、該累積変換情報を用いて前記処理対象画像に画像変換を施すことにより、前記変形画像を作成する、
    ことを特徴とする請求項１～９のいずれか１項に記載の画像処理装置。
  11. 　互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択部と、
    　前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択部と、
    　隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定部と、
    　前記並び順における前記処理対象画像から前記基準画像に向け、前記画像群に含まれる画像を順次用いて変換情報を推定する変換情報推定部と、
    　前記処理対象画像に対し、前記変換情報推定部により推定された変換情報を順次用いて画像変換を施すことにより、変形画像を作成する変形画像作成部と、
    　前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成部と、
    を備え、
    　前記変換情報推定部は、前記画像群に含まれる画像と、前記変形画像作成部により前記画像変換が施された画像との間における変換情報を推定する、
    ことを特徴とする画像処理装置。
  12. 　互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、
    　前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、
    　隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、
    　前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、
    　前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、
    　前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、
    を含み、
    　前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、
    ことを特徴とする画像処理方法。
  13. 　互いに異なる４つ以上の波長帯域に分けて被写体を順次撮像することにより生成された４つ以上の画像を含む画像群に対し、前記画像群のうちの１つの画像を基準画像として選択する基準画像選択ステップと、
    　前記画像群のうち前記基準画像以外の複数の画像の各々を処理対象画像として選択する処理対象画像選択ステップと、
    　隣接する画像間において撮像時の波長帯域と撮像順との少なくとも一方が隣り合うように、前記画像群に含まれる画像の並び順を設定する並び順設定ステップと、
    　前記画像群に含まれる画像を前記並び順で配列した場合に隣接する画像間の変換情報を推定する変換情報推定ステップと、
    　前記処理対象画像に対し、前記並び順における前記処理対象画像から前記基準画像に向け、前記変換情報を累積的に用いて画像変換を施すことにより、変形画像を作成する変形画像作成ステップと、
    　前記複数の画像に基づいてそれぞれ作成された複数の前記変形画像と、前記基準画像とを用いて、カラー画像を作成するカラー画像作成ステップと、
    をコンピュータに実行させ、
    　前記並び順で隣接する画像間において、撮像時の波長帯域と撮像順との少なくとも一方が隣り合っている、
    ことを特徴とする画像処理プログラム。
  14. 　請求項１～１１のいずれか１項に記載の画像処理装置と、
    　面順次方式により前記４つ以上の波長帯域に分けて撮像を行うことにより画像データを生成し、前記画像処理装置に出力する撮像手段と、
    を備えることを特徴とする撮像システム。
  15. 　前記撮像手段は、
    　前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、
    　前記４つ以上の波長帯域の各々に対応する感度を有するフィルタを前記受光面に順次配置するフィルタ部と、
    を備えることを特徴とする請求項１４に記載の撮像システム。
  16. 　前記撮像手段は、
    　前記４つ以上の波長帯域の各々に帯域が制限された光を前記被写体に順次照射する光照射手段と、
    　前記被写体からの観察光を受光する受光面を有し、該受光面に入射した光の強度に応じた画像データを出力する撮像素子と、
    を備えることを特徴とする請求項１４に記載の撮像システム。
     
     
     
PCT/JP2015/070323 2014-07-22 2015-07-15 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム WO2016013470A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/410,184 US10089768B2 (en) 2014-07-22 2017-01-19 Image processing device, image processing method, image processing program, and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-149145 2014-07-22
JP2014149145A JP6408817B2 (ja) 2014-07-22 2014-07-22 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/410,184 Continuation US10089768B2 (en) 2014-07-22 2017-01-19 Image processing device, image processing method, image processing program, and imaging system

Publications (1)

Publication Number Publication Date
WO2016013470A1 true WO2016013470A1 (ja) 2016-01-28

Family

ID=55162996

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/070323 WO2016013470A1 (ja) 2014-07-22 2015-07-15 画像処理装置、画像処理方法、画像処理プログラム、及び撮像システム

Country Status (3)

Country Link
US (1) US10089768B2 (ja)
JP (1) JP6408817B2 (ja)
WO (1) WO2016013470A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020051954A (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 試料撮影装置
WO2021171487A1 (ja) * 2020-02-27 2021-09-02 株式会社Ｆｕｊｉ 画像補正方法、撮像装置および検査装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6585006B2 (ja) * 2016-06-07 2019-10-02 株式会社東芝 撮影装置および車両
WO2018198254A1 (ja) 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
JP7468162B2 (ja) * 2020-06-03 2024-04-16 株式会社ニデック 眼底画像処理プログラムおよび眼底撮影装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP2014008142A (ja) * 2012-06-28 2014-01-20 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014045275A (ja) * 2012-08-24 2014-03-13 Olympus Corp 画像処理装置、撮像装置及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3724761C1 (de) * 1987-07-25 1988-09-15 Wolf Gmbh Richard Video-Endoskop
US6256073B1 (en) * 1997-11-26 2001-07-03 Texas Instruments Incorporated Color source selection for improved brightness
JP2000299874A (ja) 1999-04-12 2000-10-24 Sony Corp 信号処理装置及び方法並びに撮像装置及び方法
EP1546693A1 (en) * 2002-09-30 2005-06-29 Applied Materials Israel, Ltd. Dark field inspection system
EP2001222A4 (en) * 2006-03-22 2013-03-06 Panasonic Corp IMAGING DEVICE
JP4983093B2 (ja) * 2006-05-15 2012-07-25 ソニー株式会社 撮像装置および方法
JP4952329B2 (ja) 2007-03-27 2012-06-13 カシオ計算機株式会社 撮像装置、色収差補正方法およびプログラム
EP2353042A4 (en) * 2008-10-14 2013-06-26 Sanford Burnham Med Res Inst AUTOMATED SCANNING CYTOMETRY USING CHROMATIC ABERRATION FOR ACQUIRING MULTIPLANE IMAGES

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257287A (ja) * 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP2014008142A (ja) * 2012-06-28 2014-01-20 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2014045275A (ja) * 2012-08-24 2014-03-13 Olympus Corp 画像処理装置、撮像装置及び画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020051954A (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 試料撮影装置
JP7015227B2 (ja) 2018-09-27 2022-02-15 富士フイルム株式会社 試料撮影装置
US11372241B2 (en) 2018-09-27 2022-06-28 Fujifilm Corporation Sample imaging apparatus
WO2021171487A1 (ja) * 2020-02-27 2021-09-02 株式会社Ｆｕｊｉ 画像補正方法、撮像装置および検査装置

Also Published As

Publication number Publication date
JP2016025530A (ja) 2016-02-08
US10089768B2 (en) 2018-10-02
JP6408817B2 (ja) 2018-10-17
US20170132824A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
US10089768B2 (en) Image processing device, image processing method, image processing program, and imaging system
JP6104493B1 (ja) 撮像システム
JP5767412B2 (ja) 内視鏡システム
CN105451633B (zh) 内窥镜系统
JP6401800B2 (ja) 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
CN109425978B (zh) 具有改进的截面厚度的高分辨率2d显微镜检查
JP6736670B2 (ja) 内視鏡システム
JP2018181333A (ja) 医学−光学式表示システムを作動させるための方法
WO2017163427A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
WO2016092940A1 (ja) 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
WO2018109109A1 (en) An optical scope system for capturing an image of a scene
JP6563486B2 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP7012549B2 (ja) 内視鏡装置、内視鏡装置の制御方法、内視鏡装置の制御プログラム、および記録媒体
US10429632B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2010156612A (ja) 画像処理装置、画像処理プログラム、画像処理方法およびバーチャル顕微鏡システム
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
JP2014228851A (ja) 内視鏡装置、画像取得方法および画像取得プログラム
CN117670971A (zh) 图像处理装置、图像处理方法和存储介质
JP7068438B2 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
WO2015194204A1 (ja) 内視鏡装置
JP2018202006A (ja) 撮像システム、撮像方法およびプログラム
JP6346455B2 (ja) 画像処理装置及び顕微鏡システム
JP2020141853A (ja) 画像処理装置、画像処理方法およびプログラム
JP7235532B2 (ja) 医療用画像処理装置、画像処理方法およびプログラム
JP2010124921A (ja) 画像取得方法および装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15824839

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15824839

Country of ref document: EP

Kind code of ref document: A1