WO2012026597A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2012026597A1
WO2012026597A1 PCT/JP2011/069339 JP2011069339W WO2012026597A1 WO 2012026597 A1 WO2012026597 A1 WO 2012026597A1 JP 2011069339 W JP2011069339 W JP 2011069339W WO 2012026597 A1 WO2012026597 A1 WO 2012026597A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
alignment
subject
resolution
Prior art date
Application number
PCT/JP2011/069339
Other languages
English (en)
French (fr)
Inventor
一樹 相坂
小林　誠司
拓哉 岸本
大月　知之
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/818,027 priority Critical patent/US9361667B2/en
Priority to EP11820057.5A priority patent/EP2609853A4/en
Priority to JP2012530745A priority patent/JP6167518B2/ja
Priority to CN2011800522557A priority patent/CN103188988A/zh
Publication of WO2012026597A1 publication Critical patent/WO2012026597A1/ja
Priority to US15/091,135 priority patent/US10863897B2/en
Priority to US17/089,083 priority patent/US20210045627A1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
    • A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/04—Scanning arrangements
    • H04N2201/0402—Arrangements not specific to a particular one of the scanning methods covered by groups H04N1/04 - H04N1/207
    • H04N2201/0414—Scanning an image in a series of overlapping zones

Definitions

  • the present technology relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of obtaining a captured image of a higher quality object while suppressing an increase in load on the object.
  • a so-called fundus examination has been performed in which a fundus, such as a retina in the eyeball or an optic disc, is observed through a pupil.
  • the fundus examination is performed using, for example, a dedicated device such as a fundus mirror or a fundus camera.
  • a dedicated device such as a fundus mirror or a fundus camera.
  • the observer captures an image of the fundus within the eyeball of the subject, which is an observation target, with the fundus camera, and displays the obtained captured image on a monitor or the like to perform observation.
  • Patent Document 1 describes a method of performing noise reduction from a plurality of fundus images.
  • Patent Document 2 describes a method of obtaining a high resolution image by irradiating a periodic pattern.
  • Patent Document 3 also describes a method of performing noise reduction from a plurality of fundus images.
  • Non-Patent Document 1 describes a blur removing method combining Wavefront sensing and Wiener Filter.
  • Patent Document 3 relates to noise removal, and it has been difficult to emphasize the contour by this method.
  • Non-Patent Document 1 is a process relating to deblurring of an image, and it has been difficult to emphasize the contour by this method.
  • the present technology has been made in view of such a situation, and has an object of obtaining a captured image of a subject with higher image quality while suppressing an increase in load on the subject.
  • an alignment unit that performs alignment so as to align the position of a subject in a plurality of captured images obtained by an imaging unit that captures the subject using biological information of the subject. It is an image processing device provided with the superposition part which generates the picture of the photographic subject whose dynamic range is larger than the captured image by superimposing the captured image on which the alignment has been performed by the alignment unit.
  • the superposition unit uses the detection unit that detects a motion vector between the captured image and the image of the subject generated by the superposition, and the motion vector detected by the detection unit.
  • a motion compensation unit that performs motion compensation on an image of a subject, a subtraction unit that subtracts the captured image from the image of the subject on which motion compensation is performed by the motion compensation unit, and the motion vector detected by the detection unit Reverse motion compensation unit for performing motion compensation in a direction opposite to motion compensation by the motion compensation unit to a difference value between the image of the subject by the subtraction unit and the captured image;
  • the image processing apparatus may further include an addition unit that adds the difference value subjected to the motion compensation by the unit to the image of the subject.
  • the superposition unit downsamples the image of the subject on which motion compensation has been performed by the motion compensation unit, and reduces the resolution of the subject to the resolution of the captured image;
  • the image processing apparatus further comprises an upsampling unit that upsamples the difference value between the image and the captured image and raises the resolution of the difference value to the resolution of the image of the subject, and the subtraction unit is downsampled by the downsampling unit.
  • the reverse motion compensation unit subtracts the captured image from the image of the subject and uses the motion vector detected by the detection unit, the reverse motion compensation unit performs the motion to the difference value upsampled by the upsampling unit. Motion compensation can be performed in the opposite direction to motion compensation by the compensation unit.
  • the alignment unit performs the alignment so that the position of the subject in the captured image obtained by the imaging unit matches the position of the subject in the image of the subject generated last time, and the overlapping unit A plurality of captured images superimposed on each other by superimposing, one by one, the captured images subjected to alignment by the alignment unit on the image of the subject generated last time, which is more dynamic than the captured images An image of the subject with a large range can be generated.
  • the subject is a fundus
  • the alignment unit may use a blood vessel as the biological information.
  • the alignment unit may further use a crossing point of the blood vessel as the biological information.
  • An estimation unit that estimates a point spread function of the captured image that has been aligned by the alignment unit; and a removal unit that removes blurring of the captured image using the spread function estimated by the estimation unit.
  • the image processing apparatus may further include: the alignment unit performs alignment by the alignment unit; and overlapping, one by one, the captured image from which the blur has been removed by the removal unit with the image of the subject generated previously. Thus, it is possible to generate an image of the subject whose dynamic range is larger than that of the captured image, in which the plurality of captured images are superimposed.
  • the imaging unit can image the subject a plurality of times while irradiating the subject with relatively dark irradiation light.
  • a first aspect of the present technology is also the image processing method of the image processing apparatus, wherein the alignment unit acquires a plurality of captured images obtained by the imaging unit capturing an image of the subject using biological information of the subject. Alignment is performed so as to align the position of the subject, and the overlapping unit generates the image of the subject whose dynamic range is larger than that of the captured image by overlapping the captured image on which the alignment has been performed. It is an image processing method.
  • a superimposed unit configured to superimpose a plurality of captured images obtained by an imaging unit configured to capture an object, and a captured image generated by superimposing a plurality of captured images by the overlapping unit.
  • a tone correction unit that performs tone correction in accordance with the biological information of the subject.
  • the tone correction unit may include a parameter determination unit that determines a value of a parameter for calculating a tone curve used for tone correction of the captured image according to biological information of the subject.
  • the parameter determination unit uses an adjustment unit that adjusts a value of a parameter for calculating a tone curve used for tone correction of the captured image according to a predetermined method, and the parameter whose value is adjusted by the adjustment unit.
  • a correction unit that corrects the captured image, and for each part as a living body included in the captured image, a method after the correction by the correction unit according to the feature of the image of each part.
  • a comparison unit that compares the brightness of the image with the brightness of the captured image after the correction, the adjustment by the adjustment unit, the correction by the correction unit, the inspection by the inspection unit according to the part, and the comparison unit And an output unit that outputs the value of the parameter as the determined value when the comparison unit determines that the captured image after the correction is not brighter than the captured image before the correction. Can be provided.
  • the parameter determination unit further includes a site recognition unit that analyzes the captured image and recognizes a site as a living body included in the captured image, and the site-specific inspection unit is configured to recognize each site recognized by the site recognition unit. An inspection can be performed each time.
  • the parameter determination unit further includes a brightness value calculation unit that calculates a brightness value indicating the brightness of the captured image, and the comparison unit is calculated by the brightness value calculation unit, and the imaging before the correction is performed The brightness value of the image can be compared with the brightness value of the captured image after the correction.
  • the parameter determination unit may further include a parameter selection unit that selects an adjustment target parameter to be adjusted by the adjustment unit from among a plurality of parameters.
  • the parameter determination unit further includes a region recognition unit that analyzes the captured image and recognizes a region as a living body included in the captured image, and the correction unit is an image of each region recognized by the region recognition unit.
  • the individual inspection unit inspects the image of each part corrected by the correction unit, and the comparison unit outputs the brightness of the image of each part before correction by the correction unit and the brightness after correction. Can be compared.
  • the image processing apparatus may further include a resolution increasing unit that increases the resolution of the captured image that has been subjected to the tone correction by the tone correction unit.
  • the resolution increasing unit may increase the resolution of the captured image which has been subjected to the tone correction by the tone correction unit according to the biological information of the subject.
  • the overlapping unit superimposes a plurality of captured images obtained by an imaging unit that captures an object, and performs tone correction
  • the image processing method is an image processing method in which the unit performs gradation correction on a captured image generated by superimposing a plurality of captured images according to biological information of the subject.
  • a superimposed unit configured to superimpose a plurality of captured images obtained by an imaging unit configured to capture an object, and a captured image generated by superimposing a plurality of captured images by the overlapping unit.
  • a resolution increasing unit that increases the resolution of the object according to the biological information of the subject.
  • the high resolution processing unit performs super resolution processing of improving resolution by learning on the captured image for each of a plurality of types of learning dictionaries, and a plurality of super resolution result images that are high resolution captured images are generated.
  • the method is optimized according to the feature of the image of each region, based on the evaluation by the region-specific image evaluation unit and the region-specific image evaluation unit, among the plurality of super-resolution result images
  • an image selection unit for selecting a super-resolution result image.
  • the high-resolution unit further includes a part recognition unit that analyzes the super-resolution result image and recognizes a part as a living body included in the super-resolution result image, and the part-by-part image evaluation unit
  • the resolution result image can be evaluated by a method according to the feature of the image of each part, for each part recognized by the part recognition unit.
  • the image processing apparatus further includes a tone correction unit that performs tone correction on a captured image generated by superimposing a plurality of captured images by the overlapping unit, and the high resolution unit is configured to perform the tone correction by the tone correction unit.
  • the resolution of the captured image can be increased according to the biological information of the subject.
  • the tone correction unit may perform tone correction on a captured image generated by superimposing a plurality of captured images by the overlapping unit according to biological information of the subject.
  • a third aspect of the present technology is the image processing method of the image processing apparatus, wherein the superimposing unit superimposes a plurality of captured images obtained by the imaging unit for capturing an object, thereby increasing the resolution
  • the superimposing unit superimposes a plurality of captured images obtained by the imaging unit for capturing an object, thereby increasing the resolution
  • infrared light is used to align the position of the subject in a plurality of infrared light images obtained by an imaging unit that captures the subject using biological information of the subject
  • a visible light image alignment unit that aligns the plurality of visible light images obtained by the imaging unit so as to align the position of the subject, and the visible light that is aligned by the visible light alignment unit
  • an overlapping unit that generates an image of the subject having a larger dynamic range than the visible light image by overlapping light images. It is the location.
  • the imaging unit can capture a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light quantity and infrared light of a light quantity higher than the predetermined light quantity.
  • the infrared light image alignment unit first obtains the position of the subject in the infrared light image obtained by the imaging unit among the plurality of infrared light images obtained by the imaging unit.
  • the alignment is performed so as to align with the position of the subject in the infrared light image, and the superposition unit generates the visible light image previously subjected to the alignment by the visible light image alignment unit.
  • the subject is a fundus
  • the infrared light image alignment unit can use a blood vessel as the biological information.
  • the infrared light image alignment unit may further use a crossing point of the blood vessel as the biological information.
  • a fourth aspect of the present technology is the image processing method of the image processing apparatus, wherein the infrared light image alignment unit is obtained by the imaging unit imaging the subject using the biological information of the subject. Alignment is performed so as to align the position of the subject in a plurality of infrared light images, and the alignment information storage unit stores alignment information that is the result of alignment by the infrared light image alignment unit, The optical image alignment unit aligns the object so as to align the position of the subject in the plurality of visible light images obtained by the imaging unit using the alignment information stored in the alignment information storage unit.
  • the dynamic range is higher than that of the visible light image by superimposing the visible light image on which the alignment has been performed by the visible light alignment unit.
  • infrared light is used to align the position of the subject in a plurality of infrared light images obtained by an imaging unit that captures the subject using biological information of the subject
  • a visible light image alignment unit that aligns the plurality of visible light images obtained by the imaging unit so as to align the position of the subject; and a plurality of alignments performed by the visible light alignment unit.
  • a visible light image generated by superimposing a plurality of visible light images by the superposition unit that superimposes the visible light images on each other
  • the imaging unit can capture a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light quantity and infrared light of a light quantity higher than the predetermined light quantity.
  • the image processing apparatus may further include a resolution increasing unit for increasing the resolution of the visible light image subjected to the tone correction by the tone correction unit.
  • the resolution increasing unit may increase the resolution of the visible light image subjected to the tone correction by the tone correction unit according to biological information of the subject.
  • the subject is a fundus
  • the infrared light image alignment unit can use a blood vessel as the biological information.
  • the infrared light image alignment unit may further use a crossing point of the blood vessel as the biological information.
  • a fifth aspect of the present technology is the image processing method of the image processing apparatus, wherein the infrared light image alignment unit is obtained by the imaging unit imaging the subject using the biological information of the subject. Alignment is performed so as to align the position of the subject in a plurality of infrared light images, and the alignment information storage unit stores alignment information that is the result of alignment by the infrared light image alignment unit, The optical image alignment unit aligns the object so as to align the position of the subject in the plurality of visible light images obtained by the imaging unit using the alignment information stored in the alignment information storage unit.
  • a superposition unit superimposes the plurality of visible light images on which alignment has been performed by the visible light alignment unit, and a gradation correction unit is configured to perform a plurality of the plurality of the visible light images by the superposition unit.
  • the visible light image Miko image is generated is superimposed an image processing method of gradation correction in accordance with the biometric information of the object.
  • a plurality of captured images obtained by the imaging unit are acquired through an imaging unit configured to image a subject and a network, and image processing is performed on the acquired plurality of captured images.
  • the diagnostic system includes an image processing unit to be applied, a storage unit that stores the captured image subjected to the image processing by the image processing unit, and an output unit that outputs the captured image stored in the storage unit.
  • the image processing unit is an alignment unit that performs alignment so as to align the position of the subject in the plurality of captured images using biological information of the subject, and the alignment is performed by the alignment unit.
  • the image processing unit is an alignment unit that performs alignment so as to align the position of the subject in the plurality of captured images using biological information of the subject, and the alignment is performed by the alignment unit.
  • By superimposing the captured images it is possible to further include a superimposing unit that generates an image of the subject having a larger dynamic range than the captured image.
  • the image processing unit is a superimposing unit that superimposes a plurality of captured images obtained by the imaging unit on one another, and a captured image generated by superimposing a plurality of captured images by the overlapping unit on biological information of the subject And a tone correction unit that performs tone correction in accordance with.
  • the image processing unit may further include a resolution increasing unit for increasing the resolution of the captured image that has been subjected to the tone correction by the tone correction unit.
  • the imaging unit captures a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light amount and infrared light of a light amount higher than the predetermined light amount
  • the image processing unit An infrared light image alignment unit that performs alignment so as to align the position of the subject in a plurality of infrared light images obtained by the imaging unit using the biological information of A plurality of visible light images obtained by the imaging unit using an alignment information storage unit that stores alignment information that is a result of alignment according to the position information, and the alignment information stored in the alignment information storage unit
  • a visible light image alignment unit that performs alignment so as to align the position of the subject, and the visible light image that has been aligned by the visible light alignment unit And it makes it possible to further comprise an overlapping portion which dynamic range to generate an image of large the object than the visible light image.
  • the imaging unit captures a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light amount and infrared light of a light amount higher than the predetermined light amount
  • the image processing unit An infrared light image alignment unit that performs alignment so as to align the position of the subject in a plurality of infrared light images obtained by the imaging unit using the biological information of
  • a visible light image alignment unit that performs alignment so as to align the position of the subject, and overlapping the plurality of visible light images that have been aligned by the visible light alignment unit;
  • a tone correction unit that performs tone correction on the visible light image generated by superimposing the plurality of visible light images by the superposition unit according to the biological information of the subject. it can.
  • the subject may be a fundus.
  • alignment is performed to align the position of the subject in a plurality of captured images obtained by an imaging unit that captures the subject, and a plurality of acquired images are obtained.
  • the picked-up images of are superimposed while being aligned, and an image of a subject having a larger dynamic range than the picked-up image is generated.
  • a plurality of captured images obtained by an imaging unit for capturing an object are superimposed on one another, and a captured image generated by overlapping a plurality of captured images is biological information of the object.
  • the tone is corrected according to.
  • a plurality of captured images obtained by an imaging unit for capturing an object are superimposed on one another, and a captured image generated by overlapping a plurality of captured images is the biological information of the object.
  • the resolution is enhanced accordingly.
  • alignment is performed so as to align the position of the subject in a plurality of infrared light images obtained by the imaging unit that captures the subject, using the biological information of the subject.
  • the alignment information which is the result of is stored, alignment is performed so as to align the position of the subject in the plurality of visible light images using the alignment information, and the visible light images subjected to alignment are superimposed. As a result, an image of an object having a larger dynamic range than the visible light image is generated.
  • alignment is performed so as to align the position of the subject in a plurality of infrared light images obtained by the imaging unit that captures the subject, using the biological information of the subject.
  • the alignment information which is the result of the above, is stored, and alignment is performed to align the position of the subject in the plurality of visible light images using the alignment information, and the plurality of visible light images in which the alignment is performed are mutually
  • the visible light image generated by superimposing a plurality of visible light images on each other is tone-corrected according to the biological information of the subject.
  • a subject is imaged, a plurality of captured images are acquired through a network, image processing is performed on the acquired plurality of captured images, and the image processing is performed.
  • the captured image is stored, and the stored captured image is output.
  • an image can be processed.
  • it is possible to obtain a captured image of the subject with higher image quality while suppressing an increase in load on the subject.
  • First embodiment (fundus image processing apparatus) 2.
  • Second embodiment (fundus image processing apparatus) 3.
  • Third Embodiment (fundus oculi image processing device) 4.
  • Fourth Embodiment (fundus oculi image processing device) 5.
  • Fifth Embodiment (fundus oculi image processing device) 6.
  • Sixth Embodiment (Remote Diagnosis System) 7. Seventh Embodiment (Personal Computer)
  • FIG. 1 is a block diagram showing an example of the main configuration of a fundus oculi image processing device to which the present technology is applied.
  • the fundus oculi image processing apparatus 100 shown in FIG. 1 is an apparatus for imaging a fundus oculi such as a retina or optic nerve head in an eyeball of a subject to be observed and obtaining an image (fundus oculi image) of the fundus oculi which is the imaged image. .
  • the fundus oculi image processing apparatus 100 performs imaging while suppressing the amount of light irradiated to the subject in order to suppress an increase in the load on the subject (the fundus of the subject). Further, the fundus oculi image processing device 100 performs imaging a plurality of times to obtain a fundus image having higher image quality, obtains a plurality of captured images, and performs super-resolution processing using them.
  • the fundus oculi image processing device 100 includes an imaging unit 101, an image processing unit 102, a storage unit 103, and an output unit 104.
  • the imaging unit 101 includes an imaging element using, for example, a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and images a fundus of a subject at a predetermined position.
  • the imaging unit 101 may be anything as long as it can image a fundus of a subject and obtain a fundus image. However, the imaging unit 101 has a function of irradiating the subject with light at the time of imaging in order to obtain a fundus image with higher image quality.
  • the amount of light (irradiated light) to be irradiated irradiate the irradiation light to make the fundus brighter
  • the amount of light is increased, the load on the subject may be increased, which may unnecessarily affect the observation target or may increase the psychological burden on the subject.
  • the imaging unit 101 performs imaging a plurality of times instead of increasing the light amount of the irradiation light. That is, the imaging unit 101 repeats imaging of the fundus a plurality of times while irradiating the irradiation light with a low light amount. Therefore, it is desirable that the imaging unit 101 be capable of imaging a plurality of times in as short a time as possible so that the fundus images obtained by imaging can be approximated to each other as much as possible.
  • Each fundus image obtained by such imaging has low image quality because the irradiation light is weak (dark).
  • the imaging unit 101 supplies the plurality of low-quality fundus images thus obtained to the image processing unit 102.
  • the image processing unit 102 generates a single high-quality fundus image by using a plurality of low-quality fundus images supplied from the imaging unit 101, and stores it in the storage unit 103, or an output unit. Output from 104 or the like.
  • the storage unit 103 includes, for example, an arbitrary storage medium such as a hard disk, a flash memory, or a RAM (Random Access Memory), and stores a higher quality fundus image supplied from the image processing unit 102.
  • the fundus image stored in the storage unit 103 is read out by a reproduction unit (not shown) or the like, displayed on the output unit 104, transmitted to another device, or subjected to image processing by an image processing unit (not shown). .
  • the output unit 104 has an arbitrary monitor such as a CRT (Cathode Ray Tube) display or an LCD (Liquid Crystal Display), or an output terminal, and displays the fundus oculi image supplied from the image processing unit 102 on the monitor. Or to a device outside the fundus image processing apparatus 100.
  • a CRT Cathode Ray Tube
  • LCD Liquid Crystal Display
  • the image processing unit 102 includes an input image buffer 111, a super resolution processing unit 112, an SR (Super Resolution) image buffer 113, and an operation unit 114.
  • SR Super Resolution
  • the input image buffer 111 has an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, and holds a plurality of low quality fundus images (captured images) supplied from the imaging unit 101 as input images.
  • the respective input images are supplied to the super resolution processing unit 112 as LR (Low Resolution) images at predetermined timing.
  • the super-resolution processing unit 112 performs, for example, the same super-resolution processing as the super-resolution processor described in Japanese Patent Laid-Open No. 2009-093676 (hereinafter referred to as Patent Document 4). That is, the super-resolution processing unit 112 generates a new SR image using the LR image supplied from the input image buffer 111 and the SR image generated in the past supplied from the SR image buffer 113. The super resolution process of calculating and outputting the feedback value of is recursively repeated. The super-resolution processing unit 112 supplies the calculated feedback value to the calculation unit 114 as the super-resolution processing result.
  • the SR image buffer 113 has an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, holds the generated SR image, and executes the SR image processing unit 112 or calculation at a predetermined timing. It supplies to the part 114.
  • the calculation unit 114 generates a new SR image by adding the feedback value supplied from the super-resolution processing unit 112 to the SR image generated in the past supplied from the SR image buffer 113.
  • the operation unit 114 supplies the generated new SR image to the SR image buffer 113 and holds it, and uses the SR image for the next super-resolution processing (generation of a new SR image).
  • the calculation unit 114 supplies the generated SR image to the storage unit 103 for storage, supplies the generated SR image to the output unit 104 for display, or outputs the generated SR image to an external device or the like.
  • the super resolution processing unit 112 includes a motion vector detection unit 121, a motion compensation unit 122, a down sampling filter 123, an operation unit 124, an up sampling filter 125, and a reverse motion compensation unit 126. .
  • the SR image read from the SR image buffer 113 is supplied to the motion vector detection unit 121 and the motion compensation unit 122, and the LR image read from the input image buffer 111 is supplied to the motion vector detection unit 121 and the operation unit 124. Ru.
  • the motion vector detection unit 121 detects a motion vector based on the SR image based on the input SR image and LR image, and supplies the detected motion vector to the motion compensation unit 122 and the reverse direction motion compensation unit 126. .
  • the motion compensation unit 122 performs motion compensation on the SR image based on the motion vector supplied from the motion vector detection unit 121, and supplies the image obtained by motion compensation to the downsampling filter 123.
  • the position of the object shown in the image obtained by applying the motion compensation is close to the position of the object shown in the LR image.
  • the downsampling filter 123 downsamples the image supplied from the motion compensation unit 122 to generate an image with the same resolution as the LR image, and supplies the generated image to the calculation unit 124.
  • a motion vector is obtained from the SR image and the LR image, and an image obtained by performing motion compensation using the obtained motion vector is made an image of the same resolution as the LR image.
  • the image corresponds to simulating the image based on the SR image stored in the SR image buffer 113.
  • the calculation unit 124 generates a difference image representing the difference between the LR image and the image thus simulated, and supplies the generated difference image to the up-sampling filter 125.
  • the up-sampling filter 125 up-samples the difference image supplied from the calculation unit 124 to generate an image of the same resolution as the SR image, and outputs the generated image to the backward motion compensation unit 126.
  • the reverse motion compensation unit 126 performs motion compensation in the reverse direction on the image supplied from the upsampling filter 125 based on the motion vector supplied from the motion vector detection unit 121, and performs motion compensation in the reverse direction.
  • a feedback value representing the obtained image is supplied to the calculation unit 114.
  • the position of the object shown in the image obtained by applying the motion compensation in the reverse direction is close to the position of the object shown in the SR image stored in the SR image buffer 113.
  • the image processing unit 102 performs such super-resolution processing on each of a plurality of fundus images (LR images) held in the input image buffer 111 using the super-resolution processing unit 112, and finally one Generate a higher quality SR image.
  • LR images fundus images
  • step S101 the imaging unit 101 reduces the light amount and images the subject's fundus (subject) a plurality of times.
  • step S102 the image processing unit 102 stores the captured image obtained by the process of step S101 in the input image buffer 111.
  • the image processing unit 102 generates an initial image, which is the first SR image, by an arbitrary method, and stores the initial image in the SR image buffer 113.
  • the image processing unit 102 generates an initial image by upsampling the captured image (LR image) obtained first to an image of the same resolution as the SR image.
  • step S104 the input image buffer 111 selects one of the stored unprocessed captured images (LR images) and supplies the selected one to the super-resolution processing unit 112.
  • step S105 the motion vector detection unit 121 detects a motion vector from the SR image and the LR image.
  • step S106 the motion compensation unit 122 performs motion compensation on the SR image using the motion vector.
  • step S107 the downsampling filter 123 downsamples the motion-compensated SR image to the same resolution as the LR image.
  • step S108 the calculation unit 124 obtains a difference image between the downsampling result of the SR image and the input LR image.
  • step S109 the upsampling filter 125 upsamples the difference image.
  • step S110 the backward motion compensation unit 126 performs backward motion compensation on the upsampling result of the difference image using the motion vector detected in the process of step S105.
  • step S111 the calculation unit 114 adds the feedback value, which is the result of the upswing of the difference image calculated in the process of step S110, to the SR image generated in the past held by the SR image buffer 113.
  • step S 112 the image processing unit 102 stores the newly generated SR image in the storage unit 103 or causes the output unit 104 to output the SR image, and stores the SR image in the SR image buffer 113.
  • step S113 the input image buffer 111 determines whether all captured images (LR images) have been processed. If it is determined that there is an unprocessed captured image (LR image), the process proceeds to step S104. Then, a new captured image is selected as a processing target, and the subsequent processing is repeated for the captured image.
  • LR images captured images
  • step S113 when it is determined that all the plurality of captured images obtained by capturing the image a plurality of times by the imaging unit 101 are processed and one high-quality fundus image is obtained, the input image buffer 111 The fundus oculi image generation processing ends.
  • the fundus oculi image processing apparatus 100 can obtain a fundus image with higher image quality without increasing the light amount of the irradiation light to the fundus. That is, the fundus oculi image processing apparatus 100 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • the super-resolution processing is described to obtain an SR image of higher resolution than the captured image (LR image) as a fundus image of higher quality, but the present invention is not limited thereto. It may be the same as the image. In that case, the downsampling filter 123 and the upsampling filter 125 are omitted in the fundus oculi image processing apparatus 100 of FIG.
  • the dynamic range is expanded by superimposing a plurality of fundus images obtained in the imaging unit 101, so that a fundus image with higher image quality can be obtained.
  • the plurality of fundus images obtained by the imaging unit 101 are obtained by performing imaging a plurality of times, and are not necessarily identical to each other. For example, in some or all of the images, displacement or deformation may be considered. Therefore, simply overlapping the plurality of fundus images may result in blurring or doubling of the image due to positional deviation or the like, and the image quality may not always be high.
  • the super-resolution processing unit 112 performs motion detection in the motion vector detection unit 121, and performs motion compensation appropriately by the motion compensation unit 122 and the reverse motion compensation unit 126. It can be reduced. Therefore, the fundus oculi image processing apparatus 100 can obtain a captured image of the subject with higher image quality without increasing the resolution in the super-resolution processing.
  • the above-described super-resolution processing can be performed in arbitrary units. For example, it may be performed on the entire captured image or may be performed on each partial image of a predetermined size called a macro block.
  • the fundus oculi image is basically composed of substantially uniform colors throughout the image.
  • the fundus image is a relatively dark image because the light amount of the irradiation light is reduced.
  • a plurality of times of imaging by the imaging unit 101 are performed under the same conditions as much as possible in a relatively short time. Therefore, the amount of motion between images is often relatively small.
  • a part of the image does not move extremely greatly compared to the other part, and almost the whole moves in almost uniformly.
  • the image alignment may be performed on the entire image using the biological information of the subject.
  • FIG. 3 is a block diagram showing a main configuration example of the fundus image processing apparatus in that case.
  • a fundus oculi image processing device 200 shown in FIG. 3 is a device similar to the fundus oculi image processing device 100 of FIG. 1 and basically has the same configuration as the fundus oculi image processing device 100, but instead of the image processing unit 102.
  • the image processing unit 202 is included.
  • the image processing unit 202 aligns a plurality of fundus images of relatively low image quality using the biological information of the subject and then superimposes them, thereby generating a single fundus image with higher image quality.
  • the image processing unit 202 includes an input image buffer 111, a biometric information registration processing unit 212, a super resolution processing unit 213, and a super resolution result image buffer 214.
  • the living body information registration processing unit 212 uses the living body information of the subject to obtain a fundus oculi image (input image) supplied from the input image buffer 111 and a fundus oculi image supplied from the super resolution result image buffer 214 (super resolution The image is aligned with the image (superimposed image) by the processing unit 213.
  • the living body information alignment processing unit 212 uses, for example, a blood vessel, a nerve, an optic nerve head or the like as living body information used for alignment.
  • this biometric information is arbitrary and may be other than these.
  • the shape of the cell or the nucleus or the like may be used for alignment of the image as biological information of the subject.
  • plural types of biological information for example, blood vessels and optic nerve papilla etc. may be used.
  • the super resolution processing unit 213 acquires, from the super resolution result image buffer 214, the super resolution processing result image (image obtained as the super resolution processing result) generated in the past, and the super resolution result image, A super-resolution result image is generated by superimposing the input image registered by the biological information registration processing unit 212 with the input image.
  • the super-resolution processing unit 213 stores the super-resolution result image in the storage unit 103 or causes the output unit 104 to output it, and supplies and stores the super-resolution result image in the super-resolution result image buffer 214.
  • the super resolution result image buffer 214 has an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, for example, holds the super resolution result image generated by the super resolution processing unit 213, and At timing, the super-resolution result image is supplied to the biological information registration processing unit 212 and the super-resolution processing unit 213.
  • the imaging unit 101 reduces the light amount to image the fundus of the eye 221 a plurality of times to generate a plurality of fundus images 222 as illustrated in a square 231 in FIG.
  • the input image buffer 111 stores the plurality of dark, low-quality fundus images 222, and the fundus images 222 are subjected to biometric information alignment processing one by one at a predetermined timing. To the section 212.
  • the biological information alignment processing unit 212 performs alignment between the fundus image 222 and the super-resolution result image using eye information (biological information), as shown by a square 233 in FIG. 4.
  • the super resolution processing unit 213 performs super resolution processing and high dynamic range processing by image superposition using the aligned fundus image 222 (input image) as shown by a square 234 in FIG. 4. , Super-resolution result image is generated.
  • high resolution indicates that the image is blurred and has a sharper image, and the resolution may not actually be high.
  • the fundus oculi image processing apparatus 200 can obtain a fundus oculi image having higher image quality (blurring is suppressed and a large dynamic range) than a captured image obtained by imaging while suppressing an increase in load on a subject. .
  • FIG. 5 is a block diagram showing a main configuration example of the living body information registration processing unit 212 of FIG.
  • the biological information registration processing unit 212 includes an input image blood vessel extraction unit 241, a super resolution result image blood vessel extraction unit 242, an input image crossover point extraction unit 243, and a super resolution result image crossover point extraction. It has a portion 244, a crossover point registration processing unit 245, and a blood vessel registration processing unit 246.
  • the input image blood vessel extraction unit 241 extracts the blood vessel portion from the input image 251 (fundamental image with low image quality) supplied from the input image buffer 111 (process 261),
  • the combination processing unit 246 is supplied.
  • the input image blood vessel extraction unit 241 uses “the fundus image synthesis method using blood vessel features”, Katsuyoshi Tajima, Tetsuro Tsujiuchi, Hidenori Okuda, Masahiro Oku, 2007 (hereinafter referred to as non-patent document 2)
  • non-patent document 2 As in the method described in, blood vessels are extracted using R components of RGB components.
  • the super-resolution result image blood vessel extraction unit 242 uses the previous super-resolution result image 252 (high-quality fundus image) supplied from the super-resolution result image buffer 214. A portion of the blood vessel is extracted (process 262), and (the blood vessel extraction result 253) is supplied to the blood vessel alignment processing unit 246.
  • the blood vessel registration processing unit 246 uses the blood vessel extraction result extracted from each image to register the blood vessel registration between the input image 251 and the previous super-resolution result image 252.
  • the process (step 266) supplies the registered image 254 together with the blood vessel extraction result 253 to the super-resolution processor 213.
  • the alignment processing (process 266) based on the blood vessel extraction result (the shape and position of the whole blood vessel)
  • simple alignment may be performed according to the position of the crossing point of the blood vessel.
  • the crossover point of the blood vessel is a portion where the blood vessels intersect (including the case of the position of twisting in practice) in the captured image or a portion where it branches.
  • the input image blood vessel extraction unit 241 transmits the blood vessel extraction result from the input image 251 (fundamental image with low image quality) obtained by the process 261 to the input image crossover point extraction unit 243. Supply.
  • the input image crossover point extraction unit 243 extracts crossover points from the blood vessel extraction results supplied from the input image blood vessel extraction unit 241 (process 263), and the crossover point extraction results are extracted as crossover points.
  • the combination processing unit 245 is supplied.
  • the super resolution result image blood vessel extraction unit 242 extracts the blood vessel extraction result 253 from the previous super resolution result image 252 (fundamental image of high quality) obtained by the processing 262, It supplies to the super-resolution result image crossover point extraction unit 244.
  • the super-resolution result image crossover point extraction unit 244 extracts crossover points from the blood vessel extraction result 253 supplied from the super-resolution result image blood vessel extraction unit 242 (process 264), and the crossover The point extraction result is supplied to the crossover point registration processing unit 245.
  • the crossover point registration processing unit 245 uses the crossover point extraction result extracted from each image to generate crossover points between the input image 251 and the previous super-resolution result image 252. Alignment is performed (process 265). Then, the crossover point alignment result is supplied to the blood vessel alignment processing unit 246.
  • the blood vessel alignment processing unit 246 sets the alignment result of the input image using the blood vessel using the blood vessel extraction result with the crossover point alignment result supplied from the crossover point registration processing unit 245 as an initial state (process 266). Do. That is, according to the crossover point alignment result, each blood vessel extraction result is superimposed while performing alignment in the same manner as alignment of the crossover point, and this is made an initial state.
  • the blood vessel registration processing unit 246 can start registration from the state of being simply registered using the crossover point, so that registration can be performed more easily and at high speed. Can.
  • alignment using other biological information may be used in combination. For example, first, while performing alignment at the position of the optic disc, the input image 251 and the previous super-resolution result image 252 are superimposed, and the superposition image is used as an initial value to perform alignment at the intersection point. It is also good.
  • FIG. 7 is a block diagram showing an example of the main configuration of the blood vessel alignment processing unit 246.
  • the blood vessel alignment processing unit 246 includes a superimposition processing unit 271, a shift processing unit 272, a stretching processing unit 273, a rotation processing unit 274, a scaling processing unit 275, and a convergence determination unit 276.
  • the superimposition processing unit 271 superimposes the blood vessel extraction results supplied from the input image blood vessel extraction unit 241 and the super-resolution result image blood vessel extraction unit 242.
  • the superposition processing unit 271 uses the crossover point alignment result supplied from the crossover point alignment processing unit 245 to perform alignment similar to alignment of crossover points.
  • the blood vessel extraction results are superimposed.
  • the superposition processing unit 271 supplies the superposition result to the shift processing unit 272.
  • the blood vessel registration processing unit 246 uses the blood vessel extraction result 291 extracted from the input image supplied from the input image blood vessel extraction unit 241 as a reference (Source), as shown in FIG. Registration is performed with the blood vessel extraction result 292 extracted from the previous super-resolution result image supplied from the image blood vessel extraction unit 242 as a target. That is, alignment is performed so that the blood vessel extraction result 291 approaches the blood vessel extraction result 292.
  • the shift processing unit 272 performs vertical and horizontal shift 281 to shift (shift) the entire blood vessel extraction result 291 in any direction such as the vertical direction or horizontal direction, and the blood vessel extraction result 291 is a blood vessel extraction result.
  • the superposition result is extended and supplied to the processing unit 273 in the state closest to 292.
  • the determination method of how close the blood vessel extraction result 291 and the blood vessel extraction result 292 approach is arbitrary, for example, it is determined by the absolute value difference of both images. That is, the shift processing unit 272 moves (shifts) the entire blood vessel extraction result 291 and searches for a position at which the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is minimum. This determination method is the same in the following processing units.
  • the stretch processing unit 273 stretches (deforms) the blood vessel extraction result 291 in any direction, such as the vertical direction or the horizontal direction, as shown in FIG.
  • the result of superposition is supplied to the rotation processing unit 274 in the state closest to
  • the stretching processing unit 273 stretches (deforms) the blood vessel extraction result 291 in an arbitrary direction, and searches for a shape in which the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is minimum.
  • the rotation processing unit 274 performs rotation 283 to rotate the blood vessel extraction result 291 to the left and right, and in a state where the blood vessel extraction result 291 is closest to the blood vessel extraction result 292, enlargement / reduction processing is performed on the superposition result. It supplies to the part 275.
  • the rotation processing unit 274 rotates the blood vessel extraction result 291 to the left and right, and searches for a direction in which the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is minimum.
  • the enlargement / reduction processor 275 performs enlargement / reduction 284 to enlarge or reduce the blood vessel extraction result 291, and superimposes the blood vessel extraction result 291 in a state closest to the blood vessel extraction result 292.
  • the result is supplied to the convergence determination unit 276.
  • the rotation processing unit 274 enlarges or reduces the blood vessel extraction result 291 and searches for a size at which the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is minimum.
  • the convergence determination unit 276 determines whether the alignment has converged based on the supplied superposition result. For example, the convergence determination unit 276 repeatedly performs each process described above a plurality of times, compares the alignment result obtained this time with the previous alignment result, and the blood vessel extraction result 291 approaches the blood vessel extraction result 292 from the previous time. When it is determined that convergence has not occurred, and the blood vessel extraction result 291 is not closer to the blood vessel extraction result 292 than in the previous time (for example, the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is smaller than the previous time) ), Determine that it has converged.
  • the convergence determination unit 276 When it is determined that the convergence has not occurred (for example, when the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is smaller than the previous time), the convergence determination unit 276 returns the superposition result to the shift processing unit 272, Make alignment again. When it is determined that the alignment has converged, the convergence determination unit 276 determines that the superposition result of the blood vessel extraction result as the alignment result (for example, the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 is minimized. The alignment of the input image 251 is performed on the basis of the superposition result of time), and the aligned input image 251 and the blood vessel extraction result are supplied to the super-resolution processing unit 213.
  • the biometric information registration processing unit 212 is described in, for example, “Shape Matching and Object Recognition Using Shape Contexts”, Serge Belongie, Jitendra Malik, Jan Puzicha, 2002 (hereinafter referred to as Non-Patent Document 3).
  • the alignment may be performed using the histogram of the edge portion.
  • the method of determining whether or not convergence is arbitrary may be a method other than that described above. For example, when the absolute value difference between the blood vessel extraction result 291 and the blood vessel extraction result 292 becomes equal to or less than a predetermined threshold value, it may be determined that convergence has occurred.
  • the alignment by crossing points of the blood vessels is basically the same as the alignment by the whole blood vessels. That is, the crossover point registration processing unit 245 basically has the same configuration as the blood vessel registration processing unit 246, and basically, except for whether the biological information used for alignment is the whole blood vessel or the crossover point. Do the same for
  • the fundus oculi image processing device 200 performs alignment on the entire image using the biological information included in the fundus oculi image by utilizing the features of the image. By doing this, the fundus oculi image processing device 200 can realize easier and more accurate alignment.
  • FIG. 9 is a block diagram showing a main configuration example of the super resolving processor 213. As shown in FIG. In this case, since alignment is performed in the biological information alignment processing unit 212, the super-resolution processing unit 213 performs only deblurring and superposition of the input image.
  • the super resolving processor 213 includes a PSF (Point Spread Function) estimating unit 301, a blur removing processor 302, and a superposition processor 303.
  • PSF Point Spread Function
  • the PSF estimation unit 301 performs PSF (point spread function) estimation (process 311 in FIG. 10) using the blood vessel extraction result supplied from the biological information registration processing unit 212.
  • the estimation of the PSF is performed, for example, in a method as shown in FIG.
  • the PSF estimation unit 301 holds a model of pixel values around the edge obtained in advance from the Gaussian distribution.
  • the PSF estimation unit 301 identifies an edge portion from the aligned blood vessel extraction result 322 as shown by a square 331, extracts pixel values around each edge, and collates it with a model that holds the edge value. Identify a model that matches or approximates. Then, the PSF estimation unit 301 supplies the blur removal processing unit 302 as the estimated PSF to the model that is the most frequent among the identified models.
  • the blur removal processing unit 302 uses the PSF estimation information supplied from the PSF estimation unit 301 to perform blur removal on the aligned input image by a method according to the model. That is, the blur removal processing unit 302 removes the blur by a method according to the blur method (pattern of point spread) of the image.
  • the blur removal processing unit 302 performs blur removal using, for example, a winner filter.
  • a method for removing motion blur as described in “High-quality Motion Deblurring from a Single Image”, Qi Shan, Jiava Jia, Aseem Agarwala, 2008 (hereinafter referred to as Non-Patent Document 4) is used. You may do so.
  • the blur removal processing unit 302 supplies the input image on which the blur removal has been performed to the superposition processing unit 303.
  • the superposition processing unit 303 performs the previous super-resolution result supplied from the super-resolution result image buffer 214 on the input image (the input image subjected to alignment and de-blurring) supplied from the de-blurring processing unit 302.
  • the two images are superimposed by adding to the image, and the superimposed result is output as a new super resolution result image and stored in the storage unit 103 or externally output from the output unit 104. It is stored in the resolution result image buffer 214.
  • the entire image is basically dark and substantially red and uniform. It is also conceivable that the subject moves during imaging. Therefore, focusing is not easy, and defocusing (so-called defocus) is likely to occur. Moreover, since the entire image is substantially uniform, the degree of blurring tends to be uniform.
  • the super-resolution processing unit 213 can efficiently remove blur and easily obtain a fundus image with higher image quality.
  • the PSF estimation unit 301 determines the degree of blurring of the edge portion as described in JP-A-2009-169943 (hereinafter referred to as Patent Document 5), and applies PSF according to the degree of blurring. You may do so.
  • the superimposition processing unit 303 may perform down sampling or up sampling as in the case of FIG. 1 to increase the resolution.
  • the fundus is spherical.
  • irregularities on the fundus such as the optic papilla being raised relative to the surroundings. Therefore, for example, there is a high possibility that the degree of blurring varies depending on the region, such as focusing on a part of the region of the fundus and not focusing on the other part.
  • the PSF estimation unit 301 performs PSF estimation for each predetermined partial area of the fundus image, and the deblurring processing unit 302 sets a filter function for each of the partial areas based on the estimation result, and deblurring May be performed. That is, blur removal may be performed by a filter function according to the position (region) of the fundus image or the pattern (a method of blur removal (for example, filter function) may be different depending on the position of the region, the shape of the fundus, etc. May).
  • step S201 When the fundus oculi image generation process is started, the processes of steps S201 to S204 are performed in the same manner as the processes of steps S101 to S104 of FIG. However, in step S203, the initial image is stored in the super-resolution result image buffer 214. In step S204, one unprocessed captured image is selected as an input image.
  • the biometric information registration processing unit 212 performs biometric information registration processing in step S205.
  • the super resolving processor 213 performs the super resolving process using the alignment result.
  • step S207 the super-resolution processing unit 213 outputs a new super-resolution result image obtained by the super-resolution processing to the storage unit 103 or the output unit 104, and stores the new super-resolution result image in the super-resolution result image buffer 214.
  • step S208 the input image buffer 111 determines whether all the captured images have been processed, and if it is determined that there is an unprocessed captured image, the process returns to step S204, and the subsequent processing is performed.
  • step S208 If it is determined in step S208 that all captured images have been processed, the input image buffer 111 ends the fundus image generation process.
  • the input image blood vessel extraction unit 241 extracts an image of a blood vessel portion from the input image in step S221.
  • the super resolution result image blood vessel extraction unit 242 extracts an image of a blood vessel portion from the previous super resolution result image.
  • step S223 the biological information registration processing unit 212 determines whether to perform registration of the crossover point. If it is determined that alignment of the crossover point is to be performed, the biometric information alignment processing unit 212 proceeds with the process to step S224.
  • step S224 the input image crossover point extraction unit 243 extracts crossover points from the blood vessel extraction result of the input image.
  • the super resolution result image crossover point extraction unit 244 extracts a crossover point from the blood vessel extraction result of the previous super resolution result image.
  • step S226 the crossover point alignment processing unit 245 aligns crossover points using the crossover point extraction results generated in steps S224 and S225.
  • step S224 If it is determined in step S224 that alignment of the crossover point is not to be performed, the process proceeds to step S227.
  • step S227 the blood vessel alignment processing unit 246 aligns the blood vessels.
  • step S227 the blood vessel registration processing unit 246 ends the biological information registration process, returns the process to step S205 of FIG. 12, and executes the processes of step S206 and subsequent steps.
  • step S241 the superimposition processing unit 271 determines whether or not crossover point alignment has been performed. If it is determined that the crossover point alignment has been performed, the process proceeds to step S242, and the crossover point is performed.
  • the alignment result is set as the superposition result, and the blood vessel extraction result extracted in the input image blood vessel extraction unit 241 and the blood vessel extraction result extracted in the super resolution result image blood vessel extraction unit 242 are superimposed and processed according to the superposition result. The process proceeds to step S244.
  • step S241 If it is determined in step S241 that crossover point position alignment is not performed, the superimposition processing unit 271 advances the process to step S243, and the blood vessel extraction result extracted in the input image blood vessel extraction unit 241 and the super resolution result The blood vessel extraction result extracted in the image blood vessel extraction unit 242 is superimposed, and the process proceeds to step S244.
  • step S244 the shift processing unit 272 performs shift registration to shift the blood vessel extraction result of the input image.
  • step S245 the stretch processing unit 273 performs stretch alignment in which the blood vessel extraction result of the input image is expanded and contracted.
  • step S246 the rotation processing unit 274 performs rotational position alignment for rotating the blood vessel extraction result of the input image.
  • step S247 the enlargement and reduction processing unit 275 performs enlargement and reduction alignment for enlarging or reducing the blood vessel extraction result of the input image.
  • step S248 the convergence determination unit 276 determines whether or not alignment has converged. If it is determined that convergence has not occurred, the process returns to step S244, and the subsequent processes are performed. If it is determined in step S248 that the convergence is determined, the convergence determination unit 276 aligns the input image based on the alignment result in step S249, and the aligned input image and the blood vessel extraction result are super-solved. The image is output to the image processing unit 213.
  • step S249 ends, the convergence determination unit 276 ends the blood vessel alignment process, returns the process to step S227 of FIG. 13, ends the biological information alignment process, and returns the process to step S205 of FIG. , And execute the process after step S206.
  • the crossover point alignment process performed in step S226 of FIG. 13 is the same as the blood vessel alignment process described with reference to FIG. 14 except that the crossover point of the blood vessel is used for alignment instead of the whole blood vessel. To be executed.
  • the PSF estimation unit 301 estimates a point spread function (PSF) using the blood vessel extraction result in step S261.
  • the deblurring processing unit 302 deblurs the aligned input image using the estimated point spread function.
  • step S263 the superposition processing unit 303 superimposes the input image after alignment removal after deblurring on the previous super resolution result, and outputs it as a new super resolution result image.
  • step S263 When the process of step S263 ends, the superposition processing unit 303 ends the super-resolution process, returns the process to step S206 of FIG. 12, and executes the processes of step S207 and subsequent steps.
  • the fundus oculi image processing device 200 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • FIG. 3 is a block diagram showing another configuration example of the fundus image processing apparatus.
  • the fundus oculi image processing device 400 shown in FIG. 3 uses biological information (such as information on blood vessels and optic nerve heads) contained in the fundus oculi image for tone reproduction processing and super-resolution processing, and produces a higher quality fundus image.
  • biological information such as information on blood vessels and optic nerve heads
  • the fundus oculi image processing device 400 is a device similar to the fundus oculi image processing device 200 of FIG. 3, basically has the same configuration as the fundus oculi image processing device 200, and performs the same processing. However, the fundus oculi image processing device 400 includes an image processing unit 402 instead of the image processing unit 202 included in the fundus oculi image processing device 200.
  • the image processing unit 402 basically has the same configuration as the image processing unit 202 and performs the same processing, but the super-resolution processing unit 213 and the super-resolution result image buffer 214 of the fundus image processing apparatus 200 are included. Instead, it has a noise reduction processing unit 413, a noise reduction result image buffer 414, a tone reproduction processing unit 415, and a super resolution processing unit 416.
  • the image processing unit 402 reduces the light amount to capture the fundus of the eye 221 a plurality of times, and generates a plurality of low-quality fundus images 222 with low image quality.
  • the input image buffer 111 stores the plurality of dark, low-quality fundus images 222, and based on a request from the biological information alignment processing unit 212, or a predetermined timing.
  • the fundus image 222 is provided to the biological information registration processing unit 212 one by one.
  • the biological information alignment processing unit 212 performs alignment between the fundus image 222 and the super-resolution result image using eye information (biological information), as shown by a square 233 in FIG.
  • the noise reduction processing unit 413 performs noise reduction and dynamic range extension (noise reduction and noise reduction) by superimposing the aligned fundus image 222 (input image) as shown by a square 434 in FIG. 17. Perform wide dynamic range processing). These processes are repeated using the noise reduction result image buffer 414 to generate one fundus image from a plurality of low quality fundus images.
  • the generated one fundus image is subjected to tone reproduction processing (Tone Reproduction) 435 (FIG. 17) by the tone reproduction processing unit 415.
  • tone reproduction processing Tone Reproduction
  • the processing method of the tone reproduction process 435 is arbitrary.
  • the tone reproduction process 435 may be performed by the method described in Japanese Patent Application Laid-Open No. 2009-177558 (hereinafter referred to as Patent Document 6).
  • the determination of the parameters for calculating the tone curve in the tone reproduction process 435 is performed so as to be suitable for the feature of a living body so that a brighter and higher quality image can be obtained.
  • the fundus image corrected by the tone reproduction processing 435 is subjected to super-resolution processing 436 (FIG. 17) by the super-resolution processing unit 416.
  • the processing method of the super-resolution processing 436 is arbitrary.
  • super-resolution processing 436 by the method described in JP-A-2010-102696 (hereinafter referred to as Patent Document 7) or the method described in JP-A-2010-103981 (hereinafter referred to as Patent Document 8). May be performed.
  • the super-resolution processing 436 processing according to the feature of the living body is performed so that a higher resolution image with less noise is obtained.
  • the image processing unit 402 generates a single high-quality high-resolution fundus image from a plurality of low-quality fundus images by performing processing according to the characteristics of the living body.
  • the tone reproduction process and the super-resolution process are performed (on one generated fundus image) after the images are superimposed.
  • the noise reduction processing unit 413 performs the previous superposition result (that is, noise reduction) in which the fundus image, which has been aligned by the biological information registration processing unit 212, is held in the noise reduction result image buffer 414. By superimposing it on the resulting image, the dynamic range of the fundus image is expanded and noise is reduced.
  • the method of noise reduction by superposing images is arbitrary, but, for example, JP-A 2008-294601 (hereinafter referred to as Patent document 9) and JP-A 2009-165168 (hereinafter referred to as patent document 10). The method described in 1.) may be used.
  • the noise reduction result image buffer 414 has an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, and stores the noise reduction result image (superposition result image) generated by the noise reduction processing unit 413.
  • the noise reduction result image is supplied to the biological information alignment processing unit 212 or the noise reduction processing unit 413 based on the request of the biological information alignment processing unit 212 or the noise reduction processing unit 413 or at a predetermined timing.
  • the biometric information registration processing unit 212 and the noise reduction processing unit 413 process the plurality of fundus images stored in the input image buffer 111 one by one, and position the processing target image with respect to the previous processing result. Align or overlap. In this manner, all of the plurality of fundus images obtained by imaging in the imaging unit 101 are processed to generate one fundus image.
  • FIG. 18 is a block diagram showing an example of the main configuration of the tone reproduction processing unit.
  • the tone reproduction processing unit 415 includes an image buffer 451, a parameter determination unit 452, a tone curve calculation unit 453, and a mapping unit 454.
  • the image buffer 451 has an arbitrary storage medium such as, for example, a hard disk, a flash memory, or a RAM, and stores the fundus image supplied from the noise reduction processing unit 413.
  • the image buffer 451 supplies the fundus oculi image to the parameter determination unit 452 or the mapping unit 454 based on the request of the parameter determination unit 452 or the mapping unit 454 or at a predetermined timing.
  • the parameter determination unit 452 determines a parameter for calculating a tone curve used in the tone reproduction process, based on the feature of the fundus image supplied from the image buffer 451 as a living body.
  • the tone curve is, for example, a curve for performing tone correction of luminance values as shown in FIG.
  • the horizontal axis direction of the graph in FIG. 19 represents the logarithmic value of the input luminance before gradation correction
  • the vertical axis direction represents the logarithmic value of the output luminance after gradation correction using the tone curve CL.
  • the fundus image is tone-corrected according to such a tone curve in a tone reproduction process and processed so as to be brighter. At that time, it is desirable to suppress the occurrence of noise and overexposure as much as possible. That is, the parameter determination unit 452 is included in the fundus image so as to obtain a tone curve that performs tone correction so as to brighten the fundus image while reducing noise as much as possible and suppressing the occurrence of overexposure as much as possible. Parameters are set according to the characteristics of the living body.
  • the fundus image includes an image of a region as a living body, such as a blood vessel, a nerve, and an optic nerve head, but such an image of each region has different features.
  • a region as a living body
  • an edge component tends to appear stronger than the surroundings.
  • the optic papilla tends to be white.
  • the peripheral portion (portion closer to the end of the fundus) of the fundus tends to be darker than the central portion.
  • the fundus oculi image is an image including the features of each part of the fundus oculi as a living body. Therefore, the parameter setting unit 452 sets parameters so as to obtain a more desirable tone curve (it makes the image as bright as possible while suppressing the occurrence of noise and whiteout) while taking into consideration such features of each part. I do.
  • This parameter may be any parameter for calculating a tone curve.
  • it may be a set value of noise level at the input or output of the tone reproduction process.
  • the parameter determination unit 452 supplies the parameter whose value has been determined to the tone curve calculation unit 453.
  • the tone curve calculation unit 453 calculates a tone curve using the parameters supplied from the parameter determination unit 452, and supplies the calculated tone curve to the mapping unit 454.
  • the tone curve calculation unit 453 sets control points (P1 to P9 in the example of FIG. 19) of the tone curve CL shown in FIG. 19 and supplies the control points to the mapping unit 454.
  • the shape of the tone curve CL for each pixel to be processed is obtained, for example, by B-Spline interpolation processing on the output luminance value (tone curve value) for each input luminance value based on the control points P1 to P9. Determined by
  • the mapping unit 454 maps (corrects) the fundus oculi image supplied from the image buffer 451 using the tone curve supplied from the tone curve calculation unit 453.
  • the mapping unit 454 supplies the corrected fundus image to the super-resolution processing unit 416.
  • FIG. 20 is a block diagram showing an example of a main configuration of the parameter determination unit 452.
  • the parameter determination unit 452 includes an adjustment target parameter selection unit 461, a parameter initial value storage unit 462, a parameter storage unit 463, a pre-correction brightness value calculation unit 464, and a brightness value storage unit 465.
  • the parameter determination unit 452 also includes a part recognition unit 466, a parameter adjustment unit 467, a tone curve calculation unit 468, a mapping unit 469, a part inspection unit 470, a post-correction brightness value calculation unit 471, a comparison unit 472 and data output. It has a part 473.
  • the adjustment target parameter selection unit 461 selects a parameter to be adjusted this time.
  • the parameter determination unit 452 may adjust all the parameters at once, but the adjustment may be performed separately in a plurality of times.
  • the parameter determination unit 452 may adjust each parameter one by one.
  • the parameter determination unit 452 prepares a plurality of sets of combinations of values of a plurality of parameters, determines an optimum combination of values of parameters for each set, and further, selects an optimum parameter of each selected set. Among the combinations of values of, it may be possible to find the combination of values of the optimum parameter.
  • the parameter initial value storage unit 462 includes, for example, an arbitrary storage medium such as a hard disk, a flash memory, a RAM, or a ROM (Read Only Memory), and a plurality of parameters (a plurality of parameters exist for calculation of a tone curve). In each case, store the initial value.
  • This initial value is an arbitrary value and is predetermined.
  • the parameter storage unit 463 includes, for example, an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, and the initial value of the parameter (adjustment target parameter) selected by the adjustment target parameter selection unit 461 is an initial parameter value. It is acquired from the storage unit 462 and stored.
  • the parameter storage unit 463 also updates the value of the adjustment target parameter to be held, using the value supplied from the comparison unit 472. That is, the parameter storage unit 463 stores the value of the adjustment target parameter supplied from the comparison unit 472.
  • the parameter storage unit 463 supplies the parameter adjustment unit 467 with the value of each parameter held at that time based on the request of the parameter adjustment unit 467 or at a predetermined timing.
  • the parameter storage unit 463 supplies not only the value of the adjustment target parameter but also the value of the non-adjustment target parameter to the parameter adjustment unit 467.
  • the parameter storage unit 463 acquires the value of the non-adjustment target parameter from the parameter initial value storage unit 462 and stores it, and supplies the value to the parameter adjustment unit 467. Further, since the value of the non-adjustment target parameter acquired from the parameter initial value storage unit 462 in the past is already stored in the parameter storage unit 463, the parameter storage unit 463 supplies the value to the parameter adjustment unit 467. Furthermore, as for the value of the non-adjustment target parameter (the adjustment target parameter in the past and the current adjustment target parameter) adjusted in the past, the value after the adjustment is already stored in the parameter storage unit 463 Therefore, the parameter storage unit 463 supplies the adjusted value to the parameter adjustment unit 467.
  • the parameter storage unit 463 also supplies the data output unit 473 with the value of each parameter (the value to be held at that time) based on the request from the data output unit 473 or at a predetermined timing.
  • the pre-correction brightness value calculation unit 464 is a parameter indicating the brightness of the fundus oculi image (one fundus oculi image generated by superimposing a plurality of fundus oculi images) supplied from the noise reduction processing unit 413. Calculate the brightness value.
  • the brightness value may have any content (calculation method) as long as the brightness of the image can be indicated. For example, the sum or average value of luminance values of all or part of an image may be used as the brightness value. Further, for example, the image is divided into a plurality of areas, the sum of luminance values is calculated for each area, each value is multiplied by a weighting factor determined for each area, and the sum of the multiplication results is used as the brightness value. It is also good.
  • the pre-correction brightness value calculation unit 464 supplies the calculated brightness value to the brightness value storage unit 465 for storage.
  • the brightness value storage unit 465 has an arbitrary storage medium such as a hard disk, flash memory, or semiconductor memory, and stores the brightness values supplied from the pre-correction brightness value calculation unit 464 and the comparison unit 472. Do.
  • the brightness value storage unit 465 stores the brightness value of the fundus image before correction supplied from the pre-correction brightness value calculation unit 464, and the brightness value calculation unit 471 calculates the brightness value after correction.
  • the brightness value of the fundus image is supplied from the comparison unit 472, the brightness value is stored (the brightness value to be held is updated).
  • the brightness value storage unit 465 supplies the brightness value to be held to the comparison unit 472 based on the request of the comparison unit 472 or at a predetermined timing.
  • the region recognition unit 466 analyzes the fundus oculi image (one fundus oculi image generated by superimposing a plurality of fundus oculi images) supplied from the noise reduction processing unit 413, and is included in the fundus oculi image, for example, a blood vessel Recognize a site as a living body (fundus oculi), such as nerves and nerve papillae.
  • This site recognition method is optional.
  • it may be performed by the same method as blood vessel extraction or the like performed by the biological information registration processing unit 212.
  • Non-Patent Document 2 and "Automatic recognition of optic nerve head using blood vessel elimination image for fundus image diagnosis support system and application to generation of pseudo three-dimensional image Toshiaki Nakagawa, Masanori Hayashi, Yuji Hatanaka, Yo Aoyama , Yutaka Mizukusa, Akihiro Fujita, Masakatsu Kakogawa, Takeshi Hara, Hiroshi Fujita, Tetsuya Yamamoto, 2006 (hereinafter referred to as Non-Patent Document 5) or the like may be performed.
  • the site recognition unit 466 specifies each site included in the fundus image, using, for example, such image features.
  • the region recognition unit 466 identifies a region as a living body included in the fundus image, information indicating the region of each region identified, that is, for example, where in the image the blood vessels, nerves, optic nerve head, etc. are located, respectively. Are supplied to the site-specific inspection unit 470.
  • the parameter adjustment unit 467 adjusts the value of the parameter read from the parameter storage unit 463 according to a predetermined method. For example, the parameter adjustment unit 467 increases or decreases the value of the parameter by a predetermined amount. The parameter adjustment unit 467 supplies the value after adjustment to the tone curve calculation unit 468 together with the value of the non-adjustment target parameter.
  • the tone curve calculation unit 468 calculates the tone curve using the supplied parameters, and supplies information indicating the calculated tone curve and the adjustment target parameter to the mapping unit 469.
  • the mapping unit 469 uses the tone curve calculated by the tone curve calculation unit 468, and generates a fundus image (a plurality of fundus images are superimposed and supplied) from the noise reduction processing unit 413.
  • the gradation value of the luminance value of one fundus image is corrected.
  • the mapping unit 469 supplies the image after the correction and the adjustment target parameter supplied from the tone curve calculation unit 468 to the inspection unit by region 470.
  • the region-specific inspection unit 470 identifies each region included in the image after correction supplied from the mapping unit 469 using the information indicating the region of each region supplied from the region recognition unit 466, and The images are examined in a manner depending on the characteristics of the image of each part. That is, the site-specific inspection unit 470 takes into consideration the image of each part included in the image after correction so that appropriate tone correction can be performed for any part in consideration of the difference in the feature of the image of each part. Inspect in the manner prescribed for.
  • the site-specific examination unit 470 examines, for example, whether or not the noise component exceeds a predetermined allowable amount at the peripheral portion of the fundus, and if the noise component is less than the allowable amount, it is regarded as pass and exceeds the allowable amount. If it fails.
  • the image of the optic disc tends to be relatively bright. That is, when the fundus image is brightened, overexposure easily occurs in the optic disc. Therefore, the site-specific examination unit 470 examines, for example, whether or not overexposure has occurred in the optic disc, and if overexposure occurs, it passes, and if overexposure occurs it is rejected.
  • each part is mutually independent.
  • the contents of the inspection of each part, the pass / fail judgment criteria, and the like are arbitrary.
  • frequency components may be inspected, and whether or not a luminance value lower than a predetermined level is detected may be inspected. Further, inspection may be performed on a plurality of items for one site.
  • the inspection unit by region 470 supplies the determination result for each region to the post-correction brightness value calculation unit 471 together with the image after correction and the adjustment target parameter supplied from the mapping unit 469.
  • the post-correction brightness value calculation part 471 calculates the brightness value for the image after correction.
  • the calculation method of the brightness value is the same as the calculation method of the brightness value of the image before correction by the brightness value calculation unit 464 before correction.
  • the corrected brightness value calculation unit 471 supplies the calculated brightness value and the adjustment target parameter supplied from the inspection unit by region 470 to the comparison unit 472.
  • the inspection result of each part by the part-by-part inspection unit 470 includes rejection, the brightness value calculation unit after correction 471 supplies the inspection result to the comparison unit 472.
  • the comparison unit 472 acquires the brightness values held by the brightness value storage unit 465 and compares them.
  • the comparison unit 472 receives the correction value from the corrected brightness value calculation unit 471.
  • the supplied adjustment target parameter is supplied to the parameter storage unit 463 and stored (the value of the adjustment target parameter to be held is updated). Further, in this case, the comparison unit 472 supplies the brightness value supplied from the corrected brightness value calculation unit 471 to the brightness value storage unit 465 and stores the brightness value (brightness stored by the brightness value storage unit 465). Update value).
  • adjustment of each parameter is repeatedly performed (looped) by the loop of the parameter storage unit 463 to the comparison unit 472. That is, for example, the parameter initial value storage unit 462 stores a value that makes the fundus image darkest as the initial value of the parameter, and the parameter adjustment unit 467 sets the value of the adjustment target parameter so that the fundus image becomes brighter.
  • the tone curve calculation unit 468 and the mapping unit 469 correct the fundus image using the adjusted value and the adjusted value, and the region-specific inspection unit 470 to the comparison unit 472 inspect the corrected image. If a brighter image is obtained while passing the examination for each part, this loop process is further repeated.
  • the corrected brightness value calculation unit 471 separates by part When the inspection result including rejection by the inspection unit 470 is supplied, or the brightness value supplied from the corrected brightness value calculation unit 471 is larger than the brightness value supplied from the brightness value storage unit 465 If not, the comparison unit 472 notifies the data output unit 473 to that effect (the information in the parameter storage unit 463 and the brightness value storage unit 465 is not updated).
  • the parameter initial value storage unit 462 stores the minimum value of the parameter as an initial value, and the parameter adjustment unit 467 inputs The value of that parameter is increased by a predetermined amount.
  • the parameter initial value storage unit 462 stores the maximum value of the parameter as the initial value, and the parameter adjustment unit 467 , Decrease the value of the input parameter by a predetermined amount.
  • the initial value and adjustment method of a parameter are arbitrary, and may be except the above-mentioned example.
  • correction is performed on all possible values (or representative values) of parameters that can be used in tone reproduction processing, and the best image is selected from among all the obtained corrected images, and the image corresponds to that image.
  • the value of each parameter may be selected as the best value.
  • inspection of each part and calculation of brightness value are performed on all the obtained corrected images, all inspection results and brightness values are evaluated, and all inspections of each part are passed, and the brightest image is obtained.
  • the value of each parameter from which is obtained is selected as the best value.
  • the determination as to whether the image has become bright may be made simply by determining which brightness value is larger, but may be made based on other criteria. For example, even if it is determined that the image is brightened by the current correction only when the brightness value of the image after the current correction is larger than the brightness value of the image before the current correction by a predetermined amount or more. Good. Also, for example, even if the brightness value of the image after the current correction is smaller than the brightness value of the image before the current correction, the image is brightened by the current correction if it is within a predetermined range determined in advance. It may be determined that it has become.
  • the data output unit 473 compares the failure notification of the inspection by the region-specific inspection unit 470 or the notification that the image after the current gradation correction is not brighter than the image before the gradation correction. If supplied from 472, the adjustment target parameter selection unit 461 is notified of that and another parameter is selected as the adjustment target parameter. That is, adjustments for other parameters are started.
  • the data output unit 473 acquires the value of each parameter stored in the parameter storage unit 463 and supplies the value to the super-resolution processing unit 416.
  • the parameter determining unit 452 can obtain brighter images while suppressing defects such as noise and overexposure. It can be set to That is, the tone reproduction processing unit 415 can perform the tone reproduction processing more appropriately according to the feature of the image as a living body.
  • FIG. 21 is a block diagram showing an example of the main configuration of the super resolving processor 416 in FIG.
  • the super resolving processor 416 includes a learning dictionary storage unit 481, an image processing unit 482, a part recognition unit 483, a part evaluation criterion storage part 484, a part image evaluation unit 485, and an image selection.
  • a portion 486 is included.
  • the learning dictionary storage unit 481 includes, for example, an arbitrary storage medium such as a hard disk, a flash memory, or a semiconductor memory, and stores a plurality of learning dictionaries indicating a learning method performed in the super-resolution processing.
  • the learning dictionary storage unit 481 supplies each learning dictionary to the image processing unit 482 based on the request of the image processing unit 482 or at a predetermined timing.
  • the image processing unit 482 performs super-resolution processing on the fundus image supplied from the tone reproduction processing unit 415 by using the learning dictionary supplied from the learning dictionary storage unit 481 to improve the resolution by learning. That is, the super-resolution result image obtained by the super-resolution processing performed by the image processing unit 482 differs depending on the learning dictionary supplied from the learning dictionary storage unit 481.
  • the image processing unit 482 performs super-resolution processing on all learning dictionaries.
  • the image processing unit 482 supplies the calculated super-resolution result image corresponding to each learning result to the region recognition unit 483.
  • the site recognition unit 483 analyzes each supplied super-resolution result image, and is included in each super-resolution result image, for example, blood vessels, nerves, optic nerve head, etc. Recognize the site as a living body (fundus oculi).
  • the site recognition unit 483 recognizes each site by, for example, the method described in Non-Patent Document 2 or Non-Patent Document 4.
  • the site recognition unit 483 identifies the site as a living body included in each super-resolution result image
  • the region of each site identified that is, for example, where in the image the blood vessel, nerve, optic nerve head, etc. are located Is supplied to the region-based image evaluation unit 485 together with the super-resolution result image corresponding to the information.
  • the part-by-part evaluation criteria storage unit 484 has an arbitrary storage medium such as a hard disk, a flash memory, a RAM, or a ROM, for example, and shows a part-specific image evaluation method or reference performed by the part-by-part image evaluation unit 485. Information (eg, how to evaluate what information of where in the fundus image, etc.) is stored.
  • the part-by-part evaluation standard storage unit 484 supplies information indicating the reference of the image evaluation of each part to be held to the part-by-part image evaluation unit 485 based on the request of the part-by-part image evaluation unit 485 or at a predetermined timing. .
  • the part-by-part image evaluation unit 485 uses the information indicating the criteria for image evaluation supplied from the part-by-part evaluation reference storage unit 484 to display an image of each part recognized by the part recognition unit 483 in each super-resolution result image. Evaluate
  • the region-specific image evaluation unit 485 analyzes the frequency component of the blood vessel image for each super resolution result image, and the amount of high frequency components (the size of the spectrum of the predetermined frequency band component) included in the blood vessel image. And, it is evaluated whether or not the amount of high frequency components is included in a predetermined predetermined target range.
  • the image evaluation unit by region 485 analyzes the frequency component of the image of the flat portion such as the peripheral portion for each super-resolution result image, and the noise component amount (predetermined frequency band) included in the image of the flat portion Evaluate the smallness of the spectrum size of the component.
  • the region-specific image evaluation unit 485 supplies the evaluation result of each region thus obtained for each super-resolution result image to the image selection unit 486 together with the super-resolution result image.
  • the image selection unit 486 selects an optimum super-resolution result image from among the super-resolution result image group supplied from the region-specific image evaluation unit 485 based on the image evaluation result supplied from the region-specific image evaluation unit 485. Choose For example, the image selection unit 486 selects a super-resolution result image in which the high frequency component of the image of the blood vessel is as large as possible within a predetermined predetermined target range and the noise component of the image of the flat portion is as small as possible. .
  • this image selection method and image selection criteria are arbitrary.
  • the image selection may be performed according to only the evaluation result of the image of the blood vessel, or the image selection may be performed in consideration of evaluation results other than those described above.
  • the image selection unit 486 selects an optimal super-resolution result image from among a plurality of super-resolution result images generated using different learning dictionaries. In other words, the image selection unit 486 selects a learning dictionary in which the super-resolution processing result is the best.
  • the image selection unit 486 outputs the selected super-resolution result image to the outside (the storage unit 103 or the output unit 104) of the image processing unit 402.
  • the super-resolution processing unit 416 performs super-resolution processing with learning using different learning dictionaries, performs image evaluation for each part as a living body, and evaluates each super-resolution result image. Based on the results, it is possible to select the super-resolution result image generated using the optimal learning dictionary.
  • an appropriate learning dictionary used for super-resolution processing differs depending on the content of the image. That is, the learning dictionary optimal for a certain image is not necessarily optimal for other images.
  • the super-resolution processing unit 416 evaluates the generated super-resolution result image, it is possible to select an optimal learning dictionary for any fundus image.
  • the super-resolution processor 416 performs image evaluation for each part as a living body (fundus oculi), it is possible to select a learning dictionary more appropriate for the fundus image.
  • the super resolution processing unit 416 can obtain a fundus image (a fundus image with higher image quality and higher resolution) with higher noise components and higher resolution.
  • step S401 When the fundus oculi image generation processing is started, in step S401, as in the case of step S201 of FIG.
  • step S402 the input image buffer 111 stores the captured image (fundus oculi image) obtained by the imaging in step S401, as in step S202 in FIG.
  • step S403 the noise reduction result image buffer 414 stores the first captured image as an initial image, as in step S203 of FIG.
  • step S404 the biological information registration processing unit 212 selects one unprocessed captured image stored in the input image buffer 111, as in step S204 in FIG.
  • step S405 the biological information registration processing unit 212 selects the captured image (fundus oculi image) selected in step S404 and the captured image (fundus oculi image) to be the previous superposition result supplied from the noise reduction result image buffer 414.
  • the alignment processing biological information alignment processing using the biological information is performed.
  • the details of the biometric information alignment process are basically the same as those described with reference to the flowcharts of FIGS. 13 and 14, and thus the description thereof is omitted.
  • step S406 the noise reduction processing unit 413 superimposes both captured images (fundus oculi images) aligned in the process of step S405 to reduce noise.
  • step S407 the noise reduction processing unit 413 determines whether or not all captured images (fundus image) have been processed. If it is determined that an unprocessed captured image exists in the input image buffer 111, the noise reduction processing unit 413 advances the process to step S408.
  • step S408 the noise reduction result image buffer 414 stores the noise reduction processing result image obtained by the processing of step S406, that is, the superimposed captured image. After storing the captured image, the noise reduction result image buffer 414 returns the process to step S404 and repeats the subsequent processes.
  • step S404 to step S408 is repeated, and when it is determined in step S407 that all the captured images have been processed, the noise reduction processing unit 413 advances the process to step S409.
  • step S409 the tone reproduction processing unit 415 performs tone reproduction processing on the generated single captured image (fundus image).
  • the super-resolution processor 416 performs super-resolution processing on the image subjected to tone reproduction processing to obtain a higher-resolution fundus image, and ends the fundus image generation processing.
  • the fundus oculi image processing device 400 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • step S431 the image buffer 451 of the tone reproduction processing unit 415 stores a captured image (fundus image) superimposed on one sheet.
  • step S432 the parameter determination unit 452 determines a parameter based on the biological information.
  • step S433 the tone curve calculation unit 453 calculates a tone curve using the parameter whose value is determined in the process of step S432.
  • step S434 the mapping unit 454 corrects the captured image (fundus image) using the tone curve generated in step S433.
  • step S434 ends, the mapping unit 454 ends the tone reproduction process, returns the process to step S409 of FIG. 22, and advances the process to step S410.
  • the adjustment target parameter selection unit 461 selects a parameter to be adjusted in step S451.
  • the parameter storage unit 463 acquires the initial value of each parameter from the parameter initial value storage unit 462 and stores it.
  • step S453 the pre-correction brightness value calculation unit 464 calculates the brightness value of the captured image (fundus image) generated by the process of step S406 in FIG.
  • step S454 the brightness value storage unit 465 stores the brightness value calculated by the process of step S453.
  • step S455 the region recognition unit 466 recognizes each region as a living body included in the captured image (fundus image) generated by the process of step S406 in FIG.
  • step S456 the parameter adjustment unit 467 adjusts the value of the adjustment target parameter.
  • step S457 the tone curve calculation unit 468 calculates a tone curve using various parameters including the adjusted adjustment target parameter.
  • the mapping unit 469 corrects the captured image (fundus oculi image) generated by the process of step S406 of FIG. 22 using the tone curve calculated by the process of step S457.
  • step S459 the site-specific inspection unit 470 performs an examination of each part as a living body recognized by the process of step S455 on the captured image (fundus image) corrected by the process of step S458.
  • step S460 the inspection unit by region 470 determines whether all inspections of each region performed in step S459 have passed (that is, whether all conditions are satisfied). If it is determined that all the conditions are satisfied, the inspection unit by region 470 advances the process to step S461.
  • step S461 the post-correction brightness value calculation unit 471 calculates the brightness value of the captured image (fundus image) corrected in step S458.
  • step S462 the comparison unit 472 compares the brightness values of the captured image before and after the current correction performed in step S458.
  • step S463 the comparison unit 472 determines whether the brightness value of the corrected captured image is brighter or not.
  • step S458 If the brightness value of the captured image after correction is larger and it is determined that the captured image is brightened by the correction in step S458, the comparison unit 472 advances the process to step S464.
  • step S464 the parameter storage unit 463 stores the value of the adjustment target parameter after adjustment in step S456 of this time (updates the value of the adjustment target parameter).
  • step S465 the brightness value storage unit 465 stores the brightness value of the captured image after the correction in step S458 this time (updates the brightness value).
  • step S465 ends, the brightness value storage unit 465 returns the process to step S456, and repeats the subsequent processes.
  • step S460 If it is determined in step S460 that all the conditions are not satisfied, the inspection unit by region 470 advances the process to step S466.
  • step S463 if the brightness value of the captured image after correction is less than or equal to the brightness value of the captured image before correction, and it is determined that the captured image is not bright by the correction of step S458 this time, The unit 472 advances the process to step S466.
  • step S466 the data output unit 473 determines whether all the parameters to be adjusted have been processed. If it is determined that there is an unprocessed parameter, the process returns to step S451, and a new unprocessed parameter is generated. Repeat the subsequent process for. That is, the adjustment target parameter selection unit 461 newly selects an unprocessed parameter as the adjustment target parameter, and causes the processing of step S452 and subsequent steps to be executed.
  • step S466 If it is determined in step S466 that all parameters to be adjusted have been processed, the data output unit 473 advances the process to step S467 to acquire and output the parameters stored in the parameter storage unit 463.
  • step S467 the data output unit 473 ends the parameter determination process, returns the process to step S432 of FIG. 23, and executes the processes of step S433 and thereafter.
  • the image processing unit 482 selects an unprocessed learning dictionary from among learning dictionaries stored in the learning dictionary storage unit 481 in step S481. In step S 482, the image processing unit 482 raises the resolution of the image using the coefficients obtained by learning.
  • step S483 the site recognition unit 483 recognizes a site as a living body included in the image.
  • step S484 the region-specific image evaluation unit 485 evaluates the image for each region.
  • step S485 the site-specific image evaluation unit 485 stores the image and the evaluation result.
  • step S 486 the part-specific image evaluation unit 485 determines whether or not processing has been performed for all learning dictionaries. If it is determined that there is an unprocessed learning dictionary, the part-by-part image evaluation unit 485 returns the process to step S481 and causes the new learning dictionary to execute the subsequent processes. That is, the image processing unit 482 newly selects an unprocessed learning dictionary, and causes the processing of step S 482 and subsequent steps to be executed.
  • step S486 If it is determined in step S486 that processing has been performed for all learning dictionaries, the part-by-part image evaluation unit 485 advances the process to step S487.
  • step S487 the image selection unit 486 selects the super-resolution that was the highest in the evaluation performed in step S484 out of the super-resolution result images generated using the respective learning dictionaries as described above. Select the resulting image.
  • the image selection unit 486 ends the super-resolution processing, returns the processing to step S410 in FIG. 22, and ends the fundus image generation processing.
  • the fundus oculi image processing device 400 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • the parameter determination unit 452 is described to correct the entire captured image (fundus oculi image).
  • the present invention is not limited to this, and the image of each part as a living body may be corrected. Good. In this way, processing of a portion (for example, the peripheral portion of the captured image, etc.) that is not recognized as a portion of the fundus included in the captured image that is unnecessary in the inspection by region can be omitted, and the load related to parameter determination is reduced. It can be done.
  • FIG. 26 is a block diagram showing a main configuration example of the parameter determination unit in that case.
  • the parameter determination unit 452 has a pre-correction brightness value calculation unit 564 instead of the pre-correction brightness value calculation unit 464 of the example shown in FIG.
  • a brightness value storage unit 465 is provided instead of 465.
  • the parameter determination unit 452 shown in FIG. 26 has a region recognition unit 566 instead of the region recognition unit 466 of the example shown in FIG. 20, and has a mapping unit 569 instead of the mapping unit 469.
  • the parameter determination unit 452 shown in FIG. 26 has a region-specific inspection unit 570 instead of the region-specific inspection unit 470 shown in FIG. 20, and after correction the brightness value calculation unit 471 after correction A brightness value calculation unit 571 is provided. Further, the parameter determination unit 452 shown in FIG. 26 has a comparison unit 572 instead of the comparison unit 472 of the example shown in FIG.
  • the site recognition unit 566 is a living body (fundus fundus image) included in the fundus image (one fundus image generated by superimposing a plurality of fundus images) supplied from the noise reduction processing unit 413. Recognize the site as The part recognition unit 566 extracts an image of each specified part from the fundus image, and supplies the image of each part extracted to the brightness value calculation unit 564 before correction and the mapping unit 569.
  • the pre-correction brightness value calculation unit 564 calculates the brightness values of the supplied images of the respective portions in the same manner as in the case of the pre-correction brightness value calculation unit 464.
  • the pre-correction brightness value calculation unit 564 supplies the calculated brightness value of each part to the brightness value storage unit 565 for storage.
  • the brightness value storage unit 565 includes, for example, an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, and as in the case of the brightness value storage unit 465, the brightness value calculation unit 564 before correction and the comparison The brightness value of the image of each part supplied from the unit 572 is stored.
  • the mapping unit 569 performs tone correction on the luminance value of the image of each part supplied from the part recognition unit 566 using the tone curve calculated by the tone curve calculation unit 468. This correction method is the same as that of the mapping unit 469.
  • the mapping unit 569 supplies the image of each portion after the correction and the adjustment target parameter supplied from the tone curve calculation unit 468 to the region-specific inspection unit 570.
  • the inspection unit classified by part 570 takes into consideration the difference in the feature of the image of each part and supplies the image of each part after correction supplied from the mapping part 569 with appropriate gradation correction for any part. It inspects by the method according to the feature of the image of the part. The method of inspection of each part is the same as in the case of the part-by-part inspection unit 470.
  • the inspection unit by region 570 supplies the determination result for each region to the post-correction brightness value calculation unit 571 together with the image of each region after correction and the adjustment target parameter supplied from the mapping unit 469.
  • the post-correction brightness value calculation part 571 calculates the brightness value for the image of each part after correction.
  • the calculation method of the brightness value is the same as that of the pre-correction brightness value calculation unit 564.
  • the corrected brightness value calculation unit 571 supplies the calculated brightness value of the image of each part and the adjustment target parameter supplied from the part-by-part inspection part 570 to the comparison part 572.
  • the brightness value calculation unit after correction 571 compares the inspection results as in the case of the brightness value calculation unit after correction 471. Supply to the unit 572.
  • the comparison unit 572 acquires the brightness value of the image of each part held by the brightness value storage unit 565, Compare them.
  • the comparison unit 572 calculates the corrected brightness
  • the adjustment target parameter supplied from the depth value calculation unit 571 is supplied to the parameter storage unit 463 and stored (the value of the adjustment target parameter held by the parameter storage unit 463 is updated). Further, in this case, the comparison unit 572 supplies the brightness value of the image of each part supplied from the corrected brightness value calculation unit 571 to the brightness value storage unit 565 and stores it (brightness value storage unit Update the latest brightness value held by 565).
  • the brightness value supplied from the brightness value calculation unit after correction 571 is the brightness supplied from the brightness value storage unit 565. If the value is not larger than the value, the comparison unit 572 notifies the data output unit 473 to that effect (the information in the parameter storage unit 463 and the brightness value storage unit 565 is not updated).
  • the comparing unit 572 may use any method of comparing the brightness value of the image of each part before and after the current correction. For example, the comparison unit 572 may compare the brightness values of the images of each part before and after the current correction, or may add statistical values such as the sum or average value of the brightness values of the images of each part. It may be calculated and the sum may be compared. Further, the comparison unit 572 multiplies the brightness value of the image of each part by the weight coefficient for each part before and after the current correction, calculates the sum of the multiplication results, and compares the sum. May be any method of comparing the brightness value of the image of each part before and after the current correction. May be any method of comparing the brightness value of the image of each part before and after the current correction. For example, the comparison unit 572 may compare the brightness values of the images of each part before and after the current correction, or may add statistical values such as the sum or average value of the brightness values of the images of each part. It may be calculated and the sum may be compared. Further, the comparison unit 572 multipli
  • step S553 the part recognition unit 566 recognizes each part as a living body included in the captured image, and extracts an image of each part.
  • the pre-correction brightness value calculation unit 564 calculates the brightness value of the image of each portion extracted in step S554, and the brightness value storage unit 565 calculates each brightness value calculated in step S555.
  • step S558 the mapping unit 569 corrects the image of each part using the tone curve calculated in step S557.
  • step S561 the post-correction brightness value calculation unit 571 calculates the brightness value of the image of each part after the correction obtained in step S558.
  • step S562 the comparison unit 572 compares the brightness value between the image of each portion before the current correction and the image of each portion after the current correction.
  • the parameter determining unit 452 can obtain brighter images while suppressing defects such as noise and overexposure. It can be set to
  • the tone curve used to correct the image of each part may be set independently for each part. That is, the parameter determination unit 452 may determine the parameter for each part as a living body. In this case, the tone curve calculation unit 453 of FIG. 18 calculates a tone curve for each image of each part. Further, the mapping unit 454 recognizes, from the captured image supplied from the image buffer 451, a portion as a living body included in the captured image, and extracts an image of each portion. Then, the mapping unit 454 corrects the extracted image of each part using the tone curve for that part calculated by the tone curve calculation unit 453.
  • the tone reproduction processing unit 415 can perform tone reproduction processing more appropriately according to the feature of the image as a living body.
  • both the tone reproduction processing unit 415 and the super-resolution processing unit 416 perform respective processing using the biological information of the subject (information related to the fundus oculi).
  • one of the tone reproduction processing unit 415 and the super-resolution processing unit 416 performs processing using the biological information of the subject, and the other performs processing without using the biological information of the subject. You may do so.
  • either one of the tone reproduction processing unit 415 or the super resolution processing unit 416 may be omitted.
  • the imaging unit 101 emits light to the subject at the time of imaging. Since the irradiation light in this case is visible light, the light amount of the irradiation light is reduced in consideration of the influence on the subject and the like. As a result, the fundus oculi image captured by emitting visible light becomes a relatively dark image.
  • the imaging unit images an object using irradiation light including infrared light in addition to visible light. Since infrared light is invisible to human eyes, the imaging unit can irradiate an object with an amount of light sufficient to perform alignment for imaging. As a result, a fundus image with sufficient brightness to perform alignment can be obtained.
  • infrared light as used herein is a broad concept including not only infrared light in a wavelength band of about 700 to 1000 nm, but also near-infrared light and the like. For example, non-invasive light that a subject does not feel dazzling is also a type of infrared light as referred to herein.
  • FIG. 28 is a diagram for describing an outline of the present embodiment.
  • alignment is performed on an image 621 captured by irradiating infrared light with a light amount sufficient to perform alignment.
  • an image captured by irradiation with infrared light is hereinafter referred to as an infrared light image.
  • the image 622 captured by irradiating visible light with a low light amount using the result of alignment in the infrared light image 621 hereinafter referred to as alignment information
  • Alignment is performed.
  • an image captured by irradiating visible light with a low light amount is hereinafter referred to as a visible light image.
  • a visible light image an image captured by irradiating visible light with a low light amount
  • FIG. 29 is a block diagram showing a configuration example of the fundus image processing apparatus.
  • the fundus oculi image processing device 700 shown in FIG. 29 basically has the same configuration as the fundus oculi image processing device 200 of FIG. 3 and performs the same processing.
  • the fundus oculi image processing device 700 includes an imaging unit 701 and an image processing unit 702 instead of the imaging unit 101 and the image processing unit 202 included in the fundus oculi image processing device 200. Therefore, only the imaging unit 701 and the image processing unit 702 will be described below.
  • the imaging unit 701 repeats imaging of the fundus oculi simultaneously with visible light and infrared light while irradiating the subject with irradiation light including infrared light as well as visible light.
  • the configuration of the imaging unit 701 will be described with reference to FIG.
  • FIG. 30 is a diagram illustrating an example of a main configuration of the imaging unit 701.
  • the imaging unit 701 includes a light source 731, mirrors 732-1 to 732-3, a lens 733, a visible light imaging unit 734, an infrared light imaging unit 735, an infrared light cut filter 736, and visible light.
  • a light cut filter 737 is provided.
  • the light source 731 is composed of illumination emitting in the wavelength band of visible light and the wavelength band of infrared light. At this time, it is assumed that the visible light has a relatively low light amount, and the infrared light has a light amount sufficient for alignment. That is, the amount of infrared light is higher than that of visible light.
  • the mirrors 732-1 to 732-3 reflect or transmit visible light and infrared light.
  • the lens 733 forms an object image on the light receiving surfaces of the visible light imaging unit 734 and the infrared light imaging unit 735.
  • the reflected light from the fundus of the eye 221, that is, the fundus image, is reflected by the mirror 732-3 and enters the visible light imaging unit 734 and the infrared light imaging unit 735.
  • the infrared light cut filter 736 mounted on the visible light imaging unit 734 transmits only visible light without transmitting infrared light. Therefore, of the reflected light from the fundus of the eye 221, that is, the fundus image of the visible light, the fundus image of visible light passes through the infrared light cut filter 736 mounted on the visible light imaging unit 734, and is received by the visible light imaging unit 734. It is imaged on the surface.
  • the fundus image of infrared light among the reflected light from the fundus of the eye 221, that is, the fundus image of infrared light does not pass through the infrared light cut filter 736 of the visible light imaging unit 734. Is not imaged. Therefore, the visible light imaging unit 734 captures only the fundus image of visible light, and as a result, outputs only the visible light image.
  • the visible light cut filter 737 mounted on the infrared light imaging unit 735 transmits only infrared light without transmitting visible light. Therefore, among the reflected light from the fundus of the eye 221, that is, the fundus image of the infrared light, the fundus image of the infrared light passes through the visible light cut filter 737 attached to the infrared light imaging unit 735, and the infrared light imaging unit 735. Image formed on the light receiving surface of On the other hand, the fundus image of visible light among the reflected light from the fundus of the eye 221, that is, the fundus image of visible light does not pass through the visible light cut filter 737 of the infrared light imaging unit 735. Is not imaged. Therefore, the infrared light imaging unit 735 picks up only a fundus image of infrared light, and as a result, outputs only an infrared light image.
  • the imaging unit 701 repeats imaging of the fundus oculi a plurality of times simultaneously with visible light and infrared light while emitting irradiation light including infrared light in addition to visible light. It is desirable that the imaging by the imaging unit 701 be performed several times in as short a time as possible so that the fundus images obtained by imaging approximate each other.
  • a plurality of relatively low-quality visible light images obtained by imaging of the imaging unit 701 and an infrared light image of sufficient quality to perform alignment are supplied to the image processing unit 702.
  • the configuration of the imaging unit 701 is not limited to the above-described example, as long as a visible light image and an infrared light image of a subject can be obtained.
  • both the visible light cut filter 736 and the infrared light cut filter 737 are disposed in the imaging elements included in each of the visible light imaging unit 734 and the infrared light imaging unit 735 to form the visible light imaging unit 734 and the infrared light
  • a visible light image and an infrared light image may be obtained by each of the light imaging units 735.
  • the image processing unit 702 performs alignment on the infrared light image having a sufficient image quality to perform the plurality of alignments supplied from the imaging unit 701. Then, the image processing unit 702 performs registration on a plurality of visible light images with relatively low image quality after performing registration using the alignment information (details will be described later) in the infrared light image. Thus, one fundus image with higher image quality is generated.
  • the image processing unit 702 includes an input image buffer 711, an infrared light image alignment processing unit 712, an initial image buffer 713, an alignment information buffer 714, a visible light image alignment processing unit 715, A resolution processing unit 716 and a super resolution result image buffer 717 are provided.
  • the input image buffer 711 is provided in at least a partial area of an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, for example, and has a plurality of relatively low quality visible light images supplied from the imaging unit 701 An infrared light image of sufficient quality to perform a plurality of alignments is stored as an input image. Then, the input image buffer 711 appropriately supplies the infrared light image to the infrared light image alignment processing unit 712 as needed, and supplies the visible light image to the visible light image alignment processing unit 715.
  • the infrared light image alignment processing unit 712 uses the biological information of the subject to generate an infrared light image supplied from the input image buffer 711 and an initial image of the infrared light image supplied from the initial image buffer 713 described later. Align the subject so that the subject is aligned.
  • the infrared light image alignment processing unit 712 supplies alignment information to the alignment information buffer 714 when the alignment converges.
  • the detailed configuration of the infrared light image registration processing unit 712 will be described later with reference to FIGS. 31 and 32.
  • biological information used for alignment for example, a blood vessel, a nerve, an optic disc or the like can be adopted.
  • this biometric information is arbitrary and may be other than these.
  • the initial image buffer 713 is provided in at least a partial area of an arbitrary storage medium such as, for example, a hard disk, a flash memory, or a RAM, and the input image buffer 711 is first received via the infrared light image alignment processing unit 712 The supplied infrared light image is stored as an initial image.
  • the initial image buffer 713 appropriately supplies the initial image to the infrared light image alignment processing unit 712 as necessary.
  • the alignment information buffer 714 is provided in at least a partial area of an arbitrary storage medium such as a hard disk, a flash memory, or a RAM, for example, and stores alignment information supplied from the infrared light image alignment processing unit 712 Do.
  • the visible light image alignment processing unit 715 applies the alignment information read from the alignment information buffer 714 to the visible light image supplied from the input image buffer 711 to align the image.
  • the aligned visible light image is supplied to the super resolution processor 716.
  • the super resolution processor 716 has basically the same configuration as the super resolution processor 213 in FIG. 3 and performs the same processing. That is, the super resolution processing unit 716 acquires the super resolution processing result image (that is, the image obtained as the super resolution processing result) generated in the past from the super resolution result image buffer 717, and the super resolution processing unit 716 Super resolution processing and high dynamic range processing are performed by superimposing the resultant image on the visible light image registered by the visible light image registration processing unit 715 to generate a super-resolution resultant image.
  • the super resolution processing unit 716 causes the storage unit 103 to store a super resolution result image with a higher resolution and a larger dynamic range, which is generated by repeating such alignment and super resolution processing, or an output unit. At the same time, the super resolution result image buffer 717 is supplied and stored.
  • the super resolution result image buffer 717 has basically the same configuration as the super resolution result image buffer 214 in FIG. 3 and performs the same processing. That is, the super resolution result image buffer 717 stores the super resolution result image generated by the super resolution processing unit 716, and the super resolution result image is appropriately stored in the super resolution processing unit 716 as necessary. Supply.
  • the super-resolution result image buffer 717 stores the visible light image supplied first from the visible light image alignment processing unit 715 via the super resolution processing unit 716 as an initial image. The super resolution result image buffer 717 appropriately supplies the initial image to the super resolution processing unit 716 as necessary.
  • FIG. 31 is a diagram for explaining the flow of processing by the image processing unit 702 having such a configuration.
  • the plurality of infrared light images 621 and the plurality of visible light images 622 captured by the imaging unit 701 are stored in the input image buffer 711.
  • the input image buffer 711 supplies the infrared light image 621 to the infrared light image alignment processing unit 712 one by one at a predetermined timing.
  • the infrared light image alignment processing unit 712 includes the infrared light image 621 supplied from the input image buffer 711 and the initial image supplied from the initial image buffer 713. Perform image alignment using eye information (ie, biometric information). When the alignment is converged, the infrared light image alignment processing unit 712 supplies the alignment information in the infrared light image to the alignment information buffer 714. Such processing is repeated, and the alignment information for all infrared light images stored in the input image buffer 711 is stored in the alignment information buffer 714.
  • eye information ie, biometric information
  • the visible light image alignment processing unit 715 supplies the alignment information for each infrared light image read out from the alignment information buffer 714 from the input image buffer 711. Is applied to the visible light image 622 corresponding to each infrared light image to align the visible light image. Thereafter, the aligned visible light image is supplied to the super resolution processing unit 716 to be subjected to super resolution processing by image superposition.
  • FIG. 32 is a block diagram showing an example of the main configuration of the infrared light image alignment processing unit 712 of FIG.
  • the infrared light image registration processing unit 712 includes an infrared light image blood vessel extraction unit 751, an initial image blood vessel extraction 752, an infrared light image crossover point extraction unit 753, and an initial image crossover point extraction unit 754, a cross point alignment processing unit 755, and a blood vessel alignment processing unit 756.
  • the infrared light image blood vessel extraction unit 751 extracts a portion of the blood vessel from the infrared light image supplied from the input image buffer 711 and supplies the blood vessel alignment processing unit 756 with the extracted portion.
  • the initial image blood vessel extraction unit 752 extracts a portion of a blood vessel from the initial image supplied from the initial image buffer 713 and supplies the extracted portion to the blood vessel registration processing unit 756.
  • the blood vessel alignment processing unit 756 aligns the blood vessel between the infrared light image and the initial image using the blood vessel extraction result extracted from each image, and stores the alignment information in the alignment information buffer 714. Let
  • the infrared light image blood vessel extraction unit 751 supplies a blood vessel extraction result from the infrared light image to the infrared light image intersection point extraction unit 753.
  • the infrared light image crossover point extraction unit 753 extracts the crossover point from the blood vessel extraction result supplied from the infrared light image blood vessel extraction unit 751, and supplies the crossover point extraction result to the crossover point registration processing unit 755.
  • the initial image blood vessel extraction unit 752 supplies the blood vessel extraction result from the initial image to the initial image intersection point extraction unit 754.
  • the initial image crossover point extraction unit 754 extracts crossover points from the blood vessel extraction results supplied from the initial image blood vessel extraction unit 752, and supplies the crossover point extraction results to the crossover point registration processing unit 755.
  • the crossover point alignment processing unit 755 performs alignment of crossover points between the infrared light image and the initial image using the crossover point extraction result extracted from each image. Then, the crossover point alignment result is supplied to the blood vessel alignment processing unit 756.
  • the blood vessel registration processing unit 756 sets the crossover point registration result supplied from the crossover point registration processing unit 755 to an initial state, and performs alignment of the infrared light image using the blood vessel extraction result. That is, the blood vessel alignment processing unit 756 superimposes each blood vessel extraction result while performing alignment in the same manner as alignment of the crossover point according to the crossover point alignment result, and sets it as an initial state.
  • the blood vessel registration processing unit 756 can start registration from the state of being simply registered using the crossover point, so that registration can be performed more easily and at high speed. Can.
  • the blood vessel alignment processing unit 756 may further use the alignment using other biological information. For example, the blood vessel alignment processing unit 756 first superimposes the infrared light image and the initial image while performing alignment at the position of the optic nerve head, and performs alignment based on the intersection point with the superimposed image as an initial value. You may do so.
  • FIG. 33 is a block diagram showing a main configuration example of the blood vessel alignment processing unit 756.
  • the blood vessel alignment processing unit 756 includes a superposition processing unit 771, a shift processing unit 772, a stretching processing unit 773, a rotation processing unit 774, a scaling processing unit 775, and a convergence determination unit 776.
  • the superimposition processing unit 771 performs blood vessel extraction results by the infrared light image blood vessel extraction unit 751 (hereinafter referred to as infrared light image blood vessel extraction results) and blood vessel extraction results by the initial image blood vessel extraction unit 752 (hereinafter, initial image blood vessel extraction Overlap with the result).
  • the superimposition processing unit 771 uses the crossover point alignment result supplied from the crossover point alignment processing unit 755 to perform the same alignment as the alignment of crossover points.
  • the external light image blood vessel extraction result and the initial image blood vessel extraction result are superimposed.
  • the superposition processing unit 771 supplies the superposition result to the shift processing unit 772.
  • the blood vessel registration processing unit 756 performs registration so that the infrared light image blood vessel extraction result approaches the initial image blood vessel extraction result.
  • the shift processing unit 772 moves (shifts) the entire infrared light image blood vessel extraction result, and searches for a position at which the absolute value of the difference between the infrared light image blood vessel extraction result and the initial image blood vessel extraction result is minimum. In the state where the absolute value of is minimized, the superposition result is supplied to the processing unit 773.
  • the stretching processing unit 773 stretches (deforms) the infrared light image blood vessel extraction result in an arbitrary direction, and searches for a shape in which the absolute value of the difference between the infrared light image blood vessel extraction result and the initial image blood vessel extraction result is minimum. Then, the superposition result is supplied to the rotation processing unit 774 in a state where the absolute value of the difference is minimized.
  • the rotation processing unit 774 rotates the infrared light image blood vessel extraction result to the left and right, and searches for a direction in which the absolute value of the difference between the infrared light image blood vessel extraction result and the initial image blood vessel extraction result is minimum. In the state where the value is minimized, the superposition result is supplied to the scaling processing unit 775.
  • the scaling processing unit 775 enlarges or reduces the infrared light image blood vessel extraction result, and searches for a size at which the absolute value of the difference between the infrared light image blood vessel extraction result and the initial image blood vessel extraction result is minimum.
  • the convergence result is supplied to the convergence determination unit 776 in a state in which the absolute value of the difference is minimized.
  • the convergence determination unit 776 determines whether the alignment has converged based on the supplied superposition result. For example, the convergence determination unit 776 repeats each process described above a plurality of times, compares the alignment result obtained this time with the previous alignment result, and the infrared light image blood vessel extraction result is the initial image blood vessel from the previous time. If the extraction result is approached, it is determined that convergence has not occurred, and if the infrared light image blood vessel extraction result has not approached the initial image blood vessel extraction result since the previous time, it is determined that convergence has occurred.
  • the convergence determination unit 776 If it is determined that convergence has not occurred, the convergence determination unit 776 returns the superposition result to the shift processing unit 772 and performs alignment again. When it is determined that the alignment has converged, the convergence determination unit 776 determines that the superposition result (for example, the superposition result when the absolute value of the difference between the infrared light image blood vessel extraction result and the initial image blood vessel extraction result is minimum). Is stored in the alignment information buffer 714 as alignment information.
  • the superposition result for example, the superposition result when the absolute value of the difference between the infrared light image blood vessel extraction result and the initial image blood vessel extraction result is minimum.
  • the crossover point alignment processing unit 755 basically has the same configuration as the blood vessel alignment processing unit 756, and basically, the biological information used for alignment is basically the same as the entire blood vessel or the crossing point thereof. Do the same process.
  • Alignment processing is performed on all infrared light images, and alignment information corresponding to each infrared light image is stored in the alignment information buffer 714. Then, the visible light image alignment processing unit 715 reads the visible light images one by one from the input image buffer 711, and the alignment information of the infrared light image corresponding to the read visible light image is used as the alignment information buffer 714. Read from Then, the visible light image alignment processing unit 715 applies the alignment information to the visible light image to perform alignment.
  • the aligned visible light image is supplied to the super resolution processing unit 716 to be subjected to super resolution processing by image superposition.
  • a fundus image with a higher resolution and a larger dynamic range, which is generated by repeating such alignment and super-resolution processing for all visible light images, is stored in the storage unit 103 or the output unit 104. More output.
  • high resolution indicates that the image is blurred and has a sharper image, and the resolution may not actually be high.
  • step S601 the imaging unit 701 images the fundus of the subject (that is, the subject) a plurality of times simultaneously with visible light and infrared light.
  • the visible light is a low light amount
  • the infrared light is a light amount sufficient for alignment.
  • step S602 the image processing unit 702 causes the input image buffer 711 to store the captured image obtained by the process of step S601, that is, the visible light image and the infrared light image.
  • step S603 the infrared light image registration processing unit 712 stores the first infrared light image in the initial image buffer 713 as an initial image.
  • step S 604 the infrared light image alignment processing unit 712 selects and reads out one unprocessed infrared light image from the input image buffer 711.
  • step S605 the infrared light image alignment processing unit 712 performs alignment processing.
  • the alignment process is basically the same as the biometric information alignment process described with reference to the flowcharts of FIGS. 13 and 14. However, while the input image and the previous super-resolution result image are used in the biological information alignment process of FIG. 13, the infrared light image and the initial image are used in the alignment process of step S605. The point used is different. Therefore, the description of the alignment processing will be omitted since it will be repeated.
  • step S 606 the infrared light image alignment processing unit 712 stores the alignment information in the alignment information buffer 714.
  • step S607 the infrared light image registration processing unit 712 determines whether all infrared light images have been processed, and if it is determined that there is an unprocessed infrared light image, the process proceeds to step S604. Return and execute the subsequent processing.
  • step S607 If it is determined in step S607 that all infrared light images have been processed, the process proceeds to step S608.
  • step S608 the visible light image alignment processing unit 715 stores the first visible light image in the super resolution result image buffer 717 as an initial image.
  • step S 609 the visible light image alignment processing unit 715 selects and reads out one unprocessed visible light image from the input image buffer 711.
  • step S610 the visible light image alignment processing unit 715 reads out the alignment information stored in the alignment information buffer 714. That is, the visible light image alignment processing unit 715 reads out the alignment information of the infrared light image corresponding to the visible light image read out in step S609.
  • step S611 the visible light image alignment processing unit 715 performs alignment processing of the visible light image using the alignment information.
  • step S612 the super resolving processor 716 performs the super resolving process.
  • the super-resolution processing is basically the same as the super-resolution processing described with reference to the flowchart of FIG. However, in the super-resolution processing in FIG. 15, the registered input image and the previous super-resolution result image are superimposed, while in the super-resolution processing in step S612, the super-resolution processing is aligned. The difference is that the visible light image and the previous super-resolution result image are superimposed. Therefore, the description of the super-resolution processing will be omitted since it will be repeated.
  • step S 613 the super-resolution processor 716 outputs a new super-resolution result image obtained by the super-resolution processing to the storage unit 103 or the output unit 104 and causes the super-resolution result image buffer 717 to store it. .
  • step S614 the super resolving processor 716 determines whether all visible light images have been processed. If it is determined that there is an unprocessed visible light image, the process returns to step S609, and thereafter Execute the process of
  • step S614 If it is determined in step S614 that all visible light images have been processed, the fundus image generation process ends.
  • the alignment is performed on the visible light image using the alignment information in the infrared light image, it is possible to obtain a picked-up image of the subject with higher image quality.
  • FIG. 35 is a block diagram showing another configuration example of the fundus image processing apparatus.
  • the fundus oculi image processing device 800 shown in FIG. 35 uses, for tone reproduction processing and super-resolution processing, biological information included in a visible light image that has been aligned using alignment information in an infrared light image. And generate a higher quality fundus image.
  • the fundus oculi image processing device 800 basically has the same configuration as the fundus oculi image processing device 700 of FIG. 29, and performs the same processing. However, the fundus oculi image processing device 800 includes an image processing unit 802 instead of the image processing unit 702 included in the fundus oculi image processing device 700. Therefore, only the image processing unit 802 will be described below.
  • the image processing unit 802 basically has the same configuration as the image processing unit 702, and performs the same processing. However, instead of the super resolution processor 716 and the super resolution result image buffer 717 included in the image processor 702, the image processor 802 performs a noise reduction processor 811, a noise reduction result image buffer 812, a tone reproduction processor, and the like. And super-resolution processor 416. Therefore, only the noise reduction processing unit 811, the noise reduction result image buffer 812, the tone reproduction processing unit 415, and the super resolution processing unit 416 will be described below.
  • the noise reduction processing unit 811 has basically the same configuration as the noise reduction processing unit 413 in FIG. 16 and performs the same processing. However, the noise reduction processing unit 811 causes the noise reduction result image buffer 812 to retain the previous visible image (that is, the noise reduction result) in which the visible light image whose alignment has been performed by the visible light image alignment processing unit 715 is held. The dynamic range of the fundus image is expanded and noise is reduced by superposing the image of
  • the noise reduction result image buffer 812 has basically the same configuration as the noise reduction result image buffer 414 in FIG. 16 and performs the same processing. However, the noise reduction result image buffer 812 stores the noise reduction result image generated by the noise reduction processing unit 811 and appropriately supplies the noise reduction result image to the noise reduction processing unit 811 as necessary. The noise reduction result image buffer 812 stores the aligned visible light image supplied first from the visible light image alignment processing unit 715 via the noise reduction processing unit 811 as an initial image.
  • the tone reproduction processing unit 415 and the super resolution processing unit 416 have basically the same configuration as the tone reproduction processing unit 415 and the super resolution processing unit 416 in FIG. 16, respectively, and perform the same processing. Therefore, the description is omitted because it is repeated.
  • step S641 to step S651 is the same as each process of step S601 to step S611 of FIG. 34, the description thereof is omitted to avoid repetition.
  • steps S652 to S656 are basically the same as steps S406 to S410 of FIG. However, in step S652, the noise reduction processing unit 811 superimposes the visible light images aligned in the process of step S651 to reduce noise.
  • step S653 the noise reduction processing unit 811 determines whether all visible light images have been processed. If it is determined that there is an unprocessed visible light image, the noise reduction processing unit 811 advances the process to step S654.
  • step S654 the noise reduction result image buffer 812 stores the noise reduction processing result image obtained by the processing of step S652, that is, the superimposed visible light image.
  • the noise reduction result image buffer 812 returns the process to step S649 and repeats the subsequent processes.
  • step S654 The processes in steps S649 to S654 are repeated, and if it is determined in step S653 that all visible light images have been processed, the noise reduction processing unit 811 advances the process to step S655.
  • step S655 the tone reproduction processing unit 415 performs tone reproduction processing on the generated single visible light image.
  • the details of the tone reproduction process are basically the same as those described with reference to the flowcharts of FIGS. 23 and 24, and thus the description thereof is omitted.
  • step S656 the super-resolution processor 416 performs super-resolution processing on the visible light image subjected to the tone reproduction processing.
  • the details of the super-resolution processing are basically the same as those described with reference to the flowchart of FIG.
  • the alignment is performed on the visible light image using the alignment information in the infrared light image, it is possible to obtain a picked-up image of the subject with higher image quality.
  • the methods of the fourth and fifth embodiments for obtaining a captured image of a higher quality object by using both the visible light image and the infrared light image obtained by the imaging unit are the same as those in the above-described fourth embodiment.
  • the present invention can be applied to each of the fundus image processing apparatuses 100, 200, and 400 according to the first to third embodiments.
  • each of the fundus image processing apparatuses 100, 200, and 400 to which the method of the fourth and fifth embodiments is applied is basically the same as the configuration shown in each of FIGS. 1, 3 and 16. Have.
  • each of the fundus image processing apparatuses 100, 200, and 400 to which the methods of the fourth and fifth embodiments are applied uses both the visible light image and the infrared light image.
  • the processing different from the processing in the embodiment of FIG. Therefore, in the following, processing in the case where the methods of the fourth and fifth embodiments are applied will be described in the order of the fundus oculi image processing devices 100, 200, and 400.
  • the fundus oculi image processing apparatus 100 of FIG. 1 in the case of using both a visible light image and an infrared light image will be described.
  • the imaging unit 101 of the fundus oculi image processing apparatus 100 of FIG. 1 repeats imaging of the fundus oculi a plurality of times simultaneously with visible light and infrared light. That is, the imaging unit 101 has the same configuration as the imaging unit 701 in FIG. 29, and performs the same processing.
  • the image processing unit 102 only the infrared light image is used in the processing of the motion vector detection unit 121, and both the visible light image and the infrared light image are used in the processing of the other components of the image processing unit 102. Is used.
  • the input image buffer 111 stores the visible light image and the infrared light image supplied from the imaging unit 101 as an input image.
  • the SR image buffer 113 holds the generated SR image of the visible light image and the infrared light image, and super-resolution processing unit 112 and the arithmetic unit 114 at predetermined timing of the SR image of the visible light image and the infrared light image.
  • the SR image of the infrared light image held in the SR image buffer 113 is supplied to the motion vector detection unit 121 and the motion compensation unit 122, and the LR image of the infrared light image held in the input image buffer 111 is a motion vector detection unit 121 and to the calculation unit 124.
  • the SR image of the visible light image held in the SR image buffer 113 is supplied only to the motion compensation unit 122, and the LR image of the visible light image held in the input image buffer 111 is supplied only to the calculation unit 12.
  • the motion vector detection unit 121 detects a motion vector based on the SR image of the infrared light image based on the SR image and LR image of the input infrared light image, and the motion vector of the detected infrared light image Are supplied to the motion compensation unit 122 and the reverse direction motion compensation unit 126.
  • the motion compensation unit 122 performs motion compensation on the visible light image and the SR image of the infrared light image on the basis of the motion vector of the infrared light image supplied from the motion vector detection unit 121 and obtains motion compensation.
  • the visible light image and the infrared light image are supplied to the downsampling filter 123.
  • the downsampling filter 123 generates a visible light image and an infrared light image of the same resolution as the LR image by downsampling the visible light image and the infrared light image supplied from the motion compensation unit 122, and generates the generated visible light
  • the image and the infrared light image are supplied to the calculation unit 124.
  • the calculation unit 124 generates a difference image representing the difference between each LR image of the visible light image and the infrared light image and the down-sampled visible light image and the infrared light image, and the generated visible light image And the difference image of each of the infrared light images to the upsampling filter 125.
  • the up-sampling filter 125 generates an image having the same resolution as the SR image by up-sampling each of the difference images of the visible light image and the infrared light image supplied from the calculation unit 124, and generates the generated visible light image and red
  • the ambient light image is output to the backward motion compensation unit 126.
  • the reverse motion compensation unit 126 performs motion compensation in the reverse direction to the visible light image and the infrared light image supplied from the upsampling filter 125 based on the motion vector of the infrared high image supplied from the motion vector detection unit 121. , And feedback values representing an infrared light image and a visible light image obtained by performing motion compensation in the reverse direction are supplied to the calculation unit 114.
  • Arithmetic unit 114 newly adds the feedback value supplied from reverse direction motion compensation unit 126 to the SR image of the visible light image and infrared light image generated in the past supplied from SR image buffer 113. Generate SR images of various visible light images and infrared light images. The calculation unit 114 supplies the generated SR image of the new visible light image and infrared light image to the SR image buffer 113 and holds the SR image, and the SR image is subjected to the next super-resolution processing (that is, the new SR image).
  • the calculation unit 114 supplies the SR image of the generated visible light image to the storage unit 103 for storage, supplies the generated SR image to the output unit 104 for display, or outputs the SR image to an external device or the like.
  • the image processing unit 102 uses the super-resolution processing unit 112 to perform fundus image (i.e., LR image) of a plurality of visible light images and infrared light images in which such super-resolution processing is held in the input image buffer 111. Finally, an SR image of one higher quality visible light image is generated.
  • fundus image i.e., LR image
  • step S 681 the imaging unit 101 captures an image of the fundus of the subject (that is, the subject) a plurality of times simultaneously with visible light and infrared light.
  • step S682 the image processing unit 102 stores the visible light image and the infrared light image obtained by the process of step S101 in the input image buffer 111.
  • step S683 the image processing unit 102 generates an initial image which is an SR image of the first visible light image and the infrared light image by an arbitrary method, and stores the initial image in the SR image buffer 113.
  • step S 684 the input image buffer 111 selects the stored unprocessed visible light image and infrared light image (that is, LR image) one by one and supplies it to the super-resolution processor 112.
  • step S685 the motion vector detection unit 121 detects a motion vector from the SR image and the LR image of the infrared light image.
  • step S686 the motion compensation unit 122 performs motion compensation on the SR image of the visible light image and the infrared light image using the motion vector of the infrared light image.
  • step S687 the downsampling filter 123 downsamples the motion-compensated SR image of the visible light image and the infrared light image to the same resolution as the LR image.
  • step S688 the calculation unit 124 obtains a difference image between the downsampling result of the SR image of the visible light image and the infrared light image and the LR image of the input visible light image and the infrared light image.
  • step S689 the upsampling filter 125 upsamples each difference image of the visible light image and the infrared light image.
  • step S690 the backward motion compensation unit 126 uses the motion vector of the infrared light image detected in the process of step S685 to reverse the upsampling result of each difference image of the visible light image and the infrared light image. Apply directional motion compensation.
  • step S 691 the arithmetic operation unit 114 stores feedback values, which are the result of the upscaling of the difference image of each of the visible light image and the infrared light image, calculated by the process of step S 690 in the past held by the SR image buffer 113.
  • the generated visible light image and infrared light image are added to respective SR images.
  • step S692 the image processing unit 102 stores the SR image of the newly generated visible light image in the storage unit 103 or causes the output unit 104 to output the SR image, and the visible light image and the infrared light image. It is stored in the SR image buffer 113.
  • step S693 the input image buffer 111 determines whether or not all visible light images and infrared light images (ie, LR images) have been processed, and unprocessed visible light images and infrared light images (ie, If it is determined that the LR image is present, the process returns to step S684, and a new visible light image and an infrared light image are selected as a processing target, and the visible light image and the infrared light image are subjected to the subsequent processing Let me repeat.
  • LR images visible light images and infrared light images
  • step S693 it is determined that all of a plurality of visible light images and infrared light images obtained by imaging a plurality of times by the imaging unit 101 are processed, and a fundus image of a single high-quality visible light image is obtained If so, the fundus image generation process ends.
  • the fundus oculi image processing apparatus 100 can obtain a fundus image with higher image quality without increasing the light quantity of the irradiation light of visible light to the fundus. That is, the fundus oculi image processing apparatus 100 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • the imaging unit 101 of the fundus oculi image processing device 200 in FIG. 3 repeats imaging of the fundus oculi a plurality of times simultaneously with visible light and infrared light. That is, the imaging unit 101 has the same configuration as the imaging unit 701 in FIG. 29, and performs the same processing.
  • the image processing unit 202 only the infrared light image is used in the processing of the biological information registration processing unit 212, and in the processing of the other components of the image processing unit 202, the visible light image and the infrared light image Both are used.
  • the input image buffer 111 stores the visible light image and the infrared light image supplied from the imaging unit 101 as an input image.
  • the living body information alignment processing unit 212 uses the living body information of the subject to generate an infrared light image (that is, an input image) supplied from the input image buffer 111 and an infrared light supplied from the super resolution result image buffer 214. The image is aligned with the light image (that is, the image superimposed by the super resolution processor 213). Then, the biometric information alignment processing unit 212 reflects the alignment result of the infrared light image on the visible light image supplied from the input image buffer 111.
  • the super-resolution processing unit 213 uses the super-resolution result image buffer 214 to generate super-resolution processing result images (that is, images obtained as super-resolution processing results) of visible light images and infrared light images generated in the past. And superimposing the super-resolution result image on the input image of the visible light image and the infrared light image registered by the biological information registration processing unit 212, to obtain a new visible light image and an infrared light image. Generate a super-resolution result image.
  • the super-resolution processing unit 213 stores the super-resolution result image of the visible light image in the storage unit 103 or causes the output unit 104 to output the super-resolution result image, and the super-resolution image of the visible light image and the infrared light image.
  • the buffer 214 is supplied and stored.
  • the super resolution result image buffer 214 holds the super resolution result image of the visible light image and the infrared light image generated by the super resolution processing unit 213, and at a predetermined timing, the super resolution result image is It is supplied to the information alignment processing unit 212 and the super resolution processing unit 213.
  • steps S721 to S724 are performed similarly to the processes of steps S681 to S684 of FIG. However, in step S723, the initial image of the visible light image and the infrared light image is stored in the super-resolution result image buffer 214. In step S 724, unprocessed visible light images and infrared light images are selected one by one as input images.
  • step S725 the biological information registration processing unit 212 performs biological information registration processing on the infrared light image.
  • the details of the biometric information alignment process are basically the same as those described with reference to the flowchart of FIG. 13, and thus the description thereof is omitted. However, among the flowchart of FIG. 13, only the details of the blood vessel alignment processing in step S227 will be described later with reference to FIG. 39.
  • step S 726 the super resolving processor 213 performs the super resolving process using the alignment result of the visible light image and the infrared light image.
  • the details of the super-resolution processing are basically the same as those described with reference to the flowchart of FIG.
  • step S727 the super-resolution processor 213 outputs the super-resolution result image of the new visible light image obtained by the super-resolution processing to the storage unit 103 or the output unit 104, and at the same time, the visible light image and infrared light The light image is stored in the super resolution result image buffer 214.
  • step S 728 the input image buffer 111 determines whether all visible light images and infrared light images have been processed, and if it is determined that there are unprocessed visible light images and infrared light images, processing is performed. Is returned to step S 724 to execute the subsequent processing.
  • step S728 If it is determined in step S728 that all visible light images and infrared light images have been processed, the fundus image generation process ends.
  • steps S741 to S748 are performed in the same manner as the processes of steps S241 to S248 of FIG. However, each process of step S741 to step S748 is performed on the infrared light image to be processed.
  • step S 749 the biological information registration processing unit 212 reads a visible light image corresponding to the infrared light image to be processed from the input image buffer 111.
  • step S750 the biological information registration processing unit 212 reflects the registration result of the infrared light image to be processed on the visible light image read in step S749. That is, alignment is performed on the visible light image.
  • step S751 the living body information registration processing unit 212 aligns the infrared light image based on the alignment result of the infrared light image, and the aligned visible light image, the infrared light image, and the blood vessel extraction result And is output to the super-resolution processing unit 213.
  • the fundus oculi image processing device 200 can obtain a fundus image with higher image quality without increasing the light amount of the irradiation light of visible light to the fundus. That is, the fundus oculi image processing device 200 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • the imaging unit 101 of the fundus oculi image processing apparatus 400 of FIG. 16 repeats imaging of the fundus oculi a plurality of times simultaneously with visible light and infrared light. That is, the imaging unit 101 has the same configuration as the imaging unit 701 in FIG. 29, and performs the same processing.
  • the image processing unit 402 only the infrared light image is used in the processing of the biological information registration processing unit 212, and in the processing of the other components of the image processing unit 402, the visible light image and the infrared light image Both are used.
  • the input image buffer 111 stores the visible light image and the infrared light image supplied from the imaging unit 101 as an input image.
  • the living body information alignment processing unit 212 uses the living body information of the subject to generate an infrared light image (that is, an input image) supplied from the input image buffer 111 and an infrared light supplied from the noise reduction result image buffer 414. The image is aligned with the image (that is, the image superimposed by the noise reduction processing unit 413). Then, the biometric information alignment processing unit 212 reflects the alignment result of the infrared light image on the visible light image supplied from the input image buffer 111.
  • the noise reduction processing unit 413 causes the noise reduction result image buffer 414 to hold each of the visible light image and the infrared light image that have been aligned by the biological information registration processing unit 212 (that is, the result of the previous superposition).
  • the dynamic range of the visible light image and the infrared light image is extended and the noise is reduced by superposing the visible light image and the infrared light image of the noise reduction result).
  • the noise reduction result image buffer 414 stores the noise reduction result image (that is, the superposition result image) of the visible light image and the infrared light image generated by the noise reduction processing unit 413, and the biological information alignment processing unit 212
  • the noise reduction result image of the visible light image and the infrared light image is supplied to the biological information registration processing unit 212 or the noise reduction processing unit 413 based on the request of the noise reduction processing unit 413 or at a predetermined timing.
  • the alignment of the infrared light image by the biological information alignment processing unit 212 and the superposition by the noise reduction processing unit 413 are repeatedly performed. In this manner, all of the plurality of visible light images and infrared light images obtained by imaging in the imaging unit 101 are processed to generate one visible light image.
  • the tone reproduction processing unit 415 and the super resolution processing unit 416 have the same configuration as that of FIG. 16 and perform the same processing. That is, one visible light image generated by the tone reproduction processing unit 415 and the super resolution processing unit 416 is subjected to tone reproduction processing by the tone reproduction processing unit 415, and thereafter, the super resolution processing unit 416 Super resolution processing is performed.
  • steps S771 to S774 are performed in the same manner as the processes of steps S721 to S724 of FIG. However, in step S773, the initial image of the visible light image and the infrared light image is stored in the noise reduction result image buffer 414.
  • step S775 the biological information registration processing unit 212 performs biological information registration processing on the infrared light image.
  • the details of the biometric information alignment process are basically the same as those described with reference to the flowchart of FIG. 13, and thus the description thereof is omitted.
  • the details of the blood vessel alignment processing in step S227 are basically the same as those described with reference to the flowchart of FIG. 39, and thus the description thereof is omitted.
  • step S776 the noise reduction processing unit 413 superimposes the images of the visible light image and the infrared light image aligned in the process of step S775 to reduce noise.
  • step S777 the noise reduction processing unit 413 determines whether all visible light images and infrared light images have been processed. If it is determined that the unprocessed visible light image and the infrared light image are present in the input image buffer 111, the noise reduction processing unit 413 advances the process to step S778.
  • step S778 the noise reduction result image buffer 414 performs noise reduction processing result images of the visible light image and the infrared light image obtained by the processing of step S776, that is, the superimposed visible light image and the infrared light image, respectively.
  • the noise reduction result image buffer 414 returns the process to step S774 and repeats the subsequent processes.
  • step S777 If it is determined in step S777 that all visible light images and infrared light images have been processed, the noise reduction processing unit 413 advances the process to step S779.
  • step S779 the tone reproduction processing unit 415 performs tone reproduction processing on the generated single visible light image.
  • the details of the tone reproduction process are basically the same as those described with reference to the flowchart of FIG. 23, and thus the description thereof is omitted.
  • step S780 the super-resolution processor 416 performs super-resolution processing on the image subjected to tone reproduction processing.
  • the details of the super-resolution processing are basically the same as those described with reference to the flowchart of FIG.
  • step S780 ends, the fundus oculi image generation process ends.
  • the fundus oculi image processing device 400 can obtain a fundus image with higher image quality without increasing the light quantity of the irradiation light of visible light to the fundus. That is, the fundus oculi image processing device 400 can obtain a captured image of the subject with higher image quality while suppressing an increase in the load on the subject.
  • FIG. 41 is a diagram for explaining a configuration example of the remote medical examination system.
  • the remote examination system 900 includes a small fundus camera 911, a doctor's terminal 912, a nurse's terminal 913, a patient's terminal 914, a network 915, an image processing unit 916, and a database 917. Have.
  • the small fundus camera 911 captures the fundus of a subject (that is, a patient) a plurality of times as a subject, and transmits data of a plurality of fundus images obtained as a result to the network 915.
  • the small fundus camera 911 has a configuration including a CCD imaging device, a CMOS imaging device, a transmitting unit for transmitting a captured fundus image to a network, and the like.
  • the small fundus camera 911 is not particularly required to have the configuration of the present embodiment, and any configuration capable of transmitting data of a plurality of captured fundus images to the network 915 is sufficient.
  • the small fundus camera 911 has a function of irradiating light to a subject being photographed in order to output a higher quality fundus image. That is, the small fundus camera 911 has the same configuration as the imaging unit 101 or the imaging unit 701 described above, and can execute the same processing.
  • the small fundus camera 911 is sized to be portable by the observer and operated by the nurse or the patient himself.
  • the doctor's terminal 912 acquires the data of the fundus oculi image and the data of the additional information from the database 917 as the examination data via the network 915.
  • Data of a high-quality fundus oculi image generated by an image processing device 916 described later is acquired from the database 917.
  • the additional information acquired from the database 917 includes, for example, information indicating a region of interest in the fundus image, information on similar cases, and information for assisting the medical examination by the doctor.
  • the additional information may include, for example, other information on the patient, that is, information on the patient's constitution, medical history, etc., and may further include any information.
  • the doctor's terminal 912 transmits an instruction of an imaging location by a doctor, a medical examination result, an instruction of re-imaging, and the like to the nurse's terminal 913 and the patient's terminal 914 via the network 915 as necessary.
  • the nurse terminal device 913 receives an instruction of an imaging location, a medical examination result, an instruction of reimaging, and the like from the doctor terminal 912 via the network 915. In addition, the nurse terminal device 913 acquires data of a fundus oculi image and data of additional information as needed from the database 917 via the network 915.
  • the patient terminal 914 receives an instruction of an imaging location, a medical examination result, a reimaging instruction, and the like from the doctor terminal 912 as necessary via the network 915.
  • the patient terminal 914 also acquires fundus image data from the database 917 via the network 915.
  • the patient terminal 914 may acquire health information and the like from the database 917 via the network 915.
  • the network 915 is a cloud type network, and is, for example, the Internet in the present embodiment.
  • the image processing unit 916 has the same configuration as that of any one of the image processing units 102, 202, 402, 702, and 802 in each of the fundus imaging devices 100, 200, 400, 700, and 800 described above, and executes the same processing. can do. That is, the image processing device 916 generates a fundus image having higher image quality from a plurality of captured images acquired from the small fundus camera 911 via the network 915. The data of the generated fundus oculi image is stored in the database 917 via the network 915 or supplied to the doctor's terminal 912, the nurse's terminal 913, or the patient's terminal.
  • the database 917 stores data of the fundus oculi image generated by the image processing device 916. Also, the database 917 stores additional information and other information. The content of the other information is not particularly limited, and may include, for example, health information and the like. The number of devices connected via the network 915 is not limited to the example shown in FIG.
  • step S881 the small fundus camera 911 images the fundus a plurality of times in accordance with the operation of the nurse or the patient. That is, the small-sized fundus camera 911 images the fundus a plurality of times with irradiation light of visible light of low light quantity or irradiation light of visible light of low light quantity and infrared light of light quantity sufficient for alignment.
  • step S 882 the small fundus camera 911 transmits the data of the captured image of the fundus obtained in step S 881 to the network 915.
  • step S ⁇ b> 883 the image processing apparatus 916 performs fundus image generation processing for generating a fundus image of higher quality from the captured image of the fundus acquired via the network 915.
  • the fundus oculi image generation processing in step S883 is basically the same as the fundus oculi image generation processing described with reference to the flowcharts of FIGS. 2, 12, 22, 34, or 36. However, since the imaging process of the fundus oculi which is performed first in each fundus oculi image generation processing of FIG. 2, FIG. 12, FIG. 22, FIG. 34 or FIG. The second and subsequent processes of the generation process are performed.
  • step S 884 the image processing device 916 stores the generated fundus image data in the database 917 via the network 915.
  • step S ⁇ b> 885 the doctor terminal device 912 acquires the data of the fundus image and the data of the additional information from the database 917 as data for examination via the network 915. Thereafter, the doctor's terminal 912 transmits the examination result and the like to the nurse's terminal 913 and the patient's terminal 914 via the network 915 as necessary.
  • step S886 the doctor terminal device 912 determines whether or not a re-imaging instruction has been issued. If a re-imaging instruction has been given, the process returns to step S881 and the subsequent processes are repeated.
  • step S886 If it is determined in step S886 that a reimaging instruction has not been issued, the remote examination process ends.
  • a doctor who is in a remote place can perform medical examination using a captured image of a fundus taken by a nurse or a patient using the small fundus camera 911.
  • the doctor looks at the high-quality captured image of the subject. Remote consultation can be performed.
  • a CPU (Central Processing Unit) 1001 of the personal computer 1000 executes various processes in accordance with a program stored in the ROM 1002 or a program loaded from the storage unit 1013 to the RAM 1003.
  • the RAM 1003 also stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001, the ROM 1002, and the RAM 1003 are mutually connected via a bus 1004.
  • An input / output interface 1010 is also connected to the bus 1004.
  • the input / output interface 1010 includes an input unit 1011 including a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 1012 including a speaker, and a hard disk.
  • a communication unit 1014 including a storage unit 1013 and a modem is connected. The communication unit 1014 performs communication processing via a network including the Internet.
  • a drive 1015 is connected to the input / output interface 1010 as necessary, and removable media 1021 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory are appropriately attached, and a computer program read from them is It is installed in the storage unit 1013 as necessary.
  • a program that configures the software is installed from a network or a recording medium.
  • this recording medium is a magnetic disk (including a flexible disk) on which a program is recorded, which is distributed for distributing a program to the user separately from the apparatus main body, an optical disk ( It consists only of removable media 1021 consisting of CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), Magneto-Optical Disc (including MD (Mini Disc), or semiconductor memory etc. Instead, it is composed of the ROM 1002 in which the program is recorded and delivered to the user in a state of being incorporated in the apparatus main body, a hard disk included in the storage unit 1013, and the like.
  • the program executed by the computer may be a program that performs processing in chronological order according to the order described in this specification, in parallel, or when necessary, such as when a call is made. It may be a program to be processed.
  • the step of describing the program to be recorded on the recording medium is not limited to processing performed chronologically in the order described, but not necessarily parallel processing It also includes processing to be executed individually. Each step may be processed by different devices. Also, one step may be shared by different processes.
  • system represents the entire apparatus configured by a plurality of devices (apparatus).
  • the configuration described above as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configuration described as a plurality of devices (or processing units) in the above may be collectively configured as one device (or processing unit).
  • configurations other than those described above may be added to the configuration of each device (or each processing unit).
  • part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit) if the configuration or operation of the entire system is substantially the same. . That is, the embodiment of the present technology is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the present technology.
  • the present technology can also have the following configurations.
  • a position alignment unit that performs position alignment so as to align the position of the subject in a plurality of captured images obtained by an imaging unit that captures an image of the subject using biological information of the subject;
  • An overlapping unit configured to generate an image of the subject having a larger dynamic range than the captured image by superimposing the captured image on which alignment has been performed by the alignment unit.
  • the superposition unit is A detection unit that detects a motion vector between the captured image and the image of the subject generated by the superposition; A motion compensation unit that performs motion compensation on the image of the subject using the motion vector detected by the detection unit; A subtraction unit that subtracts the captured image from the image of the subject on which motion compensation has been performed by the motion compensation unit; Reversely performing motion compensation in a direction opposite to motion compensation by the motion compensation unit on the difference value between the image of the subject by the subtraction unit and the captured image using the motion vector detected by the detection unit A directional motion compensation unit, An adding unit that adds the difference value, for which the motion compensation has been performed by the reverse direction motion compensation unit, to the image of the subject.
  • the image processing apparatus according to (1).
  • the superposition unit is A downsampling unit that downsamples the image of the subject subjected to motion compensation by the motion compensation unit, and reduces the resolution of the subject to the resolution of the captured image; And an upsampling unit for upsampling the difference value between the image of the subject and the captured image by the subtraction unit and increasing the resolution of the difference value to the resolution of the image of the subject.
  • the subtraction unit subtracts the captured image from the image of the subject downsampled by the downsampling unit, Using the motion vector detected by the detection unit, the reverse motion compensation unit moves the difference value up-sampled by the up-sampling unit in the direction opposite to the motion compensation by the motion compensation unit.
  • the image processing apparatus according to (1) or (2), which performs compensation.
  • the alignment unit aligns the position of the subject in the captured image obtained by the imaging unit to the position of the subject in the image of the subject generated last time,
  • the superimposing unit superimposes the plurality of captured images by superimposing the captured images, which have been aligned by the alignment unit, one by one on the image of the subject generated last time.
  • the image processing apparatus according to (1), (2), or (3) which generates an image of the subject having a larger dynamic range than a captured image.
  • the subject is a fundus
  • the image processing apparatus according to any one of (1) to (4), wherein the alignment unit uses a blood vessel as the biological information.
  • An estimation unit that estimates a point spread function of the captured image that has been aligned by the alignment unit; And a removing unit configured to remove blurring of the captured image using the spread function estimated by the estimating unit;
  • the superposition unit performs alignment by the alignment unit, and superimposes, one by one, the captured image from which the blur is removed by the removal unit on the image of the subject generated previously.
  • the image processing apparatus according to any one of (1) to (6), wherein an image of the subject having a larger dynamic range than the captured image is generated by superimposing a plurality of captured images.
  • the imaging unit captures the subject a plurality of times while irradiating the subject with relatively dark irradiation light.
  • An image processing method of the image processing apparatus comprising: a tone correction unit that performs tone correction on a captured image generated by superimposing a plurality of captured images by the overlapping unit according to biological information of the subject.
  • the gradation correction unit includes a parameter determination unit that determines a value of a parameter for calculating a tone curve used for gradation correction of the captured image according to biological information of the subject. Image processing device.
  • the parameter determination unit An adjustment unit configured to adjust a value of a parameter for calculating a tone curve used for tone correction of the captured image by a predetermined method; A correction unit that corrects the captured image using the parameter whose value is adjusted by the adjustment unit; A site-specific inspection unit for examining a captured image after correction, which is the captured image corrected by the correction unit, for each region as a living body included in the captured image according to the feature of the image of each region; , When the captured image after the correction passes the examination performed by the inspection unit according to the part, the brightness of the captured image before the correction which is the captured image before the correction by the correction unit and the captured image after the correction A comparison unit that compares the brightness of the The adjustment by the adjustment unit, the correction by the correction unit, the inspection by the inspection unit according to the part, and the comparison
  • the parameter determination unit It further comprises a part recognition unit that analyzes the captured image and recognizes a part as a living body included in the captured image, The image processing apparatus according to (10), (11), or (12), wherein the site-specific inspection unit performs an examination for each site recognized by the site recognition unit.
  • the parameter determination unit The image processing apparatus further includes a brightness value calculation unit that calculates a brightness value indicating the brightness of the captured image, The comparison unit compares the brightness value of the captured image before the correction calculated by the brightness value calculation unit with the brightness value of the captured image after the correction (10) to (13).
  • the image processing apparatus according to any one of the above.
  • the parameter determination unit The image processing apparatus according to any one of (10) to (14), further including: a parameter selection unit configured to select an adjustment target parameter to be adjusted by the adjustment unit from among a plurality of parameters.
  • the parameter determination unit It further comprises a part recognition unit that analyzes the captured image and recognizes a part as a living body included in the captured image, The correction unit corrects an image of each part recognized by the part recognition unit, The site-specific examination unit examines an image of each site corrected by the correction unit, The image processing apparatus according to any one of (10) to (15), wherein the comparison unit compares the brightness of the image of each part before correction by the correction unit with the brightness after correction.
  • the image processing apparatus according to any one of (10) to (16), further including: a resolution increasing unit configured to increase the resolution of the captured image subjected to the tone correction by the tone correction unit.
  • a resolution increasing unit configured to increase the resolution of the captured image subjected to the tone correction by the tone correction unit.
  • the resolution increasing unit enhances the resolution of the captured image subjected to the tone correction by the tone correction unit according to the biological information of the subject. apparatus.
  • An image processing method of the image processing apparatus; The superimposing unit superposes a plurality of captured images obtained by the imaging unit for capturing an object, An image processing method, wherein a gradation correction unit performs gradation correction on a captured image generated by superimposing a plurality of captured images according to biological information of the subject.
  • a superposition unit which superimposes a plurality of captured images obtained by an imaging unit for imaging a subject on one another;
  • An image processing apparatus comprising: a resolution increasing unit configured to increase a resolution of a captured image generated by superimposing a plurality of captured images by the overlapping unit according to biological information of the subject.
  • the high resolution unit is A super-resolution processing unit that performs super-resolution processing on the captured image to improve resolution by learning for each of a plurality of types of learning dictionaries, and generates multiple super-resolution result images that are high-resolution captured images
  • the super-resolution result image generated by performing the super-resolution processing using each learning dictionary by the super-resolution processing unit is used as an image of each portion for each part as a living body included in the super-resolution result image
  • a part-by-part image evaluation unit to be evaluated by a method according to the features of The image processing device according to (20), further comprising: an image selection unit that selects an optimal super-resolution result image from among the plurality of super-resolution result images based on the evaluation by the region-specific image evaluation unit.
  • the high resolution unit is The image processing apparatus further comprises a region recognition unit that analyzes the super resolution result image and recognizes a region as a living body included in the super resolution result image,
  • the part-specific image evaluation unit evaluates each super-resolution result image for each part recognized by the part recognition part according to the method according to the feature of the image of each part Image processing apparatus as described.
  • the image processing apparatus further includes a tone correction unit that performs tone correction on a captured image generated by superimposing a plurality of captured images by the overlapping unit.
  • the resolution enhancement unit performs resolution enhancement on the captured image, which has been subjected to the tone correction by the tone correction unit, according to biological information of the subject described in (20), (21), or (22). Image processing device.
  • the gradation correction unit corrects the gradation of a captured image generated by superimposing a plurality of captured images by the overlapping unit according to biological information of the subject (20) to (24).
  • Image processing apparatus as described.
  • the superimposing unit superposes a plurality of captured images obtained by the imaging unit for capturing an object,
  • An infrared light image alignment unit for performing alignment so as to align the position of the subject in a plurality of infrared light images obtained by an imaging unit for imaging the subject using biological information of the subject;
  • An alignment information storage unit that stores alignment information that is a result of alignment by the infrared light image alignment unit;
  • a visible light image alignment unit that performs alignment so as to align the position of a subject in a plurality of visible light images obtained by the imaging unit using the alignment information stored in the alignment information storage unit;
  • An overlapping unit configured to generate an image of the subject having a larger dynamic range than the visible light image by overlapping the visible light images subjected to the alignment by the visible light alignment unit.
  • the imaging unit captures a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light quantity and infrared light of a light quantity higher than the predetermined light quantity.
  • Processing unit. The infrared light image alignment unit first obtains the position of the subject in the infrared light image obtained by the imaging unit among the plurality of infrared light images obtained by the imaging unit. Performing the alignment so as to align with the position of the subject in the infrared light image; The superposition unit superimposes the visible light images, which have been aligned by the visible light image alignment unit, one by one on the image of the subject generated last time, thereby the plurality of visible light images.
  • the image processing apparatus according to (26) or (27), which generates an image of the subject having a larger dynamic range than the visible light image, which is superimposed.
  • the subject is a fundus
  • the image processing apparatus according to any one of (26) to (29), wherein the infrared light image alignment unit further uses a crossing point of the blood vessel as the biological information.
  • the infrared light image alignment unit aligns the position of the subject in a plurality of infrared light images obtained by the imaging unit for imaging the subject using biological information of the subject
  • An alignment information storage unit stores alignment information that is the result of alignment by the infrared light image alignment unit
  • the visible light image alignment unit uses the alignment information stored in the alignment information storage unit to align the position of the subject in a plurality of visible light images obtained by the imaging unit.
  • the imaging unit captures a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light quantity and infrared light of a light quantity higher than the predetermined light quantity.
  • Processing unit The image processing apparatus according to (32) or (33), further including: a resolution increasing unit configured to increase the resolution of the visible light image subjected to the tone correction by the tone correction unit.
  • the resolution enhancement unit performs resolution enhancement on the visible light image subjected to the tone correction by the tone correction unit according to the biological information of the subject according to (32), (33), or (34).
  • Image processing device is
  • the subject is a fundus
  • the infrared light image alignment unit further uses a crossing point of the blood vessel as the biological information.
  • the infrared light image alignment unit aligns the position of the subject in a plurality of infrared light images obtained by the imaging unit for imaging the subject using biological information of the subject
  • An alignment information storage unit stores alignment information that is the result of alignment by the infrared light image alignment unit
  • the visible light image alignment unit uses the alignment information stored in the alignment information storage unit to align the position of the subject in a plurality of visible light images obtained by the imaging unit.
  • a superposition unit superimposes the plurality of visible light images that have been aligned by the visible light alignment unit;
  • An image processing method wherein a gradation correction unit corrects a gradation of a visible light image generated by superimposing a plurality of visible light images by the overlapping unit according to biological information of the subject.
  • An imaging unit for imaging a subject An image processing unit that acquires a plurality of captured images obtained by the imaging unit via a network and performs image processing on the obtained plurality of captured images;
  • a storage unit configured to store the captured image subjected to the image processing by the image processing unit;
  • An output unit that outputs the captured image stored in the storage unit.
  • the image processing unit An alignment unit that performs alignment so as to align the position of the subject in the plurality of captured images using biological information of the subject;
  • the image forming apparatus further comprising: an overlapping unit configured to generate an image of the subject having a larger dynamic range than the captured image by overlapping the captured image on which the alignment is performed by the alignment unit.
  • Image processing device (41) The image processing unit A superposition unit that superimposes a plurality of captured images obtained by the imaging unit on each other; And a tone correction unit that performs tone correction on a captured image generated by superimposing a plurality of captured images by the superimposing unit according to the biological information of the subject.
  • the image processing unit The image processing apparatus according to any one of (39), (40), and (41), further including: a resolution increasing unit configured to increase the resolution of the captured image subjected to the tone correction by the tone correction unit.
  • the imaging unit captures a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light quantity and infrared light of a light quantity higher than the predetermined light quantity
  • the image processing unit An infrared light image alignment unit that performs alignment so as to align the position of the subject in a plurality of infrared light images obtained by the imaging unit using biological information of the subject;
  • An alignment information storage unit that stores alignment information that is a result of alignment by the infrared light image alignment unit;
  • a visible light image alignment unit that performs alignment so as to align the position of a subject in a plurality of visible light images obtained by the imaging unit using the alignment information stored in the alignment information storage unit;
  • the image processing apparatus according to any one of (42) to (42).
  • the imaging unit captures a plurality of images of the subject while irradiating the subject with irradiation light including visible light of a predetermined light quantity and infrared light of a light quantity higher than the predetermined light quantity
  • the image processing unit An infrared light image alignment unit that performs alignment so as to align the position of the subject in a plurality of infrared light images obtained by the imaging unit using biological information of the subject;
  • An alignment information storage unit that stores alignment information that is a result of alignment by the infrared light image alignment unit;
  • a visible light image alignment unit that performs alignment so as to align the position of a subject in a plurality of visible light images obtained by the imaging unit using the alignment information stored in the alignment information storage unit;
  • 100 fundus image processing apparatus 101 imaging unit, 102 image processing unit, 103 storage unit, 104 output unit, 111 input image buffer, 112 super resolution processing unit, 113 SR image buffer, 114 operation unit, 121 motion vector detection unit, 122 motion compensation unit, 123 downsampling filter, 124 operation unit, 125 upsampling filter, 126 reverse motion compensation unit, 200 fundus image processing apparatus, 202 image processing unit, 212 biometric information registration processing unit, 213 super resolution processing Part, 214 super resolution result image buffer, 241 input image blood vessel extraction unit, 242 super resolution result image blood vessel extraction unit, 243 input image intersection point extraction unit, 244 super resolution result image intersection point extraction unit, 245 intersection Point alignment processing unit, 246 blood vessel alignment processing unit, 271 superposition processing unit, 272 shift processing unit, 273 stretching processing unit, 274 rotation processing unit, 275 enlargement and reduction processing unit, 276 convergence determination unit, 301 PSF estimation unit, 302 Deblurring processing unit, 303 superposition processing unit, 400 fundus image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

　本技術は、画像処理装置および方法に関し、特に、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができるようにした画像処理装置および方法に関する。　撮像部は、光量を落として眼の眼底を複数回撮像し、複数枚の眼底画像を生成する。生体情報位置合わせ処理部は、被写体の生体情報を用いて、眼底画像の位置合わせを行う。超解像処理部は、前回の超解像結果画像に、位置合わせされた入力画像を重ね合わせ、新たな超解像結果画像を生成する。超解像処理部は、その超解像結果画像を記憶部に記憶させたり、出力部より出力させたりするとともに、超解像結果画像バッファに供給し、記憶させる。本技術は、例えば、画像処理装置に適用することができる。

Description

画像処理装置および方法
　本技術は、画像処理装置および方法に関し、特に、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができるようにした画像処理装置および方法に関する。
　従来、瞳孔を通じて眼球内の網膜や視神経乳頭等の眼底を観察する、所謂眼底検査が行われている。
　眼底検査は、例えば、眼底鏡や眼底カメラといった専用の装置を用いて行われる。例えば、観察者は、観察対象である、被験者の眼球内の眼底を、眼底カメラで撮像し、得られた撮像画像をモニタ等に表示し、観察を行う。
　この観察をより正確に行うためには、眼底の撮像画像（眼底画像）を高画質化する必要がある。
　眼底画像を高画質化する方法として、例えば、眼底を撮像する際に、眼底に照射する光量を増加させることが考えられる。
　また、眼底を撮像して得られた撮像画像に対して画像処理を行うことにより、高画質な眼底画像を得ることが考えられる。
　例えば、特許文献１には、複数枚の眼底画像からノイズリダクションを行う方法が記載されている。また、例えば、特許文献２には、周期的なパターンを照射して高解像度画像を得る方法が記載されている。さらに、例えば、特許文献３にも、複数枚の眼底画像からノイズリダクションを行う方法が記載されている。また、非特許文献１には、Wavefront sensingとWiener Filterを組み合わせたボケ除去方法が記載されている。
特開２０１０－１１０３９２号公報 特開２００８－２７２４８９号公報 特開平０９－２５３０５２号公報
"Hybrid technique for high resolution imaging of the eye fundus", Justo Arines and Salvador Bara, 2003
　しかしながら、撮像時に被験者の眼底により多くの光量を照射すると、被験者に与える負荷が増大してしまい、観察対象に対して不要な影響を及ぼしたり、被験者の心理的な負担を増大させたりする恐れがあった。また、撮像時に被験者の眼底により多くの光量を照射されることにより、被験者が、所謂、眩しいと感じ、瞼を閉じたり、動いたりしてしまい、高画質な撮像画像を得ることが出来ない恐れがあった。
　また、特許文献１に記載の方法では、位置ずれを表示し、ユーザにずれを補正してもらう必要があった。また、この方法はノイズ除去に関する方法であり、この方法で輪郭を強調させることは困難であった。
　さらに、特許文献２に記載の方法では、撮像時に、互いに異なるパターンで光が照射され、その情報が利用されるので、各照射において光量を落とすことが困難であった。
　また、特許文献３に記載の方法は、ノイズ除去に関する方法であり、この方法で輪郭を強調させることは困難であった。
　さらに非特許文献１に記載の方法は、画像のボケ除去に関する処理であり、この方法で輪郭を強調させることは困難であった。
　本技術は、このような状況に鑑みてなされたものであり、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることを目的とする。
　本技術の第１の側面は、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行う位置合わせ部と、前記位置合わせ部により位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とを備える画像処理装置である。
　前記重ね合わせ部は、前記撮像画像と、前記重ね合わせにより生成される前記被写体の画像との間の動きベクトルを検出する検出部と、前記検出部により検出された前記動きベクトルを用いて、前記被写体の画像に動き補償を行う動き補償部と、前記動き補償部により動き補償が行われた前記被写体の画像から前記撮像画像を減算する減算部と、前記検出部により検出された前記動きベクトルを用いて、前記減算部による前記被写体の画像と前記撮像画像との差分値に、前記動き補償部による動き補償とは逆方向に、動き補償を行う逆方向動き補償部と、前記逆方向動き補償部により動き補償が行われた前記差分値を、前記被写体の画像に加算する加算部とを備えることができる。
　前記重ね合わせ部は、前記動き補償部により動き補償が行われた前記被写体の画像をダウンサンプリングし、前記被写体の解像度を前記撮像画像の解像度に落とすダウンサンプリング部と、前記減算部による前記被写体の画像と前記撮像画像との差分値をアップサンプリングし、前記差分値の解像度を前記被写体の画像の解像度まであげるアップサンプリング部とをさらに備え、前記減算部は、前記ダウンサンプリング部によりダウンサンプリングされた前記被写体の画像から前記撮像画像を減算し、前記検出部により検出された前記動きベクトルを用いて、前記逆方向動き補償部は、前記アップサンプリング部によりアップサンプリングされた前記差分値に、前記動き補償部による動き補償とは逆方向に、動き補償を行うことができる。
　前記位置合わせ部は、前記撮像部により得られた撮像画像における前記被写体の位置を前回生成された前記被写体の画像における前記被写体の位置に合わせるように、前記位置合わせを行い、前記重ね合わせ部は、前記位置合わせ部により位置合わせが行われた前記撮像画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の撮像画像を重ね合わせた、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成することができる。
　前記被写体は眼底であり、前記位置合わせ部は、前記生体情報として血管を用いることができる。
　前記位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いることができる。
　前記位置合わせ部により位置合わせが行われた前記撮像画像の点拡がり関数を推定する推定部と、前記推定部により推定された前記拡がり関数を用いて前記撮像画像のボケを除去する除去部とをさらに備え、前記重ね合わせ部は、前記位置合わせ部により位置合わせが行われ、前記除去部により前記ボケが除去された前記撮像画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の撮像画像を重ね合わせた、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成することができる。
　前記撮像部は、比較的暗い照射光を前記被写体に照射しながら前記被写体を複数回撮像することができる。
　本技術の第１の側面は、また、画像処理装置の画像処理方法であって、位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行い、重ね合わせ部が、位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する画像処理方法である。
　本技術の第２の側面は、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する階調補正部とを備える画像処理装置である。
　前記階調補正部は、前記撮像画像の階調補正に用いるトーンカーブを算出するためのパラメータの値を、前記被写体の生体情報に応じて決定するパラメータ決定部を備えることができる。
　前記パラメータ決定部は、前記撮像画像の階調補正に用いるトーンカーブを算出するためのパラメータの値を所定の方法で調整する調整部と、前記調整部により値が調整された前記パラメータを用いて前記撮像画像を補正する補正部と、前記撮像画像に含まれる生体としての部位毎に、各部位の画像の特徴に応じた方法で、前記補正部により補正された前記撮像画像である補正後の撮像画像を検査する部位別検査部と、前記補正後の撮像画像が前記部位別検査部により行われる検査に合格する場合、前記補正部により補正される前の前記撮像画像である補正前の撮像画像の明るさと、前記補正後の撮像画像の明るさとを比較する比較部と、前記調整部による調整、前記補正部による補正、前記部位別検査部による検査、および前記比較部による比較が繰り返し行われ、前記比較部により前記補正後の撮像画像が前記補正前の撮像画像よりも明るくないと判定された場合、前記パラメータの値を、決定された値として出力する出力部とを備えることができる。
　前記パラメータ決定部は、前記撮像画像を解析し、前記撮像画像に含まれる生体としての部位を認識する部位認識部をさらに備え、前記部位別検査部は、前記部位認識部により認識された各部位毎に検査を行うことができる。
　前記パラメータ決定部は、前記撮像画像の明るさを示す明るさ値を算出する明るさ値算出部をさらに備え、前記比較部は、前記明るさ値算出部により算出される、前記補正前の撮像画像の明るさ値と、前記補正後の撮像画像の明るさ値とを比較することができる。
　前記パラメータ決定部は、前記調整部により調整を行う調整対象パラメータを複数のパラメータの中から選択するパラメータ選択部をさらに備えることができる。
　前記パラメータ決定部は、前記撮像画像を解析し、前記撮像画像に含まれる生体としての部位を認識する部位認識部をさらに備え、前記補正部は、前記部位認識部により認識された各部位の画像を補正し、前記部位別検査部は、前記補正部により補正された各部位の画像を検査し、前記比較部は、各部位の画像の、前記補正部による補正前の明るさと補正後の明るさとを比較することができる。
　前記階調補正部により階調補正された前記撮像画像を高解像度化する高解像度化部をさらに備えることができる。
　前記高解像度化部は、前記階調補正部により階調補正された前記撮像画像を前記被写体の生体情報に応じて高解像度化することができる。
　本技術の第２の側面においては、また、画像処理装置の画像処理方法であって、重ね合わせ部が、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせ、階調補正部が、複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する画像処理方法である。
　本技術の第３の側面は、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて高解像度化する高解像度化部とを備える画像処理装置である。
　前記高解像度化部は、前記撮像画像に対して、学習により解像度を向上させる超解像処理を、複数種類の学習辞書のそれぞれについて行い、高解像度の撮像画像である超解像結果画像を複数生成する超解像処理部と、前記超解像処理部により各学習辞書を用いて超解像処理されて生成された各超解像結果画像を、前記超解像結果画像に含まれる生体としての部位毎に、各部位の画像の特徴に応じた方法で、評価する部位別画像評価部と、前記部位別画像評価部による評価に基づいて、前記複数の超解像結果画像の中から最適な超解像結果画像を選択する画像選択部とを備えることができる。
　前記高解像度化部は、前記超解像結果画像を解析し、前記超解像結果画像に含まれる生体としての部位を認識する部位認識部をさらに備え、前記部位別画像評価部は、各超解像結果画像を、前記部位認識部により認識された部位毎に、各部位の画像の特徴に応じた方法で評価することができる。
　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を階調補正する階調補正部をさらに備え、前記高解像度化部は、前記階調補正部により階調補正された前記撮像画像を、前記被写体の生体情報に応じて高解像度化することができる。
　前記階調補正部は、前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正することができる。
　本技術の第３の側面は、また、画像処理装置の画像処理方法であって、重ね合わせ部が、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせ、高解像度化部が、複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて高解像度化する画像処理方法である。
　本技術の第４の側面は、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とを備える画像処理装置である。
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像することができる。
　前記赤外光画像位置合わせ部は、前記撮像部により得られた赤外光画像における前記被写体の位置を、前記撮像部により得られた前記複数の赤外光画像のうちの、最初に得られた前記赤外光画像における前記被写体の位置に合わせるように、前記位置合わせを行い、前記重ね合わせ部は、前記可視光画像位置合わせ部により位置合わせが行われた前記可視光画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の可視光画像を重ね合わせた、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成することができる。
　前記被写体は眼底であり、前記赤外光画像位置合わせ部は、前記生体情報として血管を用いることができる。
　前記赤外光画像位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いることができる。
　本技術の第４の側面は、また、画像処理装置の画像処理方法であって、赤外光画像位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行い、位置合わせ情報記憶部が、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶し、可視光画像位置合わせ部が、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行い、重ね合わせ部が、前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する画像処理方法である。
　本技術の第５の側面は、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を互いに重ね合わせる重ね合わせ部と、前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する階調補正部とを備える画像処理装置である。
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像することができる。
　前記階調補正部により階調補正された前記可視光画像を高解像度化する高解像度化部をさらに備えることができる。
　前記高解像度化部は、前記階調補正部により階調補正された前記可視光画像を前記被写体の生体情報に応じて高解像度化することができる。
　前記被写体は眼底であり、前記赤外光画像位置合わせ部は、前記生体情報として血管を用いることができる。
　前記赤外光画像位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いることができる。
　本技術の第５の側面は、また、画像処理装置の画像処理方法であって、赤外光画像位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行い、位置合わせ情報記憶部が、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶し、可視光画像位置合わせ部が、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行い、重ね合わせ部が、前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を重ね合わせ、階調補正部が、前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する画像処理方法である。
　本技術の第６の側面は、被写体を撮像する撮像部と、ネットワークを介して、前記撮像部により得られた複数の撮像画像を取得し、取得した前記複数の撮像画像に対して画像処理を施す画像処理部と、前記画像処理部により画像処理が施された前記撮像画像を記憶する記憶部と、前記記憶部に記憶された前記撮像画像を出力する出力部を備える診断システムである。
　前記画像処理部は、前記被写体の生体情報を用いて、前記複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行う位置合わせ部と、前記位置合わせ部により位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とをさらに備えることができる。
　前記画像処理部は、前記撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する階調補正部とをさらに備えることができる。
　前記画像処理部は、前記階調補正部により階調補正された前記撮像画像を高解像度化する高解像度化部をさらに備えることができる。
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像し、前記画像処理部は、被写体の生体情報を用いて、前記撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とをさらに備えることができる。
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像し、前記画像処理部は、被写体の生体情報を用いて、前記撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を重ね合わせる重ね合わせ部と、前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する階調補正部とをさらに備えることができる。
　前記被写体は眼底とすることができる。
　本技術の第１の側面においては、被写体の生体情報を用いて、被写体を撮像する撮像部により得られた複数の撮像画像において被写体の位置を合わせるように位置合わせが行われ、得られた複数の撮像画像が、位置を合わせながら重ね合わせられ、撮像画像よりもダイナミックレンジが大きな被写体の画像が生成される。
　本技術の第２の側面においては、被写体を撮像する撮像部により得られた複数の撮像画像が互いに重ね合わせられ、複数の撮像画像が重ね合わされて生成された撮像画像が、前記被写体の生体情報に応じて階調補正される。
　本技術の第３の側面においては、被写体を撮像する撮像部により得られた複数の撮像画像が互いに重ね合わせられ、複数の撮像画像が重ね合わされて生成された撮像画像が、被写体の生体情報に応じて高解像度化される。
　本技術の第４の側面においては、被写体の生体情報を用いて、被写体を撮像する撮像部により得られた複数の赤外光画像において被写体の位置を合わせるように位置合わせが行われ、位置合わせの結果である位置合わせ情報が記憶され、位置合わせ情報を用いて、複数の可視光画像において被写体の位置を合わせるように位置合わせが行われ、位置合わせが行われた可視光画像が重ね合わされることにより、可視光画像よりもダイナミックレンジが大きな被写体の画像が生成される。
　本技術の第５の側面においては、被写体の生体情報を用いて、被写体を撮像する撮像部により得られた複数の赤外光画像において被写体の位置を合わせるように位置合わせが行われ、位置合わせの結果である位置合わせ情報が記憶され、位置合わせ情報を用いて、複数の可視光画像において被写体の位置を合わせるように位置合わせが行われ、位置合わせが行われた複数の可視光画像が互いに重ね合わされ、複数の可視光画像が重ね合わされて生成された可視光画像が被写体の生体情報に応じて階調補正される。
　本技術の第６の側面においては、被写体が撮像され、ネットワークを介して、複数の撮像画像が取得され、取得された複数の撮像画像に対して画像処理が施され、画像処理が施された撮像画像が記憶され、記憶された撮像画像が出力される。
　本技術によれば、画像を処理することができる。特に、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
本技術を適用した眼底画像処理装置の主な構成例を示すブロック図である。 眼底画像生成処理の流れの例を説明したフローチャートである。 本技術を適用した眼底画像処理装置の他の構成例を示すブロック図である。 全体の処理の流れの例を説明する図である。 生体情報位置合わせ処理部の主な構成例を示すブロック図である。 生体情報を使った位置合わせの処理の流れの例を説明する図である。 血管位置合わせ処理部の主な構成例を示すブロック図である。 血管位置合わせ処理の流れの例を説明する図である。 超解像処理部の主な構成例を示すブロック図である。 超解像処理の流れの例を説明する図である。 血管画像を用いたPSF推定処理の流れの例を説明する図である。 眼底画像生成処理の流れの例を説明するフローチャートである。 生体情報位置合わせ処理の流れの例を説明するフローチャートである。 血管位置合わせ処理の流れの例を説明するフローチャートである。 超解像処理の流れの例を説明するフローチャートである。 本技術を適用した眼底画像処理装置の、さらに他の構成例を示すブロック図である。 全体の処理の流れの例を説明する図である。 トーンリプロダクション処理部の主な構成例を示すブロック図である。 トーンカーブの例を説明する図である。 パラメータ決定部の主な構成例を示すブロック図である。 超解像処理部の主な構成例を示すブロック図である。 眼底画像生成処理の流れの他の例を説明するフローチャートである。 トーンリプロダクション処理の流れの例を説明するフローチャートである。 パラメータ決定処理の流れの例を説明するフローチャートである。 超解像処理の流れの例を説明するフローチャートである。 パラメータ決定部の他の構成例を示すブロック図である。 パラメータ決定処理の流れの他の例を説明するフローチャートである。 第４の実施の形態の概要について説明する図である。 本技術を適用した眼底画像処理装置の、さらに他の構成例を示すブロック図である。 撮像部の主な構成例を示す図である。 画像処理部による処理の流れについて説明する図である。 赤外光画像位置合わせ処理部の主な構成例を示すブロック図である。 血管位置合わせ処理部の主な構成例を示すブロック図である。 眼底画像生成処理の流れの他の例を説明するフローチャートである。 眼底画像処理装置の他の構成例を示すブロック図である。 眼底画像生成処理の流れの他の例を説明するフローチャートである。 眼底画像生成処理の流れの他の例を説明するフローチャートである。 眼底画像生成処理の流れの他の例を説明するフローチャートである。 血管位置合わせ処理の流れの他の例を説明する。 眼底画像生成処理の流れの他の例を説明するフローチャートである。 遠隔診察システムの構成例について説明する図である。 遠隔診察処理の流れの例について説明するフローチャートである。 本技術を適用したパーソナルコンピュータの主な構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（眼底画像処理装置）
２．第２の実施の形態（眼底画像処理装置）
３．第３の実施の形態（眼底画像処理装置）
４．第４の実施の形態（眼底画像処理装置）
５．第５の実施の形態（眼底画像処理装置）
６．第６の実施の形態（遠隔診断システム）
７．第７の実施の形態（パーソナルコンピュータ）
＜１．第１の実施の形態＞
［眼底画像処理装置の構成］
　図１は、本技術を適用した眼底画像処理装置の主な構成例を示すブロック図である。図１に示される眼底画像処理装置１００は、観察対象である被験者の、眼球内の網膜や視神経乳頭等の眼底を撮像し、その撮像画像である眼底の画像（眼底画像）を得る装置である。
　眼底画像処理装置１００は、被写体（被験者の眼底）への負荷の増大を抑制するために、被写体に照射する光量を抑制して撮像を行う。また、眼底画像処理装置１００は、より高画質な眼底画像を得るために、撮像を複数回行い、複数の撮像画像を得、それらを用いて超解像処理を行う。
　眼底画像処理装置１００は、撮像部１０１、画像処理部１０２、記憶部１０３、および出力部１０４を有する。
　撮像部１０１は、例えばCCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等を用いた撮像素子を有し、所定の位置の被験者の眼底を撮像する。撮像部１０１は、被験者の眼底を撮像し、眼底画像を得ることが出来るのであれば、どのようなものであってもよい。ただし、撮像部１０１は、より高画質な眼底画像を得るために、撮像の際に被写体に光を照射する機能を有する。
　一般的に、より高画質な眼底画像を得るためには、照射する光（照射光）の光量を増大させる（より強い照射光を照射し、眼底をより明るくする）ことが望ましいが、単に照射光の光量を増大させると被写体への負荷を増大させ、観察対象に対して不要な影響を及ぼしたり、被験者の心理的な負担を増大させたりする恐れがあった。また、被験者が、所謂、眩しいと感じ、瞼を閉じたり、動いたりしてしまい、結果として高画質な眼底画像を得ることが出来ない恐れがあった。
　そこで撮像部１０１は、照射光の光量を増大させる代わりに、複数回撮像を行う。つまり、撮像部１０１は、照射光を低光量で照射させながら眼底の撮像を複数回繰り返す。したがって撮像部１０１は、撮像により得られる各眼底画像をできるだけ互いに近似させることができるように、できるだけ短時間に複数回撮像することができる方が望ましい。
　このような撮像により得られる各眼底画像は、照射光が弱い（暗い）ため、低画質である。撮像部１０１は、このように得られた複数の低画質な眼底画像を画像処理部１０２に供給する。
　画像処理部１０２は、撮像部１０１から供給される複数の低画質な眼底画像を用いて、１枚の、より高画質な眼底画像を生成し、それを記憶部１０３に記憶させたり、出力部１０４から出力させたりする。
　記憶部１０３は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM（Random Access Memory）等の任意の記憶媒体を有し、画像処理部１０２から供給される、より高画質な眼底画像を記憶する。記憶部１０３に記憶された眼底画像は、図示せぬ再生部等により読み出され、出力部１０４に表示されたり、他の装置に伝送されたり、図示せぬ画像処理部により画像処理されたりする。
　出力部１０４は、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等の任意のモニタ、または、出力端子等を有し、画像処理部１０２から供給される眼底画像を、そのモニタに表示したり、眼底画像処理装置１００の外部の装置に出力したりする。
　図１に示されるように、画像処理部１０２は、入力画像バッファ１１１、超解像処理部１１２、SR（Super Resolution）画像バッファ１１３、および演算部１１４を有する。
　入力画像バッファ１１１は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、撮像部１０１から供給される、複数の低画質な眼底画像（撮像画像）を入力画像として保持し、その各入力画像を、所定のタイミングでLR（Low Resolution）画像として超解像処理部１１２に供給する。
［超解像処理部の構成］
　超解像処理部１１２は、例えば、特開２００９－０９３６７６号公報（以下、特許文献４と称する）に記載の超解像処理器と同様の超解像処理を行う。すなわち、超解像処理部１１２は、入力画像バッファ１１１から供給されるLR画像と、SR画像バッファ１１３から供給される、過去に生成したSR画像とを用いて、新たなSR画像を生成するためのフィードバック値を算出して出力する超解像処理を再帰的に繰り返す。超解像処理部１１２は、超解像処理結果として、算出したフィードバック値を演算部１１４に供給する。
　SR画像バッファ１１３は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、生成されたSR画像を保持し、そのSR画像を所定のタイミングで超解像処理部１１２や演算部１１４に供給する。
　演算部１１４は、超解像処理部１１２から供給されるフィードバック値を、SR画像バッファ１１３から供給される、過去に生成したSR画像に加算することにより、新たなSR画像を生成する。演算部１１４は、生成した、新たなSR画像をSR画像バッファ１１３に供給して保持させ、そのSR画像を次の超解像処理（新たなSR画像の生成）に利用させる。また、演算部１１４は、生成したSR画像を、記憶部１０３に供給して記憶させたり、出力部１０４に供給して表示させたり、外部の装置等に出力させたりする。
　図１に示されるように、超解像処理部１１２は、動きベクトル検出部１２１、動き補償部１２２、ダウンサンプリングフィルタ１２３、演算部１２４、アップサンプリングフィルタ１２５、および逆方向動き補償部１２６を有する。
　SR画像バッファ１１３から読み出されたSR画像は動きベクトル検出部１２１と動き補償部１２２に供給され、入力画像バッファ１１１から読み出されたLR画像は動きベクトル検出部１２１と演算部１２４に供給される。
　動きベクトル検出部１２１は、入力されたSR画像とLR画像に基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償部１２２と逆方向動き補償部１２６に供給する。
　動き補償部１２２は、動きベクトル検出部１２１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ１２３に供給する。動き補償を施して得られた画像に写るオブジェクトの位置は、LR画像に写るオブジェクトの位置に近い位置になる。
　ダウンサンプリングフィルタ１２３は、動き補償部１２２から供給された画像をダウンサンプリングすることによってLR画像と同じ解像度の画像を生成し、生成した画像を演算部１２４に供給する。
　このように、SR画像とLR画像から動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をLR画像と同じ解像度の画像にすることは、撮像して得られる眼底画像（LR画像）を、SR画像バッファ１１３に記憶されているSR画像に基づいてシミュレートすることに相当する。
　演算部１２４は、LR画像と、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ１２５に供給する。
　アップサンプリングフィルタ１２５は、演算部１２４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償部１２６に出力する。
　逆方向動き補償部１２６は、動きベクトル検出部１２１から供給された動きベクトルに基づいて、アップサンプリングフィルタ１２５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を演算部１１４に供給する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、SR画像バッファ１１３に記憶されているSR画像に写るオブジェクトの位置に近い位置になる。
　画像処理部１０２は、超解像処理部１１２を用いてこのような超解像処理を入力画像バッファ１１１に保持させた複数の眼底画像（LR画像）のそれぞれについて行い、最終的に１枚の、より高画質なSR画像を生成する。
［眼底画像生成処理の流れ］
　図２のフローチャートを参照して、このような眼底画像処理装置１００により実行される眼底画像生成処理の流れの例を説明する。
　より高画質な眼底画像を得るために眼底画像生成処理が開始されると、撮像部１０１は、ステップＳ１０１において、光量を落として複数回、被験者の眼底（被写体）を撮像する。
　ステップＳ１０２において、画像処理部１０２は、ステップＳ１０１の処理により得られた撮像画像を入力画像バッファ１１１に記憶させる。ステップＳ１０３において、画像処理部１０２は、任意の方法で最初のSR画像である初期画像を生成し、それをSR画像バッファ１１３に記憶させる。例えば、画像処理部１０２は、最初に得られた撮像画像（LR画像）をSR画像と同じ解像度の画像にアップサンプリングすることによって初期画像を生成する。
　ステップＳ１０４において、入力画像バッファ１１１は、保持している未処理の撮像画像（LR画像）を１枚選択し、それを超解像処理部１１２に供給する。動きベクトル検出部１２１は、ステップＳ１０５において、SR画像とLR画像とから動きベクトルを検出する。その動きベクトルを用いて、動き補償部１２２は、ステップＳ１０６において、SR画像に動き補償を施す。
　ステップＳ１０７において、ダウンサンプリングフィルタ１２３は、動き補償を施したSR画像をLR画像と同じ解像度にダウンサンプリングする。ステップＳ１０８において、演算部１２４は、SR画像のダウンサンプリング結果と入力LR画像との差分画像を求める。
　ステップＳ１０９において、アップサンプリングフィルタ１２５は、その差分画像をアップサンプリングする。ステップＳ１１０において、逆方向動き補償部１２６は、ステップＳ１０５の処理により検出された動きベクトルを用いて、差分画像のアップサンプリング結果に逆方向の動き補償を施す。
　ステップＳ１１１において、演算部１１４は、ステップＳ１１０の処理により算出された差分画像のアップリング結果であるフィードバック値を、SR画像バッファ１１３により保持される過去に生成されたSR画像に加算する。画像処理部１０２は、ステップＳ１１２において、新たに生成されたSR画像を、記憶部１０３に記憶させたり、出力部１０４から出力させたりするとともに、SR画像バッファ１１３に記憶させる。
　ステップＳ１１３において、入力画像バッファ１１１は、全ての撮像画像（LR画像）を処理したか否かを判定し、未処理の撮像画像（LR画像）が存在すると判定された場合、処理をステップＳ１０４に戻し、新たな撮像画像を処理対象として選択し、その撮像画像について、それ以降の処理を繰り返させる。
　ステップＳ１１３において、撮像部１０１により複数回撮像され得られた複数の撮像画像の全てが処理され、１枚の、より高画質な眼底画像が得られたと判定された場合、入力画像バッファ１１１は、眼底画像生成処理を終了する。
　このようにすることにより、眼底画像処理装置１００は、眼底への照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置１００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
　以上においては、超解像処理を行うことにより、より高画質な眼底画像として、撮像画像（LR画像）よりも高解像度のSR画像を得るように説明したが、これに限らず、解像度は撮像画像と同じであっても良い。その場合、図１の眼底画像処理装置１００において、ダウンサンプリングフィルタ１２３およびアップサンプリングフィルタ１２５は省略される。
　基本的に、撮像部１０１において得られる複数の眼底画像を重ね合わせることにより、ダイナミックレンジが拡張されるので、より高画質な眼底画像が得られる。ただし、この撮像部１０１において得られる複数の眼底画像は、撮像が複数回行われることにより得られるものであり、互いに全く同一な画像であるとは限らない。例えば、画像の一部または全部において、位置がずれたり、変形したりすることが考えられる。したがって、単純に、これら複数の眼底画像を重ね合わせると、位置ずれ等により画像がボケたり２重になったりする恐れがあり、高画質になるとは限らない。
　超解像処理部１１２は、動きベクトル検出部１２１において動き検出を行い、動き補償部１２２や逆方向動き補償部１２６により適宜動き補償を行うので、重ね合わせる画像間の差（位置ずれ等）を低減させることができる。したがって、眼底画像処理装置１００は、超解像処理において解像度を上げるようにしなくても、より高画質な被写体の撮像画像を得ることが出来る。
　以上の超解像処理は、任意の単位で行うことができる。例えば、撮像画像全体で行うようにしてもよいし、マクロブロックと称される所定の大きさの部分画像毎に行うようにしてもよい。
＜２．第２の実施の形態＞
［眼底画像処理装置の構成］
　ところで、眼底画像は、基本的に画像全体が略均一な色により構成されることが多い。また、照射光の光量が落とされているので、眼底画像は比較的暗い画像である。さらに、一般的に、撮像部１０１による複数回の撮像は比較的短時間に、極力同条件下で行われる。したがって、画像間の動き量は比較的小さいことが多い。また、動きがある場合も、画像の一部が他の部分に比べて極端に大きく動くことは少なく、略全体が略均一に動くことが多い。
　したがって、眼底画像処理装置１００のように、所定の単位毎に画像を比較し、動き検出を行う方法では、動き検出が困難になる恐れがあった。
　そこで、所定の領域毎に動きベクトルの検出を行う代わりに、画像全体について、被写体の生体情報を用いて画像の位置合わせを行うようにしてもよい。
　図３は、その場合の、眼底画像処理装置の主な構成例を示すブロック図である。図３に示される眼底画像処理装置２００は、図１の眼底画像処理装置１００と同様の装置であり、基本的に眼底画像処理装置１００と同様の構成を有するが、画像処理部１０２の代わりに画像処理部２０２を有する。
　画像処理部２０２は、比較的低画質の複数の眼底画像を、被写体の生体情報を用いて位置合わせを行ってから重ね合わせを行うことにより、より高画質な１枚の眼底画像を生成する。
　図３に示されるように、画像処理部２０２は、入力画像バッファ１１１、生体情報位置合わせ処理部２１２、超解像処理部２１３、および超解像結果画像バッファ２１４を有する。
　生体情報位置合わせ処理部２１２は、被写体の生体情報を用いて、入力画像バッファ１１１から供給される眼底画像（入力画像）と、超解像結果画像バッファ２１４から供給される眼底画像（超解像処理部２１３により重ね合わせされた画像）との間で画像の位置合わせを行う。
　生体情報位置合わせ処理部２１２は、位置合わせに利用する生体情報として、例えば、血管、神経、若しくは視神経乳頭等を用いる。もちろん、この生体情報は、任意であり、これら以外のものであってもよい。例えば、組織や細胞を被写体とし、その観察を行う場合、被写体の生体情報として、細胞やその核の形状等を画像の位置合わせに利用するようにしてもよい。また、複数種類の生体情報（例えば血管と視神経乳頭等）が用いられるようにしてもよい。
　超解像処理部２１３は、超解像結果画像バッファ２１４から、過去に生成した超解像処理結果画像（超解像処理結果として得られる画像）を取得し、その超解像結果画像と、生体情報位置合わせ処理部２１２より位置合わせされた入力画像とを重ね合わせ、新たな超解像結果画像を生成する。超解像処理部２１３は、その超解像結果画像を記憶部１０３に記憶させたり、出力部１０４より出力させたりするとともに、超解像結果画像バッファ２１４に供給し、記憶させる。
　超解像結果画像バッファ２１４は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、超解像処理部２１３により生成された超解像結果画像を保持し、所定のタイミングにおいてその超解像結果画像を、生体情報位置合わせ処理部２１２や超解像処理部２１３に供給する。
　つまり、撮像部１０１は、図１の場合と同様に、図４の四角２３１に示されるように、光量を落として眼２２１の眼底を複数回撮像し、複数枚の眼底画像２２２を生成する。図４の四角２３２に示されるように、入力画像バッファ１１１は、その暗くて低画質な複数枚の眼底画像２２２を記憶し、所定のタイミングで１枚ずつその眼底画像２２２を生体情報位置合わせ処理部２１２に提供する。
　生体情報位置合わせ処理部２１２は、図４の四角２３３に示されるように、眼の情報（生体情報）を使って、その眼底画像２２２と超解像結果画像との位置合わせを行う。超解像処理部２１３は、図４の四角２３４に示されるように、その位置合わせされた眼底画像２２２（入力画像）を用いて画像の重ね合わせによる超解像処理およびハイダイナミックレンジ処理を行い、超解像結果画像を生成する。
　このような位置合わせと超解像処理が繰り返されて生成された、より高解像度かつダイナミックレンジの大きな眼底画像２２３は、記憶部１０３に記憶されたり、出力部１０４より出力されたりする。なお、ここで高解像度とは、ボケが除去され、よりシャープな画像であることを示しており、実際に解像度が高くなくてもよい。
　つまり、眼底画像処理装置２００は、被写体への負荷の増大を抑制しながら、撮像により得られた撮像画像よりも高画質な（ボケが抑制され、ダイナミックレンジが大きな）眼底画像を得ることができる。
［生体情報位置合わせ処理部の構成］
　図５は、図３の生体情報位置合わせ処理部２１２の主な構成例を示すブロック図である。図５に示されるように、生体情報位置合わせ処理部２１２は、入力画像血管抽出部２４１、超解像結果画像血管抽出部２４２、入力画像交叉点抽出部２４３、超解像結果画像交叉点抽出部２４４、交叉点位置合わせ処理部２４５、および血管位置合わせ処理部２４６を有する。
　入力画像血管抽出部２４１は、図６に示されるように、入力画像バッファ１１１から供給される入力画像２５１（低画質の眼底画像）から血管の部分を抽出し（処理２６１）、それを血管位置合わせ処理部２４６に供給する。例えば、入力画像血管抽出部２４１は、入力画像から、“血管特徴を用いた眼底画像合成法”，田邊 勝義，壷内 鉄郎，奥田 英範，奥 雅博，2007（以下、非特許文献２と称する）に記載の方法のように、RGB成分のR成分を使って血管を抽出する。
　同様に、超解像結果画像血管抽出部２４２は、図６に示されるように、超解像結果画像バッファ２１４から供給される、前回の超解像結果画像２５２（高画質の眼底画像）から血管の部分を抽出し（処理２６２）、それ（血管抽出結果２５３）を血管位置合わせ処理部２４６に供給する。
　血管位置合わせ処理部２４６は、図６に示されるように、各画像から抽出された血管抽出結果を用いて、入力画像２５１と前回の超解像結果画像２５２との間で血管の位置合わせを行い（処理２６６）、その位置合わせされた入力画像２５４を血管抽出結果２５３とともに超解像処理部２１３に供給する。
　なお、血管抽出結果（血管全体の形状や位置）による位置合わせ処理（処理２６６）の前に、血管の交叉点の位置による簡易的な位置合わせを行うようにしてもよい。なお、血管の交叉点とは、撮像画像において血管が交わる（実際にはねじれの位置である場合も含む）部分や、分岐する部分である。
　その場合、入力画像血管抽出部２４１は、図６に示されるように、処理２６１により得られる、入力画像２５１（低画質の眼底画像）からの血管抽出結果を、入力画像交叉点抽出部２４３に供給する。
　入力画像交叉点抽出部２４３は、図６に示されるように、入力画像血管抽出部２４１から供給される血管抽出結果から交叉点を抽出し（処理２６３）、その交叉点抽出結果を交叉点位置合わせ処理部２４５に供給する。
　また、超解像結果画像血管抽出部２４２は、図６に示されるように、処理２６２により得られる、前回の超解像結果画像２５２（高画質の眼底画像）からの血管抽出結果２５３を、超解像結果画像交叉点抽出部２４４に供給する。
　超解像結果画像交叉点抽出部２４４は、図６に示されるように、超解像結果画像血管抽出部２４２から供給される血管抽出結果２５３から交叉点を抽出し（処理２６４）、その交叉点抽出結果を交叉点位置合わせ処理部２４５に供給する。
　交叉点位置合わせ処理部２４５は、図６に示されるように、各画像から抽出された交叉点抽出結果を用いて、入力画像２５１と前回の超解像結果画像２５２との間で交叉点の位置合わせを行う（処理２６５）。そしてその交叉点位置合わせ結果が血管位置合わせ処理部２４６に供給される。
　血管位置合わせ処理部２４６は、交叉点位置合わせ処理部２４５から供給される、交叉点位置合わせ結果を初期状態とし、血管抽出結果を用いて血管を用いた入力画像の位置合わせ（処理２６６）を行う。つまり、交叉点位置合わせ結果にしたがって、交叉点の位置合わせと同様に位置合わせを行いながら各血管抽出結果を重畳し、それを初期状態とする。
　このようにすることにより、血管位置合わせ処理部２４６は、交叉点を用いて簡易的に位置合わせされた状態から、位置合わせを開始することができるので、より容易かつ高速に位置合わせを行うことができる。
　なお、さらに他の生体情報を用いた位置合わせを併用するようにしてもよい。例えば、最初に、視神経乳頭の位置で位置合わせを行いながら、入力画像２５１と前回の超解像結果画像２５２とを重畳し、その重畳画像を初期値として交叉点による位置合わせを行うようにしてもよい。
［血管位置合わせ処理部の構成］
　次に、血管全体の位置や形状等を用いた位置合わせについて説明する。図７は、血管位置合わせ処理部２４６の主な構成例を示すブロック図である。図７に示されるように、血管位置合わせ処理部２４６は、重畳処理部２７１、シフト処理部２７２、伸ばし処理部２７３、回転処理部２７４、拡大縮小処理部２７５、および収束判定部２７６を有する。
　重畳処理部２７１は、入力画像血管抽出部２４１と超解像結果画像血管抽出部２４２とから供給される各血管抽出結果を重畳する。交叉点による位置合わせを行う場合、重畳処理部２７１は、交叉点位置合わせ処理部２４５から供給される交叉点位置合わせ結果を用いて、交叉点の位置合わせと同様の位置合わせを行いながら、各血管抽出結果を重畳する。重畳処理部２７１は、重畳結果をシフト処理部２７２に供給する。
　なお、血管位置合わせ処理部２４６は、図８に示されるように、入力画像血管抽出部２４１から供給される、入力画像から抽出された血管抽出結果２９１を基準（Source）とし、超解像結果画像血管抽出部２４２から供給される、前回の超解像結果画像から抽出された血管抽出結果２９２を目標（Target）として位置合わせを行う。つまり、血管抽出結果２９１を血管抽出結果２９２に近づけるように位置合わせが行われる。
　シフト処理部２７２は、図８に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９１全体を移動（シフト）させる縦横シフト２８１を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を伸ばし処理部２７３に供給する。血管抽出結果２９１と血管抽出結果２９２とがどれくらい近づいたかの判定方法は任意であるが、例えば、両画像の絶対値差分により判定する。つまり、シフト処理部２７２は、血管抽出結果２９１全体を移動（シフト）させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる位置を検索する。この判定方法は以下の処理部においても同様である。
　伸ばし処理部２７３は、図８に示されるように、縦方向や横方向等任意の方向に、血管抽出結果２９１を伸ばす（変形させる）縦横伸ばし２８２を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を回転処理部２７４に供給する。例えば、伸ばし処理部２７３は、血管抽出結果２９１を任意の方向に伸ばし（変形させ）、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる形状を検索する。
　回転処理部２７４は、図８に示されるように、血管抽出結果２９１を左右に回転させる回転２８３を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を拡大縮小処理部２７５に供給する。例えば、回転処理部２７４は、血管抽出結果２９１を左右に回転させ、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる向きを検索する。
　拡大縮小処理部２７５は、図８に示されるように、血管抽出結果２９１を拡大したり縮小したりする拡大縮小２８４を行い、血管抽出結果２９１が血管抽出結果２９２に最も近づいた状態で、重畳結果を収束判定部２７６に供給する。例えば、回転処理部２７４は、血管抽出結果２９１を拡大したり縮小したりし、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となる大きさを検索する。
　収束判定部２７６は、供給された重畳結果に基づいて、位置合わせが収束したか否かを判定する。例えば、収束判定部２７６は、上述した各処理を複数回繰り返し行わせ、今回得られた位置合わせ結果を、前回の位置合わせ結果と比較し、前回より血管抽出結果２９１が血管抽出結果２９２に近づいた場合、収束していないと判定し、前回より血管抽出結果２９１が血管抽出結果２９２に近づいていない場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくならない場合）、収束したと判定する。
　収束していないと判定した場合（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が前回より小さくなる場合）、収束判定部２７６は、その重畳結果をシフト処理部２７２に戻し、再度、位置合わせを行わせる。また、位置合わせが収束したと判定した場合、収束判定部２７６は、位置合わせ結果となる血管抽出結果の重畳結果（例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が最小となるときの重畳結果）に基づいて、入力画像２５１の位置合わせを行い、位置合わせされた入力画像２５１と、血管抽出結果とを超解像処理部２１３に供給する。
　なお、以上においては、位置合わせの具体例として、縦横シフト２８１、縦横伸ばし２８２、回転２８３、および拡大縮小２８４の４つの処理をこの順に行うように説明したが、これに限らず、上述した処理以外の処理をさらに行うようにしてもよいし、上述した処理の一部を省略するようにしてもよい。また、上述したように処理を複数行う場合、各処理の実行順は任意である。
　また、生体情報位置合わせ処理部２１２が、例えば、“Shape Matching and Object Recognition Using Shape Contexts”，Serge Belongie, Jitendra Malik, Jan Puzicha, 2002（以下、非特許文献３と称する）に記載されているような、エッジ部分のヒストグラムを使った位置合わせを行うようにしてもよい。
　さらに、収束したか否かの判定方法は、任意であり、上述した以外の方法であってもよい。例えば、血管抽出結果２９１と血管抽出結果２９２との絶対値差分が所定の閾値以下になる場合、収束したと判定されるようにしてもよい。
　なお、血管の交叉点による位置合わせも、この血管全体による位置合わせと基本的に同様に行われる。つまり、交叉点位置合わせ処理部２４５は、血管位置合わせ処理部２４６と基本的に同様の構成を有し、位置合わせに用いる生体情報が血管全体か、その交叉点かの違い以外は、基本的に同様の処理を行う。
　以上のように、眼底画像処理装置２００は、眼底画像は生体の画像であるので、その画像の特徴を活かし、眼底画像に含まれる生体情報を用いて画像全体で位置合わせを行う。このようにすることにより、眼底画像処理装置２００は、より容易かつ正確な位置合わせを実現することができる。
［超解像処理部の構成］
　図９は、超解像処理部２１３の主な構成例を示すブロック図である。この場合、位置合わせは、生体情報位置合わせ処理部２１２において行われるので、超解像処理部２１３は、入力画像のボケ除去と重ね合わせのみを行う。
　図９に示されるように、超解像処理部２１３は、PSF（Point Spread Function）推定部３０１、ボケ除去処理部３０２、および重ね合わせ処理部３０３を有する。
　PSF推定部３０１は、生体情報位置合わせ処理部２１２から供給される血管抽出結果を用いてPSF（点拡がり関数）の推定（図１０の処理３１１）を行う。このPSFの推定は、例えば、図１１に示されるような方法で行われる。
　つまり、PSF推定部３０１は、図１１の四角３３２に示されるように、予めガウス分布から求めたエッジ周辺の画素値のモデルを保持している。PSF推定部３０１は、四角３３１に示されるように、位置合わせされた血管抽出結果３２２からエッジ部分を特定し、その各エッジ周辺の画素値を取り出し、それを保持しているモデルと照合し、一致または近似するモデルを特定する。そして、PSF推定部３０１は、特定したモデルの中で一番多かったモデルを、推定したPSFとしてボケ除去処理部３０２に供給する。
　ボケ除去処理部３０２は、PSF推定部３０１から供給された、PSFの推定情報を用い、そのモデルに応じた方法で、位置合わせされた入力画像のボケ除去を行う。つまり、ボケ除去処理部３０２は、画像のボケ方（点拡がりのパターン）に応じた方法でそのボケ除去を行う。
　ボケ除去処理部３０２は、例えば、ウィナーフィルタを用いてボケ除去を行う。なお、“High-quality Motion Deblurring from a Single Image”, Qi Shan, Jiava Jia, Aseem Agarwala, 2008（以下、非特許文献４と称する）に記載されているような動きボケを除去する方法が用いられるようにしてもよい。
　ボケ除去処理部３０２は、ボケ除去を行った入力画像を重ね合わせ処理部３０３に供給する。
　重ね合わせ処理部３０３は、ボケ除去処理部３０２から供給された入力画像（位置合わせとボケ除去が行われた入力画像）を、超解像結果画像バッファ２１４から供給された前回の超解像結果画像に足し込むことにより両画像を重ね合わせ、その重ね合わせた結果を新たな超解像結果画像として出力し、記憶部１０３に記憶させたり、出力部１０４から外部に出力させたりするとともに、超解像結果画像バッファ２１４に記憶させる。
　眼底画像は、上述したように照射光の光量を落として撮像されるため、基本的に全体が暗くて赤い略均一な画像となる。また、撮像時に被写体が動くことも考えられる。したがって、合焦させることが容易ではなく、焦点ずれ（所謂ピンボケ）が発生し易い。しかも、画像全体が略均一であるため、ボケ具合も一様になりやすい。
　したがって、上述したようにPSF推定結果を利用してボケ除去を行うことにより、超解像処理部２１３は、効率よくボケを除去し、より高画質な眼底画像を容易に得ることができる。
　なお、例えば、PSF推定部３０１が、特開２００９－１６９９４３号公報（以下、特許文献５と称する）に記載のようにエッジ部分のボケ具合を判定し、そのボケ具合に応じたPSFを適用するようにしてもよい。
　また、重ね合わせ処理部３０３は、入力画像と前回の超解像結果画像とを重ね合わせる際に、図１の場合と同様にダウンサンプリングやアップサンプリングを行い、解像度を上げるようにしてもよい。
　なお、より厳密には、眼底は球状である。また、視神経乳頭が周囲に比べて盛り上がる等、眼底には凹凸も存在する。したがって、例えば眼底の一部の領域において合焦し、他の一部において合焦しない等、領域によってボケ具合が異なる可能性が高い。
　そこで、PSF推定部３０１が、PSF推定を、眼底画像の所定の部分領域毎に行い、ボケ除去処理部３０２が、その推定結果に基づいて、その部分領域毎にフィルタ関数を設定し、ボケ除去を行うようにしてもよい。つまり、眼底画像の場所（領域）や絵柄に応じたフィルタ関数でボケ除去が行われるようにしてもよい（領域の位置や眼底の形状等によってボケ除去の方法（例えばフィルタ関数）が異なるようにしてもよい）。
　このようにすることにより、より正確にボケ除去を行うことができるので、眼底画像処理装置２００は、より高画質な眼底画像を得ることができる。
［眼底画像生成処理の流れ］
　次に、眼底画像処理装置２００により実行される各処理について説明する。最初に、図１２のフローチャートを参照して、眼底画像生成処理の流れの例を説明する。
　眼底画像生成処理が開始されると、ステップＳ２０１乃至ステップＳ２０４の各処理が、図２のステップＳ１０１乃至ステップＳ１０４の各処理と同様に実行される。ただし、ステップＳ２０３において、初期画像は超解像結果画像バッファ２１４に記憶される。また、ステップＳ２０４において、未処理の撮像画像が入力画像として１枚選択される。
　処理対象が決定されると、生体情報位置合わせ処理部２１２は、ステップＳ２０５において生体情報位置合わせ処理を行う。ステップＳ２０６において、超解像処理部２１３は、その位置合わせ結果を用いて、超解像処理を行う。
　ステップＳ２０７において、超解像処理部２１３は、超解像処理により得られた新たな超解像結果画像を記憶部１０３や出力部１０４に出力するとともに、超解像結果画像バッファ２１４に記憶させる。
　ステップＳ２０８において、入力画像バッファ１１１は、全ての撮像画像を処理したか否かを判定し、未処理の撮像画像が存在すると判定された場合、処理をステップＳ２０４に戻し、それ以降の処理を実行させる。
　ステップＳ２０８において、全ての撮像画像を処理したと判定された場合、入力画像バッファ１１１は、眼底画像生成処理を終了する。
［生体情報位置合わせ処理の流れ］
　次に、図１２のステップＳ２０５において実行される生体情報位置合わせ処理の流れの例を図１３のフローチャートを参照して説明する。
　生体情報位置合わせ処理が開始されると、入力画像血管抽出部２４１は、ステップＳ２２１において、入力画像から血管部分の画像を抽出する。ステップＳ２２２において、超解像結果画像血管抽出部２４２は、前回の超解像結果画像から血管部分の画像を抽出する。
　ステップＳ２２３において、生体情報位置合わせ処理部２１２は、交叉点の位置合わせを行うか否かを判定する。交叉点の位置合わせを行うと判定された場合、生体情報位置合わせ処理部２１２は、処理をステップＳ２２４に進める。
　ステップＳ２２４において、入力画像交叉点抽出部２４３は、入力画像の血管抽出結果から交叉点を抽出する。ステップＳ２２５において、超解像結果画像交叉点抽出部２４４は、前回の超解像結果画像の血管抽出結果から交叉点を抽出する。
　ステップＳ２２６において、交叉点位置合わせ処理部２４５は、ステップＳ２２４およびステップＳ２２５において生成された交叉点抽出結果を用いて、交叉点の位置合わせを行う。
　交叉点の位置合わせが終わると、交叉点位置合わせ処理部２４５は、処理をステップＳ２２７に進める。また、ステップＳ２２４において、交叉点の位置合わせを行わないと判定された場合、処理をステップＳ２２７に進める。
　ステップＳ２２７において、血管位置合わせ処理部２４６は、血管の位置合わせを行う。
　ステップＳ２２７の処理が終了すると、血管位置合わせ処理部２４６は、生体情報位置合わせ処理を終了し、処理を図１２のステップＳ２０５に戻し、ステップＳ２０６以降の処理を実行させる。
［血管位置合わせ処理の流れ］
　次に、図１４のフローチャートを参照して、図１３のステップＳ２２７において実行される血管位置合わせ処理の流れの例を説明する。
　血管位置合わせ処理が開始されると、ステップＳ２４１において、重畳処理部２７１は、交叉点位置合わせが行われたか否かを判定し、行われたと判定した場合、処理をステップＳ２４２に進め、交叉点位置合わせ結果を重畳結果とし、その重畳結果に従って、入力画像血管抽出部２４１において抽出された血管抽出結果と、超解像結果画像血管抽出部２４２において抽出された血管抽出結果とを重畳し、処理をステップＳ２４４に進める。
　ステップＳ２４１において、交叉点位置合わせを行っていないと判定された場合、重畳処理部２７１は、処理をステップＳ２４３に進め、入力画像血管抽出部２４１において抽出された血管抽出結果と、超解像結果画像血管抽出部２４２において抽出された血管抽出結果とを重畳し、処理をステップＳ２４４に進める。
　ステップＳ２４４において、シフト処理部２７２は、入力画像の血管抽出結果をシフトするシフト位置合わせを行う。ステップＳ２４５において、伸ばし処理部２７３は、入力画像の血管抽出結果を伸縮させる伸ばし位置合わせを行う。ステップＳ２４６において、回転処理部２７４は、入力画像の血管抽出結果を回転させる回転位置合わせを行う。ステップＳ２４７において、拡大縮小処理部２７５は、入力画像の血管抽出結果を拡大したり縮小したりする拡大縮小位置合わせを行う。
　ステップＳ２４８において、収束判定部２７６は、位置合わせが収束したか否かを判定し、収束していないと判定された場合、処理をステップＳ２４４に戻し、それ以降の処理を行う。ステップＳ２４８において収束したと判定された場合、収束判定部２７６は、ステップＳ２４９において、位置合わせ結果に基づいて入力画像の位置合わせを行い、その位置合わせされた入力画像と血管抽出結果とを超解像処理部２１３に出力する。
　ステップＳ２４９の処理が終了すると、収束判定部２７６は、血管位置合わせ処理を終了し、処理を図１３のステップＳ２２７に戻し、生体情報位置合わせ処理を終了し、処理を図１２のステップＳ２０５に戻し、ステップＳ２０６以降の処理を実行させる。
　なお、図１３のステップＳ２２６において実行される交叉点位置合わせ処理は、血管全体の代わりに血管の交叉点を位置合わせに利用すること以外、図１４を参照して説明した血管位置合わせ処理と同様に実行される。
［超解像処理の流れ］
　次に、図１５のフローチャートを参照して、図１２のステップＳ２０６において実行される超解像処理の流れの例を説明する。
　超解像処理が開始されると、PSF推定部３０１は、ステップＳ２６１において、血管抽出結果を用いて点拡がり関数（PSF）を推定する。ステップＳ２６２において、ボケ除去処理部３０２は、推定した点拡がり関数を用いて、位置合わせした入力画像のボケ除去を行う。
　ステップＳ２６３において、重ね合わせ処理部３０３は、前回の超解像結果に、ボケ除去後の位置合わせした入力画像を重ね合わせ、それを新たな超解像結果画像として出力する。
　ステップＳ２６３の処理が終了すると、重ね合わせ処理部３０３は、超解像処理を終了し、処理を図１２のステップＳ２０６に戻し、ステップＳ２０７以降の処理を実行させる。
　以上のように、各処理を実行することにより、眼底画像処理装置２００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
＜３．第３の実施の形態＞
［眼底画像処理装置の構成］
　図３は、眼底画像処理装置の他の構成例を示すブロック図である。図３に示される眼底画像処理装置４００は、眼底画像に含まれる生体情報（血管や視神経乳頭に関する情報等）を、トーンリプロダクション処理や超解像処理に利用し、より高画質な眼底画像を生成する。
　眼底画像処理装置４００は、図３の眼底画像処理装置２００と同様の装置であり、基本的に眼底画像処理装置２００と同様の構成を有し、同様の処理を行う。ただし、眼底画像処理装置４００は、眼底画像処理装置２００が有する画像処理部２０２の代わりに画像処理部４０２を有する。
　画像処理部４０２は、画像処理部２０２と基本的に同様の構成を有し、同様の処理を行うが、眼底画像処理装置２００が有する超解像処理部２１３および超解像結果画像バッファ２１４の代わりに、ノイズ削減処理部４１３、ノイズ削減結果画像バッファ４１４、トーンリプロダクション処理部４１５、および超解像処理部４１６を有する。
　すなわち、画像処理部４０２は、図１７の四角４３１に示されるように、光量を落として眼２２１の眼底を複数回撮像し、複数枚の低画質な眼底画像２２２を生成する。図１７の四角４３２に示されるように、入力画像バッファ１１１は、その暗くて低画質な複数枚の眼底画像２２２を記憶し、生体情報位置合わせ処理部２１２の要求に基づいて、若しくは所定のタイミングにおいて、１枚ずつその眼底画像２２２を生体情報位置合わせ処理部２１２に提供する。
　生体情報位置合わせ処理部２１２は、図１７の四角２３３に示されるように、眼の情報（生体情報）を使って、その眼底画像２２２と超解像結果画像との位置合わせを行う。ノイズ削減処理部４１３は、図１７の四角４３４に示されるように、その位置合わせされた眼底画像２２２（入力画像）の重ね合わせを行うことにより、ノイズの低減やダイナミックレンジの拡張（ノイズリダクションおよびワイドダイナミックレンジ処理）を行う。ノイズ削減結果画像バッファ４１４を用いてこれらの処理が繰り返され、複数の低画質の眼底画像から１枚の眼底画像が生成される。
　生成された１枚の眼底画像は、トーンリプロダクション処理部４１５により、トーンリプロダクション処理（Tone Reproduction）４３５（図１７）される。トーンリプロダクション処理４３５の処理方法は任意である。例えば、特開２００９－１７７５５８号公報（以下、特許文献６と称する）に記載の方法によりトーンリプロダクション処理４３５が行われるようにしてもよい。
　なお、トーンリプロダクション処理４３５における、トーンカーブ算出のためのパラメータの決定は、より明るくより高画質な画像が得られるように、生体としての特徴に適するように行われる。
　トーンリプロダクション処理４３５により補正された眼底画像は、超解像処理部４１６により、超解像処理４３６（図１７）される。この超解像処理４３６の処理方法は任意である。例えば、特開２０１０－１０２６９６号公報（以下、特許文献７と称する）に記載の方法や、特開２０１０－１０３９８１号公報（以下、特許文献８と称する）に記載の方法により超解像処理４３６が行われるようにしてもよい。ただし、この超解像処理４３６は、ノイズがより少ない、より高解像度な画像が得られるように、生体としての特徴に応じた処理が行われる。
　つまり、画像処理部４０２は、生体としての特徴に応じた処理を行うことにより、複数の低画質の眼底画像から、１枚の、より高画質かつ高解像度な眼底画像を生成する。
　このように、画像処理部４０２においては、トーンリプロダクション処理と超解像処理は、画像の重ね合わせ後に（生成された１枚の眼底画像に対して）行われる。
　以上のように、ノイズ削減処理部４１３は、生体情報位置合わせ処理部２１２により位置合わせが行われた眼底画像を、ノイズ削減結果画像バッファ４１４に保持される前回の重ね合わせ結果（つまり、ノイズ削減結果）の画像と重ね合わせることにより、眼底画像のダイナミックレンジを拡張し、ノイズを低減させる。画像の重ね合わせによるノイズリダクションの方法は、任意であるが、例えば、特開２００８－２９４６０１号公報（以下、特許文献９と称する）や特開２００９－１６５１６８号公報（以下、特許文献１０と称する）に記載されている方法を用いるようにしてもよい。
　ノイズ削減結果画像バッファ４１４は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、ノイズ削減処理部４１３により生成されたノイズ削減結果画像（重ね合わせ結果画像）を記憶し、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３の要求に基づいて、若しくは所定のタイミングにおいて、そのノイズ削減結果画像を、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３に供給する。
　つまり、生体情報位置合わせ処理部２１２による位置合わせや、ノイズ削減処理部４１３による重ね合わせは、繰り返し行われる。生体情報位置合わせ処理部２１２およびノイズ削減処理部４１３は、入力画像バッファ１１１に蓄積される複数の眼底画像を１枚ずつ処理対象とし、その処理対象画像を、前回の処理結果に対して、位置合わせしたり重ね合わせしたりする。このようにして、撮像部１０１において撮像されて得られた複数の眼底画像が全て処理され、１枚の眼底画像が生成される。
［トーンリプロダクション処理部］
　図１８は、トーンリプロダクション処理部の主な構成例を示すブロック図である。図１８に示されるように、トーンリプロダクション処理部４１５は、画像バッファ４５１、パラメータ決定部４５２、トーンカーブ算出部４５３、およびマッピング部４５４を有する。
　画像バッファ４５１は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、ノイズ削減処理部４１３から供給される眼底画像を記憶する。画像バッファ４５１は、パラメータ決定部４５２やマッピング部４５４の要求に基づいて、若しくは所定のタイミングにおいて、その眼底画像を、パラメータ決定部４５２やマッピング部４５４に供給する。
　パラメータ決定部４５２は、画像バッファ４５１から供給される眼底画像の生体としての特徴に基づいて、トーンリプロダクション処理に用いられるトーンカーブを算出するためのパラメータを決定する。トーンカーブは、例えば図１９に示されるような、輝度値の階調補正を行うための曲線である。
　なお、図１９のグラフの横軸方向は、階調補正する前の入力輝度の対数値を表し、縦軸方向は、トーンカーブＣＬによる階調補正後の出力輝度の対数値を表している。
　眼底画像は、トーンリプロダクション処理において、このようなトーンカーブに従って階調補正され、より明るくなるように処理される。その際、ノイズや白とびの発生はできるだけ抑制することが望ましい。つまり、パラメータ決定部４５２は、ノイズを出来るだけ低減し、白とびの発生をできるだけ抑制しながら、眼底画像をより明るくするように階調補正するトーンカーブが得られるように、眼底画像に含まれる生体としての特徴に応じてパラメータを設定する。
　例えば、眼底画像には、血管、神経、視神経乳頭等の、生体としての部位の画像が含まれるが、このような各部位の画像は、互いに異なる特徴を有する。例えば、一般的に、血管や神経等の部位ではエッジ成分が周囲よりも強く表れやすい。また、例えば、視神経乳頭は白色になりやすい。さらに、例えば、眼底の周縁部（眼底のより端に近い部分）は、中心部よりも暗くなりやすい。
　このように、眼底画像は、生体としての眼底の各部位の特徴を含む画像である。したがって、パラメータ決定部４５２は、このような各部位の特徴を考慮しながら、より望ましい（ノイズや白とびの発生を抑制しながら、画像をできるだけ明るくする）トーンカーブが得られるようにパラメータの設定を行う。
　このパラメータは、トーンカーブを算出するためのものであればどのようなパラメータであってもよい。例えば、トーンリプロダクション処理の入力や出力の、ノイズとされるレベルの設定値であってもよい。
　パラメータ決定部４５２は、値を決定したパラメータをトーンカーブ算出部４５３に供給する。トーンカーブ算出部４５３は、パラメータ決定部４５２から供給されたパラメータを用いてトーンカーブを算出し、それをマッピング部４５４に供給する。例えば、トーンカーブ算出部４５３は、図１９に示されるトーンカーブＣＬのコントロールポイント（図１９の例の場合、Ｐ１乃至Ｐ９）を設定し、それをマッピング部４５４に供給する。この場合、処理対象画素ごとのトーンカーブＣＬの形状は、例えば、コントロールポイントＰ１乃至コントロールポイントＰ９に基づいて、各入力輝度値に対する出力輝度値（トーンカーブ値）をB-Spline補間処理により求めることにより定められる。
　マッピング部４５４は、トーンカーブ算出部４５３から供給されたトーンカーブを用いて、画像バッファ４５１から供給される眼底画像をマッピングする（補正する）。マッピング部４５４は、補正後の眼底画像を、超解像処理部４１６に供給する。
［パラメータ決定部］
　図２０は、パラメータ決定部４５２の主な構成例を示すブロック図である。図２０に示されるように、パラメータ決定部４５２は、調整対象パラメータ選択部４６１、パラメータ初期値記憶部４６２、パラメータ記憶部４６３、補正前明るさ値算出部４６４、および明るさ値記憶部４６５を有する。また、パラメータ決定部４５２は、部位認識部４６６、パラメータ調整部４６７、トーンカーブ算出部４６８、マッピング部４６９、部位別検査部４７０、補正後明るさ値算出部４７１、比較部４７２、およびデータ出力部４７３を有する。
　調整対象パラメータ選択部４６１は、今回調整を行うパラメータを選択する。例えばトーンカーブ算出のためのパラメータが複数存在する場合、パラメータ決定部４５２が、全てのパラメータを一度に調整するようにしてもよいが、複数回に分けて調整を行うようにしてもよい。例えば、パラメータ決定部４５２が、各パラメータを１つずつ調整するようにしてもよい。また、例えば、パラメータ決定部４５２が、複数のパラメータの値の組み合わせの集合を複数用意し、最適なパラメータの値の組み合わせを各集合について決定し、さらに、その選ばれた各集合の最適なパラメータの値の組み合わせの中で、最適なパラメータの値の組み合わせを求めるようにしてもよい。
　パラメータ初期値記憶部４６２は、例えば、ハードディスク、フラッシュメモリ、RAM、若しくは、ROM（Read Only Memory）等の任意の記憶媒体を有し、トーンカーブの算出に必要なパラメータの（パラメータが複数存在する場合はそれぞれの）初期値を記憶する。この初期値は任意の値であり、予め定められている。
　パラメータ記憶部４６３は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、調整対象パラメータ選択部４６１により選択されたパラメータ（調整対象パラメータ）の初期値を、パラメータ初期値記憶部４６２から取得し、記憶する。
　また、パラメータ記憶部４６３は、比較部４７２から供給される値を使って、保持する調整対象パラメータの値を更新する。つまり、パラメータ記憶部４６３は、比較部４７２から供給される調整対象パラメータの値を記憶する。
　さらに、パラメータ記憶部４６３は、パラメータ調整部４６７の要求に基づいて、若しくは所定のタイミングにおいて、各パラメータの、その時点において保持する値を、パラメータ調整部４６７に供給する。なお、パラメータ記憶部４６３は、調整対象でない非調整対象パラメータが存在する場合、調整対象パラメータの値だけでなく、その非調整対象パラメータの値もパラメータ調整部４６７に供給する。
　非調整対象パラメータの値を記憶していない場合、パラメータ記憶部４６３は、その非調整対象パラメータの値をパラメータ初期値記憶部４６２から取得して記憶し、パラメータ調整部４６７に供給する。また、過去にパラメータ初期値記憶部４６２から取得した非調整対象パラメータの値は、パラメータ記憶部４６３に既に記憶されているので、パラメータ記憶部４６３は、その値をパラメータ調整部４６７に供給する。さらに、過去に調整が行われた非調整対象パラメータ（過去に調整対象とされ、今回は非調整対象とされるパラメータ）の値は、その調整後の値がパラメータ記憶部４６３に既に記憶されているので、パラメータ記憶部４６３は、その調整後の値をパラメータ調整部４６７に供給する。
　また、パラメータ記憶部４６３は、データ出力部４７３の要求に基づいて、若しくは所定のタイミングにおいて、各パラメータの値（その時点で保持する値）をデータ出力部４７３に供給する。
　補正前明るさ値算出部４６４は、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）について、その明るさを示すパラメータである明るさ値を算出する。明るさ値は、画像の明るさを示すことができるものであればどのような内容（算出方法）であってもよい。例えば、画像の全体若しくは一部の輝度値の総和や平均値等を明るさ値としてもよい。また、例えば、画像を複数の領域に分割し、各領域毎に輝度値の総和を算出し、各値に領域毎に定められる重み係数を乗算し、その各乗算結果の総和を明るさ値としてもよい。
　補正前明るさ値算出部４６４は、算出した明るさ値を明るさ値記憶部４６５に供給し、記憶させる。明るさ値記憶部４６５は、例えば、ハードディスク、フラッシュメモリ、若しくは、半導体メモリ等の任意の記憶媒体を有し、補正前明るさ値算出部４６４や比較部４７２から供給される明るさ値を記憶する。例えば、明るさ値記憶部４６５は、補正前明るさ値算出部４６４から供給される補正前の眼底画像の明るさ値を記憶し、補正後明るさ値算出部４７１により算出された補正後の眼底画像の明るさ値が比較部４７２から供給されると、その明るさ値を記憶する（保持する明るさ値を更新する）。
　明るさ値記憶部４６５は、比較部４７２の要求に基づいて、若しくは所定のタイミングにおいて、保持する明るさ値を比較部４７２に供給する。
　部位認識部４６６は、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）を解析し、その眼底画像に含まれる、例えば、血管、神経、および視神経乳頭等の、生体（眼底）としての部位を認識する。
　この部位認識方法（画像解析方法）は任意である。例えば、生体情報位置合わせ処理部２１２が行う血管抽出等と同様の方法により行われるようにしてもよい。例えば、非特許文献２や、“眼底画像診断支援システムのための血管消去画像を用いた視神経乳頭の自動認識および疑似立体視画像生成への応用”，中川 俊明，林 佳典，畑中 裕司，青山 陽，水草 豊，藤田 明宏，加古川 正勝，原 武史，藤田 広志，山本 哲也，2006（以下、非特許文献５と称する）等に記載の方法で行われるようにしてもよい。
　例えば、血管や神経は、その周囲との境界にエッジ成分が強く検出される。また、例えば、視神経乳頭は、周囲よりも輝度が高く白色となる傾向がある。また、ある程度形状や大きさが限定される。部位認識部４６６は、例えばこのような画像の特徴を用いて、眼底画像内に含まれる各部位を特定する。
　部域認識部４６６は、眼底画像に含まれる生体としての部位を特定すると、その特定した各部位の領域、つまり、例えば血管や神経や視神経乳頭等がそれぞれ画像内の何処にあるかを示す情報を部位別検査部４７０に供給する。
　パラメータ調整部４６７は、パラメータ記憶部４６３から読み出したパラメータの値を予め定められた所定の方法で調整する。例えば、パラメータ調整部４６７は、パラメータの値を所定量増大させたり、減少させたりする。パラメータ調整部４６７は、調整後の値を、非調整対象パラメータの値とともにトーンカーブ算出部４６８に供給する。
　トーンカーブ算出部４６８は、トーンカーブ算出部４５３と同様に、供給されたパラメータを用いてトーンカーブを算出し、算出したトーンカーブを示す情報、および、調整対象パラメータをマッピング部４６９に供給する。
　マッピング部４６９は、トーンカーブ算出部４６８により算出されたトーンカーブを用いて、マッピング部４５４と同様に、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）の輝度値を階調補正する。マッピング部４６９は、その補正後の画像と、トーンカーブ算出部４６８から供給された調整対象パラメータとを部位別検査部４７０に供給する。
　部位別検査部４７０は、部位認識部４６６から供給される各部位の領域を示す情報を用いて、マッピング部４６９から供給される補正後の画像に含まれる各部位を特定し、その各部位の画像を、各部位の画像の特徴に応じた方法で検査する。つまり、部位別検査部４７０は、各部位の画像の特徴の違いを考慮し、どの部位についても適切な階調補正となるように、補正後の画像に含まれる各部位の画像を、その部位用に定められた方法で検査する。
　例えば、一般的に、眼底の周縁部では画像が比較的暗い傾向がある。つまり、眼底の周縁部では、ノイズ成分が大きくなり易い。そこで、部位別検査部４７０は、例えば、眼底の周縁部においてノイズ成分が所定の許容量を超えたか否かを検査し、ノイズ成分が許容量以下であれば合格とし、許容量を超えていれば不合格とする。
　また、一般的に、視神経乳頭の画像は比較的明るくなる傾向がある。つまり、眼底画像を明るくすると視神経乳頭において白とびが発生し易い。そこで、部位別検査部４７０は、例えば、視神経乳頭において白とびが発生したか否かを検査し、白とびが発生していければ合格とし、白とびが発生していれば不合格とする。
　このように各部位の検査内容は互いに独立している。なお、この各部位の検査の内容や合否判定基準等は任意である。例えば、上述した例以外にも、周波数成分を検査するようにしてもよいし、所定のレベルより低い輝度値が検出されたか否か等を検査するようにしてもよい。また、１つの部位に対して、複数の項目について検査を行うようにしてもよい。
　部位別検査部４７０は、このような部位毎の判定結果を、マッピング部４６９から供給される補正後の画像および調整対象パラメータとともに、補正後明るさ値算出部４７１に供給する。
　補正後明るさ値算出部４７１は、部位別検査部４７０において各部位の検査が全て合格であった場合、補正後の画像について明るさ値を算出する。この明るさ値の算出方法は、補正前明るさ値算出部４６４による補正前の画像の明るさ値の算出方法と同様である。
　明るさ値を算出すると、補正後明るさ値算出部４７１は、算出したその明るさ値と、部位別検査部４７０から供給された調整対象パラメータとを比較部４７２に供給する。また、部位別検査部４７０による各部位の検査結果に不合格が含まれる場合、補正後明るさ値算出部４７１は、その検査結果を比較部４７２に供給する。
　比較部４７２は、補正後明るさ値算出部４７１から補正後の画像の明るさ値を取得すると、明るさ値記憶部４６５が保持する明るさ値を取得し、それらを比較する。
　補正後明るさ値算出部４７１から供給された明るさ値の方が、明るさ値記憶部４６５から供給された明るさ値より大きい場合、比較部４７２は、補正後明るさ値算出部４７１から供給された調整対象パラメータを、パラメータ記憶部４６３に供給し、記憶させる（保持する調整対象パラメータの値を更新させる）。また、この場合、比較部４７２は、補正後明るさ値算出部４７１から供給された明るさ値を、明るさ値記憶部４６５に供給し、記憶させる（明るさ値記憶部４６５が保持する明るさ値を更新させる）。
　このように、各パラメータの調整は、パラメータ記憶部４６３乃至比較部４７２のループにより繰り返し行われる（ループ処理される）。つまり、例えば、パラメータ初期値記憶部４６２が、眼底画像が最も暗くなるような値をパラメータの初期値として記憶し、パラメータ調整部４６７は、眼底画像がより明るくなるように調整対象パラメータの値を調整し、その調整後の値を利用して、トーンカーブ算出部４６８およびマッピング部４６９が眼底画像を補正し、部位別検査部４７０乃至比較部４７２が、その補正後の画像を検査する。部位毎の検査に合格しながらより明るい画像が得られる場合、このループ処理がさらに繰り返される。
　そして、部位毎の検査に合格しなくなった場合、若しくは、部位毎の検査に合格しても、より明るい画像が得られなかった場合、すなわち、補正後明るさ値算出部４７１を介して部位別検査部４７０による不合格を含む検査結果が供給された場合、若しくは、補正後明るさ値算出部４７１から供給された明るさ値が、明るさ値記憶部４６５から供給された明るさ値より大きくない場合、比較部４７２は、データ出力部４７３にその旨を通知する（パラメータ記憶部４６３および明るさ値記憶部４６５の情報は更新させない）。
　例えば、その値が大きいほどより明るい眼底画像が得られるパラメータを調整対象パラメータとする場合、パラメータ初期値記憶部４６２は、そのパラメータの最小値を初期値として記憶し、パラメータ調整部４６７は、入力されたそのパラメータの値を所定量増大させる。
　また、例えば、その値が小さいほどより明るい眼底画像が得られるパラメータを調整対象パラメータとする場合、パラメータ初期値記憶部４６２は、そのパラメータの最大値を初期値として記憶し、パラメータ調整部４６７は、入力されたそのパラメータの値を所定量減少させる。
　なお、パラメータの初期値や調整方法は任意であり、上述した例以外であってもよい。例えば、トーンリプロダクション処理に使用されるパラメータのとり得る値（若しくはその代表値）の全てについて補正が行われ、得られた全補正画像の中から最良の画像が選択され、その画像に対応する各パラメータの値が最良の値として選択されるようにしてもよい。この場合、得られた全補正画像について各部位の検査と明るさ値の算出が行われ、全ての検査結果と明るさ値が評価され、各部位の検査に全て合格し、かつ、最も明るい画像が得られる各パラメータの値が最良の値として選択される。
　また、画像が明るくなったか否かの判断は、単純にどちらの明るさ値が大きいかということで判断するようにしてもよいが、その他の基準に基づいて判断するようにしてもよい。例えば、今回の補正後の画像の明るさ値が、今回の補正前の画像の明るさ値に対して所定量以上大きい場合のみ、今回の補正により画像が明るくなったと判定されるようにしてもよい。また、例えば、今回の補正後の画像の明るさ値が、今回の補正前の画像の明るさ値より小さくても、予め定められた所定の範囲内であれば、今回の補正により画像が明るくなったと判定されるようにしてもよい。
　データ出力部４７３は、部位別検査部４７０による検査の不合格通知、若しくは、今回の階調補正後の画像が、その階調補正前の画像と比べて明るくならなかった旨の通知を比較部４７２から供給された場合、その旨を調整対象パラメータ選択部４６１に通知し、他のパラメータを調整対象パラメータとして選択させる。つまり、他のパラメータについての調整が開始される。
　このようにして調整すべきパラメータが全て調整されると、データ出力部４７３は、パラメータ記憶部４６３に記憶されている各パラメータの値を取得し、超解像処理部４１６に供給する。
　以上のようにして各パラメータの値を決定することにより、パラメータ決定部４５２は、各パラメータの値を、ノイズや白とびの発生等の不具合を抑制しながら、より明るい画像を得ることができる値に設定することができる。つまり、トーンリプロダクション処理部４１５は、トーンリプロダクション処理を、生体としての画像の特徴に応じてより適切に行うことができる。
［超解像処理部］
　図２１は、図１６の超解像処理部４１６の主な構成例を示すブロック図である。
　図２１に示されるように、超解像処理部４１６は、学習辞書記憶部４８１、画像処理部４８２、部位認識部４８３、部位別評価基準記憶部４８４、部位別画像評価部４８５、および画像選択部４８６を有する。
　学習辞書記憶部４８１は、例えば、ハードディスク、フラッシュメモリ、若しくは、半導体メモリ等の任意の記憶媒体を有し、超解像処理において行われる学習の方法を示す学習辞書を複数記憶する。学習辞書記憶部４８１は、画像処理部４８２の要求に基づいて、若しくは所定のタイミングにおいて、各学習辞書を、画像処理部４８２に供給する。
　画像処理部４８２は、トーンリプロダクション処理部４１５から供給される眼底画像に対して、学習辞書記憶部４８１から供給された学習辞書を用いて、学習により解像度を向上させる超解像処理を行う。つまり、画像処理部４８２により行われた超解像処理により得られる超解像結果画像は、学習辞書記憶部４８１から供給される学習辞書によって異なる。画像処理部４８２は、全ての学習辞書について超解像処理を行わせる。画像処理部４８２は、算出した、各学習結果に対応する超解像結果画像を、部位認識部４８３に供給する。
　部位認識部４８３は、部位認識部４６６の場合と同様に、供給された各超解像結果画像を解析し、各超解像結果画像に含まれる、例えば、血管、神経、および視神経乳頭等の、生体（眼底）としての部位を認識する。部位認識部４８３は、例えば、非特許文献２や非特許文献４に記載の方法で各部位を認識する。
　部位認識部４８３は、各超解像結果画像に含まれる生体としての部位を特定すると、その特定した各部位の領域、つまり、例えば血管や神経や視神経乳頭等がそれぞれ画像内の何処にあるかを示す情報を、その情報に対応する超解像結果画像とともに、部位別画像評価部４８５に供給する。
　部位別評価基準記憶部４８４は、例えば、ハードディスク、フラッシュメモリ、RAM、若しくは、ROM等の任意の記憶媒体を有し、部位別画像評価部４８５が行う部位別の画像評価の方法や基準を示す情報（例えば眼底画像の何処の部分のどのような情報をどのように評価するか等）を記憶する。
　部位別評価基準記憶部４８４は、部位別画像評価部４８５の要求に基づいて、若しくは所定のタイミングにおいて、保持する各部位の画像評価の基準を示す情報を、部位別画像評価部４８５に供給する。
　部位別画像評価部４８５は、部位別評価基準記憶部４８４から供給される画像評価の基準を示す情報を用いて、各超解像結果画像の、部位認識部４８３により認識された各部位の画像を評価する。
　例えば、部位別画像評価部４８５は、各超解像結果画像について、血管の画像を周波数成分解析し、その血管の画像に含まれる高周波成分量（所定の周波数帯域成分のスペクトルの大きさ）、および、その高周波成分量が予め定められた所定の目標範囲内に含まれるか否か等を評価する。
　また、例えば、部位別画像評価部４８５は、各超解像結果画像について、周縁部等の平坦部の画像を周波数成分解析し、その平坦部の画像に含まれるノイズ成分量（所定の周波数帯域成分のスペクトルの大きさ）の少なさを評価する。
　部位別画像評価部４８５は、各超解像結果画像について、このように求められた各部位の評価結果を、超解像結果画像とともに画像選択部４８６に供給する。
　画像選択部４８６は、部位別画像評価部４８５から供給された画像評価結果に基づいて、部位別画像評価部４８５から供給された超解像結果画像群の中から、最適な超解像結果画像を選択する。例えば、画像選択部４８６は、血管の画像の高周波成分が、予め定められた所定の目標範囲内で出来るだけ大きく、かつ、平坦部の画像のノイズ成分ができるだけ小さい超解像結果画像を選択する。
　なお、この画像選択方法や画像選択基準は任意である。例えば、血管の画像の評価結果のみに従って画像選択が行われるようにしてもよいし、上述した以外の評価結果も考慮して画像選択が行われるようにしてもよい。
　以上のように、画像選択部４８６は、互いに異なる学習辞書を用いて生成された複数の超解像結果画像の中から最適な超解像結果画像を選択する。つまり、画像選択部４８６は、超解像処理結果が最も良好となる学習辞書を選択する。
　画像選択部４８６は、選択した超解像結果画像を画像処理部４０２の外部（記憶部１０３や出力部１０４）に出力する。
　このように、超解像処理部４１６は、互いに異なる学習辞書を用いて学習を伴う超解像処理を行い、各超解像結果画像について、生体としての部位毎に画像評価を行い、その評価結果に基づいて、最適な学習辞書を用いて生成された超解像結果画像を選択することができる。
　一般に、超解像処理に用いられる適切な学習辞書は、画像の内容によって異なる。つまり、ある画像に対して最適な学習辞書が、その他の画像に対して最適となるとは限らない。しかしながら、超解像処理部４１６は、上述したように、生成された超解像結果画像を評価するので、任意の眼底画像に対して最適な学習辞書を選択することができる。また、超解像処理部４１６は、生体（眼底）としての部位毎に画像評価を行うので、眼底画像に対してより適切な学習辞書を選択することができる。
　つまり、超解像処理部４１６は、よりノイズ成分が少なく、かつ、より高解像度な眼底画像（より高画質かつ高解像度な眼底画像）を得ることができる。
［眼底画像生成処理の流れ］
　次に、図２２のフローチャートを参照して、眼底画像処理装置４００により実行される眼底画像生成処理の流れの例を説明する。
　眼底画像生成処理が開始されると、ステップＳ４０１において、撮像部１０１は、図１２のステップＳ２０１の場合と同様に、光量を落として複数回眼底を撮像する。ステップＳ４０２において、入力画像バッファ１１１は、図１２のステップＳ２０２の場合と同様に、ステップＳ４０１の撮像により得られた撮像画像（眼底画像）を記憶する。
　ステップＳ４０３において、ノイズ削減結果画像バッファ４１４は、図１２のステップＳ２０３の場合と同様に、最初の撮像画像を初期画像として記憶する。
　ステップＳ４０４において、生体情報位置合わせ処理部２１２は、図１２のステップＳ２０４の場合と同様に、入力画像バッファ１１１に記憶される未処理の撮像画像を１枚選択する。ステップＳ４０５において、生体情報位置合わせ処理部２１２は、ステップＳ４０４において選択された撮像画像（眼底画像）と、ノイズ削減結果画像バッファ４１４から供給された前回の重ね合わせ結果となる撮像画像（眼底画像）との間で、図１２のステップＳ２０５の場合と同様に、生体情報を用いた位置合わせ処理（生体情報位置合わせ処理）を行う。この生体情報位置合わせ処理の詳細は、図１３および図１４のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　ステップＳ４０６において、ノイズ削減処理部４１３は、ステップＳ４０５の処理により位置合わせされた両撮像画像（眼底画像）を重ね合わせ、ノイズを低減させる。
　ステップＳ４０７において、ノイズ削減処理部４１３は、全ての撮像画像（眼底画像）を処理したか否かを判定する。入力画像バッファ１１１に未処理の撮像画像が存在すると判定された場合、ノイズ削減処理部４１３は、処理をステップＳ４０８に進める。
　ステップＳ４０８において、ノイズ削減結果画像バッファ４１４は、ステップＳ４０６の処理により得られるノイズ削減処理結果画像、つまり、重ね合わせされた撮像画像を記憶する。撮像画像を記憶すると、ノイズ削減結果画像バッファ４１４は、処理をステップＳ４０４に戻し、それ以降の処理を繰り返す。
　ステップＳ４０４乃至ステップＳ４０８の処理が繰り返され、ステップＳ４０７において、全ての撮像画像を処理したと判定された場合、ノイズ削減処理部４１３は、処理をステップＳ４０９に進める。
　ステップＳ４０９において、トーンリプロダクション処理部４１５は、生成された１枚の撮像画像（眼底画像）に対してトーンリプロダクション処理を行う。ステップＳ４１０において、超解像処理部４１６は、トーンリプロダクション処理された画像について、超解像処理を行い、より高解像度な眼底画像を得、眼底画像生成処理を終了する。
　このように処理を行うことにより、眼底画像処理装置４００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
［トーンリプロダクション処理の流れ］
　次に、図２３のフローチャートを参照して、図２２のステップＳ４０９において実行されるトーンリプロダクション処理の流れの例を説明する。
　トーンリプロダクション処理が開始されると、ステップＳ４３１において、トーンリプロダクション処理部４１５の画像バッファ４５１は、１枚に重ね合わせられた撮像画像（眼底画像）を記憶する。
　ステップＳ４３２において、パラメータ決定部４５２は、生体情報に基づいてパラメータを決定する。ステップＳ４３３において、トーンカーブ算出部４５３は、ステップＳ４３２の処理により値が決定されたパラメータを用いてトーンカーブを算出する。ステップＳ４３４において、マッピング部４５４は、ステップＳ４３３において生成されたトーンカーブを用いて撮像画像（眼底画像）を補正する。
　ステップＳ４３４の処理を終了すると、マッピング部４５４は、トーンリプロダクション処理を終了し、処理を図２２のステップＳ４０９に戻し、ステップＳ４１０に処理を進める。
［パラメータ決定処理の流れ］
　次に、図２４のフローチャートを参照して、図２３のステップＳ４３２において実行されるパラメータ決定処理の流れの例を説明する。
　パラメータ決定処理が開始されると、調整対象パラメータ選択部４６１は、ステップＳ４５１において、調整するパラメータを選択する。ステップＳ４５２において、パラメータ記憶部４６３は、各パラメータの初期値をパラメータ初期値記憶部４６２から取得し、記憶する。
　ステップＳ４５３において、補正前明るさ値算出部４６４は、図２２のステップＳ４０６の処理により生成された撮像画像（眼底画像）の明るさ値を算出する。ステップＳ４５４において、明るさ値記憶部４６５は、ステップＳ４５３の処理により算出された明るさ値を記憶する。ステップＳ４５５において、部位認識部４６６は、図２２のステップＳ４０６の処理により生成された撮像画像（眼底画像）に含まれる生体としての各部位を認識する。
　ステップＳ４５６において、パラメータ調整部４６７は、調整対象パラメータの値を調整する。ステップＳ４５７において、トーンカーブ算出部４６８は、調整された調整対象パラメータを含む各種パラメータを用いて、トーンカーブを算出する。ステップＳ４５８において、マッピング部４６９は、ステップＳ４５７の処理により算出されたトーンカーブを用いて、図２２のステップＳ４０６の処理により生成された撮像画像（眼底画像）を補正する。
　ステップＳ４５９において、部位別検査部４７０は、ステップＳ４５８の処理により補正された撮像画像（眼底画像）について、ステップＳ４５５の処理により認識された生体としての部位毎の検査を行う。
　ステップＳ４６０において、部位別検査部４７０は、ステップＳ４５９において行われる各部位の検査を全て合格したか否か（すなわち、全ての条件を満たすか否か）を判定する。全ての条件を満たすと判定された場合、部位別検査部４７０は、処理をステップＳ４６１に進める。
　ステップＳ４６１において、補正後明るさ値算出部４７１は、ステップＳ４５８において補正された撮像画像（眼底画像）の明るさ値を算出する。ステップＳ４６２において、比較部４７２は、ステップＳ４５８において行われる今回の補正の前と後で、撮像画像の明るさ値を比較する。ステップＳ４６３において、比較部４７２は、補正後の撮像画像の明るさ値の方が明るいか否かを判定する。
　補正後の撮像画像の明るさ値の方が大きく、今回のステップＳ４５８の補正により撮像画像が明るくなったと判定された場合、比較部４７２は、処理をステップＳ４６４に進める。ステップＳ４６４において、パラメータ記憶部４６３は、調整対象パラメータの、今回のステップＳ４５６の調整後の値を記憶する（調整対象パラメータの値を更新する）。
　ステップＳ４６５において、明るさ値記憶部４６５は、今回のステップＳ４５８の補正後の撮像画像の明るさ値を記憶する（明るさ値を更新する）。ステップＳ４６５の処理を終了すると、明るさ値記憶部４６５は、処理をステップＳ４５６に戻し、それ以降の処理を繰り返す。
　ステップＳ４６０において、全ての条件を満たさないと判定された場合、部位別検査部４７０は、処理をステップＳ４６６に進める。また、ステップＳ４６３において、補正後の撮像画像の明るさ値が補正前の撮像画像の明るさ値以下であり、今回のステップＳ４５８の補正により撮像画像が明るくなっていないと判定された場合、比較部４７２は、処理をステップＳ４６６に進める。
　ステップＳ４６６において、データ出力部４７３は、調整すべきパラメータを全て処理したか否かを判定し、未処理のパラメータが存在すると判定された場合、処理をステップＳ４５１に戻し、新たな未処理のパラメータについて、それ以降の処理を繰り返す。つまり、調整対象パラメータ選択部４６１は、未処理のパラメータを新たに調整対象パラメータとして選択し、ステップＳ４５２以降の処理を実行させる。
　ステップＳ４６６において、調整すべきパラメータが全て処理されたと判定した場合、データ出力部４７３は、処理をステップＳ４６７に進め、パラメータ記憶部４６３に記憶されているパラメータを取得し、出力する。ステップＳ４６６の処理を終了すると、データ出力部４７３は、パラメータ決定処理を終了し、処理を図２３のステップＳ４３２に戻し、ステップＳ４３３以降の処理を実行させる。
［超解像処理の流れ］
　次に、図２２のステップＳ４１０において実行される超解像処理の流れの例を、図２５のフローチャートを参照して説明する。
　超解像処理が開始されると、画像処理部４８２は、ステップＳ４８１において、学習辞書記憶部４８１に記憶されている学習辞書の中から未処理の学習辞書を選択する。ステップＳ４８２において、画像処理部４８２は、学習により求めた係数を用いて画像を高解像度化する。
　ステップＳ４８３において、部位認識部４８３は、画像に含まれる生体としての部位を認識する。ステップＳ４８４において、部位別画像評価部４８５は、部位毎に画像を評価する。ステップＳ４８５において、部位別画像評価部４８５は、画像および評価結果を記憶する。
　ステップＳ４８６において、部位別画像評価部４８５は、全ての学習辞書について処理を行ったか否かを判定する。未処理の学習辞書が存在すると判定された場合、部位別画像評価部４８５は、処理をステップＳ４８１に戻し、新たな学習辞書についてそれ以降の処理を実行させる。すなわち、画像処理部４８２は、未処理の学習辞書を新たに選択し、ステップＳ４８２以降の処理を実行させる。
　ステップＳ４８６において、全ての学習辞書について処理を行ったと判定された場合、部位別画像評価部４８５は、処理をステップＳ４８７に進める。
　ステップＳ４８７において、画像選択部４８６は、以上のように各学習辞書を用いて生成された超解像結果画像群の中から、ステップＳ４８４において行われた評価において最も高評価であった超解像結果画像を選択する。超解像結果画像を選択すると、画像選択部４８６は、超解像処理を終了し、処理を図２２のステップＳ４１０に戻し、眼底画像生成処理を終了する。
　以上のように、各処理を実行することにより、眼底画像処理装置４００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
［パラメータ決定部の他の構成例］
　なお、以上においては、パラメータ決定部４５２において、撮像画像（眼底画像）全体が補正されるように説明したが、これに限らず、生体としての各部位の画像がそれぞれ補正されるようにしてもよい。このようにすることにより、部位別検査において不要な、撮像画像に含まれる眼底の部位として認識されない部分（例えば撮像画像の周縁部等）の処理を省略することができ、パラメータ決定に関する負荷を低減させることができる。
　図２６は、その場合のパラメータ決定部の主な構成例を示すブロック図である。図２６に示される例の場合、パラメータ決定部４５２は、図２０に示される例の補正前明るさ値算出部４６４の代わりに補正前明るさ値算出部５６４を有し、明るさ値記憶部４６５の代わりに明るさ値記憶部４６５を有する。また、図２６に示されるパラメータ決定部４５２は、図２０に示される例の部位認識部４６６の代わりに部位認識部５６６を有し、マッピング部４６９の代わりにマッピング部５６９を有する。
　さらに、図２６に示されるパラメータ決定部４５２は、図２０に示される例の部位別検査部４７０の代わりに部位別検査部５７０を有し、補正後明るさ値算出部４７１の代わりに補正後明るさ値算出部５７１を有する。また、図２６に示されるパラメータ決定部４５２は、図２０に示される例の比較部４７２の代わりに比較部５７２を有する。
　部位認識部５６６は、部位認識部４６６と同様に、ノイズ削減処理部４１３から供給される眼底画像（複数の眼底画像が重ね合わせられて生成された１枚の眼底画像）に含まれる生体（眼底）としての部位を認識する。部位認識部５６６は、その眼底画像から、特定した各部位の画像を抽出し、抽出した各部位の画像を補正前明るさ値算出部５６４およびマッピング部５６９に供給する。
　補正前明るさ値算出部５６４は、供給された各部位の画像について、補正前明るさ値算出部４６４の場合と同様の方法で明るさ値をそれぞれ算出する。補正前明るさ値算出部５６４は、算出した各部位の明るさ値を明るさ値記憶部５６５に供給し、記憶させる。
　明るさ値記憶部５６５は、例えば、ハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体を有し、明るさ値記憶部４６５の場合と同様に、補正前明るさ値算出部５６４や比較部５７２から供給される各部位の画像の明るさ値を記憶する。
　マッピング部５６９は、トーンカーブ算出部４６８により算出されたトーンカーブを用いて、部位認識部５６６から供給される各部位の画像の輝度値を階調補正する。この補正方法は、マッピング部４６９の場合と同様である。マッピング部５６９は、その補正後の各部位の画像と、トーンカーブ算出部４６８から供給された調整対象パラメータとを部位別検査部５７０に供給する。
　部位別検査部５７０は、マッピング部５６９から供給される補正後の各部位の画像を、各部位の画像の特徴の違いを考慮し、どの部位についても適切な階調補正となるように、その部位の画像の特徴に応じた方法で検査する。各部位の検査の方法は、部位別検査部４７０の場合と同様である。
　部位別検査部５７０は、このような部位毎の判定結果を、マッピング部４６９から供給される補正後の各部位の画像および調整対象パラメータとともに、補正後明るさ値算出部５７１に供給する。
　補正後明るさ値算出部５７１は、部位別検査部５７０において各部位の検査が全て合格であった場合、補正後の各部位の画像について明るさ値を算出する。この明るさ値の算出方法は、補正前明るさ値算出部５６４の場合と同様である。明るさ値を算出すると、補正後明るさ値算出部５７１は、算出した各部位の画像の明るさ値と、部位別検査部５７０から供給された調整対象パラメータとを比較部５７２に供給する。
　また、部位別検査部５７０による各部位の検査結果に不合格が含まれる場合、補正後明るさ値算出部５７１は、補正後明るさ値算出部４７１の場合と同様に、その検査結果を比較部５７２に供給する。
　比較部５７２は、補正後明るさ値算出部５７１から補正後の各部位の画像の明るさ値を取得すると、明るさ値記憶部５６５が保持する各部位の画像の明るさ値を取得し、それらを比較する。
　各部位の画像について、補正後明るさ値算出部５７１から供給された明るさ値の方が、明るさ値記憶部５６５から供給された明るさ値より大きい場合、比較部５７２は、補正後明るさ値算出部５７１から供給された調整対象パラメータを、パラメータ記憶部４６３に供給し、記憶させる（パラメータ記憶部４６３が保持する調整対象パラメータの値を更新させる）。また、この場合、比較部５７２は、補正後明るさ値算出部５７１から供給された各部位の画像の明るさ値を、明るさ値記憶部５６５に供給し、記憶させる（明るさ値記憶部５６５が保持する最新の明るさ値を更新させる）。
　逆に、より明るい画像が得られなかった場合、すなわち、各部位の画像について、補正後明るさ値算出部５７１から供給された明るさ値が、明るさ値記憶部５６５から供給された明るさ値より大きくない場合、比較部５７２は、データ出力部４７３にその旨を通知する（パラメータ記憶部４６３および明るさ値記憶部５６５の情報は更新させない）。
　なお、比較部５７２は、今回の補正前後の各部位の画像の明るさ値の比較方法は任意である。例えば、比較部５７２は、今回の補正前後について、各部位の画像の明るさ値をそれぞれ比較するようにしてもよいし、各部位の画像の明るさ値の総和や平均値等の統計値を算出し、その総和を比較するようにしてもよい。また、比較部５７２は、今回の補正前後について、各部位の画像の明るさ値にそれぞれの部位用の重み係数を乗算し、その各乗算結果の総和を算出し、その総和を比較するようにしてもよい。
［パラメータ決定処理の流れ］
　図２６に示されるパラメータ決定部４５２により実行されるパラメータ決定処理の流れの例を、図２７のフローチャートを参照して説明する。
　この場合も、パラメータ決定処理の流れは、基本的に、図２４のフローチャートを参照して説明した場合と同様である。ただし、図２７の例の場合、部位認識部５６６が、ステップＳ５５３において、撮像画像に含まれる生体としての各部位を認識し、各部位の画像を抽出する。
　そして、補正前明るさ値算出部５６４は、ステップＳ５５４において、抽出された各部位の画像の明るさ値を算出し、明るさ値記憶部５６５は、ステップＳ５５５において、算出された各明るさ値を記憶する。
　また、マッピング部５６９は、ステップＳ５５８において、各部位の画像を、ステップＳ５５７において算出されたトーンカーブを用いて補正する。
　さらに、補正後明るさ値算出部５７１は、ステップＳ５６１において、ステップＳ５５８において得られた補正後の各部位の画像の明るさ値を算出する。ステップＳ５６２において、比較部５７２は、今回の補正前の各部位の画像と、今回の補正後の各部位の画像とで明るさ値を比較する。
　以上のようにして各パラメータの値を決定することにより、パラメータ決定部４５２は、各パラメータの値を、ノイズや白とびの発生等の不具合を抑制しながら、より明るい画像を得ることができる値に設定することができる。
　なお、さらに、各部位の画像の補正に使用されるトーンカーブが、各部位毎に独立して設定されるようにしてもよい。すなわち、パラメータ決定部４５２が、生体としての部位毎にパラメータを決定するようにしてもよい。この場合、図１８のトーンカーブ算出部４５３は、各部位の画像毎にトーンカーブを算出する。また、マッピング部４５４は、画像バッファ４５１から供給される撮像画像から、その撮像画像に含まれる生体としての部位を認識し、各部位の画像を抽出する。そしてマッピング部４５４は、抽出した各部位の画像を、それぞれ、トーンカーブ算出部４５３が算出したその部位用のトーンカーブを用いて補正する。
　このようにすることにより、トーンリプロダクション処理部４１５は、生体としての画像の特徴に応じてより適切にトーンリプロダクション処理を行うことができる。
　なお、第３の実施の形態においては、トーンリプロダクション処理部４１５および超解像処理部４１６の両方が、被写体の生体情報（眼底に関する情報）を用いてそれぞれの処理を行うように説明したが、これに限らず、例えば、トーンリプロダクション処理部４１５若しくは超解像処理部４１６のいずれか一方が被写体の生体情報を用いて処理を行い、他方が被写体の生体情報を用いずに処理を行うようにしてもよい。また、例えば、トーンリプロダクション処理部４１５若しくは超解像処理部４１６のいずれか一方を省略するようにしてもよい。
＜４．第４の実施の形態＞
［眼底画像処理装置の構成］
　ところで、上述したように、撮像部１０１は、撮像の際に被写体に光を照射する。この場合の照射光は可視光であることから、被験者への影響等を考慮して、照射光の光量が落とされている。その結果、可視光を照射して撮像された眼底画像は比較的暗い画像となる。
　そこで、本実施の形態においては、撮像部は、可視光の他に赤外光を含む照射光を用いて、被写体を撮像する。赤外光は人間の眼には見えないので、撮像部は、位置合わせを行うのに十分な光量を被写体に照射して、撮像することができる。これにより、位置合わせを行うのに十分な明るさの眼底画像が得られる。なお、本明細書でいう赤外光とは、一般的にいう、波長帯域が略７００乃至１０００ｎｍの波長帯域の赤外光のみならず、近赤外光等を含む広義な概念である。例えば、被験者が眩しいと感じない非侵襲の光も、本明細書でいう赤外光の一種である。
　図２８は、本実施の形態の概要について説明する図である。図２８の枠６００に示されるように、位置合わせを行うのに十分な光量で赤外光を照射して撮像された画像６２１に対して、位置合わせが行われる。なお、画像６２１のように、赤外光を照射して撮像された画像を、以下、赤外光画像と称する。そして、枠６０１に示されるように、赤外光画像６２１における位置合わせの結果（以下、位置合わせ情報と称する）を用いて、低光量で可視光を照射して撮像された画像６２２に対して、位置合わせが行われる。なお、画像６２２のように、低光量で可視光を照射して撮像された画像を、以下、可視光画像と称する。これにより、より高画質な被写体の撮像画像を得ることが出来るようになる。
[眼底画像処理装置の構成]
　図２９は、眼底画像処理装置の構成例を示すブロック図である。図２９に示される眼底画像処理装置７００は、図３の眼底画像処理装置２００と基本的に同様の構成を有し、同様の処理を行う。ただし、眼底画像処理装置７００は、眼底画像処理装置２００が有する撮像部１０１および画像処理部２０２の代わりに、撮像部７０１および画像処理部７０２を有する。したがって、以下では、撮像部７０１および画像処理部７０２についてのみ説明する。
　撮像部７０１は、可視光の他に赤外光を含む照射光を被写体に照射させながら、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。撮像部７０１の構成について図３０を参照して説明する。
[撮像部]
　図３０は、撮像部７０１の主な構成例を示す図である。図３０に示されるように、撮像部７０１は、光源７３１、ミラー７３２－１乃至７３２－３、レンズ７３３、可視光撮像部７３４、赤外光撮像部７３５、赤外光カットフィルタ７３６、および可視光カットフィルタ７３７を有する。
　光源７３１は、可視光の波長帯域および赤外光の波長帯域で発光する照明からなる。このとき、可視光は比較的低光量であり、赤外光は位置合わせを行うのに十分な光量であるとする。すなわち、赤外光は可視光よりも光量が高い。
　ミラー７３２－１乃至７３２－３は、可視光および赤外光を反射または透過する。
　レンズ７３３は、可視光撮像部７３４および赤外光撮像部７３５の受光面に被写体像を結像させる。
　すなわち、光源７３１からの可視光および赤外光は、ミラー７３２－１，７３２－２の各々で反射されて光路の方向を変えてレンズ７３３を通過し、眼２２１の眼底に入射し、眼底を照明する。
　眼２２１の眼底からの反射光すなわち眼底像は、ミラー７３２－３で反射して可視光撮像部７３４に入射すると共に、赤外光撮像部７３５に入射する。
　ただし、可視光撮像部７３４に装着された赤外光カットフィルタ７３６は、赤外光を透過させずに可視光のみを透過させる。従って、眼２２１の眼底からの反射光すなわち眼底像のうち、可視光の眼底像は、可視光撮像部７３４に装着された赤外光カットフィルタ７３６を透過して、可視光撮像部７３４の受光面に結像される。一方、眼２２１の眼底からの反射光すなわち眼底像のうち、赤外光の眼底像は、可視光撮像部７３４の赤外光カットフィルタ７３６を透過しないため、可視光撮像部７３４の受光面には結像されない。したがって、可視光撮像部７３４は、可視光の眼底像のみを撮像し、その結果可視光画像のみを出力する。
　また、赤外光撮像部７３５に装着された可視光カットフィルタ７３７は、可視光を透過させずに赤外光のみを透過させる。従って、眼２２１の眼底からの反射光すなわち眼底像のうち、赤外光の眼底像は、赤外光撮像部７３５に装着された可視光カットフィルタ７３７を透過して、赤外光撮像部７３５の受光面に結像される。一方、眼２２１の眼底からの反射光すなわち眼底像のうち、可視光の眼底像は、赤外光撮像部７３５の可視光カットフィルタ７３７を透過しないため、赤外光撮像部７３５の受光面には結像されない。したがって、赤外光撮像部７３５は、赤外光の眼底像のみを撮像し、その結果赤外光画像のみを出力する。
　撮像部７０１は、可視光の他に赤外光を含む照射光を照射させながら、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。撮像部７０１による撮像は、撮像により得られる各眼底画像が互いに近似するように、できるだけ短時間に複数回行われる方が望ましい。撮像部７０１の撮像により得られた比較的低画質の複数の可視光画像および複数の位置合わせを行うのに十分な画質の赤外光画像は、画像処理部７０２に供給される。
　なお、撮像部７０１の構成は上述の例に限定されず、被写体の可視光画像および赤外光画像が得られる構成であればよい。例えば、可視光撮像部７３４および赤外光撮像部７３５のそれぞれに含まれる撮像素子に、可視光カットフィルタ７３６および赤外光カットフィルタ７３７の両方を配置して、可視光撮像部７３４および赤外光撮像部７３５のそれぞれで可視光画像と赤外光画像とが得られるようにしてもよい。
　画像処理部７０２は、撮像部７０１から供給された複数の位置合わせを行うのに十分な画質の赤外光画像に対して位置合わせを行う。そして、画像処理部７０２は、赤外光画像における位置合わせ情報（詳細については後述する）を用いて、比較的低画質の複数の可視光画像に対して位置合わせを行ってから重ね合わせを行うことにより、より高画質な１枚の眼底画像を生成する。
　図２９に示されるように、画像処理部７０２は、入力画像バッファ７１１、赤外光画像位置合わせ処理部７１２、初期画像バッファ７１３、位置合わせ情報バッファ７１４、可視光画像位置合わせ処理部７１５、超解像処理部７１６、および超解像結果画像バッファ７１７を有する。
　入力画像バッファ７１１は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の少なくとも一部の領域に設けられ、撮像部７０１から供給される、比較的低画質の複数の可視光画像および複数の位置合わせを行うのに十分な画質の赤外光画像を入力画像として記憶する。そして、入力画像バッファ７１１は、必要に応じて適宜、赤外光画像を赤外光画像位置合わせ処理部７１２に供給し、可視光画像を可視光画像位置合わせ処理部７１５に供給する。
　赤外光画像位置合わせ処理部７１２は、被写体の生体情報を用いて、入力画像バッファ７１１から供給される赤外光画像と、後述する初期画像バッファ７１３から供給される赤外光画像の初期画像との間で、被写体の位置を合わせるように位置合わせを行う。赤外光画像位置合わせ処理部７１２は、位置合わせが収束した場合、位置合わせ情報を位置合わせ情報バッファ７１４に供給する。なお、赤外光画像位置合わせ処理部７１２の詳細な構成については、図３１，図３２を参照して後述する。
　位置合わせに利用する生体情報として、例えば、血管、神経、若しくは視神経乳頭等を採用することができる。もちろん、この生体情報は、任意であり、これら以外のものであってもよい。
　初期画像バッファ７１３は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の少なくとも一部の領域に設けられ、赤外光画像位置合わせ処理部７１２を介して入力画像バッファ７１１から最初に供給されてきた赤外光画像を初期画像として記憶する。初期画像バッファ７１３は、必要に応じて適宜その初期画像を、赤外光画像位置合わせ処理部７１２に供給する。
　位置合わせ情報バッファ７１４は、例えばハードディスク、フラッシュメモリ、若しくは、RAM等の任意の記憶媒体の少なくとも一部の領域に設けられ、赤外光画像位置合わせ処理部７１２から供給される位置合わせ情報を記憶する。
　可視光画像位置合わせ処理部７１５は、位置合わせ情報バッファ７１４から読み出した位置合わせ情報を、入力画像バッファ７１１から供給される可視光画像に適用して、画像の位置合わせを行う。位置合わせされた可視光画像は、超解像処理部７１６に供給される。
　超解像処理部７１６は、図３の超解像処理部２１３と基本的に同様の構成を有し、同様の処理を行う。すなわち、超解像処理部７１６は、超解像結果画像バッファ７１７から、過去に生成した超解像処理結果画像（すなわち、超解像処理結果として得られる画像）を取得し、その超解像結果画像と、可視光画像位置合わせ処理部７１５より位置合わせされた可視光画像との重ね合わせによる超解像処理およびハイダイナミックレンジ処理を行い、超解像結果画像を生成する。超解像処理部７１６は、このような位置合わせと超解像処理が繰り返されて生成された、より高解像度かつダイナミックレンジの大きな超解像結果画像を記憶部１０３に記憶させたり、出力部１０４より出力させたりするとともに、超解像結果画像バッファ７１７に供給し、記憶させる。
　超解像結果画像バッファ７１７は、図３の超解像結果画像バッファ２１４と基本的に同様の構成を有し、同様の処理を行う。すなわち、超解像結果画像バッファ７１７は、超解像処理部７１６により生成された超解像結果画像を記憶し、必要に応じて適宜その超解像結果画像を、超解像処理部７１６に供給する。なお、超解像結果画像バッファ７１７は、超解像処理部７１６を介して可視光画像位置合わせ処理部７１５から最初に供給されてきた可視光画像を初期画像として記憶する。超解像結果画像バッファ７１７は、必要に応じて適宜その初期画像を、超解像処理部７１６に供給する。
[画像処理部の処理]
　図３１は、このような構成の画像処理部７０２による処理の流れについて説明する図である。図３１に示されるように、撮像部７０１により撮像された複数の赤外光画像６２１と複数の可視光画像６２２は、入力画像バッファ７１１に記憶される。入力画像バッファ７１１は、所定のタイミングで１枚ずつ赤外光画像６２１を赤外光画像位置合わせ処理部７１２に供給する。
　図３１の枠７４１に示されるように、赤外光画像位置合わせ処理部７１２は、入力画像バッファ７１１から供給される赤外光画像６２１と、初期画像バッファ７１３から供給される初期画像との、眼の情報（すなわち、生体情報）を使った画像の位置合わせを行う。赤外光画像位置合わせ処理部７１２は、位置合わせが収束した場合、赤外光画像での位置合わせ情報を位置合わせ情報バッファ７１４に供給する。このような処理が繰り返され、入力画像バッファ７１１に記憶された全ての赤外光画像についての位置合わせ情報が、位置合わせ情報バッファ７１４に記憶される。
　そして、図３１の枠７４２に示されるように、可視光画像位置合わせ処理部７１５は、位置合わせ情報バッファ７１４から読み出した各赤外光画像についての位置合わせ情報を、入力画像バッファ７１１から供給される各赤外光画像に対応する可視光画像６２２に適用して、可視光画像の位置合わせを行う。その後、位置合わせされた可視光画像は、超解像処理部７１６に供給されて、画像の重ね合わせによる超解像処理が施される。
［赤外光画像位置合わせ処理部の構成］
　次に、赤外光画像位置合わせ処理部７１２の詳細な構成について図３２，図３３を参照して説明する。
　図３２は、図２９の赤外光画像位置合わせ処理部７１２の主な構成例を示すブロック図である。図３２に示されるように、赤外光画像位置合わせ処理部７１２は、赤外光画像血管抽出部７５１、初期画像血管抽出７５２、赤外光画像交叉点抽出部７５３、初期画像交叉点抽出部７５４、交叉点位置合わせ処理部７５５、および血管位置合わせ処理部７５６を有する。
　赤外光画像血管抽出部７５１は、入力画像バッファ７１１から供給される赤外光画像から血管の部分を抽出し、血管位置合わせ処理部７５６に供給する。
　同様に、初期画像血管抽出部７５２は、初期画像バッファ７１３から供給される初期画像から血管の部分を抽出し、血管位置合わせ処理部７５６に供給する。
　血管位置合わせ処理部７５６は、各画像から抽出された血管抽出結果を用いて、赤外光画像と初期画像との間で血管の位置合わせを行い、位置合わせ情報を位置合わせ情報バッファ７１４に記憶させる。
　なお、血管抽出結果（すなわち、血管全体の形状や位置）による位置合わせ処理の前に、血管の交叉点の位置による簡易的な位置合わせを行うようにしてもよい。その場合、赤外光画像血管抽出部７５１は、赤外光画像からの血管抽出結果を、赤外光画像交叉点抽出部７５３に供給する。
　赤外光画像交叉点抽出部７５３は、赤外光画像血管抽出部７５１から供給される血管抽出結果から交叉点を抽出し、その交叉点抽出結果を交叉点位置合わせ処理部７５５に供給する。
　また、初期画像血管抽出部７５２は、初期画像からの血管抽出結果を、初期画像交叉点抽出部７５４に供給する。
　初期画像交叉点抽出部７５４は、初期画像血管抽出部７５２から供給される血管抽出結果から交叉点を抽出し、その交叉点抽出結果を交叉点位置合わせ処理部７５５に供給する。
　交叉点位置合わせ処理部７５５は、各画像から抽出された交叉点抽出結果を用いて、赤外光画像と初期画像との間で交叉点の位置合わせを行う。そしてその交叉点位置合わせ結果が血管位置合わせ処理部７５６に供給される。
　血管位置合わせ処理部７５６は、交叉点位置合わせ処理部７５５から供給される交叉点位置合わせ結果を初期状態とし、血管抽出結果を用いて赤外光画像の位置合わせを行う。つまり、血管位置合わせ処理部７５６は、交叉点位置合わせ結果にしたがって、交叉点の位置合わせと同様に位置合わせを行いながら各血管抽出結果を重畳し、それを初期状態とする。
　このようにすることにより、血管位置合わせ処理部７５６は、交叉点を用いて簡易的に位置合わせされた状態から、位置合わせを開始することができるので、より容易かつ高速に位置合わせを行うことができる。
　なお、血管位置合わせ処理部７５６は、さらに他の生体情報を用いた位置合わせを併用するようにしてもよい。例えば、血管位置合わせ処理部７５６は、最初に、視神経乳頭の位置で位置合わせを行いながら、赤外光画像と初期画像とを重畳し、その重畳画像を初期値として交叉点による位置合わせを行うようにしてもよい。
［血管位置合わせ処理部の構成］
　次に、血管全体の位置や形状等を用いた位置合わせについて図３３を参照して説明する。
　図３３は、血管位置合わせ処理部７５６の主な構成例を示すブロック図である。図３３に示されるように、血管位置合わせ処理部７５６は、重畳処理部７７１、シフト処理部７７２、伸ばし処理部７７３、回転処理部７７４、拡大縮小処理部７７５、および収束判定部７７６を有する。
　重畳処理部７７１は、赤外光画像血管抽出部７５１による血管抽出結果（以下、赤外光画像血管抽出結果と称する）と、初期画像血管抽出部７５２による血管抽出結果（以下、初期画像血管抽出結果と称する）とを重畳する。交叉点による位置合わせを行う場合、重畳処理部７７１は、交叉点位置合わせ処理部７５５から供給される交叉点位置合わせ結果を用いて、交叉点の位置合わせと同様の位置合わせを行いながら、赤外光画像血管抽出結果と初期画像血管抽出結果とを重畳する。重畳処理部７７１は、重畳結果をシフト処理部７７２に供給する。
　なお、血管位置合わせ処理部７５６は、赤外光画像血管抽出結果を初期画像血管抽出結果に近づけるように位置合わせを行う。
　シフト処理部７７２は、赤外光画像血管抽出結果全体を移動（シフト）させ、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる位置を検索し、差分の絶対値が最小となった状態で、重畳結果を伸ばし処理部７７３に供給する。
　伸ばし処理部７７３は、赤外光画像血管抽出結果を任意の方向に伸ばし（変形させ）、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる形状を検索し、差分の絶対値が最小となった状態で、重畳結果を回転処理部７７４に供給する。
　回転処理部７７４は、赤外光画像血管抽出結果を左右に回転させ、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる向きを検索し、差分の絶対値が最小となった状態で、重畳結果を拡大縮小処理部７７５に供給する。
　拡大縮小処理部７７５は、赤外光画像血管抽出結果を拡大したり縮小したりし、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となる大きさを検索し、差分の絶対値が最小となった状態で、重畳結果を収束判定部７７６に供給する。
　収束判定部７７６は、供給された重畳結果に基づいて、位置合わせが収束したか否かを判定する。例えば、収束判定部７７６は、上述した各処理を複数回繰り返し行わせ、今回得られた位置合わせ結果を、前回の位置合わせ結果と比較し、前回より赤外光画像血管抽出結果が初期画像血管抽出結果に近づいた場合、収束していないと判定し、前回より赤外光画像血管抽出結果が初期画像血管抽出結果に近づいていない場合、収束したと判定する。
　収束していないと判定した場合、収束判定部７７６は、その重畳結果をシフト処理部７７２に戻し、再度、位置合わせを行わせる。また、位置合わせが収束したと判定した場合、収束判定部７７６は、重畳結果（例えば、赤外光画像血管抽出結果と初期画像血管抽出結果との差分の絶対値が最小となるときの重畳結果）を位置合わせ情報として、位置合わせ情報バッファ７１４に記憶させる。
　なお、交叉点位置合わせ処理部７５５は、血管位置合わせ処理部７５６と基本的に同様の構成を有し、位置合わせに用いる生体情報が血管全体かその交叉点かの違い以外は、基本的に同様の処理を行う。
　全ての赤外光画像に対して位置合わせ処理が施され、各赤外光画像に対応する位置合わせ情報が位置合わせ情報バッファ７１４に記憶される。すると、可視光画像位置合わせ処理部７１５は、入力画像バッファ７１１から可視光画像を１枚ずつ読み出して、読み出した可視光画像に対応する赤外光画像の位置合わせ情報を、位置合わせ情報バッファ７１４から読み出す。そして、可視光画像位置合わせ処理部７１５は、可視光画像に位置合わせ情報を適用して位置合わせを行う。
　位置合わせされた可視光画像は、超解像処理部７１６に供給されて、画像の重ね合わせによる超解像処理が施される。全ての可視光画像に対して、このような位置合わせと超解像処理が繰り返されて生成された、より高解像度かつダイナミックレンジの大きな眼底画像は、記憶部１０３に記憶されたり、出力部１０４より出力されたりする。なお、ここで高解像度とは、ボケが除去され、よりシャープな画像であることを示しており、実際に解像度が高くなくてもよい。
[眼底画像生成処理の流れ]
　次に、図３４のフローチャートを参照して、このような眼底画像処理装置７００により実行される眼底画像生成処理の流れの例について説明する。
　ステップＳ６０１において、撮像部７０１は、可視光と赤外光で同時に複数回、被験者の眼底（すなわち、被写体）を撮像する。このとき、可視光は低光量であり、赤外光は位置合わせを行うのに十分な光量である。
　ステップＳ６０２において、画像処理部７０２は、ステップＳ６０１の処理により得られた撮像画像、すなわち可視光画像と赤外光画像とを入力画像バッファ７１１に記憶させる。
　ステップＳ６０３において、赤外光画像位置合わせ処理部７１２は、最初の赤外光画像を初期画像として初期画像バッファ７１３に記憶させる。
　ステップＳ６０４において、赤外光画像位置合わせ処理部７１２は、入力画像バッファ７１１から、未処理の赤外光画像を１枚選択して読み出す。
　ステップＳ６０５において、赤外光画像位置合わせ処理部７１２は、位置合わせ処理を行う。なお、位置合わせ処理は、図１３および図１４のフローチャートを参照して説明した生体情報位置合わせ処理と基本的に同様である。ただし、図１３の生体情報位置合わせ処理においては、入力画像と前回の超解像結果画像とが用いられるのに対して、ステップＳ６０５の位置合わせ処理においては、赤外光画像と初期画像とが用いられる点が異なる。したがって、位置合わせ処理の説明は繰り返しになるので省略する。
　ステップＳ６０６において、赤外光画像位置合わせ処理部７１２は、位置合わせ情報を位置合わせ情報バッファ７１４に記憶させる。
　ステップＳ６０７において、赤外光画像位置合わせ処理部７１２は、全ての赤外光画像を処理したか否かを判定し、未処理の赤外光画像が存在すると判定した場合、処理をステップＳ６０４に戻し、それ以降の処理を実行させる。
　ステップＳ６０７において、全ての赤外光画像が処理されたと判定された場合、処理はステップＳ６０８に進む。
　ステップＳ６０８において、可視光画像位置合わせ処理部７１５は、最初の可視光画像を初期画像として超解像結果画像バッファ７１７に記憶させる。
　ステップＳ６０９において、可視光画像位置合わせ処理部７１５は、入力画像バッファ７１１から、未処理の可視光画像を１枚選択して読み出す。
　ステップＳ６１０において、可視光画像位置合わせ処理部７１５は、位置合わせ情報バッファ７１４に記憶された位置合わせ情報を読み出す。すなわち、可視光画像位置合わせ処理部７１５は、ステップＳ６０９で読み出した可視光画像に対応する赤外光画像の位置合わせ情報を読み出す。
　ステップＳ６１１において、可視光画像位置合わせ処理部７１５は、位置合わせ情報を用いて可視光画像の位置合わせ処理を行う。
　ステップＳ６１２において、超解像処理部７１６は、超解像処理を行う。なお、超解像処理は、図１５のフローチャートを参照して説明した超解像処理と基本的に同様である。ただし、図１５の超解像処理においては、位置合わせされた入力画像と前回の超解像結果画像とが重ね合わされるのに対して、ステップＳ６１２の超解像処理においては、位置合わせされた可視光画像と前回の超解像結果画像とが重ね合わされる点が異なる。したがって、超解像処理の説明は繰り返しになるので省略する。
　ステップＳ６１３において、超解像処理部７１６は、超解像処理により得られた新たな超解像結果画像を記憶部１０３や出力部１０４に出力するとともに、超解像結果画像バッファ７１７に記憶させる。
　ステップＳ６１４において、超解像処理部７１６は、全ての可視光画像を処理したか否かを判定し、未処理の可視光画像が存在すると判定された場合、処理をステップＳ６０９に戻し、それ以降の処理を実行させる。
　ステップＳ６１４において、全ての可視光画像が処理されたと判定された場合、眼底画像生成処理は終了する。
　以上のように、赤外光画像における位置合わせ情報を用いて、可視光画像に対して位置合わせが行われることより、より高画質な被写体の撮像画像を得ることが出来るようになる。
＜５．第５の実施の形態＞
［眼底画像処理装置の他の構成］
　次に、赤外光画像における位置合わせ情報を用いて、可視光画像に対して位置合わせが行われる場合の、眼底画像処理装置の他の構成例を説明する。
　図３５は、眼底画像処理装置の他の構成例を示すブロック図である。図３５に示される眼底画像処理装置８００は、赤外光画像における位置合わせ情報を用いて位置合わせが行われた可視光画像に含まれる生体情報を、トーンリプロダクション処理や超解像処理に利用し、より高画質な眼底画像を生成する。
　眼底画像処理装置８００は、図２９の眼底画像処理装置７００と基本的に同様の構成を有し、同様の処理を行う。ただし、眼底画像処理装置８００は、眼底画像処理装置７００が有する画像処理部７０２の代わりに、画像処理部８０２を有する。したがって、以下では、画像処理部８０２についてのみ説明する。
　画像処理部８０２は、画像処理部７０２と基本的に同様の構成を有し、同様の処理を行う。ただし、画像処理部８０２は、画像処理部７０２が有する超解像処理部７１６および超解像結果画像バッファ７１７の代わりに、ノイズ削減処理部８１１、ノイズ削減結果画像バッファ８１２、トーンリプロダクション処理部４１５、および超解像処理部４１６を有する。したがって、以下では、ノイズ削減処理部８１１、ノイズ削減結果画像バッファ８１２、トーンリプロダクション処理部４１５、および超解像処理部４１６についてのみ説明する。
　ノイズ削減処理部８１１は、図１６のノイズ削減処理部４１３と基本的に同様の構成を有し、同様の処理を行う。ただし、ノイズ削減処理部８１１は、可視光画像位置合わせ処理部７１５により位置合わせが行われた可視光画像を、ノイズ削減結果画像バッファ８１２に保持される前回の重ね合わせ結果（つまり、ノイズ削減結果）の画像と重ね合わせることにより、眼底画像のダイナミックレンジを拡張し、ノイズを低減させる。
　ノイズ削減結果画像バッファ８１２は、図１６のノイズ削減結果画像バッファ４１４と基本的に同様の構成を有し、同様の処理を行う。ただし、ノイズ削減結果画像バッファ８１２は、ノイズ削減処理部８１１により生成されたノイズ削減結果画像を記憶し、必要に応じて適宜そのノイズ削減結果画像を、ノイズ削減処理部８１１に供給する。なお、ノイズ削減結果画像バッファ８１２は、ノイズ削減処理部８１１を介して可視光画像位置合わせ処理部７１５から最初に供給されてきた位置合わせされた可視光画像を初期画像として記憶する。
　トーンリプロダクション処理部４１５および超解像処理部４１６は、それぞれ図１６のトーンリプロダクション処理部４１５および超解像処理部４１６と基本的に同様の構成を有し、同様の処理を行う。したがって、その説明は繰り返しになるので省略する。
[眼底画像生成処理の流れ]
　次に、図３６のフローチャートを参照して、このような眼底画像処理装置８００により実行される眼底画像生成処理の流れの例について説明する。
　ステップＳ６４１乃至ステップＳ６５１の各処理は、図３４のステップＳ６０１乃至ステップＳ６１１の各処理と同様であるので、その説明は繰り返しになるので省略する。
　ステップＳ６５２乃至ステップＳ６５６の各処理は、図２２のステップＳ４０６乃至ステップＳ４１０と基本的に同様である。ただし、ステップＳ６５２において、ノイズ削減処理部８１１は、ステップＳ６５１の処理により位置合わせされた可視光画像を重ね合わせ、ノイズを低減させる。
　ステップＳ６５３において、ノイズ削減処理部８１１は、全ての可視光画像を処理したか否かを判定する。未処理の可視光画像が存在すると判定された場合、ノイズ削減処理部８１１は、処理をステップＳ６５４に進める。
　ステップＳ６５４において、ノイズ削減結果画像バッファ８１２は、ステップＳ６５２の処理により得られるノイズ削減処理結果画像、つまり、重ね合わせされた可視光画像を記憶する。可視光画像を記憶すると、ノイズ削減結果画像バッファ８１２は、処理をステップＳ６４９に戻し、それ以降の処理を繰り返す。
　ステップＳ６４９乃至ステップＳ６５４の処理が繰り返され、ステップＳ６５３において、全ての可視光画像が処理されたと判定された場合、ノイズ削減処理部８１１は、処理をステップＳ６５５に進める。
　ステップＳ６５５において、トーンリプロダクション処理部４１５は、生成された１枚の可視光画像に対してトーンリプロダクション処理を行う。なお、トーンリプロダクション処理の詳細は、図２３および図２４のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　ステップＳ６５６において、超解像処理部４１６は、トーンリプロダクション処理が施された可視光画像について、超解像処理を行う。なお、超解像処理の詳細は、図２５のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　これにより高解像度な眼底画像が得られ、眼底画像生成処理は終了する。
　以上のように、赤外光画像における位置合わせ情報を用いて、可視光画像に対して位置合わせが行われることより、より高画質な被写体の撮像画像を得ることが出来るようになる。
[他の構成の眼底画像処理装置への適用]
　ところで、撮像部により得られた可視光画像と赤外光画像との両画像を用いて、より高画質な被写体の撮像画像を得る第４，第５の実施の形態の手法は、上述した第１乃至第３の実施の形態の眼底画像処理装置１００，２００，４００の各々に適用することができる。
　第４，第５の実施の形態の手法が適用された眼底画像処理装置１００，２００，４００の各々の構成は、図１，図３，図１６のそれぞれに示す構成と基本的に同様の構成を有する。しかしながら、第４，第５の実施の形態の手法が適用された眼底画像処理装置１００，２００，４００各々は、可視光画像と赤外光画像との両画像を用いるため、第１乃至第３の実施の形態における処理とは異なる処理を実行する。したがって、以下では、眼底画像処理装置１００，２００，４００の順に、第４，第５の実施の形態の手法が適用された場合の処理について説明する。
　はじめに、可視光画像および赤外光画像の両方を用いる場合の図１の眼底画像処理装置１００について説明する。
　図１の眼底画像処理装置１００の撮像部１０１は、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。すなわち、撮像部１０１は、図２９の撮像部７０１と同様の構成を有し、同様の処理を行う。
　画像処理部１０２のうち、動きベクトル検出部１２１の処理においては、赤外光画像のみが用いられ、画像処理部１０２のその他の構成要素の処理においては、可視光画像および赤外光画像の両方が用いられる。
　すなわち、入力画像バッファ１１１は、撮像部１０１から供給される、可視光画像および赤外光画像を入力画像として記憶する。
　SR画像バッファ１１３は、生成された可視光画像および赤外光画像のSR画像を保持し、可視光画像および赤外光画像のSR画像を所定のタイミングで超解像処理部１１２や演算部１１４に供給する。
　SR画像バッファ１１３に保持された赤外光画像のSR画像は動きベクトル検出部１２１と動き補償部１２２に供給され、入力画像バッファ１１１に保持された赤外光画像のLR画像は動きベクトル検出部１２１と演算部１２４に供給される。一方、SR画像バッファ１１３に保持された可視光画像のSR画像は動き補償部１２２のみに供給され、入力画像バッファ１１１に保持された可視光画像のLR画像は演算部１２のみに供給される。
　動きベクトル検出部１２１は、入力された赤外光画像のSR画像とLR画像に基づいて、赤外光画像のSR画像を基準とした動きベクトルを検出し、検出した赤外光画像の動きベクトルを動き補償部１２２と逆方向動き補償部１２６に供給する。
　動き補償部１２２は、動きベクトル検出部１２１から供給された赤外光画像の動きベクトルに基づいて、可視光画像および赤外光画像のSR画像に動き補償を施し、動き補償を施して得られた可視光画像および赤外光画像をダウンサンプリングフィルタ１２３に供給する。
　ダウンサンプリングフィルタ１２３は、動き補償部１２２から供給された可視光画像および赤外光画像をダウンサンプリングすることによってLR画像と同じ解像度の可視光画像および赤外光画像を生成し、生成した可視光画像および赤外光画像を演算部１２４に供給する。
　演算部１２４は、可視光画像および赤外光画像のそれぞれのLR画像と、ダウンサンプリングされた可視光画像および赤外光画像とのそれぞれの差分を表す差分画像を生成し、生成した可視光画像および赤外光画像のそれぞれの差分画像をアップサンプリングフィルタ１２５に供給する。
　アップサンプリングフィルタ１２５は、演算部１２４から供給された可視光画像および赤外光画像のそれぞれの差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した可視光画像および赤外光画像を逆方向動き補償部１２６に出力する。
　逆方向動き補償部１２６は、動きベクトル検出部１２１から供給された赤外高画像の動きベクトルに基づいて、アップサンプリングフィルタ１２５から供給された可視光画像および赤外光画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた可視光画像および赤外光画像を表すフィードバック値を演算部１１４に供給する。
　演算部１１４は、逆方向動き補償部１２６から供給されるフィードバック値を、SR画像バッファ１１３から供給される、過去に生成した可視光画像および赤外光画像のSR画像に加算することにより、新たな可視光画像および赤外光画像のSR画像を生成する。演算部１１４は、生成した、新たな可視光画像および赤外光画像のSR画像をSR画像バッファ１１３に供給して保持させ、そのSR画像を次の超解像処理（すなわち、新たなSR画像の生成）に利用させる。また、演算部１１４は、生成した可視光画像のSR画像を、記憶部１０３に供給して記憶させたり、出力部１０４に供給して表示させたり、外部の装置等に出力させたりする。
　画像処理部１０２は、超解像処理部１１２を用いてこのような超解像処理を入力画像バッファ１１１に保持させた複数の可視光画像および赤外光画像の眼底画像（すなわち、LR画像）のそれぞれについて行い、最終的に１枚の、より高画質な可視光画像のSR画像を生成する。
［眼底画像生成処理の流れ］
　図３７のフローチャートを参照して、このような眼底画像処理装置１００により実行される可視光画像および赤外光画像の両方を用いた眼底画像生成処理の流れの例を説明する。
　ステップＳ６８１において、撮像部１０１は、可視光と赤外光で同時に複数回、被験者の眼底（すなわち、被写体）を撮像する。
　ステップＳ６８２において、画像処理部１０２は、ステップＳ１０１の処理により得られた可視光画像および赤外光画像を入力画像バッファ１１１に記憶させる。
　ステップＳ６８３において、画像処理部１０２は、任意の方法で最初の可視光画像および赤外光画像のSR画像である初期画像を生成し、それをSR画像バッファ１１３に記憶させる。
　ステップＳ６８４において、入力画像バッファ１１１は、保持している未処理の可視光画像および赤外光画像（すなわち、LR画像）を１枚ずつ選択し、それを超解像処理部１１２に供給する。
　ステップＳ６８５において、動きベクトル検出部１２１は、赤外光画像のSR画像とLR画像とから動きベクトルを検出する。
　ステップＳ６８６において、動き補償部１２２は、赤外光画像の動きベクトルを用いて、可視光画像および赤外光画像のSR画像に動き補償を施す。
　ステップＳ６８７において、ダウンサンプリングフィルタ１２３は、動き補償を施した可視光画像および赤外光画像のSR画像をLR画像と同じ解像度にダウンサンプリングする。
　ステップＳ６８８において、演算部１２４は、可視光画像および赤外光画像のSR画像のダウンサンプリング結果と、入力の可視光画像および赤外光画像のLR画像との差分画像を求める。
　ステップＳ６８９において、アップサンプリングフィルタ１２５は、可視光画像および赤外光画像のそれぞれの差分画像をアップサンプリングする。
　ステップＳ６９０において、逆方向動き補償部１２６は、ステップＳ６８５の処理により検出された赤外光画像の動きベクトルを用いて、可視光画像および赤外光画像のそれぞれの差分画像のアップサンプリング結果に逆方向の動き補償を施す。
　ステップＳ６９１において、演算部１１４は、ステップＳ６９０の処理により算出された可視光画像および赤外光画像のそれぞれの差分画像のアップリング結果であるフィードバック値を、SR画像バッファ１１３により保持される過去に生成された可視光画像および赤外光画像のそれぞれのSR画像に加算する。
　ステップＳ６９２において、画像処理部１０２は、新たに生成された可視光画像のSR画像を、記憶部１０３に記憶させたり、出力部１０４から出力させたりするとともに、可視光画像および赤外光画像をSR画像バッファ１１３に記憶させる。
　ステップＳ６９３において、入力画像バッファ１１１は、全ての可視光画像および赤外光画像（すなわち、LR画像）を処理したか否かを判定し、未処理の可視光画像および赤外光画像（すなわち、LR画像）が存在すると判定された場合、処理をステップＳ６８４に戻し、新たな可視光画像および赤外光画像を処理対象として選択し、その可視光画像および赤外光画像について、それ以降の処理を繰り返させる。
　ステップＳ６９３において、撮像部１０１により複数回撮像され得られた複数の可視光画像および赤外光画像の全てが処理され、１枚の、より高画質な可視光画像の眼底画像が得られたと判定された場合、眼底画像生成処理は終了する。
　このようにすることにより、眼底画像処理装置１００は、眼底への可視光の照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置１００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
　次に、可視光画像および赤外光画像の両方を用いる場合の図３の眼底画像処理装置２００について説明する。
　図３の眼底画像処理装置２００の撮像部１０１は、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。すなわち、撮像部１０１は、図２９の撮像部７０１と同様の構成を有し、同様の処理を行う。
　画像処理部２０２のうち、生体情報位置合わせ処理部２１２の処理においては、赤外光画像のみが用いられ、画像処理部２０２のその他の構成要素の処理においては、可視光画像および赤外光画像の両方が用いられる。
　すなわち、入力画像バッファ１１１は、撮像部１０１から供給される、可視光画像および赤外光画像を入力画像として記憶する。
　生体情報位置合わせ処理部２１２は、被写体の生体情報を用いて、入力画像バッファ１１１から供給される赤外光画像（すなわち、入力画像）と、超解像結果画像バッファ２１４から供給される赤外光画像（すなわち、超解像処理部２１３により重ね合わせされた画像）との間で画像の位置合わせを行う。そして、生体情報位置合わせ処理部２１２は、赤外光画像の位置合わせ結果を入力画像バッファ１１１から供給される可視光画像に反映させる。
　超解像処理部２１３は、超解像結果画像バッファ２１４から、過去に生成した可視光画像および赤外光画像の超解像処理結果画像（すなわち、超解像処理結果として得られる画像）を取得し、その超解像結果画像と、生体情報位置合わせ処理部２１２より位置合わせされた可視光画像および赤外光画像の入力画像とを重ね合わせ、新たな可視光画像および赤外光画像の超解像結果画像を生成する。超解像処理部２１３は、可視光画像の超解像結果画像を記憶部１０３に記憶させたり、出力部１０４より出力させたりするとともに、可視光画像および赤外光画像を超解像結果画像バッファ２１４に供給し、記憶させる。
　超解像結果画像バッファ２１４は、超解像処理部２１３により生成された可視光画像および赤外光画像の超解像結果画像を保持し、所定のタイミングにおいてその超解像結果画像を、生体情報位置合わせ処理部２１２や超解像処理部２１３に供給する。
［眼底画像生成処理の流れ］
　図３８のフローチャートを参照して、このような眼底画像処理装置２００により実行される可視光画像および赤外光画像の両方を用いた眼底画像生成処理の流れの例を説明する。
　ステップＳ７２１乃至ステップＳ７２４の各処理が、図３７のステップＳ６８１乃至ステップＳ６８４の各処理と同様に実行される。ただし、ステップＳ７２３において、可視光画像および赤外光画像の初期画像は超解像結果画像バッファ２１４に記憶される。また、ステップＳ７２４において、未処理の可視光画像および赤外光画像が入力画像として１枚ずつ選択される。
　処理対象が決定されると、ステップＳ７２５において、生体情報位置合わせ処理部２１２は、赤外光画像に対して生体情報位置合わせ処理を行う。なお、生体情報位置合わせ処理の詳細は、図１３のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。ただし、図１３のフローチャートのうち、ステップＳ２２７の血管の位置合わせ処理の詳細についてのみ、図３９を参照して後述する。
　ステップＳ７２６において、超解像処理部２１３は、可視光画像および赤外光画像の位置合わせ結果を用いて、超解像処理を行う。なお、超解像処理の詳細は、図１５のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　ステップＳ７２７において、超解像処理部２１３は、超解像処理により得られた新たな可視光画像の超解像結果画像を記憶部１０３や出力部１０４に出力するとともに、可視光画像および赤外光画像を超解像結果画像バッファ２１４に記憶させる。
　ステップＳ７２８において、入力画像バッファ１１１は、全ての可視光画像および赤外光画像を処理したか否かを判定し、未処理の可視光画像および赤外光画像が存在すると判定された場合、処理をステップＳ７２４に戻し、それ以降の処理を実行させる。
　ステップＳ７２８において、全ての可視光画像および赤外光画像を処理したと判定された場合、眼底画像生成処理は終了する。
[血管位置合わせ処理の流れ]
　次に、図３９のフローチャートを参照して、図３８のステップＳ７２５の生体情報位置合わせ処理（すなわち、図１３の生体情報位置合わせ処理）のうち、ステップＳ２２７の血管の位置合わせ処理の流れの例を説明する。
　ステップＳ７４１乃至ステップＳ７４８の各処理が、図１４のステップＳ２４１乃至ステップＳ２４８の各処理と同様に実行される。ただし、ステップＳ７４１乃至ステップＳ７４８の各処理は、処理対象の赤外光画像に対して行われる。
　ステップＳ７４８において収束したと判定された場合、ステップＳ７４９において、生体情報位置合わせ処理部２１２は、処理対象の赤外光画像に対応する可視光画像を入力画像バッファ１１１から読み出す。
　ステップＳ７５０において、生体情報位置合わせ処理部２１２は、処理対象の赤外光画像の位置合わせ結果をステップＳ７４９で読み出した可視光画像に反映させる。すなわち、可視光画像に対して位置合わせを行う。
　ステップＳ７５１において、生体情報位置合わせ処理部２１２は、赤外光画像の位置合わせ結果に基づいて赤外光画像の位置合わせを行い、位置合わせされた可視光画像および赤外光画像と血管抽出結果とを超解像処理部２１３に出力する。
　これにより、血管位置合わせ処理は終了する。
　このようにすることにより、眼底画像処理装置２００は、眼底への可視光の照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置２００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
　次に、可視光画像および赤外光画像の両方を用いる場合の図１６の眼底画像処理装置４００について説明する。
　図１６の眼底画像処理装置４００の撮像部１０１は、可視光と赤外光で同時に眼底の撮像を複数回繰り返す。すなわち、撮像部１０１は、図２９の撮像部７０１と同様の構成を有し、同様の処理を行う。
　画像処理部４０２のうち、生体情報位置合わせ処理部２１２の処理においては、赤外光画像のみが用いられ、画像処理部４０２のその他の構成要素の処理においては、可視光画像および赤外光画像の両方が用いられる。
　すなわち、入力画像バッファ１１１は、撮像部１０１から供給される、可視光画像および赤外光画像を入力画像として記憶する。
　生体情報位置合わせ処理部２１２は、被写体の生体情報を用いて、入力画像バッファ１１１から供給される赤外光画像（すなわち、入力画像）と、ノイズ削減結果画像バッファ４１４から供給される赤外光画像（すなわち、ノイズ削減処理部４１３により重ね合わせされた画像）との間で画像の位置合わせを行う。そして、生体情報位置合わせ処理部２１２は、赤外光画像の位置合わせ結果を入力画像バッファ１１１から供給される可視光画像に反映させる。
　ノイズ削減処理部４１３は、生体情報位置合わせ処理部２１２により位置合わせが行われた可視光画像および赤外光画像のそれぞれを、ノイズ削減結果画像バッファ４１４に保持される前回の重ね合わせ結果（つまり、ノイズ削減結果）の可視光画像および赤外光画像のそれぞれと重ね合わせることにより、可視光画像および赤外光画像のダイナミックレンジを拡張し、ノイズを低減させる。
　ノイズ削減結果画像バッファ４１４は、ノイズ削減処理部４１３により生成された可視光画像および赤外光画像のノイズ削減結果画像（すなわち、重ね合わせ結果画像）を記憶し、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３の要求に基づいて、若しくは所定のタイミングにおいて、その可視光画像および赤外光画像のノイズ削減結果画像を、生体情報位置合わせ処理部２１２やノイズ削減処理部４１３に供給する。
　つまり、生体情報位置合わせ処理部２１２による赤外光画像の位置合わせや、ノイズ削減処理部４１３による重ね合わせは、繰り返し行われる。このようにして、撮像部１０１において撮像されて得られた複数の可視光画像および赤外光画像が全て処理され、１枚の可視光画像が生成される。
　トーンリプロダクション処理部４１５および超解像処理部４１６は、図１６と同様の構成を有し、同様の処理を行う。すなわち、トーンリプロダクション処理部４１５および超解像処理部４１６の生成された１枚の可視光画像は、トーンリプロダクション処理部４１５によりトーンリプロダクション処理が施され、その後、超解像処理部４１６により超解像処理が施される。
［眼底画像生成処理の流れ］
　図４０のフローチャートを参照して、このような眼底画像処理装置４００により実行される可視光画像および赤外光画像の両方を用いた眼底画像生成処理の流れの例を説明する。
　ステップＳ７７１乃至ステップＳ７７４の各処理が、図３８のステップＳ７２１乃至ステップＳ７２４の各処理と同様に実行される。ただし、ステップＳ７７３において、可視光画像および赤外光画像の初期画像はノイズ削減結果画像バッファ４１４に記憶される。
　処理対象が決定されると、ステップＳ７７５において、生体情報位置合わせ処理部２１２は、赤外光画像に対して生体情報位置合わせ処理を行う。なお、生体情報位置合わせ処理の詳細は、図１３のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。また、図１３のフローチャートのうち、ステップＳ２２７の血管の位置合わせ処理の詳細は、図３９のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　ステップＳ７７６において、ノイズ削減処理部４１３は、ステップＳ７７５の処理により位置合わせされた可視光画像および赤外光画像のそれぞれの画像を重ね合わせ、ノイズを低減させる。
　ステップＳ７７７において、ノイズ削減処理部４１３は、全ての可視光画像および赤外光画像を処理したか否かを判定する。入力画像バッファ１１１に未処理の可視光画像および赤外光画像が存在すると判定された場合、ノイズ削減処理部４１３は、処理をステップＳ７７８に進める。
　ステップＳ７７８において、ノイズ削減結果画像バッファ４１４は、ステップＳ７７６の処理により得られる可視光画像および赤外光画像のノイズ削減処理結果画像、つまり、重ね合わせされた可視光画像および赤外光画像のそれぞれを記憶する。可視光画像および赤外光画像を記憶すると、ノイズ削減結果画像バッファ４１４は、処理をステップＳ７７４に戻し、それ以降の処理を繰り返す。
　ステップＳ７７４乃至ステップＳ７７８の処理が繰り返され、ステップＳ７７７において、全ての可視光画像および赤外光画像を処理したと判定された場合、ノイズ削減処理部４１３は、処理をステップＳ７７９に進める。
　ステップＳ７７９において、トーンリプロダクション処理部４１５は、生成された１枚の可視光画像に対してトーンリプロダクション処理を行う。なお、トーンリプロダクション処理の詳細は、図２３のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　ステップＳ７８０において、超解像処理部４１６は、トーンリプロダクション処理された画像について、超解像処理を行う。なお、超解像処理の詳細は、図２５のフローチャートを参照して説明したのと基本的に同様であるので、その説明を省略する。
　ステップＳ７８０の処理が終了すると、眼底画像生成処理は終了する。
　このようにすることにより、眼底画像処理装置４００は、眼底への可視光の照射光の光量を増大させずに、より高画質な眼底画像を得ることが出来る。つまり、眼底画像処理装置４００は、被写体への負荷の増大を抑制しながら、より高画質な被写体の撮像画像を得ることができる。
＜６．第６の実施の形態＞
　上述した眼底画像処理装置を、観察者が持ち運べるように小型化することにより、例えば、医師による被験者の眼底の遠隔診察が可能となる。この場合、眼底画像処理装置による眼底画像生成処理のうちの一部が、ネットワーク上で行われることにより、眼底画像処理装置の小型化が可能となる。
　図４１は、遠隔診察システムの構成例について説明する図である。図４１に示されるように、遠隔診察システム９００は、小型眼底カメラ９１１、医師用端末装置９１２、看護師用端末装置９１３、患者用端末装置９１４、ネットワーク９１５、画像処理装置９１６、およびデータベース９１７を有する。
　小型眼底カメラ９１１は、被験者（すなわち患者）の眼底を被写体として複数回撮像し、その結果得られる複数の眼底画像のデータをネットワーク９１５に送信する。小型眼底カメラ９１１は、本実施の形態ではCCD撮像素子やCMOS撮像素子、撮像した眼底画像をネットワークに送信する送信部等を有する構成を有している。しかしながら、小型眼底カメラ９１１は、特に本実施形態の構成をとる必要はなく、撮像した複数の眼底画像のデータをネットワーク９１５に送信することが可能な構成であれば足りる。
　なお、小型眼底カメラ９１１は、より高画質な眼底画像を出力するために、撮影中の被写体に光を照射する機能を有している。すなわち、小型眼底カメラ９１１は、上述した撮像部１０１または撮像部７０１と同様の構成を有し、同様の処理を実行することができる。小型眼底カメラ９１１は、観察者が持ち運び可能なサイズとなっており、看護師または患者自身により操作される。
　医師用端末装置９１２は、ネットワーク９１５を介して、データベース９１７から眼底画像のデータおよび付加情報のデータを、診察用データとして取得する。データベース９１７からは、後述する画像処理装置９１６により生成された高画質な眼底画像のデータが取得される。また、データベース９１７から取得される付加情報には、例えば、眼底画像中の注目部位を示す情報、類似症例の情報等、医師による診察を補助する情報が含まれる。また、付加情報には、例えば、患者に関する他の情報、すなわち患者の体質、病歴等の情報が含まれてもよく、さらには任意の情報が含まれてもよい。
　医師用端末装置９１２は、医師による撮像箇所の指示、診察結果、再撮像の指示等を、必要に応じて、ネットワーク９１５を介して看護師用端末装置９１３および患者用端末装置９１４に送信する。
　看護師用端末装置９１３は、ネットワーク９１５を介して、医師用端末９１２から撮像箇所の指示、診察結果、再撮像の指示等を受信する。また、看護師用端末装置９１３は、ネットワーク９１５を介して、データベース９１７から眼底画像のデータ、および必要に応じて付加情報のデータを取得する。
　患者用端末装置９１４は、ネットワーク９１５を介して、必要に応じて医師用端末９１２から撮像箇所の指示、診察結果、再撮像の指示等を受信する。また、患者用端末装置９１４は、ネットワーク９１５を介して、データベース９１７から眼底画像のデータを取得する。また、患者用端末装置９１４は、ネットワーク９１５を介して、データベース９１７から健康情報等を取得してもよい。
　ネットワーク９１５は、クラウド型ネットワークであり、例えば本実施の形態ではインターネットである。
　画像処理装置９１６は、上述した眼底画像装置１００，２００，４００，７００，８００のそれぞれにおける画像処理部１０２，２０２，４０２，７０２，８０２のいずれかと同様の構成を有し、同様の処理を実行することができる。すなわち、画像処理装置９１６は、ネットワーク９１５を介して小型眼底カメラ９１１から取得した複数の撮像画像から、より高画質な眼底画像を生成する。生成された眼底画像のデータは、ネットワーク９１５を介してデータベース９１７に記憶されたり、医師用端末装置９１２、看護師用端末装置９１３、または患者用端末装置に供給される。
　データベース９１７は、画像処理装置９１６により生成された眼底画像のデータを記憶する。また、データベース９１７は、付加情報や、その他の情報を記憶する。その他の情報の内容は特に限定されず、例えば、健康情報等が含まれてもよい。なお、ネットワーク９１５を介して接続される機器の数は、図４１の例に限定されない。
[遠隔診察処理]
　次に、図４２のフローチャートを参照して、このような遠隔診察システム９００により実行される遠隔診察処理の流れの例について説明する。
　ステップＳ８８１において、小型眼底カメラ９１１は、看護師または患者の操作に従って、眼底を複数回撮像する。すなわち、小型眼底カメラ９１１は、低光量の可視光の照射光、または低光量の可視光および位置合わせを行うのに十分な光量の赤外光を含む照射光で眼底を複数回撮像する。
　ステップＳ８８２において、小型眼底カメラ９１１は、ステップＳ８８１で得られた眼底の撮像画像のデータをネットワーク９１５に送信する。
　ステップＳ８８３において、画像処理装置９１６は、ネットワーク９１５を介して取得した眼底の撮像画像から、より高画質な眼底画像を生成する眼底画像生成処理を行う。なお、ステップＳ８８３の眼底画像生成処理は、図２，図１２，図２２，図３４，または図３６のフローチャートを参照して説明した眼底画像生成処理と基本的に同様である。ただし、図２，図１２，図２２，図３４，または図３６の各眼底画像生成処理の１番目に行われる眼底の撮像処理は、ステップＳ８８１で小型眼底カメラ９１１により行われるので、各眼底画像生成処理の２番目以降の処理が行われる。
　ステップＳ８８４において、画像処理装置９１６は、生成した眼底画像のデータを、ネットワーク９１５を介してデータベース９１７に記憶させる。
　ステップＳ８８５において、医師用端末装置９１２は、ネットワーク９１５を介して、眼底画像のデータと付加情報のデータを診察用データとしてデータベース９１７から取得する。その後、医師用端末装置９１２は、必要に応じて診察結果等をネットワーク９１５を介して、看護師用端末装置９１３や患者用端末装置９１４に送信する。
　ステップＳ８８６において、医師用端末装置９１２は、再撮像の指示がされたか否かを判定する。再撮像の指示がされた場合、処理はステップＳ８８１に戻され、それ以降の処理が繰り返される。
　ステップＳ８８６において、再撮像の指示がされなかった場合、遠隔診察処理は終了する。
　このような遠隔診察システム９００によれば、看護師または患者により小型眼底カメラ９１１を用いて撮像された眼底の撮像画像を用いて、遠隔地にいる医師が診察を行うことができる。この場合、小型眼底カメラ９１１により撮像された撮像画像から、ネットワーク９１５上の画像処理装置９１６により高画質な被写体の撮像画像が生成されるので、医師は高画質な被写体の撮像画像を見ながら、遠隔診察を行うことができる。
＜７．第７の実施の形態＞
［パーソナルコンピュータ］
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図４３に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
　図４３において、パーソナルコンピュータ１０００のCPU（Central Processing Unit）１００１は、ROM１００２に記憶されているプログラム、または記憶部１０１３からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　CPU１００１、ROM１００２、およびRAM１００３は、バス１００４を介して相互に接続されている。このバス１００４にはまた、入出力インタフェース１０１０も接続されている。
　入出力インタフェース１０１０には、キーボード、マウスなどよりなる入力部１０１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１０１２、ハードディスクなどより構成される記憶部１０１３、モデムなどより構成される通信部１０１４が接続されている。通信部１０１４は、インターネットを含むネットワークを介しての通信処理を行う。
　入出力インタフェース１０１０にはまた、必要に応じてドライブ１０１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１０２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１０１３にインストールされる。
　上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　この記録媒体は、例えば、図４３に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア１０２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１００２や、記憶部１０１３に含まれるハードディスクなどで構成される。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。各ステップを異なる装置で処理してもよい。また、１つのステップを異なる処理で分担してもよい。
　また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　また、本技術は、以下のような構成もとることができる。
　（１）
　被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行う位置合わせ部と、
　前記位置合わせ部により位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部と
　を備える画像処理装置。
（２）
　前記重ね合わせ部は、
　　前記撮像画像と、前記重ね合わせにより生成される前記被写体の画像との間の動きベクトルを検出する検出部と、
　　前記検出部により検出された前記動きベクトルを用いて、前記被写体の画像に動き補償を行う動き補償部と、
　　前記動き補償部により動き補償が行われた前記被写体の画像から前記撮像画像を減算する減算部と、
　　前記検出部により検出された前記動きベクトルを用いて、前記減算部による前記被写体の画像と前記撮像画像との差分値に、前記動き補償部による動き補償とは逆方向に、動き補償を行う逆方向動き補償部と、
　　前記逆方向動き補償部により動き補償が行われた前記差分値を、前記被写体の画像に加算する加算部と
　を備える
　前記（１）に記載の画像処理装置。
（３）
　前記重ね合わせ部は、
　　前記動き補償部により動き補償が行われた前記被写体の画像をダウンサンプリングし、前記被写体の解像度を前記撮像画像の解像度に落とすダウンサンプリング部と、
　　前記減算部による前記被写体の画像と前記撮像画像との差分値をアップサンプリングし、前記差分値の解像度を前記被写体の画像の解像度まであげるアップサンプリング部と
　をさらに備え、
　　前記減算部は、前記ダウンサンプリング部によりダウンサンプリングされた前記被写体の画像から前記撮像画像を減算し、
　　前記検出部により検出された前記動きベクトルを用いて、前記逆方向動き補償部は、前記アップサンプリング部によりアップサンプリングされた前記差分値に、前記動き補償部による動き補償とは逆方向に、動き補償を行う
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記位置合わせ部は、前記撮像部により得られた撮像画像における前記被写体の位置を、前回生成された前記被写体の画像における前記被写体の位置に合わせるように、前記位置合わせを行い、
　前記重ね合わせ部は、前記位置合わせ部により位置合わせが行われた前記撮像画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の撮像画像を重ね合わせた、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
　前記（１）、（２）、または（３）に記載の画像処理装置。
（５）
　前記被写体は眼底であり、
　前記位置合わせ部は、前記生体情報として血管を用いる
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いる
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記位置合わせ部により位置合わせが行われた前記撮像画像の点拡がり関数を推定する推定部と、
　前記推定部により推定された前記拡がり関数を用いて前記撮像画像のボケを除去する除去部と
　をさらに備え、
　前記重ね合わせ部は、前記位置合わせ部により位置合わせが行われ、前記除去部により前記ボケが除去された前記撮像画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の撮像画像を重ね合わせた、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
　前記撮像部は、比較的暗い照射光を前記被写体に照射しながら前記被写体を複数回撮像する
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
　画像処理装置の画像処理方法であって、
　位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行い、
　重ね合わせ部が、位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
　画像処理方法。
（１０）
　被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、
　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する階調補正部と
　を備える画像処理装置。
（１１）
　前記階調補正部は、前記撮像画像の階調補正に用いるトーンカーブを算出するためのパラメータの値を、前記被写体の生体情報に応じて決定するパラメータ決定部を備える
　前記（１０）に記載の画像処理装置。
（１２）
　　前記パラメータ決定部は、
　　　前記撮像画像の階調補正に用いるトーンカーブを算出するためのパラメータの値を所定の方法で調整する調整部と、
　　　前記調整部により値が調整された前記パラメータを用いて前記撮像画像を補正する補正部と、
　　　前記撮像画像に含まれる生体としての部位毎に、各部位の画像の特徴に応じた方法で、前記補正部により補正された前記撮像画像である補正後の撮像画像を検査する部位別検査部と、
　　　前記補正後の撮像画像が前記部位別検査部により行われる検査に合格する場合、前記補正部により補正される前の前記撮像画像である補正前の撮像画像の明るさと、前記補正後の撮像画像の明るさとを比較する比較部と、
　　　前記調整部による調整、前記補正部による補正、前記部位別検査部による検査、および前記比較部による比較が繰り返し行われ、前記比較部により前記補正後の撮像画像が前記補正前の撮像画像よりも明るくないと判定された場合、前記パラメータの値を、決定された値として出力する出力部と
　　を備える
　前記（１０）または（１１）に記載の画像処理装置。
（１３）
　　前記パラメータ決定部は、
　　　前記撮像画像を解析し、前記撮像画像に含まれる生体としての部位を認識する部位認識部をさらに備え、
　　　前記部位別検査部は、前記部位認識部により認識された各部位毎に検査を行う
　前記（１０）、（１１）、または（１２）に記載の画像処理装置。
（１４）
　　前記パラメータ決定部は、
　　　前記撮像画像の明るさを示す明るさ値を算出する明るさ値算出部をさらに備え、
　　　前記比較部は、前記明るさ値算出部により算出される、前記補正前の撮像画像の明るさ値と、前記補正後の撮像画像の明るさ値とを比較する
　前記（１０）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
　　前記パラメータ決定部は、
　　　前記調整部により調整を行う調整対象パラメータを複数のパラメータの中から選択するパラメータ選択部をさらに備える
　前記（１０）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
　　前記パラメータ決定部は、
　　　前記撮像画像を解析し、前記撮像画像に含まれる生体としての部位を認識する部位認識部をさらに備え、
　　　前記補正部は、前記部位認識部により認識された各部位の画像を補正し、
　　　前記部位別検査部は、前記補正部により補正された各部位の画像を検査し、
　　　前記比較部は、各部位の画像の、前記補正部による補正前の明るさと補正後の明るさとを比較する
　前記（１０）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
　前記階調補正部により階調補正された前記撮像画像を高解像度化する高解像度化部をさらに備える
　前記（１０）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
　前記高解像度化部は、前記階調補正部により階調補正された前記撮像画像を前記被写体の生体情報に応じて高解像度化する
　前記（１０）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
　画像処理装置の画像処理方法であって、
　重ね合わせ部が、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせ、
　階調補正部が、複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する
　画像処理方法。
（２０）
　被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、
　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて高解像度化する高解像度化部と
　を備える画像処理装置。
（２１）
　前記高解像度化部は、
　　前記撮像画像に対して、学習により解像度を向上させる超解像処理を、複数種類の学習辞書のそれぞれについて行い、高解像度の撮像画像である超解像結果画像を複数生成する超解像処理部と、
　　前記超解像処理部により各学習辞書を用いて超解像処理されて生成された各超解像結果画像を、前記超解像結果画像に含まれる生体としての部位毎に、各部位の画像の特徴に応じた方法で、評価する部位別画像評価部と、
　　前記部位別画像評価部による評価に基づいて、前記複数の超解像結果画像の中から最適な超解像結果画像を選択する画像選択部と
　を備える前記（２０）に記載の画像処理装置。
（２２）
　前記高解像度化部は、
　　前記超解像結果画像を解析し、前記超解像結果画像に含まれる生体としての部位を認識する部位認識部をさらに備え、
　　前記部位別画像評価部は、各超解像結果画像を、前記部位認識部により認識された部位毎に、各部位の画像の特徴に応じた方法で評価する
　前記（２０）または（２１）に記載の画像処理装置。
（２３）
　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を階調補正する階調補正部をさらに備え、
　前記高解像度化部は、前記階調補正部により階調補正された前記撮像画像を、前記被写体の生体情報に応じて高解像度化する
　前記（２０）、（２１）、または（２２）に記載の画像処理装置。
（２４）
　前記階調補正部は、前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する
　前記（２０）乃至（２４）のいずれかに記載の画像処理装置。
（２５）
　画像処理装置の画像処理方法であって、
　重ね合わせ部が、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせ、
　高解像度化部が、複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて高解像度化する
　画像処理方法。
（２６）
　被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
　前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部と
　を備える画像処理装置。
（２７）
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像する
　前記（２６）に記載の画像処理装置。
（２８）
　前記赤外光画像位置合わせ部は、前記撮像部により得られた赤外光画像における前記被写体の位置を、前記撮像部により得られた前記複数の赤外光画像のうちの、最初に得られた前記赤外光画像における前記被写体の位置に合わせるように、前記位置合わせを行い、
　前記重ね合わせ部は、前記可視光画像位置合わせ部により位置合わせが行われた前記可視光画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の可視光画像を重ね合わせた、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
　前記（２６）または（２７）に記載の画像処理装置。
（２９）
　前記被写体は眼底であり、
　前記赤外光画像位置合わせ部は、前記生体情報として血管を用いる
　前記（２６）、（２７）、または（２８）に記載の画像処理装置。
（３０）
　前記赤外光画像位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いる
　前記（２６）乃至（２９）のいずれかに記載の画像処理装置。
（３１）
　画像処理装置の画像処理方法であって、
　赤外光画像位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行い、
　位置合わせ情報記憶部が、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶し、
　可視光画像位置合わせ部が、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行い、
　重ね合わせ部が、前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
　画像処理方法。
（３２）
　被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
　前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を互いに重ね合わせる重ね合わせ部と、
　前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する階調補正部と
　を備える画像処理装置。
（３３）
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像する
　前記（３２）に記載の画像処理装置。
（３４）
　前記階調補正部により階調補正された前記可視光画像を高解像度化する高解像度化部をさらに備える
　前記（３２）または（３３）に記載の画像処理装置。
（３５）
　前記高解像度化部は、前記階調補正部により階調補正された前記可視光画像を前記被写体の生体情報に応じて高解像度化する
　前記（３２）、（３３）、または（３４）に記載の画像処理装置。
（３６）
　前記被写体は眼底であり、
　前記赤外光画像位置合わせ部は、前記生体情報として血管を用いる
　前記（３２）乃至（３５）のいずれかに記載の画像処理装置。
（３７）
　前記赤外光画像位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いる
　前記（３２）乃至（３６）のいずれかに記載の画像処理装置。
（３８）
　画像処理装置の画像処理方法であって、
　赤外光画像位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行い、
　位置合わせ情報記憶部が、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶し、
　可視光画像位置合わせ部が、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行い、
　重ね合わせ部が、前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を重ね合わせ、
　階調補正部が、前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する
　画像処理方法。
（３９）
　被写体を撮像する撮像部と、
　ネットワークを介して、前記撮像部により得られた複数の撮像画像を取得し、取得した前記複数の撮像画像に対して画像処理を施す画像処理部と、
　前記画像処理部により画像処理が施された前記撮像画像を記憶する記憶部と、
　前記記憶部に記憶された前記撮像画像を出力する出力部
　を備える診断システム。
（４０）
　前記画像処理部は、
　　前記被写体の生体情報を用いて、前記複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行う位置合わせ部と、
　　前記位置合わせ部により位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とをさらに備える
　前記（３９）に記載の画像処理装置。
（４１）
　前記画像処理部は、
　　前記撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、
　　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する階調補正部と
　をさらに備える
　前記（３９）または（４０）に記載の画像処理装置。
（４２）
　前記画像処理部は、
　　前記階調補正部により階調補正された前記撮像画像を高解像度化する高解像度化部をさらに備える
　前記（３９）、（４０）、または（４１）に記載の画像処理装置。
（４３）
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像し、
　前記画像処理部は、
　　被写体の生体情報を用いて、前記撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
　　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
　　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
　　前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とをさらに備える
　前記（３９）乃至（４２）のいずれかに記載の画像処理装置。
（４４）
　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像し、
　前記画像処理部は、
　　被写体の生体情報を用いて、前記撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
　　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
　　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
　　前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を重ね合わせる重ね合わせ部と、
　　前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する階調補正部とをさらに備える
　前記（３９）乃至（４３）のいずれかに記載の画像処理装置。
（４５）
　前記被写体は眼底である
　前記（３９）乃至（４４）のいずれかに記載の画像処理装置。
　１００　眼底画像処理装置，　１０１　撮像部，　１０２　画像処理部，　１０３　記憶部，　１０４　出力部，　１１１　入力画像バッファ，　１１２　超解像処理部，　１１３　SR画像バッファ，　１１４　演算部，　１２１　動きベクトル検出部，　１２２　動き補償部，　１２３　ダウンサンプリングフィルタ，　１２４　演算部，　１２５　アップサンプリングフィルタ，　１２６　逆方向動き補償部，　２００　眼底画像処理装置，　２０２　画像処理部，　２１２　生体情報位置合わせ処理部，　２１３　超解像処理部，　２１４　超解像結果画像バッファ，　２４１　入力画像血管抽出部，　２４２　超解像結果画像血管抽出部，　２４３　入力画像交叉点抽出部，　２４４　超解像結果画像交叉点抽出部，　２４５　交叉点位置合わせ処理部，　２４６　血管位置合わせ処理部，　２７１　重畳処理部，　２７２　シフト処理部，　２７３　伸ばし処理部，　２７４　回転処理部，　２７５　拡大縮小処理部，　２７６　収束判定部，　３０１　PSF推定部，　３０２　ボケ除去処理部，　３０３　重ね合わせ処理部，　４００　眼底画像処理装置，　４０２　画像処理部，　４１３　ノイズ削減処理部，　４１４　ノイズ削減結果画像バッファ，　４１５　トーンリプロダクション処理部，　４１６　超解像処理部，　４５１　画像バッファ，　４５２　パラメータ決定部，　４５３　トーンカーブ算出部，　４５４　マッピング部，　４６１　調整対象パラメータ選択部，　４６２　パラメータ初期値記憶部，　４６３　パラメータ記憶部，　４６４　補正前明るさ値算出部，　４６５　明るさ値記憶部，　４６６　部位認識部，　４６７　パラメータ調整部，　４６８　トーンカーブ算出部，　４６９　マッピング部，　４７０　部位別検査部，　４７１　補正後明るさ値算出部，　４７２　比較部，　４７３　データ出力部，　４８１　学習辞書記憶部，　４８２　画像処理部，　４８３　部位認識部，　４８４　部位別評価基準記憶部，　４８５　部位別画像評価部，　４８６　画像選択部，　５６４　補正前明るさ値算出部，　５６５　明るさ値記憶部，　５６６　部位認識部，　５６９　マッピング部，　５７０　部位別検査部，　５７１　補正後明るさ値算出部，　５７２　比較部，　７００　眼底画像処理装置，　７０２　画像処理部，　７１１　入力画像バッファ，　７１２　赤外光画像位置合わせ処理部，　７１３　初期画像バッファ，　７１４　位置合わせ情報バッファ，　７１５　可視光画像位置合わせ処理部，　７１６　超解像処理部，　７１７　超解像結果画像バッファ，　８００　眼底画像処理装置，　７０２　画像処理部，　７１１　入力画像バッファ，　７１２　赤外光画像位置合わせ処理部，　７１３　初期画像バッファ，　７１４　位置合わせ情報バッファ，　８１１　ノイズ削減処理部，　８１２　ノイズ削減結果画像バッファ，　９００　遠隔診察システム，　９１１　小型眼底カメラ，　９１２　医師用端末装置，　９１３　看護師用端末装置，　９１４　患者用端末装置，　９１５　ネットワーク，　９１６　画像処理装置，　９１７　データベース

Claims (45)

  1. 　被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行う位置合わせ部と、
    　前記位置合わせ部により位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部と
    　を備える画像処理装置。
  2. 　前記重ね合わせ部は、
    　　前記撮像画像と、前記重ね合わせにより生成される前記被写体の画像との間の動きベクトルを検出する検出部と、
    　　前記検出部により検出された前記動きベクトルを用いて、前記被写体の画像に動き補償を行う動き補償部と、
    　　前記動き補償部により動き補償が行われた前記被写体の画像から前記撮像画像を減算する減算部と、
    　　前記検出部により検出された前記動きベクトルを用いて、前記減算部による前記被写体の画像と前記撮像画像との差分値に、前記動き補償部による動き補償とは逆方向に、動き補償を行う逆方向動き補償部と、
    　　前記逆方向動き補償部により動き補償が行われた前記差分値を、前記被写体の画像に加算する加算部と
    　を備える請求項１に記載の画像処理装置。
  3. 　前記重ね合わせ部は、
    　　前記動き補償部により動き補償が行われた前記被写体の画像をダウンサンプリングし、前記被写体の解像度を前記撮像画像の解像度に落とすダウンサンプリング部と、
    　　前記減算部による前記被写体の画像と前記撮像画像との差分値をアップサンプリングし、前記差分値の解像度を前記被写体の画像の解像度まであげるアップサンプリング部と
    　をさらに備え、
    　　前記減算部は、前記ダウンサンプリング部によりダウンサンプリングされた前記被写体の画像から前記撮像画像を減算し、
    　　前記検出部により検出された前記動きベクトルを用いて、前記逆方向動き補償部は、前記アップサンプリング部によりアップサンプリングされた前記差分値に、前記動き補償部による動き補償とは逆方向に、動き補償を行う
    　請求項２に記載の画像処理装置。
  4. 　前記位置合わせ部は、前記撮像部により得られた撮像画像における前記被写体の位置を、前回生成された前記被写体の画像における前記被写体の位置に合わせるように、前記位置合わせを行い、
    　前記重ね合わせ部は、前記位置合わせ部により位置合わせが行われた前記撮像画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の撮像画像を重ね合わせた、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
    　請求項１に記載の画像処理装置。
  5. 　前記被写体は眼底であり、
    　前記位置合わせ部は、前記生体情報として血管を用いる
    　請求項１に記載の画像処理装置。
  6. 　前記位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いる
    　請求項５に記載の画像処理装置。
  7. 　前記位置合わせ部により位置合わせが行われた前記撮像画像の点拡がり関数を推定する推定部と、
    　前記推定部により推定された前記拡がり関数を用いて前記撮像画像のボケを除去する除去部と
    　をさらに備え、
    　前記重ね合わせ部は、前記位置合わせ部により位置合わせが行われ、前記除去部により前記ボケが除去された前記撮像画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の撮像画像を重ね合わせた、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
    　請求項４に記載の画像処理装置。
  8. 　前記撮像部は、比較的暗い照射光を前記被写体に照射しながら前記被写体を複数回撮像する
    　請求項１に記載の画像処理装置。
  9. 　画像処理装置の画像処理方法であって、
    　位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行い、
    　重ね合わせ部が、位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
    　画像処理方法。
  10. 　被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、
    　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する階調補正部と
    　を備える画像処理装置。
  11. 　前記階調補正部は、前記撮像画像の階調補正に用いるトーンカーブを算出するためのパラメータの値を、前記被写体の生体情報に応じて決定するパラメータ決定部を備える
    　請求項１０に記載の画像処理装置。
  12. 　　前記パラメータ決定部は、
    　　　前記撮像画像の階調補正に用いるトーンカーブを算出するためのパラメータの値を所定の方法で調整する調整部と、
    　　　前記調整部により値が調整された前記パラメータを用いて前記撮像画像を補正する補正部と、
    　　　前記撮像画像に含まれる生体としての部位毎に、各部位の画像の特徴に応じた方法で、前記補正部により補正された前記撮像画像である補正後の撮像画像を検査する部位別検査部と、
    　　　前記補正後の撮像画像が前記部位別検査部により行われる検査に合格する場合、前記補正部により補正される前の前記撮像画像である補正前の撮像画像の明るさと、前記補正後の撮像画像の明るさとを比較する比較部と、
    　　　前記調整部による調整、前記補正部による補正、前記部位別検査部による検査、および前記比較部による比較が繰り返し行われ、前記比較部により前記補正後の撮像画像が前記補正前の撮像画像よりも明るくないと判定された場合、前記パラメータの値を、決定された値として出力する出力部と
    　　を備える請求項１１に記載の画像処理装置。
  13. 　　前記パラメータ決定部は、
    　　　前記撮像画像を解析し、前記撮像画像に含まれる生体としての部位を認識する部位認識部をさらに備え、
    　　　前記部位別検査部は、前記部位認識部により認識された各部位毎に検査を行う
    　　請求項１２に記載の画像処理装置。
  14. 　　前記パラメータ決定部は、
    　　　前記撮像画像の明るさを示す明るさ値を算出する明るさ値算出部をさらに備え、
    　　　前記比較部は、前記明るさ値算出部により算出される、前記補正前の撮像画像の明るさ値と、前記補正後の撮像画像の明るさ値とを比較する
    　　請求項１２に記載の画像処理装置。
  15. 　　前記パラメータ決定部は、
    　　　前記調整部により調整を行う調整対象パラメータを複数のパラメータの中から選択するパラメータ選択部をさらに備える
    　　請求項１２に記載の画像処理装置。
  16. 　　前記パラメータ決定部は、
    　　　前記撮像画像を解析し、前記撮像画像に含まれる生体としての部位を認識する部位認識部をさらに備え、
    　　　前記補正部は、前記部位認識部により認識された各部位の画像を補正し、
    　　　前記部位別検査部は、前記補正部により補正された各部位の画像を検査し、
    　　　前記比較部は、各部位の画像の、前記補正部による補正前の明るさと補正後の明るさとを比較する
    　請求項１２に記載の画像処理装置。
  17. 　前記階調補正部により階調補正された前記撮像画像を高解像度化する高解像度化部をさらに備える
    　請求項１０に記載の画像処理装置。
  18. 　前記高解像度化部は、前記階調補正部により階調補正された前記撮像画像を前記被写体の生体情報に応じて高解像度化する
    　請求項１７に記載の画像処理装置。
  19. 　画像処理装置の画像処理方法であって、
    　重ね合わせ部が、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせ、
    　階調補正部が、複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する
    　画像処理方法。
  20. 　被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、
    　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて高解像度化する高解像度化部と
    　を備える画像処理装置。
  21. 　前記高解像度化部は、
    　　前記撮像画像に対して、学習により解像度を向上させる超解像処理を、複数種類の学習辞書のそれぞれについて行い、高解像度の撮像画像である超解像結果画像を複数生成する超解像処理部と、
    　　前記超解像処理部により各学習辞書を用いて超解像処理されて生成された各超解像結果画像を、前記超解像結果画像に含まれる生体としての部位毎に、各部位の画像の特徴に応じた方法で、評価する部位別画像評価部と、
    　　前記部位別画像評価部による評価に基づいて、前記複数の超解像結果画像の中から最適な超解像結果画像を選択する画像選択部と
    　を備える請求項２０に記載の画像処理装置。
  22. 　前記高解像度化部は、
    　　前記超解像結果画像を解析し、前記超解像結果画像に含まれる生体としての部位を認識する部位認識部をさらに備え、
    　　前記部位別画像評価部は、各超解像結果画像を、前記部位認識部により認識された部位毎に、各部位の画像の特徴に応じた方法で評価する
    　請求項２１に記載の画像処理装置。
  23. 　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を階調補正する階調補正部をさらに備え、
    　前記高解像度化部は、前記階調補正部により階調補正された前記撮像画像を、前記被写体の生体情報に応じて高解像度化する
    　請求項２０に記載の画像処理装置。
  24. 　前記階調補正部は、前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する
    　請求項２３に記載の画像処理装置。
  25. 　画像処理装置の画像処理方法であって、
    　重ね合わせ部が、被写体を撮像する撮像部により得られた複数の撮像画像を互いに重ね合わせ、
    　高解像度化部が、複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて高解像度化する
    　画像処理方法。
  26. 　被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
    　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
    　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
    　前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部と
    　を備える画像処理装置。
  27. 　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像する
    　請求項２６に記載の画像処理装置。
  28. 　前記赤外光画像位置合わせ部は、前記撮像部により得られた赤外光画像における前記被写体の位置を、前記撮像部により得られた前記複数の赤外光画像のうちの、最初に得られた前記赤外光画像における前記被写体の位置に合わせるように、前記位置合わせを行い、
    　前記重ね合わせ部は、前記可視光画像位置合わせ部により位置合わせが行われた前記可視光画像を、前回生成された前記被写体の画像に１枚ずつ重ね合わせることにより、前記複数の可視光画像を重ね合わせた、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
    　請求項２７に記載の画像処理装置。
  29. 　前記被写体は眼底であり、
    　前記赤外光画像位置合わせ部は、前記生体情報として血管を用いる
    　請求項２６に記載の画像処理装置。
  30. 　前記赤外光画像位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いる
    　請求項２９に記載の画像処理装置。
  31. 　画像処理装置の画像処理方法であって、
    　赤外光画像位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行い、
    　位置合わせ情報記憶部が、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶し、
    　可視光画像位置合わせ部が、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行い、
    　重ね合わせ部が、前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する
    　画像処理方法。
  32. 　被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
    　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
    　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
    　前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を互いに重ね合わせる重ね合わせ部と、
    　前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する階調補正部と
    　を備える画像処理装置。
  33. 　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像する
    　請求項３２に記載の画像処理装置。
  34. 　前記階調補正部により階調補正された前記可視光画像を高解像度化する高解像度化部をさらに備える
    　請求項３２に記載の画像処理装置。
  35. 　前記高解像度化部は、前記階調補正部により階調補正された前記可視光画像を前記被写体の生体情報に応じて高解像度化する
    　請求項３４に記載の画像処理装置。
  36. 　前記被写体は眼底であり、
    　前記赤外光画像位置合わせ部は、前記生体情報として血管を用いる
    　請求項３２に記載の画像処理装置。
  37. 　前記赤外光画像位置合わせ部は、前記生体情報としてさらに前記血管の交叉点を用いる
    　請求項３６に記載の画像処理装置。
  38. 　画像処理装置の画像処理方法であって、
    　赤外光画像位置合わせ部が、被写体の生体情報を用いて、前記被写体を撮像する撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行い、
    　位置合わせ情報記憶部が、前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶し、
    　可視光画像位置合わせ部が、前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行い、
    　重ね合わせ部が、前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を重ね合わせ、
    　階調補正部が、前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する
    　画像処理方法。
  39. 　被写体を撮像する撮像部と、
    　ネットワークを介して、前記撮像部により得られた複数の撮像画像を取得し、取得した前記複数の撮像画像に対して画像処理を施す画像処理部と、
    　前記画像処理部により画像処理が施された前記撮像画像を記憶する記憶部と、
    　前記記憶部に記憶された前記撮像画像を出力する出力部
    　を備える診断システム。
  40. 　前記画像処理部は、
    　　前記被写体の生体情報を用いて、前記複数の撮像画像において前記被写体の位置を合わせるように位置合わせを行う位置合わせ部と、
    　　前記位置合わせ部により位置合わせが行われた前記撮像画像を重ね合わせることにより、前記撮像画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とをさらに備える
    　請求項３９に記載の画像処理装置。
  41. 　前記画像処理部は、
    　　前記撮像部により得られた複数の撮像画像を互いに重ね合わせる重ね合わせ部と、
    　　前記重ね合わせ部により複数の撮像画像が重ね合わされて生成された撮像画像を前記被写体の生体情報に応じて階調補正する階調補正部と
    　をさらに備える
    　請求項３９に記載の画像処理装置。
  42. 　前記画像処理部は、
    　　前記階調補正部により階調補正された前記撮像画像を高解像度化する高解像度化部をさらに備える
    　請求項４１に記載の画像処理装置。
  43. 　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像し、
    　前記画像処理部は、
    　　被写体の生体情報を用いて、前記撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
    　　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
    　　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
    　　前記可視光位置合わせ部により位置合わせが行われた前記可視光画像を重ね合わせることにより、前記可視光画像よりもダイナミックレンジが大きな前記被写体の画像を生成する重ね合わせ部とをさらに備える
    　請求項３９に記載の画像処理装置。
  44. 　前記撮像部は、所定の光量の可視光と前記所定の光量よりも高い光量の赤外光とを含む照射光を前記被写体に照射しながら前記被写体を複数撮像し、
    　前記画像処理部は、
    　　被写体の生体情報を用いて、前記撮像部により得られた複数の赤外光画像において前記被写体の位置を合わせるように位置合わせを行う赤外光画像位置合わせ部と、
    　　前記赤外光画像位置合わせ部による位置合わせの結果である位置合わせ情報を記憶する位置合わせ情報記憶部と、
    　　前記位置合わせ情報記憶部に記憶された前記位置合わせ情報を用いて、前記撮像部により得られた複数の可視光画像において前記被写体の位置を合わせるように位置合わせを行う可視光画像位置合わせ部と、
    　　前記可視光位置合わせ部により位置合わせが行われた複数の前記可視光画像を重ね合わせる重ね合わせ部と、
    　　前記重ね合わせ部により複数の前記可視光画像が重ね合わされて生成された可視光画像を前記被写体の生体情報に応じて階調補正する階調補正部とをさらに備える
    　請求項３９に記載の画像処理装置。
  45. 　前記被写体は眼底である
    　請求項３９に記載の画像処理装置。
PCT/JP2011/069339 2010-08-27 2011-08-26 画像処理装置および方法 WO2012026597A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US13/818,027 US9361667B2 (en) 2010-08-27 2011-08-26 Image processing apparatus and method
EP11820057.5A EP2609853A4 (en) 2010-08-27 2011-08-26 APPARATUS AND METHOD FOR IMAGE PROCESSING
JP2012530745A JP6167518B2 (ja) 2010-08-27 2011-08-26 画像処理装置および方法、並びにプログラム
CN2011800522557A CN103188988A (zh) 2010-08-27 2011-08-26 图像处理装置及方法
US15/091,135 US10863897B2 (en) 2010-08-27 2016-04-05 Image processing apparatus and method
US17/089,083 US20210045627A1 (en) 2010-08-27 2020-11-04 Image processing apparatus and method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010-190353 2010-08-27
JP2010190353 2010-08-27
JP2010-258556 2010-11-19
JP2010258556 2010-11-19

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/818,027 A-371-Of-International US9361667B2 (en) 2010-08-27 2011-08-26 Image processing apparatus and method
US15/091,135 Continuation US10863897B2 (en) 2010-08-27 2016-04-05 Image processing apparatus and method

Publications (1)

Publication Number Publication Date
WO2012026597A1 true WO2012026597A1 (ja) 2012-03-01

Family

ID=45723586

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/069339 WO2012026597A1 (ja) 2010-08-27 2011-08-26 画像処理装置および方法

Country Status (5)

Country Link
US (3) US9361667B2 (ja)
EP (1) EP2609853A4 (ja)
JP (1) JP6167518B2 (ja)
CN (1) CN103188988A (ja)
WO (1) WO2012026597A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103908225A (zh) * 2012-12-28 2014-07-09 佳能株式会社 眼科设备和对准方法
JP2014198224A (ja) * 2012-12-28 2014-10-23 キヤノン株式会社 画像処理装置及び画像処理方法
WO2014181096A1 (en) * 2013-05-07 2014-11-13 London School Of Hygiene And Tropical Medicine Ophthalmoscope
KR101544279B1 (ko) 2012-11-14 2015-08-12 후지쯔 가부시끼가이샤 생체 정보 보정 장치, 생체 정보 보정 방법 및 생체 정보 보정용 컴퓨터 판독 가능한 기록 매체
JP2015195808A (ja) * 2014-03-31 2015-11-09 株式会社ニデック 眼科撮影装置、眼科撮影方法、及び眼科撮影プログラム
EP3000382A1 (en) * 2012-12-28 2016-03-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2016512712A (ja) * 2013-03-15 2016-05-09 バードナー，スティーブン アミロイドベータ斑及びドルーゼを検出する方法
JP2017018202A (ja) * 2015-07-08 2017-01-26 キヤノン株式会社 画像生成装置および画像生成方法
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2018501839A (ja) * 2014-11-27 2018-01-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 患者の画像を生成するイメージングデバイス及び方法
WO2019065219A1 (ja) * 2017-09-29 2019-04-04 株式会社ニデック 眼科装置
JP2021007017A (ja) * 2020-09-15 2021-01-21 株式会社トプコン 医用画像処理方法及び医用画像処理装置
WO2022107544A1 (ja) * 2020-11-17 2022-05-27 凸版印刷株式会社 画像処理方法及び画像処理プログラム
KR102478630B1 (ko) * 2022-05-24 2022-12-16 정준 이미지 데이터의 포맷 변환 방법 및 장치

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901602B1 (ko) * 2011-01-14 2018-09-27 삼성전자주식회사 디지털 사진에서 노이즈를 제거하는 장치 및 방법
JP2012244395A (ja) * 2011-05-19 2012-12-10 Sony Corp 学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
US9858464B2 (en) * 2013-03-15 2018-01-02 The Regents Of The University Of Colorado, A Body Corporate 3-D localization and imaging of dense arrays of particles
CN110223236B (zh) * 2013-03-25 2023-09-26 图象公司 用于增强图像序列的方法
US9972070B2 (en) * 2013-06-24 2018-05-15 Nintendo Co., Ltd. Brightness-compensating safe pixel art upscaler
JP2015167789A (ja) * 2014-03-10 2015-09-28 キヤノン株式会社 被検体情報取得装置および信号処理方法
US9665927B2 (en) * 2015-06-03 2017-05-30 Samsung Electronics Co., Ltd. Method and apparatus of multi-frame super resolution robust to local and global motion
US10554713B2 (en) * 2015-06-19 2020-02-04 Microsoft Technology Licensing, Llc Low latency application streaming using temporal frame transformation
EP3511903A4 (en) * 2016-09-12 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. DEVICE FOR PRODUCING A THREE-DIMENSIONAL MODEL AND METHOD FOR GENERATING A THREE-DIMENSIONAL MODEL
CN106504199B (zh) * 2016-09-13 2019-03-22 深圳大学 一种眼底图像增强方法及系统
JP7058941B2 (ja) * 2017-01-16 2022-04-25 キヤノン株式会社 辞書生成装置、辞書生成方法、及びプログラム
EP3430973A1 (en) * 2017-07-19 2019-01-23 Sony Corporation Mobile system and method
JP2019092006A (ja) * 2017-11-13 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7188397B2 (ja) * 2017-12-04 2022-12-13 ソニーグループ株式会社 画像処理装置及び画像処理方法
JP7155727B2 (ja) * 2018-08-07 2022-10-19 富士通株式会社 情報処理装置、情報処理装置の制御方法及び情報処理装置の制御プログラム
CN109124566B (zh) * 2018-08-13 2022-02-22 青岛市市立医院 一种具有自动视网膜特征检测的眼科成像系统
CN110870759A (zh) * 2018-08-31 2020-03-10 福州依影健康科技有限公司 用于远程眼底筛查的质量控制方法和系统、及存储设备
CN109697719B (zh) * 2019-03-05 2021-12-24 北京康夫子健康技术有限公司 一种图像质量评估方法、装置及计算机可读存储介质
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
CN113592723B (zh) * 2020-04-30 2024-04-02 京东方科技集团股份有限公司 视频增强方法及装置、电子设备、存储介质
CN114567718B (zh) * 2022-03-02 2023-08-18 联想(北京)有限公司 电子设备
CN114694266A (zh) * 2022-03-28 2022-07-01 广州广电卓识智能科技有限公司 一种静默活体检测方法、系统、设备及存储介质
CN115272083B (zh) * 2022-09-27 2022-12-02 中国人民解放军国防科技大学 一种图像超分辨率方法、装置、设备及介质
CN117372284B (zh) * 2023-12-04 2024-02-23 江苏富翰医疗产业发展有限公司 眼底图像处理方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357081A (ja) * 1989-07-26 1991-03-12 Canon Inc 画像処理装置
JPH09253052A (ja) 1996-03-25 1997-09-30 Canon Inc 眼底撮像装置
JP2005006918A (ja) * 2003-06-19 2005-01-13 Hitachi Medical Corp 放射線画像撮像装置
JP2006255093A (ja) * 2005-03-16 2006-09-28 Konica Minolta Medical & Graphic Inc 医用画像システム
JP2008267891A (ja) * 2007-04-18 2008-11-06 Topcon Corp 光画像計測装置
JP2008272489A (ja) 2007-05-18 2008-11-13 Linos Photonics Gmbh & Co Kg 眼底カメラ
JP2008294601A (ja) 2007-05-23 2008-12-04 Sony Corp 画像処理方法および画像処理装置
JP2009093676A (ja) 2009-01-19 2009-04-30 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2009165168A (ja) 2009-04-20 2009-07-23 Sony Corp 画像処理方法および画像処理装置
JP2009169943A (ja) 2007-12-18 2009-07-30 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2009177558A (ja) 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
WO2009110260A1 (ja) * 2008-03-06 2009-09-11 コニカミノルタエムジー株式会社 画像処理装置
JP2010102696A (ja) 2008-09-29 2010-05-06 Sony Corp 画像処理装置および係数学習装置。
JP2010103981A (ja) 2008-09-29 2010-05-06 Sony Corp 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2010110392A (ja) 2008-11-05 2010-05-20 Nidek Co Ltd 眼科撮影装置
JP2010259531A (ja) * 2009-04-30 2010-11-18 Canon Inc 眼科撮影装置

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4906646A (en) 1983-03-31 1990-03-06 Board Of Governors Of Wayne State University Method and composition for the treatment of tumors by administering a platinum coordination compound and a calcium channel blocker compound of the dihydropyridine class
US5125730A (en) 1990-06-29 1992-06-30 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Portable dynamic fundus instrument
US5394483A (en) * 1992-06-30 1995-02-28 Eastman Kodak Co Method and apparatus for determining visually perceptible differences between images
DE4326716B4 (de) * 1992-08-04 2005-03-03 Kabushiki Kaisha Topcon Anordnung zur Verarbeitung eines ophthalmologischen Bildes
CA2222741C (en) * 1995-06-06 2002-05-28 Vincent Chow Multi-phasic microphotodiode retinal implant and adaptive imaging retinal stimulation system
US6128108A (en) * 1997-09-03 2000-10-03 Mgi Software Corporation Method and system for compositing images
US6247812B1 (en) * 1997-09-25 2001-06-19 Vismed System and method for diagnosing and treating a target tissue
US6546124B1 (en) * 1999-07-02 2003-04-08 General Electric Company Method and apparatus for performing an adaptive extended dynamic range algorithm
WO2001045551A1 (en) * 1999-12-22 2001-06-28 The Trustees Of The University Of Pennsylvania Judging changes in images of the eye
US6766064B1 (en) * 2000-03-10 2004-07-20 General Electric Company Method and apparatus for performing a contrast based dynamic range management algorithm
US7177486B2 (en) * 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
JP2003299620A (ja) * 2002-04-11 2003-10-21 Canon Inc 眼底画像処理装置
US7404640B2 (en) * 2002-06-14 2008-07-29 Physical Sciences, Inc. Monitoring blood flow in the retina using a line-scanning laser ophthalmoscope
US7290882B2 (en) * 2004-02-05 2007-11-06 Ocutronics, Llc Hand held device and methods for examining a patient's retina
EP1602321A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device
WO2006036842A2 (en) * 2004-09-24 2006-04-06 The University Of North Carolina At Chapel Hill Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and blood vessel and tissue surface image for the subject
US20080021331A1 (en) * 2004-09-29 2008-01-24 Yeda Research And Development Co. Ltd. Characterization of moving objects in a stationary background
US7474775B2 (en) * 2005-03-31 2009-01-06 University Of Iowa Research Foundation Automatic detection of red lesions in digital color fundus photographs
DE102005034332A1 (de) * 2005-07-22 2007-01-25 Carl Zeiss Meditec Ag Einrichtung und Verfahren zur Beobachtung, Dokumentation und/oder Diagnose des Augenhintergrundes
WO2007058895A2 (en) * 2005-11-11 2007-05-24 Visualsonics Inc. Overlay image contrast enhancement
US7747068B1 (en) * 2006-01-20 2010-06-29 Andrew Paul Smyth Systems and methods for tracking the eye
JP4855150B2 (ja) * 2006-06-09 2012-01-18 株式会社トプコン 眼底観察装置、眼科画像処理装置及び眼科画像処理プログラム
JP4854389B2 (ja) * 2006-06-15 2012-01-18 株式会社トプコン 分光眼底測定装置及びその測定方法
JP4854390B2 (ja) * 2006-06-15 2012-01-18 株式会社トプコン 分光眼底測定装置及びその測定方法
US8126289B2 (en) * 2006-06-20 2012-02-28 Ophthalmic Imaging Systems Device, method and system for automatic montage of segmented retinal images
US8109633B2 (en) * 2006-09-06 2012-02-07 Lance Molnar Noninvasive ocular monitor and method for measuring and analyzing physiological data
US8223143B2 (en) * 2006-10-27 2012-07-17 Carl Zeiss Meditec, Inc. User interface for efficiently displaying relevant OCT imaging data
US7621636B2 (en) * 2007-01-10 2009-11-24 Clarity Medical Systems, Inc. Working distance and alignment sensor for a fundus camera
CN101669143B (zh) * 2007-01-11 2012-06-20 Mvm知识产权有限公司 利用自动图像分析测试机能微循环几何结构和速度分布
JP5523658B2 (ja) * 2007-03-23 2014-06-18 株式会社トプコン 光画像計測装置
US8134554B1 (en) * 2007-05-04 2012-03-13 Topcon Medical Systems, Inc. Method and apparatus for spatially mapping three-dimensional optical coherence tomography data with two-dimensional images
US8340437B2 (en) * 2007-05-29 2012-12-25 University Of Iowa Research Foundation Methods and systems for determining optimal features for classifying patterns or objects in images
US8363783B2 (en) * 2007-06-04 2013-01-29 Oraya Therapeutics, Inc. Method and device for ocular alignment and coupling of ocular structures
FI119531B (fi) * 2007-06-29 2008-12-15 Optomed Oy Kuvan muodostaminen
US7978932B2 (en) * 2007-08-02 2011-07-12 Mauna Kea Technologies Robust mosaicing method, notably with correction of motion distortions and tissue deformations for in vivo fibered microscopy
JP4940069B2 (ja) * 2007-09-10 2012-05-30 国立大学法人 東京大学 眼底観察装置、眼底画像処理装置及びプログラム
JP4940070B2 (ja) * 2007-09-10 2012-05-30 国立大学法人 東京大学 眼底観察装置、眼科画像処理装置及びプログラム
JP5080944B2 (ja) * 2007-11-08 2012-11-21 興和株式会社 パノラマ眼底画像合成装置及び方法
WO2009067680A1 (en) * 2007-11-23 2009-05-28 Mercury Computer Systems, Inc. Automatic image segmentation methods and apparartus
US8737703B2 (en) * 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US8687862B2 (en) * 2008-04-08 2014-04-01 National University Of Singapore Retinal image analysis systems and methods
US8194936B2 (en) * 2008-04-25 2012-06-05 University Of Iowa Research Foundation Optimal registration of multiple deformed images using a physical model of the imaging distortion
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP5368765B2 (ja) * 2008-10-21 2013-12-18 キヤノン株式会社 撮影制御装置、撮影装置、撮影制御方法、プログラム、記憶媒体
EP2371283B1 (en) * 2008-12-17 2017-03-29 Fujitsu Limited Biometric authentication device and biometric authentication method
KR102100331B1 (ko) * 2008-12-19 2020-04-13 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자기기의 구동방법
EP2394263B1 (en) * 2009-02-06 2021-05-05 Semiconductor Energy Laboratory Co, Ltd. Method for driving display device
JP5242479B2 (ja) * 2009-03-26 2013-07-24 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
WO2010117576A2 (en) * 2009-04-07 2010-10-14 Virginia Commonwealth University Image processing and machine learning for diagnostic analysis of microcirculation
JP5448981B2 (ja) * 2009-04-08 2014-03-19 株式会社半導体エネルギー研究所 液晶表示装置の駆動方法
JP5684488B2 (ja) * 2009-04-20 2015-03-11 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
JP4909378B2 (ja) * 2009-06-02 2012-04-04 キヤノン株式会社 画像処理装置及びその制御方法、コンピュータプログラム
JP4846042B2 (ja) * 2009-07-09 2011-12-28 キヤノン株式会社 眼科撮像装置、眼科システム及びプログラム
WO2011008906A1 (en) * 2009-07-15 2011-01-20 Mayo Foundation For Medical Education And Research Computer-aided detection (cad) of intracranial aneurysms
JP5474435B2 (ja) * 2009-07-30 2014-04-16 株式会社トプコン 眼底解析装置及び眼底解析プログラム
JP5404358B2 (ja) * 2009-12-08 2014-01-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US8811745B2 (en) * 2010-01-20 2014-08-19 Duke University Segmentation and identification of layered structures in images
JP5627248B2 (ja) * 2010-02-17 2014-11-19 キヤノン株式会社 眼科装置および眼科装置の制御方法、そのプログラム
US8998412B2 (en) * 2010-03-12 2015-04-07 Canon Kabushiki Kaisha Ophthalmologic apparatus and control method for the same
MX2012010540A (es) * 2010-03-23 2013-01-28 Steven Verdooner Aparato y metodo para formacion de imagen de ojo.
EP2563206B1 (en) * 2010-04-29 2018-08-29 Massachusetts Institute of Technology Method and apparatus for motion correction and image enhancement for optical coherence tomography
EP2566380B1 (en) * 2010-05-05 2020-04-01 Melanie C.W. Campbell Method for imaging amyloid beta in the retina of the eye in association with alzheimer's disease
JP5600478B2 (ja) * 2010-06-01 2014-10-01 キヤノン株式会社 眼科撮影装置及びその制御方法
DE102010045364A1 (de) * 2010-09-14 2012-03-15 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen
US20120065518A1 (en) * 2010-09-15 2012-03-15 Schepens Eye Research Institute Systems and methods for multilayer imaging and retinal injury analysis
DE102010046500A1 (de) * 2010-09-24 2012-03-29 Carl Zeiss Meditec Ag Verfahren und Vorrichtung zur Aufnahme und Darstellung eines OCT-Ganzaugenscans
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8750647B2 (en) * 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
US9251565B2 (en) * 2011-02-03 2016-02-02 Massachusetts Institute Of Technology Hyper-resolution imaging
CN103458772B (zh) * 2011-04-07 2017-10-31 香港中文大学 视网膜图像分析方法和装置
JP6025311B2 (ja) * 2011-08-01 2016-11-16 キヤノン株式会社 眼科診断支援装置および方法
JP6041538B2 (ja) * 2012-06-01 2016-12-07 キヤノン株式会社 眼科装置
JP6062688B2 (ja) * 2012-08-30 2017-01-18 キヤノン株式会社 眼科装置、眼科装置の制御方法、およびプログラム

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357081A (ja) * 1989-07-26 1991-03-12 Canon Inc 画像処理装置
JPH09253052A (ja) 1996-03-25 1997-09-30 Canon Inc 眼底撮像装置
JP2005006918A (ja) * 2003-06-19 2005-01-13 Hitachi Medical Corp 放射線画像撮像装置
JP2006255093A (ja) * 2005-03-16 2006-09-28 Konica Minolta Medical & Graphic Inc 医用画像システム
JP2008267891A (ja) * 2007-04-18 2008-11-06 Topcon Corp 光画像計測装置
JP2008272489A (ja) 2007-05-18 2008-11-13 Linos Photonics Gmbh & Co Kg 眼底カメラ
JP2008294601A (ja) 2007-05-23 2008-12-04 Sony Corp 画像処理方法および画像処理装置
JP2009169943A (ja) 2007-12-18 2009-07-30 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2009177558A (ja) 2008-01-25 2009-08-06 Sony Corp 画像処理装置および方法、並びにプログラム
WO2009110260A1 (ja) * 2008-03-06 2009-09-11 コニカミノルタエムジー株式会社 画像処理装置
JP2010102696A (ja) 2008-09-29 2010-05-06 Sony Corp 画像処理装置および係数学習装置。
JP2010103981A (ja) 2008-09-29 2010-05-06 Sony Corp 係数学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2010110392A (ja) 2008-11-05 2010-05-20 Nidek Co Ltd 眼科撮影装置
JP2009093676A (ja) 2009-01-19 2009-04-30 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2009165168A (ja) 2009-04-20 2009-07-23 Sony Corp 画像処理方法および画像処理装置
JP2010259531A (ja) * 2009-04-30 2010-11-18 Canon Inc 眼科撮影装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KATSUYOSHI TANABE; TETSURO TSUBOUCHI; HIDENORI OKUDA; MASAHIRO OKU, AUTOMATIC COMPOSITION OF COLOR OCULAR FUNDUS IMAGES, 2007
QI SHAN; JIAVA JIA; ASEEMAGARWALA, HIGH-QUALITY MOTION DEBLURRING FROM A SINGLE IMAGE, 2008
See also references of EP2609853A4
SERGE BELONGIE; JITENDRAMALIK; JAN PUZICHA, SHAPE MATCHING AND OBJECT RECOGNITION USING SHAPE CONTEXTS, 2002

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101544279B1 (ko) 2012-11-14 2015-08-12 후지쯔 가부시끼가이샤 생체 정보 보정 장치, 생체 정보 보정 방법 및 생체 정보 보정용 컴퓨터 판독 가능한 기록 매체
US9456748B2 (en) 2012-12-28 2016-10-04 Canon Kabushiki Kaisha Ophthalmological apparatus, alignment method, and non-transitory recording medium
JP2014198224A (ja) * 2012-12-28 2014-10-23 キヤノン株式会社 画像処理装置及び画像処理方法
CN103908225B (zh) * 2012-12-28 2016-01-20 佳能株式会社 眼科设备和对准方法
EP3000382A1 (en) * 2012-12-28 2016-03-30 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103908225A (zh) * 2012-12-28 2014-07-09 佳能株式会社 眼科设备和对准方法
US9619874B2 (en) 2012-12-28 2017-04-11 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2016512712A (ja) * 2013-03-15 2016-05-09 バードナー，スティーブン アミロイドベータ斑及びドルーゼを検出する方法
WO2014181096A1 (en) * 2013-05-07 2014-11-13 London School Of Hygiene And Tropical Medicine Ophthalmoscope
CN105263397A (zh) * 2013-05-07 2016-01-20 伦敦卫生及热带医学学院 检眼镜
US9814385B2 (en) 2013-05-07 2017-11-14 London School Of Hygiene And Tropical Medicine Ophthalmoscope
JP2015195808A (ja) * 2014-03-31 2015-11-09 株式会社ニデック 眼科撮影装置、眼科撮影方法、及び眼科撮影プログラム
JP2018501839A (ja) * 2014-11-27 2018-01-25 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 患者の画像を生成するイメージングデバイス及び方法
JP2017018202A (ja) * 2015-07-08 2017-01-26 キヤノン株式会社 画像生成装置および画像生成方法
JP2018005841A (ja) * 2016-07-08 2018-01-11 株式会社トプコン 医用画像処理方法及び医用画像処理装置
WO2019065219A1 (ja) * 2017-09-29 2019-04-04 株式会社ニデック 眼科装置
JPWO2019065219A1 (ja) * 2017-09-29 2020-10-22 株式会社ニデック 眼科装置
JP7347212B2 (ja) 2017-09-29 2023-09-20 株式会社ニデック 眼科装置
JP2021007017A (ja) * 2020-09-15 2021-01-21 株式会社トプコン 医用画像処理方法及び医用画像処理装置
JP2021164663A (ja) * 2020-09-15 2021-10-14 株式会社トプコン 医用画像処理方法及び医用画像処理装置
WO2022107544A1 (ja) * 2020-11-17 2022-05-27 凸版印刷株式会社 画像処理方法及び画像処理プログラム
KR102478630B1 (ko) * 2022-05-24 2022-12-16 정준 이미지 데이터의 포맷 변환 방법 및 장치
KR102543025B1 (ko) * 2022-05-24 2023-06-13 정준 이미지 데이터의 포맷 변환 방법 및 장치

Also Published As

Publication number Publication date
US9361667B2 (en) 2016-06-07
US20130148872A1 (en) 2013-06-13
JP6167518B2 (ja) 2017-07-26
EP2609853A1 (en) 2013-07-03
CN103188988A (zh) 2013-07-03
US20210045627A1 (en) 2021-02-18
JPWO2012026597A1 (ja) 2013-10-28
US10863897B2 (en) 2020-12-15
US20160213244A1 (en) 2016-07-28
EP2609853A4 (en) 2016-03-09

Similar Documents

Publication Publication Date Title
WO2012026597A1 (ja) 画像処理装置および方法
US11170258B2 (en) Reducing noise in an image
WO2020183799A1 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
WO2005008590A1 (ja) 虹彩コード生成方法、個人認証方法、虹彩コード登録装置、個人認証装置、および個人認証プログラム
JP7441783B2 (ja) 画像処理方法、プログラム、眼科装置、及び脈絡膜血管画像生成方法
Shen et al. Improving lateral resolution and image quality of optical coherence tomography by the multi-frame superresolution technique for 3D tissue imaging
RU2637851C2 (ru) Устройство обработки изображений и способ управления устройством обработки изображений
JP2020166813A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
WO2020183791A1 (ja) 画像処理装置および画像処理方法
Thapa et al. Comparison of super-resolution algorithms applied to retinal images
WO2015129909A1 (en) Apparatus, method, and program for processing image
US8184149B2 (en) Ophthalmic apparatus and method for increasing the resolution of aliased ophthalmic images
Kulcsár et al. Robust processing of images sequences produced by an adaptive optics retinal camera
Molodij et al. Enhancing retinal images by extracting structural information
Nienhaus et al. Live 4D-OCT denoising with self-supervised deep learning
CN111588345A (zh) 眼部疾病检测方法、ar眼镜及可读存储介质
US20170032502A1 (en) Image processing
JP2021086560A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2022062620A (ja) 画像処理装置、画像処理方法及びプログラム
CN112767260A (zh) 图像质量提升方法、装置、计算机设备和存储介质
JP2021069667A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021079013A (ja) 医用画像処理装置、医用画像処理装置の処理方法およびプログラム
Köhler et al. Software-based imaging and quantitative analysis of the corneal sub-basal nerve plexus
Li et al. Oct image blind despeckling based on gradient guided filter with speckle statistical prior
Soliz et al. Low-cost, high-resolution scanning laser ophthalmoscope for the clinical environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11820057

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012530745

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011820057

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13818027

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE