WO2014207901A9 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2014207901A9
WO2014207901A9 PCT/JP2013/067835 JP2013067835W WO2014207901A9 WO 2014207901 A9 WO2014207901 A9 WO 2014207901A9 JP 2013067835 W JP2013067835 W JP 2013067835W WO 2014207901 A9 WO2014207901 A9 WO 2014207901A9
Authority
WO
WIPO (PCT)
Prior art keywords
fundus
image
region
image processing
images
Prior art date
Application number
PCT/JP2013/067835
Other languages
English (en)
French (fr)
Other versions
WO2014207901A1 (ja
Inventor
祐司 太田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2013/067835 priority Critical patent/WO2014207901A1/ja
Priority to US14/312,491 priority patent/US20150002811A1/en
Publication of WO2014207901A1 publication Critical patent/WO2014207901A1/ja
Publication of WO2014207901A9 publication Critical patent/WO2014207901A9/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for processing an image.
  • lipofuscin accumulates locally in the vicinity of the macula, there is a high possibility of age-related macular degeneration. For this reason, it is important to confirm the time course of lipofuscin. At this time, even when the photographing light amount is the same when photographing a plurality of fundus images at different times, the lipofuscin has a small spontaneous fluorescence. There is a possibility that the intensity of the region that is not easily affected by the change may vary greatly. In this case, there is a possibility that the user erroneously diagnoses a region in the fundus image that is not easily affected by the temporal change of lipofuscin as a region having the temporal change of lipofuscin.
  • One of the objects of the present invention is to reduce the possibility that the user mistakenly diagnoses a region in the fundus image that is not easily affected by the temporal change of lipofuscin as the region having the temporal change of lipofuscin.
  • An image processing apparatus includes: A first region that is a part of a first fundus image obtained by subjecting the fundus of the subject's eye to spontaneous fluorescence photography and a first region obtained by photographing the fundus at a different time from the first fundus image. Determining means for determining a second region that is a part of the two fundus images and is located at a position corresponding to the first region; Conversion means for converting the gradation of at least one fundus image of the first and second fundus images based on the pixel values of the first and second regions.
  • the present invention in a plurality of fundus images obtained by subjecting the fundus of the subject's eye to spontaneous fluorescence imaging at different times, for example, using a region that is relatively less susceptible to changes over time of lipofuscin, such as blood vessels,
  • the gradation of the plurality of fundus images can be adjusted.
  • the image processing apparatus first determines to determine a first region that is a part of a first fundus image (an example of a first image) obtained by performing spontaneous fluorescence imaging of the fundus of the eye to be examined.
  • the determining means is a part of a second fundus image (an example of a second image) obtained by subjecting the fundus to autofluorescence photographing at a time different from that of the first fundus image, and the first fundus image
  • a second region at a position corresponding to the region is determined.
  • the image processing apparatus may include at least one of the first and second fundus images based on the pixel values of the first and second regions (an example of a feature amount, such as a luminance distribution).
  • Conversion means for converting the gradation of one fundus image is provided.
  • the determining means preferably determines, as the first and second regions, regions that are not easily affected by the temporal change of lipofuscin in the first and second fundus images, for example, regions including blood vessels in the fundus.
  • the image processing apparatus is the first and second positions corresponding to each other, which are part of the first and second fundus images obtained by performing autofluorescence photographing of the fundus of the eye to be examined at different times. Based on the pixel value of the second region, the gradation of at least one fundus image of the first and second fundus images is converted.
  • a plurality of fundus images obtained by subjecting the fundus of the subject's eye to autofluorescence imaging at different times for example, using a plurality of regions that are relatively less affected by changes in lipofuscin over time, such as blood vessels.
  • the gradation of the fundus image can be adjusted.
  • lipofuscin is easily metabolized in the vicinity of blood vessels, but is easily accumulated in the vicinity of macular with few blood vessels. For this reason, the lipofuscin in the vicinity of the blood vessel including the back side of the blood vessel has a relatively small change with time.
  • lipofuscin near the optic nerve head also has a relatively small change with time. For this reason, it is preferable that the said determination means determines the image containing the blood vessel of the fundus and the optic nerve head as the first and second regions.
  • the present invention can also be applied to an inspection object other than the fundus of the eye. That is, in images obtained at different times, for example, by adjusting the gradation of a region that is not easily affected by changes in lipofuscin over time, the user can select a region that is not easily affected by changes in lipofuscin over time. What is necessary is just to reduce misdiagnosis as a region having a change.
  • the image processing apparatus obtains a coefficient for correcting the pixel value of at least one fundus image among the first and second fundus images based on the pixel values of the first and second regions. It is desirable to further have a coefficient acquisition means for performing the above.
  • the image processing apparatus preferably further includes a correction unit that corrects a pixel value of at least one fundus image of the first and second fundus images using the coefficient.
  • the converting means can convert the gradation of at least one fundus image of the first and second fundus images based on the corrected pixel value.
  • the conversion means converts the gradation of the first fundus image so that the pixel value of the first region becomes the pixel value of the second region.
  • the conversion unit converts the gradations of the first and second fundus images so that the pixel values of the first and second regions become predetermined pixel values. The conversion unit only needs to convert the gradation of at least one fundus image of the first and second fundus images so that the pixel values of the first and second regions are substantially equal.
  • the conversion unit may convert the feature amount of at least one of the first and second images based on the feature amounts of the first and second regions.
  • the determination means may determine the gradation conversion characteristic based on the luminance distribution (an example of the feature amount) of the first and second regions. Thereby, the conversion means can convert the luminance distribution of at least one of the first and second images using the determined gradation conversion characteristic.
  • FIG. 1 is a configuration diagram of an ophthalmologic photographing apparatus according to the present embodiment.
  • a fundus camera for photographing the fundus using a two-dimensional sensor or the like an OCT apparatus or a SLO apparatus having scanning means for scanning the fundus is suitably used.
  • the ophthalmologic imaging apparatus according to the present embodiment may be anything as long as it is an imaging apparatus that images the eye to be examined.
  • a medical imaging apparatus such as an endoscope is used. Anything is fine.
  • a condenser lens 3, a photographing light source 4, a mirror 5, and a ring-shaped opening are provided on the optical path from the observation light source 1 to the objective lens 2 in front of the eye E to be examined.
  • a diaphragm 6, a relay lens 7, and a perforated mirror 9 are sequentially arranged.
  • a spontaneous fluorescence exciter filter 10 which is an example of a wavelength selection means, is disposed so as to be freely inserted into and removed from the optical path, thereby constituting an illumination optical system.
  • the spontaneous fluorescence exciter filter 10 transmits light having a wavelength band in the range of about 475 nm to about 615 nm, and more preferably in a wavelength band of about 530 nm to about 580 nm. Moreover, it is preferable that the autofluorescence exciter filter 10 cuts light having a wavelength other than these wavelength bands.
  • the autofluorescence exciter filter 10 is inserted into the optical path of the illumination optical system at the time of autofluorescence observation imaging (when the autofluorescence imaging mode is selected from a plurality of imaging modes by a selection unit (not shown)). Further, the spontaneous fluorescence exciter filter 10 is retracted from the optical path of the illumination optical system during color photography.
  • a focusing lens 11, a photographing lens 12, and a color photographing unit 13 are arranged on the optical path in the passing direction of the perforated mirror 9. Further, between the photographing lens 12 and the color photographing unit 13, a self-fluorescent barrier filter 14 (an example of a wavelength selecting unit) that blocks spontaneous fluorescence excitation light and selectively transmits fluorescence is detachably disposed in the optical path. An observation photographing optical system is configured.
  • the color photographing unit 13 includes an image sensor 15 and a three-color separation color filter 16.
  • the autofluorescence barrier filter 14 transmits light having a wavelength band near about 640 nm, for example, and cuts light having a wavelength other than this wavelength band.
  • the autofluorescence barrier filter 14 preferably cuts light having a wavelength of excitation light that excites lipofuscin (for example, a wavelength band in the range of about 530 nm to about 580 nm).
  • the autofluorescence barrier filter 14 is inserted into the optical path of the observation imaging optical system during autofluorescence imaging (when the autofluorescence imaging mode is selected from a plurality of imaging modes by a selection unit (not shown)).
  • the spontaneous fluorescence barrier filter 14 is retracted from the optical path of the observation photographing optical system at the time of color photographing.
  • the output of the image sensor 15 is connected to the system control unit 22 via the image signal processing unit 21.
  • a display unit 23 is connected to the image signal processing unit 21 so that an observation image of the eye E is displayed and the eye E is observed.
  • the system control unit 22 is connected to an image recording unit 24 and an operation switch unit 25 to constitute a control system for the entire fundus camera. In these ophthalmologic systems, individual blocks are connected so that they can communicate by wire or wirelessly.
  • the light beam emitted from the observation light source 1 passes through the condenser lens 3 and the photographing light source 4 and is reflected by the mirror 5.
  • the reflected light from the mirror 5 passes through the aperture 6 and the relay lens 7 and is reflected around the perforated mirror 9, and passes through the objective lens 2 to illuminate the fundus Er of the eye E with visible light.
  • the spontaneous fluorescence exciter filter 10 is detached from the illumination optical system.
  • Reflected light from the fundus Er passes through the holes of the objective lens 2 and the perforated mirror 9, passes through the focusing lens 11 and the photographing lens 12, and forms an image on the image sensor 15.
  • the spontaneous fluorescence barrier filter 14 is detached from the fundus observation imaging optical system, the reflected light of the fundus Er can be observed as it is on the display unit 23 as a fundus image.
  • the examiner While looking at the fundus image, the examiner moves the apparatus up and down, left and right, up and down using the alignment index (not shown) and the operation unit to align the eye E to be examined.
  • the focusing lens 11 is used for focusing.
  • FIG. 2 shows an observation state of the fundus image Er ′ on the display unit 23.
  • FIG. 2A shows a state in which the alignment and focus adjustment are not completed, and the alignment circle C and the alignment index W are shifted, and the focus adjustment index P is also shifted.
  • FIG. 2B shows a state in which the alignment circle C and the alignment index W coincide with each other and the alignment index P is in a straight line in a state where the alignment and focus alignment are completed.
  • the image data of the formed fundus image Er ′ is stored as a color image in the image recording unit 24 via the image signal processing unit 21 and the system control unit 22, and the fundus image Er ′ is displayed on the display unit 23.
  • the autofluorescence exciter filter 10 is inserted into the illumination optical path.
  • the light beam emitted from the observation light source 1 passes through the condenser lens 3 and the photographing light source 4 and is reflected by the mirror 5.
  • the reflected light from the mirror 5 passes through the aperture 6 and the spontaneous fluorescence exciter filter 10, is reflected around the perforated mirror 9, passes through the objective lens 2, and illuminates the fundus Er with visible light.
  • the reflected light of the illuminated fundus Er passes through the pupil Ep, the objective lens 2 and the hole of the perforated mirror 9, passes through the focusing lens 11 and the photographing lens 12, and forms an image on the image sensor 15.
  • the spontaneous fluorescence barrier filter 14 is detached from the fundus observation imaging optical system, the reflected light of the fundus Er due to the wavelength light transmitted through the spontaneous fluorescence exciter filter 10 can be observed as a fundus image Er ′.
  • the examiner While examining the fundus oculi image Er ′, the examiner performs alignment with the eye E of the apparatus using the alignment index W in the same manner as described with reference to FIG.
  • the system control unit 22 inserts the spontaneous fluorescence barrier filter 14 into the fundus observation photographing optical system, and photographing is performed.
  • the light source 4 is emitted.
  • the light beam emitted from the imaging light source 4 illuminates the fundus Er with the wavelength light that has passed through the spontaneous fluorescence exciter filter 10 through the same optical path as the light beam of the observation light source 1.
  • the illuminated reflected light of the fundus Er passes through the pupil Ep, the objective lens 2 and the hole of the perforated mirror 9, passes through the focusing lens 11 and the photographing lens 12, and passes through the spontaneous fluorescence exciter filter 10 by the spontaneous fluorescence barrier filter 14.
  • the transmitted wavelength light is blocked. As a result, only the fluorescence of the fundus oculi image Er ′ passes and forms an image on the image sensor 15.
  • the formed fundus image Er ′ is converted into a monochrome image by the image signal processing unit 21, stored as a monochrome image in the image recording unit 24 via the system control unit 22, and the monochrome fundus image Er ′ is displayed on the display unit 23.
  • the image signal processing unit 21 may have a function of only transferring a signal between the system control unit 22 and the display unit 23 without processing a signal from the image sensor 15.
  • the image signal processing unit 21 and the system control unit 22 may be integrally configured as an image processing device, for example.
  • the image gradation conversion start unit 401, the region extraction unit 402, the image gradation conversion unit 403, and the image gradation conversion end unit 404 are included in the system control unit 22 that is an example of an image processing apparatus.
  • the system control unit 22 Is a functional block. Note that at least one of these functional blocks may be a functional block outside the image signal processing unit 21 or the like.
  • These functional blocks are realized by a CPU included in the system control unit 22 and a memory that stores a program for executing a flowchart to be described later.
  • the image gradation conversion start unit 401 starts a flow for adjusting the gradation for the second image B having the same eye as the first image A stored in the image storage unit 24 and having a different shooting date and time (S301).
  • the area extraction unit 402 which is an example of a determination unit, extracts the first area ⁇ of the first image A and interlocks with the second image B of the second image B corresponding to the first area ⁇ .
  • the region ⁇ is extracted (S302).
  • the first region ⁇ is preferably an image region corresponding to the blood vessel of the fundus oculi image Er ′.
  • the blood vessel part generally absorbs the wavelength light transmitted through the autofluorescence exciter filter 10 by the blood vessel, and the blood vessel part does not show the autofluorescence.
  • the corresponding region is determined in the fundus image Er ′ using the fundus pattern specifying means, the reference position is set as the origin, the x-axis and the y-axis on the image are set in consideration of the rotation and movement of the image, The place where the x coordinate and y coordinate are the same from the origin is the same location.
  • the reference position is a nipple portion or a blood vessel part of the fundus image.
  • an example such as Japanese Patent Application Laid-Open No. 5-532215 is cited.
  • the pupil Ep of the eye E is sufficiently mydriatic, and the luminance information for the image height at 501 is not (a) in the fundus image of FIG.
  • the second region ⁇ is the first region.
  • a region different from ⁇ may be extracted. This is because, when shading is present as in (a), the first region ⁇ to be extracted has a luminance difference depending on the image height.
  • the luminance (a ′) with respect to the image height matches well in the central portion, but the diagnosable region is a limited region in the central portion. Therefore, in the case shown in FIG. 5A, the area to be diagnosed is limited, so the first area ⁇ and the second area ⁇ need to be corresponding areas.
  • the luminance with respect to the image height is uniform, the luminance of the first region ⁇ is uniform at any image height, so the second region ⁇ is not necessarily positioned corresponding to the first region ⁇ . Not necessarily.
  • the luminance is well matched up to the peripheral part, so that the entire image area becomes a diagnosis possible area.
  • the first region ⁇ is preferably a blood vessel portion, but may be the extraction examples (a) to (g) shown in FIG. (a) is a first region in which the examiner designates an image region 701 including a blood vessel portion corresponding to the blood vessel of the photographed fundus image Er ′, and extracts the first region ⁇ from the designated image region 701.
  • An example in which the blood vessel portion corresponding to the blood vessel of the fundus oculi image Er ′ taken by the extraction unit 402 is extracted is shown. This can be considered to have an effect of increasing the degree of freedom of analysis because the user can freely select the first region ⁇ .
  • FIG. (b) shows an example in which the first region extraction unit 402 automatically extracts a blood vessel portion corresponding to the blood vessel of the photographed fundus image Er ′. This eliminates the need for the user to select the first region ⁇ , shortens the analysis time, and provides diagnostic support effects when the user is an unskilled person.
  • the blood vessel shape to be selected may be as shown in (c) and (d).
  • (c) shows an example in which the extracted blood vessel has no crossing portion and is a single blood vessel portion. This shows an example where extraction is possible if the first region ⁇ to be selected is a blood vessel.
  • (d) shows an example in which extracted blood vessels intersect. This can be easily detected when automatically extracting, and also has an effect that the user can easily select the same portion when manually selecting and extracting.
  • the layer part (g) may be extracted.
  • (e) and (f) are often circular and are characteristic parts in the fundus image, so the effect is easy for the user to select, and (g) is the effect that the region to be extracted can be freely selected .
  • the image gradation conversion unit 403 which is an example of a conversion unit, calculates a coefficient with which the first region ⁇ and the second region ⁇ have desired luminance using the coefficient calculation unit, and uses the coefficient. At least one of the gradation of the first image A and the gradation of the second image B is subjected to gradation conversion (S303).
  • FIG. 8 shows an example of a histogram when gradation conversion is performed. In the histogram of (a), the image gradation conversion unit 403 performs gradation on the first image A and the second image B so that both the luminance values of the first region ⁇ and the second region ⁇ become desired luminance values.
  • the histogram is converted to (a ′).
  • the image gradation processing unit 403 performs gradation conversion of the first image A so that the first region ⁇ has the luminance of the second region ⁇ , and the histogram of (b ′) is obtained. Indicates.
  • a display control unit causes the display unit 23 such as a display or a monitor to display the image A ′ obtained by gradation conversion of the first image A and the image B ′ obtained by gradation conversion of the second image B.
  • the display control unit causes the display unit 23 to display the second image B with a display form indicating the second region ⁇ .
  • the image gradation conversion end unit 404 ends the image gradation conversion (S304).
  • FIG. 6 shows a diagram for correcting shading due to the pupil diameter of eye E to be examined.
  • the image brightness with respect to the image height of the image when shading occurs is 602 with respect to 603 in FIG. 6A, and the brightness is lowered at a position where the image height is higher than the central portion.
  • a correction unit (not shown) extracts the pupil diameter (601) from the anterior segment image of the eye E when observing the anterior segment, and shading is predicted based on the extracted pupil diameter. May be calculated and corrected.
  • the present embodiment relates to a selection method and a display method of the first image A and the second image B.
  • this embodiment differs in a part of program (flow) with respect to the ophthalmologic imaging apparatus in 1st Embodiment, the apparatus structure is the same.
  • the method for selecting an image to be subjected to gradation conversion is such that the images stored in the storage means are arranged horizontally for each shooting date and time, and the first image A and the second image B are displayed as a mouse or a touch panel. Etc. can be selected.
  • the images selected here may include a third image C and a fourth image D. This has an effect that the number of data can be increased when there are a plurality of images to be compared or when a change with time is confirmed. Further, the selection method may be as shown in FIG.
  • FIG. 10 in which a plurality of images are arranged in the depth direction in time, and the first image A selected from them is displayed, for example, on the right side.
  • images are arranged before and after each shooting date and time, and can be selected from the images. This has the advantage that even when the number of captured images increases, the images can be displayed in a large size, and it is easy to select images that are large and have different shooting dates and times.
  • the image information display start unit 1201 starts image information display (S1101).
  • the ROI selection unit 1202 selects an ROI using the images A ′ and B ′ displayed on the display unit 23 (S1102).
  • the image information creation unit 1203 creates image information in the ROI (S1103).
  • a color map creation unit (not shown) creates a color map with a color for each luminance in the designated ROI. This makes it easy to see subtle changes in the ROI.
  • a display control unit displays image information in the ROI on the display unit 23 such as a display or a monitor.
  • a display example is shown in FIG.
  • report information in which the above image information is collected is displayed.
  • patient ID Patient ID
  • sex disease name
  • date of analysis Date of analysis
  • position and brightness of each of the first region ⁇ and second region ⁇ extracted by the extraction means Information at the time of gradation conversion such as a value and a coefficient obtained by the coefficient calculating means is displayed. This makes it possible to provide information for facilitating the same image processing next time in addition to information used by the doctor for normal diagnosis.
  • the shooting date of the shot image is displayed at the upper position of the image. That is, the display control unit three-dimensionally displays a plurality of fundus images in time series (along the time axis) based on the shooting dates of the first and second fundus images obtained by photographing the fundus at different times. Displayed side by side).
  • the following information is obtained for each of the following areas with respect to the old information in the image in which the ROI is selected based on the luminance of the blood vessel part after gradation conversion. You may display the line graph which shows a series change.
  • the high luminance region of the blood vessel portion is identified as the hyperfluorescent region
  • the low luminance region of the blood vessel portion is identified as the low fluorescent region
  • the luminance region therebetween is specified as the normal fluorescent region.
  • the image information display end unit 1204 ends the image information display (S1104).
  • the ophthalmologic photographing apparatus can correct a luminance difference of an image generated according to a photographing condition by performing gradation conversion to a desired luminance using the image information of the first region. .
  • the fluorescent region having higher blood vessel luminance for example, is overfluorescent based on the luminance of the blood vessel portion not showing spontaneous fluorescence in the converted image. It is estimated that the region and the region below the blood vessel portion luminance are the low fluorescent region, and the luminance region therebetween is the normal fluorescent region.
  • the ophthalmologic photographing apparatus can display changes in the diseased area and grasp the shape of the diseased part by displaying the color by luminance gradation.
  • the first region extraction in the ophthalmologic photographing apparatus according to another embodiment can be performed manually or automatically.
  • the image area desired by the user can be designated as the first area, and the degree of freedom of analysis is improved. This is particularly effective when the user is an expert.
  • a ROI Region of Interest
  • the ophthalmologic photographing apparatus aligns a plurality of images of the same fundus so that the positions of the feature points in the image coincide with each other, and also sets the first region of one image and the ROI. And the second region and ROI of another image corresponding to the first region can be specified based on the first region and the image alignment result. This can avoid the troublesome task of designating the first area for a plurality of images, and can save labor.
  • the ophthalmologic photographing apparatus can specify corresponding ROIs in a plurality of gradation-corrected images of the same eye, and obtain the number of pixels of the hyperfluorescent region and the low fluorescent region in the ROI. Can be displayed as time-series change information. For this reason, it is possible to effectively support the grasp of the time series change in the ROI, and it is particularly effective as a diagnostic support tool.
  • the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Eye Examination Apparatus (AREA)
  • Pathology (AREA)

Abstract

　本発明の目的の一つは、ユーザーが眼底画像におけるリポフスチンの経時変化の影響を受け難い領域をリポフスチンの経時変化がある領域として誤診断してしまうことを低減することである。　そこで、本発明に係る画像処理装置は、被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する決定手段と、 前記第１及び第２の領域の画素値に基づいて、前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する変換手段と、を有する。

Description

画像処理装置及び画像処理方法
　本発明は画像を処理する画像処理装置及び画像処理方法に関する。
　近年、眼底の自発蛍光撮影（ＦＡＦ：Fundus Auto-Fluorescence）注目されている。自発蛍光撮影は、約５５０ｎｍ付近の光を励起光として眼底に照明し、約６４０ｎｍ付近の光をリポフスチンによる自発蛍光として受光することが、特許文献１に開示されている。ユーザーは、この受光による得た眼底画像を用いてリポフスチンを確認することにより、加齢黄斑変性等の早期発見が可能である。
特開２００６－２４７０７６号公報
　ここで、リポフスチンが黄斑付近に局所的に蓄積されると、加齢黄斑変性になる可能性が高い。このため、リポフスチンの経時変化を確認することが重要である。このとき、複数の眼底画像を異なる時間に撮影する際に撮影光量を同じにしても、リポフスチンの自発蛍光が小さいため、眼底に対する照明状態が少しでも異なると、該複数の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域の強度が大きく異なってしまう可能性がある。これでは、ユーザーは眼底画像におけるリポフスチンの経時変化の影響を受け難い領域をリポフスチンの経時変化がある領域として誤診断してしまう可能性がある。
　本発明の目的の一つは、ユーザーが眼底画像におけるリポフスチンの経時変化の影響を受け難い領域をリポフスチンの経時変化がある領域として誤診断してしまうことを低減することである。
　本発明に係る画像処理装置は、
　被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する決定手段と、
　前記第１及び第２の領域の画素値に基づいて、前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する変換手段と、を有する。
　本発明によれば、被検眼の眼底を異なる時間に自発蛍光撮影して得た複数の眼底画像において、例えば、血管等のように比較的リポフスチンの経時変化の影響を受け難い領域を用いて、該複数の眼底画像の階調を合わせることができる。これにより、被検眼の眼底を異なる時間に自発蛍光撮影して得た複数の眼底画像において、例えば、リポフスチンの経時変化の影響を受け難い領域の階調を合わせることができる。このため、ユーザーが眼底画像におけるリポフスチンの経時変化の影響を受け難い領域をリポフスチンの経時変化がある領域として誤診断してしまうことを低減することができる。
第１の実施形態の全体構成の一例を表す概略図 第１の実施形態の位置合わせとピント合わせに関する図 第１の実施形態の画像階調変換処理フロー図 第１の実施形態の画像階調変換処理のブロック図 第１の実施形態の像高に対する画素輝度値に関する図 第１の実施形態の瞳孔径のシェーディング補正に関する図 第１の実施形態の抽出部に関する図 第１の実施形態の階調変換前後の画像輝度に関する図 第２の実施形態の画像選択時に関する図 第２の実施形態の画像選択時に関する図 第２の実施形態の画像情報表示フロー図 第２の実施形態の画像情報表示のブロック図 第２の実施形態のＲＯＩ選択に関する図 第２の実施形態の時系列変化表示に関する図
　本実施形態に係る画像処理装置は、まず、被検眼の眼底を自発蛍光撮影して得た第１の眼底画像（第１の画像の一例）の一部である第１の領域を決定する決定手段を有する。また、決定手段は、該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像（第２の画像の一例）の一部であり且つ該第１の領域に対応する位置にある第２の領域を決定する。また、本実施形態に係る画像処理装置は、該第１及び第２の領域の画素値（特徴量の一例で、輝度分布等）に基づいて、該第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する変換手段を有する。なお、決定手段は、第１及び第２の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域、例えば、眼底の血管を含む領域を第１及び第２の領域として決定することが好ましい。
　すなわち、本実施形態に係る画像処理装置は、被検眼の眼底を異なる時間に自発蛍光撮影して得た第１及び第２の眼底画像の一部であり且つ互いに対応する位置である第1及び第２の領域の画素値に基づいて、該第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する。
　このとき、被検眼の眼底を異なる時間に自発蛍光撮影して得た複数の眼底画像において、例えば、血管等のように比較的リポフスチンの経時変化の影響を受け難い領域を用いて、該複数の眼底画像の階調を合わせることができる。これにより、被検眼の眼底を異なる時間に自発蛍光撮影して得た複数の眼底画像において、例えば、リポフスチンの経時変化の影響を受け難い領域の階調を合わせることができる。このため、ユーザーが眼底画像におけるリポフスチンの経時変化の影響を受け難い領域をリポフスチンの経時変化がある領域として誤診断してしまうことを低減することができる。
　ここで、リポフスチンは血管付近で代謝され易いが、血管の少ない黄斑付近には蓄積され易い。このため、血管の奥側を含む血管付近のリポフスチンは経時変化が比較的小さい。また、視神経乳頭付近も血管が集まっているため、視神経乳頭付近のリポフスチンも経時変化が比較的小さい。このため、上記決定手段は、第１及び第２の領域として、眼底の血管や視神経乳頭を含む画像を決定することが好ましい。
　なお、被検眼の眼底以外の被検査物にも適用可能である。すなわち、異なる時間に撮影して得た画像において、例えば、リポフスチンの経時変化の影響を受け難い領域の階調を合わせることで、ユーザーが、リポフスチンの経時変化の影響を受け難い領域をリポフスチンの経時変化がある領域として誤診断してしまうことを低減できれば良い。
　ここで、本実施形態に係る画像処理装置は、第１及び第２の領域の画素値に基づいて第１及び第２の眼底画像のうち少なくとも一つの眼底画像の画素値を補正する係数を取得する係数取得手段を更に有することが望ましい。また、本実施形態に係る画像処理装置は、該係数を用いて第１及び第２の眼底画像のうち少なくとも一つの眼底画像の画素値を補正する補正手段を更に有することが望ましい。これにより、上記変換手段が、該補正された画素値に基づいて、第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換することができる。また、上記変換手段が、第１の領域の画素値が第２の領域の画素値になるように、第１の眼底画像の階調を変換することが好ましい。また、変換手段が、第１及び第２の領域の画素値が所定の画素値になるように、第１及び第２の眼底画像の階調を変換することが好ましい。上記変換手段は、第１及び第２の領域の画素値が略等しくなるように、第１及び第２の眼底画像のうち少なくとも１つの眼底画像の階調を変換できれば良い。
　また、上記変換手段は、第１及び第２の領域の特徴量に基づいて、第１及び第２の画像のうち少なくとも一つの画像の特徴量を変換しても良い。このとき、上記決定手段は、第１及び第２の領域の輝度分布（特徴量の一例）に基づいて、階調変換特性を決定しても良い。これにより、上記変換手段は、該決定された階調変換特性を用いて、第１及び第２の画像のうち少なくとも一つの画像の輝度分布を変換することができる。
　以下、本発明を実施するための形態について、図面を用いて説明する。
　（第１の実施形態）
　図１は、本実施形態における眼科撮影装置の構成図である。なお、本実施形態における眼科撮影装置は、２次元センサ等により眼底を撮影する眼底カメラ、眼底に対して光を走査する走査手段を有するＯＣＴ装置やＳＬＯ装置等が好適に用いられる。ただし、本実施形態における眼科撮影装置は、被検眼を撮影する撮影装置であれば何でも良いし、また、被検眼以外の被検査物を撮影する場合は、内視鏡等の医療用の撮影装置であれば何でも良い。
[規則91に基づく訂正 26.08.2015]　
　まず、本実施形態における眼科撮影装置において、観察用光源１から被検眼Ｅの前方の対物レンズ２に至る光路上には、コンデンサレンズ３、撮影用光源４、ミラー５、リング状の開口を有する絞り６、リレーレンズ７、孔あきミラー９が順次に配列されている。更に、絞り６とリレーレンズ７の間には、波長選択手段の一例である自発蛍光エキサイタフィルタ１０が光路に挿脱自在に配置され、これらにより照明光学系が構成されている。なお、自発蛍光エキサイタフィルタ１０は、例えば、約４７５ｎｍから約６１５ｎｍの範囲の波長帯域、より好ましくは、約５３０ｎｍから約５８０ｎｍの範囲の波長帯域の光を透過させる。また、自発蛍光エキサイタフィルタ１０は、これらの波長帯域以外の波長の光をカットすることが好ましい。ここで、自発蛍光エキサイタフィルタ１０は、自発蛍光観察撮影時に（不図示の選択手段により複数の撮影モードから自発蛍光撮影モードが選択された場合に）、照明光学系の光路に挿入される。また、自発蛍光エキサイタフィルタ１０は、カラー撮影時には照明光学系の光路から退避される。なお、被検眼Ｅに照射する測定光を走査する走査手段の一例であるガルバノミラーや共振スキャナを有するＳＬＯ装置の場合には、レーザ光源を切り替えることにより、自発蛍光用の波長の光を用いる構成でも良い。
　また、孔あきミラー９の通過方向の光路上には、合焦レンズ１１、撮影レンズ１２、カラー撮影ユニット１３が配列されている。また、撮影レンズ１２とカラー撮影ユニット１３の間には、自発蛍光励起光を遮断し蛍光を選択的に透過する自発蛍光バリアフィルタ１４（波長選択手段の一例）が光路に挿脱自在に配置され、観察撮影光学系が構成されている。カラー撮影ユニット１３は撮像素子１５、三色分解カラーフィルタ１６を有している。なお、自発蛍光バリアフィルタ１４は、例えば、約６４０ｎｍ付近の波長帯域の光を透過させ、この波長帯域以外の波長の光をカットすることが好ましい。特に、自発蛍光バリアフィルタ１４は、リポフスチンを励起する励起光の波長（例えば、約５３０ｎｍから約５８０ｎｍの範囲の波長帯域）の光をカットすることが好ましい。ここで、自発蛍光バリアフィルタ１４は、自発蛍光撮影時に（不図示の選択手段により複数の撮影モードから自発蛍光撮影モードが選択された場合に）、観察撮影光学系の光路に挿入される。また、自発蛍光バリアフィルタ１４は、カラー撮影時には、観察撮影光学系の光路から退避される。
　また、撮像素子１５の出力は、画像信号処理部２１を介してシステム制御部２２に接続されている。また、画像信号処理部２１には表示部２３が接続され、被検眼Ｅの観察画像が表示され、被検眼Ｅの観察を行うようにされている。また、システム制御部２２には、画像記録部２４、操作スイッチ部２５が接続されて、眼底カメラ全体の制御系が構成されている。なお、これらの眼科システムは、個々のブロックが有線や無線で通信可能に接続されている。
　カラー画像撮影時には、観察用光源１を出射した光束はコンデンサレンズ３、撮影用光源４を通りミラー５で反射される。ミラー５での反射光は、絞り６、リレーレンズ７を通り孔あきミラー９の周辺で反射し、対物レンズ２を通り被検眼Ｅの眼底Erを可視光で照明する。このとき、自発蛍光エキサイタフィルタ１０は照明光学系から離脱している。
　眼底Erからの反射光は、対物レンズ２、孔あきミラー９の孔を通り、合焦レンズ１１、撮影レンズ１２を通過し、撮像素子１５上に結像する。このとき、自発蛍光バリアフィルタ１４は眼底観察撮影光学系から離脱しているため、眼底Erの反射光がそのまま表示部２３で眼底像として観察できる。
　検者はこの眼底像を見ながら、不図示の位置合わせ指標と操作部により、装置を前後、左右、上下に移動して被検眼Ｅに対しての位置合わせを行い、更にフォーカス合わせ用指標を用いて、合焦レンズ１１を移動することによりフォーカス合わせを行う。
　図２は眼底像Er’の表示部２３における観察状態を示している。図２(a)は位置合わせとフォーカス合わせが完了していない状態で、位置合わせサークルＣと位置合わせ指標Wがずれておりフォーカス合わせ用指標Ｐもずれている状態を表している。図２(b)は位置合わせとフォーカス合わせが完了している状態で、位置合わせサークルＣと位置合わせ指標Wが一致し、フォーカス合わせ用指標Ｐが一直線になった状態を表している。
　検者は眼底像Er’の位置合わせ及びフォーカス合わせの終了後に、操作スイッチ部２５の撮影スイッチを押すことにより、システム制御部２２が撮影用光源４を発光する。撮影用光源４を出射した光束は、観察用光源１の光束と同様の経路で眼底Erを照明し、照明された眼底Erの反射光は、観察時と同様に撮像素子１５上に結像する。結像した眼底像Er’の画像データは、画像信号処理部２１、システム制御部２２を経て、画像記録部２４にカラー画像として保存され、表示部２３には眼底像Er’が表示される。
　自発蛍光観察時においては、自発蛍光エキサイタフィルタ１０が照明光路中に挿入される。観察用光源１を出射した光束は、コンデンサレンズ３、撮影用光源４を通りミラー５で反射される。ミラー５での反射光は、絞り６、自発蛍光エキサイタフィルタ１０を通り、孔あきミラー９の周辺で反射し、対物レンズ２を通り眼底Erを可視光で照明する。
　照明された眼底Erの反射光は、瞳Ｅｐ、対物レンズ２、孔あきミラー９の孔を通り、合焦レンズ１１、撮影レンズ１２を通過し、撮像素子１５に結像する。このとき、自発蛍光バリアフィルタ１４は眼底観察撮影光学系から離脱しているため、自発蛍光エキサイタフィルタ１０を透過した波長光による眼底Erの反射光を眼底像Er’として観察できる。
　検者はこの眼底像Er’を見ながら、図２で説明したと同様に位置合わせ指標Wにより、装置の被検眼Ｅに対する位置合わせを行い、フォーカス合わせ用指標Ｐによりフォーカス合わせを行う。
　検者は眼底像Er’の位置合わせ及びフォーカス合わせの終了後に、操作スイッチ部２５の撮影スイッチを押すことにより、システム制御部２２は自発蛍光バリアフィルタ１４を眼底観察撮影光学系に挿入し、撮影用光源４を発光する。撮影用光源４を出射した光束は、観察用光源１の光束と同様の光路を経て自発蛍光エキサイタフィルタ１０を透過した波長光により眼底Erを照明する。照明された眼底Erの反射光は、瞳Ｅｐ、対物レンズ２、孔あきミラー９の孔を通り、合焦レンズ１１、撮影レンズ１２を通過し、自発蛍光バリアフィルタ１４により自発蛍光エキサイタフィルタ１０を透過した波長光を遮断する。これにより、眼底像Ｅr’の蛍光のみが通過して、撮像素子１５に結像する。
　結像した眼底像Ｅr’は画像信号処理部２１でモノクロ化され、システム制御部２２を経て画像記録部２４にモノクロ画像として保存され、表示部２３にはモノクロ化された眼底像Er’が表示される。なお、画像信号処理部２１は、撮像素子１５からの信号を処理せずに、システム制御部２２や表示部２３との間の信号を転送するだけの機能を有していても良い。この場合、画像信号処理部２１とシステム制御部２２は、例えば、画像処理装置として一体に構成されても良い。
　次に、本実施形態の特徴的な第一の領域の輝度情報に基づく画像輝度階調変換について図３から図８を用いて説明する。ここで、本実施形態において、画像階調変換開始部４０１、領域抽出部４０２、画像階調変換部４０３、画像階調変換終了部４０４は、画像処理装置の一例であるシステム制御部２２の内部における機能ブロックである。なお、これらの機能ブロックの少なくとも一つが画像信号処理部２１等の外部における機能ブロックであっても良い。また、これらの機能ブロックは、システム制御部２２が有するＣＰＵと後述のフロー図を実行するプログラムを記憶するメモリとにより実現される。
[規則91に基づく訂正 26.08.2015]　
　図３、図４は各々撮影画像の階調を変換するフロー図とブロック図である。画像階調変換開始部４０１が画像記憶部２４に記憶された第一の画像Ａと同一眼で撮影日時の異なる第二の画像Ｂに対して階調を調整するフローを開始する(S301)。次に、決定手段の一例である領域抽出部４０２が第一の画像Ａの第一の領域αを抽出し、連動して該第一の領域αに対応する第二の画像Bの第二の領域βを抽出する(S302)。ここで、第一の領域αは眼底像Er’の血管に相当する画像領域であることが望ましい。これは、自発蛍光画像において一般的に血管部は血管による自発蛍光エキサイタフィルタ１０を透過した波長光の吸収があり、血管部は自発蛍光を示さないからである。また対応する領域とは眼底像Er’において眼底パターン特定手段を用いて基準位置を決定し、基準位置を原点とし、画像の回転、移動を考慮して画像上のｘ軸ｙ軸を設定し、原点からx座標とy座標が等しいところを同一箇所とする。ここで、基準位置とは眼底画像の乳頭部や血管部などであり、例えば血管部を基準位置とする場合であれば特開平5-253215号公報などの例が挙げられる。
[規則91に基づく訂正 26.08.2015]　
　ただし、被検眼Ｅの瞳孔Ｅｐが十分に散瞳しており、アライメントも十分に合わせた状態での撮影により図５の眼底像において、例えば501での像高に対する輝度情報が(a)ではなく(b)の様に像高に対して輝度が一定の画像で、シェーディング(周辺部が中央部より暗くなる状態)が発生していない画像であれば、第二の領域βは第一の領域αと異なる領域を抽出しても良い。なぜならば、(a)の様にシェーディングが存在する場合、抽出する第一の領域αは像高により輝度差が存在する。このとき、階調変換により中央部の輝度を合わせたと仮定すると像高に対する輝度(a’)は中央部ではよく一致するが診断可能領域は中央部の限定的な領域となる。従って図５(a)の様な場合には診断する領域は限定的となるため第一の領域αと第二の領域βはそれぞれ対応する領域である必要がある。しかしながら、(b)の様に像高に対する輝度が一様であればどの像高においても第一の領域αの輝度が均一なため第二の領域βは必ずしも第一の領域αに対応する位置でなくても良い。また、(b)を階調変換した(b’)の様な場合は周辺部まで輝度が良く一致しているため画像全領域が診断可能領域となる。
[規則91に基づく訂正 26.08.2015]　
　ここで、第一の領域αは血管部が望ましいが、図７で示す(a)～(g)の抽出例でも良い。(a)は撮影した眼底像Er’の血管に相当する血管部を含む画像領域701を検者が指定し、該指定された画像領域701から前記第一の領域αを抽出する第一の領域抽出部４０２が撮影した眼底像Er’の血管に相当する血管部を抽出する例を示す。これはユーザーが第一の領域αを自由に選択できることで解析の自由度が増す効果が考えられる。(b)は、撮影した眼底像Er’の血管に相当する血管部を第一の領域抽出部４０２が自動で抽出する例を示す。これはユーザーが第一の領域αを選択する必要がなく、解析時間の短縮、ユーザーが非熟練者の場合は診断支援効果が考えられる。
[規則91に基づく訂正 26.08.2015]　
　また、選択する血管形状は、(c)、(d)の様であっても良い。(c)は、抽出する血管に交差部が無く一本の血管部である例を示している。これは選択する第一の領域αが血管であれば抽出できる例を示している。また、(d)は、抽出する血管が交差している例を示している。これは自動で抽出する場合に検出しやすく、また手動で選択し、抽出する場合にも同一箇所をユーザーが選択しやすい効果が考えられる。また、(e)～(g)の様に撮影した眼底像Er’の乳頭に相当する乳頭部(e)、黄斑に相当する黄斑部(f)、健常な神経線維層に相当する健常神経線維層部(g)を抽出しても良い。(e), (f)は多くの場合円形で眼底画像内では特徴的な部位であるためユーザーが選択しやすい効果が考えられ、(g)は抽出する領域が自由に選択できる効果が考えられる。
[規則91に基づく訂正 26.08.2015]　
　次に、変換手段の一例である画像階調変換部４０３が、係数算出手段を用いて第一の領域αと第二の領域βが所望の輝度になる係数を算出し、前記係数を用いて第一の画像Ａの階調と第二の画像Ｂの階調とのうち少なくとも一方を階調変換する(S303)。図８に、階調変換を行った際のヒストグラムの例を示す。(a)のヒストグラムでは第一の領域αと第二の領域βの両輝度が所望の輝度になるように画像階調変換部４０３が第一の画像Ａと第二の画像Ｂとを階調変換し、(a’)のヒストグラムとなる例を示す。(b)のヒストグラムでは第一の領域αが第二の領域βの輝度になるように画像階調処理部４０３が第一の画像Ａを階調変換し、(b’)のヒストグラムとなる例を示す。続いて、不図示の表示制御部が、第一の画像Ａを階調変換した画像Ａ´と第二の画像Ｂを階調変換した画像Ｂ´をディスプレイやモニタ等の表示部２３に表示させる。このとき、表示制御部は、第一の領域αが抽出された場合に、第二の画像Ｂに第二の領域βを示す表示形態を重ね合わせて表示部２３に表示させる。最後に画像階調変換終了部４０４が画像階調変換を終了する(S304)。
　なお、上述した階調変換を行う以外に、第一の画像Ａと第二の画像Ｂにおいてシェーディング補正を行っても良い。なお、図６は、被検眼Eの瞳孔径によるシェーディングを補正する図を示している。一般的に、被検眼Eの眼底Erを撮影した際、被検眼Eの瞳孔径が小さい場合、光束がケラレて画像の周辺部にシェーディングが発生することが知られている。シェーディングが発生した際の画像の像高に対する画像輝度は図６(a)の603に対して602の様になっており、中心部に対して像高の高いところでは輝度が低下してしまう。このため、例えば、不図示の補正部が、前眼部の観察時に、被検眼Eの前眼部画像から瞳孔径(601)を抽出し、該抽出された瞳孔径に基づいて予想されるシェーディングを算出して補正しても良い。
　（第２の実施形態）
　次に、第２の実施形態について、図９から図１４を用いて詳細に説明する。本実施形態は、第一の画像Ａと第二の画像Ｂの選択の方法と表示の方法に関する。なお、本実施形態は、第１の実施形態における眼科撮影装置に対して、プログラム（フロー）の一部が異なるが、装置構成は同じである。
[規則91に基づく訂正 26.08.2015]　
　(画像の選択画面)
　まず、図９では、階調変換を行う画像の選択方法は記憶手段により記憶された画像を撮影日時毎に横に並べ、その中から第一の画像Ａと第二の画像Ｂをマウスやタッチパネル等で選択することができる。ここで選択する画像は第三の画像Ｃ、第四の画像Ｄがあっても良い。これは比較する画像が複数存在する場合や、経時変化を確認する際にデータ数を増やすことができる効果がある。また、選択方法は複数の画像が時間的に奥行き方向に並んでおり、その中から選択した第一の画像Ａが例えば右側に飛び出し表示される図１０の様であっても良い。ここで、図１０は、撮影日時毎に前後に画像が並び、その中から選択できる。これは撮影画像が多くなった場合でも画像を大きく表示でき、大きく撮影日時の異なる画像も選択しやすい利点がある。
　（階調処理画像を表示するフロー）
　図１１と図１２は選択された第一の画像Ａと第二の画像Ｂに対して第一の実施形態に記載の眼科撮影装置と同等の画像処理を行った画像Ａ´と画像Ｂ´を表示するためのフロー図、ブロック図を示す。まず、画像情報表示開始部１２０１が画像情報表示を開始する(S1101)。次に、ＲＯＩ選択部１２０２が、表示部２３に表示された画像Ａ´と画像Ｂ´でＲＯＩの選択を行う(S1102)。このとき、図１３の様に、ユーザーが一方のＲＯＩを指定すると、他方も連動して指定されたＲＯＩに対応するＲＯＩが選択される。続いて、画像情報作成部１２０３が、ＲＯＩ内の画像情報を作成する(S1103)。例えば、不図示のカラーマップ作成部が、指定されたＲＯＩ内の輝度ごとに色をつけたカラーマップを作成する。これにより、ＲＯＩ内の微妙な変化を見易くすることができる。
　また、不図示の表示制御部がＲＯＩ内の画像情報をディスプレイやモニタ等の表示部２３に表示させる。ここで、表示例を図１４に示す。表示例では上記の画像情報をまとめたレポート情報が表示される。具体的には、患者ID(Patient ID)や、性別、疾患名、解析を行った日(Date)、前記抽出手段で抽出した第一の領域α、第二の領域βの各々の位置や輝度値、前記係数算出手段で求めた係数といった階調変換時の情報などが表示される。これにより、医師が通常の診断に用いる情報に加え、次回に同様の画像処理を行いやすくするための情報を提供することができる。
　また、表示画面２３では撮影した画像の撮影日が画像の上方位置に表示される。すなわち、表示制御部は、眼底を異なる時間に自発蛍光撮影して得た第１及び第２の眼底画像の撮影日に基づいて、複数の眼底画像を時系列に３次元表示（時間軸に沿って並べて表示）させる。また、疾患部の時系列変化を表すための例として、階調変換後の血管部の輝度を基にして、ＲＯＩを選択された画像中で古い情報に対して、下記の各々の領域の時系列変化を示す折れ線グラフを表示させても良い。この領域は、例えば、血管部の輝度のうち高い輝度領域を過蛍光領域、血管部の輝度のうち低い輝度領域を低蛍光領域、その間の輝度領域を正常蛍光領域として特定される。最後に、画像情報表示終了部１２０４が画像情報表示を終了する(S1104)。
[規則91に基づく訂正 26.08.2015]　
　（別の本実施形態に係る眼科撮影装置）
　なお、別の本実施形態に係る眼科撮影装置は、第一の領域の画像情報を用いて所望の輝度に階調変換することで撮影時の条件により発生した画像の輝度差が補正可能である。また、第一の領域の輝度を所望の輝度に階調変換することで、変換後の画像において自発蛍光を示さない血管部の輝度を基にして例えば血管部輝度のより高い輝度領域を過蛍光領域、血管部輝度以下の領域を低蛍光領域、その間の輝度領域を正常蛍光領域と推定される。また、この眼科撮影装置は輝度の階調による表色表示をすることで、疾患領域の変化を描写でき、疾患部の形状を把握することが可能である。また、別の本実施形態に係る眼科撮影装置における第一の領域抽出は手動でも自動でも可能である。手動で行う場合、ユーザーが所望する画像領域を第一の領域に指定でき、解析の自由度が向上するという利点がある。これは特にユーザーが熟練者である場合などに有効である。他方、自動で行う場合には省力化を図れるとともに、ユーザーが非熟練者である場合などには診断支援のツールとして特に有効である。また、ＲＯＩ(Region of Interest：関心領域)を選択することにより、ユーザーが関心のある疾患部の情報を表示することができる。このため、診断の時間を短縮することが可能である。また、別の本実施形態に係る眼科撮影装置は、画像中の特徴点の位置を一致させるようにして同一眼底の複数の画像を位置合わせするとともに、１枚の画像の第一の領域とＲＯＩを指定し、この第一の領域と画像の位置合わせ結果とに基づいて第一の領域に対応する他の画像の第二の領域とＲＯＩを指定することができる。それにより複数の画像に対して第一の領域を指定するという煩雑な作業を回避でき、作業の省力化を図ることができる。更に、別の本実施形態に係る眼科撮影装置は、同一眼の複数の階調補正後の画像において各々対応するＲＯＩを指定でき、該ＲＯＩ内の過蛍光領域、低蛍光領域の画素数を求めて時系列変化情報として表示することができる。このため、ＲＯＩ内の時系列変化の把握を効果的に支援することが可能であり、診断支援のツールとして特に有効である。
　（その他の実施形態）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

Claims (26)

  1. 　被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する決定手段と、
    　前記第１及び第２の領域の画素値に基づいて、前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する変換手段と、
    　を有することを特徴とする画像処理装置。
  2. 　前記決定手段が、前記第１及び第２の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域を前記第１及び第２の領域として決定することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記決定手段が、前記第１及び第２の眼底画像における前記眼底の血管を含む領域を前記第１及び第２の領域として決定することを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記変換手段が、前記第１及び第２の領域の画素値が略等しくなるように前記第１及び第２の眼底画像のうち少なくとも１つの眼底画像の階調を変換することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記変換手段が、前記第１の領域の画素値が前記第２の領域の画素値になるように前記第１の眼底画像の階調を変換する、または、前記第１及び第２の領域の画素値が所定の画素値になるように前記第１及び第２の眼底画像の階調を変換することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記第１及び第２の領域の画素値に基づいて前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の画素値を補正する係数を取得する係数取得手段と、
    　前記係数を用いて前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の画素値を補正する補正手段と、を更に有し、
    　前記変換手段が、前記補正された画素値に基づいて、前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記決定手段により前記第１の領域が決定された場合に、前記第２の眼底画像に前記第２の領域を示す表示形態を重ね合わせて表示手段に表示させる表示制御手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記表示制御手段が、前記第１及び第２の眼底画像を時間軸に沿って並べて表示させることを特徴とする請求項７に記載の画像処理装置。
  9. 　前記表示制御手段が、前記第１及び第２の眼底画像の撮影日に基づいて、前記第１及び第２の眼底画像を時系列に３次元表示させることを特徴とする請求項７または８に記載の画像処理装置。
  10. 　前記眼底を自発蛍光撮影して得た複数の眼底画像から前記第１及び第２の眼底画像を選択する選択手段と、
    　前記第１及び第２の眼底画像の所定の領域を用いて該第１及び第２の眼底画像の位置を合わせる位置合わせ手段と、を更に有し、
    　前記変換手段が、前記位置合わせされた前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　前記被検眼の前眼部画像の瞳孔径に基づいて、前記第１及び第２の眼底画像のシェーディングを補正する補正手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
  12. 　被検査物を撮影して得た第１の画像の一部である第１の領域と、該第１の画像とは異なる時間に該被検査物を撮影して得た第２の画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する決定手段と、
    　前記第１及び第２の領域の特徴量に基づいて、前記第１及び第２の画像のうち少なくとも一つの画像の特徴量を変換する変換手段と、
    　を有することを特徴とする画像処理装置。
  13. 　前記第１及び第２の領域の前記特徴量である輝度分布に基づいて、階調変換特性を決定する決定手段を更に有し、
    　前記変換手段が、前記決定された階調変換特性を用いて、前記第１及び第２の画像のうち少なくとも一つの画像の輝度分布を変換することを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記決定手段が、前記第１及び第２の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域を前記第１及び第２の領域として決定することを特徴とする請求項１２または１３に記載の眼科撮影装置。
  15. 　前記決定手段が、前記第１及び第２の眼底画像における前記眼底の血管を含む領域を前記第１及び第２の領域として決定することを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理装置。
  16. 　請求項１乃至１５のいずれか１項に記載の画像処理装置と、前記被検眼の眼底を自発蛍光撮影する眼科撮影装置とが通信可能に接続された眼科システムにおいて、前記眼科撮影装置から送信された眼底画像データを取得する取得手段を更に有することを特徴とする眼科システムにおける画像処理装置。
  17. 　被検眼を照明する照明光学系と、
    　前記照明光学系により照明した前記被検眼からの戻り光に基づいて該被検眼の眼底を撮影する撮影光学系と、
    　前記眼底を自発蛍光撮影する自発蛍光撮影モードを選択する選択手段と、
    　前記自発蛍光撮影モードが選択された場合に前記照明光学系と前記撮影光学系とのうち少なくとも一つに挿入する波長選択手段と、
    　前記撮影光学系により前記眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該第１の眼底画像とは異なる時間に前記撮影光学系により該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する決定手段と、
    　前記第１及び第２の領域の画素値に基づいて、前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する変換手段と、
    を有することを特徴とする眼科撮影装置。
  18. 　前記波長選択手段は、
    　前記照明光学系の光路に対して挿脱自在である自発蛍光エキサイタフィルタと、
    　前記撮影光学系の光路に対して挿脱自在である自発蛍光バリアフィルタと、
    　を含むことを特徴とする請求項１７に記載の眼科撮影装置。
  19. 　前記決定手段が、前記第１及び第２の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域を前記第１及び第２の領域として決定することを特徴とする請求項１７または１８に記載の眼科撮影装置。
  20. 　前記決定手段が、前記第１及び第２の眼底画像における前記眼底の血管を含む領域を前記第１及び第２の領域として決定することを特徴とする請求項１７乃至１９のいずれか１項に記載の画像処理装置。
  21. 　被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する工程と、
    　前記第１及び第２の領域の画素値に基づいて、前記第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する工程と、
    　を有することを特徴とする画像処理方法。
  22. 　被検査物を撮影して得た第１の画像の一部である第１の領域と、該第１の画像とは異なる時間に該被検査物を撮影して得た第２の画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とを決定する工程と、
    　前記第１及び第２の領域の特徴量に基づいて、前記第１及び第２の画像のうち少なくとも一つの画像の特徴量を変換する工程と、
    　を有することを特徴とする画像処理方法。
  23. 　前記第１及び第２の領域の前記特徴量である輝度分布に基づいて、階調変換特性を決定する工程を更に有し、
    　前記変換する工程において、前記決定された階調変換特性を用いて、前記第１及び第２の画像のうち少なくとも一つの画像の輝度分布を変換することを特徴とする請求項２２に記載の画像処理方法。
  24. 　前記決定する工程において、前記第１及び第２の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域を前記第１及び第２の領域として決定することを特徴とする請求項２１乃至２３のいずれか１項に記載の画像処理方法。
  25. 　前記決定する工程において、前記第１及び第２の眼底画像における前記眼底の血管を含む領域を前記第１及び第２の領域として決定することを特徴とする請求項２１乃至２４のいずれか１項に記載の画像処理方法。
  26. 　請求項２１乃至２５のいずれか１項に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2013/067835 2013-06-28 2013-06-28 画像処理装置及び画像処理方法 WO2014207901A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2013/067835 WO2014207901A1 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法
US14/312,491 US20150002811A1 (en) 2013-06-28 2014-06-23 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/067835 WO2014207901A1 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
WO2014207901A1 WO2014207901A1 (ja) 2014-12-31
WO2014207901A9 true WO2014207901A9 (ja) 2015-11-26

Family

ID=52115291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/067835 WO2014207901A1 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US20150002811A1 (ja)
WO (1) WO2014207901A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237847B2 (en) 2014-02-11 2016-01-19 Welch Allyn, Inc. Ophthalmoscope device
US9211064B2 (en) 2014-02-11 2015-12-15 Welch Allyn, Inc. Fundus imaging system
US10799115B2 (en) 2015-02-27 2020-10-13 Welch Allyn, Inc. Through focus retinal image capturing
CN107405070B (zh) * 2015-02-27 2019-05-21 兴和株式会社 眼底拍摄系统
US11045088B2 (en) 2015-02-27 2021-06-29 Welch Allyn, Inc. Through focus retinal image capturing
US10136804B2 (en) 2015-07-24 2018-11-27 Welch Allyn, Inc. Automatic fundus image capture system
US10772495B2 (en) 2015-11-02 2020-09-15 Welch Allyn, Inc. Retinal image capturing
US10413179B2 (en) 2016-01-07 2019-09-17 Welch Allyn, Inc. Infrared fundus imaging system
US10602926B2 (en) 2016-09-29 2020-03-31 Welch Allyn, Inc. Through focus retinal image capturing
US11096574B2 (en) 2018-05-24 2021-08-24 Welch Allyn, Inc. Retinal image capturing
CN115546883B (zh) * 2022-11-07 2023-02-28 浙江省人民医院 眼底图像处理系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291088A (ja) * 2000-04-07 2001-10-19 Ge Yokogawa Medical Systems Ltd 医用画像表示装置
JP3931792B2 (ja) * 2002-11-08 2007-06-20 コニカミノルタホールディングス株式会社 時系列処理画像の表示装置及び表示方法
US7668351B1 (en) * 2003-01-17 2010-02-23 Kestrel Corporation System and method for automation of morphological segmentation of bio-images
JP2005342282A (ja) * 2004-06-04 2005-12-15 Canon Inc 眼科撮影装置
JP5085086B2 (ja) * 2006-10-04 2012-11-28 株式会社トプコン 眼底観察装置、眼底画像表示装置及びプログラム
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
WO2010135820A1 (en) * 2009-05-28 2010-12-02 Annidis Health Systems Corp. Method and system for retinal health management
JP5271157B2 (ja) * 2009-06-04 2013-08-21 株式会社トプコン 眼底画像解析装置、眼底撮影装置及びプログラム
JP5698068B2 (ja) * 2011-05-09 2015-04-08 富士フイルム株式会社 画像処理装置、画像表示システム、放射線画像撮影システム、画像処理プログラム、及び画像処理方法

Also Published As

Publication number Publication date
US20150002811A1 (en) 2015-01-01
WO2014207901A1 (ja) 2014-12-31

Similar Documents

Publication Publication Date Title
WO2014207901A9 (ja) 画像処理装置及び画像処理方法
JP6321430B2 (ja) 眼科装置
JP6289462B2 (ja) 画像処理装置及び画像処理方法
US8303115B2 (en) Method and system for retinal health management
JP6656063B2 (ja) 画像処理装置及び画像処理方法、プログラム
JP6367563B2 (ja) 眼科装置
JP6045895B2 (ja) 眼科観察装置
JP6652281B2 (ja) 光断層撮像装置、その制御方法、及びプログラム
JP6392275B2 (ja) 眼科撮影装置、眼科画像表示装置および眼科画像処理装置
JP6417807B2 (ja) 眼科用画像処理装置
CN105395163A (zh) 眼科设备和眼科设备的控制方法
JP2015093128A (ja) 眼科観察装置
JP2018051391A (ja) 眼科装置
JP6279682B2 (ja) 眼科観察装置
JP5508140B2 (ja) 眼底撮像装置及びその処理方法
JP2014161500A (ja) 画像処理装置、眼科撮影装置及び方法、並びにプログラム
JP6503040B2 (ja) 眼科観察装置
JP2019154987A (ja) 眼科装置、その制御方法、プログラム、及び記録媒体
JP5160958B2 (ja) 眼底撮影装置及び眼底画像処理装置
WO2020209012A1 (ja) 画像解析方法及び画像解析装置
JP2014083147A (ja) 眼科システム及びその制御方法、画像処理装置、並びに、プログラム
JP2023148522A (ja) 眼科画像処理装置、眼科画像処理プログラム
JP2020146489A (ja) 眼科撮影装置
JP2018051390A (ja) 眼科装置
JP2018023817A (ja) 眼科観察装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13887891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13887891

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: JP