WO2014207904A9 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2014207904A9
WO2014207904A9 PCT/JP2013/067842 JP2013067842W WO2014207904A9 WO 2014207904 A9 WO2014207904 A9 WO 2014207904A9 JP 2013067842 W JP2013067842 W JP 2013067842W WO 2014207904 A9 WO2014207904 A9 WO 2014207904A9
Authority
WO
WIPO (PCT)
Prior art keywords
image
fundus
region
subtraction
display
Prior art date
Application number
PCT/JP2013/067842
Other languages
English (en)
French (fr)
Other versions
WO2014207904A1 (ja
Inventor
祐司 太田
岩永　知行
和田　学
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2013/067842 priority Critical patent/WO2014207904A1/ja
Priority to JP2015523787A priority patent/JP6289462B2/ja
Priority to US14/317,393 priority patent/US9820648B2/en
Publication of WO2014207904A1 publication Critical patent/WO2014207904A1/ja
Publication of WO2014207904A9 publication Critical patent/WO2014207904A9/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence

Definitions

  • the present invention relates to an image processing apparatus and an image processing method for processing an image.
  • Patent Document 2 discloses that a subtraction image is created by matching a plurality of fundus images using optic discs and blood vessels in a plurality of fundus images.
  • lipofuscin accumulates locally in the vicinity of the macula, there is a high possibility of age-related macular degeneration. For this reason, it is important to confirm the time course of lipofuscin.
  • the user confirms the temporal change of lipofuscin using subtraction images of a plurality of fundus images obtained by spontaneous fluorescence imaging of the fundus.
  • the subtraction image itself does not display a region other than the region where the lipofuscin changes with time. For this reason, it is difficult for the user to know where the position of the region where the lipofuscin changes with time is in the fundus image.
  • One of the objects of the present invention is to make it easier for a user to confirm the position of a region where there is a temporal change of lipofuscin in a fundus image when the temporal change of lipofuscin is confirmed using a subtraction image.
  • An image processing apparatus includes: A first region that is a part of a first fundus image obtained by spontaneous fluorescence imaging of the fundus of the eye to be examined, and the fundus image of the fundus at a time different from that of the first fundus image.
  • Generating means for generating a subtraction image with a second region that is a part of the second fundus image obtained in the above and located at a position corresponding to the first region;
  • Display control means for causing the display means to display an image in which information relating to the subtraction image is synthesized at a position corresponding to the first and second regions in the fundus image obtained by spontaneous fluorescence imaging of the fundus. .
  • the present invention first, it is possible to generate subtraction images of partial areas corresponding to each other of the first and second fundus images obtained by performing autofluorescence imaging of the fundus of the eye to be examined at different times. Then, an image in which information relating to the subtraction image (such as the subtraction image itself) is synthesized at a position corresponding to the first and second regions in the fundus image obtained by spontaneous fluorescence imaging of the fundus of the subject's eye is used as a display unit. Can be displayed. Thereby, the user can easily understand where the position of the region where the lipofuscin changes with time is in the fundus image. For this reason, when the user confirms the temporal change of lipofuscin using the subtraction image, it is possible to easily confirm the position of the region having the temporal change of lipofuscin in the fundus image.
  • the image processing apparatus first generates a subtraction image of partial areas corresponding to each other of the first and second fundus images obtained by performing autofluorescence imaging of the fundus of the eye to be examined at different times.
  • the generation means is a first region that is a part of the first fundus image (an example of the first image), a part of the second fundus image (an example of the second image), and the A subtraction image is generated with the second region located at the position corresponding to the first region.
  • the subtraction image is an example of an image showing changes in the first and second regions, and is also referred to as a third image in this specification.
  • the image processing apparatus displays an image in which information about the subtraction image is combined at a position corresponding to the first and second regions in a fundus image obtained by performing spontaneous fluorescence imaging of the fundus.
  • Display control means for displaying on the display means is provided.
  • the information about the subtraction image may be, for example, the subtraction image itself, a display form indicating the position (for example, a frame such as a dotted line), or both of them.
  • region is an area
  • the display control means can cause the display means to display a synthesized image in which the subtraction image is synthesized at the position in the fundus image. Further, the display control means can display the composite image obtained by combining the display form indicating the position at the position in the fundus image and the subtraction image side by side on the display means.
  • the generating unit is also referred to as a first generating unit
  • the image synthesizing unit that combines images is also referred to as a second generating unit.
  • the generating unit generates subtraction images of the first and second fundus images, and generates, as a subtraction image, a region having an intensity equal to or higher than a predetermined intensity among the subtraction images of the first and second fundus images. May be.
  • the generation unit may determine the first and second regions and generate an image obtained by taking a difference between the first and second regions as a subtraction image.
  • the image processing apparatus is based on the pixel values of the first and second fundus images that are not easily affected by the temporal change of lipofuscin, for example, the region including the fundus blood vessel. It is preferable to further include conversion means for converting the gradation of at least one fundus image of the second fundus image. Then, for example, by generating the subtraction image after the pixel values of the first and second regions are substantially equal, it is possible to clearly represent the region where the lipofuscin changes with time. In addition, it is preferable that the conversion unit converts the gradation of the first fundus image so that the pixel value of the first region becomes the pixel value of the second region. In addition, it is preferable that the conversion unit converts the gradations of the first and second fundus images so that the pixel values of the first and second regions become predetermined pixel values.
  • FIG. 1 is a configuration diagram of an ophthalmologic photographing apparatus according to the present embodiment.
  • a fundus camera for photographing the fundus using a two-dimensional sensor or the like an OCT apparatus or a SLO apparatus having scanning means for scanning the fundus is suitably used.
  • the ophthalmologic imaging apparatus according to the present embodiment may be anything as long as it is an imaging apparatus that images the eye to be examined.
  • a medical imaging apparatus such as an endoscope is used. Anything is fine.
  • a condenser lens 3, a photographing light source 4, a mirror 5, and a ring-shaped opening are provided on the optical path from the observation light source 1 to the objective lens 2 in front of the eye E to be examined.
  • a diaphragm 6, a relay lens 7, and a perforated mirror 9 are sequentially arranged.
  • a spontaneous fluorescence exciter filter 10 which is an example of a wavelength selection means, is disposed so as to be freely inserted into and removed from the optical path, thereby constituting an illumination optical system.
  • the spontaneous fluorescence exciter filter 10 transmits light having a wavelength band in the range of about 475 nm to about 615 nm, and more preferably in a wavelength band of about 530 nm to about 580 nm. Moreover, it is preferable that the autofluorescence exciter filter 10 cuts light having a wavelength other than these wavelength bands.
  • the autofluorescence exciter filter 10 is inserted into the optical path of the illumination optical system at the time of autofluorescence observation imaging (when the autofluorescence imaging mode is selected from a plurality of imaging modes by a selection unit (not shown)). Further, the spontaneous fluorescence exciter filter 10 is retracted from the optical path of the illumination optical system during color photography.
  • a focusing lens 11, a photographing lens 12, and a color photographing unit 13 are arranged on the optical path in the passing direction of the perforated mirror 9. Further, between the photographing lens 12 and the color photographing unit 13, a self-fluorescent barrier filter 14 (an example of a wavelength selecting unit) that blocks spontaneous fluorescence excitation light and selectively transmits fluorescence is detachably disposed in the optical path. An observation photographing optical system is configured.
  • the color photographing unit 13 includes an image sensor 15 and a three-color separation color filter 16.
  • the autofluorescence barrier filter 14 transmits light having a wavelength band near about 640 nm, for example, and cuts light having a wavelength other than this wavelength band.
  • the autofluorescence barrier filter 14 preferably cuts light having a wavelength of excitation light that excites lipofuscin (for example, a wavelength band in the range of about 530 nm to about 580 nm).
  • the autofluorescence barrier filter 14 is inserted into the optical path of the observation imaging optical system during autofluorescence imaging (when the autofluorescence imaging mode is selected from a plurality of imaging modes by a selection unit (not shown)).
  • the spontaneous fluorescence barrier filter 14 is retracted from the optical path of the observation photographing optical system at the time of color photographing.
  • the output of the image sensor 15 is connected to the system control unit 22 via the image signal processing unit 21.
  • a display unit 23 is connected to the image signal processing unit 21 so that an observation image of the eye E is displayed and the eye E is observed.
  • the system control unit 22 is connected to an image recording unit 24 and an operation switch unit 25 to constitute a control system for the entire fundus camera.
  • the light beam emitted from the observation light source 1 passes through the condenser lens 3 and the photographing light source 4 and is reflected by the mirror 5.
  • the reflected light from the mirror 5 passes through the aperture 6 and the relay lens 7 and is reflected around the perforated mirror 9, and passes through the objective lens 2 to illuminate the fundus Er of the eye E with visible light.
  • the spontaneous fluorescence exciter filter 10 is detached from the illumination optical system.
  • Reflected light from the fundus Er passes through the holes of the objective lens 2 and the perforated mirror 9, passes through the focusing lens 11 and the photographing lens 12, and forms an image on the image sensor 15.
  • the spontaneous fluorescence barrier filter 14 is detached from the fundus observation imaging optical system, the reflected light of the fundus Er can be observed as it is on the display unit 23 as a fundus image.
  • the examiner While looking at the fundus image, the examiner moves the apparatus up and down, left and right, up and down using the alignment index (not shown) and the operation unit to align the eye E to be examined.
  • the focusing lens 11 is used for focusing.
  • FIG. 2 shows an observation state of the fundus image Er ′ on the display unit 23.
  • FIG. 2A shows a state in which the alignment and focus adjustment are not completed, and the alignment circle C and the alignment index W are shifted, and the focus adjustment index P is also shifted.
  • FIG. 2B shows a state in which the alignment circle C and the alignment index W coincide with each other and the alignment index P is in a straight line in a state where the alignment and focus alignment are completed.
  • the image data of the formed fundus image Er ′ is stored as a color image in the image recording unit 24 via the image signal processing unit 21 and the system control unit 22, and the fundus image Er ′ is displayed on the display unit 23.
  • the autofluorescence exciter filter 10 is inserted into the illumination optical path.
  • the light beam emitted from the observation light source 1 passes through the condenser lens 3 and the photographing light source 4 and is reflected by the mirror 5.
  • the reflected light from the mirror 5 passes through the aperture 6 and the spontaneous fluorescence exciter filter 10, is reflected around the perforated mirror 9, passes through the objective lens 2, and illuminates the fundus Er with visible light.
  • the reflected light of the illuminated fundus Er passes through the pupil Ep, the objective lens 2 and the hole of the perforated mirror 9, passes through the focusing lens 11 and the photographing lens 12, and forms an image on the image sensor 15.
  • the spontaneous fluorescence barrier filter 14 is detached from the fundus observation imaging optical system, the reflected light of the fundus Er due to the wavelength light transmitted through the spontaneous fluorescence exciter filter 10 can be observed as a fundus image Er ′.
  • the examiner While examining the fundus oculi image Er ′, the examiner performs alignment with the eye E of the apparatus using the alignment index W in the same manner as described with reference to FIG.
  • the system control unit 22 inserts the spontaneous fluorescence barrier filter 14 into the fundus observation photographing optical system, and photographing is performed.
  • the light source 4 is emitted.
  • the light beam emitted from the imaging light source 4 illuminates the fundus Er with the wavelength light that has passed through the spontaneous fluorescence exciter filter 10 through the same optical path as the light beam of the observation light source 1.
  • the illuminated reflected light of the fundus Er passes through the pupil Ep, the objective lens 2 and the hole of the perforated mirror 9, passes through the focusing lens 11 and the photographing lens 12, and passes through the spontaneous fluorescence exciter filter 10 by the spontaneous fluorescence barrier filter 14.
  • the transmitted wavelength light is blocked. As a result, only the fluorescence of the fundus oculi image Er ′ passes and forms an image on the image sensor 15.
  • the formed fundus image Er ′ is converted into a monochrome image by the image signal processing unit 21, stored as a monochrome image in the image recording unit 24 via the system control unit 22, and the monochrome fundus image Er ′ is displayed on the display unit 23.
  • the image signal processing unit 21 may have a function of only transferring a signal between the system control unit 22 and the display unit 23 without processing a signal from the image sensor 15.
  • the image signal processing unit 21 and the system control unit 22 may be integrally configured as an image processing device, for example.
  • the image gradation conversion start unit 601, the region extraction unit 602, the image gradation conversion unit 603, and the image gradation conversion end unit 604 are internal to the system control unit 22 that is an example of an image processing apparatus. Is a functional block.
  • the subtraction creation start unit 605, the alignment unit 606, the subtraction creation unit 607, and the subtraction creation end unit 608 are also functional blocks inside the system control unit 22 that is an example of an image processing apparatus. Note that at least one of these functional blocks may be a functional block outside the image signal processing unit 21 or the like. These functional blocks are realized by a CPU included in the system control unit 22 and a memory that stores a program for executing a flowchart to be described later.
  • FIG. 3 shows an image selection method for performing subtraction. Images stored by the storage means can be arranged horizontally for each shooting date and time, and the first image A and the second image B can be selected from the images by using a mouse or a touch panel. The images selected here may include a third image C and a fourth image D. This has an effect that the number of data can be increased when there are a plurality of images to be compared or when a change with time is confirmed. Further, the selection method may be as shown in FIG. 4 in which a plurality of images are arranged in the depth direction in time, and the first image A selected from the images is displayed on the right side, for example. In FIG. 4, images are arranged before and after each shooting date and time, and can be selected from them. This is advantageous in that even when the number of captured images increases, the images can be displayed in a large size, and images with different shooting dates and times can be easily selected.
  • (Subtraction creation flow) 5 and 6 are a flowchart and a block diagram, respectively, for creating a subtraction of a captured image.
  • the subtraction creation flow in this embodiment is made up of an image gradation conversion unit and a subtraction creation unit.
  • the image gradation conversion start unit 601 starts a subtraction creation flow for the second image B having the same eye as the first image A stored in the image storage unit 24 and having a different shooting date and time (S501).
  • the area extraction unit 602 which is an example of a determination unit, extracts the first area ⁇ of the first image A by the extraction unit, and in conjunction with the second image B corresponding to the first area ⁇ .
  • the second region ⁇ is extracted (S502).
  • the first region ⁇ is preferably an image region corresponding to the blood vessel of the fundus oculi image Er ′.
  • the blood vessel part generally absorbs the wavelength light transmitted through the autofluorescence exciter filter 10 by the blood vessel, and the blood vessel part does not show the autofluorescence.
  • the corresponding area is determined by using the fundus pattern specifying means in the fundus oculi image Er ′, the reference position is set as the origin, and the x axis and y axis on the image are set in consideration of the rotation and movement of the image. , Where the x and y coordinates are the same from the origin.
  • the reference position is a nipple portion or a blood vessel part of the fundus image.
  • the blood vessel part is used as the reference position, an example such as Japanese Patent Application Laid-Open No. 5-532215 is cited.
  • the luminance information for the image height at 701 is not (a) in the fundus image of FIG. 7 by photographing in a state where the pupil of the eye E is sufficiently mydriatic and the alignment is also sufficiently adjusted. If the image has a constant luminance with respect to the image height as shown in b) and has no shading (the peripheral portion is darker than the central portion), the second region ⁇ is the first region ⁇ . Different regions may be extracted. This is because, when shading is present as in (a), the first region ⁇ to be extracted has a luminance difference depending on the image height.
  • the luminance (a ′) with respect to the image height matches well in the central portion, but the diagnosable region is a limited region in the central portion. Accordingly, in the case shown in FIG. 7A, the area to be diagnosed is limited, and the first area ⁇ and the second area ⁇ need to be corresponding areas. However, as shown in (b), if the luminance with respect to the image height is uniform, the luminance of the first region ⁇ is uniform at any image height, so the second region ⁇ is not necessarily positioned corresponding to the first region ⁇ . Not necessarily. Further, in the case of (b ′) obtained by gradation conversion of (b), the luminance is well matched up to the peripheral part, so that the entire image area becomes a diagnosis possible area.
  • the first region ⁇ is preferably a blood vessel, but the extraction examples (a) to (g) shown in FIG. 9 may be used.
  • the examiner designates an image region 901 including a blood vessel portion corresponding to the blood vessel of the photographed fundus image Er ′, and extracts the first region ⁇ from the designated image region 901. Shows an example of extracting a blood vessel portion corresponding to a blood vessel of the fundus image Er ′ taken by the photograph. This can be considered to have an effect of increasing the degree of freedom of analysis because the user can freely select the first region ⁇ .
  • (b) shows an example in which the region extraction unit 602 automatically extracts a blood vessel portion corresponding to the blood vessel of the photographed fundus image Er ′. This eliminates the need for the user to select the first region ⁇ , shortens the analysis time, and provides diagnostic support effects when the user is an unskilled person.
  • the selected blood vessel shape may be as shown in (c) and (d).
  • (c) shows an example in which a blood vessel to be extracted has no crossing portion and is a single blood vessel portion. This shows an example where extraction is possible if the first region ⁇ to be selected is a blood vessel.
  • (d) shows an example in which extracted blood vessels intersect. This can be easily detected when automatically extracting, and also has an effect that the user can easily select the same portion when manually selecting and extracting.
  • the nipple (e) corresponding to the nipple of the fundus image Er 'taken as in (e) to (g), the macula (f) corresponding to the macula, and the healthy nerve fiber layer corresponding to the healthy nerve fiber layer Part (g) may be extracted.
  • (e) and (f) are often circular and are characteristic parts in the fundus image, so the effect is easy for the user to select, and (g) is the effect that the region to be extracted can be freely selected .
  • the image gradation conversion unit 603 which is an example of the conversion unit, calculates a coefficient with which the first region ⁇ and the second region ⁇ have desired luminance using the coefficient calculation unit, and uses the coefficient. At least one of the gradation of the first image A and the gradation of the second image B is subjected to gradation conversion (S503).
  • FIG. 10 shows an example of a histogram when gradation conversion is performed. In the histogram of (a), the image gradation converting unit 603 classifies the first image A and the second image B so that both the luminance values of the first region ⁇ and the second region ⁇ become desired luminance values.
  • the image gradation conversion end unit 604 ends the image conversion process, and then the subtraction creation start unit 605 starts subtraction creation.
  • the alignment unit 606 aligns the first image A ′ after gradation conversion and the second image B ′ after gradation conversion with respect to the image after gradation conversion (S505).
  • the alignment process is performed using the fundus pattern specifying means.
  • a reference position is determined using fundus pattern specifying means, and the x-axis and y-axis on the image are set in consideration of the rotation and movement of the image with the reference position as the origin. Alignment is performed so that the x-axis and y-axis overlap. As a result, subtraction can be created in the entire image area, and subtraction in two or more images can be created using the same process.
  • the subtraction creation unit 607 which is an example of a generation unit, creates a subtraction (S506).
  • the subtraction information display unit causes the display unit 23 such as a display or a monitor to display the subtraction information of the image A ′ obtained by gradation conversion of the first image A and the image B ′ obtained by gradation conversion of the second image B ( S507).
  • the image gradation conversion end unit 608 ends the subtraction creation flow (S508).
  • FIG. 8 shows a diagram for correcting shading due to the pupil diameter of eye E to be examined.
  • the image brightness with respect to the image height of the image when shading occurs is 802 with respect to 803 in FIG. 8A, and the brightness is lowered at a position where the image height is higher than the central portion.
  • a correction unit (not shown) extracts the pupil diameter (801) from the anterior segment image of the eye E during observation of the anterior segment, and the shading expected based on the extracted pupil size May be calculated and corrected.
  • FIG. 5 A display example (S507) is shown in FIG.
  • report information summarizing the above analysis results is displayed.
  • patient ID Patient ID
  • sex disease name
  • date of analysis Date of analysis
  • the information at the time of gradation conversion such as the value and the coefficient obtained by the coefficient calculating means and the subtraction information obtained by the calculating means are displayed (1101). Accordingly, in addition to information used by the user for normal diagnosis, information for facilitating similar image processing next time can be provided.
  • the shooting date of the shot image is displayed at the upper position of the image. That is, the display control unit three-dimensionally displays a plurality of fundus images in time series (along the time axis) based on the shooting dates of the first and second fundus images obtained by photographing the fundus at different times. Displayed side by side). Further, as an example for representing the time series change of the diseased part, a difference image from the combination of two images selected by the user in the selected image is displayed. In addition, a line graph indicating a time-series change of the change rate of the change rate of the specific luminance region calculated by using the subtraction of two images close to the date of the selected image is displayed.
  • a color map creation unit (not shown) creates and displays a pseudo color corresponding to the luminance value. Thereby, difference information can be displayed visually.
  • the user can also select an ROI. As a result, an effect of easily grasping the change in the ROI can be considered.
  • the information in the ROI it is possible to display a line graph indicating the time series change of the change rate of the specific luminance region. As a result, only the diseased part of interest to the user can be displayed, so that the diagnosis time can be shortened.
  • ophthalmologic imaging apparatus uses the image information of the first region of the first image and the second region of the second image corresponding to the first region to obtain a desired luminance. By converting the tone to, the luminance difference of the image caused by the shooting conditions can be corrected. Also, subtraction is created in the first image and the second image in which the luminance of the first region and the second region is converted to the desired luminance, and the amount of change in the hyperfluorescent region and the low fluorescent region is changed. Presumed.
  • the ophthalmologic photographing apparatus can display a color change display based on luminance gradations, so that a change in a diseased region can be described in a pseudo color, and a shape change in a diseased part can be grasped.
  • the extraction of the first region and the second region in the ophthalmologic photographing apparatus according to another embodiment can be performed manually or automatically.
  • the image area desired by the user can be designated as the first area, and the degree of freedom of analysis is improved. This is particularly effective when the user is an expert.
  • another ophthalmologic photographing apparatus aligns a plurality of images of the same fundus so that the positions of feature points in the images are matched. Also, the first region and ROI of one image are designated, and the second region and ROI of another image corresponding to the first region are specified based on the alignment result of the first region and the image. Can be specified. Thereby, the troublesome work of designating the first region for a plurality of images can be avoided, and the labor can be saved.
  • the ophthalmologic photographing apparatus can create each subtraction in a plurality of gradation-converted images of the same eye, can designate a corresponding ROI in each subtraction image, and can detect overfluorescence in the ROI.
  • the number of pixels in the region and the low fluorescence region can be obtained and displayed as time-series change information. For this reason, it is possible to effectively support the grasp of the time series change in the ROI, and it is particularly effective as a diagnostic support tool.
  • the present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Abstract

　ユーザーがサブトラクション画像を用いて疾患の経時変化を確認する際に、眼底画像における疾患の位置を確認し易くすること。　本画像処理装置は、被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該被検眼を該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とのサブトラクション画像を生成する生成手段と、前記眼底を自発蛍光撮影して得た眼底画像における前記第１及び第２の領域に対応する位置に、前記サブトラクション画像に関する情報が合成された画像を表示手段に表示させる表示制御手段と、を有する。

Description

画像処理装置及び画像処理方法
　本発明は画像を処理する画像処理装置及び画像処理方法に関する。
　近年、眼底の自発蛍光撮影（ＦＡＦ：Fundus Auto-Fluorescence）注目されている。自発蛍光撮影は、約５５０ｎｍ付近の光を励起光として眼底に照明し、約６４０ｎｍ付近の光をリポフスチンによる自発蛍光として受光することが、特許文献１に開示されている。ユーザーは、この受光による得た眼底画像を用いてリポフスチンを確認することにより、加齢黄斑変性等の早期発見が可能である。
　また、複数の眼底画像における視神経乳頭、血管部を用いて複数の眼底画像のマッチングを行ってサブトラクション画像を作成することが、特許文献２に開示されている。
特開２００６－２４７０７６号公報 特開平４－３３６６７７号公報
　ここで、リポフスチンが黄斑付近に局所的に蓄積されると、加齢黄斑変性になる可能性が高い。このため、リポフスチンの経時変化を確認することが重要である。このとき、ユーザーが、眼底を自発蛍光撮影して得た複数の眼底画像のサブトラクション画像を用いて、リポフスチンの経時変化を確認する場合を考える。このとき、サブトラクション画像自体には、リポフスチンの経時変化がある領域以外の領域が表示されなくなってしまう。このため、ユーザーは、リポフスチンの経時変化がある領域の位置が眼底画像のどこであるのか分かりづらい。
　本発明の目的の一つは、ユーザーがサブトラクション画像を用いてリポフスチンの経時変化を確認する際に、眼底画像におけるリポフスチンの経時変化がある領域の位置を確認し易くすることである。
　本発明に係る画像処理装置は、
　被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該被検眼を該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とのサブトラクション画像を生成する生成手段と、
　前記眼底を自発蛍光撮影して得た眼底画像における前記第１及び第２の領域に対応する位置に、前記サブトラクション画像に関する情報が合成された画像を表示手段に表示させる表示制御手段と、を有する。 
　本発明によれば、まず、被検眼の眼底を異なる時間に自発蛍光撮影して得た第１及び第２の眼底画像の互いに対応する一部の領域のサブトラクション画像を生成することができる。そして、被検眼の眼底を自発蛍光撮影して得た眼底画像における該第１及び第２の領域に対応する位置に、サブトラクション画像に関する情報（サブトラクション画像自体等）が合成された画像を表示手段に表示させることができる。これにより、ユーザーは、リポフスチンの経時変化がある領域の位置が眼底画像のどこであるのか分かり易くなる。このため、ユーザーがサブトラクション画像を用いてリポフスチンの経時変化を確認する際に、眼底画像におけるリポフスチンの経時変化がある領域の位置を確認し易くすることができる。
本実施形態の全体構成の一例を表す概略図 本実施形態の位置合わせとピント合わせに関する図 本実施形態の画像選択時に関する図 本実施形態の画像選択時に関する図 本実施形態のサブトラクション作成フロー図 本実施形態のサブトラクション作成のブロック図 本実施形態の像高に対する画素輝度値に関する図 本実施形態の瞳孔径のシェーディング補正に関する図 本実施形態の抽出部に関する図 本実施形態の階調変換前後の画像輝度に関する図 本実施形態のサブトラクション情報の表示に関する図
　本実施形態に係る画像処理装置は、まず、被検眼の眼底を異なる時間に自発蛍光撮影して得た第１及び第２の眼底画像の互いに対応する一部の領域のサブトラクション画像を生成する生成手段を有する。また、生成手段は、第１の眼底画像（第１の画像の一例）の一部である第１の領域と、第２の眼底画像（第２の画像の一例）の一部であり且つ該第１の領域に対応する位置にある第２の領域とのサブトラクション画像を生成する。なお、サブトラクション画像は、第１及び第２の領域の変化を示す画像の一例であり、本明細書において第３の画像とも呼ぶ。また、本実施形態に係る画像処理装置は、該眼底を自発蛍光撮影して得た眼底画像における該第１及び第２の領域に対応する位置に、該サブトラクション画像に関する情報が合成された画像を表示手段に表示させる表示制御手段を有する。なお、該サブトラクション画像に関する情報としては、例えば、サブトラクション画像自体でも良く、また、該位置を示す表示形態（例えば、点線等の枠）でも良いし、またこれらの両方でも良い。なお、第１及び第２の領域は、リポフスチンの経時変化がある領域であることが好ましい。
　これにより、ユーザーは、リポフスチンの経時変化がある領域の位置が眼底画像のどこであるのか分かり易くなる。このため、ユーザーがサブトラクション画像を用いてリポフスチンの経時変化を確認する際に、眼底画像におけるリポフスチンの経時変化がある領域の位置を確認し易くすることができる。
　このとき、上記表示制御手段が、該眼底画像における該位置にサブトラクション画像が合成された合成画像を表示手段に表示させることができる。また、上記表示制御手段が、該眼底画像における該位置に該位置を示す表示形態が合成された合成画像とサブトラクション画像とを並べて表示手段に表示させることができる。なお、本明細書において、上記生成手段を第１の生成手段、画像を合成する画像合成手段を第２の生成手段とも呼ぶ。
　また、上記生成手段は、第１及び第２の眼底画像のサブトラクション画像を生成し、第１及び第２の眼底画像のサブトラクション画像のうち所定の強度以上の強度を有する領域をサブトラクション画像として生成しても良い。また、上記生成手段は、第１及び第２の領域を決定し、第１及び第２の領域の差分をとった画像をサブトラクション画像として生成しても良い。
　また、本実施形態に係る画像処理装置は、第１及び第２の眼底画像におけるリポフスチンの経時変化の影響を受け難い領域、例えば、眼底の血管を含む領域の画素値に基づいて、該第１及び第２の眼底画像のうち少なくとも一つの眼底画像の階調を変換する変換手段を更に有することが好ましい。そして、例えば、第１及び第２の領域の画素値が略等しくしてから、サブトラクション画像が生成されることにより、リポフスチンの経時変化がある領域を鮮明に表すことができる。なお、上記変換手段が、第１の領域の画素値が第２の領域の画素値になるように第１の眼底画像の階調を変換することが好ましい。また、上記変換手段が、第１及び第２の領域の画素値が所定の画素値になるように第１及び第２の眼底画像の階調を変換することが好ましい。
　以下、本発明を実施するための形態について、図面を用いて説明する。
　(装置の説明)
　図１は、本実施形態における眼科撮影装置の構成図である。なお、本実施形態における眼科撮影装置は、２次元センサ等により眼底を撮影する眼底カメラ、眼底に対して光を走査する走査手段を有するＯＣＴ装置やＳＬＯ装置等が好適に用いられる。ただし、本実施形態における眼科撮影装置は、被検眼を撮影する撮影装置であれば何でも良いし、また、被検眼以外の被検査物を撮影する場合は、内視鏡等の医療用の撮影装置であれば何でも良い。
[規則91に基づく訂正 26.08.2015]　
　まず、本実施形態における眼科撮影装置において、観察用光源１から被検眼Ｅの前方の対物レンズ２に至る光路上には、コンデンサレンズ３、撮影用光源４、ミラー５、リング状の開口を有する絞り６、リレーレンズ７、孔あきミラー９が順次に配列されている。更に、絞り６とリレーレンズ７の間には、波長選択手段の一例である自発蛍光エキサイタフィルタ１０が光路に挿脱自在に配置され、これらにより照明光学系が構成されている。なお、自発蛍光エキサイタフィルタ１０は、例えば、約４７５ｎｍから約６１５ｎｍの範囲の波長帯域、より好ましくは、約５３０ｎｍから約５８０ｎｍの範囲の波長帯域の光を透過させる。また、自発蛍光エキサイタフィルタ１０は、これらの波長帯域以外の波長の光をカットすることが好ましい。ここで、自発蛍光エキサイタフィルタ１０は、自発蛍光観察撮影時に（不図示の選択手段により複数の撮影モードから自発蛍光撮影モードが選択された場合に）、照明光学系の光路に挿入される。また、自発蛍光エキサイタフィルタ１０は、カラー撮影時には照明光学系の光路から退避される。なお、被検眼Ｅに照射する測定光を走査する走査手段の一例であるガルバノミラーや共振スキャナを有するＳＬＯ装置の場合には、レーザ光源を切り替えることにより、自発蛍光用の波長の光を用いる構成でも良い。
　また、孔あきミラー９の通過方向の光路上には、合焦レンズ１１、撮影レンズ１２、カラー撮影ユニット１３が配列されている。また、撮影レンズ１２とカラー撮影ユニット１３の間には、自発蛍光励起光を遮断し蛍光を選択的に透過する自発蛍光バリアフィルタ１４（波長選択手段の一例）が光路に挿脱自在に配置され、観察撮影光学系が構成されている。カラー撮影ユニット１３は撮像素子１５、三色分解カラーフィルタ１６を有している。なお、自発蛍光バリアフィルタ１４は、例えば、約６４０ｎｍ付近の波長帯域の光を透過させ、この波長帯域以外の波長の光をカットすることが好ましい。特に、自発蛍光バリアフィルタ１４は、リポフスチンを励起する励起光の波長（例えば、約５３０ｎｍから約５８０ｎｍの範囲の波長帯域）の光をカットすることが好ましい。ここで、自発蛍光バリアフィルタ１４は、自発蛍光撮影時に（不図示の選択手段により複数の撮影モードから自発蛍光撮影モードが選択された場合に）、観察撮影光学系の光路に挿入される。また、自発蛍光バリアフィルタ１４は、カラー撮影時には、観察撮影光学系の光路から退避される。
　また、撮像素子１５の出力は、画像信号処理部２１を介してシステム制御部２２に接続されている。また、画像信号処理部２１には表示部２３が接続され、被検眼Ｅの観察画像が表示され、被検眼Ｅの観察を行うようにされている。また、システム制御部２２には、画像記録部２４、操作スイッチ部２５が接続されて、眼底カメラ全体の制御系が構成されている。
　カラー画像撮影時には、観察用光源１を出射した光束はコンデンサレンズ３、撮影用光源４を通りミラー５で反射される。ミラー５での反射光は、絞り６、リレーレンズ７を通り孔あきミラー９の周辺で反射し、対物レンズ２を通り被検眼Ｅの眼底Erを可視光で照明する。このとき、自発蛍光エキサイタフィルタ１０は照明光学系から離脱している。
　眼底Erからの反射光は、対物レンズ２、孔あきミラー９の孔を通り、合焦レンズ１１、撮影レンズ１２を通過し、撮像素子１５上に結像する。このとき、自発蛍光バリアフィルタ１４は眼底観察撮影光学系から離脱しているため、眼底Erの反射光がそのまま表示部２３で眼底像として観察できる。
　検者はこの眼底像を見ながら、不図示の位置合わせ指標と操作部により、装置を前後、左右、上下に移動して被検眼Ｅに対しての位置合わせを行い、更にフォーカス合わせ用指標を用いて、合焦レンズ１１を移動することによりフォーカス合わせを行う。
　図２は眼底像Er’の表示部２３における観察状態を示している。図２(a)は位置合わせとフォーカス合わせが完了していない状態で、位置合わせサークルＣと位置合わせ指標Wがずれておりフォーカス合わせ用指標Ｐもずれている状態を表している。図２(b)は位置合わせとフォーカス合わせが完了している状態で、位置合わせサークルＣと位置合わせ指標Wが一致し、フォーカス合わせ用指標Ｐが一直線になった状態を表している。
　検者は眼底像Er’の位置合わせ及びフォーカス合わせの終了後に、操作スイッチ部２５の撮影スイッチを押すことにより、システム制御部２２が撮影用光源４を発光する。撮影用光源４を出射した光束は、観察用光源１の光束と同様の経路で眼底Erを照明し、照明された眼底Erの反射光は、観察時と同様に撮像素子１５上に結像する。結像した眼底像Er’の画像データは、画像信号処理部２１、システム制御部２２を経て、画像記録部２４にカラー画像として保存され、表示部２３には眼底像Er’が表示される。
　自発蛍光観察時においては、自発蛍光エキサイタフィルタ１０が照明光路中に挿入される。観察用光源１を出射した光束は、コンデンサレンズ３、撮影用光源４を通りミラー５で反射される。ミラー５での反射光は、絞り６、自発蛍光エキサイタフィルタ１０を通り、孔あきミラー９の周辺で反射し、対物レンズ２を通り眼底Erを可視光で照明する。
　照明された眼底Erの反射光は、瞳Ｅｐ、対物レンズ２、孔あきミラー９の孔を通り、合焦レンズ１１、撮影レンズ１２を通過し、撮像素子１５に結像する。このとき、自発蛍光バリアフィルタ１４は眼底観察撮影光学系から離脱しているため、自発蛍光エキサイタフィルタ１０を透過した波長光による眼底Erの反射光を眼底像Er’として観察できる。
　検者はこの眼底像Er’を見ながら、図２で説明したと同様に位置合わせ指標Wにより、装置の被検眼Ｅに対する位置合わせを行い、フォーカス合わせ用指標Ｐによりフォーカス合わせを行う。
　検者は眼底像Er’の位置合わせ及びフォーカス合わせの終了後に、操作スイッチ部２５の撮影スイッチを押すことにより、システム制御部２２は自発蛍光バリアフィルタ１４を眼底観察撮影光学系に挿入し、撮影用光源４を発光する。撮影用光源４を出射した光束は、観察用光源１の光束と同様の光路を経て自発蛍光エキサイタフィルタ１０を透過した波長光により眼底Erを照明する。照明された眼底Erの反射光は、瞳Ｅｐ、対物レンズ２、孔あきミラー９の孔を通り、合焦レンズ１１、撮影レンズ１２を通過し、自発蛍光バリアフィルタ１４により自発蛍光エキサイタフィルタ１０を透過した波長光を遮断する。これにより、眼底像Ｅr’の蛍光のみが通過して、撮像素子１５に結像する。
　結像した眼底像Ｅr’は画像信号処理部２１でモノクロ化され、システム制御部２２を経て画像記録部２４にモノクロ画像として保存され、表示部２３にはモノクロ化された眼底像Er’が表示される。なお、画像信号処理部２１は、撮像素子１５からの信号を処理せずに、システム制御部２２や表示部２３との間の信号を転送するだけの機能を有していても良い。この場合、画像信号処理部２１とシステム制御部２２は、例えば、画像処理装置として一体に構成されても良い。
[規則91に基づく訂正 26.08.2015]　
　次に本実施形態の特徴的なサブトラクション作成について、図３から図１１を用いて説明する。ここで、本実施形態において、画像階調変換開始部６０１、領域抽出部６０２、画像階調変換部６０３、画像階調変換終了部６０４は、画像処理装置の一例であるシステム制御部２２の内部における機能ブロックである。また、本実施形態において、サブトラクション作成開始部６０５、位置合わせ部６０６、サブトラクション作成部６０７、サブトラクション作成終了部６０８に関しても、画像処理装置の一例であるシステム制御部２２の内部における機能ブロックである。なお、これらの機能ブロックの少なくとも一つが画像信号処理部２１等の外部における機能ブロックであっても良い。また、これらの機能ブロックは、システム制御部２２が有するＣＰＵと後述のフロー図を実行するプログラムを記憶するメモリとにより実現される。
[規則91に基づく訂正 26.08.2015]　
　(画像の選択)
　図３ではサブトラクションを行う画像の選択方法を示している。記憶手段により記憶された画像を撮影日時毎に横に並べ、その中から第一の画像Ａと第二の画像Ｂをマウスやタッチパネル等で選択することができる。ここで選択する画像は第三の画像Ｃ、第四の画像Ｄがあっても良い。これは比較する画像が複数存在する場合や、経時変化を確認する際にデータ数を増やすことができる効果がある。また、選択方法は複数の画像が時間的に奥行き方向に並んでおり、その中から選択した第一の画像Ａが例えば右側に飛び出し表示される図４の様であっても良い。図４は撮影日時毎に前後に画像が並び、その中から選択できる。これは撮影画像が多くなった場合でも画像を大きく表示でき、撮影日時の異なる画像も選択しやすい利点がある。
[規則91に基づく訂正 26.08.2015]　
　（サブトラクション作成フロー）
　図５、図６は各々撮影画像のサブトラクションを作成するフロー図とブロック図である。本実施形態でのサブトラクション作成フローは画像階調変換部とサブトラクション作成部からできている。先ず、画像階調変換開始部６０１が、画像記憶部２４に記憶された第一の画像Aと同一眼で撮影日時の異なる第二の画像Bに対してサブトラクション作成フローを開始する(S501)。次に、決定手段の一例である領域抽出部６０２が抽出手段により第一の画像Aの第一の領域αを抽出し、連動して該第一の領域αに対応する第二の画像Bの第二の領域βを抽出する(S502)。ここで第一の領域αは眼底像Er’の血管に相当する画像領域であることが望ましい。これは、自発蛍光画像において一般的に血管部は血管による自発蛍光エキサイタフィルタ１０を透過した波長光の吸収があり、血管部は自発蛍光を示さないからである。また、対応する領域とは眼底像Er’において眼底パターン特定手段を用いて基準位置を決定し、基準位置を原点とし、画像の回転、移動を考慮して画像上のx軸y軸を設定し、原点からx座標とy座標が等しいところを同一箇所とする。ここで、基準位置とは眼底画像の乳頭部や血管部などであり、例えば血管部を基準位置とする場合であれば特開平5-253215号公報などの例が挙げられる。
[規則91に基づく訂正 26.08.2015]　
　ただし、被検眼Ｅの瞳孔が十分に散瞳しており、アライメントも十分に合わせた状態での撮影により図７の眼底像において、例えば701での像高に対する輝度情報が(a)ではなく(b)の様に像高に対して輝度が一定の画像で、シェーディング(周辺部が中央部より暗くなる状態)が発生していない画像であれば、第二の領域βは第一の領域αと異なる領域を抽出しても良い。なぜならば、(a)の様にシェーディングが存在する場合、抽出する第一の領域αは像高により輝度差が存在する。このとき階調変換により中央部の輝度を合わせたと仮定すると像高に対する輝度(a’)は中央部ではよく一致するが診断可能領域は中央部の限定的な領域となる。従って、図７(a)の様な場合には診断する領域は限定的となるため第一の領域αと第二の領域βはそれぞれ対応する領域である必要がある。しかしながら、(b)の様に像高に対する輝度が一様であればどの像高においても第一の領域αの輝度が均一なため第二の領域βは必ずしも第一の領域αに対応する位置でなくても良い。また、(b)を階調変換した(b’)の様な場合は周辺部まで輝度が良く一致しているため画像全領域が診断可能領域となる。
[規則91に基づく訂正 26.08.2015]　
　ここで、第一の領域αは血管部が望ましいが、図９で示す(a)～(g)の抽出例でも良い。(a)は撮影した眼底像Er’の血管に相当する血管部を含む画像領域901を検者が指定し、該指定された画像領域901から前記第一の領域αを抽出する領域抽出部６０２が撮影した眼底像Er’の血管に相当する血管部を抽出する例を示す。これはユーザーが第一の領域αを自由に選択できることで解析の自由度が増す効果が考えられる。(b)は撮影した眼底像Er’の血管に相当する血管部を領域抽出部６０２が自動で抽出する例を示す。これはユーザーが第一の領域αを選択する必要がなく、解析時間の短縮、ユーザーが非熟練者の場合は診断支援効果が考えられる。
[規則91に基づく訂正 26.08.2015]　
　また、選択する血管形状は(c), (d)の様であっても良い。(c)は抽出する血管に交差部が無く一本の血管部である例を示している。これは選択する第一の領域αが血管であれば抽出できる例を示している。(d)は抽出する血管が交差している例を示している。これは自動で抽出する場合に検出しやすく、また手動で選択し、抽出する場合にも同一箇所をユーザーが選択しやすい効果が考えられる。また(e)～(g)の様に撮影した眼底像Er’の乳頭に相当する乳頭部(e)、黄斑に相当する黄斑部(f)、健常な神経線維層に相当する健常神経線維層部(g)を抽出しても良い。(e), (f)は多くの場合円形で眼底画像内では特徴的な部位であるためユーザーが選択しやすい効果が考えられ、(g)は抽出する領域が自由に選択できる効果が考えられる。
[規則91に基づく訂正 26.08.2015]　
　次に、変換手段の一例である画像階調変換部６０３が、係数算出手段を用いて第一の領域αと第二の領域βが所望の輝度になる係数を算出し、前記係数を用いて第一の画像Aの階調と第二の画像Bの階調とのうち少なくとも一方を階調変換する(S503)。図１０に階調変換を行った際のヒストグラムの例を示す。(a)のヒストグラムでは第一の領域αと第二の領域βの両輝度が所望の輝度になるように画像階調変換部６０３が、第一の画像Aと第二の画像Bとを階調変換し、(a’)のヒストグラムとなる例を示す。(b)のヒストグラムでは第一の領域αが第二の領域βの輝度になるように画像階調変換部６０３が第一の画像Aを階調変換し、(b’)のヒストグラムとなる例を示す。
　画像階調変換終了部６０４が画像変換処理を終了し、続けて、サブトラクション作成開始部６０５がサブトラクション作成を開始する。
　また、階調変換後の画像に対して、位置合わせ部６０６が階調変換後の第一の画像Ａ´と階調変換後の第二の画像Ｂ´の位置合わせを行う(S505)。ここで位置合わせ処理は前記眼底パターン特定手段を用いて行う。眼底パターン特定手段を用いて基準位置を決定し、基準位置を原点とし、画像の回転、移動を考慮して画像上のx軸y軸を設定する。このx軸y軸が重なるように位置合わせを行う。これにより画像全領域でサブトラクションを作成可能になり、また二枚以上の複数枚の画像におけるサブトラクションも同様の処理を用いて作成することが可能になる。
　また、生成手段の一例であるサブトラクション作成部６０７がサブトラクションを作成する(S506)。サブトラクションを作成することにより差分が定量的に可視化でき、診断効果を向上させることが可能になる。続いてサブトラクション情報表示部が第一の画像Ａを階調変換した画像Ａ´と第二の画像Ｂを階調変換した画像Ｂ´のサブトラクション情報をディスプレイやモニタ等の表示部２３に表示させる(S507)。最後に、画像階調変換終了部６０８が、サブトラクション作成フローを終了する(S508)。
　なお、上述した階調変換を行う以外に、第一の画像Ａと第二の画像Ｂにおいてシェーディング補正を行っても良い。図８は被検眼Eの瞳孔径によるシェーディングを補正する図を示している。一般的に、被検眼Eの眼底Erを撮影した際、被検眼Eの瞳孔径が小さい場合、光束がケラレて画像の周辺部にシェーディングが発生することが知られている。シェーディングが発生した際の画像の像高に対する画像輝度は図８(a)の803に対して802の様になっており、中心部に対して像高の高いところでは輝度が低下してしまう。このため、例えば、不図示の補正部が、前眼部の観察時に、被検眼Eの前眼部画像から瞳孔径(801)を抽出し、該抽出された瞳孔径に基づいて予想されるシェーディングを算出して補正しても良い。
[規則91に基づく訂正 26.08.2015]　
　(表示方法)
　ここで、表示例(S507)を図１１に示す。表示例では上記の解析結果をまとめたレポート情報が表示される。具体的には、患者ID(Patient ID)や、性別、疾患名、解析を行った日(Date)、前記抽出手段で抽出した第一の領域α、第二の領域βの各々の位置や輝度値、前記係数算出手段で求めた係数といった階調変換時の情報と、演算手段で求めたサブトラクション情報が表示される(1101)。これにより、ユーザーが通常の診断に用いる情報に加え、次回に同様の画像処理を行いやすくするための情報を提供することができる。
　また、表示画面２３では撮影した画像の撮影日が画像の上方位置に表示される。すなわち、表示制御部は、眼底を異なる時間に自発蛍光撮影して得た第１及び第２の眼底画像の撮影日に基づいて、複数の眼底画像を時系列に３次元表示（時間軸に沿って並べて表示）させる。また、疾患部の時系列変化を表すための例として、選択された画像中でユーザーが選択した２枚の組み合わせからの差分画像を表示させる。また、選択された画像の日付の近い二つの画像のサブトラクションを利用して算出した特定の輝度領域の変化率の変化の時系列変化を示す折れ線グラフを表示させる。
　更に不図示のカラーマップ作成部が輝度値に相当する疑似カラーを作成し表示する。これにより差分情報が視覚的に表示できる。また、ユーザーがＲＯＩを選択することもできる。これによりＲＯＩ内の変化をとらえやすくなる効果が考えられる。また、ＲＯＩ内の情報に関しても、前記特定の輝度領域の変化率の変化の時系列変化を示す折れ線グラフを表示させことができる。これによりユーザーが関心のある疾患部のみの情報を表示できるため診断の時間を短縮することが可能である。
[規則91に基づく訂正 26.08.2015]　
　（別の本実施形態に係る眼科撮影装置）
　なお、別の本実施形態に係る眼科撮影装置は、第一の画像の第一の領域、該第一の領域に対応する第二の画像の第二の領域の画像情報を用いて所望の輝度に階調変換することで撮影時の条件により発生した画像の輝度差が補正可能である。また、第一の領域と第二の領域の輝度を所望の輝度になるように階調変換した第一の画像と第二の画像においてサブトラクションを作成し過蛍光領域、低蛍光領域の変化量が推定される。また、この眼科撮影装置は輝度の階調による表色表示をすることで、疾患領域の変化を疑似カラーで描写でき、疾患部の形状変化を把握することが可能である。また、別の本実施形態に係る眼科撮影装置における第一の領域と第二の領域の抽出は手動でも自動でも可能である。手動で行う場合、ユーザーが所望する画像領域を第一の領域に指定でき、解析の自由度が向上するという利点がある。これは特にユーザーが熟練者である場合などに有効である。他方、自動で行う場合には省力化を図れるとともに、ユーザーが非熟練者である場合などには診断支援のツールとして特に有効である。また、ＲＯＩ(Region of Interest：関心領域)を選択することにより、ユーザーが関心のある疾患部の情報を表示することができる。このため、診断の時間を短縮することが可能である。また、別の本実施形態に係る眼科撮影装置は、画像中の特徴点の位置を一致させるようにして同一眼底の複数の画像を位置合わせする。また、１枚の画像の第一の領域とＲＯＩを指定し、この第一の領域と画像の位置合わせ結果とに基づいて第一の領域に対応する他の画像の第二の領域とＲＯＩを指定することができる。これにより、複数の画像に対して第一の領域を指定するという煩雑な作業を回避でき、作業の省力化を図ることができる。更に、別の本実施形態に係る眼科撮影装置は、同一眼の複数の階調変換後の画像において各々サブトラクションを作成でき、各々のサブトラクション画像において対応するＲＯＩを指定でき、該ＲＯＩ内の過蛍光領域、低蛍光領域の画素数を求めて時系列変化情報として表示することができる。このため、ＲＯＩ内の時系列変化の把握を効果的に支援することが可能であり、診断支援のツールとして特に有効である。
　（その他の実施形態）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

Claims (24)

  1. 　被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該被検眼を該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とのサブトラクション画像を生成する生成手段と、
    　前記眼底を自発蛍光撮影して得た眼底画像における前記第１及び第２の領域に対応する位置に、前記サブトラクション画像に関する情報が合成された画像を表示手段に表示させる表示制御手段と、
    　を有することを特徴とする画像処理装置。 
  2. 　前記サブトラクション画像と該位置を示す表示形態とのうち少なくとも一方を前記眼底画像に合成する画像合成手段を更に有することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記画像合成手段が、前記眼底画像における前記位置に前記サブトラクション画像を合成し、
    　前記表示制御手段が、前記合成された合成画像を前記表示手段に表示させることを特徴とする請求項２に記載の画像処理装置。
  4. 　前記画像合成手段が、前記眼底画像における前記位置に該位置を示す表示形態を合成し、
    　前記表示制御手段が、前記合成された合成画像と前記サブトラクション画像とを並べて前記表示手段に表示させることを特徴とする請求項２に記載の画像処理装置。
  5. 　前記生成手段が、
    　前記第１及び第２の眼底画像のサブトラクション画像を生成し、
    　前記第１及び第２の眼底画像のサブトラクション画像のうち所定の強度以上の強度を有する領域を前記サブトラクション画像として生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  6. 　前記第１及び第２の領域を決定する決定手段を更に有し、
    　前記生成手段が、前記決定された第１及び第２の領域の差分をとった画像を前記サブトラクション画像として生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
  7. 　前記表示制御手段が、前記第１及び第２の眼底画像を前記表示手段に表示させ、
    　前記決定手段が、前記第１の眼底画像において前記第１の領域を決定し、
    　前記決定手段の決定に応じて、前記表示制御手段が前記第２の眼底画像に前記第２の領域を示す表示形態を表示させることを特徴とする請求項６に記載の画像処理装置。
  8. 　前記表示制御手段が、前記第１及び第２の眼底画像を時間軸に沿って並べて表示させることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
  9. 　前記表示制御手段が、前記第１及び第２の眼底画像の撮影日に基づいて、前記第１及び第２の眼底画像を時系列に３次元表示させることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
  10. 　前記眼底を自発蛍光撮影して得た複数の眼底画像から前記第１及び第２の眼底画像を選択する選択手段と、
    　前記第１及び第２の眼底画像の所定の領域を用いて該第１及び第２の眼底画像の位置を合わせる位置合わせ手段と、を更に有し、
    　前記生成手段が、前記位置合わせされた前記第１及び第２の眼底画像を用いて前記サブトラクション画像を生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　前記被検眼の前眼部画像の瞳孔径に基づいて、前記第１及び第２の眼底画像のシェーディングを補正する補正手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
  12. 　被検眼の第１の画像の一部である第１の領域と、該第１の画像とは異なる時間に該被検眼を撮影して得た第２の画像の一部であり且つ該第１の領域に対応する位置にある第２の領域との変化を示す画像を生成する第１の生成手段と、
    　前記被検眼の画像と前記変化を示す画像と前記位置とに基づいて第３の画像を生成する第２の生成手段と、
    　を有することを特徴とする画像処理装置。
  13. 　前記第１の生成手段が、前記第１の領域と前記第２の領域とのサブトラクション画像を、前記変化を示す画像として生成することを特徴とする請求項１２に記載の画像処理装置。
  14. 　前記第３の画像を表示手段に表示させる表示制御手段を更に有することを特徴とする請求項１２または１３に記載の画像処理装置。
  15. 　前記第３の画像は、前記変化を示す画像を前記被検眼の画像における前記位置に合成した合成画像であることを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理装置。
  16. 　請求項１乃至１５のいずれか１項に記載の画像処理装置と、前記被検眼の眼底を自発蛍光撮影する眼科撮影装置とが通信可能に接続された眼科システムにおいて、前記眼科撮影装置から送信された眼底画像データを取得する取得手段を更に有することを特徴とする眼科システムにおける画像処理装置。
  17. 　被検眼を照明する照明光学系と、
    　前記照明光学系により照明した前記被検眼からの戻り光に基づいて該被検眼の眼底を撮影する撮影光学系と、
    　前記眼底を自発蛍光撮影する自発蛍光撮影モードを選択する選択手段と、
    前記自発蛍光撮影モードが選択された場合に前記照明光学系と前記撮影光学系とのうち少なくとも一つに挿入する波長選択手段と、
    　前記撮影光学系により前記眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該第１の眼底画像とは異なる時間に前記撮影光学系により該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とのサブトラクション画像を生成する生成手段と、
    　前記眼底を自発蛍光撮影して得た眼底画像における前記第１及び第２の領域に対応する位置に、前記サブトラクション画像に関する情報が合成された画像を表示手段に表示させる表示制御手段と、
    　を有することを特徴とする眼科撮影装置。
  18. 　前記波長選択手段は、
    　前記照明光学系の光路に対して挿脱自在である自発蛍光エキサイタフィルタと、
    　前記撮影光学系の光路に対して挿脱自在である自発蛍光バリアフィルタと、
    　を含むことを特徴とする請求項１７に記載の眼科撮影装置。
  19. 　被検眼の眼底を自発蛍光撮影して得た第１の眼底画像の一部である第１の領域と、該被検眼を該第１の眼底画像とは異なる時間に該眼底を自発蛍光撮影して得た第２の眼底画像の一部であり且つ該第１の領域に対応する位置にある第２の領域とのサブトラクション画像を生成する工程と、
    　前記眼底を自発蛍光撮影して得た眼底画像における前記第１及び第２の領域に対応する位置に、前記サブトラクション画像に関する情報が合成された画像を表示手段に表示させる工程と、
    　を有することを特徴とする画像処理方法。 
  20. 　前記サブトラクション画像と該位置を示す表示形態とのうち少なくとも一方を前記眼底画像に合成する工程を更に有することを特徴とする請求項１９に記載の画像処理方法。
  21. 　前記合成する工程において、前記眼底画像における前記位置に前記サブトラクション画像を合成し、
    　前記表示させる工程において、前記合成された合成画像を前記表示手段に表示させることを特徴とする請求項２０に記載の画像処理方法。
  22. 　前記合成する工程において、前記眼底画像における前記位置に該位置を示す表示形態を合成し、
    　前記表示させる工程において、前記合成された合成画像と前記サブトラクション画像とを並べて前記表示手段に表示させることを特徴とする請求項２０に記載の画像処理方法。
  23. 　被検眼の第１の画像の一部である第１の領域と、該第１の画像とは異なる時間に該被検眼を撮影して得た第２の画像の一部であり且つ該第１の領域に対応する位置にある第２の領域との変化を示す画像を生成する工程と、
    　前記被検眼の画像と前記変化を示す画像と前記位置とに基づいて第３の画像を生成する工程と、
    　を有することを特徴とする画像処理方法。
  24. 　請求項１９乃至２３のいずれか１項に記載の画像処理方法の各工程を実行させることを特徴とするプログラム。
PCT/JP2013/067842 2013-06-28 2013-06-28 画像処理装置及び画像処理方法 WO2014207904A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2013/067842 WO2014207904A1 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法
JP2015523787A JP6289462B2 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法
US14/317,393 US9820648B2 (en) 2013-06-28 2014-06-27 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/067842 WO2014207904A1 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
WO2014207904A1 WO2014207904A1 (ja) 2014-12-31
WO2014207904A9 true WO2014207904A9 (ja) 2015-11-26

Family

ID=52115293

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/067842 WO2014207904A1 (ja) 2013-06-28 2013-06-28 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US9820648B2 (ja)
JP (1) JP6289462B2 (ja)
WO (1) WO2014207904A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6013665B1 (ja) * 2014-11-26 2016-10-25 オリンパス株式会社 診断支援装置及び診断支援情報表示方法
JP6606846B2 (ja) * 2015-03-31 2019-11-20 株式会社ニデック Ｏｃｔ信号処理装置、およびｏｃｔ信号処理プログラム
US10002446B2 (en) * 2015-04-15 2018-06-19 Canon Kabushiki Kaisha Image processing apparatus and method of operation of the same
US10991137B2 (en) * 2015-06-11 2021-04-27 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and information processing system for display of medical images
JP6656063B2 (ja) * 2016-04-15 2020-03-04 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
JP7182350B2 (ja) * 2016-09-07 2022-12-02 株式会社ニデック 眼科解析装置、眼科解析プログラム
JP6833455B2 (ja) * 2016-10-31 2021-02-24 キヤノン株式会社 眼科撮影装置及びその制御方法、眼科撮影システム、並びに、プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04336677A (ja) 1991-05-14 1992-11-24 Canon Inc 画像処理方法及びこれを用いたシステム
JPH08110939A (ja) * 1994-10-12 1996-04-30 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JP2004329742A (ja) * 2003-05-12 2004-11-25 Canon Inc 画像表示装置、画像表示方法、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体
JP2005342282A (ja) * 2004-06-04 2005-12-15 Canon Inc 眼科撮影装置
JP4755430B2 (ja) 2005-03-10 2011-08-24 興和株式会社 眼底蛍光測定装置
JP2007066130A (ja) * 2005-09-01 2007-03-15 Matsushita Electric Ind Co Ltd 文書処理装置
JP2007105352A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 差分画像表示装置、差分画像表示方法およびそのプログラム
JP5085086B2 (ja) * 2006-10-04 2012-11-28 株式会社トプコン 眼底観察装置、眼底画像表示装置及びプログラム
JP5271157B2 (ja) * 2009-06-04 2013-08-21 株式会社トプコン 眼底画像解析装置、眼底撮影装置及びプログラム
JP4846042B2 (ja) * 2009-07-09 2011-12-28 キヤノン株式会社 眼科撮像装置、眼科システム及びプログラム
EP2301424B1 (de) * 2009-09-29 2015-07-08 OD-OS GmbH Ophthalmoskop mit einer Laservorrichtung
US20110103655A1 (en) * 2009-11-03 2011-05-05 Young Warren G Fundus information processing apparatus and fundus information processing method
US20110129133A1 (en) * 2009-12-02 2011-06-02 Ramos Joao Diogo De Oliveira E Methods and systems for detection of retinal changes
US7856135B1 (en) * 2009-12-02 2010-12-21 Aibili—Association for Innovation and Biomedical Research on Light and Image System for analyzing ocular fundus images
JP5404358B2 (ja) * 2009-12-08 2014-01-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5818458B2 (ja) * 2011-02-25 2015-11-18 キヤノン株式会社 画像処理装置、撮影システム、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US9820648B2 (en) 2017-11-21
JP6289462B2 (ja) 2018-03-07
WO2014207904A1 (ja) 2014-12-31
US20150002813A1 (en) 2015-01-01
JPWO2014207904A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
WO2014207901A9 (ja) 画像処理装置及び画像処理方法
JP6289462B2 (ja) 画像処理装置及び画像処理方法
JP6321430B2 (ja) 眼科装置
JP5432625B2 (ja) 眼科観察装置
US9615734B2 (en) Ophthalmologic apparatus
JP6656063B2 (ja) 画像処理装置及び画像処理方法、プログラム
JP6045895B2 (ja) 眼科観察装置
JP5941761B2 (ja) 眼科撮影装置及び眼科画像処理装置
JP6392275B2 (ja) 眼科撮影装置、眼科画像表示装置および眼科画像処理装置
JP6417807B2 (ja) 眼科用画像処理装置
JP5837143B2 (ja) 眼科観察装置、その制御方法、及びプログラム
JP5658305B2 (ja) 眼科観察装置、その制御方法、及びプログラム
JP6279682B2 (ja) 眼科観察装置
JP5032347B2 (ja) 眼科撮影装置
JP6099782B2 (ja) 眼科撮影装置
JP6084315B2 (ja) 眼底観察装置
JP2018023818A (ja) 眼科観察装置
JP5508140B2 (ja) 眼底撮像装置及びその処理方法
JP2014161500A (ja) 画像処理装置、眼科撮影装置及び方法、並びにプログラム
JP5160958B2 (ja) 眼底撮影装置及び眼底画像処理装置
JP6254729B2 (ja) 眼科撮影装置
JP6106300B2 (ja) 眼科撮影装置
JP2014083147A (ja) 眼科システム及びその制御方法、画像処理装置、並びに、プログラム
JP2020146489A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13888407

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase in:

Ref document number: 2015523787

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13888407

Country of ref document: EP

Kind code of ref document: A1