WO2019107342A1 - パノラマ眼底画像生成装置、およびプログラム - Google Patents

パノラマ眼底画像生成装置、およびプログラム Download PDF

Info

Publication number
WO2019107342A1
WO2019107342A1 PCT/JP2018/043526 JP2018043526W WO2019107342A1 WO 2019107342 A1 WO2019107342 A1 WO 2019107342A1 JP 2018043526 W JP2018043526 W JP 2018043526W WO 2019107342 A1 WO2019107342 A1 WO 2019107342A1
Authority
WO
WIPO (PCT)
Prior art keywords
fundus
image
fundus image
coefficient
pixel
Prior art date
Application number
PCT/JP2018/043526
Other languages
English (en)
French (fr)
Inventor
克己 薮崎
Original Assignee
興和株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 興和株式会社 filed Critical 興和株式会社
Priority to JP2019557231A priority Critical patent/JPWO2019107342A1/ja
Publication of WO2019107342A1 publication Critical patent/WO2019107342A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions

Definitions

  • the present invention relates to a panoramic fundus image generating apparatus and program.
  • an imaging device which causes a light to be incident from a pupil and picks up a fundus oculi image based on reflected light from the fundus.
  • imaging is performed by causing the subject to gaze at the fixation lamp, but by changing the position of the fixation lamp, it is possible to image different places of the fundus (for example, Patent Document) 1).
  • a method of acquiring a wide range of fundus images by connecting the images of the same subject eye photographed in this manner is known as a panoramic photographing method (see, for example, Patent Document 2).
  • JP 2004-135941 A JP, 2009-112617, A JP, 2017-55916, A
  • a line may enter at a joint portion of a panoramic image connecting blood vessels, or a blood vessel may be broken at a joint portion, which may cause a double appearance or a change in thickness. Or there was a case that disappeared.
  • the present invention has been made in consideration of such circumstances, and is a panoramic fundus image generating apparatus capable of providing natural appearance while maintaining necessary information of panoramic fundus images connecting fundus images.
  • One purpose is to provide a program.
  • One aspect of the present invention for solving the above problems is an acquisition unit for acquiring a plurality of fundus images obtained by imaging different ranges in the fundus of the eye to be examined, and a plurality of acquisitions obtained by the acquisition unit.
  • a distortion correction unit that performs distortion correction processing on a fundus image, and a first fundus image and a second fundus image to be joined together among a plurality of fundus images on which distortion correction processing has been performed by the distortion correction unit Regarding the image
  • a positioning unit that determines a positional relationship when connecting the first fundus image and the second fundus image based on the characteristic points in each fundus image, and the positional relationship determined by the positioning unit
  • the pixel value of the first pixel corresponding to the target pixel of the first fundus image is multiplied by the first coefficient as the pixel value of the target pixel included in the overlapping region of the first fundus image and the second fundus image
  • FIG. 6 is a front view of the imaging device 5; It is a figure which shows an example of the 1st fundus oculi image F11. It is a figure which shows an example of 2nd fundus oculi image F21. It is a figure which shows an example of the image which performed distortion correction processing with respect to the 1st fundus oculi image F11. It is a figure which shows an example of the image which performed distortion correction processing with respect to 2nd fundus oculi image F21.
  • FIG. 5 is a flowchart showing an example of processing performed by the panoramic fundus oculi image generation device 100.
  • 15 is a flowchart illustrating an example of processing performed by the image combining unit 129. It is a figure which shows an example which connected the fundus image of five sheets. It is a figure which shows an example in case three or more ocular fundus images overlap in the same area
  • FIG. 1 is a diagram showing an overall configuration of a fundus imaging system 1 including a panoramic fundus image generating apparatus according to an embodiment.
  • the fundus imaging system 1 includes an imaging device 5 and a panoramic fundus image generating apparatus 100.
  • the imaging device 5 and the panoramic fundus oculi image generation device 100 may be connected by wire or may be connected by near field communication such as Bluetooth (registered trademark).
  • the imaging device 5 and the panoramic fundus oculi image generation device 100 may communicate with each other using the network NW.
  • the network NW includes, for example, some or all of a wide area network (WAN), a local area network (LAN), the Internet, a provider device, a wireless base station, a dedicated line, and the like.
  • FIG. 2 is a front view of the imaging device 5.
  • the imaging device 5 includes a jaw base 10, a base 15, and an imaging unit 20.
  • the jaw base 10 is a portion on which the subject's jaw is placed.
  • the base 15 supports the jaw base 10 and the imaging unit 20.
  • the base 15 supports the imaging unit 20 so as to be able to move in the horizontal direction (arrows R and L directions in the drawing) within a predetermined range.
  • the examiner adjusts the relative positional relationship between the jaw base 10 and the imaging unit 20 so that the imaging unit 20 can capture the eye of the subject in a state where the jaw is placed on the jaw base 10 be able to.
  • the imaging unit 20 is, for example, a scanning laser ophthalmoscope (SLO).
  • the imaging unit 20 may be a fundus camera that captures a fundus image using a CCD camera.
  • the imaging unit 20 images different ranges in the fundus of the subject's eye with respect to the same subject's eye, and outputs image data of a plurality of captured fundus images.
  • the range different from one another includes one that includes the same region in part.
  • the imaging unit 20 images different ranges by changing the incident position and the incident angle of light incident from the pupil. Further, the imaging unit 20 may capture different ranges by changing the relative position of the objective lens of the fundus camera with respect to the eye to be examined.
  • the panoramic fundus image generating apparatus 100 includes a communication unit 111, an input unit 113, a display unit 115, a storage unit 117, an imaging control unit 121, an acquisition unit 123, and a distortion correction unit. 125, a positioning unit 127, and an image combining unit 129.
  • the communication unit 111 transmits and receives information to and from the imaging device 5 connected by wire or wirelessly.
  • the communication unit 111 may have hardware (for example, an antenna and a transmission / reception device) for connecting to the network NW using a cellular network, a Wi-Fi network, or the like.
  • the input unit 113 includes some or all of various keys, buttons, dial switches, a mouse, and the like.
  • the input unit 113 may be, for example, a touch panel TP integrally formed with the display unit 115.
  • the display unit 115 is, for example, an LCD (Liquid Crystal Display) or an organic EL (Electroluminescence) display device.
  • the storage unit 117 is, for example, a random access memory (RAM), a read only memory (ROM), a flash memory such as a solid state drive (SSD), a hard disk drive (HDD), or the like.
  • the storage unit 117 stores, for example, information such as fundus image data 171 and coefficient data 173.
  • the fundus oculi image data 171 is image data of a fundus oculi image captured by the imaging device 5 (hereinafter simply referred to as a fundus oculi image).
  • the fundus oculi image data 171 may include image data processed by the distortion correction unit 125, the positioning unit 127, the image combining unit 129, and the like.
  • Identification information (hereinafter referred to as an image ID) is assigned to the fundus image, and information indicating the position in the fundus at which each fundus image is captured, information indicating the subject, and the like are associated with each other. .
  • the coefficient data 173 is a coefficient used when connecting a plurality of fundus images to generate a panoramic fundus image. This coefficient will be described later.
  • the imaging control unit 121, the acquisition unit 123, the distortion correction unit 125, the positioning unit 127, and the image combining unit 129 are realized, for example, by a hardware processor such as a central processing unit (CPU) executing a program (software). Ru.
  • a hardware processor such as a central processing unit (CPU) executing a program (software). Ru.
  • some or all of these components may be hardware (circuits) such as LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), GPU (Graphics Processing Unit), etc. Circuit (including circuitry) or may be realized by cooperation of software and hardware.
  • the program may be stored in advance in a storage device such as a hard disk drive (HDD) or flash memory of a computer, or is stored in a removable storage medium such as a DVD or a CD-ROM, and the storage medium is a drive. It may be installed in the storage device by being attached to the device.
  • a storage device such as a hard disk drive (HDD) or flash memory of a computer
  • a removable storage medium such as a DVD or a CD-ROM
  • the imaging control unit 121 controls the imaging device 5 based on the instruction of the examiner accepted by the input unit 113. For example, when the examiner instructs to capture a panoramic fundus image, the imaging control unit 121 controls the imaging device 5 to capture different ranges.
  • the acquisition unit 123 acquires the fundus oculi image captured by the imaging device 5 using the communication unit 111.
  • the acquisition unit 123 stores the acquired fundus oculi image in the fundus oculi image data 171 of the storage unit 117.
  • the acquisition unit 123 may output the acquired fundus image directly to the distortion correction unit 125.
  • the acquiring unit 123 acquires the first fundus image F11 illustrated in FIG. 3 and the second fundus image F21 illustrated in FIG. 4 as a fundus image will be described.
  • FIG. 3A shows an example of the first fundus image F11.
  • FIG.3 (b) is a schematic diagram of partial area
  • FIG. 4A shows an example of the second fundus oculi image F21.
  • FIG. 4 (b) is a schematic view of the partial region F21a shown in FIG. 4 (a).
  • ⁇ 1 shown in FIG. 3 (b) and ⁇ 2 shown in FIG. 4 (b) are branch angles at the same branch point.
  • the first fundus oculi image F11 and the second fundus oculi image F21 are fundus oculi images obtained by imaging different ranges in the fundus of the subject eye with respect to the same subject eye.
  • the first fundus image F11 and the second fundus image F21 change the relative position between the optical system of the device and the eye to be examined (pupil), and pick up different locations by changing the incident angle at which the illumination light enters the anterior segment Image.
  • the first fundus oculi image F11 and the second fundus oculi image F21 include a fundus oculi portion (bright portion) and the other outer edge portion (dark portion).
  • the fundus parts in the first fundus image F11 and the second fundus image F21 have a shape close to a circle.
  • the distortion correction unit 125 performs a process of correcting distortion (hereinafter, referred to as distortion correction process) on the fundus image read from the storage unit 117 (or the fundus image input from the acquisition unit 123).
  • the distortion correction processing is processing for correcting distortion that occurs when the fundus of the eye to be examined which is a sphere is represented by a plane.
  • the distortion correction unit 125 may correct distortion so that the shape of the image of the fundus part included in the fundus image approximates a square.
  • FIG. 5A is a view showing an example of an image (first fundus image F12) obtained by performing distortion correction processing on the first fundus image F11 shown in FIG. 3A.
  • FIG. 5 (b) is a schematic view of the partial region F12a shown in FIG.
  • FIG. 6A is a view showing an example of an image (second fundus image F22) obtained by performing distortion correction processing on the second fundus image F21 shown in FIG. 4A.
  • FIG. 6 (b) is a schematic view of the partial region F22a shown in FIG. 6 (a). ⁇ 3 shown in FIG. 5B and ⁇ 4 shown in FIG. 6B are branch angles at the same branch point.
  • the positioning unit 127 determines the positional relationship between the first fundus image F12 and the second fundus image F22 (hereinafter also referred to as the positional relationship between both images) of the plurality of fundus images subjected to the distortion correction processing. decide.
  • the positioning unit 127 determines, based on the position of the blood vessel in each fundus image, the positional relationship when connecting the two images so that the same blood vessel overlaps in the overlapping region of the first fundus image F12 and the second fundus image F22. .
  • the positioning unit 127 acquires the feature amount of the branch point of the blood vessel included in the fundus image, and determines the positional relationship between both images based on the acquired feature amount. Specifically, the positioning unit 127 performs image processing on the fundus oculi image to acquire feature quantities indicating the angle and shape of the blood vessel at the bifurcation point, so that bifurcation points having similar feature quantities overlap each other. Determine the positional relationship between the two images.
  • the positioning unit 127 acquires blood vessel structure images F13 and F23 as illustrated in FIGS. 7 and 8 by performing image processing on the fundus oculi image, for example.
  • FIG. 7 is a view showing an example of a blood vessel structure image F13 representing the blood vessel structure of the first fundus oculi image F12.
  • FIG. 8 is a view showing an example of a blood vessel structure image F23 showing the blood vessel structure of the second fundus oculi image F22.
  • the positioning unit 127 uses the blood vessel structure images F13 and F23 to determine the positional relationship between the images so that the bifurcation points having similar feature amounts overlap each other.
  • the image combining unit 129 derives pixel values of pixels included in the overlap region (hereinafter referred to as overlap region pixels) in the positional relationship determined by the positioning unit 127, and uses the derived pixel values of the overlap region pixels.
  • a panoramic fundus image F31 is generated by combining the first fundus image F12 and the second fundus image F22.
  • the pixel value is, for example, luminance, but may be a value indicating an intensity for each color.
  • FIG. 9 is a reference diagram for explaining how to connect panoramic fundus images.
  • the first fundus oculi image F12 includes an overlapping region R14 which is an overlapping portion with the second fundus oculi image F22, and other non-overlapping regions R15 and R16.
  • the second fundus oculi image F22 includes an overlapping area R24 which is an overlapping portion with the first fundus oculi image F11, and other non-overlapping areas R25 and R26.
  • the non-overlapping regions R16 and R26 are outer edges cut out by the image combining unit 129. As shown in FIGS. 3 and 4, the outer edge of the fundus image is black.
  • the image combining unit 129 excises portions (non-overlapping regions R16 and R26) in which black (with a luminance value of 0) is included in the side overlapping with the other fundus oculi screen.
  • the panoramic fundus image F31 includes an overlapping area R32 based on the overlapping area R14 and the overlapping area R24, a non-overlap area R15 of the first fundus image F11, and a non-overlap area R25 of the second fundus image F21.
  • a portion including black (with a luminance value of 0) at the outer edge portion is trimmed by the image combining unit 129.
  • the image combining unit 129 may cut out a portion including black on the other side at the step of cutting out the non-overlapping regions R16 and R26.
  • the center set at the center in the Y axis direction in the overlapping region R14.
  • the line L1 and the center line L2 set at the center in the Y-axis direction in the overlapping area R24 coincide with the center line L3 in the overlapping area R32. That is, the center line L3 is set at a position where the distance to the non-overlapping region R15 is equal to the distance to the non-overlapping region R25 in the overlapping region R32.
  • each pixel forming the overlapping region R32 corresponds to one pixel included in the overlapping region R14 and one pixel included in the overlapping region R24. That is, each pixel constituting the overlapping region R32 corresponds to overlapping pixels (one pixel included in the overlapping region R14 and one pixel included in the overlapping region R24) in a state where both images are positioned. In this manner, one pixel included in the overlapping areas R14 and R24 corresponding to each pixel forming the overlapping area R32 is referred to as a corresponding pixel.
  • the image combining unit 129 sets a pixel value of a corresponding pixel in the overlapping area R14 to a value (first pixel value) obtained by multiplying the pixel value of the corresponding pixel in the overlapping area R14 with the pixel value of each overlapping area pixel included in the overlapping area R32.
  • the sum of the pixel value of the corresponding pixel in and the value (second pixel value) obtained by multiplying the second coefficient is derived.
  • the first coefficient and the second coefficient have a predetermined relationship.
  • An example of the relationship between the first coefficient and the second coefficient will be described with reference to FIG.
  • FIG. 10 is a diagram showing an example of the relationship between the first coefficient and the second coefficient.
  • the image combining unit 129 sets the first coefficient C1 larger than the second coefficient C2 for pixels included in the overlapping region R32 in a region closer to the non-overlapping region R15 of the first fundus oculi image F12 than the center line L3. Do.
  • the image combining unit 129 makes the second coefficient C2 larger than the first coefficient C1 for pixels included in the overlapping region R32 in a region closer to the non-overlapping region R25 of the second fundus oculi image F22 than the center line L3.
  • the image combining unit 129 increases the first coefficient C1 and decreases the second coefficient C2 in the overlapping area pixel closer to the non-overlapping area R15 of the first fundus oculi image F12 in the overlapping area R32.
  • the image combining unit 129 increases the second coefficient C2 and decreases the first coefficient C1 as overlapping region pixels closer to the non-overlapping region R25 of the second fundus oculi image F22 in the overlapping region R32.
  • the sum of the first coefficient and the second coefficient set for each of the pixels included in the overlapping region R32 has a relationship of one.
  • FIG. 11 is a diagram showing a specific example of a method of deriving the pixel value of the overlapping area pixel.
  • FIG. 11A shows an example of the arrangement of pixels in all the overlapping regions R32. For example, in the overlapping region R32, six pixels in the X-axis direction and ten pixels in the Y-axis direction, for a total of 60 pixels, are arranged. In the illustrated example, the number of pixels is small to simplify the description. It is assumed that the reference numerals P11 to P70 are assigned to each pixel. Although illustration of all the codes is omitted, the code of the value added one by one is given in the Y-axis direction.
  • FIGS. 11 (b), (c) and (d) respectively show a part of the first fundus oculi image F12, the second fundus oculi image F22, and the panoramic fundus oculi image F31.
  • the arrangement of pixels in the overlapping regions R14 and R24 is also the same as the arrangement of pixels in the overlapping region R32, and the pixels corresponding to the overlapping region pixels will be described using the same reference numerals.
  • first coefficient C1 0 In each pixel of the overlapping region R14, the following first coefficient C1 is set.
  • the sum of the first coefficient and the second coefficient is 1 in overlapping pixels (pixels of the same symbol).
  • the image combining unit 129 derives the pixel values of the overlapping area pixels P11 to P70.
  • FIG. 12 is a flowchart showing an example of processing by the panoramic fundus oculi image generation device 100.
  • the imaging control unit 121 determines whether the imaging instruction has been received from the examiner by the input unit 113 (step S ⁇ b> 11). The imaging control unit 121 repeats the process of step S11 until an imaging instruction is received.
  • the imaging control unit 121 controls the imaging device 5 according to the instruction (step S12). Then, the fundus oculi image is captured by the imaging device 5.
  • the acquisition unit 123 acquires a fundus oculi image captured by the imaging device 5 (step S13).
  • the imaging control unit 121 determines whether or not all the instructed ranges have been imaged (step S14). If the entire range is not imaged, the imaging control unit 121 returns to step S12 and repeats the process. For example, the imaging control unit 121 instructs the imaging device 5 to change the incident angle of the laser light to capture a different range.
  • the distortion correction unit 125 performs distortion correction processing on all fundus images acquired by the acquisition unit 123 (step S15).
  • the positioning unit 127 acquires the feature amount of the branch point of the blood vessel included in the fundus image (step S16).
  • the positioning unit 127 determines the positional relationship between the first fundus image and the second fundus image to be joined together among the plurality of fundus images subjected to the distortion correction processing based on the acquired feature amount (step S17).
  • the image combining unit 129 derives the pixel value of the overlapping area pixel in the positional relationship determined by the positioning unit 127, and uses the pixel value of the derived overlapping area pixel to calculate the first fundus image and the second fundus image.
  • a composite panoramic fundus image is generated (step S18).
  • the image combining unit 129 causes the display unit 115 to display the generated panoramic fundus image (step S19).
  • FIG. 13 is a flowchart illustrating an example of processing performed by the image combining unit 129.
  • the image combining unit 129 determines overlapping regions in each of the first fundus image and the second fundus image whose positional relationship has been determined by the positioning unit 127 (step S171). Here, the image combining unit 129 may determine each center line in the determined overlapping area. Next, the image combining unit 129 derives a first pixel value obtained by multiplying the pixel value of the pixel included in the overlapping area of the first fundus image by the first coefficient for each pixel corresponding to the overlapping area pixel (step S172). The second pixel value is derived by multiplying the pixel value of the pixel included in the overlapping area of the second fundus image by the second coefficient (step S173).
  • the image combining unit 129 derives the sum of the first pixel value derived in step S172 and the second pixel value derived in step S173, and sets the sum as the pixel value of the overlapping area pixel (step S174). Then, the image combining unit 129 returns to step S172 and repeats the process until the above process is performed on the pixels corresponding to all overlapping area pixels (step S175).
  • the image combining unit 129 calculates the pixel values of the derived overlapping area pixels, the pixel values of pixels included in the non-overlapping area of the first fundus image, and the second fundus image A panoramic fundus oculi image is generated based on the pixel values of the pixels included in the non-overlapping area (step S176).
  • the panoramic fundus image generation apparatus 100 may generate a panoramic fundus image by connecting three or more fundus images without being limited to two by the above-described processing. For example, as shown in FIG. 14, five fundus images may be connected to generate a panoramic fundus image.
  • FIG. 14 is a view showing an example in which five fundus images are connected.
  • fundus images F102 and F103 are connected in the left-right direction of the fundus image F101, respectively.
  • a fundus oculi image F104 is connected to the fundus oculi image F102
  • a fundus oculi image F105 is connected to the fundus oculi image F103.
  • both the influence by the pixel value of the first fundus image and the influence by the pixel value of the second fundus image are considered as the pixel value of the overlapping area pixel.
  • the influence of the pixel value of each fundus image on the overlapping area pixel can be adjusted using the coefficient. This makes it possible to have a natural appearance while maintaining necessary information of panoramic images connecting images.
  • the joint portion looks unnatural.
  • a panoramic fundus image is generated by adopting a brighter pixel value in corresponding pixels while overlapping two fundus images and joining them in order to make the appearance natural, necessary information can not be maintained. There was a case. This is because blood vessels are darker than the other parts, and therefore, adopting a brighter pixel value results in an image in which some of the blood vessels have disappeared.
  • the image combining unit 129 can solve such a problem by using the coefficients to determine the pixel value of the overlapping area pixel by using the pixel values of both images at a predetermined ratio.
  • FIG. 15 is a diagram showing an example in which three or more fundus images overlap in the same region.
  • the fundus images F112 and F113 are connected in the lateral direction of the fundus image F111, and the fundus images F114 and F115 are connected in the vertical direction of the fundus image F111.
  • the fundus oculi image F111 has three or more fundus oculi images overlapped at each vertex.
  • the fundus oculi image F111 overlaps with the fundus oculi image F114 in a part of the area overlapping the fundus oculi image F113.
  • the image combining unit 129 excises a part of the fundus images so that only two fundus images overlap in the overlapping area where the three or more fundus images overlap.
  • the image combining unit 129 excises an area including one vertex of the fundus oculi image F113 at the cutting line L4, and excises an area including one vertex of the fundus oculi image F114.
  • the cutting line L4 is, for example, a line connecting two points at which the sides of the fundus oculi image F113 and the fundus oculi image F114 intersect.
  • FIG. 16 is a diagram for explaining duplication of fundus images after excision.
  • a gap is opened in the cut portions of the fundus oculi images F113 and F114 for easy understanding, but the image combining unit 129 excises a part of the image so as to have no gap. By doing this, only the two fundus images overlap in the overlapping area, so that the image combining unit 129 can generate a panoramic fundus image by performing the same process as described above.
  • the positioning unit 127 may determine the positional relationship between both images based on the ratio of the overlapping area to the non-overlapping area.
  • the ratio of overlapping areas is preferably about half that of non-overlapping areas.
  • the size of the overlapping area may be determined in advance by the number of pixels. By securing the size of the overlapping region to some extent, the joint portion can be smoothed.
  • the image combining unit 129 may determine the first coefficient and the second coefficient based on the length in the X-axis direction of the overlapping region R32 and the number of pixels. For example, the image combining unit 129 determines the step (interval) of the coefficient in the X-axis direction so that the coefficient satisfies the predetermined relationship as described above.
  • the image combining unit 129 may determine the first coefficient and the second coefficient based on the average value of the luminance in the overlapping area of each fundus image.
  • the first coefficient described with reference to FIG. 10 is higher in the average value of the luminance values in the overlapping area of the first fundus image than in the overlapping area of the second fundus image (that is, when the entire image is bright).
  • a value obtained by adding 0.2 to T may be used as the adjusted first coefficient
  • a value obtained by subtracting 0.2 from the first coefficient described with reference to FIG. 10 may be used as the adjusted second coefficient.
  • the image combining unit 129 derives the pixel value of the overlapping area pixel using the adjusted first coefficient and the adjusted second coefficient.
  • the first coefficient and the second coefficient are not limited to the relationship shown in FIG.
  • the slope in the non-overlapping region is not limited to a constant value, but may be a slope that draws a gentle curve as shown in FIG.
  • SYMBOLS 1 ... fundus imaging system 5, 5 ... imaging device 5, 10 ... jaw stand, 15 ... base, 20 ... imaging part, 100 ... panorama fundus oculi image generation apparatus, 111 ... communication part, 113 ... input part, 115 ... display part, 117 ... storage unit 121 imaging control unit 123 acquisition unit 125 distortion correction unit 127 positioning unit 129 image combining unit 171 fundus image data 173 coefficient data

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

パノラマ眼底画像生成装置は、位置決め部により位置関係が決定された第１眼底画像と第２眼底画像との重複領域に含まれる対象画素の画素値として、第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出し、導出した画素値を用いて、第１眼底画像と第２眼底画像とを合成したパノラマ眼底画像を生成する画像合成部と、を備える。

Description

パノラマ眼底画像生成装置、およびプログラム
　本発明は、パノラマ眼底画像生成装置、およびプログラムに関する。
　従来、瞳孔から光を入射させて、眼底からの反射光に基づいて、眼底画像を撮像する撮像装置が知られている。この種の撮像装置においては、被検者に固視灯を注視させて撮影を行うが、その固視灯の位置を変えることにより、眼底の異なる場所を撮影することができる（例えば、特許文献１参照）。またこのように撮影された同一被検眼の画像をつなぎ合わせることにより広い範囲の眼底画像を取得する方法がパノラマ撮影方法として知られている（例えば、特許文献２参照）。しかしながらこのように複数の眼底画像を繋ぎ合わせてパノラマ画像を生成する場合、眼底が平面でないため各画像において歪みが生じ、複数の眼底画像の重複部分において、同一の血管が繋がらないことが知られている。これに対して、歪み補正の処理を施した眼底画像を用いてパノラマ画像を生成するものが知られている（例えば、特許文献３参照）。
特開２００４－１３５９４１号公報 特開２００９－１１２６１７号公報 特開２０１７－５５９１６号公報
　しかしながら、従来の技術では、血管同士を繋げたパノラマ画像の繋ぎ目部分に線が入ってしまったり、繋ぎ目部分で血管が切れてしまう、ずれてしまう、二重に出現する、太さが変わる、あるいは消失する場合等があった。
　本発明は、このような事情を考慮してなされたものであり、眼底画像同士を繋いだパノラマ眼底画像の必要な情報を維持しつつ自然な見た目とすることができるパノラマ眼底画像生成装置、およびプログラムを提供することを目的の一つとする。
　上記問題を解決する本発明の一態様は、同一の被検眼について、前記被検眼の眼底における互いに異なる範囲を撮像した複数の眼底画像を取得する取得部と、前記取得部により取得された複数の眼底画像に対して、歪みを補正する処理を施す歪補正部と、前記歪補正部により歪みを補正する処理が施された複数の眼底画像のうち互いに繋ぎ合わされる第１眼底画像と第２眼底画像について、それぞれの眼底画像における特徴箇所に基づいて、前記第１眼底画像と前記第２眼底画像とを繋ぐ際の位置関係を決定する位置決め部と、前記位置決め部により位置関係が決定された前記第１眼底画像と前記第２眼底画像との重複領域に含まれる対象画素の画素値として、前記第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、前記第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出し、前記導出した画素値を用いて、前記第１眼底画像と前記第２眼底画像とを合成したパノラマ眼底画像を生成する画像合成部と、を備えるパノラマ眼底画像生成装置である。
　本発明によれば、眼底画像同士を繋いだパノラマ眼底画像の必要な情報を維持しつつ自然な見た目とすることができる。
実施形態に係るパノラマ眼底画像生成装置を含む眼底撮像システム１の全体構成を示す図である。 撮像装置５の正面図である。 第１眼底画像Ｆ１１の一例を示す図である。 第２眼底画像Ｆ２１の一例を示す図である。 第１眼底画像Ｆ１１に対して歪補正処理を施した画像の一例を示す図である。 第２眼底画像Ｆ２１に対して歪補正処理を施した画像の一例を示す図である。 第１眼底画像Ｆ１２の血管構造を表す血管構造画像Ｆ１３の一例を示す図である。 第２眼底画像Ｆ２２の血管構造を表す血管構造画像Ｆ２３の一例を示す図である。 パノラマ眼底画像の繋ぎ合わせ方について説明するための参照図である。 第１係数と第２係数との関係の一例を示す図である。 重複領域画素の画素値の導出方法の具体例を示す図である。 パノラマ眼底画像生成装置１００による処理の一例を示すフローチャートである。 画像合成部１２９による処理の一例を示すフローチャートである。 五枚の眼底画像の連結した一例を示す図である。 同一領域において三以上の眼底画像が重なる場合の一例を示す図である。 切除後の眼底画像の重複について説明するための図である。 第１係数と第２係数との関係の別の例を示す図である。
　以下、図面を参照し、本発明のパノラマ眼底画像生成装置およびプログラムの実施形態について説明する。
　図１は、実施形態に係るパノラマ眼底画像生成装置を含む眼底撮像システム１の全体構成を示す図である。図１に示す通り、眼底撮像システム１は、撮像装置５と、パノラマ眼底画像生成装置１００とを備える。撮像装置５とパノラマ眼底画像生成装置１００とは、有線で接続されてもよく、Bluetooth（登録商標）等の近距離無線通信で接続されてもよい。また、撮像装置５とパノラマ眼底画像生成装置１００は、ネットワークＮＷを用いて互いに通信してもよい。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうちの一部または全部を含む。
　図２は、撮像装置５の正面図である。図２に示す通り、撮像装置５は、顎台１０と、ベース１５と、撮像部２０とを備える。顎台１０は、被検者の顎を載せる部分である。ベース１５は、顎台１０と撮像部２０とを支持している。ベース１５は、所定範囲内で水平方向（図中の矢印Ｒ，Ｌ方向）の移動が可能なように、撮像部２０を支持している。これにより、検査者は、顎台１０に顎が載せられた状態の被検者の眼を撮像部２０が撮像できるように、顎台１０と撮像部２０との相対的な位置関係を調整することができる。
　撮像部２０は、例えば、走査型レーザー検眼鏡（Scanning Laser Ophthalmoscope：ＳＬＯ）である。なお、撮像部２０は、ＣＣＤカメラを用いて眼底画像を撮像する眼底カメラであってもよい。
　撮像部２０は、同一の被検眼について、被検眼の眼底における互いに異なる範囲を撮像し、撮像した複数の眼底画像の画像データを出力する。互いに異なる範囲には、一部において同一領域を含むものも含まれる。撮像部２０は、瞳孔から入射する光の入射位置や入射角度を変えることにより、互いに異なる範囲を撮像する。また、撮像部２０は、被検眼に対する眼底カメラの対物レンズの相対的な位置を変更することにより、互いに異なる範囲を撮像してもよい。
　次に、図１に戻って、パノラマ眼底画像生成装置１００について説明する。図１に示す通り、パノラマ眼底画像生成装置１００は、例えば、通信部１１１と、入力部１１３と、表示部１１５と、記憶部１１７と、撮像制御部１２１と、取得部１２３と、歪補正部１２５と、位置決め部１２７と、画像合成部１２９とを備える。
　通信部１１１は、有線あるいは無線で接続される撮像装置５との間で、情報の送受信を行う。また、通信部１１１は、セルラー網やＷｉ－Ｆｉ網等を用いて、ネットワークＮＷに接続するためのハードウェア（例えば、アンテナおよび送受信装置）などを有していてもよい。
　入力部１１３は、各種キー、ボタン、ダイヤルスイッチ、マウスなどのうち一部または全部を含む。また、入力部１１３は、例えば、表示部１１５と一体として形成されるタッチパネルＴＰであってもよい。
　表示部１１５は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置などである。
　記憶部１１７は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などである。記憶部１１７には、例えば、眼底画像データ１７１、係数データ１７３などの情報が格納される。
　眼底画像データ１７１は、撮像装置５により撮像された眼底画像の画像データ（以下、単に眼底画像と記す）である。なお、眼底画像データ１７１には、歪補正部１２５、位置決め部１２７、画像合成部１２９などにより処理された画像データが含まれてもよい。眼底画像には、識別情報（以下、画像ＩＤと記す）が割り当てられており、各眼底画像が撮像された眼底内の位置を示す情報や、被検者を示す情報等が対応付けられている。
　係数データ１７３は、複数の眼底画像を繋いでパノラマ眼底画像を生成する際に用いられる係数である。この係数については、後述する。
　撮像制御部１２１、取得部１２３、歪補正部１２５、位置決め部１２７、および画像合成部１２９は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めコンピュータのＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。
　撮像制御部１２１は、入力部１１３により受け付けられた検査者の指示に基づいて、撮像装置５を制御する。例えば、検査者によりパノラマ眼底画像の撮像が指示された場合、撮像制御部１２１は、互いに異なる範囲を撮像するよう撮像装置５を制御する。
　取得部１２３は、通信部１１１を用いて、撮像装置５により撮像された眼底画像を取得する。取得部１２３は、取得した眼底画像を、記憶部１１７の眼底画像データ１７１に格納する。また、取得部１２３は、取得した眼底画像を、直接、歪補正部１２５に出力してもよい。以下、取得部１２３が、眼底画像として、図３に示す第１眼底画像Ｆ１１と、図４に示す第２眼底画像Ｆ２１とを取得した例を交えて、説明する。
　図３（ａ）は、第１眼底画像Ｆ１１の一例を示す図である。図３（ｂ）は、図３（ａ）に示す一部領域Ｆ１１ａの模式図である。図４（ａ）は、第２眼底画像Ｆ２１の一例を示す図である。図４（ｂ）は、図４（ａ）に示す一部領域Ｆ２１ａの模式図である。図３（ｂ）に示すθ１と図４（ｂ）に示すθ２とは、それぞれ同じ分岐点における分岐角度である。第１眼底画像Ｆ１１と第２眼底画像Ｆ２１とは、同一の被検眼について、被検眼の眼底における互いに異なる範囲を撮像した眼底画像である。第１眼底画像Ｆ１１と第２眼底画像Ｆ２１は、装置の光学系と被検眼（瞳孔）との相対位置を変えて、照明光が前眼部に入射する入射角度を変えることで異なる場所を撮像した画像である。図示の通り、第１眼底画像Ｆ１１と第２眼底画像Ｆ２１には、眼底部分（明るいところ）と、それ以外の外縁部分（暗いところ）が含まれる。第１眼底画像Ｆ１１と第２眼底画像Ｆ２１における眼底部分は、円に近い形状をしている。
　歪補正部１２５は、記憶部１１７から読み出した眼底画像（あるいは、取得部１２３から入力する眼底画像）に対して、歪みを補正する処理（以下、歪補正処理と記す）を施す。歪補正処理は、球体である被検眼の眼底を平面で表したときに生じる歪みを補正する処理である。また、歪補正部１２５は、眼底画像に含まれる眼底部分の画像の形状を、正方形に近似させるように歪みを補正してもよい。図５（ａ）は、図３（ａ）に示す第１眼底画像Ｆ１１に対して歪補正処理を施した画像（第１眼底画像Ｆ１２）の一例を示す図である。図５（ｂ）は、図５（ａ）に示す一部領域Ｆ１２ａの模式図である。同様に図６（ａ）は、図４（ａ）に示す第２眼底画像Ｆ２１に対して歪補正処理を施した画像（第２眼底画像Ｆ２２）の一例を示す図である。図６（ｂ）は、図６（ａ）に示す一部領域Ｆ２２ａの模式図である。図５（ｂ）に示すθ３と図６（ｂ）に示すθ４とは、それぞれ同じ分岐点における分岐角度である。
　この歪み補正を行う効果の一例を説明する。例えばＦ１１中の視神経乳頭部の上部方向の血管の分岐点において、その血管の分岐角度：θ１は４４．２°であるが、Ｆ２１中での同じ場所での分岐角度：θ２は３８．５°になっている。よってθ１とθ２とが約４°も異なるので、このままＦ１１とＦ２１で繋ぎ合わせをしても、境界部分での血管がうまく繋がらないことが予想できる。そこで両画像について歪み補正処理をすると、Ｆ１２での分岐角度：θ３は４２．７°、Ｆ２２での分岐角度：θ４は４３．０°と、ほとんど差はなくなったので、良好な繋ぎ合わせができると考えられる。
　位置決め部１２７は、歪補正処理が施された複数の眼底画像のうち、互いに繋ぎ合わされる第１眼底画像Ｆ１２と第２眼底画像Ｆ２２との位置関係（以下、両画像の位置関係とも記す）を決定する。位置決め部１２７は、それぞれの眼底画像における血管の位置に基づき、第１眼底画像Ｆ１２と第２眼底画像Ｆ２２の重複領域において同一の血管が重なるように、両画像を繋ぐ際の位置関係を決定する。
　例えば、位置決め部１２７は、眼底画像に含まれる血管の分岐点の特徴量を取得し、取得した特徴量に基づいて、両画像の位置関係を決定する。具体的に言うと、位置決め部１２７は、眼底画像を画像処理することにより、分岐点における血管の角度や形状を示す特徴量を取得し、特徴量が類似する分岐点同士が重なるようにして、両画像の位置関係を決定する。
　位置決め部１２７は、例えば、眼底画像を画像処理することにより、図７，８に示すような血管構造画像Ｆ１３、Ｆ２３を取得する。図７は、第１眼底画像Ｆ１２の血管構造を表す血管構造画像Ｆ１３の一例を示す図である。図８は、第２眼底画像Ｆ２２の血管構造を表す血管構造画像Ｆ２３の一例を示す図である。位置決め部１２７は、血管構造画像Ｆ１３、Ｆ２３を用いて、特徴量が類似する分岐点同士が重なるように、両画像の位置関係を決定する。
　上述のように、歪補正部１２５により歪補正処理が施された眼底画像Ｆ１２，Ｆ２２に基づく血管構造画像Ｆ１３，Ｆ２３を用いて、両画像の位置関係を決定することにより、血管構造の歪みを防止し、同一の血管の重なる位置が一致する可能性が高めることができる。
　画像合成部１２９は、位置決め部１２７により決定された位置関係において、重複領域に含まれる画素（以下、重複領域画素と記す）の画素値を導出し、導出した重複領域画素の画素値を用いて、第１眼底画像Ｆ１２と第２眼底画像Ｆ２２とを合成したパノラマ眼底画像Ｆ３１を生成する。画素値は、例えば、輝度であるが、色彩ごとの強度を示す値であってもよい。
　ここで、図９を参照して、パノラマ眼底画像Ｆ３１の繋ぎ合わせ方の一例について説明する。図９は、パノラマ眼底画像の繋ぎ合わせ方について説明するための参照図である。
図示の例では、各画像のＸ軸とＹ軸とが一致しており、回転方向における歪みはないものとする。
　図９に示す通り、第１眼底画像Ｆ１２は、第２眼底画像Ｆ２２との重複部分である重複領域Ｒ１４と、それ以外の非重複領域Ｒ１５，Ｒ１６とを含む。第２眼底画像Ｆ２２は、第１眼底画像Ｆ１１との重複部分である重複領域Ｒ２４と、それ以外の非重複領域Ｒ２５，Ｒ２６とを含む。なお、非重複領域Ｒ１６，Ｒ２６は、画像合成部１２９により切除される外縁部である。図３，４に示した通り、眼底画像の外縁部は黒くなっている。画像合成部１２９は、他の眼底画面と重複する方の辺において黒（輝度値が０）が含まれる部分（非重複領域Ｒ１６，Ｒ２６）を切除する。
　パノラマ眼底画像Ｆ３１は、重複領域Ｒ１４と重複領域Ｒ２４とに基づく重複領域Ｒ３２と、第１眼底画像Ｆ１１の非重複領域Ｒ１５と、第２眼底画像Ｆ２１の非重複領域Ｒ２５とを含む。パノラマ眼底画像Ｆ３１は、画像合成部１２９により、外縁部において黒（輝度値が０）が含まれる部分がトリミングされている。なお、画像合成部１２９は、非重複領域Ｒ１６，Ｒ２６を切除する段階で、他の辺の黒が含まれる部分を切除してもよい。
　位置決め部１２７により第１眼底画像Ｆ１２と第２眼底画像Ｆ２２とが位置決めされた状態（以下、両画像が位置決めされた状態と記す）で、重複領域Ｒ１４においてＹ軸方向の中心に設定される中心線Ｌ１、および、重複領域Ｒ２４においてＹ軸方向の中心に設定される中心線Ｌ２は、重複領域Ｒ３２における中心線Ｌ３と一致する。つまり、中心線Ｌ３は、重複領域Ｒ３２において、非重複領域Ｒ１５までの距離と、非重複領域Ｒ２５までの距離とが等しくなる位置に設定される。
　図９に示す例では、重複領域Ｒ３２を構成する各画素は、重複領域Ｒ１４に含まれる一画素、および、重複領域Ｒ２４に含まれる一画素と、それぞれ対応している。つまり、重複領域Ｒ３２を構成する各画素は、両画像が位置決めされた状態で、重なる両画素（重複領域Ｒ１４に含まれる一画素と重複領域Ｒ２４に含まれる一画素）に対応している。このようにして、重複領域Ｒ３２を構成する各画素と対応する重複領域Ｒ１４，Ｒ２４に含まれる一画素を、対応する画素という。
　画像合成部１２９は、重複領域Ｒ３２に含まれる各重複領域画素の画素値として、重複領域Ｒ１４における対応する画素の画素値に第１係数を乗算した値（第１画素値）と、重複領域Ｒ２４における対応する画素の画素値に第２係数を乗算した値（第２画素値）との和を導出する。
　第１係数と第２係数とは、所定の関係を有する。図１０を参照して、第１係数と第２係数との関係の一例について説明する。図１０は、第１係数と第２係数との関係の一例を示す図である。
　図１０（ａ）に示す通り、第１係数Ｃ１は、非重複領域Ｒ１５において一定値であり、Ｃ１＝１（１００％）である。また、第１係数Ｃ１は、重複領域Ｒ１４において、徐々に０（０％）となるように設定される。例えば、重複領域Ｒ１４に含まれる画素のうち、最も非重複領域Ｒ１５に近い画素に対応する第１係数Ｃ１は、１である。また、重複領域Ｒ１４に含まれる画素のうち、最も非重複領域Ｒ１５から遠い画素に対応する第１係数Ｃ１は、０である。また、第１係数Ｃ１は、一定の傾きを有し、重複領域Ｒ１４における中心線Ｌ１と一致する画素において０．５（５０％）である。
　図１０（ｂ）に示す通り、第２係数Ｃ２は、非重複領域Ｒ２５において一定値であり、Ｃ２＝１（１００％）である。また、第２係数Ｃ２は、重複領域Ｒ２４において、徐々に０（０％）となるように設定される。例えば、重複領域Ｒ２４に含まれる画素のうち、最も非重複領域Ｒ２５に近い画素に対応する第２係数Ｃ２は、１である。また、重複領域Ｒ２４に含まれる画素のうち、最も非重複領域Ｒ２５から遠い画素に対応する第２係数Ｃ２は、０である。また、第２係数Ｃ２は、一定の傾きを有し、重複領域Ｒ２４における中心線Ｌ２と一致する画素において０．５（５０％）である。
　つまり、画像合成部１２９は、重複領域Ｒ３２のうち中心線Ｌ３よりも第１眼底画像Ｆ１２の非重複領域Ｒ１５に近い領域に含まれる画素については、第１係数Ｃ１を第２係数Ｃ２よりも大きくする。画像合成部１２９は、重複領域Ｒ３２のうち中心線Ｌ３よりも第２眼底画像Ｆ２２の非重複領域Ｒ２５に近い領域に含まれる画素については、第２係数Ｃ２を第１係数Ｃ１よりも大きくする。画像合成部１２９は、重複領域Ｒ３２のうち第１眼底画像Ｆ１２の非重複領域Ｒ１５に近い重複領域画素ほど、第１係数Ｃ１を大きくし、且つ、第２係数Ｃ２を小さくする。画像合成部１２９は、重複領域Ｒ３２のうち第２眼底画像Ｆ２２の非重複領域Ｒ２５に近い重複領域画素ほど、第２係数Ｃ２を大きくし、且つ、第１係数Ｃ１を小さくする。
　また、両係数では、重複領域Ｒ３２に含まれるそれぞれの画素について設置される第１係数と第２係数との和は１となる、という関係が成り立つ。
　次に、図１１を参照し、重複領域画素の画素値の導出方法の具体例について説明する。
図１１は、重複領域画素の画素値の導出方法の具体例を示す図である。図１１（ａ）に、全ての重複領域Ｒ３２の画素の配列の一例を示す。例えば、重複領域Ｒ３２には、Ｘ軸方向に６個、Ｙ軸方向に１０個、合計６０個の画素が配置されている。なお、図示の例では、説明を簡略化するために少ない画素数で説明している。各画素には、Ｐ１１～Ｐ７０までの符号が付されているものとする。全ての符号の図示は省略するが、Ｙ軸方向において、一ずつ加算された値の符号が付されている。
　図１１（ｂ）（ｃ）（ｄ）には、それぞれ第１眼底画像Ｆ１２、第２眼底画像Ｆ２２、パノラマ眼底画像Ｆ３１の一部を示す。図示の通り、重複領域Ｒ１４，Ｒ２４における画素の配列も、重複領域Ｒ３２における画素の配列と同じであり、重複領域画素と対応する画素については、同じ符号を用いて説明する。
　重複領域Ｒ１４の各画素において、以下の通りの第１係数Ｃ１が設定されている。
　画素Ｐ１１～Ｐ２０は、第１係数Ｃ１＝１
　画素Ｐ２１～Ｐ３０は、第１係数Ｃ１＝０．８
　画素Ｐ３１～Ｐ４０は、第１係数Ｃ１＝０．６
　画素Ｐ４１～Ｐ５０は、第１係数Ｃ１＝０．４
　画素Ｐ５１～Ｐ６０は、第１係数Ｃ１＝０．２
　画素Ｐ６１～Ｐ７０は、第１係数Ｃ１＝０
　重複領域Ｒ２４の各画素において、以下の通りの第２係数Ｃ２が設定されている。
　画素Ｐ１１～Ｐ２０は、第１係数Ｃ１＝０
　画素Ｐ２１～Ｐ３０は、第１係数Ｃ１＝０．２
　画素Ｐ３１～Ｐ４０は、第１係数Ｃ１＝０．４
　画素Ｐ４１～Ｐ５０は、第１係数Ｃ１＝０．６
　画素Ｐ５１～Ｐ６０は、第１係数Ｃ１＝０．８
　画素Ｐ６１～Ｐ７０は、第１係数Ｃ１＝１
　このように、第１眼底画像Ｆ１２と第２眼底画像Ｆ２２とが位置決めされた状態で、重なっている画素（同じ符号の画素）において、第１係数と第２係数との和は１となっている。
　例えば、画像合成部１２９は、重複領域画素Ｐ３５の画素値として、以下のような計算を実行する。
　重複領域Ｒ１４の画素Ｐ３５の画素値（７７）×第１係数Ｃ１（０．６）
　＋重複領域Ｒ２４の画素Ｐ３５の画素値（２６）×第２係数Ｃ２（０．４）＝５７
　このようにして、画像合成部１２９は、重複領域画素Ｐ１１～Ｐ７０の画素値を導出する。
　次に、図１２を参照して、パノラマ眼底画像生成装置１００の処理例について説明する。図１２は、パノラマ眼底画像生成装置１００による処理の一例を示すフローチャートである。
　図１２に示す通り、撮像制御部１２１は、入力部１１３により、検査者から撮像指示を受け付けたか否かを判定する（ステップＳ１１）。撮像制御部１２１は、撮像指示を受け付けるまで、ステップＳ１１の処理を繰り返す。撮像指示を受け付けた場合、撮像制御部１２１は、指示に従って撮像装置５を制御する（ステップＳ１２）。そして、撮像装置５により、眼底画像が撮像される。取得部１２３は、撮像装置５により撮像された眼底画像を取得する（ステップＳ１３）。次いで、撮像制御部１２１は、指示された全ての範囲を撮像したか否かを判定する（ステップＳ１４）。全ての範囲を撮像していない場合、撮像制御部１２１は、ステップＳ１２に戻って処理を繰り返す。例えば、撮像制御部１２１は、レーザー光の入射角度を変更して異なる範囲を撮像するように撮像装置５に指示する。
　指定された全ての範囲を撮像した場合、歪補正部１２５は、取得部１２３により取得された全ての眼底画像に対して、歪補正処理を施す（ステップＳ１５）。次いで、位置決め部１２７は、眼底画像に含まれる血管の分岐点の特徴量を取得する（ステップＳ１６）。
位置決め部１２７は、取得した特徴量に基づいて、歪補正処理が施された複数の眼底画像のうち、互いに繋ぎ合わされる第１眼底画像と第２眼底画像の位置関係を決定する（ステップＳ１７）。画像合成部１２９は、位置決め部１２７により決定された位置関係において、重複領域画素の画素値を導出し、導出した重複領域画素の画素値を用いて、第１眼底画像と第２眼底画像とを合成したパノラマ眼底画像を生成する（ステップＳ１８）。そして、画像合成部１２９は、生成したパノラマ眼底画像を、表示部１１５に表示させる（ステップＳ１９）。
　次に、図１３を参照して、画像合成部１２９の処理例について説明する。図１３は、画像合成部１２９による処理の一例を示すフローチャートである。
　画像合成部１２９は、位置決め部１２７により位置関係が決定された第１眼底画像および第２眼底画像のそれぞれにおける重複領域を決定する（ステップＳ１７１）。ここで、画像合成部１２９は、決定した重複領域において、それぞれの中心線を決定してもよい。
次いで、画像合成部１２９は、重複領域画素に対応する画素ごとに、第１眼底画像の重複領域に含まれる画素の画素値に第１係数を乗算した第１画素値を導出するとともに（ステップＳ１７２）、第２眼底画像の重複領域に含まれる画素の画素値に第２係数を乗算した第２画素値を導出する（ステップＳ１７３）。画像合成部１２９は、ステップＳ１７２で導出した第１画素値と、ステップＳ１７３において導出した第２画素値とを和を導出し、重複領域画素の画素値とする（ステップＳ１７４）。そして、画像合成部１２９は、全ての重複領域画素に対応する画素について上記処理を実行するまで、ステップＳ１７２に戻って処理を繰り返す（ステップＳ１７５）。
　全ての重複領域画素の画素値を導出した場合、画像合成部１２９は、導出した重複領域画素の画素値、第１眼底画像の非重複領域に含まれる画素の画素値、および、第２眼底画像の非重複領域に含まれる画素の画素値に基づいて、パノラマ眼底画像を生成する（ステップＳ１７６）。
　パノラマ眼底画像生成装置１００は、上述したような処理により、二枚に限られず、三枚以上の眼底画像を繋げてパノラマ眼底画像を生成してもよい。例えば、図１４に示すように、五枚の眼底画像を連結してパノラマ眼底画像を生成してもよい。図１４は、五枚の眼底画像の連結した一例を示す図である。図１４に示す通り、眼底画像Ｆ１０１の左右方向には、それぞれ、眼底画像Ｆ１０２，Ｆ１０３が連結されている。また、眼底画像Ｆ１０２には眼底画像Ｆ１０４が、眼底画像Ｆ１０３には眼底画像Ｆ１０５が、それぞれ連結されている。
　以上説明した実施形態のパノラマ眼底画像生成装置１００によれば、重複領域画素の画素値として、第１眼底画像の画素値による影響と、第２眼底画像の画素値による影響の両方を考慮することができる。また、係数を用いて、重複領域画素に対する各眼底画像の画素値による影響を調整することができる。これにより、画像同士を繋いだパノラマ画像の必要な情報を維持しつつ自然な見た目とすることができる。
　これに対して、例えば、二枚の眼底画像を重複させることなく繋ぎ合わせた場合、繋ぎ目部分が不自然な見た目となる。また、見た目を自然にするために、二枚の眼底画像を重複させて繋ぎ合わせるとともに、対応する画素において明るい方の画素値を採用してパノラマ眼底画像を生成した場合、必要な情報を維持できない場合があった。これは、血管の方がそれ以外の部分よりも暗いため、明るい方の画素値を採用すると、血管の一部が消失したような画像となるためである。画像合成部１２９は、上述したように、係数を用いて両画像の画素値を所定の割合ずつ用いて重複領域画素の画素値を決定することにより、このような問題を解決することができる。
［同一領域において三以上の眼底画像が重なる場合について］
　上述では、パノラマ眼底画像を生成する際における二枚の眼底画像を繋ぎ合わせる場面に着目して説明したが、以下では、同一領域において、三枚以上の眼底画像が重なる眼底画像の合成手法について説明する。
　図１５は、同一領域において三以上の眼底画像が重なる場合の一例を示す図である。図１５に示す通り、眼底画像Ｆ１１１の左右方向には、それぞれ、眼底画像Ｆ１１２，Ｆ１１３が連結され、且つ、眼底画像Ｆ１１１の上下方向には、それぞれ眼底画像Ｆ１１４，Ｆ１１５が連結されている。眼底画像Ｆ１１１は、各頂点において、三以上の眼底画像が重なっている。例えば、眼底画像Ｆ１１１は、眼底画像Ｆ１１３と重複する領域の一部において、眼底画像Ｆ１１４とも重複している。
　このように、三以上の眼底画像が同一領域において重なる場合、画像合成部１２９は、三以上の眼底画像が重なる重複領域において二つの眼底画像のみが重複するように、眼底画像の一部を切除する。例えば、画像合成部１２９は、切断線Ｌ４において、眼底画像Ｆ１１３の一つの頂点を含む領域を切除し、眼底画像Ｆ１１４の一つの頂点を含む領域を切除する。切断線Ｌ４は、例えば、眼底画像Ｆ１１３と眼底画像Ｆ１１４との辺が交わる二点を結んだ線である。
　切除された後の眼底画像Ｆ１１３，Ｆ１１４の一例を、図１６に示す。図１６は、切除後の眼底画像の重複について説明するための図である。図１６に示す例では、わかりやすいように眼底画像Ｆ１１３，Ｆ１１４の切断部分に隙間を開けているが、画像合成部１２９は、隙間がないように画像の一部を切除している。こうすることにより、重複領域において二つの眼底画像のみが重なるようになるため、画像合成部１２９は、上述と同様の処理を行うことにより、パノラマ眼底画像を生成することができる。
　以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
　例えば、位置決め部１２７は、非重複領域に対する重複領域の割合に基づいて、両画像の位置関係を決定してもよい。例えば、重複領域の割合は、非重複領域の半分程度であることが好ましい。また、重複領域の大きさを画素数で予め決定してもよい。重複領域の大きさをある程度確保することにより、繋ぎ目部分を平滑化することができる。
　例えば、画像合成部１２９は、重複領域Ｒ３２のＸ軸方向の長さや画素数に基づいて、第１係数と第２係数を決定してもよい。例えば、画像合成部１２９は、上述したような所定の関係を満たした係数となるように、Ｘ軸方向における係数の刻み（間隔）を決定する。
　また、画像合成部１２９は、各眼底画像の重複領域における輝度の平均値に基づいて、第１係数と第２係数を決定してもよい。例えば、第１眼底画像の重複領域の方が、第２眼底画像の重複領域に比べて、輝度値の平均値が高い（つまり全体的に明るい場合）、図１０を用いて説明した第１係数に０．２を加算した値を調整後第１係数とし、図１０を用いて説明した第１係数から０．２を減算した値を調整後第２係数としてもよい。画像合成部１２９は、調整後第１係数と調整後第２係数とを用いて、上述したように、重複領域画素の画素値を導出する。
　第１係数と第２係数は、図１０に示す関係に限られない。例えば、非重複領域における傾きは一定値に限られず、図１７に示すように緩やかなカーブを描くような傾きであってもよい。
　１…眼底撮像システム、５…撮像装置５、１０…顎台、１５…ベース、２０…撮像部、１００…パノラマ眼底画像生成装置、１１１…通信部、１１３…入力部、１１５…表示部、１１７…記憶部、１２１…撮像制御部、１２３…取得部、１２５…歪補正部、１２７…位置決め部、１２９…画像合成部、１７１…眼底画像データ、１７３…係数データ

Claims (7)

  1. 　同一の被検眼について、前記被検眼の眼底における互いに異なる範囲を撮像した複数の眼底画像を取得する取得部と、
    　前記取得部により取得された複数の眼底画像に対して、歪みを補正する処理を施す歪補正部と、
    　前記歪補正部により歪みを補正する処理が施された複数の眼底画像のうち互いに繋ぎ合わされる第１眼底画像と第２眼底画像について、それぞれの眼底画像における特徴箇所に基づいて、前記第１眼底画像と前記第２眼底画像とを繋ぐ際の位置関係を決定する位置決め部と、
    　前記位置決め部により位置関係が決定された前記第１眼底画像と前記第２眼底画像との重複領域に含まれる対象画素の画素値として、前記第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、前記第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出し、前記導出した画素値を用いて、前記第１眼底画像と前記第２眼底画像とを合成したパノラマ眼底画像を生成する画像合成部と、
    　を備えるパノラマ眼底画像生成装置。
  2. 　前記画像合成部は、
    　前記重複領域において、前記第１眼底画像の非重複領域までの距離と、前記第２眼底画像の非重複領域までの距離とが等しくなる中心線に関して、
    　前記重複領域のうち前記中心線よりも前記第１眼底画像の非重複領域に近い領域に含まれる画素については、前記第１係数を前記第２係数よりも大きくし、
    　前記重複領域のうち前記中心線よりも前記第２眼底画像の非重複領域に近い領域に含まれる画素については、前記第２係数を前記第１係数よりも大きくする、
    　請求項１に記載のパノラマ眼底画像生成装置。
  3. 　前記画像合成部は、
    　前記重複領域のうち前記第１眼底画像の非重複領域に近い画素ほど、前記第１係数を大きく、且つ前記第２係数を小さくし、
    　前記重複領域のうち前記第２眼底画像の非重複領域に近い画素ほど、前記第２係数を大きく、且つ前記第１係数を小さくする、
    　請求項１に記載のパノラマ眼底画像生成装置。
  4. 　前記重複領域に含まれるそれぞれの画素について設定される前記第１係数および前記第２係数の和は１となる、
    　請求項１に記載のパノラマ眼底画像生成装置。
  5. 　前記画像合成部は、
    　前記複数の眼底画像に含まれる三以上の眼底画像の一部を重ねて前記パノラマ眼底画像を生成する場合、前記三以上の眼底画像が重複する領域において二つの眼底画像のみが重なるように、前記三以上の眼底画像に含まれる一以上の眼底画像の一部を切除した後、前記対象画素の画素値を導出する、
    　請求項１に記載のパノラマ眼底画像生成装置。
  6. 　前記位置決め部は、
    　前記眼底画像に含まれる血管の分岐点の特徴量を取得し、取得した特徴量に基づいて、前記第１眼底画像と前記第２眼底画像との位置関係を決定する、
    　請求項１に記載のパノラマ眼底画像生成装置。
  7. 　コンピュータに、
    　同一の被検眼について、前記被検眼の眼底における互いに異なる範囲を撮像した複数の眼底画像を取得させ、
    　取得された複数の眼底画像に対して、歪みを補正する処理を施させ、
    　歪みを補正する処理が施された複数の眼底画像のうち互いに繋ぎ合わされる第１眼底画像と第２眼底画像について、それぞれの眼底画像における特徴箇所に基づいて、前記第１眼底画像と前記第２眼底画像とを繋ぐ際の位置関係を決定させ、
    　位置関係が決定された前記第１眼底画像と前記第２眼底画像との重複領域に含まれる対象画素の画素値として、前記第１眼底画像の対象画素に対応する第１画素の画素値に第１係数を乗算した値と、前記第２眼底画像の対象画素に対応する第２画素の画素値に第２係数を乗算した値との和を導出させ、
    　前記導出した画素値を用いて、前記第１眼底画像と前記第２眼底画像とを合成したパノラマ眼底画像を生成させる、
    　プログラム。
PCT/JP2018/043526 2017-11-28 2018-11-27 パノラマ眼底画像生成装置、およびプログラム WO2019107342A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019557231A JPWO2019107342A1 (ja) 2017-11-28 2018-11-27 パノラマ眼底画像生成装置、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-228389 2017-11-28
JP2017228389 2017-11-28

Publications (1)

Publication Number Publication Date
WO2019107342A1 true WO2019107342A1 (ja) 2019-06-06

Family

ID=66665011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043526 WO2019107342A1 (ja) 2017-11-28 2018-11-27 パノラマ眼底画像生成装置、およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2019107342A1 (ja)
WO (1) WO2019107342A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014444A (ja) * 1999-06-29 2001-01-19 Topcon Corp 医用画像合成処理装置及び記録媒体
JP2009089940A (ja) * 2007-10-10 2009-04-30 Toshiba Corp 超音波診断装置
JP2017196041A (ja) * 2016-04-26 2017-11-02 大日本印刷株式会社 眼底画像解析装置、眼底画像解析方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014444A (ja) * 1999-06-29 2001-01-19 Topcon Corp 医用画像合成処理装置及び記録媒体
JP2009089940A (ja) * 2007-10-10 2009-04-30 Toshiba Corp 超音波診断装置
JP2017196041A (ja) * 2016-04-26 2017-11-02 大日本印刷株式会社 眼底画像解析装置、眼底画像解析方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2019107342A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US10874297B1 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US20210045627A1 (en) Image processing apparatus and method
US9595243B2 (en) Image processing apparatus and image processing method
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
WO2017122500A1 (ja) 投影システム、画像処理装置、投影方法およびプログラム
US20240153218A1 (en) Method for simulating natural perception in virtual and augmented reality scenes
JP2014160982A (ja) 画像処理装置および撮影制御方法、並びにプログラム
US11031120B1 (en) System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
CN113190115B (zh) 眼球追踪方法及虚拟现实设备
JP2018530392A (ja) 眼科手術画像処理
CN110784693A (zh) 投影机校正方法与使用此方法的投影系统
JP6576639B2 (ja) 電子眼鏡および電子眼鏡の制御方法
JP5645255B2 (ja) 画像処理装置および画像処理方法
JP5974205B1 (ja) 画像処理装置、画像処理装置の作動方法
WO2018100236A1 (en) Display apparatus and method using portable electronic device
CN113114975B (zh) 图像拼接方法、装置、电子设备和存储介质
WO2019107342A1 (ja) パノラマ眼底画像生成装置、およびプログラム
CN113674157B (zh) 眼底图像拼接方法、计算机装置和存储介质
JP2017212720A (ja) 画像処理装置、画像処理方法およびプログラム
Lee et al. Retinal image mosaicing using the radial distortion correction model
JP2017196041A (ja) 眼底画像解析装置、眼底画像解析方法、及びプログラム
JP6932526B2 (ja) 画像表示装置、画像表示方法及びプログラム
RU2679915C9 (ru) Оптическая система гибридной реальности с цифровой коррекцией аберраций
WO2022014020A1 (ja) 撮像システム、撮像方法、及びコンピュータプログラム
JP2022057576A (ja) 眼底画像処理プログラムおよび眼底撮影装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18884533

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557231

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18884533

Country of ref document: EP

Kind code of ref document: A1