WO2011074078A1 - 画像処理装置、画像処理方法、撮像システム及びプログラム - Google Patents

画像処理装置、画像処理方法、撮像システム及びプログラム Download PDF

Info

Publication number
WO2011074078A1
WO2011074078A1 PCT/JP2009/070924 JP2009070924W WO2011074078A1 WO 2011074078 A1 WO2011074078 A1 WO 2011074078A1 JP 2009070924 W JP2009070924 W JP 2009070924W WO 2011074078 A1 WO2011074078 A1 WO 2011074078A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
boundary
image
eye
detected
Prior art date
Application number
PCT/JP2009/070924
Other languages
English (en)
French (fr)
Inventor
中野　雄太
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to PCT/JP2009/070924 priority Critical patent/WO2011074078A1/ja
Priority to JP2011545883A priority patent/JP5665768B2/ja
Priority to US12/966,950 priority patent/US9320423B2/en
Publication of WO2011074078A1 publication Critical patent/WO2011074078A1/ja
Priority to US15/083,093 priority patent/US9872614B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/4893—Nerves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an image processing system, and a system for identifying each layer in a tomographic image of an eye.
  • OCT optical coherence tomography
  • the retina of the fundus has a layer structure composed of a plurality of layers, and information on the layer structure such as the thickness of each layer is used as an objective index for measuring the degree of disease progression.
  • a technique for identifying a layer boundary accurately by analyzing a tomographic image of the retina and identifying a layer boundary type is important.
  • Patent Document 1 discloses a technique for detecting two strong edges in the depth direction of a tomographic image, and identifying a shallower edge as an inner boundary film and a deeper edge as a boundary corresponding to a retinal pigment epithelium. ing. This focuses on the fact that the inner boundary membrane, which is the tissue of the retina, and the retinal pigment epithelium appear as strong edges in the tomographic image.
  • Patent Document 2 discloses a technique for determining whether there is a false image of a blood vessel as a technique for determining a change in the layer structure.
  • a false image is determined based on a pixel value in the vicinity of a layer boundary by utilizing the fact that a signal is significantly attenuated in a region under a blood vessel to have uniform image characteristics.
  • the vitreous cortex floats above the inner boundary membrane, and therefore the technique described in Patent Document 1 may erroneously detect the vitreous cortex as the inner boundary membrane.
  • the boundary of the retinal layer cannot be accurately identified due to the change in the layer structure due to the disease and the change in the imaging region and conditions.
  • the characteristics of the retinal layer vary greatly depending on the position in the depth direction. The boundary cannot be specified.
  • the present invention has been made to solve such a problem, and includes a detecting means for detecting a plurality of layer boundaries from a tomographic image of the eye to be examined, characteristics of the layers between the detected boundaries, and a vitreous body of the eye to be examined. And identifying means for identifying the type of the detected boundary based on the characteristics of
  • the type of boundary can be identified based on not only the boundary information but also the characteristics of the vitreous body corresponding to the background of the retinal tomogram and the characteristics between the boundaries, it is possible to reduce identification errors. it can.
  • FIG. 1 is a configuration diagram of a tomographic imaging system according to Embodiment 1.
  • FIG. It is the figure which showed an example of the layer structure of the retina which is imaging
  • FIG. 10 is an example of a subject to be photographed, an A-Scan line, and a luminance profile according to Example 2.
  • FIG. 7 is a flowchart illustrating a flow of processing of an image processing apparatus according to a second embodiment.
  • Example 1 The configuration of the tomographic imaging system according to this embodiment will be described with reference to FIG.
  • the tomographic image acquisition device 20 acquires a tomographic image of the eye to be examined, and the image processing device 10 creates edge component information and a median image from the tomographic image.
  • Each layer in the retina corresponding to the edge component is identified based on the characteristics between the feature points extracted from the median image and the characteristics of the vitreous body.
  • the image processing apparatus 10 is communicably connected to the tomographic image acquisition apparatus 20 and the storage unit 30.
  • the tomographic image acquisition apparatus 20 captures an eye to be examined in response to an operation by an operator (not shown), and transmits the obtained image to the image processing apparatus 10 and the storage unit 30.
  • the tomographic image acquisition apparatus 20 is an OCT imaging apparatus using, for example, an optical interference imaging method (OCT: Optical Coherence Tomography).
  • OCT optical interference imaging method
  • the OCT imaging apparatus generates interference light from reflected light and scattered light (return light) of the signal light irradiated to the subject, and reflected light of the reference light irradiated to the reference object, and generates interference light.
  • the internal structure of the subject is imaged. When the subject has a layer structure, an image of the layer structure can be formed from the intensity of the return light that is the light reflected or scattered by each layer.
  • the OCT imaging apparatus irradiates a predetermined point on the retina with signal light and obtains information in the depth direction at that point (referred to as A-Scan).
  • a cross-sectional image of the retina can be acquired.
  • a predetermined line on the retina surface at a predetermined interval referred to as B-Scan
  • a plurality of cross-sectional images can be acquired, and they can be reconstructed to obtain three-dimensional volume data.
  • An image of the retina at the depth can also be acquired.
  • the image processing apparatus 10 has, for example, each block shown in FIG. 1 as a circuit.
  • Another example is a well-known electronic computer, and functions corresponding to each block are realized by cooperation of hardware and software.
  • some electronic computers have, for example, a CPU, ROM, RAM, HDD, mouse, keyboard, network I / F, and display unit.
  • the ROM or the HDD stores a program for realizing the processing shown in FIG. 3 to be described later. When this program is expanded in the RAM and the CPU executes the instruction, the function shown in FIG. 1 is exhibited and the processing shown in FIG. 3 is realized.
  • the image acquisition unit 11 acquires a tomographic image from the tomographic image acquisition device 20.
  • the image acquired by the image acquiring unit 11 is subjected to predetermined processing by the image converting unit 12, the luminance information creating unit 13, the feature point detecting unit 14, and the layer structure identifying unit 15 to clarify the layer structure.
  • the image is displayed on the image display unit 16 including the above.
  • the analysis of the OCT image takes an approach of clarifying the layer structure by specifying the boundary of the layer.
  • the image conversion unit 12 obtains a conversion image necessary for identifying the layer structure from the acquired tomographic image.
  • an edge-enhanced image mainly used for specifying the layer boundary and a smoothed image used for specifying the layer between the boundaries are created.
  • a Sobel image that emphasizes an edge from the low pixel value side to the high pixel value side as viewed from the shallow side of the layer and a Sobel image that emphasizes an edge from the high pixel value side to the low pixel value side.
  • These Sobel images can be created by applying a well-known Sobel filter with a predetermined parameter for each A-Scan line to the original tomographic image.
  • a smoothed image a median image to which a known median filter is applied is used. A pixel value between edges is referred to by this median image.
  • image conversion method is not limited to this.
  • a smoothing filter such as an average value filter may be used instead of the median filter.
  • image conversion may be performed using a gradation conversion filter such as gamma correction, a morphological filter, or the like.
  • the luminance information creation unit 13 creates a luminance profile that is luminance information for the Sobel image created by the image conversion unit.
  • the luminance profile is a numerical sequence in which the luminance values of each pixel are arranged in the depth direction on the A-Scan line, and is a graph of the luminance values with respect to the depth direction.
  • 50 luminance profiles are created for one tomographic image. This is performed for the Sobel image and the median image input from the previous step, and stored in the storage unit 30.
  • the feature point detection unit 14 extracts feature points from the created luminance profile. Since more signal light is reflected at the layer boundary, the position of the layer boundary can be specified by extracting the edge of the image.
  • the maximum point (hereinafter referred to as a peak) of the luminance profile created from the Sobel image is examined, and a plurality of feature points are detected. As a detection result, information such as the position and size of the peak is stored in the storage unit 30 for each A-scan line.
  • the layer structure identification unit 15 identifies the boundary of each layer of the retina or the type of layer.
  • identification refers to determining which layer of the retina the feature point detected by the feature point detection unit 14 corresponds to.
  • the layer structure identification unit 15 determines the peak-to-peak brightness value obtained from the median image using the brightness profile created from the Sobel image, determines the layer structure between the peaks by comparing it with the brightness value of the vitreous body, and determines the information. By using it, the type of the layer boundary corresponding to the peak is identified. This is because even if the boundary between layers is specified, the retina is not a simple layer structure, but structures such as the macula and optic nerve head, glaucoma, and local peeling of the vitreous cortex occur. In addition, even if the layer structure is simple, if the blood vessel is present, the signal light is absorbed and the tissue under the blood vessel cannot be imaged, so that the layer structure may appear to change apparently. By using the information of the layer structure between peaks, it is possible to reduce identification errors due to these situations. Details of this processing will be described later.
  • the structure of the retina layer can be visually confirmed by a diagnostician.
  • the diagnostic index can be digitized and confirmed by automatically extracting the thickness of the identified layer from the image and creating a thickness graph.
  • FIG. 2A schematically shows a tomographic image of the macular portion of the retina, and the position of the layer boundary is indicated by a solid line.
  • Each of the two-dimensional tomographic images (B-Scan image, hereinafter referred to as tomographic images) T1 to Tn of the macular portion is formed as a two-dimensional image by performing A-Scan on one line of the retina surface. Since A-Scan is not performed continuously but at a predetermined interval on one line, a two-dimensional image is constructed by interpolating between adjacent A-scans by a predetermined interpolation method.
  • the vitreous cortex H1 the inner limiting membrane (ILM: Inner Limiting Membrane) L1
  • the boundary between the nerve fiber layer NNL: Nerve Fiber Layer
  • the nerve fiber layer L2 ′ is shown.
  • the boundary between the inner mesh layer and the lower layer (hereinafter referred to as the inner mesh layer boundary) L3 is the boundary between the outer mesh layer and the lower layer (hereinafter referred to as the outer mesh layer boundary) L4, the photoreceptor cell.
  • IS / OS Interface between inner and outer segments of the photoreceptors
  • RPE retinal pigment epithelium
  • ILM inner boundary membrane
  • IS / OS photoreceptor inner / outer segment junction
  • the retina has such a simple layer structure, but it can have a different structure depending on the site and lesion.
  • region G1 has shown the state which became glaucoma, and the nerve fiber layer has become thin. Since such symptoms appear in glaucoma patients, the thickness of the nerve fiber layer is a quantitative indicator of the degree of progression of diseases such as glaucoma and the degree of recovery after treatment.
  • FIG. 2B is also a tomographic image of the macular portion of the retina.
  • a state in which the vitreous cortex H1 is separated on the inner boundary film L1 due to the influence of a disease or the like is shown.
  • the signal light is attenuated by the red blood cells in the blood vessel, so that the region under the blood vessel is not imaged, and a false image L6 'is generated.
  • step S301 the image acquisition unit 11 acquires an OCT tomographic image captured by the tomographic image acquisition apparatus 20.
  • the tomographic image acquisition apparatus 20 specifies and captures an imaging region, information on the region such as the macula and the nipple is also acquired. By using this part information, appropriate parameters for image processing can be determined.
  • step S302 the image conversion unit 12 performs image conversion on the OCT tomographic image acquired by the image acquisition unit 11.
  • an image is created by applying a median filter and a Sobel filter to a tomographic image (hereinafter referred to as a median image and a Sobel image).
  • the pixel value is large when the signal strength is strong and small when the signal strength is weak.
  • the image conversion unit 12 sends the converted image to the luminance information creation unit and stores it in the storage unit 30.
  • the luminance information creation unit 13 creates a luminance profile that is luminance information from the image converted in step S202.
  • the luminance does not necessarily have to be graphed, and the pixel value of the image or the signal intensity may be imaged.
  • the luminance profile via a Sobel image, noise is removed from the image, so that it becomes easier to detect an edge.
  • the median image there is an effect that it is possible to more easily grasp the tendency of the image within a predetermined range by suppressing the occurrence of noise that is particularly problematic in the OCT image.
  • step S304 the feature point detection unit 14 identifies the position of the layer boundary by detecting the peak from the luminance information created in step S303. Since the Sobel image is an image that emphasizes the edge, detecting the peak of the luminance information means that the pixel value or the luminance value in the tomographic image has a large change from the weak side of the signal light to the strong side. This is synonymous with detecting an edge from the small side to the large side. For the detection, a threshold value determined experimentally or based on image information is used.
  • a boundary film that does not exist is a boundary between a background (vitreous body) having a low pixel value and a retinal tissue having a relatively high pixel value, and can be detected as an edge as described above.
  • the IS / OS is in contact with a relatively dark tissue as viewed from the shallow direction of the layer, it can be detected as an edge as described above.
  • the inner boundary membrane and IS / OS are easily detected as strong edges because they reflect or scatter many signals.
  • the boundary corresponding to the edge from the weak side to the strong side when viewed from the shallower side of the layer is not a large edge except for the boundary of the vitreous cortex, so this method can be adjusted by adjusting the threshold.
  • the inner boundary membrane and IS / OS can be extracted preferentially.
  • tissue between the inner boundary membrane and IS / OS is a layer in which the edge from the strong side to the weak side is more emphasized, it is between the inner boundary membrane and IS / OS.
  • the layer detects this edge and identifies the layer.
  • This detection is performed for each A-Scan line.
  • the reliability of detection can be improved by using the actually measured value instead of the signal obtained by interpolation.
  • the peak detected in this way becomes the layer boundary position.
  • the layer structure identification unit 15 identifies one of the boundaries of the retinal layer obtained using the peak detected in step S204 as an inner boundary membrane (ILM). Due to the structure of the retinal tissue, the surface where the vitreous body, which is a background region that is not normally a retinal tissue, and the retinal tissue contact is the inner boundary membrane, but this is different when there is a detachment of the vitreous cortex. Therefore, it is determined by using the profile of the median image whether the two peaks detected from the shallower side are the background or the retinal tissue.
  • ILM inner boundary membrane
  • the first peak is the vitreous cortex and the next peak is the inner limiting membrane (ILM) when viewed from the shallower side, and the first peak is identified as the inner limiting membrane if the retinal tissue is between the peaks. Details of the processing will be described later.
  • ILM inner limiting membrane
  • step S306 the layer structure identification unit 15 identifies one of the boundaries of the retinal layer obtained using the peak detected in step S304 as IS / OS. Again, the structure between the inner boundary film and the layer boundary deeper than that is determined, and the IS / OS is identified based on the determination result. Details of the processing will be described later.
  • the layer boundary (first identification) between the identified inner boundary film and the IS / OS is identified.
  • the feature point detection unit 14 detects the peak of the luminance profile using a predetermined threshold, thereby detecting a point where the intensity of the signal light changes greatly from the high side to the weak side as seen from the shallower layer. Since the inner boundary membrane and IS / OS have already been identified, and the region between these boundaries to be analyzed next has been identified, the nerve fiber layer boundary to be subsequently performed is identified (second identification) . Then, it is possible to appropriately set the peak detection threshold and parameter settings.
  • step S308 the layer structure identification unit 15 identifies one of the boundaries of the retinal layer obtained using the peak detected in step S307 as the boundary of the nerve fiber layer.
  • the layer structure between the inner boundary membrane and the peak acquired in step S307 is determined to identify the boundary of the nerve fiber layer.
  • the nerve fiber layer may disappear or become so thin that it cannot be identified as an image. In this case, the boundary of the nerve fiber layer and the inner limiting membrane almost coincide, and the identification may be wrong. Because there is. This process will also be described later.
  • step S309 the specified layer boundary is color-coded for each identified type and the boundary line is superimposed on the tomographic image, and the image display unit 16 displays the image.
  • a table indicating correspondence between layer boundaries and colors is stored in advance in the storage unit, and a display screen is generated based on this data.
  • the layer type can be appropriately determined because it is a threshold applied to the imaging conditions and the image specification as compared with the case where a fixed threshold is provided.
  • FIG. 4 shows the relationship between the tomographic image of the retina, the A-Scan line, and the luminance profile.
  • a Sobel image profile P31 is shown in which the A-Scan is performed at the position of the line A3 and the resulting one-dimensional image emphasizes the edge from the low pixel value side to the high pixel value side. Further, a profile P32 of a Sobel image that emphasizes an edge from the high pixel value side to the low pixel value side is shown.
  • the peak M311 is the boundary between the background and the vitreous cortex
  • M312 is the boundary between the air gap and the inner boundary membrane
  • M313 is the IS / OS position.
  • Peak M321 indicates the boundary between the vitreous cortex and the void
  • M322 indicates the boundary between the nerve fiber layers
  • M323 indicates the boundary between the retinal pigment epithelium.
  • the feature point detection unit 14 detects each A-scan line, and stores the position and size of each peak in the storage unit.
  • the layer structure identification unit 15 first calculates an average luminance value of an approximate background (an area other than the retinal layer in the image).
  • the average luminance value is calculated only for an area that is equal to or less than a threshold that is empirically determined for the median image. By performing such threshold processing, noise components present on the high luminance value side can be removed.
  • the method of calculating the average luminance value of the background is not limited to this, and the threshold may be determined using a discriminant analysis method, a P-tile method, or the like. Further, the average luminance value may be calculated using the luminance values at the upper end and the lower end of the image without the retinal layer.
  • step S502 the layer structure identification unit 15 examines the position of the peak detected in step S304, and sets the two peaks in order from the shallower layer as the first peak and the second peak, respectively.
  • detection is performed using the profile P31 of FIG. 4, but it may be performed using P32.
  • This processing for performing processing for each A-scan line is performed for each A-Scan line.
  • the layer structure identification unit 15 checks the brightness profile of the median image between the two peaks in step S503.
  • step S504 the layer structure identification unit 15 performs a process of determining whether a background (vitreous body region) or a retinal tissue exists between peaks in this process.
  • the layer structure identification unit 15 determines how much the pixel is included between the boundaries. This coefficient is obtained experimentally, but is not limited to this, and the threshold may be dynamically determined according to image information such as an average value in the luminance profile.
  • step S505 When the calculated ratio is 1 ⁇ 2 or more (Yes in step S505), it is determined that retinal tissue exists between the peaks (step S506), and the first peak is identified as the inner boundary membrane L1 (step S507).
  • step S506 When the calculated ratio is smaller than 1/2 (No in step S505), it is determined that the peak is the background (step S508), and the second peak is identified as the inner boundary film L1.
  • the first peak is determined as the vitreous cortex H1 (step S509).
  • the condition for determining the inner boundary film is not limited to this, and for example, the coefficient to be multiplied by the average value of the background may be obtained dynamically from the histogram of the image.
  • the luminance information it is determined from the ratio of pixels that are equal to or greater than the threshold value whether the peak is a retinal tissue or a background.
  • the present invention is not limited to this. It is good also as calculating
  • a feature amount may be obtained from the luminance information, and the determination may be performed using the identifier as an input. Further, the determination condition using the distance between peaks is not limited to this, and may be determined dynamically according to the scale of the image.
  • IS / OS processing Details of the IS / OSL5 identification process in step S306 will be described with reference to FIG. In this process, in addition to the process of determining the tissue between the peaks, a two-stage specific process is performed in order to deal with a false image due to blood vessels or bleeding.
  • step S601 the layer structure identification unit 15 acquires a peak at a position deeper than the position of the inner boundary film specified by the above-described processing. At this stage, there may be a plurality of peaks.
  • step S602 the layer structure identification unit 15 determines whether or not the peak acquired for each A-Scan line satisfies a predetermined condition. Only the peak satisfying the specific condition is specified as IS / OSL5.
  • the specific condition using the peak size is set to a value obtained by multiplying the peak size of the inner boundary film L1 specified on the same A-Scan line by 0.8.
  • the specific condition using the distance between the peaks is that it is located in the downward direction in the image space by a predetermined distance or more from the inner boundary film L1 specified on the same A-Scan line. For these conditions, values obtained experimentally are used. If these two conditions are satisfied (Yes in step S602), the layer boundary is identified as a candidate for IS / OSL5. This is the first stage of specific processing.
  • step S603 The processing from step S603 to step S607 is the same as the processing of the boundary film not described above.
  • step S603 the layer structure identification unit 15 acquires pixel values between peaks from the median image.
  • step S604 pixels that exceed a predetermined threshold among the pixel values between peaks acquired by the layer structure identification unit 15 are acquired.
  • the layer structure between peaks is the background (vitreous body) or retinal tissue.
  • This process is a process for confirming when the inner boundary film is erroneously specified due to the influence of noise or the like.
  • the threshold value for example, a pixel exceeding 1.2 times the background pixel value is acquired. This threshold is determined experimentally. It should be noted that the determination process here may determine whether or not a nerve fiber layer is included, whether or not a false image due to blood vessels is included, regardless of whether or not the background is determined.
  • step S605 the layer structure identification unit 15 determines whether or not the number of pixels exceeding the threshold is greater than a predetermined number or ratio. For example, 1/2 is adopted. If it is determined that the number is greater than the predetermined number (Yes in step S605), it is determined that there is a retinal tissue between the peaks (step S606), and the acquired peak is identified as IS / OSL5 (step S607). ).
  • a predetermined number or ratio For example, 1/2 is adopted. If it is determined that the number is greater than the predetermined number (Yes in step S605), it is determined that there is a retinal tissue between the peaks (step S606), and the acquired peak is identified as IS / OSL5 (step S607). ).
  • step S602 if the IS / OSL5 candidate condition is not met in step S602 (No in step S602), it is assumed that no IS / OS candidate was found on the A-Scan line.
  • the area is stored in the storage unit in the image processing apparatus 10 as an unidentifiable area (step S608).
  • step S609 a process for specifying the IS / OS from the area that has not been identified in step S608 is performed. This is the second stage of specific processing. In this process, the IS / OS is identified using the identified boundary position and luminance value and the luminance value of the unidentifiable region in consideration of continuity. Specific processing will be described later with reference to FIG.
  • step S605 If it is determined No in step S605, the identification process returns NG (step S610), and the process ends.
  • the identification process returns NG (step S610), and the process ends.
  • the user since there is a possibility that an abnormality important for diagnosis is included, the user may be notified by voice or text information.
  • the layer boundary detected in this way is identified as IS / OSL5, it is performed after determining the tissue between the peaks, so that even if there is an abnormality in the retinal layer, it is regarded as normal and processed. Errors can be prevented.
  • the layer structure can be specified accurately.
  • FIG. 7A is a diagram showing the relationship between A-Scan and a profile in a region where blood vessels and bleeding are present.
  • A-Scan is performed at the position of A5
  • a profile P5 is obtained. Since no blood vessel or bleeding has occurred at the position A5, a peak M52 corresponding to IS / OS can be extracted.
  • the profile P4 corresponding to A-Scan has a small peak corresponding to IS / OS, and cannot be detected correctly. In such a case, No is determined in step S602, and the region cannot be specified by the first process.
  • a determination is made using a fixed threshold value and IS / OS extraction is attempted, normal layer structure extraction cannot be performed due to the influence of noise or individual differences.
  • FIG. 7B is a diagram showing details of the processing in step S609 in FIG. 6 described above.
  • the IS / OS boundary specified in step S607 is indicated by a solid line, and the unidentified portion is indicated by a dotted line.
  • the remaining IS / OS is specified in consideration of the continuity with the peak size and position of the specified IS / OS.
  • the layer area with high brightness located between the IS / OS and the retinal pigment epithelium is the center. Set the local area. Peak information is extracted from the IS / OS and retinal pigment epithelium specified in the region.
  • the inner boundary membrane CP1 and the retinal pigment epithelium CP2 identified up to the first phase are arranged at equal intervals as shown in FIG. 7B. It is out.
  • the luminance of the IS / OS in the false image area is lowered, the first phase specifying condition cannot be satisfied, and the IS / OS is not specified. Therefore, a local area is set around an unspecified IS / OS.
  • a local region R1 on the XZ plane (C-Scan) centered on the A-Scan line is considered.
  • the size of the local area is such that the surrounding A-Scan line including the center is included in 7 ⁇ 7, and the IS / OS already specified in the local area (represented by the solid line in the local area R1). The average of the y-coordinate values and the size of the peak).
  • the y coordinate value where IS / OS will exist is predicted.
  • the y-coordinate value where IS / OS will exist is 10 pixels above and below the calculated y-coordinate average value, and the edge component in the Sobel image within that range is examined.
  • the edge component within the predicted range that is closest to the average peak size in the local region is searched for, and the position is identified as IS / OS.
  • the order in which the IS / OS is specified in the second phase is specified from the A-Scan line having a high ratio in which the IS / OS already specified in the local area is included.
  • the specific conditions of IS / OS are not limited to this.
  • the threshold value for the peak size of IS / OS in the first phase is a fixed threshold value regardless of the peak size of the inner boundary film. May be used.
  • the size of the local region in the second phase is not limited to this.
  • the layer structure identifying unit 15 also determines the first peak and the second peak in the specifying process of the nerve fiber layer boundary L2, and examines the luminance value between the peaks. Specifically, first, the peak of the inner boundary film L1 determined by the identification process of the inner boundary film is set as the first peak. In FIG. 4, the peak M311 of the profile P31 or the peak M321 of the profile P32 corresponds to the first peak.
  • the peak on the luminance profile P32 corresponding to the edge from the higher side to the lower side of the signal light, which is below the inner boundary film L1 and closest is the second peak (step) S801).
  • the peak M322 corresponds to the second peak.
  • step S802 the layer structure identification unit 15 acquires a pixel value between two peaks acquired with reference to the median image. Thereafter, pixels that exceed a predetermined threshold among the pixels acquired in step S803 are acquired. This process is for determining whether or not the peak is the nerve fiber layer L2 ′.
  • the nerve fiber layer L2 ′ does not necessarily appear as a luminance value (or pixel value) below the inner boundary film L1, and for example, in the vicinity of the macular depression, the nerve fiber layer L2 ′ is on the A-scan line. I can't see it. Therefore, in order to analyze the nerve fiber layer, it is first necessary to check whether or not the nerve fiber layer L2 ′ exists.
  • the method for determining whether or not the nerve fiber layer L2 ′ exists is based on the average luminance value of the background with respect to the number of pixels existing between the first peak M321 and the second peak M322. The percentage of pixels larger than the value multiplied by 5 is calculated.
  • step S804 the layer structure identification unit 15 determines that the peak is the nerve fiber layer L2 ′ when the calculated ratio is 1 ⁇ 2 or more (step S805), and sets the second peak as the nerve fiber layer boundary. L2 is identified (step S806). When the calculated ratio is smaller than 1/2 (No in step S804), it is determined that the nerve fiber layer L2 ′ does not exist between the peaks (step S807), and the nerve fiber layer L2 is on the A-scan line. 'Is thin, and the acquired peak is the lower boundary of the retinal pigment epithelium L5. In this case, it has been medically clarified that there is a high possibility that lesions such as progression of glaucoma and depressions are present.
  • the tissue between the peaks is the nerve fiber layer L2 ′ based on the pixel value (or luminance value) and identifying the nerve fiber layer boundary L2 based on the result, glaucoma and It is possible to suppress a decrease in identification accuracy of the layer boundary due to the influence of the recessed portion or the like.
  • Example 2 In the second embodiment, an example in which the boundary type is determined in consideration of the distance between peaks in step S305 in the first embodiment will be described.
  • the vitreous cortex H1 peeled off in the vicinity of the A-Scan line A2 in FIG. 9 may be present at a position close to the inner boundary film L1.
  • the distance between the peak due to the vitreous cortex H1 of the A-Scan line A2 and the peak due to the inner boundary membrane L1 becomes very small, and the vitreous cortex H1 In some cases, the ratio of pixels with higher luminance than the background increases between peaks.
  • the retinal layer boundary is identified (determined) without making a mistake by changing the determination condition of the retinal layer boundary according to the distance between the peaks. Since the processing flow is common except for the identification processing of the inner boundary film L1, description thereof will be omitted. Since the configuration of the apparatus is the same as that of the first embodiment, the description thereof is omitted. However, when the image processing apparatus 10 operates based on a software command, the program stored in the ROM or the HDD is different from the program for executing the processing of FIG. 10 and realizing the function therefor. ing.
  • step S305 Details of the identification process of the inner boundary membrane (ILM) L1 in step S305 according to the second embodiment will be described with reference to FIG. Note that the processing from step S1001 to step S1003 and the processing from step S1005 to step S1010 are the same as the processing from step S501 to step S509 in the first embodiment, and thus description thereof is omitted.
  • the layer structure identification unit 15 obtains the distance between peaks in the tomographic image.
  • the peak M21 and the peak M22 are detected in order from the shallower side from the profile P2 on the A-Scan line A2 by the feature point detector 14.
  • the distance between the peaks is less than 10 pixels
  • the first peak is determined in the inner boundary membrane L1.
  • the ratio is smaller than 3/4, it is determined that the interval between the peaks is the background, and the second peak is determined as the inner boundary film L1.
  • the ratio threshold is 1 ⁇ 2 as in step S205 of the first embodiment.
  • the reason why the threshold value is changed according to the distance between the peaks in this way is that the boundary of the position corresponding to each peak forms a layer having a predetermined thickness, and its influence becomes large.
  • the vitreous cortex H1 peeled off from the retinal layer has a predetermined thickness
  • the boundary between the vitreous cortex H1 and the background is the first peak M21
  • the thickness of the vitreous cortex H1 may affect the determination.
  • the threshold value of the pixel value may be changed.
  • the image conversion unit 12 converts the input image. However, the image information is not converted, and the luminance information created by the luminance information creation unit 13 is input as the next step without changing the original image luminance value. The information may be created directly from the original image.
  • a layer corresponding to a peak is determined by comparing a pixel value of a region in a predetermined range before and after the peak for each A-Scan line with a pixel value of a background (vitreous body) to determine a tissue before and after the peak. It is good also as identifying the kind of boundary. According to such processing, even when a plurality of peaks corresponding to the layer boundary are not found, the position of the peak in the retinal layer can be specified, so that the type of the layer boundary is not easily identified.
  • detection and determination may be performed in a predetermined two-dimensional area instead of every A-Scan line.
  • the pixel value of the vitreous body is compared.
  • the application of the present invention is not limited to this, and can be replaced by using a predetermined reference value.
  • the gradation value 0 may be used as the reference value.
  • a program that realizes the functions of the above-described embodiments may be supplied to a computer or a system via a network or a storage medium.
  • a program that realizes the functions of the above-described embodiments may be supplied to a computer or a system via a network or a storage medium.
  • the apparatus or system for storing the supplied program and reading and executing the program, or the program or the storage medium itself constitutes the present invention.

Abstract

　眼底疾患等による層構造の変化にも対応して層構造を同定できる仕組みを提供する。　輝度情報作成部１３は、画像変換部により作成されたＳｏｂｅｌ画像に対して、輝度情報である輝度プロファイルを作成する。特徴点検出部１４は作成された輝度情報から特徴点を抽出する。ここでは、Ｓｏｂｅｌ画像から作成された輝度プロファイルの極大点（以後、ピークとする）を調べ、特徴点として検出する。層構造同定部１５では、網膜の各層の境界または層の種類を同定する。この層または境界の種類を同定する際に、ピーク間の輝度値をメディアン画像から求め、ピーク間の層構造を判定し、その情報を用いることによりピークに対応する層境界の種類を同定する。

Description

画像処理装置、画像処理方法、撮像システム及びプログラム
　本発明は、眼部の断層画像中の各層を同定する画像処理装置、画像処理方法、画像処理システム及びシステムに関する。
　生活習慣病や失明原因の上位を占める疾病の早期診断を目的として、眼部の検査が広く行われている。光干渉断層計（ＯＣＴ：Optical Coherence Tomography）などの眼部断層像撮像装置は、網膜層内部の状態を三次元的に観察することが可能であるため疾病の診断に有用である。
　眼底の網膜は複数の層からなる層構造を有しており、各層の厚み等の層構造に関する情報は疾病の進行度を測る客観的な指標として利用されている。このような指標を利用するため、網膜の断層画像を解析して層構造を正確に特定し、層の境界の種類を同定する技術が重要である。
　特許文献１では、断層画像の深度方向において、２つの強いエッジを検出し、このうち浅い方のエッジを内境界膜、深い方のエッジを網膜色素上皮に対応する境界と同定する技術が開示されている。これは、網膜の組織である内境界膜と網膜色素上皮が断層画像にて強いエッジとして現れる点に着目したものである。
　また特許文献２には、層構造の変化を判定する技術として、血管の偽像があるか否かを判定する技術が示されている。この技術は、血管下の領域は信号が著しく減衰し一様の画像特性となることを利用して、層境界の近傍における画素値に基づき偽像の判定を行うものである。
ＵＳ７３４７５４８Ｂ２ 特開２００９－６６０１５号公報
　例えば硝子体皮質が剥がれた症例では、内境界膜の上方を硝子体皮質が浮遊するため、特許文献１に記載の技術では硝子体皮質を内境界膜として誤検出する場合がある。このように疾病による層構造の変化、撮影部位や条件の変化により、網膜層境界を正確に同定することができない。
　また、偽像に限らず層構造の変化に対応しようとする場合、網膜層は深さ方向の位置によって大きく特性が異なるため、特許文献２のように層境界の近傍の状態だけでは正確な層境界の特定を行うことができない。
　本発明はかかる課題を解決するためになされたものであり、被検眼の断層画像から層の境界を複数検出する検出手段と、前記検出された境界間の層の特性と前記被検眼の硝子体の特性とに基づき前記検出された境界の種類を同定する同定手段とを有することを特徴とする。
　本発明によれば、境界の情報だけでなく、網膜断層像の背景に当たる硝子体の特性と境界間の特性に基づいて境界の種類を同定することができるため、同定の誤りを低減することができる。
実施例1に係る断層像撮像システムの構成図である。 撮影対象である網膜の層構造の一例を示した図である。 画像処理装置の処理の流れを示すフローチャートである。 網膜におけるＡ－Ｓｃａｎラインと輝度プロファイルの一例である。 画像処理装置によるＩＬＭ同定処理の流れを示すフローチャートである。 画像処理装置によるＲＰＥ境界の同定処理の流れを示すフローチャートである。 ＲＰＥ同定処理の詳細を示す図である。 画像処理装置によるＮＦＬ境界の同定処理の流れを示すフローチャートである。 実施例２に係る撮影対象と、Ａ－Ｓｃａｎライン及び輝度プロファイルの一例である。 実施例２に係る画像処理装置の処理の流れを示すフローチャートである。
（実施例１）
　本実施例に係る断層像撮像システムの構成を図１に従い説明する。この断層像撮像システムでは、断層像取得装置２０が被検眼の断層像を取得し、画像処理装置１０は断層像からエッジ成分の情報と、メディアン画像とを作成する。そしてメディアン画像から抽出された特徴点間の特性と、硝子体の特性とに基づいてエッジ成分に対応する網膜内の各層を同定するというものである。
　画像処理装置１０は断層像取得装置２０及び保存部３０と通信可能に接続されている。断層像取得装置２０は不図示の操作者による操作に応じて、被検眼の撮影を行い、得られた画像を画像処理装置１０及び保存部３０に送信する。
　断層像取得装置２０は例えば光干渉撮像法（ＯＣＴ：Optical Coherence Tomography）を用いたＯＣＴ撮像装置である。このＯＣＴ撮像装置は、被写体に対して照射した信号光の被写体における反射光および散乱光（戻り光）と、参照用物体に照射された参照光の反射光とから干渉光を生成し、干渉光を解析することにより被写体の内部構造を画像化する。被写体が層構造を有しているような場合には、各層で反射または散乱した光である戻り光の強度から層構造の画像を形成することができる。ＯＣＴ撮像装置では、網膜上の所定の点に信号光を照射し、その点における深さ方向の情報を得る（Ａ－Ｓｃａｎという）。このＡ－Ｓｃａｎを網膜表面上の所定の線上において所定間隔で行い（Ｂ－Ｓｃａｎという）統合することにより、網膜の断面画像を取得することができる。また、網膜表面上の所定範囲に対してＡ－Ｓｃａｎを行うことにより、複数の断面画像を取得することができると共に、それらを再構成して三次元のボリュームデータを得ることができ、任意の深さにおける網膜の画像（Ｃ－Ｓｃａｎ画像）を取得することもできる。
　画像処理装置１０は、例えば図１に示す各ブロックを夫々回路として有している。また別の例としては周知の電子計算機からなり、ハードウェアとソフトウェアの協働により各ブロックに対応する機能が実現する。具体的には、電子計算機は例えばＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ、マウス、キーボード、ネットワークＩ／Ｆ、表示部を有するものがある。ここで、ＲＯＭまたはＨＤＤには、後述する図３に示される処理を実現するためのプログラムが格納される。このプログラムが、ＲＡＭに展開され、ＣＰＵがその命令を実行することで、図１に示す機能が発揮され、図３に示す処理が実現される。
　画像処理装置１０が有する各機能を説明する。画像取得部１１は断層像取得装置２０から断層画像を取得する。この画像取得部１１で取得した画像に対して画像変換部１２、輝度情報作成部１３、特徴点検出部１４、層構造同定部１５で所定の処理を行い層構造を明らかにした後、液晶ディスプレイ等からなる画像表示部１６で表示する。
　先述のとおりＯＣＴの断層像は網膜の各層で反射または散乱された戻り光により得られるものであるため、反射または散乱が起こり易い層の境界に特徴が現れる。そのため、ＯＣＴ画像の解析は層の境界を特定することにより層構造を明らかにするというアプローチを取る。
　画像変換部１２は、取得した断層画像から層構造の同定に必要な変換画像を得る。本実施例では、主に層の境界を特定するために用いるエッジを強調した画像と、境界間の層を特定するために用いられる平滑化画像を作成する。エッジを強調した画像としては、層の浅い方から見て低画素値側から高画素値側へのエッジを強調するＳｏｂｅｌ画像と、高画素値側から低画素値側へのエッジを強調するＳｏｂｅｌ画像を作成する。これらＳｏｂｅｌ画像は、原画像である断層像画像に対して、Ａ－Ｓｃａｎライン毎に周知のＳｏｂｅｌフィルタを所定のパラメータで適用して作成できる。平滑化画像としては周知のメディアンフィルタを適用したメディアン画像を用いる。このメディアン画像によりエッジ間の画素値を参照する。
　なお画像変換の方法はこれに限定されるものではない。例えばメディアンフィルタの代わりに平均値フィルタのような平滑化フィルタを用いてもよい。更に、本実施形態のような平滑化フィルタやエッジ強調フィルタの他に、ガンマ補正のような階調変換フィルタやモルフォロジーフィルタなどを用いて画像変換を行ってもよい。
　輝度情報作成部１３は、画像変換部により作成されたＳｏｂｅｌ画像に対して、輝度情報である輝度プロファイルを作成する。ここで輝度プロファイルとは、Ａ－Ｓｃａｎラインで深さ方向に各画素の輝度値を並べた数列であり、深さ方向に対する輝度値のグラフである。本実施形態では幅２５６画素、高さ２５０画素の断層像に対して、幅５画素間隔でＡ－ｓｃａｎラインを走査するため、一枚の断層像に対して５０本の輝度プロファイルを作成する。これを、前ステップから入力されたＳｏｂｅｌ画像およびメディアン画像について行い、保存部３０に保存する。
　特徴点検出部１４は作成された輝度プロファイルから特徴点を抽出する。層の境界では反射される信号光が多くなるため、画像のエッジを抽出することにより、層の境界の位置を特定することができる。ここでは、Ｓｏｂｅｌ画像から作成された輝度プロファイルの極大点（以後、ピークとする）を調べ、特徴点として複数検出する。検出結果として、ピークの位置および大きさ等の情報をＡ－ｓｃａｎライン毎に保存部３０に保存する。
　層構造同定部１５では、網膜の各層の境界または層の種類を同定する。ここでいう同定とは、特徴点検出部１４にて検出された特徴点が網膜のどの層に該当するかその種類を定めることを指す。
　層構造同定部１５は、Ｓｏｂｅｌ画像から作成した輝度プロファイルで取得したピーク間の輝度値をメディアン画像から求め、硝子体の輝度値と比較することによりピーク間の層構造を判定し、その情報を用いることによりピークに対応する層境界の種類を同定する。これは、層の境界が特定されたとしても、網膜は単純な層構造ではなく、黄斑や視神経乳頭などの構造や、緑内障や硝子体皮質の局所的な剥がれなどが起こる。また、層構造が単純でも、血管がある場合には信号光が吸収され血管下の組織が画像化できないため、見かけ上層構造が変化して見える場合がある。ピーク間の層構造の情報を用いることにより、これらの状況による同定の誤りを低減することができる。この処理の詳細は後述する。
　このようにして特定された層を種類毎に色分けして表示する画像を作成し、画像表示部１６により表示させることにより、網膜の層の構造を診断者に目視で確認させることが可能になる。また、特定された層の厚みを画像から自動抽出して厚みグラフを作成することにより、診断指標を数値化して確認させることもできる。
　次に、本実施例に係る層構造を同定する処理の適用対象である網膜層の構造について図２を用いて説明する。図２（ａ）は網膜の黄斑部の断層像を模式図として示したものであり実線で層境界の位置が示されている。黄斑部の二次元断層像（Ｂ－Ｓｃａｎ画像、以下、断層像と呼ぶ）Ｔ１～Ｔｎの夫々はＡ－Ｓｃａｎを網膜表面の１ラインで行い二次元画像として構成したものである。Ａ－Ｓｃａｎは連続して行うわけではなく、１ライン上にて所定の間隔で行われるため、隣り合うＡ－ｓｃａｎの間は所定の補間方法により補間して二次元画像が構成される。
　断層像Ｔｎにおいて、硝子体皮質Ｈ１、内境界膜（ＩＬＭ：Inner Limiting Membrane）L1、神経線維層（ＮＦＬ：Nerve Fiber Layer）とその下部層との境界（以下、神経線維層境界と呼ぶ）Ｌ２、神経線維層Ｌ２’が示されている。また内網状層とその下部の層との境界（以下、内網状層境界と呼ぶ）Ｌ３、は外網状層をその下部の層との境界（以下、外網状層境界と呼ぶ）Ｌ４、視細胞内節／外節接合部（ＩＳ／ＯＳ：Interface between inner and outer segments of the photoreceptors）の境界Ｌ５、網膜色素上皮（ＲＰＥ）の下側の境界Ｌ６を表している。なお、ＯＣＴ撮像装置の性能によっては、ＩＳ／ＯＳとＲＰＥの境界が区別不可となる場合があるが、本発明においてはその精度は問題にしないこととする。また、内境界膜（ＩＬＭ）や視細胞内節／外節接合部（ＩＳ／ＯＳ）は層と見ることもできるがごく薄いため、それぞれ境界とみなす。
　一般に網膜はこのような単純な層構造を有しているが、部位や病変によってはこれと異なる構造を取り得る。黄斑の陥凹部M１では神経線維層は存在しない。また、領域Ｇ１は緑内障となった状態を示しており、神経線維層が薄くなっている。なお緑内障の患者ではこのような症状が現れるため、神経線維層の厚みは緑内障などの疾病の進行度や治療後の回復具合を定量的な指標となっている。
　図２（ｂ）も同じく網膜の黄斑部の断層像である。ここでは、疾病等の影響により内境界膜Ｌ１の上に硝子体皮質Ｈ１が剥離した状態を示している。内境界膜Ｌ１と硝子体皮質Ｈ１の間は空隙となっており、網膜組織は存在しない。
　また、血管Ｂ１が存在する場合、血管内の赤血球により信号光が減衰するため、血管下の領域が画像化されず、偽像Ｌ６’が発生してしまう。
　これら病変等の異常や構造の変化が大きいのは現れるのは内境界膜Ｌ１から網膜色素上皮の境界Ｌ６までの間の層であるため、これらの層を特定した後、その内部の層を特定することとなる。
　以下、上述した画像処理装置１０の各機能が層構造を同定する処理の流れを図３のフローチャートに従って説明する。この処理では、層境界を同定する際に、境界間がどのような組織であるかを判定して、その判定結果に基づき層境界を同定する処理を行うものである。
　ステップＳ３０１において、画像取得部１１は断層像取得装置２０で撮像したＯＣＴ断層像を取得する。断層像取得装置２０で撮影部位を指定して撮影する場合には、黄斑部、乳頭部など部位に関する情報も取得する。この部位情報を用いることにより画像処理の際の適切なパラメータを定めることができる。
　ステップＳ３０２において、画像変換部１２は画像取得部１１で取得したＯＣＴ断層像に対して画像変換を行う。本実施形態では断層像に対して、メディアンフィルタと、Ｓｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。ここで画素値は信号の強度が強い場合に大きく、弱い場合に小さくなる値とする。画像変換部１２は変換後の画像を輝度情報作成部に送ると共に、保存部３０に格納する。
　ステップＳ３０３において、輝度情報作成部１３はステップＳ２０２で変換した画像から輝度情報である輝度プロファイルを作成する。なお必ずしも輝度をグラフ化したものである必要はなく、画像の画素値、または信号強度を画像化したものであってもよい。Ｓｏｂｅｌ画像を介して輝度プロファイルを作成することで、画像からノイズが取り除かれることとなるため、エッジの検出を行い易くなる。また、メディアン画像からプロファイルを作成することにより、特にＯＣＴ画像において特に問題となるノイズの発生を抑制して所定範囲内での画像の傾向をより把握し易くするという効果がある。
　また、必ずしも変換画像から輝度プロファイルを作成する必要はなく、原画像である断層画像から所定の強さのエッジをできればよい。
　ステップＳ３０４において、特徴点検出部１４はステップＳ３０３で作成した輝度情報からピークを検出することにより、層の境界の位置を特定する。Ｓｏｂｅｌ画像はエッジを強調する画像であるため、その輝度情報のピークを検出することは、信号光の強度が弱い側から強い側への変化が大きい点、即ち断層像において画素値または輝度値が小さい側から大きい側へのエッジを検出することと同義である。検出には実験的にまたは画像情報に基づいて定められる閾値を用いる。
　上述の通り、内境界膜とＩＳ／ＯＳの境界間で病変の兆候が現れるため、これらの層をまず特定することが重要となる。ここで網膜層の構造において、ない境界膜は画素値の低い背景（硝子体）と比較的画素値の高い網膜組織との境界であり、上記のようなエッジとして検出することができる。また、ＩＳ／ＯＳは、層の浅い方向から見て比較的暗い組織と接しているため、上記のようなエッジとして検出できる。また、網膜において内境界膜およびＩＳ／ＯＳは多くの信号を反射または散乱させるため強いエッジとして検出し易い。この他に層の浅い方から見て強度の弱い側から強い側へのエッジに対応する境界は、硝子体皮質の境界を除けば大きなエッジではないため、閾値を調整することにより、この方法で内境界膜およびＩＳ／ＯＳを優先的に抽出することができる。
　更には、この内境界膜及びＩＳ／ＯＳの間にある組織は強度の強い側から弱い側へのエッジがより強調される層となっているため、内境界膜及びＩＳ／ＯＳの間にある層はこのエッジを検出して層を特定していく。
　またこの検出はＡ－Ｓｃａｎライン毎に行う。補間により得られた信号ではなく、実際に測定された値を用いることにより検出の信頼性を上げることができる。
　このようにして検出されたピークが層の境界位置となる。
　ステップＳ３０５において、層構造同定部１５では、ステップＳ２０４で検出したピークを用いて得られた網膜層の境界の１つを内境界膜（ＩＬＭ）と同定する。網膜組織の構造上、通常網膜組織でない背景の領域である硝子体と網膜組織が接する面が内境界膜となるが、硝子体皮質の剥がれがある場合には異なる。よって、浅い方から見て検出された２つのピークの間が背景であるか網膜組織であるかを、メディアン画像のプロファイルを用いて判定する。背景であれば浅い方から見て最初のピークが硝子体皮質、次のピークが内境界膜（ＩＬＭ）となり、ピーク間が網膜組織であれば最初のピークが内境界膜と同定する。処理の詳細については後述する。
　ステップＳ３０６において、層構造同定部１５では、ステップＳ３０４で検出したピークを用いて得られた網膜層の境界の１つをＩＳ／ＯＳと同定する。ここでも、内境界膜とそれよりも深い位置にある層境界間の組織を判定し、判定の結果に基づいてＩＳ／ＯＳを同定する。処理の詳細については後述する。
　ステップＳ３０７以下の処理では、同定された内境界膜とＩＳ／ＯＳの間にある層境界の同定（第一の同定）を行う。特徴点検出部１４が輝度プロファイルのピークを所定の閾値を用いて検出することにより、層の浅い方から見て信号光の強度が高い側から弱い側へと大きく変化する点を検出する。既に内境界膜とＩＳ／ＯＳが同定され、次に解析の対象とするこれら境界間の領域が特定されているため、以降に行われる神経線維層境界の同定等を行う（第二の同定）。ではピーク検出の閾値やパラメータの設定を適切に設定することができる。
　ステップＳ３０８において、層構造同定部１５では、ステップＳ３０７で検出したピークを用いて得られた網膜層の境界の１つを神経線維層の境界と同定する。この際に内境界膜とステップＳ３０７にて取得されたピークの間の層構造を判定して神経線維層の境界を同定する。これは、緑内障や陥凹部によっては神経線維層がなくなり、または画像として特定できないほど薄くなる場合があり、この場合には神経線維層の境界と内境界膜がほぼ一致し、同定を誤る可能性があるからである。この処理についても後述する。
　ステップＳ３０９にて、特定された層境界を同定された種類毎に色分けして断層像中に境界線を重畳し、画像表示部１６はその画像を表示する。層境界と色の対応を示すテーブルを予め記憶部に格納しておき、このデータに基づいて表示画面を生成する。
　このように、画像から特定された境界間の組織の種類を判定し、その結果に基づいて層境界の種類を同定するため、同定の誤りを減らすことができる。
　また、浅い方向から見て信号が弱い側から強い側への変化点に基づいてＩＬＭ及びＩＳ／ＯＳを特定し、その後逆方向の変化点に基づいて境界間の層構造を同定することにより、診断上重要な境界を簡易に特定できる。それと同時に病変の兆候が起こりやすい境界間の領域の層構造を正確に特定することができる。
　また、硝子体の画素値または輝度値を用いることにより、固定の閾値を設ける場合と比べて撮影条件や画像の特定に適用した閾値であるため適切に層の種類を判定することができる。
　図４は網膜の断層像とＡ－Ｓｃａｎのライン、および輝度プロファイルの関係を表した図である。ラインＡ３の位置でＡ－Ｓｃａｎを行い、結果として得られた一次元の画像についての、低画素値側から高画素値側へのエッジを強調するＳｏｂｅｌ画像のプロファイルＰ３１が示されている。また、高画素値側から低画素値側へのエッジを強調するＳｏｂｅｌ画像のプロファイルＰ３２が示されている。ピークＭ３１１は背景と硝子体皮質の境界、Ｍ３１２は空隙と内境界膜の境界、Ｍ３１３はＩＳ／ＯＳの位置である。また、ピークＭ３２１は硝子体皮質と空隙の境界、Ｍ３２２は神経線維層の境界、Ｍ３２３は網膜色素上皮との境界を示す。このようにステップＳ３０４では、特徴点検出部１４はＡ－ｓｃａｎライン毎に検出し、それぞれのピークの位置、大きさを記憶部に格納する。
　＜内境界膜の処理＞
　図５に従い、ステップＳ３０５における内境界膜Ｌ１（ＩＬＭ）同定処理の詳細を説明する。ステップＳ５０１にて、層構造同定部１５は、まず、おおよその背景（画像中の網膜層以外の領域）の平均輝度値を算出する。本実施形態ではメディアン画像に対して経験的に決定した閾値以下の領域だけを対象にして平均輝度値を算出する。このような閾値処理を行うことにより高輝度値側に存在するノイズ成分を除去することができる。但し、背景の平均輝度値の算出方法はこれに限定されるものではなく、閾値の決定を判別分析法やP-tile法などを用いて決定してもよい。また、網膜層の存在しない画像の上端や下端の輝度値を用いて平均輝度値を算出してもよい。
　次にステップＳ５０２では、層構造同定部１５はステップＳ３０４で検出したピークの位置を調べ、層の浅い方から順に２つのピークをそれぞれ第一ピーク、第二ピークとする。ここでは、図４のプロファイルＰ３１を用いて検出を行うが、Ｐ３２を用いて行ってもよい。Ａ－ｓｃａｎライン毎に処理を行うこの処理は、Ａ－Ｓｃａｎライン毎に行う。第一ピーク、第二ピークが決まったら、ステップＳ５０３で層構造同定部１５は２つのピーク間のメディアン画像の輝度プロファイルを調べる。ステップＳ５０４にて層構造同定部１５は、この処理では、ピーク間に存在するのが背景（硝子体領域）であるか網膜組織であるかを判定する処理を行う。具体的には、第一ピークと第二ピークの間に存在する画素に対して、背景の平均画素値に係数である１．２を掛けた値よりも大きい画素を取得する。ステップＳ５０５では、層構造同定部１５がその画素が境界間においてどのくらいの割合含まれているかを判定する。なおこの係数は実験的に求められたものであるが、これに限定されるものではなく、輝度プロファイルにおける平均値などの画像情報に応じて動的に閾値を決定してもよい。
　算出された割合が１／２以上のとき（ステップＳ５０５でＹｅｓ）、ピーク間に網膜組織が存在すると判断し（ステップＳ５０６）、第一ピークが内境界膜Ｌ１と同定される（ステップＳ５０７）。算出された割合が１／２より小さいとき（ステップＳ５０５でＮｏ）、ピーク間は背景であると判断し（ステップＳ５０８）、第二ピークが内境界膜Ｌ１と同定される。このとき同時に第一ピークは硝子体皮質Ｈ１に決定される（ステップＳ５０９）。
　なお、内境界膜の判定条件はこれに限定されるものではなく、例えば背景の平均値に掛ける係数は画像のヒストグラムから動的に求めてもよい。更に、本実施形態では、輝度情報において、閾値以上の画素の割合から、ピーク間が網膜組織であるか背景であるかを判定していたが、これに限定されるものではなく、例えば輝度プロファイルから勾配を求め、それを判定指標としてもよい。または、輝度情報から特徴量を求め、それを入力として識別器を用いた判定を行ってもよい。また、ピーク間の距離を用いた判定条件においてもこれに限定されるものではなく、画像のスケールに応じて動的に求めてもよい。
　このように、ピーク間にある組織を判定し、その結果に基づいて層境界の種類を同定することにより、同定の誤りを防止することができる。
　＜ＩＳ／ＯＳの処理＞
　図６に従い、ステップＳ３０６におけるＩＳ／ＯＳＬ５の同定処理の詳細を説明する。この処理ではピーク間の組織を判定する処理に加え、血管や出血による偽像に対応するために２段階の特定処理を行う。
　ステップＳ６０１にて、層構造同定部１５は、先述の処理により特定された内境界膜の位置よりも深い位置にあるピークを取得する。この段階では、ピークが複数あっても構わない。
　ステップＳ６０２にて、層構造同定部１５は、Ａ－Ｓｃａｎライン毎に取得されたピークが所定の条件を満たすか否かを判定する。特定条件を満たすピークだけをＩＳ／ＯＳＬ５として特定する。本実施形態ではＩＳ／ＯＳＬ５の特定条件として、ピークの大きさ、ピーク間の距離の２項目を用意した。ピークの大きさを用いた特定条件は、同じＡ－Ｓｃａｎライン上で特定した内境界膜Ｌ１のピークの大きさに０．８を掛けた値を閾値とする。ピーク間の距離を用いた特定条件は、同じＡ－Ｓｃａｎライン上で特定した内境界膜Ｌ１より所定の距離以上、画像空間中の下方向に位置していることとする。これらの条件は実験的に求められた値を用いることとする。これら２つの条件を満たした場合には（ステップＳ６０２にてＹｅｓ）、ＩＳ／ＯＳＬ５の候補となる層境界であると特定する。これが１段階目の特定処理となる。
　ステップＳ６０３からステップＳ６０７までの処理は、先述のない境界膜の処理と同様である。ステップＳ６０３では、層構造同定部１５がメディアン画像からピーク間の画素値を取得する。
　ステップＳ６０４では層構造同定部１５が取得したピーク間の画素値のうち、所定の閾値を超えている画素を取得する。ここでは、ピーク間の層構造が背景（硝子体）であるか網膜組織であるかを判定する。この処理はノイズ等の影響により内境界膜が誤って特定された場合にその確認をする為の処理である。閾値としては、例えば背景の画素値の１．２倍を超える画素を取得する。この閾値は、実験的に定めるものである。なお、ここでの判定処理は、背景か否かの判定に関わらず、神経線維層を含むか否か、血管による偽像が含まれるか否かなどを判定対象としても良い。
　ステップＳ６０５では、層構造同定部１５が閾値を超えた画素が所定の数または割合より多いか否かを判定する。例えば１／２を採用する。所定数よりも多いと判定された場合には（ステップＳ６０５でＹｅｓ）、ピーク間は網膜組織内であると判定し（ステップＳ６０６）、取得したピークはＩＳ／ＯＳＬ５であると同定する（ステップＳ６０７）。
　一方、ステップＳ６０２にてＩＳ／ＯＳＬ５の候補の条件に該当しなかった場合には（ステップＳ６０２でＮｏ）、そのＡ－ＳｃａｎラインではＩＳ／ＯＳの候補が発見できなかったものとする。その領域は同定不可領域として画像処理装置１０内の記憶部に記憶しておく（ステップＳ６０８）。
　ステップＳ６０９では、ステップＳ６０８にて同定不可領域とされた領域からＩＳ／ＯＳを特定するための処理を行う。これが２段階目の特定処理である。この処理では、同定済みの境界の位置および輝度値と、同定不可領域の輝度値を用いて、連続性を考慮しつつＩＳ／ＯＳを同定する処理を行う。具体的な処理は図７（ｂ）により後述する。
　ステップＳ６０５にてＮｏと判定された場合には、同定処理がＮＧを返し（ステップＳ６１０）、処理を終了する。このような場合となる例としては、撮影範囲の設定に問題がある場合、網膜層が異常な構造となっている場合がある。このような場合には、診断上重要な異常を含んでいる可能性があるので、音声や文字情報などによりユーザに通知することとしてもよい。
　このように検出された層境界をＩＳ／ＯＳＬ５と同定する際にも、ピーク間の組織を判定してから行うことにより、網膜層に異常がある場合にも正常とみなして処理してしまうという誤りを防ぐことができる。
　また、Ａ－Ｓｃａｎライン毎の情報に基づいて第一の特定を行い、特定された層境界から境界面の連続性を考慮して第二の特定を行う際に、特定できなかった領域の輝度値を用いているため、正確に層構造を特定することができる。
　図７（ａ）は、血管や出血が存在する領域におけるＡ－Ｓｃａｎとプロファイルの関係を示した図である。Ａ５の位置でＡ－Ｓｃａｎを行った場合、プロファイルＰ５が得られる。Ａ５の位置では血管や出血が発生していないため、ＩＳ／ＯＳに対応するピークＭ５２が抽出できている。Ａ４の位置では、Ａ－Ｓｃａｎに対応するプロファイルＰ４ではＩＳ／ＯＳに対応するピークが小さく、正しく検出できない。このような場合に、ステップＳ６０２にてＮｏの判定が行われ、第一次の処理では特定できない領域となる。ここで、固定の閾値等を用いて判定を行いＩＳ／ＯＳの抽出を試みても、ノイズや個体差の影響等を受けて正常な層構造の抽出をすることができない。
　図７（ｂ）は、先述の図６におけるステップＳ６０９の処理の詳細を示す図である。ステップＳ６０７にて特定されたＩＳ／ＯＳの境界が実線で示され、同定できていない部分が点線で示されている。この特定されたＩＳ／ＯＳのピークの大きさや位置との連続性を考慮し、残りのＩＳ／ＯＳを特定する。第一フェーズで特定したＩＳ／ＯＳのピークの大きさや位置から連続性を考慮するために、本実施形態では、ＩＳ／ＯＳ及び網膜色素上皮の間に位置する輝度の高い層領域を中心とした局所領域を設定する。その領域内で特定されているＩＳ／ＯＳ及び網膜色素上皮からピークの情報を抽出することとする。等間隔のＡ－Ｓｃａｎライン毎にＩＳ／ＯＳを特定しているため、図７（ｂ）のように、第一フェーズまでに特定された内境界膜ＣＰ１と網膜色素上皮ＣＰ２が等間隔に並んでいる。また、偽像領域内のＩＳ／ＯＳは輝度が低下しているため、第一フェーズの特定条件を満たすことができず、ＩＳ／ＯＳが特定されていない。そこで、特定されていないＩＳ／ＯＳを中心として局所領域を設定する。まず、ＩＳ／ＯＳが特定されていないＡ－ＳｃａｎラインＡ６について、そのＡ－Ｓｃａｎラインを中心とした、Ｘ－Ｚ平面（Ｃ－Ｓｃａｎ）の局所領域Ｒ１を考える。局所領域の大きさは、中心を含めた周りのＡ－Ｓｃａｎラインが７×７含まれる大きさとし、その局所領域内で既に特定されているＩＳ／ＯＳ（局所領域Ｒ１内の実線で表されている点）のピークの大きさ、ｙ座標値の平均を算出する。次に、局所領域中心のＡ－Ｓｃａｎラインについて、ＩＳ／ＯＳが存在するであろうｙ座標値を予測する。ＩＳ／ＯＳが存在するであろうｙ座標値は、算出したｙ座標平均値の上下１０画素として、その範囲内のＳｏｂｅｌ画像におけるエッジ成分を調べる。予測した範囲内のエッジ成分で、局所領域内における平均のピークの大きさに一番近いものを探し、その位置をＩＳ／ＯＳと特定する。第二フェーズでのＩＳ／ＯＳを特定する順番は局所領域に既に特定されているＩＳ／ＯＳが含まれている割合の高いＡ－Ｓｃａｎラインから特定していくこととする。この処理を上記の順番に従って繰り返すことで、偽像による輝度に低下などにより、特定困難なＩＳ／ＯＳを特定する。
　但し、ＩＳ／ＯＳの特定条件はこれに限定されるものではなく、例えば第一フェーズにおけるＩＳ／ＯＳのピークの大きさについての閾値は内境界膜のピークの大きさによらずに固定の閾値を用いてもよい。また、第二フェーズにおける局所領域の大きさもこれに限定されるものではない。
　＜神経線維層境界の処理＞
　図８のフローチャートに従い、ステップＳ３０８における神経線維層境界Ｌ２の同定処理の詳細を説明する。ステップＳ８０１において、層構造同定部１５は神経線維層境界Ｌ２の特定処理も第一ピーク、第二ピークを決め、そのピーク間の輝度値を調べる。具体的には、まず、内境界膜の同定処理により定められた内境界膜Ｌ１のピークを第一ピークとする。図４で言えばプロファイルＰ３１のピークＭ３１１、またはプロファイルＰ３２のピークＭ３２１が第一のピークに該当する。次に、信号光の強度が高い側から低い側へのエッジに対応する輝度プロファイルＰ３２上のピークで、内境界膜Ｌ１の下にあり、且つ、一番近いものを第二ピークとする（ステップＳ８０１）。ここでは、ピークＭ３２２が第二ピークに該当する。
　ステップＳ８０２において層構造同定部１５はメディアン画像を参照して取得した２つのピーク間の画素値を取得する。その後、ステップＳ８０３にて取得した画素のうち所定の閾値を超えている画素を取得する。この処理は、ピーク間が神経線維層Ｌ２´であるか否かを判定するためのものである。
　内境界膜Ｌ１の下には必ずしも神経線維層Ｌ２´が輝度値（または画素値）として現れるとは限らず、例えば黄斑の陥凹部付近では、そのＡ－ｓｃａｎライン上に神経線維層Ｌ２´は見てとれない。そこで、神経線維層の解析を行うには、まず、神経線維層Ｌ２´が存在するか否かを調べる必要がある。本実施形態における、神経線維層Ｌ２´が存在するか否かを判定する方法は、第一ピークＭ３２１と第二ピークＭ３２２の間に存在する画素数に対して、背景の平均輝度値に１．５を掛けた値よりも大きい画素がどのくらいの割合含まれているかを算出する。
　ステップＳ８０４にて、層構造同定部１５は、算出された割合が１／２以上のとき、ピーク間は神経線維層Ｌ２´であると判定し（ステップＳ８０５）、第二ピークを神経線維層境界Ｌ２と同定する（ステップＳ８０６）。算出された割合が１／２より小さいとき（ステップＳ８０４でＮｏ）、ピーク間には神経線維層Ｌ２´が存在しないと判定され（ステップＳ８０７）、そのＡ－ｓｃａｎライン上には神経線維層Ｌ２´が薄くなっており、取得されたピークは網膜色素上皮Ｌ５の下側の境界となる。この場合には緑内障の進行や陥凹部など病変が存在する可能性が高いことが医学的に明らかにされている。
　このように、ピーク間の組織が神経線維層Ｌ２´であるか否かを画素値（または輝度値）に基づいて判定し、その結果に基づき神経線維層境界Ｌ２を特定することにより、緑内障や陥凹部などの影響による層境界の同定精度の低下を抑制することができる。
　（実施例２）
　実施例２は、実施例１におけるステップＳ３０５において、ピーク間の距離を考慮して境界種別を判定する例を説明する。断層像において、図９のＡ－ＳｃａｎラインＡ２付近のように剥がれた硝子体皮質Ｈ１が内境界膜Ｌ１と近い位置に存在することがある。そのような断層像から内境界膜Ｌ１を特定しようとする際、Ａ－ＳｃａｎラインがＡ２の硝子体皮質Ｈ１によるピークと内境界膜Ｌ１によるピークとの距離が非常に小さくなり、硝子体皮質Ｈ１の厚みから、ピーク間に背景よりも高輝度な画素の割合が多くなる場合がある。そこで本実施形態では、ピーク間の距離によって網膜層境界の判定条件を変えることで、間違えることなく網膜層境界を同定（判定）する。処理の流れについては、内境界膜Ｌ１の同定処理以外は共通するため説明を省略する。装置の構成についても実施例１と同様であるため説明を省略する。但し画像処理装置１０がソフトウェアの指令に基づき動作する場合には、ＲＯＭまたはＨＤＤに格納されたプログラムは、図１０の処理を実行し、またそのための機能を実現するためのプログラムである点が異なっている。
　図１０に従い、実施例２に係るステップＳ３０５の内境界膜（ＩＬＭ）Ｌ１の同定処理の詳細を説明する。なお、ステップＳ１００１からステップＳ１００３まで、ステップＳ１００５からステップＳ１０１０までの処理については実施例１におけるステップＳ５０１からステップＳ５０９までの処理と同様であるため、説明を省略する。
　ステップＳ１００４では、層構造同定部１５では断層像におけるピーク間の距離を求める。ここでは、特徴点検出部１４によりＡ－ＳｃａｎラインＡ２上のプロファイルＰ２から浅い方から順にピークＭ２１とピークＭ２２が検出されている。ピーク間の距離が１０画素未満の場合、ピーク間に背景の平均階調値に１．２を掛けた値よりも大きい画素が３／４以上の割合で存在した場合、そのピーク間には網膜組織が存在すると判断し、第一のピークが内境界膜Ｌ１に決定される。割合が３／４より小さいとき、ピーク間は背景であると判断し、第二のピークが内境界膜Ｌ１に決定される。ピーク間の距離が１０画素以上のとき、第一の実施例のステップＳ２０５と同じく割合の閾値は１／２とする。このようにピーク間の距離に応じて閾値を変えるのは、各ピークに対応する位置の境界は所定の厚みを有する層を形成しておりその影響が大きくなるためである。例えば、網膜層から剥がれた硝子体皮質Ｈ１は所定の厚みを有しており、硝子体皮質Ｈ１と背景の境界を第一のピークＭ２１、剥がれにより生じた空隙（背景）と内境界膜Ｌ１の境界を第二のピークＭ２２として検出した場合に、硝子体皮質Ｈ１の厚みが影響して判定を誤ることがある。この他にも、２つの境界が密接するような場合には境界間の情報が相対的に小さくなるため、境界に影響されて境界間の情報が正確に得られない場合がある。そのため、ピーク間の距離に応じて閾値を変える必要がある。特に、境界間の距離が小さくなる場合には割合の閾値を大きくする必要がある。なお、割合の閾値を変えるだけでなく、画素値の閾値を変更してもよい。
　この処理により、ピーク間の距離に応じて網膜層境界Ｌ１の特定条件を変えることで、境界が密接しているような場合にも内境界膜の同定の誤りを低減することができる。
　（その他の実施例）
　実施例１において、画像変換部１２は入力画像を変換することとしたが、画像変換を行わず、原画像輝度値のまま、次ステップの入力とし、輝度情報作成部１３にて作成される輝度情報を原画像から直接作成することとしてもよい。
　実施例１および２では、ピーク間にある組織を判定することとしているが、これに限らない。例えば、Ａ－Ｓｃａｎライン毎にピークの前後にある所定範囲の領域の画素値と、背景（硝子体）の画素値と比較することによりピークの前後にある組織を判定してピークに対応する層境界の種類を同定することとしてもよい。このような処理によれば、層境界に対応するピークが複数見つからなかった場合においても網膜層におけるピークの位置を特定することができるため、層境界の種類の同定を誤りにくくなる。またＡ－Ｓｃａｎラインごとでなくとも、所定の二次元領域において検出および判定を行ってもよい。
　また、実施例１および２にて、硝子体の画素値と比較しているが、本発明の適用はこれに限らず、所定の参照値を用いることで代替することが可能である。例えば、画像が２５６階調で表されるような場合には、その階調値０を参照値としてもよい。
　また上述した実施形態の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してコンピュータ、又はシステムに供給してもよい。この際に、供給されたプログラムを格納してこれを読み出し実行する装置若しくはシステム、又はこのプログラム若しくは記憶媒体自体が本発明を構成することは言うまでもない。
　更には、これまでの実施例は主に本発明をソフトウェアにより実現する実施例を説明したが、本発明の適用はこれに限らない。例えば、先述の機能ブロックを回路で実装しハードウェアで実現することも本発明の属する技術の分野における当業者には容易に実施可能である。また、実施例においてプログラムの介在により実行される機能ブロックの一部のみを専用の画像処理ボードとして実装してもよい。
　１０　画像処理装置
　１１　画像取得部
　１２　画像変換部
　１３　輝度情報作成部
　１４　特徴点検出部
　１５　層構造同定部
　１６　画像表示部
　２０　断層像取得装置
　３０　保存部

Claims (15)

  1. 　被検眼の断層画像から層の境界を複数検出する検出手段と、
    　前記検出された境界間の層の特性と前記被検眼の硝子体の特性とに基づき前記検出された境界の種類を同定する同定手段と
    　を有することを特徴とする画像処理装置。
  2. 　前記同定手段は、前記検出された境界間の層の特性と前記被検眼の硝子体の特性を比較して前記検出された境界間の層の種類を判定し、該判定の結果に基づいて前記境界の種類を同定することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記同定手段は、前記検出された境界間の距離に応じて前記判定の閾値を変えることを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記同定手段は、前記硝子体の領域に基づく画素値と、前記境界間の領域の画素値との差の大きさと、該差が所定の値以上である前記境界間の領域の画素の割合に応じて前記検出された境界の種類を同定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
  5. 　前記検出手段は、前記断層画像の深さ方向における画素値または輝度値の変化が所定の値以上である点を網膜の層の境界として検出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  6. 　前記検出手段は、層の深さ方向に対する断層画像のエッジに基づいて層の境界の少なくとも一部を検出し、
    　前記検出された一部の境界と、前記検出ができなかった領域の画素値に基づいて、前記検出ができなかった領域における層の境界を検出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  7. 　前記同定手段が同定する境界の種類は、内境界膜、硝子体皮質の境界、神経線維層境界、視細胞内節／外節接合部または網膜色素上皮の境界のいずれかであることを特徴とする請求項１に記載の画像処理装置。
  8. 　前記被検眼の断層画像は前記被検眼の網膜の断層画像であることを特徴とする請求項１に記載の画像処理装置。
  9. 　前記被検眼の断層画像はＯＣＴ撮像装置により撮像された画像であることを特徴とする請求項１に記載の画像処理装置。
  10. 　被検眼の断層画像から層を検出する検出手段と、
    　前記検出された層の特性と前記被検眼の硝子体の特性とに基づき前記検出された層の種類を同定する同定手段と
    　を有することを特徴とする画像処理装置。
  11. 　被検眼の断層画像から層の境界を検出する検出手段と、
    　前記検出された複数の境界間の輝度値に基づき、前記境界間の層の種類を判定する判定手段と、
    　前記判定に応じて前記検出された境界の種類を同定する同定手段と
    　を有することを特徴とする画像処理装置。
  12. 　被検眼の網膜に対して照射する信号光に基づいて生成された被検眼の断層画像を取得する取得手段と、
    　前記取得された断層画像から得られる前記信号光の強度の低い側から高い側へのエッジに基づいて内境界膜または網膜色素上皮を同定する第一の同定手段と、
    　前記被検眼の断層画像から得られる前記信号光の強度の高い側から低い側へのエッジに基づいて前記内境界膜または網膜色素上皮の間に存在する層または層境界を同定する第二の同定手段と
    　を有することを特徴とする画像処理装置。
  13. 　被検眼の断層画像から層の境界を検出するステップと、
    　前記検出された複数の境界間の領域の特性と前記被検眼の硝子体の特性との比較に基づき前記検出された境界の種類を同定するステップと
    　を有することを特徴とする画像処理方法。
  14. 　被検眼の断層画像から層の境界を検出する処理と、
    　前記検出された複数の境界間の領域の特性と前記被検眼の硝子体の特性との比較に基づき前記検出された境界の種類を同定する処理と
    　をコンピュータに実行させることを特徴とするプログラム。
  15. 　被検眼の網膜の層構造を撮像して断層画像を取得する撮像手段と、
    　前記撮像された断層画像から層の境界を検出する検出手段と、
    　前記検出された複数の境界間の層の特性と前記被検眼の硝子体の特性とに基づき前記検出された境界の種類を同定する同定手段と、
    　前記同定の結果を前記断層画像とともに表示する表示手段と、
    を有することを特徴とする撮像システム。
PCT/JP2009/070924 2009-12-15 2009-12-15 画像処理装置、画像処理方法、撮像システム及びプログラム WO2011074078A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2009/070924 WO2011074078A1 (ja) 2009-12-15 2009-12-15 画像処理装置、画像処理方法、撮像システム及びプログラム
JP2011545883A JP5665768B2 (ja) 2009-12-15 2009-12-15 画像処理装置、画像処理方法、撮像システム及びプログラム
US12/966,950 US9320423B2 (en) 2009-12-15 2010-12-13 Image processing apparatus for detecting boundaries in tomographic image, method for image processing, image pickup system, and computer-readable storage medium
US15/083,093 US9872614B2 (en) 2009-12-15 2016-03-28 Image processing apparatus, method for image processing, image pickup system, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/070924 WO2011074078A1 (ja) 2009-12-15 2009-12-15 画像処理装置、画像処理方法、撮像システム及びプログラム

Publications (1)

Publication Number Publication Date
WO2011074078A1 true WO2011074078A1 (ja) 2011-06-23

Family

ID=44142462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/070924 WO2011074078A1 (ja) 2009-12-15 2009-12-15 画像処理装置、画像処理方法、撮像システム及びプログラム

Country Status (3)

Country Link
US (2) US9320423B2 (ja)
JP (1) JP5665768B2 (ja)
WO (1) WO2011074078A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027439A (ja) * 2011-07-26 2013-02-07 Nidek Co Ltd 網膜処置スケジュール作成装置、網膜処置スケジュール作成プログラム
JP2013111421A (ja) * 2011-11-30 2013-06-10 Nidek Co Ltd 眼底解析装置及びプログラム
JPWO2015098912A1 (ja) * 2013-12-25 2017-03-23 興和株式会社 断層像撮影装置
JP2017127397A (ja) * 2016-01-18 2017-07-27 キヤノン株式会社 画像処理装置、推定方法、システム及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140253594A1 (en) * 2011-10-19 2014-09-11 Shimadzu Corporation Display apparatus, a display method and a display program for use in a measuring system
EP2693399B1 (en) * 2012-07-30 2019-02-27 Canon Kabushiki Kaisha Method and apparatus for tomography imaging
JP5740370B2 (ja) * 2012-09-04 2015-06-24 株式会社東芝 領域特定装置、方法、及びプログラム
JP2014068145A (ja) * 2012-09-25 2014-04-17 Kyocera Corp 携帯端末、表示制御プログラムおよび表示制御方法
EP2929327B1 (en) * 2012-12-05 2019-08-14 Perimeter Medical Imaging, Inc. System and method for wide field oct imaging
JP6418766B2 (ja) * 2014-03-27 2018-11-07 キヤノン株式会社 断層画像処理装置、断層画像処理方法及びプログラム
US9984459B2 (en) 2015-04-15 2018-05-29 Kabushiki Kaisha Topcon OCT angiography calculation with optimized signal processing
JP6736270B2 (ja) 2015-07-13 2020-08-05 キヤノン株式会社 画像処理装置及び画像処理装置の作動方法
JP6644075B2 (ja) 2015-08-19 2020-02-12 興和株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN106485721B (zh) * 2015-08-31 2019-11-05 深圳先进技术研究院 从光学相干断层图像获取视网膜结构的方法及其系统
JP6632267B2 (ja) * 2015-09-04 2020-01-22 キヤノン株式会社 眼科装置、表示制御方法およびプログラム
KR102392597B1 (ko) * 2015-10-15 2022-04-29 삼성전자주식회사 두께 측정 방법, 영상 처리 방법 및 이를 수행하는 전자 시스템
US10043254B2 (en) * 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal image transformation based on professionalism score of subject
US10043240B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal cropping of digital image based on professionalism score of subject
JP6788397B2 (ja) * 2016-07-05 2020-11-25 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP6779690B2 (ja) * 2016-07-27 2020-11-04 株式会社トプコン 眼科画像処理装置及び眼科撮影装置
US10916012B2 (en) * 2016-10-05 2021-02-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10779721B2 (en) * 2016-10-14 2020-09-22 Alcon Inc. Optical coherence tomography cross view imaging
EP3621511A4 (en) * 2017-05-12 2021-04-14 Eyekor, LLC AUTOMATED TCO RETINAL SCAN ANALYSIS
CN110738139B (zh) * 2019-09-26 2023-04-07 西安工程大学 一种融合Min-Max目标的NIN车牌识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066015A (ja) * 2007-09-10 2009-04-02 Univ Of Tokyo 眼底観察装置、眼科画像処理装置及びプログラム
JP2009160190A (ja) * 2007-12-29 2009-07-23 Nidek Co Ltd 眼科撮影装置
JP2009183332A (ja) * 2008-02-04 2009-08-20 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7347548B2 (en) 2003-05-01 2008-03-25 The Cleveland Clinic Foundation Method and apparatus for measuring a retinal sublayer characteristic
EP3884844A1 (en) * 2008-07-18 2021-09-29 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066015A (ja) * 2007-09-10 2009-04-02 Univ Of Tokyo 眼底観察装置、眼科画像処理装置及びプログラム
JP2009160190A (ja) * 2007-12-29 2009-07-23 Nidek Co Ltd 眼科撮影装置
JP2009183332A (ja) * 2008-02-04 2009-08-20 Topcon Corp 眼底観察装置、眼底画像処理装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027439A (ja) * 2011-07-26 2013-02-07 Nidek Co Ltd 網膜処置スケジュール作成装置、網膜処置スケジュール作成プログラム
JP2013111421A (ja) * 2011-11-30 2013-06-10 Nidek Co Ltd 眼底解析装置及びプログラム
JPWO2015098912A1 (ja) * 2013-12-25 2017-03-23 興和株式会社 断層像撮影装置
JP2017127397A (ja) * 2016-01-18 2017-07-27 キヤノン株式会社 画像処理装置、推定方法、システム及びプログラム

Also Published As

Publication number Publication date
JP5665768B2 (ja) 2015-02-04
US9872614B2 (en) 2018-01-23
US20110141259A1 (en) 2011-06-16
JPWO2011074078A1 (ja) 2013-04-25
US20160206191A1 (en) 2016-07-21
US9320423B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
JP5665768B2 (ja) 画像処理装置、画像処理方法、撮像システム及びプログラム
KR102543875B1 (ko) 의료용 화상 처리 장치, 의료용 화상 처리 방법, 컴퓨터 판독가능 매체, 및 학습 완료 모델
US9943224B2 (en) Image processing apparatus and image processing method
KR101478598B1 (ko) 화상처리장치, 그 제어방법 및 컴퓨터 프로그램
Akram et al. Automated detection of dark and bright lesions in retinal images for early detection of diabetic retinopathy
JP5701024B2 (ja) 画像処理装置及び方法
JP5751815B2 (ja) 画像処理装置、撮影システム、画像処理方法及びプログラム
US9436994B2 (en) Image processing apparatus for processing a tomogram of an eye to be examined, image processing method, and computer-readable storage medium
US20110211057A1 (en) Image processing apparatus, image processing method, program, and program recording medium
US20110137157A1 (en) Image processing apparatus and image processing method
JP5631339B2 (ja) 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
WO2018116321A2 (en) Retinal fundus image processing method
JP2011194061A (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム
Hatanaka et al. Improvement of automatic hemorrhage detection methods using brightness correction on fundus images
KR102361354B1 (ko) 관상동맥 조영 영상에서 심장 협착증 질병 정보 제공 방법
JP5563394B2 (ja) 画像処理装置、プログラムおよび記憶媒体
JP6061984B2 (ja) 画像処理装置、画像処理方法及びプログラム
Azemin Greyscale analysis of retina scans

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09852272

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011545883

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09852272

Country of ref document: EP

Kind code of ref document: A1