WO2017030058A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2017030058A1
WO2017030058A1 PCT/JP2016/073498 JP2016073498W WO2017030058A1 WO 2017030058 A1 WO2017030058 A1 WO 2017030058A1 JP 2016073498 W JP2016073498 W JP 2016073498W WO 2017030058 A1 WO2017030058 A1 WO 2017030058A1
Authority
WO
WIPO (PCT)
Prior art keywords
boundary line
image
extracted
image processing
control points
Prior art date
Application number
PCT/JP2016/073498
Other languages
English (en)
French (fr)
Inventor
中川 俊明
隆雄 篠原
泰士 前野
Original Assignee
興和株式会社
カシオ計算機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 興和株式会社, カシオ計算機株式会社 filed Critical 興和株式会社
Publication of WO2017030058A1 publication Critical patent/WO2017030058A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for extracting a layer boundary line by processing a tomographic image of a target object such as an eye to be inspected captured by a tomographic imaging apparatus or the like. .
  • One of the ophthalmologic diagnosis apparatuses is a tomographic imaging apparatus using optical interference called optical coherence tomography (OCT) that takes a tomographic image of the fundus.
  • OCT optical coherence tomography
  • Such a tomographic imaging apparatus can irradiate the fundus with broadband low-coherent light as measurement light, and can capture a tomographic image of the fundus with high sensitivity by causing the reflected light from the fundus to interfere with the reference light.
  • the internal state of the retinal layer can be observed three-dimensionally.
  • the thickness of the retinal layer such as a nerve fiber layer or the change in layer shape such as irregularities in the retinal pigment epithelium layer It is possible to quantitatively diagnose the degree of progression of diseases such as glaucoma and the degree of recovery after treatment.
  • Patent Document 1 describes a configuration in which a boundary of a retinal layer is detected from a tomographic image captured by a tomographic imaging apparatus and vitiligo that is one of lesions is extracted from a fundus image.
  • Patent Document 2 a false image (artifact) region in a tomographic image of the fundus is specified, a boundary of a retinal layer in a region that is not a false image region is detected, and a luminance value is determined using a different method for the boundary of the retinal layer in the false image region.
  • a configuration is described in which lines are detected on the basis of lines and lines indicating the detected boundaries are superimposed and displayed.
  • Patent Document 3 a layer is detected based on an edge from a low intensity side of signal light obtained from a tomographic image of the eye to be examined to a high side, and the edge from the high intensity side of the signal light to the low side is detected. Based on this, a configuration for detecting a layer or a layer boundary existing between the layers is described.
  • Non-Patent Document 1 the edge image of the retinal tomogram acquired using the canny edge detection method and the luminance gradient image are respectively weighted and calculated, and the boundary line of the retinal layer is extracted by searching for the shortest path.
  • the configuration is described.
  • when extracting boundary lines of a plurality of retinal layers first, two boundary lines are extracted, and other boundary lines existing between them are narrow within the extracted boundary lines. A configuration for searching within the range and shortening the extraction time is described.
  • Non-Patent Document 1 a boundary line is extracted by weighting an edge image of a retinal tomogram and a luminance gradient image, respectively.
  • the weighting is one-dimensional, and particularly, there is no association between the edge image and the probability that the boundary line to be extracted exists, and the boundary line cannot be accurately extracted.
  • the present invention has been made in view of such a point, and an image processing apparatus, an image processing method, and an image that can make an extracted boundary line a smooth curve or correct it by a simple method. It is an object to provide a processing program.
  • Boundary line extracting means for extracting an image of a target object composed of a plurality of layers as an input image and extracting a boundary line of the layer from the input image;
  • Control point setting means for setting control points at predetermined pixel intervals on the extracted boundary line;
  • a display unit for displaying the extracted boundary line and the set control points;
  • a characteristic is that a curve connecting the set control points is extracted and displayed as a boundary line.
  • the pixel interval can be variably set, and the boundary line extracted is corrected by moving the displayed control point and using the curve obtained by connecting the moved control point and other control points as the boundary line. Can do. Further, the set control points can be deleted, or new control points can be added between the set control points. Further, the boundary line of the layer can be extracted by the boundary line extracting means so that one or a plurality of displayed control points are moved and all the moved control points are passed.
  • control points are set on the extracted boundary line at predetermined pixel intervals, and a curve connecting the set control points is extracted as a boundary line. Therefore, the boundary line can be approximated to a smooth curve that is easy to grasp. it can.
  • a smoother or more faithful boundary line can be obtained by variably setting the pixel interval, moving or deleting the set control points, or adding new control points between the set control points. be able to.
  • FIG. 1 is a block diagram illustrating an overall configuration of an image processing apparatus. It is explanatory drawing which showed the state which acquires the tomographic image of a fundus retina by scanning the fundus. It is explanatory drawing which showed the retinal layer of the acquired tomographic image, or its boundary line. It is the flowchart which showed the process of extracting the boundary line of a retinal layer. It is explanatory drawing which showed the boundary line candidate image and luminance value differential image which were produced from the existence probability image read out based on the input image, and the input image image. It is explanatory drawing which showed the process which extracts a boundary line from an input image and acquires a result image. It is a block diagram which shows the structure of a presence probability image storage part.
  • the processing target object image will be described by taking a tomographic image of the fundus of the eye to be examined as an example.
  • the image that is the processing target object in the present invention is not limited to the tomographic image of the fundus oculi.
  • the present invention is also applied to an image of a target object in which the above layer is photographed.
  • FIG. 1 is a block diagram showing the entire system for acquiring and processing a tomographic image of the fundus of the eye to be examined.
  • the tomographic imaging apparatus 10 is an apparatus (OCT: Optical Coherence Tomography) that captures a tomographic image of the fundus of the eye to be examined, and operates, for example, in a Fourier domain system. Since the tomographic imaging apparatus 10 is known, detailed description thereof is omitted, but the tomographic imaging apparatus 10 is provided with a low coherence light source, and light from the low coherence light source is divided into reference light and signal light. The As shown in FIG.
  • the signal light is raster scanned on the fundus oculi E, for example, in the X and Y directions.
  • the signal light scanned and reflected by the fundus E is superimposed on the reference light reflected by the reference mirror to generate interference light, and an OCT signal indicating information in the depth direction (Z direction) of the fundus is generated based on the interference light.
  • the image processing apparatus 20 includes a control unit 21 realized by a computer including a CPU, a RAM, a ROM, and the like, and the control unit 21 controls the entire image processing by executing an image processing program.
  • the image processing apparatus 20 is provided with a tomographic image forming unit 22.
  • the tomographic image forming unit 22 is realized by a dedicated electronic circuit that executes a known analysis method such as a Fourier domain method, or an image processing program executed by the CPU, and an OCT signal generated by the tomographic imaging apparatus 10. Based on the above, a tomographic image of the fundus is formed.
  • the tomographic image B N is an image having a size of m ⁇ n pixels and is also called a B scan image. .
  • the t pieces of tomographic images B N formed by the tomographic image forming unit 22 or the three-dimensional volume image constructed from these t pieces of tomographic images B N are, for example, a storage unit configured by a semiconductor memory, a hard disk device, or the like. 23.
  • the storage unit 23 further stores the above-described image processing program and the like.
  • the image processing device 20 is provided with an image processing unit 30.
  • the image processing unit 30 includes a boundary line candidate image creating unit 31, a brightness value differential image creating unit 32, a brightness value information image creating unit 32a, an evaluation score image creating unit 33, a boundary line extracting unit 34, a search range setting unit 35, and Control point setting means 36 is provided.
  • the boundary line candidate image creating unit 31 detects the edge of the input image to create a boundary line candidate image, and the luminance value differential image creating unit 32 differentiates the luminance value of the input image to indicate the luminance gradient.
  • the brightness value differential image is created, the brightness value information image creating means 32a shifts the input image in the vertical direction to create a brightness value information image indicating the brightness information, and the evaluation score image creating means 33 reads the created image and the reading.
  • An evaluation score image showing an evaluation score for boundary line extraction is created based on the output image, and the boundary line extraction means 34 searches the evaluation score image for a route where the total value of the evaluation scores is the highest. Extract as a boundary line.
  • the search range setting means 35 sets the search range in accordance with the extracted boundary line
  • the control point setting means 36 sets control points on the extracted boundary line at a predetermined pixel interval.
  • Each means or each image processing in the image processing unit 30 is realized by using a dedicated electronic circuit or by executing an image processing program.
  • the existence probability image storage unit 26 stores an image indicating the existence probability that the boundary line exists for each boundary line to be extracted.
  • the weighting coefficient storage unit 27 stores a weighting coefficient weighted to the luminance value differential image and a weighting coefficient weighted to the luminance value information image for each boundary line to be extracted.
  • the display unit 24 is configured by a display device such as an LCD, for example.
  • the operation unit 25 includes, for example, a mouse, a keyboard, an operation pen, a pointer, an operation panel, and the like.
  • the operation unit 25 is used to select an image displayed on the display unit 24 or to give an instruction to the image processing apparatus 20 or the like. It is done.
  • the retina of the fundus is composed of various membranes or layers of tissues, and the membranes or layers that can be discriminated in the tomographic image B are shown in FIG.
  • ILM indicates an internal limiting membrane
  • NFL indicates a nerve fiber layer
  • GCL indicates a ganglion cell layer
  • IPL indicates an inner plexiform.
  • IS indicates inner photoreceptor segment
  • OS indicates outer photoreceptor segment
  • RPE indicates retinal pigment epithelium.
  • L1 is a boundary formed by the inner boundary membrane ILM
  • L2 is a boundary between the nerve fiber NFL and the ganglion cell layer GCL.
  • These boundary lines L1 to L10 are boundary lines to be extracted in the present invention.
  • the boundary line of the retinal layer is extracted with high accuracy by the method described below. The method will be described below with reference to the flowchart of FIG.
  • This input image may be one, several, or all of the t pieces of tomographic images B N shown in FIG. 2, or may be an image after any image processing is applied.
  • any one tomographic image is selected as an input image.
  • a boundary line to be extracted from the input image B is determined, and an existence probability image for the boundary line is read from the existence probability image storage unit 26 (step S2).
  • the existence probability image storage unit 26 is shown in FIG.
  • the existence probability image storage unit 26 each boundary line L1 ⁇ L10 layer of the tomographic image B k with respect to the tomographic image B k, an image showing the existence probability of the boundary line is present are stored.
  • the ILM (L1) at the upper left is an image showing the probability that the boundary line L1 of the inner limiting membrane (ILM) exists
  • the NFL / GCL (L2) below it is the nerve fiber layer (NFL) and the ganglion cell layer
  • NNL nerve fiber layer
  • GCL ganglion cell layer
  • other existence probability images are stored in the same manner.
  • Such an existence probability image indicates the probability that a boundary line exists from a tomographic image B k acquired with the same scanning line y k with respect to a plurality of normal eyes.
  • existence probability image ILM boundary line L1 of the tomographic image B k (L1) is schematically as H ILM downward in FIG. 7, a probability boundary line L1 exists a region (pixel region) percent It is shown in Tomographic image B k of the pixel (i, j) if it Kimare can be determined the probability that the boundary line L1 is present at that position, as a digital value corresponding to the percent H ILM.
  • FIG. 7 shows pixel regions divided with a probability of every 25%. Although what percentage is used for the division is determined according to the accuracy to be obtained, in actuality, the division is performed with a finer probability than that shown in FIG.
  • the existence probability image storage unit 26 it is shown that 10 pieces of existence probability images each layer of the tomographic image B k are stored. However, for the tomographic images B N other than the tomographic images B k constituting the volume image, the existence probability images for each layer may be stored for each tomographic image, or all the images B 1 to B N. One common existence probability image may be stored. Further, the existence probability image may be an image in which the X direction is uniform and the Z direction continuously increases or decreases monotonously. Each existence probability image stored in the existence probability image storage unit 26 is mapped, and when the extracted boundary line is corrected, the existence probability image contributing to the extraction is also adaptively corrected. Can be learned sequentially.
  • the existence probability image storage unit 26 may be an external storage unit instead of being provided in the image processing apparatus 20, and may be provided in a server connected via the Internet, for example.
  • an input image B, and existence probability image ILM determined by the boundary line L1 ( L1) is read from the existence probability image storage unit 26, and the read existence probability image is shown as HILM in the upper part of FIG.
  • the boundary line candidate image creating unit 31 of the image processing unit 30 detects the edge of the input image B and creates a boundary line candidate image (step S3).
  • edge detection for example, a known Canny edge detection method (Canny Edge Detection) is used. Edges extracted by this canny edge detection method become thin edges, and when a threshold value is appropriately set, such as by setting a high threshold value in a region with high contrast, a plurality of thin lines that become boundary line candidates of the input image B A boundary line candidate image composed of lines can be created.
  • This boundary line candidate image is an image of m ⁇ n pixels having values indicating the presence / absence of the edge of the input image B as digital values at pixel positions corresponding to the respective pixels (i, j). Illustrated as E ILM .
  • the luminance value differential image creating means 32 differentiates the luminance value of the input image B in the Z direction to create a luminance value differential image (step S4). Differentiating the luminance value calculates the luminance gradient in the Z direction. This luminance gradient is calculated using, for example, a differential filter such as a known Sobel filter.
  • the luminance value differential image is an image of m ⁇ n pixels having a value indicating the luminance gradient of the input image B as a digital value at a pixel position corresponding to each pixel (i, j), and is illustrated as GILM in FIG. Has been. Differentiating the luminance value enables detection of the luminance gradient of the retinal layer, so that the luminance value differential image can supplement the information when the edge information of the boundary line candidate image is missing or insufficient. it can.
  • an image obtained by shifting the input image B by a desired number of pixels in the vertical direction is created as a luminance value information image B ′ (step S5, ILM weighting coefficient Q ILM set for the luminance value information image B ′) (Step S5 ′)
  • the amount of movement and the direction of movement in the vertical direction can be appropriately changed depending on the boundary line to be obtained, but as an example, in the case of ILM, it moves 5 pixels upward. That is, it is preferable to determine the moving direction and the shift amount so that the luminance information overlaps the boundary line to be obtained.
  • the boundary score candidate image E ILM the existence probability image H ILM , the luminance value differential image G ILM , the weighting coefficient W ILM set for the luminance value differential image, and the luminance value information image B ′ by the evaluation score image creation means 33.
  • an evaluation score image C ILM is calculated and created based on the following equation (step S6).
  • C ILM E ILM ⁇ H ILM + W ILM ⁇ G ILM + Q ILM ⁇ B ′
  • the process of creating the evaluation score image CILM is illustrated in FIG.
  • the evaluation score image C ILM includes a boundary position position image obtained by calculating (multiplying) the boundary line candidate image E ILM and the existence probability image H ILM, and a boundary position probability image indicating two-dimensional information including the existence probability.
  • the luminance value differential image G ILM weighted with the weighting coefficient W ILM and the luminance value information image B ′ weighted with the weighting coefficient Q ILM are formed (added). Note that, depending on the boundary line to be extracted, which of the edge element, the luminance value differential element, and the luminance value information is emphasized is more easily extracted.
  • the evaluation score image C ILM is calculated for each pixel (i, j) of the boundary line candidate image E ILM , existence probability image H ILM , and luminance value differential image G ILM . It is an image composed of m ⁇ n pixels having a calculated value according to the above-described formula at a pixel position corresponding to (i, j). Each image in FIG. 6 is actually a complicated shape, but it is difficult to illustrate, so the outline is schematically illustrated.
  • each pixel (i, j) is scored with a digital value in the evaluation score image C ILM , for example, a route search using dynamic programming (Dynamic Programming) is performed to search for a route with the highest total score. To extract the ILM boundary line.
  • dynamic programming Dynamic Programming
  • This route search example is illustrated in FIG.
  • the search range is set to the dotted range shown above and below.
  • the pixel having the highest evaluation score among the pixels in the vicinity of P1 is searched, the position of the pixel is stored, and the evaluation score of the pixel and the evaluation score of each pixel of P2 are determined.
  • the added value is updated as the evaluation score for each pixel of P2.
  • i is incremented, and each pixel column P3,. . . . . Repeat until Pm.
  • a path indicated by a thick dotted line with the highest sum is extracted as a boundary line by starting from the pixel with the highest evaluation score in the pixel row Pm and sequentially tracing the position of the stored pixel with i reduced.
  • a thin curved line is a line obtained by calculating the edge E ILM detected in the process of step S3 of FIG. 4 and the existence probability H ILM of the boundary L to be extracted, and has a width of A certain horizontally long image is the luminance value differential image GILM obtained by the process of step S4 of FIG. It can be understood that the evaluation score is high in a region having a luminance gradient, and the boundary line L to be extracted passes through this region. If necessary, the starting point is changed to obtain the sum for all routes, and the route having the highest score is extracted as the boundary line L1 of the inner boundary film (ILM) (step S7).
  • ILM inner boundary film
  • the extracted boundary line L1 is superimposed on the input image B as shown in the lower part of FIG. 6, and is displayed on the display unit 24 as a result image RILM (step S8).
  • step S9 it is determined whether or not all boundary lines have been extracted. If there is a boundary line that has not been extracted, the process returns to step S2, and if all boundary lines have been extracted, The process ends.
  • the position information of the input image is obtained from the boundary line candidate image and the existence probability image
  • the luminance value information of the input image is obtained from the luminance value differential image
  • the position information and an arbitrary weighting are obtained.
  • An evaluation score image is formed by combining the brightness value information.
  • the pixels where the boundary line to be extracted exists have a high evaluation score by the calculation based on the existence probability image.
  • the boundary line extraction accuracy can be remarkably improved.
  • the weighting coefficient applied to the luminance value differential image can be omitted depending on the boundary line to be extracted.
  • the user corrects the boundary line position as will be described later. be able to.
  • the existence probability image for the boundary line stored in the existence probability image storage unit 26 can be corrected and learned according to the correction.
  • the weighting coefficient for the boundary line stored in the weighting coefficient storage unit 27 is corrected and learned in accordance with the correction of the weighting coefficient.
  • the innermost boundary film ILM (L1) at the uppermost end and the retinal pigment epithelium RPE (L10) at the lowermost end are boundaries where the luminance change is large. Then, using the extracted boundary line, the search range is limited or set, and another boundary line is extracted.
  • edge detection processing as described in step S3 of FIG. 4 is performed on each layer of the input image B, and boundary line candidate images E ILM , E NFL / GCL , E GCL / IPL,. . . . . Is created (step T1).
  • a luminance value differentiation is performed on each layer of the input image B to extract a luminance gradient (processing in step S4 in FIG. 4), and the luminance value differential images G ILM , G NFL / GCL , G GCL / for each layer are extracted.
  • IPL,. . . . . Is created step T2).
  • the ILM is selected as the extraction order.
  • the search range is set as the entire input image, and the path having the highest total score with the evaluation score E ILM ⁇ H ILM + W ILM ⁇ G ILM + Q ILM ⁇ B ′ as a parameter is searched, and the searched path is the ILM boundary line L1.
  • the process of extracting the boundary line L1 for the ILM corresponds to the process described in relation to FIGS.
  • the RPE at the lowermost end is selected, and similarly, the route having the highest total score of the parameters E RPE ⁇ H RPE + W RPE ⁇ G RPE + Q RPE ⁇ B ′ is searched with the search range as the entire input image.
  • the route having the highest total score is extracted as the RPE boundary line L10 (step T4).
  • the RPE boundary line L10 may be extracted first, and then the ILM boundary line L1 may be extracted.
  • the search range is set to the range of the extracted boundary lines ILM (L1) to RPE (L10), and the parameters E IS / OS ⁇ HIS / OS + W IS / OS ⁇ GIS / OS + Q IS / OS
  • the route having the highest total score of ⁇ B ′ is searched, and the searched route is extracted as the IS / OS boundary line L8 (step T5).
  • the search range is set to the range of the extracted boundary line ILM (L1) to IS / OS (L8), and the parameter E OPL / ONL ⁇ H OPL / ONL + W OPL / ONL ⁇ G OPL / ONL + Q OPL / ONL ⁇ B ′ is searched for the route with the highest total score, and the searched route is extracted as the OPL / ONL boundary line L6 (step T6), and the search range is the extracted boundary line IS / A path in which the total score of the parameter E OS / RPE ⁇ H OS / RPE + W OS / RPE ⁇ G OS / RPE + Q OS / RPE ⁇ B ′ is set in the range of OS (L8) to RPE (L10). And the searched route is extracted as the OS / RPE boundary line L9 (step T7).
  • the search range is set to the range of the extracted boundary line ILM (L1) to OPL / ONL (L6), and the parameter E NFL / GCL ⁇ H NFL / GCL + W NFL / GCL ⁇ G NFL / GCL + Q NFL / GCL ⁇ B ′ is searched for a route having the highest total score, and the searched route is extracted as a boundary line L2 of NFL / GCL (step T8), and the search range is the extracted boundary line OPL /
  • the route having the highest total score of the parameters E ELM ⁇ H ELM + W ELM ⁇ G ELM + Q ELM ⁇ B ′ is searched for and searched.
  • the route is extracted as an ELM boundary line L7 (step T9).
  • the search range is set to the range of the extracted boundary lines NFL / GCL (L2) to OPL / ONL (L6), and the parameter E IPL / INL ⁇ H IPL / INL + W IPL / INL ⁇ G IPL / Search for a route with the highest total score of INL + Q IPL / INL ⁇ B ′, extract the searched route as an IPL / INL boundary line L4 (step T10), and also extract the search range from the extracted boundary Set in the range of line NFL / GCL (L2) to IPL / INL (L4), and total score of parameter E GCL / IPL x H GCL / IPL + W GCL / IPL x G GCL / IPL + Q GCL / IPL x B ' Is searched for, and the searched route is extracted as a GCL / IPL boundary line L3 (step T11).
  • the search range has been extracted.
  • the total score of the parameters E INL / OPL x H INL / OPL + W INL / OPL x G INL / OPL + Q INL / OPL x B Is searched for as the INL / OPL boundary line L5 (step T12), and a total of 10 boundary lines are extracted.
  • the search range is limited based on the extraction result, except for the first two extracted inner boundary film ILM (L1) and retinal pigment epithelium RPE (L10).
  • Similar processing such as extracting lines, limiting the search range based on the extraction results, extracting other boundary lines, and further limiting the search range based on the extraction results Is sequentially repeated to extract the boundary line.
  • boundary line extraction is performed sequentially, so that the search range is limited for all extractions, and in addition to speeding up the extraction process, the parameters (for example, existence probability, weighting coefficient) are appropriately set every time the range is changed.
  • the search range can be set using the extracted boundary line, it is possible to avoid intersecting with the extracted boundary line or to extract an unclear or disappeared boundary line. it can.
  • the curvature can be corrected using the previously extracted boundary lines.
  • the boundary line of IS / OS (L8) is extracted in step T5 of FIG. 9, the input image is corrected in accordance with the curvature of the boundary line ILM (L1) or RPE (L10) extracted in advance (especially, tilting) After correction), another boundary line can be extracted.
  • the curvature correction is performed, the direction of the edge and the luminance gradient are aligned, so that the boundary line extraction accuracy can be improved.
  • the extraction process is performed again on the boundary line extracted after the corrected boundary line.
  • OPL / ONL (L6) is extracted in step T6 of FIG. 9 and the extracted boundary line is corrected by the user, a search range is set using the corrected boundary line and the boundary line is extracted.
  • T8 T9, T10, and T12, the extraction process is performed again.
  • the image processing unit 30 is provided with a search range setting unit 35, and the search range setting unit 35 can dynamically set the search range of the boundary line using the extracted boundary line.
  • FIGS. 10 and 11 Examples are shown in FIGS. 10 and 11.
  • the target pixel I (i, j) A pixel column having a width of (2s + 1) pixels of ⁇ s centering on the pixel (i ⁇ 1, j) on the left side of is set as a search range.
  • the search range is dynamically set according to the gradient of the extracted boundary L.
  • the inclination of the extracted boundary line L is 1 in the x direction from the pixel from which the extracted boundary line L is extracted in the pixel column i and the pixel in the pixel column i. This indicates how many pixels in the z direction are extracted from the extracted boundary line L in the pixel row i-1 having a shifted pixel width.
  • the inclination of the extracted boundary line L is set to d, and the pixel (i ⁇ 1, j) on the left side of the pixel of interest I (i, j) is shifted by d in the extracted boundary line direction, that is, the boundary line direction
  • the search range is a pixel row having a (2s + 1) pixel width of s + d and sd on the opposite side.
  • other search ranges are set in accordance with the extracted boundary lines.
  • the extracted boundary is set by setting the search range such that the upper end pixel of the search range is separated from the extracted pixel in the pixel column by the predetermined pixel d ′.
  • the search can be performed in a range that does not intersect the line. Therefore, it is possible to avoid that the extracted boundary lines intersect.
  • the boundary line L ′′ is unclear on the way, Or it may disappear and become discontinuous.
  • the final search range that has been set is the range shown in the middle of the left side.
  • the extracted boundary line becomes a curve as shown by the dotted line, as shown in the lower part, and intersects with the extracted boundary line below. A situation may occur in which continuous boundary lines cannot be extracted.
  • the search range is set according to the extracted boundary line, it becomes possible to extract an unclear or discontinuous boundary line.
  • the search range is set in accordance with the extracted boundary line L. That is, as shown on the right side, the search range that is sequentially set is indistinct or lost so as not to intersect with the pixels of the extracted boundary lines L and L ′ in accordance with the extracted boundary line L.
  • the pixel I ′ connected to the portion is set to be included in the search range. Accordingly, the set final search range is a range as illustrated in the middle section on the right side.
  • the extracted boundary line becomes a curve as indicated by a dotted line in the lower stage, and it is possible to extract a boundary line in which lost portions or unclear portions are connected.
  • the search range is set so as not to intersect with the pixels of the extracted boundary lines L and L ′, it is possible to avoid the extracted boundary line from intersecting with the extracted boundary line.
  • the search is performed from right to left, but may be performed in the reverse direction.
  • Control point setting> As shown in FIGS. 12 and 13, a control point can be set on each boundary line extracted through the processing as described above.
  • the user designates one point of the boundary line with the mouse of the operation unit 25 or the operation pen, and designates the pixel interval D.
  • a control point is set at a pixel position where the first pixel column and the boundary line intersect each other.
  • the control unit 21 may set a control point at a predetermined position in the X direction on the designated boundary line.
  • control points set in this way are displayed on the display unit 24.
  • control points indicated by black circles are set on the lowermost retinal pigment epithelium RPE (L10) at intervals of 5 pixels, and as illustrated in the central diagram, Control points are set at intervals of 10 pixels and at intervals of 50 pixels as shown in the right figure.
  • boundary line extracted by the method shown in FIG. 6 has a narrow pixel interval (one pixel interval), fine irregularities are generated even in the originally smooth boundary line, and a smooth curve is not obtained.
  • control points are set on a boundary line with a wide pixel interval such as a 5-pixel interval or an 10-pixel interval, and the set control points are connected by, for example, a spline curve to be used as a boundary line.
  • the boundary line can be approximated to a smooth curve that is easy to grasp subjectively.
  • the extraction result can be expressed faithfully, but since the number of control points increases, it takes time to correct the boundary line. Further, when the control point interval is narrowed, fine irregularities are generated even on a smooth boundary line and a smooth curve is not obtained. Therefore, the pixel interval at which the control points are set is set by the user according to the characteristics of the extracted boundary line or according to the degree of correction required for the extracted boundary line. .
  • the upper diagram of FIG. 13 shows an example in which control points are set at narrow pixel intervals on the extracted boundary line NFL / GCL (L2), and each control point is connected by a spline curve to form a boundary line.
  • the middle row shows an example in which control points are set at wide pixel intervals to form a boundary line.
  • control points when control points are set at predetermined pixel intervals on the boundary line, one or more of the set control points can be deleted and the remaining control points can be connected by a spline curve. Conversely, one or more control points may be added between the set control points, and each control point may be connected by a spline curve to form a boundary line. In this way, it is possible to extract a smoother or more faithful boundary line by deleting, adding, or moving control points.
  • control points can be added or deleted.
  • the boundary line extraction unit 34 may perform route search again for one or all of the boundary lines to extract the boundary lines again. At this time, a high evaluation score is given to the pixel where the moved or added control point is positioned so that the route search is performed through the moved control point or the added control point, and the deleted control is performed. In order not to pass the points, a low evaluation score is given to the pixel where the deleted control point is located or no evaluation score is given.
  • the control point Q (x, z) on the boundary line A is changed to Q ′ (x, z ′) in order to prevent a phenomenon that the boundary lines intersect.
  • the following measures can be taken when the boundary line B is detected again. For example, as shown in FIG. 14, when the control point Q (x, z) on the boundary A moves across the boundary B in the ⁇ z direction to become Q ′ (x, z ′), At the time of detection, a half-line region extending in the + z direction with Q ′ (x, z ′) as an end point may be excluded from the search range.
  • the existence probability image for the boundary line stored in the existence probability image storage unit 26 is corrected according to the correction, and the existence probability image is learned. It can also be made to do.

Abstract

複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する。抽出された境界線上に、例えば5画素間隔、10画素間隔、あるいは50画素間隔で制御点を設定する。設定された各制御点を曲線で結んで境界線として抽出する。このような画像処理装置、画像処理方法によれば、抽出された境界線を簡単な方法で滑らかな曲線にしたり、あるいは修正することが可能になる。

Description

画像処理装置、画像処理方法、及び画像処理プログラム
 本発明は、断層像撮影装置などで撮影した被検眼などの対象物体の断層画像を処理して層の境界線を抽出するための画像処理装置、画像処理方法、及び画像処理プログラムに関するものである。
 眼科診断装置の一つで、眼底の断層像を撮影する光干渉断層計(OCT:Optical Coherence Tomography)という光干渉を利用した断層像撮影装置がある。このような断層像撮影装置は広帯域な低コヒーレント光を、測定光として眼底に照射し、眼底からの反射光を参照光と干渉させて眼底の断層像を高感度に撮影することができる。
 このような断層像撮影装置では、網膜層内部の状態を3次元的に観察することができ、例えば神経線維層などの網膜層の層厚、あるいは網膜色素上皮層における凹凸などの層形状の変化を計測し、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することが可能になっている。
 特許文献1には、断層像撮影装置で撮影された断層像から網膜層の境界を検出し、眼底画像から病変の一つである白斑を抽出する構成が記載されている。
 特許文献2には、眼底の断層画像における偽像(アーティファクト)領域を特定し、偽像領域でない領域における網膜層の境界を検出するとともに、偽像領域における網膜層の境界を異なる方法で輝度値に基づいて検出し、それぞれ検出された境界を示す線を重畳して表示させる構成が記載されている。
 特許文献3には、被検眼の断層画像から得られる信号光の強度の低い側から高い側へのエッジに基づいて層を検出し、該信号光の強度の高い側から低い側へのエッジに基づいて該層の間に存在する層または層境界を検出する構成が記載されている。
 非特許文献1には、キャニーエッジ検出法を用いて取得される網膜断層像のエッジ画像と、輝度勾配画像をそれぞれ重み付けして演算し、最短経路を探索して網膜層の境界線を抽出する構成が記載されている。また、同非特許文献1には、複数の網膜層の境界線を抽出するとき、最初に2つの境界線を抽出し、その間に存在する他の境界線を、抽出した両境界線内の狭い範囲内で探索して抽出時間を短縮する構成が記載されている。
特開2010-279438号公報 特開2012-61337号公報 特許第5665768号公報
「Automated layer segmentation of macular OCT images using dual-scale gradient information」27 September 2010/ Vol. 18, No, 20/ OPTICS EXPRESS 21293-21307
 しかしながら、特許文献1~3の構成では、断層画像のエッジを検出することにより層の境界線を抽出しているので、境界線の抽出精度がエッジ検出に依存し、信頼性のある境界線抽出を行うのが困難である、という問題がある。
 非特許文献1では、網膜断層像のエッジ画像と、輝度勾配画像をそれぞれ重み付けして、境界線を抽出している。しかし、重み付けが一次元的で、特にエッジ画像と、抽出しようとする境界線の存在する確率との関連付けがなく、境界線を精度よく抽出ができない、という欠点がある。
 このようなことから、上記いずれの先行技術文献でも、抽出された境界線を修正ないし補正したり、把握しやすい滑らかな曲線にすることを余儀なくされる。しなしながら、抽出された境界線のどの部分をどのように修正すれば、適正な曲線に近づけることができるかは手探り、あるいはユーザーの直観に頼っている。また、修正する部分が多くなると、処理時間が長くなり、また過修正により正確性を失う恐れがある、という問題がある。
 本発明は、このような点に鑑みてなされたもので、抽出された境界線を、簡単な方法で滑らかな曲線にしたり、あるいは修正することが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを課題とする。
 本発明は、
 複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段と、
 抽出された境界線上に所定画素間隔で制御点を設定する制御点設定手段と、
 抽出された境界線並びに設定された制御点を表示する表示部と、を備え、
 設定された各制御点を結ぶ曲線を境界線として抽出し表示することを特徴とする。
 前記画素間隔は可変に設定可能であり、表示された制御点を移動させ、移動した制御点とその他の制御点を結んで得られる曲線を境界線とすることにより抽出した境界線を修正することができる。また、設定された制御点を削除、あるいは設定された制御点間に新たに制御点を追加することができる。
 また、表示された1つあるいは複数の制御点を移動させ、移動した全ての制御点を通るように、境界線抽出手段によって層の境界線を抽出することもできる。
 本発明では、抽出された境界線上に所定画素間隔で制御点を設定し、設定された各制御点を結ぶ曲線を境界線として抽出するので、境界線を把握しやすい滑らかな曲線に近づけることができる。
 また、画素間隔を可変に設定したり、設定された制御点を移動、削除、あるいは設定された制御点間に新たに制御点を追加することにより、より滑らかな、あるいは忠実な境界線を得ることができる。
画像処理装置の全体構成を示したブロック図である。 眼底をスキャンすることにより眼底網膜の断層画像を取得する状態を示した説明図である。 取得された断層画像の網膜層ないしその境界線を示した説明図である。 網膜層の境界線を抽出する工程を示したフローチャートである。 入力画像に基づいて読み出された存在確率画像、並びに入力画画像から作成された境界線候補画像と輝度値微分画像を示した説明図である。 入力画像から境界線を抽出して結果画像を取得する過程を示した説明図である。 存在確率画像格納部の構成を示すブロック図である。 境界線を抽出するための経路探索を示した説明図である。 複数の境界線を抽出する過程を示したフローチャートである。 (a)は探索範囲を固定的に設定して境界線を抽出する方法を示した説明図、(b)は探索範囲を動的に設定して境界線を抽出する方法を示した説明図である。 不明瞭ないし消失した境界線を抽出する方法を示した説明図である。 抽出した境界線上に画素間隔を変えて制御点を表示させる状態を示した説明図である。 抽出した境界線上に画素間隔を変えて制御点を表示させ、制御点を移動させて境界線を修正する状態を示した説明図である。 制御点を移動した後に再度経路探索を行って他の境界線を抽出する方法を示した説明図(その1)である。 制御点を移動した後に再度経路探索を行って他の境界線を抽出する方法を示した説明図(その2)である。
 以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。ここでは、処理の対象物体の画像は、被検眼眼底の断層画像を例にして説明するが、本発明における処理の対象物体となる画像は、眼底の断層画像に限定されるものでなく、複数の層が撮影される対象物体の画像にも適用されるものである。
<全体構成>
 図1は、被検眼眼底の断層画像を取得して画像処理するシステム全体を示すブロック図である。断層像撮影装置10は、被検眼の眼底の断層像を撮影する装置(OCT:Optical Coherence Tomography)であり、例えばフーリエドメイン方式で動作する。断層像撮影装置10は公知であるので、その詳細な説明は省略するが、断層像撮影装置10には、低コヒーレンス光源が設けられ、低コヒーレンス光源からの光が参照光と信号光に分割される。信号光は、図2に図示したように、眼底E上で、例えばX、Y方向にラスタースキャンされる。眼底Eで走査され反射された信号光は、参照ミラーで反射した参照光と重畳され干渉光を発生し、該干渉光に基づいて眼底の深度方向(Z方向)の情報を示すOCT信号が発生する。
 画像処理装置20は、CPU、RAM、ROMなどで構成されたコンピュータで実現される制御部21を有し、制御部21は画像処理プログラムを実行することにより全体の画像処理を制御する。また、画像処理装置20には、断層画像形成部22が設けられる。
 断層画像形成部22は、フーリエドメイン方式などの公知の解析方法を実行する専用の電子回路、または、前述のCPUが実行する画像処理プログラムにより実現され、断層像撮影装置10で生成されたOCT信号に基づいて、眼底の断層画像を形成する。
 例えば、図2に示したように、眼底EがY方向にy(N=1、2、.....n)の位置で、X方向にスキャンされた場合、当該スキャン時に複数回(m回)サンプリングが行われる。このX方向の各サンプリング時点でそれぞれZ方向の断層画像(Aスキャン画像)A(h=1、2、.....m)が取得され、これらのAスキャン画像Aから断層画像B(N=1、2、.....t)が形成される。Aスキャン画像は、例えば、X方向に1画素幅、Z方向にn画素の長さで格納されるので、断層画像Bはm×n画素の大きさをもつ画像となり、Bスキャン画像とも呼ばれる。
 断層画像形成部22で形成されたt枚の断層画像B、あるいはこれらt枚の断層画像Bから構築される3次元のボリューム画像は、例えば半導体メモリ、ハードディスク装置等により構成された記憶部23に格納される。記憶部23は、さらに上述した画像処理プログラムなども格納する。
 画像処理装置20には、画像処理部30が設けられる。画像処理部30は、境界線候補画像作成手段31、輝度値微分画像作成手段32、輝度値情報画像作成手段32a、評価得点画像作成手段33、境界線抽出手段34、探索範囲設定手段35、並びに制御点設定手段36を備えている。
 後述するように、境界線候補画像作成手段31は入力画像のエッジを検出して境界線候補画像を作成し、輝度値微分画像作成手段32は入力画像の輝度値を微分して輝度勾配を示す輝度値微分画像を作成し、輝度値情報画像作成手段32aは入力画像を鉛直方向にシフトして輝度情報を示す輝度値情報画像を作成し、評価得点画像作成手段33は作成された画像並びに読み出された画像に基づいて境界線抽出のための評価得点を示す評価得点画像を作成し、境界線抽出手段34は評価得点画像から評価得点の合計値が最高になる経路を探索してそれを境界線として抽出する。また、探索範囲設定手段35は、探索範囲を抽出済みの境界線に合わせて設定し、制御点設定手段36は抽出された境界線上に所定の画素間隔で制御点を設定する。画像処理部30における各手段あるいは各画像処理は、専用の電子回路を用いることにより、あるいは画像処理プログラムを実行することに実現される。
 存在確率画像格納部26は、後述するように、抽出しようとする境界線毎に当該境界線が存在する存在確率を示す画像を格納する。
 重み付け係数格納部27は、抽出しようとする境界線毎に輝度値微分画像に重み付けされる重み付け係数及び輝度値情報画像に重み付けされる重み付け係数を格納する。
 表示部24は、例えば、LCDなどのディスプレイ装置によって構成され、記憶部23に格納された断層画像、画像処理装置20で生成あるいは処理された画像、制御点設定手段36で設定された制御点、被験者に関する情報などの付随する情報などを表示する。
 操作部25は、例えば、マウスやキーボード、操作ペン、ポインター、操作パネル等を有し、表示部24に表示された画像の選択、あるいは操作者が画像処理装置20などに指示を与えるために用いられる。
 このような構成で撮影された断層画像のうち、図2に示す眼底Eの黄斑部Rを通過する走査線yで取得される断層画像Bが図3の上部に符号Bを付して図示されている。眼底の網膜は、種々の膜あるいは層の組織から構成されており、断層画像Bにおいて判別できる膜あるいは層が同図に示されている。
 図3において、ILMは内境界膜(internal limiting membrane)を示し、NFLは神経線維層(nerve fiber layer)を、GCLは神経節細胞層(ganglion cell layer)を、IPLは内網状層(inner plexiform layer)を、INLは内顆粒層 (inner nuclear layer)を、OPLは外網状層 (outer plexiform layer)を、ONLは外顆粒層(outer nuclear layer)を、ELMは外境界膜 (external limiting membrane)を、ISは視細胞層内節 (inner photoreceptor segments)を、OSは視細胞層外節 (outer photoreceptor segments)を、RPEは網膜色素上皮 (retinal pigment epithelium)を、それぞれ示す。
 図3の下方には、これらの膜ないし層間の境界線がそれぞれL1~L10でかっこを付して示されている。例えば、L1は内境界膜ILMにより形成される境界線であり、L2は神経線維NFLと神経節細胞層GCL間の境界線である。これらの境界線L1~L10が本発明で抽出しようとする境界線である。
 このような断層画像から、神経線維層などの層厚、網膜色素上皮層における凹凸などの層形状の変化を計測できれば、眼科疾患の進行度や治療後の回復具合を定量的に診断することが可能となる。しかし、撮影環境によっては、OCT信号が減衰もしくは欠損して各層の境界線が不明瞭になったり、あるいは不連続ないしは消失してしまい正確な層厚あるいは層形状の計測が困難になる。
 そこで、本発明では、以下に説明する方法で網膜層の境界線を高精度で抽出する。以下に、その方法を図4のフローチャートを用いて説明する。
<境界線抽出処理>
 まず、図4のステップS1に示したように、網膜層の境界線を抽出しようとする断層画像B(N=1、2、.....t)を記憶部23から読み出して表示部24に表示させ入力画像Bを選択する。この入力画像は、図2に示したt枚の断層画像Bのうち一枚、あるいは数枚、あるいは全部でもよく、または任意の画像処理を加えた後の画像であってもよい。複数枚の断層画像の境界線を抽出する場合には、いずれか一枚の断層画像を入力画像として選択する。ここでは、例えば、図2の眼底の黄斑部Rをスキャンする走査線yで取得される断層画像Bを記憶部23から読み出し入力画像Bとする。
 入力画像Bが選択されたら、この入力画像Bから抽出しようとする境界線を定め、その境界線用の存在確率画像を存在確率画像格納部26から読み出す(ステップS2)。
 この存在確率画像格納部26が図7に図示されている。存在確率画像格納部26には、断層画像Bに対して断層画像Bの層の境界線L1~L10毎に、当該境界線が存在する存在確率を示す画像が格納されている。例えば、左上のILM(L1)は内境界膜(ILM)の境界線L1が存在する確率を示す画像であり、その下のNFL/GCL(L2)は神経線維層(NFL)と神経節細胞層(GCL)との境界を示す2番目の境界線L2が存在する確率を示す画像である。以下、その他の存在確率画像も、同様に格納されている。
 このような存在確率画像は、複数の正常眼に対して、同じ走査線yで取得される断層画像Bから境界線が存在する確率を各境界線に対して断層画像の各画素(i、j)[i=1、2、.....m、j=1、2、.....n]毎に事前に計算し、断層画像Bの各画素(i、j)の対応する画素位置にデジタル値として格納したm×n画素からなる画像である。
 例えば、断層画像Bの境界線L1の存在確率画像ILM(L1)が図7の下方にHILMとして模式化されて図示されており、境界線L1が存在する確率領域(画素領域)がパーセントで示されている。断層画像Bの画素(i、j)が決まれば、その位置に当該境界線L1が存在する確率を、パーセントに応じたデジタル値としてHILMから求めることができる。図7には、25%置きの確率で区分した画素領域が図示されている。何%置きの確率で区分するかは求める精度に応じて決められるが、実際には、図7に示したよりも、更に細かい確率で区分されている。
 なお、図7には、存在確率画像格納部26には、断層画像Bの各層毎の10個の存在確率画像が格納されていることが図示されている。しかし、ボリューム画像を構成する断層画像B以外の断層画像Bに対しても、それぞれの断層画像毎に、各層用の存在確率画像が格納されても良いし、全画像B~Bに共通の一枚の存在確率画像が格納されるものとしても良い。さらに、存在確率画像は、X方向は均一でZ方向は連続的に単調増加あるいは単調減少する画像としてもよい。また、存在確率画像格納部26に格納される各存在確率画像はマップ化されており、抽出された境界線が修正された場合には、抽出に寄与した存在確率画像も適応的に修正することができ、逐次学習させることができる。
 また、存在確率画像格納部26は、画像処理装置20内に設けるのではなく、外部の格納部とすることができ、例えば、インターネットを介して接続されたサーバーに設けるようにしてもよい。
 ここでは、断層画像Bの境界線のうち、最初に内境界膜(ILM)の境界線L1を抽出する例を説明するので、入力画像B、並びにその境界線L1で決まる存在確率画像ILM(L1)が存在確率画像格納部26から読み出され、この読み出された存在確率画像が図5の上部にHILMとして図示されている。
 続いて、画像処理部30の境界線候補画像作成手段31により入力画像Bのエッジを検出して境界線候補画像を作成する(ステップS3)。このエッジ検出には、例えば、公知のキャニーエッジ検出法(Canny Edge Detection)を用いる。このキャニーエッジ検出法で抽出されたエッジは細いエッジとなり、コントラストの高い領域には高いしきい値を設定するなどしきい値を適正に設定すると、入力画像Bの境界線候補となる複数の細い線からなる境界線候補画像を作成することができる。この境界線候補画像は、入力画像Bのエッジの有無の情報を示す値をデジタル値としてその各画素(i、j)に対応した画素位置に有するm×n画素の画像であり、図5にEILMとして図示されている。
 続いて、輝度値微分画像作成手段32により入力画像Bの輝度値をZ方向に微分して輝度値微分画像を作成する(ステップS4)。輝度値を微分することはZ方向の輝度勾配を演算することになる。この輝度勾配は、例えば、公知のゾーベルフィルタ(Sobel Filter)などの差分型フィルタを用いて演算する。輝度値微分画像は、入力画像Bの輝度勾配を示す値をデジタル値としてその各画素(i、j)に対応した画素位置に有するm×n画素の画像であり、図5にGILMとして図示されている。輝度値を微分すると、網膜層の輝度勾配を検出することができるので、輝度値微分画像は境界線候補画像のエッジ情報が欠損していたり不足している場合に、その情報を補足することができる。
 続いて、輝度値微分画像用に設定された求める境界線ILM用の重み付け係数WILMを重み付け係数格納部27から読み出す(ステップS4’)。
 さらに、入力画像Bを鉛直方向に所望の画素数だけシフトした画像を輝度値情報画像B’として作成し(ステップS5、当該輝度値情報画像B’用に設定されたILM用の重み付け係数QILMを重み付け係数格納部27から読み出す(ステップS5’)。鉛直方向の移動量や移動方向は求めたい境界線により適宜変更することができるが、例としてILMの場合は上方向に5画素移動する。すなわち、求めたい境界線の上に輝度情報が重なるように移動方向やシフト量を決定するとよい。
 続いて、評価得点画像作成手段33により境界線候補画像EILM、存在確率画像HILM、輝度値微分画像GILM、輝度値微分画像用に設定された重み付け係数WILM、輝度値情報画像B’、輝度値情報画像用に設定された重み付け係数QILMに基づいて評価得点画像CILMを、以下の式に基づいて演算し作成する(ステップS6)。
 CILM=EILM×HILM+WILM×GILM+QILM×B’
 この評価得点画像CILMの作成過程が図6に図示されている。評価得点画像CILMは、境界線候補画像EILMと存在確率画像HILMとの演算(掛け算)により得られる境界線位置とその存在確率を含んだ2次元的情報を示す境界線位置確率画像と、重み付け係数WILMで重み付けされた輝度値微分画像GILMと、重み付け係数QILMで重み付けされた輝度値情報画像B’との演算(加算)により形成される。なお、抽出しようとする境界線によって、エッジ要素、輝度値微分要素、輝度値情報のどれを重視することにより抽出しやすくなるかは異なる。この実態に対応すべく、重み付け係数WILM、QILMを任意の値に設定することにより、エッジを重視して抽出するか、輝度値微分を重視して抽出するか、輝度値情報を重視して抽出するか、いずれの場合でもより良く抽出できる。評価得点画像CILMは、境界線候補画像EILM、存在確率画像HILM、並びに輝度値微分画像GILMの各画素(i、j)毎に演算されるので、評価得点画像CILMは各画素(i、j)に対応した画素位置に上述した式による演算値を有するm×n画素からなる画像である。図6における各画像は実際には複雑な形状であるが、図示が困難であるので、その概略が模式的に図示されている。
 評価得点画像CILMは各画素(i、j)がデジタル値でスコア化されているので、例えば動的計画法(Dynamic Programming)を用いて経路探索し、合計得点が最高になる経路を探索してILMの境界線を抽出する。
 この経路探索例が図8に図示されている。例えば、探索範囲を上下に示した点線の範囲に設定する。i=1の画素位置にあるZ方向に延びる画素列を1番目の画素列P1とする。画素列P2の各画素に対して、P1の近傍の画素中で最も評価得点が高い画素を探索し、その画素の位置を記憶するとともに、その画素の評価得点とP2の各画素の評価得点を加算した値を、P2の各画素の評価得点として更新する。続いてiを増分し、各画素列P3、.....Pmまで順次繰り返す。その後、画素列Pmで評価得点が最も大きい画素を始点とし、iを減らし記憶した画素の位置を順に辿る事で、総和が最も高くなるような太い点線で示した経路を境界線として抽出する。
 図8において、細い湾曲した線は、図4のステップS3の処理で検出されたエッジEILMと抽出しようとする境界線Lの存在確率HILMとの演算により得られる線であり、また幅のある横長の画像は、図4のステップS4の処理で得られた輝度値微分画像GILMである。輝度勾配がある領域では、評価得点が高くなり、抽出しようとする境界線Lがこの領域を通過することが理解できる。必要な場合には、始点を変化させてすべての経路について総和を求め、そのうち最高得点となった経路を内境界膜(ILM)の境界線L1として抽出する(ステップS7)。
 なお、図8では、経路探索は画素列Pから開始されているが、最終画素列i=Pから開始するようにしてもよい。
 抽出された境界線L1は、図6の下段に示したように、入力画像Bに重ねられ、結果画像RILMとして表示部24に表示される(ステップS8)。
 続いて、全ての境界線を抽出したかどうかの判断が行われ(ステップS9)、抽出していない境界線がある場合には、ステップS2に戻り、全ての境界線を抽出した場合には、処理を終了する。
 以上説明したように、本実施形態では、境界線候補画像と存在確率画像で入力画像の位置情報を求め、輝度値微分画像により入力画像の輝度値情報を求め、この位置情報と任意の重み付けをした輝度値情報を組み合わせることにより評価得点画像を形成している。この評価得点画像の各画素のうち抽出しようとする境界線が存在している画素は、存在確率画像による演算により評価得点が高くなっており、この評価得点の高い画素を探索して境界線を決定しているので、境界線の抽出精度を顕著に向上させることができる。
 なお、輝度値微分画像に掛る重み付け係数は、抽出しようとする境界線によっては省略することができる。複数の境界線を抽出する場合には、抽出しようとする境界線に応じて輝度勾配情報を重み付けすることにより、特性の異なる境界線を高精度で抽出することが可能となる。
 また、上述したステップS7において抽出した境界線を入力画像に重ねて表示したとき抽出した境界線が本来の境界線とずれている場合には、後述するように、ユーザーが境界線位置を修正することができる。この場合には、修正に応じて存在確率画像格納部26に格納されている当該境界線用の存在確率画像を修正して学習させることができる。
 また、境界線抽出過程で輝度値微分画像に掛る重み付け係数を修正することでより良好な境界線抽出が可能になる。このような場合には、重み付け係数の修正に応じて重み付け係数格納部27に格納されている当該境界線用の重み付け係数も修正して学習させる。
<複数の境界線抽出>
 図4のステップS9で示したように、入力画像から複数の境界線を抽出する場合には、抽出済みの境界線を利用して他の境界線を効果的に抽出することができる。以下に、その実施形態を図9を参照して説明する。
 境界線のうち最上端の内境界膜ILM(L1)と最下端の網膜色素上皮RPE(L10)は輝度変化が大きな境界であるので、抽出が容易であることからこれらの境界線を最初に抽出し、その抽出済みの境界線を利用して探索範囲を限定ないし設定して、他の境界線を抽出する。
 図9において、入力画像Bの各層に対して、図4のステップS3で説明したようなエッジ検出処理を行い、各層用の境界線候補画像EILM、ENFL/GCL,EGCL/IPL、.....を作成する(ステップT1)。
 続いて、入力画像Bの各層に対して輝度値微分を行い輝度勾配を抽出して(図4のステップS4の処理)、各層用の輝度値微分画像GILM、GNFL/GCL,GGCL/IPL、.....を作成する(ステップT2)。
 このような処理を行った後、存在確率画像格納部26、重み付け係数格納部27から各層用の存在確率画像HILM、HNFL/GCL,HGCL/IPL、.....、輝度値微分画像用に設定された各層用の重み付け係数WILM、WNFL/GCL,WGCL/IPL、.....、並びに輝度値情報用に設定された各層用の重み付け係数QILM,QNFL/GCL,QGCL/IPL、.....、をそれぞれ読み出し、図4のステップS6で説明したような処理を行って各層用の評価得点画像を作成する。
 まず、最上端のILMは輝度変化が大きな境界であるので、抽出する順序としてILMを選択する。探索範囲を入力画像全体として評価得点EILM×HILM+WILM×GILM+QILM×B’をパラメータとする合計得点が最高になる経路を探索し、該探索された経路をILMの境界線L1として抽出する(ステップT3)。このILMに対する境界線L1を抽出する処理は、図5、図6、図8に関連して述べた処理に対応する。
 次に、最下端のRPEを選択し、同様に探索範囲を入力画像全体としてパラメータERPE×HRPE+WRPE×GRPE+QRPE×B’の合計得点が最高になる経路を探索する。探索の結果、合計得点が最高になった経路をRPEの境界線L10として抽出する(ステップT4)。なお、最初にRPEの境界線L10を抽出し、続いてILMの境界線L1を抽出するようにしてもよい。
 続いて、探索範囲を抽出済みの境界線ILM(L1)~RPE(L10)の範囲に設定して、パラメータEIS/OS×HIS/OS+WIS/OS×GIS/OS+QIS/OS×B’の合計得点が最高になる経路を探索し、該探索された経路をIS/OSの境界線L8として抽出する(ステップT5)。
 続いて、探索範囲を抽出済みの境界線ILM(L1)~IS/OS(L8)の範囲に設定して、パラメータEOPL/ONL×HOPL/ONL+WOPL/ONL×GOPL/ONL+QOPL/ONL×B’の合計得点が最高になる経路を探索し、該探索された経路をOPL/ONLの境界線L6として抽出し(ステップT6)、また、探索範囲を抽出済みの境界線IS/OS(L8)~RPE(L10)の範囲に設定して、パラメータEOS/RPE×HOS/RPE+WOS/RPE×GOS/RPE+QOS/RPE×B’の合計得点が最高になる経路を探索し、該探索された経路をOS/RPEの境界線L9として抽出する(ステップT7)。
 同様に、探索範囲を抽出済みの境界線ILM(L1)~OPL/ONL(L6)の範囲に設定して、パラメータENFL/GCL×HNFL/GCL+WNFL/GCL×GNFL/GCL+QNFL/GCL×B’の合計得点が最高になる経路を探索し、該探索された経路をNFL/GCLの境界線L2として抽出し(ステップT8)、また、探索範囲を抽出済みの境界線OPL/ONL(L6)~IS/OS(L8)の範囲に設定して、パラメータEELM×HELM+WELM×GELM+QELM×B’の合計得点が最高になる経路を探索し、該探索された経路をELMの境界線L7として抽出する(ステップT9)。
 以下同様に、探索範囲を抽出済みの境界線NFL/GCL(L2)~OPL/ONL(L6)の範囲に設定して、パラメータEIPL/INL×HIPL/INL+WIPL/INL×GIPL/INL+QIPL/INL×B’の合計得点が最高になる経路を探索し、該探索された経路をIPL/INLの境界線L4として抽出し(ステップT10)、また、探索範囲を抽出済みの境界線NFL/GCL(L2)~IPL/INL(L4)の範囲に設定して、パラメータEGCL/IPL×HGCL/IPL+WGCL/IPL×GGCL/IPL+QGCL/IPL×B’の合計得点が最高になる経路を探索し、該探索された経路をGCL/IPLの境界線L3として抽出し(ステップT11)、最後に、探索範囲を抽出済みの境界線IPL/INL(L4)~OPL/ONL(L6)の範囲に設定して、パラメータEINL/OPL×HINL/OPL+WINL/OPL×GINL/OPL+QINL/OPL×B’の合計得点が最高になる経路を探索し、該探索された経路をINL/OPLの境界線L5として抽出して(ステップT12)、合計10本の境界線を抽出する。
 上述の処理から明らかなように、最初に抽出した二つの境界線内境界膜ILM(L1)と網膜色素上皮RPE(L10)を除けば、抽出結果を基に探索範囲を限定して他の境界線抽出を行い、またその抽出結果を基に探索範囲を限定して他の境界線抽出を行い、更にその抽出結果を基に探索範囲を限定して他の境界線抽出を行うなど同様な処理を逐次的に繰り返して境界線を抽出している。
 このように逐次的に行われる境界線の抽出は、いずれの抽出も探索範囲が限定されることから抽出処理を高速化できる他に、範囲変更の都度パラメータ(例えば存在確率、重み付け係数)を適切に設定しなおせるので抽出が容易になるという利点がある。また、後述するように、抽出済みの境界線を利用して探索範囲を設定できるので、抽出済みの境界線と交差することを回避したり、あるいは不明瞭ないし消失した境界線を抽出することができる。
 また、複数の境界線を抽出する場合、先に抽出した境界線を用いて湾曲補正することができる。例えば、図9のステップT5においてIS/OS(L8)の境界線を抽出した場合、先に抽出した境界線ILM(L1)あるいはRPE(L10)の湾曲に合わせて入力画像を補正(特に、傾斜補正)したのちに別の境界線の抽出を行うことができる。このような湾曲補正を行うと、エッジおよび輝度勾配の方向が揃うので境界線の抽出精度を向上させることができる。
 なお、上述した処理において、境界線をユーザーが修正したとき、当該修正した境界線以降に抽出した境界線に対しては、再度抽出処理を行う。例えば、図9のステップT6においてOPL/ONL(L6)を抽出し、この抽出した境界線をユーザーが修正したとき、この修正した境界線を用いて探索範囲を設定して境界線を抽出するステップT8、T9、T10、T12の処理は、再度抽出処理を行うようにする。
<探索範囲の設定>
 画像処理部30には、探索範囲設定手段35が設けられており、この探索範囲設定手段35により、抽出済みの境界線を利用して境界線の探索範囲を動的に設定することができる。
 その例が図10、図11に示されている。抽出済みの境界線を利用しない場合には、例えば、注目画素I(i、j)から左側に探索を開始する場合、図10(a)に示したように、注目画素I(i、j)の左隣りの画素(i-1、j)を中心にして±sの(2s+1)画素幅の画素列が探索範囲として設定される。
 これに対して、抽出済みの境界線を利用して境界線の探索範囲を設定する場合には、抽出済みの境界線Lの傾きに応じて探索範囲を動的に設定する。抽出済みの境界線Lの傾きとは、図10(b)に示したように、画素列iにおいて抽出済みの境界線Lが抽出された画素と、その画素列iの画素からx方向に1画素幅ずれた画素列i-1において抽出済みの境界線Lが抽出された画素とが、z方向にどれくらいずれているかを示すものである。この抽出済みの境界線Lの傾きをdとして、注目画素I(i、j)の左隣りの画素(i-1、j)から抽出済みの境界線方向へdだけシフトした、すなわち境界線方向にs+d、逆側にs-dの(2s+1)画素幅の画素列が探索範囲に設定される。同様に、他の探索範囲も抽出済みの境界線に合わせて設定する。
 このように、探索範囲を既に抽出済みの境界線の傾きに合わせて設定することにより、抽出済みの境界線と同様な曲線の境界線を高精度で抽出することが可能となる。
 また、図10(b)に図示したように、探索範囲を、探索範囲の上端画素がその画素列にある抽出済みの画素から所定画素d´隔たるように設定することにより、抽出済みの境界線と交わらないような範囲で探索を行うことができる。従って、抽出した境界線同士が交差することを回避することができる。
 また、図11の上部に図示したように、抽出済みの境界線をL、L' 、その間に存在する抽出しようとする境界線をL"とした場合、境界線L"が途中で不明瞭、あるいは消失して不連続になる場合がある。
 探索範囲を抽出済みの境界線に合わせて設定しない場合には、同図の左側に図示したように、探索範囲として、注目画素I(i、j)の左隣りの画素(i-1、j)を中心にz方向に3画素長さの画素列が設定され、以降3画素長さの画素列が左側に順次探索範囲として設定される(この場合はs=1である)。設定された最終的な探索範囲は、左側の中段に図示したような範囲となる。すると、評価得点が最高になるような経路探索を行った場合、抽出した境界線は、下段に示したように、点線で示したような曲線となり、下方の抽出済みの境界線と交わってしまい、連続した境界線を抽出することができなくなってしまう状況が生じ得る。
 これに対して、探索範囲を抽出済みの境界線に合わせて設定すると、不明瞭あるいは不連続になった境界線を抽出することが可能になる。これが、図11の右側に図示されている。ここでは、抽出済みの境界線Lに合わせて探索範囲を設定している。つまり、右側に示したように、順次設定される探索範囲は、抽出済みの境界線Lに合わせて、抽出済みの境界線L、L'の画素と交差しないように、また不明瞭ないし消失した部分につながる画素I'を探索範囲に含むように、設定される。従って、設定された最終的な探索範囲は、右側の中段に図示したような範囲となる。経路探索を行った場合、抽出した境界線は、下段に点線で示したような曲線となり、消失した部分あるいは不明瞭な部分が連結された境界線を抽出することが可能になる。この場合、探索範囲は抽出済みの境界線L、L'の画素と交わらないように設定されているので、抽出した境界線が抽出済みの境界線と交わることを回避することができる。
 なお、図10、図11に示した例では、探索は右から左に行うようにしているが、逆方向に行うようにしてもよい。
 このように、抽出済みの境界線を利用して探索範囲を適切に設定することにより、不明瞭な境界線、あるいは一部消失した境界線を、抽出済みの境界線と交わることなく抽出することが可能になる。
<制御点の設定>
 上述したような処理を介して抽出された各境界線には、図12、図13に図示したように、その境界線上に制御点を設定することができる。
 例えば、ユーザーが操作部25のマウス、あるいは操作ペンで境界線の一点を指定し、画素間隔Dを指定する。制御部21は、指定された境界線上の画素を特定し、制御点設定手段36により当該特定された画素を中心にX方向左右にそれぞれD×n(n=1、2、.....)番目の画素列と境界線がそれぞれ交わる画素位置に制御点を設定する。または、制御部21は、指定された境界線上に既定のX方向位置で制御点を設定するようにしても良い。
 このように設定された制御点は表示部24に表示される。例えば、図12の下方左図に図示したように、最下端の網膜色素上皮RPE(L10)上に5画素間隔で黒丸で示した制御点が設定され、また同中央図に図示したように、10画素間隔で、また右図に図示したように、50画素間隔でそれぞれ制御点が設定される。
 図6に図示した方法で抽出した境界線は画素間隔が狭い(1画素間隔)ので、本来は滑らかな境界線でも、細かい凹凸が発生し滑らかな曲線にはならない。しかし、上述したように、境界線上に5画素間隔、10画素間隔など広い画素間隔で制御点を設定し、各設定された制御点を、例えばスプライン曲線によって結んで、それを境界線とすることにより、境界線を主観的に把握しやすい滑らかな曲線に近づけることができる。
 制御点間隔を狭くすると、抽出結果を忠実に表現することが可能になるが、制御点の数が多くなるため、境界線の修正に時間を要する。また、制御点間隔を狭くすると、滑らかな境界線でも、細かい凹凸が発生し滑らかな曲線とはならない。従って、制御点をどの程度の画素間隔で設定するかは、抽出する境界線の特徴に応じて、あるいは抽出された境界線の必要とされる修正程度に応じて、ユーザーが設定するようにする。
 例えば、図13の上図は、抽出された境界線NFL/GCL(L2)上に制御点を狭い画素間隔で設定し、各制御点をスプライン曲線で結んで境界線とした例を示しており、中段は制御点を広い画素間隔で設定して境界線とした例を示している。
 制御点間隔を広くする場合には、修正する制御点の数が少なくなり、修正時間を短縮することができる。例えば、図13下段に示したように、制御点QをQ’に移動させて抽出した境界線を修正することができる。しかし、同様な修正を、図13上図に示したように制御点間隔を狭くして行う場合には、複数の制御点を移動させなければならず、修正に時間を要することになる。つまり抽出結果に対しての正確性、修正に係る手間、および見た目の滑らかさのトレードオフであり、制御点間隔をユーザーが指定することでこのバランスもユーザーの所望に近づけることができる。
 なお、上述したように、境界線上に所定の画素間隔で制御点を設定した場合、設定された制御点を一つあるいは複数削除して、残る制御点をスプライン曲線で結ぶようにすることができ、逆に設定された制御点の間に更に一つあるいは複数の制御点を追加して、各制御点をスプライン曲線で結んで境界線とすることもできる。このように、制御点を削除、追加、あるいは移動させることにより、より滑らかな、あるいは忠実な境界線を抽出することが可能になる。
 また、上述したように、図13下段には、制御点QをQ’に移動して抽出した境界線を修正する状態が図示されている。このような移動は、一つの制御点だけでなく、複数の制御点を移動させることもできる。また、上述したように、制御点は追加ないし削除することができる。このように、制御点を移動、追加、削除した場合、境界線抽出手段34によって、一つないし全ての境界線に対して再度経路探索を行い、境界線を抽出しなおすようにしてもよい。このとき、経路探索が移動した制御点、あるいは追加した制御点を通って行われるように、移動ないし追加した制御点が位置する画素には、高い評価得点を与えるようにするとともに、削除した制御点を通過しないようにするために、削除した制御点が位置する画素には、低い評価得点を与えるか、もしくは評価得点を与えないようにしておく。
 また複数の境界線に対して再度経路探索を行う場合、境界線が交差してしまう現象を防ぐため、境界線A上の制御点Q(x、z)がQ’(x、z’)へ移動した場合は、境界線Bの再検出時において次のような措置をとることができる。例えば図14に示すように境界線A上の制御点Q(x、z)が境界線Bを跨いで-z方向へ移動しQ’(x、z’)となった場合、境界線Bの検出時には、Q’(x、z’)を端点として+z方向に伸びる半直線領域を探索範囲から除外するようにしてもよい。同様に、境界線A上の制御点Q(x、z)が境界線Bを跨いで+z方向へ移動しQ’(x、z’)となった場合、境界線Bの検出時には、Q’(x、z’)を端点として-z方向に伸びる半直線領域を探索範囲から除外するようにしてもよい。また、図15に示すように境界線A上の制御点Q(x、z)が境界線Bを跨がずに+z方向へ移動しQ’(x、z’)となった場合、境界線Bの検出時には、Q’(x、z’)を端点としてz軸に平行で境界線Bと交差しない半直線領域を探索範囲から除外するようにしてもよい。境界線A上の制御点Q(x、z)が境界線Bを跨がずに-z方向へ移動した場合も同様である。
 なお、境界線が修正された場合には、上述したように、修正に応じて存在確率画像格納部26に格納されている当該境界線用の存在確率画像を修正して当該存在確率画像を学習させるようにすることもできる。
 10 断層像撮影装置
 20 画像処理装置
 21 制御部
 22 断層画像形成部
 23 記憶部
 24 表示部
 25 操作部
 26 存在確率画像格納部
 27 重み付け係数格納部
 30 画像処理部
 31 境界線候補画像作成手段
 32 輝度値微分画像作成手段
 33 評価得点画像作成手段
 34 境界線抽出手段
 35 探索範囲設定手段
 36 制御点設定手段

Claims (11)

  1.  複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出する境界線抽出手段と、
     抽出された境界線上に所定画素間隔で制御点を設定する制御点設定手段と、
     抽出された境界線並びに設定された制御点を表示する表示部と、を備え、
     設定された各制御点を結ぶ曲線を境界線として抽出し表示することを特徴とする画像処理装置。
  2.  前記画素間隔が可変に設定可能であることを特徴とする請求項1に記載の画像処理装置。
  3.  表示された制御点を移動させ、移動した制御点とその他の制御点を結んで得られる曲線を境界線とすることにより抽出した境界線を修正することができることを特徴とする請求項1又は2に記載の画像処理装置。
  4.  設定された制御点を削除、あるいは設定された制御点間に新たに制御点を追加できることを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
  5.  表示された1つあるいは複数の制御点を移動させ、移動した全ての制御点を通るように、境界線抽出手段によって層の境界線を抽出することができることを特徴とする請求項1、2又は4に記載の画像処理装置。
  6.  複数の層から構成される対象物体を撮影した画像を入力画像とし該入力画像から層の境界線を抽出するステップと、
     抽出された境界線上に所定画素間隔で制御点を設定するステップと、
     抽出された境界線並びに設定された制御点を表示するステップと、を備え、
     設定された各制御点を結ぶ曲線を境界線として抽出し表示することを特徴とする画像処理方法。
  7.  前記画素間隔が可変に設定可能であることを特徴とする請求項6に記載の画像処理方法。
  8.  表示された制御点を移動させ、移動した制御点とその他の制御点を結んで得られる曲線を境界線とすることにより抽出した境界線を修正することができることを特徴とする請求項6又は7に記載の画像処理方法。
  9.  設定された制御点を削除、あるいは設定された制御点間に新たに制御点を追加できることを特徴とする請求項6から8のいずれか1項に記載の画像処理方法。
  10.  表示された1つあるいは複数の制御点を移動させ、移動した全ての制御点を通るように、層の境界線を抽出することができることを特徴とする請求項6、7又は9に記載の画像処理方法。
  11.  コンピュータを請求項1から5のいずれか1項に記載の画像処理装置として機能させるための、あるいはコンピュータに請求項6から10のいずれか1項に記載の画像処理方法を実行させるための画像処理プログラム。
PCT/JP2016/073498 2015-08-19 2016-08-09 画像処理装置、画像処理方法、及び画像処理プログラム WO2017030058A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015162127A JP2018157841A (ja) 2015-08-19 2015-08-19 画像処理装置、画像処理方法、及び画像処理プログラム
JP2015-162127 2015-08-19

Publications (1)

Publication Number Publication Date
WO2017030058A1 true WO2017030058A1 (ja) 2017-02-23

Family

ID=58051751

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073498 WO2017030058A1 (ja) 2015-08-19 2016-08-09 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2018157841A (ja)
WO (1) WO2017030058A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239707A1 (ja) * 2018-06-13 2019-12-19 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387343B2 (ja) * 2019-09-04 2023-11-28 キヤノン株式会社 画像処理装置、画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009061203A (ja) * 2007-09-10 2009-03-26 Univ Of Tokyo 眼底観察装置、眼底画像処理装置及びプログラム
JP2010279439A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2012075938A (ja) * 2012-01-06 2012-04-19 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2014045905A (ja) * 2012-08-30 2014-03-17 Canon Inc 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009061203A (ja) * 2007-09-10 2009-03-26 Univ Of Tokyo 眼底観察装置、眼底画像処理装置及びプログラム
JP2010279439A (ja) * 2009-06-02 2010-12-16 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2012075938A (ja) * 2012-01-06 2012-04-19 Canon Inc 画像処理装置及びその制御方法、コンピュータプログラム
JP2014045905A (ja) * 2012-08-30 2014-03-17 Canon Inc 画像処理装置および画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239707A1 (ja) * 2018-06-13 2019-12-19 株式会社トプコン 眼科装置、その制御方法、プログラム、及び記録媒体
US11903646B2 (en) 2018-06-13 2024-02-20 Topcon Corporation Ophthalmic apparatus, method of controlling the same, method of ophthalmic optical coherence tomography, and recording medium

Also Published As

Publication number Publication date
JP2018157841A (ja) 2018-10-11

Similar Documents

Publication Publication Date Title
WO2017030056A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8699774B2 (en) Image processing apparatus, control method thereof, and program
US10176614B2 (en) Image processing device, image processing method, and program
JP5924955B2 (ja) 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム
EP3360112B1 (en) Fast and automated segmentation of layered image with heuristic graph search
US9307902B2 (en) Image processing device, image processing system, image processing method, and program
JP5769766B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2008022928A (ja) 画像解析装置及び画像解析プログラム
JP2013153882A (ja) 画像処理システム、処理方法及びプログラム
JP2018020192A (ja) 画像処理システム、処理方法及びプログラム
WO2017030058A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7284103B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2017030057A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6243957B2 (ja) 画像処理装置、眼科システム、画像処理装置の制御方法および画像処理プログラム
EP3129955B1 (en) Method for the analysis of image data representing a three-dimensional volume of biological tissue
JP7467875B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2023030184A (ja) 画像処理方法、プログラム、画像処理装置、及び眼科システム
JP2022062620A (ja) 画像処理装置、画像処理方法及びプログラム
JP6419249B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6061975B2 (ja) 眼科装置、眼科装置の作動方法、及びプログラム
JP2022062619A (ja) 画像処理装置、画像処理方法及びプログラム
JP2021058285A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013153880A (ja) 画像処理システム、処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16837048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16837048

Country of ref document: EP

Kind code of ref document: A1