WO2022234742A1 - 表示処理装置、方法及びプログラム - Google Patents

表示処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2022234742A1
WO2022234742A1 PCT/JP2022/014343 JP2022014343W WO2022234742A1 WO 2022234742 A1 WO2022234742 A1 WO 2022234742A1 JP 2022014343 W JP2022014343 W JP 2022014343W WO 2022234742 A1 WO2022234742 A1 WO 2022234742A1
Authority
WO
WIPO (PCT)
Prior art keywords
curve
image
region
display processing
processing device
Prior art date
Application number
PCT/JP2022/014343
Other languages
English (en)
French (fr)
Inventor
拓也 蔦岡
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023518637A priority Critical patent/JPWO2022234742A1/ja
Publication of WO2022234742A1 publication Critical patent/WO2022234742A1/ja
Priority to US18/495,787 priority patent/US20240062439A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/471—Contour-based spatial representations, e.g. vector-coding using approximation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the present invention relates to a display processing device, method, and program, and more particularly to a technology for drawing and displaying a region of a detection target object detected from an image.
  • Patent Document 1 Conventionally, the one described in Patent Document 1 has been proposed as a medical image diagnostic apparatus equipped with this type of function.
  • the medical image diagnostic apparatus described in Patent Document 1 includes target region extraction means for roughly extracting a target region in an image, and inputting an image of the extracted target region to predict global information for recognizing the target region.
  • target site recognition means for recognizing a target site using global information predicted by the neural network and outputting the data (outline of the target site); and recognition output from the target site recognition means an image display unit for inputting result data and displaying the recognition result together with the original image.
  • the target site recognition means changes the density value from "0" to "1" toward the outside of the image at equal angular pitches from the origin S (x0, y0) of the global information. All the positions of the points are detected, and using the global information as a guide, the boundary between black and white binary values of "1" and "0" is found, and the outline of the target portion is extracted.
  • the global information predicted by the neural network described in Patent Document 1 indicates rough region information of the target site, and the density value increases from "0" toward the outside of the image at equal angular pitches from the origin of the global information.
  • the medical image diagnostic apparatus described in Patent Document 1 tracks the contour of the target site based on the change in the density value, but by using the global information as a guide, it is possible to get lost in tracing the boundary. I try not to
  • Patent Document 1 when searching for contour points whose density values change from "0" to "1" toward the outside of the image at regular angular pitches, contour points cannot be found in the vicinity of global information. It does not describe how the contour points are determined in this case. In particular, when the contour or boundary of the target portion of the image is unclear, contour points tend not to be found.
  • contour points are not found, it is conceivable to adopt points on the rough contour indicated by the global information. Therefore, the outline of the extracted target site may become unnatural.
  • the present invention has been made in view of such circumstances, and is a display processing device that displays the area of a detection target object in an easy-to-understand manner for the user, even if the contours and boundaries of the detection target object in the image are unclear. It aims at providing a method and a program.
  • the invention according to a first aspect provides a display processing device comprising a processor, wherein the processor performs image acquisition processing for acquiring an image, and an area for extracting an area including a detection target object from the acquired image. Extraction processing, curve generation processing for generating a curve corresponding to a detection target object in the extracted region, image synthesis processing for synthesizing the image and the curve, and display processing for displaying the synthesized image on a display. and the display processing device.
  • a region including a detection target object is extracted, and in the extracted region, a curve corresponding to the detection target object in the region is generated. It can be generated without deviating from the area containing the object, and can be generated with a small divergence from the actual contour of the object to be detected.
  • the generated curve is combined with the image and displayed on the display device, the area of the detection target object can be displayed in an easy-to-understand manner for the user.
  • the area extraction process extracts a rectangular area as the area. This is because extraction of a rectangular region containing a detection target object from an image enables robust learning and estimation even if the outline of the detection target object is partially unclear.
  • the curve generation process generates a curve according to a predetermined rule.
  • the curve generating process selects a first template curve from a plurality of template curves prepared in advance, deforms the first template curve according to the area, and generates a curve. is preferred.
  • the processor performs class classification processing for classifying the detection target object based on the image
  • the curve generation processing includes a plurality of template curves based on the classification result of class classification. It is preferred to select the first template curve from A detection target object has an outer shape according to its class classification. Therefore, by selecting the first template curve from a plurality of template curves based on the classification result of classifying the detection target object, the first template curve suitable for the detection target object can be selected.
  • the curve generating process selects one template curve from a plurality of template curves, and when deforming the selected template curve in accordance with the region, the deformed template
  • the first template curve may be selected based on a distribution of pixel values in the inner region and a distribution of pixel values in the outer region when the region is divided into an inner region and an outer region by the curve. preferable.
  • the curve generation process deforms the first template curve according to at least one of the size and aspect ratio of the region to generate the curve.
  • the curve generation process includes the distribution of pixel values in the inner region and the outer region when the region is divided into the inner region and the outer region by the template curve. It is preferable to deform the first template curve so that the difference from the distribution of pixel values in .
  • the curve generation processing preferably generates a curve by combining one parametric curve or a plurality of parametric curves.
  • a B-spline curve, a Bezier curve, or the like can be applied as the parametric curve.
  • the curve generation process includes the distribution of pixel values in the inner area and the outer area when the area is divided into the inner area and the outer area by the parametric curve. It is preferable to adjust the parameters of the parametric curve so that the difference from the distribution of pixel values within is large.
  • the curve generation process may extract a plurality of points having a large pixel value gradient within the region, and adjust parameters of the parametric curve using the plurality of points as control points. preferable.
  • the curve generation process performs image processing on pixel values in the area, extracts the contour of the detection target object, and generates the curve.
  • the curve generation process determines whether or not each section of the generated curve has a typical pixel value around it, and selects a section having a typical pixel value. It is preferable to leave and erase other intervals.
  • sections of the generated curve sections containing many typical pixel values (for example, sections with little noise and relatively uniform pixel values) are considered to be the contours of the object to be detected, so they are left. , is deleted as an interval with an unclear outline.
  • the curve generation process leaves at least one of a section having a large curvature and a section including an inflection point in the generated curve, and deletes the other sections. is preferred. This is because curves in sections other than sections with large curvatures and sections around inflection points are close to straight lines, and thus the outline of the detection target object can be inferred even if they are deleted. If the section to be deleted is too long, it is preferable to leave it at a certain ratio.
  • the processor performs class classification processing for classifying the detection target object based on the image, and according to the classified result,
  • the rule used to generate the curve is selected from a plurality of different rules.
  • the image is an ultrasound image.
  • An ultrasound image is effective as an image to which the display processing apparatus according to the present invention is applied, because the contours and boundaries of objects to be detected in the image are generally unclear and difficult to distinguish.
  • the ultrasonic image also includes an ultrasonic endoscopic image captured by an ultrasonic endoscopic device.
  • the detection target object is an organ.
  • a step of obtaining an image a step of extracting a region including a detection target object from the obtained image, and a step of generating a curve corresponding to the detection target object within the extracted region in the extracted region.
  • a step of synthesizing the image and the curved line a step of displaying the synthesized image on a display.
  • a nineteenth aspect of the invention provides a function of acquiring an image, a function of extracting a region including a detection target object from the acquired image, and a function of generating a curve corresponding to the detection target object in the extracted region. , a function of synthesizing an image and a curved line, and a function of displaying the synthesized image on a display device.
  • the area of the detection target object can be displayed in an easy-to-understand manner for the user.
  • FIG. 1 is a schematic diagram showing the overall configuration of an ultrasonic endoscope system including a display processing device according to the present invention.
  • FIG. 2 is a block diagram showing an embodiment of an ultrasound processor functioning as a display processing device according to the present invention.
  • FIG. 3 is a diagram showing an example of an ultrasound image on which a rectangular frame containing an organ is superimposed and displayed.
  • FIG. 4 is a diagram used to describe the first embodiment of curve generation processing by the curve generation unit.
  • FIG. 5 is a diagram used to explain a modification of the first embodiment of curve generation processing by the curve generation unit.
  • FIG. 6 is a diagram used to describe a second embodiment of curve generation processing by the curve generation unit.
  • FIG. 7 is a diagram used to describe the third embodiment of curve generation processing by the curve generation unit.
  • FIG. 1 is a schematic diagram showing the overall configuration of an ultrasonic endoscope system including a display processing device according to the present invention.
  • FIG. 2 is a block diagram showing an embodiment of an ultrasound processor functioning as
  • FIG. 8 is a diagram used to describe a fourth embodiment of curve generation processing by the curve generation unit.
  • FIG. 9 is a diagram used to describe the fifth embodiment of curve generation processing by the curve generation unit.
  • FIG. 10 is a flowchart showing an embodiment of a display processing method according to the invention.
  • FIG. 1 is a schematic diagram showing the overall configuration of an ultrasonic endoscope system including a display processing device according to the present invention.
  • the ultrasonic endoscope system 2 includes an ultrasonic scope 10, an ultrasonic processor device 12 that generates ultrasonic images, and an endoscope processor device 14 that generates endoscopic images. , a light source device 16 for supplying illumination light for illuminating the inside of the body cavity to the ultrasound scope 10, and a display (monitor) 18 for displaying ultrasound images and endoscopic images.
  • the ultrasonic scope 10 includes an insertion portion 20 to be inserted into the body cavity of the subject, a hand operation portion 22 connected to the proximal end portion of the insertion portion 20 and operated by the operator, and one end of the hand operation portion 22. and a universal cord 24 to which is connected.
  • the other end of the universal cord 24 is connected to an ultrasonic connector 26 connected to the ultrasonic processor device 12 , an endoscope connector 28 connected to the endoscope processor device 14 , and the light source device 16 .
  • a light source connector 30 is provided.
  • the ultrasound scope 10 is detachably connected to the ultrasound processor device 12, the endoscope processor device 14, and the light source device 16 via these connectors 26, 28, and 30, respectively. Further, the light source connector 30 is connected to an air/water supply tube 32 and a suction tube 34 .
  • the monitor 18 receives each video signal generated by the ultrasound processor device 12 and the endoscope processor device 14 and displays an ultrasound image and an endoscopic image.
  • the display of the ultrasonic image and the endoscopic image it is possible to display either one of the images on the monitor 18 by appropriately switching between them, or to display both images at the same time.
  • the hand operation unit 22 is provided with an air/water supply button 36 and a suction button 38 side by side, as well as a pair of angle knobs 42 and a treatment instrument insertion port 44 .
  • the insertion portion 20 has a distal end, a proximal end, and a longitudinal axis 20a, and includes, in order from the distal end side, a distal portion main body 50 made of a hard material, and a bending portion connected to the proximal end side of the distal portion main body 50. 52, and an elongated flexible flexible portion 54 that connects between the base end side of the bending portion 52 and the distal end side of the hand operation portion 22.
  • the distal end portion main body 50 is provided on the distal end side of the insertion portion 20 in the direction of the longitudinal axis 20a.
  • the bending portion 52 is remotely operated to bend by rotating a pair of angle knobs 42 provided on the hand operation portion 22 . This allows the tip body 50 to be oriented in a desired direction.
  • An ultrasonic probe 62 and a bag-shaped balloon 64 covering the ultrasonic probe 62 are attached to the tip body 50 .
  • the balloon 64 can be inflated or deflated by being supplied with water from the water supply tank 70 or by sucking the water inside the balloon 64 with the suction pump 72 .
  • the balloon 64 is inflated until it abuts against the inner wall of the body cavity in order to prevent attenuation of ultrasonic waves and ultrasonic echoes (echo signals) during ultrasonic observation.
  • an endoscope observation section (not shown) having an observation section equipped with an objective lens, an imaging device, and the like, and an illumination section is attached to the distal end body 50 .
  • the endoscope observation section is provided behind the ultrasonic probe 62 (on the hand operation section 22 side).
  • an ultrasonic image acquired by the ultrasonic endoscope system 2 or the like contains speckle noise, and the contour and boundary of an object to be detected in the ultrasonic image are unclear and cannot be distinguished. This tendency is remarkable in the periphery of the signal area. Therefore, there is a problem that it is particularly difficult to precisely estimate the outline of a large organ such as the pancreas that is drawn in the entire signal area.
  • AI Artificial Intelligence
  • (1) is an approach in which AI classifies which organ each pixel in the image belongs to, and while it is expected to obtain a detailed organ map, it is difficult to learn and estimate organs with partially unclear contours. It has the disadvantage of being unstable.
  • the present invention solves the drawback of approach (2) and provides a display processing device that displays the position of a detection target object (organ) with an unclear contour in an easy-to-understand manner for the user. It should be noted that the problem of obscuring objects and contours is likely to occur even in general images taken in dark places where exposure tends to be insufficient. Applicable.
  • FIG. 2 is a block diagram showing an embodiment of an ultrasound processor functioning as a display processing device according to the present invention.
  • the ultrasonic processor device 12 shown in FIG. 2 corresponds to the contour of the detection target object (various organs in this example) in the image based on the sequentially acquired images (in this example, ultrasonic images). A curve is generated and a composite image obtained by combining the generated curve with an image is displayed on the monitor 18 to assist the user observing the image.
  • the ultrasound processor device 12 shown in FIG. It is composed of a memory 112, and the processing of each unit is implemented by one or more processors.
  • the CPU 104 operates based on various programs including the display processing program according to the present invention stored in the memory 112, and performs the transmission/reception unit 100, the image generation unit 102, the area extraction unit 106, the curve generation unit 108, and the image synthesis unit 109. , and the display control unit 110, and functions as a part of these units.
  • the transmission/reception unit 100 and the image generation unit 102 functioning as an image acquisition unit are parts that perform image acquisition processing for sequentially acquiring ultrasonic images.
  • a transmission unit of the transmission/reception unit 100 generates a plurality of drive signals to be applied to a plurality of ultrasonic transducers of the ultrasonic probe 62 of the ultrasonic scope 10, and based on a transmission delay pattern selected by a scanning control unit (not shown). to apply the plurality of drive signals to the plurality of ultrasonic transducers by giving respective delay times to the plurality of drive signals.
  • the receiving unit of the transmitting/receiving unit 100 amplifies a plurality of detection signals respectively output from the plurality of ultrasonic transducers of the ultrasonic probe 62, converts the analog detection signals into digital detection signals (also known as RF (Radio Frequency) data ). This RF data is input to the image generator 102 .
  • RF Radio Frequency
  • the image generation unit 102 Based on the reception delay pattern selected by the scanning control unit, the image generation unit 102 gives respective delay times to the plurality of detection signals represented by the RF data, and adds the detection signals to obtain a reception focus. process.
  • This reception focusing process forms sound ray data in which the focus of the ultrasonic echo is narrowed down.
  • the image generation unit 102 further corrects the sound ray data for attenuation according to the distance according to the depth of the reflection position of the ultrasonic wave by STC (Sensitivity Time Control), and then performs envelope detection processing using a low-pass filter or the like.
  • Envelope data for one frame, preferably a plurality of frames, is stored in a cine memory (not shown).
  • the image generation unit 102 performs preprocessing such as Log (logarithmic) compression and gain adjustment on the envelope data stored in the cine memory to generate a B-mode image.
  • the transmission/reception unit 100 and the image generation unit 102 acquire time-series B-mode images (hereinafter referred to as "images").
  • the region extracting unit 106 is a part that performs region extraction processing for extracting a region (a “rectangular region” in this example) containing the detection target object in the image based on the input image, and may be configured by AI, for example. can be done.
  • the objects to be detected in this example are various organs in the ultrasound image (B-mode image tomographic image), such as the pancreas, main pancreatic duct, spleen, splenic vein, splenic artery, and gallbladder.
  • the region extracting unit 106 when sequentially inputting images of one frame of a moving image, detects (recognizes) one or more organs in each input image, and performs region extraction processing for extracting (estimating) a region including the organs. .
  • the region containing the organ is the smallest rectangular region that encloses the organ.
  • FIG. 3 is a diagram showing an example of an ultrasound image in which a rectangular frame containing an organ is superimposed and displayed.
  • a rectangular frame (bounding box) BB1 indicating a rectangular area enclosing an organ encloses the pancreas
  • a bounding box BB2 encloses the main pancreatic duct.
  • the region extraction unit 106 may also perform classification processing for classifying the detection target object into one of a plurality of classes based on the input image. As a result, it is possible to recognize the type of each organ, which is the object to be detected, and display the name or abbreviation indicating the type of organ in association with the corresponding organ.
  • the curve generation unit 108 is a part that performs curve generation processing for generating a curve corresponding to the detection target object in the rectangular area extracted by the area extraction unit 106 .
  • the curve generation process by the curve generation unit 108 is performed according to the rules defined in advance as shown below.
  • FIG. 4 is a diagram used to describe the first embodiment of curve generation processing by the curve generation unit.
  • a plurality of prepared template curves T1, T2, T3, . . . are stored in the memory 112 shown in FIG.
  • template curves having shapes such as a circular shape, an elliptical shape, and a broad bean shape are prepared.
  • a first template curve is selected from a plurality of template curves prepared in advance.
  • the first template curve can be selected from a plurality of template curves based on the results of classifying the organs, which are the detection target objects.
  • the shape of the organ has a shape corresponding to the result of classifying the organ (that is, the type of organ).
  • Classification of the detection target object can be performed by classifying which class (which organ) each pixel in the input image belongs to by the region extraction unit 106 or the CPU 104 having an AI function.
  • the template curve Ti that maximizes the difference between the distribution of pixel values in the inner region and the distribution of pixel values in the outer region.
  • the template curve Ti when exceeded may be selected as the first template curve.
  • the first template curve may be selected by combining the method of using the result of the class classification described above and the method of actually applying and determining whether the template curve matches the object to be detected. For example, a plurality of template curves that are candidates for the first template curve are extracted from a plurality of template curves based on the results of classification, and whether the extracted plurality of template curves match the object to be detected is actually applied. to select the first template curve.
  • the curve generation unit 108 deforms the first template curve to match the rectangular area. For example, the curve generation unit 108 deforms the selected first template curve according to at least one of the size and aspect ratio of the rectangular area to generate a curve corresponding to the detection target object.
  • a template curve T2 suitable for the shape of the pancreas, which is the object to be detected, is selected as the first template curve.
  • a curve Ta corresponding to the object is generated.
  • FIG. 5 is a diagram used to explain a modification of the first embodiment of curve generation processing by the curve generation unit.
  • the curve generator 108 further transforms the curve Ta generated by the first embodiment of the curve generation process shown in FIG. 4 to generate a curve Tb corresponding to the detection target object.
  • the curve generating unit 108 divides the rectangular area of the bounding box BB1 into an inner area and an outer area using a curve Ta that is simply deformed so as to inscribe the bounding box BB1.
  • a curve Tb is generated by further modifying the curve Ta so that the difference between the distribution of pixel values in the region of and the distribution of pixel values in the outer region is increased.
  • the curve Tb generated in this way can be brought closer to the outline of the pancreas, which is the object to be detected, than the curve Ta obtained by simply deforming the template curve T2.
  • FIG. 6 is a diagram used to describe a second embodiment of curve generation processing by the curve generation unit.
  • a plurality of prepared parametric curves are stored in the memory 112 shown in FIG.
  • a spline curve, a Bezier curve, and the like can be considered as the plurality of template curves.
  • Spline curves include n-order spline curves, B-spline curves, NURBS (Non-Uniform Rational B-Spline) curves, and the like.
  • NURBS curves are a generalization of B-spline curves.
  • a Bezier curve is a curve of degree N ⁇ 1 obtained from N control points and is a special case of a B-spline curve.
  • the curve generation unit 108 generates a curve corresponding to the detection target object by combining one parametric curve or a plurality of parametric curves.
  • the curve generation unit 108 generates an elliptical NURBS curve Na inscribed in the bounding box BB1.
  • This NURBS curve Na passes through eight control points on the ellipse.
  • the curve generation unit 108 varies the parameters of the NURBS curve Na, searches for a state that best fits the contour of the pancreas, which is the detection target object, and generates the final curve Nb corresponding to the detection target object.
  • the curve generation unit 108 calculates the distribution of pixel values in the inner region and the distribution of pixel values in the outer region when the region of the bounding box BB1 is divided into the inner region and the outer region by the parametric curve. By adjusting the parameters of the parametric curve so that the difference between is large, a curve Nb that best fits the contour of the object to be detected is generated.
  • FIG. 7 is a diagram used to describe the third embodiment of curve generation processing by the curve generation unit.
  • the third embodiment of the curve generation processing by the curve generation unit 108 is common in that it uses a parametric curve as in the second embodiment shown in FIG. Predetermine the control points.
  • the curve generation unit 108 searches for a plurality of points (control points) with large luminance gradients within the bounding box BB1.
  • the number of control points is 3 or more to form a closure. In the example shown in FIG. 7, eight control points are determined.
  • the curve generator 108 adjusts the parameters of the parametric curve using these control points. That is, the curve generator 108 generates, for example, a cubic spline curve S passing through the control points. After that, the position and the number of control points are changed to search for the best fitting state, and the cubic spline curve S is determined. For the goodness of fit, the difference in distribution of pixel values inside and outside the cubic spline curve S can be used.
  • the curve to be generated is a B-spline curve, it does not have to pass through the control points.
  • FIG. 8 is a diagram used to describe a fourth embodiment of curve generation processing by the curve generation unit.
  • the fourth embodiment of the curve generation process by the curve generation unit 108 generates a curve Nb that fits the contour of the detection target object as shown in FIG. 8(A).
  • This curve Nb can be generated, for example, by the embodiments shown in FIGS.
  • the curve generation unit 108 determines whether or not each section of the generated curve Nb has a typical pixel value around it. leave the section Nc having the same, and erase the other sections.
  • the curve generator 108 refers to the pixel values inside and outside the curve in the neighboring area for each point of the generated curve Nb (FIG. 8A), and the section Nc (for example, noise ) are left, and the other sections are deleted (FIG. 8B).
  • FIG. 9 is a diagram used to describe the fifth embodiment of curve generation processing by the curve generation unit.
  • the fifth embodiment of the curve generation process by the curve generation unit 108 generates a curve Nb that fits the contour of the detection target object as shown in FIG. 9(A).
  • This curve Nb can be generated, for example, by the embodiments shown in FIGS.
  • the curve generation unit 108 calculates at least one of a section having a large curvature and a section including an inflection point in the generated curve Nb for each section of the generated curve Nb.
  • section Nd is left, and the other sections are deleted.
  • Section Ne in FIG. 9B is a section left because the section to be deleted is too long.
  • the curve generation processing according to a predetermined rule is not limited to the first to fifth embodiments, and image processing is performed on pixel values within a rectangular area to extract the contour of the object to be detected, and a curve is generated. may be generated.
  • an edge extraction filter for example, a Sobel filter
  • a size sufficiently larger than the speckle noise is used so as not to be affected by the speckle noise. It is conceivable to scan a rectangular area with an extraction filter and extract edges (contour points) of the object to be detected from scanning positions where the output value of the edge extraction filter exceeds a threshold. By connecting the extracted contour points, a curve can be generated even if some contour points of the object to be detected are not detected.
  • first to fifth embodiments each show an embodiment of curve generation processing according to predetermined rules, but which rule is used to generate a curve depends on the class classification of the detection target object. It is preferable to select them as appropriate.
  • a plurality of different rules for curve generation processing are stored in the memory 112.
  • the CPU 104 performs class classification processing for classifying the detection target object based on the image, and selects a rule to be used for generating a curve from a plurality of different rules stored in the memory 112 according to the class classification result.
  • the curve generation unit 108 performs curve generation processing according to the selected rule.
  • a rule is selected for each detection target object, and a curve corresponding to each detection target object is generated according to the selected rule.
  • the image synthesizing unit 109 performs image synthesizing processing for synthesizing the image acquired and generated by the image generating unit 102 and the like and the curve generated by the curve generating unit 108 .
  • the curved line differs in brightness or color from the peripheral portion and is synthesized as a line drawing with a line width that can be visually recognized by the user.
  • the display control unit 110 causes the monitor 18 to display an image obtained by sequentially acquiring the image by the transmitting/receiving unit 100 and the image generating unit 102 and combining the curve corresponding to the detection target object generated by the curve generating unit 108 .
  • a moving image showing an ultrasonic tomographic image is displayed on the monitor 18 .
  • FIG. 8(B), and FIG. 9(B) each show a state in which a curve (solid line) corresponding to the object to be detected is superimposed on the image.
  • the control points shown in FIGS. 6 and 7 are not displayed.
  • the area of the detection target object can be displayed in an easy-to-understand manner for the user.
  • the bounding box BB1 indicated by the dotted line is not displayed, but the display control unit 110 may display the bounding box BB1, or the classification information of the class of the detection target object is acquired.
  • character information indicating the class classification for example, character information of abbreviations or formal names of types of organs
  • FIG. 10 is a flow chart showing an embodiment of a display processing method according to the present invention, showing the processing procedure of each part of the ultrasonic processor device 12 shown in FIG.
  • the transmission/reception unit 100 and the image generation unit 102 functioning as an image acquisition unit acquire time-series images (step S10).
  • the frame rate of time-series images is, for example, 30 fps (frames per second)
  • one frame of images is acquired every 1/30 (second).
  • the area extraction unit 106 recognizes the detection target object (organ) existing in the image based on the image acquired in step S10, and extracts a rectangular area including the organ (step S12).
  • the curve generation unit 108 generates a curve corresponding to the detection target object in the rectangular area extracted by the area extraction unit 106 (step S14).
  • the method of generating a curve corresponding to the object to be detected includes the method of using a template curve, the method of using a parametric curve, and the like (see FIGS. 4 to 9), but detailed description thereof will be omitted.
  • the image synthesizing unit 109 synthesizes the image acquired in step S10 and the curve generated in step S14 (step S16), and the display control unit 110 displays the image synthesized with the curve in step S16 on the monitor 18. display (step S18).
  • the user can easily confirm the area of the detection target object even if the contour or boundary of the detection target object in the image is unclear.
  • the CPU 104 determines whether or not to end the display of the time-series B-mode images based on the user's operation. (Step S20).
  • step S10 If it is determined not to end the image display ("No"), the process returns to step S10, the processing from step S10 to step S20 is repeated for the image of the next frame, and it is determined to end the image display. If yes ("Yes"), this display process is terminated.
  • the ultrasound processor device 12 has a function as a display processing device according to the present invention. It may acquire an image from the ultrasound processor 12 and function as a display processing device according to the present invention.
  • the present invention is not limited to ultrasound images, and can be applied not only to moving images but also to still images.
  • the object to be detected in the image is not limited to various organs, and may be, for example, a lesion area.
  • the hardware structure for executing various controls of the ultrasound processor device (image display device) of this embodiment is the following various processors.
  • the circuit configuration can be changed after manufacturing, such as CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), which is a general-purpose processor that executes software (program) and functions as various control units.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or composed of two or more processors of the same type or different types (for example, a plurality of FPGAs, or a combination of a CPU and an FPGA).
  • a plurality of control units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple controllers.
  • SoC System On Chip
  • various control units are configured using one or more of the above various processors as a hardware structure.
  • the present invention includes an image display program that, when installed in a computer, causes the computer to function as an image display device according to the present invention, and a non-volatile storage medium in which this image display program is recorded.
  • Ultrasound Endoscope System 10 Ultrasound Scope 12 Ultrasound Processor Device 14 Endoscope Processor Device 16 Light Source Device 18 Monitor 20 Insertion Portion 20a Longitudinal Axis 22 Hand Operation Part 24 Universal Cord 26 Ultrasound Connector 28 Endoscopy Speculum connector 30 Light source connector 32 Tube 34 Tube 36 Air supply/water supply button 38 Suction button 42 Angle knob 44 Treatment instrument insertion port 50 Distal portion main body 52 Bending portion 54 Flexible portion 62 Ultrasonic probe 64 Balloon 70 Water supply tank 72 Suction Pump 100 Transmission/reception unit 102 Image generation unit 104 CPU 106 region extraction unit 108 curve generation unit 109 image synthesis unit 110 display control unit 112 memory S10 to S20 step

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

画像中の検出対象物体の輪郭、境界が不明瞭であっても、その検出対象物体の領域をユーザに分かりやすく表示する表示処理装置、方法及びプログラムを提供する。画像取得部として機能する送受信部（１００）及び画像生成部（１０２）は、超音波画像を順次取得する。領域抽出部（１０６）は、取得した超音波画像から検出対象物体である臓器を含む矩形領域を抽出する。曲線生成部（１０）は、抽出された矩形領域において、矩形領域内の臓器に応じた曲線を生成する。画像合成部（１０９）は、超音波画像と生成された臓器に応じた曲線とを合成する。表示制御部（１１０）は、曲線が合成された超音波画像をモニタ（１８）に表示させる。

Description

表示処理装置、方法及びプログラム
　本発明は表示処理装置、方法及びプログラムに係り、特に画像から検出した検出対象物体の領域を描画表示する技術に関する。
　従来、この種の機能を備えた医用画像診断装置として、特許文献１に記載のものが提案されている。
　特許文献１に記載の医用画像診断装置は、画像中の目的部位を大まかに抽出する対象領域抽出手段と、抽出された対象領域の画像を入力して目的部位を認識するための大局情報を予測するニューラルネットワークと、このニューラルネットワークで予測された大局情報を用いて目的部位を認識し、そのデータ（目的部位の輪郭）を出力する目的部位認識手段と、この目的部位認識手段から出力された認識結果のデータを入力して、原画像と共にその認識結果を表示する画像表示部と、を備えている。
　目的部位認識手段は、目的部位の輪郭の検出に当たって、大局情報の原点Ｓ（ｘ0，ｙ0）から等角度ピッチ毎に、画像の外側に向かって濃度値が“０”から“１”へ変化する点の位置をすべて検出し、大局情報をガイドとして“１”と“０”の白黒２値の境界を見い出し、目的部位としての輪郭を抽出する。
特開平６－２３３７６１号公報
　特許文献１に記載のニューラルネットワークで予測された大局情報は、大まかな目的部位の領域情報を示すが、大局情報の原点から等角度ピッチ毎に画像の外側に向かって濃度値が“０”から“１”へ変化する点（輪郭点）の位置をすべて検出する際に、輪郭点が大局情報から大きく離れないようにガイドするものである。
　即ち、特許文献１に記載の医用画像診断装置は、目的部位の輪郭を、濃度値の変化に基づいてトラッキングするが、大局情報をガイドとして使用することで、境界を辿るのに迷走することがないようにしている。
　しかしながら、特許文献１には、等角度ピッチ毎に画像の外側に向かって濃度値が“０”から“１”へ変化する輪郭点を探索する場合に、大局情報の近傍で輪郭点が見つからない場合に、どのように輪郭点を決定するかについては記載されていない。特に、画像の目的部位の輪郭、境界が不明瞭の場合、輪郭点が見つからない傾向がある。
　仮に輪郭点が見つからない場合、大局情報が示す大まかな輪郭上の点を採用することが考えられるが、この場合には、輪郭点が見つかった輪郭箇所と、輪郭点が見つからずに大局情報が示す大まかな輪郭箇所とが混在することになり、抽出される目的部位の輪郭が不自然になるおそれがある。
　本発明はこのような事情に鑑みてなされたもので、画像中の検出対象物体の輪郭、境界が不明瞭であっても、その検出対象物体の領域をユーザに分かりやすく表示する表示処理装置、方法及びプログラムを提供することを目的とする。
　上記目的を達成するために第１態様に係る発明は、プロセッサを備えた表示処理装置において、プロセッサは、画像を取得する画像取得処理と、取得した画像から検出対象物体を含む領域を抽出する領域抽出処理と、抽出した領域において、領域内の検出対象物体に応じた曲線を生成する曲線生成処理と、画像と曲線とを合成する画像合成処理と、合成した画像を表示器に表示させる表示処理と、を行う表示処理装置である。
　本発明の第１態様によれば、検出対象物体を含む領域を抽出し、抽出した領域において、領域内の検出対象物体に応じた曲線を生成するようにしたため、生成される曲線は、検出対象物体を含む領域から外れずに生成することができ、検出対象物体の実際の輪郭との乖離の小さいのもとして生成することができる。また、生成された曲線は、画像と合成されて表示器に表示されるため、検出対象物体の領域をユーザに分かりやすく表示することができる。
　本発明の第２態様に係る表示処理装置において、領域抽出処理は、領域として矩形領域を抽出することが好ましい。画像から検出対象物体を含む矩形領域の抽出は、検出対象物体の輪郭が部分的に不明瞭であってもロバストに学習、推定することができるからである。
　本発明の第３態様に係る表示処理装置において、曲線生成処理は、事前に定めたルールに従って曲線を生成することが好ましい。
　本発明の第４態様に係る表示処理装置において、曲線生成処理は、予め用意した複数のテンプレート曲線から第１テンプレート曲線を選択し、第１テンプレート曲線を領域に合わせて変形させ、曲線を生成することが好ましい。
　本発明の第５態様に係る表示処理装置において、プロセッサは、画像に基づいて検出対象物体をクラス分類するクラス分類処理を行い、曲線生成処理は、クラス分類した分類結果に基づいて複数のテンプレート曲線から第１テンプレート曲線を選択することが好ましい。検出対象物体は、そのクラス分類に応じた外形形状を有する。したがって、検出対象物体をクラス分類した分類結果に基づいて複数のテンプレート曲線から第１テンプレート曲線を選択することで、検出対象物体に適した第１テンプレート曲線を選択することができる。
　本発明の第６態様に係る表示処理装置において、曲線生成処理は、複数のテンプレート曲線から１つのテンプレート曲線を選択し、選択したテンプレート曲線を領域に合わせて変形させた際に、変形させたテンプレート曲線により領域を内側の領域と外側の領域とに分割した場合の、内側の領域内の画素値の分布と外側の領域内の画素値の分布とに基づいて第１テンプレート曲線を選択することが好ましい。
　本発明の第７態様に係る表示処理装置において、曲線生成処理は、第１テンプレート曲線を、領域のサイズ及びアスペクト比の少なくとも一方に合わせて変形させ、曲線を生成することが好ましい。
　本発明の第８態様に係る表示処理装置において、曲線生成処理は、テンプレート曲線によって領域を内側の領域と外側の領域とに分割した場合の、内側の領域内の画素値の分布と外側の領域内の画素値の分布との差が大きくなるように、第１テンプレート曲線を変形させることが好ましい。
　本発明の第９態様に係る表示処理装置において、曲線生成処理は、１つのパラメトリック曲線、又は複数のパラメトリック曲線を組み合わせて曲線を生成することが好ましい。パラメトリック曲線としては、Ｂ－スプライン曲線、ベジエ曲線等を適用することができる。
　本発明の第１０態様に係る表示処理装置において、曲線生成処理は、パラメトリック曲線によって領域を内側の領域と外側の領域とに分割した場合の、内側の領域内の画素値の分布と外側の領域内の画素値の分布との差が大きくなるように、パラメトリック曲線のパラメータを調整することが好ましい。
　本発明の第１１態様に係る表示処理装置において、曲線生成処理は、領域内で画素値の勾配の大きい複数の点を抽出し、複数の点を制御点としてパラメトリック曲線のパラメータを調整することが好ましい。
　本発明の第１２態様に係る表示処理装置において、曲線生成処理は、領域内の画素値に画像処理を行い、検出対象物体の輪郭を抽出して曲線を生成することが好ましい。
　本発明の第１３態様に係る表示処理装置において、曲線生成処理は、生成した曲線の区間毎に周囲に典型的な画素値を有するか否かを判別し、典型的な画素値を有する区間を残し、その他の区間を消去することが好ましい。生成した曲線の区間であって、典型的な画素値を多く含む区間（例えば、ノイズが少なく画素値が比較的均一な区間）は、検出対象物体の輪郭と考えられるため残し，その他の区間は、輪郭が不明瞭な区間として削除する。
　本発明の第１４態様に係る表示処理装置において、曲線生成処理は、生成した曲線における、曲率が大きい区間及び変曲点を含む区間のうちの少なくとも一方の区間を残し、その他の区間を消去することが好ましい。曲率の大きい区間や変曲点周辺の区間以外のその他の区間の曲線は、直線に近いため、削除しても検出対象物体の輪郭を類推することができるからである。尚、削除する区間が長すぎる場合は、ある割合で残すことが好ましい。
　本発明の第１５態様に係る表示処理装置において、複数の異なるルールが用意され、プロセッサは、画像に基づいて検出対象物体をクラス分類するクラス分類処理を行い、クラス分類した分類結果に応じて、複数の異なるルールから曲線の生成に使用するルールを選択することが好ましい。
　本発明の第１６態様に係る表示処理装置において、画像は、超音波画像である。超音波画像は、一般に画像の検出対象物体の輪郭、境界が不明瞭で判別しづらいため、本発明に係る表示処理装置を適用する画像として有効である。尚、超音波画像には、超音波内視鏡装置により撮影される超音波内視鏡画像も含まれる。
　本発明の第１７態様に係る表示処理装置において、検出対象物体は、臓器である。
　第１８態様に係る発明は、画像を取得するステップと、取得した画像から検出対象物体を含む領域を抽出するステップと、抽出した領域において、領域内の検出対象物体に応じた曲線を生成するステップと、画像と曲線とを合成するステップと、合成した画像を表示器に表示させるステップと、をプロセッサが実行する表示処理方法である。
　第１９態様に係る発明は、画像を取得する機能と、取得した画像から検出対象物体を含む領域を抽出する機能と、抽出した領域において、領域内の検出対象物体に応じた曲線を生成する機能と、画像と曲線とを合成する機能と、合成した画像を表示器に表示させる機能と、をコンピュータにより実現させる表示処理プログラムである。
　本発明によれば、画像中の検出対象物体の輪郭、境界が不明瞭であっても、その検出対象物体の領域をユーザに分かりやすく表示することができる。
図１は、本発明に係る表示処理装置を含む超音波内視鏡システムの全体構成を示す概略図である。 図２は、本発明に係る表示処理装置として機能する超音波用プロセッサ装置の実施形態を示すブロック図である。 図３は、臓器を内包する矩形枠が重畳表示された超音波画像の一例を示す図である。 図４は、曲線生成部による曲線生成処理の第１実施形態を説明するために用いた図である。 図５は、曲線生成部による曲線生成処理の第１実施形態の変形例を説明するために用いた図である。 図６は、曲線生成部による曲線生成処理の第２実施形態を説明するために用いた図である。 図７は、曲線生成部による曲線生成処理の第３実施形態を説明するために用いた図である。 図８は、曲線生成部による曲線生成処理の第４実施形態を説明するために用いた図である。 図９は、曲線生成部による曲線生成処理の第５実施形態を説明するために用いた図である。 図１０は、本発明に係る表示処理方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る表示処理装置、方法及びプログラムの好ましい実施形態について説明する。
　［表示処理装置を含む超音波内視鏡システムの全体構成］
　図１は、本発明に係る表示処理装置を含む超音波内視鏡システムの全体構成を示す概略図である。
　図１に示すように超音波内視鏡システム２は、超音波スコープ１０と、超音波画像を生成する超音波用プロセッサ装置１２と、内視鏡画像を生成する内視鏡用プロセッサ装置１４と、体腔内を照明するための照明光を超音波スコープ１０に供給する光源装置１６と、超音波画像及び内視鏡画像を表示する表示器（モニタ）１８と、を備えている。
　超音波スコープ１０は、被検体の体腔内に挿入される挿入部２０と、挿入部２０の基端部に連設され、術者が操作を行う手元操作部２２と、手元操作部２２に一端が接続されたユニバーサルコード２４と、を備えている。ユニバーサルコード２４の他端には、超音波用プロセッサ装置１２に接続される超音波用コネクタ２６と、内視鏡用プロセッサ装置１４に接続される内視鏡用コネクタ２８と、光源装置１６に接続される光源用コネクタ３０とが設けられている。
　超音波スコープ１０は、これらの各コネクタ２６、２８、３０を介して超音波用プロセッサ装置１２、内視鏡用プロセッサ装置１４及び光源装置１６に着脱自在に接続される。また、光源用コネクタ３０には、送気送水用のチューブ３２と吸引用のチューブ３４とが接続される。
　モニタ１８は、超音波用プロセッサ装置１２及び内視鏡用プロセッサ装置１４により生成された各映像信号を受信して超音波画像及び内視鏡画像を表示する。超音波画像及び内視鏡画像の表示は、いずれか一方のみの画像を適宜切り替えてモニタ１８に表示したり、両方の画像を同時に表示したりすること等が可能である。
　手元操作部２２には、送気送水ボタン３６及び吸引ボタン３８が並設されるとともに、一対のアングルノブ４２及び処置具挿入口４４が設けられている。
　挿入部２０は、先端と基端と長手軸２０ａとを有し、先端側から順に、硬質部材で構成される先端部本体５０と、先端部本体５０の基端側に連設された湾曲部５２と、湾曲部５２の基端側と手元操作部２２の先端側との間を連結し、細長かつ長尺の可撓性を有する軟性部５４とから構成されている。即ち、先端部本体５０は、挿入部２０の長手軸２０ａ方向の先端側に設けられている。また、湾曲部５２は、手元操作部２２に設けられた一対のアングルノブ４２を回動することによって遠隔的に湾曲操作される。これにより、先端部本体５０を所望の方向に向けることができる。
　先端部本体５０には、超音波探触子６２と、超音波探触子６２を覆い包む袋状のバルーン６４が装着されている。バルーン６４は、送水タンク７０から水が供給され、又は吸引ポンプ７２によりバルーン６４内の水が吸引されることで、膨張又は収縮することができる。バルーン６４は、超音波観察時に超音波及び超音波エコー（エコー信号）の減衰を防ぐために、体腔内壁に当接するまで膨張させられる。
　また、先端部本体５０には、対物レンズ及び撮像素子等を備えた観察部と照明部とを有する、図示しない内視鏡観察部が装着されている。内視鏡観察部は、超音波探触子６２の後方（手元操作部２２側）に設けられている。
　ところで、超音波内視鏡システム２等により取得される超音波画像には、スペックルノイズが含まれており、超音波画像は、画像内の検出対象物体の輪郭、境界が不明瞭で判別しづらく、信号領域の周辺部ではその傾向が顕著である。そのため、膵臓のように信号領域いっぱいに描出される大きい臓器では、特に臓器の輪郭を精緻に推定することが難しいという問題がある。
　想定するシーンに対するＡＩ（Artificial Intelligence）のアプローチとして、(1) 領域抽出(semantic segmentation)と、(2) 物体検出(object detection)の２種類のアプローチとが知られている。
　(1)は、画像中の各画素がどの臓器に属するかをＡＩに分類させるアプローチで、精緻な臓器マップの取得が期待できる反面、輪郭が部分的に不明瞭な臓器については学習、推定が不安定になる欠点がある。
　(2)は、各臓器を内包する最小の領域（矩形領域）をＡＩに推定させるアプローチで、輪郭が部分的に不明瞭な臓器に対してロバストに学習、推定できる反面、楕円状や空豆状に描出される臓器(膵臓など)では、推定した矩形領域と臓器の輪郭との乖離が大きくなり、そのまま矩形領域を示す矩形枠（バウンディングボックス）を表示しても具体的な臓器位置がユーザに伝わり難いという欠点がある。
　また、検出したい臓器が複数近接している場合や臓器同士が包含関係にあるような場合では、検出結果をバウンディングボックスのまま表示してしまうと、バウンディングボックス同士が重なり合ってしまい、視認性が著しく悪くなるという欠点もある。
　本発明は、(2)のアプローチの欠点を解決し、輪郭が不明瞭な検出対象物体（臓器）の位置をユーザに分かりやすく表示する表示処理装置を提供する。尚、物体や輪郭が不明瞭になる問題は、露出不足に陥りがちな暗所で撮影される、一般の画像等でも生じる可能性が高いため、本発明は、超音波画像以外の画像にも適用可能である。
　［表示処理装置］
　図２は、本発明に係る表示処理装置として機能する超音波用プロセッサ装置の実施形態を示すブロック図である。
　図２に示す超音波用プロセッサ装置１２は、順次取得される画像（本例では、超音波画像）に基づいて、画像内の検出対象物体（本例では、各種の臓器）の輪郭に対応する曲線を生成し、生成した曲線を画像に合成した合成画像をモニタ１８に表示させ、画像を観察するユーザを支援するものである。
　図２に示す超音波用プロセッサ装置１２は、送受信部１００、画像生成部１０２、ＣＰＵ（Central Processing Unit）１０４、領域抽出部１０６、曲線生成部１０８、画像合成部１０９、表示制御部１１０、及びメモリ１１２から構成され、各部の処理は、１又は複数のプロセッサにより実現される。
　ＣＰＵ１０４は、メモリ１１２に記憶された本発明に係る表示処理プログラムを含む各種のプログラムに基づいて動作し、送受信部１００、画像生成部１０２、領域抽出部１０６、曲線生成部１０８、画像合成部１０９、及び表示制御部１１０を統括制御し、また、これらの各部の一部として機能する。
　画像取得部として機能する送受信部１００及び画像生成部１０２は、超音波画像を順次取得する画像取得処理を行う部分である。
　送受信部１００の送信部は、超音波スコープ１０の超音波探触子６２の複数の超音波トランスデューサに印加する複数の駆動信号を生成し、図示しない走査制御部によって選択された送信遅延パターンに基づいて複数の駆動信号にそれぞれの遅延時間を与えて複数の駆動信号を複数の超音波トランスデューサに印加する。
　送受信部１００の受信部は、超音波探触子６２の複数の超音波トランスデューサからそれぞれ出力される複数の検出信号を増幅し、アナログの検出信号をディジタルの検出信号（ＲＦ（Radio Frequency）データともいう）に変換する。このＲＦデータは、画像生成部１０２に入力される。
　画像生成部１０２は、走査制御部により選択された受信遅延パターンに基づいて、ＲＦデータにより表される複数の検出信号にそれぞれの遅延時間を与え、それらの検出信号を加算することにより、受信フォーカス処理を行う。この受信フォーカス処理によって、超音波エコーの焦点が絞り込まれた音線データを形成する。
　画像生成部１０２は、更に音線データに対して、ＳＴＣ（Sensitivity Time Control）によって、超音波の反射位置の深度に応じた距離による減衰の補正をした後、ローパスフィルタ等によって包絡線検波処理を施すことにより包絡線データを生成し、１フレーム分、より好ましくは複数フレーム分の包絡線データを、図示しないシネメモリに格納する。画像生成部１０２は、シネメモリに格納された包絡線データに対して、Ｌｏｇ（対数）圧縮やゲイン調整等のプリプロセス処理を施してＢモード画像を生成する。
　このようにして、送受信部１００及び画像生成部１０２は、時系列のＢモード画像（以下、「画像」という）を取得する。
　領域抽出部１０６は、入力する画像に基づいて画像内の検出対象物体を含む領域（本例では、「矩形領域」）を抽出する領域抽出処理を行う部分であり、例えば、ＡＩにより構成することができる。
　本例の検出対象物体は、超音波画像（Ｂモード画像の断層像）内の各種の臓器であり、例えば、膵臓、主膵管、脾臓、脾静脈、脾動脈、胆嚢等である。
　領域抽出部１０６は、動画の１フレームの画像を順次入力すると、入力する画像毎に１乃至複数の臓器を検出（認識）し、その臓器を含む領域を抽出（推定）する領域抽出処理を行う。臓器を含む領域は、臓器を内包する最小の矩形領域である。
　図３は、臓器を内包する矩形枠が重畳表示された超音波画像の一例を示す図である。
　図３に示す例において、臓器を内包する矩形領域を示す矩形枠（バウンディングボックス）ＢＢ１は、膵臓を内包し、バウンディングボックスＢＢ２は、主膵管を内包しいている。
　尚、領域抽出部１０６は、入力する画像に基づいて検出対象物体を複数のクラスのうちのいずれかのクラスに分類する分類処理も行うようにしてもよい。これにより、検出対象物体である各臓器の種類を認識し、臓器の種類を示す名称又は略称を対応する臓器に関連付けて表示させることができる。
　図２に戻って、曲線生成部１０８は、領域抽出部１０６により抽出した矩形領域において、矩形領域内の検出対象物体に応じた曲線を生成する曲線生成処理を行う部分である。
　曲線生成部１０８による曲線生成処理は、以下に示すように事前に定めたルールに従って行う。
　＜曲線生成処理の第１実施形態＞
　図４は、曲線生成部による曲線生成処理の第１実施形態を説明するために用いた図である。
　図２に示したメモリ１１２には、予め用意した複数のテンプレート曲線Ｔ１，Ｔ２，Ｔ３，…が記憶されている。複数のテンプレート曲線としては、円状、楕円状、空豆状などの形状を有するテンプレート曲線が用意されている。
　曲線生成部１０８による曲線生成処理の第１実施形態は、予め用意した複数のテンプレート曲線から第１テンプレート曲線を選択する。
　第１テンプレート曲線の選択は、検出対象物体である臓器をクラス分類した分類結果に基づいて複数のテンプレート曲線から第１テンプレート曲線を選択することができる。
　臓器の形状は、臓器をクラス分類した分類結果（即ち、臓器の種類）に対応した形状を有するからである。
　尚、検出対象物体のクラス分類は、ＡＩ機能を有する領域抽出部１０６又はＣＰＵ１０４が、入力する画像中の各画素がどのクラス（どの臓器）に属するかを分類することで行うことができる。
　また、第１テンプレート曲線の他の選択は、以下に示すように、いずれのテンプレート曲線が検出対象物体に合っているかを実際に適用して決定する。即ち、複数のテンプレート曲線Ｔ１，Ｔ２，Ｔ３，…から１つのテンプレート曲線Ｔｉ（ｉ＝１、２、３、…）を選択し、選択したテンプレート曲線Ｔｉを矩形領域（バウンディングボックスＢＢ１）に合わせて変形させる。そして、選択したテンプレート曲線を矩形領域に合わせて変形させた際に、変形させたテンプレート曲線Ｔｉにより矩形領域を、内側の領域と外側の領域とに分割した場合の、内側の領域内の画素値の分布と外側の領域内の画素値の分布との差に基づいて第１テンプレート曲線を選択する。
　ここで、内側の領域内の画素値の分布と外側の領域内の画素値の分布との差が最大になるテンプレート曲線Ｔｉを、第１テンプレート曲線として選択することが好ましいが、差が閾値を超えた場合のテンプレート曲線Ｔｉを第１テンプレート曲線として選択してもよい。また、第１テンプレート曲線は、上述のクラス分類した分類結果を用いる方法と、テンプレート曲線が検出対象物体に合っているかを実際に適用して決定する方法を組み合わせて選択してもよい。例えば、複数のテンプレート曲線から、クラス分類した分類結果に基づいて第１テンプレート曲線の候補となる複数のテンプレート曲線を抽出し、抽出した複数のテンプレート曲線が検出対象物体に合っているかを実際に適用して第１テンプレート曲線を選択してもよい。
　曲線生成部１０８は、上記のようにして第１テンプレート曲線を選択すると、第１テンプレート曲線を矩形領域に合わせて変形させる。曲線生成部１０８は、例えば、選択した第１テンプレート曲線を、矩形領域のサイズ及びアスペクト比の少なくとも一方に合わせて変形させ、検出対象物体に対応する曲線を生成する。
　図４に示す例では、第１テンプレート曲線として、検出対象物体である膵臓の形状に適したテンプレート曲線Ｔ２を選択し、このテンプレート曲線Ｔ２を、バウンディングボックスＢＢ１に内接するように変形させ、検出対象物体に対応する曲線Ｔａを生成している。
　＜曲線生成処理の第１実施形態の変形例＞
　図５は、曲線生成部による曲線生成処理の第１実施形態の変形例を説明するために用いた図である。
　図５に示すように、曲線生成部１０８は、図４に示した曲線生成処理の第１実施形態により生成した曲線Ｔａを更に変形させ、検出対象物体に対応する曲線Ｔｂを生成する。
　具体的には、曲線生成部１０８は、バウンディングボックスＢＢ１に内接するように単純に変形させた曲線Ｔａによって、バウンディングボックスＢＢ１の矩形領域を内側の領域と外側の領域とに分割した場合の、内側の領域内の画素値の分布と外側の領域内の画素値の分布との差が大きくなるように、曲線Ｔａを更に変形させて曲線Ｔｂを生成する。
　このようして生成される曲線Ｔｂは、テンプレート曲線Ｔ２を単純に変形させた曲線Ｔａよりも検出対象物体である膵臓の輪郭に近づけることができる。
　＜曲線生成処理の第２実施形態＞
　図６は、曲線生成部による曲線生成処理の第２実施形態を説明するために用いた図である。
　図２に示したメモリ１１２には、予め用意した複数のパラメトリック曲線が記憶されている。複数のテンプレート曲線としては、スプライン曲線、ベジエ曲線などが考えられる。また、スプライン曲線には、ｎ次スプライン曲線、Ｂ－スプライン曲線、ＮＵＲＢＳ（Non-Uniform Rational B-Spline：非一様有理Ｂ－スプライン）曲線などがある。ＮＵＲＢＳ曲線は、Ｂ－スプライン曲線を一般化したものである。ベジエ曲線は、Ｎ個の制御点から得られるＮ－１次曲線であり、Ｂ－スプライン曲線の特殊な場合である。
　曲線生成部１０８は、１つのパラメトリック曲線、又は複数のパラメトリック曲線を組み合わせて、検出対象物体に対応する曲線を生成する。
　図５に示す例では、曲線生成部１０８は、バウンディングボックスＢＢ１に内接する楕円状に構成したＮＵＲＢＳ曲線Ｎａを生成する。このＮＵＲＢＳ曲線Ｎａは、楕円上の８個の制御点を通過している。
　曲線生成部１０８は、ＮＵＲＢＳ曲線Ｎａのパラメータを変動させ、検出対象物体である膵臓の輪郭に最も当てはまる状態を探索し、検出対象物体に対応する最終的な曲線Ｎｂを生成する。
　即ち、曲線生成部１０８は、パラメトリック曲線によってバウンディングボックスＢＢ１の領域を内側の領域と外側の領域とに分割した場合の、内側の領域内の画素値の分布と外側の領域内の画素値の分布との差が大きくなるように、パラメトリック曲線のパラメータを調整することで、検出対象物体の輪郭に最も当てはまる曲線Ｎｂを生成する。
　＜曲線生成処理の第３実施形態＞
　図７は、曲線生成部による曲線生成処理の第３実施形態を説明するために用いた図である。
　曲線生成部１０８による曲線生成処理の第３実施形態は、図６に示した第２実施形態と同様にパラメトリック曲線を使用する点で共通するが、パラメトリック曲線のパラメータを決定するために、複数の制御点を事前に決定する。
　図７に示すように曲線生成部１０８は、バウンディングボックスＢＢ１内で輝度勾配の大きい点（制御点）を、複数探索する。制御点の数は、閉包を構成するために３個以上である。図７に示す例では、８個の制御点を決定している。
　曲線生成部１０８は、これらの制御点によりパラメトリック曲線のパラメータを調整する。即ち、曲線生成部１０８は、例えば、制御点を通る３次スプライン曲線Ｓを生成する。その後、制御点の位置や個数を変動させて最も当てはまりの良い状態を探索し、３次スプライン曲線Ｓを決定する。当てはまりの良さは、３次スプライン曲線Ｓの内外の画素値の分布の違い等を用いることができる。
　尚、生成する曲線が、Ｂ－スプライン曲線の場合、制御点を通らなくてもよい。
　＜曲線生成処理の第４実施形態＞
　図８は、曲線生成部による曲線生成処理の第４実施形態を説明するために用いた図である。
　曲線生成部１０８による曲線生成処理の第４実施形態は、図８（Ａ）に示すように検出対象物体の輪郭に当てはまる曲線Ｎｂを生成する。この曲線Ｎｂは、例えば、図５から図７に示した実施形態により生成することができる。
　続いて、曲線生成部１０８は、図８（Ｂ）に示すように、生成した曲線Ｎｂの区間毎に、周囲に典型的な画素値を有するか否かを判別し、典型的な画素値を有する区間Ｎｃを残し、その他の区間を消去する。
　即ち、曲線生成部１０８は、生成した曲線Ｎｂ（図８（Ａ））の各点について、近傍領域の曲線内外の画素値を参照し、典型的な画素値を多く含む区間Ｎｃ（例えば、ノイズが少なく画素値が比較的均一な区間）は残し、その他の区間は、削除する（図８（Ｂ））。
　これにより、検出対象物体の輪郭と考えられる区間を残し、輪郭が不明瞭な区間を削除することができる。
　＜曲線生成処理の第５実施形態＞
　図９は、曲線生成部による曲線生成処理の第５実施形態を説明するために用いた図である。
　曲線生成部１０８による曲線生成処理の第５実施形態は、図９（Ａ）に示すように検出対象物体の輪郭に当てはまる曲線Ｎｂを生成する。この曲線Ｎｂは、例えば、図５から図７に示した実施形態により生成することができる。
　続いて、曲線生成部１０８は、図９（Ｂ）に示すように、生成した曲線Ｎｂの区間毎に、生成した曲線Ｎｂにおける、曲率が大きい区間及び変曲点を含む区間のうちの少なくとも一方の区間Ｎｄを残し、その他の区間を消去する。
　曲率の大きい区間や変曲点周辺の区間以外のその他の区間の曲線は、直線に近いため、削除しても検出対象物体の輪郭を類推することができるからである。尚、削除する区間が長すぎる場合は、ある割合で残すことが好ましい。図９（Ｂ）の区間Ｎｅは、削除する区間が長すぎるために残された区間である。
　尚、事前に定めたルールに従った曲線生成処理は、第１実施形態から第５実施形態に限らず、矩形領域内の画素値に画像処理を行い、検出対象物体の輪郭を抽出して曲線を生成するようにしてもよい。
　例えば、検出対象物体の輪郭の抽出は、スペックルノイズの影響を受けないように、スペックルノイズのサイズよりも十分に大きなサイズのエッジ抽出フィルタ（例えば、ソーベルフィルタ）を使用し、このエッジ抽出フィルタにより矩形領域を走査し、エッジ抽出フィルタの出力値が閾値を超える走査位置から検出対象物体のエッジ（輪郭点）を抽出することが考えられる。また、抽出された輪郭点をつなぎ合わせることで、検出対象物体の一部の輪郭点が検出されない場合でも曲線を生成することができる。
　また、第１実施形態から第５実施形態は、それぞれ事前に定めたルールに従った曲線生成処理の実施形態を示すが、いずれのルールに従って曲線を生成するかは、検出対象物体のクラス分類に応じて適宜選択することが好ましい。
　即ち、第１実施形態から第５実施形態に代表されるように、曲線生成処理に対する複数の異なるルールをメモリ１１２に記憶させる。ＣＰＵ１０４は、画像に基づいて検出対象物体をクラス分類するクラス分類処理を行い、クラス分類した分類結果に応じて、メモリ１１２に記憶された複数の異なるルールから曲線の生成に使用するルールを選択し、曲線生成部１０８は、選択されたルールに従って曲線生成処理を行う。
　尚、１つの画像に複数の検出対象物体が存在する場合には、検出対象物体毎にルールが選択され、選択されたルールに従って各検出対象物体に対応する曲線を生成する。
　図２に戻って、画像合成部１０９は、画像生成部１０２等により取得、生成された画像と、曲線生成部１０８により生成された曲線とを合成する画像合成処理を行う。曲線は、周辺部とは輝度又は色が異なり、ユーザが視認できる線幅の線画として合成される。
　表示制御部１１０は、送受信部１００及び画像生成部１０２により順次取得した画像であって、曲線生成部１０８により生成された検出対象物体に応じた曲線が合成された画像をモニタ１８に表示させる。本例では、超音波断層像を示す動画をモニタ１８に表示させる。
　図４から図７、図８（Ｂ）、図９（Ｂ）は、それぞれ画像に検出対象物体に応じた曲線（実線）が重畳表示された状態に関して示している。但し、図６及び図７に示した制御点の表示は行わない。
　これにより、画像中の検出対象物体の輪郭、境界が不明瞭であっても、その検出対象物体の領域をユーザに分かりやすく表示することができる。
　尚、本例では、点線で示したバウンディングボックスＢＢ１は表示させていないが、表示制御部１１０は、バウンディングボックスＢＢ１を表示してもよいし、検出対象物体のクラスの分類情報が取得されている場合には、クラス分類を示す文字情報（例えば、臓器の種類の略語又は正式名称の文字情報）を検出対象物体に関連付けて表示するようにしてもよい。
　［表示処理方法］
　図１０は、本発明に係る表示処理方法の実施形態を示すフローチャートであり、図２に示した超音波用プロセッサ装置１２の各部の処理手順に関して示している。
　図１０において、画像取得部として機能する送受信部１００及び画像生成部１０２は、時系列の画像を取得する（ステップＳ１０）。時系列の画像のフレームレートが、例えば、３０ｆｐｓ（frames per second）の場合、１／３０（秒）毎に１フレーム分の画像を取得する。
　続いて、領域抽出部１０６は、ステップＳ１０で取得した画像に基づいて画像内に存在する検出対象物体（臓器）を認識し、その臓器を含む矩形領域を抽出する（ステップＳ１２）。
　次に、曲線生成部１０８は、領域抽出部１０６により抽出した矩形領域において、矩形領域内の検出対象物体に応じた曲線を生成する（ステップＳ１４）。検出対象物体に応じた曲線の生成処理は、前述したようにテンプレート曲線を使用する方法、パラメトリック曲線を使用する方法等（図４～図９参照）があるが、その詳細な説明は省略する。
　画像合成部１０９は、ステップＳ１０で取得された画像と、ステップＳ１４で生成された曲線とを合成し（ステップＳ１６）、表示制御部１１０は、ステップＳ１６により曲線が合成された画像をモニタ１８に表示させる（ステップＳ１８）。
　これにより、ユーザは、画像中の検出対象物体の輪郭、境界が不明瞭であっても、その検出対象物体の領域を容易に確認することができる。
　続いて、ＣＰＵ１０４によりユーザ操作に基づく時系列のＢモード画像の表示を終了するか否かが判別される。（ステップＳ２０）。
　画像表示を終了しないと判別された場合（「No」の場合）には、ステップＳ１０に戻り、次のフレームの画像について、ステップＳ１０からステップＳ２０の処理を繰り返し、画像表示を終了すると判別された場合（「Yes」の場合）には、本表示処理を終了させる。
　［その他］
　本実施形態では、超音波用プロセッサ装置１２が、本発明に係る表示処理装置としての機能を備えているが、これに限らず、超音波用プロセッサ装置１２とは別体のパーソナルコンピュータ等が、超音波用プロセッサ装置１２から画像を取得し、本発明に係る表示処理装置として機能するものでもよい。
　また、本発明は、超音波画像に限定されず、更に動画に限らず静止画にも適用することができる。更にまた、画像内の検出対象物体は、各種の臓器に限らず、例えば、病変領域でもよい。
　また、本実施形態の超音波用プロセッサ装置（画像表示装置）の各種制御を実行するハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の制御部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の制御部を１つのプロセッサで構成してもよい。複数の制御部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の制御部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の制御部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　更に、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る画像表示装置として機能させる画像表示プログラム、及びこの画像表示プログラムが記録された不揮発性の記憶媒体を含む。
　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
２　超音波内視鏡システム
１０　超音波スコープ
１２　超音波用プロセッサ装置
１４　内視鏡用プロセッサ装置
１６　光源装置
１８　モニタ
２０　挿入部
２０ａ　長手軸
２２　手元操作部
２４　ユニバーサルコード
２６　超音波用コネクタ
２８　内視鏡用コネクタ
３０　光源用コネクタ
３２　チューブ
３４　チューブ
３６　送気送水ボタン
３８　吸引ボタン
４２　アングルノブ
４４　処置具挿入口
５０　先端部本体
５２　湾曲部
５４　軟性部
６２　超音波探触子
６４　バルーン
７０　送水タンク
７２　吸引ポンプ
１００　送受信部
１０２　画像生成部
１０４　ＣＰＵ
１０６　領域抽出部
１０８　曲線生成部
１０９　画像合成部
１１０　表示制御部
１１２　メモリ
Ｓ１０～Ｓ２０　ステップ

Claims (20)

  1. 　プロセッサを備えた表示処理装置において、
    　前記プロセッサは、
    　画像を取得する画像取得処理と、
    　前記取得した画像から検出対象物体を含む領域を抽出する領域抽出処理と、
    　前記抽出した領域において、前記領域内の前記検出対象物体に応じた曲線を生成する曲線生成処理と、
    　前記画像と前記曲線とを合成する画像合成処理と、
    　前記合成した画像を表示器に表示させる表示処理と、を行う、
    　表示処理装置。
  2. 　前記領域抽出処理は、前記領域として矩形領域を抽出する、
    　請求項１に記載の表示処理装置。
  3. 　前記曲線生成処理は、事前に定めたルールに従って前記曲線を生成する、
    　請求項１又は２に記載の表示処理装置。
  4. 　前記曲線生成処理は、予め用意した複数のテンプレート曲線から第１テンプレート曲線を選択し、前記第１テンプレート曲線を前記領域に合わせて変形させ、前記曲線を生成する、
    　請求項３に記載の表示処理装置。
  5. 　前記プロセッサは、前記画像に基づいて前記検出対象物体をクラス分類するクラス分類処理を行い、
    　前記曲線生成処理は、前記クラス分類した分類結果に基づいて前記複数のテンプレート曲線から前記第１テンプレート曲線を選択する、
    　請求項４に記載の表示処理装置。
  6. 　前記曲線生成処理は、前記複数のテンプレート曲線から１つのテンプレート曲線を選択し、前記選択したテンプレート曲線を前記領域に合わせて変形させた際に、前記変形させたテンプレート曲線により前記領域を内側の領域と外側の領域とに分割した場合の、前記内側の領域内の画素値の分布と前記外側の領域内の画素値の分布とに基づいて前記第１テンプレート曲線を選択する、
    　請求項４に記載の表示処理装置。
  7. 　前記曲線生成処理は、前記第１テンプレート曲線を、前記領域のサイズ及びアスペクト比の少なくとも一方に合わせて変形させ、前記曲線を生成する、
    　請求項４から６のいずれか１項に記載の表示処理装置。
  8. 　前記曲線生成処理は、前記テンプレート曲線によって前記領域を内側の領域と外側の領域とに分割した場合の、前記内側の領域内の画素値の分布と前記外側の領域内の画素値の分布との差が大きくなるように、前記第１テンプレート曲線を変形させる、
    　請求項４から７のいずれか１項に記載の表示処理装置。
  9. 　前記曲線生成処理は、１つのパラメトリック曲線、又は複数のパラメトリック曲線を組み合わせて前記曲線を生成する、
    　請求項３に記載の表示処理装置。
  10. 　前記曲線生成処理は、前記パラメトリック曲線によって前記領域を内側の領域と外側の領域とに分割した場合の、前記内側の領域内の画素値の分布と前記外側の領域内の画素値の分布との差が大きくなるように、前記パラメトリック曲線のパラメータを調整する、
    　請求項９に記載の表示処理装置。
  11. 　前記曲線生成処理は、前記領域内で画素値の勾配の大きい複数の点を抽出し、前記複数の点を制御点として前記パラメトリック曲線のパラメータを調整する、
    　請求項９又は１０に記載の表示処理装置。
  12. 　前記曲線生成処理は、前記領域内の画素値に画像処理を行い、前記検出対象物体の輪郭を抽出して前記曲線を生成する、
    　請求項３に記載の表示処理装置。
  13. 　前記曲線生成処理は、前記生成した曲線の区間毎に周囲に典型的な画素値を有するか否かを判別し、前記典型的な画素値を有する前記区間を残し、その他の区間を消去する、
    　請求項１から１２のいずれか１項に記載の表示処理装置。
  14. 　前記曲線生成処理は、前記生成した曲線における、曲率が大きい区間及び変曲点を含む区間のうちの少なくとも一方の区間を残し、その他の区間を消去する、
    　請求項１から１３のいずれか１項に記載の表示処理装置。
  15. 　複数の異なる前記ルールが用意され、
    　前記プロセッサは、前記画像に基づいて前記検出対象物体をクラス分類するクラス分類処理を行い、前記クラス分類した分類結果に応じて、前記複数の異なるルールから前記曲線の生成に使用するルールを選択する、
    　請求項３から１２のいずれか１項に記載の表示処理装置。
  16. 　前記画像は、超音波画像である、
    　請求項１から１５のいずれか１項に記載の表示処理装置。
  17. 　前記検出対象物体は、臓器である、
    　請求項１６に記載の表示処理装置。
  18. 　画像を取得するステップと、
    　前記取得した画像から検出対象物体を含む領域を抽出するステップと、
    　前記抽出した領域において、前記領域内の前記検出対象物体に応じた曲線を生成するステップと、
    　前記画像と前記曲線とを合成するステップと、
    　前記合成した画像を表示器に表示させるステップと、
    　をプロセッサが実行する表示処理方法。
  19. 　画像を取得する機能と、
    　前記取得した画像から検出対象物体を含む領域を抽出する機能と、
    　前記抽出した領域において、前記領域内の前記検出対象物体に応じた曲線を生成する機能と、
    　前記画像と前記曲線とを合成する機能と、
    　前記合成した画像を表示器に表示させる機能と、
    　をコンピュータにより実現させる表示処理プログラム。
  20. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１９に記載のプログラムが記録された記録媒体。
PCT/JP2022/014343 2021-05-06 2022-03-25 表示処理装置、方法及びプログラム WO2022234742A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023518637A JPWO2022234742A1 (ja) 2021-05-06 2022-03-25
US18/495,787 US20240062439A1 (en) 2021-05-06 2023-10-27 Display processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-078434 2021-05-06
JP2021078434 2021-05-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/495,787 Continuation US20240062439A1 (en) 2021-05-06 2023-10-27 Display processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2022234742A1 true WO2022234742A1 (ja) 2022-11-10

Family

ID=83932151

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014343 WO2022234742A1 (ja) 2021-05-06 2022-03-25 表示処理装置、方法及びプログラム

Country Status (3)

Country Link
US (1) US20240062439A1 (ja)
JP (1) JPWO2022234742A1 (ja)
WO (1) WO2022234742A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509714A (ja) * 2004-08-11 2008-04-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 虚血性心疾患の超音波診断方法及び装置
WO2011083789A1 (ja) * 2010-01-07 2011-07-14 株式会社 日立メディコ 医用画像診断装置と医用画像の輪郭抽出処理方法
JP2018507730A (ja) * 2015-03-10 2018-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断
JP2018151748A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
WO2019150715A1 (ja) * 2018-01-31 2019-08-08 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2019136444A (ja) * 2018-02-15 2019-08-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20210035286A1 (en) * 2019-07-30 2021-02-04 Healcerion Co., Ltd. Apparatus for ultrasound diagnosis of liver steatosis using feature points of ultrasound image and remote medical-diagnosis method using the same
JP2021510595A (ja) * 2018-01-23 2021-04-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波画像から解剖学的測定値を取得するための装置及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008509714A (ja) * 2004-08-11 2008-04-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 虚血性心疾患の超音波診断方法及び装置
WO2011083789A1 (ja) * 2010-01-07 2011-07-14 株式会社 日立メディコ 医用画像診断装置と医用画像の輪郭抽出処理方法
JP2018507730A (ja) * 2015-03-10 2018-03-22 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザ制御による心臓モデル心室セグメンテーションを用いた心臓機能の超音波診断
JP2018151748A (ja) * 2017-03-10 2018-09-27 オムロン株式会社 画像処理装置、画像処理方法、テンプレート作成装置、物体認識処理装置及びプログラム
JP2021510595A (ja) * 2018-01-23 2021-04-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波画像から解剖学的測定値を取得するための装置及び方法
WO2019150715A1 (ja) * 2018-01-31 2019-08-08 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2019136444A (ja) * 2018-02-15 2019-08-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20210035286A1 (en) * 2019-07-30 2021-02-04 Healcerion Co., Ltd. Apparatus for ultrasound diagnosis of liver steatosis using feature points of ultrasound image and remote medical-diagnosis method using the same

Also Published As

Publication number Publication date
JPWO2022234742A1 (ja) 2022-11-10
US20240062439A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
JP7407790B2 (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
US8483488B2 (en) Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images
EP1690230B1 (en) Automatic multi-dimensional intravascular ultrasound image segmentation method
EP2016905B1 (en) Ultrasound diagnostic apparatus
US20130016092A1 (en) Method and system of generating a 3d visualization from 2d images
JP2006204912A (ja) 超音波映像処理方法
US10832405B2 (en) Medical image processing apparatus with awareness of type of subject pattern
CN112654304A (zh) 利用超声成像的脂肪层识别
JP2021510595A (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
CN114902288A (zh) 利用基于解剖结构的三维(3d)模型切割进行三维(3d)打印的方法和系统
WO2022234742A1 (ja) 表示処理装置、方法及びプログラム
JP3283456B2 (ja) 超音波画像診断装置及び超音波画像処理方法
JP2000296129A (ja) 超音波診断装置
Saad et al. Computer vision approach for ultrasound Doppler angle estimation
JP2018149055A (ja) 超音波画像処理装置
WO2022181517A1 (ja) 医療画像処理装置、方法及びプログラム
EP3655972B1 (en) Imaging method, controller and imaging system, for monitoring a patient post evar
JP2005205199A (ja) 超音波画像処理方法及び超音波画像処理装置、並びに、超音波画像処理プログラム
US20240000432A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
WO2022239530A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
WO2022234743A1 (ja) 動画像処理装置、動画像処理方法及びプログラム、動画像表示システム
EP4306059A1 (en) Medical image processing device, endoscope system, medical image processing method, and medical image processing program
JP6530660B2 (ja) 超音波観測装置、超音波観測装置の作動方法および超音波観測装置の作動プログラム
WO2022186110A1 (ja) 機械学習システム、認識器、学習方法、及びプログラム
JP7299100B2 (ja) 超音波診断装置及び超音波画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22798849

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023518637

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22798849

Country of ref document: EP

Kind code of ref document: A1