WO2012014437A1 - 画像処理装置、方法及びプログラム - Google Patents

画像処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2012014437A1
WO2012014437A1 PCT/JP2011/004183 JP2011004183W WO2012014437A1 WO 2012014437 A1 WO2012014437 A1 WO 2012014437A1 JP 2011004183 W JP2011004183 W JP 2011004183W WO 2012014437 A1 WO2012014437 A1 WO 2012014437A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blood vessel
organ
display
viewpoint
Prior art date
Application number
PCT/JP2011/004183
Other languages
English (en)
French (fr)
Inventor
善則 板井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN201180036593.1A priority Critical patent/CN103025227B/zh
Priority to EP11812039.3A priority patent/EP2599432A1/en
Publication of WO2012014437A1 publication Critical patent/WO2012014437A1/ja
Priority to US13/751,759 priority patent/US9723971B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Definitions

  • the present invention relates to an image processing apparatus, method, and program for displaying an image for observing an organ such as the large intestine and stomach.
  • a technique for diagnosing and treating a hollow organ such as a large intestine or stomach of a patient by using an actual endoscopic image obtained by imaging with an endoscope inserted in the organ is known.
  • a technique for generating and displaying a virtual endoscopic image similar to an endoscope from a three-dimensional volume image obtained by imaging with CT or the like is also known.
  • Patent Document 1 detects the position and posture of an endoscope inserted into an organ, creates a virtual endoscopic image having the same field of view as a real endoscopic image based on the detected position and posture, There has been proposed a technique for generating an image for display by texture mapping a real endoscopic image obtained by photographing with an endoscope with respect to a virtual endoscopic image.
  • organs such as the large intestine and stomach are diagnosed and treated, it is necessary to observe not only the three-dimensional structure and texture of the mucosal surface of the organ, but also the surrounding blood vessels related to the organ. There is.
  • the state of blood vessels supplying nutrients to lesions such as polyps detected on the surface of the large intestine is an important factor in distinguishing colorectal cancer
  • the state of the middle colon artery and right colon artery is the state of colorectal cancer. Because it affects the surgical plan, when diagnosing and treating the large intestine, in addition to the mucosal surface, capillaries existing in the submucosa and intrinsic muscle layer, and the continuous middle and right colon arteries, It is required to observe the state of blood vessels such as the ileocolic artery.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an image processing apparatus, method, and program capable of providing an image suitable for observing a luminal organ related to a surrounding blood vessel. To do.
  • the image processing apparatus of the present invention is an image processing apparatus that displays an image for observing a luminal organ related to surrounding blood vessels, and is obtained by photographing with an endoscope inserted in the organ.
  • a surface image acquisition means for acquiring a surface image representing the inner surface of the wall of the organ, and a wall from the viewpoint in the three-dimensional image corresponding to the viewpoint of the surface image from the three-dimensional image representing the three-dimensional area including the organ
  • a neighboring image generating means for generating a neighboring blood vessel image depicting a portion of a blood vessel existing in the vicinity of the blood vessel, and a three-dimensional image representing a three-dimensional region including the periphery of the organ from the viewpoint corresponding to the viewpoint of the surface image.
  • a peripheral image generating means for generating the depicted peripheral blood vessel image, and a display control means for causing the display means to display the images in the order of the surface image, the nearby blood vessel image, and the peripheral blood vessel image. is there.
  • the apparatus may include a lesion detection unit that detects a lesion from a surface image, and the display control unit may perform the display when a lesion is detected by the lesion detection unit.
  • an instruction detection unit that detects an input instructing execution of the display may be provided, and the display control unit may perform the display when the input is detected by the instruction detection unit.
  • the display control means may switch and display the surface image, the nearby blood vessel image, and the nearby blood vessel image, or may display them side by side.
  • the surface image is one or both of an image taken when the surface is irradiated with white light and an image taken when the surface is irradiated with light of a specific wavelength band different from the white light. May be.
  • the vicinity blood vessel image may be an image in which the blood vessel portion is projected on the structure of the organ.
  • the image processing method of the present invention is an image processing method for displaying an image for observing a luminal organ related to surrounding blood vessels, and obtained by photographing with an endoscope inserted in the organ.
  • a surface image acquisition process for acquiring a surface image representing the inner surface of the wall of the organ, and a three-dimensional image representing a three-dimensional region including the organ from the viewpoint in the three-dimensional image corresponding to the viewpoint of the surface image From the viewpoint corresponding to the viewpoint of the surface image from the neighborhood image generation processing for generating the neighborhood blood vessel image depicting the portion of the blood vessel existing in the vicinity, and the 3D image representing the 3D area including the periphery of the organ
  • a peripheral image generation process for generating the depicted peripheral blood vessel image, and a display control process for displaying the surface image, the nearby blood vessel image, and the peripheral blood vessel image in that order on the display means. is there.
  • the above method may include a lesion detection process for detecting a lesion from a surface image, and the display control process may perform the display when a lesion is detected.
  • the image processing program of the present invention is a program that causes at least one computer to execute processing performed by each unit of the image processing apparatus.
  • This program is recorded on a recording medium such as a CD-ROM or DVD, or recorded in a downloadable state in a storage attached to a server computer or a network storage, and provided to the user.
  • in the vicinity of the wall means a region within a predetermined range from the inner surface to the outer side of the wall.
  • Displaying those images in the order of the surface image, the nearby blood vessel image, and the surrounding blood vessel image broadly means display in a mode in which the user who has received the display can recognize those images in that order, For example, when switching and displaying a surface image, a nearby blood vessel image, and a surrounding blood vessel image in this order, or by moving the user's line of sight on the display screen, the surface image, the nearby blood vessel image, and the surrounding blood vessel image are arranged in order. The case where it displays is included.
  • the “periphery of the organ” is an area having a size sufficiently including at least main blood vessels related to the organ.
  • a surface image representing the inner surface of the wall of an organ obtained by imaging with an endoscope inserted into the organ is acquired, and includes an organ 3
  • a three-dimensional image including a periphery of an organ is generated from a three-dimensional image representing a three-dimensional region by generating a nearby blood vessel image depicting a portion of a blood vessel existing in the vicinity of the wall from the viewpoint in the three-dimensional image corresponding to the viewpoint of the surface image
  • a peripheral blood vessel image depicting a blood vessel from a viewpoint corresponding to the viewpoint of the surface image is generated, and these images are displayed on the display means in the order of the surface image, the neighboring blood vessel image, and the peripheral blood vessel image.
  • Hardware configuration diagram showing outline of medical image processing system The figure which shows schematic structure of the image processing apparatus of FIG.
  • the block diagram which shows the function structure of the image processing apparatus of FIG. The figure which shows an example of the screen display by a display control means
  • the flowchart which shows an example of the flow of a process by the image processing apparatus of FIG.
  • FIG. 1 is a hardware configuration diagram showing an outline of a medical image processing system. As shown in the figure, in this system, an endoscope apparatus 3, a three-dimensional image capturing apparatus 5, an image storage server 6, and an image processing apparatus 8 are connected via a network 9 in a communicable state. .
  • the endoscope apparatus 3 includes an endoscope scope 31 that captures an image of a body cavity of a subject, a processor device 32 that generates an image of a subject tissue in the body cavity based on a signal obtained by the imaging, and an interior of the body cavity.
  • a light source device 33 that supplies light to be irradiated, a position detection device 34 that detects the position and orientation of the distal end portion of the endoscope scope 31, and the like are included.
  • the endoscope scope 31 includes an operation unit 3A and an insertion unit that is inserted into a body cavity, and a universal cord that is detachably connected to the processor device 32 and the light source device 33 extends.
  • 3 A of operation parts contain various buttons, such as a button for commanding operation
  • the endoscope scope 31 is a flexible endoscope for the large intestine, and is inserted into the large intestine of the subject. Light guided by the optical fiber from the light source device 33 is irradiated from the distal end portion 3B of the endoscope scope 31, and an image in the abdominal cavity of the subject is obtained by the imaging optical system of the endoscope scope 31.
  • the light source device 13 includes a white light source that emits white light having a wavelength ranging from a red region to a blue region, and a narrow-band light source that emits light having a specific wavelength band different from the white light, for example, light having a wavelength of 560 ⁇ 10 nm.
  • a white light source that emits white light having a wavelength ranging from a red region to a blue region
  • a narrow-band light source that emits light having a specific wavelength band different from the white light, for example, light having a wavelength of 560 ⁇ 10 nm.
  • the position detection device 34 detects the position and orientation of the distal end portion 3B of the endoscope scope 31 in the body of the subject. Specifically, the position of the specific part of the subject is used as a reference point. By detecting the characteristic shape of the distal end of the endoscope scope 31 with an echo device having a detection area of a three-dimensional coordinate system, the relative position of the distal end portion of the endoscope scope 31 in the body of the subject. The information on the position and orientation of the tip portion 3B is supplied to the processor device 32 (see, for example, JP-A-2006-61274). The position and orientation of the distal end portion 3B correspond to the viewpoint and line-of-sight direction of the endoscopic image obtained by photographing.
  • the processor device 32 converts the image signal picked up by the endoscope scope 31 into a digital image signal, corrects the image quality by digital signal processing such as white balance adjustment and shading correction, and generates an endoscope image.
  • the imaging mode of the endoscope apparatus 3 is the normal image capturing mode
  • the normal endoscope image E1 is generated based on the captured image signal
  • the imaging mode of the endoscope apparatus 3 is the spectral image capturing mode.
  • the spectroscopic endoscope image E2 is generated on the basis of the imaged image signal.
  • the endoscope images E1 and E2 are added with information on the position and orientation of the distal end portion 3B detected by the position detection device 34 at the time of photographing as supplementary information, and the image storage server 6 and the image processing device 8 are added. Sent to.
  • the three-dimensional image capturing device 5 is a device that generates a three-dimensional image representing a part of the subject by photographing the part to be examined.
  • the three-dimensional image capturing apparatus 5 includes a CT apparatus, an MRI apparatus, a PET, and an ultrasonic diagnosis. Device.
  • the three-dimensional image generated by the three-dimensional image photographing device 5 is transmitted to the image storage server 6 and stored.
  • a three-dimensional image V in which an examination target region including at least the large intestine and its peripheral region is imaged is generated.
  • the image storage server 6 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 6 communicates with other devices via the network 9 to transmit / receive image data and the like.
  • an endoscopic image acquired by the endoscope apparatus 2 or a three-dimensional image acquired by the three-dimensional image capturing apparatus 5 is acquired via a network and recorded on a recording medium such as a large-capacity external storage device. Save and manage.
  • image data storage format and communication between devices via the network 9 are based on a protocol such as DICOM.
  • the image processing apparatus 8 is obtained by installing the image processing program of the present invention on one computer.
  • the computer may be a workstation or a personal computer directly operated by a doctor who performs diagnosis, or may be a server computer connected to them via a network.
  • the image processing program is stored and distributed on a recording medium such as a DVD or a CD-ROM, and installed on the computer from the recording medium.
  • it is stored in a storage device of a server computer connected to a network or a network storage in a state where it can be accessed from the outside, and is downloaded and installed on a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of an image processing apparatus realized by installing an image processing program in a workstation.
  • the image processing apparatus 8 includes a CPU 81, a memory 82, and a storage (image storage means) 83 as a standard workstation configuration.
  • the image processing apparatus 8 is connected to a display 84 and an input device (instruction detection means) such as a mouse 85.
  • an endoscopic image or a three-dimensional image acquired from the endoscope device 3, the three-dimensional image capturing device 5, the image storage server 6, or the like via the network 9 is processed by image processing in the image processing device 8
  • the generated image data and the like are stored.
  • the memory 82 stores an image processing program.
  • the image processing program defines a surface image acquisition process, a neighborhood image generation process, a neighborhood image generation process, a lesion detection process, an instruction detection process, and a display control process as processes to be executed by the CPU 81. Then, the CPU 81 executes these processes according to the program, so that the general-purpose workstation has a surface image acquisition unit 71, a vicinity image generation unit 72, a peripheral image generation unit 73, a lesion detection unit 74, an instruction detection unit 75, and a display. It functions as the control means 76.
  • the surface image acquisition means 71 acquires the normal endoscope image E1 and the spectroscopic endoscope image E2 obtained by photographing the inside of the large intestine at a predetermined viewpoint position by the endoscope device 3. If these images are already stored in the storage 83, they may be acquired from the storage 83. Both the normal endoscopic image E1 and the spectroscopic endoscopic image E2 correspond to surface images representing the inner surface of the wall of the large intestine. The acquired normal endoscopic image E1 and spectral endoscopic image E2 are output to the display control means 76.
  • the neighborhood image generation means 72 is a portion of a blood vessel that exists in the vicinity of the wall of the large intestine from the viewpoint in the three-dimensional image V corresponding to the viewpoint of the normal endoscope image E1 or the spectroscopic endoscope image E2 from the three-dimensional image V.
  • To generate a nearby blood vessel image Specifically, first, the 3D image V is acquired from the 3D image capturing device 5 or the image storage server 6, and the distal end portion 3B attached to the normal endoscope image E1 or the spectroscopic endoscope image E2 is acquired. Information on the position P and the direction D (the viewpoint and line-of-sight direction of the endoscopic image) is acquired.
  • the central line of the large intestine is extracted, and a plurality of lines extending radially from the point through which the central line passes on each cross section perpendicular to the central line are set.
  • the pixel value of the point through which each line passes is determined as the maximum value of the pixel values of all the points on the line within a predetermined range outward from the surface of the wall (Depth Mip method).
  • a value close to 1 is given to the large intestine wall as the opacity given in general volume rendering so that the shape of the large intestine wall is faithfully depicted.
  • image information on a plurality of lines of sight extending radially from the viewpoint is used as a projection plane with the direction corresponding to the direction D as the center of the projection direction.
  • a projection image projected onto the three-dimensional image V is generated.
  • the projection image generated by the above processing is a virtual endoscopic image having the same composition as the normal endoscopic image E1 or the spectroscopic endoscopic image E2, and is in the vicinity of the large intestine wall on the large intestine wall.
  • the projected image of the blood vessel portion existing in the image becomes an image represented as a pattern.
  • This virtual endoscopic image corresponds to the neighborhood blood vessel image in the present invention, and is hereinafter referred to as a neighborhood blood vessel image.
  • This neighborhood blood vessel image is output to the display control means 76.
  • the peripheral image generating means 73 generates a peripheral blood vessel image depicting blood vessels around the large intestine from the viewpoint in the three-dimensional image V corresponding to the viewpoint of the normal endoscopic image E1 or the spectroscopic endoscope image E2 from the three-dimensional image V.
  • the 3D image V is acquired from the 3D image capturing device 5 or the image storage server 6, and the distal end portion 3B attached to the normal endoscope image E1 or the spectroscopic endoscope image E2 is acquired.
  • Information on position P and direction D is acquired.
  • a value close to 0 is given to the large intestine wall as opacity given in general volume rendering so that the view is not obstructed by the large intestine wall.
  • the projection image generated by the above processing becomes a pseudo three-dimensional image in which the state of the tissue around the large intestine, in particular, the state of the blood vessels around the large intestine having a high pixel value due to the contrast agent is depicted.
  • This pseudo three-dimensional image corresponds to the peripheral blood vessel image in the present invention, and is hereinafter referred to as a peripheral blood vessel image.
  • This peripheral blood vessel image is output to the display control means 76.
  • the lesion detection means 74 detects a lesion from the normal endoscope image E1 or the spectroscopic endoscope image E2, and is a known computer-aided diagnosis CAD (computer-aided).
  • the lesion area 53 is acquired by automatically detecting lesion areas such as protrusions (polyps), cancers, tumors, etc. by the diagnosis) system.
  • the lesion area may be acquired in response to the input of the position of the lesion discovered by a doctor or the like by interpreting the endoscopic image using an input device such as the mouse 84 provided in the image processing device 8. .
  • the detection result of the lesion is output to the display control unit 76, the vicinity image generation unit 72, the peripheral image generation unit 73, and the like.
  • the instruction detection means 75 detects an input instructing execution of a series of displays according to the present invention described later by detecting a menu selection operation performed by the user using an input device such as the mouse 85.
  • the instruction detection unit 75 may detect an input of the instruction by detecting an operation performed by the user through the operation unit 3A of the endoscope imaging apparatus 3.
  • Display control means 76 controls the display format and display timing of the display 84 screen. Specifically, when the display mode is the “normal display mode”, endoscope images obtained by the endoscope apparatus 3 at a predetermined frame rate are sequentially acquired and displayed, and the display mode is In the “continuous display mode”, these images are switched and displayed in the order of the surface image, the neighboring blood vessel image, and the peripheral blood vessel image in a predetermined display area on the display 84 screen.
  • the display control means 7 can also display the surface image, the nearby blood vessel image, and the peripheral blood vessel image in order from the top to the bottom on the display screen or from the left to the right. The display control means 7 determines whether to switch and display these images according to setting information or user operation. FIG.
  • the normal endoscope image E1 and the spectroscopic endoscope image E2 which are surface images, the neighboring blood vessel image, and the peripheral blood vessel image are shown. They are displayed in order.
  • the display control unit 76 changes the display mode to “series display mode” when a lesion is detected by the lesion detection unit 74 or when an input for instructing execution of a series of displays is detected by the instruction detection unit 75. And display the above.
  • the surface image acquisition means 71 acquires the normal endoscope image E1 and the spectroscopic endoscope image E2 obtained by photographing the inside of the large intestine at a predetermined viewpoint position by the endoscope apparatus 3 (step ST1).
  • the lesion detection means 74 performs a process of detecting a lesion from the spectroscopic endoscope image E2, and determines whether or not a lesion has been detected (step ST2).
  • step ST2 the display control means 76 sets the display mode to “normal display mode”, and sequentially normal endoscope images E1 obtained by photographing at a predetermined frame rate by the endoscope apparatus 3. Obtain and display (step ST3). Steps ST2 to ST3 are repeated until a lesion is detected in step ST2.
  • the neighborhood image generation means 72 exists in the vicinity of the wall of the large intestine from the viewpoint in the three-dimensional image V corresponding to the viewpoint of the normal endoscopic image E1 from the three-dimensional image V.
  • a nearby blood vessel image depicting the blood vessel portion is generated (step ST4).
  • the peripheral image generating means 73 generates a peripheral blood vessel image depicting blood vessels around the large intestine from the viewpoint in the three-dimensional image V corresponding to the viewpoint of the normal endoscopic image E1 from the three-dimensional image V (step ST5). ).
  • the processes in steps ST5 and ST6 may be performed simultaneously, or one may be performed first and the other performed later.
  • the display control unit 76 sets the display mode to “continuous display mode” and switches and displays these images in the order of the normal endoscope image E1, the spectroscopic endoscope image E2, the neighboring blood vessel image, and the peripheral blood vessel image. (Step ST6), the process ends.
  • an endoscopic image representing the inner surface of the wall of the large intestine obtained by photographing with an endoscope inserted into the large intestine ( Surface images) E1 and E2 are acquired, and from the three-dimensional image representing the three-dimensional region including the large intestine, the portion of the blood vessel existing near the wall from the viewpoint in the three-dimensional image corresponding to the viewpoint of the endoscopic image
  • the drawn nearby blood vessel image Q1 is generated, and the peripheral blood vessel image Q2 depicting the blood vessel from the viewpoint corresponding to the viewpoint of the endoscopic image is generated from the three-dimensional image representing the three-dimensional region including the periphery of the large intestine and displayed.
  • the images are displayed in the order of the endoscopic images E1, E2, the neighboring blood vessel image Q1, and the peripheral blood vessel image Q2, the state of the inner surface of the large intestine and the blood vessels extending from the surface to the outer periphery are displayed. Observe the situation continuously Can be, the relevance of the surrounding blood vessels involved in organization and its colon inner surface of the large intestine can be easily understood.
  • the display means displays the images in the order of the endoscopic image, the neighboring blood vessel image, and the peripheral blood vessel image.
  • the state of the lesion on the mucosal surface, the state of the blood vessels that supply nutrients to the lesion, and the movement of the main blood vessels that continue to it can be easily observed to determine whether the lesion is benign or malignant and to examine the surgical plan It can be done easily.
  • the present invention is not limited to this.
  • a device that observes a luminal organ related to other blood vessels such as the stomach. Can be applied to.
  • the display control unit 76 when the display mode is the “series display mode”, the display control unit 76 further detects a menu selection operation performed by the user using the input device such as the mouse 85, whereby a predetermined display on the screen of the display 84 is displayed. In the region, it may further have a function of switching and displaying these images in the order of the peripheral blood vessel image Q2, the neighboring blood vessel image Q1, and the surface images E1 and E2, which are the reverse of the above-described order of display.
  • An image generating unit that generates a virtual endoscopic image representing a state from the three-dimensional image V is further provided.
  • the virtual endoscopic image having the same composition generated by the above may be displayed in conjunction with each other.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)

Abstract

【課題】大腸の観察に適した画像を提供する。 【解決手段】大腸内に挿入された内視鏡により撮影して得られた、大腸の壁の内側の表面を表す内視鏡画像(Ｅ１)、(Ｅ２)を取得し、大腸を含む３次元領域を表した３次元画像から、内視鏡画像(Ｅ１)、(Ｅ２)の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像Ｑ１を生成し、大腸の周辺を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する視点から血管を描写した周辺血管画像Ｑ２を生成し、表示手段に、内視鏡画像(Ｅ１)、(Ｅ２)、近傍血管画像(Ｑ１)、周辺血管画像(Ｑ２)の順にそれらの画像を表示させる。

Description

画像処理装置、方法及びプログラム
　本発明は、大腸や胃などの臓器を観察するための画像を表示する画像処理装置、方法及びプログラムに関するものである。
　従来、患者の大腸や胃などの管腔状の臓器を、その臓器内に挿入された内視鏡により撮影して得られた実内視鏡画像を用いて診断、治療を行う技術が知られている。また、ＣＴ等での撮影によって得られた３次元ボリューム画像から内視鏡と類似した仮想内視鏡画像を生成し表示する技術も知られている。
　特許文献１には、臓器内に挿入された内視鏡の位置および姿勢を検出し、検出された位置および姿勢に基づいて実内視鏡画像と同じ視野の仮想内視鏡画像を作成し、内視鏡により撮影して得られた実内視鏡画像を仮想内視鏡画像に対してテクスチャマッピングすることで表示用の画像を生成する技術が提案されている。
特開２００６－６１２７４号公報
　ところで、大腸、胃などの臓器を診断、治療する際には、その臓器の粘膜表面の３次元的な構造やテクスチャだけでなく、その臓器に関わる周辺の血管も観察することが必要となる場合がある。
　たとえば大腸の場合、大腸表面において検出されたポリープ等の病変に対して栄養を供給する血管の様子は大腸癌の鑑別の重要なファクターであり、中結腸動脈や右結腸動脈の様子は大腸癌の手術計画に影響を与えるものであるので、大腸を診断、治療する際には、粘膜表面の他、粘膜下層や固有筋層に存在する毛細血管、およびそれに連続する中結腸動脈や右結腸動脈、回結腸動脈などの血管の様子を観察することが求められる。
　これに対して、特許文献１に記載の技術により提供される表示用の画像では、臓器の粘膜表面の状態は観察できるが、その臓器に関わる周辺の血管の様子を観察することはできないため、大腸などの観察における上記のニーズに的確に応えうるものとはいえない。
　本発明は上記事情に鑑みてなされたものであり、周辺の血管と関わる管腔状の臓器の観察に適した画像を提供することができる画像処理装置、方法及びプログラムを提供することを目的とするものである。
　本発明の画像処理装置は、周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理装置であって、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成する周辺画像生成手段と、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させる表示制御手段とを備えたことを特徴とするものである。
　上記装置は、表面画像から病変を検出する病変検出手段を備え、表示制御手段が、病変検出手段により病変が検出された場合に、前記表示を行うものであってもよい。
　また、上記表示の実行を指示する入力を検出する指示検出手段を備え、表示制御手段が、指示検出手段により入力が検出された場合に、前記表示を行うものであってもよい。
　表示制御手段は、表面画像、近傍血管画像および周辺血管画像を切り替えて表示するものであってもよいし、並べて表示するものであってもよい。
　表面画像は、前記表面へ白色光を照射したときに撮影された画像および前記表面へ白色光とは異なる特定の波長帯域の光を照射したときに撮影された画像のいずれか一方または両方であってもよい。
　近傍血管画像は、臓器の構造上に前記血管の部分が投影された画像であってもよい。
　本発明の画像処理方法は、周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理方法であって、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得する表面画像取得処理と、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する近傍画像生成処理と、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成する周辺画像生成処理と、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させる表示制御処理とを備えたことを特徴とするものである。
　上記方法は、表面画像から病変を検出する病変検出処理を備え、表示制御処理が、病変が検出された場合に、前記表示を行うものであってもよい。
　本発明の画像処理プログラムは、上記画像処理装置の各手段が行う処理を、少なくとも１台のコンピュータに実行させるプログラムである。このプログラムは、ＣＤ－ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。
　ここで、「壁の近傍」とは、壁の内側の表面から外側に所定範囲内の領域を意味する。
　表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させるとは、その表示を受けたユーザがその順にそれらの画像を認識できるような態様での表示を広く意味するものであり、たとえば表面画像、近傍血管画像、周辺血管画像の順に切り換えて表示させる場合や、表示画面上におけるユーザの視線の移動によって、表面画像、近傍血管画像、周辺血管画像がその順に認識されるように並べて表示させる場合などが含まれる。
　また、「臓器の周辺」は、少なくともその臓器に関わる主な血管を充分に含む大きさの領域である。
　本発明の画像処理装置、方法およびプログラムによれば、臓器内に挿入された内視鏡により撮影して得られた、臓器の壁の内側の表面を表す表面画像を取得し、臓器を含む３次元領域を表した３次元画像から、表面画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像を生成し、臓器の周辺を含む３次元領域を表した３次元画像から、表面画像の視点に対応する視点から血管を描写した周辺血管画像を生成し、表示手段に、表面画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させるようにしたので、その臓器の内側の表面の様子およびその表面から外側周辺に至る血管の様子を連続的に観察することができ、臓器の内側の表面の組織とその臓器に関わる周辺の血管との関連性を容易に理解することができる。
　特に、ポリープ等の病変を観察する場合、粘膜表面におけるその病変の様子を始め、その病変に対して栄養を供給する血管の様子やそれに連続する主な血管の走行を容易に観察でき、病変の良悪性の判断や手術計画の検討を容易に行うことができる。
医用画像処理システムの概要を示すハードウェア構成図 図１の画像処理装置の概略構成を示す図 図１の画像処理装置の機能構成を示すブロック図 表示制御手段による画面表示の一例を示す図 図１の画像処理装置による処理の流れの一例を示すフローチャート
　以下、図面を参照して、本発明の画像処理装置、方法およびプログラムの実施形態について説明する。
　図１は、医用画像処理システムの概要を示すハードウェア構成図である。図に示すように、このシステムでは、内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６、画像処理装置８とが、ネットワーク９を経由して通信可能な状態で接続されている。
　内視鏡装置３は、被検者の体腔内を撮像する内視鏡スコープ３１と、撮像により得られた信号に基づいて体腔内の被写体組織の画像を生成するプロセッサ装置３２と、体腔内を照射する光を供給する光源装置３３、内視鏡スコープ３１の先端部の位置および向きを検出する位置検出装置３４等を有している。
　内視鏡スコープ３１は、操作部３Ａに体腔内に挿入される挿入部が連設されたものであり、プロセッサ装置３２及び光源装置３３に着脱可能に接続されたユニバーサルコードを延在している。操作部３Ａは、挿入部の先端部３Ｂが所定の角度範囲内で上下方向及び左右方向に湾曲するように動作を指令するためのボタン等の各種ボタンを含む。本実施形態では、内視鏡スコープ３１は大腸用の軟性鏡であり、被検体の大腸内に挿入される。光源装置３３から光ファイバーで導かれた光が内視鏡スコープ３１の先端部３Ｂから照射され、内視鏡スコープ３１の撮像光学系により被検体の腹腔内の画像が得られる。
　光源装置１３は、波長が赤色領域から青色領域にわたる白色光を発する白色光源と、その白色光とは異なる特定の波長帯域の光、たとえば波長が５６０±１０ｎｍである光を発する狭帯域光源とを備え、内視鏡装置３の撮影モードが通常画像撮影モードである場合には白色光源で生成された光を、分光画像撮影モードである場合には、狭帯域光源で生成された光を、光学系を介してスコープのライトガイドに供給するようになっている。
　位置検出装置３４は、被検者の体内における内視鏡スコープ３１の先端部３Ｂの位置および向きを検出するものであり、具体的には、被検者の特定部位の位置を基準点とした３次元座標系の検出領域を有するエコー装置により、内視鏡スコープ３１の特徴的な先端の形状を検出することで、被検者の体内における内視鏡スコープ３１の先端部の相対的な位置および向きを検出し、得られた先端部３Ｂの位置および向きの情報をプロセッサ装置３２に供給するものである（例えば、特開2006-61274号公報参照）。この先端部３Ｂの位置および向きは、撮影して得られた内視鏡画像の視点および視線方向に該当する。
　プロセッサ装置３２は、内視鏡スコープ３１で撮像された撮像信号をデジタル画像信号に変換し、ホワイトバランス調整やシェーディング補正等のデジタル信号処理によって画質の補正を行い、内視鏡画像を生成する。内視鏡装置３の撮影モードが通常画像撮影モードである場合に撮影された撮像信号に基づいて通常内視鏡画像Ｅ１を生成し、内視鏡装置３の撮影モードが分光画像撮影モードである場合に撮影された撮像信号に基づいて分光内視鏡画像Ｅ２を生成する。また、この各内視鏡画像Ｅ１、Ｅ２は、位置検出装置３４により検出されたその撮影時における先端部３Ｂの位置および向きの情報が付帯情報として付加され、画像保管サーバ６や画像処理装置８に送信される。
　３次元画像撮影装置５は、被検体の検査対象部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、CT装置、MRI装置、PET、超音波診断装置等である。この３次元画像撮影装置５により生成された３次元画像は画像保管サーバ６に送信され、保存される。本実施形態では、少なくとも大腸およびその周辺領域を含む検査対象部位を撮影した３次元画像Ｖを生成する。
　画像保管サーバ６は、各種データを保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理用ソフトウェアを備えている。画像保管サーバ６は、ネットワーク９を介して他の装置と通信を行い、画像データなどを送受信する。具体的には内視鏡装置２で取得された内視鏡画像や、３次元画像撮影装置５で取得された３次元画像等をネットワーク経由で取得し、大容量外部記憶装置などの記録媒体に保存・管理する。
　なお、画像データの格納形式やネットワーク９経由での各装置間の通信は、DICOM等のプロトコルに基づいている。
　画像処理装置８は、一台のコンピュータに、本発明の画像処理プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ＤＶＤ，ＣＤ－ＲＯＭ等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、ワークステーションに画像処理プログラムをインストールすることにより実現された画像処理装置の概略構成を示す図である。同図が示すように、画像処理装置８は、標準的なワークステーションの構成として、ＣＰＵ８１、メモリ８２およびストレージ（画像記憶手段）８３を備えている。また、画像処理装置８には、ディスプレイ８４と、マウス８５等の入力装置（指示検出手段）が接続されている。
　ストレージ８３には、ネットワーク９を経由して内視鏡装置３、３次元画像撮影装置５、画像保管サーバ６などから取得した内視鏡画像や３次元画像、画像処理装置８での画像処理によって生成された画像データなどが記憶されている。
　また、メモリ８２には、画像処理プログラムが記憶されている。画像処理プログラムは、ＣＰＵ８１に実行させる処理として、表面画像取得処理、近傍画像生成処理、周辺画像生成処理、病変検出処理、指示検出処理および表示制御処理を規定している。そして、ＣＰＵ８１がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、表面画像取得手段７１、近傍画像生成手段７２、周辺画像生成手段７３、病変検出手段７４、指示検出手段７５および表示制御手段７６として機能することになる。
　以下、図３を参照して、画像処理装置８の各機能ブロックについて説明する。
　表面画像取得手段７１は、内視鏡装置３により大腸内を所定の視点位置において撮影された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２を取得する。それらの画像が既にストレージ８３に記憶されている場合には、ストレージ８３から取得するようにしてもよい。この通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２はいずれも、大腸の壁の内側の表面を表す表面画像に該当する。この取得された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２は、表示制御手段７６に出力される。
　近傍画像生成手段７２は、３次元画像Ｖから、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２の視点に対応する３次元画像Ｖ中の視点から大腸の壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する。具体的には、まず、３次元画像撮影装置５または画像保管サーバ６から３次元画像Ｖを取得するとともに、上記通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２に付帯された先端部３Ｂの位置Ｐおよび向きＤ（内視鏡画像の視点および視線方向）の情報を取得する。次に、大腸の中心線を抽出し、その中心線に垂直な各断面上のその中心線が通る点から放射線状に伸ばした複数の線を設定し、大腸の壁の内側の表面上をその各線が通る点の画素値を、その壁の表面から外側に所定範囲内におけるその線上の全ての点の画素値のうちの最大値に決定する（Depth Mip手法）。この処理により、大腸の壁の内側の表面に、造影剤によって高い画素値を有する血管全体のうち大腸の壁の近傍に存在する部分の投影像が生成される。また、大腸の壁の形状が忠実に描写されるよう、大腸の壁に、一般的なボリュームレンダリングにおいて与えられる不透明度として１に近い値を与える。次に、位置Ｐに対応する３次元画像Ｖ中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きＤに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖから生成する。
　投影の具体的な方法としては、例えば、公知のボリュームレンダリング手法等を用いる（周辺画像生成手段７３においても同じ）。以上の処理により、生成される投影画像は、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２と同一の構図となる仮想内視鏡画像であって、大腸の壁上に大腸の壁の近傍に存在する血管の部分の投影像が模様として表された画像となる。この仮想内視鏡画像が本発明における近傍血管画像に該当し、以下近傍血管画像と称する。この近傍血管画像は、表示制御手段７６に出力される。
　周辺画像生成手段７３は、３次元画像Ｖから、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２の視点に対応する３次元画像Ｖ中の視点から大腸周辺の血管を描写した周辺血管画像を生成する。具体的には、まず、３次元画像撮影装置５または画像保管サーバ６から３次元画像Ｖを取得するとともに、上記通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２に付帯された先端部３Ｂの位置Ｐおよび向きＤの情報を取得する。また、大腸の壁によって視界が遮られないように、大腸の壁には、一般的なボリュームレンダリングにおいて与えられる不透明度として０に近い値を与える。次に、位置Ｐに対応する３次元画像Ｖ中の位置を視点として、その視点から放射状に伸ばした複数の視線上の画像情報を、向きＤに対応する方向を投影方向の中心とした投影面に投影した投影画像を３次元画像Ｖから生成する。以上の処理により、生成される投影画像は、大腸周辺の組織、特に造影剤によって高い画素値を有する大腸周辺の血管の様子が忠実に描写された擬似３次元画像となる。この擬似３次元画像が本発明における周辺血管画像に該当し、以下周辺血管画像と称する。この周辺血管画像は、表示制御手段７６に出力される。
　病変検出手段７４は、通常内視鏡画像Ｅ１または分光内視鏡画像Ｅ２から病変を検出するものであって、公知のコンピュータ支援診断CAD（computer-aided
diagnosis）システムによって突起物（ポリープ）、癌、腫瘍などの病変領域を自動検出することにより病変領域５３を取得する。病変領域は、医者などがその内視鏡画像を読影して発見した病変の位置を画像処理装置８に備えるマウス８４等の入力装置を用いて入力したのを受けて取得するようにしてもよい。なお、この病変の検出結果は、表示制御手段７６、近傍画像生成手段７２、周辺画像生成手段７３などに出力される。
　指示検出手段７５は、ユーザがマウス８５等の入力装置によって行うメニュー選択操作を検出することにより、後述する本発明による一連の表示の実行を指示する入力を検出する。なお、指示検出手段７５は、ユーザが内視鏡撮影装置３の操作部３Ａによって行う操作を検出することにより、同指示の入力を検出するものであってもよい。
　表示制御手段７６は、ディスプレイ８４画面の表示形式および表示タイミングを制御する。具体的には、表示モードが「通常表示モード」である場合には、内視鏡装置３により所定のフレームレートで撮影してえられた内視鏡画像を順次取得・表示し、表示モードが「一連表示モード」である場合には、ディスプレイ８４画面上の所定の表示領域において、表面画像、近傍血管画像、周辺血管画像の順にこれらの画像を切り替えて表示する。また、表示制御手段７は、表示画面上の上方から下方へ、または左方から右方へ、表面画像、近傍血管画像、周辺血管画像を順に並べて表示することもできる。表示制御手段７は、それらの画像を切り換えて表示するか、並べて表示するかを、設定情報もしくはユーザ操作にしたがって決定する。図４は、表示モードが「一連表示モード」である場合における表示例を示すものであり、表面画像である通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２、近傍血管画像、周辺血管画像を順に並べて表示したものである。
　また、表示制御手段７６は、病変検出手段７４により病変が検出された場合や、指示検出手段７５により一連の表示の実行を指示する入力が検出された場合に、表示モードを「一連表示モード」と設定し、上記表示を行う。
　以下、図５のフローチャートを参照して、本発明の画像処理装置８による処理の流れの一例について説明する。まず、表面画像取得手段７１が、内視鏡装置３により大腸内を所定の視点位置において撮影された通常内視鏡画像Ｅ１および分光内視鏡画像Ｅ２を取得する（ステップＳＴ１）。その後、病変検出手段７４が、分光内視鏡画像Ｅ２から病変を検出する処理を行ない、病変が検出されたか否かを判断する（ステップＳＴ２）。ステップＳＴ２において病変が検出されない場合、表示制御手段７６が、表示モードを「通常表示モード」とし、内視鏡装置３により所定のフレームレートで撮影してえられた通常内視鏡画像Ｅ１を順次取得・表示する（ステップＳＴ３）。ステップＳＴ２において病変が検出されるまで、ステップＳＴ２からＳＴ３を繰り返し行う。
　ステップＳＴ２において病変が検出されると、近傍画像生成手段７２が、３次元画像Ｖから、通常内視鏡画像Ｅ１の視点に対応する３次元画像Ｖ中の視点から大腸の壁の近傍に存在する血管の部分を描写した近傍血管画像を生成する（ステップＳＴ４）。また、周辺画像生成手段７３が、３次元画像Ｖから、通常内視鏡画像Ｅ１の視点に対応する３次元画像Ｖ中の視点から大腸周辺の血管を描写した周辺血管画像を生成する（ステップＳＴ５）。ステップＳＴ５とＳＴ６の処理は両方を同時に行なってもよいし、いずれか一方を先に行って他方を後で行なってもよい。続いて、表示制御手段７６が、表示モードを「一連表示モード」とし、通常内視鏡画像Ｅ１、分光内視鏡画像Ｅ２、近傍血管画像、周辺血管画像の順にこれらの画像を切り替えて表示し（ステップＳＴ６）、処理を終了する。
　以上に説明したとおり、本実施形態の画像処理装置およびプログラムによれば、大腸内に挿入された内視鏡により撮影して得られた、大腸の壁の内側の表面を表す内視鏡画像（表面画像）Ｅ１，Ｅ２を取得し、大腸を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する３次元画像中の視点から壁の近傍に存在する血管の部分を描写した近傍血管画像Ｑ１を生成し、大腸の周辺を含む３次元領域を表した３次元画像から、内視鏡画像の視点に対応する視点から血管を描写した周辺血管画像Ｑ２を生成し、表示手段に、内視鏡画像Ｅ１，Ｅ２、近傍血管画像Ｑ１、周辺血管画像Ｑ２の順にそれらの画像を表示させているので、その大腸の内側の表面の様子およびその表面から外側周辺に至る血管の様子を連続的に観察することができ、大腸の内側の表面の組織とその大腸に関わる周辺の血管との関連性を容易に理解することができる。
　また、内視鏡画像からポリープ等の病変を検出し、病変が検出された場合に、表示手段に、内視鏡画像、近傍血管画像、周辺血管画像の順にそれらの画像を表示させているので、粘膜表面におけるその病変の様子を始め、その病変に対して栄養を供給する血管の様子やそれに連続する主な血管の走行を容易に観察でき、病変の良悪性の判断や手術計画の検討を容易に行うことができる。
　なお、上記実施の形態では、本発明の画像処理装置を大腸の観察に適用した場合について説明したが、これに限らずたとえば胃など他の周辺の血管と関わる管腔状の臓器を観察するものに適用することができる。
　また、上記実施の形態では、表面画像として通常内視鏡画像Ｅ１と分光内視鏡画像Ｅ２の両方を表示する場合を例示して説明したが、そのいずれか一方の画像のみを表示するようにしてもよい。
　また、上記表示制御手段７６は、表示モードが「一連表示モード」である場合に、さらにユーザがマウス８５等の入力装置によって行うメニュー選択操作を検出することにより、ディスプレイ８４画面上の所定の表示領域において、上述した一連の表示の順と逆の、周辺血管画像Ｑ２、近傍血管画像Ｑ１、表面画像Ｅ１，Ｅ２の順にこれらの画像を切り替えて表示する機能をさらに有するものであってもよい。
　また、上記画像処理装置８において、内視鏡撮影装置３により撮影された内視鏡画像と同一の構図となる仮想内視鏡画像であって、対象臓器をあたかも内視鏡で観察したような様子を表す仮想内視鏡画像を３次元画像Ｖから生成する画像生成手段をさらに備え、表示制御手段７６により、表示モードが「通常表示モード」である場合に、内視鏡画像と画像生成手段により生成された同一構図の仮想内視鏡画像とを連動して表示させるようにしてもよい。
 

Claims (11)

  1. 　周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理装置であって、
    　前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、
    　前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、
    　前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成手段と、
    　表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御手段とを備えたことを特徴とする画像処理装置。
  2. 　前記表面画像から病変を検出する病変検出手段を備え、
    　前記表示制御手段が、前記病変検出手段により病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１記載の画像処理装置。
  3. 　前記表示の実行を指示する入力を検出する指示検出手段を備え、
    　前記表示制御手段が、前記指示検出手段により前記入力が検出された場合に、前記表示を行うものであることを特徴とする請求項１または２記載の画像処理装置。
  4. 　前記表示制御手段が、前記表面画像、前記近傍血管画像および前記周辺血管画像を切り替えて表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
  5. 　前記表示制御手段が、前記表面画像、前記近傍血管画像および前記周辺血管画像を並べて表示するものであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
  6. 　前記表面画像が、前記表面へ白色光を照射したときに撮影された画像および前記表面へ前記白色光とは異なる特定の波長帯域の光を照射したときに撮影された画像のいずれか一方または両方であることを特徴とする請求項１から５のいずれか１項記載の画像処理装置。
  7. 　前記近傍血管画像が、前記臓器の構造上に前記血管の部分が投影された画像であることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
  8. 　周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理方法であって、
    　前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得処理と、
    　前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成処理と、
    　前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成処理と、
    　表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御処理とを備えたことを特徴とする画像処理方法。
  9. 　前記表面画像から病変を検出する病変検出処理を備え、
    　前記表示制御処理が、前記病変が検出された場合に、前記表示を行うものであることを特徴とする請求項８記載の画像処理方法。
  10. 　周辺の血管と関わる管腔状の臓器を観察するための画像を表示する画像処理プログラムであって、
    　コンピュータを、
    　前記臓器内に挿入された内視鏡により撮影して得られた、前記臓器の壁の内側の表面を表す表面画像を取得する表面画像取得手段と、
    　前記臓器を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する３次元画像中の視点から前記壁の近傍に存在する前記血管の部分を描写した近傍血管画像を生成する近傍画像生成手段と、
    　前記臓器の周辺を含む３次元領域を表した３次元画像から、前記表面画像の視点に対応する視点から前記血管を描写した周辺血管画像を生成する周辺画像生成手段と、
    　表示手段に、前記表面画像、前記近傍血管画像、前記周辺血管画像の順にそれらの画像を表示させる表示制御手段として機能させることを特徴とする画像処理プログラム。
  11. 　前記コンピュータを、
    　前記表面画像から病変を検出する病変検出手段としてさらに機能させるためのものであり、
    　前記表示制御手段が、前記病変検出手段により病変が検出された場合に、前記表示を行うものであることを特徴とする請求項１０記載の画像処理プログラム。
     
PCT/JP2011/004183 2010-07-28 2011-07-25 画像処理装置、方法及びプログラム WO2012014437A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201180036593.1A CN103025227B (zh) 2010-07-28 2011-07-25 图像处理设备、方法
EP11812039.3A EP2599432A1 (en) 2010-07-28 2011-07-25 Image processor, image processing method and image processing program
US13/751,759 US9723971B2 (en) 2010-07-28 2013-01-28 Image processing apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-168872 2010-07-28
JP2010168872A JP5486432B2 (ja) 2010-07-28 2010-07-28 画像処理装置、その作動方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/751,759 Continuation US9723971B2 (en) 2010-07-28 2013-01-28 Image processing apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2012014437A1 true WO2012014437A1 (ja) 2012-02-02

Family

ID=45529670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004183 WO2012014437A1 (ja) 2010-07-28 2011-07-25 画像処理装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US9723971B2 (ja)
EP (1) EP2599432A1 (ja)
JP (1) JP5486432B2 (ja)
CN (1) CN103025227B (ja)
WO (1) WO2012014437A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2702924A4 (en) * 2012-02-10 2015-07-15 Olympus Medical Systems Corp CONTROL DEVICE, BIOLOGICAL OPTICAL MEASURING DEVICE AND ENDOSCOPY SYSTEM
US10893469B2 (en) 2016-02-16 2021-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Network access of a wireless device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5899172B2 (ja) * 2013-01-10 2016-04-06 富士フイルム株式会社 内視鏡装置
JP6026932B2 (ja) * 2013-03-22 2016-11-16 富士フイルム株式会社 医用画像表示制御装置および方法並びにプログラム
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
JP6026357B2 (ja) * 2013-06-13 2016-11-16 富士フイルム株式会社 仮想内視鏡画像生成装置および方法並びにプログラム
WO2015118423A1 (en) * 2014-02-04 2015-08-13 Koninklijke Philips N.V. Visualization of depth and position of blood vessels and robot guided visualization of blood vessel cross section
CN106572834B (zh) * 2014-07-02 2019-12-03 柯惠有限合伙公司 对准ct
JP6467060B2 (ja) * 2016-04-27 2019-02-06 Hoya株式会社 内視鏡管理システム、内視鏡装置、内視鏡装置を管理する管理装置、及び、内視鏡装置の管理方法
TWI632893B (zh) * 2017-05-16 2018-08-21 國立陽明大學 偵測與分析消化道黏膜組織之方法及系統
JP7033146B2 (ja) * 2017-10-17 2022-03-09 富士フイルム株式会社 医療画像処理装置、及び、内視鏡装置
US10918326B2 (en) * 2018-05-31 2021-02-16 The Regents Of The University Of Michigan Automated assessment of bowel damage in intestinal diseases
WO2020044523A1 (ja) * 2018-08-30 2020-03-05 オリンパス株式会社 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム
CN111839445A (zh) * 2019-04-25 2020-10-30 天津御锦人工智能医疗科技有限公司 一种基于图像识别的结肠镜手术中窄带成像检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076184A (ja) * 1999-09-03 2001-03-23 Ge Yokogawa Medical Systems Ltd ３次元表示方法および３次元表示装置
JP2006061274A (ja) 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
JP2009022411A (ja) * 2007-07-18 2009-02-05 Hitachi Medical Corp 医用画像処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5274551A (en) * 1991-11-29 1993-12-28 General Electric Company Method and apparatus for real-time navigation assist in interventional radiological procedures
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US6167296A (en) * 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US5971767A (en) * 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
EP1302152B1 (en) * 2000-07-21 2013-03-20 Olympus Corporation Endoscope apparatus
US6956602B2 (en) * 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US20050272971A1 (en) * 2002-08-30 2005-12-08 Olympus Corporation Medical treatment system, endoscope system, endoscope insert operation program, and endoscope device
EP1994878B9 (en) * 2006-03-16 2013-09-04 Olympus Medical Systems Corp. Medical image processing device and medical image processing method
JP4868959B2 (ja) * 2006-06-29 2012-02-01 オリンパスメディカルシステムズ株式会社 体腔内プローブ装置
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076184A (ja) * 1999-09-03 2001-03-23 Ge Yokogawa Medical Systems Ltd ３次元表示方法および３次元表示装置
JP2006061274A (ja) 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc プログラム、及び内視鏡システム
JP2009022411A (ja) * 2007-07-18 2009-02-05 Hitachi Medical Corp 医用画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2702924A4 (en) * 2012-02-10 2015-07-15 Olympus Medical Systems Corp CONTROL DEVICE, BIOLOGICAL OPTICAL MEASURING DEVICE AND ENDOSCOPY SYSTEM
US10893469B2 (en) 2016-02-16 2021-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Network access of a wireless device

Also Published As

Publication number Publication date
EP2599432A1 (en) 2013-06-05
US9723971B2 (en) 2017-08-08
CN103025227A (zh) 2013-04-03
CN103025227B (zh) 2015-11-25
US20130137926A1 (en) 2013-05-30
JP5486432B2 (ja) 2014-05-07
JP2012024509A (ja) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
EP3845193B1 (en) System for determining, adjusting, and managing resection margin about a subject tissue
US11589731B2 (en) Visualization systems using structured light
JP5421828B2 (ja) 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
JP2019115664A (ja) 医療手技におけるナビゲーションを補助するための拡張現実の使用
US20190290247A1 (en) Image-based fusion of endoscopic image and ultrasound images
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
EP2423877A1 (en) Endoscopic image processing device, method and program
JP2006198032A (ja) 手術支援システム
KR20130108320A (ko) 관련 애플리케이션들에 대한 일치화된 피하 해부구조 참조의 시각화
JP2010264232A (ja) 診断支援装置、診断支援プログラムおよび診断支援方法
JP2010035637A (ja) 画像表示装置およびこれを用いた内視鏡システム
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JP6125380B2 (ja) 超音波診断装置、医用画像処理装置及び画像処理プログラム
WO2019130868A1 (ja) 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
JP4686279B2 (ja) 医用診断装置及び診断支援装置
JP2004097696A (ja) 内視鏡観測装置
JP2002253480A (ja) 医療処置補助装置
JP2008054763A (ja) 医療画像診断装置
WO2021136994A1 (en) Dynamic surgical visualization systems
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
WO2019087969A1 (ja) 内視鏡システム、報知方法、及びプログラム
KR101014562B1 (ko) 자궁의 가상 내시경 영상을 형성하는 방법
WO2022202401A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
JP7354608B2 (ja) 医療用観察システム、医療用観察方法、および情報処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180036593.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11812039

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2011812039

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011812039

Country of ref document: EP