WO2007129493A1 - 医療画像観察支援装置 - Google Patents

医療画像観察支援装置 Download PDF

Info

Publication number
WO2007129493A1
WO2007129493A1 PCT/JP2007/052894 JP2007052894W WO2007129493A1 WO 2007129493 A1 WO2007129493 A1 WO 2007129493A1 JP 2007052894 W JP2007052894 W JP 2007052894W WO 2007129493 A1 WO2007129493 A1 WO 2007129493A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
organ
anatomical
luminal
Prior art date
Application number
PCT/JP2007/052894
Other languages
English (en)
French (fr)
Inventor
Kensaku Mori
Takayuki Kitasaka
Daisuke Deguchi
Original Assignee
National University Corporation Nagoya University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University Corporation Nagoya University filed Critical National University Corporation Nagoya University
Priority to JP2008514405A priority Critical patent/JP4899068B2/ja
Priority to US12/226,922 priority patent/US8199984B2/en
Publication of WO2007129493A1 publication Critical patent/WO2007129493A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Definitions

  • the present invention relates to a medical image observation support apparatus that supports observation of the appearance of a luminal organ.
  • a helical continuous scan (helical force scan) is performed on a three-dimensional region of the subject by continuously feeding the subject in the direction of the body axis while continuously rotating the X-ray irradiator / detector.
  • 3D image is created by stacking tomographic images of successive slices of 3D region.
  • 3D images there are 3D images of trunk blood vessel regions and lung bronchial regions.
  • a 3D image of a blood vessel region can be used to determine which part of the blood vessel should be ligated (to tie the blood vessel with a thread or the like!)
  • When determining the resection site for example, in colorectal cancer surgery.
  • a desired organ such as the lumen of the bronchus is obtained from the image data of the three-dimensional region. It is necessary to extract road area information.
  • Patent Document 1 JP 2000-135215 A
  • Patent Document 2 JP 2004-180940 A
  • Patent Document 3 International Publication No. 2004Z010857 Pamphlet
  • Patent Document 4 Japanese Unexamined Patent Publication No. 2006-68351
  • Patent Document 5 Japanese Unexamined Patent Application Publication No. 2004-230086
  • Patent Document 6 Japanese Unexamined Patent Publication No. 2000-163555
  • Patent Document 7 Japanese Patent Laid-Open No. 2003-265408
  • Non-Patent Document 1 it is possible to extract the luminal tract region information of the desired luminal organ from the three-dimensional image data of the subject.
  • a threshold extraction process using a single threshold or a filter extraction process using an image enhancement filter common to the entire image the peripheral part of a luminal organ having a tree structure, for example, If extraction is performed using the same threshold value or emphasis filter for the specific anatomical region, there is a problem that sufficient extraction accuracy cannot be obtained.
  • reduced image generation means for generating a plurality of reduced images of a three-dimensional image at all branch points where a body cavity path in a subject branches
  • the reduced image generation means include Image rotation means for rotating the 3D image of the generated reduced image, and rotation amount data storage for storing rotation amount data obtained by rotating the 3D image by the image rotation means in association with the 3D image.
  • An endoscope apparatus having means is proposed.
  • the image rotating means for rotating the three-dimensional image must be executed based on the manual operation of the operator who is the operator, and the operation of the endoscope. It is difficult to perform such operations.
  • Patent Document 3 a body cavity in the subject obtained by taking a reduced image of the three-dimensional image at all branch points where the body cavity path in the subject branches is captured by the endoscope.
  • an endoscope apparatus characterized by comprising navigation image generation means for generating the navigation image by adding it to a navigation image composed of an endoscopic image of a road and the three-dimensional image.
  • the reduced image is merely a reduced 3D image at the branch point, the reduced images are similar to each other. The operator may be confused.
  • Patent Document 4 core point sequence data of a tubular structure of a subject is obtained.
  • a medical image processing method has been proposed, which is based on a plurality of volume data groups in the time axis direction.
  • Patent Document 5 proposes an image processing apparatus that sets a region of a desired tubular structure in stereoscopic image data of a subject and sets a core line of the tubular structure set by the region setting means. Be beaten!
  • the core wire is set by the method as it is in the case where the force of the previous statement is applied. I can't.
  • Patent Document 6 a branch start point and a region of interest direction are designated in a region including a branch branch region that is a region of interest, and the concentration value of each point is within a certain concentration range within the same region.
  • the concentration value of each point is within a certain concentration range within the same region.
  • Patent Document 7 compared with the actual endoscopic image and the virtual endoscopic image stored in the database, the degree of similarity between the endoscopic image and the virtual endoscopic image is highest!
  • an endoscope guidance device that determines an endoscope image and determines the position and posture of the distal end portion of the flexible endoscope from the information of the determined virtual endoscope image.
  • the comparison between the endoscopic image and the virtual endoscopic image is performed for comparison of the entire image, which may increase the time required for the processing.
  • the endoscope guidance device described in Patent Document 7 displays the determined position and posture information of the endoscope tip on the MRI image or CT image in a superimposed display using force. Therefore, it is difficult to say that the surgeon is given enough information to guide the endoscope.
  • Patent Document 2 there is a description that a bronchial route name is superimposed on a virtual endoscopic image. However, for a method and means for specifically realizing a method that works, In Reference 2, there is no mention of anything!
  • the present invention has been made in view of the above-described points, and is a medical image observation support device that can easily and appropriately support external observation of a hollow organ and grasping of the structure of the hollow organ. For the purpose of providing!
  • the invention according to claim 1 is: (a) a volume region including a part of a hollow organ extending into the subject based on the three-dimensional image data of the subject. (B) a lumen region that is region information of a specific lumen organ in the volume region based on three-dimensional image data representing the lumen organ in the volume region; Luminal organ area information calculating means for repeatedly calculating data, and (c) for each luminal area data calculated by the luminal organ area information calculating means, the structure information of the luminal organ in the volume area Luminal organ structure information calculating means for calculating certain luminal structure data, and (d) a virtual core line generating means for generating a virtual core line along the longitudinal direction of the luminal organ based on the luminal structure data.
  • (G) A medical image observation support device comprising display means for displaying the virtual image.
  • the volume region setting means includes a part of a hollow organ extending into the subject based on the three-dimensional image data of the subject.
  • a volume region to be set, and the lumen organ region information calculation means repeatedly calculates lumen region data, which is region information of a specific lumen organ in the volume region, based on the three-dimensional image data,
  • the luminal organ structure information calculating means calculates luminal structure data that is structural information of the luminal organ in the volume region for each luminal area data, and the virtual core generating means calculates the luminal structure data.
  • a virtual core line is generated along the longitudinal direction of the luminal organ, and the virtual image generating means generates a virtual image of the luminal organ along the virtual core line.
  • the virtual core wire, the lumen area data, and the lumen structure data are reduced.
  • an observation position for generating the virtual image is determined so that a display area of the luminal organ on the display means has a desired size, and the virtual core line or the luminal structure is determined. The observation position is moved along the longitudinal direction of the luminal organ based on the data, and the virtual image is displayed by the display means.
  • a virtual image reflecting the structure information of the hollow organ can be obtained from the three-dimensional image data, and any positional force of interest of the hollow organ can be reliably observed along the organ structure without complicated viewpoint changing operations.
  • the observation position can be automatically moved along the longitudinal direction of the luminal organ, and the observing position is calculated with the luminal organ display area on the display means having a desired size.
  • the display magnification of the luminal organ when the external image is displayed is automatically adjusted, so that the observer can easily observe a very long luminal organ along the direction in which the luminal organ travels.
  • the desired size is a size selected by the observer according to the usage status of the apparatus. For example, when the traveling status of the entire blood vessel is confirmed, it is displayed relatively small, and irregularities on the blood vessel surface are displayed. When observing, display relatively large.
  • the medical image observation support device includes (a) anatomical structure information storage means for storing anatomical structure information including at least anatomical name information, and (b) An anatomical name associating means for associating the anatomical name information stored in the anatomical structure information storage means with the luminal structure data is further provided.
  • anatomical structure information is associated with the lumen structure data
  • the anatomical structure information associated with the lumen structure data can be used as a pair. Become.
  • the medical image observation support device is configured to display the luminal organ on a virtual image displayed on the display unit based on the anatomical name association by the anatomical name association unit. It is characterized by having an image composition means for displaying an anatomical name. According to this configuration, the anatomical name of the luminal organ is displayed on the virtual image displayed on the display unit by the image synthesizing unit, thereby facilitating observation of the luminal organ. .
  • the virtual image generation means The image processing method is changed based on the anatomical structure information or the luminal structure data.
  • an appropriate image processing method can be changed automatically or by the operator for each part of the luminal organ, so that the luminal area data can be extracted with high accuracy.
  • the medical image observation support device includes: (a) an endoscope position for detecting a relative position of a distal end portion of an endoscope actually inserted into the subject. Detecting means; and (b) comparing the distal end position of the endoscope detected by the endoscope position detecting means with the lumen structure data, so that the inside of the lumen organ at the distal end portion of the endoscope is compared. And a first actual image observation position estimating means for estimating an actual image observation position, which is a position at. In this way, the relative position of the distal end portion of the endoscope detected by the endoscope position detecting means is compared with the lumen structure data, and the actual image observation position is estimated. The position of the tip of the endoscope corresponding to the observation position can be grasped more accurately.
  • the medical image observation support device includes: (a) a virtual image including a branching portion in the luminal organ among the plurality of virtual images generated by the virtual image generation unit; Virtual image storage means for storing the luminal structure data corresponding to the virtual image in association with each other, and (b) an actual endoscopic image actually captured by the endoscope inserted into the subject.
  • the feature corresponding to the appearing lumen structure data is extracted, the feature is compared with the lumen structure data stored in the virtual image storage means, and the virtual image corresponding to the lumen structure data matched as a result of the comparison is extracted.
  • It has the 2nd real image observation position estimation means which estimates an observation position as the said real image observation position, It is characterized by the above-mentioned.
  • the second real image observation position estimating unit extracts the feature corresponding to the lumen structure data appearing in the actual endoscopic image, and the feature is stored in the virtual image storage unit. Since the observation position of the virtual image corresponding to the lumen structure data matched as a result of the comparison is estimated as the actual image observation position by comparing with the cavity structure data, it is possible to detect the actual endoscope tip position. It is possible to estimate the distal end position of the endoscope, and the actual endoscope image and the virtual image are collated based on the characteristics corresponding to the lumen structure data appearing on the image. Highly accurate collation can be realized while reducing.
  • the image synthesizing unit pairs the display unit with the real endoscopic image and the virtual image generated by the virtual image generating unit corresponding to the real endoscopic image. It is characterized by being displayed in a ratioable manner. In this way, the actual endoscopic image and the virtual image are displayed on the display means so as to be comparable.
  • the virtual image generation unit generates the virtual image by using the observation position as the real image observation position estimated by the first real image observation position estimation unit. To do.
  • the virtual image is a virtual image obtained by setting the observation position as the real image observation position estimated by the first real image observation position estimation unit, the real endoscope A virtual image of the observation position force estimated to be the same as the actual image observation position of the image is obtained.
  • the virtual image generation unit generates the virtual image by setting the observation position as the real image observation position estimated by the second real image observation position estimation unit. To do.
  • the virtual image is a virtual image obtained by setting the observation position as the real image observation position estimated by the second real image observation position estimation unit, the real endoscope A virtual image of the observation position force estimated to be the same as the actual image observation position of the image is obtained.
  • the image synthesizing unit includes an actual endoscopic image displayed on the display unit based on the anatomical name association by the anatomical name association unit.
  • the anatomical name of the luminal organ is displayed on the top.
  • the anatomical name associated with the anatomical name association unit is displayed on the luminal organ on the actual endoscopic image displayed on the display unit. Even in the case of endoscopic images, it is possible to grasp which part is the luminal organ displayed in the image.
  • the virtual image and the real endoscopic image include the number and position of the luminal structure on the image, and the luminal shape. At least one of the brightness values in the structure is a feature on the image corresponding to the lumen structure data.
  • the luminal structure which is a feature corresponding to the luminal structure data on the image, which the virtual image and the real endoscope image have. Since the actual endoscopic image and the virtual image are collated based on at least one of the number of structures, the position, and the brightness in the tubular structure, it is necessary to collate the entire image. There is no.
  • the medical image observation support apparatus has virtual image learning means for learning and correcting the contents stored in the virtual image storage means based on the result of the collation.
  • the second actual image observation position estimating means learns and corrects the contents stored in the virtual image storage means based on the result of the collation by the virtual image learning means.
  • the verification is repeated, more accurate verification can be performed.
  • the medical image observation support device has an insertion site force for inserting the endoscope into a target site in the luminal organ on the image a route to the target site.
  • a plurality of navigation means that open to the branching portion of the luminal organ shown on the actual endoscopic image displayed on the display means; One of the branch pipes is displayed to indicate one branch pipe into which the endoscope is to be inserted.
  • the endoscope of the plurality of branch pipes opened at the branching portion of the luminal organ shown on the actual endoscopic image displayed on the display means by the navigation means.
  • the medical image observation support device has an insertion site force for inserting the endoscope into a target site in the lumen organ on the image of a route to the target site.
  • the navigation means automatically generates the path and associates the anatomical name with each part of the luminal organ constituting the path.
  • a plurality of anatomical names respectively associated by means are listed in the order of the insertion site force and the route to the target site.
  • the navigation means automatically generates the route, while a plurality of anatomical name forces associated with each part of the luminal organ constituting the route. Are listed in the order of the route from the target site to the target site.
  • the path for inserting the endoscope to the target site in the hollow organ can be recognized in advance by the anatomical name.
  • the medical image support apparatus relates to a structure of extraluminal tissue existing outside the luminal organ in the subject based on the three-dimensional image data.
  • the virtual image generation means includes a virtual image of the luminal organ, a virtual image of the extraluminal tissue, and Are displayed at the same scale while maintaining the actual positional relationship in the same image. In this way, the position and size of the extraluminal tissue existing outside the luminal organ based on the three-dimensional image data, even on the virtual image. Can be grasped.
  • the anatomical structure information storage means includes at least anatomical name information for the luminal organ and at least anatomy for the extraluminal tissue.
  • the anatomical name association means stores the anatomy stored in the anatomical structure information storage means for the hollow organ.
  • the anatomical number information stored in the anatomical structure information storage means is associated with the extraluminal tissue structure information. In this way, the anatomical name association means can associate an anatomical number with the extraluminal tissue in the same manner as associating the anatomical name with the luminal organ.
  • the medical image observation support device is displayed on the display device based on the association of the anatomical name or the anatomical number by the anatomical name association unit.
  • An image composition means for displaying the anatomical name of the luminal organ and the anatomical number of the extraluminal tissue on a virtual image is provided.
  • the image synthesizing unit displays the anatomical name of the luminal organ and the anatomical number of the extraluminal tissue on the virtual image displayed on the display unit. Observation of the luminal organ is facilitated.
  • the virtual image generation means includes the anatomical structure information, the luminal structure data, or the extraluminal tissue structure information.
  • the image processing method is changed based on at least one. If you do this
  • the navigation means can insert the endoscope in the luminal organ adjacent to the extraluminal tissue when the extraluminal tissue is set as a target site.
  • the site is an actual target site.
  • the operator simply sets the target extraluminal tissue as the target site, and then inserts the endoscope into the site where the endoscope in the luminal organ adjacent to the extraluminal tissue can be inserted. Can receive assistance to insert an endoscope.
  • the extraluminal tissue is a lymph node
  • the luminal organ is a blood vessel.
  • the endoscope that is close to the lymph node is used.
  • the endoscope can be inserted through the blood vessel to the vicinity of the lymph node.
  • FIG. 1 is a functional block diagram showing an outline of functions of a medical image observation support apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a functional configuration of the information extraction unit in FIG.
  • FIG. 3 is a diagram for explaining information stored in the anatomical information database of FIG. 1.
  • FIG. 4 is a diagram illustrating an example of the relationship between each branch site of a hollow organ and the branch serial number assigned to each site using a model.
  • FIG. 5 is a flowchart showing a flow of extraction processing of organ structure information, organ structure information, and each branch part name by the information extraction unit of FIG.
  • FIG. 6 An example of a tomographic image based on CT image data as a three-dimensional image.
  • FIG. 7 is an example of MPR (multi-section reconstructed image) as a three-dimensional image.
  • FIG. 8 is a diagram for explaining VOI setting by a VOI setting unit.
  • FIG. 9 is a diagram for explaining extraction of organ region information by an organ region information extraction unit.
  • FIG. 10 is a diagram for explaining extraction of organ region information on the lower surface of the VOI.
  • FIG. 11 is a diagram for explaining extraction of organ structure information by an organ structure information extraction unit.
  • FIG. 13 is a diagram for explaining extraction of organ region information for an extended VOI.
  • FIG. 14 is a diagram for explaining extraction of organ region information on the underside of an expanded VOI.
  • This is a diagram for explaining further expansion of VOI by the information extraction unit and corresponds to FIG.
  • FIG. 16 is a diagram for explaining extraction of organ region information for a further expanded VOI, and corresponds to FIG.
  • FIG. 18 is a diagram for explaining extraction of organ structure information by the organ structure information extraction unit for the extended VOI, and corresponds to FIG.
  • FIG. 19 is a diagram showing a state in which the VOI deviates from the luminal organ.
  • FIG. 20 is a view showing the bottom surface of a VOI showing a state where the VOI is displaced from the luminal organ.
  • FIG. 21 is a diagram for explaining VOI direction correction processing.
  • FIG. 22 is a diagram for explaining VOI direction correction processing.
  • FIG. 23 is a diagram showing an example of VOI when a branch of a hollow organ is detected.
  • FIG. 24 is a diagram showing an example of VOI when a branch of a hollow organ is detected.
  • FIG. 25 is a diagram for explaining setting of a child VOI by a VOI setting unit.
  • FIG. 26 is a diagram for explaining the setting of grandchild VOI.
  • FIG. 27 is a diagram showing an example of generated organ structure information.
  • FIG. 28 is a diagram showing an example of organ structure information displayed on the display means.
  • FIG. 29 is a diagram for explaining a concept in which organ structure information of a plurality of luminal organs is associated.
  • FIG. 30 is a diagram in which a 3D image of an artery and organ structure information of the artery are superimposed and displayed.
  • FIG. 31 is a diagram in which a three-dimensional image of a vein is further superimposed on FIG.
  • FIG. 33 is a flowchart showing the flow of the luminal organ observation support process of the luminal organ observation support device of FIG. 1.
  • FIG. 34 is a diagram showing an example of a mouse constituting the input unit.
  • FIG. 35 is a diagram illustrating an example of a relationship between a gazing point, a viewpoint, and a line of sight.
  • FIG. 37 is a diagram for explaining a plurality of viewpoint positions and a generated lumen appearance image.
  • FIG. 39 is a diagram showing the structure of a device in Example 2.
  • FIG. 41 is a diagram for explaining the transformation matrix calculation routine in FIG.
  • ⁇ 42 It is a diagram for explaining the relationship between the measured endoscope tip position and the virtual core wire.
  • FIG. 43 is a diagram for explaining a measured endoscope tip position, a converted position, and its distance.
  • ⁇ 45 It is a functional block diagram for explaining the outline of the functions of the medical image observation support device in Example 2.
  • ⁇ 46 A flowchart explaining an outline of an operation corresponding to the virtual image storage unit in the medical image observation support device in the second embodiment.
  • FIG. 47 is a flowchart for explaining the outline of the operation corresponding to the second actual image observation position estimation means 114 in the medical image observation support device in the second embodiment.
  • FIG. 48 is a diagram for explaining the learning routine in FIG.
  • FIG. 50 is a functional block diagram showing an outline of functions of the medical image observation apparatus in the fourth embodiment.
  • FIG. 51 is a flowchart showing an outline of the operation of the medical image observation apparatus in Example 4.
  • FIG. 52 is a diagram illustrating an example of display on the monitor 2 in the fourth embodiment.
  • FIG. 53 is a diagram illustrating an example of display on the monitor 2 in the fourth embodiment.
  • FIG. 54 is a diagram illustrating an example of display on the monitor 2 in the fourth embodiment.
  • FIG. 55 is a diagram illustrating an example of display on the monitor 2 in the fourth embodiment.
  • FIG. 56 is a diagram illustrating an outline of functions of the information extraction unit 12 in the fifth embodiment, and corresponds to FIG.
  • FIG. 57 is a flowchart showing an outline of the operation of the medical image observation apparatus in Example 5.
  • FIG. 58 is a diagram illustrating an example of display on the monitor 2 in the fifth embodiment.
  • Anatomical structure information storage means (anatomical information database)
  • Virtual image learning unit (virtual image learning means)
  • Virtual image storage (virtual image storage means)
  • First actual image observation position estimation unit (First actual image observation position estimation means)
  • Second actual image observation position estimation unit (second actual image observation position estimation unit)
  • Navigation unit (navigation unit)
  • Extraluminal tissue extraction unit Extraluminal tissue extraction means
  • FIG. 1 is a functional block diagram showing an outline of the functional configuration of the medical image observation support apparatus
  • FIG. 2 is a function of the information extraction unit 12 of FIG. It is a functional block diagram which shows a structure.
  • 3 is a first diagram for explaining the anatomical information DB of FIG. 1
  • FIG. 4 is a second diagram for explaining the anatomical information DB of FIG.
  • FIG. 5 is a flowchart showing a flow of extraction processing of organ structure information, organ structure information, and branch site names by the information extraction unit of FIG. 1, and FIGS. 6 to 31 are flow charts of FIG. It is a figure explaining the mode of the process of.
  • FIG. 32 is a flowchart showing the flow of the luminal organ observation support process in the medical image observation support apparatus of FIG. 1, and FIGS. 34 to 38 each show the flow chart process of FIG. FIG.
  • the medical image observation support device 1 of this embodiment includes a ROM that stores information stored in a readable manner, and a RAM that stores information in a readable and writable manner as necessary. It is composed of a so-called computer that can control operations according to a pre-stored program composed of a CPU (central processing unit) that computes this information. Based on the CT image data, the computer 1 as the medical image observation support device extracts the region information and the structure information of the luminal organ designated by the input unit 3 having a pointing device such as a mouse, and generates a virtual image. Control the viewpoint position and gaze direction.
  • the viewpoint position which is the observation position, moves along a virtual core line along the longitudinal direction of the luminal organ, and the gaze direction is calculated as the direction of force from the viewpoint position to the gazing point placed on the virtual core line.
  • the point of gaze indicates the point that becomes the center of observation. In the image, this gazing point is located at the center of the image. Therefore, the direction of directional force from the viewpoint position to the gazing point becomes the line-of-sight direction.
  • a state in which a gazing point is placed on the virtual core and the viewpoint position and the direction of the line of sight are controlled is referred to as a lock-on state.
  • the placement status of the luminal organs is displayed on the monitor 2 as a display means with a virtual image before or during image diagnosis, laparotomy, endoscopic surgery, or during endoscopic surgery. I do.
  • the medical image observation support device 1 includes a CT image data capturing unit 10, a CT image data storage unit 11, a volume region setting unit, a luminal organ region information calculating unit, a luminal organ structure information calculating unit, and a virtual core generation.
  • Information extraction unit 12 as means and anatomical name association means, anatomical information database (hereinafter abbreviated as DB) 13 as anatomical structure information storage means, viewpoint position as observation position defining means Z eye-gaze direction A setting unit 14, a luminal organ image generation unit 15 as a virtual image generation unit, an anatomical name information generation unit 16, a branch specification unit 17 as a start point specification unit, an image synthesis display unit 18 as an image synthesis unit, and It comprises a user interface (hereinafter abbreviated as IZF) control unit 19 as a target point movement control means.
  • DB anatomical information database
  • viewpoint position as observation position defining means
  • a luminal organ image generation unit 15 as a virtual image generation unit
  • an anatomical name information generation unit 16 as a branch specification unit 17 as a start point specification unit
  • an image synthesis display unit 18 as an image synthesis unit
  • It comprises a user interface (hereinafter abbreviated as IZF)
  • the CT image data capturing unit 10 converts 3D image data generated by a known CT apparatus (not shown) that captures an X-ray tomogram of a patient into, for example, an MO (Magnetic Optical Disc) apparatus or a DVD (Digital Versatile Disc) The data is taken in via a portable storage medium.
  • a known CT apparatus not shown
  • MO Magnetic Optical Disc
  • DVD Digital Versatile Disc
  • the CT image data storage unit 11 stores the CT image data acquired by the CT image data acquisition unit 10.
  • the information extraction unit 12 divides the luminal organ into VOIs (Volume Of Interest: hereinafter referred to simply as VOI) which are volume regions to be described later, and extracts the luminal organs in the VOI. Extract region information (lumen region data) and structure information (lumen structure data). In addition, the information extraction unit 12 associates the luminal organ region information and structure information with the anatomical information stored in the anatomical information DB 13. Based on the structure of the luminal organ connected to the VOI associated with the anatomical information, a new VOI is generated, and the area information and structure information of the luminal organ in the new VOI are extracted. In addition, name assignment information for assigning names to structural information in the VOI associated with anatomical information is generated. Output to raw part 16.
  • VOI Volume Of Interest
  • the viewpoint position Z line-of-sight direction setting unit 14 sets the gazing point on the virtual core line of the luminal organ based on the structural information of the luminal organ extracted by the information extraction unit 12, and the appearance of the luminal organ Set the viewpoint position and line-of-sight direction.
  • the observation position defining means includes the viewpoint position Z line-of-sight direction setting unit 14.
  • the luminal organ image generation unit 15 performs image processing on the CT image data stored in the CT image data storage unit 11 based on the region information of the luminal organ extracted by the information extraction unit 12, Viewpoint position Z Visual direction setting unit 14 generates an appearance image of a virtual luminal organ with the viewpoint position and visual direction force.
  • the virtual image generation means is configured by the luminal organ image generation unit 15.
  • the anatomical name information generation unit 16 generates character image data based on the name assignment information from the information extraction unit 12.
  • the branch specifying unit 17 specifies a branch of the luminal organ having a tree structure (a structure having a branch) with a mouse or the like that the input unit 2 has.
  • the image composition display unit 18 synthesizes the virtual luminal organ image from the luminal organ image generation unit 15 and the character image data from the anatomical name information generation unit 16 to monitor the image.
  • the synthesized image is displayed on the screen 2.
  • the user IZF control unit 19 controls the input of the input unit 3 according to the setting state of the viewpoint position Z line-of-sight direction setting unit 14. Specifically, when the display method is locked on in the viewpoint position Z line-of-sight direction setting unit 14, control is performed so that the input information of the mouse included in the input unit 3 is used only for the vertical movement information of the image. To do. Details will be described later. It should be noted that when the display method is not in the lock-on state, the control of the input information of the mouse that the input unit 3 has is cancelled.
  • the information extraction unit 12 includes an organ region information extraction unit 12a, an organ structure information extraction unit 12b, an image processing method extraction unit 12c, a part name assignment information extraction unit 12d, and an extraction information. It consists of an association unit 12e, an extracted information storage unit 12f, and a VOI setting unit 12g.
  • the luminal organ region information calculating means is configured by the organ region information extracting unit 12a
  • the luminal organ structure information calculating unit is configured by the organ structure information extracting unit 12b.
  • the volume area setting means is constituted by a VOI setting unit 12g.
  • the anatomical information DB 13 is a database of branch serial numbers in units of branch structures of a hollow organ that forms a tree structure. Specifically, anatomical information
  • Branch link information that is the serial number of the branch to which the nth branch is linked
  • Density value characteristics of nth branch pixel data eg, average value information, variance information
  • the information extraction unit 12 determines which branch structure is the extracted VOI, and correlates with the anatomical information DB13 information (1) to (6) according to the branch structure, so that the region information of the luminal organ is obtained. And the structure information is stored in the extracted information storage unit 12f.
  • bronchi 30 as shown in Fig. 4 is used as an example, and using the flowchart of Fig. 5, organ region information, organ structure information, and each branch, which are one of the actions of the present embodiment.
  • the part name extraction process will be described.
  • FIG. 4 shows an anatomical model of bronchus 30.
  • Bronchi 30 has a tree structure, and a serial number “n” is attached to each branch site (“1” to “20” in FIG. 4).
  • the anatomical information DB 13 stores the above information (1) to (6) at least for each branch of the bronchus 30 based on the serial number “n”.
  • the luminal organ is not limited to the bronchus 30, but this embodiment is applicable to any luminal organ such as the esophagus, blood vessel, large intestine, small intestine, duodenum, stomach, bile duct, knee tube, or lymphatic organ. it can.
  • FIG. 5 is a flowchart for explaining a main part of the control operation of the medical image observation support apparatus 1.
  • step a step corresponding to the branch specifying unit 17 (hereinafter, “step” is omitted)
  • S1 is based on CT image data displayed on the monitor 2, for example, from the input unit 3 having a pointing device such as a mouse.
  • a tomographic image see Fig. 6 for example
  • an MPR image a multi-section reconstructed image: see Fig. 7 for example
  • region information and structure information of a luminal organ An input of a starting point at which to start extraction is detected.
  • a VOI 33 having a cross section 32 including the start point 31 on the upper surface is set as shown in FIG.
  • the size of the upper surface of the VOI 33 is set based on the radius of the cross section 32. For example, when the radius of the cross-section is 32, the size of the upper surface of VOI33 is set to a 5r x 5r square.
  • organ region information 35 in the VOI 33 (including inner wall and outer wall information of the luminal organ) Is extracted.
  • the image processing method is changed based on the anatomical structure information stored in the anatomical information DB 13.
  • an image processing method for example,
  • organ region information 35 is also extracted for the lower cross section 34 of the bronchus 30 that is the lower surface of the VOI 33. Specifically, as shown in FIG. 10, the center of gravity 36 of the organ region information 35 in the lower cross section 34 is also calculated.
  • S8 corresponding to the information extraction unit 12, it is determined whether or not the extraction processing by S2 to S7 has been completed in the entire region of the trachea 30. Specifically, for example, first, it is determined whether or not the organ area information 35 of the lower cross section 34 of the bronchus 30 is present on the lower surface of the VOI 33. It is determined whether the extraction in the area is complete.
  • S9 is executed.
  • whether or not the force has reached the branch is determined by detecting the presence or absence of the branch. Specifically, for example, it is determined that a branch has been reached based on the detection of a plurality of organ region information 35 of the lower cross section 34 of the trachea 30 on the lower surface of the VOI 33.
  • the line segment connecting the center of gravity 36 and the center of gravity 36a is extracted as organ structure information 37a. Is issued.
  • the organ region information 35a calculated in S5 and the organ structure information 37a extracted in S6 are associated with the anatomical information (1) to (6) in the anatomy information DB13 in the extracted information storage unit 12f. Stored.
  • the anatomical information (1) to (6) of the branch part of the bronchus 30 included in the children VOI33 (l) a and 33 (l) b connected to VOI33A is anatomical.
  • the anatomical information (1) to (6) of the branch part extracted in S2 is stored in the extracted information storage unit 12f, and the anatomical names are associated with each other.
  • the traveling direction and length of the corresponding branch calculated using the structural data of the luminal organ obtained by the information extraction unit 12, and the bronchial branch obtained so far that is, the branch Using the anatomical information of the parent of the part and the branches above it, the most similar branch among the bronchial branches stored in the anatomical information DB 13 is obtained, and the anatomy is determined for that branch. Associate specific names.
  • the size of the upper surface of the children VOI33 (l) a and 33 (l) b is based on the radius of the branch sections 32A and 32B! Is set.
  • the organ structure information 37A obtained before the setting of the children VOI33 (l) a and 33 (l) b is from the start point 31 to the center of the lower section 34 ⁇ of the VOI33A.
  • the centroids of the cross sections 32A and 32B of a and 33 (l) b are connected to each other and stored in the extracted information storage unit 12f as organ structure information which is a continuous line segment in the organ structure information 37A.
  • step S8 corresponding to the information extraction unit 12, when it is determined that extraction of all organ regions is completed, the processing of this flowchart is terminated.
  • the information extraction unit 12 stores the organ structure information 37A in the extraction information storage unit 12f corresponding to all the branch sites of the bronchus 30.
  • FIG. 27 conceptually shows the above processing result, and the extracted information storage unit 12f stores the organ structure information 37A, the organ region information 35A, and the anatomical name of each branch part in association with each other.
  • FIG. 28 shows an example of a display image in which the organ structure information 37A displayed on the actual monitor 2 and the anatomical name of each branch site generated from the anatomical name information generation unit 16 are associated with each other. . In the image shown in the upper half of FIG.
  • the anatomical name information generation unit 16 generates character image data representing the anatomical name based on the name assignment information from the information extraction unit 12, In the image composition display unit 18, the anatomical name of each branch constituting the luminal organ on the virtual luminal appearance image data based on the organ area information 35A, organ structure information 37 or organ area information 35A, organ structure information 37 Is displayed.
  • a portion A surrounded by a broken-line square on the lower half surface of FIG. 28 is an enlarged view of the portion A of the image displayed on the monitor 2 described on the upper half surface.
  • the luminal organ is not limited to the bronchus 30, but the esophagus, blood vessel, large intestine, small intestine, duodenum, stomach, bile duct, knee canal, or lymphatic vessel is also stored.
  • section 12f as shown in FIG. 29, bronchial organ structure information, blood vessel organ structure information, and blood vessel organ structure information are stored in association with each organ structure information and each branch site name.
  • FIG. 30 shows the organ structure information of the artery and the 3D image of the artery superimposed
  • FIG. 31 shows the 3D image of the vein superimposed on FIG. Both are images displayed on the monitor 2.
  • various information can be extracted from an artery as well as the bronchus.
  • the luminal organ image generation unit 15 uses the organ region information from the information extraction unit 12, the organ structure information, and the CT image data from the CT image data storage unit as shown in FIG. A lumen appearance image 50 as shown is generated and displayed on the monitor 2. At this time, a pointer 51 is superimposed on the lumen appearance image 50 displayed on the monitor 2.
  • the pointer if the pointer reaches the luminal organ on the luminal appearance screen, the pointer cannot be moved out of the luminal organ unless a large amount of movement is given, and the luminal organ travels along the direction of the luminal organ. Can move the pointer easily. As a result, the observer can feel that the pointer is attracted to the hollow organ, and can easily select a point on the hollow organ as a starting point.
  • the line of sight can be changed by a predetermined angle ⁇ vertically and horizontally with respect to the line segment connecting the viewpoint and the gazing point.
  • the viewpoint position that is the observation position and the gaze point are set so that the size of the blood vessel displayed on the monitor 2 is the size desired by the observer regardless of the region.
  • the distance D between them is calculated, and the viewpoint 75 is determined based on this distance D.
  • viewpoint position information which is information related to the determined position of the viewpoint 75
  • gaze direction information which is information related to the direction of the line of sight
  • the actual size of the desired blood vessel on the screen for example, “actual size of 10 mm on the screen”) or a ratio to the width of the screen (for example, “10% of the screen width”).
  • the enlargement ratio is automatically calculated based on the blood vessel diameter obtained from the organ region information, and the distance D is calculated.
  • luminal appearance image data based on the viewpoint position information and the line-of-sight direction information calculated in S25 is generated. At this time, along with the lumen appearance image data, all the information based on the viewpoint position information and the line-of-sight direction information calculated in S25 may be output to the monitor 2.
  • the enlargement / reduction is interactively performed so that the viewer has a desired size via the input device which is a keyboard or a mouse constituting the input unit 3.
  • the distance D may be adjusted by performing. In this case, while holding down a key on the keyboard (for example, the z key) and pressing the mouse pointer button and moving it left and right, the blood vessel appearance image is displayed while being enlarged or reduced in accordance with this operation. The user can select a desired enlargement ratio. In other words, S24 to S26 may be repeated until a desired lumen appearance image is obtained.
  • FIG. 37 shows images from multiple viewpoints 75 (observation positions) when the viewpoint 75 (observation position) is moved as shown in FIG. 38 in the lock-on state, for example. Yes.
  • the gazing point is fixed on the core line which is the organ structure information 37A. In this way, in S 26 corresponding to the luminal organ image generation unit 15, a virtual luminal appearance image is generated so that, for example, the gazing point is the image center.
  • organ structure information is calculated after organ region information is extracted, it has been difficult to match the organ structure information with the core line of the luminal organ.
  • the information extraction unit 12 extracts the organ structure information simultaneously with the organ region information, the organ structure information can be extracted so as to substantially coincide with the core line of the luminal organ.
  • an appropriate image processing method can be selected based on the anatomical information DB 13 of each branch, it is possible to accurately extract the area and structure information of the luminal organ.
  • the extracted organ structure information is used as the core line of the luminal organ, and the viewpoint position and the gazing point are set so that the displayed blood vessel has a desired size regardless of the region. The distance between them is calculated, and a virtual lumen appearance image is generated and displayed so that the point of interest is at the center of the image. Therefore, the observer can surely observe the luminal organ at a desired size without a complicated operation of changing the viewpoint position / gaze direction. Therefore, the observer can easily grasp the running state and shape change of the luminal organ before or during the image diagnosis, laparotomy, and endoscopic surgery. Therefore, it can be said that the present invention based on Example 1 facilitates the appearance observation of the luminal organ.
  • the VOI setting unit 12g sets a volume region including a part of a hollow organ extending into the subject based on the three-dimensional image data of the subject, Based on the 3D image data, the organ region information extraction unit 12a repeatedly calculates organ region information 35, which is region information of a specific luminal organ in the volume region, and the organ structure information extraction unit 12b For each of the organ region information 35, organ structure information 37, which is the structure information of the hollow organ in the volume region, is calculated, and the organ structure information is obtained by the structure information extraction unit 12b as the virtual core generation means.
  • a virtual core line is generated along the longitudinal direction of the luminal organ, and the luminal organ image generation unit 15 generates a virtual image of the luminal organ along the virtual core line, and the viewpoint position Z sight line direction setting is generated.
  • the unit 14 generates the virtual image based on at least one of the virtual core line, the organ area information 35, and the organ structure information 37 so that the display area of the luminal organ on the monitor 2 has a desired size.
  • the observation position to be determined is determined, the observation position is moved along the longitudinal direction of the luminal organ based on the virtual core line or the luminal structure data, and the virtual image is displayed by the display means.
  • a virtual image reflecting the structural information of the luminal organ can be obtained from the three-dimensional image data, and a complicated visual point change can be made from an arbitrary position of the luminal organ.
  • the observation position can be automatically moved along the longitudinal direction of the hollow organ, and the display position of the hollow organ on the display means is calculated to an area of a desired size. This automatically adjusts the display magnification of the luminal organ when displaying the appearance image, so that it becomes easy for the observer to observe the very long luminal organ along the direction in which the luminal organ travels. .
  • the anatomical structure information associated with the organ structure information 37 can be used as a pair.
  • the anatomical name of the luminal organ is displayed on the virtual image displayed on the monitor 2 by the image composition display unit 18. The observation of the organ becomes easy.
  • the luminal organ image generation unit 15 changes the image processing method based on the anatomical structure information or the organ structure information 37. It is possible to change an appropriate image processing method for each part automatically or by an operator, and there is an effect that lumen region data can be extracted with high accuracy.
  • FIG. 39 is an overview for explaining a medical image support apparatus to which the present invention is applied.
  • the computer 1 as the medical image support apparatus is provided with an endoscope position detection unit 106 as an endoscope position detection unit and a first actual image observation position estimation unit 112 as a first actual image observation position estimation unit.
  • a position sensor 86 is attached to the distal end portion of the endoscope 84.
  • the position sensor 86 for example, a magnetic position sensor is used.
  • the endoscope 84 is connected to an endoscope apparatus 88, and the endoscope apparatus 88 performs processing such as outputting an image of a small video camera force provided at the distal end of the endoscope 84.
  • the magnetic field generating coil 90 generates a predetermined magnetic field based on an instruction from the position detection device 82 and causes the position sensor 86 to detect information related to the magnetic field.
  • the position detection device 82 collects information on the magnetic field generated by the magnetic field generation coil 90 and information on the magnetic field detected by the position sensor 86 and sends the collected information to the endoscope position detection unit 106.
  • the endoscope position detection unit 106 detects the relative positional relationship between the magnetic field generating coil 90 and the position sensor 86 based on the transmitted information. At this time, the endoscope position detection unit 106 can detect three degrees of freedom in the translation direction and three degrees of freedom in the rotation direction with respect to the position of the position sensor 86.
  • position sensor 86 is microBIRD manufactured by Assention Technology Inc. Further, since the position sensor 86 is very small and is embedded in the distal end portion of the endoscope 84, the position detected for the position sensor 86 is regarded as the position of the distal end portion of the endoscope as it is. I can do it.
  • control computer 1 as the medical image observation support device uses the tip position of the endoscope 84 detected by the position detection device 82 and the organ structure information 37 corresponding to the luminal organ structure data. By comparing, the position of the distal end portion of the endoscope 84 in the bronchus 30 as the luminal organ is estimated.
  • FIG. 40 is a flowchart for explaining the main part of the control operation of the computer 1 in this embodiment, that is, the operation for estimating the actual image observation position.
  • step hereinafter, “step” is omitted) in S31, the organ region information extraction unit 12a and the organ structure are described.
  • the organ region information 35 and the organ structure information 37 extracted by the structure information extraction unit 12b and stored in the extraction information storage unit 12f are read out.
  • the information power about the position pj of the distal end portion of the endoscope 84 which is detected by 2 and stored in the storage device 4, for example, is also acquired for the past detection.
  • FIG. 42 shows a relationship between the virtual core line c and the position pj of the distal end portion of the endoscope 84 in the organ structure information 37 read out at this time.
  • S33 to S35 correspond to the first actual image observation position estimation unit 112. Of these, S3
  • step 3 the subroutine for calculating the transformation matrix T shown in FIG. 41 is executed.
  • the transformation matrix T is
  • the transformation matrix T is a matrix that transforms the coordinate system of the position detected by the position detection device 82 into a coordinate system that represents a three-dimensional image.
  • the initial value of the transformation matrix T is determined.
  • the coordinates of the position pj of the tip are converted by the conversion matrix T, and the converted position qj is calculated.
  • a conversion error e is calculated.
  • a distance dj between the converted position qj and the virtual core line c is calculated.
  • the distance dj is, specifically, the intersection force between the perpendicular and the virtual core c when the perpendicular is drawn from the tip position qj to the virtual core c to the converted position qj. Is the distance.
  • Figure 43 shows the situation at this time. Subsequently, a conversion error e is calculated based on the calculated distance dj. This conversion error e is given by
  • wj is a weight for the distance dj, for example, the position pj of the tip detected in the past It is set so that the effect on error e becomes smaller.
  • the routine is terminated with the value of T when S43 is executed as the transformation matrix T. On the other hand, if this determination is negative, S46 is executed.
  • the value of T in S43 is updated by a predetermined amount, and S42 and subsequent steps are executed again.
  • updating by a predetermined amount means changing the value of T so that the conversion error e decreases. That is, S42 to S44 and S46 are executed repeatedly.
  • a transformation matrix T that minimizes the transformation error e is determined.
  • the sufficient number of times means, for example, that S33 to S35 corresponding to the first actual image observation position estimation unit 112 have been executed for all the endoscope positions detected by the actual endoscope position detection unit 106. Etc. are determined based on the above.
  • the distal end position pj of the endoscope 84 is updated. Specifically, for example, the newly detected position information is fetched, while the most recently detected position information is deleted by the number corresponding to the fetched position information. .
  • the position pj of the distal end portion of the endoscope 84 detected by S32 corresponding to the endoscope position detecting unit 106 corresponds to the first actual image observation position estimating unit 112.
  • the transformation matrix T calculated in 3 to S35 is transformed into the structure of the hollow organ in the organ structure information 37, that is, the point on the coordinate in the three-dimensional image. This is shown in Figure 44.
  • the position pj of the distal end of the endoscope 84 can be converted into a point on the coordinates of the 3D image using the conversion matrix T. It is possible to cope with the case where the position of the luminal organ in the specimen differs between when the endoscope is inserted.
  • the medical image observation support device 1 is operated by the position detection unit 106.
  • the relative position pj of the position sensor 86 provided at the distal end portion of the endoscope 84 actually inserted into the subject is detected, and the detected first endoscope is detected by the first actual image observation position estimation unit 112.
  • an observation position 75 as an actual image observation position that is a position in the luminal organ of the tip of the endoscope 75 Therefore, the actual image observation position corresponding to the position of the distal end portion of the endoscope can be grasped more accurately.
  • the first actual image observation position estimation unit 112 detects the relative position of the distal end portion of the endoscope detected by the position detection unit 106 and the lumen structure data. Since the actual image observation position is estimated, the position of the distal end portion of the endoscope corresponding to the actual image observation position can be grasped more accurately.
  • FIG. 45 shows an outline of the function of the computer 1 which is another embodiment of the present invention, that is, a medical image observation support device having a virtual image storage means detection means and a second real image observation position estimation means.
  • a virtual image storage unit 110 as a virtual image storage unit includes a branching part feature information generation unit 92, an association unit 94, a virtual image learning unit 102, and the like, which will be described later, and serves as a second actual image observation position estimation unit.
  • the second actual image observation position estimation unit 114 includes a feature extraction unit 96, an image collation unit 98, a position determination unit 100, and the like, which will be described later. That is, in FIG. 45, the portion surrounded by the broken line corresponds to the virtual image storage unit 110, and the portion surrounded by the alternate long and short dash line corresponds to the second actual image observation position estimation unit 114.
  • the branch part feature information generation unit 92 as the branch part feature information generation means is based on the organ structure information 37 stored in the information extraction unit 12 (extraction information storage unit 12f), in particular, information on the virtual core c. , A portion where the luminal organ branches (referred to as a “branch portion”) is detected. Then, on the basis of the organ structure information 37 on the detected branching portion, the information (“branching portion feature information”) regarding the features appearing on the image is displayed in the virtual image including the branching portion. Is generated).
  • the features appearing on the image are the number of images of the hole in which the luminal organ that continues in the back direction of the screen appears as a hole, the position of the image of the hole, or the brightness in the image of the hole.
  • the lightness in the hole image is a feature based on the length of the luminal organ. For example, when the luminal organ continues on a straight line for a long time, the lightness is low, that is, a dark hole image. It is because it appears. An example of this is shown in FIG.
  • Fig. 49 for four different branch parts, the virtual image and branch part feature information extracted from the virtual image are shown.
  • the figure shown on the left represents the virtual image of the branch part
  • the figure shown on the right represents the characteristic information of the branch part.
  • the bifurcation part feature information includes the number of holes and the force that indicates the position of the hole in the image. It is done. Therefore, comparing easel and case2 in Fig. 49, they are distinguished because the number of holes and their positions in the image are similar, but the brightness of the holes is significantly different.
  • the associating unit 94 as the associating means is generated by the virtual image generated by the luminal organ image generating unit 15 and the branching part feature information generating unit 92 for the same branching unit. Correlate with the branch feature information. Further, the associated virtual image and branching part feature information are stored in the storage unit 4 as storage means, and a virtual image database 104 with feature information is generated.
  • the feature extraction unit 96 as the feature extraction means is an image obtained by a video camera attached to the distal end of the endoscope 84 and processed by the endoscope device 88. A feature corresponding to the feature information is extracted.
  • the image matching unit 98 serving as an image matching unit is added to the virtual image database 104 with feature information based on the branching feature information in the real endoscope image extracted by the feature extracting unit 96.
  • the stored virtual image is compared and collated with the branch feature information. Then, a virtual image associated with the bifurcation feature information to be matched with the bifurcation feature information in the actual endoscopic image is selected.
  • the position determining unit 100 serving as a position determining means uses the virtual image observation position (viewpoint) 75 selected by the image collating unit 98 as the distal end portion of the endoscope at the time of capturing the real endoscopic image. It is determined that the position is.
  • the virtual image learning unit 102 as virtual image learning means compares the virtual image selected by the image matching unit 98 with the real endoscopic image, and the branching portion feature information in the virtual image is The virtual image is corrected so that it becomes the branch feature information of the actual endoscopic image.
  • FIGS. 46 to 48 are flowcharts showing an outline of the operation of the computer 1 as the medical image observation support device in the present embodiment. 46 corresponds to the operation of the virtual image storage unit 110, and the flowchart of FIG. 47 corresponds to the operation of the second actual image observation position estimation unit 114. The flowchart in FIG. 48 corresponds to the learning routine executed in the flowchart in FIG.
  • S51 and S52 correspond to the branching feature information generating unit 92.
  • the organ structure information 37 stored in the extracted information storage unit 12f in particular information related to the virtual core line c, is read, and the branching section where the virtual core line branches is specified.
  • branch feature information that appears on the virtual image when a virtual image including the branch is generated is generated.
  • the bifurcation feature information means at least the number of images of the hole in which the luminal organ continuing in the direction toward the back of the screen appears as a hole, the position of the image of the hole, or the brightness of the image of the hole.
  • a virtual image including the branching unit is generated.
  • the branching unit is included from among the stored virtual images. A virtual image may be selected.
  • step 1 it is determined whether or not the processing of S52 to S54 has been executed for all the branch portions in the virtual core line c. And when it is executed for all the branching sections, this determination is affirmed, and this flowchart ends. On the other hand, if not all branches are executed, the branch executed in S56 is changed, that is, S5. In step 1, the processing of S52 to S54 is still executed among the branching portions identified above, and the processing of S52 to S54 is repeated while paying attention to the branching portion.
  • the flowchart in FIG. 47 corresponds to the second actual image observation position estimation unit 114.
  • S61 an actual endoscopic image captured by the video camera provided at the distal end portion of the endoscope 84 and processed by the endoscope device 88 is taken into the computer 1 as a medical image observation support device.
  • the feature corresponding to the branching part feature image is extracted from the real endoscopic image captured by S61. Then, in subsequent S63, it is determined whether or not the feature extracted in S62 corresponds to the branch of the luminal organ. That is, if an image feature corresponding to the branching of the luminal organ appears in the actual endoscopic image, the determination in this step is affirmed, and the subsequent S64 and subsequent steps are executed. On the other hand, features on the image corresponding to the branching of the luminal organ appear in the actual endoscopic image! / Wow! In this case, for example, when the feature exists on the image but it does not correspond to the branching of the hollow organ, or when the feature that can be detected in S62 does not exist on the image, this flowchart is terminated. To do.
  • the position of the distal end portion of the endoscope 84 at the time of capturing the real endoscope image captured in S61 is determined based on the virtual image selected in S64.
  • the observation position (viewpoint) is determined to be 75.
  • the virtual image corrected in S71 is stored in the virtual image database 104 with feature information in place of the virtual image so far.
  • the second real image observation position estimation unit 114 extracts the feature corresponding to the bifurcation structure information that appears in the real endoscope image, and the feature is virtual with feature information. Based on the bifurcation feature information that is also generated in the luminal structure data stored in the image database 104, collation is performed, and a virtual image associated with the bifurcation feature information that matches as a result of the collation is selected. Since the observation position 75 of the virtual image is estimated as the actual image observation position, it is possible to estimate the distal end position of the endoscope without detecting the actual distal end position of the endoscope. Since the actual endoscopic image and the virtual image are collated based on the feature corresponding to the lumen structure data appearing in FIG. 5, it is possible to realize highly accurate collation while reducing the time required for collation.
  • the second real image observation position estimating unit 114 extracts features corresponding to the lumen structure data appearing in the real endoscopic image, and the features are extracted from the virtual image storage unit. 110 is compared with the organ structure information 37 stored in 110, and the observation position 75 of the virtual image corresponding to the organ structure information 37 matched as a result of the comparison is estimated as the actual image observation position. It is possible to estimate the tip position of the endoscope 84 without detecting the tip position of the endoscope, and the features corresponding to the organ structure information 37 appearing on the image and the actual endoscope image and the Since virtual images are collated, it is possible to achieve highly accurate collation while reducing the time required for collation.
  • the second actual image observation position estimation unit 114 is the virtual Since the image learning unit 102 learns and corrects the content stored in the virtual image storage unit 110 based on the result of the collation, more accurate collation can be performed each time the collation is repeated.
  • FIG. 50 is a functional block diagram showing an outline of the functions of the computer 1 which is another embodiment of the present invention, that is, the medical image observation support device having the image synthesizing means and the navigation means.
  • an image composition display unit 18 serving as an image composition unit is captured by a video camera attached to the distal end portion of an endoscope 84 and obtained through an endoscope device 88.
  • the endoscopic image and the virtual image generated by the luminal organ image generation unit 15 as the virtual image generation means are displayed on the monitor 2 as the display means so as to be comparable.
  • the luminal organ image generation unit 15 generates a virtual image using the actual image observation position estimated by the first actual image observation position estimation unit 112 or the second actual image observation position estimation unit 114 as the observation position.
  • a virtual image having the same observation position force as that of the actual endoscopic image that is, a display image, a display position, a scale, and the like are substantially equal to the real image, and a virtual image is obtained.
  • the image composition display unit 18 uses the anatomical name information generation unit 16 to associate the anatomical name associated with the site of the luminal organ displayed in the virtual image or the real endoscopic image.
  • the target name is superimposed on the virtual image or the real endoscopic image, for example, with characters. This is shown in FIG.
  • the navigation unit 116 as the navigation means includes a route generation unit 118 as the route generation unit, an insertion guide unit 120 as the insertion guide unit, and a route name display unit 122 as the route name display unit.
  • a route generation unit 118 as the route generation unit
  • an insertion guide unit 120 as the insertion guide unit
  • a route name display unit 122 as the route name display unit.
  • the route generation unit 118 for example, when the operator specifies the target part set in the 3D image data, that is, when the operator specifies the part from which the endoscope is to be reached from now on, The path of the luminal organ that is passed through to reach the target site is searched. Of this route The search is performed, for example, by accumulating information on which route the endoscope should be advanced in, for example, a branching unit.
  • the insertion guide section 120 is a plurality of openings that open to the branch section when the endoscope 84 reaches immediately before the branch section according to the path of the hollow organ generated by the path generation section 118.
  • a display indicating one branch pipe into which the endoscope 84 should be inserted is displayed on the image composition display unit 18. Specifically, first, when the bifurcation feature information appears in the actual endoscopic image, or when the first real image observation position estimation unit 112 or the second real image observation position estimation unit 114 performs real image observation. As a result of collating the position of the distal end portion of the endoscope 84 estimated as the position with the organ structure information, it is determined that the endoscope 84 is positioned immediately before the bifurcation portion. To detect.
  • the endoscope should be advanced to any branch pipe that opens at the branch. Further, a display indicating the branch pipe to be advanced is displayed on the image composition display unit 18, which is displayed on the real endoscopic image and / or the virtual image, and is displayed on the branch image. Display.
  • FIG. 54 shows an example of this.
  • FIG. 54 is an image showing a branch portion where branch pipes 124a, 124b, and 124c exist. This image may be the actual endoscopic image or the virtual image.
  • the insertion guide unit 120 determines that the branch pipe into which the endoscope 84 is to be inserted is 124c based on the route generated by the route generation unit 118, the insertion guide unit 120 displays the image composition display unit 18
  • the branch pipe 124c is displayed as a branch pipe to be advanced by the endoscope.
  • This display may be, for example, an arrow 126a in FIG. 54, a character display 126b, or a combination thereof.
  • the route name display unit 122 describes the locations of the luminal organs constituting the route of the luminal organs generated by the route generation unit 118, and stores them in association with these sites.
  • the scientific name is read from the extracted information storage unit 12f.
  • the route generated by the route generation unit 118 can be grasped by the anatomical name.
  • the route name display unit 122 displays information on the route expressed by the anatomical name on the monitor 2 for the image composition display unit 18 according to the operation of the operator.
  • FIG. 55 shows an example of the display on the monitor 2 at this time.
  • a path name display unit 128 provided on the left half surface and an image display unit 130 provided on the right half surface constitute a screen.
  • the route name display unit 1208 information on the route expressed by the anatomical name created by the route name display unit 122, that is, the anatomy of each part of the luminal organ constituting the route is described.
  • the target names are displayed so as to be listed in the order of the insertion site of the endoscope or the route from the current position to the target site.
  • the virtual image of the branching portion existing on the path generated by the luminal organ image generation unit 15 is displayed in a reduced size.
  • the virtual image of the branching unit may be displayed as shown in FIG. 55, or the real endoscopic image and the virtual image may be displayed in a comparable manner as shown in FIG.
  • the insertion guide display by the insertion guide unit 120 and the real endoscope image or the virtual image may be superimposed and displayed, or the image display unit 130 may not be provided.
  • FIG. 51 is a flowchart showing an outline of the operation of the computer 1 also as the medical image observation apparatus in the present embodiment.
  • 3D image data is acquired from the CT image data storage unit 11 (see FIG. 1).
  • S82 in the acquired three-dimensional image data, a target site which is a site to which the endoscope 84 is to be inserted and reached is set. This target part is input by the operator via the input unit 3, for example.
  • the organ region information 35, the organ structure information 37, and the like stored in the information extraction unit 12 are read. Further, in S84, the information extraction unit 12 (extraction information storage) also stores anatomical information associated with each part of the hollow organ from which the organ-related information 35 or organ structure information 37 is read in S83. Part 12f) Force is also read.
  • S85 and S86 correspond to the path generation unit 118.
  • a start position for starting navigation is set.
  • the start position may be set by the endoscope position detection unit 106, or from the actual endoscope image of the endoscope 84, the first actual image observation position estimation unit 112 or the second actual image observation.
  • the position estimation unit 114 may estimate the position.
  • the insertion position is used before insertion of the endoscope into the subject. A little.
  • the route in the hollow organ from the start position set in S85 to the target site set in S82 is determined.
  • this route when the structure of the luminal organ is only capable of branching, it is uniquely determined by setting the start position and the target site.
  • a plurality of routes may be candidates as a result of the search when the start position and the target site are set. In such a case, for example, based on which route is the shortest or which route has a structure that is easy to insert the endoscope 84, a plurality of candidates are selected. If the route power of the one also determines the one route ,.
  • the route determined in S86 is represented by the anatomical name read out in S83.
  • the anatomical name associated with each part of the hollow organ constituting the path determined in S86 is selected from the anatomical name read out in S83.
  • the path expressed by the anatomical name that is, the anatomical name associated with each part of the hollow organ constituting the path is determined from the start position. Listed in order of the route to the target site is displayed on the monitor 2.
  • an actual endoscopic image captured by a video camera attached to the distal end portion of the endoscope 84 is captured via the endoscopic device 88.
  • the video camera when the actual endoscope image is captured The position of the tip of the endoscope where is attached is estimated.
  • An image made up of symbols and characters eg, arrow 126a and character 126b in FIG. 54 is created.
  • the generated image data is appropriately selected according to the operation of the operator, and the selected image data is synthesized and displayed on two monitors.
  • the real endoscopic image captured in S88 and the virtual image generated in S90 are displayed in a comparable manner, and S is appropriately displayed on both the real endoscopic image and the virtual image.
  • the character image representing the anatomical name created in 91 can be superimposed and displayed.
  • the three-dimensional image data captured in S81 may be displayed, or as shown in FIG.
  • the endoscopic image includes an image that also has a force such as a symbol for indicating the branch pipe into which the endoscope should be inserted at the branch portion created in S91, and the observation site created in S91 as well.
  • a character representing the anatomical name of the character (for example, 125 in FIG. 54) and the force S can be displayed in a superimposed manner.
  • a path expressed by enumerating anatomical names can be displayed as character information, and some image data can be displayed.
  • Such a plurality of display forms can be appropriately switched according to the operation of the operator, for example! / Speak.
  • the image composition display unit 18 is generated on the monitor 2 by the virtual image generation unit corresponding to the real endoscopic image and the real endoscopic image.
  • the virtual image is displayed so that it can be compared.
  • the luminal organ image generation unit 15 sets the observation position 75 as the actual image observation position estimated by the first actual image observation position estimation unit 112. Since the virtual image is generated, a virtual image of the observation position force estimated to be the same as the real image observation position of the real endoscope image is obtained. According to the above-described embodiment, the luminal organ image generation unit 15 sets the observation position 75 as the actual image observation position estimated by the second actual image observation position estimation unit 114. Since the virtual image is generated, a virtual image of the observation position force estimated to be the same as the real image observation position of the real endoscope image is obtained.
  • the image composition display unit 18 is displayed on the monitor 2 based on the anatomical name association by the information extraction unit 12. Since the anatomical name of the luminal organ is displayed on the actual endoscopic image, it is possible to grasp which part of the luminal organ displayed in the image is the actual endoscopic image. it can.
  • the navigation unit 116 opens a plurality of branches opened at the branching portion of the luminal organ shown on the actual endoscopic image displayed on the monitor 2. Since the display showing one branch tube into which the endoscope 84 of the tube is to be inserted is displayed, the operator can easily insert the endoscope 84 to the target site in the luminal organ. A branch pipe to be inserted can also be recognized at a branch portion of a hollow organ.
  • the navigation unit 116 automatically generates the route, while a plurality of anatomical names associated with each part of the luminal organ constituting the route. Are listed in the order of the path from the insertion site to the target site, it is possible to recognize in advance the path from the insertion of the endoscope to the target site in the hollow organ by an anatomical name. it can.
  • the computer 1 as the medical image observation support device has the same configuration as the configuration diagram of FIG.
  • the information extraction unit 12 in FIG. 1 has a configuration as shown in FIG. 56 and is different from the information extraction unit 12 in FIG. 2 in that it has an extraluminal tissue extraction unit 12h.
  • FIGS. 1 and 2 differ from the functions in FIGS. 1 and 2 will be described.
  • the extraluminal tissue extracting unit 12h as the extraluminal tissue extracting means extracts the image of the extraluminal tissue existing outside the luminal organ by analyzing the three-dimensional image, Extraluminal tissue structure information 132, which is information about the size and position in the three-dimensional image, is generated.
  • the extraction information association unit 12e associates the organ region information 35 and the organ structure information 37 with the anatomical information and stores them in the extraction information storage unit 12f. Associating with an anatomical number, which will be described later, and storing it in the extracted information storage unit
  • the anatomical information DB 13 is connected to the extraluminal tissue! This is the anatomical structure information
  • anatomical information DB13 is an anatomical number
  • anatomical model information as anatomical structure information as shown in (1) to (6) below is stored.
  • the information extraction unit 12 determines the anatomical number of the extraluminal tissue extracted by the extraluminal tissue extraction unit 12h based on the information stored in the anatomical information DB 13. Then, the anatomical number determined to be the extraluminal tissue is associated and stored in the extracted information storage unit 12f.
  • the luminal organ image generation unit 15 as a virtual image generation unit generates a virtual image of the luminal organ, and in addition to the extraluminal tissue extracted by the extraluminal tissue extraction unit 12h. Based on the structure information, the CT image data stored in the CT image data storage unit 11 is subjected to image processing, and in the same image as the virtual image of the luminal organ, the luminal organ and the luminal organ are processed. An image of the extraluminal tissue is generated while maintaining the position and size relationship with the extraluminal tissue.
  • the anatomical name information generation unit 16 generates character image data based on the name assignment information from the information extraction unit 12, and in addition, generates anatomical information associated with the extraluminal tissue.
  • the number character image data is also generated.
  • FIG. 57 is a flowchart showing an outline of the operation of the luminal organ extracting unit 12h.
  • a process using a median smoothing filter is executed, and as the masking process, a background region outside the body surface is deleted, and the extraluminal tissue is inside the body.
  • a process is performed to delete a region that is determined to be non-existent based on a numerical value representing the structure of the tissue corresponding to each pixel in the three-dimensional image.
  • CT value representing the degree of X-ray absorption of the tissue.
  • the region corresponding to the block structure is extracted from the 3D image preprocessed in S101.
  • the above-mentioned 3D image CT image force is also trying to extract the lymph nodes.
  • the lymph node candidate region can be extracted.
  • the region extracted as a candidate may be changed. Specifically, for example, when the contrast between the extracted area and the outside of the area is very low, an area larger than necessary may be extracted. In such a case, processing is performed such that the region that has been over-extracted is deleted based on the possible size of the lymph node, and the region is reduced.
  • the region overlapping with the luminal organ is deleted from the regions that are candidates for the extraluminal tissue in S102.
  • the region of the blood vessel is based on the organ region information of the blood vessel that is a luminal organ stored in the information extraction unit 12. Are compared with the candidate area for the lymph node, and if both areas overlap, the candidate area for the duplicated lymph node is deleted. At this time, the three-dimensional image force may be extracted from the blood vessel region.
  • deletion of the extracted candidate area is executed based on the size of the extraluminal tissue.
  • an area smaller than a predetermined threshold is deleted from the lymph node candidate areas.
  • a candidate area smaller than the area on the image corresponding to the size of the lymph node to be extracted (for example, a radius of 2.5 mm or more) cannot be a candidate.
  • Areas on the image that are smaller than a threshold (e.g., area volume) determined based on the size of the lymph nodes to be removed are deleted
  • the extraction of the extracted candidate area is executed based on the shape of the extraluminal tissue. As a result, excessive over-extraction that cannot be deleted in the process up to S104 is performed.
  • the source area is deleted.
  • the shape of the lymph node to be extracted has an elliptical shape, and thus the candidate region having a shape that is clearly not an elliptical shape is deleted.
  • the shape is determined based on the sphericity DOS expressed by the following equation.
  • S is the surface area of the region and V is the volume of the region.
  • This sphericity DOS is 1 when the area is spherical, and increases as it becomes non-spherical. Therefore, the sphericity DOS is calculated for each of the candidate areas, and when the value exceeds a predetermined threshold value s (for example, 6), the candidate area is deleted.
  • a predetermined threshold value s for example, 6
  • the candidate region remaining after the above processing is set as a region indicating a lymph node.
  • Information on the size of the region and the position in the 3D image is stored as extraluminal tissue structure information.
  • FIG. 58 is an example of a virtual image in which a lymph node that is an extraluminal tissue extracted by the extraluminal tissue extraction means 12h and a blood vessel that is the luminal organ are displayed.
  • the luminal organ image generation unit 15 generates a virtual image while maintaining the positional relationship in the three-dimensional image on the same scale with the lymph node and the blood vessel, and the anatomical name generation unit.
  • the anatomical name of the blood vessel and the anatomical number of the lymph node are displayed superimposed on the virtual image.
  • the luminal organ extraction unit 12h based on the three-dimensional image data, the structure of the extraluminal tissue existing outside the luminal organ in the subject.
  • Extraluminal tissue structure information which is information relating to the above, is extracted, and the luminal organ image generation unit 15 actually combines the virtual image of the luminal organ and the virtual image of the luminal tissue in the same image. Since it is displayed on the same scale while maintaining the positional relationship, based on the three-dimensional image data, the extraluminal tissue existing outside the luminal organ has the same structure. The position and size of the virtual image can be grasped.
  • the anatomical information database 13 includes at least anatomical name information for the luminal organ and at least anatomical information for the extraluminal tissue.
  • the anatomical structure information including each number is stored, and the information extracting unit 12 Associates the anatomical name information stored in the anatomical information database 13 with the luminal structure data for the luminal organ, and stores the anatomical information database 13 with respect to the extraluminal tissue. Since the stored anatomical number is associated with the extraluminal tissue structure information, the information extraction unit 12 associates the extraluminal tissue with the anatomical name in association with the luminal organ. Anatomic numbers can be associated.
  • the image composition display unit 18 is based on the association of the anatomical name or the anatomical number by the information extraction unit 12 (extraction information association unit 12e), Since the anatomical name of the luminal organ and the anatomical number of the extraluminal tissue are displayed on the virtual image displayed on the monitor 2, observation of the luminal organ is facilitated.
  • the luminal organ image generation unit 15 has the anatomical structure information !, the organ structure information 37, and at least one of the extraluminal tissue structure information. Therefore, it is possible to change the appropriate image processing method automatically or by the operator for each part of the luminal organ or the extraluminal tissue. Region data or extraluminal tissue structure information can be extracted.
  • the navigation unit 116 when the extraluminal tissue is set as a target site, the above-described lumen organ in the vicinity of the extraluminal tissue. Since the site where the endoscope can be inserted is set as the actual target site, the operator simply sets the target extraluminal tissue as the target site, and in the lumen organ close to the extralumenal tissue. It is possible to receive support for inserting the endoscope up to the site where the endoscope can be inserted.
  • the extraluminal tissue is a lymph node
  • the luminal organ is a blood vessel
  • 3D image force can be extracted from extraluminal tissue information of nodes.
  • the video camera provided at the distal end portion of the position sensor 86 or the endoscope 84 is very small.
  • the first actual image observation position estimation means includes The estimated position and orientation of the position sensor 86 are directly used as the observation position of the endoscope 84, but this may be corrected based on the actual positional relationship.
  • the CT image data capturing unit 10 is not limited to the force that captures the three-dimensional image data by, for example, an MO device or a DVD device. It may be possible to capture 3D image data directly captured by a CT imaging device, such as by connecting to a CT imaging device via a network.
  • the force calculated from the transformation matrix is calculated more precisely by focusing only on the coordinate system of the position detector 82 and the coordinate system of the three-dimensional image. Defines the coordinate system of the position detector 82, the camera coordinate system, the coordinate system of the position sensor 86, the coordinate system in the 3D image, the actual coordinate system where the specimen exists, etc. You can do it!
  • the execution condition is executed as many times as necessary in step S34, and the force that the iteration is completed by satisfying this condition is not limited to this.
  • the latest pj and use the latest, ie, the most recently calculated transformation matrix T.
  • the virtual image learning unit 102 is not an essential component, and a certain effect can be obtained without the virtual image learning unit 102.
  • the navigation unit 116 is set such that the target part is set by the operator, for example.
  • the present invention is not limited to this, and is provided separately, for example.
  • the 3D image data is analyzed by an image diagnosis means or the like and a lesion site is found in the 3D image data, the found lesion site may be designated as a target site. In this way, the detection of the lesion site and the generation of the path in the luminal organ leading to the lesion site are automatically executed based on the 3D image data.
  • the navigation unit 116 performs the plan for inserting the endoscope on the monitor 2 as the display means.
  • the present invention is not limited to this, and particularly in the present invention. Since the route can be expressed by the anatomical name of the luminal organ, it is also possible to perform voice guidance by, for example, mechanically speaking the anatomical name. .
  • the display of the route name in S87 may be executed in accordance with the operation of the operator that is not necessarily required.
  • the image composition display unit 18 displays the real endoscopic image and the virtual image so as to be comparable as shown in FIG. 52, but the present invention is not limited to this.
  • FIG. 53 the real endoscopic image and the virtual image are displayed so as to be comparable, and the three-dimensional image may be further displayed.
  • the observation position or the observation position 75 of the virtual image may be displayed in a superimposed manner.
  • the plurality of display forms made by the image composition display unit 18 can be switched as appropriate according to the operation of the operator, but is not limited to this. May be switched automatically. Specifically, when the actual endoscopic image becomes the image of the branching section, the navigation section 116 performs guidance (that is, the display 126a and the display 126b), and automatically switches depending on the situation. You may make it
  • the target site in the navigation unit 116 is in the luminal organ.
  • the present invention is not limited to this, and an extraluminal tissue such as the extraluminal tissue is used. It may be the target site.
  • the navigation means is configured to execute a route search using a site where the endoscope of a hollow organ close to the set target site can be inserted as the target site. In this way, if the target site is set outside the luminal organ, In addition, since the route to the site where the endoscope of the hollow organ adjacent to the target site can be inserted is searched, the operator's endoscope insertion operation is supported.

Abstract

【課題】容易、かつ最適に管腔臓器の外観観察を支援する。 【解決手段】医療画像観察支援装置１は、ＣＴ画像データ取り込み部１０、ＣＴ画像データ格納部１１、情報抽出部１２、解剖学的情報ＤＢ１３、視点位置／視線方向設定部１４、管腔臓器画像生成部１５、解剖学的名称情報発生部１６、枝指定部１７、画像合成表示部１８及びユーザＩ／Ｆ制御部１９を備えて構成される。視点位置／視線方向設定部１４は、情報抽出部１２が抽出した管腔臓器の構造情報に基づき、管腔臓器の略中心軸に視点をロックオンして管腔臓器の外観を観察する視点位置及び視線方向を設定する。

Description

明 細 書
医療画像観察支援装置
技術分野
[0001] 本発明は、管腔臓器の外観の観察を支援する医療画像観察支援装置に関する。
背景技術
[0002] 近年、画像による診断が広く行われるようになっており、例えば X線 CT (Compute d Tomography)装置等により被検体の断層像を撮像することにより被検体内の様 子を示す 3次元画像データを得て、該 3次元画像データを用いて目的の診断が行わ れるようになってきた。
[0003] CT装置では、 X線照射器 ·検出器を連続的に回転させつつ被検体を体軸方向に 連続送りすることにより、被検体の 3次元領域について螺旋状の連続スキャン (ヘリ力 ルスキャン： helicalscan)を行 、、 3次元領域の連続するスライスの断層像を積み重 ねることによって 3次元画像を作成することが行われる。
[0004] そのような 3次元画像として、体幹部血管領域や肺の気管支領域の 3次元像がある 。血管領域の 3次元像は、例えば大腸癌手術において、切除部位の決定に際し、ど の範囲の血管を結紮 (糸などで血管を縛ることを!、う）すればよ!、か、等の 3次元的構 造を事前に正確に把握するために、管腔臓器の 3次元像を表示する必要がある。ま た、肺癌の場合には、どの気管支付近に肺癌が存在するかを診断するために、気管 支の榭状構造と肺癌の位置関係を分かりやすく表示する必要がある。
[0005] これまでに提案されて ヽる管腔臓器の画像表示方法、例えば特許文献 1としての「 特開 2000— 135215号公報等」では、被検体の 3次元領域の画像データに基づい て前記被検体内の管路の 3次元像を作成し、前記 3次元像上で前記管路に沿って 目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視鏡像を前記 画像データに基づいて作成し、前記仮想的な内視鏡像を表示することで、気管支内 視鏡を目的部位にナビゲーシヨンする装置が提案されて 、る。
[0006] しかし、内部を観察する上述のような従来技術の方法では、周辺の他臓器との位置 関係を把握することは非常に困難である。他臓器との位置関係を含めた管腔構造の 的確な把握は、画像診断、内視鏡検査 '手術、開腹手術を問わず、基本的かつ重要 なことであり、これを容易にする新 、支援装置が望まれる。
[0007] 一方、被検体の 3次元画像データに基づいて被検体内の管路の 3次元像を作成す るためには 3次元領域の画像データより所望の臓器、例えば、前記気管支の管腔路 領域情報を抽出する必要がある。そこで、例えば非特許文献 1としての「T.KitaSaka, K.Mori, J.Hasegawa and J.Toriwaki: A Method for Extraction of Bronchus Regions f rom 3D Chest X-ray CT Image by Analyzing Structural Features of the Bronchus", Forma 17, pp.321-338(2002)」等においては、被検体の 3次元領域上に所定のボタ セルよりなる所定の大きさの VOI (Volume Of Interest：注目体積領域）を設定し、この VOIを体軸方向に分割（セグメンテーション）しながら VOI内の被検体の 3次元領域 の画像データより所望の臓器、例えば、前記気管支の管腔路領域情報を抽出する手 法、 、わゆるセグメンテーション処理が提案されて 、る。
特許文献 1 :特開 2000— 135215号公報
特干文献 1 : T.Kitasaka, K.Mori, J.Hasegawa and J.Toriwaki: A Method for Extrac tion of Bronchus Regions from 3D Chest X-ray CT Image by Analyzing Structural F eatures of the Bronchus , " Forma 17, pp.321- 338(2002)
特許文献 2 :特開 2004— 180940号公報
特許文献 3：国際公開第 2004Z010857号パンフレット
特許文献 4 :特開 2006— 68351号公報
特許文献 5：特開 2004 - 230086号公報
特許文献 6 :特開 2000— 163555号公報
特許文献 7：特開 2003 - 265408号公報
発明の開示
発明が解決しょうとする課題
[0008] し力しながら、血管のように、多段階の分岐を有する複雑な構造を持った管路では 、どの血管が病変部に関与している力把握することが難しい、あるいは、非常に細い 多数の血管に紛れて注目したい血管の判別が難しい、などの問題がある。上記特許 文献 1の装置では、所望する管腔臓器内部を所定の視点から観察した際の仮想的 な内視鏡画像であるために、開腹手術等を行う際に管腔臓器の外観状況を把握す る必要がある場合には使用できない。さらに、任意の視点力 管腔臓器の外観を観 察するシステムを仮に考えたとしても、血管などの管腔臓器は複雑に入り組んでいる ため、細部を詳しく観察したり臓器構造を把握したりすることは困難である。
[0009] また、上記非特許文献 1のセグメンテーション処理では、確かに被検体の 3次元画 像データから所望の管腔臓器の管腔路領域情報を抽出することが可能であるが、情 報抽出する際には、従来は単一の閾値による閾値抽出処理、あるいは画像全体で 共通した画像強調フィルタによるフィルタ抽出処理を行って 、るため、例えば木構造 をなす管腔臓器の末梢部位、あるいは、特定の解剖学的部位において、基端部位と 同じ閾値あるいは強調フィルタを用いて抽出すると、十分な抽出精度を得ることがで きな ヽと ヽつた問題がある。
[0010] 一方、前記特許文献 2においては、被検体内の体腔路が分岐する全分岐点での 3 次元画像の複数の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手 段が生成した前記縮小画像の前記 3次元画像を回転させる画像回転手段と、前記 画像回転手段が前記 3次元画像を回転させた回転量データを前記 3次元画像と関 連付けて記憶する回転量データ記憶手段とを有する内視鏡装置が提案されている。 しかしながら、前記特許文献 2に提案の発明においては、前記 3次元画像を回転さ せる画像回転手段は操作者である術者の手動操作に基づいて実行されなければな らず、内視鏡の操作中にかかる操作を実行することは困難である。
[0011] また、前記特許文献 3においては、被検体内の体腔路が分岐する全分岐点での前 記 3次元画像の縮小画像を、前記内視鏡により撮像された前記被検体内の体腔路 の内視鏡画像と前記 3次元画像とからなるナビゲーシヨン画像に付加して前記ナビゲ ーシヨン画像を生成するナビテーシヨン画像生成手段を有することを特徴とする内視 鏡装置が提案されている。しかしながら、前記特許文献 3に提案の発明においては、 前記縮小画像は単に前記分岐点での 3次元画像を縮小したものにすぎない場合に は、前記縮小画像どうしが類似するものであった場合に操作者に混乱をきたすおそ れがある。
[0012] また、前記特許文献 4においては、被検体の管状構造物の芯線点列データを求め る医用画像処理方法が提案されているが、時間軸方向に複数有するボリュームデー タ群に基づくものである。また、前記特許文献 5においては、被検体の立体画像デー タ内の所望の管状構造物の領域を設定し、この領域設定手段により設定された管状 構造物の芯線を設定する画像処理装置が提案されて!ヽる。これら特許文献 4および 5に提案の発明にお 、ては、前記管状構造物が分岐を生じて 、る場合にっ 、ての言 及がなぐ力かる場合においてそのままの方法では芯線を設定することができない。
[0013] また、前記特許文献 6においては、関心領域である分岐枝領域を含む領域中に分 岐開始点と関心領域方向とを指定し、同一領域内では各点の濃度値はある濃度範 囲に属するという条件 (大域的変化の条件)および隣接点同士の濃度差は小さいと いう条件 (局所的変化の条件)を用いて前記分岐開始点から前記関心領域方向へ領 域拡張することにより分岐枝領域を抽出する領域抽出方法により、被検体の管状構 造物の分岐部分を抽出する方法が提案されている。し力しながら、前記特許文献 6の 発明は、被検体の断層画像である 2次元画像に対して実行するものであって、前記 ヘリカルスキャン等によって得られる 3次元画像にに対して実行することができない。
[0014] さらに、前記特許文献 7においては、実内視鏡画像とデータベース内に記憶された の仮想内視鏡画像と比較して、前記内視鏡画像と最も類似度が高!、仮想内視鏡画 像を決定し、決定された仮想内視鏡画像の情報から、軟性内視鏡先端部の位置と姿 勢を決定する内視鏡誘導装置が提案されている。しかしながら、特許文献 7の発明に おいては、内視鏡画像と仮想内視鏡画像との画像の比較において、画像全体の比 較をするものであるため、その処理に要する時間が長くなるおそれがある。さらに、特 許文献 7に記載の内視鏡誘導装置は決定された内視鏡先端部の位置と姿勢情報を MRI画像または CT画像上に重畳表示するものとされている力 力かる重畳表示によ つては術者に内視鏡の誘導のための充分な情報が与えられて 、るとは言 、難 、。
[0015] なお、前記特許文献 2においては、仮想内視鏡像において気管支経路名が重畳さ れる旨の記載があるが、力かる方法を具体的に実現するための方法や手段について は、前記特許文献 2にお 、ては何ら言及されて 、な!/、。
[0016] 本発明は、上述した点に鑑みてなされたもので、容易、かつ適切に管腔臓器の外 観観察および管腔臓器の構造把握を支援することのできる医療画像観察支援装置 を提供することを目的として!ヽる。
課題を解決するための手段
[0017] かかる目的を達成するために、請求項 1にかかる発明は、（a)被検体の 3次元画像 データに基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域を設 定する体積領域設定手段と、 (b)前記体積領域内での前記管腔臓器を表す 3次元 画像データに基づき、該体積領域内の特定の管腔臓器の領域情報である管腔領域 データを繰り返し算出する管腔臓器領域情報算出手段と、 (c)前記管腔臓器領域情 報算出手段が算出した前記管腔領域データ毎に、前記体積領域での前記管腔臓器 の構造情報である管腔構造データを算出する管腔臓器構造情報算出手段と、 (d)前 記管腔構造データに基づいて、前記管腔臓器の長手方向に沿った仮想芯線を生成 する仮想芯線生成手段と、 (e)前記仮想芯線に沿って前記管腔臓器の仮想画像を 生成する仮想画像生成手段と、（f)前記仮想画像を生成するための観察位置を、前 記仮想芯線、前記管腔領域データおよび前記管腔構造データの少なくとも 1つに基 づき前記表示手段における前記管腔臓器の表示領域が所望の大きさとなるように定 めるとともに、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長手 方向に沿って前記観察位置を移動させる観察位置規定手段と、（g)前記仮想画像を 表示するための表示手段とを備えることを特徴とする医療画像観察支援装置である。 発明の効果
[0018] 請求項 1に記載の医療画像観察支援装置によれば、前記体積領域設定手段により 、被検体の 3次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を 内含する体積領域が設定され、前記管腔臓器領域情報算出手段により、前記 3次元 画像データに基づき、前記体積領域内の特定の管腔臓器の領域情報である管腔領 域データが繰り返し算出され、前記管腔臓器構造情報算出手段により、前記管腔領 域データ毎に前記体積領域での前記管腔臓器の構造情報である管腔構造データが 算出され、前記仮想芯線生成手段により、前記管腔構造データに基づいて、前記管 腔臓器の長手方向に沿った仮想芯線が生成され、前記仮想画像生成手段により、 前記仮想芯線に沿って前記管腔臓器の仮想画像が生成され、前記観察位置規定 手段により、前記仮想芯線、前記管腔領域データおよび前記管腔構造データの少な くとも 1つに基づき前記表示手段における前記管腔臓器の表示領域が所望の大きさ となるように前記仮想画像を生成するための観察位置が定められるとともに、前記仮 想芯線または前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観 察位置が移動させられ、前記表示手段により前記仮想画像が表示されるので、前記
3次元画像データから前記管腔臓器の構造情報を反映した仮想画像を得ることがで きるとともに、管腔臓器の注目する任意の位置力 煩雑な視点変更操作なしに、確実 に臓器構造に沿って観察することが可能となるという効果がある。特に、管腔臓器の 長手方向に沿って観察位置を自動的に移動させることが可能となり、また、表示手段 上での管腔臓器の表示領域を所望の大きさの領域に観察位置を算出することで、外 観画像表示時における管腔臓器の表示倍率が自動的に調整されるので、観察者は 非常に長い管腔臓器を管腔臓器走行方向に沿って観察することが容易となる効果 がある。ここで所望の大きさとは、観察者が本装置の利用状況に応じて選択する大き さであり、例えば血管全体の走行状況を確認した 、場合には比較的小さく表示し、 血管表面の凹凸を観察する場合には比較的大きく表示する。
[0019] ここで好適には、前記医療画像観察支援装置は、（a)少なくとも解剖学的名称情報 を含んだ解剖学的構造情報を格納する解剖学的構造情報格納手段を備え、 (b)前 記解剖学的構造情報格納手段に格納された解剖学的名称情報を前記管腔構造デ ータに関連付ける解剖学的名称関連付け手段とをさらに備えることを特徴とする。こ のようにすれば、前記管腔構造データに前記解剖学的構造情報が関連付けられる ので、前記管腔構造データと関連付けられた前記解剖学的構造情報とは一対のもの として用いることが可能となる。
[0020] 好適には、前記医療画像観察支援装置は、前記解剖学的名称関連付け手段によ る前記解剖学名称関連付けに基づき、前記表示手段上に表示された仮想画像上に 前記管腔臓器の解剖学的名称を表示すること画像合成手段を有することを特徴とす る。このようにすれば、前記画像合成手段によって、前記表示手段上に表示された前 記仮想画像上に前記管腔臓器の解剖学的名称が表示されるので、管腔臓器の観察 が容易となる。
[0021] 好適には、前記医療画像観察支援装置において、前記仮想画像生成手段は、前 記解剖学的構造情報あるいは前記管腔構造データに基づき画像処理手法を変更 することを特徴とする。このようにすれば、管腔臓器の部位ごとに適切な画像処理手 法を自動的にあるいは操作者によって変更することが可能となるため、精度よく管腔 領域データを抽出できるという効果がある。
[0022] また、好適には、前記医療画像観察支援装置は、 (a)実際に前記被検体内に挿入 された内視鏡の先端部の相対的な位置を検出するための内視鏡位置検出手段と (b )該内視鏡位置検出手段によって検出された内視鏡の先端位置と前記管腔構造デ 一タとを比較することにより前記内視鏡の先端部の前記管腔臓器内における位置で ある実画像観察位置を推定する第一実画像観察位置推定手段とを有することを特 徴とする。このようにすれば、前記内視鏡位置検出手段によって検出された内視鏡の 先端部の相対的な位置が前記管腔構造データと比較され、実画像観察位置が推定 されるので、実画像観察位置に対応する内視鏡の先端部の位置が一層正確に把握 される。
[0023] 好適には、前記医療画像観察支援装置は、 (a)前記仮想画像生成手段によって生 成された複数の仮想画像のうち、前記管腔臓器内における分岐部を含む仮想画像と 、該仮想画像に対応する前記管腔構造データとを関連付けて記憶する仮想画像記 憶手段を有し、 (b)実際に被検体内に挿入された内視鏡によって撮像された実内視 鏡画像に現れる管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像 記憶手段に記憶された管腔構造データと照合するとともに、該照合の結果一致した 管腔構造データに対応する仮想画像の観察位置を前記実画像観察位置と推定する 第二実画像観察位置推定手段を有することを特徴とする。このようにすれば、前記第 二実画像観察位置推定手段によって、実内視鏡画像に現れる管腔構造データに対 応する特徴を抽出し、該特徴を前記仮想画像記憶手段に記憶された管腔構造デー タと照合し、照合の結果一致した管腔構造データに対応する仮想画像の観察位置 が前記実画像観察位置と推定されるので、実際の内視鏡の先端位置を検出すること なく前記内視鏡の先端位置を推定することが可能となり、また、画像上に現れる前記 管腔構造データに対応する特徴によって前記実内視鏡画像と前記仮想画像を照合 するので、照合に要する時間を低減しつつ、精度の高い照合を実現できる。 [0024] 好適には、前記画像合成手段は、前記表示手段に、前記実内視鏡画像と、該実内 視鏡画像に対応し前記仮想画像生成手段によって生成された前記仮想画像とを対 比可能に表示することを特徴とする。このようにすれば、前記表示手段において前記 実内視鏡画像と前記仮想画像とが対比可能に表示される。
[0025] 好適には、前記仮想画像生成手段は、前記観察位置を前記第一実画像観察位置 推定手段によって推定された前記実画像観察位置とすることによって前記仮想画像 を生成することを特徴とする。このようにすれば、前記仮想画像は、前記観察位置を 前記第一実画像観察位置推定手段によって推定された前記実画像観察位置とする ことによって得られる仮想画像であるので、前記実内視鏡画像の実画像観察位置と 同じと推定される観察位置力ゝらの仮想画像が得られる。
[0026] 好適には、前記仮想画像生成手段は、前記観察位置を前記第二実画像観察位置 推定手段によって推定された前記実画像観察位置とすることによって前記仮想画像 を生成することを特徴とする。このようにすれば、前記仮想画像は、前記観察位置を 前記第二実画像観察位置推定手段によって推定された前記実画像観察位置とする ことによって得られる仮想画像であるので、前記実内視鏡画像の実画像観察位置と 同じと推定される観察位置力ゝらの仮想画像が得られる。
[0027] 好適には、前記医療画像観察支援装置において、前記画像合成手段は、前記解 剖学的名称関連付け手段による前記解剖学名称関連付けに基づき、前記表示手段 に表示された実内視鏡画像上に前記管腔臓器の解剖学的名称を表示することを特 徴とする。このようにすれば、前記表示手段に表示された実内視鏡画像上の管腔臓 器には、前記解剖学的名称関連付け手段によって関連付けられた解剖学的名称が 表示されるので、実内視鏡画像にお!ヽても画像中に表示された管腔臓器が何れの 部位であるかを把握できる。
[0028] 好適には、前記医療画像観察支援装置にお!ヽて、前記仮想画像及び前記実内視 鏡画像は、画像上における管腔状の構造物の個数、位置、および該管腔状の構造 物内における明度の少なくとも 1つを前記管腔構造データに対応する画像上の特徴 とすることを特徴とする。このようにすれば、前記仮想画像および前記実内視鏡画像 の有する、画像上における前記管腔構造データに対応する特徴である管腔状の構 造物の個数、位置、および該管腔状の構造物内における明度の少なくとも 1つに基 づいて、前記実内視鏡画像と前記仮想画像とが照合されるので、画像全体を照合す る必要がない。
[0029] 好適には、前記医療画像観察支援装置にお！ヽて、前記第二実画像観察位置推定 手段は、前記照合の結果に基づ 、て前記仮想画像記憶手段に記憶された内容を学 習補正する仮想画像学習手段を有することを特徴とする。このようにすれば、前記第 二実画像観察位置推定手段は、前記仮想画像学習手段によって前記照合の結果 に基づ!/、て前記仮想画像記憶手段に記憶された内容を学習補正するので、前記照 合を繰り返す毎に一層正確な照合を実行できる。
[0030] また、好適には、 (a)前記医療画像観察支援装置は、前記内視鏡を前記管腔臓器 における目的部位に挿入するための挿入部位力 前記目的部位までの経路を画像 上で案内するためのナビゲーシヨン手段を有し、（b)前記ナビゲーシヨン手段は、前 記表示手段に表示された実内視鏡画像上に示された前記管腔臓器の分岐部に開 口する複数の枝管のうちの前記内視鏡を挿入すべき 1つの枝管を示す表示をするこ とを特徴とする。このようにすれば、前記ナビゲーシヨン手段によって、前記表示手段 に表示された実内視鏡画像上に示された前記管腔臓器の分岐部に開口する複数の 枝管のうちの前記内視鏡を挿入すべき 1つの枝管を示す表示がされるので、操作者 は前記内視鏡を前記管腔臓器における目的部位まで容易に挿入する際に前記管腔 臓器の分岐部においても挿入すべき枝管を認識することができる。
[0031] 好適には、 (a)前記医療画像観察支援装置は、前記内視鏡を前記管腔臓器にお ける目的部位に挿入するための挿入部位力 前記目的部位までの経路を画像上で 案内するためのナビゲーシヨン手段を有し、（b)前記ナビゲーシヨン手段は、前記経 路を自動的に生成するとともに、前記経路を構成する管腔臓器の各部位に対し前記 解剖学的名称関連付け手段によってそれぞれ関連付けられた複数の解剖学的名称 を、前記挿入部位力 前記目的部位までの経路の順で列挙することを特徴とする。こ のようにすれば、前記ナビゲーシヨン手段によって、前記経路が自動的に生成される 一方、前記経路を構成する管腔臓器の各部位に関連付けられた複数の解剖学的名 称力 前記挿入部位から前記目的部位までの経路の順で列挙されるので、前記内 視鏡を前記管腔臓器における目的部位まで挿入するまでの経路を予め解剖学的名 称によって認識することができる。
[0032] また、好適には、（a)前記医療画像支援装置は、前記 3次元画像データに基づい て、前記被検体内における前記管腔臓器の外に存在する管腔外組織の構造に関す る情報である管腔外組織構造情報を抽出する管腔外組織抽出手段を有し、 (b)前記 仮想画像生成手段は、前記管腔臓器の仮想画像と前記管腔外組織の仮想画像とを 同一の画像内に実際の位置関係を保持したまま同一の尺度で表示するものである。 このようにすれば、前記 3次元画像データに基づいて、前記管腔臓器の外に存在す る管腔外組織にっ 、ての構造にっ 、ても前記仮想画像上でその位置や大きさを把 握することができる。
[0033] 好適には、（a)前記解剖学的構造情報格納手段は、前記管腔臓器につ!、ては少 なくとも解剖学的名称情報を、前記管腔外組織については少なくとも解剖学的番号 をそれぞれ含んだ解剖学的構造情報を格納し、 (b)前記解剖学的名称関連付け手 段は、前記管腔臓器に対しては前記解剖学的構造情報格納手段に格納された解剖 学的名称情報を前記管腔構造データに関連付け、前記管腔外組織については前記 解剖学的構造情報格納手段に格納された解剖学的番号を前記管腔外組織構造情 報に関連付けるものである。このようにすれば、前記解剖学的名称関連付け手段は、 前記管腔臓器に解剖学的名称を関連付けるのと同様に、前記管腔外組織に解剖学 的番号を関連付けることができる。
[0034] 好適には、前記医療画像観察支援装置は、前記解剖学的名称関連付け手段によ る前記解剖学的名称あるいは前記解剖学的番号の関連付けに基づき、前記表示手 段上に表示された仮想画像上に前記管腔臓器の解剖学的名称および前記管腔外 組織の解剖学的番号を表示する画像合成手段を有することを特徴とする。このように すれば、前記画像合成手段によって、前記表示手段上に表示された前記仮想画像 上に前記管腔臓器の解剖学的名称および前記管腔外組織の解剖学的番号が表示 されるので、管腔臓器の観察が容易となる。
[0035] 好適には、前記医療画像観察支援装置において、前記仮想画像生成手段は、前 記解剖学的構造情報あるいは前記管腔構造データ、前記管腔外組織構造情報の 少なくとも 1つに基づき画像処理手法を変更することを特徴とする。このようにすれば
、管腔臓器の部位あるいは管腔外組織ごとに適切な画像処理手法を自動的にある いは操作者によって変更することが可能となるため、精度よく管腔領域データを抽出 できるという効果がある。
[0036] また好適には、前記ナビゲーシヨン手段は、前記管腔外組織を目的部位として設 定した場合に、該管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入 可能な部位を、実際の目的部位とすることを特徴とする。このようにすれば、操作者 は目的とする管腔外組織を目的部位として設定するだけで、該管腔外組織に近接し た前記管腔臓器における前記内視鏡を挿入可能な部位まで内視鏡を挿入するため の支援を受けることができる。
[0037] 好適には、前記管腔外組織とはリンパ節であり、前記管腔臓器とは血管であること を特徴とする。このようにすれば、前記管腔外組織としてのリンパ節に直接通ずるリン パ管に対しては直接内視鏡を挿入することが困難である場合に、前記リンパ節に近 接した前記内視鏡を挿入可能な血管の部位を目的部位とすることにより、内視鏡を 前記リンパ節の近傍まで前記血管を通して挿入することができる。
図面の簡単な説明
[0038] [図 1]本発明の実施例 1に係る医療画像観察支援装置の機能の概要を表す機能プロ ック図である。
[図 2]図 1の情報抽出部の機能構成を示すブロック図である。
[図 3]図 1の解剖学的情報データベースに格納される情報を説明する図である。
[図 4]管腔臓器の各枝部位とその各部位ごとに付される枝シリアル番号との関係の例 をモデルを用いて説明する図である。
[図 5]図 1の情報抽出部による臓器構造情報、臓器構造情報及び各枝部位名称の抽 出処理の流れを示すフローチャートである。
[図 6] 3次元画像としての CT画像データに基づく断層画像の例である。
[図 7]3次元画像としての MPR (多断面再構築画像)の例である。
[図 8]VOI設定部による VOIの設定を説明する図である。
[図 9]臓器領域情報抽出部による臓器領域情報の抽出を説明する図である。 圆 10]VOI下面における臓器領域情報の抽出を説明する図である。
圆 11]臓器構造情報抽出部による臓器構造情報の抽出を説明する図である。
圆 12]情報抽出部による VOIの伸長を説明する図である。
圆 13]伸長された VOIに対する臓器領域情報の抽出を説明する図である。
圆 14]伸長された VOI下面における臓器領域情報の抽出を説明する図である。 圆 15]情報抽出部による VOIのさらなる伸長を説明する図であって、図 12に対応す るものである。
圆 16]更に伸長された VOIに対する臓器領域情報の抽出を説明する図であって、図 13に対応するものである。
圆 17]更に伸長された VOI下面における臓器領域情報の抽出を説明する図であつ て、図 14に対応するものである。
圆 18]更に伸長された VOIに対する臓器構造情報抽出部による臓器構造情報の抽 出を説明する図であって、図 11に対応するものである。
圆 19]VOIが管腔臓器とずれた様子を示す図である。
圆 20]VOIが管腔臓器とずれた様子を示す VOIの底面を示す図である。
[図 21]VOIの方向修正処理を説明する図である。
[図 22]VOIの方向修正処理を説明する図である。
圆 23]管腔臓器の分岐を検出した場合の VOIの例を示す図である。
圆 24]管腔臓器の分岐を検出した場合の VOIの例を示す図である。
[図 25]VOI設定部による子 VOIの設定を説明する図である。
[図 26]孫 VOIの設定を説明する図である。
圆 27]生成された臓器構造情報の一例を示す図である。
[図 28]表示手段に表示された臓器構造情報の一例を表す図である。
圆 29]複数の管腔臓器の臓器構造情報が関連付けられた概念を説明する図である
[図 30]動脈の 3次元画像と動脈の臓器構造情報とを重畳表示した図である。
[図 31]図 30に更に静脈の 3次元画像を重畳表示した図である。
圆 32]図 1の管腔臓器観察支援装置の観察支援処理作用を説明するフローチャート である。
[図 33]図 1の管腔臓器観察支援装置の管腔臓器の観察支援処理の流れを示すフロ 一チャートである。
[図 34]入力部を構成するマウスの例を示す図である。
[図 35]注視点、視点、および視線の関係の一例を表す図である。
圆 36]視点が変更される例を説明する図である。
圆 37]複数の視点の位置と生成される管腔外観画像を説明する図である。
圆 38]視点の移動を説明する図である。
[図 39]実施例 2における機器の構成を示す図である。
圆 40]実施例 2における変換行列 Tの算出手順を説明するフローチャートである。 圆 41]図 40における変換行列算出ルーチンを説明する図である。
圆 42]計測された内視鏡先端位置と仮想芯線の関係を説明する図である。
圆 43]計測された内視鏡先端位置と、変換後の位置およびその距離を説明する図で ある。
圆 44]変換の概念を説明する図である。
圆 45]実施例 2における医療画像観察支援装置の機能の概要を説明する機能ブロッ ク線図である。
圆 46]実施例 2における医療画像観察支援装置のうち、仮想画像記憶手段に対応 する作動の概要を説明するフローチャートである。
圆 47]実施例 2における医療画像観察支援装置のうち、第二実画像観察位置推定 手段 114に対応する作動の概要を説明するフローチャートである。
圆 48]図 47における学習ルーチンを説明する図である。
圆 49]臓器構造情報に対応する画像上の特徴を説明する図である。
圆 50]実施例 4における医療画像観察装置の機能の概要を表す機能ブロック図であ る。
[図 51]実施例 4における医療画像観察装置の作動の概要を表すフローチャートであ る。
[図 52]実施例 4におけるモニタ 2の表示の一例を表す図である。 [図 53]実施例 4におけるモニタ 2の表示の一例を表す図である。
[図 54]実施例 4におけるモニタ 2の表示の一例を表す図である。
[図 55]実施例 4におけるモニタ 2の表示の一例を表す図である。
[図 56]実施例 5における情報抽出部 12の機能の概要を表す図であって、図 2に相当 する図である。
[図 57]実施例 5における医療画像観察装置の作動の概要を表すフローチャートであ る。
[図 58]実施例 5におけるモニタ 2の表示の一例を表す図である。
符号の説明
1：医療画像観察支援装置 (コンピュータ）
2 :表示手段 (モニタ）
12情報抽出部 (体積領域設定手段）
12情報抽出部 (管腔臓器領域情報算出手段）
12情報抽出部 (管腔臓器構造情報算出手段）
12情報抽出部 (仮想芯線生成手段）
12情報抽出部 (解剖学的名称関連付け手段）
13解剖学的構造情報格納手段 (解剖学的情報データベース)
14視点位置 Z視線方向設定部 (観察位置規定手段）
15管腔臓器画像生成部 (仮想画像生成手段）
18画像合成表示部 (画像合成手段）
35管腔領域データ (臓器領域情報）
37管腔構造データ (臓器構造情報）
75観察位置
82 内視鏡位置検出部（内視鏡位置検出手段）
84 内視鏡
102：仮想画像学習部 (仮想画像学習手段）
110 :仮想画像記憶部 (仮想画像記憶手段）
112 :第一実画像観察位置推定部 (第一実画像観察位置推定手段) 114：第二実画像観察位置推定部 (第二実画像観察位置推定手段） 116 :ナビゲーシヨン部（ナビゲーシヨン手段）
12h：管腔外組織抽出部 (管腔外組織抽出手段）
VOI :体積領域
c :仮想芯線
発明を実施するための最良の形態
[0040] 以下、図面を参照しながら本発明の実施例について述べる。
実施例 1
[0041] 図 1乃至図 38は本発明の実施例 1に係わり、図 1は医療画像観察支援装置の機能 の構成の概要を示す機能ブロック図、図 2は図 1の情報抽出部 12の機能構成を示す 機能ブロック図である。また、図 3は図 1の解剖学的情報 DBを説明する第 1の図、図 4は図 1の解剖学的情報 DB.を説明する第 2の図である。
[0042] 図 5は図 1の情報抽出部による臓器構造情報、臓器構造情報及び各枝部位名称 の抽出処理の流れを示すフローチャートであり、図 6乃至図 31はそれぞれ、図 5のフ ローチャートの処理の様子を説明する図である。
[0043] また、図 32は図 1の医療画像観察支援装置における管腔臓器の観察支援処理の 流れを示すフローチャートであり、図 34乃至図 38はそれぞれ、図 33のフローチヤ一 トの処理の様子を説明する図である。
[0044] 図 1に示すように、本実施例の医療画像観察支援装置 1は、予め記憶させられた情 報を読み出し可能に格納する ROM、必要に応じて情報を読み書き可能に記憶する RAM,これらの情報を演算する CPU (中央演算装置)などによって構成される予め 記憶されたプログラムに従って演算制御可能ないわゆるコンピュータなどによって構 成される。この医療画像観察支援装置としてのコンピュータ 1は、 CT画像データに基 づき、マウス等のポインティングデバイスを有する入力部 3が指定した管腔臓器の領 域情報及び構造情報を抽出し、仮想画像を生成するための視点位置 ·視線方向を 制御する。具体的には、観察位置である視点位置は管腔臓器の長手方向に沿った 仮想芯線に沿って移動し、視線方向は視点位置から仮想芯線上に置かれた注視点 へ向力 方向として計算される。なお、注視点とは、観察の中心となる点を示し、仮想 画像では、この注視点は画像中心に位置することになる。したがって、視点位置から 注視点に向力 方向が視線方向となる。以下、仮想芯線上に注視点が置かれ視点 位置と視線方向が制御される状態をロックオン状態と記す。そして、画像診断、開腹 手術、内視鏡下手術前、あるいは内視鏡下手術中に管腔臓器の配置状況を、仮想 画像により表示手段としてのモニタ 2に表示し、画像診断、手術の支援を行う。
[0045] 前記医療画像観察支援装置 1は、 CT画像データ取り込み部 10、 CT画像データ 格納部 11、体積領域設定手段、管腔臓器領域情報算出手段、管腔臓器構造情報 算出手段、仮想芯線生成手段及び解剖学的名称関連付け手段としての情報抽出部 12、解剖学的構造情報格納手段としての解剖学的情報データベース (以下、 DBと 略記する） 13、観察位置規定手段としての視点位置 Z視線方向設定部 14、仮想画 像生成手段としての管腔臓器画像生成部 15、解剖学的名称情報発生部 16、開始 点指定手段としての枝指定部 17、画像合成手段としての画像合成表示部 18及びす る注目点移動制御手段としてのユーザインターフ イス（以下、 IZFと略記する）制御 部 19を備えて構成される。
[0046] 前記 CT画像データ取り込み部 10は、患者の X線断層像を撮像する図示しない公 知の CT装置で生成された 3次元画像データを、例えば MO (Magnetic Opticaldi sc)装置や DVD (Digital Versatile Disc)装置等、可搬型の記憶媒体を介して取 り込みを行う。
[0047] 前記 CT画像データ格納部 11は、 CT画像データ取り込み部 10によって取り込まれ た CT画像データを格納する。
[0048] 前記情報抽出部 12は、管腔臓器を後述する体積領域である VOI (Volume Of Inter est:注目体積領域 =以下、単に VOIと記す）により分割して、 VOI内の管腔臓器の 領域情報 (管腔領域データ)及び構造情報 (管腔構造データ)を抽出する。また、情 報抽出部 12は、管腔臓器の領域情報及び構造情報を解剖学的情報 DB 13に格納 されて ヽる解剖学的情報と関連付けを行う。解剖学的情報と関連付けられた VOIに 連結させて管腔臓器の構造に基づき、新たな VOIを生成し、この新たな VOI内の管 腔臓器の領域情報及び構造情報を抽出する。また、解剖学的情報と関連付けられた VOI内の構造情報に名称を割り当てるための名称割当情報を解剖学的名称情報発 生部 16に出力する。
[0049] 前記視点位置 Z視線方向設定部 14は、情報抽出部 12が抽出した管腔臓器の構 造情報に基づき、管腔臓器の仮想芯線上に注視点を設定して管腔臓器の外観を観 察する視点位置及び視線方向を設定する。観察位置規定手段は、この視点位置 Z 視線方向設定部 14により構成される。
[0050] 前記管腔臓器画像生成部 15は、情報抽出部 12が抽出した管腔臓器の領域情報 に基づき、 CT画像データ格納部 11に格納されて ヽる CT画像データを画像処理し て、視点位置 Z視線方向設定部 14が指定した視点位置及び視線方向力もの仮想 的な管腔臓器の外観画像を生成する。仮想画像生成手段は、この管腔臓器画像生 成部 15により構成される。
[0051] 前記解剖学的名称情報発生部 16は、情報抽出部 12からの名称割当情報に基づ き、文字画像データを生成する。
[0052] 枝指定部 17は、木構造 (分岐を有する構造)をなす前記管腔臓器の枝を入力部 2 が有するマウス等により指定する。
[0053] 前記画像合成表示部 18は、前記管腔臓器画像生成部 15からの仮想的な管腔臓 器の画像と前記解剖学的名称情報発生部 16からの文字画像データを合成してモニ タ 2に前記合成された画像を表示する。
[0054] ユーザ IZF制御部 19は、前記視点位置 Z視線方向設定部 14の設定状態に応じ て入力部 3の入力を制御する。具体的には、前記視点位置 Z視線方向設定部 14に おいて表示方法がロックオン状態のときは、入力部 3が有するマウスの入力情報を画 像の上下移動情報のみに利用するように制御する。詳細は後述する。なお、前記視 点位置 Z視線方向設定部 14にお 、て表示方法がロックオン状態でな 、ときは、入 力部 3が有するマウスの入力情報の制御は解除されるようになっている。
[0055] 前記情報抽出部 12は、図 2に示すように、臓器領域情報抽出部 12a、臓器構造情 報抽出部 12b、画像処理方法抽出部 12c、部位名称割当情報抽出部 12d、抽出情 報関連付け部 12e、抽出情報格納部 12f及び VOI設定部 12gから構成される。各部 の詳細は後述するが、管腔臓器領域情報算出手段は臓器領域情報抽出部 12aによ り構成され、管腔臓器構造情報算出手段は臓器構造情報抽出部 12bにより構成され 、さらに、体積領域設定手段は VOI設定部 12gにより構成される。
[0056] 解剖学的情報 DB13は、図 3に例示するように、木構造をなす管腔臓器の枝構造 単位で枝シリアル番号によりデータベース化されている。具体的には、解剖学的情報
DB13は、枝シリアル番号「n(n=自然数)」毎に、以下の解剖学的構造情報としての 解剖学的モデル情報（1)〜（6)を格納して!/、る。
[0057] (1)第 n枝の走行方向の平均値情報と分散情報
(2)第 n枝の長さの平均値情報と分散情報
(3)第 n枝がリンクしている枝のシリアル番号である枝リンク情報
(4)第 n枝の画素データの濃度値特徴 (例、平均値情報、分散情報）
(5)第 n枝の直径及び円形度
(6)第 n枝に最適な画像処理手法情報
情報抽出部 12は、抽出している VOIがどの枝構造かを判断し、枝構造に応じて解 剖学的情報 DB13の情報（1)〜(6)に関連付けて、管腔臓器の領域情報及び構造 情報を抽出情報格納部 12fに格納する。
[0058] 以下、管腔臓器として、図 4に示すような気管支 30を例に、図 5のフローチャートを 用いて、本実施例の作用の 1つである臓器領域情報、臓器構造情報及び各枝部位 名称の抽出処理を説明する。
[0059] 図 4は解剖学的モデルの気管支 30を示しており、気管支 30は木構造をなし、各枝 部位にはシリアル番号「n」が付され（図 4では「1」〜「20」）が付され、このシリアル番 号「n」に基づき、解剖学的情報 DB13は、少なくとも気管支 30の各枝単位で上記の 情報（1)〜（6)を格納している。
[0060] なお、管腔臓器としては、気管支 30に限らず、食道、血管、大腸、小腸、十二指腸 、胃、胆管、膝管、または、リンパ管等、管腔臓器ならば本実施例が適用できる。
[0061] 図 5は、医療画像観察支援装置 1の制御作動の要部を説明するフローチャートであ る。まず、枝指定部 17に対応するステップ (以下「ステップ」を省略する。）S1におい ては、マウス等のポインティングデバイスを有する入力部 3からの、例えばモニタ 2に 表示される CT画像データに基づく断層画像 (例えば図 6参照）ある 、は MPR画像 ( 多断面再構築画像:例えば図 7参照)上での、管腔臓器の領域情報及び構造情報 の抽出を開始する開始点の入力が検出される。
[0062] S1において開始点の入力が検出されると、情報抽出部 12に対応する S2において は、開始点が設定された気管支 30 (臓器領域)の全ての枝の解剖学的情報（1)〜 (6 )が解剖学的情報 DB13から抽出され、 S3において抽出情報格納部 12fにこれらの 解剖学的情報（1)〜 (6)が格納される。
[0063] 情報抽出部 12の VOI設定部 12gに対応する S4においては、図 8に示すように、開 始点 31を含む断面 32を上面に有する VOI33が設定される。このとき VOI33の上面 の大きさは断面 32の半径に基づいて設定される。例えば断面 32の半径カ^のとき、 VOI33の上面の大きさは 5r X 5rの正方形に設定される。
[0064] そして、情報抽出部 12の臓器領域情報抽出部 12aに対応する S5においては、図 9に示すように、 VOI33内の臓器領域情報 35 (管腔臓器の内壁及び外壁情報を含 む）が抽出される。このとき、解剖学的情報 DB13に格納されている解剖学的構造情 報に基づき画像処理手法が変更される。画像処理手法としては、例えば
•閾値処理
•鮮鋭化処理と閾値処理
•平滑化処理と閾値処理
•差分フィルタ処理と閾値処理
•ヘシアンフィルタ処理と閾値処理
等の手法がある。また、上述の処理における最適なパラメータ選択も画像処理手法 の変更に含まれる。
[0065] また、 S5においては、 VOI33の下面である気管支 30の下断面 34についても臓器 領域情報 35が抽出される。具体的には、図 10に示すように、この下断面 34の臓器 領域情報 35の重心 36についても算出される。
[0066] 情報抽出部 12の臓器構造情報抽出部 12bに対応する S6においては、図 11に示 すように、臓器領域情報抽出部 12aが算出した重心 36と開始点 32とを結ぶ線分が 臓器構造情報 37として抽出される。
[0067] 次に、情報抽出部 12の抽出情報関連付け部 12eに対応する S7においては、 S5に おいて算出された臓器領域情報 35及び S6において抽出された臓器構造情報 37が 解剖学情報 DB13に格納された解剖学的情報（1)〜 (6)と関連付けて抽出情報格 納部 12fに格納される。これにより、例えば第 n枝の方向の平均値情報と分散情報で ある解剖学的情報（1)と関連付けることで、開始点 32、すなわち VOI33が気管支 30 のどの枝部位に属しているかが特定される。
[0068] そこで、 S7においては、特定された枝部位のみの解剖学情報 DB13の解剖学的情 報（1)〜 (6)だけが残され、他の枝部位の解剖学的情報（1)〜 (6)が抽出情報格納 部 12はり消去される。
[0069] そして、情報抽出部 12に対応する S8においては、 S2乃至 S7による抽出処理が気 管支 30の全領域において完了したかどうかが判定される。具体的には、例えばまず 、VOI33の下面に気管支 30の下断面 34の臓器領域情報 35があるかどうかが判断 され、ないと判断される場合には末梢と判断されると共に、続いて、全領域での抽出 が完了したかどうかが判定される。
[0070] S8において気管支 30の全領域での抽出が未完了と判断される場合には、 S9が実 行される。情報抽出部 12に対応する S9においては、分岐の有無が検出されることに より、分岐に到達した力どうかが判断される。具体的には、例えば VOI33の下面に気 管支 30の下断面 34の臓器領域情報 35が複数検知されたことに基づいて分岐に到 達したと判断される。
[0071] S9において分岐に到達していないと判断された場合には、情報抽出部 12に対応 する S10において、図 12に示すように、例えば VOI33の下面が所定量 A tだけ伸長 させられる。その後、情報抽出部 12に対応する S11において、必要に応じて VOI33 の方向修正が行われ、 S5以降が再度実行される。なお、 S11における VOI33の方 向修正処理につ!、ては後述する。
[0072] そして、情報抽出部 12の臓器領域情報抽出部 12aに対応する S5においては、図 13に示すように、所定量 A tだけ伸長させられた VOI33aに対して、 VOI33a内の臓 器領域情報 35aが抽出される。このときも、 S5において VOI33aの下面である気管支 30の下断面 34aの臓器領域情報 35aも抽出され、図 14に示すように、この下断面 3 4aの臓器領域情報 35aの重心 36aが算出される。
[0073] 続く S6においては、重心 36と重心 36aとを結ぶ線分が臓器構造情報 37aとして抽 出される。そして S7においては、 S5において算出された臓器領域情報 35a及び S6 において抽出された臓器構造情報 37aが解剖学情報 DB13の解剖学的情報（1)〜 (6)と関連付けて抽出情報格納部 12fに格納される。
[0074] この図 13の状態では、全領域が未抽出かつ分岐に未到達なので、 S8及び S9を経 て、再び、 S10及び S 11の処理が実行されて S5に戻る。図 15ないし図 18は再度、 V OI33の下面を所定量 Δ tだけ伸長させた場合の、所定量 Δ tだけ伸長させられた V OI33bに対して、臓器領域情報 35b及び臓器構造情報 37bの抽出状況を示してい る。なお、図 15ないし図 18にて符号 36bは VOI33bの下断面 34bの臓器領域情報 3 5bの重心である。
[0075] このようにして、 S5〜S11の処理が繰り返される力 VOI33が伸長されると、例えば 図 19に示すように、ある程度の大きさに伸長された VOI33Aにおいて、開始点から 連結された VOI33A内の臓器構造情報 37Aの終端である VOI33Aの下断面 34A の臓器領域情報 35Aの重心 36Aと、 VOI33Aの下断面 34Aの中心がずれてくる場 合がある。具体的には、例えば図 20に示すように、重心 36Aと VOI33Aの中心との ずれ量 dが所定の値 εを超えると、上述した S 11において VOI33の方向修正処理が 実行される。
[0076] 具体的には、 VOI設定部 12gに対応する S11においては、ずれ量 dが所定の値 ε を超えると、図 21に示すように、気管支 30を内含した状態を保ちつつ、図 22に示す ように重心 36Αを VOI33Aの中心に近づくように方向修正を行った VOI33A'が再 設定される。これにより、少なくとも枝領域部分は、 VOI中心近傍に下断面 34A'の 臓器領域情報 35A'の重心を位置させることができ、気管支 30の VOI33A'からの はみ出しが回避できる。
[0077] 次に、 S8にて分岐に到達したと判断された場合の処理について説明する。図 23に 示すように、 VOI33Aの下断面が下断面 34ηまで伸長させられる状態では分岐に未 到達である一方、 VOI33A力この下断面 34ηよりさらに所定量 A tだけ伸長させられ た際に、 S9にて VOI33Aの下断面に図 24に示すように、例えば 2つの分岐断面 32 A, 32Bが抽出される。このように分岐に到達したと判断されると、 S 12が実行される。
[0078] 臓器領域情報抽出部 12aに対応する S 12では、この分岐断面 32A, 32Bの臓器 領域情報の重心 3 la, 3 lbが算出される。そして、この重心 3 la, 311)を¥0133八に 連結させる子 VOI33(l)a, 33(l)bの開始点とし、再び S2以降が実行される。
[0079] この場合、 S2では、 VOI33Aに連結される子 VOI33(l)a、 33(l)bに内含させる 気管支 30の枝部位の解剖学的情報（1)〜 (6)が解剖学的情報 DB13より抽出され、 S3においては、 S2で抽出された当該枝部位の解剖学的情報（1)〜（6)が抽出情報 格納部 12fに格納され、解剖学名称の関連付けが行われる。具体的には、情報抽出 部 12で得られる管腔臓器の構造データを用いて計算される該当枝の走行方向およ び長さ、ならびに、これまでに求められた気管支枝、すなわち、該枝部位の親、なら びに、それより上位にある枝の解剖学的情報を用いて、解剖学的情報 DB13に格納 されている気管支枝の中で最も類似した枝を求め、その枝にその解剖学的名称を関 連付ける。このとき子 VOI33(l)a、 33(l)bの上面の大きさは分岐断面 32A、 32B の半径に基づ！、て設定される。
[0080] そして、情報抽出部 12の VOI設定部 12gに対応する S4においては、図 25に示す ように、開始点 31a, 31bを含む断面 32a, 32bを上面に有する 2つの子 VOI33(l)a , 33(l)bが設定される。このとき各子 VOI33(l)a, 33 (l)bの上面の大きさは断面 3 2a, 32bの半径に基づいて設定される。続いて、 S5において臓器領域情報が算出さ れ、 S6において臓器構造情報が抽出される。なお、子 VOI33(l)a、 33(l)bの設定 前までに得られた臓器構造情報 37Aは、開始点 31から VOI33Aの下断面 34ηの重 心までについてのものであるので、臓器構造情報 37Αの下端である下断面 34ηの重 心と、この S6を実行して得られる各子 VOI33(l)a, 33 (l)bのの臓器構造情報の上 端である各子 VOI33(l)a, 33(l)bの断面 32A, 32Bの重心とが連結させられて、 臓器構造情報 37Aに継続した線分である臓器構造情報として抽出情報格納部 12f に格納する。
[0081] このようにして設定された各子 VOI33(l)a, 33 (l)bそれぞれに対して、 S5乃至 S 11以降の処理を繰り返すことにより子 VOI33(l)a, 33 (l)bをそれぞれ伸長させて いく。そして、子 VOIの何れか一方である例えば VOI33(l)aが分岐に到達すると、 S9の判断が肯定され、 S12以降の処理が実行され、上述した処理が繰り返される。 この結果、図 26に示すように、子 VOI33(l)aに連結した孫 VOI33(2)aが設定され る。
[0082] そして、情報抽出部 12に対応するステップ S8において、全ての臓器領域の抽出が 完了したと判断されると、本フローチャートの処理は終了させられる。
[0083] 上記の処理作動により、図 27に示すように、情報抽出部 12は、気管支 30の全ての 枝部位に対応して臓器構造情報 37Aを抽出情報格納部 12fに格納する。図 27は上 記処理結果を概念的に示したものであり、抽出情報格納部 12fには、臓器構造情報 37Aと臓器領域情報 35A及び各枝部位の解剖学的名称が関連付けられて格納さ れる。図 28は実際のモニタ 2に表示させた際の臓器構造情報 37Aと解剖学的名称 情報発生部 16から生成される各枝部位の解剖学的名称とを関連付けた表示画像の 一例を示している。この図 28の上半面に記載された画像は、解剖学的名称情報発 生部 16が情報抽出部 12からの名称割当情報に基づき、解剖学的名称を表す文字 画像データを生成することで、画像合成表示部 18において臓器領域情報 35A、臓 器構造情報 37あるいは臓器領域情報 35A、臓器構造情報 37に基づく仮想的な管 腔外観画像データ上に管腔臓器を成す各枝の解剖学的名称が表示されたものであ る。また、図 28の下半面において破線の四角で囲まれた部分 Aは、上半面に記載さ れたモニタ 2に表示される画像の部分 Aを理解のため拡大したものである。
[0084] なお、上述したように、管腔臓器としては、気管支 30に限らず、食道、血管、大腸、 小腸、十二指腸、胃、胆管、膝管、または、リンパ管等でもよぐ抽出情報格納部 12f には、図 29に示すように、気管支の臓器構造情報、血管の臓器構造情報、血管の 臓器構造情報が、各臓器構造情報と各枝部位名称に関連付けられて格納される。
[0085] 図 30は動脈の臓器構造情報と前記動脈の 3次元画像とが重畳表示されたものであ り、図 31は図 30に更に静脈の 3次元画像を重畳表示させたものであって、いずれも モニタ 2に表示された画像である。このように、例えば動脈においても気管支と同様に 各種情報を抽出することができる。
[0086] このように抽出された臓器領域情報、臓器構造情報及び各枝部位名称を用いた、 医療画像観察支援装置 1による画像診断、開腹手術前、内視鏡下手術前、あるいは 手術中の本実施例の観察支援処理作動について、図 32のフローチャートを用いて 動脈を例に説明する。 [0087] まず支援開始に先立ち、管腔臓器画像生成部 15により、情報抽出部 12からの臓 器領域情報、臓器構造情報及び CT画像データ格納部からの CT画像データに基づ き図 33に示すような管腔外観画像 50が生成され、モニタ 2に表示される。このとき、 モニタ 2に表示された管腔外観画像 50にはポインタ 51が重畳表示されている。
[0088] 図 32において、ユーザ IZF制御部 19に対応する S21では、ポインタ 51に対する 例えばマウス等力も構成される入力部 3からの操作によって開始点 27が選択された ことが検出される。このとき、入力部 3の操作に連動して移動するポインタの移動方向 は、臓器領域情報および臓器構造情報に基づき制御される。具体的には、ポインタ の移動方向を仮想芯線に交差する方向に移動させる場合のポインタの交差方向移 動感度と、ポインタの移動方向を仮想芯線の走行方向に沿って移動させる場合のポ インタの走行方向移動感度とを設定し、かつ、走行方向移動感度を交差方向移動感 度より高く設定することで、ポインタ移動制御を行う。例えば、管腔外観画面上におい て管腔臓器内にポインタが達した場合、大きな移動量を与えない限り管腔臓器外へ ポインタを出すことができず、また、管腔臓器走行方向に沿ってはポインタを容易に 移動させることができるようになる。これによつて観察者はポインタが管腔臓器に引き 寄せられるような感触を得ることなり、容易に管腔臓器上の点を開始点として選択す ることが可能となる。
[0089] ユーザ IZF制御部 19に対応する S22においては、入力部 3からの入力情報が制 御される。具体的には例えば、図 34に示す入力部 3を構成するマウスの左ボタン 3L が操作されると、管腔外観画像 50が下方向に移動させられる。また右ボタン 3Rが操 作されると、管腔外観画像 50が上方向に移動させられる。
[0090] 続いて、視点位置 Z視線方向設定部 14に対応する S23において、開始点 27の位 置する枝が抽出される。さらに、視点位置 Z視線方向設定部 14に対応する S 24にお いては、 S23で抽出された枝に視点及び視線が設定される。そして、視点位置 Z視 線方向設定部 14に対応する S25においては、図 35に示すように、臓器構造情報 37 Aを動脈の芯線として、この芯線上の注視点に対して垂直で所定距離だけ離れた位 置 Dに視点 75が配置される。このとき前記視線は視点と注視点を結ぶ線分に対して 上下左右に所定角度 Θだけ可変させることができる。 [0091] この S25における視点 75の決定においては、モニタ 2に表示される血管の大きさが 部位によらず観察者の所望する大きさになるように観察位置である視点位置と注視 点との間の距離 Dが計算され、この距離 Dに基づいて視点 75が決定される。そして、 決定された視点 75の位置に関する情報である視点位置情報及び視線の方向に関 する情報である視線方向情報が算出される。具体的には例えば、観察者によって、 所望する血管の画面上での実寸 (例えば「画面上での実寸 10mm」）、あるいは，画面 の幅に対する割合（例えば「画面横幅に対して 10%」）が入力部 3を構成するキーボ ードある!/、はマウスを介して数値により入力されると、例えば臓器領域情報から得ら れる血管径を基に拡大率が自動的に計算され、前記距離 Dが算出される。そして、 管腔臓器画像生成部 15に対応する S26において、 S25において算出された視点位 置情報及び視線方向情報に基づいた管腔外観画像データが生成される。このとき、 前記管腔外観画像データとともに、 S25において算出された視点位置情報および視 線方向情報にっ 、ての情報がモニタ 2に出力されてもょ 、。
[0092] なお、 S25における前記距離 Dの算出では、入力部 3を構成するキーボードあるい はマウスである前記入力デバイスを介して観察者が所望とする大きさとなるように対 話的に拡大縮小を行うことで、前記距離 Dを調整できるようにしてもよい。この場合、 キーボードのあるキー（例えば zキー）などを押しながら、マウスポインタのボタンを押 し、かつ、左右に動作させることで、この動作にあわせて血管外観画像が拡大縮小し ながら表示され、ユーザは所望する拡大率を選択することができる。言い換えれば、 S24乃至 S26が所望の管腔外観画像が得られるまで反復される様にしてもよい。
[0093] そして、管腔臓器画像生成部 15に対応する S27において、入力部 3を構成するマ ウスの操作の有無が検出される。そして、マウスの操作があった場合には S27の判断 力 S肯定され、 S28力実行される。 S28においては、図 36に示すように、 S27において 検出されたマウスの操作に応じて、視点 75が注視点との距離 Dを血管の太さに応じ て変更されるとともに、例えば管腔外観画像 50に対して、管腔構造データに基づき 管腔臓器長手方向に沿って観察位置 (視点 75)が移動させられ、新たな視点力ゝらの 仮想的な管腔臓器の外観画像データが生成される。これにより，注視点付近の血管 は常に観察者の所望する大きさで表示される。 [0094] S27においてマウス操作が検出されない場合や S29にて支援の終了が検知される まで、 S25から S29の処理が繰り返される。図 37は、前記ロックオン状態において例 えば図 38に示す様に視点 75 (観察位置)を移動させた際の複数 (この図では 3点）の 視点 75 (観察位置)からの画像を示している。このとき、注視点は臓器構造情報 37A である芯線上に固定されている。このように、管腔臓器画像生成部 15に対応する S 2 6においては、例えば注視点が画像中心となるように仮想的な管腔外観画像が生成 される。
[0095] このように、従来は臓器領域情報が抽出された後に、臓器構造情報を算出していた ため、臓器構造情報と管腔臓器の芯線を一致させることが困難であつたが、本実施 例によれば、情報抽出部 12が臓器領域情報と同時に臓器構造情報を抽出するので 、臓器構造情報を管腔臓器の芯線とほぼ一致させて抽出することができる。また、各 枝の解剖学的情報 DB13に基づき、適切な画像処理手法を選択できるため精度よく 、管腔臓器の領域および構造情報を抽出することができる。
[0096] さらに、本実施例では、抽出した臓器構造情報を管腔臓器の芯線として、表示され る血管の大きさが部位によらず所望の大きさになるように視点位置と注視点との間の 距離を計算し、注視点が画像中心となるように仮想的な管腔外観画像を生成，表示 する。そのため、観察者は煩雑な視点位置 ·視線方向の変更操作なしに、確実に管 腔臓器を所望の大きさで観察できる。したがって、観察者は画像診断、開腹手術、内 視鏡下手術前あるいは手術中において簡単に管腔臓器の走行状態、形状の変化を 把握できるようになる。こうしたことから実施例 1に基づく本発明は、管腔臓器の外観 観察を容易とするものといえる。
[0097] 上記実施例によれば、前記 VOI設定部 12gにより、被検体の 3次元画像データに 基づき、前記被検体内に延びる管腔臓器の一部を内含する体積領域が設定され、 前記臓器領域情報抽出部 12aにより、前記 3次元画像データに基づき、前記体積領 域内の特定の管腔臓器の領域情報である臓器領域情報 35が繰り返し算出され、前 記臓器構造情報抽出部 12bにより、前記臓器領域情報 35毎に前記体積領域での前 記管腔臓器の構造情報である臓器構造情報 37が算出され、前記仮想芯線生成手 段としての前記構造情報抽出部 12bにより、前記臓器構造情報 37に基づいて、前記 管腔臓器の長手方向に沿った仮想芯線が生成され、前記管腔臓器画像生成部 15 により、前記仮想芯線に沿って前記管腔臓器の仮想画像が生成され、前記視点位 置 Z視線方向設定部 14により、前記仮想芯線、前記臓器領域情報 35および前記 臓器構造情報 37の少なくとも 1つに基づき前記モニタ 2における前記管腔臓器の表 示領域が所望の大きさとなるように前記仮想画像を生成するための観察位置が定め られるととも〖こ、前記仮想芯線または前記管腔構造データに基づき前記管腔臓器長 手方向に沿って前記観察位置が移動させられ、前記表示手段により前記仮想画像 が表示されるので、前記 3次元画像データから前記管腔臓器の構造情報を反映した 仮想画像を得ることができるとともに、管腔臓器の注目する任意の位置から煩雑な視 点変更操作なしに、確実に臓器構造に沿って観察することが可能となるという効果が ある。特に、管腔臓器の長手方向に沿って観察位置を自動的に移動させることが可 能となり、また、表示手段上での管腔臓器の表示領域を所望の大きさの領域に観察 位置を算出することで、外観画像表示時における管腔臓器の表示倍率が自動的に 調整されるので、観察者は非常に長 ヽ管腔臓器を管腔臓器走行方向に沿って観察 することが容易となる。
[0098] また、上述の実施例によれば、少なくとも解剖学的名称情報を含んだ解剖学的構 造情報を格納する解剖学的情報データベース 13に格納された解剖学的名称情報 1S 情報抽出部 12において前記臓器構造情報 37に関連付けられるので、前記臓器 構造情報 37と関連付けられた前記解剖学的構造情報とは一対のものとして用いるこ とが可能となる。
[0099] また、上述の実施例によれば、前記画像合成表示部 18によって、前記モニタ 2に 表示された前記仮想画像上に前記管腔臓器の解剖学的名称が表示されるので、管 腔臓器の観察が容易となる。
[0100] また、上述の実施例によれば、前記管腔臓器画像生成部 15は、前記解剖学的構 造情報あるいは前記臓器構造情報 37に基づき画像処理手法を変更するので、管腔 臓器の部位ごとに適切な画像処理手法を自動的にあるいは操作者によって変更す ることが可能となり、精度よく管腔領域データを抽出できるという効果がある。
[0101] 続いて、本発明の別の実施例について説明する。以下の説明において、実施例相 互に共通する部分については、同一の符号を付して説明を省略する。 実施例 2
[0102] 図 39は、本発明が適用される医療画像支援装置を説明するための概観図である。
医療画像支援装置としてのコンピュータ 1には、内視鏡位置検出手段としての内視鏡 位置検出部 106と第一実画像観察位置推定手段としての第一実画像観察位置推定 部 112が設けられている。また、図 39において、内視鏡 84の先端部には位置センサ 86が取り付けられている。この位置センサ 86としては例えば磁気位置センサが用い られる。また、内視鏡 84は内視鏡装置 88に接続され、内視鏡装置 88は内視鏡 84の 先端に設けられた小型ビデオカメラ力 の画像を出力するなどの処理を行なう。一方 、磁場発生コイル 90は位置検出装置 82の指示に基づいて所定の磁場を発生させ、 前記位置センサ 86にその磁場に関する情報を検知させる。そして、位置検出装置 8 2は、前記磁場発生コイル 90が発生した磁場に関する情報と位置センサ 86が検知し た磁場に関する情報とを収集し、内視鏡位置検出部 106に収集した情報を送る。そ して、内視鏡位置検出部 106は、その送られた情報に基づいて前記磁場発生コイル 90と前記位置センサ 86との相対的な位置関係を検出する。このとき、内視鏡位置検 出部 106は、位置センサ 86の位置に関して、並進方向についての 3自由度、回転方 向について 3自由度の検出が可能である。このような位置センサ 86としては、例えば Assention Technology Inc.社製 microBIRDなどがある。また、位置センサ 86 は非常に小型であって、内視鏡 84の先端部分に埋め込まれていることから、位置セ ンサ 86について検出された位置はそのまま内視鏡の先端部の位置と見なすことがで きる。
[0103] また、前記医療画像観察支援装置としての制御用コンピュータ 1は、前記位置検出 装置 82によって検出された内視鏡 84の先端位置と管腔臓器構造データに対応する 臓器構造情報 37とを比較することにより、前記内視鏡 84の先端部の、前記管腔臓器 としての気管支 30内における位置を推定する。
[0104] 図 40は、本実施例におけるコンピュータ 1の制御作動の要部、すなわち実画像観 察位置の推定を行なう作動を説明するフローチャートである。まず、ステップ (以下「ス テツプ」を省略する。）S31においては、前記臓器領域情報抽出部 12aおよび臓器構 造情報抽出部 12bによって抽出され、抽出情報格納部 12fに格納された臓器領域情 報 35および臓器構造情報 37が読み出される。
[0105] 続いて、内視鏡位置検出部 106に対応する S32においては、前記位置検出装置 8
2によって検出され例えば記憶装置 4に記憶させられていた、内視鏡 84の先端部の 位置 pjについての情報力 現在力も過去 1回の検出分だけ取得される。このとき、読 み出された前記臓器構造情報 37のうち、仮想芯線 cと、前記内視鏡 84の先端部の 位置 pjとの関係を表した図が図 42である。
[0106] S33乃至 S35は、前記第一実画像観察位置推定部 112に対応する。このうち、 S3
3においては、図 41に示す変換行列 Tの算出のサブルーチンが実行される。ここで、 変換行列 Tは、
qj =T- pj
の関係を満たす行列である。すなわち、変換行列 Tは、位置検出装置 82で検出され る位置の座標系を、 3次元画像の表現される座標系に変換する行列である。図 41の S41においては、まず前記変換行列 Tの初期値が決定される。そして、 S42におい て、変換行列 Tにより前記先端部の位置 pjの座標が変換され、変換後の位置 qjが算 出される。続いて S43において、変換誤差 eが算出される。まず、前記変換後の位置 qjと前記仮想芯線 cとの距離 djが算出される。このとき、前記距離 djは、具体的には、 前記先端部の位置 qjから仮想芯線 cへ垂線を引いたときの、その垂線とその仮想芯 線 cとの交点力も前記変換後の位置 qjまでの距離である。このときの様子を示したの が図 43である。続いて、算出された距離 djに基づいて変換誤差 eが算出される。この 変換誤差 eは次式
Figure imgf000031_0001
で表されるものである。すなわち、前記距離 djの重み付き二乗和となっている。ここで 、 wjは前記距離 djに対する重みであって、例えば過去に検出された先端部の位置 pj ほど誤差 eに及ぼす影響が小さくなる様に設定される。
[0107] 続く S44においては、 S43において算出された変換誤差 eが所定の許容範囲を満 たすか否かが判断される。そして、本判断が肯定された場合には、続く S45において
、 S43が実行された際の Tの値を変換行列 Tとして本ルーチンが終了させられる。一 方、本判断が否定される場合には S46が実行される。
[0108] S46においては、前記 S43における Tの値が所定分だけ更新されて、再度 S42以 降が実行される。ここで、所定分更新とは、 Tの値を変換誤差 eが小さくなる方向に変 更することをいう。すなわち、 S42〜S44および S46が反復して実行されることにより
、前記変換誤差 eを最小とする変換行列 Tが決定されて 、る。
[0109] 図 40に戻って、 S34においては、充分な回数だけ本フローチャートが実行されたか が判断され、充分な回数だけ実行された場合には本ステップの判断が肯定され、本 フローチャートは終了する。一方、充分な回数だけ実行されていない場合には、続く
S36が実行される。ここで、充分な回数とは、例えば前記実内視鏡位置検出部 106 によって検出された全ての内視鏡位置について、第 1実画像観察位置推定部 112に 対応する S33乃至 S35が実行されたか等に基づいて判断される。
[0110] S35においては、内視鏡 84の先端位置 pjが更新される。具体的には例えば、新た に検出された位置情報が取り込まれる一方、最も過去に検出された位置情報が前記 取り込まれた位置情報に対応する個数だけ削除される、などの処理によって更新が なされる。
[0111] このようにして、前記内視鏡位置検出部 106に対応する S32によって検出された内 視鏡 84の先端部の位置 pjは、前記第一実画像観察位置推定部 112に対応する S3 3乃至 S35において算出された変換行列 Tによって前記臓器構造情報 37における 管腔臓器の構造、すなわち 3次元画像における座標上の点に変換される。この様子 を示したのが図 44である。このように、変換行列 Tを用いて内視鏡 84の先端部の位 置 pjを 3次元画像の座標上の点に変換することができるので、 3次元画像生成のため の CT撮像時と内視鏡挿入時とで検体における管腔臓器の位置が異なってしまう場 合に対応することができる。
[0112] 上述の実施例によれば、医療画像観察支援装置 1は、位置検出部 106によって、 実際に前記被検体内に挿入された内視鏡 84の先端部に設けられた位置センサ 86 の相対的な位置 pjが検出され、第一実画像観察位置推定部 112によって、検出され た内視鏡の先端位置 pjと前記管腔構造データとしての臓器構造情報 37とを比較す ることにより前記内視鏡の先端部の前記管腔臓器内における位置である実画像観察 位置としての観察位置 75が推定されるので、内視鏡の先端部の位置に対応する実 画像観察位置が一層正確に把握される。
[0113] 上述の実施例によれば、前記第一実画像観察位置推定部 112により、前記位置検 出部 106によって検出された内視鏡の先端部の相対的な位置と前記管腔構造デー タとが比較され、実画像観察位置が推定されるので、実画像観察位置に対応する内 視鏡の先端部の位置が一層正確に把握される。
実施例 3
[0114] 図 45は、本発明の別の実施例、すなわち仮想画像記憶手段検出手段と第二実画 像観察位置推定手段とを有する医療画像観察支援装置であるコンピュータ 1の機能 の概要を表す機能ブロック線図である。本図において、仮想画像記憶手段としての 仮想画像記憶部 110は後述する分岐部特徴情報生成部 92、対応づけ部 94、仮想 画像学習部 102などによって構成され、第二実画像観察位置推定手段としての第二 実画像観察位置推定部 114は、後述する特徴抽出部 96、画像照合部 98、位置決 定部 100などによって構成される。すなわち、図 45において、破線で囲まれた部分 が仮想画像記憶部 110に対応するものであり、一点鎖線で囲まれた部分が第二実 画像観察位置推定部 114に対応するものである。
[0115] 分岐部特徴情報生成手段としての分岐部特徴情報生成部 92は、前記情報抽出部 12 (抽出情報格納部 12f)に格納された臓器構造情報 37、特に仮想芯線 cに関する 情報に基づいて、前記管腔臓器が分岐する箇所（「分岐部」という。）を検出する。そ して、検出された分岐部についての前記臓器構造情報 37に基づいて、前記分岐部 を含む仮想画像にぉ 、て画像上に現れる特徴につ!、ての情報（「分岐部特徴情報」 という。）を生成する。ここで、前記画像上に現れる特徴とは、画像において画面奥の 方向へ続く管腔臓器が穴となって見えるその穴の画像の個数、穴の画像の位置、あ るいは穴の画像における明度の少なくとも 1つである。これらはいずれも、前記臓器 構造情報 37における臓器の構造に基づいて算出可能な特徴である。なお、このうち 穴の画像における明度とは、管腔臓器の長さなどに基づく特徴であり、例えば管腔 臓器が直線上に長く続く場合には、明度の低いすなわち暗い穴状の画像となって現 れることによるものである。この一例を図 49に示す。
[0116] 図 49においては、異なる 4つの分岐部について、その仮想画像とそれから抽出さ れる分岐部特徴情報とを表したものである。図において左側に記載された図が分岐 部の仮想画像を表しており、右側に記載された図がそれらの分岐部特徴情報を表し たものである。本図においては、分岐部特徴情報としては、穴の数、および穴の画像 中における位置が示されている力 これにカ卩え、図示しない穴の明度についても合わ せて情報としてカ卩えられる。従って、図 49における easelと case2を比較すると、これ らは穴の数および穴の画像中における位置は類似しているものの穴の明度が大きく 異なっているため、区別される。
[0117] 対応づけ手段としての対応づけ部 94は、同一の分岐部について、前記管腔臓器 画像生成部 15によって生成された仮想画像と前記分岐部特徴情報生成部 92によつ て生成された分岐部特徴情報とを対応づける。また、対応づけられた仮想画像と分 岐部特徴情報とを記憶手段としての記憶部 4に記憶させ、特徴情報付き仮想画像デ ータベース 104を生成する。
[0118] 特徴抽出手段としての特徴抽出部 96は、内視鏡 84の先端に取り付けられたビデ ォカメラによって撮像され、内視鏡装置 88によって処理された実内視鏡画像におい て、前記分岐部特徴情報に対応する特徴を抽出する。
[0119] 画像照合手段としての画像照合部 98は、前記特徴抽出部 96によって抽出された 前記実内視鏡画像における分岐部特徴情報にもとづ 、て、前記特徴情報付き仮想 画像データベース 104に記憶させられた仮想画像についての分岐部特徴情報との 比較および照合を行なう。そして、前記実内視鏡画像における分岐部特徴情報と照 合する分岐部特徴情報と対応づけられた仮想画像を選択する。
[0120] 位置決定手段としての位置決定部 100は、前記画像照合部 98において選択され た仮想画像の観察位置 (視点） 75を、前記実内視鏡画像の撮像時の内視鏡の先端 部の位置であると決定する。 [0121] 仮想画像学習手段としての仮想画像学習部 102は、前記画像照合部 98において 選択された仮想画像と、前記実内視鏡画像とを比較し、前記仮想画像における分岐 部特徴情報が前記実内視鏡画像の分岐部特徴情報となる様に前記仮想画像を修 正する。
[0122] 図 46乃至図 48は、本実施例における医療画像観察支援装置としてのコンピュータ 1の作動の概要を表すフローチャートである。このうち、図 46のフローチャートは前記 仮想画像記憶部 110の作動に、図 47のフローチャートは前記第二実画像観察位置 推定部 114の作動にそれぞれ対応するものである。また、図 48のフローチャートは図 47のフローチャートで実行される学習ルーチンに対応するものである。
[0123] まず、図 46のフローチャートにおいて、 S51および S52は分岐部特徴情報生成部 92に対応する。 S51においては、抽出情報格納部 12fに格納された臓器構造情報 3 7、特に仮想芯線 cに関する情報が読み出され、仮想芯線が分岐する分岐部が特定 される。そして S52においては、その分岐部を含む仮想画像が生成された場合に仮 想画像上に現れる分岐部特徴情報が生成される。前述の様に前記分岐部特徴情報 とは、画像において画面奥の方向へ続く管腔臓器が穴となって見えるその穴の画像 の個数、穴の画像の位置、あるいは穴の画像における明度の少なくとも 1つである。
[0124] 続いて管腔臓器画像生成部 15に対応する S53において、前記分岐部を含む仮想 画像が生成される。なお、予め管腔臓器画像生成部 15によって複数枚の仮想画像 が生成され、記憶手段 4などに記憶させられている場合には、それらの記憶された仮 想画像のうちから前記分岐部を含む仮想画像が選択される様にしてもよい。
[0125] 対応付け部 94に対応する S54においては、特定の分岐部に対して S52において 生成された分岐部特徴情報と、 S53において生成された前記特定の分岐部を含む 仮想画像とが関連付けられて記憶されることにより、特徴情報付き仮想画像データべ ース 104が生成される。
[0126] S55においては、 S52乃至 S54の処理を前記仮想芯線 cにおける全ての分岐部に ついて実行したかが判断される。そして、全ての分岐部について実行した場合には 本判断が肯定され、本フローチャートは終了する。一方、全ての分岐部について実 行していない場合には、 S56において実行する分岐部が変更される、すなわち、 S5 1にお 、て特定された分岐部のうち、未だ S52乃至 S54の処理を実行して ヽな 、分 岐部に着目し、 S52乃至 S54の処理が繰り返される。
[0127] 続いて図 47のフローチャートについて説明する。図 47のフローチャートは前記第 二実画像観察位置推定部 114に対応するものである。 S61においては、内視鏡 84 の先端部に設けられたビデオカメラによって撮像され、内視鏡装置 88によって処理さ れた実内視鏡画像が医療画像観察支援装置としてのコンピュータ 1に取り込まれる。
[0128] 特徴抽出部 96に対応する S62においては、 S61によって取り込まれた実内視鏡画 像において、前記分岐部特徴画像に相当する特徴が抽出される。そして、続く S63 において、 S62において抽出された特徴が管腔臓器の分岐に対応するものであるか が判断される。すなわち、実内視鏡画像において管腔臓器の分岐に対応する画像 上の特徴が現れていた場合には本ステップにおける判断が肯定され、続く S64以降 が実行される。一方、実内視鏡画像において管腔臓器の分岐に対応する画像上の 特徴が現れて！/、な！、場合、例えば画像上に特徴は存在するものの管腔臓器の分岐 に対応するものでない場合や、画像上に前記 S62において検出しうる特徴が存在し なかった場合などには、本フローチャートはそのまま終了する。
[0129] 画像照合部 98に対応する S64においては、前記実内視鏡画像と、前記特徴情報 付き仮想画像データベース 104に格納された仮想画像との比較'照合が行なわれる 。このとき、 S62において抽出された前記実内視鏡画像における特徴と、特徴情報付 き仮想画像データベース 104に格納された各仮想画像に対応づけられた分岐部特 徴情報とを比較することにより、実内視鏡画像と前記仮想画像との比較が実行される 。そして、比較の結果前記実内視鏡画像と照合された前記仮想画像が選択される。 なお、画像が照合されるとは、例えば、前記実内視鏡画像が予め定義された類似の 範囲内にある関係をいう。
[0130] 位置決定部 100に対応する S65においては、 S61において取り込まれた実内視鏡 画像の撮像時の内視鏡 84の先端部の位置を、 S64にお 、て選択された仮想画像の 観察位置 (視点） 75であると決定する。
[0131] 仮想画像学習部 102に対応する S66においては、 S64における照合の結果を前 記特徴情報付き仮想画像データベース 104に反映させるベぐ図 48に示す学習ル 一チンを実行する。図 48の S71においては、 S64において選択された仮想画像に ぉ 、て、 S61にお 、て取り込まれた実内視鏡画像の画像上の特徴を有するように、 例えば前記穴の位置や穴の明度などが修正される。
[0132] そして、 S72においては、 S71において修正された仮想画像をそれまでの仮想画 像に替えて特徴情報付き仮想画像データベース 104に記憶させる。
[0133] 以上の実施例によれば、第二実画像観察位置推定部 114によって、実内視鏡画 像に現れる分岐部構造情報に対応する特徴を抽出し、その特徴を特徴情報付き仮 想画像データベース 104に記憶された管腔構造データ力も生成される分岐部特徴 情報に基づ!、て照合し、照合の結果一致した分岐部特徴情報に対応づけられた仮 想画像が選択され、その仮想画像の観察位置 75が前記実画像観察位置と推定され るので、実際の内視鏡の先端位置を検出することなく前記内視鏡の先端位置を推定 することが可能となり、また、画像上に現れる前記管腔構造データに対応する特徴に よって前記実内視鏡画像と前記仮想画像を照合するので、照合に要する時間を低 減しつつ、精度の高い照合を実現できる。
[0134] 上述の実施例によれば、前記第二実画像観察位置推定部 114によって、実内視 鏡画像に現れる管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像 記憶部 110に記憶された臓器構造情報 37と照合し、照合の結果一致した臓器構造 情報 37に対応する仮想画像の観察位置 75が前記実画像観察位置と推定されるの で、実際の内視鏡 84の先端位置を検出することなく前記内視鏡 84の先端位置を推 定することが可能となり、また、画像上に現れる前記臓器構造情報 37に対応する特 徴によって前記実内視鏡画像と前記仮想画像を照合するので、照合に要する時間 を低減しつつ、精度の高い照合を実現できる。
[0135] また、上述の実施例によれば、前記仮想画像および前記実内視鏡画像の有する、 画像上における前記管腔構造データに対応する特徴である管腔状の構造物の個数 、位置、および該管腔状の構造物内における明度の少なくとも 1つに基づいて、前記 実内視鏡画像と前記仮想画像とが照合されるので、画像全体を照合する必要がな ヽ
[0136] また、上述の実施例によれば、前記第二実画像観察位置推定部 114は、前記仮想 画像学習部 102によって前記照合の結果に基づいて前記仮想画像記憶部 110に記 憶された内容を学習補正するので、前記照合を繰り返す毎に一層正確な照合を実 行できる。
実施例 4
[0137] 図 50は、本発明の別の実施例、すなわち前記画像合成手段とナビゲーシヨン手段 とを有する医療画像観察支援装置であるコンピュータ 1の機能の概要を表す機能ブ ロック線図である。
[0138] 本図 50において、画像合成手段としての画像合成表示部 18は、内視鏡 84の先端 部に取り付けられたビデオカメラによって撮像され、内視鏡装置 88を介して得られた 実内視鏡画像と、仮想画像生成手段としての管腔臓器画像生成部 15によって生成 された仮想画像とを対比可能に表示手段としてのモニタ 2に表示する。このとき、管 腔臓器画像生成部 15は、第一実画像観察位置推定部 112もしくは第二実画像観察 位置推定部 114によって推定された実画像観察位置を前記観察位置として仮想画 像を生成する様にされるので、実内視鏡画像と同じ観察位置力ゝらの仮想画像、すな わち、表示の位置や尺度などが実画像と略等し ヽ仮想画像が得られる。
[0139] また、画像合成表示部 18は、解剖学的名称情報発生部 16によって、前記仮想画 像もしくは前記実内視鏡画像に表示されている管腔臓器の部位と関連付けられた解 剖学的名称を例えば文字により、前記仮想画像もしくは前記実内視鏡画像に重畳表 示する。この様子を示したのが図 52である。
[0140] 一方、ナビゲーシヨン手段としてのナビゲーシヨン部 116は、経路生成手段としての 経路生成部 118、挿入案内手段としての挿入案内部 120、経路名称表示手段として の経路名称表示部 122など力もなり、 3次元画像データにおいて指定した目的部位 に到達するために経る管腔臓器中の経路を探索するとともに、前記画像合成表示部 18に対しその探索された経路に内視鏡が挿入されるために操作者の支援となる情 報を表示させる。
[0141] 経路生成部 118は、例えば、操作者が前記 3次元画像データにおいて設定した目 的部位、すなわち、操作者がこれから内視鏡を到達させようとする部位を指定した場 合に、その目的部位に到達するために経る管腔臓器の経路を探索する。この経路の 探索は、例えば、分岐部において、何れの経路に内視鏡を進めるべきか等について の情報を蓄積することにより行なわれる。
[0142] 挿入案内部 120は、前記経路生成部 118によって生成された管腔臓器の経路に 従って、前記内視鏡 84が分岐部の直前に達した場合に、前記分岐部に開口する複 数の枝管から前記内視鏡 84を挿入すべき 1の枝管を示す表示を前記画像合成表示 部 18に表示させる。具体的には、まず、前記実内視鏡画像において前記分岐部特 徴情報が現れた場合や、前記第一実画像観察位置推定部 112もしくは第二実画像 観察位置推定部 114によって実画像観察位置として推定された内視鏡 84の先端部 の位置が前記臓器構造情報と照合された結果、分岐部の直前に達したと判断された ことにより、内視鏡 84が分岐部の手前に位置することが検知させる。そして、前記経 路生成部 118によって生成された経路に基づいて、その分岐において開口するいず れの枝管に内視鏡を進めるべきかを判断する。さらに、前記実内視鏡画像もしくは前 記仮想画像あるいはその双方にぉ 、て表示されて 、る分岐部の画像にぉ 、て、その 進めるべき枝管を示す表示を前記画像合成表示部 18に対し表示させる。
[0143] この一例を示したのが図 54である。図 54は、枝管 124a、 124b, 124cが存在する 分岐部を示した画像である。この画像は前記実内視鏡画像であっても、前記仮想画 像であってもよい。挿入案内手段 120が、前記経路生成手段 118が生成した経路に 基づいて内視鏡 84を挿入すべき枝管を 124cである判断した場合には、挿入案内部 120は、前記画像合成表示部 18に対し、枝管 124cが内視鏡を進めるべき枝管であ る旨の表示をさせる。この表示は例えば、図 54における矢印 126aのようなものでもよ いし、文字表示 126bのようなものでもよいし、それらの組み合わせであってもよい。
[0144] 経路名称表示部 122は、前記経路生成部 118によって生成された管腔臓器の経 路を構成する管腔臓器の部位にっ 、て、それらの部位に対応づけられ格納された解 剖学的名称を前記抽出情報格納部 12fから読み出す。その結果、前記経路生成部 118によって生成された経路を、前記解剖学的名称によって把握できるようになる。 また、経路名称表示部 122は、操作者の操作に応じて、前記画像合成表示部 18〖こ 対し、この解剖学的名称によって表現された経路についての情報をモニタ 2に表示さ せる。 [0145] このときのモニタ 2の表示の一例を示したのが図 55である。図 55においては左半面 に設けられた経路名称表示部 128と右半面に設けられた画像表示部 130によって画 面が構成されている。経路名称表示部 128においては、経路名称表示部 122によつ て作成された、解剖学的名称によって表現された経路についての情報、すなわち前 記経路を構成する管腔臓器の各部位の解剖学的名称が前記内視鏡の挿入部位も しくは現在位置から目的部位までの経路の順で列挙される様に表示されている。また 画像表示部 130にお ヽては、管腔臓器画像生成部 15によって生成された経路上に 存在する分岐部の仮想画像が縮小されて表示されている。なお、画像表示部 130の 表示については、図 55のように分岐部の仮想画像を表示するほか、図 52のように実 内視鏡画像と仮想画像とを対比可能に表示しても良いし、図 53のように挿入案内部 120による挿入案内表示と前記実内視鏡画像もしくは前記仮想画像との重畳表示を 行なっても良いし、あるいは、画像表示部 130はなくてもよい。
[0146] 図 51は、本実施例における医療画像観察装置としてもコンピュータ 1の作動の概要 を示すフローチャートである。まず S81においては、前記 CT画像データ格納部 11 ( 図 1参照）から 3次元画像データが取得される。続いて S82において、取得された 3次 元画像データにおいて、内視鏡 84を挿入し到達させようとする部位である目的部位 が設定される。この目的部位は、例えば前記入力部 3を介して操作者によって入力さ れる。
[0147] 続いて、 S83においては、前記情報抽出部 12 (抽出情報格納部 12f)に格納され た臓器領域情報 35および臓器構造情報 37などが読み出される。また、 S84におい ては、前記 S83においてその臓器関連情報 35あるいは臓器構造情報 37が読み出さ れた管腔臓器の各部位に対応づけられた解剖学的情報についても前記情報抽出部 12 (抽出情報格納部 12f)力も読み出される。
[0148] S85および S86は経路生成部 118に対応する。まず、 S85においては、ナビゲー シヨンを開始する開始位置が設定される。この開始位置の設定は、前記内視鏡位置 検出部 106によってもよいし、前記内視鏡 84の実内視鏡画像から、前記第一実画像 観察位置推定部 112もしくは前記第二実画像観察位置推定部 114によって推定さ れても良い。また、内視鏡の被検体への挿入前においては、挿入位置が用いられて ちょい。
[0149] 続く S86においては、 S85において設定された開始位置から S82において設定さ れた目的部位までの前記管腔臓器における経路が決定される。この経路の決定に おいては、前記管腔臓器の構造が分岐のみ力もなる場合には、前記開始位置と前 記目的部位を設定することにより一意に定まる。一方、前記管腔臓器の構造が、分岐 に加え合流を有する場合には、前記開始位置と前記目的部位とを設定した場合に、 探索の結果、複数の経路が候補となる場合がある。このような場合には、例えばいず れの経路が最短であるかや、何れの経路が内視鏡 84を挿入するのに容易な構造で あるかなどに基づ 、て候補となった複数の経路力も一の経路を決定すればょ 、。
[0150] 経路名称表示部 122に対応する S87においては、前記 S86において決定された 経路が、前記 S83によって読み出された解剖学的名称によって表現される。すなわ ち、前記 S83によって読み出された解剖学的名称から、前記 S86において決定され た経路を構成する前記管腔臓器の各部位に対応づけられた解剖学的名称が選択さ れる。そして、操作者の操作に応じて、前記解剖学的名称によって表現された前記 経路、すなわち、前記経路を構成する管腔臓器の各部位に対応づけられた解剖学 的名称を、前記開始位置から前記目的部位まで経路の順で列挙したものがモニタ 2 に表示される。
[0151] S88においては、前記内視鏡 84の先端部に取り付けられたビデオカメラによって 撮像された実内視鏡画像が内視鏡装置 88を介して取り込まれる。そして、前記第一 実画像観察位置推定部 112または第二実画像観察位置推定部 114の ヽずれかに 対応する S89にお ヽては、前記実内視鏡画像を撮像した際の前記ビデオカメラが取 り付けられた内視鏡先端部の位置が推定される。
[0152] 続いて、管腔臓器画像生成部 15に対応する S90においては、前記 S89において 推定された実画像観察位置を観察位置 75として仮想画像が生成される。このとき、 前記推定された実画像観察位置を観察位置 75として仮想画像を生成することから、 生成された仮想画像は、前記実内視鏡画像の視点と略同一の位置から略同一の視 線の方向で見た場合の画像となる。したがって、前記仮想画像と前記実内視鏡画像 は容易に対比可能な画像となる。 [0153] 解剖学的名称情報発生部 16および挿入案内部 120に対応する S91においては、 前記 S88にお 、て取り込まれた実内視鏡画像ある 、は前記 S90にお 、て生成され た仮想画像に重畳して表示されるための画像表示が作成される。具体的には、実内 視鏡画像あるいは仮想画像に表示された管腔臓器の部位に対応づけられた解剖学 的名称の文字からなる画像や、分岐部において内視鏡を挿入すべき枝管を示すた めの記号や文字 (例えば図 54における矢印 126aや文字 126b)からなる画像が作成 される。
[0154] 画像合成表示部 18に対応する S92においては、操作者の操作に応じて、生成した 画像データが適宜取捨選択され、選択された画像データが合成されて、モニタ 2〖こ 表示される。例えば、図 52のように、 S88において取り込んだ実内視鏡画像と、 S90 において生成した仮想画像とが対比可能に表示され、さらに前記実内視鏡画像と前 記仮想画像の両方に適宜 S 91にお ヽて作成された解剖学的名称を表す文字画像 が重畳表示されることができる。また図 53のように、図 52の表示に加えて、 S81にお いて取り込まれた 3次元画像データが表示されてもよいし、図 54のように、 S88にお V、て取り込まれた実内視鏡画像に、 S91にお 、て作成された分岐部にお!、て内視 鏡を挿入すべき枝管を示すための記号など力もなる画像と、同じく S91において作 成された観察部位の解剖学的名称を表す文字 (例えば図 54の 125)力もなる画像と 力 S重畳表示されることもできる。さら〖こ、図 55のように、解剖学的名称が列挙されるこ とで表現された経路が文字情報として表示されると共に、何らかの画像データが表示 される様にすることもできる。そして、このような複数の表示形態は例えば操作者の操 作に応じて適宜切換可能にされて！/ヽる。
[0155] 上述の実施例によれば、前記画像合成表示部 18は、前記モニタ 2に、前記実内視 鏡画像と、該実内視鏡画像に対応し前記仮想画像生成手段によって生成された前 記仮想画像とを対比可能に表示する。
[0156] 上述の実施例によれば、前記管腔臓器画像生成部 15は、前記観察位置 75を前 記第一実画像観察位置推定部 112によって推定された前記実画像観察位置とする ことによって前記仮想画像を生成するので、前記実内視鏡画像の実画像観察位置と 同じと推定される観察位置力ゝらの仮想画像が得られる。 [0157] 上述の実施例によれば、前記管腔臓器画像生成部 15は、前記観察位置 75を前 記第二実画像観察位置推定部 114によって推定された前記実画像観察位置とする ことによって前記仮想画像を生成するので、前記実内視鏡画像の実画像観察位置と 同じと推定される観察位置力ゝらの仮想画像が得られる。
[0158] 上述の実施例によれば、前記医療画像観察支援装置 1において、前記画像合成 表示部 18は、前記情報抽出部 12による前記解剖学名称関連付けに基づき、前記モ ニタ 2に表示された実内視鏡画像上に前記管腔臓器の解剖学的名称を表示するの で、実内視鏡画像にぉ 、ても画像中に表示された管腔臓器が何れの部位であるか を把握できる。
[0159] また、上述の実施例によれば、前記ナビゲーシヨン部 116によって、前記モニタ 2に 表示された実内視鏡画像上に示された前記管腔臓器の分岐部に開口する複数の枝 管のうちの前記内視鏡 84を挿入すべき 1つの枝管を示す表示がされるので、操作者 は前記内視鏡 84を前記管腔臓器における目的部位まで容易に挿入する際に前記 管腔臓器の分岐部においても挿入すべき枝管を認識することができる。
[0160] 上述の実施例によれば、前記ナビゲーシヨン部 116によって、前記経路が自動的 に生成される一方、前記経路を構成する管腔臓器の各部位に関連付けられた複数 の解剖学的名称が、前記挿入部位から前記目的部位までの経路の順で列挙される ので、前記内視鏡を前記管腔臓器における目的部位まで挿入するまでの経路を予 め解剖学的名称によって認識することができる。
実施例 5
[0161] 本実施例においては、医療画像観察支援装置としてのコンピュータ 1は図 1の構成 図と同様の構成を有する。また、本図 1における情報抽出部 12は、図 56に示すよう な構成を有し、管腔外組織抽出部 12hを有する点で図 2における情報抽出部 12とは 異なる。以下、図 1および図 2における機能との差異について説明する。
[0162] 管腔外組織抽出手段としての管腔外組織抽出部 12hは、前記 3次元画像を解析す ることにより、管腔臓器の外に存在する管腔外組織の画像を抽出し、その大きさ、お よび前記 3次元画像内における位置についての情報である管腔外組織構造情報 13 2を生成する。 [0163] また、抽出情報関連付け部 12eは、臓器領域情報 35及び臓器構造情報 37を解剖 学的情報と関連付けて抽出情報格納部 12fに格納するのに加え、前記管腔外組織 構造情報 132と後述する解剖学的番号とを関連付けて抽出情報格納部に格納する
[0164] また、前記解剖学的情報 DB13は、図 3に例示された解剖学的構造情報としての 解剖学的モデル情報に加え、前記管腔外組織につ！、ての解剖学的構造情報である
、解剖学的番号を格納している。具体的には解剖学的情報 DB13は、解剖学的番号
「n」ごとに、例えば以下（1)乃至 (6)に示すような解剖学的構造情報としての解剖学 的モデル情報を格納して!、る。
(1)リンパ節番号
(2)径長および円形度
(3) 3次元画像における濃度値の平均値情報と分散情報
(4)最も近くに存在する管腔臓器 (例えば血管)の解剖学的名称情報
(5)主病巣からの距離情報
(6)最適な画像処理手法情報
情報抽出部 12は、前記管腔外組織抽出部 12hが抽出した管腔外組織について、 前記解剖学的情報 DB13に格納された情報に基づいて、その解剖学的番号を判断 する。そして前記管腔外組織と判断された解剖学的番号を関連付けて抽出情報格 納部 12fに格納する。
[0165] 仮想画像生成手段としての前記管腔臓器画像生成部 15は、前記管腔臓器の仮想 画像を生成するのに加えて、前記管腔外組織抽出部 12hが抽出した管腔外組織の 構造情報に基づ 、て、 CT画像データ格納部 11に格納されて!ヽる CT画像データを 画像処理して、前記管腔臓器の仮想画像と同一の画像内に、前記管腔臓器と前記 管腔外組織との位置および大きさの関係を保持しつつ、前記管腔外組織の画像を 生成する。
[0166] 前記解剖学的名称情報発生部 16は、情報抽出部 12からの名称割当情報に基づ き、文字画像データを生成するのに加え、前記管腔外組織に関連付けられた解剖学 的番号の文字画像データについても生成する。 [0167] 図 57は、前記管腔臓器抽出部 12hの作動の概要を示したフローチャートである。ま ず、 S101においては、 3次元画像が取り込まれ、取り込まれた 3次元画像に対し、管 腔外組織の抽出のための前処理が実行される。この前処理としては、まず雑音除去 のためのフィルタ処理が行なわれ、続、て画像上の不要な領域を削除するためのマ スク処理が実行される。具体的には例えば、前記フィルタ処理としては、メディアン平 滑ィ匕フィルタによる処理が実行され、前記マスク処理としては、体表面の外側にある 背景領域を削除するとともに、体内において前記管腔外組織が存在しないことが、前 記 3次元画像における各画素に対応する組織の構造を表す数値に基づいて判断さ れる領域を削除する処理が行なわれる。
[0168] さらに具体的には、例えば、前記 3次元画像として CT画像が用いられる場合であつ て、前記管腔外組織力 Sリンパ節である場合を考える。このとき、前記 3次元画像にお ける各画素に対応する組織の構造を表す数値には組織の X線吸収の度合いを表す ノ、ゥンスフィールド値 (CT値）が用いられる。ところで、前記リンパ節は骨、血管、空気 等として造影された領域内には存在し得ないことが予め解剖学的にゎカゝつており、ま た、前記骨、血管、空気の CT値と前記リンパ節の CT値とは異なる範囲に存在するこ とがわかっている。そのため、前記リンパ節の存在し得ない CT値の範囲である— 25 0 (H. U. )以下および 300 (H. U. )以上に該当する CT値を有する画素からなる領 域にっ 、ては、予めリンパ節を抽出する際の対象画像から除去すべくマスク処理さ れる。
[0169] 続いて S102においては、 S101において前処理の行なわれた 3次元画像に対し、 塊状構造に対応する領域の抽出処理が行なわれる。具体的には、本実施例では前 記 3次元画像である CT画像力も前記リンパ節を抽出しようとしているところ、例えば、 「清水昭伸ら、「3次元胸部 CT像力 の肺がん陰影検出のための 3次元協調フィルタ の性質評価」、（Med. Imag. Tech. , Vol. 13, No. 6, 1995)」に提案の 3DMinDD法および 3D拡張 MinDD法等が適用されることにより、前記 CT画像から 好適に前記リンパ節の候補となる領域を抽出しうる。
[0170] なお、 S102においては、抽出された領域のうち、抽出しようとする前記管腔外組織 、例えばリンパ節の想定し得る大きさや形状に鑑みて、明らかに矛盾する領域が存 在した場合には、候補として抽出された領域を変更する様にしてもよい。具体的には 例えば、すなわち、画像において抽出された領域と領域外のコントラストが非常に低 い場合には、必要以上に大きい領域を抽出してしまう可能性がある。このような場合 に、リンパ節の想定し得る大きさに基づいて過抽出が行なわれた領域部分を削除し、 領域を縮小する様な処理が行なわれる。
[0171] 続いて S103においては、前記 S102において管腔外組織の候補とされた領域のう ち、管腔臓器と重複する領域を削除する。具体的には、上述の通り、前記リンパ節は 前記血管中には存在しな 、ため、前記情報抽出部 12に格納された管腔臓器である 血管の臓器領域情報に基づいて、血管の領域と前記リンパ節の候補とされた領域と が比較され、両領域が重複した場合には、重複したリンパ節の候補領域が削除され る。なお、このとき血管の領域は前記 3次元画像力も抽出されてもよい。また、腹部に ついて着目すると、大腸におけるひだ状組織である大腸ひだや、大腸における残渣 に対して過抽出がされる傾向がある。そのため、これらの過抽出された領域について も削除する必要がある。しかしながら、前記大腸ひだや残渣はその CT値力 Sリンパ節 の CT値と類似する場合があるため、前記大腸ひだゃ残渣につ!/、ての過抽出領域を 直接検出することはできない。そのため、例えば、大腸内部における大腸ひだおよび 残渣以外の領域を構成する空気に相当する領域を検出し、その検出された領域を 所定分だけ拡大することによって大腸全体の領域を設定し、これと重複する前記リン パ節の候補領域を削除する方法が行なわれる。
[0172] 更に S104においては、前記管腔外組織の大きさに基づいて、抽出された候補領 域の削除が実行される。本実施例においては、リンパ節の候補領域のうち、所定のし きい値よりも小さい領域を削除する。具体的には、抽出の対象とするリンパ節の大きさ (例えば半径 2. 5mm以上など）に相当する画像上の領域よりも小さい候補領域は候 補となりえず、そのため、前記検出の対象とするリンパ節の大きさなどに基づいて決 定されるしきい値 (例えば領域の体積)を下回る大きさの画像上の領域は削除される
[0173] また、 S105においては、前記管腔外組織の形状に基づいて、抽出された候補領 域の削除が実行される。これにより、前記 S104までの処理で削除できな力つた過抽 出領域が削除される。本実施例においては、抽出の対象であるリンパ節の形状は楕 円球状の形状を有するものであるから、前記候補領域のうち、明らかに楕円球状のも のではない形状を有するものが削除される。具体的には例えば、次式で表される球 形度 DOSに基づ 、て形状が判断される。
DOS = S3 / (36 X π XV2 )
ここで、 Sは領域の表面積、 Vは領域の体積である。この球形度 DOSは、領域が球形 の場合 1となり、非球形になるに従って値が大きくなる。そこで、前記候補領域のそれ ぞれについて球形度 DOSを算出するとともに、その値が所定のしきい値 s (例えば 6) を超えた場合にはその候補領域が削除される。
[0174] 以上の処理後に残った候補領域をリンパ節を示す領域とする。そして、その領域の 大きさおよび 3次元画像中における位置などに関する情報を、管腔外組織構造情報 として格納する。
[0175] 図 58は、上述の管腔外組織抽出手段 12hによって抽出された管腔外組織であるリ ンパ節と前記管腔臓器である血管とが表示された仮想画像の一例である。このように 、前記管腔臓器画像生成部 15において前記リンパ節と前記血管とが同一の尺度で 3次元画像における位置関係を保ったまま仮想画像が生成されるとともに、前記解剖 学的名称発生部 16によって、前記血管の解剖学的名称と、前記リンパ節の解剖学 的番号とが前記仮想画像に重畳して表示されて ヽる。
[0176] 上述の実施例によれば、前記管腔臓器抽出部 12hは、前記 3次元画像データに基 づいて、前記被検体内における前記管腔臓器の外に存在する管腔外組織の構造に 関する情報である管腔外組織構造情報を抽出し、前記管腔臓器画像生成部 15は、 前記管腔臓器の仮想画像と前記管腔外組織の仮想画像とを同一の画像内に実際 の位置関係を保持したまま同一の尺度で表示するので、前記 3次元画像データに基 づ 、て、前記管腔臓器の外に存在する管腔外組織にっ 、ての構造にっ 、ても前記 仮想画像上でその位置や大きさを把握することができる。
[0177] また、上述の実施例によれば、前記解剖学的情報データベース 13は、前記管腔臓 器については少なくとも解剖学的名称情報を、前記管腔外組織については少なくと も解剖学的番号をそれぞれ含んだ解剖学的構造情報を格納し、前記情報抽出部 12 は、前記管腔臓器に対しては前記解剖学的情報データベース 13に格納された解剖 学的名称情報を前記管腔構造データに関連付け、前記管腔外組織については前記 解剖学的情報データベース 13に格納された解剖学的番号を前記管腔外組織構造 情報に関連付けるので、前記情報抽出部 12は、前記管腔臓器に解剖学的名称を関 連付けるのと同様に、前記管腔外組織に解剖学的番号を関連付けることができる。
[0178] また、上述の実施例によれば、前記画像合成表示部 18は、前記情報抽出部 12 ( 抽出情報関連付け部 12e)による前記解剖学的名称あるいは前記解剖学的番号の 関連付けに基づき、前記モニタ 2に表示された仮想画像上に前記管腔臓器の解剖 学的名称および前記管腔外組織の解剖学的番号を表示するので、管腔臓器の観察 が容易となる。
[0179] また、上述の実施例によれば、前記管腔臓器画像生成部 15は、前記解剖学的構 造情報ある!、は前記臓器構造情報 37、前記管腔外組織構造情報の少なくとも 1つ に基づき画像処理手法を変更するので、管腔臓器の部位あるいは管腔外組織ごと に適切な画像処理手法を自動的にあるいは操作者によって変更することが可能とな るため、精度よく管腔領域データあるいは管腔外組織構造情報を抽出できる。
[0180] また、上述の実施例によれば、前記ナビゲーシヨン部 116は、前記管腔外組織を目 的部位として設定した場合に、該管腔外組織に近接した前記管腔臓器における前 記内視鏡を挿入可能な部位を実際の目的部位とするので、操作者は目的とする管 腔外組織を目的部位として設定するだけで、該管腔外組織に近接した前記管腔臓 器における前記内視鏡を挿入可能な部位まで内視鏡を挿入するための支援を受け ることがでさる。
[0181] また、上述の実施例によれば、前記管腔外組織とはリンパ節であり、前記管腔臓器 とは血管であるので、 CT画像である 3次元画像にその像が現れにくいリンパ節の管 腔外組織情報を 3次元画像力 抽出できる。
[0182] 以上、本発明の実施例を図面に基づいて詳細に説明したが、本発明はその他の 態様においても適用される。
[0183] 例えば、上述の実施例においては、位置センサ 86や内視鏡 84の先端部に設けら れたビデオカメラは非常に小型であって、例えば第一実画像観察位置推定手段が 推定した位置センサ 86の位置および姿勢をそのまま内視鏡 84の観察位置としたが 、実際の位置関係に基づいてこれを補正しても良い。
[0184] また、上述の実施例においては、前記 CT画像データ取り込み部 10は、前記 3次元 画像データを例えば MO装置や DVD装置等により取り込みを行うものとされた力 こ れに限られず、例えば CT撮像装置とネットワークで接続されるなどにより、直接 CT撮 像装置によって撮像された 3次元画像データを取り込んでもよい。
[0185] また、図 40のステップ S33において変換行列 Tを算出する際には、位置検出装置 8 2の座標系と 3次元画像の座標系のみに着目して変換行列を算出した力 より正確に は、位置検出装置 82の座標系、カメラ座標系、位置センサ 86の座標系、 3次元画像 における座標系および検体の存在する実座標系等をそれぞれ定義し、これら全て、 あるいは適宜考慮して変換する様にしても良!、。
[0186] また、図 40においては、ステップ S34において必要な回数を実行することを終了条 件とし、これを満たすことによって反復が終了させられるものとされた力 これに限られ ず、例えば、常に最新の pjに更新しつつ反復を継続させ、最新の、すなわち最後に 算出された変換行列 Tを用いる様にしてもょ ヽ。
[0187] また、図 46においては、ステップ S52と S53の順序は逆であっても良い。同様に図 47の S65および S66の j噴序は逆であってもよく、また、図 57の S103は S102の前に 実行されてもよい。このように、フローチャートで示された作動は、その作動が矛盾し な 、限り適宜順序を入れ替えて実行可能である。
[0188] また、上述の実施例 3においては、仮想画像学習部 102は必須の構成要素ではな ぐ仮想画像学習部 102がなくても一定の効果が得られる。
[0189] また、上述の実施例 4にお 、ては、ナビゲーシヨン部 116は、目的部位の設定は例 えば操作者によって指定されるものとされたが、これに限られず、例えば別途設けら れる画像診断手段などによって前記 3次元画像データが解析され、前記 3次元画像 データ中に病巣部位が発見された場合には、その発見された病巣部位を目的部位 に指定する様にしてもよい。このようにすれば、前記 3次元画像データに基づいて病 巣部位の発見とその病巣部位に至る管腔臓器内の経路の生成が自動的に実行され る。 [0190] また、上述の実施例 4においては、ナビゲーシヨン部 116は、内視鏡の挿入する案 内を表示手段としてのモニタ 2上で行なったが、これに限られず、特に本発明におい ては、前記経路が管腔臓器の解剖学的名称によって表現されることが可能であること から、例えば前記解剖学的名称を機械的に発声させること等により音声による案内を 行なうことも可能である。
[0191] また、上述の実施例 4においては、図 51において、 S87における経路名称の表示 は必ずしも必要ではなぐ操作者の操作に応じて実行されればょ ヽ。
[0192] また、上述の実施例 4においては、図 51において、 S88、 S89、 S90、 S92のみが 実行されてもよぐこの場合、単に実内視鏡画像と仮想画像を対比した表示が得られ る。同様に S88、 S89、 S90、 S91、 S92のみ力 S実行されてちよく、この場合、単に実 内視鏡画像と仮想画像を対比した表示に解剖学的名称が重畳された図 52のような 表示が得られる。
[0193] また、上述の実施例 4においては、画像合成表示部 18は、図 52のように実内視鏡 画像と仮想画像とを対比可能に表示したが、これに限られず、例えば図 53のように 実内視鏡画像と仮想画像とを対比可能に表示するとともに、前記 3次元画像をさらに 表示してもよぐさらに図 53における該 3次元画像において前記実内視鏡画像の実 画像観察位置や仮想画像の観察位置 75を重畳表示してもよい。
[0194] また、上述の実施例 4においては、画像合成表示部 18によってなされる複数の表 示形態は操作者の操作に応じて適宜切換可能とされたが、これに限られず、たとえ ば自動的に切り換えられる様にしてもよい。具体的には、実内視鏡画像が分岐部の 画像となった場合にはナビゲーシヨン部 116による案内（すなわち表示 126aや表示 126b)を行なう様にするなど、状況に応じて自動的に切り換えられる様にしても良い
[0195] また、上述の実施例 4において、ナビゲーシヨン部 116における目的部位は管腔臓 器内にあるものとされたが、これに限られず、前記管腔外組織などの管腔外組織を目 的部位としてもよい。この場合、前記ナビゲーシヨン手段は設定された目的部位に近 接した管腔臓器の内視鏡を挿入可能な部位を目的部位とした経路探索を実行する 様にされる。このようにすれば、目的部位が管腔臓器の外に設定された場合であって も、前記目的部位に対し近接する管腔臓器の内視鏡を挿入可能な部位までの経路 が探索されることから、操作者の内視鏡挿入操作が支援される。
なお、上述したのはあくまでも一実施形態であり、本発明は当業者の知識に基づい て種々の変更、改良をカ卩えた態様で実施することができる。

Claims

請求の範囲
[1] 被検体の 3次元画像データに基づき、前記被検体内に延びる管腔臓器の一部を 内含する体積領域を設定する体積領域設定手段と、
前記体積領域内での前記管腔臓器を表す 3次元画像データに基づき、該体積領 域内の特定の管腔臓器の領域情報である管腔領域データを繰り返し算出する管腔 臓器領域情報算出手段と、
前記管腔臓器領域情報算出手段が算出した前記管腔領域データ毎に、前記体積 領域での前記管腔臓器の構造情報である管腔構造データを算出する管腔臓器構造 情報算出手段と、
前記管腔構造データに基づ!、て、前記管腔臓器の長手方向に沿った仮想芯線を 生成する仮想芯線生成手段と、
前記仮想芯線に沿って前記管腔臓器の仮想画像を生成する仮想画像生成手段と 前記仮想画像を生成するための観察位置を、前記仮想芯線、前記管腔領域デー タおよび前記管腔構造データの少なくとも 1つに基づき前記表示手段における前記 管腔臓器の表示領域が所望の大きさとなるように定めるとともに、前記仮想芯線また は前記管腔構造データに基づき前記管腔臓器長手方向に沿って前記観察位置を 移動させる観察位置規定手段と、
前記仮想画像を表示するための表示手段と
を備えることを特徴とする医療画像観察支援装置。
[2] 少なくとも解剖学的名称情報を含んだ解剖学的構造情報を格納する解剖学的構 造情報格納手段を備え、
前記解剖学的構造情報格納手段に格納された解剖学的名称情報を前記管腔構 造データに関連付ける解剖学的名称関連付け手段と
をさらに備えることを特徴とする請求項 1に記載の医療画像観察支援装置。
[3] 前記解剖学的名称関連付け手段による前記解剖学的名称の関連付けに基づき、 前記表示手段上に表示された仮想画像上に前記管腔臓器の解剖学的名称を表示 する画像合成手段を有すること を特徴とする請求項 1または 2に記載の医療画像観察支援装置。
[4] 前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データ に基づき画像処理手法を変更すること
を特徴とする請求項 1乃至 3のいずれかに記載の医療画像観察支援装置。
[5] 実際に前記被検体内に挿入された内視鏡の先端部の相対的な位置を検出するた めの内視鏡位置検出手段と
該内視鏡位置検出手段によって検出された内視鏡の先端位置と前記管腔構造デ 一タとを比較することにより前記内視鏡の先端部の前記管腔臓器内における位置で ある実画像観察位置を推定する第一実画像観察位置推定手段とを有すること を特徴とする請求項 1乃至 4のいずれかに記載の医療画像観察支援装置。
[6] 前記仮想画像生成手段によって生成された複数の仮想画像のうち、前記管腔臓器 内における分岐部を含む仮想画像と、該仮想画像に対応する前記管腔構造データ とを関連付けて記憶する仮想画像記憶手段を有し、
実際に被検体内に挿入された内視鏡によって撮像された実内視鏡画像に現れる 管腔構造データに対応する特徴を抽出し、該特徴を前記仮想画像記憶手段に記憶 された管腔構造データと照合するとともに、該照合の結果一致した管腔構造データ に対応する仮想画像の観察位置を前記実画像観察位置と推定する第二実画像観 察位置推定手段を有すること
を特徴とする請求項 1乃至 4のいずれかに記載の医療画像観察支援装置。
[7] 前記画像合成手段は、前記表示手段に、前記実内視鏡画像と、該実内視鏡画像 に対応し前記仮想画像生成手段によって生成された前記仮想画像とを対比可能に 表示すること
を特徴とする請求項 1乃至 4のいずれかに記載の医療画像観察支援装置。
[8] 前記仮想画像生成手段は、前記観察位置を前記第一実画像観察位置推定手段 によって推定された前記実画像観察位置とすることによって前記仮想画像を生成す ること
を特徴とする請求項 7に記載の医療画像観察支援装置。
[9] 前記仮想画像生成手段は、前記観察位置を前記第二実画像観察位置推定手段 によって推定された前記実画像観察位置とすることによって前記仮想画像を生成す ること
を特徴とする請求項 7に記載の医療画像観察支援装置。
[10] 前記画像合成手段は、前記解剖学的名称関連付け手段による前記解剖学名称関 連付けに基づき、前記表示手段に表示された実内視鏡画像上に前記管腔臓器の解 剖学的名称を表示すること
を特徴とする請求項 7乃至 9のいずれかに記載の医療画像観察支援装置。
[11] 前記仮想画像及び前記実内視鏡画像は、画像上における管腔状の構造物の個数 、位置、および該管腔状の構造物内における明度の少なくとも 1つを前記管腔構造 データに対応する画像上の特徴とすること
を特徴とする請求項 6に記載の医療画像観察支援装置。
[12] 前記第二実画像観察位置推定手段は、前記照合の結果に基づ!、て前記仮想画 像記憶手段に記憶された内容を学習補正する仮想画像学習手段を有すること を特徴とする請求項 6または 7に記載の医療画像観察支援装置。
[13] 前記内視鏡を前記管腔臓器における目的部位に挿入するための挿入部位力 前 記目的部位までの経路を画像上で案内するためのナビゲーシヨン手段を有し、 前記ナビゲーシヨン手段は、前記表示手段に表示された画像上に示された前記管 腔臓器の分岐部に開口する複数の枝管のうちの前記内視鏡を挿入すべき 1つの枝 管を示す表示をすること
を特徴とする請求項 7乃至 12のいずれかに記載の医療画像観察支援装置。
[14] 前記内視鏡を前記管腔臓器における目的部位に挿入するための挿入部位力 前 記目的部位までの経路を画像上で案内するためのナビゲーシヨン手段を有し、 前記ナビゲーシヨン手段は、前記経路を自動的に生成するとともに、前記経路を構 成する管腔臓器の各部位に対し前記解剖学的名称関連付け手段によってそれぞれ 関連付けられた複数の解剖学的名称を、前記挿入部位から前記目的部位までの経 路の順で列挙すること
を特徴とする請求項 7乃至 12のいずれかに記載の医療画像観察支援装置。
[15] 前記 3次元画像データに基づいて、前記被検体内における前記管腔臓器の外に 存在する管腔外組織の構造に関する情報である管腔外組織構造情報を抽出する管 腔外組織抽出手段を有し、
前記仮想画像生成手段は、前記管腔臓器の仮想画像と前記管腔外組織の仮想画 像とを同一の画像内に実際の位置関係を保持したまま同一の尺度で表示するもので あること
を特徴とする請求項 1に記載の医療画像観察支援装置。
[16] 前記管腔臓器については少なくとも解剖学的名称情報を、前記管腔外組織につい てはすくなくとも解剖学的番号をそれぞれ含んだ解剖学的構造情報を格納する解剖 学的構造情報格納手段を備え、
前記管腔臓器に対しては前記解剖学的構造情報格納手段に格納された解剖学的 名称情報を前記管腔構造データに関連付け、前記管腔外組織については前記解剖 学的構造情報格納手段に格納された解剖学的番号を前記管腔外組織構造情報に 関連付ける解剖学的名称関連付け手段と
をさらに備えることを特徴とする請求項 15に記載の医療画像観察支援装置。
[17] 前記解剖学的名称関連付け手段による前記解剖学的名称あるいは前記解剖学的 番号の関連付けに基づき、前記表示手段上に表示された仮想画像上に前記管腔臓 器の解剖学的名称および前記管腔外組織の解剖学的番号を表示する画像合成手 段を有すること
を特徴とする請求項 15または 16に記載の医療画像観察支援装置。
[18] 前記仮想画像生成手段は、前記解剖学的構造情報あるいは前記管腔構造データ 、前記管腔外組織構造情報の少なくとも 1つに基づき画像処理手法を変更すること を特徴とする請求項 15乃至 18のいずれかに記載の医療画像観察支援装置。
[19] 前記ナビゲーシヨン手段は、前記管腔外組織を目的部位として設定した場合に、該 管腔外組織に近接した前記管腔臓器における前記内視鏡を挿入可能な部位を、実 際の目的部位とすること
を特徴とする請求項 13または 14に記載の医療画像観察支援装置。
[20] 前記管腔外組織とは、リンパ節であり、前記管腔臓器とは血管であること
を特徴とする請求項 15乃至 18のいずれかに記載の医療画像観察支援装置。
PCT/JP2007/052894 2006-05-02 2007-02-17 医療画像観察支援装置 WO2007129493A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008514405A JP4899068B2 (ja) 2006-05-02 2007-02-17 医療画像観察支援装置
US12/226,922 US8199984B2 (en) 2006-05-02 2007-02-17 System that assists in observing a luminal organ using the structure of the luminal organ

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-128681 2006-05-02
JP2006128681 2006-05-02

Publications (1)

Publication Number Publication Date
WO2007129493A1 true WO2007129493A1 (ja) 2007-11-15

Family

ID=38667603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/052894 WO2007129493A1 (ja) 2006-05-02 2007-02-17 医療画像観察支援装置

Country Status (3)

Country Link
US (1) US8199984B2 (ja)
JP (1) JP4899068B2 (ja)
WO (1) WO2007129493A1 (ja)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153677A (ja) * 2007-12-26 2009-07-16 Konica Minolta Medical & Graphic Inc 動態画像処理システム
JP2009254600A (ja) * 2008-04-17 2009-11-05 Fujifilm Corp 画像表示装置並びに画像表示制御方法およびプログラム
JP2010082374A (ja) * 2008-10-02 2010-04-15 Toshiba Corp 画像表示装置及び画像表示方法
JP2010253017A (ja) * 2009-04-24 2010-11-11 Toshiba Corp 画像表示装置及び画像表示方法
JP2011030839A (ja) * 2009-08-03 2011-02-17 Nagoya Univ 医用画像観察支援装置
JP2011045448A (ja) * 2009-08-25 2011-03-10 Toshiba Corp 消化管画像表示装置及び消化管画像データ表示用制御プログラム
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2011120709A (ja) * 2009-12-10 2011-06-23 Toshiba Corp 画像処理装置および画像処理プログラム
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
US20120027260A1 (en) * 2009-04-03 2012-02-02 Koninklijke Philips Electronics N.V. Associating a sensor position with an image position
WO2012014438A1 (ja) * 2010-07-28 2012-02-02 富士フイルム株式会社 内視鏡観察を支援する装置および方法、並びに、プログラム
WO2012046846A1 (ja) * 2010-10-07 2012-04-12 株式会社 東芝 医用画像処理装置
WO2012101888A1 (ja) * 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
JP2012252559A (ja) * 2011-06-03 2012-12-20 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
WO2013031637A1 (ja) * 2011-08-31 2013-03-07 テルモ株式会社 呼吸域用ナビゲーションシステム
JP2014512850A (ja) * 2011-01-14 2014-05-29 コーニンクレッカ フィリップス エヌ ヴェ 気管支鏡検査の経路計画及び誘導に関するアリアドネ壁テーピング
WO2014103238A1 (ja) * 2012-12-27 2014-07-03 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
WO2014136576A1 (ja) 2013-03-06 2014-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014156378A1 (ja) 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
KR20150004538A (ko) * 2013-07-03 2015-01-13 현대중공업 주식회사 수술용 내비게이션의 측정 방향 설정 시스템 및 방법
JP2015514492A (ja) * 2012-04-19 2015-05-21 コーニンクレッカ フィリップス エヌ ヴェ 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール
WO2016009701A1 (ja) * 2014-07-15 2016-01-21 オリンパス株式会社 ナビゲーションシステム、ナビゲーションシステムの作動方法
JP2017522912A (ja) * 2014-07-02 2017-08-17 コヴィディエン リミテッド パートナーシップ 気管を検出するためのシステムおよび方法
KR101834081B1 (ko) * 2016-08-30 2018-03-02 오주영 3d 영상 디스플레이 방법 및 3d 영상을 이용한 방사선 촬영 가이드 시스템 및 방법
JP2018079010A (ja) * 2016-11-15 2018-05-24 株式会社島津製作所 Ｘ線透視装置及びｘ線透視方法
WO2018220930A1 (ja) * 2017-05-30 2018-12-06 オリンパス株式会社 画像処理装置
JP2019010382A (ja) * 2017-06-30 2019-01-24 富士フイルム株式会社 画像位置合わせ装置、方法およびプログラム
WO2019130868A1 (ja) * 2017-12-25 2019-07-04 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
WO2019163890A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
US10646190B2 (en) 2016-11-22 2020-05-12 Joo Young Oh Radiography guide system and method
JP2020092816A (ja) * 2018-12-12 2020-06-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線ｃｔ装置及び医用画像処理方法
WO2023200320A1 (ko) * 2022-04-15 2023-10-19 충남대학교산학협력단 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체
DE102023112313A1 (de) 2022-05-12 2023-11-23 Fujifilm Corporation Informationsverarbeitungsvorrichtung, bronchoskopvorrichtung, informationsverarbeitungsverfahren und programm
JP7443197B2 (ja) 2020-08-25 2024-03-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置、システム及び方法

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4958901B2 (ja) * 2006-03-29 2012-06-20 株式会社日立メディコ 医用画像表示システム及び医用画像表示プログラム
US20080086051A1 (en) * 2006-09-20 2008-04-10 Ethicon Endo-Surgery, Inc. System, storage medium for a computer program, and method for displaying medical images
US8672836B2 (en) * 2007-01-31 2014-03-18 The Penn State Research Foundation Method and apparatus for continuous guidance of endoscopy
US8457718B2 (en) * 2007-03-21 2013-06-04 Ethicon Endo-Surgery, Inc. Recognizing a real world fiducial in a patient image data
US20080319307A1 (en) * 2007-06-19 2008-12-25 Ethicon Endo-Surgery, Inc. Method for medical imaging using fluorescent nanoparticles
US8155728B2 (en) * 2007-08-22 2012-04-10 Ethicon Endo-Surgery, Inc. Medical system, method, and storage medium concerning a natural orifice transluminal medical procedure
US20080221434A1 (en) * 2007-03-09 2008-09-11 Voegele James W Displaying an internal image of a body lumen of a patient
US20080234544A1 (en) * 2007-03-20 2008-09-25 Ethicon Endo-Sugery, Inc. Displaying images interior and exterior to a body lumen of a patient
DE102007013566B4 (de) * 2007-03-21 2017-02-23 Siemens Healthcare Gmbh Verfahren zur Bilddatenaufnahme und medizinische Modalität
US8081810B2 (en) * 2007-03-22 2011-12-20 Ethicon Endo-Surgery, Inc. Recognizing a real world fiducial in image data of a patient
US8737703B2 (en) * 2008-01-16 2014-05-27 The Charles Stark Draper Laboratory, Inc. Systems and methods for detecting retinal abnormalities
US8718363B2 (en) * 2008-01-16 2014-05-06 The Charles Stark Draper Laboratory, Inc. Systems and methods for analyzing image data using adaptive neighborhooding
US8218846B2 (en) 2008-05-15 2012-07-10 Superdimension, Ltd. Automatic pathway and waypoint generation and navigation method
WO2010092919A1 (ja) * 2009-02-13 2010-08-19 株式会社 日立メディコ 医用画像表示方法、医用画像診断装置、及び医用画像表示装置
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
GB2475722B (en) * 2009-11-30 2011-11-02 Mirada Medical Measurement system for medical images
WO2011094518A2 (en) * 2010-01-28 2011-08-04 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
JP5606832B2 (ja) * 2010-03-05 2014-10-15 富士フイルム株式会社 画像診断支援装置、方法およびプログラム
DE102010039289A1 (de) * 2010-08-12 2012-02-16 Leica Microsystems (Schweiz) Ag Mikroskopsystem
EP2613687B1 (en) 2010-09-08 2016-11-02 Covidien LP Catheter with imaging assembly
JP5844093B2 (ja) * 2010-09-15 2016-01-13 株式会社東芝 医用画像処理装置及び医用画像処理方法
WO2012125867A1 (en) * 2011-03-15 2012-09-20 The Trustees Of Columbia University In The City Of New York Method and system for quality assurance of cross sectional imaging scans
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
JP5745947B2 (ja) * 2011-06-20 2015-07-08 株式会社日立メディコ 医用画像処理装置、医用画像処理方法
JP6301332B2 (ja) 2012-08-14 2018-03-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 多数のビジョンシステムのレジストレーションのためのシステム及び方法
US9517184B2 (en) 2012-09-07 2016-12-13 Covidien Lp Feeding tube with insufflation device and related methods therefor
JP6039098B2 (ja) * 2012-11-02 2016-12-07 コヴィディエン リミテッド パートナーシップ 撮像アセンブリを有するカテーテルおよび参照ライブラリを有するコンソールおよびそれらに関連する方法
WO2014141968A1 (ja) * 2013-03-12 2014-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9639666B2 (en) * 2013-03-15 2017-05-02 Covidien Lp Pathway planning system and method
CN104156935B (zh) 2013-05-14 2018-01-02 东芝医疗系统株式会社 图像分割装置、图像分割方法和医学图像设备
CN105324746B (zh) * 2013-06-19 2019-08-13 索尼公司 显示控制设备、显示控制方法和程序
JP6304737B2 (ja) * 2013-08-30 2018-04-04 国立大学法人名古屋大学 医用観察支援装置及び医用観察支援プログラム
US10216762B2 (en) 2014-06-04 2019-02-26 Panasonic Corporation Control method and non-transitory computer-readable recording medium for comparing medical images
US11188285B2 (en) 2014-07-02 2021-11-30 Covidien Lp Intelligent display
US9892506B2 (en) * 2015-05-28 2018-02-13 The Florida International University Board Of Trustees Systems and methods for shape analysis using landmark-driven quasiconformal mapping
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
WO2017109997A1 (ja) * 2015-12-25 2017-06-29 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
CN110167417B (zh) * 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
JP6702902B2 (ja) * 2017-02-24 2020-06-03 富士フイルム株式会社 マッピング画像表示制御装置および方法並びにプログラム
DE102017214447B4 (de) * 2017-08-18 2021-05-12 Siemens Healthcare Gmbh Planare Visualisierung von anatomischen Strukturen
US10984585B2 (en) * 2017-12-13 2021-04-20 Covidien Lp Systems, methods, and computer-readable media for automatic computed tomography to computed tomography registration
CN112641514B (zh) * 2020-12-17 2022-10-18 杭州堃博生物科技有限公司 一种微创介入导航系统与方法
CN113476098B (zh) * 2021-07-26 2022-06-24 首都医科大学附属北京儿童医院 一种封堵管的监测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345725A (ja) * 2001-05-22 2002-12-03 Olympus Optical Co Ltd 内視鏡システム
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2004180940A (ja) * 2002-12-03 2004-07-02 Olympus Corp 内視鏡装置
JP2004230086A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 画像処理装置、画像データ処理方法、及びプログラム
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2006042969A (ja) * 2004-08-02 2006-02-16 Hitachi Medical Corp 医用画像表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5699799A (en) * 1996-03-26 1997-12-23 Siemens Corporate Research, Inc. Automatic determination of the curved axis of a 3-D tube-shaped object in image volume
US6343936B1 (en) * 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JP2000135215A (ja) 1998-10-30 2000-05-16 Ge Yokogawa Medical Systems Ltd 管路案内方法および装置並びに放射線断層撮影装置
JP4087517B2 (ja) 1998-11-25 2008-05-21 株式会社日立製作所 領域抽出方法
ATE349944T1 (de) 2002-07-31 2007-01-15 Olympus Corp Endoskop
JP2006068351A (ja) 2004-09-03 2006-03-16 Toshiba Corp 医用画像処理方法、医用画像処理プログラム及び医用画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002345725A (ja) * 2001-05-22 2002-12-03 Olympus Optical Co Ltd 内視鏡システム
JP2003265408A (ja) * 2002-03-19 2003-09-24 Mitsubishi Electric Corp 内視鏡誘導装置および方法
JP2004180940A (ja) * 2002-12-03 2004-07-02 Olympus Corp 内視鏡装置
JP2004230086A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 画像処理装置、画像データ処理方法、及びプログラム
JP2004283373A (ja) * 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2006042969A (ja) * 2004-08-02 2006-02-16 Hitachi Medical Corp 医用画像表示装置

Cited By (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009153677A (ja) * 2007-12-26 2009-07-16 Konica Minolta Medical & Graphic Inc 動態画像処理システム
JP2009254600A (ja) * 2008-04-17 2009-11-05 Fujifilm Corp 画像表示装置並びに画像表示制御方法およびプログラム
JP2010082374A (ja) * 2008-10-02 2010-04-15 Toshiba Corp 画像表示装置及び画像表示方法
US9214139B2 (en) 2008-10-02 2015-12-15 Kabushiki Kaisha Toshiba Image display apparatus and image display method
US20120027260A1 (en) * 2009-04-03 2012-02-02 Koninklijke Philips Electronics N.V. Associating a sensor position with an image position
JP2010253017A (ja) * 2009-04-24 2010-11-11 Toshiba Corp 画像表示装置及び画像表示方法
JP2011030839A (ja) * 2009-08-03 2011-02-17 Nagoya Univ 医用画像観察支援装置
JP2011045448A (ja) * 2009-08-25 2011-03-10 Toshiba Corp 消化管画像表示装置及び消化管画像データ表示用制御プログラム
JP2011050590A (ja) * 2009-09-02 2011-03-17 Toshiba Corp 医用画像処理装置、及び医用画像処理プログラム
JP2011120709A (ja) * 2009-12-10 2011-06-23 Toshiba Corp 画像処理装置および画像処理プログラム
US8102416B2 (en) 2010-02-22 2012-01-24 Olympus Medical Systems Corp. Medical apparatus
WO2011102012A1 (ja) * 2010-02-22 2011-08-25 オリンパスメディカルシステムズ株式会社 医療機器
WO2012014438A1 (ja) * 2010-07-28 2012-02-02 富士フイルム株式会社 内視鏡観察を支援する装置および方法、並びに、プログラム
WO2012046846A1 (ja) * 2010-10-07 2012-04-12 株式会社 東芝 医用画像処理装置
JP2012096024A (ja) * 2010-10-07 2012-05-24 Toshiba Corp 医用画像処理装置
JP2014512850A (ja) * 2011-01-14 2014-05-29 コーニンクレッカ フィリップス エヌ ヴェ 気管支鏡検査の経路計画及び誘導に関するアリアドネ壁テーピング
WO2012101888A1 (ja) * 2011-01-24 2012-08-02 オリンパスメディカルシステムズ株式会社 医療機器
JP5160699B2 (ja) * 2011-01-24 2013-03-13 オリンパスメディカルシステムズ株式会社 医療機器
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备
JP2012252559A (ja) * 2011-06-03 2012-12-20 Sony Corp 画像処理装置および方法、記録媒体並びにプログラム
WO2013031637A1 (ja) * 2011-08-31 2013-03-07 テルモ株式会社 呼吸域用ナビゲーションシステム
JP2015514492A (ja) * 2012-04-19 2015-05-21 コーニンクレッカ フィリップス エヌ ヴェ 術前及び術中３ｄ画像を用いて内視鏡を手動操作するガイダンスツール
WO2014103238A1 (ja) * 2012-12-27 2014-07-03 富士フイルム株式会社 仮想内視鏡画像表示装置および方法並びにプログラム
JP2014124384A (ja) * 2012-12-27 2014-07-07 Fujifilm Corp 仮想内視鏡画像表示装置および方法並びにプログラム
US9619938B2 (en) 2012-12-27 2017-04-11 Fujifilm Corporation Virtual endoscopic image display apparatus, method and program
WO2014136576A1 (ja) 2013-03-06 2014-09-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2014156378A1 (ja) 2013-03-27 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
US9516993B2 (en) 2013-03-27 2016-12-13 Olympus Corporation Endoscope system
KR102191035B1 (ko) 2013-07-03 2020-12-15 큐렉소 주식회사 수술용 내비게이션의 측정 방향 설정 시스템 및 방법
KR20150004538A (ko) * 2013-07-03 2015-01-13 현대중공업 주식회사 수술용 내비게이션의 측정 방향 설정 시스템 및 방법
JP2017522912A (ja) * 2014-07-02 2017-08-17 コヴィディエン リミテッド パートナーシップ 気管を検出するためのシステムおよび方法
WO2016009701A1 (ja) * 2014-07-15 2016-01-21 オリンパス株式会社 ナビゲーションシステム、ナビゲーションシステムの作動方法
US10918443B2 (en) 2014-07-15 2021-02-16 Olympus Corporation Navigation system and operation method of navigation system
KR101834081B1 (ko) * 2016-08-30 2018-03-02 오주영 3d 영상 디스플레이 방법 및 3d 영상을 이용한 방사선 촬영 가이드 시스템 및 방법
JP2018079010A (ja) * 2016-11-15 2018-05-24 株式会社島津製作所 Ｘ線透視装置及びｘ線透視方法
US10646190B2 (en) 2016-11-22 2020-05-12 Joo Young Oh Radiography guide system and method
WO2018220930A1 (ja) * 2017-05-30 2018-12-06 オリンパス株式会社 画像処理装置
JP2019010382A (ja) * 2017-06-30 2019-01-24 富士フイルム株式会社 画像位置合わせ装置、方法およびプログラム
JP7050817B2 (ja) 2017-12-25 2022-04-08 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム
JPWO2019130868A1 (ja) * 2017-12-25 2020-12-10 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
WO2019130868A1 (ja) * 2017-12-25 2019-07-04 富士フイルム株式会社 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム
US20200367733A1 (en) 2018-02-21 2020-11-26 Olympus Corporation Medical system and medical system operating method
JPWO2019163890A1 (ja) * 2018-02-21 2021-02-04 オリンパス株式会社 医療システムおよび医療システムの作動方法
WO2019163890A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
JP6990292B2 (ja) 2018-02-21 2022-01-12 オリンパス株式会社 医療システムおよび医療システムの作動方法
US11800966B2 (en) 2018-02-21 2023-10-31 Olympus Corporation Medical system and medical system operating method
JP2020092816A (ja) * 2018-12-12 2020-06-18 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線ｃｔ装置及び医用画像処理方法
JP7164423B2 (ja) 2018-12-12 2022-11-01 キヤノンメディカルシステムズ株式会社 医用画像処理装置、ｘ線ｃｔ装置及び医用画像処理方法
JP7443197B2 (ja) 2020-08-25 2024-03-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置、システム及び方法
WO2023200320A1 (ko) * 2022-04-15 2023-10-19 충남대학교산학협력단 내시경 이동 경로 가이드 장치, 시스템, 방법, 및 컴퓨터 판독 가능한 기록 매체
DE102023112313A1 (de) 2022-05-12 2023-11-23 Fujifilm Corporation Informationsverarbeitungsvorrichtung, bronchoskopvorrichtung, informationsverarbeitungsverfahren und programm

Also Published As

Publication number Publication date
US8199984B2 (en) 2012-06-12
JP4899068B2 (ja) 2012-03-21
US20090161927A1 (en) 2009-06-25
JPWO2007129493A1 (ja) 2009-09-17

Similar Documents

Publication Publication Date Title
JP4899068B2 (ja) 医療画像観察支援装置
JP6122875B2 (ja) 血管ツリー画像内での見えない分岐部の検出
JP3820244B2 (ja) 挿入支援システム
JP4009639B2 (ja) 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム
JP6594914B2 (ja) 肺の内側のツールナビゲーションのための動的３ｄ肺マップビュー
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
CN103957832B (zh) 血管树图像的内窥镜配准
EP2906133B1 (en) Determining position of medical device in branched anatomical structure
JP6080248B2 (ja) ３次元画像表示装置および方法並びにプログラム
CN106030656A (zh) 在微创搭桥外科手术期间对内乳动脉的空间可视化
JPWO2007129616A1 (ja) 内視鏡挿入支援システム及び内視鏡挿入支援方法
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
CN111481292A (zh) 手术装置及其使用方法
WO2005041761A1 (ja) 挿入支援システム
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP4323288B2 (ja) 挿入支援システム
JP5670145B2 (ja) 医用画像処理装置及び制御プログラム
JP5561578B2 (ja) 医用画像観察支援装置
JP4445792B2 (ja) 挿入支援システム
CN116157088A (zh) 用于规划和执行活检程序的系统及相关方法
JP5366713B2 (ja) 消化管画像表示装置及び消化管画像データ表示用制御プログラム
JP6304737B2 (ja) 医用観察支援装置及び医用観察支援プログラム
US20230215059A1 (en) Three-dimensional model reconstruction
EP3454293B1 (en) Method and apparatus for enhancement of bronchial airways representations using vascular morphology

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07714424

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 12226922

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008514405

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07714424

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)