WO2014103238A1 - 仮想内視鏡画像表示装置および方法並びにプログラム - Google Patents

仮想内視鏡画像表示装置および方法並びにプログラム Download PDF

Info

Publication number
WO2014103238A1
WO2014103238A1 PCT/JP2013/007402 JP2013007402W WO2014103238A1 WO 2014103238 A1 WO2014103238 A1 WO 2014103238A1 JP 2013007402 W JP2013007402 W JP 2013007402W WO 2014103238 A1 WO2014103238 A1 WO 2014103238A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
virtual endoscopic
endoscopic image
sight vector
viewpoint
Prior art date
Application number
PCT/JP2013/007402
Other languages
English (en)
French (fr)
Inventor
善則 板井
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2014103238A1 publication Critical patent/WO2014103238A1/ja
Priority to US14/747,027 priority Critical patent/US9619938B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50—Clinical applications
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B45/00—ICT specially adapted for bioinformatics-related data visualisation, e.g. displaying of maps or networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B5/00—ICT specially adapted for modelling or simulations in systems biology, e.g. gene-regulatory networks, protein interaction networks or metabolic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention generates a virtual endoscopic image on the basis of a three-dimensional image of a subject and generates a virtual endoscopic image, and displays the virtual endoscopic image.
  • the present invention relates to a display device, a method, and a program.
  • tubular tissues such as the large intestine, small intestine, bronchus, and blood vessels of a patient are extracted from a three-dimensional image taken by a modality such as a CT (Computed Tomography) apparatus, and the extracted three-dimensional image of the tubular tissue is used for image diagnosis. Things have been done.
  • CT Computer Planar Tomography
  • colon colonography based on a three-dimensional image of the large intestine region, the path of the endoscope passing through the inside of the large intestine region is determined, and the viewpoint is actually moved while moving the viewpoint along the determined path.
  • a technique has been proposed in which a virtual endoscopic image similar to an image photographed by an endoscope is generated, and a route to a target point is navigated by displaying the virtual endoscopic image.
  • Patent Document 1 when a virtual endoscopic image including a desired attention point is generated, the attention point is observed by automatically generating a virtual endoscope image in which the attention point is viewed from the front.
  • the method of making easy is proposed, in the method of patent document 1, only the virtual endoscopic image which looked at the attention point from the front can be observed, and the virtual endoscopic image around the attention point In order to generate such a virtual endoscopic image, it is necessary to input the setting of the viewpoint position and the line-of-sight direction again.
  • the present invention can sequentially generate and display virtual endoscopic images around a point of interest such as a lesioned part only by a simple operation using an operation unit such as a mouse, and It is an object of the present invention to provide a virtual endoscopic image display apparatus, method, and program capable of generating and displaying a virtual endoscopic image that is easy to observe as viewed from the above.
  • the virtual endoscopic image display device of the present invention generates a virtual virtual endoscopic image based on a three-dimensional image of a subject as if the image was taken by an endoscope inserted into the subject.
  • a virtual endoscopic image display device including a virtual endoscopic image generation unit that performs and a display control unit that displays a virtual endoscopic image, a path of an endoscope on a three-dimensional image of a subject is set.
  • a route setting unit an attention point designation receiving unit that receives designation of a point of interest on the virtual endoscopic image, an operation amount acquisition unit that acquires an operation amount accepted by the operation unit after receiving the attention point, and an operation amount Based on the operation amount acquired by the acquisition unit, based on the movement distance acquisition unit that acquires the movement distance from the initial viewpoint on the virtual endoscope path, and the movement distance acquired by the movement distance acquisition unit
  • First virtual endoscope viewpoint From the initial line-of-sight vector starting from the initial viewpoint, by changing the direction of the virtual endoscope closer to the point of interest along the path from the viewpoint, and changing the direction of the virtual endoscope closer to the direction of the point of interest
  • a line-of-sight vector setting unit that sequentially changes and sets the line-of-sight vector up to the shortest line-of-sight vector that connects the viewpoint on the route that is the shortest distance from the point and the point of interest.
  • a virtual endoscopic image is sequentially generated based on the line-of-sight vector set in step 1,
  • the line-of-sight vector setting unit further sets a line-of-sight vector connecting the viewpoint and the point of interest further advanced along the path from the viewpoint of the shortest line-of-sight vector. And can.
  • the line-of-sight vector setting unit can set the viewpoint vector by changing the viewpoint of the currently set line-of-sight vector to the initial viewpoint.
  • the line-of-sight vector setting unit is set by sequentially changing the line-of-sight vector until it changes from the viewpoint of the currently set line-of-sight vector to the initial viewpoint, and the display control unit Endoscopic images can be displayed sequentially.
  • the virtual endoscopic image generation unit receives a virtual endoscopic image recording instruction during operation on the operation unit, and generates a virtual endoscope based on the line-of-sight vector set at the time when the recording instruction is received. Endoscopic images can be recorded.
  • the line-of-sight vector setting unit can sequentially set the line-of-sight vector so that the line-of-sight direction gradually approaches the direction of the point of interest as the viewpoint approaches the point of interest.
  • the amount of change in which the line-of-sight vector approaches the shortest line-of-sight vector when the line-of-sight vector setting unit is present on the viewpoint side on the route that is the shortest distance from the point of interest is greater than when the viewpoint is present on the initial viewpoint side. You can make it bigger.
  • a notifying unit for notifying that the line-of-sight vector currently set in the line-of-sight vector setting unit is a line-of-sight vector including a viewpoint further advanced on the route than the viewpoint of the shortest line-of-sight vector.
  • an initial viewpoint designation receiving unit that receives designation of an initial viewpoint on the three-dimensional image can be provided.
  • the attention point designation receiving unit is provided with a mouse, and the designation of the attention point can be accepted by accepting the designation of the position of the cursor displayed on the virtual endoscopic image and the click operation on the mouse.
  • the operation unit may be provided with a mouse, and the operation amount acquisition unit may acquire the operation amount of the mouse drag operation or wheel operation.
  • the virtual endoscopic image display method of the present invention generates a virtual virtual endoscopic image based on a three-dimensional image of the subject as if the image was taken by an endoscope inserted into the subject. Then, in the virtual endoscopic image display method for displaying the generated virtual endoscopic image, the endoscope path is set on the three-dimensional image of the subject, and the point of interest on the virtual endoscopic image is designated. After receiving the attention point, obtain the operation amount accepted in the operation unit, obtain the movement distance from the initial viewpoint on the virtual endoscope path based on the obtained operation amount, Based on the acquired movement distance, the viewpoint of the virtual endoscope is made closer to the attention point along the path from the initial viewpoint, and the direction of the virtual endoscope is made closer to the direction of the attention point.
  • the line-of-sight vector is sequentially changed and set. Endoscopic images are sequentially generated, and the generated virtual endoscopic images are sequentially displayed.
  • the virtual endoscope image display program is a virtual virtual endoscope in which a computer is photographed by an endoscope inserted into a subject based on a three-dimensional image of the subject.
  • a virtual endoscopic image generation unit that generates an image and a virtual endoscopic image display program that functions as a display control unit that displays a virtual endoscopic image, the computer further including a three-dimensional image of a subject
  • a route setting unit that sets the route of the endoscope, an attention point designation receiving unit that receives designation of the attention point on the virtual endoscopic image, and an operation amount received by the operation unit after receiving the attention point
  • the operation amount acquisition unit, the movement distance acquisition unit that acquires the movement distance from the initial viewpoint on the path of the virtual endoscope, and the movement distance acquisition unit By Based on the acquired movement distance, the virtual endoscope viewpoint is made closer to the attention point along the path from the initial viewpoint, and the virtual endoscope line-of-sight direction is made closer to the attention point direction.
  • the line-of-sight vector is set by sequentially changing the line-of-sight vector from the initial line-of-sight vector starting from the initial viewpoint to the shortest line-of-sight vector connecting the viewpoint on the route that is the shortest distance from the point of interest.
  • the virtual endoscope image generation unit functions as a setting unit, and sequentially generates virtual endoscope images based on the line-of-sight vector set in the line-of-sight vector setting unit, and the display control unit responds to the change of the line-of-sight vector.
  • the virtual endoscopic images are sequentially displayed.
  • the movement distance on the path from the initial viewpoint based on the operation amount received by the operation unit such as a mouse after receiving the designation of the attention point Based on the acquired movement distance the endoscope viewpoint is changed from the initial viewpoint to the attention point along the route, and the line-of-sight direction is changed to be closer to the attention point direction.
  • the virtual endoscopic image is set by sequentially changing the line-of-sight vector from the initial line-of-sight vector starting from the initial viewpoint to the shortest line-of-sight vector with the shortest distance between the point of interest and the viewpoint, and based on the set line-of-sight vector Are generated sequentially, and the generated virtual endoscopic images are sequentially displayed, so that the temporary surroundings of the attention point can be obtained only by a simple operation using an operation unit such as a mouse.
  • Endoscopy images can be generated and displayed sequentially, and a virtual endoscopy image based on the shortest line-of-sight vector, that is, a virtual endoscopy image that is easy to observe when the attention point is viewed from the front is generated and displayed. Can do.
  • FIG. 1 is a block diagram showing a schematic configuration of an endoscopic image diagnosis support system using an embodiment of a virtual endoscopic image display apparatus and method and a program according to the present invention.
  • action of the endoscopic image diagnosis assistance system shown in FIG. The figure which shows an example of the virtual endoscopic image produced
  • the figure for demonstrating the setting method of a gaze vector The figure which shows an example of the virtual endoscopic image produced
  • FIG. 1 is a block diagram illustrating a schematic configuration of an endoscopic image diagnosis support system according to the present embodiment.
  • the endoscopic image diagnosis support system of the present embodiment includes an endoscopic image diagnosis support device 1, a three-dimensional image storage server 2, a display 3, and an input device 4. .
  • the endoscopic image diagnosis support apparatus 1 is a computer in which the virtual endoscopic image display program of this embodiment is installed in a computer.
  • the endoscopic image diagnosis support apparatus 1 includes a central processing unit (CPU) and a semiconductor memory, and a storage device such as a hard disk or an SSD (Solid State Drive) in which the virtual endoscopic image display program of this embodiment is installed.
  • a three-dimensional image acquisition unit 10 a tubular tissue region acquisition unit 11, a path setting unit 12, an operation amount acquisition unit 13, a movement distance acquisition unit 14, a line-of-sight vector, as shown in FIG.
  • a setting unit 15, a virtual endoscopic image generation unit 16, and a display control unit 17 are configured. And each said part each operate
  • the three-dimensional image acquisition unit 10 acquires a three-dimensional image 5 of a subject imaged in advance before an operation using an endoscope apparatus or before an examination.
  • the three-dimensional image 5 for example, volume data reconstructed from slice data output from a CT apparatus or an MRI (Magnetic Resonance Imaging) apparatus, or output from an MS (Multi Slice) CT apparatus or a cone beam CT apparatus.
  • the three-dimensional image 5 is stored in advance in the three-dimensional image storage server 2 together with the identification information of the subject, and the three-dimensional image acquisition unit 10 corresponds to the identification information of the subject input in the input device 4.
  • the image 5 is read from the three-dimensional image storage server 2.
  • the tubular tissue region acquisition unit 11 receives the three-dimensional image 5 acquired by the three-dimensional image acquisition unit 10 and acquires the tubular tissue region in the subject from the input three-dimensional image 5.
  • the tubular tissue include blood vessels such as the large intestine, the small intestine, the bronchus, and the coronary artery, but are not limited to this and may be other tubular tissues.
  • the shape of the large intestine is extracted and acquired.
  • a method for extracting the large intestine region first, based on the three-dimensional image 5, a plurality of axially disconnected images having a section perpendicular to the body axis (axial) are generated. A processing for separating the external region and the internal region is performed on the cut image by a known method based on the body surface. For example, a binarization process is performed on the input axial position discontinuity image, a contour is extracted by a contour extraction process, and the inside of the extracted contour is extracted as a body (human body) region. Next, a binarization process using a threshold value is performed on the axial dislocation image of the in-vivo region, and a colon region candidate in each axial dislocation image is extracted.
  • a threshold value for example, ⁇ 600 or less
  • binarization processing is performed.
  • colon region candidates are extracted.
  • a large intestine region is acquired by extracting only a portion where the extracted large intestine region candidates in the body are connected between the respective axial dislocation image data.
  • the method for acquiring the large intestine region is not limited to the above method, and other known methods such as RegionRegGrowing method and Level Set method may be used.
  • the path setting unit 12 extracts the tree structure of the large intestine by thinning the three-dimensional image of the large intestine region acquired as described above and estimating the center line of the large intestine, and this is extracted from the virtual endoscope. This is set as a route.
  • thinning processing a known method can be adopted. For example, “Masahiro Yasue, Kensaku Morisu, Toyofumi Saito, et al .: Comparative evaluation of ability in thinning 3D gray image and its application to medical images .
  • the route setting unit 12 outputs the endoscope route information acquired as described above to the display control unit 17, and the endoscope route is displayed on the display 3 by the display control unit 17. It is.
  • the operation amount acquisition unit 13 acquires the operation amount of the drag operation or wheel operation of the mouse 4a by the user after the user has designated a predetermined attention point on the virtual endoscopic image displayed on the display 3. To do.
  • the movement distance acquisition unit 14 acquires the movement distance from the initial viewpoint on the route of the endoscope based on the operation amount acquired by the operation amount acquisition unit 13. The method for acquiring the movement distance will be described in detail later.
  • the initial viewpoint is the viewpoint of the virtual endoscopic image that is first designated by the user.
  • the line-of-sight vector setting unit 15 brings the initial viewpoint closer to the point of interest along the path of the endoscope based on the movement distance acquired by the movement distance acquisition unit 14, and the virtual line of sight of the endoscope
  • the line-of-sight vector is changed from the initial line-of-sight vector starting from the initial viewpoint to the shortest line-of-sight vector connecting the point of interest on the route that is the shortest distance from the point of interest. It is changed and set sequentially.
  • the line-of-sight vector setting unit 15 sequentially sets line-of-sight vectors such that the viewpoint position gradually approaches the point of interest and the line-of-sight direction gradually approaches the front direction of the point of interest. A method for setting the line-of-sight vector will be described in detail later.
  • the virtual endoscopic image generation unit 16 receives the line-of-sight vector set by the line-of-sight vector setting unit 15 and the three-dimensional image of the large intestine region acquired by the tubular tissue region acquisition unit 11, and based on these, An endoscopic image is generated. Specifically, the virtual endoscopic image generation unit 16 generates a projection image by central projection obtained by projecting a three-dimensional image on a plurality of gazes radially extending around the inputted gaze vector onto a predetermined projection plane. This is acquired as a virtual endoscopic image. As a specific method of central projection, for example, a known volume rendering method or the like can be used.
  • the display control unit 17 causes the display 3 to display the virtual endoscopic image generated by the virtual endoscopic image generation unit 16 and the attention point designated by the user.
  • the display control unit 17 receives the three-dimensional image of the large intestine region acquired by the tubular tissue region acquisition unit 11, performs volume rendering or surface rendering on the three-dimensional image, and thereby performs a three-dimensional image of the entire large intestine. Is displayed on the display 3 by a voxel model or a surface model.
  • the display control unit 17 displays the endoscope route set by the route setting unit 12 so as to overlap the three-dimensional image of the entire large intestine, and the user designates a point on the route. Specifies the above-mentioned initial viewpoint.
  • the input device 4 includes a mouse 4a (corresponding to an operation unit) and a keyboard 4b, and receives an operation input by a user.
  • the user designates the position of the cursor on the virtual endoscopic image using the mouse 4a, and performs the click operation with the mouse 4a, thereby designating the position of the cursor as the position of the attention point. That is, the input device 4 corresponds to the attention point designation receiving unit in the claims.
  • the movement of the initial viewpoint is accepted by accepting the drag operation or wheel operation of the mouse 4a by the user.
  • the operation amount acquisition unit 13 acquires the operation amount of the drag operation or wheel operation of the mouse 4a
  • the movement distance acquisition unit 14 acquires the movement distance from the initial viewpoint based on the operation amount. To do.
  • subject identification information is input by the user using the keyboard 4b or the like of the input device 4, and the three-dimensional image acquisition unit 10 of the endoscopic image diagnosis support apparatus 1 uses the input subject identification information.
  • the corresponding 3D image 5 is read out and acquired from the 3D image storage server 2 (S10).
  • the three-dimensional image acquired by the three-dimensional image acquisition unit 10 is input to the tubular tissue region acquisition unit 11, and the tubular tissue region acquisition unit 11 extracts and acquires the large intestine region based on the input three-dimensional image. (S12).
  • the 3D image of the large intestine region acquired by the tubular tissue region acquisition unit 11 is output to the display control unit 17, and the display control unit 17 displays the 3D image of the entire large intestine region on the display 3 (S14).
  • the three-dimensional image of the large intestine region acquired by the tubular tissue region acquisition unit 11 is input to the route setting unit 12, and the route setting unit 12 is based on the input three-dimensional image of the large intestine region as described above.
  • a virtual endoscope path is acquired and set (S16).
  • the endoscope path acquired by the path setting unit 12 is output to the display control unit 17, and the display control unit 17 causes the display 3 to display the input endoscope path.
  • the display control unit 17 displays the path of the endoscope so as to overlap the three-dimensional image of the large intestine region.
  • the user designates a predetermined point on the endoscope path as the initial viewpoint P1 (0 ⁇ P1 ⁇ L, L is the length of the path) using the mouse 4a (corresponding to the initial viewpoint designation receiving unit).
  • the coordinate values (xP1, yP1, zP1) of the initial viewpoint are output to the line-of-sight vector setting unit 15 (S18).
  • the line-of-sight vector setting unit 15 sets an initial line-of-sight vector V1 based on the input coordinate value (xP1, yP1, zP1) of the initial viewpoint P1 and the line-of-sight direction that is set in advance, and information on the initial line-of-sight vector V1 Is output to the virtual endoscopic image generation unit 16 (S20).
  • FIG. 5 is a diagram for explaining a method of setting a line-of-sight vector in the present embodiment.
  • an initial line-of-sight vector V1 as shown in FIG. 5 is set.
  • the line-of-sight direction of the initial line-of-sight vector V1 is not necessarily the direction of a point of interest specified later, but is a direction set in advance in advance.
  • the virtual endoscopic image generation unit 16 generates a virtual endoscopic image based on the information of the input initial visual line vector V1, and outputs the virtual endoscopic image to the display control unit 17.
  • the display control unit 17 displays the input virtual endoscope image on the display 3 (S22).
  • FIG. 3 shows an example of a virtual endoscopic image generated based on the initial line-of-sight vector V1.
  • the display control unit 17 displays the cursor c on the virtual endoscopic image, and the user moves the cursor c to the point of interest using the mouse 4a, and the mouse is moved to the point of interest.
  • the position of the point of interest on the virtual endoscopic image is designated by clicking on 4a (S24).
  • the figure shown at the top of FIG. 6 shows an example of a virtual endoscopic image at the time when a point of interest is designated by the cursor c.
  • position information (X, Y) of the attention point designated by the user on the screen is acquired, and the position information (X, Y) is output to the line-of-sight vector setting unit 15.
  • the line-of-sight vector setting unit 15 calculates the coordinate value (x, y, z) of the point of interest on the three-dimensional image corresponding to the input position information (X, Y) on the screen. Since the virtual endoscopic image is an image obtained by volume rendering, obtaining the coordinate value (x, y, z) on the three-dimensional image corresponding to the coordinate value (X, Y) on the screen is not possible. Is possible.
  • the line-of-sight vector setting unit 15 sets the coordinate value (xP2) of the closest point P2 (0 ⁇ P2 ⁇ L, where L is the length of the route) that is the viewpoint on the route that is the shortest distance from the point of interest as shown in FIG. , YP2, zP2) and calculates the shortest line-of-sight vector V2 (x ⁇ xP2, y ⁇ ) connecting the coordinate value (xP2, yP2, zP2) of the closest point P2 and the coordinate value (x, y, z) of the target point.
  • yP2, z-zP2) is set.
  • the operation amount d acquired by the operation amount acquisition unit 13 is output to the movement distance acquisition unit 14, and the movement distance acquisition unit 14 follows the route from the initial viewpoint P1 based on the input operation amount d.
  • the movement distance L1 acquired by the movement distance acquisition unit 14 is output to the line-of-sight vector setting unit 15, and the line-of-sight vector setting unit 15 uses the initial line-of-sight vector V1, the shortest line-of-sight vector V2, and the movement distance L1 described above.
  • a new line-of-sight vector V is set by calculating the following equation (S30).
  • V V1 ⁇ (1.0 ⁇ D) + V2 ⁇ D
  • the line-of-sight vector V newly set according to the operation amount of the mouse 4a is output to the virtual endoscope image generation unit 16, and the new line-of-sight vector V is output in the virtual endoscope image generation unit 16. Is generated and output to the display control unit 17.
  • the display control unit 17 causes the display 3 to display a virtual endoscopic image based on the input line-of-sight vector V.
  • the second diagram from the top in FIG. 6 shows an example of a virtual endoscopic image at a point in time immediately after the start of the drag operation or wheel operation by the mouse 4a. The virtual endoscopic image at this time is close to the virtual endoscopic image based on the initial visual line vector V1.
  • the line-of-sight vector setting unit 15 sequentially changes and sets the line-of-sight vector V from the initial line-of-sight vector V1 to the shortest line-of-sight vector V2 according to the operation amount by the mouse 4a as described above, and sets this.
  • the image is output to the image generation unit 16.
  • the virtual endoscopic image generation unit 16 sequentially generates virtual endoscopic images based on the input line-of-sight vector V and outputs the virtual endoscopic images to the display control unit 17.
  • the display control unit 17 sequentially outputs the virtual endoscopic images. Update and display on display 3.
  • the calculation formula of the line-of-sight vector V is not limited to the above formula, and may be calculated based on the following formula, for example.
  • the line-of-sight vector V is sequentially set so that the line-of-sight direction gradually approaches the direction of the point of interest as the viewpoint approaches the point of interest by the operation of the mouse 4a. After moving to some extent near the point of interest, the line-of-sight direction is directed toward the point of interest. That is, the amount of change in which the line-of-sight vector approaches the shortest line-of-sight vector V2 is greater when the viewpoint is on the closest point P2 side than when the viewpoint is on the initial viewpoint side P1.
  • V V1 ⁇ (1.0 ⁇ D2) + V2 ⁇ D2
  • the line-of-sight vector setting unit 15 When the viewpoint position moves to the nearest point P2 by the drag operation or the wheel operation of the mouse 4a, the line-of-sight vector setting unit 15 outputs the shortest line-of-sight vector V2 to the virtual endoscopic image generation unit 16 to The endoscope image generation unit 16 generates a virtual endoscope image based on the input shortest line-of-sight vector V2.
  • the virtual endoscopic image based on the shortest line-of-sight vector V2 is output to the display control unit 17 and displayed on the display 3 (S32). That is, at this time, the attention point is located in the center, and a virtual endoscopic image in which the attention point is viewed from the front direction is displayed on the display 3.
  • FIG. 6 shows an example of a virtual endoscopic image based on the line-of-sight vector V when the viewpoint position approaches the closest point P2.
  • the point of interest is positioned at the center of the virtual endoscopic image.
  • the virtual endoscopic image generation unit 16 generates a virtual endoscopic image based on the input new line-of-sight vector V and outputs the virtual endoscopic image to the display control unit 17, and the display control unit 17 converts the virtual endoscopic image into the virtual endoscopic image.
  • the figure shown at the bottom of FIG. 6 shows an example of a virtual endoscope image in which the attention point is viewed from the back side as described above.
  • the line-of-sight vector setting unit 15 changes the viewpoint of the currently set line-of-sight vector to the initial viewpoint, sets the initial line-of-sight vector again, and the initial line-of-sight The vector information is output to the virtual endoscopic image generation unit 16.
  • the virtual endoscopic image generation unit 16 generates again a virtual endoscopic image based on the input initial line-of-sight vector and outputs the virtual endoscopic image to the display control unit 17, and the display control unit 17 updates the virtual endoscopic image.
  • the endoscopic image diagnosis support system of the above-described embodiment designation of a point of interest is accepted, and thereafter, the movement distance on the route from the initial viewpoint is obtained based on the operation amount accepted by the mouse 4a, and the acquisition is performed. Based on the travel distance, the endoscope viewpoint is changed from the initial viewpoint to the attention point along the route, and the gaze direction is changed to be closer to the attention point direction. Since the line-of-sight vector is sequentially changed and set up to the line-of-sight vector, the virtual endoscopic image is sequentially generated based on the set line-of-sight vector, and the generated virtual endoscopic image is sequentially displayed.
  • the virtual endoscopic images around the attention point can be sequentially generated and displayed only by a simple operation by 4a, and the virtual based on the shortest visual line vector can be displayed.
  • Endoscopic image i.e. the point of interest can be generated and displayed observed easily virtual endoscopic image viewed from the front.
  • the line-of-sight vector setting unit 15 immediately changes the currently set line-of-sight vector to the initial line-of-sight vector.
  • the present invention is not limited to this, for example, by sequentially changing and setting the line-of-sight vector from the currently set line-of-sight vector viewpoint to the initial viewpoint, and changing the line-of-sight vector to change the virtual endoscopic image It may be updated and displayed sequentially. That is, the virtual endoscopic images that are sequentially updated until the virtual endoscopic image based on the currently set line-of-sight vector is displayed may be sequentially displayed in the reverse order and restored.
  • the viewpoint is changed again from the initial viewpoint. There is no need to set the viewpoint or line-of-sight direction again when observing the virtual endoscopic image or when returning to the virtual endoscopic image that was initially displayed.
  • the drag operation or the wheel operation is ended after the viewpoint has passed the closest point P2 and moved to the position of the viewpoint P3.
  • the present invention is not limited to this, and the viewpoint is changed from the initial viewpoint P1.
  • the drag operation or the wheel operation may be ended in the middle of moving to the nearest point P2, and even in this case, the virtual based on the initial line-of-sight vector from the virtual endoscopic image based on the currently set line-of-sight vector as described above. An updated endoscopic image is displayed.
  • a virtual endoscopic image recording instruction is accepted during a drag operation or wheel operation with the mouse 4a, and the virtual endoscopic image generation unit 16 performs the recording. You may make it record the virtual endoscopic image produced
  • an instruction to record a virtual endoscopic image may be input using, for example, an “Enter” key on the keyboard 4b.
  • the user may be notified that the currently set line-of-sight vector is the shortest line-of-sight vector V2. That is, you may make it alert
  • the display control unit 17 (corresponding to the notification unit) may display a message, a mark, or the like on the display 3, or may be notified by voice. By performing such notification, the user can easily grasp that the currently displayed virtual endoscopic image is a virtual endoscopic image obtained by viewing the attention point from the front direction.
  • the user may be notified that the currently set line-of-sight vector is a line-of-sight vector including a viewpoint that has advanced further on the route than the closest point P2 of the shortest line-of-sight vector V2. That is, you may make it alert
  • the display control unit 17 causes the display 3 to display a marker M that moves to the left and right according to the movement of the viewpoint position as shown in FIG. 7 and a scale that indicates the position on the route. You may make it alert
  • the line-of-sight vector setting unit 15 may calculate the distance between the viewpoint of the currently set line-of-sight vector and the point of interest, and the display control unit 17 may display the distance on the display 3.

Abstract

【課題】マウスなどの簡易な操作のみによって、注目点の周辺の仮想内視鏡画像を順次生成して表示し、かつ注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示する。 【解決手段】注目点の指定を受付け、その後、マウスなどの操作部において受け付けられた操作量に基づいて初期視点からの経路上の移動距離を取得し、その取得した移動距離に基づいて、内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから注目点と視点との距離が最短となる最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させる。

Description

仮想内視鏡画像表示装置および方法並びにプログラム
　本発明は、被検体の３次元画像に基づいて、内視鏡によって撮影が行われたものとして仮想的な内視鏡画像を生成し、その仮想内視鏡画像を表示させる仮想内視鏡画像表示装置および方法並びにプログラムに関するものである。
　近年、ＣＴ（Computed Tomography）装置などのモダリティによって撮影された３次元画像から患者の大腸、小腸、気管支および血管などの管状組織を抽出し、その抽出した管状組織の３次元画像を画像診断に用いることが行われている。
　たとえば、大腸コロノグラフィーにおいては、大腸領域の３次元画像に基づいて、その大腸領域の内部を通過する内視鏡の経路を決定し、その決定した経路に沿って視点を動かしながら実際にその視点から内視鏡によって撮影された画像と類似した仮想内視鏡画像を生成し、この仮想内視鏡画像を表示することによって目標とする地点までの経路をナビゲーションする技術が提案されている。
特開２０１１－２０６２９７号公報
　ここで、上述したような大腸コロノグラフィーにおいて、たとえば腫瘤のような病変部と疑われる部分が発見された場合には、その病変部を仮想内視鏡画像上において確認したい場合がある。
　このような場合、従来は、その病変部に近いと思われる内視鏡の視点位置と、病変部へ向いた内視鏡の視線方向とをユーザが設定入力する必要があり、煩わしい作業となっていた。また、必ずしも病変部に向いた視線方向がユーザによって設定入力されているとは限らず、これらに基づいて生成された仮想内視鏡画像内の適切な位置に病変部が現れていない場合もあり、視点位置と視線方向の微調整が必要となっていた。
　また、病変部近傍だけでなく、病変部の周囲の状態も観察したい場合もあり、このような場合、ユーザがわざわざ視点位置と視線方向とを改めて設定入力する必要があり、さらに煩わしい作業となっていた。特に、大腸内の襞に病変部らしき部分が存在する場合には、その襞の一方の面から見た仮想内視鏡画像だけでなく、他方の面、すなわち襞の裏側から見た仮想内視鏡画像を観察したい場合もあり、このような場合にも、これらの仮想内視鏡画像を生成するために視点位置と視線方向をわざわざ設定入力し直す必要があり、診断効率の低下を招くことになっていた。
　なお、特許文献１には、所望の注目点を含む仮想内視鏡画像を生成する際、その注目点を正面から見た仮想内視鏡画像を自動的に生成することによって注目点を観察し易くする方法が提案されているが、特許文献１に記載の方法では、注目点を正面から見た仮想内視鏡画像しか観察することができず、その注目点の周辺の仮想内視鏡画像を観察することができず、このような仮想内視鏡画像を生成するためには、やはり視点位置と視線方向の設定入力が改めて必要である。
　本発明は、上記事情に鑑み、マウスなどの操作部による簡易な操作のみによって、病変部など注目点の周辺の仮想内視鏡画像を順次生成して表示することができるとともに、注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示することができる仮想内視鏡画像表示装置および方法並びにプログラムを提供することを目的とするものである。
　本発明の仮想内視鏡画像表示装置は、被検体の３次元画像に基づいて、被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、仮想内視鏡画像を表示させる表示制御部とを備えた仮想内視鏡画像表示装置において、被検体の３次元画像上における内視鏡の経路を設定する経路設定部と、仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、操作量取得部によって取得された操作量に基づいて、仮想的な内視鏡の経路上の初期視点からの移動距離を取得する移動距離取得部と、移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部とを備え、仮想内視鏡画像生成部が、視線ベクトル設定部において設定された視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、表示制御部が、視線ベクトルの変更に応じて仮想内視鏡画像を順次表示させるものであることを特徴とする。
　また、上記本発明の仮想内視鏡画像表示装置においては、視線ベクトル設定部を、最短視線ベクトルの視点から経路上に沿ってさらに進めた視点と注目点とを結ぶ視線ベクトルをさらに設定するものとできる。
　また、視線ベクトル設定部を、操作部における操作が終了した際、現在設定している視線ベクトルの視点を初期視点に変更して視点ベクトルを設定するものとできる。
　また、視線ベクトル設定部を、現在設定している視線ベクトルの視点から初期視点に変更するまで視線ベクトルを順次変更して設定するものとし、表示制御部を、視線ベクトルの変更に応じて仮想内視鏡画像を順次表示させるものとできる。
　また、仮想内視鏡画像生成部を、操作部における操作中において、仮想内視鏡画像の記録指示を受け付け、その記録指示を受け付けた時点において設定されている視線ベクトルに基づいて生成された仮想内視鏡画像を記録するものとできる。
　また、視線ベクトル設定部を、視点が注目点に近づくにつれて視線方向が徐々に注目点の方向に近づくように視線ベクトルを順次設定するものとできる。
　また、視線ベクトル設定部を、視点が初期視点側に存在するときよりも注目点から最短距離である経路上の視点側に存在するときの方が、視線ベクトルが最短視線ベクトルに近づく変化量を大きくするものとできる。
　また、視線ベクトル設定部において最短視線ベクトルが設定されていることを報知する報知部を設けることができる。
　また、視線ベクトル設定部において現在設定されている視線ベクトルが、最短視線ベクトルの視点よりも経路上をさらに進んだ視点を含む視線ベクトルであることを報知する報知部を設けることができる。
　また、３次元画像上における初期視点の指定を受け付ける初期視点指定受付部を設けることができる。
　また、注目点指定受付部をマウスを備えたものとし、仮想内視鏡画像上に表示されたカーソルの位置の指定とマウスにおけるクリック操作とを受け付けることによって注目点の指定を受け付けるものとできる。
　また、操作部をマウスを備えたものとし、操作量取得部を、マウスのドラッグ操作またはホイール操作の操作量を取得するものとできる。
　本発明の仮想内視鏡画像表示方法は、被検体の３次元画像に基づいて、被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成し、その生成した仮想内視鏡画像を表示させる仮想内視鏡画像表示方法において、被検体の３次元画像上における内視鏡の経路を設定し、仮想内視鏡画像上における注目点の指定を受け付け、注目点の受付け後、操作部において受け付けられた操作量を取得し、その取得した操作量に基づいて、仮想的な内視鏡の経路上の初期視点からの移動距離を取得し、その取得した移動距離に基づいて、仮想的な内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させることを特徴とする。
　本発明の仮想内視鏡画像表示プログラムは、コンピュータを、被検体の３次元画像に基づいて、被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、仮想内視鏡画像を表示させる表示制御部として機能させる仮想内視鏡画像表示プログラムであって、コンピュータを、さらに被検体の３次元画像上における内視鏡の経路を設定する経路設定部と、仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、操作量取得部によって取得された操作量に基づいて、仮想的な内視鏡の経路上の初期視点からの移動距離を取得する移動距離取得部と、移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部として機能させ、仮想内視鏡画像生成部が、視線ベクトル設定部において設定された視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、表示制御部が、視線ベクトルの変更に応じて仮想内視鏡画像を順次表示させるものであることを特徴とする。
　本発明の仮想内視鏡画像表示装置および方法並びにプログラムによれば、注目点の指定を受付け、その後、マウスなどの操作部において受け付けられた操作量に基づいて初期視点からの経路上の移動距離を取得し、その取得した移動距離に基づいて、内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから注目点と視点との距離が最短となる最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させるようにしたので、マウスなどの操作部による簡易な操作のみによって、注目点の周辺の仮想内視鏡画像を順次生成して表示することができるとともに、最短視線ベクトルに基づく仮想内視鏡画像、すなわち注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示することができる。
本発明の仮想内視鏡画像表示装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムの概略構成を示すブロック図 図１に示す内視鏡画像診断支援システムの作用を説明するためのフローチャート 初期視線ベクトルに基づいて生成された仮想内視鏡画像の一例を示す図 仮想内視鏡画像とカーソルの一例を示す図 視線ベクトルの設定方法を説明するための図 視線ベクトルの変更に応じて順次生成される仮想内視鏡画像の一例を示す図 視点位置の移動に応じて左右に移動するマーカＭと経路上における位置を示すスケールの一例を示す図
　以下、本発明の仮想内視鏡画像表示装置および方法並びにプログラムの一実施形態を用いた内視鏡画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の内視鏡画像診断支援システムの概略構成を示すブロック図である。
　本実施形態の内視鏡画像診断支援システムは、図１に示すように、内視鏡画像診断支援装置１と、３次元画像保管サーバ２と、ディスプレイ３と、入力装置４とを備えている。
　内視鏡画像診断支援装置１は、コンピュータに本実施形態の仮想内視鏡画像表示プログラムがインストールされたものである。 
　そして、内視鏡画像診断支援装置１は、中央処理装置（ＣＰＵ）および半導体メモリや、本実施形態の仮想内視鏡画像表示プログラムがインストールされたハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えており、これらのハードウェアによって、図１に示すような３次元画像取得部１０、管状組織領域取得部１１、経路設定部１２、操作量取得部１３、移動距離取得部１４、視線ベクトル設定部１５、仮想内視鏡画像生成部１６および表示制御部１７が構成されている。そして、ハードディスクにインストールされた本実施形態の仮想内視鏡画像表示プログラムが中央処理装置によって実行されることによって上記各部がそれぞれ動作する。
　３次元画像取得部１０は、内視鏡装置を用いた手術前または検査前などに予め撮影された被検体の３次元画像５を取得するものである。３次元画像５としては、たとえばＣＴ装置やＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータから再構成されたボリュームデータや、ＭＳ（Multi Slice）ＣＴ装置やコーンビームＣＴ装置から出力されたボリュームデータなどがある。３次元画像５は、３次元画像保管サーバ２に被検体の識別情報とともに予め保管されており、３次元画像取得部１０は、入力装置４において入力された被検体の識別情報に対応する３次元画像５を３次元画像保管サーバ２から読み出すものである。 
　管状組織領域取得部１１は、３次元画像取得部１０によって取得された３次元画像５が入力され、その入力された３次元画像５から被検体内の管状組織領域を取得するものである。上記管状組織としては、たとえば大腸、小腸、気管支または冠動脈などの血管があるが、これに限らずその他の管状組織でもよい。なお、本実施形態においては大腸の形状を抽出して取得するものとする。
　大腸領域を抽出する方法としては、具体的には、まず、３次元画像５に基づいて体軸に垂直な断面（軸位断；axial）の軸位断画像を複数生成し、その各軸位断画像に対して、公知の手法により、体表を基準に体外と体内領域を分離する処理を行う。たとえば、入力された軸位断画像に対して二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のＣＴ値に対応する閾値（たとえば、－６００以下）を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。最後に、各軸位断画像データ間で、抽出された体内の大腸領域候補がつながる部分のみを抽出することによって大腸領域を取得する。なお、大腸領域を取得する方法としては、上記の方法に限らず、その他にもRegion Growing法やLevel Set法など公知な方法を用いるようにしてもよい。
　経路設定部１２は、上記のようにして取得された大腸領域の３次元画像を細線化して大腸の中心線を推定することによって大腸の木構造を抽出し、これを仮想的な内視鏡の経路として設定するものである。なお、細線化処理については、公知な方法を採用することができ、たとえば“安江正宏,森 健策,齋藤豊文,他:3次元濃淡画像の細線化法と医用画像への応用における能力の比較評価.電子情報通信学会論文誌J79‐D‐H(10):1664-1674,1996”や、“齋藤豊文,番正聡志,鳥脇純一郎:ユークリッド距離に基づくスケルトンを用いた3次元細線化手法の改善一ひげの発生を制御できる一手法.電子情報通信学会論文誌(E日刷中),2001”などに記載の方法を用いることができる。
　経路設定部１２は、上述したようにして取得した内視鏡の経路の情報を表示制御部１７に出力するものであり、内視鏡経路は、表示制御部１７によってディスプレイ３に表示されるものである。
　操作量取得部１３は、ディスプレイ３に表示された仮想内視鏡画像上においてユーザによって所定の注目点の指定が行われた後の、ユーザによるマウス４ａのドラッグ操作またはホイール操作の操作量を取得するものである。
　移動距離取得部１４は、操作量取得部１３によって取得された操作量に基づいて、内視鏡の経路上の初期視点からの移動距離を取得するものである。移動距離の取得方法については、後で詳述する。なお、初期視点とは、ユーザによって最初に指定される仮想内視鏡画像の視点である。
　視線ベクトル設定部１５は、移動距離取得部１４によって取得された移動距離に基づいて、初期視点を内視鏡の経路上に沿って注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を注目点の方向に近づけるように変更することによって、初期視点を始点とする初期視線ベクトルから、注目点から最短距離である経路上の視点と注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定するものである。
　すなわち、視線ベクトル設定部１５は、視点位置が注目点に次第に近づくとともに、視線方向が注目点の正面方向に次第に近づくような視線ベクトルを順次設定するものである。なお、視線ベクトルの設定方法については、後で詳述する。
　仮想内視鏡画像生成部１６は、視線ベクトル設定部１５において設定された視線ベクトルと、管状組織領域取得部１１において取得された大腸領域の３次元画像とが入力され、これらに基づいて仮想内視鏡画像を生成するものである。具体的には、仮想内視鏡画像生成部１６は、入力された視線ベクトルを中心として放射線状に伸ばした複数の視線上の３次元画像を所定の投影面に投影した中心投影による投影画像を仮想内視鏡画像として取得するものである。なお、中心投影の具体的な方法としては、たとえば公知のボリュームレンダリング手法等を用いることができる。
　表示制御部１７は、仮想内視鏡画像生成部１６によって生成された仮想内視鏡画像や、ユーザによって指定された注目点をディスプレイ３に表示させるものである。
　また、表示制御部１７は、管状組織領域取得部１１において取得された大腸領域の３次元画像が入力され、その３次元画像に対してボリュームレンダリングやサーフェスレンダリングを施して、大腸全体の３次元画像をボクセルモデルまたはサーフェスモデルによってディスプレイ３に表示させるものである。
　また、表示制御部１７は、経路設定部１２において設定された内視鏡の経路を大腸全体の３次元画像内に重ねて表示させるものであり、ユーザは、この経路上の点を指定することによって上述した初期視点を指定する。
　入力装置４は、マウス４ａ（操作部に相当する）とキーボード４ｂとを備えたものであり、ユーザによる操作入力を受け付けるものである。
　本実施形態においては、ユーザがマウス４ａを用いて仮想内視鏡画像上におけるカーソルの位置を指定し、マウス４ａによってクリック操作を行うことによって上記カーソルの位置が注目点の位置として指定される。すなわち、入力装置４は、請求項における注目点指定受付部に相当するものである。
　また、本実施形態においては、ユーザによるマウス４ａのドラッグ操作またはホイール操作を受け付けることによって初期視点の移動を受け付ける。上述したように操作量取得部１３は、マウス４ａのドラッグ操作またはホイール操作の操作量を取得するものであり、移動距離取得部１４は、その操作量に基づいて初期視点からの移動距離を取得するものである。
　次に、本実施形態の内視鏡画像診断支援システムの作用について、図２に示すフローチャートおよび図３から図６を参照しながら説明する。
　まず、入力装置４のキーボード４ｂなどを用いてユーザによって被検体の識別情報が入力され、内視鏡画像診断支援装置１の３次元画像取得部１０は、その入力された被検体の識別情報に対応する３次元画像５を３次元画像保管サーバ２から読み出して取得する（Ｓ１０）。
　３次元画像取得部１０によって取得された３次元画像は、管状組織領域取得部１１に入力され、管状組織領域取得部１１は、入力された３次元画像に基づいて大腸領域を抽出して取得する（Ｓ１２）。
　管状組織領域取得部１１によって取得された大腸領域の３次元画像は、表示制御部１７に出力され、表示制御部１７は、大腸領域全体の３次元画像をディスプレイ３に表示させる（Ｓ１４）。
　また、管状組織領域取得部１１によって取得された大腸領域の３次元画像は経路設定部１２に入力され、経路設定部１２は、入力された大腸領域の３次元画像に基づいて、上述したように仮想的な内視鏡の経路を取得して設定する（Ｓ１６）。そして、経路設定部１２によって取得された内視鏡の経路は表示制御部１７に出力され、表示制御部１７は、入力された内視鏡の経路をディスプレイ３に表示させる。このとき表示制御部１７は、大腸領域の３次元画像に重ねて内視鏡の経路を表示させる。
　そして、ユーザが、マウス４ａ（初期視点指定受付部に相当する）を用いて内視鏡経路上における所定の点を初期視点Ｐ１（０≦Ｐ１≦Ｌ，Ｌは経路の長さ）として指定し、その初期視点の座標値（ｘＰ１，ｙＰ１，ｚＰ１）が視線ベクトル設定部１５に出力される（Ｓ１８）。
　視線ベクトル設定部１５は、入力された初期視点Ｐ１の座標値（ｘＰ１，ｙＰ１，ｚＰ１）と予め初期設定された視線方向とに基づいて初期視線ベクトルＶ１を設定し、その初期視線ベクトルＶ１の情報を仮想内視鏡画像生成部１６に出力する（Ｓ２０）。図５は、本実施形態における視線ベクトルの設定方法を説明するための図であり、ここでは図５に示すような初期視線ベクトルＶ１が設定される。なお、初期視線ベクトルＶ１の視線方向は、必ずしも後で指定される注目点の方向ではなく、予め初期設定された方向である。
　仮想内視鏡画像生成部１６は、入力された初期視線ベクトルＶ１の情報に基づいて仮想内視鏡画像を生成し、その仮想内視鏡画像を表示制御部１７に出力する。表示制御部１７は、入力された仮想内視鏡画像をディスプレイ３に表示させる（Ｓ２２）。図３は、初期視線ベクトルＶ１に基づいて生成された仮想内視鏡画像の一例を示すものである。
　さらに、図４に示すように、表示制御部１７によって仮想内視鏡画像上にカーソルｃが表示され、ユーザが、マウス４ａを用いてカーソルｃを注目点まで移動させ、注目点の位置でマウス４ａをクリック操作することによって仮想内視鏡画像上における注目点の位置が指定される（Ｓ２４）。図６の一番上に示された図は、カーソルｃによって注目点が指定された時点における仮想内視鏡画像の一例を示すものである。
　そして、ユーザによって指定された注目点の画面上の位置情報（Ｘ，Ｙ）が取得され、その位置情報（Ｘ，Ｙ）が視線ベクトル設定部１５に出力される。視線ベクトル設定部１５は、入力された画面上の位置情報（Ｘ，Ｙ）に対応する３次元画像上の注目点の座標値（ｘ，ｙ，ｚ）を算出する。なお、仮想内視鏡画像はボリュームレンダリングによって得られた画像であるため、画面上の座標値（Ｘ，Ｙ）に対応する３次元画像上の座標値（ｘ，ｙ，ｚ）を求めることは可能である。
　次いで、視線ベクトル設定部１５は、図５に示すような注目点から最短距離である経路上の視点である最近点Ｐ２（０≦Ｐ２≦Ｌ，Ｌは経路の長さ）の座標値（ｘＰ２，ｙＰ２，ｚＰ２）を算出し、この最近点Ｐ２の座標値（ｘＰ２，ｙＰ２，ｚＰ２）と注目点の座標値（ｘ，ｙ，ｚ）とを結ぶ最短視線ベクトルＶ２（ｘ－ｘＰ２，ｙ－ｙＰ２，ｚ－ｚＰ２）を設定する。
　次に、ユーザによって注目点がクリックされている状態からドラッグ操作が行われた場合またはクリックが解除されてホイール操作が行われた場合には、操作量取得部１３によってその操作量が取得される（Ｓ２６）。具体的には、たとえばマウス４ａによるドラッグ操作中またはドラッグ操作後のカーソルｃの画面上の座標値（Ｘ’，Ｙ’）とすると、マウス４ａによる操作量ｄは、
ｄ＝√（（Ｘ’－Ｘ）２＋（Ｙ’－Ｙ）２）
となる。
　そして、操作量取得部１３によって取得された操作量ｄは移動距離取得部１４に出力され、移動距離取得部１４は、入力された操作量ｄに基づいて、初期視点Ｐ１からの経路上に沿った移動距離を取得する（Ｓ２８）。具体的には、制御量Ｃ＝ｄ×ａ（ａ：定数）を用いて、下式を算出することによって、図５に示すような移動距離Ｌ１を取得する。
Ｌ１＝Ｃ／（Ｐ２－Ｐ１）
　次いで、移動距離取得部１４によって取得された移動距離Ｌ１は視線ベクトル設定部１５に出力され、視線ベクトル設定部１５は、上述した初期視線ベクトルＶ１と最短視線ベクトルＶ２と移動距離Ｌ１とを用いて、下式を算出することによって新たな視線ベクトルＶを設定する（Ｓ３０）。なお、下式のＤは、Ｄ＝Ｌ２／（Ｌ１＋Ｌ２）によって表され、Ｌ２は、図５に示すように初期視点Ｐ１から最近点Ｐ２までの経路上の距離から移動距離Ｌ１を減算した値である。
Ｖ＝Ｖ１×（１．０－Ｄ）＋Ｖ２×Ｄ
　上述したようにして、マウス４ａにおける操作量に応じて新たに設定された視線ベクトルＶは、仮想内視鏡画像生成部１６に出力され、仮想内視鏡画像生成部１６において新たな視線ベクトルＶに基づく仮想内視鏡画像が生成されて表示制御部１７に出力される。表示制御部１７は、入力された視線ベクトルＶに基づく仮想内視鏡画像をディスプレイ３に表示させる。図６の上から２番目に示す図は、マウス４ａによるドラッグ操作またはホイール操作の開始から間もない時点における仮想内視鏡画像の一例を示すものである。このときの仮想内視鏡画像は、初期視線ベクトルＶ１に基づく仮想内視鏡画像に近いものとなる。
　そして、視線ベクトル設定部１５は、上述したようにしてマウス４ａによる操作量に応じて初期視線ベクトルＶ１から最短視線ベクトルＶ２までの視線ベクトルＶを順次変更して設定し、これを仮想内視鏡画像生成部１６に出力する。
　仮想内視鏡画像生成部１６は、入力された視線ベクトルＶに基づいて仮想内視鏡画像を順次生成して表示制御部１７に出力し、表示制御部１７は、仮想内視鏡画像を順次更新してディスプレイ３に表示させる。
　なお、視線ベクトルＶの算出式は、上式に限らず、たとえば下式に基づいて算出するようにしてもよい。上式も下式とも、マウス４ａによる操作によって視点が注目点に近づくにつれて視線方向が徐々に注目点の方向に近づくように視線ベクトルＶを順次設定するものであるが、下式は、視点が注目点付近にある程度移動した後に視線方向を注目点の方向に向けるようにしたものである。すなわち、視点が初期視点側Ｐ１に存在するときよりも最近点Ｐ２側に存在するときの方が、視線ベクトルが最短視線ベクトルＶ２に近づく変化量を大きくしたものである。このように視線ベクトルＶを順次設定して仮想内視鏡画像を順次更新して表示させた方が、仮想内視鏡画像の変化がより円滑であり、注目点の観察もし易くなる。
Ｖ＝Ｖ１×（１．０－Ｄ２）＋Ｖ２×Ｄ２
　そして、マウス４ａのドラッグ操作またはホイール操作によって視点の位置が最近点Ｐ２まで移動した際には、視線ベクトル設定部１５は、最短視線ベクトルＶ２を仮想内視鏡画像生成部１６に出力し、仮想内視鏡画像生成部１６は、入力された最短視線ベクトルＶ２に基づく仮想内視鏡画像を生成する。最短視線ベクトルＶ２に基づく仮想内視鏡画像は、表示制御部１７に出力されてディスプレイ３に表示される（Ｓ３２）。すなわち、このとき注目点が中央に位置し、注目点を正面方向から見た仮想内視鏡画像がディスプレイ３に表示される。図６の上から３番目に示す図は、視点の位置が最近点Ｐ２に近づいた時点における視線ベクトルＶに基づく仮想内視鏡画像の一例を示すものである。なお、最近点Ｐ２を視点とした最短視線ベクトルＶ２に基づく仮想内視鏡画像においては、注目点が仮想内視鏡画像の中心に位置することになる。
　そして、さらにマウス４ａによるドラッグ操作またはホイール操作が行われた場合には、最近点Ｐ２からさらに進んだ視点Ｐ３の座標値が取得され、視線ベクトル設定部１５は、その視点Ｐ３の座標値と注目点の座標値とを結ぶ新たな視線ベクトルＶを設定し、仮想内視鏡画像生成部１６に出力する。
　仮想内視鏡画像生成部１６は、入力された新たな視線ベクトルＶに基づいて仮想内視鏡画像を生成して表示制御部１７に出力し、表示制御部１７は、仮想内視鏡画像を更新してディスプレイ３に表示させる。すなわち、このとき注目点が中央に位置し、注目点を裏側から見た仮想内視鏡画像がディスプレイ３に表示される（Ｓ３４）。図６の一番下に示す図は、上述したように注目点を裏側から見た仮想内視鏡画像の一例を示すものである。
　次いで、ユーザが、マウス４ａのクリックを解除することによってドラッグ操作を終了した場合、またはホイール操作後、ホイールをクリックなどしてホイール操作の終了の指示が入力された場合には、その操作終了の信号が視線ベクトル設定部１５に出力される（Ｓ３６）。
　そして、視線ベクトル設定部１５は、上述した操作終了の信号が入力された場合には、現在設定している視線ベクトルの視点を初期視点に変更して再び初期視線ベクトルを設定し、その初期視線ベクトルの情報を仮想内視鏡画像生成部１６に出力する。
　仮想内視鏡画像生成部１６は、入力された初期視線ベクトルに基づく仮想内視鏡画像を再び生成して表示制御部１７に出力し、表示制御部１７は、仮想内視鏡画像を更新して表示させる（Ｓ３８）。すなわち、マウス４ａによるドラッグ操作またはホイール操作が終了した場合には、再び最初の仮想内視鏡画像がディスプレイ３に表示される。
　上記実施形態の内視鏡画像診断支援システムによれば、注目点の指定を受付け、その後、マウス４ａにおいて受け付けられた操作量に基づいて初期視点からの経路上の移動距離を取得し、その取得した移動距離に基づいて、内視鏡の視点を初期視点から経路上に沿って注目点に向かって近づけ、かつ視線方向を注目点の方向に近づけるように変更することによって、初期視線ベクトルから最短視線ベクトルまで視線ベクトルを順次変更して設定し、その設定した視線ベクトルに基づいて、仮想内視鏡画像を順次生成し、その生成した仮想内視鏡画像を順次表示させるようにしたので、マウス４ａによる簡易な操作のみによって、注目点の周辺の仮想内視鏡画像を順次生成して表示することができるとともに、最短視線ベクトルに基づく仮想内視鏡画像、すなわち注目点を正面から見た観察し易い仮想内視鏡画像を生成して表示することができる。
　なお、上記実施形態の説明においては、マウス４ａによるドラッグ操作またはホイール操作が終了した場合、視線ベクトル設定部１５が、現在設定している視線ベクトルから初期視線ベクトルに即座に変更するようにしたが、これに限らず、たとえば現在設定している視線ベクトルの視点から初期視点に変更するまでの間の視線ベクトルを順次変更して設定し、その視線ベクトルの変更に応じて仮想内視鏡画像を順次更新して表示させるようにしてもよい。すなわち、現在設定されている視線ベクトルに基づく仮想内視鏡画像が表示されるまでに順次更新された仮想内視鏡画像を逆の順番で順次表示させて元に戻すようにしてもよい。
　上述したようにマウス４ａによるドラッグ操作またはホイール操作が終了した場合に、再び初期視線ベクトルに基づく仮想内視鏡画像を生成して表示するようにすれば、再度、初期視点から視点を変更して仮想内視鏡画像を観察したい場合や、最初に表示されていた仮想内視鏡画像に戻したい場合などに改めて視点や視線方向の設定を行う必要がない。
　また、上記実施形態の説明では、視点が最近点Ｐ２を通過し、視点Ｐ３の位置まで移動した後にドラッグ操作またはホイール操作を終了するようにしたが、これに限らず、視点が初期視点Ｐ１から最近点Ｐ２まで移動する途中においてドラッグ操作またはホイール操作を終了してもよく、その場合においても、上述したように現在設定されている視線ベクトルに基づく仮想内視鏡画像から初期視線ベクトルに基づく仮想内視鏡画像に更新されて表示される。
　また、上記実施形態の内視鏡画像診断支援システムにおいて、マウス４ａによるドラッグ操作中またはホイール操作中において、仮想内視鏡画像の記録指示を受け付け、仮想内視鏡画像生成部１６が、その記録指示を受け付けた時点において設定されている視線ベクトルに基づいて生成された仮想内視鏡画像を記録するようにしてもよい。このように所望の視点位置の仮想内視鏡画像を記録しておくことによって、後から読み出して再度確認したりして所望の用途に用いることができる。なお、仮想内視鏡画像の記録指示については、たとえばキーボード４ｂにおける「Enter」キーを用いて入力するようにすればよい。
　また、上記実施形態の内視鏡画像診断システムにおいては、現在設定されている視線ベクトルが最短視線ベクトルＶ２であることをユーザに報知するようにしてもよい。すなわち、現在、ディスプレイ３に表示されている仮想内視鏡画像が、注目点を正面方向から見た仮想内視鏡画像であることをユーザに報知するようにしてもよい。ユーザに報知する方法としては、たとえば表示制御部１７（報知部に相当する）が、ディスプレイ３にメッセージやマークなどを表示するようにしてもよいし、音声によって知らせるようにしてもよい。このような報知を行うことによって、ユーザが、現在表示されている仮想内視鏡画像が注目点を正面方向から見た仮想内視鏡画像であることを容易に把握することができる。
　また、現在設定されている視線ベクトルが、最短視線ベクトルＶ２の最近点Ｐ２よりも経路上をさらに進んだ視点を含む視線ベクトルであることをユーザに報知するようにしてもよい。すなわち、現在、ディスプレイ３に表示されている仮想内視鏡画像が、注目点を裏側から見た仮想内視鏡画像であることをユーザに報知するようにしてもよい。具体的には、たとえば表示制御部１７が、図７に示すような視点位置の移動に応じて左右に移動するマーカＭと経路上における位置を示すスケールとをディスプレイ３に表示させ、マーカＭをスケール上の最近点よりも左側に表示させることによってユーザに報知するようにしてもよい。このような報知を行うことによって、ユーザが、現在表示されている仮想内視鏡画像が注目点を裏側から見た仮想内視鏡画像であることを容易に把握することができる。
　また、視線ベクトル設定部１５が、現在設定されている視線ベクトルの視点と注目点との間の距離を算出し、表示制御部１７が、その距離をディスプレイ３に表示させるようにしてもよい。

Claims (14)

  1. 　被検体の３次元画像に基づいて、前記被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、前記仮想内視鏡画像を表示させる表示制御部とを備えた仮想内視鏡画像表示装置において、
    　前記被検体の３次元画像上における前記内視鏡の経路を設定する経路設定部と、
    　前記仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、
    　前記注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、
    　該操作量取得部によって取得された操作量に基づいて、仮想的な内視鏡の前記経路上の初期視点からの移動距離を取得する移動距離取得部と、
    　該移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を前記初期視点から前記経路上に沿って前記注目点に向かって近づけ、かつ仮想的な内視鏡の視線方向を前記注目点の方向に近づけるように変更することによって、前記初期視点を始点とする初期視線ベクトルから、前記注目点から最短距離である前記経路上の視点と前記注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部とを備え、
    　前記仮想内視鏡画像生成部が、前記視線ベクトル設定部において設定された視線ベクトルに基づいて、前記仮想内視鏡画像を順次生成し、
    　前記表示制御部が、前記視線ベクトルの変更に応じて前記仮想内視鏡画像を順次表示させるものであることを特徴とする仮想内視鏡画像表示装置。
  2. 　前記視線ベクトル設定部が、前記最短視線ベクトルの視点から前記経路上に沿ってさらに進めた視点と前記注目点とを結ぶ視線ベクトルをさらに設定するものであることを特徴とする請求項１記載の仮想内視鏡画像表示装置。
  3. 　前記視線ベクトル設定部が、前記操作部における操作が終了した際、現在設定している視線ベクトルの視点を前記初期視点に変更して視点ベクトルを設定するものであることを特徴とする請求項１または２記載の仮想内視鏡画像表示装置。
  4. 　前記視線ベクトル設定部が、前記現在設定している視線ベクトルの視点から前記初期視点に変更するまで視線ベクトルを順次変更して設定するものであり、
    　前記表示制御部が、前記視線ベクトルの変更に応じて前記仮想内視鏡画像を順次表示させるものであることを特徴とする請求項３記載の仮想内視鏡画像表示装置。
  5. 　前記仮想内視鏡画像生成部が、前記操作部における操作中において、前記仮想内視鏡画像の記録指示を受け付け、該記録指示を受け付けた時点において設定されている視線ベクトルに基づいて生成された仮想内視鏡画像を記録するものであることを特徴とする請求項１から４いずれか1項記載の仮想内視鏡画像表示装置。
  6. 　前記視線ベクトル設定部が、前記視点が注目点に近づくにつれて前記視線方向が徐々に前記注目点の方向に近づくように前記視線ベクトルを順次設定するものであることを特徴とする請求項１から５いずれか１項記載の仮想内視鏡画像表示装置。
  7. 　前記視線ベクトル設定部が、前記視点が初期視点側に存在するときよりも前記注目点から最短距離である前記経路上の視点側に存在するときの方が、前記視線ベクトルが前記最短視線ベクトルに近づく変化量を大きくするものであることを特徴とする請求項６記載の仮想内視鏡画像表示装置。
  8. 　前記視線ベクトル設定部において前記最短視線ベクトルが設定されていることを報知する報知部を備えたことを特徴とする請求項１から７いずれか１項記載の仮想内視鏡画像表示装置。
  9. 　前記視線ベクトル設定部において現在設定されている視線ベクトルが、前記最短視線ベクトルの視点よりも前記経路上をさらに進んだ視点を含む視線ベクトルであることを報知する報知部を備えたことを特徴とする請求項１から７いずれか１項記載の仮想内視鏡画像表示装置。
  10. 　前記３次元画像上における前記初期視点の指定を受け付ける初期視点指定受付部を備えたことを特徴とする請求項１から９いずれか１項記載の仮想内視鏡画像表示装置。
  11. 　前記注目点指定受付部がマウスを備え、前記仮想内視鏡画像上に表示されたカーソルの位置の指定と前記マウスにおけるクリック操作とを受け付けることによって前記注目点の指定を受け付けるものであることを特徴とする請求項１から１０いずれか１項記載の仮想内視鏡画像表示装置。
  12. 　前記操作部がマウスを備え、
    　前記操作量取得部が、前記マウスのドラッグ操作またはホイール操作の操作量を取得するものであることを特徴とする請求項１から１１いずれか１項記載の仮想内視鏡画像表示装置。
  13. 　被検体の３次元画像に基づいて、前記被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成し、該生成した仮想内視鏡画像を表示させる仮想内視鏡画像表示方法において、
    　前記被検体の３次元画像上における前記内視鏡の経路を設定し、
    　前記仮想内視鏡画像上における注目点の指定を受け付け、
    　前記注目点の受付け後、操作部において受け付けられた操作量を取得し、
    　該取得した操作量に基づいて、仮想的な前記内視鏡の前記経路上の初期視点からの移動距離を取得し、
    　該取得した移動距離に基づいて、仮想的な内視鏡の視点を前記初期視点から前記経路上に沿って前記注目点に向かって近づけ、かつ仮想的な前記内視鏡の視線方向を前記注目点の方向に近づけるように変更することによって、前記初期視点を始点とする初期視線ベクトルから、前記注目点から最短距離である前記経路上の視点と前記注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定し、
    　該設定した視線ベクトルに基づいて、前記仮想内視鏡画像を順次生成し、
    　該生成した前記仮想内視鏡画像を順次表示させることを特徴とする仮想内視鏡画像表示方法。
  14. 　コンピュータを、被検体の３次元画像に基づいて、前記被検体内に挿入された内視鏡によって撮影が行われたものとして仮想的な仮想内視鏡画像を生成する仮想内視鏡画像生成部と、前記仮想内視鏡画像を表示させる表示制御部として機能させる仮想内視鏡画像表示プログラムであって、
    　コンピュータを、さらに前記被検体の３次元画像上における前記内視鏡の経路を設定する経路設定部と、
    　前記仮想内視鏡画像上における注目点の指定を受け付ける注目点指定受付部と、
    　前記注目点の受付け後、操作部において受け付けられた操作量を取得する操作量取得部と、
    　該操作量取得部によって取得された操作量に基づいて、仮想的な前記内視鏡の前記経路上の初期視点からの移動距離を取得する移動距離取得部と、
    　該移動距離取得部によって取得された移動距離に基づいて、仮想的な内視鏡の視点を前記初期視点から前記経路上に沿って前記注目点に向かって近づけ、かつ仮想的な前記内視鏡の視線方向を前記注目点の方向に近づけるように変更することによって、前記初期視点を始点とする初期視線ベクトルから、前記注目点から最短距離である前記経路上の視点と前記注目点とを結ぶ最短視線ベクトルまで視線ベクトルを順次変更して設定する視線ベクトル設定部として機能させ、
    　前記仮想内視鏡画像生成部が、前記視線ベクトル設定部において設定された視線ベクトルに基づいて、前記仮想内視鏡画像を順次生成し、
    　前記表示制御部が、前記視線ベクトルの変更に応じて前記仮想内視鏡画像を順次表示させるものであることを特徴とする仮想内視鏡画像表示プログラム。
PCT/JP2013/007402 2012-12-27 2013-12-17 仮想内視鏡画像表示装置および方法並びにプログラム WO2014103238A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/747,027 US9619938B2 (en) 2012-12-27 2015-06-23 Virtual endoscopic image display apparatus, method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012283873A JP5947707B2 (ja) 2012-12-27 2012-12-27 仮想内視鏡画像表示装置および方法並びにプログラム
JP2012-283873 2012-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/747,027 Continuation US9619938B2 (en) 2012-12-27 2015-06-23 Virtual endoscopic image display apparatus, method and program

Publications (1)

Publication Number Publication Date
WO2014103238A1 true WO2014103238A1 (ja) 2014-07-03

Family

ID=51020361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/007402 WO2014103238A1 (ja) 2012-12-27 2013-12-17 仮想内視鏡画像表示装置および方法並びにプログラム

Country Status (3)

Country Link
US (1) US9619938B2 (ja)
JP (1) JP5947707B2 (ja)
WO (1) WO2014103238A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659365A (zh) * 2014-07-15 2017-05-10 奥林巴斯株式会社 导航系统、导航系统的工作方法
EP3342326A4 (en) * 2015-08-28 2018-08-22 FUJIFILM Corporation Instrument operation device, instrument operation method, and electronic instrument system

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6134978B2 (ja) * 2013-05-28 2017-05-31 富士フイルム株式会社 投影画像生成装置、方法およびプログラム
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
CN105231978B (zh) * 2015-09-14 2017-03-22 袁非牛 一种引导式虚拟内窥镜导航方法
JP2017153815A (ja) * 2016-03-03 2017-09-07 拡史 瀬尾 内視鏡訓練装置、内視鏡訓練方法及びプログラム
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US20220156936A1 (en) * 2019-04-05 2022-05-19 Carnegie Mellon University Real-time measurement of visible surface area from colonoscopy video
JP7377769B2 (ja) 2020-06-08 2023-11-10 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
KR20240022745A (ko) * 2022-08-12 2024-02-20 주식회사 데카사이트 수술 영상데이터를 녹화하는 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127279A (ja) * 1990-06-11 1992-04-28 Hitachi Ltd 物体の運動経路生成装置および方法
JP2000126457A (ja) * 1998-08-21 2000-05-09 Sega Enterp Ltd ゲーム画面の表示制御方法、キャラクタの移動制御方法およびゲーム機並びにプログラムを記録した記録媒体
WO2005002432A2 (en) * 2003-06-25 2005-01-13 Siemens Corporate Research, Inc. System and method for polyp visualization
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
WO2010119690A1 (ja) * 2009-04-16 2010-10-21 富士フイルム株式会社 診断支援装置、診断支援方法および診断支援プログラムが記憶された記憶媒体
JP2011206297A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 仮想内視鏡画像処理装置、方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69130549T2 (de) 1990-06-11 1999-05-27 Hitachi Ltd Vorrichtung zur Erzeugung eines Objektbewegungsweges
US20090226065A1 (en) * 2004-10-09 2009-09-10 Dongqing Chen Sampling medical images for virtual histology
US7623900B2 (en) * 2005-09-02 2009-11-24 Toshiba Medical Visualization Systems Europe, Ltd. Method for navigating a virtual camera along a biological object with a lumen
US8493389B2 (en) * 2006-09-29 2013-07-23 Koninklijke Philips Electronics N.V. 3D connected shadow mouse pointer
US8834245B2 (en) * 2007-08-17 2014-09-16 Nintendo Co., Ltd. System and method for lock on target tracking with free targeting capability
US8795080B1 (en) * 2012-03-30 2014-08-05 Zynga Inc. Gaming platform providing a game action sweep mechanic
WO2013158034A1 (en) * 2012-04-20 2013-10-24 Skydoor Pte Ltd A method for making a content sensitive video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04127279A (ja) * 1990-06-11 1992-04-28 Hitachi Ltd 物体の運動経路生成装置および方法
JP2000126457A (ja) * 1998-08-21 2000-05-09 Sega Enterp Ltd ゲーム画面の表示制御方法、キャラクタの移動制御方法およびゲーム機並びにプログラムを記録した記録媒体
WO2005002432A2 (en) * 2003-06-25 2005-01-13 Siemens Corporate Research, Inc. System and method for polyp visualization
WO2007129493A1 (ja) * 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
WO2010119690A1 (ja) * 2009-04-16 2010-10-21 富士フイルム株式会社 診断支援装置、診断支援方法および診断支援プログラムが記憶された記憶媒体
JP2011206297A (ja) * 2010-03-30 2011-10-20 Fujifilm Corp 仮想内視鏡画像処理装置、方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LICHAN HONG ET AL.: "Virtual voyage: interactive navigation in the human colon", SIGGRAPH '97 PROCEEDINGS OF THE 24TH ANNUAL CONFERENCE ON COMPUTER GRAPHICS AND INTERACTIVE TECHNIQUES, pages 27 - 34 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106659365A (zh) * 2014-07-15 2017-05-10 奥林巴斯株式会社 导航系统、导航系统的工作方法
EP3342326A4 (en) * 2015-08-28 2018-08-22 FUJIFILM Corporation Instrument operation device, instrument operation method, and electronic instrument system
US10506913B2 (en) 2015-08-28 2019-12-17 Fujifilm Corporation Apparatus operation device, apparatus operation method, and electronic apparatus system

Also Published As

Publication number Publication date
US9619938B2 (en) 2017-04-11
JP2014124384A (ja) 2014-07-07
US20150287243A1 (en) 2015-10-08
JP5947707B2 (ja) 2016-07-06

Similar Documents

Publication Publication Date Title
JP5947707B2 (ja) 仮想内視鏡画像表示装置および方法並びにプログラム
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
KR102558061B1 (ko) 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
US9104902B2 (en) Instrument-based image registration for fusing images with tubular structures
JP6085366B2 (ja) 画像誘導手順用の超音波撮像システム及びその作動方法
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP6242569B2 (ja) 医用画像表示装置及びｘ線診断装置
JP5624308B2 (ja) 画像処理装置及び画像処理方法
JP4653542B2 (ja) 画像処理装置
EP3422297B1 (en) System and method for glass state view in real-time three-dimensional (3d) cardiac imaging
US9024941B2 (en) Sequentially displaying virtual endoscopic images by setting an observation path to compensate for a curved region of the tubular structure
JP2006246941A (ja) 画像処理装置及び管走行トラッキング方法
JP2012115635A (ja) 画像処理方法、画像処理装置、画像システム及びプログラムコード
JP5670145B2 (ja) 医用画像処理装置及び制御プログラム
JP6066197B2 (ja) 手術支援装置、方法およびプログラム
US9558589B2 (en) Medical image display apparatus, method, and program
JP5366713B2 (ja) 消化管画像表示装置及び消化管画像データ表示用制御プログラム
Bartz et al. 3D Interactive Virtual Angioscopy
JP2017113050A (ja) 医用画像処理装置、その制御方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13868832

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13868832

Country of ref document: EP

Kind code of ref document: A1