WO2021117349A1 - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
WO2021117349A1
WO2021117349A1 PCT/JP2020/039419 JP2020039419W WO2021117349A1 WO 2021117349 A1 WO2021117349 A1 WO 2021117349A1 JP 2020039419 W JP2020039419 W JP 2020039419W WO 2021117349 A1 WO2021117349 A1 WO 2021117349A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
ultrasonic
information processing
dimensional
tomographic images
Prior art date
Application number
PCT/JP2020/039419
Other languages
English (en)
French (fr)
Inventor
東 高橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021563771A priority Critical patent/JP7209113B2/ja
Publication of WO2021117349A1 publication Critical patent/WO2021117349A1/ja
Priority to US17/715,931 priority patent/US20220230367A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Definitions

  • This disclosure relates to an information processing device, an information processing system, an information processing method, and an information processing program.
  • Patent Document 1 discloses a technique of calculating the insertion installation position of an ultrasonic probe inserted into a surgical site and generating a three-dimensional ultrasonic image based on the calculated insertion position.
  • a zoom encoder that detects the zoom magnification of the observation optical system that displays a magnified observation optical image of the surgical site, a focus encoder that detects the focus distance of the observation optical system, and navigation using a digitizer.
  • the device calculates the insertion and installation position of the ultrasonic probe. Therefore, the technique described in Patent Document 1 requires hardware such as a digitizer, which increases the size of the entire ultrasonic imaging apparatus.
  • the present disclosure has been made in view of the above circumstances, and is an information processing device capable of generating a three-dimensional ultrasonic image from an ultrasonic image taken without using hardware for measuring a shooting position. , Information processing system, information processing method, and information processing program.
  • the information processing apparatus of the first aspect of the present disclosure includes at least one processor and a memory for storing instructions that can be executed by the processor, and the processor comprises an organ of a subject.
  • the captured three-dimensional images are acquired, and a plurality of ultrasonic tomographic images obtained by sequentially photographing the organs at different positions are acquired, and for each of the plurality of ultrasonic tomographic images, from a plurality of tomographic images constituting the three-dimensional image, A tomographic image corresponding to the same cross section as the ultrasonic tomographic image is specified, and position information indicating the position of the cross section of the specified tomographic image is associated with each of the plurality of ultrasonic tomographic images, and a plurality of tomographic images are associated with each of the plurality of tomographic images.
  • a three-dimensional ultrasonic image is generated from the ultrasonic tomographic image of.
  • the information processing apparatus of the second aspect of the present disclosure is the information processing apparatus of the first aspect, in which the processor analyzes each of the plurality of ultrasonic tomographic images and each of the plurality of tomographic images. Identify a tomographic image that corresponds to the same cross section as the sonic tomographic image.
  • the processor controls to display a three-dimensional ultrasonic image.
  • the processor in the information processing apparatus of the fourth aspect of the present disclosure, can recognize a three-dimensional image corresponding to the acquired ultrasonic tomographic image. Control the display.
  • the processor controls to display the acquired ultrasonic tomographic image.
  • the information processing apparatus is the information processing apparatus according to any one of the first to fifth aspects, wherein the processor transmits a plurality of ultrasonic tomographic images into the body cavity of the subject. It is acquired from an ultrasonic imaging device that captures an ultrasonic tomographic image of the organ of the subject with an inserted ultrasonic endoscope.
  • the information processing system differs from a three-dimensional image capturing device that captures a three-dimensional image of a subject's organ and an ultrasonic tomographic image of the organ.
  • Claims 1 to 6 wherein a three-dimensional image is acquired from an ultrasonic image capturing device and a three-dimensional image capturing device that sequentially capture images at positions, and a plurality of ultrasonic tomographic images are acquired from the ultrasonic imaging device.
  • the information processing apparatus according to any one of the items is provided.
  • the information processing method acquires a three-dimensional image of the organ of the subject, and the organs are sequentially photographed at different positions.
  • a tomographic image is acquired, and for each of the plurality of ultrasonic tomographic images, a tomographic image corresponding to the same cross section as the ultrasonic tomographic image is specified from a plurality of tomographic images constituting a three-dimensional image, and the specified tomographic image is specified.
  • a computer executes a process of associating position information indicating the position of a cross section of a plurality of ultrasonic tomographic images with each of a plurality of ultrasonic tomographic images and generating a three-dimensional ultrasonic image from a plurality of ultrasonic tomographic images based on the position information. is there.
  • the information processing program of the ninth aspect of the present disclosure acquires three-dimensional images of the organ of the subject, and the organs are sequentially photographed at different positions.
  • a tomographic image is acquired, and for each of the plurality of ultrasonic tomographic images, a tomographic image corresponding to the same cross section as the ultrasonic tomographic image is specified from a plurality of tomographic images constituting a three-dimensional image, and the specified tomographic image is specified.
  • the large intestine as the organ of the subject to be imaged, and more specifically, the inside of the large intestine will be described.
  • FIG. 1 shows a block diagram showing an example of the configuration of the information processing system 1 of the present embodiment.
  • the information processing system 1 of the present embodiment includes an information processing device 10, a three-dimensional image capturing device 12, and an ultrasonic image capturing device 14.
  • the information processing device 10 and the three-dimensional image capturing device 12 are connected to the network N, respectively, and can communicate with each other via the network N.
  • the information processing device 10 and the ultrasonic image capturing device 14 are each connected to the network N, and can communicate with each other via the network N.
  • the information processing device 10 is a personal computer or the like installed in a hospital that treats a subject.
  • the information processing device 10 may be a tablet computer, a smartphone, or the like, or may be a cloud server built on the cloud. Further, the information processing device 10 may be constructed by a plurality of devices such as a combination of a cloud server and a tablet computer.
  • the three-dimensional image capturing device 12 is an imaging device that captures a three-dimensional image of the organ of the subject.
  • the three-dimensional image capturing device 12 can capture a three-dimensional MRI image by, for example, an imaging device capable of capturing a three-dimensional CT image by MDCT (Multi Detector row Computed Tomography), a helical CT, or the like, and an MRI (Magnetic Resonance Imaging). Photographing equipment and the like.
  • the three-dimensional imaging apparatus 12 is used to generate a three-dimensional image of the inside of the large intestine of the subject from a plurality of CT images taken by CT in a 3D (3 dimension) examination of the large intestine of the subject. It is a device.
  • the three-dimensional imaging device 12 is a device that generates a virtual endoscopic image of the inside of the large intestine of the subject from the CT image. From the three-dimensional image capturing apparatus 12, each of the three-dimensional image inside the large intestine of the subject and the virtual endoscopic image is output.
  • the ultrasonic imaging device 14 is an imaging device that captures an ultrasonic image of an organ of a subject.
  • the subject is subjected to an ultrasonic endoscope having an ultrasonic probe provided with an ultrasonic transducer at the tip of the endoscope inserted into the body cavity of the subject.
  • It is an imaging device that captures ultrasonic tomographic images of the organs of.
  • the ultrasonic imaging apparatus 14 is mounted on the large intestine from each of a plurality of ultrasonic images sequentially taken in chronological order by an ultrasonic endoscope inserted into the large intestine of the subject. It is an imaging device that generates ultrasonic tomographic images.
  • the ultrasonic imaging apparatus 14 since the ultrasonic imaging apparatus 14 sequentially captures images while moving the ultrasonic endoscope, the ultrasonic imaging apparatus 14 displays a plurality of ultrasonic tomographic images sequentially captured at different positions. It is output.
  • the ultrasonic imaging apparatus 14 of the present embodiment includes an ultrasonic endoscope as described above. Therefore, in the ultrasonic image capturing apparatus 14, an endoscopic image, which is an optical image, is also captured by the endoscope of the ultrasonic endoscope.
  • the ultrasonic imaging apparatus 14 outputs an ultrasonic tomographic image corresponding to each of a plurality of cross sections of the large intestine of the subject and an endoscopic image.
  • the information processing device 10 includes a CPU (Central Processing Unit) 20, a memory 21 as a temporary storage area, and a storage unit 22 which is a non-volatile memory.
  • the CPU 20 of the present embodiment is an example of the processor of the present disclosure
  • the storage unit 22 is an example of the memory of the present disclosure.
  • the information processing device 10 includes a display unit 24 such as a liquid crystal display, an input unit 26 such as a keyboard and a mouse, and a network I / F (InterFace) 28 connected to the network N.
  • the display unit 24 and the input unit 26 may be integrated as a touch panel display.
  • the CPU 20, the memory 21, the storage unit 22, the display unit 24, the input unit 26, and the network I / F 28 are connected to the bus 29 so as to be able to communicate with each other.
  • the storage unit 22 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like.
  • the three-dimensional ultrasonic image generation program 23 is stored in the storage unit 22 as a storage medium.
  • the CPU 20 reads the three-dimensional ultrasonic image generation program 23 from the storage unit 22, expands it into the memory 21, and executes the expanded three-dimensional ultrasonic image generation program 23.
  • the three-dimensional ultrasonic image generation program 23 of the present embodiment is an example of the information processing program of the present disclosure.
  • the information processing apparatus 10 includes a first acquisition unit 30, a second acquisition unit 32, a position information corresponding unit 34, a three-dimensional ultrasonic image generation unit 36, and a display control unit 38.
  • the CPU 20 executes the three-dimensional ultrasonic image generation program 23, the first acquisition unit 30, the second acquisition unit 32, the position information corresponding unit 34, the three-dimensional ultrasonic image generation unit 36, and the display control unit 38 Function.
  • the first acquisition unit 30 acquires a three-dimensional image of the organ of the subject from the three-dimensional image capturing device 12.
  • the first acquisition unit 30 of the present embodiment acquires each of the three-dimensional image inside the large intestine and the virtual endoscopic image of the sample output from the three-dimensional imaging apparatus 12 as described above.
  • the large intestine region is extracted from the voxel data created based on the data captured by the three-dimensional image capturing device 12 such as CT, and a three-dimensional image of the inside of the large intestine is created.
  • This makes it possible to perform a virtual endoscopic image based on an arbitrary viewpoint position and direction inside the large intestine, and to create a cross-sectional image at an arbitrary position of the large intestine.
  • the first acquisition unit 30 outputs the acquired three-dimensional image to the position information correspondence unit 34. Further, the first acquisition unit 30 outputs the acquired three-dimensional image and the endoscopic image to the display control unit 38.
  • the second acquisition unit 32 acquires a plurality of ultrasonic images and endoscopic images in which the organs of the subject are sequentially photographed in chronological order from the ultrasonic imaging apparatus 14.
  • the second acquisition unit 32 of the present embodiment obtains an ultrasonic tomographic image and an endoscopic image corresponding to each of a plurality of cross sections of the large intestine of the subject output from the ultrasonic imaging apparatus 14 as described above. get.
  • the second acquisition unit 32 outputs the acquired ultrasonic image (ultrasonic tomographic image) to the position information corresponding unit 34. Further, the second acquisition unit 32 outputs the acquired ultrasonic image (ultrasonic tomographic image) and the endoscopic image to the display control unit 38.
  • the position information correspondence unit 34 constitutes a three-dimensional image 50 acquired by the first acquisition unit 30 for each of the plurality of ultrasonic tomographic images 56 acquired by the second acquisition unit 32. From the tomographic image 49 of the above, a CT tomographic image corresponding to the same cross section as the ultrasonic tomographic image 56 is specified.
  • the plurality of tomographic images 49 constituting the three-dimensional image 50 will be referred to as CT tomographic images 49 in order to distinguish them from the ultrasonic tomographic images 56.
  • the CT tomographic image 49 is preferably a tomographic image having a cut surface in an arbitrary direction based on voxel data.
  • the position information corresponding portion 34 displays a CT tomographic image 49 corresponding to the same cross section as each of the plurality of ultrasonic tomographic images 56, and a three-dimensional image of the inside of the large intestine. It is specified from a plurality of CT tomographic images 49.
  • the method of identifying the CT tomographic image 49 corresponding to the same cross section as the ultrasonic tomographic image 56 is not limited, but the feature amount is extracted by performing image analysis on each of the ultrasonic tomographic image 56 and the CT tomographic image 49. It is preferable to specify based on the specified feature amount. Examples of the image analysis method include methods such as contrast conversion, noise removal, histogram conversion, pattern matching, and edge detection, and statistical image processing methods such as robust image processing.
  • the CT tomographic image 49 may be specified by utilizing artificial intelligence (AI).
  • AI artificial intelligence
  • a trained model generated by training a combination of an ultrasonic tomographic image obtained by photographing the same cross section and a CT tomographic image as training data (also referred to as teacher data) is used.
  • a method of applying the used AI can be mentioned.
  • the trained model in this case is the position of the CT tomographic image 49 corresponding to the same cross section as the ultrasonic tomographic image 56 based on the input of the plurality of CT tomographic images 49 and the ultrasonic tomographic image 56 constituting the three-dimensional image. It is generated to output information (3 degrees of freedom for position, 3 degrees of freedom for rotation, etc.).
  • a trained model generated to output a pseudo (or virtual) ultrasonic tomographic image based on a CT tomographic image.
  • the position information corresponding unit 34 selects a pseudo ultrasonic tomographic image most similar to the ultrasonic tomographic image 56, and CT corresponding to the selected pseudo ultrasonic tomographic image.
  • the tomographic image 49 is specified as a CT tomographic image 49 having the same cross section as the ultrasonic tomographic image 56.
  • an algorithm for learning these trained models for example, an error backpropagation method or the like can be applied.
  • a virtual endoscopic image corresponding to the CT tomographic image 49 may be used to specify the CT tomographic image 49 corresponding to the same cross section as the ultrasonic tomographic image 56. Since the CT tomographic image 49 corresponds to the virtual endoscopic image, the combination of the virtual endoscopic image and the ultrasonic tomographic image 56 is learned in advance, and the unknown virtual endoscopic image and the ultrasonic tomographic image 56 are learned. Specify (output) the corresponding position information. Since the virtual endoscopic image can be easily associated with the ultrasonic tomographic image 56, the CT tomographic image 49 can be easily identified by using the virtual endoscopic image.
  • the image of a relatively hard organ such as a bone and the position and shape can be specified in the ultrasonic tomographic image 56 and the CT tomographic image 49.
  • segmentation is performed on the images of the organs in each tomographic image, and based on the segmentation result, the CT tomographic image 49 corresponding to the same cross section as the ultrasonic tomographic image 56 is specified. May be good.
  • the model learned by adding the result of segmentation to the ultrasonic tomographic image and the CT tomographic image is used. By learning the segmentation results of both (shape and position information of organs, etc.) as correct data, it is expected that the accuracy will be improved when identifying the position where the unknown virtual endoscopic image and the ultrasonic tomographic image 56 correspond. it can.
  • the CT tomographic image 49 of the present embodiment is associated with position information for specifying the position of the cross section corresponding to the CT tomographic image 49.
  • the CT tomographic image 49 is position information indicating what kind of position and rotation is applied to the arbitrary cross section in the voxel data. Therefore, the position information corresponding unit 34 sets the position of the cross section represented by the position information associated with the specified CT tom image 49 in the ultrasonic tom image 56 for each of the plurality of ultrasonic tom images 56. The position of the corresponding cross section. That is, the position information correspondence unit 34 associates the ultrasonic tomographic image 56 with the position information representing the position corresponding to the specified CT tomographic image 49 as the position information.
  • the three-dimensional ultrasonic image generation unit 36 is three-dimensional from a plurality of ultrasonic tomographic images 56 based on the position information associated with the ultrasonic tomographic image 56 by the position information corresponding unit 34.
  • An ultrasonic image 58 is generated.
  • the position and interval of each ultrasonic tomographic image 56 are derived from the position information associated with the ultrasonic tomographic image.
  • the three-dimensional ultrasonic image generation unit 36 generates a three-dimensional ultrasonic image 58 by stacking a plurality of ultrasonic tomographic images 56 based on the derived positions and intervals.
  • the display control unit 38 controls the display unit 24 to display the ultrasonic tomographic image 56, the three-dimensional ultrasonic image 58, the endoscopic image, and the virtual endoscopic image corresponding to the same cross section. Further, the display control unit 38 controls to display the three-dimensional image 50 acquired from the three-dimensional image capturing device 12 in a state in which the position of the cross section can be recognized.
  • the three-dimensional ultrasonic image generation process shown in FIG. 5 is executed when, for example, an instruction to generate a three-dimensional ultrasonic image is input by an operation of the input unit 26 by the user.
  • the timing of performing the three-dimensional ultrasonic image generation processing of the present embodiment may be after the completion of the three-dimensional image shooting by the three-dimensional image shooting device 12 in advance, and the shooting by the ultrasonic image shooting device 14 may be performed. It can be done at the same time as shooting.
  • the three-dimensional ultrasonic image generation processing of the present embodiment can be performed in real time during the ultrasonic endoscopy.
  • step S100 of FIG. 5 the first acquisition unit 30 acquires the 3D image 50 from the 3D image capturing device 12 as described above. Further, as described above, the first acquisition unit 30 also acquires a virtual endoscopic image from the three-dimensional image capturing device 12.
  • the second acquisition unit 32 acquires the ultrasonic tomographic image 56 from the ultrasonic imaging apparatus 14 as described above. Further, as described above, the second acquisition unit 32 also acquires an endoscopic image from the ultrasonic image capturing device 14.
  • the position information corresponding unit 34 identifies the CT tomographic image 49 having the same cross section as the ultrasonic tomographic image 56, as described above.
  • the position information corresponding unit 34 selects one of the acquired ultrasonic tomographic images 56 and is the same as the selected ultrasonic tomographic image 56.
  • the CT tomographic image 49 of the cross section of is identified.
  • the position information correspondence unit 34 associates the position information indicating the position of the cross section corresponding to the ultrasonic tomographic image 56 as described above. Specifically, the position information correspondence unit 34 corresponds to the selected ultrasonic tomographic image 56 with the position of the cross section represented by the position information associated with the CT tomographic image 49 identified in step S104. The position of the cross section. The position information correspondence unit 34 associates the position information indicating the position of the cross section with the selected ultrasonic tomographic image 56.
  • step S108 associates the position information indicating the position of the corresponding cross section with all of the ultrasonic tomographic images 56 acquired in the step S102, that is, in the step S104 and It is determined whether or not the processing of S106 has been performed. If there is an ultrasonic tomographic image 56 that has not yet undergone the processing of steps S104 and S106, the determination in step S108 becomes a negative determination, and the process returns to step S104.
  • the position information correspondence unit 34 serves as an ultrasonic tomographic image 56 different from the ultrasonic tomographic image 56 selected up to the previous time, for example, an ultrasonic tomographic image 56 corresponding to the next time-series order of the ultrasonic tomographic image 56 selected last time. The selection is made, and the processes of steps S104 and S106 are repeated.
  • step S108 becomes an affirmative determination, and the process proceeds to step S110.
  • the three-dimensional ultrasonic image generation unit 36 generates the three-dimensional ultrasonic image 58 from the plurality of ultrasonic tomographic images 56 as described above. Specifically, the three-dimensional ultrasonic image generation unit 36 is based on the position and interval of each of the plurality of ultrasonic tomographic images 56 derived from the position information associated with the ultrasonic tomographic image 56 in step S106. A plurality of ultrasonic tomographic images 56 are laminated to generate a three-dimensional ultrasonic image 58.
  • the display control unit 38 controls the display unit 24 to display the three-dimensional image 50, the virtual endoscopic image, the endoscopic image, the ultrasonic tomographic image 56, and the three-dimensional ultrasonic image 58.
  • FIG. 6 shows an example of the three-dimensional image 50, the virtual endoscope image 52, the endoscope image 54, the ultrasonic tomographic image 56, and the three-dimensional ultrasonic image 58 displayed on the display unit 24.
  • the virtual endoscopic image 52, the endoscopic image 54, and the ultrasonic tomographic image 56 corresponding to the same cross section are sequentially displayed on the display unit 24 in chronological order of the ultrasonic tomographic images. Indicates the state of.
  • FIG. 6 a state in which the three-dimensional ultrasonic image 58 by the ultrasonic tomographic image 56 taken by the ultrasonic image capturing device 14 is displayed on the display unit 24 at the position of the cross section 51 is shown. There is.
  • the display unit 24 displays the three-dimensional image 50 in which the cross section 51 corresponding to the virtual endoscopic image 52, the endoscopic image 54, and the ultrasonic tomographic image 56 can be recognized. Indicates the state displayed in. As described above, since the ultrasonic tomographic image 56 and the like are sequentially displayed on the display unit 24 in chronological order, the position of the cross section 51 in the three-dimensional image 50 also corresponds to the displayed ultrasonic tomographic image 56 and the like. It becomes the position.
  • the display control unit 38 has a three-dimensional image 50, a virtual endoscopic image 52, and an endoscopic image 54 corresponding to a cross section corresponding to a position designated by the user via an input unit 26 or the like.
  • the ultrasonic tomographic image 56, and the three-dimensional ultrasonic image 58 may be controlled to be displayed.
  • each of the three-dimensional image 50, the virtual endoscopic image 52, the endoscopic image 54, the ultrasonic tomographic image 56, and the three-dimensional ultrasonic image 58 are in the form shown in FIG. Not limited.
  • the ultrasonic tomographic image 56 and the CT tomographic image 49 include images of a plurality of organs
  • the image of the organ included in the CT tomographic image 49 is segmented, and the organ name is given based on the segmentation result.
  • the labeled ultrasonic tomographic image 56 may be displayed.
  • step S114 the display control unit 38 determines whether or not to end the three-dimensional ultrasonic image generation process. For example, as in the example shown in FIG. 6, using the ultrasonic tomographic image 56 and the endoscopic image 54 sequentially output from the ultrasonic imaging apparatus 14 during the ultrasonic endoscopic examination.
  • the determination in step S114 is a negative determination. If the determination in step S114 is a negative determination, the process returns to step S102 and the processes of steps S102 to S112 are repeated.
  • step S114 Is affirmative, and the three-dimensional ultrasonic image generation process is completed.
  • the information processing device 10 of the present embodiment includes a CPU 20 and a storage unit 22 for storing instructions that can be executed by the CPU 20.
  • the CPU 20 acquires a three-dimensional image 50 in which the organ of the subject is photographed, and acquires a plurality of ultrasonic tomographic images 56 in which the organs are sequentially photographed at different positions.
  • the CPU 20 identifies the CT tomographic image 49 corresponding to the same cross section as the ultrasonic tomographic image 56 from the plurality of CT tomographic images 49 constituting the three-dimensional image 50.
  • Positional information representing the position corresponding to the specified CT tomographic image 49 is associated with each of the plurality of ultrasonic tomographic images 56.
  • the CPU 20 generates a three-dimensional ultrasonic image 58 from a plurality of ultrasonic tomographic images 56 based on the position information.
  • the position information indicating the position of each of the plurality of ultrasonic tomographic images 56 captured in time series is the CT fault corresponding to the same cross section as each ultrasonic tomographic image 56. Correspondence is based on the position of image 49.
  • the position of the CT tomographic image 49 that constructs the 3D image 50 previously captured by the 3D image capturing device 12 is known. Therefore, according to the information processing device 10 of the present embodiment, the image is taken without using the hardware for measuring the image capturing position of the ultrasonic image by the ultrasonic image capturing device 14, specifically, the position of the ultrasonic probe.
  • a three-dimensional ultrasonic image can be generated from the ultrasonic tomographic image.
  • the entire ultrasonic image capturing apparatus may become large or super. It is possible to prevent the ultrasonic probe from becoming large.
  • the ultrasonic probe is inserted into the body cavity of the subject, so that the burden on the subject increases as the ultrasonic probe becomes larger (larger diameter).
  • the information processing apparatus 10 of the present embodiment it is possible to suppress the ultrasonic probe from becoming large (large diameter), so that the burden on the subject can be reduced.
  • the information processing apparatus 10 of the present embodiment includes a cross section 51 representing the position of the cross section corresponding to the ultrasonic tomographic image 56 taken by the ultrasonic probe of the ultrasonic image capturing device 14 during the ultrasonic inspection.
  • the three-dimensional image 50 is displayed in real time.
  • the position of the cross section 51 of the three-dimensional image 50 corresponds to the position of the tip of the ultrasonic probe. Therefore, according to the information processing apparatus 10 of the present embodiment, the position of the ultrasonic probe can be navigated by the cross section 51 of the three-dimensional image 50 in the ultrasonic endoscopic examination.
  • the ultrasonic imaging apparatus 14 captures an ultrasonic tomographic image using an ultrasonic endoscope inserted into the body cavity of the subject.
  • the photographing device 14 is not limited to this embodiment.
  • the ultrasonic image capturing apparatus 14 may be in the form of scanning the body surface of the subject with an ultrasonic probe to capture an ultrasonic tomographic image.
  • the target for taking the ultrasonic tomographic image is not limited to the inside of the large intestine.
  • other organs such as the pancreas and the gallbladder may be targeted for ultrasonic tomographic imaging.
  • the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and after manufacturing an FPGA (Field-Programmable Gate Array) or the like.
  • a CPU which is a general-purpose processor that executes software (program) and functions as various processing units, and after manufacturing an FPGA (Field-Programmable Gate Array) or the like.
  • FPGA Field-Programmable Gate Array
  • Dedicated processor with a circuit configuration designed exclusively for executing specific processing such as programmable logic device (PLD) and ASIC (Application Specific Integrated Circuit), which are processors whose circuit configuration can be changed. Includes electrical circuits and the like.
  • One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). It may be composed of a combination). Further, a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client and a server.
  • the processor functions as a plurality of processing units.
  • SoC System On Chip
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • the mode in which the three-dimensional ultrasonic image generation program 23 is stored (installed) in the storage unit 22 in advance has been described, but the present invention is not limited to this.
  • the three-dimensional ultrasonic image generation program 23 is recorded on a recording medium such as a CD-ROM (Compact Disc Read Only Memory), a DVD-ROM (Digital Versatile Disc Read Only Memory), and a USB (Universal Serial Bus) memory. May be provided at. Further, the three-dimensional ultrasonic image generation program 23 may be downloaded from an external device via a network.
  • Information processing system 10 Information processing device 12 Three-dimensional image capturing device 14 Ultrasonic imaging device 20 CPU 21 Memory 22 Storage unit 23 3D ultrasonic image generation program 24 Display unit 26 Input unit 28 Network I / F 29 Bus 30 1st acquisition unit 32 2nd acquisition unit 34 Position information correspondence unit 36 3D ultrasonic image generation unit 38 Display control unit 49 CT tomographic image 50 3D image 51 Cross section 52 Virtual endoscopic image 54 Endoscope Image 56 Ultrasonic tomographic image 58 3D ultrasonic image N network

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

撮影位置を計測するためのハードウェアを用いずに撮影された超音波画像から３次元超音波画像を生成することができる情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。情報処理装置１０は、ＣＰＵ２０と、ＣＰＵ２０によって実行可能な命令を記憶する記憶部２２と、を備える。ＣＰＵ２０は、被検体の臓器を撮影した３次元画像５０を取得し、臓器を、異なる位置で順次撮影した複数の超音波断層画像５６を取得する。ＣＰＵ２０は、複数の超音波断層画像５６の各々について、３次元画像５０を構成する複数のＣＴ断層画像４９から、超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９を特定して、特定したＣＴ断層画像４９に応じた位置を表す位置情報を複数の超音波断層画像５６の各々に対応付ける。ＣＰＵ２０は、位置情報に基づいて、複数の超音波断層画像５６から３次元超音波画像５８を生成する。

Description

情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
　本開示は、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
　従来、超音波画像撮影装置により撮影された超音波画像から３次元超音波画像を生成する技術が知られている。例えば、特許文献１には、術部に挿入された超音波プローブの挿入設置位置を演算し、演算した挿入位置に基づいて、３次元超音波画像を生成する技術が開示されている。
特開２００５－５８３７８号公報
　従来の技術では、３次元超音波画像を得るための超音波画像を撮影する場合、撮影位置の位置情報を取得するために、超音波プローブ等の位置を計測するためのハードウェアが必要となる。そのため、超音波画像撮影装置全体が大型化したり、超音波プローブが大型化したりする場合がある。
　上記特許文献１に記載の技術では、術部の拡大観察光学像を表示する観察光学系のズーム倍率を検出するズームエンコーダ、観察光学系のフォーカス距離を検出するフォーカスエンコーダ、及びデジタイザを用いたナビゲーション装置により、超音波プローブの挿入設置位置を演算する。そのため、特許文献１に記載の技術では、デジタイザ等のハードウェアが必要となるため超音波画像撮影装置全体が大型化する。
　本開示は、以上の事情を鑑みてなされたものであり、撮影位置を計測するためのハードウェアを用いずに撮影された超音波画像から３次元超音波画像を生成することができる情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。
　上記目的を達成するために、本開示の第１の態様の情報処理装置は、少なくとも１つのプロセッサと、プロセッサによって実行可能な命令を記憶するメモリと、を備え、プロセッサは、被検体の臓器を撮影した３次元画像を取得し、臓器を、異なる位置で順次撮影した複数の超音波断層画像を取得し、複数の超音波断層画像の各々について、３次元画像を構成する複数の断層画像から、超音波断層画像と同一の断面に対応する断層画像を特定して、特定した断層画像の断面の位置を表す位置情報を複数の超音波断層画像の各々に対応付け、位置情報に基づいて、複数の超音波断層画像から３次元超音波画像を生成する。
　本開示の第２の態様の情報処理装置は、第１の態様の情報処理装置において、プロセッサは、複数の超音波断層画像の各々と複数の断層画像の各々とを画像解析することにより、超音波断層画像と同一の断面に対応する断層画像を特定する。
　本開示の第３の態様の情報処理装置は、第１の態様または第２の態様の情報処理装置において、プロセッサは、３次元超音波画像を表示させる制御を行う。
　本開示の第４の態様の情報処理装置は、第１の態様または第２の態様の情報処理装置において、プロセッサは、取得した超音波断層画像に対応する断面を認識可能とした３次元画像を表示させる制御を行う。
　本開示の第５の態様の情報処理装置は、第１の態様から第４の態様のいずれか１態様の情報処理装置において、プロセッサは、取得した超音波断層画像を表示させる制御を行う。
　本開示の第６の態様の情報処理装置は、第１の態様から第５の態様のいずれか１態様の情報処理装置において、プロセッサは、複数の超音波断層画像を、被検体の体腔内に挿入された超音波内視鏡により被検体の臓器の超音波断層画像を撮影する超音波画像撮影装置から取得する。
　また、上記目的を達成するために、本開示の第７の態様の情報処理システムは、被検体の臓器の３次元画像を撮影する３次元画像撮影装置と、臓器の超音波断層画像を、異なる位置で順次撮影する超音波画像撮影装置と、３次元画像撮影装置から３次元画像を取得し、かつ超音波画像撮影装置から複数の超音波断層画像を取得する、請求項１から請求項６のいずれか１項に記載の情報処理装置と、を備える。
　また、上記目的を達成するために、本開示の第８の態様の情報処理方法は、被検体の臓器を撮影した３次元画像を取得し、臓器を、異なる位置で順次撮影した複数の超音波断層画像を取得し、複数の超音波断層画像の各々について、３次元画像を構成する複数の断層画像から、超音波断層画像と同一の断面に対応する断層画像を特定して、特定した断層画像の断面の位置を表す位置情報を複数の超音波断層画像の各々に対応付け、位置情報に基づいて、複数の超音波断層画像から３次元超音波画像を生成する処理をコンピュータが実行するものである。
　また、上記目的を達成するために、本開示の第９の態様の情報処理プログラムは、被検体の臓器を撮影した３次元画像を取得し、臓器を、異なる位置で順次撮影した複数の超音波断層画像を取得し、複数の超音波断層画像の各々について、３次元画像を構成する複数の断層画像から、超音波断層画像と同一の断面に対応する断層画像を特定して、特定した断層画像の断面の位置を表す位置情報を複数の超音波断層画像の各々に対応付け、位置情報に基づいて、複数の超音波断層画像から３次元超音波画像を生成する処理をコンピュータに実行させるためのものである。
　本開示によれば、撮影位置を計測するためのハードウェアを用いずに撮影された超音波画像から３次元超音波画像を生成することができる。
情報処理システムの構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 情報処理装置の機能的な構成の一例を示すブロック図である。 情報処理装置による３次元超音波画像の生成を説明するための図である。 情報処理装置で実行される３次元超音波画像生成処理の一例を示すフローチャートである。 情報処理装置の表示部に表示される３次元画像、仮想内視鏡画像、内視鏡画像、超音波断層画像、及び３次元超音波画像の一例を示す図である。
　以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態では、撮影対象である被検体の臓器として大腸、より具体的には大腸内とした形態について説明する。
　まず、図１を参照して、本実施形態の情報処理システム１について説明する。図１には、本実施形態の情報処理システム１の構成の一例を表すブロック図が示されている。図１に示すように、本実施形態の情報処理システム１は、情報処理装置１０、３次元画像撮影装置１２、及び超音波画像撮影装置１４を備える。情報処理装置１０及び３次元画像撮影装置１２は、それぞれネットワークＮに接続され、ネットワークＮを介して互いに通信が可能とされている。また、情報処理装置１０及び超音波画像撮影装置１４は、それぞれネットワークＮに接続され、ネットワークＮを介して互いに通信が可能とされている。
　情報処理装置１０は、被検体の診療を行う病院に設置される、パーソナルコンピュータ等である。なお、情報処理装置１０は、タブレットコンピュータ及びスマートフォン等であってもよいし、クラウド上に構築される、クラウドサーバであってもよい。また、情報処理装置１０は、クラウドサーバ及びタブレットコンピュータの組み合わせ等、複数の装置によって構築されてもよい。
　３次元画像撮影装置１２は、被検体の臓器の３次元画像を撮影する撮影装置である。３次元画像撮影装置１２としては、例えば、ＭＤＣＴ（Multi Detector row Computed Tomography）やヘリカルＣＴ等により３次元ＣＴ画像を撮影可能な撮影装置、及びＭＲＩ（Magnetic Resonance Imaging）により３次元ＭＲＩ画像を撮影可能な撮影装置等が挙げられる。一例として本実施形態では、３次元画像撮影装置１２を、被検体の大腸３Ｄ（3 dimension）検査において、ＣＴにより撮影された複数のＣＴ画像から被検体の大腸内部の３次元画像を生成する撮影装置としている。また、３次元画像撮影装置１２は、ＣＴ画像から被検体の大腸内部の仮想内視鏡画像を生成する装置である。３次元画像撮影装置１２からは、被検体の大腸内部の３次元画像、及び仮想内視鏡画像の各々が出力される。
　超音波画像撮影装置１４は、被検体の臓器の超音波画像を撮影する撮影装置である。一例として本実施形態では、超音波画像撮影装置１４として、被検体の体腔内に挿入する内視鏡の先端に超音波振動子が設けられた超音波プローブを有する超音波内視鏡により被検体の臓器の超音波断層画像を撮影する撮影装置としている。より具体的には、本実施形態では、超音波画像撮影装置１４を、被検体の大腸内に挿入された超音波内視鏡により時系列で順次撮影された複数の超音波画像の各々から大腸の超音波断層画像を生成する撮影装置としている。本実施形態では、超音波画像撮影装置１４の超音波内視鏡を移動させながら、順次撮影を行うため、超音波画像撮影装置１４からは、異なる位置で順次撮影した複数の超音波断層画像が出力される。なお、本実施形態の超音波画像撮影装置１４は、上記のように超音波内視鏡を備える。そのため、超音波画像撮影装置１４では、超音波内視鏡の内視鏡により光学画像である内視鏡画像も撮影される。超音波画像撮影装置１４からは、被検体の大腸の複数の断面の各々に対応する超音波断層画像と、内視鏡画像とが出力される。
　次に、図２を参照して、本実施形態の情報処理装置１０のハードウェア構成の一例を説明する。図２に示すように情報処理装置１０は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性のメモリである記憶部２２を含む。本実施形態のＣＰＵ２０が本開示のプロセッサの一例であり、記憶部２２が本開示のメモリの一例である。
　また、情報処理装置１０は、液晶ディスプレイ等の表示部２４、キーボードやマウス等の入力部２６、及びネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２８を含む。なお、表示部２４及び入力部２６はタッチパネルディスプレイとして一体化されていてもよい。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２４、入力部２６、及びネットワークＩ／Ｆ２８は、バス２９に互いに通信が可能に接続されている。
　記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、３次元超音波画像生成プログラム２３が記憶される。ＣＰＵ２０は、記憶部２２から３次元超音波画像生成プログラム２３を読み出してからメモリ２１に展開し、展開した３次元超音波画像生成プログラム２３を実行する。本実施形態の３次元超音波画像生成プログラム２３が、本開示の情報処理プログラムの一例である。
　次に、図３を参照して、本実施形態の情報処理装置１０の機能的な構成について説明する。図３に示すように、情報処理装置１０は、第１取得部３０、第２取得部３２、位置情報対応付部３４、３次元超音波画像生成部３６、及び表示制御部３８を含む。ＣＰＵ２０が３次元超音波画像生成プログラム２３を実行することで、第１取得部３０、第２取得部３２、位置情報対応付部３４、３次元超音波画像生成部３６、及び表示制御部３８として機能する。
　第１取得部３０は、３次元画像撮影装置１２から被検体の臓器を撮影した３次元画像を取得する。一例として本実施形態の第１取得部３０は、上述したように３次元画像撮影装置１２から出力された検体の大腸内部の３次元画像、及び仮想内視鏡画像の各々を取得する。例えば、ＣＴ等の３次元画像撮影装置１２の撮影されたデータに基づき作成されたボクセルデータより、大腸領域を抽出し大腸内部の３次元画像を作成する。これにより、大腸内部における任意の視点位置及び方向に基づき仮想内視鏡画像することや、大腸の任意の位置における断面像を作成することが可能となる。第１取得部３０は、取得した３次元画像を位置情報対応付部３４に出力する。また、第１取得部３０は、取得した３次元画像及び内視鏡画像を表示制御部３８に出力する。
　第２取得部３２は、超音波画像撮影装置１４から被検体の臓器が時系列で順次撮影された複数の超音波画像及び内視鏡画像を取得する。一例として本実施形態の第２取得部３２は、上述したように超音波画像撮影装置１４から出力された被検体の大腸の複数の断面の各々に対応する超音波断層画像及び内視鏡画像を取得する。第２取得部３２は、取得した超音波画像（超音波断層画像）を位置情報対応付部３４に出力する。また、第２取得部３２は、取得した超音波画像（超音波断層画像）及び内視鏡画像を表示制御部３８に出力する。
　位置情報対応付部３４は、図４に示すように、第２取得部３２が取得した複数の超音波断層画像５６の各々について、第１取得部３０が取得した３次元画像５０を構成する複数の断層画像４９から、超音波断層画像５６と同一の断面に対応するＣＴ断層画像を特定する。以下では、３次元画像５０を構成する複数の断層画像４９について、超音波断層画像５６と区別するためにＣＴ断層画像４９という。なお、ＣＴ断層画像４９はボクセルデータに基づき任意の方向に切断面を持つ断層画像であるのが好ましい。
　本実施形態の場合、図４に示すように、位置情報対応付部３４は、複数の超音波断層画像５６の各々と同一の断面に対応するＣＴ断層画像４９を、大腸内部の３次元画像を構成する複数のＣＴ断層画像４９から特定する。超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９を特定する方法は限定されないが、超音波断層画像５６及びＣＴ断層画像４９の各々について画像解析を行って特徴量を抽出し、抽出した特徴量に基づいて特定することが好ましい。画像解析の手法としては、例えば、コントラスト変換、ノイズ除去、ヒストグラム変換、パターンマッチング、及びエッジ検出等の手法や、及びロバスト画像処理等の統計的画像処理手法が挙げられる。
　また例えば、人工知能（ＡＩ：Artificial Intelligence）を活用してＣＴ断層画像４９を特定する形態であってもよい。ＡＩを活用する例としては、同一の断面を撮影した超音波断層画像と、ＣＴ断層画像との組み合わせを学習用データ（教師データとも称される）として学習させることによって生成された学習済みモデルを用いたＡＩを適用する方法が挙げられる。この場合の学習済みモデルは、３次元画像を構成する複数のＣＴ断層画像４９及び超音波断層画像５６の入力に基づいて、超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９の位置情報（位置3自由度、回転3自由度等）を出力するように生成される。また、その他の学習済みモデルの具体例としては、ＣＴ断層画像に基づいて、擬似的な（または仮想的な）超音波断層画像を出力するように生成された学習済みモデルが挙げられる。なお、この学習済みモデルの場合、位置情報対応付部３４は、超音波断層画像５６に最も類似する擬似的な超音波断層画像を選択し、選択した擬似的な超音波断層画像に対応するＣＴ断層画像４９を超音波断層画像５６と同一の断面のＣＴ断層画像４９として特定する。これら学習済みモデルの学習のアルゴリズムとしては、例えば、誤差逆伝播法等を適用することができる。
　また例えば、ＣＴ断層画像４９に対応する仮想内視鏡画像を用いて、超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９を特定する形態としてもよい。ＣＴ断層画像４９は、仮想内視鏡画像と対応しているので、係る仮想内視鏡画像と超音波断層画像５６の組み合わせを予め学習し、未知の仮想内視鏡画像と超音波断層画像５６とが対応する位置情報を特定（出力）する。仮想内視鏡画像は、超音波断層画像５６との対応付けが容易であるため、仮想内視鏡画像を用いることにより、ＣＴ断層画像４９の特定が行い易くなる。
　また、本実施形態のように大腸内部を撮影した場合と異なり、超音波断層画像５６及びＣＴ断層画像４９内に、骨等の比較的固い臓器の画像や、位置及び形状が特定可能な特徴的な臓器の画像が含まれる場合、各断層画像における臓器の画像に対してセグメンテーションを行い、セグメンテーション結果に基づいて、超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９を特定する形態としてもよい。学習データとして同一の断面を撮影した超音波断層画像及びＣＴ断層画像の組み合わせに加え、超音波断層画像及びＣＴ断層画像に対してセグメンテーションを行った結果を加えて学習したモデルを使用する。両者のセグメンテーション結果（臓器などの形状および位置情報等）も正解データとして学習することにより、未知の仮想内視鏡画像と超音波断層画像５６とが対応する位置を特定する際の精度向上が期待できる。　
　また、本実施形態のＣＴ断層画像４９には、ＣＴ断層画像４９に対応する断面の位置を特定するための位置情報が対応付けられている。例えば、ＣＴ断層画像４９がボクセルデータにおいて、どの様な位置及び回転を施した任意断面であるかを示す位置情報である。そこで、位置情報対応付部３４は、複数の超音波断層画像５６の各々について、特定したＣＴ断層画像４９に対応付けられている位置情報によって表される断面の位置を、超音波断層画像５６に対応する断面の位置とする。すなわち、位置情報対応付部３４は、超音波断層画像５６に位置情報として、特定したＣＴ断層画像４９に応じた位置を表す位置情報を対応付ける。
　３次元超音波画像生成部３６は、図４に示すように、位置情報対応付部３４が超音波断層画像５６に対応付けた位置情報に基づいて、複数の超音波断層画像５６から、３次元超音波画像５８を生成する。超音波断層画像に対応付けられた位置情報から、各超音波断層画像５６の位置及び間隔が導出される。３次元超音波画像生成部３６は、導出した位置及び間隔に基づいて、複数の超音波断層画像５６を積層して３次元超音波画像５８を生成する。
　表示制御部３８は、同一の断面に対応する超音波断層画像５６、３次元超音波画像５８、内視鏡画像、及び仮想内視鏡画像を表示部２４に表示させる制御を行う。また、表示制御部３８は、３次元画像撮影装置１２から取得した３次元画像５０を、上記断面の位置を認識可能とした状態で表示させる制御を行う。
　次に、図５を参照して、本実施形態の情報処理装置１０の作用を説明する。ＣＰＵ２０が３次元超音波画像生成プログラム２３を実行することによって、図５に示す３次元超音波画像生成処理が実行される。図５に示す３次元超音波画像生成処理は、例えば、ユーザによる入力部２６の操作により、３次元超音波画像を生成する指示が入力された場合に実行される。なお、本実施形態の３次元超音波画像生成処理を行うタイミングは、予め３次元画像撮影装置１２により３次元画像の撮影の終了後であればよく、超音波画像撮影装置１４による撮影については、撮影と同時に行うことができる。例えば、本実施形態の３次元超音波画像生成処理は、超音波内視鏡検査の最中にリアルタイムで行うことができる。
　図５のステップＳ１００で第１取得部３０は、上述したように、３次元画像撮影装置１２から３次元画像５０を取得する。また上述したように、第１取得部３０は、３次元画像撮影装置１２から仮想内視鏡画像も取得する。
　次のステップＳ１０２で第２取得部３２は、上述したように、超音波画像撮影装置１４から超音波断層画像５６を取得する。また上述したように、第２取得部３２は、超音波画像撮影装置１４から内視鏡画像も取得する。
　次のステップＳ１０４で位置情報対応付部３４は、上述したように、超音波断層画像５６と同一の断面のＣＴ断層画像４９を特定する。一例として位置情報対応付部３４は、ステップＳ１０２で複数の超音波断層画像５６を取得した場合、取得した超音波断層画像５６のうちの１つを選択し、選択した超音波断層画像５６と同一の断面のＣＴ断層画像４９を特定する。
　次のステップＳ１０６で位置情報対応付部３４は、上述したように、超音波断層画像５６に対応する断面の位置を表す位置情報を対応付ける。具体的には、位置情報対応付部３４は、上記ステップＳ１０４で特定したＣＴ断層画像４９に対応付けられている位置情報によって表される断面の位置を、選択した超音波断層画像５６に対応する断面の位置とする。位置情報対応付部３４は、断面の位置を表す位置情報を、選択した超音波断層画像５６に対応付ける。
　次のステップＳ１０８で位置情報対応付部３４は、上記ステップＳ１０２で取得した超音波断層画像５６の全てについて、対応する断面の位置を表す位置情報を対応付けたか否か、すなわち、上記ステップＳ１０４及びＳ１０６の処理を行ったか否かについて判定する。未だ上記ステップＳ１０４及びＳ１０６の処理を行っていない超音波断層画像５６がある場合、ステップＳ１０８の判定が否定判定となり、ステップＳ１０４に戻る。位置情報対応付部３４は、前回までに選択した超音波断層画像５６と異なる超音波断層画像５６として、例えば、前回選択した超音波断層画像５６の次の時系列順にあたる超音波断層画像５６を選択し、ステップＳ１０４及びステップＳ１０６の処理を繰り返す。
　一方、上記ステップＳ１０２で取得した超音波断層画像５６の全てについて、上記ステップＳ１０４及びＳ１０６の処理を行ったか場合、ステップＳ１０８の判定が肯定判定となり、ステップＳ１１０へ移行する。
　ステップＳ１１０で３次元超音波画像生成部３６は、上述したように、複数の超音波断層画像５６から、３次元超音波画像５８を生成する。具体的には、３次元超音波画像生成部３６は、上記ステップＳ１０６で超音波断層画像５６に対応付けた位置情報から導出した、複数の超音波断層画像５６各々の位置及び間隔に基づいて、複数の超音波断層画像５６を積層して３次元超音波画像５８を生成する。
　次のステップＳ１１２で表示制御部３８は、３次元画像５０、仮想内視鏡画像、内視鏡画像、超音波断層画像５６、及び３次元超音波画像５８を表示部２４に表示させる制御を行う。図６には、表示部２４に表示される３次元画像５０、仮想内視鏡画像５２、内視鏡画像５４、超音波断層画像５６、及び３次元超音波画像５８の一例を示す。図６に示した例では、超音波断層画像の時系列順に順次、同一の断面に対応する仮想内視鏡画像５２、内視鏡画像５４、及び超音波断層画像５６が表示部２４に表示されている状態を示している。また、図６に示した例では、断面５１の位置において超音波画像撮影装置１４により撮影された超音波断層画像５６による３次元超音波画像５８が表示部２４に表示されている状態を示している。
　さらに、図６に示した例では、仮想内視鏡画像５２、内視鏡画像５４、及び超音波断層画像５６に対応する断面５１が認識可能な状態とされた３次元画像５０が表示部２４に表示されている状態を示している。上述したように、表示部２４には時系列順に順次、超音波断層画像５６等が表示されるため、３次元画像５０における断面５１の位置も、表示される超音波断層画像５６等に応じた位置となる。
　なお、本実施形態と異なり、表示制御部３８が、入力部２６等を介してユーザが指定した位置に応じた断面に対応する３次元画像５０、仮想内視鏡画像５２、内視鏡画像５４、超音波断層画像５６、及び３次元超音波画像５８を表示させる制御を行う形態としてもよい。
　また、３次元画像５０、仮想内視鏡画像５２、内視鏡画像５４、超音波断層画像５６、及び３次元超音波画像５８各々の表示形態及び表示方法等は、図６に示した形態に限定されない。例えば、超音波断層画像５６及びＣＴ断層画像４９内に、複数の臓器の画像が含まれる場合、ＣＴ断層画像４９に含まれる臓器の画像に対してセグメンテーションを行い、セグメンテーション結果に基づいて臓器名をラベリングした超音波断層画像５６を表示させる形態としてもよい。
　次のステップＳ１１４で表示制御部３８は、本３次元超音波画像生成処理を終了するか否かを判定する。例えば、超音波内視鏡検査を行っている最中に、超音波画像撮影装置１４から順次出力される超音波断層画像５６及び内視鏡画像５４を用いて、図６に示した例のように３次元超音波画像５８等の表示をリアルタイムで行う場合、ステップＳ１１４の判定が否定判定となる。ステップＳ１１４の判定が否定判定となった場合、ステップＳ１０２に戻り、ステップＳ１０２～Ｓ１１２の処理を繰り返す。一方、例えば、超音波内視鏡検査の終了後に、本３次元超音波画像生成処理を実行し、表示の終了がユーザにより指示された場合等、予め定められた終了条件を満たす場合、ステップＳ１１４の判定が肯定判定となり、本３次元超音波画像生成処理が終了する。
　以上説明したように、本実施形態の情報処理装置１０は、ＣＰＵ２０と、ＣＰＵ２０によって実行可能な命令を記憶する記憶部２２と、を備える。ＣＰＵ２０は、被検体の臓器を撮影した３次元画像５０を取得し、臓器を、異なる位置で順次撮影した複数の超音波断層画像５６を取得する。ＣＰＵ２０は、複数の超音波断層画像５６の各々について、３次元画像５０を構成する複数のＣＴ断層画像４９から、超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９を特定して、特定したＣＴ断層画像４９に応じた位置を表す位置情報を複数の超音波断層画像５６の各々に対応付ける。ＣＰＵ２０は、位置情報に基づいて、複数の超音波断層画像５６から３次元超音波画像５８を生成する。
　このように本実施形態の情報処理装置１０では、時系列で撮影された複数の超音波断層画像５６各々の位置を表す位置情報を、各超音波断層画像５６と同一の断面に対応するＣＴ断層画像４９の位置に基づいて対応付ける。３次元画像撮影装置１２によって予め撮影された３次元画像５０を構築するＣＴ断層画像４９の位置は既知である。従って、本実施形態の情報処理装置１０によれば、超音波画像撮影装置１４による超音波画像の撮影位置、具体的には超音波プローブの位置を計測するためのハードウェアを用いずに撮影された超音波断層画像から３次元超音波画像を生成することができる。
　本実施形態の情報処理装置１０によれば、超音波画像の撮影において、超音波プローブの位置を計測するためのハードウェアを用いずともよいため、超音波画像撮影装置全体が大型化したり、超音波プローブが大型化したりするのを抑制することができる。
　特に、超音波内視鏡を用いた撮影では、被検体の体腔内に超音波プローブを挿入するため、超音波プローブが大型化（大口径化）すると被検体の負担が大きくなる。しかしながら、本実施形態の情報処理装置１０によれば、超音波プローブが大型化（大口径化）するのを抑制することができるため、被検体の負担を軽減することができる。
　また、本実施形態の情報処理装置１０では、超音波検査中に、超音波画像撮影装置１４の超音波プローブにより撮影された超音波断層画像５６に対応する断面の位置を表す断面５１を含む３次元画像５０を、リアルタイムで表示させる。３次元画像５０の断面５１の位置は、超音波プローブの先端の位置に対応する。そのため、本実施形態の情報処理装置１０によれば、超音波内視鏡検査において、３次元画像５０の断面５１により、超音波プローブの位置をナビゲーションすることができる。
　なお、本実施形態では、超音波画像撮影装置１４が、被検体の体腔内に挿入する超音波内視鏡を用いて超音波断層画像を撮影する形態である場合について説明したが、超音波画像撮影装置１４は、本形態に限定されない。例えば、超音波画像撮影装置１４は、被検体の体表面を超音波プローブで走査して超音波断層画像を撮影する形態であってもよい。
　また、本実施形態では、被検体の大腸３Ｄ検査において大腸内部を超音波断層画像の撮影対象とした場合について説明したが、超音波断層画像の撮影対象は、大腸内部に限定されない。例えば、膵臓及び胆嚢等他の臓器を超音波断層画像の撮影対象としてもよい。
　また、本実施形態における情報処理装置１０の各機能部等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field-Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　また、本実施形態では、３次元超音波画像生成プログラム２３が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。３次元超音波画像生成プログラム２３は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、３次元超音波画像生成プログラム２３は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１　情報処理システム
１０　情報処理装置
１２　３次元画像撮影装置
１４　超音波画像撮影装置
２０　ＣＰＵ
２１　メモリ
２２　記憶部
２３　３次元超音波画像生成プログラム
２４　表示部
２６　入力部
２８　ネットワークＩ／Ｆ
２９　バス
３０　第１取得部
３２　第２取得部
３４　位置情報対応付部
３６　３次元超音波画像生成部
３８　表示制御部
４９　ＣＴ断層画像
５０　３次元画像
５１　断面
５２　仮想内視鏡画像
５４　内視鏡画像
５６　超音波断層画像
５８　３次元超音波画像
Ｎ　ネットワーク

Claims (9)

  1. 　少なくとも１つのプロセッサと、
    　前記プロセッサによって実行可能な命令を記憶するメモリと、を備え、
    　前記プロセッサは、
    　被検体の臓器を撮影した３次元画像を取得し、
    　前記臓器を、異なる位置で順次撮影した複数の超音波断層画像を取得し、
    　前記複数の超音波断層画像の各々について、前記３次元画像を構成する複数の断層画像から、超音波断層画像と同一の断面に対応する断層画像を特定して、特定した断層画像の断面の位置を表す位置情報を前記複数の超音波断層画像の各々に対応付け、
    　前記位置情報に基づいて、前記複数の超音波断層画像から３次元超音波画像を生成する　情報処理装置。
  2. 　前記プロセッサは、
    　前記複数の超音波断層画像の各々と前記複数の断層画像の各々とを画像解析することにより、超音波断層画像と同一の断面に対応する断層画像を特定する、
    　請求項１に記載の情報処理装置。
  3. 　前記プロセッサは、
    　前記３次元超音波画像を表示させる制御を行う
    　請求項１または請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、
    　取得した超音波断層画像に対応する断面を認識可能とした前記３次元画像を表示させる制御を行う
    　請求項１または請求項２に記載の情報処理装置。
  5. 　前記プロセッサは、
    　取得した超音波断層画像を表示させる制御を行う
    　請求項１から請求項４のいずれか１項に記載の情報処理装置。
  6. 　前記プロセッサは、
    　前記複数の超音波断層画像を、前記被検体の体腔内に挿入された超音波内視鏡により被検体の臓器の超音波断層画像を撮影する超音波画像撮影装置から取得する
    　請求項１から請求項５のいずれか１項に記載の情報処理装置。
  7. 　被検体の臓器の３次元画像を撮影する３次元画像撮影装置と、
    　前記臓器の超音波断層画像を、異なる位置で順次撮影する超音波画像撮影装置と、
    　前記３次元画像撮影装置から前記３次元画像を取得し、かつ前記超音波画像撮影装置から前記複数の超音波断層画像を取得する、請求項１から請求項６のいずれか１項に記載の情報処理装置と、
    　を備えた情報処理システム。
  8. 　被検体の臓器を撮影した３次元画像を取得し、
    　前記臓器を、異なる位置で順次撮影した複数の超音波断層画像を取得し、
    　前記複数の超音波断層画像の各々について、前記３次元画像を構成する複数の断層画像から、超音波断層画像と同一の断面に対応する断層画像を特定して、特定した断層画像の断面の位置を表す位置情報を前記複数の超音波断層画像の各々に対応付け、
    　前記位置情報に基づいて、前記複数の超音波断層画像から３次元超音波画像を生成する　処理をコンピュータが実行する情報処理方法。
  9. 　被検体の臓器を撮影した３次元画像を取得し、
    　前記臓器を、異なる位置で順次撮影した複数の超音波断層画像を取得し、
    　前記複数の超音波断層画像の各々について、前記３次元画像を構成する複数の断層画像から、超音波断層画像と同一の断面に対応する断層画像を特定して、特定した断層画像の断面の位置を表す位置情報を前記複数の超音波断層画像の各々に対応付け、
    　前記位置情報に基づいて、前記複数の超音波断層画像から３次元超音波画像を生成する　処理をコンピュータに実行させるための情報処理プログラム。
PCT/JP2020/039419 2019-12-10 2020-10-20 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム WO2021117349A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021563771A JP7209113B2 (ja) 2019-12-10 2020-10-20 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US17/715,931 US20220230367A1 (en) 2019-12-10 2022-04-07 Information processing apparatus, information processing system, information processing method, and information processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-223151 2019-12-10
JP2019223151 2019-12-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/715,931 Continuation US20220230367A1 (en) 2019-12-10 2022-04-07 Information processing apparatus, information processing system, information processing method, and information processing program

Publications (1)

Publication Number Publication Date
WO2021117349A1 true WO2021117349A1 (ja) 2021-06-17

Family

ID=76328878

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039419 WO2021117349A1 (ja) 2019-12-10 2020-10-20 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20220230367A1 (ja)
JP (1) JP7209113B2 (ja)
WO (1) WO2021117349A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280963A (ja) * 2006-05-29 2006-10-19 Hitachi Medical Corp 超音波診断装置
JP2013223792A (ja) * 2013-07-05 2013-10-31 Canon Inc 画像処理装置、画像処理方法
JP2017099603A (ja) * 2015-12-01 2017-06-08 東芝メディカルシステムズ株式会社 超音波診断装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6896657B2 (en) * 2003-05-23 2005-05-24 Scimed Life Systems, Inc. Method and system for registering ultrasound image in three-dimensional coordinate system
JP5191167B2 (ja) * 2007-06-06 2013-04-24 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
US20140171800A1 (en) * 2011-08-11 2014-06-19 Hitachi Medical Corporation Ultrasound diagnostic device and ultrasound image display method
KR101982149B1 (ko) * 2011-09-05 2019-05-27 삼성전자주식회사 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
WO2013187335A1 (ja) * 2012-06-15 2013-12-19 株式会社東芝 超音波診断装置、コンピュータプログラムプロダクト及び制御方法
JP6361528B2 (ja) * 2015-03-03 2018-07-25 コニカミノルタ株式会社 超音波処理装置
JP6490820B2 (ja) 2015-09-02 2019-03-27 株式会社日立製作所 超音波撮像装置、画像処理装置、及び方法
WO2018195821A1 (zh) * 2017-04-26 2018-11-01 深圳迈瑞生物医疗电子股份有限公司 一种图像数据调节方法及设备
US12076183B2 (en) * 2018-03-29 2024-09-03 Terumo Kabushiki Kaisha Image processing device and image display method
US20200051257A1 (en) * 2018-08-08 2020-02-13 Siemens Medical Solutions Usa, Inc. Scan alignment based on patient-based surface in medical diagnostic ultrasound imaging
US11596384B2 (en) * 2018-10-26 2023-03-07 Philips Image Guided Therapy Corporation Intraluminal ultrasound vessel border selection and associated devices, systems, and methods
WO2021089810A1 (en) * 2019-11-06 2021-05-14 Philips Image Guided Therapy Corporation Co-registration of intravascular data and multi-segment vasculature, and associated devices, systems, and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006280963A (ja) * 2006-05-29 2006-10-19 Hitachi Medical Corp 超音波診断装置
JP2013223792A (ja) * 2013-07-05 2013-10-31 Canon Inc 画像処理装置、画像処理方法
JP2017099603A (ja) * 2015-12-01 2017-06-08 東芝メディカルシステムズ株式会社 超音波診断装置

Also Published As

Publication number Publication date
US20220230367A1 (en) 2022-07-21
JPWO2021117349A1 (ja) 2021-06-17
JP7209113B2 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
CN112469340A (zh) 具有用于引导式肝成像的人工神经网络的超声系统
JP5027922B2 (ja) 超音波診断装置
JP4528322B2 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
JP4616872B2 (ja) 画像表示装置および画像表示プログラム
JP2016531709A (ja) 疾患を診断するための画像解析技術
JP2020192006A (ja) 診断支援装置、及び、ｘ線ｃｔ装置
CN105096306B (zh) 用于对医学图像进行配准的方法和设备
TWI684994B (zh) 脊椎影像註冊方法
US20230316550A1 (en) Image processing device, method, and program
US7689018B2 (en) Anomaly detection in volume data structure information
US9990725B2 (en) Medical image processing apparatus and medical image registration method using virtual reference point for registering images
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
US11348242B2 (en) Prediction apparatus, prediction method, prediction program
JP7431317B2 (ja) 文書作成支援装置、方法およびプログラム
JP2020036708A (ja) 手術支援装置及び手術ナビゲーションシステム
JP2011161104A (ja) 画像生成装置、画像生成方法、及びそのプログラム
JP6461743B2 (ja) 医用画像処理装置および医用画像処理方法
WO2021117349A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP6820805B2 (ja) 画像位置合わせ装置、その作動方法およびプログラム
JP7023195B2 (ja) 検査支援装置、方法およびプログラム
JP2007511013A (ja) 医用画像における候補解剖学的構造をフィルタリングおよび自動検出するためのシステムおよび方法
WO2022054530A1 (ja) 超音波撮影装置、方法およびプログラム
US20240016365A1 (en) Image processing device, method, and program
Siang et al. A framework of position tracked freehand 3d ultrasound reconstruction using game controller and pixel nearest neighbour method for marching cubes volume visualization
JP2007090072A (ja) 放射線画像データを神経解剖学座標系内に描出する方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20898704

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563771

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20898704

Country of ref document: EP

Kind code of ref document: A1