WO2021192593A1 - プログラム、情報処理方法、情報処理装置及び診断支援システム - Google Patents
プログラム、情報処理方法、情報処理装置及び診断支援システム Download PDFInfo
- Publication number
- WO2021192593A1 WO2021192593A1 PCT/JP2021/002954 JP2021002954W WO2021192593A1 WO 2021192593 A1 WO2021192593 A1 WO 2021192593A1 JP 2021002954 W JP2021002954 W JP 2021002954W WO 2021192593 A1 WO2021192593 A1 WO 2021192593A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- endoscope
- information
- dimensional medical
- endoscopic image
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims description 91
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003745 diagnosis Methods 0.000 title description 12
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000003780 insertion Methods 0.000 claims description 101
- 230000037431 insertion Effects 0.000 claims description 101
- 238000005452 bending Methods 0.000 claims description 36
- 238000009795 derivation Methods 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 20
- 238000002591 computed tomography Methods 0.000 description 47
- 238000012545 processing Methods 0.000 description 39
- 238000004891 communication Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 238000007689 inspection Methods 0.000 description 12
- 210000000056 organ Anatomy 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 8
- 210000002429 large intestine Anatomy 0.000 description 8
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 8
- 230000003902 lesion Effects 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 238000001839 endoscopy Methods 0.000 description 6
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 235000014655 lactic acid Nutrition 0.000 description 4
- 239000004310 lactic acid Substances 0.000 description 4
- 239000008400 supply water Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 210000000621 bronchi Anatomy 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000000436 anus Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 210000001835 viscera Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
- A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Definitions
- the patient's tumor examination is performed by intubating an endoscope into the tubular organ site, especially in the trachea and bronchus, upper gastrointestinal tract, pancreas, biliary tract, or intestinal tract, and the image of the intubated endoscope.
- an endoscope into the tubular organ site, especially in the trachea and bronchus, upper gastrointestinal tract, pancreas, biliary tract, or intestinal tract, and the image of the intubated endoscope.
- the virtual endoscope disclosed in Patent Document 1 provides a virtual endoscopic image using data of an X-ray CT (Computed Tomography) image. This virtual endoscopic image is created from a three-dimensional image of X-ray CT.
- the virtual endoscope disclosed in Patent Document 1 merely displays an X-ray CT reconstruction image (virtual endoscope image) of a cross section, and is based on the endoscope image and the virtual endoscope image. , The point of providing diagnostic support by providing information on the operation of the endoscope is not considered.
- One aspect is to provide a program that provides information on the operation of the endoscope and provides efficient diagnostic support.
- the program acquires an endoscopic image of a subject from an endoscope on a computer, and diagnoses the subject with X-ray CT, X-ray cone beam CT, MRI-CT, and ultrasonic diagnosis.
- a virtual endoscope reconstructed from the three-dimensional medical image based on the acquired three-dimensional medical image acquired by means such as a device that can take a three-dimensional image of the inside of the body.
- An image is generated, the distance image information in the endoscopic image is derived based on the virtual endoscopic image and the endoscopic image, and the inside is based on the distance image information and the three-dimensional medical image.
- the process of outputting operation support information related to the operation of the endoscope is executed.
- an endoscopic image of a subject is acquired from an endoscope, and the subject is subjected to X-ray CT, X-ray cone beam CT, MRI-CT, and ultrasonic diagnostic apparatus.
- a virtual endoscopic image reconstructed from the three-dimensional medical image based on the acquired endoscopic image obtained by acquiring a three-dimensional medical image taken up to the inside of the body by a means capable of taking a three-dimensional image of the inside of the body as described above.
- Is generated, and the distance image information in the endoscopic image is derived based on the virtual endoscopic image and the endoscopic image, and the endoscopy is based on the distance image information and the three-dimensional medical image.
- the information processing apparatus includes an endoscopic image acquisition unit that acquires an endoscopic image of a subject from an endoscope, and an X-ray CT, an X-ray cone beam CT, and an MRI of the subject.
- an endoscopic image acquisition unit that acquires an endoscopic image of a subject from an endoscope, and an X-ray CT, an X-ray cone beam CT, and an MRI of the subject.
- a generator that generates a virtual endoscopic image reconstructed from the three-dimensional medical image, and a derivation that derives distance image information in the endoscopic image based on the virtual endoscopic image and the endoscopic image. It includes a unit and an output unit that outputs operation support information related to the operation of the endoscope based on the distance image information and the three-dimensional medical image.
- the diagnostic support system includes an endoscope, an automatic operation mechanism for automatically operating the endoscope, and an endoscope processor that acquires an endoscopic image of a subject from the endoscope.
- the endoscope processor captures the inside of the subject by means such as X-ray CT, X-ray cone beam CT, MRI-CT, and an ultrasonic diagnostic apparatus that can take a three-dimensional image of the inside of the body.
- a three-dimensional medical image acquisition unit that acquires the three-dimensional medical image obtained, a generation unit that generates a virtual endoscopic image reconstructed from the three-dimensional medical image based on the acquired endoscopic image, and the virtual unit.
- the automatic operation mechanism includes an output unit that outputs operation support information related to the above to the automatic operation mechanism, and the automatic operation mechanism automatically operates the endoscope according to the operation support information output from the output unit.
- FIG. It is a schematic diagram which shows the outline of the diagnosis support system which concerns on Embodiment 1.
- FIG. It is a block diagram which shows the configuration example of the endoscope apparatus included in a diagnosis support system. It is a block diagram which shows the configuration example of the information processing apparatus included in the diagnosis support system.
- It is explanatory drawing which illustrates the data layout of the endoscope image DB. It is explanatory drawing explaining the process which outputs the operation support information using the operation information learning model. It is explanatory drawing explaining the process which outputs the degree of agreement with an endoscopic image using the degree of agreement learning model.
- It is a functional block diagram which illustrates the functional part included in the control part of an information processing apparatus.
- FIG. 1 is a schematic diagram showing an outline of the diagnosis support system S according to the first embodiment.
- the diagnostic support system S includes an endoscope device 10 and an information processing device 6 communicatively connected to the endoscope device 10.
- the endoscope device 10 transmits an image (captured image) taken by the imaging element of the endoscope 40 to the endoscope processor 20, and the endoscope processor 20 gamma correction, white balance correction, shading correction, etc. By performing various image processing of the above, an endoscopic image is generated in a state that is easy for the operator to see.
- the endoscope device 10 outputs (transmits) the generated endoscope image to the information processing device 6.
- the information processing device 6 that has acquired the endoscopic images transmitted from the endoscope device 10 performs various information processing based on these endoscopic images and outputs information related to diagnostic support.
- the endoscope device 10 includes an endoscope processor 20, an endoscope 40, and a display device 50.
- the display device 50 is, for example, a liquid crystal display device or an organic EL (Electro Luminescence) display device.
- the display device 50 is installed on the upper stage of the storage shelf 16 with casters.
- the endoscope processor 20 is housed in the middle stage of the storage shelf 16.
- the storage shelf 16 is arranged in the vicinity of the endoscopy bed (not shown).
- the storage shelf 16 has a pull-out shelf on which the keyboard 15 connected to the endoscope processor 20 is mounted.
- the endoscope processor 20 has a substantially rectangular parallelepiped shape and is provided with a touch panel 25 on one surface.
- a reading unit 28 is arranged below the touch panel 25.
- the reading unit 28 is a connection interface for reading and writing a portable recording medium such as a USB connector, an SD (Secure Digital) card slot, or a CD-ROM (Compact Disc Read Only Memory) drive.
- the endoscope 40 has an insertion unit 44, an operation unit 43, a universal cord 49, and a scope connector 48.
- the operation unit 43 is provided with a control button 431.
- the insertion portion 44 is long and one end thereof is connected to the operation portion 43 via the folding portion 45.
- the insertion portion 44 has a soft portion 441, a curved portion 442, and a tip portion 443 in this order from the operation portion 43 side.
- the bending portion 442 bends in response to the operation of the bending knob 433.
- a physical detection device such as a 3-axis acceleration sensor, a gyro sensor, a geomagnetic sensor, a magnetic coil sensor, or an endoscope insertion shape observation device (CoroNavi) is mounted on the insertion unit 44, and the endoscope 40 is inside the subject's body. When it is inserted into, the detection result from these physical detection devices may be acquired.
- a physical detection device such as a 3-axis acceleration sensor, a gyro sensor, a geomagnetic sensor, a magnetic coil sensor, or an endoscope insertion shape observation device (CoroNavi) is mounted on the insertion unit 44, and the endoscope 40 is inside the subject's body. When it is inserted into, the detection result from these physical detection devices may be acquired.
- the universal cord 49 is long, and the first end is connected to the operation unit 43 and the second end is connected to the scope connector 48.
- the universal cord 49 is flexible.
- the scope connector 48 has a substantially rectangular parallelepiped shape.
- the scope connector 48 is provided with an air supply water supply port 36 (see FIG. 2) for connecting an air supply water supply tube.
- FIG. 2 is a block diagram showing a configuration example of the endoscope device 10 included in the diagnosis support system S.
- the control unit 21 is an arithmetic control device that executes the program of the present embodiment.
- One or more CPUs Central Processing Units
- GPUs Graphics Processing Units
- multi-core CPUs and the like are used for the control unit 21.
- the control unit 21 is connected to each hardware unit constituting the endoscope processor 20 via a bus.
- the main storage device 22 is, for example, a storage device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), or flash memory.
- the main storage device 22 temporarily stores information necessary in the middle of processing performed by the control unit 21 and a program being executed by the control unit 21.
- the auxiliary storage device 23 is, for example, a storage device such as a SRAM, a flash memory, or a hard disk, and is a storage device having a larger capacity than the main storage device 22. In the auxiliary storage device 23, for example, the acquired captured image and the generated endoscopic image may be stored as intermediate data.
- the communication unit 24 is a communication module or communication interface for communicating with the information processing device 6 via a network by wire or wirelessly, and is, for example, a narrow-range wireless communication module such as wifi (registered trademark) or Bluetooth (registered trademark). Alternatively, it is a wide area wireless communication module such as 4G or LTE.
- the touch panel 25 includes a display unit such as a liquid crystal display panel and an input unit laminated on the display unit.
- the communication unit 24 may communicate with a CT device, an MRI device (see FIG. 5), an ultrasonic diagnostic device, or a storage device (not shown) that stores data output from these devices.
- the display device I / F 26 is an interface that connects the endoscope processor 20 and the display device 50.
- the input device I / F 27 is an interface for connecting the endoscope processor 20 and an input device such as a keyboard 15.
- the light source 33 is a high-brightness white light source such as a white LED or a xenon lamp.
- the light source 33 is connected to the bus via a driver (not shown).
- the lighting, extinguishing, and changing of the brightness of the light source 33 are controlled by the control unit 21.
- the illumination light emitted from the light source 33 is incident on the optical connector 312.
- the optical connector 312 engages with the scope connector 48 to supply illumination light to the endoscope 40.
- the pump 34 generates pressure for the air supply / water supply function of the endoscope 40.
- the pump 34 is connected to the bus via a driver (not shown).
- the on / off of the pump 34 and the change of the pressure are controlled by the control unit 21.
- the pump 34 is connected to the air supply water supply port 36 provided in the scope connector 48 via the water supply tank 35.
- a fiber bundle, a cable bundle, an air supply tube, a water supply tube, and the like are inserted inside the scope connector 48, the universal cord 49, the operation unit 43, and the insertion unit 44.
- the illumination light emitted from the light source 33 is radiated from the illumination window provided at the tip portion 443 via the optical connector 312 and the fiber bundle.
- the range illuminated by the illumination light is photographed by an image sensor provided at the tip portion 443.
- the captured image is transmitted from the image pickup element to the endoscope processor 20 via the cable bundle and the electric connector 311.
- the control unit 21 of the endoscope processor 20 functions as an image processing unit 211 by executing a program stored in the main storage device 22.
- the image processing unit 211 performs various image processing such as gamma correction, white balance correction, and shading correction on the image (photographed image) output from the endoscope 40, and outputs the image as an endoscope image.
- FIG. 3 is a block diagram showing a configuration example of the information processing device 6 included in the diagnosis support system S.
- the information processing device 6 includes a control unit 62, a communication unit 61, a storage unit 63, and an input / output I / F 64.
- the information processing device 6 is, for example, a server device, a personal computer, or the like.
- the server device includes not only a single server device but also a cloud server device or a virtual server device composed of a plurality of computers.
- the information processing device 6 may be provided as a cloud server located on an external network accessible from the endoscope processor 20.
- the control unit 62 has an arithmetic processing unit having a timing function such as one or a plurality of CPUs (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), and is stored in the storage unit 63. By reading and executing the program P, various information processing, control processing, and the like related to the information processing unit 6 are performed.
- the control unit 62 may be composed of a chip for a quantum computer, and the information processing device 6 may be a quantum computer.
- the storage unit 63 includes a volatile storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory, and a non-volatile storage area such as EEPROM or hard disk.
- the storage unit 63 stores the program P and the data to be referred to at the time of processing in advance.
- the program P stored in the storage unit 63 may be a program P read from the recording medium 632 that can be read by the information processing apparatus 6. Further, the program P may be downloaded from an external computer (not shown) connected to a communication network (not shown) and stored in the storage unit 63.
- the storage unit 63 stores an entity file (instance file of a neural network (NN)) that constitutes a plurality of learning models (91, 92) described later. These entity files may be configured as one part of the program P. Further, the storage unit 63 may store the endoscopic image DB631 (DataBase) described later.
- the communication unit 61 is a communication module or communication interface for communicating with the endoscope device 10 by wire or wirelessly, and is, for example, a narrow-range wireless communication module such as wifi (registered trademark) or Bluetooth (registered trademark), or 4G. , LTE and other wide area wireless communication modules.
- the communication unit 61 may communicate with a CT device, an MRI device (see FIG. 5), an ultrasonic diagnostic device, or a storage device (not shown) that stores data output from these devices.
- the input / output I / F64 conforms to a communication standard such as USB or DSUB, and is a communication interface for serial communication with an external device connected to the input / output I / F64.
- a display unit 7 such as a display and an input unit 8 such as a keyboard are connected to the input / output I / F 64, and the control unit 62 provides information performed based on an execution command or event input from the input unit 8. The processing result is output to the display unit 7.
- FIG. 4 is an explanatory diagram illustrating the data layout of the endoscopic image DB631.
- the endoscopic image DB 631 is stored in the storage unit 63 of the information processing device 6, and is composed of database management software such as RDBMS (Relational DataBase Management System) mounted on the information processing device 6.
- the endoscopic image DB 631 may be stored in a predetermined storage area accessible from the information processing device 6, such as a storage device communicatively connected to the information processing device 6.
- the endoscope image DB 631 may be stored in the main storage device 22 of the endoscope device 10.
- the predetermined storage area includes the storage unit 63 of the information processing device 6, the main storage device 22 of the endoscope device 10, and the storage device accessible from the information processing device 6 or the endoscope device 10.
- the information processing device 6 may acquire the endoscope image output by the endoscope processor 20, the examination date and time, and the attribute information of the subject, and register the information processing device 6 in the endoscope image DB 631.
- the endoscope image, the examination date and time, and the attribute information of the subject directly output from the endoscope processor 20 may be directly registered in the endoscope image DB 631.
- the endoscopic image DB631 includes, for example, a subject master table and an image table, and the subject master table and the image table are based on the subject ID, which is an item (metadata) included in both tables. The association is set.
- the subject master table includes, for example, subject ID, gender, date of birth, and age as management items (metadata). ID information is stored in the item (field) of the subject ID in order to uniquely identify the subject who has undergone endoscopy.
- the gender and date of birth items (fields) store the biological attributes of the subject ID's gender and date of birth, and the age item (field) stores the current age calculated by the date of birth. Is stored. These genders and ages are managed by the subject master table as biological information of the subject.
- the image table has management items (metadata) such as subject ID, examination date and time, endoscopic image, frame number, S coordinate (insertion distance), three-dimensional medical image, viewpoint position, viewpoint direction, and virtual inside. Includes endoscopic images.
- the subject ID item (field) is for associating with the biological attributes of the subject managed in the subject master table, and the value of each subject's ID is stored. ..
- the item (field) of the examination date and time the date and time when the subject with the subject ID has undergone endoscopy is stored.
- the item (field) of the endoscopic image the endoscopic image of the subject ID is stored as object data.
- the endoscopic image may be a still image in, for example, jpeg format with one frame, or a moving image in, for example, avi format with several frames.
- the item (field) of the endoscopic image may store information indicating the storage location (file path) of the endoscopic image saved as a file.
- the frame number of the moving image is stored in the frame number item (field).
- the position information (internal coordinate system) of the three-dimensional medical image or the virtual endoscopic image described later can be handled. Can be associated with (coordinates in).
- the insertion distance of the endoscope 40 at the time of shooting the endoscope image stored in the same record is stored as the value of the S coordinate.
- the derivation of the insertion distance (S coordinate) and the like will be described later.
- the items (fields) of the three-dimensional medical image include means such as a CT device (X-ray CT, X-ray cone beam CT) or MRI device (MRI-CT), and an ultrasonic diagnostic device that can take a three-dimensional image of the inside of the body.
- a CT device X-ray CT, X-ray cone beam CT
- MRI-CT MRI device
- an ultrasonic diagnostic device that can take a three-dimensional image of the inside of the body.
- a three-dimensional medical image in DICOM (Digital Imaging and Communications in Medicine) format generated based on the data output from is stored as object data.
- DICOM Digital Imaging and Communications in Medicine
- information indicating the storage location (file path) of the three-dimensional medical image saved as a file may be stored.
- the viewpoint position item stores the coordinates in the body of the endoscope 40 at the time when the endoscope image is taken, that is, the coordinates in the coordinate system of the three-dimensional medical image. Derivation of the viewpoint position and the like will be described later.
- the item (field) in the viewpoint direction stores the direction of the endoscope 40 at the time when the endoscope image is taken, that is, the rotation angle in the coordinate system (coordinates in the body coordinate system) of the three-dimensional medical image. Derivation of the viewpoint direction and the like will be described later.
- the virtual endoscopic image generated from the three-dimensional medical image is stored as object data.
- Information indicating the storage location (file path) of the virtual endoscopic image saved as a file may be stored.
- the virtual endoscopic image is generated from a three-dimensional medical image in order to perform matching processing with the endoscopic image. For example, the virtual endoscopic image that best matches the endoscopic image is included in the virtual endoscopic image. It is registered in the same record as the endoscopic image. The generation of a virtual endoscopic image and the like will be described later.
- FIG. 5 is an explanatory diagram illustrating a process of outputting operation support information using the operation information learning model 91.
- the information processing device 6 uses the distance image information and the body cavity information included in the three-dimensional medical image, which will be described later, as problem data, and determines the insertion direction, insertion amount, insertion speed, target point coordinates indicating the insertion destination, and the like of the endoscope 40.
- a neural network operation information learning model 91
- a neural network operation information learning model 91
- the operation information learning model 91 learned using the training data is expected to be used as a program module that is a part of artificial intelligence software.
- the operation information learning model 91 is used in the information processing device 6 including the control unit 62 (CPU or the like) and the storage unit 63 as described above, and is executed by the information processing device 6 having the arithmetic processing capability in this way. By doing so, a neural network system is constructed. That is, a calculation in which the control unit 62 of the information processing device 6 extracts the feature amount of the distance image information and the three-dimensional medical image input to the input layer according to the command from the operation information learning model 91 stored in the storage unit 63. Is performed, and the operation support information including the insertion direction of the endoscope 40 is output from the output layer.
- the input layer has a plurality of neurons that receive the distance image information and the body cavity information included in the 3D medical image, and passes the input distance image information and the body cavity information included in the 3D medical image to the intermediate layer.
- the distance image information is information derived based on the virtual endoscopic image corresponding to the acquired endoscopic image, and is information on the distance between each pixel in the virtual endoscopic image. .. Since the endoscopic image and the corresponding virtual endoscopic image have the same region of the body as the imaging region, the distance image information is used as information regarding the distance between each pixel in the endoscopic image. Equivalent to.
- the distance between each pixel means the distance in the coordinate system (internal coordinate system) of the three-dimensional medical image, and is, for example, the distance in consideration of the depth in the two internal parts included in the virtual endoscopic image. be. Further, the distance image information input to the operation information learning model 91 may be added with information regarding the viewpoint position and orientation of the endoscope 40.
- the body cavity information included in the three-dimensional medical image is the shape of the internal organ or the like into which the endoscope 40 is inserted (inner wall of the organ) in the three-dimensional region including the imaging region of the virtual endoscopic image from which the distance image information is derived. It is curved surface data indicating a shape), and the curved surface data may be composed of, for example, a polynomial approximation formula or a set of points.
- the intermediate layer has a single-phase or multi-layer structure consisting of, for example, a single or a plurality of fully connected layers, and each of the plurality of neurons contained in the fully connected layer has input distance image information and body cavity information contained in a three-dimensional medical image. Information indicating activation or deactivation is output based on the value of.
- the information processing apparatus 6 optimizes the parameters used for the arithmetic processing in the intermediate layer by using, for example, the backpropagation method (Backpropagation) or the like.
- the output layer has one or more neurons that output operation support information including the insertion direction of the endoscope 40, and is based on the information indicating activation or deactivation of each neuron output from the intermediate layer.
- the operation support information is output.
- the operation support information including the insertion direction of the endoscope 40 is, for example, a plurality of coordinate values in the coordinate system (internal coordinate system) of the three-dimensional medical image in which the tip portion of the endoscope 40 sequentially passes in the insertion direction. And the angle of rotation may be shown in vector form. Further, the operation support information may include a velocity component with respect to the amount of movement between adjacent coordinate values as the endoscope 40 sequentially passes through.
- FIG. 6 is an explanatory diagram illustrating a process of outputting a degree of agreement with the endoscopic image using the degree of agreement learning model 92.
- the information processing device 6 uses the endoscopic image and the virtual endoscopic image as problem data, and learns based on the training data using the information on the degree of matching between these two images as the answer data, thereby performing the endoscopic image and the virtual inside.
- a neural network (matching degree learning model 92) is constructed (generated) by inputting an optoscopic image and outputting information such as a value indicating the degree of matching between the two images.
- the matching degree learning model 92 learned using the training data is expected to be used as a program module which is a part of artificial intelligence software like the operation information learning model 91.
- the input layer has a plurality of neurons that accept input of pixel values of the endoscopic image and the virtual endoscopic image, and passes the input pixel values to the intermediate layer.
- the intermediate layer has a plurality of neurons for extracting the image features of the endoscopic image and the virtual endoscopic image, and passes the image features of each of the extracted images to the output layer.
- the output layer has one or more neurons that output information about the degree of matching, such as a value indicating the degree of matching between the input endoscopic image and the virtual endoscopic image, and both images output from the intermediate layer. Information on the degree of matching is output based on each image feature amount.
- the intermediate layer has a convolution layer that convolves the pixel values of each pixel input from the input layer and a convolution layer that convolves the pixel values in the convolution layer. It has a configuration in which the pooling layers to be mapped (compressed) are alternately connected, and finally the endoscopic image and the virtual endoscopic image are finally compressed while compressing the pixel information of the endoscopic image and the virtual endoscopic image. Extract the feature amount.
- a CNN Convolutional Neural Network
- the output layer includes, for example, a fully connected layer and a softmax layer, and the cosine similarity is derived by the inner product of the feature amount vectors based on the image feature amounts of both images in the fully connected layer, and the cosine similarity is obtained in the softmax layer. Based on this, a value indicating the degree of matching (established value) is derived and output as information on the degree of matching.
- the endoscopic image and the virtual endoscopic image are used. Transfer learning may be performed using the training data to construct the matching degree learning model 92.
- the endoscopic images used as training data and the virtual endoscopic images corresponding to the endoscopic images are stored in large quantities as result data of endoscopy 40 examinations and CT devices performed at each medical institution. By using these result data, a large amount of training data for learning the matching degree learning model 92 can be generated.
- the operation information learning model 91 and the matching degree learning model 92 are described as being a neural network (NN) such as CNN, but these learning models (91, 92) are not limited to NN and are not limited to NN. It may be a learning model (91, 92) constructed by other learning algorithms such as (Support Vector Machine), Bayesian network, and regression tree.
- NN neural network
- these learning models (91, 92) are not limited to NN and are not limited to NN.
- It may be a learning model (91, 92) constructed by other learning algorithms such as (Support Vector Machine), Bayesian network, and regression tree.
- FIG. 7 is a functional block diagram illustrating a functional unit included in the control unit of the information processing device.
- the control unit 21 of the endoscope processor 20 (endoscope device 10) functions as an image processing unit 211 by executing a program stored in the main storage device 22.
- the control unit 62 of the information processing device 6 executes the program P stored in the storage unit 63 to execute the acquisition unit 621, the viewpoint position derivation unit 622, the virtual endoscopic image generation unit 623, and the matching degree determination unit 624. , It functions as a distance image information derivation unit 625 and an operation support information output unit 626.
- the image processing unit 211 of the endoscope processor 20 performs various image processing such as gamma correction, white balance correction, and shading correction on the image (photographed image) output from the endoscope, and outputs the image as an endoscope image. ..
- the image processing unit 211 outputs (transmits) the generated endoscopic image and the inspection date and time based on the imaging time of the endoscopic image to the information processing device 6.
- the image processing unit 211 may further output the subject ID input from the keyboard 15 to the information processing device 6.
- the image processing unit 211 outputs the insertion distance (S coordinate) of the endoscope 40 output from the sensor arranged in the insertion unit 44 (flexible tube) of the endoscope 40 in order to measure the surrounding environment of the endoscope 40. ) May be output to the information processing apparatus 6.
- the image processing unit 211 may superimpose the information on the insertion distance of the endoscope 40 acquired from the sensor on the endoscope image and display it on the display device, for example.
- Sensors for acquiring the S coordinate include, for example, a temperature sensor, an optical sensor, a pressure sensor, a wetness sensor (electrode), and a humidity sensor.
- the sensor is an optical sensor
- the optical sensor is arranged inside the insertion portion 44 (flexible tube), but emits light even when the insertion portion 44 (flexible tube) is inserted into the body. Can receive light. Therefore, it is possible to discriminate the portion where the optical sensor receives more light as the outside of the body and the portion where the light sensor receives less light as the inside of the body.
- control unit 21 of the endoscope processor 20 identifies the optical sensor at the boundary position, which is the body cavity insertion site, based on the signal obtained by the optical sensor, and thereby the insertion unit 44 inserted into the body (
- the S coordinate which is the distance (length) of the flexible tube
- a roller encoder is attached to a mouthpiece or the like (not shown) in contact with the insertion portion 44 (flexible tube), and this roller encoder is provided for the distance that the insertion portion 44 (flexible tube) is inserted into the body.
- the rotation of the endoscope 40 can be used to obtain the S coordinate, which is the distance at which the endoscope 40 is inserted into the body.
- a roller encoder such as a mouthpiece rotates as the insertion portion 44 (flexible tube) advances and retreats, and communicates with the tip portion 443 of the endoscope 40 inserted into the body and a tube such as the mouth or nose.
- the length between the opening and the insertion portion 44 (flexible tube) can be measured.
- the roller encoder is electrically connected to the endoscope processor 20 and sends the measured distance to the endoscope processor 20. Further, an optical or magnetic encoder may be used instead of the roller encoder.
- the insertion distance of the endoscope can be measured by attaching an object equivalent to a mouthpiece to the anus.
- an auxiliary device for measuring the insertion distance of the endoscope 40 is attached to the body cavity insertion site which is the entrance of the subject, the endoscope 40 is inserted into the body by measuring the passing distance of the endoscope 40. It is possible to acquire the S coordinate which is the distance.
- the auxiliary device may be to measure the distance with a magnetic field scale such as a linear scale attached to the insertion part (flexible tube) 44 and a linear head attached to the mouthpiece, or within a roller. It may be the mouthpiece of the endoscope 40.
- an auxiliary device with a roller similar to the mouthpiece may be used. Furthermore, a chip that records the insertion distance at regular intervals may be built in the insertion portion (flexible tube) 44 of the endoscope 40. From the S coordinate information recorded by the chip obtained by the mouthpiece or the like, the endoscope processor 20 can acquire the S coordinate which is the distance at which the endoscope 40 is inserted into the body.
- the acquisition unit 621 acquires the subject ID, the examination date and time, the endoscope image, and the S coordinate (insertion distance) output by the endoscope processor 20.
- the acquisition unit 621 is output from a means capable of capturing a three-dimensional image of the inside of the body, such as a CT device, a cone beam CT device or an MRI device, or an ultrasonic diagnostic device, which are communicably connected based on the acquired subject ID. Acquire a three-dimensional medical image of the subject.
- a three-dimensional medical image output from another examination device that can take a three-dimensional image of the inside of the body, such as a CT device, a cone beam CT device or an MRI device, an ultrasonic diagnostic device, etc., is, for example, an external server (not shown). If already stored in, the information processing apparatus 6 accesses the external server and acquires a three-dimensional medical image of the subject based on the subject ID output from the endoscope processor 20. It may be something to do.
- the three-dimensional medical image is represented by volume data composed of tomographic image data output from a means capable of taking a three-dimensional image of the inside of the body such as a CT device, a cone beam CT device and an MRI device, and an ultrasonic diagnostic device. It is an image represented by volume data output from an X-ray cone beam CT apparatus using a MultiSlice CT apparatus and an X-ray flat panel.
- an image in which Dual Energy imaging is performed by X-ray CT and the composition (body composition) of each pixel of the three-dimensional medical image can be understood by the effective mass number (effective-Z). It may be.
- the image may be an image to which information on the composition (body composition) of each pixel of a three-dimensional medical image such as fat or lactic acid is added.
- the acquisition unit 621 outputs the acquired S coordinates to the viewpoint position derivation unit 622.
- the viewpoint position derivation unit 622 is the coordinates of the three-dimensional medical image corresponding to the S coordinates (coordinates in the internal coordinate system), that is, the endoscope 40 at the time when the endoscope 40 is imaged.
- the viewpoint position where the tip portion 443 of the above is located is derived.
- FIG. 8 is an explanatory diagram showing the distance (value of the S coordinate) into which the endoscope 40 is inserted. As shown in the figure, the digestive organs and the like photographed by the endoscope 40 are represented by the three-dimensional shape by the three-dimensional medical image.
- a space is formed inside the inner wall of the digestive organ or the like, and the space serves as an insertion path into which the endoscope 40 is inserted.
- the S coordinate which is the insertion distance of the endoscope 40, is inside the insertion path (inside the inner wall of the digestive organs, etc.), and is a place where the path length of the inserted path is substantially equal to the insertion distance. Therefore, based on the S coordinate, the coordinates of the tip portion 443 of the endoscope 40 located inside the inner wall of the digestive organ or the like can be derived.
- the viewpoint position deriving unit 622 outputs information regarding the derived viewpoint position to the virtual endoscopic image generation unit 623.
- the acquisition unit 621 outputs the acquired three-dimensional medical image to the virtual endoscopic image generation unit 623.
- the virtual endoscopic image generation unit 623 generates a virtual endoscopic image based on the acquired three-dimensional medical image and the viewpoint position acquired from the viewpoint position derivation unit 622.
- the virtual endoscopic image is generated (reconstructed) based on a three-dimensional medical image of X-ray CT or MRI or X-ray cone beam CT obtained by photographing a tubular organ such as the trachea and the bronchi or the intestinal tract, and is used for three-dimensional medical use. It is an image showing the inside of an organ (inside the body cavity) by an image by a virtual endoscope.
- CT imaging is performed with air in the large intestine, and a virtual endoscopic image of the large intestine is generated (reconstructed) by volume rendering the three-dimensional medical image obtained by the imaging from the inside of the large intestine. It may be a thing.
- the virtual endoscopic image generation unit 623 extracts voxel data of organs in the subject from the acquired three-dimensional medical image.
- organs include, but are not limited to, the large intestine, the small intestine, the kidney, the bronchus, the blood vessel, and the like, and other organs may be used.
- voxel data of the large intestine is extracted and acquired.
- a method for extracting the colon region specifically, first, a plurality of axially cut images of a cross section (axial) perpendicular to the body axis are reconstructed based on a three-dimensional medical image, and the image thereof is reconstructed.
- the boundary between the body surface and the inside of the body is determined using the X-ray CT value based on the X-ray absorption coefficient as a threshold by a known method, and the outside and the inside region are separated based on the body surface. ..
- the reconstructed axial section image is binarized by an X-ray CT value, a contour is extracted by a contour extraction process, and the inside of the extracted contour is extracted as an internal (human body) region.
- the axially cut image of the internal region is binarized by a threshold value, and candidates for the large intestine region in each axially cut image are extracted.
- a threshold value corresponding to the CT value of air (for example, -600 HU (Hounsfield Unit) or less) is set and binarization processing is performed to perform binarization processing, and each axis position.
- the air region in the body of the cut image is extracted as a candidate for the large intestine region.
- the virtual endoscopic image generation unit 623 projects voxel data in a plurality of radial ray directions centered on a line-of-sight vector based on a viewpoint position and an angle of rotation set as a line-of-sight direction on a predetermined projection plane.
- the image obtained by central projection is reconstructed as a virtual endoscopic image.
- a specific method of central projection for example, a known volume rendering method or the like can be used.
- the virtual endoscope image generation unit 623 has, for example, a rotation angle ( ⁇ x, ⁇ y) in the viewpoint direction, that is, the coordinate system of the three-dimensional medical image, starting from the viewpoint position corresponding to the coordinates of the tip portion 443 of the endoscope 40. , ⁇ z) is changed by a predetermined unit amount, for example, 1 °, and a plurality of candidate virtual endoscopic images are sequentially generated. That is, the virtual endoscopic image generation unit 623 has, for example, the inner wall of the digestive organ by a plurality of rotation angles set as the viewpoint direction from the viewpoint position inside the digestive organ specified by the three-dimensional medical image. A plurality of virtual endoscopic images may be generated by projecting (projecting) the three-dimensional shape according to the above. The virtual endoscope image generation unit 623 associates the generated plurality of virtual endoscope images with the viewpoint direction (rotation angle) used when generating the virtual endoscope image, and the matching degree determination unit 624. Output to.
- the acquisition unit 621 outputs the acquired endoscopic image to the matching degree determination unit 624.
- the matching degree determination unit 624 uses the acquired endoscopic image, a plurality of virtual endoscopic images acquired from the virtual endoscopic image generation unit 623, and the viewpoint direction (viewpoint direction) used when generating the virtual endoscopic image. Based on the rotation angle), the acquired endoscope image, the most matching virtual endoscope image, and the viewpoint direction (rotation angle) used when generating the most matching virtual endoscope image are specified. ..
- the matching degree determination unit 624 derives the matching degree between the endoscopic image and the virtual endoscopic image by comparing the acquired endoscopic image with each of the plurality of virtual endoscopic images.
- the matching degree determination unit 624 includes a matching degree learning model 92 that outputs information such as a value indicating the matching degree of both images based on the input endoscopic image and the virtual endoscopic image.
- the matching degree determination unit 624 inputs the acquired endoscopic image and the virtual endoscopic image into the matching degree learning model 92, and the value (probability value) indicating the matching degree output by the matching degree learning model 92 is also the highest.
- a virtual endoscopic image having a high value may be output as a virtual endoscopic image corresponding to the endoscopic image.
- the matching degree determination unit 624 is not limited to the case where the matching degree learning model 92 is included, and the matching degree is, for example, an index that correlates the shadow image of the endoscopic image and the shadow image of the virtual endoscopic image. May be measured. In order to quantitatively see the degree of matching between the virtual endoscopic image and the endoscopic image, the degree of matching may be determined by looking at the degree of correlation of the shadow image information obtained from the luminance information. Alternatively, the matching degree determination unit 624 may compare the degree of similarity between the plurality of configured virtual endoscopic images and the endoscopic images. The similarity comparison between the two images is performed by known image processing, and either pixel data level matching or feature level matching extracted from the image may be used.
- the virtual endoscopic image identified by the concordance determination unit 624 to have the highest degree of concordance with the endoscopic image and the viewpoint direction (rotation angle) used to generate the virtual endoscopic image are endoscopic. It may be registered in the mirror image DB.
- the matching degree determination unit 624 determines the virtual endoscopic image identified to have the highest degree of matching with the endoscopic image, and the viewpoint position and direction (angle of rotation) used to generate the virtual endoscopic image. It is output to the distance image information derivation unit 625.
- the matching degree determination unit 624 specifies the virtual endoscopic image that most closely matches the acquired endoscopic image, but the present invention is not limited to this.
- the matching degree determination unit 624 may specify the virtual endoscopic image having a matching degree of a predetermined value or more as a virtual endoscopic image that can be substantially identified with the acquired endoscopic image. By specifying the virtual endoscopic images whose degree of coincidence is equal to or higher than a predetermined value, it is not necessary to compare all the virtual endoscopic images generated as candidates, and the calculation load of the information processing device 6 is increased. And the processing time can be reduced.
- the matching degree determination unit 624 can substantially identify the virtual endoscopic image having the smallest difference (difference index) from the acquired endoscopic image with the acquired endoscopic image.
- the difference (difference index) between the endoscopic image and the virtual endoscopic image corresponds to the inverse of the degree of coincidence between the endoscopic image and the virtual endoscopic image, such a difference (difference)
- an image comparison engine or the like that derives the index
- the degree of coincidence determination unit 624 regenerates and reproduces a plurality of virtual endoscopic images with the viewpoint position obtained by slightly modifying the viewpoint position acquired from the viewpoint position derivation unit 622.
- the degree of coincidence between the plurality of virtual endoscopic images formed and the endoscopic image may be derived, and the virtual endoscopic image having the highest degree of coincidence may be specified.
- the distance image information derivation unit 625 derives the distance image information based on the virtual endoscopic image acquired from the matching degree determination unit 624.
- the distance image information is information regarding the distance between each pixel in the virtual endoscopic image in the virtual endoscopic image.
- the distance between each pixel means the distance in the coordinate system (internal coordinate system) of the three-dimensional medical image, and is, for example, the distance in consideration of the depth in the two internal parts included in the virtual endoscopic image. be.
- the virtual endoscopic image is an image obtained by projecting and transforming a three-dimensional medical image into two dimensions, and any point in the virtual endoscopic image corresponds to a point in the three-dimensional medical image, and these points Indicates the same position in the body part.
- Arbitrary points in the virtual endoscopic image may be pixel numbers (pixel coordinates) that are the smallest unit in the image, or, for example, a local region (consisting of a plurality of pixels) that specifies a predetermined internal part. It may be the central part of the area).
- the two points in the three-dimensional medical image are identified from the two points in the virtual endoscopic image. Based on the coordinate values of each of the two points in the specified three-dimensional medical image, the distance and vector of the two points can be derived.
- the distance image that is, In the virtual endoscopic image, it is possible to generate a virtual endoscopic image (distance image) to which distance information in the coordinate system of the three-dimensional medical image is added.
- the distance image information derivation unit 625 may output a virtual endoscope image (distance image) to which information regarding the distance between each pixel is added as distance image information. Further, the distance image information derivation unit 625 may add the viewpoint position and direction of the endoscope 40 used in generating the virtual endoscope image and output the image.
- the endoscope image is a virtual endoscope reconstructed (generated) from a three-dimensional medical image based on the position (viewpoint position) and the imaging direction (viewpoint direction) of the endoscope 40 that captured the endoscope image. It corresponds to the image. Therefore, the distance image information obtained by the virtual endoscopic image corresponding to the endoscopic image can also be applied to the endoscopic image. That is, the distance between two points in the endoscopic image is the distance between the two points in the virtual endoscopic image corresponding to the endoscopic image (the distance in the distance image, which is the distance in the coordinate system of the three-dimensional medical image). ) Corresponds to.
- the distance image information included in the distance image can be determined.
- the operation support information output unit 626 acquires the distance image information output from the distance image information derivation unit 625 and the viewpoint position and direction (rotation angle) of the endoscope 40.
- the operation support information output unit 626 acquires the three-dimensional medical image output from the acquisition unit 621 and extracts the body cavity information included in the three-dimensional medical image.
- the body cavity information included in the three-dimensional medical image is, for example, an internal organ into which the endoscope 40 is inserted in a three-dimensional region including an imaging region of a virtual endoscope image from which distance image information is derived. It is curved surface data showing the shape (inner wall shape of the organ) such as.
- the operation support information output unit 626 enters the endoscope 40 based on the input distance image information, the viewpoint position and direction of the endoscope 40, and the body cavity information included in the three-dimensional medical image shown by the curved surface data and the like. Includes an operation information learning model 91 that outputs operation support information including directions and the like.
- the operation support information output unit 626 inputs the acquired distance image information, the viewpoint position and direction of the endoscope 40, and the body cavity information included in the three-dimensional medical image indicated by the curved surface data, etc. into the operation information learning model 91.
- Operation information Acquires operation support information including the entry direction of the endoscope 40 output from the learning model 91.
- the operation support information output from the operation information learning model 91 is, for example, from the viewpoint position and direction of the endoscope 40 at the present time, that is, at the time of capturing the endoscope image, to the target point indicating the insertion destination. Includes information about the insertion direction, insertion amount or insertion speed of the endoscope 40.
- the operation support information includes a plurality of coordinate values in the coordinate system (internal coordinate system) of the three-dimensional medical image through which the tip portion 443 of the endoscope 40 sequentially passes from the viewpoint position of the endoscope 40 to the target point.
- the rotation angle may be indicated in a vector format or a matrix format.
- the path into which the endoscope 40 is inserted can be determined by connecting these plurality of coordinate values as path points.
- the operation support information output unit 626 may derive the coordinate values by performing correction according to the hardness of the insertion unit (flexible tube) 44 in deriving the coordinate values serving as the path points.
- the operation support information output unit 626 acquires the endoscope image output from the acquisition unit 621, generates image data in which the operation support information is superimposed on the endoscope image, and outputs the image data to the display unit 7.
- the display unit 7 displays an endoscopic image in which operation support information is superimposed on the endoscopic image based on the image data acquired from the operation support information output unit 626.
- Information on the position and orientation is associated and stored in the endoscopic image DB. That is, the control unit of the information processing device functions as a DB registration unit, and registers and stores various images, information, or data acquired or derived by the acquisition unit 621 and the matching degree determination unit 624 in the endoscopic image DB. It may be.
- FIG. 9 is an explanatory diagram regarding the relationship between the endoscopic image and the three-dimensional medical image.
- the relevance in a three-dimensional medical image, a virtual endoscopic image, and an endoscopic image is represented in an object-oriented manner.
- the three-dimensional medical image, the virtual endoscopic image, and the endoscopic image registered in the endoscopic image DB631 are associated with each other based on the viewpoint position and the viewpoint direction at the time of taking the endoscopic image.
- the viewpoint position corresponds to the coordinates (x, y, z) in the coordinate system (internal coordinate system) of the three-dimensional medical image.
- the viewpoint direction corresponds to the rotation angles ( ⁇ x, ⁇ y, ⁇ z) on the x-axis, y-axis and z-axis in the coordinate system (internal coordinate system) of the three-dimensional medical image.
- Each pixel of the endoscopic image corresponds to each pixel of a virtual endoscopic image (a virtual endoscopic image that best matches the endoscopic image).
- a virtual endoscopic image is an image generated by projecting (projecting) a viewpoint vector based on a three-dimensional medical image, starting from the viewpoint position and using a viewpoint vector defined by the viewpoint direction (rotation angle).
- the coordinates in the coordinate system (internal coordinate system) of the three-dimensional medical image are determined by the pixels of the virtual endoscopic image.
- each pixel of the virtual endoscopic image corresponds to each pixel of the endoscopic image
- the pixel of the endoscopic image is based on the pixel of the virtual endoscopic image. It is possible to determine the coordinates in the coordinate system (internal coordinate system) of the three-dimensional medical image of the internal part included in. That is, using the virtual endoscopic image as an intermediate medium, the pixels of the endoscopic image (internal part) and the coordinates in the coordinate system of the three-dimensional medical image (internal coordinate system) can be linked.
- the 3D medical image may be registered in the endoscopic image DB631 by adding color information and narrow band pixel information of the pixels of the endoscopic image to the 3D medical image.
- adding pixel information of an endoscopic image such as this difference and color information to a three-dimensional medical image it is desirable to perform brightness correction by a light source for photographing 446.
- the distance between the pixel of the endoscopic image and the viewpoint position (point of the photographing light source 446) is derived on the coordinate system of the three-dimensional medical image. Therefore, the brightness included in the pixel information of the endoscopic image may be corrected based on the reciprocal of the derived distance squared.
- the endoscopic image with the shortest distance is prioritized, weighted according to the distance, and load averaged.
- it may be added to the three-dimensional medical image by simple averaging.
- the composition (body composition) of each pixel of the 3D medical image is determined by the effective mass number (effective-Z).
- the image may be an image to which information on the composition (body composition) of each pixel of the three-dimensional medical image such as fat or lactic acid is added.
- FIG. 10 is a flowchart showing an example of a processing procedure by the control unit 62 of the information processing device 6.
- the information processing device 6 starts processing of the flowchart based on the input contents from the input unit 8 connected to the own device, for example.
- the control unit 62 of the information processing device 6 acquires information on the inspection date and time, the subject ID, the endoscope image, and the insertion distance output from the endoscope processor 20 (S101).
- the endoscope image acquired by the control unit 62 from the endoscope processor 20 may be a still image or a moving image.
- the control unit 62 obtains information on the insertion distance of the endoscope 40 output from the optical sensor or the like, the inspection date and time (the imaging date and time of the endoscope image), the subject ID, and the like, in addition to acquiring the endoscope image. Acquire the attribute information of the subject.
- the control unit 62 of the information processing device 6 acquires a three-dimensional medical image output from an inspection device that can take a three-dimensional image of the inside of the body, such as a CT device, an MRI device, or an ultrasonic diagnostic device (S102).
- the acquisition of a three-dimensional medical image is obtained by connecting the information processing device 6 to a CT device, an MRI device, an ultrasonic diagnostic device, or other inspection device capable of capturing a three-dimensional image in a communicable manner. There may be.
- a three-dimensional medical image output from an examination device such as a CT device, an MRI device, or an ultrasonic diagnostic device that can take a three-dimensional image of the inside of the body is already stored in an external server (not shown), for example.
- the endoscope processor 20 is communicably connected to an inspection device capable of photographing the inside of the body with a three-dimensional image such as a CT device, an MRI device, or an ultrasonic diagnostic device, and the control unit 62 of the information processing device 6 is connected. May acquire a three-dimensional medical image capable of photographing the inside of the body as a three-dimensional image, such as a CT device, an MRI device, or an ultrasonic diagnostic device, via an endoscope processor 20.
- the control unit 62 of the information processing device 6 derives the viewpoint position based on the insertion distance (S coordinate) (S103).
- the control unit 62 acquires information on the insertion distance (S coordinate) from, for example, an optical sensor arranged inside the insertion unit 44 (flexible tube) of the endoscope 40 via the endoscope processor 20.
- the coordinates of the tip portion 443 of the endoscope 40 located inside the inner wall of the digestive organ or the like into which the endoscope 40 is inserted are derived.
- the coordinates are coordinates in the coordinate system (internal coordinate system) of the three-dimensional medical image set with a predetermined point as the origin.
- the control unit 62 of the information processing device 6 generates a plurality of candidate virtual endoscopic images based on the viewpoint position (S104).
- the control unit 62 sets the angle of rotation ( ⁇ x, ⁇ y, ⁇ z) in the viewpoint direction, that is, the coordinate system of the three-dimensional medical image, as a predetermined unit, starting from the viewpoint position corresponding to the coordinates of the tip portion 443 of the endoscope 40.
- a plurality of candidate virtual endoscopic images are sequentially generated by changing the amount. For example, when the predetermined unit amount is 10 °, the control unit 62 has 36 resolutions for the rotation angle of each axis, that is, 36 cubed (46656) candidate virtual endoscopic images. May be generated.
- the control unit 62 of the information processing device 6 identifies the virtual endoscopic image having the highest degree of coincidence with the endoscopic image among the generated plurality of virtual endoscopic images (S105).
- the control unit 62 identifies the virtual endoscopic image having the highest degree of matching with the endoscopic image by using, for example, the matching degree learning model 92.
- the degree of coincidence may be measured by an index that correlates the shadow image of the endoscopic image and the shadow image of the virtual endoscopic image.
- the control unit 62 specifies the virtual endoscope image having the highest degree of coincidence and the viewpoint position and direction (rotation angle) when the virtual endoscope image is generated.
- the control unit 62 of the information processing device 6 derives the distance image information from the acquired virtual endoscopic image or the like (S106).
- the control unit 62 derives the distance image information which is the information regarding the distance between each pixel in the virtual endoscopic image.
- the control unit 62 of the information processing device 6 outputs operation support information based on the distance image information and the body cavity information included in the three-dimensional medical image (S107).
- the control unit 62 inserts the body cavity information included in the acquired three-dimensional medical image into the body in which the endoscope 40 is inserted in the three-dimensional region including the imaging region of the virtual endoscopic image from which the distance image information is derived. It is extracted as curved surface data showing the shape of an organ or the like (the shape of the inner wall of the organ).
- the control unit 62 inputs the extracted curved surface data, distance image information, and information indicating the position and orientation of the endoscope 40 into the operation information learning model 91, and outputs the operation support information output by the operation information learning model 91. do.
- the control unit 62 When outputting the operation support information, the control unit 62 generates image data in which the operation support information is superimposed on an endoscopic image, a virtual endoscopic image, or a three-dimensional medical image, and for example, the image is displayed on a display unit. It may output data.
- the display unit displays an endoscopic image, a virtual endoscopic image, or a three-dimensional medical image on which operation support information is superimposed based on the image data output from the control unit 62 of the information processing device 6.
- the operation support information superimposed on the endoscopic image, virtual endoscopic image, or three-dimensional medical image is information on the insertion direction, insertion amount, insertion speed, target point coordinates indicating the insertion destination, and the like of the endoscope 40.
- useful information can be provided to the operator of the endoscope 40, such as a doctor, and can contribute to diagnostic support for the doctor, etc.
- FIG. 11 is an explanatory diagram showing one aspect of the integrated image display screen 71.
- the control unit 62 of the information processing apparatus 6 includes image data including an endoscope image, a virtual endoscope image, or a three-dimensional medical image on which operation support information such as the insertion direction of the endoscope 40 is superimposed. Is generated and output to the display unit 7.
- the integrated image display screen 71 is an example of a display screen composed of the image data, and the display unit 7 displays the integrated image display screen 71 based on the image data.
- the integrated image display screen 71 is, for example, an area for displaying bibliographic items such as a subject ID, an area for displaying an endoscopic image, an area for displaying a three-dimensional medical image, and an area for displaying a two-dimensional medical image. , The area for displaying the virtual endoscopic image, and the area for displaying the information on the currently displayed endoscopic image and the viewpoint position where the endoscopic image is captured.
- bibliographic items such as the subject ID, the subject ID used to identify the three-dimensional medical image corresponding to the endoscopic image, the endoscope 40 examination date and time, and the three-dimensional medical image.
- bibliographic items related to data management such as the image generation date, are displayed.
- the endoscope image currently captured by the endoscope 40 is displayed in real time. Operation support information such as the insertion direction of the endoscope 40 is superimposed and displayed on the endoscope image.
- the endoscopic image is displayed semi-transparently according to the setting of the display option described later, and is an internal part extracted from the virtual endoscopic image corresponding to the endoscopic image, and is displayed as the endoscopic image.
- the internal part located on the inner side of the internal wall surface may be indicated by a dotted line or the like.
- the internal part displayed by a dotted line or the like in the translucent display in this way may be, for example, a lesion candidate site extracted based on the shape information of the internal part specified in the three-dimensional medical image.
- an internal part such as a digestive organ represented by the three-dimensional medical image is displayed as a three-dimensional object, and the viewpoint position of the endoscope 40 and the viewpoint position are displayed. Operation support information such as the insertion direction starting from is superimposed and displayed.
- the 3D object can be rotated by dragging any part of the 3D object.
- the three-dimensional medical image may be one in which the position of the lesion candidate site extracted based on the shape information of the internal part specified by the three-dimensional medical image is displayed in a highlighted state, for example. ..
- the two-dimensional medical image is displayed, which is a projection of the area on which the operation support information such as the insertion direction of the endoscope 40 is superimposed on the three-dimensional medical image.
- the projection vector used in generating the two-dimensional medical image may be determined in conjunction with the rotation state of the three-dimensional object displayed in the area for displaying the three-dimensional medical image.
- the virtual endoscopic image having the highest degree of matching with the endoscopic image displayed in the area for displaying the endoscopic image is displayed.
- the virtual endoscopic image may be displayed by superimposing operation support information such as the insertion direction of the endoscope 40.
- the area for displaying the viewpoint position or the like on which the endoscope image is captured is the position (viewpoint position) in the body of the endoscope 40 at the time of capturing the endoscope image displayed in the area for displaying the endoscope image. ) And the viewpoint direction (rotation angle) are displayed.
- the control unit 62 (acquisition unit 621) of the information processing apparatus 6 continuously acquires the endoscope image and the S coordinate indicating the insertion distance of the endoscope 40 from the endoscope 40 processor.
- the position (viewpoint position) of the tip of the endoscope 40 is continuously derived based on the acquired S coordinates.
- control unit 62 acquisition unit 621 of the information processing apparatus 6 determines the virtual endoscopic image corresponding to (corresponding to) the endoscopic image based on the degree of coincidence with the endoscopic image.
- the orientation (rotation angle) of the tip of the endoscope 40 is continuously derived. Therefore, in the area for displaying the viewpoint position or the like obtained by capturing the endoscope image, the viewpoint position and the viewpoint direction of the endoscope 40 are displayed in real time following the operation of the endoscope 40 by a doctor or the like. ..
- the three-dimensional medical image includes the effective mass number (effective-Z), which is the substance discrimination information based on X-rays, or the three-dimensional medical image such as fat or lactic acid. It contains information about the composition (body composition) of each pixel. Therefore, information on the effective mass number (effective-Z) and body composition extracted from the three-dimensional medical image can be displayed in the area based on the coordinates of the internal coordinate system indicating the image center of the endoscopic image. ..
- the area can be affected. Can be displayed.
- the learning model that outputs information regarding the presence or absence of lesions based on the endoscopic image input in this way is, for example, CNN, RCNN (Regions with Convolutional Neural Network), Fast RCNN, Faster-RCNN, or SSD (Single Shot Multibox). Any object detection algorithm having a segmentation network function, such as Detector) and YOLO (You Only Look Once), may be used.
- the viewpoint position of the endoscope 40 is continuously derived following the operation of the endoscope 40 by a doctor or the like, the viewpoint position and, for example, the currently displayed endoscope image Information on the distance from the image center of the image may be calculated, and the calculated distance (distance from the viewpoint position to the image center pixel) may be displayed in the area.
- the integrated image display screen 71 includes an input area for receiving input regarding a display mode, and the input area includes, for example, a display option field 711 for setting display options and a display mode selection field for accepting selection of a plurality of display modes. 712 and are arranged.
- the display option field 711 is provided with a torug switch for setting whether or not to display the endoscopic image, the virtual endoscopic image, or both images semi-transparently.
- the internal wall surface displayed in the endoscopic image is made translucent based on the shape data of the internal part included in the virtual endoscopic image or the three-dimensional medical image.
- the internal part located on the inner side of the internal wall surface is displayed by a dotted line or the like.
- the internal part located on the inner side of the internal wall surface may be a lesion candidate site extracted based on the shape information of the internal part specified in, for example, a three-dimensional medical image.
- the display mode selection field 712 is provided with a Torug switch for selecting a virtual endoscopic image, a two-dimensional medical image, and a three-dimensional medical image to be displayed together with the endoscopic image. By checking the Torug switch corresponding to these images, one of the checked images is displayed. When displaying one or two images of a virtual endoscopic image, a two-dimensional medical image, and a three-dimensional medical image according to each check of the Torug switch in the display mode selection field 712, and three of these. You can choose to display all of the images. The display size of the image may be resized according to the number of displayed images.
- the subject is photographed as a three-dimensional image of the inside of the body such as an X-ray CT, an X-ray cone beam CT, an MRI-CT, or an ultrasonic diagnostic apparatus.
- a three-dimensional medical image captured up to the inside of the body is acquired by a capable inspection device, a virtual endoscopic image is reconstructed from the acquired three-dimensional medical image, and endoscopy is performed based on the virtual endoscopic image and the endoscopic image. Derivation of distance image information in a mirror image.
- a virtual endoscopic image composed of a three-dimensional medical image having coordinate information in three-dimensional space in addition to the endoscopic image, it is possible to accurately derive the distance image information in the endoscopic image. ..
- the X-ray CT, the X-ray cone beam CT, the MRI-CT, or the ultrasonic diagnostic apparatus is an example of an inspection apparatus capable of photographing the inside of the body with a three-dimensional image, and is not limited thereto.
- the three-dimensional medical image is not limited to the case where it is acquired from any of these inspection devices, and may be acquired from a plurality of inspection devices.
- the operation support information includes information on the insertion direction or the insertion speed of the endoscope 40. Therefore, by outputting the operation support information, an operator of the endoscope 40 such as a doctor can be used. On the other hand, diagnostic support regarding the operation of the endoscope 40 can be efficiently performed.
- the operation support information includes, for example, an endoscopic image currently captured on the integrated image display screen 71, a three-dimensional medical image corresponding to the endoscopic image, and two-dimensional. It is displayed superimposed on a medical image or a virtual endoscopic image. Therefore, it is possible to improve the visibility of the operation support information to the operator of the endoscope 40 such as a doctor, and to efficiently provide diagnostic support to the doctor or the like.
- FIG. 12 is a functional block diagram illustrating a functional unit included in the control unit of the information processing apparatus according to the second embodiment (bending history).
- the control unit 21 of the endoscope processor 20 acquires the bending history information of the endoscope 40 inserted into the body, and determines the insertion status of the endoscope 40 according to the acquired bending history information. Even if the control unit 21 of the endoscope processor 20 detects bending history information by using, for example, an endoscope insertion shape detecting device (not shown) connected to the endoscope processor 20. good.
- the endoscope insertion shape detecting device is installed inside the insertion portion 44 of the endoscope 40 along the longitudinal direction of the insertion portion 44, for example, as disclosed in Japanese Patent Application Laid-Open No. 2019-37643.
- the device may be a device in which a plurality of magnetic coils are arranged at predetermined intervals.
- the bending history information indicates physical parameters or information related to bending such as bending angle and bending direction.
- the acquisition unit 621 of the information processing device 6 acquires an endoscope image or the like from the endoscope processor 20 as in the first embodiment, and further acquires bending history information.
- the acquisition unit 621 outputs the acquired bending history information to the viewpoint position derivation unit 622.
- the viewpoint position deriving unit 622 corrects the insertion distance (S coordinate) based on the acquired bending history information, and derives the viewpoint position based on the corrected insertion distance (S coordinate) in the same manner as in the first embodiment.
- the viewpoint position deriving unit 622 detects the shape of the insertion unit 44 (for example, bending 30 degrees to the right) by arithmetic processing according to the bending angle and bending direction.
- the control unit 21 recalculates (corrects) the S coordinate, which is the insertion distance, based on the detected shape of the insertion unit 44.
- each functional unit such as the virtual endoscope image generation unit 623 performs the processing in the same manner as in the first embodiment, and the operation support information output unit 626 generates and outputs the operation support information in the same manner as in the first embodiment.
- the viewpoint position deriving unit 622 of the information processing device 6 corrects the viewpoint position based on the bending history acquired from the endoscope processor 20, but the present invention is not limited to this.
- the control unit 21 of the endoscope processor 20 may correct the insertion distance based on the acquired bending history information and output the corrected insertion distance to the information processing device 6.
- the acquisition unit 621 of the information processing device 6 acquires the viewpoint position corrected based on the bending history information by the control unit 21 of the endoscope processor 20, and the subsequent processing is performed in the same manner as in the first embodiment. May be good.
- the position information for associating the endoscopic image with the 3D medical image is based on the information on the bending history, the information on the insertion distance, and the length of the insertion path of the endoscope 40 specified in the 3D medical image. , Derived.
- the accuracy of the insertion distance (S coordinate) can be improved by correcting the information regarding the insertion distance with the information regarding the bending history. Therefore, the viewpoint position (coordinates) and the viewpoint direction (rotation angle) of the endoscope 40 in the coordinate system of the three-dimensional medical image at the time when the endoscope image is captured can be accurately specified, and a suitable virtual endoscope image can be specified. Can be efficiently generated, and the accuracy in associating the endoscopic image with the three-dimensional medical image can be further improved.
- FIG. 13 is a flowchart showing an example of a processing procedure by the control unit of the information processing device.
- the information processing device 6 starts processing of the flowchart based on the input contents from the input unit 8 connected to the own device, for example.
- the control unit 62 of the information processing device 6 acquires information on the inspection date and time, the subject ID, the endoscope image, the insertion distance, and the bending history output from the endoscope processor 20 (S201).
- the control unit 62 of the information processing device 6 acquires an endoscope image or the like from the endoscope processor 20 as in the first embodiment, and further obtains information on the bending history detected by, for example, the endoscope insertion shape observation device. Obtained via the endoscope processor 20.
- the control unit 62 of the information processing device 6 may acquire information on the bending history directly from the endoscope insertion shape observation device.
- the control unit 62 of the information processing device 6 acquires a three-dimensional medical image output from an inspection device that can take a three-dimensional image of the inside of the body, such as a CT device, an MRI device, or an ultrasonic diagnostic device (S202).
- the control unit 62 of the information processing apparatus 6 performs the process of S202 in the same manner as the process S102 of the first embodiment.
- the control unit 62 of the information processing device 6 corrects the insertion distance (S coordinate) based on the bending history output from the endoscope processor 20 and derives the viewpoint position (S203).
- the control unit 62 derives the insertion portion 44 shape (for example, bending 30 degrees to the right) by arithmetic processing according to the bending angle and bending direction included in the bending history, and based on the derived insertion portion 44 shape, the insertion distance is calculated. Recalculate (correct) a certain S coordinate.
- the control unit 62 derives the viewpoint position based on the corrected insertion distance (S coordinate) as in the first embodiment.
- the control unit 62 of the information processing device 6 generates a plurality of candidate virtual endoscopic images based on the viewpoint position (S204).
- the control unit 62 of the information processing device 6 identifies the virtual endoscopic image having the highest degree of coincidence with the endoscopic image among the generated plurality of virtual endoscopic images (S205).
- the control unit 62 of the information processing device 6 derives the distance image information from the acquired virtual endoscopic image or the like (S206).
- the control unit 62 of the information processing device 6 outputs operation support information based on the distance image information and the body cavity information included in the three-dimensional medical image (S207).
- the control unit 62 of the information processing apparatus 6 performs the processes of 204, S205, S206, and S207 in the same manner as the processes S104, S105, S106, and S107 of the first embodiment.
- the coordinate information and orientation information (viewpoint position) of the endoscope 40 in the coordinate system of the three-dimensional medical image are information on the shape of the endoscope 40, information on bending history, and information on insertion distance. And derived based on 3D medical images. Therefore, the position and rotation angle (x-axis, y-axis, and z-axis rotation angles) of the endoscope 40 in the coordinate system of the three-dimensional medical image at the time when the endoscope image corresponding to the shape of the endoscope 40 is captured. ), And the distance image information in the endoscope image can be derived accurately and efficiently based on the position and the angle of rotation of the endoscope 40.
- FIG. 14 is a schematic diagram showing an outline of the diagnosis support system S according to the third embodiment (automatic operation mechanism 434).
- FIG. 15 is a functional block diagram illustrating a functional unit included in the control unit 62 of the information processing device 6.
- the diagnostic support system S of the third embodiment is different from the first embodiment in that the endoscope 40 included in the diagnostic support system S further includes an automatic operation mechanism 434.
- the endoscope 40 included in the diagnosis support system S automatically operates the control button 431 and the curved knob 433 based on the operation support information output from the control unit 62 (operation support information output unit 626) of the information processing device 6. It is provided with an automatic operation mechanism 434.
- the automatic operation mechanism 434 is communicably connected to the information processing device 6 and acquires (receives) the operation support information output (transmitted) from the information processing device 6.
- the automatic operation mechanism 434 is based on, for example, a microcomputer (not shown) that generates an on / off signal of the control button 431 or the curved knob 433 or a pulse signal from the acquired operation support information, and these signals output from the microcomputer.
- a motor and cam mechanism (not shown) that operates or drives the control button 431 or curved knob 433.
- the automatic operation mechanism 434, the control button 431, the curved knob 433, and the like cooperate with each other, and the subject's body responds to the operation support information. Automatic operations such as automatic insertion of the endoscope 40 are performed.
- the operation support information acquired by the automatic operation mechanism 434 from the control unit 62 (operation support information output unit 626) of the information processing device 6 is not limited to the operation support information such as insertion and bending of the insertion unit 44.
- the insertion portion 44 of the endoscope 40 is provided with an air injection portion (not shown) or a hand portion (not shown), and the operation support information includes air injection by the air injection portion or a hand. It may include information on operations such as removal (sampling) of the lesion site by the part. That is, the operation support information output unit 626 generates information on the operation of the air injection unit or the hand unit based on the shape information and the distance image information of the internal part specified in the acquired three-dimensional medical image, and the operation support information.
- the automatic operation mechanism 434 may automatically operate the air injection unit or the hand unit based on the acquired operation support information.
- the information regarding the operation of the air injection unit or the hand unit included in the operation support information may be displayed superimposed on the endoscopic image or the like on the integrated image display screen 71.
- the operation support information related to the operation of the endoscope 40 is efficiently output based on the distance image information in the endoscope image and the three-dimensional medical image or the virtual endoscope image.
- the automatic operation mechanism 434 automatically operates the endoscope 40 according to the operation support information output from the endoscope processor 20. Therefore, it is possible to provide a diagnostic support system S that efficiently supports the operation to an operator such as a doctor who operates the endoscope 40.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
Abstract
プログラムは、コンピュータに、内視鏡から被検者の内視鏡画像を取得し、前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得し、取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出し、前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する処理を実行させる。
Description
本技術は、プログラム、情報処理方法、情報処理装置及び診断支援システムに関する。
本出願は、2020年3月26日出願の日本出願第2020-056712号に基づく優先権を主張し、前記これらの日本出願に記載された全ての記載内容を援用するものである。
本出願は、2020年3月26日出願の日本出願第2020-056712号に基づく優先権を主張し、前記これらの日本出願に記載された全ての記載内容を援用するものである。
患者の腫瘍検査は、特に気管および気管支内、上部消化管、膵臓、胆道、又は腸管等の管状臓器部位において、その管状臓器部位へ内視鏡を挿管し、その挿管された内視鏡の映像により大半が行われている。しかし、内視鏡画像の2次元画像情報では各画素までの距離もわからず、画像の幾何歪もあり、画像測定時の誤差が大きいため、内視鏡画像そのままで画像診断サポート情報を提供することが困難であった。これに対し、特許文献1に開示されている仮想内視鏡は、X線CT(Computed Tomography)画像のデータを用いて仮想内視鏡画像を提供する。この仮想内視鏡画像は、X線CTの3次元画像から作成される。
しかしながら、特許文献1に開示された仮想内視鏡は、単に断面のX線CT再構成画像(仮想内視鏡画像)を表示するものであり、内視鏡画像及び仮想内視鏡画像に基づき、内視鏡の操作に関する情報を提供して診断支援を行う点については、考慮されていない。
一つの側面では、内視鏡の操作に関する情報を提供して効率的な診断支援を行うプログラム等を提供することを目的とする。
本開示の一態様におけるプログラムは、コンピュータに、内視鏡から被検者の内視鏡画像を取得し、前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得し、取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出し、前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する処理を実行させる。
本開示の一態様における情報処理方法は、内視鏡から被検者の内視鏡画像を取得し、前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得し、取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出し、前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する処理をコンピュータに実行させる。
本開示の一態様における情報処理装置は、内視鏡から被検者の内視鏡画像を取得する内視鏡画像取得部と、前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得する3次元医用画像取得部と、取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成する生成部と、前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出する導出部と、前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する出力部とを備える。
本開示の一態様における診断支援システムは、内視鏡と、前記内視鏡の自動操作を行う自動操作機構と、前記内視鏡から被検者の内視鏡画像を取得する内視鏡プロセッサとを備え、前記内視鏡プロセッサは、前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得する3次元医用画像取得部と、取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成する生成部と、前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出する導出部と、前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を前記自動操作機構に出力する出力部とを含み、前記自動操作機構は、前記出力部から出力された前記操作支援情報に応じて前記内視鏡の自動操作を行う。
本開示によれば、内視鏡の操作に関する情報を提供して効率的な診断支援を行うプログラム等を提供することができる。
(実施形態1)
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図1は、実施形態1に係る診断支援システムSの概要を示す模式図である。診断支援システムSは、内視鏡装置10及び、内視鏡装置10と通信可能に接続される情報処理装置6を含む。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図1は、実施形態1に係る診断支援システムSの概要を示す模式図である。診断支援システムSは、内視鏡装置10及び、内視鏡装置10と通信可能に接続される情報処理装置6を含む。
内視鏡装置10は、内視鏡40の撮像素子によって撮影した画像(撮影画像)を内視鏡用プロセッサ20に伝送し、内視鏡用プロセッサ20によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像を生成する。内視鏡装置10は、生成した内視鏡画像を情報処理装置6に出力(送信)する。内視鏡装置10から送信された内視鏡画像を取得した情報処理装置6は、これら内視鏡画像に基づき、種々の情報処理を行い、診断支援に関する情報を出力する。
内視鏡装置10は、内視鏡用プロセッサ20と、内視鏡40と、表示装置50とを含む。表示装置50は、たとえば液晶表示装置、または、有機EL(Electro Luminescence)表示装置である。
表示装置50はキャスター付きの収容棚16の上段に設置されている。内視鏡用プロセッサ20は、収容棚16の中段に収容されている。収容棚16は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚16は内視鏡用プロセッサ20に接続されたキーボード15を搭載する、引き出し式の棚を有する。
内視鏡用プロセッサ20は、略直方体形状であり、一面にタッチパネル25を備える。タッチパネル25の下部に、読取部28が配置されている。読取部28は、たとえばUSBコネクタ、SD(Secure Digital)カードスロット、またはCD-ROM(Compact Disc Read Only Memory)ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
内視鏡40は、挿入部44、操作部43、ユニバーサルコード49およびスコープコネクタ48を有する。操作部43には、制御ボタン431が設けられている。挿入部44は長尺であり、一端が折止部45を介して操作部43に接続されている。挿入部44は、操作部43側から順に軟性部441、湾曲部442および先端部443を有する。湾曲部442は、湾曲ノブ433の操作に応じて湾曲する。挿入部44には、3軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ又は内視鏡挿入形状観測装置(コロナビ)等の物理検出装置が実装され、内視鏡40が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
ユニバーサルコード49は長尺であり、第一端が操作部43に、第二端がスコープコネクタ48にそれぞれ接続されている。ユニバーサルコード49は、軟性である。スコープコネクタ48は略直方体形状である。スコープコネクタ48には、送気送水用のチューブを接続する送気送水口金36(図2参照)が設けられている。
図2は、診断支援システムSに含まれる内視鏡装置10の構成例を示すブロック図である。制御部21は、本実施の形態のプログラムを実行する演算制御装置である。制御部21には、一または複数のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)又はマルチコアCPU等が使用される。制御部21は、バスを介して内視鏡用プロセッサ20を構成するハードウェア各部と接続されている。
主記憶装置22は、例えば、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の記憶装置である。主記憶装置22には、制御部21が行なう処理の途中で必要な情報および制御部21で実行中のプログラムが一時的に保存される。補助記憶装置23は、例えば、SRAM、フラッシュメモリまたはハードディスク等の記憶装置であり、主記憶装置22よりも大容量の記憶装置である。補助記憶装置23には、例えば、取得した撮影画像、生成した内視鏡画像が、中間データとして保存されるものであってもよい。
通信部24は、有線又は無線によりネットワークを介して情報処理装置6と通信するための通信モジュール又は通信インターフェイスであり、例えばwifi(登録商標)、Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。タッチパネル25は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。通信部24は、CT装置、MRI装置(図5参照)、超音波診断装置又は、これら装置から出力されたデータを保存するストレージ装置(図示せず)と通信するものであってもよい。
表示装置I/F26は、内視鏡用プロセッサ20と表示装置50とを接続するインターフェイスである。入力装置I/F27は、内視鏡用プロセッサ20とキーボード15等の入力装置とを接続するインターフェイスである。
光源33は、たとえば白色LED、キセノンランプ等の高輝度の白色光源である。光源33は、図示を省略するドライバを介してバスに接続されている。光源33の点灯、消灯および明るさの変更は、制御部21により制御される。光源33から照射した照明光は、光コネクタ312に入射する。光コネクタ312は、スコープコネクタ48と係合し、内視鏡40に照明光を供給する。
ポンプ34は、内視鏡40の送気・送水機能用の圧力を発生させる。ポンプ34は、図示を省略するドライバを介してバスに接続されている。ポンプ34のオン、オフおよび圧力の変更は、制御部21により制御される。ポンプ34は、送水タンク35を介して、スコープコネクタ48に設けられた送気送水口金36に接続される。
内視鏡用プロセッサ20に接続された内視鏡40の機能の概略を説明する。スコープコネクタ48、ユニバーサルコード49、操作部43および挿入部44の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源33から出射した照明光は、光コネクタ312およびファイバーバンドルを介して、先端部443に設けられた照明窓から放射される。照明光により照らされた範囲を、先端部443に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ311を介して内視鏡用プロセッサ20に撮影画像が伝送される。
内視鏡用プロセッサ20の制御部21は、主記憶装置22に記憶されているプログラムを実行することにより、画像処理部211として機能する。画像処理部211は、内視鏡40から出力された画像(撮影画像)をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。
図3は、診断支援システムSに含まれる情報処理装置6の構成例を示すブロック図である。情報処理装置6は、制御部62、通信部61、記憶部63及び入出力I/F64を含む。情報処理装置6は、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置6は、内視鏡用プロセッサ20からアクセス可能な外部ネットワーク上に位置するクラウドサーバとして設けられているものであってもよい。
制御部62は、一又は複数のCPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)等の計時機能を備えた演算処理装置を有し、記憶部63に記憶されたプログラムPを読み出して実行することにより、情報処理装置6に係る種々の情報処理、制御処理等を行う。又は、制御部62は量子コンピュータ用チップで構成されており、情報処理装置6は量子コンピュータであってもよい。
記憶部63は、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、フラッシュメモリ等の揮発性記憶領域及び、EEPROM又はハードディスク等の不揮発性記憶領域を含む。記憶部63には、プログラムP及び処理時に参照するデータがあらかじめ記憶してある。記憶部63に記憶されたプログラムPは、情報処理装置6が読み取り可能な記録媒体632から読み出されたプログラムPを記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムPをダウンロードし、記憶部63に記憶させたものであってもよい。記憶部63には、後述する複数の学習モデル(91,92)を構成する実体ファイル(ニューラルネットワーク(NN)のインスタンスファイル)が保存されている。これら実体ファイルは、プログラムPの一部位として構成されるものであってもよい。更に記憶部63には、後述する内視鏡画像DB631(DataBase)が記憶されているものであってもよい。
通信部61は、有線又は無線により、内視鏡装置10と通信するための通信モジュール又は通信インターフェイスであり、例えばwifi(登録商標)、 Bluetooth(登録商標)等の狭域無線通信モジュール、又は4G、LTE等の広域無線通信モジュールである。通信部61は、CT装置、MRI装置(図5参照)、超音波診断装置又は、これら装置から出力されたデータを保存するストレージ装置(図示せず)と通信するものであってもよい。
入出力I/F64は、例えば、USB又はDSUB等の通信規格に準拠したものであり、入出力I/F64に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力I/F64には、例えばディプレイ等の表示部7、キーボード等の入力部8が接続されており、制御部62は、入力部8から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部7に出力する。
図4は、内視鏡画像DB631のデータレイアウトを例示する説明図である。内視鏡画像DB631は、情報処理装置6の記憶部63に記憶されており、情報処理装置6に実装されているRDBMS(Relational DataBase Management System)等のデータベース管理ソフトウェアにより構成される。又は、内視鏡画像DB631は、情報処理装置6と通信可能に接続されたストレージ装置等、情報処理装置6からアクセス可能な所定の記憶領域に記憶されているものであってもよい。又は、内視鏡画像DB631は、内視鏡装置10の主記憶装置22に記憶されているものであってもよい。すなわち、所定の記憶領域は、情報処理装置6の記憶部63、内視鏡装置10の主記憶装置22及び、情報処理装置6又は内視鏡装置10からアクセス可能なストレージ装置を含む。情報処理装置6は、内視鏡用プロセッサ20が出力した内視鏡画像、検査日時及び被検者の属性情報を取得し、内視鏡画像DB631に登録するものであってもよい。又は、内視鏡用プロセッサ20から直接出力された内視鏡画像、検査日時及び被検者の属性情報が、内視鏡画像DB631に直接的に登録されるものであってもよい。
内視鏡画像DB631は、例えば、被検者マスタテーブル及び画像テーブルを含み、被検者マスタテーブルと画像テーブルとは、両テーブルに共に含まれる項目(メタデータ)である被検者IDにより、関連付けが設定されている。
被検者マスタテーブルは、管理項目(メタデータ)として、例えば、被検者ID、性別、生年月日、年齢を含む。被検者IDの項目(フィールド)には、内視鏡検査を受けた被検者を一意に特定するためにID情報が格納される。性別及び生年月日の項目(フィールド)には、当該被検者IDの性別及び生年月日の生体属性が格納され、年齢の項目(フィールド)には、生年月日により算出される現時点における年齢が格納される。これら、性別、年齢は、被検者の生体情報として、被検者マスタテーブルにより管理される。
画像テーブルは、管理項目(メタデータ)として、例えば、被検者ID、検査日時、内視鏡画像、フレーム番号、S座標(挿入距離)、3次元医用画像、視点位置、視点方向、仮想内視鏡画像を含む。
被検者IDの項目(フィールド)には、被検者マスタテーブルに管理される被検者の生体属性と関連付けをするためのものであり、当該被検者夫々のIDの値が格納される。検査日時の項目(フィールド)には、当該被検者IDの被検者が内視鏡検査を受けた日時が格納される。内視鏡画像の項目(フィールド)には、当該被検者IDの内視鏡画像がオブジェクトデータとして格納される。内視鏡画像は、1フレームによる例えばjpeg形式の静止画又は、数フレームによる例えばavi形式の動画であってもよい。内視鏡画像の項目(フィールド)には、ファイルとして保存されている当該内視鏡画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。
フレーム番号の項目(フィールド)には、内視鏡画像が動画の場合、当該動画のフレーム番号が格納される。動画のフレーム番号を格納することにより、内視鏡画像が動画であっても、静止画と同様に取り扱うことができ、後述する3次元医用画像又は仮想内視鏡画像の位置情報(体内座標系における座標)と関連付けることができる。
S座標(挿入距離)の項目(フィールド)には、同じレコードに格納される内視鏡画像の撮影時点における内視鏡40の挿入距離が、S座標の値として格納される。挿入距離(S座標)の導出等については、後述する。
3次元医用画像の項目(フィールド)には、CT装置(X線CT、X線コーンビームCT)又はMRI装置(MRI-CT)、超音波診断装置のように体内を3次元画像で撮影できる手段から出力されたデータに基づき生成される、例えばDICOM(Digital Imaging and Communications in Medicine)形式の3次元医用画像が、オブジェクトデータとして格納される。又は、ファイルとして保存されている当該3次元医用画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。
視点位置の項目(フィールド)には、内視鏡画像が撮影された時点における内視鏡40の体内における座標、すなわち3次元医用画像の座標系における座標が格納される。視点位置の導出等については、後述する。
視点方向の項目(フィールド)には、内視鏡画像が撮影された時点における内視鏡40の向き、すなわち3次元医用画像の座標系(体内座標系における座標)における回転角が格納される。視点方向の導出等については、後述する。
仮想内視鏡画像の項目(フィールド)には、3次元医用画像から生成された仮想内視鏡画像がオブジェクトデータとして格納される。ファイルとして保存されている当該仮想内視鏡画像の保存場所(ファイルパス)を示す情報が格納されるものであってもよい。仮想内視鏡画像は、内視鏡画像とのマッチング処理を行うために3次元医用画像から生成されるものであり、例えば、内視鏡画像に最も一致する仮想内視鏡画像が、当該内視鏡画像と同じレコードに登録される。仮想内視鏡画像の生成等については、後述する。
図5は、操作情報学習モデル91を用いて操作支援情報を出力する処理を説明する説明図である。情報処理装置6は、後述する距離画像情報及び3次元医用画像に含まれる体腔情報を問題データとし、内視鏡40の挿入方向、挿入量、挿入速度及び、挿入先を示す目標点座標等の少なくとも1つを含む操作支援情報を回答データとする訓練データに基づき学習することで、距離画像情報及び3次元医用画像を入力とし、内視鏡40の挿入方向等を含む操作支援情報を出力とするニューラルネットワーク(操作情報学習モデル91)を構築(生成)する。
訓練データを用いて学習された操作情報学習モデル91は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。操作情報学習モデル91は、上述のごとく制御部62(CPU等)及び記憶部63を備える情報処理装置6にて用いられるものであり、このように演算処理能力を有する情報処理装置6にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置6の制御部62が、記憶部63に記憶された操作情報学習モデル91からの指令に従って、入力層に入力された距離画像情報及び3次元医用画像の特徴量を抽出する演算を行い、出力層から内視鏡40の挿入方向等を含む操作支援情報を出力するように動作する。
入力層は、距離画像情報及び3次元医用画像に含まれる体腔情報を受け付ける複数のニューロンを有し、入力された距離画像情報及び3次元医用画像に含まれる体腔情報を中間層に受け渡す。詳細は後述するが、距離画像情報は、取得した内視鏡画像に対応する仮想内視鏡画像に基づき導出される情報であり、当該仮想内視鏡画像における各画素同士の距離に関する情報である。内視鏡画像及び対応する仮想内視鏡画像とは、同一の体内部位の領域を撮像領域としているものであるため、当該距離画像情報は、内視鏡画像における各画素同士の距離に関する情報に相当する。各画素同士の距離とは、3次元医用画像の座標系(体内座標系)における距離を意味するものであり、例えば、仮想内視鏡画像に含まれる2つの体内部位における奥行きを加味した距離である。また、操作情報学習モデル91に入力される距離画像情報には、内視鏡40の視点位置及び向きに関する情報が付加されたものであってもよい。3次元医用画像に含まれる体腔情報は、距離画像情報を導出した仮想内視鏡画像の撮像領域を含む3次元領域において、内視鏡40が挿入されている体内器官等の形状(器官の内壁形状)を示す曲面データであり、当該曲面データは、例えば多項近似式又は点集合によって構成されるものであってもよい。
中間層は、例えば単数又は複数の全結合層からなる単相又は多層構造をなし、全結合層に含まれる複数のニューロン夫々は、入力された距離画像情報及び3次元医用画像に含まれる体腔情報の値に基づき、活性化又は非活性化を示す情報を出力する。情報処理装置6は、例えば、誤差逆伝播法(Backpropagation)等を用いて中間層での演算処理に用いるパラメータを最適化する。
出力層は、内視鏡40の挿入方向等を含む操作支援情報を出力する一又は複数のニューロンを有し、中間層から出力された各ニューロンの活性化又は非活性化を示す情報に基づき、当該操作支援情報を出力する。内視鏡40の挿入方向等を含む操作支援情報は、例えば、当該挿入方向において内視鏡40の先端部が順次に通過する3次元医用画像の座標系(体内座標系)における複数の座標値及び回転角をベクトル形式で示すものであってもよい。また、当該操作支援情報は、内視鏡40が順次に通過するあたり隣接する座標値間の移動量に対する速度成分を含むものであってもよい。
訓練データとして用いられる距離画像情報及び3次元医用画像問題データ(問題データ)と、これら情報に相関を有する内視鏡40の挿入方向等を含む操作支援情報は、各医療機関において行われた内視鏡40検査の結果データとして大量に保存されており、これら結果データを用いることにより、操作情報学習モデル91を学習するための訓練データを大量に生成することができる。
図6は、一致度学習モデル92を用いて内視鏡画像との一致度を出力する処理を説明する説明図である。情報処理装置6は、内視鏡画像及び仮想内視鏡画像を問題データとし、これら両画像の一致度に関する情報を回答データとする訓練データに基づき学習することで、内視鏡画像及び仮想内視鏡画像を入力とし、両画像の一致度を示す値等の情報を出力とするニューラルネットワーク(一致度学習モデル92)を構築(生成)する。訓練データを用いて学習された一致度学習モデル92は、操作情報学習モデル91と同様に人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。
入力層は、内視鏡画像及び仮想内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡画像及び仮想内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した両画像夫々の画像特徴量を出力層に受け渡す。出力層は、入力された内視鏡画像及び仮想内視鏡画像の一致度を示す値等、当該一致度に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された両画像夫々の画像特徴量に基づいて、一致度に関する情報を出力する。
一致度学習モデル92が、例えばCNN(Convolutional Neural Network)である場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング(圧縮)するプーリング層とが交互に連結された構成を有し、内視鏡画像及び仮想内視鏡画像の画素情報を圧縮しながら最終的に内視鏡画像及び仮想内視鏡画像の特徴量を抽出する。出力層は、例えば全結合層及びソフトマックス層を含み、全結合層にて両画像夫々の画像特徴量による特徴量ベクトルの内積によるコサイン類似度を導出し、ソフトマックス層にてコサイン類似度に基づき一致度を示す値(確立値)を導出して、一致度に関する情報として出力する。
一致度学習モデル92を構築(生成)するにあたり、例えば、VGG16モデル(caffemodel:VGG_ILSVRC_16_layers)にて実装したDCNN等のリポジトリ(学習済みのモデル)を用い、内視鏡画像及び仮想内視鏡画像による訓練データによって転移学習を行い、当該一致度学習モデル92を構築するものであってもよい。訓練データとして用いられる内視鏡画像及び、当該内視鏡画像に対応する仮想内視鏡画像は、各医療機関において行われた内視鏡40検査及びCT装置等の結果データとして大量に保存されており、これら結果データを用いることにより、一致度学習モデル92を学習するための訓練データを大量に生成することができる。
本実施形態では操作情報学習モデル91及び一致度学習モデル92は、例えばCNN等のニューラルネットワーク(NN)であるとして説明するが、これら学習モデル(91,92)は、NNに限定されず、SVM(Support Vector Machine)、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習モデル(91,92)であってもよい。
図7は、情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ20(内視鏡装置10)の制御部21は、主記憶装置22に記憶されているプログラムを実行することにより、画像処理部211として機能する。情報処理装置6の制御部62は、記憶部63に記憶されているプログラムPを実行することにより、取得部621、視点位置導出部622、仮想内視鏡画像生成部623、一致度判定部624、距離画像情報導出部625、操作支援情報出力部626として機能する。
内視鏡用プロセッサ20の画像処理部211は、内視鏡から出力された画像(撮影画像)をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像として出力する。画像処理部211は、生成した内視鏡画像及び内視鏡画像の撮像時点に基づく検査日時を情報処理装置6に出力(送信)する。画像処理部211は、更にキーボード15から入力された被検者IDを情報処理装置6に出力するものであってもよい。画像処理部211は、内視鏡40の周辺環境を測定するため内視鏡40の挿入部44(可撓管)に配設されたセンサから出力される内視鏡40の挿入距離(S座標)に関する情報を、情報処理装置6に出力するものであってもよい。画像処理部211は、センサから取得した内視鏡40の挿入距離に関する情報を、例えば、内視鏡画像に重畳して表示装置に表示させるものであってもよい。
内視鏡40が体内に挿入された距離であるS座標を取得するためのセンサは、例えば温度センサ、光センサ、圧力センサ、濡れセンサ(電極)、湿度センサを含む。例えば、当該センサが光センサである場合、光センサは挿入部44(可撓管)の内部に配置されているが、挿入部44(可撓管)が体内に挿入されているときでも光を受光することができる。そのため、光センサが光をより多く受光している部分が体外、少ない部分を体内として判別することが可能である。そして内視鏡用プロセッサ20の制御部21は、光センサで得られた信号に基づき、体腔挿入部位である境界位置にある光センサを特定することにより、体内に挿入されている挿入部44(可撓管)の距離(長さ)であるS座標を導出することができる。
上部内視鏡の場合は、挿入部44(可撓管)に接する図示しないマウスピース等にローラエンコーダを付け、挿入部44(可撓管)が体内に挿入されている距離分だけこのローラエンコーダが回転することを用いて、内視鏡40が体内に挿入された距離であるS座標を取得することができる。マウスピース等のローラエンコーダは、挿入部44(可撓管)の進退に伴って回転し、体内に挿入された内視鏡40の先端部443と、例えば口又は鼻等の管腔に連通する開口部との間の長さ、すなわち挿入部44(可撓管)の挿入距離を測定できる。ローラエンコーダは、内視鏡用プロセッサ20と電気的に接続しており、測定した距離を内視鏡用プロセッサ20に送る。またローラエンコーダの代わりに光学式、磁気式エンコーダを用いても良い。
また下部内視鏡の場合は、肛門部にマウスピース相当の物を付けることで内視鏡挿入距離が測定できる。内視鏡40の挿入距離を測定する補助装置が被検体の入り口である体腔挿入部位に装着された場合、内視鏡40の通過距離を測定することにより、内視鏡40が体内に挿入された距離であるS座標を取得することができる。補助装置は、例えば挿入部(可撓管)44に付けたリニアスケールのような磁場のスケールとマウスピースに付けたリニアヘッドで距離を測定することであっても良く、またはローラーを付けた内視鏡40のマウスピースであっても良い。なお、鼻または肛門等に内視鏡40が挿入される場合、マウスピースと類似のローラーを付けた補助装置を利用しても良い。さらにまた、内視鏡40の挿入部(可撓管)44に一定間隔で挿入距離を記録したチップを内蔵しても良い。マウスピース等が得た該チップで記録されたS座標情報から、内視鏡用プロセッサ20は、内視鏡40が体内に挿入された距離であるS座標を取得することができる。
取得部621は、内視鏡用プロセッサ20が出力した被検者ID、検査日時、内視鏡画像及びS座標(挿入距離)を取得する。取得部621は、取得した被検者IDに基づき、通信可能に接続されたCT装置、コーンビームCT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる手段から出力される当該被検者の3次元用医用画像を取得する。CT装置、コーンビームCT装置又はMRI装置、超音波診断装置等のように体内を3次元画像で撮影できる他の検査装置から出力される3次元用医用画像が、例えば外部サーバ(図示せず)に既に保存されている場合、情報処理装置6は、当該外部サーバにアクセスし、内視鏡用プロセッサ20から出力された被検者IDに基づき、当該被検者の3次元用医用画像を取得するものであってもよい。
3次元医用画像は、例えばCT装置、コーンビームCT装置およびMRI装置、超音波診断装置のように体内を3次元画像で撮影できる手段等から出力された断層像データから構成されたボリュームデータにより表される画像、並びにMulti SliceCT装置およびX線フラットパネルを用いたX線コーンビームCT装置から出力されたボリュームデータにより表される画像である。X線CT装置又はコーンビームCT装置を用いた場合、例えばX線CTでDual Energy 撮影を行い、実効質量数(effective-Z)により3次元医用画像の各画素の組成(体組成)が分かる画像とするものであってもよい。MRI装置を用いた場合、脂肪又は乳酸等の3次元医用画像の各画素の組成(体組成)に関する情報を付与した画像とするものであってもよい。
取得部621は、取得したS座標を視点位置導出部622に出力する。視点位置導出部622は、取得したS座標に基づき、当該S座標に対応する3次元用医用画像の座標(体内座標系における座標)、すなわち内視鏡40が撮像された時点における内視鏡40の先端部443が位置する視点位置を導出する。図8は、内視鏡40が挿入された距離(S座標の値)を示す説明図である。図示されるように3次元用医用画像により、内視鏡40により撮影された消化器官等は、3次元形状により表現される。当該消化器官等の内壁の内側には、空間が形成されており、当該空間は内視鏡40が挿入される挿入経路となる。内視鏡40の挿入距離であるS座標は、当該挿入経路の内側(消化器官等の内壁の内側)であって、挿入されている経路の経路長が当該挿入距離に略等しくなる場所となるため、S座標に基づき、消化器官等の内壁の内側に位置する内視鏡40の先端部443の座標を導出することができる。視点位置導出部622は、導出した視点位置に関する情報を仮想内視鏡画像生成部623に出力する。
取得部621は、取得した3次元医用画像を仮想内視鏡画像生成部623に出力する。仮想内視鏡画像生成部623は、取得した3次元医用画像及び、視点位置導出部622から取得した視点位置に基づき、仮想内視鏡画像を生成する。仮想内視鏡画像は、気管および気管支内又は腸管等の管状臓器を撮影したX線CTまたはMRIまたはX線コーンビームCTの3次元医用画像に基づいて生成(再構成)し、3次元用医用画像による器官内(体腔内)を仮想的内視鏡によって表した画像である。例えば、大腸に空気を入れた状態でCT撮影を行い、その撮影によって得た3次元用医用画像を大腸の内側からボリュームレンダリングすることによって、大腸の仮想内視鏡画像を生成(再構成)するものであってもよい。
仮想内視鏡画像生成部623は、取得した3次元医用画像から被検者内の臓器のボクセルデータを抽出する。臓器としては、例えば大腸、小腸、腎臓、気管支または血管等があるが、これに限らずその他の臓器でも良い。なお、本実施形態においては大腸のボクセルデータを抽出して取得するものとする。例えば、大腸領域を抽出する方法としては、具体的には、まず、3次元医用画像に基づいて体軸に垂直な断面(軸位断;axial)の軸位断画像を複数再構成し、その各軸位断画像に対して、公知の手法によりX線吸収係数に基づくX線CT値を閾値として体表面と体内の境界を求め、体表を基準に体外と体内領域を分離する処理を行う。例えば、再構成された軸位断画像に対してX線CT値による二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のCT値に対応する閾値(例えば、-600HU(Hounsfield Unit)以下)を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。仮想内視鏡画像生成部623は、視点位置と視線方向として設定される回転角に基づく視線ベクトルを中心として、放射線状に伸ばした複数の光線方向上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として再構成する。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。
仮想内視鏡画像生成部623は、例えば、内視鏡40の先端部443の座標に相当する視点位置を起点に、視点方向、すなわち3次元用医用画像の座標系における回転角(Θx、Θy、Θz)を、例えば1°とする所定単位量ずつ変更させて、候補となる複数の仮想内視鏡画像を順次に生成する。すなわち、仮想内視鏡画像生成部623は、例えば、3次元医用画像にて特定される消化器官の内部となる視点位置から、視点方向として設定される複数の回転角により、当該消化器官の内壁による3次元形状を射影(投影)して、複数の仮想内視鏡画像を生成するものであってもよい。仮想内視鏡画像生成部623は、生成した複数の仮想内視鏡画像と、当該仮想内視鏡画像を生成する際に用いた視点方向(回転角)とを関連付けて、一致度判定部624に出力する。
取得部621は、取得した内視鏡画像を一致度判定部624に出力する。一致度判定部624は、取得した内視鏡画像と、仮想内視鏡画像生成部623から取得した複数の仮想内視鏡画像及び当該仮想内視鏡画像を生成する際に用いた視点方向(回転角)とに基づき、取得した内視鏡画像と、最も一致する仮想内視鏡画像及び、当該最も一致する仮想内視鏡画像を生成する際に用いた視点方向(回転角)を特定する。一致度判定部624は、取得した内視鏡画像と、複数の仮想内視鏡画像夫々とを比較することにより、内視鏡画像と仮想内視鏡画像との一致度を導出する。
一致度判定部624は、入力された内視鏡画像及び仮想内視鏡画像に基づき、両画像の一致度を示す値等の情報を出力とする一致度学習モデル92を含む。一致度判定部624は、取得した内視鏡画像及び仮想内視鏡画像を一致度学習モデル92に入力し、一致度学習モデル92が出力した一致度を示す値(確率値)においても、最も高い値となる仮想内視鏡画像を、当該内視鏡画像に対応する仮想内視鏡画像として出力するものであってもよい。
又は、一致度判定部624は、一致度学習モデル92を含む場合に限定されず、例えば、内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定するものであってもよい。仮想内視鏡画像と内視鏡画像の一致度を定量的に見るには、輝度情報から求める陰影画像情報の相関度を見て一致度の高さを判断しても良い。又は、一致度判定部624は、構成した複数の仮想内視鏡画像と内視鏡画像との類似度を比較するものであってもよい。両画像の類似度比較は、公知の画像処理により行われ、画素データレベルのマッチング、または、画像から抽出した特徴のレベルにおけるマッチングのいずれを用いても良い。一致度判定部624によって、内視鏡画像と最も一致度が高いと特定した仮想内視鏡画及び、当該仮想内視鏡画を生成するために用いた視点方向(回転角)は、内視鏡画像DBに登録されるものであってもよい。一致度判定部624は、内視鏡画像と最も一致度が高いと特定した仮想内視鏡画及び、当該仮想内視鏡画を生成するために用いた視点位置及び方向(回転角)を、距離画像情報導出部625に出力する。
本実施形態おいて、一致度判定部624は、取得した内視鏡画像と、最も一致する仮想内視鏡画像を特定するとしたが、これに限定されない。一致度判定部624は、一致度が所定値以上となる仮想内視鏡画像を、取得した内視鏡画像と実質的に同一視できる仮想内視鏡画像として特定するものであってもよい。一致度が所定値以上となる仮想内視鏡画像を特定することにより、候補として生成された全ての仮想内視鏡画像との全件比較を行うことを不要とし、情報処理装置6の計算負荷及び処理時間の低減を図ることができる。または、一致度判定部624は、取得した内視鏡画像との差異(差分インデックス)が最も小さい仮想内視鏡画像を、取得した内視鏡画像と実質的に同一視できる仮想内視鏡画像として特定するものであってもよい。内視鏡画像と仮想内視鏡画像との差異(差分インデックス)は、当該内視鏡画像と仮想内視鏡画像との一致度の逆数に相当するものであるため、このような差異(差分インデックス)を導出する画像比較エンジン等を用いることにより、取得した内視鏡画像と実質的に同一視できる仮想内視鏡画像を効率的に取得することができる。
一致度判定部624は、一致度が所定値以上とならない場合、視点位置導出部622から取得した視点位置を微修正した視点位置により、再度、複数の仮想内視鏡画像を再生成し、再生成した複数の仮想内視鏡画像と、内視鏡画像との一致度を導出し、最も一致度が高い仮想内視鏡画像を特定してもよい。
距離画像情報導出部625は、一致度判定部624から取得した仮想内視鏡画像に基づき、距離画像情報を導出する。距離画像情報は、仮想内視鏡画像において、仮想内視鏡画像における各画素同士の距離に関する情報である。各画素同士の距離とは、3次元医用画像の座標系(体内座標系)における距離を意味するものであり、例えば、仮想内視鏡画像に含まれる2つの体内部位における奥行きを加味した距離である。仮想内視鏡画像は、3次元医用画像を射影変換して2次元化した画像であり、仮想内視鏡画像における任意の地点は、3次元医用画像における地点に対応するものであり、これら地点は、体内部位における同一の位置を示す。当該仮想内視鏡画像における任意の地点は、画像における最小単位となる画素番号(ピクセル座標)であってもよく、又は、例えば所定の体内部位を特定する局所領域(複数の画素により構成される領域)の中央部とするものであってもよい。このように任意の地点を2つ定めることより、3次元医用画像の座標系における当該2つの地点間の距離を導出することができる。すなわち、距離画像情報における距離とは、仮想内視鏡画像の2点に対応する3次元医用画像の座標系の2点の距離に相当する。
3次元医用画像における2点は、仮想内視鏡画像における2点から特定される。特定された3次元医用画像における2点夫々の座標値に基づき、当該2点の距離及びベクトルを導出することができる。導出した3次元医用画像における2点の距離及びベクトルを、当該2点に対応する仮想内視鏡画像の2点の距離及びベクトルとして、仮想内視鏡画像に付与することにより、距離画像、すなわち仮想内視鏡画像において3次元医用画像の座標系における距離情報が付加された仮想内視鏡画像(距離画像)を生成することができる。距離画像情報導出部625は、各画素同士の距離に関する情報が付加された仮想内視鏡画像(距離画像)を、距離画像情報として出力するものであってもよい。また、距離画像情報導出部625は、仮想内視鏡画像を生成するにあたり用いた内視鏡40の視点位置及び方向を付加して、出力するものであってもよい。
内視鏡画像は、当該内視鏡画像を撮像した内視鏡40の位置(視点位置)及び撮影方向(視点方向)に基づき、3次元医用画像から再構成(生成)される仮想内視鏡画像に対応している。従って、内視鏡画像に対応する仮想内視鏡画像による距離画像情報は、当該内視鏡画像に対しても適用することができる。すなわち、内視鏡画像における2点間の距離は、当該内視鏡画像に対応する仮想内視鏡画像の2点間の距離(距離画像における距離であり、3次元医用画像の座標系の距離)に相当する。従って、距離画像(仮想内視鏡画像)に含まれる距離画像情報を内視鏡画像に適用することにより、当該内視鏡画像に含まれる体内部位間の距離、体内部位の大きさ等の距離情報(内視鏡画像における距離画像情報)を確定することができる。
操作支援情報出力部626は、距離画像情報導出部625から出力された距離画像情報、及び内視鏡40の視点位置及び方向(回転角)を取得する。操作支援情報出力部626は、取得部621からから出力された3次元医用画像を取得し、当該3次元医用画像に含まれる体腔情報を抽出する。上述のとおり、3次元医用画像に含まれる体腔情報とは、距離画像情報を導出した仮想内視鏡画像の撮像領域を含む3次元領域において、例えば、内視鏡40が挿入されている体内器官等の形状(器官の内壁形状)を示す曲面データである。
操作支援情報出力部626は、入力された距離画像情報、内視鏡40の視点位置と方向及び、曲面データ等によって示される3次元医用画像に含まれる体腔情報に基づき、内視鏡40の入方向等を含む操作支援情報を出力する操作情報学習モデル91を含む。操作支援情報出力部626は、取得した距離画像情報、内視鏡40の視点位置と方向及び、曲面データ等によって示される3次元医用画像に含まれる体腔情報を操作情報学習モデル91に入力し、操作情報学習モデル91から出力された内視鏡40の入方向等を含む操作支援情報を取得する。
上述のとおり、操作情報学習モデル91から出力される操作支援情報は、例えば、現時点、すなわち内視鏡画像の撮像時点における内視鏡40の視点位置及び方向から、挿入先を示す目標地点までの内視鏡40の挿入方向、挿入量又は挿入速度に関する情報を含む。当該操作支援情報は、内視鏡40の視点位置から目標地点までにおいて、内視鏡40の先端部443が順次に通過する3次元医用画像の座標系(体内座標系)における複数の座標値及び回転角をベクトル形式又は行列形式で示すものであってもよい。内視鏡40が順次に通過する複数の座標値及び回転角を用いることにより、これら複数の座標値を経路点として接続することにより、内視鏡40を挿入する経路を確定することができる。操作支援情報出力部626は、経路点となる座標値夫々を導出するにあたり、挿入部(可撓管)44の硬度に応じた補正を行い、当該座標値を導出するものであってもよい。
操作支援情報出力部626は、取得部621から出力された内視鏡画像を取得し、例えば、当該内視鏡画像に操作支援情報を重畳した画像データを生成し、表示部7に出力する。表示部7は、操作支援情報出力部626から取得した画像データに基づき、内視鏡画像に操作支援情報が重畳された内視鏡画像を表示する。
取得部621によって取得された被検者ID、検査日時、内視鏡画像、S座標、3次元用医用画像及び、一致度判定部624が導出した仮想内視鏡画像、内視鏡40の視点位置及び向きに関する情報は、関連付けられて内視鏡画像DBに保存される。すなわち、情報処理装置の制御部は、DB登録部として機能し、取得部621及び一致度判定部624が取得又は導出した各種画像、情報又はデータを内視鏡画像DBに登録して保存するものであってもよい。
図9は、内視鏡画像と3次元医用画像との関連に関する説明図である。本図においては、3次元医用画像、仮想内視鏡画像及び内視鏡画像における関連性をオブジェクト指向的に表したものである。
上述のとおり、内視鏡画像DB631に登録されている3次元医用画像、仮想内視鏡画像及び内視鏡画像は、当該内視鏡画像の撮影時点における視点位置、視点方向に基づき関連付けがされている。視点位置は、3次元医用画像の座標系(体内座標系)における座標(x,y,z)に相当する。視点方向は、3次元医用画像の座標系(体内座標系)におけるx軸、y軸及びz軸における回転角(Θx,Θy,Θz)に相当する。
内視鏡画像の画素夫々は、仮想内視鏡画(当該内視鏡画像に最も一致する仮想内視鏡画)の画素夫々に対応している。仮想内視鏡画は、3次元医用画像を基に視点位置を起点とし、視点方向(回転角)により定義される視点ベクトルを用いたベクトル変換にて、射影(投影)して生成された画像であり、仮想内視鏡画の画素により、3次元医用画像の座標系(体内座標系)における座標が確定される。
上述のとおり、仮想内視鏡画の画素夫々は、内視鏡画像の画素夫々に対応しているため、仮想内視鏡画の画素に基づき、内視鏡画像の画素、すなわち内視鏡画像に含まれる体内部位の3次元医用画像の座標系(体内座標系)における座標を確定することができる。すなわち、仮想内視鏡画を中間媒体として、内視鏡画像の画素(体内部位)と、3次元医用画像の座標系(体内座標系)における座標とを連関させることができる。
3次元医用画像に、内視鏡画像の画素のカラー情報、narrow band画素情報を付加させて、当該3次元医用画像を内視鏡画像DB631に登録するものであってもよい。この差異、カラー情報等の内視鏡画像の画素情報を3次元医用画像に付加させる場合、撮影用光源446による輝度補正を行うことが望ましい。上述のとおり、内視鏡画像の画素と視点位置(撮影用光源446の地点)との距離は、3次元医用画像の座標系上にて導出される。従って、導出した当該距離を二乗した逆数に基づき、内視鏡画像の画素情報に含まれる明度を補正するものであってもよい。3次元医用画像の座標系において同一の座標に位置する画素を含む内視鏡画像が複数ある場合、最も距離の近い内視鏡画像を優先し、当該距離に応じた重みをかけて荷重平均、又は単純平均するようにて3次元医用画像に付加させるものであってもよい。
3次元医用画像の撮像において、X線CT装置又はコーンビームCT装置を用いた場合、例えばDual Energy 撮影を行い、実効質量数(effective-Z)により3次元医用画像の各画素の組成(体組成)が分かる画像とするものであってもよい。又、MRI装置を用いた場合、脂肪又は乳酸等の3次元医用画像の各画素の組成(体組成)に関する情報を付与した画像とするものであってもよい。このように3次元医用画像の各画素の組成に、実効質量数(effective-Z)、脂肪又は乳酸等の体組成に関する情報を付加することにより、これら付加された情報と、当該3次元医用画像の各画素により特定される座標に関連付けられた内視鏡画像とを連関させた情報を、医師等に提供することができる。
図10は、情報処理装置6の制御部62による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡用プロセッサ20から出力された検査日時、被検者ID、内視鏡画像及び、挿入距離に関する情報を取得する(S101)。制御部62が内視鏡用プロセッサ20から取得する内視鏡画像は、静止画又は動画であってもよい。制御部62は、内視鏡画像の取得に併せて、光センサ等から出力される内視鏡40の挿入距離に関する情報、検査日時(内視鏡画像の撮像日時)及び被検者ID等の被検者の属性情報を取得する。
情報処理装置6の制御部62は、CT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる検査装置から出力される3次元用医用画像を取得する(S102)。3次元用医用画像の取得は、情報処理装置6がCT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる検査装置と通信可能に接続することにより、取得するものであってもよい。または、CT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる検査装置から出力される3次元用医用画像が、例えば外部サーバ(図示せず)に既に保存されている場合、情報処理装置6は、当該外部サーバにアクセスし、内視鏡用プロセッサ20から出力された被検者IDに基づき、当該被検者の3次元用医用画像を取得するものであってもよい。または、内視鏡用プロセッサ20が、CT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる検査装置と通信可能に接続されており、情報処理装置6の制御部62は、内視鏡用プロセッサ20を介してCT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる3次元用医用画像を取得するものであってもよい。
情報処理装置6の制御部62は、挿入距離(S座標)に基づき、視点位置を導出する(S103)。制御部62は、内視鏡用プロセッサ20を介して、例えば内視鏡40の挿入部44(可撓管)の内部に配置された光センサ等から挿入距離(S座標)に関する情報を取得し、取得した挿入距離(S座標)及び3次元用医用画像に基づき、内視鏡40が挿入された消化器官等の内壁の内側に位置する内視鏡40の先端部443の座標を導出する。当該座標は、所定の地点を原点として設定された3次元用医用画像の座標系(体内座標系)における座標である。
情報処理装置6の制御部62は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する(S104)。制御部62は、内視鏡40の先端部443の座標に相当する視点位置を起点に、視点方向、すなわち3次元用医用画像の座標系における回転角(Θx,Θy,Θz)を、所定単位量ずつ変更させて、候補となる複数の仮想内視鏡画像を順次に生成する。例えば、所定単位量を10°とした場合、制御部62は、各軸の回転角に対し36個の分解能を有し、すなわち36の3乗(46656)枚の候補となる仮想内視鏡画像を生成するものであってもよい。
情報処理装置6の制御部62は、生成した複数の仮想内視鏡画像の内、内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する(S105)。制御部62は、例えば一致度学習モデル92を用いて、内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する。又は、内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定するものであってもよい。制御部62は、最も一致度が高い仮想内視鏡画像と、当該仮想内視鏡画像を生成する際の視点位置及び方向(回転角度)とを特定する。
情報処理装置6の制御部62は、取得した仮想内視鏡画像等により距離画像情報を導出する(S106)。制御部62は、仮想内視鏡画像における各画素同士の距離に関する情報である距離画像情報を導出する。
情報処理装置6の制御部62は、距離画像情報及び3次元用医用画像に含まれる体腔情報に基づき、操作支援情報を出力する(S107)。制御部62は、取得した3次元用医用画像に含まれる体腔情報を、距離画像情報を導出した仮想内視鏡画像の撮像領域を含む3次元領域において、内視鏡40が挿入されている体内器官等の形状(器官の内壁形状)を示す曲面データと抽出する。制御部62は、抽出した曲面データ、距離画像情報及び、内視鏡40の位置及び向きを示す情報を、操作情報学習モデル91に入力し、操作情報学習モデル91が出力した操作支援情報を出力する。
制御部62は、操作支援情報を出力するにあたり、当該操作支援情報を内視鏡画像、仮想内視鏡画像又は3次元用医用画像に重畳させた画像データを生成し、例えば表示部に当該画像データを出力するものであってもよい。表示部は、情報処理装置6の制御部62から出力された画像データに基づき、操作支援情報が重畳された内視鏡画像、仮想内視鏡画像又は3次元用医用画像を表示する。
内視鏡画像、仮想内視鏡画像又は3次元用医用画像に重畳される操作支援情報は、内視鏡40の挿入方向、挿入量、挿入速度及び、挿入先を示す目標点座標等に関する情報が含まれているため、医師等、内視鏡40の操作者に対し有用な情報を提供することができ、医師等に対する診断支援に寄与することができる。
図11は、統合画像表示画面71の一態様を示す説明図である。上述のとおり、情報処理装置6の制御部62は、内視鏡40の挿入方向等の操作支援情報が重畳された内視鏡画像、仮想内視鏡画像又は3次元用医用画像を含む画像データを生成し、表示部7に出力する。統合画像表示画面71は、当該画像データにより構成される表示画面の一例であり、表示部7は、当該画像データに基づき当該統合画像表示画面71を表示する。
統合画像表示画面71は、例えば、被検者ID等の書誌事項を表示する領域、内視鏡画像を表示する領域、3次元用医用画像を表示する領域、2次元用医用画像を表示する領域、仮想内視鏡画像を表示する領域と、現在表示している内視鏡画像に関する情報及び内視鏡画像を撮像した視点位置等を表示する領域とを含む。
被検者ID等の書誌事項を表示する領域には、内視鏡画像に対応する3次元用医用画像を特定するために用いられる被検者ID、内視鏡40検査日時、3次元用医用画像の生成日等、データ管理上の書誌事項が表示される。
内視鏡画像を表示する領域には、現時点にて内視鏡40が撮像している内視鏡画像が、リアルタイムに表示される。内視鏡画像には、内視鏡40の挿入方向等の操作支援情報が重畳されて表示されている。後述する表示オプションの設定に応じて、内視鏡画像は半透明表示され、当該内視鏡画像に対応する仮想内視鏡画像から抽出された体内部位であって、内視鏡画像にて表示されている体内壁面の奥側に位置する体内部位が、点線等により表示されるものであってもよい。このように半透明表示にて点線等により表示する体内部位は、例えば3次元用医用画像に特定される体内部位の形状情報に基づき抽出された病変候補の部位であってもよい。
3次元用医用画像を表示する領域には、3次元用医用画像にて表される消化器官等の体内部位が3次元オブジェクトとして表示されており、内視鏡40の視点位置及び、当該視点位置を起点とした挿入方向等の操作支援情報が重畳されて表示されている。当該3次元オブジェクトのいずれかの部位をドラッグすることにより、3次元オブジェクトを回転させることができる。3次元用医用画像は、当該3次元用医用画像によって特定される体内部位の形状情報に基づき抽出された病変候補の部位の位置が、例えばハイライトした状態で表示されるものであってもよい。
2次元用医用画像を表示する領域には、3次元用医用画像において内視鏡40の挿入方向等の操作支援情報が重畳されている領域を射影した2次元用医用画像が表示される。2次元用医用画像を生成するにあたり用いられる射影ベクトルは、3次元用医用画像を表示する領域に表示されている3次元オブジェクトの回転状態に連動して決定されるものであってもよい。
仮想内視鏡画像を表示する領域には、内視鏡画像を表示する領域に表示されている内視鏡画像に対し、最も一致度が高い仮想内視鏡画像が、表示される。仮想内視鏡画像においても、内視鏡画像と同様に、内視鏡40の挿入方向等の操作支援情報が重畳されて表示されるものであってもよい。
内視鏡画像を撮像した視点位置等を表示する領域には、内視鏡画像を表示する領域に表示されている内視鏡画像の撮像時点における、内視鏡40の体内における位置(視点位置)及び視点方向(回転角)が、表示される。上述のとおり、情報処理装置6の制御部62(取得部621)は、内視鏡40用プロセッサから内視鏡画像及び内視鏡40の挿入距離を示すS座標を継続的に取得しており、取得したS座標に基づき、当該内視鏡40の先端部の位置(視点位置)を継続的に導出している。また、情報処理装置6の制御部62(取得部621)は、内視鏡画像との一致度に基づき、当該内視鏡画像に対応(相当)する仮想内視鏡画像を特定するにあたり、当該内視鏡40の先端部の向き(回転角)を継続的に導出している。従って、内視鏡画像を撮像した視点位置等を表示する領域には、医師等による内視鏡40の操作に追従して、当該内視鏡40の視点位置及び視点方向がリアルタイムに表示される。
現在表示している内視鏡画像の情報を表示する領域には、例えば、現在表示している内視鏡画像の画像中心における体内部位又は画素に関する情報が、表示される。当該体内部位(画素)に関する情報は、上述のとおり3次元用医用画像には、X線に基づいた物質弁別情報である実効質量数(effective-Z)又は脂肪又は乳酸等の3次元医用画像の各画素の組成(体組成)に関する情報が含まれている。従って、内視鏡画像の画像中心を示す体内座標系の座標に基づき、3次元用医用画像から抽出した実効質量数(effective-Z)、体組成に関する情報を、当該領域に表示することができる。また、現在表示している内視鏡画像に含まれる体内部位における病変の有無についても、当該内視鏡画像を入力とし、病変の有無に関する情報を出力する学習モデルを用いることにより、当該領域に表示することができる。このように入力された内視鏡画像に基づき、病変の有無に関する情報を出力する学習モデルは、例えばCNN又は、RCNN(Regions with Convolutional Neural Network)、Fast RCNN、Faster-RCNNまたはSSD(Single Shot Multibox Detector)、YOLO(You Only Look Once)等、セグメンテーションネットワークの機能を有する任意の物体検出アルゴリズムを使用しても良い。
上述のとおり、内視鏡40の視点位置は、医師等による内視鏡40の操作に追従して継続的に導出されているので、当該視点位置と、例えば現在表示している内視鏡画像の画像中心との距離に関する情報を算出し、算出した距離(視点位置から画像中心の画素までの距離)を当該領域に表示するものであってもよい。
統合画像表示画面71は、表示の態様に関する入力を受付ける入力領域を含み、当該入力領域には、例えば、表示オプションを設定する表示オプションフィールド711と、複数の表示モードの選択を受け付ける表示モード選択フィールド712とが、配置されている。
表示オプションフィールド711には、内視鏡画像、仮想内視鏡画像又は両画像を半透明表示するか否かを設定するトルグスイッチが、設けられている。当該トルグスイッチをチェックすることにより、仮想内視鏡画像又は3次元医用画像に含まれる体内部位の形状データ等に基づき、内視鏡画像にて表示されている体内壁面を半透明化した処理を行い、当該体内壁面の奥側に位置する体内部位が、点線等により表示される。上述のとおり、当該体内壁面の奥側に位置する体内部位は、例えば3次元用医用画像に特定される体内部位の形状情報に基づき抽出された病変候補の部位であってもよい。
表示モード選択フィールド712には、内視鏡画像と共に表示する仮想内視鏡画像、2次元用医用画像及び3次元用医用画像を選択するためのトルグスイッチ夫々が、設けられている。これら画像に対応したトルグスイッチをチェックすることにより、チェックされたいずれかの画像が、表示される。表示モード選択フィールド712におけるトルグスイッチ夫々のチェックに応じて、仮想内視鏡画像、2次元用医用画像及び3次元用医用画像のいずれか一つ又は二つの画像を表示する場合と、これら3つの画像の全てを表示する場合とを選択することができる。表示される画像の個数に応じて、当該画像の表示サイズをリサイズするものであってもよい。
本実施形態によれば、内視鏡画像に基づいて、例えば、被検者をX線CT、X線コーンビームCT、MRI-CT、又は超音波診断装置のように体内を3次元画像で撮影できる検査装置で体内まで撮像した3次元医用画像を取得し、取得した当該3次元医用画像から仮想内視鏡画像を再構成し、仮想内視鏡画像及び内視鏡画像に基づいて、内視鏡画像における距離画像情報を導出する。従って、内視鏡画像に加え、3次元空間の座標情報を有する3次元医用画像から構成した仮想内視鏡画像を用いることにより、精度よく内視鏡画像における距離画像情報を導出することができる。当該導出した距離画像情報と、3次元医用画像又は仮想内視鏡画像とに基づくことにより、内視鏡の操作に関する操作支援情報を効率的に出力することができる。なお、X線CT、X線コーンビームCT、MRI-CT、又は超音波診断装置は、体内を3次元画像で撮影できる検査装置の一例でありこれに限定されない。3次元医用画像は、これら検査装置のうち、いずれかの検査装置から取得する場合に限定されず、複数の検査装置から取得するものであってもよい。
本実施形態によれば、操作支援情報には、内視鏡40の挿入方向又は挿入速度に関する情報が含まれるため、当該操作支援情報を出力することにより、医師等の内視鏡40の操作者に対し、内視鏡40の操作の操作に関する診断支援を効率的に行うことができる。
本実施形態によれば、操作支援情報は、例えば、統合画像表示画面71にて、現時点にて撮像されている内視鏡画像及び、当該内視鏡画像に対応する3次元医用画像、2次元医用画像又は仮想内視鏡画像に重畳して表示される。従って、医師等の内視鏡40の操作者に当該操作支援情報の視認性を向上させ、医師等に対する診断支援を効率的に行うことができる。
(実施形態2)
実施形態2の情報処理装置6は、内視鏡用プロセッサ20から取得した屈曲履歴により、視点位置を補正する点で実施形態1と異なる。図12は、実施形態2(屈曲履歴)に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。
実施形態2の情報処理装置6は、内視鏡用プロセッサ20から取得した屈曲履歴により、視点位置を補正する点で実施形態1と異なる。図12は、実施形態2(屈曲履歴)に係る情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。
内視鏡用プロセッサ20の制御部21は、体内に挿入された内視鏡40の屈曲履歴情報を取得し、取得した屈曲履歴情報に応じて、内視鏡40の挿入状況を判別する。内視鏡用プロセッサ20の制御部21は、例えば、内視鏡用プロセッサ20に接続される内視鏡挿入形状検出装置(図示せず)を利用することにより、屈曲履歴情報を検出しても良い。当該内視鏡挿入形状検出装置は、例えば、日本国特開2019-37643号公報に開示されているように、内視鏡40の挿入部44の内部に、該挿入部44の長手方向に沿って所定の間隔で複数の磁気コイルが配置される装置であってもよい。屈曲履歴情報とは、屈曲角度、屈曲方向等、屈曲に関する物理的パラメータまたは情報を示す。
情報処理装置6の取得部621は、実施形態1と同様に内視鏡画像等を内視鏡用プロセッサ20から取得し、更に屈曲履歴情報を取得する。取得部621は、取得した屈曲履歴情報を視点位置導出部622に出力する。
視点位置導出部622は、取得した屈曲履歴情報により挿入距離(S座標)を補正し、補正した挿入距離(S座標)に基づき実施形態1と同様に視点位置を導出する。視点位置導出部622は、屈曲角度及び屈曲方向に従い、演算処理で挿入部44の形状(例えば、右へ30度曲がり等)を検出する。制御部21は、検出した挿入部44の形状に基づき、挿入距離であるS座標を再計算(補正)する。以降、仮想内視鏡画像生成部623等の各機能部は、実施形態1と同様に処理を行い、操作支援情報出力部626は、実施形態1と同様に操作支援情報生成し、出力する。
情報処理装置6の視点位置導出部622は、内視鏡用プロセッサ20から取得した屈曲履歴により視点位置を補正するとしたが、これに限定されない。内視鏡用プロセッサ20の制御部21は、取得した屈曲履歴情報に基づき、挿入距離を補正し、補正した挿入距離を情報処理装置6に出力するものであってもよい。情報処理装置6の取得部621は、内視鏡用プロセッサ20の制御部21によって屈曲履歴情報に基づき補正された視点位置を取得し、以降の処理は実施形態1と同様に行うものであってもよい。
内視鏡画像と3次元医用画像とを関連付けるための位置情報は、屈曲履歴に関する情報、挿入距離に関する情報及び、3次元医用画像にて特定される内視鏡40の挿入経路の長さとに基づき、導出される。挿入距離に関する情報を、屈曲履歴に関する情報によって補正することにより、挿入距離(S座標)の精度を向上させることができる。従って、内視鏡画像が撮像された時点における3次元医用画像の座標系における内視鏡40の視点位置(座標)及び視点方向(回転角)を精度良く特定し、好適な仮想内視鏡画像を効率的に生成でき、内視鏡画像と3次元医用画像との関連付けにおける精度を更に向上させることができる。
図13は、情報処理装置の制御部による処理手順の一例を示すフローチャートである。情報処理装置6は、例えば、自装置に接続されている入力部8からの入力内容に基づき、当該フローチャートの処理を開始する。
情報処理装置6の制御部62は、内視鏡用プロセッサ20から出力された検査日時、被検者ID、内視鏡画像、挿入距離及び屈曲履歴に関する情報を取得する(S201)。情報処理装置6の制御部62は、実施形態1と同様に内視鏡画像等を内視鏡用プロセッサ20から取得し、更に例えば内視鏡挿入形状観測装置によって検出された屈曲履歴に関する情報を内視鏡用プロセッサ20を介して取得する。又は、情報処理装置6の制御部62は、内視鏡挿入形状観測装置から直接、屈曲履歴に関する情報を取得してもよい。
情報処理装置6の制御部62は、CT装置又はMRI装置、超音波診断装置のように体内を3次元画像で撮影できる検査装置から出力される3次元用医用画像を取得する(S202)。情報処理装置6の制御部62は、実施形態1の処理S102と同様に、S202の処理を行う。
情報処理装置6の制御部62は、内視鏡用プロセッサ20から出力された屈曲履歴に基づき挿入距離(S座標)を補正し、視点位置を導出する(S203)。制御部62は、屈曲履歴に含まれる屈曲角度及び屈曲方向に従い、演算処理で挿入部44形状(例えば、右へ30度曲がり等)を導出し、導出した挿入部44形状に基づき、挿入距離であるS座標を再計算(補正)する。制御部62は、補正した挿入距離(S座標)に基づき、実施形態1と同様に視点位置を導出する。
情報処理装置6の制御部62は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する(S204)。情報処理装置6の制御部62は、生成した複数の仮想内視鏡画像の内、内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する(S205)。情報処理装置6の制御部62は、取得した仮想内視鏡画像等により距離画像情報を導出する(S206)。情報処理装置6の制御部62は、距離画像情報及び3次元用医用画像に含まれる体腔情報に基づき、操作支援情報を出力する(S207)。情報処理装置6の制御部62は、実施形態1の処理S104、S105、S106及びS107と同様に、204、S205、S206及びS207の処理を行う。
本実施形態によれば、3次元医用画像の座標系における内視鏡40の座標情報及び向きに関する情報(視点位置)は、内視鏡40の形状に関する情報、屈曲履歴に関する情報、挿入距離に関する情報及び3次元医用画像に基づき、導出される。従って、内視鏡40の形状に応じた内視鏡画像が撮像された時点における3次元医用画像の座標系における内視鏡40の位置及び回転角(x軸、y軸及びz軸の回転角)を特定することができ、当該内視鏡40の位置及び回転角に基づき、内視鏡画像における距離画像情報を精度よく効率的に導出することができる。
(実施形態3)
図14は、実施形態3(自動操作機構434)に係る診断支援システムSの概要を示す模式図である。図15は、情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。実施形態3の診断支援システムSは、当該診断支援システムSに含まれる内視鏡40が更に自動操作機構434を備える点で、実施形態1と異なる。
図14は、実施形態3(自動操作機構434)に係る診断支援システムSの概要を示す模式図である。図15は、情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。実施形態3の診断支援システムSは、当該診断支援システムSに含まれる内視鏡40が更に自動操作機構434を備える点で、実施形態1と異なる。
診断支援システムSに含まれる内視鏡40は、情報処理装置6の制御部62(操作支援情報出力部626)から出力された操作支援情報に基づき、制御ボタン431及び湾曲ノブ433を自動操作する自動操作機構434を備える。
自動操作機構434は、情報処理装置6と通信可能に接続され、情報処理装置6から出力(送信)された操作支援情報を取得(受信)する。自動操作機構434は、例えば、取得した操作支援情報から制御ボタン431又は湾曲ノブ433のオン・オフ信号、又はパルス信号を生成するマイコン(図示せず)及び、マイコンから出力されたこれら信号に基づき制御ボタン431又は湾曲ノブ433を、操作又は駆動するモータ及びカム機構(図示せず)を含む。このように情報処理装置6から出力された操作支援情報に基づき、自動操作機構434と、制御ボタン431及び湾曲ノブ433等とが協働し、当該操作支援情報に応じて、被検者の体内に内視鏡40の自動挿入等、自動操作を行う。
自動操作機構434が情報処理装置6の制御部62(操作支援情報出力部626)から取得する操作支援情報は、挿入部44の挿入及び屈曲等の操作支援情報に限定されない。例えば、内視鏡40の挿入部44には、空気注入部(図示せず)又はハンド部(図示せず)が設けられており、操作支援情報には、空気注入部による空気の注入又はハンド部による病変部位の摘出(サンプリング)等の操作に関する情報が含まれるものであってよい。すなわち、操作支援情報出力部626は、取得した3次元用医用画像に特定される体内部位の形状情報及び距離画像情報に基づき、空気注入部又はハンド部の操作に関する情報を生成し、操作支援情報に含めて、自動操作機構434に出力する。自動操作機構434は、取得した当該操作支援情報に基づき、空気注入部又はハンド部を自動操作するものであってもよい。なお、操作支援情報に含まれる空気注入部又はハンド部の操作に関する情報は、統合画像表示画面71にて、内視鏡画像等に重畳して表示されるものであってもよい。
本実施形態によれば、内視鏡画像における距離画像情報と、3次元医用画像又は仮想内視鏡画像とに基づくことにより、内視鏡40の操作に関する操作支援情報を効率的に出力することができ、自動操作機構434は、内視鏡用プロセッサ20から出力された操作支援情報に応じて内視鏡40の自動操作を行う。従って、医師等、内視鏡40を操作する操作者に対し、当該操作を効率的に支援する診断支援システムSを提供することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
S 診断支援システム
10 内視鏡装置
15 キーボード
16 収容棚
20 内視鏡用プロセッサ
21 制御部
211 画像処理部
22 主記憶装置
23 補助記憶装置
24 通信部
25 タッチパネル
26 表示装置I/F
27 入力装置I/F
28 読取部
31 内視鏡用コネクタ
311電気コネクタ
312光コネクタ
33 光源
34 ポンプ
35 送水タンク
36 送気送水口金
40 内視鏡
43 操作部
431制御ボタン
433湾曲ノブ
434 自動操作機構
44 挿入部(可撓管)
441軟性部
442湾曲部
443先端部
444 撮像部
446 撮影用光源
45 折止部
48 スコープコネクタ
49 ユニバーサルコード
50 表示装置
6 情報処理装置
61 通信部
62 制御部
621 取得部
622 視点位置導出部
623 仮想内視鏡画像生成部
624 一致度判定部
625 距離画像情報導出部
626 操作支援情報出力部
63 記憶部
631 内視鏡画像DB
632 記録媒体
P プログラム
64 入出力I/F
7 表示部
71 統合画像表示画面
711 表示オプションフィールド
712 表示モード選択フィールド
8 入力部
91 操作情報学習モデル
92 一致度学習モデル
10 内視鏡装置
15 キーボード
16 収容棚
20 内視鏡用プロセッサ
21 制御部
211 画像処理部
22 主記憶装置
23 補助記憶装置
24 通信部
25 タッチパネル
26 表示装置I/F
27 入力装置I/F
28 読取部
31 内視鏡用コネクタ
311電気コネクタ
312光コネクタ
33 光源
34 ポンプ
35 送水タンク
36 送気送水口金
40 内視鏡
43 操作部
431制御ボタン
433湾曲ノブ
434 自動操作機構
44 挿入部(可撓管)
441軟性部
442湾曲部
443先端部
444 撮像部
446 撮影用光源
45 折止部
48 スコープコネクタ
49 ユニバーサルコード
50 表示装置
6 情報処理装置
61 通信部
62 制御部
621 取得部
622 視点位置導出部
623 仮想内視鏡画像生成部
624 一致度判定部
625 距離画像情報導出部
626 操作支援情報出力部
63 記憶部
631 内視鏡画像DB
632 記録媒体
P プログラム
64 入出力I/F
7 表示部
71 統合画像表示画面
711 表示オプションフィールド
712 表示モード選択フィールド
8 入力部
91 操作情報学習モデル
92 一致度学習モデル
Claims (11)
- コンピュータに、
内視鏡から被検者の内視鏡画像を取得し、
前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得し、
取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、
前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出し、
前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する
処理を実行させるプログラム。 - 前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の挿入方向又は挿入速度、距離に関する情報を含む前記操作支援情報を出力する
請求項1に記載のプログラム。 - 前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像に含まれる体内部位の大きさ又は、体内部位間の距離に関する情報を含む前記距離画像情報を導出する
請求項1又は請求項2に記載のプログラム。 - 前記被検者の体内に挿入された前記内視鏡の挿入距離に関する情報を取得し、
前記挿入距離に関する情報及び前記3次元医用画像に基づき、前記3次元医用画像の座標系における前記内視鏡の座標情報を導出し、
前記内視鏡の座標情報、前記距離画像情報及び、前記3次元医用画像に基づいて、前記内視鏡の操作に関する前記操作支援情報を出力する
請求項1から請求項3のいずれか1項に記載のプログラム。 - 前記被検者の体内に挿入された前記内視鏡の屈曲履歴に関する情報を取得し、
前記屈曲履歴に関する情報、前記挿入距離に関する情報及び前記3次元医用画像に基づき、前記3次元医用画像の座標系における前記内視鏡の座標情報及び向きに関する情報を導出し、
前記内視鏡の座標情報、前記距離画像情報及び、前記3次元医用画像に基づいて、前記内視鏡の操作に関する前記操作支援情報を出力する
請求項4に記載のプログラム。 - 前記内視鏡の形状に関する情報を取得し、
前記内視鏡の形状に関する情報、前記屈曲履歴に関する情報、前記挿入距離に関する情報及び前記3次元医用画像に基づき、前記3次元医用画像の座標系における前記内視鏡の座標情報及び向きに関する情報を導出し、
前記内視鏡の座標情報及び向きに関する情報、前記仮想内視鏡画像及び、前記内視鏡画像に基づいて、前記内視鏡の操作に関する前記操作支援情報を出力する
請求項5に記載のプログラム。 - 前記仮想内視鏡画像の生成は、
前記3次元医用画像を射影した2次元医用画像を生成し、
生成した前記2次元医用画像において、前記内視鏡画像との差分が所定値以下となる2次元医用画像を前記仮想内視鏡画像とする処理を含む
請求項1から請求項6のいずれか1項に記載のプログラム。 - 前記仮想内視鏡画像の生成は、
前記3次元医用画像を射影した2次元医用画像を生成し、
前記2次元医用画像及び前記内視鏡画像が入力された場合、前記2次元医用画像及び前記内視鏡画像の一致度を出力するように学習済みの学習モデルに、前記2次元医用画像及び前記内視鏡画像を入力し、
前記学習モデルから、前記2次元医用画像及び前記内視鏡画像の一致度を取得し、
前記2次元医用画像及び前記内視鏡画像の一致度が所定値以上となる2次元医用画像を前記仮想内視鏡画像とする処理を含む
請求項1から請求項6のいずれか1項に記載のプログラム。 - 内視鏡から被検者の内視鏡画像を取得し、
前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得し、
取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、
前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出し、
前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する
処理をコンピュータに実行させる情報処理方法。 - 内視鏡から被検者の内視鏡画像を取得する内視鏡画像取得部と、
前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得する3次元医用画像取得部と、
取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成する生成部と、
前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出する導出部と、
前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を出力する出力部と
を備える情報処理装置。 - 内視鏡と、
前記内視鏡の自動操作を行う自動操作機構と、
前記内視鏡から被検者の内視鏡画像を取得する内視鏡プロセッサとを備え、
前記内視鏡プロセッサは、
前記被検者をX線CT、X線コーンビームCT、MRI-CT、超音波診断装置のように体内を3次元画像で撮影できる手段で体内まで撮像した3次元医用画像を取得する3次元医用画像取得部と、
取得した前記内視鏡画像に基づいて、前記3次元医用画像より再構成した仮想内視鏡画像を生成する生成部と、
前記仮想内視鏡画像及び前記内視鏡画像に基づいて、前記内視鏡画像における距離画像情報を導出する導出部と、
前記距離画像情報及び前記3次元医用画像に基づいて、前記内視鏡の操作に関する操作支援情報を前記自動操作機構に出力する出力部とを含み、
前記自動操作機構は、前記出力部から出力された前記操作支援情報に応じて前記内視鏡の自動操作を行う
診断支援システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021001951.1T DE112021001951T5 (de) | 2020-03-26 | 2021-01-28 | Programm, Informationsverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Diagnoseunterstützungssystem |
CN202180005706.5A CN114554934A (zh) | 2020-03-26 | 2021-01-28 | 程序、信息处理方法、信息处理装置以及诊断支持系统 |
US17/766,056 US20220351407A1 (en) | 2020-03-26 | 2021-01-28 | Program, information processing method, and information processing device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020056712A JP7254742B2 (ja) | 2020-03-26 | 2020-03-26 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
JP2020-056712 | 2020-03-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021192593A1 true WO2021192593A1 (ja) | 2021-09-30 |
Family
ID=77891261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/002954 WO2021192593A1 (ja) | 2020-03-26 | 2021-01-28 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220351407A1 (ja) |
JP (1) | JP7254742B2 (ja) |
CN (1) | CN114554934A (ja) |
DE (1) | DE112021001951T5 (ja) |
WO (1) | WO2021192593A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023149232A1 (ja) * | 2022-02-03 | 2023-08-10 | キヤノン株式会社 | 連続体ロボット制御システム及び連続体ロボット制御方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023060702A (ja) * | 2021-10-18 | 2023-04-28 | Hoya株式会社 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
JPWO2023223476A1 (ja) * | 2022-05-18 | 2023-11-23 | ||
WO2024095866A1 (ja) * | 2022-10-31 | 2024-05-10 | 富士フイルム株式会社 | 処理装置、内視鏡装置、及び処理方法 |
CN117796745B (zh) * | 2024-02-29 | 2024-05-03 | 四川大学 | 一种估计消化内镜镜头进退距离的方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012101888A1 (ja) * | 2011-01-24 | 2012-08-02 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
US20200078103A1 (en) * | 2016-06-30 | 2020-03-12 | Intuitive Surgical Operations, Inc. | Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002238887A (ja) | 2001-02-19 | 2002-08-27 | National Cancer Center-Japan | 仮想内視鏡 |
JP2019037643A (ja) | 2017-08-28 | 2019-03-14 | Hoya株式会社 | 内視鏡挿入形状検出装置及び内視鏡システム |
JP7175153B2 (ja) | 2018-10-03 | 2022-11-18 | 株式会社日立ハイテク | 分析装置のシミュレーション方法及び装置 |
-
2020
- 2020-03-26 JP JP2020056712A patent/JP7254742B2/ja active Active
-
2021
- 2021-01-28 DE DE112021001951.1T patent/DE112021001951T5/de active Pending
- 2021-01-28 WO PCT/JP2021/002954 patent/WO2021192593A1/ja active Application Filing
- 2021-01-28 CN CN202180005706.5A patent/CN114554934A/zh active Pending
- 2021-01-28 US US17/766,056 patent/US20220351407A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012101888A1 (ja) * | 2011-01-24 | 2012-08-02 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
US20200078103A1 (en) * | 2016-06-30 | 2020-03-12 | Intuitive Surgical Operations, Inc. | Graphical user interface for displaying guidance information in a plurality of modes during an image-guided procedure |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023149232A1 (ja) * | 2022-02-03 | 2023-08-10 | キヤノン株式会社 | 連続体ロボット制御システム及び連続体ロボット制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7254742B2 (ja) | 2023-04-10 |
CN114554934A (zh) | 2022-05-27 |
US20220351407A1 (en) | 2022-11-03 |
JP2021153808A (ja) | 2021-10-07 |
DE112021001951T5 (de) | 2023-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021192593A1 (ja) | プログラム、情報処理方法、情報処理装置及び診断支援システム | |
JP7313512B2 (ja) | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 | |
WO2021250951A1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
CN101143099B (zh) | 医用图像诊断装置 | |
US8696547B2 (en) | System and method for determining airway diameter using endoscope | |
JP6206869B2 (ja) | 内視鏡観察支援装置 | |
US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
US20230353879A1 (en) | Program, information processing method, and endoscope system | |
CN110051434A (zh) | Ar与内窥镜结合手术导航方法及终端 | |
JP6704095B1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
US20220084194A1 (en) | Computer program, processor for endoscope, and information processing method | |
WO2022239518A1 (ja) | プログラム、情報処理方法及び内視鏡システム | |
US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
Iakovidis | Software engineering applications in gastroenterology | |
WO2023067885A1 (ja) | プログラム、情報処理方法、情報処理装置及び診断支援システム | |
WO2023275974A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
Regef et al. | Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations | |
CN114841913A (zh) | 实时生物图像识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21774703 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21774703 Country of ref document: EP Kind code of ref document: A1 |