JP7377769B2 - プログラム、情報処理方法及び情報処理装置 - Google Patents
プログラム、情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- JP7377769B2 JP7377769B2 JP2020099466A JP2020099466A JP7377769B2 JP 7377769 B2 JP7377769 B2 JP 7377769B2 JP 2020099466 A JP2020099466 A JP 2020099466A JP 2020099466 A JP2020099466 A JP 2020099466A JP 7377769 B2 JP7377769 B2 JP 7377769B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- information
- interest
- endoscopic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 140
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000003780 insertion Methods 0.000 claims description 63
- 230000037431 insertion Effects 0.000 claims description 63
- 238000000034 method Methods 0.000 claims description 40
- 238000005452 bending Methods 0.000 claims description 35
- 230000008859 change Effects 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 22
- 238000009795 derivation Methods 0.000 claims description 15
- 230000003187 abdominal effect Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 62
- 238000002591 computed tomography Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 29
- 238000003745 diagnosis Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 21
- 239000000203 mixture Substances 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 10
- 210000002429 large intestine Anatomy 0.000 description 10
- 230000003902 lesion Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 238000007689 inspection Methods 0.000 description 8
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 8
- 210000002569 neuron Anatomy 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 235000014655 lactic acid Nutrition 0.000 description 5
- 239000004310 lactic acid Substances 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000000621 bronchi Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 210000001198 duodenum Anatomy 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003445 biliary tract Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000496 pancreas Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000003437 trachea Anatomy 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/13—Tomography
- A61B8/14—Echo-tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2059—Mechanical position encoders
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0223—Magnetic field sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0247—Pressure sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0271—Thermal or temperature sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/029—Humidity sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- High Energy & Nuclear Physics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Endoscopes (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図1は、実施形態1に係る診断支援システムSの概要を示す模式図である。診断支援システムSは、内視鏡装置10及び、内視鏡装置10と通信可能に接続される情報処理装置6を含む。
実施形態2の情報処理装置6は、内視鏡画像DB631に登録された各種データを用い、内視鏡画像DB631に登録された内視鏡画像に含まれる関心領域(ROI)に関する診断支援情報を出力する。図11は、実施形態2(検索)に係る情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。図12は、診断支援学習モデル91(学習モデル)を用いて診断支援情報を出力する処理を説明する説明図である。
実施形態3の情報処理装置6は、変化量導出部628を備え、被検者の体格の変化量に基づき、位置情報を補正する点で実施形態1と異なる。図15は、実施形態3(補正)に係る情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。
実施形態3の情報処理装置6は、特定情報取得部627を備え、関心領域(ROI)を特定するための特定情報を、内視鏡40の操作者による操作に応じて取得し、取得した特定情報に基づき関心領域(ROI)に関する情報を抽出する点で実施形態1と異なる。図17は、実施形態4(操作者の操作を取得)に係る情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。
実施形態3の情報処理装置6の関心領域抽出部626は、自装置の記憶部63に予め登録されている例示画像と、取得した内視鏡画像との比較結果に基づき、関心領域情報を抽出する点で実施形態1と異なる。図19は、実施形態5(例示画像)に係る情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。
10 内視鏡装置
15 キーボード
16 収容棚
20 内視鏡用プロセッサ
21 制御部
211 画像処理部
22 主記憶装置
23 補助記憶装置
24 通信部
25 タッチパネル
26 表示装置I/F
27 入力装置I/F
28 読取部
31 内視鏡用コネクタ
311 電気コネクタ
312 光コネクタ
33 光源
34 ポンプ
35 送水タンク
36 送気送水口金
40 内視鏡
43 操作部
431 制御ボタン
433 湾曲ノブ
44 挿入部(可撓管)
441 軟性部
442 湾曲部
443 先端部
444 撮像部
45 折止部
48 スコープコネクタ
49 ユニバーサルコード
50 表示装置
6 情報処理装置
61 通信部
62 制御部
621 取得部
622 視点位置導出部
623 仮想内視鏡画像生成部
624 一致度判定部
625 DB登録部
626 関心領域抽出部
627 特定情報取得部
628 変化量導出部
651 検索条件取得部
652 出力部
63 記憶部
631 内視鏡画像DB
632 記録媒体
P プログラム
64 入出力I/F
7 表示部
70 内視鏡画像選択画面
71 統合画像表示画面
8 入力部
91 診断支援学習モデル(学習モデル)
92 関心領域学習モデル(第2学習モデル)
Claims (12)
- コンピュータに、
内視鏡により被検者を撮像した内視鏡画像を取得し、
取得した前記内視鏡画像から、関心領域情報を抽出し、
前記被検者をX線CT、X線コーンビームCT、MRI-CT及び超音波診断装置のうち少なくとも1つを用いて体内まで撮像した3次元医用画像を取得し、
前記関心領域情報及び前記3次元医用画像により特定される前記3次元医用画像の座標系における前記関心領域の位置情報を導出し、
前記位置情報の導出は、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、生成した前記仮想内視鏡画像と、前記内視鏡画像との一致度を導出し、前記一致度が所定値以上となる仮想内視鏡画像に基づき、前記位置情報を導出する処理を含み、前記一致度が所定値以上となる仮想内視鏡画像の画素に対応する3次元医用画像の画素に、前記内視鏡画像から抽出した前記関心領域情報を関連付けて保存するものであり、
導出した前記位置情報と、前記内視鏡画像及び前記3次元医用画像のそれぞれの撮像時点とにより、前記関心領域情報と前記3次元医用画像とを関連付けて保存し、
関連付けて保存される前記関心領域情報と前記3次元医用画像が入力された場合、前記関心領域情報に関する診断支援情報を出力するように学習された学習モデルに、前記関心領域情報及び前記3次元医用画像を入力し、
前記学習モデルから出力される診断支援情報を取得し、
取得した前記診断支援情報を、前記関心領域情報と前記3次元医用画像とに関連付けて出力する
処理を実行させるプログラム。 - 前記関心領域情報を検索するための検索条件を取得し、
取得した前記検索条件に基づき、関連付けて保存されている前記関心領域情報と前記3次元医用画像を特定し、
特定した前記関心領域情報及び前記3次元医用画像を出力する
請求項1に記載のプログラム。 - 前記内視鏡画像及び前記3次元医用画像のそれぞれの撮像時点の差異に基づき、前記被検者の体格の変化量を導出し、
導出した前記変化量に基づき、前記位置情報を補正し、
前記補正した位置情報と、前記内視鏡画像及び前記3次元医用画像のそれぞれの撮像時点とにより、前記関心領域情報と前記3次元医用画像とを関連付けて保存する
請求項1又は請求項2に記載のプログラム。 - 前記被検者の体格の前記変化量は、前記被検者の身長、体重、胸囲、腹囲及び腰囲のうちの少なくとも1つを用いて導出する
請求項3に記載のプログラム。 - 前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離に関する情報を取得し、
前記位置情報の導出は、前記挿入距離に関する情報に基づき、前記3次元医用画像の座標系における位置情報を導出する処理を含む
請求項1から請求項4のいずれか1項に記載のプログラム。 - 前記被検者の体内に挿入された前記内視鏡の屈曲履歴に関する情報を取得し、
前記位置情報の導出は、前記屈曲履歴に関する情報及び前記挿入距離に関する情報に基づき、前記3次元医用画像の座標系における位置情報を導出する処理を含む
請求項5に記載のプログラム。 - 前記内視鏡画像が入力された場合、前記関心領域情報を出力するように学習された第2学習モデルに、前記内視鏡画像を入力し、
前記第2学習モデルから出力される前記関心領域情報を取得する
請求項1から請求項6のいずれか1項に記載のプログラム。 - 前記内視鏡の操作者による操作に応じて、前記内視鏡画像における関心領域を特定する特定情報を取得し、
取得した前記特定情報に基づき、前記内視鏡画像から前記関心領域情報を抽出する
請求項1から請求項6のいずれか1項に記載のプログラム。 - 予め記憶された所定の例示画像との比較結果に基づき、前記内視鏡画像から前記関心領域情報を抽出する
請求項1から請求項6のいずれか1項に記載のプログラム。 - 前記内視鏡から取得する前記内視鏡画像は、静止画又は動画である
請求項1から請求項9のいずれか1項に記載のプログラム。 - 内視鏡により被検者を撮像した内視鏡画像を、記憶部を参照することにより取得し、
取得した前記内視鏡画像から、関心領域情報を抽出し、
前記被検者をX線CT、X線コーンビームCT、MRI-CT及び超音波診断装置のうち少なくとも1つを用いて体内まで撮像した3次元医用画像を、記憶部を参照することにより取得し、
前記関心領域情報及び前記3次元医用画像により特定される前記3次元医用画像の座標系における前記関心領域の位置情報を導出し、
前記位置情報の導出は、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、生成した前記仮想内視鏡画像と、前記内視鏡画像との一致度を導出し、前記一致度が所定値以上となる仮想内視鏡画像に基づき、前記位置情報を導出する処理を含み、前記一致度が所定値以上となる仮想内視鏡画像の画素に対応する3次元医用画像の画素に、前記内視鏡画像から抽出した前記関心領域情報を関連付けて保存するものであり、
導出した前記位置情報と、前記内視鏡画像及び前記3次元医用画像のそれぞれの撮像時点とにより、前記関心領域情報と前記3次元医用画像とを関連付けて保存し、
関連付けて保存される前記関心領域情報と前記3次元医用画像が入力された場合、前記関心領域情報に関する診断支援情報を出力するように学習された学習モデルに、前記関心領域情報及び前記3次元医用画像を入力し、
前記学習モデルから出力される診断支援情報を取得し、
取得した前記診断支援情報を、前記関心領域情報と前記3次元医用画像とに関連付けて出力する
処理をコンピュータが実行する情報処理方法。 - 内視鏡により被検者を撮像した内視鏡画像と、前記被検者をX線CT、X線コーンビームCT、MRI-CT及び超音波診断装置のうち少なくとも1つを用いて体内まで撮像した3次元医用画像を取得する取得部と、
取得した前記内視鏡画像から、関心領域情報を抽出する抽出部と、
前記関心領域情報及び前記3次元医用画像により特定される前記3次元医用画像の座標系における前記関心領域の位置情報を導出する導出部と、
導出した前記位置情報と、前記内視鏡画像及び前記3次元医用画像のそれぞれの撮像時点とにより、前記関心領域情報と前記3次元医用画像とを関連付けて保存する保存部と
を備える情報処理装置であって、
前記位置情報の導出は、前記3次元医用画像より再構成した仮想内視鏡画像を生成し、生成した前記仮想内視鏡画像と、前記内視鏡画像との一致度を導出し、前記一致度が所定値以上となる仮想内視鏡画像に基づき、前記位置情報を導出する処理を含み、前記一致度が所定値以上となる仮想内視鏡画像の画素に対応する3次元医用画像の画素に、前記内視鏡画像から抽出した前記関心領域情報を関連付けて保存するものであり、
関連付けて保存される前記関心領域情報と前記3次元医用画像が入力された場合、前記関心領域情報に関する診断支援情報を出力するように学習された学習モデルに、前記関心領域情報及び前記3次元医用画像を入力し、
前記学習モデルから出力される診断支援情報を取得し、
取得した前記診断支援情報を、前記関心領域情報と前記3次元医用画像とに関連付けて出力する
情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020099466A JP7377769B2 (ja) | 2020-06-08 | 2020-06-08 | プログラム、情報処理方法及び情報処理装置 |
US17/786,321 US20230105799A1 (en) | 2020-06-08 | 2021-03-04 | Program, information processing method, and information processing device |
PCT/JP2021/008409 WO2021250951A1 (ja) | 2020-06-08 | 2021-03-04 | プログラム、情報処理方法及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020099466A JP7377769B2 (ja) | 2020-06-08 | 2020-06-08 | プログラム、情報処理方法及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021192746A JP2021192746A (ja) | 2021-12-23 |
JP7377769B2 true JP7377769B2 (ja) | 2023-11-10 |
Family
ID=78845467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020099466A Active JP7377769B2 (ja) | 2020-06-08 | 2020-06-08 | プログラム、情報処理方法及び情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230105799A1 (ja) |
JP (1) | JP7377769B2 (ja) |
WO (1) | WO2021250951A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020207943A1 (de) * | 2020-06-26 | 2021-12-30 | Siemens Healthcare Gmbh | Verfahren und Anordnung zum Identifizieren ähnlicher vorgespeicherter medizinischer Datensätze |
JP2022167637A (ja) * | 2021-04-23 | 2022-11-04 | 株式会社エビデント | 観察システム、及び、観察支援方法 |
CN115393670A (zh) * | 2022-08-19 | 2022-11-25 | 珠海市圈宝网络科技有限公司 | 训练肺部内窥镜图像识别模型的方法及识别方法 |
CN116227238B (zh) * | 2023-05-08 | 2023-07-14 | 国网安徽省电力有限公司经济技术研究院 | 一种抽水蓄能电站运行监测管理系统 |
CN116563525B (zh) * | 2023-07-10 | 2023-10-20 | 浙江华诺康科技有限公司 | 内窥镜运行轨迹指示方法、装置、设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000287940A (ja) | 1999-04-09 | 2000-10-17 | Olympus Optical Co Ltd | 医療情報処理装置 |
JP2003265408A (ja) | 2002-03-19 | 2003-09-24 | Mitsubishi Electric Corp | 内視鏡誘導装置および方法 |
JP2006271695A (ja) | 2005-03-29 | 2006-10-12 | Fujinon Corp | 医療用画像生成装置 |
JP2011206168A (ja) | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 観察支援システムおよび方法並びにプログラム |
JP2014124384A (ja) | 2012-12-27 | 2014-07-07 | Fujifilm Corp | 仮想内視鏡画像表示装置および方法並びにプログラム |
WO2019130868A1 (ja) | 2017-12-25 | 2019-07-04 | 富士フイルム株式会社 | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム |
-
2020
- 2020-06-08 JP JP2020099466A patent/JP7377769B2/ja active Active
-
2021
- 2021-03-04 US US17/786,321 patent/US20230105799A1/en active Pending
- 2021-03-04 WO PCT/JP2021/008409 patent/WO2021250951A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000287940A (ja) | 1999-04-09 | 2000-10-17 | Olympus Optical Co Ltd | 医療情報処理装置 |
JP2003265408A (ja) | 2002-03-19 | 2003-09-24 | Mitsubishi Electric Corp | 内視鏡誘導装置および方法 |
JP2006271695A (ja) | 2005-03-29 | 2006-10-12 | Fujinon Corp | 医療用画像生成装置 |
JP2011206168A (ja) | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 観察支援システムおよび方法並びにプログラム |
JP2014124384A (ja) | 2012-12-27 | 2014-07-07 | Fujifilm Corp | 仮想内視鏡画像表示装置および方法並びにプログラム |
WO2019130868A1 (ja) | 2017-12-25 | 2019-07-04 | 富士フイルム株式会社 | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230105799A1 (en) | 2023-04-06 |
WO2021250951A1 (ja) | 2021-12-16 |
JP2021192746A (ja) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7377769B2 (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP7313512B2 (ja) | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 | |
WO2021192593A1 (ja) | プログラム、情報処理方法、情報処理装置及び診断支援システム | |
US10092216B2 (en) | Device, method, and non-transitory computer-readable medium for identifying body part imaged by endoscope | |
US8520915B2 (en) | Medical image diagnosis apparatus specifying a spot on a projection image for subsequent 3D imaging | |
EP3164075B1 (en) | Unified coordinate system for multiple ct scans of patient lungs | |
US8696547B2 (en) | System and method for determining airway diameter using endoscope | |
JP6206869B2 (ja) | 内視鏡観察支援装置 | |
CN106232011A (zh) | 气管标记 | |
US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
JP6704095B1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP7189355B2 (ja) | コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 | |
US20230353879A1 (en) | Program, information processing method, and endoscope system | |
WO2022239518A1 (ja) | プログラム、情報処理方法及び内視鏡システム | |
WO2023067885A1 (ja) | プログラム、情報処理方法、情報処理装置及び診断支援システム | |
US20200019813A1 (en) | Examination support device, examination support method, and examination support program | |
WO2023275974A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
CN118076279A (en) | Program, information processing method, information processing device, and diagnosis support system | |
Regef et al. | Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7377769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |