JPWO2021054360A1 - 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 - Google Patents
内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 Download PDFInfo
- Publication number
- JPWO2021054360A1 JPWO2021054360A1 JP2021546931A JP2021546931A JPWO2021054360A1 JP WO2021054360 A1 JPWO2021054360 A1 JP WO2021054360A1 JP 2021546931 A JP2021546931 A JP 2021546931A JP 2021546931 A JP2021546931 A JP 2021546931A JP WO2021054360 A1 JPWO2021054360 A1 JP WO2021054360A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- endoscopic
- virtual
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 156
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000003780 insertion Methods 0.000 claims description 145
- 230000037431 insertion Effects 0.000 claims description 145
- 238000012545 processing Methods 0.000 claims description 107
- 238000000034 method Methods 0.000 claims description 100
- 238000012937 correction Methods 0.000 claims description 83
- 238000005452 bending Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 54
- 230000003902 lesion Effects 0.000 claims description 39
- 238000009795 derivation Methods 0.000 claims description 36
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 206010028980 Neoplasm Diseases 0.000 claims description 9
- 238000001839 endoscopy Methods 0.000 abstract description 9
- 238000002591 computed tomography Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 40
- 210000002429 large intestine Anatomy 0.000 description 40
- 238000004891 communication Methods 0.000 description 37
- 230000003287 optical effect Effects 0.000 description 33
- 238000003745 diagnosis Methods 0.000 description 31
- 238000002595 magnetic resonance imaging Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 210000000056 organ Anatomy 0.000 description 15
- 238000007689 inspection Methods 0.000 description 14
- 208000037062 Polyps Diseases 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 208000024891 symptom Diseases 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 9
- JVTAAEKCZFNVCJ-UHFFFAOYSA-N lactic acid Chemical compound CC(O)C(O)=O JVTAAEKCZFNVCJ-UHFFFAOYSA-N 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 8
- 210000000621 bronchi Anatomy 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000005401 electroluminescence Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 210000004400 mucous membrane Anatomy 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000001035 gastrointestinal tract Anatomy 0.000 description 4
- 235000014655 lactic acid Nutrition 0.000 description 4
- 239000004310 lactic acid Substances 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 210000002784 stomach Anatomy 0.000 description 4
- 210000003437 trachea Anatomy 0.000 description 4
- 238000003705 background correction Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000002405 diagnostic procedure Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 208000000260 Warts Diseases 0.000 description 2
- 210000000436 anus Anatomy 0.000 description 2
- 210000003445 biliary tract Anatomy 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 210000000496 pancreas Anatomy 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 201000010153 skin papilloma Diseases 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000008400 supply water Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910052724 xenon Inorganic materials 0.000 description 2
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000005345 coagulation Methods 0.000 description 1
- 230000015271 coagulation Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 201000005917 gastric ulcer Diseases 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 208000014081 polyp of colon Diseases 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- High Energy & Nuclear Physics (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Pulmonology (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
Abstract
Description
本出願は、2019年9月20日出願の日本出願第2019−171874号、および2019年12月9日出願の日本出願第2019−222349号に基づく優先権を主張し、前記これらの日本出願に記載された全ての記載内容を援用するものである。
実施形態1は、内視鏡から取り込まれた内視鏡画像を、内視鏡が体内に挿入された距離に対応する仮想内視鏡画像に対応付けて出力する形態に関する。仮想内視鏡画像は、気管および気管支内又は腸管等の管状臓器を撮影したX線CTまたはMRまたはX線コーンビームCTの3次元医用画像に基づいて再構成し、3次元画像による体腔内を仮想の内視鏡で表した画像である。
実施形態2は、仮想内視鏡画像に基づいて視点から見えている内腔の各画素までの距離画像を再構成し、再構成した距離画像に基づき、内視鏡画像の各画素の画素値(データ)を補正する。または、各画素から得られた特徴パラメータを補正する。つまり、距離rだけ離れている画素の面積は1/r2分をかけることにより正しい画像測定特徴パラメータが得られる。また、プロセッサ2の制御部21は、距離画像情報により補正された内視鏡画像の特徴パラメータに基づき、診断サポート情報を表示装置3に出力する。なお、実施形態1と重複する内容については説明を省略する。
図14は、距離画像を求める処理を説明する説明図である。距離画像は、視点から観察対象(例えば、大腸領域の内壁)までの直線距離をピクセル値とする2次元画像である。プロセッサ2の制御部21は、3次元医用画像に基づいて仮想内視鏡画像を再構成し、再構成した仮想内視鏡画像と内視鏡画像とを一致させる。制御部21は、内視鏡画像と仮想内視鏡画像とを一致させた視点位置及び視線方向に基づいて、再構成した仮想内視鏡画像の各画素に対応する3次元画像までの視点からの距離に基づき、距離画像を求める(生成する)。
実施形態3は、距離画像に基づき、内視鏡画像の各画像領域に対して特徴パラメータの補正処理を行い、特徴パラメータ補正後の内視鏡画像を画像認識モデルに入力して認識結果を取得する形態に関する。なお、実施形態1〜2と重複する内容については説明を省略する。なお、本実施形態では、特徴パラメータの補正処理に関しては、面積補正処理の例を説明する。
図21は、上述した形態のプロセッサ2の動作を示す機能ブロック図である。制御部21が制御プログラム2Pを実行することにより、プロセッサ2は以下のように動作する。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図22は、実施形態5に係る診断支援システムSの概要を示す模式図である。診断支援システムSは、内視鏡装置110及び、内視鏡装置110と通信可能に接続される情報処理装置6を含む。
実施形態6の情報処理装置6は、内視鏡用プロセッサ120から取得した屈曲履歴により、視点位置を補正する点で実施形態5と異なる。図30は、実施形態6に係る情報処理装置6の制御部62に含まれる機能部を例示する機能ブロック図である。
実施形態6の情報処理装置6は、複数の撮像素子1445を備える内視鏡が撮像した複数の内視鏡画像を内視鏡用プロセッサ120から取得する点で実施形態5と異なる。図32は、実施形態7に係る挿入部144の先端を模式的に示す斜視図である。図33は、実施形態7に係る挿入部144の先端を模式的に示す正面図である。内視鏡140の先端部1443には、複数の撮像素子1445及び撮影用光源1446が設けられ、これらにより撮像部1444が構成される。
実施形態6の情報処理装置6は、内視鏡画像DB631に登録された各種データを用い、内視鏡画像及び3次元医用画像を関連付けた画面(統合画像表示画面71)を表示することにより、医師等に対し診断支援情報を提供する。図35は、実施形態8に係る統合画像表示画面71の一態様(3次元用医用画像モード)を示す説明図である。図36は、統合画像表示画面71の一態様(内視鏡画像モード)を示す説明図である。
実施形態9の情報処理装置6は、内視鏡画像DB631に登録された各種データを用い、内視鏡画像DB631に登録された内視鏡画像に含まれる体内部位に関する病変の有無等の診断支援情報を出力する。
11 撮像素子
12 処置具挿入チャネル
13 操作部
14 コネクタ
15 可撓管
15a 矢印
151 内視鏡外面
152 内視鏡内面
153 可撓体
16 光センサ
17 光センサケーブル
2 内視鏡用プロセッサ(プロセッサ)
20 センサ信号入力部
21 制御部
22 記憶部
23 操作入力部
24 出力部
25 光源制御部
26 通信部
27 光源
28 読取部
29 大容量記憶部
291 診断サポート情報DB
292 画像認識モデル
2a 可搬型記憶媒体
2b 半導体メモリ
2P 制御プログラム
3 表示装置
4 情報処理装置(サーバ)
41 制御部
42 記憶部
43 通信部
44 入力部
45 表示部
46 読取部
47 大容量記憶部
471 医用画像DB
4a 可搬型記憶媒体
4b 半導体メモリ
4P 制御プログラム
20a 内視鏡画像取得部
20b 仮想内視鏡画像取得部
20c 仮想内視鏡画像再構成部
20d 診断サポート情報出力部
20e 距離画像再構成部
20f 第1補正部
20g 第2補正部
20h 屈曲履歴情報取得部
20i Z座標補正部
20j Z座標取得部
S 診断支援システム
110 内視鏡装置
115 キーボード
116 収容棚
120 内視鏡用プロセッサ
121 制御部
1211 画像処理部
122 主記憶装置
123 補助記憶装置
124 通信部
125 タッチパネル
126 表示装置I/F
127 入力装置I/F
128 読取部
131 内視鏡用コネクタ
1311 電気コネクタ
1312 光コネクタ
133 光源
134 ポンプ
135 送水タンク
136 送気送水口金
140 内視鏡
143 操作部
1431 制御ボタン
1433 湾曲ノブ
144 挿入部(可撓管)
1441 軟性部
1442 湾曲部
1443 先端部
1444 撮像部
1445 撮像素子
1446 撮影用光源
145 折止部
148 スコープコネクタ
149 ユニバーサルコード
50 表示装置
6 情報処理装置
61 通信部
62 制御部
621 取得部
622 視点位置導出部
623 仮想内視鏡画像生成部
624 一致度判定部
625 DB登録部
626 距離画像情報導出部
627 特徴パラメータ導出部
628 特徴パラメータ補正部
629 出力部
63 記憶部
631 内視鏡画像DB
632 記録媒体
P プログラム
64 入出力I/F
7 表示部
70 内視鏡画像選択画面
71 統合画像表示画面
711 視点位置フィールド
712 視点方向フィールド
713 サムネイル表示フィールド
714 表示オプションフィールド
715 表示モード切替フィールド
8 入力部
9 学習モデル
Claims (21)
- 内視鏡から患者の内視鏡画像を取得する内視鏡画像取得部と、
前記患者を予め撮影した3次元医用画像に基づいて再構成された仮想内視鏡画像を取得する仮想内視鏡画像取得部と、
前記仮想内視鏡画像取得部が取得した仮想内視鏡画像と、前記内視鏡画像取得部が取得した前記内視鏡画像との一致度に基づき、前記内視鏡画像に最も一致する補正後の仮想内視鏡画像を再構成する仮想内視鏡画像再構成部と、
前記内視鏡画像取得部が取得した内視鏡画像を、前記仮想内視鏡画像再構成部が再構成した前記補正後の仮想内視鏡画像により得られる距離画像に内視鏡画像の各画素を対応させて、これに応じて補正した特徴パラメータに基づいた診断サポート情報を出力する診断サポート情報出力部と
を備える内視鏡用プロセッサ。 - 患者の体内に挿入された内視鏡の挿入距離を測定するZ座標取得部と、
前記内視鏡の屈曲履歴情報を取得する屈曲履歴情報取得部と、
前記屈曲履歴情報取得部が取得した屈曲履歴情報に応じて、前記内視鏡の挿入距離であるZ座標、仮想内視鏡の視点方向、視点位置を補正するZ座標補正部と
を備える請求項1に記載の内視鏡用プロセッサ。 - 前記仮想内視鏡画像に基づいて距離画像を再構成する距離画像再構成部と、
前記距離画像再構成部が求めた距離画像に基づき、対応する内視鏡画像の各画素の画素値を前記距離画像から得られる距離に応じて各領域の画素を補正する第1補正部と
を備える請求項1または請求項2に記載の内視鏡用プロセッサ。 - 前記距離画像再構成部が求めた距離画像に基づき、対応する内視鏡画像の各画像領域の特徴パラメータを補正する第2補正部
を備える請求項3に記載の内視鏡用プロセッサ。 - 前記診断サポート情報出力部は、前記第1補正部または前記第2補正部が補正した内視鏡画像に基づき、腫瘍候補を含む診断サポート情報を出力する
ことを特徴とする請求項4に記載の内視鏡用プロセッサ。 - 前記診断サポート情報出力部は、前記第1補正部または前記第2補正部が補正した内視鏡画像を入力した場合に認識結果を出力する学習済みの画像認識モデルを用いて、前記認識結果を出力する
ことを特徴とする請求項4または請求項5に記載の内視鏡用プロセッサ。 - 内視鏡から患者の内視鏡画像を取得し、
前記患者を予め撮影した3次元医用画像に基づいて再構成された仮想内視鏡画像を取得し、
取得した前記仮想内視鏡画像と前記内視鏡画像との一致度に基づき、前記内視鏡画像に最も一致する補正後の仮想内視鏡画像を再構成し、
取得した前記内視鏡画像を、再構成した前記補正後の仮想内視鏡画像により得られる距離画像に内視鏡画像の各画素を対応させて、これに応じて補正した特徴パラメータに基づいた診断サポート情報を出力する
処理をコンピュータに実行させるプログラム。 - 内視鏡から患者の内視鏡画像を取得し、
前記患者を予め撮影した3次元医用画像に基づいて再構成された仮想内視鏡画像を取得し、
取得した前記仮想内視鏡画像と前記内視鏡画像との一致度に基づき、前記内視鏡画像に最も一致する補正後の仮想内視鏡画像を再構成し、
取得した前記内視鏡画像を、再構成した前記補正後の仮想内視鏡画像により得られる距離画像に内視鏡画像の各画素を対応させて、これに対応する仮想内視鏡画像に応じて補正した特徴パラメータに基づいた診断サポート情報を出力する
情報処理方法。 - コンピュータに、
内視鏡により被検者を撮像した内視鏡画像を取得し、
前記被検者をX線CT、X線コーンビームCT、MRI−CTのうち少なくとも1つで体内まで撮像した3次元医用画像を取得し、
前記内視鏡画像及び前記3次元医用画像により特定される前記3次元医用画像の座標系における位置情報を導出し、
導出した前記位置情報により、前記内視鏡画像と前記3次元医用画像とを関連づけて保存する
処理を実行させるプログラム。 - 前記位置情報の導出は、
前記3次元医用画像より再構成した仮想内視鏡画像を生成し、
生成した前記仮想内視鏡画像と、前記内視鏡画像との一致度を導出し、
前記一致度が所定値以上となる仮想内視鏡画像に基づき、前記位置情報を導出する処理を含む
請求項9に記載のプログラム。 - 前記一致度の導出は、
前記仮想内視鏡画像及び前記内視鏡画像を入力した場合、前記一致度を出力するように学習された一致度学習モデルを用い、
前記一致度学習モデルに前記仮想内視鏡画像及び前記内視鏡画像を入力し、
前記一致度学習モデルが出力した前記仮想内視鏡画像と前記内視鏡画像との一致度を取得することにより行う
請求項10に記載のプログラム。 - 前記一致度学習モデルは、DCNN(Deep Convolutional Neural Network)により構成される
請求項11に記載のプログラム。 - 前記内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記内視鏡の挿入距離に関する情報を取得し、
前記位置情報の導出は、前記挿入距離に関する情報に基づき、前記3次元医用画像の座標系における位置情報を導出する処理を含む
請求項9又は請求項12に記載のプログラム。 - 前記被検者の体内に挿入された前記内視鏡の屈曲履歴に関する情報を取得し、
前記位置情報の導出は、前記屈曲履歴に関する情報及び前記挿入距離に関する情報に基づき、前記3次元医用画像の座標系における位置情報を導出する処理を含む
請求項13に記載のプログラム。 - 前記内視鏡の形状に関する情報を取得し、
前記位置情報の導出は、前記内視鏡の形状に関する情報、前記屈曲履歴に関する情報及び前記挿入距離に関する情報に基づき、前記3次元医用画像の座標系における位置情報を導出する処理を含む
請求項14に記載のプログラム。 - 前記位置情報は、前記内視鏡画像の撮像時点における前記内視鏡の位置及び方向に関する情報を含む
請求項9から請求項15のいずれか1項に記載のプログラム。 - 前記内視鏡は、複数の撮像素子を備え、
前記内視鏡画像は、前記複数の撮像素子により撮像された複数の内視鏡画像を含み、
前記複数の内視鏡画像夫々と前記3次元医用画像とを関連づけて保存する
請求項9から請求項16のいずれか1項に記載のプログラム。 - コンピュータに、
内視鏡画像及び3次元医用画像により特定される前記3次元医用画像の座標系における位置情報によって、前記内視鏡画像及び前記3次元医用画像が関連付けられて保存されている所定の記憶領域を参照して、いずれかの3次元医用画像を取得し、
前記いずれかの3次元医用画像を表示し、
表示された前記いずれかの3次元医用画像における所定の部位を選択するための選択処理を受付け、
受付けた前記選択処理に応じて、前記いずれかの3次元医用画像の座標系における位置情報を導出し、
導出した前記位置情報に対応する内視鏡画像を表示する、
処理を実行させるプログラム。 - コンピュータに、
内視鏡画像及び3次元医用画像により特定される前記3次元医用画像の座標系における位置情報によって、前記内視鏡画像及び前記3次元医用画像が関連付けられて保存されている所定の記憶領域を参照して、いずれかの内視鏡画像を取得し、
前記いずれかの内視鏡画像と関連付けられた3次元医用画像を射影した仮想内視鏡画像を取得し、
前記仮想内視鏡画像から導出される距離画像情報によって前記いずれかの内視鏡画像を補正し、
前記いずれかの内視鏡画像に含まれる病変に関する診断支援情報を出力するように学習された学習モデルに、前記補正した内視鏡画像を入力し、
取得した診断支援情報と、前記いずれかの内視鏡画像とを関連付けて出力する
処理を実行させるプログラム。 - 内視鏡により被検者を撮像した内視鏡画像を取得し、
前記被検者をX線CT、X線コーンビームCT、MRI−CTのうち少なくとも1つで体内まで撮像した3次元医用画像を取得し、
前記内視鏡画像及び前記3次元医用画像により特定される前記3次元医用画像の座標系における位置情報を導出し、
導出した前記位置情報により、前記内視鏡画像と前記3次元医用画像とを関連づけて保存する
処理をコンピュータに実行させる情報処理方法。 - 内視鏡により被検者を撮像した内視鏡画像と、前記被検者をX線CT、X線コーンビームCT、MRI−CTのうち少なくとも1つで体内まで撮像した3次元医用画像を取得し、3次元医用画像とを取得する取得部と、
前記内視鏡画像及び前記3次元医用画像により特定される前記3次元医用画像の座標系における位置情報を導出する導出部と、
導出した前記位置情報により、前記内視鏡画像と前記3次元医用画像とを関連づけて保存する保存部と
を備える情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022085548A JP7313512B2 (ja) | 2019-09-20 | 2022-05-25 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019171874 | 2019-09-20 | ||
JP2019171874 | 2019-09-20 | ||
JP2019222349 | 2019-12-09 | ||
JP2019222349 | 2019-12-09 | ||
PCT/JP2020/035079 WO2021054360A1 (ja) | 2019-09-20 | 2020-09-16 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022085548A Division JP7313512B2 (ja) | 2019-09-20 | 2022-05-25 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021054360A1 true JPWO2021054360A1 (ja) | 2021-12-23 |
JP7096445B2 JP7096445B2 (ja) | 2022-07-05 |
Family
ID=74884277
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021546931A Active JP7096445B2 (ja) | 2019-09-20 | 2020-09-16 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
JP2022085548A Active JP7313512B2 (ja) | 2019-09-20 | 2022-05-25 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022085548A Active JP7313512B2 (ja) | 2019-09-20 | 2022-05-25 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220198742A1 (ja) |
JP (2) | JP7096445B2 (ja) |
CN (1) | CN113544743B (ja) |
DE (1) | DE112020004438T5 (ja) |
WO (1) | WO2021054360A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021164490A (ja) * | 2018-04-10 | 2021-10-14 | オリンパス株式会社 | 医療システム |
JP6883662B2 (ja) * | 2019-03-27 | 2021-06-09 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 |
DE112020004438T5 (de) * | 2019-09-20 | 2022-06-23 | Hoya Corporation | Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung |
US20220151708A1 (en) * | 2020-11-18 | 2022-05-19 | The Board Of Regents Of The University Of Oklahoma | Endoscopic Guidance Using Neural Networks |
JP2022175037A (ja) * | 2021-05-12 | 2022-11-25 | Hoya株式会社 | プログラム、情報処理方法及び内視鏡システム |
WO2022269736A1 (ja) * | 2021-06-22 | 2022-12-29 | オリンパスメディカルシステムズ株式会社 | 画像処理装置、マニピュレータシステム、画像処理方法及び表示方法 |
JP2023060702A (ja) | 2021-10-18 | 2023-04-28 | Hoya株式会社 | プログラム、情報処理方法、情報処理装置及び診断支援システム |
WO2023242891A1 (ja) * | 2022-06-13 | 2023-12-21 | 日本電気株式会社 | オブジェクト検出装置、学習装置、オブジェクト検出方法、学習方法、オブジェクト検出プログラム及び学習プログラム |
CN114782470B (zh) * | 2022-06-22 | 2022-09-13 | 浙江鸿禾医疗科技有限责任公司 | 消化道的三维全景识别定位方法、存储介质和设备 |
WO2023248573A1 (ja) * | 2022-06-24 | 2023-12-28 | 富士フイルム株式会社 | 表示制御装置、表示制御方法、及び表示制御プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148983A (ja) * | 1998-11-13 | 2000-05-30 | Toshiba Iyo System Engineering Kk | 仮想化内視鏡装置 |
JP2003265408A (ja) * | 2002-03-19 | 2003-09-24 | Mitsubishi Electric Corp | 内視鏡誘導装置および方法 |
JP2011000173A (ja) * | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2011212245A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002238887A (ja) | 2001-02-19 | 2002-08-27 | National Cancer Center-Japan | 仮想内視鏡 |
US20050152588A1 (en) * | 2003-10-28 | 2005-07-14 | University Of Chicago | Method for virtual endoscopic visualization of the colon by shape-scale signatures, centerlining, and computerized detection of masses |
DE102004008164B3 (de) * | 2004-02-11 | 2005-10-13 | Karl Storz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums |
EP2377457B1 (en) * | 2010-02-22 | 2016-07-27 | Olympus Corporation | Medical apparatus |
JP4728456B1 (ja) * | 2010-02-22 | 2011-07-20 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP5380348B2 (ja) * | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
CN103327900B (zh) * | 2011-06-01 | 2016-01-20 | 株式会社东芝 | 医用图像显示装置以及医用图像诊断装置 |
JP6013037B2 (ja) * | 2011-06-23 | 2016-10-25 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置 |
WO2014158807A1 (en) | 2013-03-12 | 2014-10-02 | 3M Innovative Properties Company | Method of making polymeric multilayer films |
JP6254053B2 (ja) * | 2014-08-13 | 2017-12-27 | 富士フイルム株式会社 | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 |
JP2019037643A (ja) | 2017-08-28 | 2019-03-14 | Hoya株式会社 | 内視鏡挿入形状検出装置及び内視鏡システム |
JP7050817B2 (ja) * | 2017-12-25 | 2022-04-08 | 富士フイルム株式会社 | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理装置の動作方法及びプログラム |
AU2019200594B2 (en) * | 2018-02-08 | 2020-05-28 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
JP7071240B2 (ja) * | 2018-07-26 | 2022-05-18 | 富士フイルム株式会社 | 検査支援装置、方法およびプログラム |
DE112020004438T5 (de) * | 2019-09-20 | 2022-06-23 | Hoya Corporation | Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung |
JP2023003728A (ja) * | 2021-06-24 | 2023-01-17 | Hoya株式会社 | プログラム、情報処理方法及び内視鏡システム |
-
2020
- 2020-09-16 DE DE112020004438.6T patent/DE112020004438T5/de active Pending
- 2020-09-16 CN CN202080019466.XA patent/CN113544743B/zh active Active
- 2020-09-16 US US17/436,739 patent/US20220198742A1/en active Pending
- 2020-09-16 JP JP2021546931A patent/JP7096445B2/ja active Active
- 2020-09-16 WO PCT/JP2020/035079 patent/WO2021054360A1/ja active Application Filing
-
2022
- 2022-05-25 JP JP2022085548A patent/JP7313512B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000148983A (ja) * | 1998-11-13 | 2000-05-30 | Toshiba Iyo System Engineering Kk | 仮想化内視鏡装置 |
JP2003265408A (ja) * | 2002-03-19 | 2003-09-24 | Mitsubishi Electric Corp | 内視鏡誘導装置および方法 |
JP2011000173A (ja) * | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2011212245A (ja) * | 2010-03-31 | 2011-10-27 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7313512B2 (ja) | 2023-07-24 |
CN113544743B (zh) | 2024-03-12 |
JP2022105685A (ja) | 2022-07-14 |
JP7096445B2 (ja) | 2022-07-05 |
US20220198742A1 (en) | 2022-06-23 |
CN113544743A (zh) | 2021-10-22 |
WO2021054360A1 (ja) | 2021-03-25 |
DE112020004438T5 (de) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7096445B2 (ja) | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 | |
Münzer et al. | Content-based processing and analysis of endoscopic images and videos: A survey | |
Ozyoruk et al. | EndoSLAM dataset and an unsupervised monocular visual odometry and depth estimation approach for endoscopic videos | |
US10198872B2 (en) | 3D reconstruction and registration of endoscopic data | |
Bergen et al. | Stitching and surface reconstruction from endoscopic image sequences: a review of applications and methods | |
US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
WO2021250951A1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
US20220351407A1 (en) | Program, information processing method, and information processing device | |
Lurie et al. | 3D reconstruction of cystoscopy videos for comprehensive bladder records | |
US20130002842A1 (en) | Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy | |
JP4855901B2 (ja) | 内視鏡挿入形状解析システム | |
JP4956694B2 (ja) | 情報処理装置及びカプセル型内視鏡システム | |
WO2019130868A1 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム | |
US20220230415A1 (en) | Organ classification system and method | |
JP6704095B1 (ja) | プログラム、情報処理方法及び情報処理装置 | |
JP7148534B2 (ja) | 画像処理装置、プログラム、及び内視鏡システム | |
Liu et al. | Hybrid magnetic and vision localization technique of capsule endoscope for 3D recovery of pathological tissues | |
WO2022239518A1 (ja) | プログラム、情報処理方法及び内視鏡システム | |
Ozyoruk et al. | Quantitative evaluation of endoscopic slam methods: Endoslam dataset | |
Regef et al. | Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations | |
JP2008023266A (ja) | 医療用画像処理装置及び医療用画像処理方法 | |
Wang et al. | Advanced algorithms of SLAM in medical endoscopy | |
Böszörmenyi | Content-based processing and analysis of endoscopic images and videos: A survey | |
JP2023060702A (ja) | プログラム、情報処理方法、情報処理装置及び診断支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7096445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |