JP7194889B2 - コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 - Google Patents
コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 Download PDFInfo
- Publication number
- JP7194889B2 JP7194889B2 JP2022022311A JP2022022311A JP7194889B2 JP 7194889 B2 JP7194889 B2 JP 7194889B2 JP 2022022311 A JP2022022311 A JP 2022022311A JP 2022022311 A JP2022022311 A JP 2022022311A JP 7194889 B2 JP7194889 B2 JP 7194889B2
- Authority
- JP
- Japan
- Prior art keywords
- connective tissue
- loose connective
- field image
- learning model
- operative field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001356 surgical procedure Methods 0.000 title claims description 131
- 238000000034 method Methods 0.000 title claims description 51
- 238000004590 computer program Methods 0.000 title claims description 24
- 230000010365 information processing Effects 0.000 title claims description 9
- 238000003672 processing method Methods 0.000 title claims description 9
- 210000002808 connective tissue Anatomy 0.000 claims description 317
- 210000001519 tissue Anatomy 0.000 claims description 64
- 238000003384 imaging method Methods 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 13
- 238000002674 endoscopic surgery Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 10
- 238000004040 coloring Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 description 43
- 238000010586 diagram Methods 0.000 description 34
- 238000002357 laparoscopic surgery Methods 0.000 description 33
- 230000003902 lesion Effects 0.000 description 31
- 238000009826 distribution Methods 0.000 description 23
- 210000005036 nerve Anatomy 0.000 description 22
- 238000004891 communication Methods 0.000 description 20
- 238000003860 storage Methods 0.000 description 20
- 238000012549 training Methods 0.000 description 18
- 238000010336 energy treatment Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 210000000056 organ Anatomy 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000005452 bending Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 8
- 230000037431 insertion Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 8
- 230000000740 bleeding effect Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 230000012447 hatching Effects 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 210000000944 nerve tissue Anatomy 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000002271 resection Methods 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004177 elastic tissue Anatomy 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 208000029836 Inguinal Hernia Diseases 0.000 description 1
- 210000000683 abdominal cavity Anatomy 0.000 description 1
- 210000003815 abdominal wall Anatomy 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000001365 lymphatic vessel Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Databases & Information Systems (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Robotics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
Description
(実施の形態1)
図1は実施の形態1に係る腹腔鏡手術支援システムの概略構成を説明する模式図である。腹腔鏡手術では、開腹手術を実施する代わりに、トロッカ10と呼ばれる開孔器具を患者の腹壁に複数個取り付け、トロッカ10に設けられた開孔から、腹腔鏡11、エネルギ処置具12、鉗子13などの器具を患者の体内に挿入する。術者は、腹腔鏡11によって撮像された患者体内の画像(術野画像)をリアルタイムに見ながら、エネルギ処置具12を用いて患部を切除するなどの処置を行う。腹腔鏡11、エネルギ処置具12、鉗子13などの術具は、術者又はロボットなどにより保持される。術者とは、腹腔鏡手術に関わる医療従事者であり、執刀医、助手、看護師、手術をモニタしている医師などを含む。
図3は術野画像の一例を示す模式図である。本実施の形態における術野画像は、患者の腹腔内を腹腔鏡11により撮像して得られる画像である。術野画像は、腹腔鏡11の撮像装置11Bが出力する生の画像である必要はなく、CCU110などによって処理が施された画像(フレーム画像)であってもよい。また、術野画像は、CCU110から表示装置130に出力される画像であってもよく、腹腔鏡11に着脱可能に装着される画像処理装置(不図示)によって処理が施された画像であってもよい。更に、術野画像は、録画装置140に記録済みの録画映像であってもよい。
図4は学習モデル300の構成例を示す模式図である。学習モデル300は、画像セグメンテーションを行うための学習モデルであり、例えばSegNetなどの畳み込み層を備えたニューラルネットワークにより構築される。図4には、SegNetの構成例を示しているが、SegNetに限らず、FCN(Fully Convolutional Network)、U-Net(U-Shaped Network)、PSPNet(Pyramid Scene Parsing Network)など、画像セグメンテーションが行える任意のニューラルネットワークを用いて学習モデル300を構築すればよい。また、画像セグメンテーション用のニューラルネットワークに代えて、YOLO(You Only Look Once)、SSD(Single Shot Multi-Box Detector)など物体検出用のニューラルネットワークを用いて学習モデル300を構築してもよい。
手術支援装置200は、例えば運用開始前の学習フェーズにおいて学習モデル300を生成する。学習モデル300を生成する準備段階として、本実施の形態では、腹腔鏡11から得られる術野画像に対して、疎性結合組織部分をマニュアルでセグメンテーションすることにより、アノテーションを実施する。なお、アノテーションには、録画装置140に録画された術野画像を用いればよい。
実施の形態2では、疎性結合組織を認識したときの確信度に応じて表示態様を変更する構成について説明する。
なお、腹腔鏡手術支援システムの全体構成、手術支援装置200の内部構成等については実施の形態1と同様であるため、その説明を省略することとする。
実施の形態3では、術野画像に含まれる疎性結合組織部分と共に、腹腔鏡手術により除去されるべき部位と、腹腔鏡手術により残存させるべき部位とを併せて認識し、表示する構成について説明する。
なお、腹腔鏡手術支援システムの全体構成、手術支援装置200の内部構成等については実施の形態1と同様であるため、その説明を省略することとする。
実施の形態4では、術者から指示されたタイミングにて疎性結合組織部分を表示する構成について説明する。
実施の形態5では、腹腔鏡手術の状況に応じて、疎性結合組織部分の表示及び非表示を切り替える構成について説明する。
実施の形態6では、手術支援装置200が複数種の学習モデルを備える構成について説明する。
実施の形態7では、入力される術野画像に応じて最適な学習モデルを選択する構成について説明する。
実施の形態8では、疎性結合組織と神経とを認識する構成について説明する。
実施の形態9では、手術支援装置200が備えるユーザインタフェースについて説明する。
11 腹腔鏡
12 エネルギ処置具
13 鉗子
110 カメラコントロールユニット(CCU)
120 光源装置
130 表示装置
140 録画装置
200 手術支援装置
201 制御部
202 記憶部
203 操作部
204 入力部
205 出力部
206 通信部
300 学習モデル
PG1 認識処理プログラム
PG2 表示処理プログラム
PG3 学習処理プログラム
Claims (20)
- コンピュータに、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
前記疎性結合組織部分の認識結果の確信度に応じた表示態様にて前記疎性結合組織部分を表示する
処理を実行させるためのコンピュータプログラム。 - コンピュータに、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
前記疎性結合組織部分について設定された表示色と、前記術野画像における疎性結合組織部分の表示色とを平均化し、
認識した疎性結合組織部分を、平均化した色により着色して表示する
処理を実行させるためのコンピュータプログラム。 - コンピュータに、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された複数種の学習モデルの夫々に、取得した術野画像を入力し、
前記術野画像を入力した場合に各学習モデルから出力される情報に基づいて、各学習モデルを評価し、
評価結果に基づいて選択した学習モデルを用いて、術野画像に含まれる疎性結合組織部分を認識し、
認識した疎性結合組織部分を表示する
処理を実行させるためのコンピュータプログラム。 - コンピュータに、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された複数種の学習モデルから、前記疎性結合組織を覆う癒着組織の有無、前記疎性結合組織を含む手術領域、又は前記疎性結合組織を撮像する撮像装置の種類に応じて、一の学習モデルを選択し、
選択した学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
認識した疎性結合組織部分を表示する
処理を実行させるためのコンピュータプログラム。 - コンピュータに、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
術野画像を入力した場合、疎性結合組織とは別の構造体に関する情報を出力するよう学習された別のモデルに、取得した術野画像を入力して該術野画像に含まれる構造体部分を認識し、
前記疎性結合組織部分の認識の確信度と、前記構造体部分の認識の確信度とに応じた表示態様にて、認識結果を表示する
処理を実行させるためのコンピュータプログラム。 - 前記コンピュータに、
前記学習モデルを用いて認識した疎性結合組織部分を前記術野画像上で判別可能に表示する
処理を実行させるための請求項1から請求項5の何れか1つに記載のコンピュータプログラム。 - 前記コンピュータに、
前記疎性結合組織部分を寒色系の色により着色して表示する
処理を実行させるための請求項6に記載のコンピュータプログラム。 - 前記疎性結合組織は、前記鏡視下手術により除去されるべき部位と前記鏡視下手術により残存させるべき部位との間を結合する線維状の組織である
請求項1から請求項7の何れか1つに記載のコンピュータプログラム。 - 前記疎性結合組織は、複数本の線維状の組織により構成されており、
前記コンピュータに、
前記学習モデルから出力される情報に基づき、前記複数本の線維状の組織の一部又は全部を一の集合体として認識する
処理を実行させるための請求項1から請求項8の何れか1つに記載のコンピュータプログラム。 - 前記学習モデルは、術野画像を入力した場合、疎性結合組織に関する情報と共に、前記疎性結合組織により結合された2つの部位の少なくとも一方に関する情報を出力するよう学習されており、
前記コンピュータに、
認識した部位を疎性結合組織部分とは異なる態様にて表示する
処理を実行させるための請求項1から請求項9の何れか1つに記載のコンピュータプログラム。 - 鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルを用いて、前記取得部より取得した術野画像に含まれる疎性結合組織部分を認識する認識部と、
前記疎性結合組織部分の認識結果の確信度に応じた表示態様にて前記疎性結合組織部分を表示すべく、前記疎性結合組織部分の認識画像を出力する出力部と
を備える手術支援装置。 - 鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識する認識部と、
前記疎性結合組織部分について設定された表示色と、前記術野画像における疎性結合組織部分の表示色とを平均化する平均化処理部と、
認識した疎性結合組織部分を平均化した色により着色して表示すべく、前記疎性結合組織部分の認識画像を出力する出力部と
を備える手術支援装置。 - 鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された複数種の学習モデルの夫々に、取得した術野画像を入力し、各学習モデルから出力される情報に基づいて、各学習モデルを評価する評価部と、
評価結果に基づいて選択した学習モデルを用いて、術野画像に含まれる疎性結合組織部分を認識する認識部と、
認識した疎性結合組織部分を表示すべく、前記疎性結合組織部分の認識画像を出力する出力部と
を備える手術支援装置。 - 鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された複数種の学習モデルから、前記疎性結合組織を覆う癒着組織の有無、前記疎性結合組織を含む手術領域、又は前記疎性結合組織を撮像する撮像装置の種類に応じて、一の学習モデルを選択する選択部と、
選択した学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識する認識部と、
認識した疎性結合組織部分を表示すべく、前記疎性結合組織部分の認識画像を出力する出力部と
を備える手術支援装置。 - 鏡視下手術の術野を撮像して得られる術野画像を取得する取得部と、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識する第1認識部と、
術野画像を入力した場合、疎性結合組織とは別の構造体に関する情報を出力するよう学習された別のモデルに、取得した術野画像を入力して該術野画像に含まれる構造体部分を認識する第2認識部と、
前記疎性結合組織部分の認識の確信度と、前記構造体部分の認識の確信度とに応じた表示態様にて、認識結果を表示すべく、前記疎性結合組織部分及び前記構造体部分の認識画像を出力する出力部と
を備える手術支援装置。 - コンピュータが、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルを用いて、取得した術野画像に含まれる疎性結合組織部分を認識し、
前記疎性結合組織部分の認識結果の確信度に応じた表示態様にて疎性結合組織部分を表示すべく、前記疎性結合組織部分の認識画像を出力する
情報処理方法。 - コンピュータが、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
前記疎性結合組織部分について設定された表示色と、前記術野画像における疎性結合組織部分の表示色とを平均化し、
認識した疎性結合組織部分を平均化した色により着色して表示すべく、前記疎性結合組織部分の認識画像を出力する
情報処理方法。 - コンピュータが、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された複数種の学習モデルの夫々に、取得した術野画像を入力し、
前記術野画像を入力した場合に各学習モデルから出力される情報に基づいて、各学習モデルを評価し、
評価結果に基づいて選択した学習モデルを用いて、術野画像に含まれる疎性結合組織部分を認識し、
認識した疎性結合組織部分を表示すべく、前記疎性結合組織部分の認識画像を出力する
情報処理方法。 - コンピュータが、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された複数種の学習モデルから、前記疎性結合組織を覆う癒着組織の有無、前記疎性結合組織を含む手術領域、又は前記疎性結合組織を撮像する撮像装置の種類に応じて、一の学習モデルを選択し、
選択した学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
認識した疎性結合組織部分を表示すべく、前記疎性結合組織部分の認識画像を出力する
情報処理方法。 - コンピュータが、
鏡視下手術の術野を撮像して得られる術野画像を取得し、
術野画像を入力した場合、疎性結合組織に関する情報を出力するよう学習された学習モデルに、取得した術野画像を入力して該術野画像に含まれる疎性結合組織部分を認識し、
術野画像を入力した場合、疎性結合組織とは別の構造体に関する情報を出力するよう学習された別のモデルに、取得した術野画像を入力して該術野画像に含まれる構造体部分を認識し、
前記疎性結合組織部分の認識の確信度と、前記構造体部分の認識の確信度とに応じた表示態様にて、認識結果を表示すべく、前記疎性結合組織部分及び前記構造体部分の認識画像を出力する
情報処理方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020129614 | 2020-07-30 | ||
JP2020129614 | 2020-07-30 | ||
JP2021544875A JP7031925B1 (ja) | 2020-07-30 | 2021-07-29 | コンピュータプログラム、手術支援装置、及び情報処理方法 |
PCT/JP2021/028009 WO2022025151A1 (ja) | 2020-07-30 | 2021-07-29 | コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544875A Division JP7031925B1 (ja) | 2020-07-30 | 2021-07-29 | コンピュータプログラム、手術支援装置、及び情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022069464A JP2022069464A (ja) | 2022-05-11 |
JP7194889B2 true JP7194889B2 (ja) | 2022-12-23 |
Family
ID=80035756
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544875A Active JP7031925B1 (ja) | 2020-07-30 | 2021-07-29 | コンピュータプログラム、手術支援装置、及び情報処理方法 |
JP2022022311A Active JP7194889B2 (ja) | 2020-07-30 | 2022-02-16 | コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021544875A Active JP7031925B1 (ja) | 2020-07-30 | 2021-07-29 | コンピュータプログラム、手術支援装置、及び情報処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230281968A1 (ja) |
JP (2) | JP7031925B1 (ja) |
CN (1) | CN116097287A (ja) |
WO (1) | WO2022025151A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2023199923A1 (ja) * | 2022-04-11 | 2023-10-19 | ||
WO2024053697A1 (ja) * | 2022-09-09 | 2024-03-14 | 慶應義塾 | 手術支援プログラム、手術支援装置、および手術支援方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236337A (ja) | 2000-02-22 | 2001-08-31 | Fuji Electric Co Ltd | ニューラルネットワークによる予測装置 |
JP2013154037A (ja) | 2012-01-31 | 2013-08-15 | Fujifilm Corp | 手術支援装置、手術支援方法および手術支援プログラム |
JP2018067266A (ja) | 2016-10-21 | 2018-04-26 | 富士レビオ株式会社 | 疾病の発症リスク又は再発リスクを予測するためのプログラム |
US20180360342A1 (en) | 2017-06-16 | 2018-12-20 | Biosense Webster (Israel) Ltd. | Renal ablation and visualization system and method with composite anatomical display image |
US20190069957A1 (en) | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
WO2019054045A1 (ja) | 2017-09-15 | 2019-03-21 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム |
JP2019075159A (ja) | 2014-03-28 | 2019-05-16 | 日本電気株式会社 | 学習モデル選択システム、学習モデル選択方法およびプログラム |
JP2019087229A (ja) | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
US20200093544A1 (en) | 2017-01-06 | 2020-03-26 | Intuitive Surgical Operations, Inc. | System and method for registration and coordinated manipulation of augmented reality image components |
WO2020110278A1 (ja) | 2018-11-30 | 2020-06-04 | オリンパス株式会社 | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 |
JP2020521946A (ja) | 2017-06-13 | 2020-07-27 | グーグル エルエルシー | 病理学用の拡張現実顕微鏡 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006325638A (ja) * | 2005-05-23 | 2006-12-07 | Konica Minolta Medical & Graphic Inc | 異常陰影候補の検出方法及び医用画像処理システム |
JP6029960B2 (ja) * | 2012-12-10 | 2016-11-24 | 株式会社日立製作所 | 医用画像表示装置及びそれを搭載した医用画像診断装置 |
CN107563123A (zh) * | 2017-09-27 | 2018-01-09 | 百度在线网络技术(北京)有限公司 | 用于标注医学图像的方法和装置 |
EP3528263A1 (en) * | 2018-02-15 | 2019-08-21 | Siemens Healthcare GmbH | Providing a trained virtual tissue atlas and a synthetic image |
JP2019162339A (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 手術支援システムおよび表示方法 |
CN108814717B (zh) * | 2018-06-29 | 2020-10-27 | 微创(上海)医疗机器人有限公司 | 手术机器人系统 |
WO2021152784A1 (ja) * | 2020-01-30 | 2021-08-05 | 株式会社インキュビット | 手術支援システム |
-
2021
- 2021-07-29 US US18/018,219 patent/US20230281968A1/en active Pending
- 2021-07-29 WO PCT/JP2021/028009 patent/WO2022025151A1/ja active Application Filing
- 2021-07-29 CN CN202180058418.6A patent/CN116097287A/zh active Pending
- 2021-07-29 JP JP2021544875A patent/JP7031925B1/ja active Active
-
2022
- 2022-02-16 JP JP2022022311A patent/JP7194889B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236337A (ja) | 2000-02-22 | 2001-08-31 | Fuji Electric Co Ltd | ニューラルネットワークによる予測装置 |
JP2013154037A (ja) | 2012-01-31 | 2013-08-15 | Fujifilm Corp | 手術支援装置、手術支援方法および手術支援プログラム |
JP2019075159A (ja) | 2014-03-28 | 2019-05-16 | 日本電気株式会社 | 学習モデル選択システム、学習モデル選択方法およびプログラム |
JP2018067266A (ja) | 2016-10-21 | 2018-04-26 | 富士レビオ株式会社 | 疾病の発症リスク又は再発リスクを予測するためのプログラム |
US20200093544A1 (en) | 2017-01-06 | 2020-03-26 | Intuitive Surgical Operations, Inc. | System and method for registration and coordinated manipulation of augmented reality image components |
JP2020521946A (ja) | 2017-06-13 | 2020-07-27 | グーグル エルエルシー | 病理学用の拡張現実顕微鏡 |
US20180360342A1 (en) | 2017-06-16 | 2018-12-20 | Biosense Webster (Israel) Ltd. | Renal ablation and visualization system and method with composite anatomical display image |
US20190069957A1 (en) | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
WO2019054045A1 (ja) | 2017-09-15 | 2019-03-21 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム |
JP2019087229A (ja) | 2017-11-02 | 2019-06-06 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
WO2020110278A1 (ja) | 2018-11-30 | 2020-06-04 | オリンパス株式会社 | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 |
Non-Patent Citations (1)
Title |
---|
鈴木 憲次・他,■ラパコレUpdate 最近のコンセプトと手技・1 ▲新連載▼,臨床外科 Journal of Clinical Surgery ,第71巻第8号,株式会社医学書院 IGAKU-SHOIN Ltd. 金原 優,2016年08月20日,p.992~995 |
Also Published As
Publication number | Publication date |
---|---|
US20230281968A1 (en) | 2023-09-07 |
JP2022069464A (ja) | 2022-05-11 |
JPWO2022025151A1 (ja) | 2022-02-03 |
JP7031925B1 (ja) | 2022-03-08 |
WO2022025151A1 (ja) | 2022-02-03 |
CN116097287A (zh) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220331052A1 (en) | Cooperation among multiple display systems to provide a healthcare user customized information | |
EP3463032B1 (en) | Image-based fusion of endoscopic image and ultrasound images | |
US20220095903A1 (en) | Augmented medical vision systems and methods | |
JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
JP7194889B2 (ja) | コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法 | |
JP7153974B2 (ja) | コンピュータプログラム、学習モデルの生成方法、及び画像処理装置 | |
WO2022158451A1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び支援装置 | |
JP7289373B2 (ja) | 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム | |
EP3733047A1 (en) | Surgical system, image processing device, and image processing method | |
KR101595962B1 (ko) | 대장내시경 수술 시뮬레이션시스템 | |
JP2010069208A (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
JP7146318B1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び手術支援装置 | |
JP7387859B2 (ja) | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法及びプログラム | |
US11660158B2 (en) | Enhanced haptic feedback system | |
JP7311936B1 (ja) | コンピュータプログラム、学習モデルの生成方法、及び情報処理装置 | |
JP4615842B2 (ja) | 内視鏡システムおよび内視鏡画像処理装置 | |
WO2022250031A1 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
CN117956939A (en) | Computer program, learning model generation method, and information processing device | |
CN115023171A (zh) | 学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序 | |
CN117479896A (zh) | 包括可在组织穿透外科装置的通道外展开的相机阵列的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7194889 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |