JP7245360B2 - 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ - Google Patents
学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ Download PDFInfo
- Publication number
- JP7245360B2 JP7245360B2 JP2021562557A JP2021562557A JP7245360B2 JP 7245360 B2 JP7245360 B2 JP 7245360B2 JP 2021562557 A JP2021562557 A JP 2021562557A JP 2021562557 A JP2021562557 A JP 2021562557A JP 7245360 B2 JP7245360 B2 JP 7245360B2
- Authority
- JP
- Japan
- Prior art keywords
- endoscope
- procedure information
- procedure
- learning model
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Optics & Photonics (AREA)
- Databases & Information Systems (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Urology & Nephrology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Astronomy & Astrophysics (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Description
図1は、実施形態1における学習モデル生成システム110の概要図である。学習モデル生成システム110は、内視鏡1、内視鏡用プロセッサ2、検出装置4及び情報処理装置5を含む。内視鏡用プロセッサ2には、表示装置3が接続されている。内視鏡1、内視鏡用プロセッサ2及び表示装置3は、コネクタを介して接続されており、電気信号、映像信号等の送受信を行う。内視鏡用プロセッサ2及び検出装置4は夫々情報処理装置5と、例えばLAN(Local Area Network)等のネットワークNを介して通信可能に接続されている。
実施形態2では、学習モデル生成システム120は、内視鏡1の手技を行う内視鏡室内を撮影する撮影装置6を更に含み、撮影装置6で撮影された室内画像を用いた学習モデル522が生成される。図7は、実施形態2における学習モデル生成システム120の概要図である。以下では、実施形態2について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については実施形態1と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
実施形態3では、学習モデル生成システム130は、内視鏡操作者の視線データを検出する視線検出装置7を更に含み、視線検出装置7で検出された視線データを用いた学習モデル522が生成される。図9は、実施形態3における学習モデル生成システム130の概要図である。以下では、実施形態3について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については実施形態1と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
実施形態4では、学習モデル生成システム140の情報処理装置5は、手技レベルに応じた複数種類の学習モデル522を生成する。図11は、実施形態4の学習モデル生成システム140の構成例を示すブロック図である。以下では、実施形態4について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については実施形態1と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。実施形態4の情報処理装置5では、記憶部52に複数の学習モデル522が記憶されている。
実施形態5では、学習モデル生成システムで生成された学習モデル522を用いて、内視鏡用プロセッサ2が、内視鏡1の操作を行う内視鏡操作者へ手技情報を提供する手技支援システムを実現する。図12は、実施形態5の手技支援システム210の構成例を示すブロック図である。以下では、実施形態5について、実施形態1と異なる点を説明する。後述する構成を除く他の構成については実施形態1の学習モデル生成システム110と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
制御部21は、室内画像、視線データ等を取得した場合には、これらの画像データ等を含む画面を表示してよい。更に、制御部21は、内視鏡用プロセッサ2と通信接続された外部測定装置から被検者の血圧、心拍等の生体情報を取得し、手技情報と共に画面に表示してよい。各種の情報を集約して表示装置3へ表示させることにより、内視鏡操作者が複数のモニタに視線を移動させることなく情報を得ることができ、情報の見逃しを防止する。
実施形態6では、手技支援システム220は、内視鏡1の操作を行う内視鏡室内を撮影する撮影装置6を更に含む点で実施形態5と異なる。内視鏡用プロセッサ2は、内視鏡画像、手技情報及び室内画像が入力された場合に、次段階の手技情報を出力するよう学習された学習モデル522を用いて手技情報を提供する。
実施形態7では、手技支援システム230は、内視鏡操作者の視線データを検出する視線検出装置7を更に含む点で実施形態5と異なる。内視鏡用プロセッサ2は、内視鏡画像、手技情報及び視線データが入力された場合に、次段階の手技情報及び視線データを出力するよう学習された学習モデル522を用いて手技情報を提供する。
実施形態8では、手技支援システム240の内視鏡用プロセッサ2は、複数種類の学習モデル522を記憶部に記憶している点で実施形態5と異なる。内視鏡用プロセッサ2は、内視鏡操作者に応じて特定された学習モデル522を用いて手技情報を提供する。
実施形態9では、手技支援システム250の内視鏡用プロセッサ2は、内視鏡操作者の手技レベルを評価する評価モデル523を用いて内視鏡操作者の手技レベルを評価する。図18は、実施形態9の手技支援システム250の構成例を示すブロック図である。以下では、実施形態9について、実施形態5と異なる点を説明する。後述する構成を除く他の構成については実施形態5と同様であるので、共通する構成については同一の符号を付してその詳細な説明を省略する。
実施形態10では、内視鏡用プロセッサ2は、学習モデル522を用いて内視鏡1の種類に応じた次段階の手技情報を推定する。
実施形態11では、3次元画像を用いて手技情報を示す画面情報を表示する。図21は、実施形態11における画面例を示す図である。
実施形態12では、内視鏡用プロセッサ2は、学習モデル522を用いて内視鏡用プロセッサ2の種類に応じた次段階の手技情報を推定する。
実施形態13では、手技状況に応じて手技情報の出力内容を変更する。図23は、実施形態13の内視鏡用プロセッサ2で実行される処理手順の一例を示すフローチャートである。実施形態5の図13と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。
実施形態14では、内視鏡1は飛行時間型(TOF)センサを備え、TOFセンサによる検出値が手技情報に含まれる。実施形態14において、内視鏡1の挿入管11は、対象物までの距離を検出可能なTOFセンサを先端に備えている。内視鏡用プロセッサ2の光源24は、TOFセンサに検出させる赤外光を発する光源を備えている。TOFセンサは、光源24から発光される赤外光が対象物に反射して受光するまでの時間を検出する。TOFセンサを用いることにより、挿入管11の先端から対象物(体内部位)までの距離や、対象物の形状に関するデータを取得することができる。TOFセンサは、検出結果を内視鏡用プロセッサ2に出力する。
1 内視鏡
2 内視鏡用プロセッサ
21 制御部
22 記憶部
2P プログラム
3 表示装置
4 検出装置
5 情報処理装置
51 制御部
52 記憶部
5P プログラム
522 学習モデル
523 評価モデル
6 撮影装置
7 視線検出装置
Claims (30)
- 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は3Dレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルを生成する
学習モデルの生成方法。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルを生成する
学習モデルの生成方法。 - 前記内視鏡の先端の操作データを含む手技情報を取得し、
前記学習モデルに内視鏡画像と内視鏡の先端の操作データを含む手技情報とを入力した場合に、次段階の内視鏡の先端の操作データを含む手技情報を出力するよう学習された前記学習モデルを生成する
請求項1又は請求項2に記載の学習モデルの生成方法。 - 前記学習モデルに内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報に基づく画像を出力するよう学習された前記学習モデルを生成する
請求項1又は請求項3に記載の学習モデルの生成方法。 - 前記内視鏡操作者を含む室内画像を撮影する撮影装置から室内画像を取得し、
取得した内視鏡画像、手技情報及び室内画像と次段階における手技情報とを含む教師データに基づき、前記学習モデルに内視鏡画像、手技情報及び室内画像を入力した場合に、次段階の手技情報を出力するよう学習された前記学習モデルを生成する
請求項1から請求項4のいずれか1項に記載の学習モデルの生成方法。 - 前記内視鏡操作者の視線データを取得し、
取得した内視鏡画像、手技情報及び視線データと、次段階における手技情報及び視線データとを含む教師データに基づき、前記学習モデルに内視鏡画像、手技情報及び視線データを入力した場合に次段階の手技情報及び視線データを出力するよう学習された前記学習モデルを生成する
請求項1から請求項5のいずれか1項に記載の学習モデルの生成方法。 - 前記内視鏡操作者の前記内視鏡の手技に対する手技レベルに応じて複数種類の前記学習モデルを生成する
請求項1から請求項6のいずれか1項に記載の学習モデルの生成方法。 - 前記内視鏡操作者の体格に応じて複数種類の前記学習モデルを生成する
請求項1から請求項7のいずれか1項に記載の学習モデルの生成方法。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は3Dレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルに、取得した内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力して、次段階の両腕及び両手の状態データを含む手技情報を出力する
処理をコンピュータに実行させるプログラム。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルに、取得した内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力して、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する
処理をコンピュータに実行させるプログラム。 - 前記内視鏡の先端の操作データを含む手技情報を取得し、
前記学習モデルに、取得した内視鏡画像と内視鏡の先端の操作データを含む手技情報とを入力して、次段階の内視鏡の先端の操作データを含む手技情報を出力する
処理をコンピュータに実行させる請求項9又は請求項10に記載のプログラム。 - 前記学習モデルは、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報に基づく画像を出力するよう学習されており、
前記内視鏡操作者の両腕及び両手の状態データを含む手技情報を取得し、
前記学習モデルに、取得した内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力して、次段階の両腕及び両手の状態データを含む手技情報に基づく画像を出力する
処理をコンピュータに実行させる請求項9又は請求項11に記載のプログラム。 - 前記内視鏡操作者を含む室内画像を撮影する撮影装置から室内画像を取得し、
内視鏡画像、手技情報及び室内画像と次段階における手技情報とを含む教師データに基づき、内視鏡画像、手技情報及び室内画像を入力した場合に次段階の手技情報を出力するよう学習された前記学習モデルに、取得した内視鏡画像、手技情報及び室内画像を入力して、次段階の手技情報を出力する
処理をコンピュータに実行させる請求項9から請求項12のいずれか1項に記載のプログラム。 - 前記内視鏡操作者の視線データを取得し、
内視鏡画像、手技情報及び視線データと、次段階における手技情報及び視線データとを含む教師データに基づき、内視鏡画像、手技情報及び視線データを入力した場合に次段階の手技情報及び視線データを出力するよう学習された前記学習モデルに、取得した内視鏡画像、手技情報及び視線データを入力し、次段階における手技情報及び視線データを出力する
処理をコンピュータに実行させる請求項9から請求項13のいずれか1項に記載のプログラム。 - 前記内視鏡操作者の前記内視鏡の手技に対する手技レベルを特定し、
手技レベルに応じて用意された複数種類の前記学習モデルから、特定した前記内視鏡操作者の前記内視鏡の手技に対する手技レベルに対応する学習モデルを選択する
処理をコンピュータに実行させる請求項9から請求項14のいずれか1項に記載のプログラム。 - 前記手技情報の出力に並行して、前記内視鏡操作者の前記内視鏡の手技に対する手技レベルを特定する
処理をコンピュータに実行させる請求項9から請求項15のいずれか1項に記載のプログラム。 - 前記内視鏡操作者の体格を特定し、
前記内視鏡操作者の体格に応じて用意された複数種類の前記学習モデルから、特定した前記内視鏡操作者の体格に対応する学習モデルを選択する
処理をコンピュータに実行させる請求項9から請求項16のいずれか1項に記載のプログラム。 - 前記内視鏡用プロセッサは半導体光源を備えており、
前記次段階における光量及び画像処理に係るパラメータを含む手技情報に基づき、キセノンランプを光源に用いた場合の内視鏡画像に近似する内視鏡画像を生成する
処理をコンピュータに実行させる請求項10に記載のプログラム。 - 前記内視鏡操作者の前記内視鏡の手技に対する手技レベルを特定し、
特定した前記手技レベルに応じて、第1の前記手技レベルである場合には前記学習モデルから出力される次段階の手技情報を表示し、
第1の前記手技レベルよりも高い第2の前記手技レベルである場合において、所定の条件を満たすときは、前記学習モデルから出力される次段階の手技情報を表示せず、所定の条件を満たさないときは前記学習モデルから出力される次段階の手技情報を表示する
処理をコンピュータに実行させる請求項9から請求項18のいずれか1項に記載のプログラム。 - 前記内視鏡操作者を含む室内画像を撮影する撮影装置から室内画像を取得し、
取得した室内画像に基づき、前記学習モデルから出力される次段階の手技情報のうち対応済みの手技情報を特定し、
特定した前記対応済みの手技情報を除く前記学習モデルから出力される次段階の手技情報を表示する
処理をコンピュータに実行させる請求項9から請求項19のいずれか1項に記載のプログラム。 - 被検者の管腔臓器を示す3次元画像上に、次段階の手技情報を重畳して表示する画面情報を出力する
処理をコンピュータに実行させる請求項9から請求項20のいずれか1項に記載のプログラム。 - 内視鏡画像を撮影する内視鏡と、前記内視鏡を操作する内視鏡操作者の両腕及び両手の状態データを示す手技情報を取得する3Dレーザセンサと、内視鏡用プロセッサとを備え、
前記内視鏡用プロセッサは、
前記内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡画像及び前記手技情報を取得する取得部と、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像及び手技情報を入力した場合に次段階の手技情報を出力するよう学習された学習モデルと、
前記取得部が取得した内視鏡画像及び手技情報を前記学習モデルに入力して、次段階の手技情報を出力する出力部と
を備える手技支援システム。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、3Dレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含む手技情報を取得する取得部と、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力する学習モデルを生成する生成部と
を備える情報処理装置。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含む手技情報を取得する取得部と、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する学習モデルを生成する生成部と
を備える情報処理装置。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は3Dレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルを生成する
処理をコンピュータに実行させるプログラム。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報を取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
取得した内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルを生成する
処理をコンピュータに実行させるプログラム。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する状態データを含む手技情報をコンピュータが取得し、
前記手技情報は3Dレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルに、取得した前記内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力して、次段階の両腕及び両手の状態データを含む手技情報を出力する
情報処理方法。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する操作データを含む手技情報をコンピュータが取得し、
前記手技情報は前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含み、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルに、取得した前記内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力して、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する
情報処理方法。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、3Dレーザセンサを用いて検出された前記内視鏡操作者の両腕及び両手の状態データを含む手技情報を取得する取得部と、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と両腕及び両手の状態データを含む手技情報とを入力した場合に、次段階の両腕及び両手の状態データを含む手技情報を出力するよう学習された学習モデルと、
前記取得部が取得した内視鏡画像と両腕及び両手の状態データを含む手技情報とを前記学習モデルに入力して、次段階の両腕及び両手の状態データを含む手技情報を出力する出力部と
を備える内視鏡用プロセッサ。 - 内視鏡を操作する内視鏡操作者による前記内視鏡の操作の各段階における前記内視鏡により撮影された内視鏡画像及び前記内視鏡操作者の手技に関する手技情報であって、前記内視鏡により撮影された内視鏡画像を取得する内視鏡用プロセッサにおける光量及び画像処理に係るパラメータを含む手技情報を取得する取得部と、
内視鏡画像及び手技情報と次段階における手技情報とを含む教師データに基づき、内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを入力した場合に、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力するよう学習された学習モデルと、
前記取得部が取得した内視鏡画像と光量及び画像処理に係るパラメータを含む手技情報とを前記学習モデルに入力して、次段階における光量及び画像処理に係るパラメータを含む手技情報を出力する出力部と
を備える内視鏡用プロセッサ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220681 | 2019-12-05 | ||
JP2019220681 | 2019-12-05 | ||
PCT/JP2020/042991 WO2021111879A1 (ja) | 2019-12-05 | 2020-11-18 | 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021111879A1 JPWO2021111879A1 (ja) | 2021-06-10 |
JP7245360B2 true JP7245360B2 (ja) | 2023-03-23 |
Family
ID=76221911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021562557A Active JP7245360B2 (ja) | 2019-12-05 | 2020-11-18 | 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220277461A1 (ja) |
JP (1) | JP7245360B2 (ja) |
WO (1) | WO2021111879A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023037413A1 (ja) * | 2021-09-07 | 2023-03-16 | オリンパス株式会社 | データ取得システムおよびデータ取得方法 |
JPWO2023053333A1 (ja) * | 2021-09-30 | 2023-04-06 | ||
WO2023119599A1 (ja) * | 2021-12-23 | 2023-06-29 | オリンパスメディカルシステムズ株式会社 | 医療支援システムおよび医療支援方法 |
CN115359066B (zh) * | 2022-10-24 | 2022-12-27 | 岱川医疗(深圳)有限责任公司 | 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001000448A (ja) | 1999-06-21 | 2001-01-09 | Hitachi Ltd | 手術装置 |
JP2010108388A (ja) | 2008-10-31 | 2010-05-13 | Konica Minolta Medical & Graphic Inc | 情報処理装置 |
JP2017102755A (ja) | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
WO2018211674A1 (ja) | 2017-05-18 | 2018-11-22 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018216283A1 (ja) | 2017-05-25 | 2018-11-29 | オリンパス株式会社 | 集中制御装置及び機器操作方法 |
WO2019008726A1 (ja) | 2017-07-06 | 2019-01-10 | オリンパス株式会社 | 管状挿入装置 |
WO2019111512A1 (ja) | 2017-12-05 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用情報処理装置、および情報処理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1027089A (ja) * | 1996-07-11 | 1998-01-27 | Fuji Xerox Co Ltd | コンピュータ操作支援装置 |
-
2020
- 2020-11-18 WO PCT/JP2020/042991 patent/WO2021111879A1/ja active Application Filing
- 2020-11-18 JP JP2021562557A patent/JP7245360B2/ja active Active
- 2020-11-18 US US17/627,327 patent/US20220277461A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001000448A (ja) | 1999-06-21 | 2001-01-09 | Hitachi Ltd | 手術装置 |
JP2010108388A (ja) | 2008-10-31 | 2010-05-13 | Konica Minolta Medical & Graphic Inc | 情報処理装置 |
JP2017102755A (ja) | 2015-12-02 | 2017-06-08 | 池上通信機株式会社 | 機械学習支援装置 |
WO2018211674A1 (ja) | 2017-05-18 | 2018-11-22 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018216283A1 (ja) | 2017-05-25 | 2018-11-29 | オリンパス株式会社 | 集中制御装置及び機器操作方法 |
WO2019008726A1 (ja) | 2017-07-06 | 2019-01-10 | オリンパス株式会社 | 管状挿入装置 |
WO2019111512A1 (ja) | 2017-12-05 | 2019-06-13 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用情報処理装置、および情報処理方法 |
Non-Patent Citations (1)
Title |
---|
丸谷 宜史 Takafumi MARUTANI,手術工程に適応的な熟練医の手術手技教示システムの開発 Development of surgical skills training system to teach expert physician's skill appropriate for surgical process,電子情報通信学会技術研究報告 Vol.116 No.37 IEICE Technical Report,日本,一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers,2016年05月12日,第116巻,第53頁-第58頁 |
Also Published As
Publication number | Publication date |
---|---|
WO2021111879A1 (ja) | 2021-06-10 |
US20220277461A1 (en) | 2022-09-01 |
JPWO2021111879A1 (ja) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7245360B2 (ja) | 学習モデルの生成方法、プログラム、手技支援システム、情報処理装置、情報処理方法及び内視鏡用プロセッサ | |
US20230190244A1 (en) | Biopsy apparatus and system | |
US20220336078A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
US20210345893A1 (en) | Indicator system | |
CN105979899B (zh) | 用于设备感知柔性工具配准的系统和方法 | |
JP5676058B1 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP5771757B2 (ja) | 内視鏡システム及び内視鏡システムの作動方法 | |
JP7323647B2 (ja) | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法及びプログラム | |
US20240024034A2 (en) | Systems and methods for hybrid imaging and navigation | |
US11871904B2 (en) | Steerable endoscope system with augmented view | |
WO2019130868A1 (ja) | 画像処理装置、プロセッサ装置、内視鏡システム、画像処理方法、及びプログラム | |
WO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
US20230009335A1 (en) | Guided anatomical manipulation for endoscopic procedures | |
US20220218180A1 (en) | Endoscope insertion control device, endoscope insertion control method, and non-transitory recording medium in which endoscope insertion control program is recorded | |
JP7457415B2 (ja) | コンピュータプログラム、学習モデルの生成方法、及び支援装置 | |
US20220096164A1 (en) | Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system | |
US20220322917A1 (en) | Endoscope processor, endoscope, and endoscope system | |
CN113317874A (zh) | 一种医学图像处理装置及介质 | |
WO2024029502A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
WO2023053333A1 (ja) | 処理システム及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230310 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7245360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |