JPWO2022190740A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2022190740A5 JPWO2022190740A5 JP2023505227A JP2023505227A JPWO2022190740A5 JP WO2022190740 A5 JPWO2022190740 A5 JP WO2022190740A5 JP 2023505227 A JP2023505227 A JP 2023505227A JP 2023505227 A JP2023505227 A JP 2023505227A JP WO2022190740 A5 JPWO2022190740 A5 JP WO2022190740A5
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- detection
- position information
- display
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 28
- 238000005286 illumination Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 2
- 230000000740 bleeding effect Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000000762 glandular Effects 0.000 description 1
- 230000023597 hemostasis Effects 0.000 description 1
- 230000002439 hemostatic effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Images
Description
プロセッサは、検出対象の推定位置情報の数量を少なくとも含む文字表示による位置情報の取得数情報をディスプレイに表示することが好ましい。
内視鏡画像には、第１照明光に基づく第１内視鏡画像と、第１照明光とスペクトルが異なる第２照明光に基づく第２内視鏡画像とが含まれ、プロセッサが、第２内視鏡画像から第１検出処理、第２検出処理、を行い、第１内視鏡画像から検出対象実位置情報、検出対象推定位置情報、及びランドマークの位置情報をディスプレイに表示することが好ましい。
第１検出処理の再開タイミングは、ランドマーク設定処理の失敗時、位置情報推定処理の失敗時、またはユーザ操作時のいずれかであることが好ましい。
ランドマーク検出部２２は、検出対象検出部２１で検出対象を検出した場合に、内視鏡画像に対して第２検出処理を行うことによってランドマークＬＭを検出してランドマークＬＭの位置情報を取得する。ランドマークＬＭには、血管や腺管構造などの各種構造物、粘膜模様、臓器の形状、ユーザ操作によるマーキング、焼灼後のマーキング、及び、体内に付与したマーキング（色素により付与されたマーキング、切開時に注入する膨隆材にラメ、マーカを付与されたマーキング）などが挙げられる。図６に示すように、第１検出処理で検出対象の１つである出血点ＢＳを検出した内視鏡画像において第２検出処理ではランドマークＬＭが検出されると、ランドマークＬＭの位置にランドマーク位置表示用インジケータ３２がディスプレイ１８に表示される。位置情報推定処理の実行のためには複数のランドマークＬＭの検出が必要であり、この場合、互いのランドマーク位置表示用インジケータ３２を区別することができるようにすることが好ましい。例えば、各ランドマーク位置表示用インジケータ３２に区別するための番号ＮＢ（区別用番号）を付している。なお、ランドマークＬＭは、出血領域ＢＰなどの検出対象の近くだけでなく、出血点ＢＳから流出する溜まり血などの検出対象の視認性を低下させる要因を排除するため、検出対象から離れた位置から検出することが好ましい。
なお、ランドマーク処理部２３のうち第２検出処理を行うための処理部は、ランドマークＬＭを含む教師用画像データで機械学習されたランドマーク検出用の学習済みモデルであることが好ましい。また、ランドマーク処理部２３が、ランドマークＬＭの検出に関する信頼度を算出可能である場合には、信頼度に応じて、ランドマークＬＭの位置情報の表示態様（色又は線のスタイルなど）を変化させることが好ましい。例えば、図６に示すように、区別用番号が「４」のランドマークＬＭの信頼度が、その他のランドマークＬＭの信頼度よりも低い場合には、区別用番号が「４」のランドマークＬＭのランドマーク位置表示用インジケータ３２の表示態様（図６では点線）を、その他のランドマークＬＭのランドマーク位置表示用インジケータ３２の表示態様（図８などでは実線）と異ならせることが好ましい。
推定位置表示制御処理においては、推定位置情報の信頼度に応じて、本実施形態では推定位置表示用インジケータ３６としている推定位置用表示態様を変化させることが好ましい。この場合には、推定位置情報算出部２５は、推定位置情報の算出に合わせて、推定位置情報の信頼度を算出する。例えば、機械学習済みのモデルから、推定位置情報の確信度を推定位置情報の信頼度として算出することが好ましい。ユーザは、推定位置情報の信頼度に応じて、観察対象に対する操作を選択することができる。例えば、信頼度が高い場合には、出血点ＢＳに対する止血処理を行う一方、信頼度が低い場合には、間違った箇所を止血しないようにするため、止血処理を行わない。
表示制御部２４は、通知音、及びディスプレイ１８における通知を使用して各処理の結果の通知を行ってもよい。図１３に示すように、検出対象が確認できている場合は、例えば出血点ＢＳが存在する内視鏡画像から第１検出処理により検出対象として出血点ＢＳを検出した結果、「検出対象検出」と通知を行い、第２検出処理によるランドマークＬＭの検出時にはランドマーク位置表示用インジケータ３２の表示と共に「ランドマーク検出」と通知をディスプレイ１８に通知欄４０を展開して行ってもよい。通知欄４０は常に展開する必要はなく、通知事由が発生した際に５秒間など一時的な表示をする。また、通知内容はディスプレイ１８の表示だけではなく、通知音を発するようにしてもよい。以下に検出対象が非検出となった際に実施する位置情報推定処理開始の条件である、ランドマーク設定が完了している場合と未完了となる場合に分けて通知の実施例を説明する。
また、トラッキングモードにおける位置情報の取得数をディスプレイ１８に表示しても良い。例えば、図１６に示すように、トラッキングモードにおける位置情報の取得数を表示する取得数情報表示欄４１をディスプレイ１８の右上に展開する。取得数情報表示欄４１は常に展開し、トラッキングモード中の第１検出処理や第２検出処理により検出した検出対象やランドマークＬＭの位置数、及び位置情報推定処理により算出した検出対象の推定位置情報の取得数を文字表示していることが好ましい。例えば、第１検出処理の結果で出血点ＢＳを１箇所検出した場合は、「出血点検出数：１」、「ランドマーク検出数：０」、「推定位置算出数：０」と表示し、続く第２検出処理の結果で５箇所のランドマークＬＭを検出した場合は「出血点検出数：１」、「ランドマーク検出数：５」、「推定位置算出数：０」と表示し、ランドマーク設定が完了したが検出対象が非検出となった場合は「出血点検出数：０」、「ランドマーク検出数：５」、「推定位置算出数：０」と表示する。位置情報の取得数に変動があるたびに取得数の表示を更新する。更に取得数以外の実行中の処理に関して、「第１検出処理中」「ランドマーク設定処理中」「位置情報推定処理中」という進行している処理の内容を表示してもよい。なお、図１３－１５の通知欄４０と取得数情報表示欄４１はどちらか片方のみを利用してもよいし、両方を組み合わせて利用してもよい。なお、取得数は、推定位置情報の数量を含むことに加えて、検出対象の数量とランドマークの数量を含めてもよい。
第１検出処理の再検出開始タイミングは、ランドマーク設定処理完了前に検出対象が消失したタイミング、（ランドマーク設定処理失敗時）、位置情報推定処理完了前にランドマークが消失したタイミング（位置情報推定処理失敗時）とすることが好ましい。
位置情報推定処理に使用するランドマークＬＭを更新する場合、更新前をランドマークＬＭ、更新後を新規のランドマークＬＭ２とする。図２０（Ａ）はランドマークＬＭによる位置情報推定処理で推定位置表示用インジケータ３６を表示する。新たなフレームを取得した場合は図２０（Ｂ）に示すように、前後のフレーム撮影の移動方向に合わせて検出対象の推定位置を囲む新規のランドマークＬＭ２を検出し、新規のランドマーク位置表示用インジケータ３８を表示する。また、新規のランドマークＬＭ２は検出対象推定位置情報と関連付けをする新規のランドマーク設定処理を行い、新規の相対関係を算出する。新規の相対関係は新規のリンクライン３９で表示する。新規のリンクライン３９は、リンクライン３４より目立たず、混同しないような点線などを用いることが好ましい。なお、各ランドマーク位置表示用インジケータ３２に区別するための番号ＮＢ（区別用番号）は新規のランドマーク位置表示用インジケータ３８にも付与できるが、視認性が悪くなる場合は付与しなくてもよい。その場合、ランドマーク位置表示用インジケータ３２に付与された分も非表示にしてもよい。なお、新規の相対関係は検出対象と新規のランドマークＬＭ２のみではなく、更新前のランドマークＬＭも用いて算出してもよい。重複して使用するランドマークＬＭは、フレーム撮影の移動方向に対して内視鏡画面内に収まり続ける位置であることが好ましい。
１０ 内視鏡システム
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｆ モード切替スイッチ
１２ｇ 静止画取得指示スイッチ
１２ｈ ズーム操作部
１２ｉ 送水スイッチ
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ ユーザーインターフェース
１７ 拡張プロセッサ装置
１８ ディスプレイ
１９ 送水装置
２０ 画像取得部
２１ 検出対象検出部
２２ ランドマーク検出部
２３ ランドマーク処理部
２４ 表示制御部
２５ 推定位置情報算出部
２６ 検出メモリ
２７ 処理タイミング設定部
３０ 検出位置表示用インジケータ
３２ ランドマーク位置表示用インジケータ
３４ リンクライン
３６ 推定位置表示用インジケータ
３８ 新規のランドマーク位置表示用インジケータ
３９ 新規のリンクライン
４０ 通知欄
４１ 取得数情報表示欄
ＢＳ 出血点
ＢＰ 出血領域
ＬＭ ランドマーク
ＬＭ２ 新規のランドマーク
１２ 内視鏡
１２ａ 挿入部
１２ｂ 操作部
１２ｃ 湾曲部
１２ｄ 先端部
１２ｆ モード切替スイッチ
１２ｇ 静止画取得指示スイッチ
１２ｈ ズーム操作部
１２ｉ 送水スイッチ
１３ 光源装置
１４ プロセッサ装置
１５ ディスプレイ
１６ ユーザーインターフェース
１７ 拡張プロセッサ装置
１８ ディスプレイ
１９ 送水装置
２０ 画像取得部
２１ 検出対象検出部
２２ ランドマーク検出部
２３ ランドマーク処理部
２４ 表示制御部
２５ 推定位置情報算出部
２６ 検出メモリ
２７ 処理タイミング設定部
３０ 検出位置表示用インジケータ
３２ ランドマーク位置表示用インジケータ
３４ リンクライン
３６ 推定位置表示用インジケータ
３８ 新規のランドマーク位置表示用インジケータ
３９ 新規のリンクライン
４０ 通知欄
４１ 取得数情報表示欄
ＢＳ 出血点
ＢＰ 出血領域
ＬＭ ランドマーク
ＬＭ２ 新規のランドマーク
Claims (1)
- 前記内視鏡画像には、第１照明光に基づく第１内視鏡画像と、前記第１照明光とスペクトルが異なる第２照明光に基づく第２内視鏡画像とが含まれ、
前記プロセッサが、前記第２内視鏡画像から前記第１検出処理、前記第２検出処理、を行い、前記第１内視鏡画像から前記検出対象実位置情報、前記検出対象推定位置情報、及び前記ランドマークの位置情報を前記ディスプレイに表示する請求項１ないし１０いずれか１項記載の内視鏡システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021037558 | 2021-03-09 | ||
| PCT/JP2022/004837 WO2022190740A1 (ja) | 2021-03-09 | 2022-02-08 | 内視鏡システム及びその作動方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2022190740A1 JPWO2022190740A1 (ja) | 2022-09-15 |
| JPWO2022190740A5 true JPWO2022190740A5 (ja) | 2023-12-06 |
Family
ID=83227884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023505227A Pending JPWO2022190740A1 (ja) | 2021-03-09 | 2022-02-08 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230421887A1 (ja) |
| EP (1) | EP4306035A1 (ja) |
| JP (1) | JPWO2022190740A1 (ja) |
| CN (1) | CN116963655A (ja) |
| WO (1) | WO2022190740A1 (ja) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011036371A (ja) | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
| KR102163327B1 (ko) | 2012-07-25 | 2020-10-08 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템 |
| WO2019106712A1 (ja) * | 2017-11-28 | 2019-06-06 | オリンパス株式会社 | 内視鏡画像処理装置及び内視鏡画像処理方法 |
| JP2021112220A (ja) | 2018-04-17 | 2021-08-05 | ソニーグループ株式会社 | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
| WO2019244255A1 (ja) * | 2018-06-19 | 2019-12-26 | オリンパス株式会社 | 内視鏡画像処理装置および内視鏡画像処理方法 |
| US20210345856A1 (en) * | 2018-10-18 | 2021-11-11 | Sony Corporation | Medical observation system, medical observation apparatus, and medical observation method |
| JP7127785B2 (ja) * | 2018-11-30 | 2022-08-30 | オリンパス株式会社 | 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法 |
| JP2021029979A (ja) * | 2019-08-29 | 2021-03-01 | 国立研究開発法人国立がん研究センター | 教師データ生成装置、教師データ生成プログラム及び教師データ生成方法 |
-
2022
- 2022-02-08 EP EP22766705.2A patent/EP4306035A1/en active Pending
- 2022-02-08 CN CN202280020345.6A patent/CN116963655A/zh active Pending
- 2022-02-08 WO PCT/JP2022/004837 patent/WO2022190740A1/ja active Application Filing
- 2022-02-08 JP JP2023505227A patent/JPWO2022190740A1/ja active Pending
-
2023
- 2023-09-08 US US18/463,930 patent/US20230421887A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8257247B2 (en) | Endoscope insertion shape detecting device | |
| JP4009639B2 (ja) | 内視鏡装置、内視鏡装置のナビゲーション方法、内視鏡画像の表示方法、及び内視鏡用画像表示プログラム | |
| US10419680B2 (en) | Endoscope system and method of controlling endoscope system | |
| US9055881B2 (en) | System and method for image-based alignment of an endoscope | |
| US20210287395A1 (en) | Information processing system, endoscope system, information storage medium, and information processing method | |
| EP3785661A2 (en) | Systems and methods for displaying medical video images and/or medical 3d models | |
| KR20200091943A (ko) | 수술 시스템의 효율적인 쌍방향 출혈 검출 방법 및 시스템 | |
| CN108030550B (zh) | 一种基于虚拟成像的动脉瘤的瘤颈角度计算方法 | |
| Bagga et al. | Traumatic airway injuries: role of imaging | |
| JPWO2012108085A1 (ja) | 医療機器 | |
| JPH07505308A (ja) | 視点の運動性のテスト方法および装置 | |
| JPWO2022190740A5 (ja) | ||
| WO2016185912A1 (ja) | 画像処理装置および画像処理方法、並びに手術システム | |
| WO2020231157A1 (ko) | 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법 | |
| JPWO2022191129A5 (ja) | ||
| WO2022190740A1 (ja) | 内視鏡システム及びその作動方法 | |
| EP4306032A1 (en) | Endoscope system and method for operating same | |
| WO2022191128A1 (ja) | 内視鏡システム及びその作動方法 | |
| JP2021083954A (ja) | 医用情報提供装置、医用情報提供装置の制御方法、及びプログラム | |
| JP2024036699A5 (ja) | ||
| US11782258B2 (en) | Endoscopic inspection system and method thereof | |
| Arcila et al. | Utility and techniques of intraoperative endoscopy and interventions | |
| WO2019106711A1 (ja) | 医療システムおよび医療システムの作動方法 | |
| WO2022072700A1 (en) | Systems and method of planning thoracic surgery | |
| JP2021119986A (ja) | コンピュータプログラム及び映像再生方法 |