JP2023521221A - 解析領域に限定された発光画像のセグメンテーションの照合 - Google Patents
解析領域に限定された発光画像のセグメンテーションの照合 Download PDFInfo
- Publication number
- JP2023521221A JP2023521221A JP2022562575A JP2022562575A JP2023521221A JP 2023521221 A JP2023521221 A JP 2023521221A JP 2022562575 A JP2022562575 A JP 2022562575A JP 2022562575 A JP2022562575 A JP 2022562575A JP 2023521221 A JP2023521221 A JP 2023521221A
- Authority
- JP
- Japan
- Prior art keywords
- luminescence
- computing device
- image
- region
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 129
- 230000011218 segmentation Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 155
- 238000004020 luminiscence type Methods 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 62
- 238000004590 computer program Methods 0.000 claims abstract description 21
- 239000000463 material Substances 0.000 claims abstract description 16
- 238000002405 diagnostic procedure Methods 0.000 claims abstract description 6
- 238000002073 fluorescence micrograph Methods 0.000 claims description 92
- 239000000891 luminescent agent Substances 0.000 claims description 21
- 230000005284 excitation Effects 0.000 claims description 19
- 238000001356 surgical procedure Methods 0.000 claims description 18
- 239000003795 chemical substances by application Substances 0.000 claims description 13
- 230000001419 dependent effect Effects 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 7
- 230000001225 therapeutic effect Effects 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 claims description 5
- 239000000126 substance Substances 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000003936 working memory Effects 0.000 claims description 4
- 238000002560 therapeutic procedure Methods 0.000 abstract description 3
- 206010028980 Neoplasm Diseases 0.000 description 33
- 230000009467 reduction Effects 0.000 description 25
- 210000001519 tissue Anatomy 0.000 description 17
- 230000008569 process Effects 0.000 description 16
- 230000003902 lesion Effects 0.000 description 15
- 239000003638 chemical reducing agent Substances 0.000 description 14
- 239000000523 sample Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000002411 adverse Effects 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 230000000750 progressive effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 108091006146 Channels Proteins 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 230000005281 excited state Effects 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 241001672018 Cercomela melanura Species 0.000 description 1
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 1
- 101000694017 Homo sapiens Sodium channel protein type 5 subunit alpha Proteins 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005415 bioluminescence Methods 0.000 description 1
- 230000029918 bioluminescence Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 238000004374 forensic analysis Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 1
- 229960004657 indocyanine green Drugs 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010255 intramuscular injection Methods 0.000 description 1
- 239000007927 intramuscular injection Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000003446 ligand Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000006199 nebulizer Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000069 prophylactic effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000699 topical effect Effects 0.000 description 1
- 229940041677 topical spray Drugs 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Analysis (AREA)
Abstract
発光物質を含むターゲット(115)を備えた視野(103)を撮像するための手法を提案する。対応する方法(500)は、ターゲット(115)の疑わしい表現を囲む発光画像(205;205F)の一部に解析領域(225;260)を設定すること(512~552)と、解析領域(225;260)を、発光物質の検出セグメント(230d;265d)と非検出セグメント(230n;265n)とに分割すること(554~556)とを含み、発光画像(205;205F)は、セグメンテーションの品質に基づいて、照合インジケータに従って強調表示される検出セグメント(230d;265d)とともに表示される(558-586)。方法(500)を実装するためのコンピュータプログラム(400)および対応するコンピュータプログラム製品も提案する。また、対応するシステム(100)を提案する。さらに、同じ手法に基づいた手術方法、診断方法および治療方法も提案する。
Description
本開示は、イメージング応用に関する。より詳細には、本開示は、発光(luminescence)イメージングに関する。
本開示の背景は、その文脈に関する技術の議論とともに以下に導入される。しかしながら、この議論が文書、行為、アーチファクト等を参照した場合でも、議論された技術が先行技術の一部であることや、本開示に関連する分野における共通の一般的知識であることを示唆したり表現したりするものではない。
発光イメージング、特に蛍光(fluorescence)イメージングが、それらが直接見えない場合でも、物体の視覚的表現を提供する画像を取得するために使用される特定のイメージング手法である。発光イメージングは、加熱とは異なる励起を受けた場合、発光物質による光の放出からなる発光現象をベースとしており、特に蛍光物質(蛍光色素分子と呼ばれる)において蛍光現象が発生する。これらは、照明された場合に光(蛍光)を放出する。この目的のために、蛍光画像は、一般に、物体の異なる場所、そして、そこに存在する蛍光色素分子から放出される蛍光光を表現するように表示される。
蛍光イメージングは、患者の(内部)身体部分を検査するために医療機器で日常的に利用されている。この場合、蛍光剤(可能ならば、所望のターゲット、例えば、腫瘍のような病変の特定の分子に到達し、そして、蛍光分子イメージング(FMI)アプリケーションではそこに固定状態に留まるように構成される)が、一般に患者に投与される。蛍光画像中の(固定された)蛍光剤の表現は、ターゲットの識別(および定量化)を容易にする。この情報は、いくつかの医療用途において、例えば、手術用途では切除対象の病変のマージン(縁)を認識するために、診断用途では病変を発見または監視するために、治療用途では治療対象の病変を描写するために使用できる。
しかしながら、病変の正確な認識はかなり困難な状態のままであり、それは、いくつかの妨害因子によって悪影響を受けるためである。例えば、病変は、それらの組織の生物学および灌流の違いのために、可変量の蛍光光を放出できる。さらに、病変とは異なる視野の他の部分は、それらのタイプに従って変化する妨害蛍光光を放出できる。例えば、妨害光は、手術機器、手、手術ツール、周囲の身体部分(例えば、手術空洞の周囲の皮膚またはその内部の無関係な器官)、バックグラウンド材料に起因することがある。
特に、蛍光画像は、ほぼ均質な特性を備えた部分(セグメント)にしばしば分割され、蛍光色素分子(そして対応するターゲット)を視野の残りから区別する。医療用途を特に参照すると、蛍光画像のセグメンテーション(分割)を使用して、健康組織からの病変を区別できる。この目的のために、身体部分の場所は、各蛍光画像の対応する(蛍光)値をセグメンテーション閾値と比較することによって、病変のセグメントまたは健康組織のセグメントに分類される。セグメンテーション閾値は、一般に、蛍光値の統計的分布に従って自動的に計算される。しかしながら、妨害光は、蛍光値の統計的分布にバイアスをかけて、そしてセグメンテーション閾値にバイアスをかける(それを増加または減少させる)。これは、身体部分の場所を誤分類するリスクを伴う。
例えば、手術用途では、これは病変のマージン(縁)の正確な認識に関して不確実性をもたらす(病変の不完全な切除または健康組織の過剰な除去のリスクを伴う)。診断用途では、これは、病変の識別および/または定量化に悪影響を及ぼし、これは誤った解釈を導くことがある(偽陽性/陰性のリスクおよび誤ったフォローアップ)。治療用途では、これは、治療対象の病変の描写に悪影響を及ぼす(治療の減少した有効性または健康組織への損傷のリスクを伴う)。
米国公開第2019/030371号明細書は、3D医療画像を分割するための手法を開示する。この目的のために、2Dまたは2.5D上で動作する第1ニューラルネットワークを使用して、より大きい3D構造内のより小さい関心領域の迅速な推定を生成し、そして、3D上で動作する第2ニューラルネットワークを使用して、こうした関心領域のより正確なセグメンテーションを得る。
本開示の簡略化した要旨は、ここでは、その基本的な理解を提供するために提示している。しかしながら、この要旨の唯一の目的は、本開示のいくつかの概念を、下記のより詳細な説明の前置きとして簡略化した形態で導入することである。それは、そのキー要素の識別としてもその範囲の描写としても解釈されるべきでない。
一般論として、本開示は、解析領域に限定された場合にセグメンテーションを照合するアイデアをベースとしている。
特に、一態様が、発光物質を含むターゲットを含む視野を撮像する方法を提供する。この方法は、ターゲットの疑わしい表現を囲む発光画像の一部に解析領域を設定することと、解析領域を、発光剤の検出セグメントと非検出セグメントとに分割することとを含む。
そして、発光画像は、セグメンテーション(分割)の品質に基づいて、照合インジケータに従って強調表示される検出セグメントとともに表示される。
そして、発光画像は、セグメンテーション(分割)の品質に基づいて、照合インジケータに従って強調表示される検出セグメントとともに表示される。
更なる態様が、この方法を実装するためのコンピュータプログラムを提供する。
更なる態様が、対応するコンピュータプログラム製品を提供する。
更なる態様が、この方法を実装するためのシステムを提供する。
更なる態様が、対応する手術方法を提供する。
更なる態様が、対応する診断方法を提供する。
更なる態様が、対応する治療方法を提供する。
より詳細には、本開示の1つ以上の態様が独立請求項に記述され、その有利な特徴が従属請求項に記述されており、全ての請求項の言い回しは、参照により文字どおりにここに組み込まれている(他の全ての態様に準用される任意の特定の態様を参照して提供される任意の有利な特徴を備える)。
本開示の手法、そしてその追加の特徴および利点は、下記詳細な説明を参照して、添付図面と関連して読まれる非限定的な表示を単に用いて、最善に理解されるであろう(ここで、簡略化のために、対応する要素は等しいまたは類似の参照符号が付与され、それらの説明は繰り返さず、各実体の名前は、一般にそのタイプおよびその属性(例えば、値、内容および表現)の両方を示すために使用される)。
特に図1を参照すると、本開示の実施形態に係る手法を実践するために使用できるイメージングシステム100の概略ブロック図が示されている。
イメージングシステム100は、対応する視野103(イメージングシステム100が感度を有する立体角内の世界の一部によって定義される)の場面(scene)を撮像することを可能にする。例えば、イメージングシステム100は、通常は蛍光ガイド手術(FGS)、特に腫瘍に関連する場合には蛍光ガイド切除(FGR)として知られている手術用途において外科医を支援するために使用される。この特定の場合、視野103は、蛍光剤が投与された(例えば、腫瘍に蓄積するように適合した)手術処置を受ける患者106に関連する。視野103は、患者106の身体部分109を含み、手術空洞112(例えば、低侵襲手術での小さな皮膚切開部)が、切除すべき腫瘍115を露出させるために開放されている。視野103はまた、手術空洞112(不図示)とは異なる1つ以上の異物、例えば、手術器具、手、手術ツール、周囲の身体部分、バックグラウンド材料など(手術空洞112の周囲や重複するもの)を含むことがある。
イメージングシステム100は、視野103の画像を取得するためのイメージングプローブ127と、その動作を制御するための中央ユニット121とを有する。
イメージングプローブ118から開始すると、照明ユニット(視野103を照明するため)と、下記コンポーネントを備える取得ユニット(視野103の画像を取得するため)とを有する。照明ユニットでは、励起光源124および白色光源127が励起光および白色光をそれぞれ発生する。励起光は、蛍光剤の蛍光色素分子を励起するのに適した波長およびエネルギー(例えば、近赤外線、またはNIRのタイプ)を有し、一方、白色光は、人間の眼に実質的に無色であるように見える(例えば、人間の眼にとって可視であるスペクトルの全ての波長を等しい強度で含む)。
対応する伝送光学系130および伝送光学系133は、励起光および白色光を(同じ)視野103にそれぞれ伝送する。取得ユニットでは、収集光学系136は、視野103からの光を収集する(落射照明配置で)。収集された光は、視野内に存在する任意の蛍光色素分子(励起光によって照明される)によって放出される蛍光を含む。実際、蛍光色素分子は、励起光を吸収した場合に励起(電子)状態になり、励起状態は不安定であり、その結果、蛍光色素分子は、そこから極めて短時間で基底(電子)状態に減衰し、これにより照明された蛍光色素分子の量に依存した強度で(励起状態で熱として散逸されるエネルギーのために励起光のものより長い特性波長で)蛍光光を放出する(そして、他の要因は、視野103および身体部分109内の蛍光色素分子位置を含む)。
さらに、収集された光は、視野内に存在する任意の物体(白色光によって照明される)によって反射される可視スペクトル内の反射光、または可視光を含む。ビームスプリッタ139が、収集された光を2つのチャネルに分割する。例えば、ビームスプリッタ139は、収集された光を、可視光のスペクトルと蛍光光のスペクトルとの間の閾値波長の上下の波長でそれぞれ透過し反射するダイクロイックミラーである(または逆も同様)。ビームスプリッタ139の(透過した)チャネルでは、そのスペクトル中の収集された光の一部によって規定される蛍光光を用いて、発光フィルタ142が、蛍光光をフィルタ処理して、励起光(これは、視野によって反射されるかもしれない)および周囲光(固有の蛍光によって生成されるかもしれない)を除去する。
蛍光カメラ145(例えば、EMCCDタイプ)が、発光フィルタ142からの蛍光光を受光し、視野103内の蛍光色素分子の分布を表す対応する蛍光(デジタル)画像を発生する。ビームスプリッタ139の他の(反射した)チャネルでは、そのスペクトルにおける集光された光の一部によって規定される可視光を備え、反射率または写真のカメラ148(例えば、CCDタイプ)が、可視光を受光し、視野103内で人間の眼に見えるものを表す対応する反射率または写真(デジタル)画像を発生する。
中央ユニット121に移動すると、それは、バス構造151を介して互いに接続されたいくつかのユニットを備える。特に、1つ以上のマイクロプロセッサ(μP)154が、中央ユニット121の論理能力を提供する。不揮発性メモリ(ROM)157が、中央ユニット121のブートストラップのための基本コードを保存し、揮発性メモリ(RAM)160が、マイクロプロセッサ154によってワーキングメモリとして使用される。中央ユニット121には、プログラムおよびデータを保存するための大容量メモリ163(例えば、半導体ディスクまたはSSD)が設けられる。
さらに、中央ユニット121は、周辺機器または入力/出力(I/O)ユニットのための複数のコントローラ166を備える。特に、コントローラ166は、励起光源124、白色光源127、蛍光カメラ145およびイメージングプローブ118の写真カメラ148を制御する。さらに、コントローラ166は、更なる周辺機器(参照符号169で全体として示す)、例えば、画像表示のための1つ以上のモニタ、コマンド入力用のキーボード、モニタ上のポインタを移動するためのトラックボール、着脱可能なストレージユニット(例えば、USBキー)を読み書きするための駆動装置、通信ネットワーク(例えば、LAN)に接続するためのネットワークインタフェースカード(NIC)を制御する。
ここで図2A~図2Cを参照して、本開示の一実施形態に係る手法の様々な応用例を示す。特に、図2A~図2Cは、(基本的な)未支援動作モードに関し、図3A~図3Dは、イメージングシステムの(高度)支援動作モードに関する。
図2A(未支援動作モード)から開始すると、視野103の蛍光画像205が取得されている。蛍光画像205は、手術空洞112(腫瘍を有する)ならびに、手術空洞112の周囲にある皮膚210、組織リトラクタ215およびクランプ220を含む様々な異物の表現を提供する。
図2Bを参照して、本開示の一実施形態に係る手法では、解析領域225が、腫瘍の(疑わしい)表現を囲む蛍光画像205の一部に設定される。特に、この特定の実装では、解析領域225は、予め定義された形状およびサイズ(蛍光画像205の予め定義した部分に等しい小さな正方形)を有し、蛍光画像205の中心に位置する(可能ならば、腫瘍およびいくつかの隣接する健康な組織の表現を含むように調整される)。
図2Cに移行して、解析領域225は、解析領域225だけの蛍光画像205の(蛍光)値に従って、検出セグメント230dと非検出セグメント230nとに分割される。検出セグメント230dは、蛍光剤の検出を表現し、非検出セグメント230nは、蛍光剤の非検出を表現しており、即ち、この場合、(疑わしい)腫瘍およびそのバックグランドを定義する健康な組織をそれぞれ表現する。
例えば、解析領域225の蛍光値の統計分布に従って、セグメンテーション閾値が計算される。視野103の対応する場所が、蛍光値とセグメンテーション閾値との比較に従って、検出セグメント230dまたは非検出セグメント230nに割り当てられる。そして、解析領域225のセグメンテーションの品質インジケータに基づいて、照合インジケータが決定される。
例えば、検出セグメント230dの蛍光値の平均値(図中の腫瘍について腫瘍強度(TIは6123に等しい)および、非検出セグメント230nの蛍光値の平均値(図中の健康な組織のバックグラウンドについてバックグラウンド強度(BI)は4386に等しい)が計算される。照合インジケータは、非検出セグメント(230n)の平均値で除算された検出セグメント230dの平均値によって与えられる品質インジケータに設定される(図中の腫瘍対バックグラウンド比率(TBR)は1.4に等しい)。そして、蛍光画像205は、照合インジケータに従って強調表示された検出セグメント230dとともに表示される。
例えば、照合インジケータは、手術処置のタイプについて予め定義された照合閾値(図ではTH=1)と比較される。照合インジケータが照合閾値よりも高い場合(この場合は1.4>1)、検出セグメント230dは着色(カラー)され、一方、それ以外は白黒のままである(図に示さない)。
上記の手法は、腫瘍の認識を著しく容易にする。実際、(小さい)解析領域225だけへのセグメンテーションの制限により、腫瘍とは異なる視野103の他の部分からの妨害蛍光光に起因した蛍光光のさらなる変動を排除することが可能になる。
特に、解析領域225内の蛍光値の統計的分布は、今はバイアスされていない(蛍光画像205の残りに影響を及ぼす妨害光がそれに関与しないため)。その結果、セグメンテーション閾値はより正確であり、それにより視野103の場所の誤分類のリスクを低減する。
同時に、蛍光画像205の可視化(視野103全体を表現する)は、身体部分内の腫瘍のコンテクスト化された表現を提供する。さらに、これにより、必要に応じて解析領域225を視野103の更なる部分に移動させることが可能になる。
いずれの場合も、照合インジケータに従って検出セグメント230dの(動的)強調表示により、実際に存在すべき場合にのみ腫瘍を認識することを可能にする。実際、セグメンテーションの品質が充分に良好である場合、検出セグメント230dが腫瘍を表す可能性が非常に高い。この場合、検出セグメント230dの強調表示された可視化は、外科医にとって直ちに明らかであり、そのため身体部分の対応する部分が、真陽性に関係する高い信頼性で切除ができる。逆に、セグメンテーションの品質が比較的悪い場合には、検出セグメント230dが実際に腫瘍を表現するかは疑わしい。この場合、検出セグメントの欠落(または減少)した強調は、偽陽性のリスクが存在するため、外科医が身体部分の対応する部分に作用するのを防止する。
上記の手法は、腫瘍の不完全な切除または健康な組織の過剰な除去のリスクを著しく減少させる。上記の全ては、患者の健康にとって有益な効果を有する。
図3A(支援動作モード)を参照して、同じの視野103の対応する反射画像205Rおよび蛍光画像205Fのペアが取得されている。反射画像205Rおよび蛍光画像205Fは、手術空洞112(腫瘍を有する)ならびに、皮膚235、手術空洞112の周囲にある組織リトラクタ240および手術空洞112と重なり合う外科医の手245(部分的に)を含む様々な異物の同時表現を提供する(可視光および蛍光の意味で)。
図3Bに移動して、本開示の一実施形態に係る手法では、反射画像205Rにおいて、そのコンテンツに従って(反射)情報領域250Riが識別される。情報領域250Rは、異物(この場合、皮膚、組織リトラクタおよび外科医の手)がない手術空洞を表現し、そして、手術処置のために実際に関心がある視野103の情報部分(即ち、関心のある領域またはROI)を表現する。そして、反射画像205Rの残りは、異物を表現する(反射)非情報領域250Rnを画定し、そして手術処置のために関心のない視野103の非情報部分を画定する。例えば、下記に詳説するように、この結果は、セマンティックセグメンテーション(semantic segmentation)手法(例えば、ニューラルネットワークの使用をベースとする)を用いて達成される。
反射画像205Fにおける情報領域250Ri(そして非情報領域250Rnも)の識別は、蛍光画像205Fに転送される。特に、(蛍光)情報領域250Fiが、情報領域250Riに対応する蛍光画像205Fにおいて識別される。その結果、蛍光画像205Fの残りは、非情報領域250Rnに対応する(蛍光)非情報領域250Fnを画定する。
図3Cに移動して、類似の解析領域260が、腫瘍の(疑わしい)表現を囲む情報領域250Fiの一部(蛍光画像205F内)に設定される。特に、この特定の実装では、解析領域260は、予め定めた定義された形状およびサイズ(情報領域250Fiの予め定義された部分に等しい小さい正方形)を有し、情報領域250Fiの中心に位置する(可能ならば、腫瘍およびいくつかの隣接する健康な組織の表現を含むように調整される)。
図3Dに移動して、解析領域260は、上述と同様に処理される。従って、解析領域260は、解析領域260のみでの蛍光画像205Fの蛍光値に従って、検出セグメント265dと非検出セグメント265nとに分割される(その蛍光値の統計的分布に従って計算されるセグメンテーション閾値を用いて)。照合インジケータが、解析領域260のセグメンテーションの品質インジケータ(例えば、対応するTBRに設定される)に基づいて判断される。図に示すように、この場合、蛍光画像(205F)は、照合インジケータに従って強調された検出セグメント265dとともに表示され、例えば、照合インジケータが照合閾値よりも高い場合には着色される(図には示していないが、それ以外では白黒のままである)。
上記の実装は、腫瘍の認識の信頼性をさらに改善する。実際、この場合、手術空洞の(情報的)表現だけが考慮され、その代わり、異物の(非情報的な)表現を自動的に無視する(その周囲にあり、および/またはそれと重なり合うもの)。これは、解析領域260のセグメンテーションにおける異物の悪影響を回避する(または少なくとも実質的に減少させる)。特に、解析領域260のセグメンテーションが基礎にした蛍光値の統計的分布は、今はバイアスされていない(非情報領域250Fn内の蛍光値はそれに関与しないため)。
ここで図4を参照して、本開示の実施形態に係る手法を実装するために使用できる主要ソフトウェアコンポーネントを示している。
全てのソフトウェアコンポーネント(プログラムおよびデータ)は、全体として参照400で示している。ソフトウェアコンポーネント400は、典型的には、大容量メモリに保存され、プログラムが実行する場合、オペレーティングシステムおよび本開示の手法に直接に関係しない他のアプリケーションプログラム(簡素化のために図では省略)とともに、イメージングシステムの中央ユニットのワーキングメモリに(少なくとも部分的に)ロードされる。プログラムは、例えば、リムーバブルストレージユニットから、または通信ネットワークから大容量メモリに最初にインストールされる。この点に関して、各プログラムは、コードのモジュール、セグメントまたは一部でもよく、これは、特定の論理機能を実装するための1つ以上の実行可能命令を含む。
蛍光マネージャ(管理部)405が、この目的のために適切に照明された視野の蛍光画像を取得するために専用のイメージングシステムの蛍光ユニット(励起光源および蛍光カメラを含む)を管理する。蛍光マネージャ405は、蛍光画像リポジトリ(貯蔵庫)410に(ライト(write)モードで)アクセスし、これは、進行中のイメージングプロセス中に連続して取得される一連の蛍光画像を保存する。
各蛍光画像は、セルのマトリクス(例えば、512行および512列)を含むビットマップによって定義され、各々が画素の(蛍光)値、即ち、視野の(蛍光)場所に対応する基本画素の(蛍光)値をそれぞれ保存する。各画素値は、その場所によって放出された蛍光光の強度の関数として、さらにそこに存在する蛍光剤の量の関数として、画素の輝度(brightness)を定義する(例えば、蛍光剤の量が増加するにつれて黒から白になる)。
同様に、反射マネージャ415は、この目的のために適切に照明された視野の反射画像を取得するために専用のイメージングシステムの反射ユニット(白色光源および写真カメラを含む)を管理する。反射マネージャ415は、反射画像リポジトリ420(貯蔵庫)に(ライトモードで)アクセスし、これは、同じイメージング処理中に連続して取得される一連の反射画像を保存する(対応するリポジトリ410内の蛍光画像と同期される)。
各反射画像は、(蛍光画像に対して同じ、または異なるサイズを備える)セルのマトリクスを含むビットマップによって定義され、それぞれが視野の(反射)場所に対応する画素の(反射)値を保存する。各画素値は、その場所によって反射される可視光(例えば、そのRGB成分)を定義する。
支援された実装では、レデューサ(reducer: 還元器)425が、対応する反射画像を、その情報領域と非情報領域にセマンティック的に分割し(そのコンテンツに従って、可能ならば蛍光画像のコンテンツに従って)、そして反射画像のセグメンテーションを蛍光画像に転送することによって、(選択された)蛍光画像をその情報領域に還元する。レデューサ425は、反射画像リポジトリ420および(必要に応じて)蛍光画像リポジトリ410に(リードモードで)アクセスし、それは還元(reduction)マスクレポジトリ430に(ライトモードで)アクセスする。
還元マスクレポジトリ430は、蛍光画像の情報/非情報領域を定義する(蛍光)還元マスクを保存する。還元マスクは、蛍光画像と同じ大きさを持つセルのマトリクスで形成され、それぞれが情報領域または非情報領域への対応画素の分類を示す還元フラグを保存する。例えば、画素が情報領域に属する場合には、還元フラグがアサート(アクティブ化)され(例えば、論理値1)、画素が非情報領域に属する場合には、デアサート(非アクティブ化)される(例えば、論理値0)。
また、レデューサ425は、反射画像の情報/非情報領域を同様に定義する(反射)還元マスクを保存する変数(不図示)を使用する(即ち、反射画像と同じサイズを持つセルのマトリクスによって、それぞれが情報領域または非情報領域への対応画素の分類を示す還元フラグを保存する)。いずれの場合も、セッタ(setter: 設定器)435が、解析領域を設定するために使用される(未支援の実装では蛍光画像全体内に、または支援の実装ではその情報領域内に)。セッタ435は、蛍光画像リポジトリ410および(可能ならば)還元マスクリポジトリ430に(リードモードで)アクセスする。
さらに、セッタ435は、解析領域を手動で調整するためのユーザインタフェースを露出する。セッタ435は、解析マスクリポジトリ440に(ライトモードで)アクセスする。解析マスクリポジトリ440は、蛍光画像の(共通)解析領域を定義する解析マスクを保存する。解析マスクは、蛍光画像と同じ大きさを持つセルのマトリクスによって形成され、それぞれが解析フラグを保存しており、これは、画素が解析領域に属する場合にはアサートされ(例えば、論理値1)、そうでない場合にはデアサートされる(例えば、論理値0)。
セグメンタ445が、閾値処理手法を用いて、蛍光画像の解析領域を、それらの検出セグメントと非検出セグメントとに分割する。セグメンタ445は、蛍光画像リポジトリ410、解析マスクリポジトリ440、および(可能ならば)還元マスクリポジトリ430に(リードモードで)アクセスし、それは、セグメンテーションマスクリポジトリ450に(ライトモードで)アクセスする。セグメンテーションマスクリポジトリ450は、対応するリポジトリ410内の各蛍光画像に対するエントリ(entry)を備え、エントリは、蛍光画像の解析領域の検出/非検出セグメントを定義するセグメンテーションマスクを保存する。
セグメンテーションマスクは、蛍光画像と同じ大きさを持つセルのマトリックスによって形成され、それぞれがセグメンテーションフラグを保存しており、これは、画素が解析領域の検出セグメントに属する場合にはアサートされ(例えば、論理値1)、そうでない場合、即ち、画素が解析領域の非検出セグメントに属している場合またはあるいは解析領域および可能性として情報領域の外側にある場合にはデアサートされる(例えば、論理値0)。
ベリファィア(verifier: 照合器)455は、蛍光画像のセグメンテーション(分割)を照合する(対応する照合インジケータを計算し、可能ならばそれらを照合閾値と比較することによって)。ベリファィア455は、蛍光画像リポジトリ410、セグメンテーションマスクリポジトリ450、解析マスクリポジトリ440、および(可能ならば)還元マスクリポジトリ430に(リードモードで)アクセスする。ベリファィア455はまた、照合閾値リポジトリ460に(リードモードで)アクセスする。
照合閾値リポジトリ460は、対応するターゲット(例えば、様々な器官における様々なタイプの腫瘍)について1つ以上の照合閾値を保存する。これらの照合閾値は、臨床的証拠および/または研究から予め決定されている。例えば、各ターゲットについて、上述した同じ動作がいくつかの手術処置の際に適用され、対応する照合インジケータ(それらのセグメンテーションについて)が記録され、対応する生検の次の病理報告が、検出セグメントの身体部分が実際にターゲット(陽性)であるか否か(陰性)を判断する。
ターゲットについての照合閾値は、その認識の精度を最適化するように計算され、これは、陽性病理報告についての照合閾値よりも高く、陰性病理報告についての照合閾値よりも低い照合インジケータによって与えられる(例えば、照合インジケータが陽性病理報告についての照合閾値よりも低い偽陰性を最小化するように)。ベリファィア455はまた、手動で各撮像手順のために、ターゲットのタイプを選択するためのユーザインタフェースを露出する。ベリファィア455は、照合結果リポジトリ465に(ライトモードで、可能ならばリードモードでも)アクセスする。
照合結果リポジトリ465は、対応するリポジトリ410内の各蛍光画像についてのエントリを含む。エントリは、蛍光画像のセグメンテーションの照合の(照合)結果を保存する。例えば、照合結果は、照合インジケータによって、および/または、照合が陽性である(照合インジケータが照合閾値よりも高い)場合にアサートされ(例えば、論理値1)、照合が陰性である(照合インジケータが照合閾値よりも低い)場合にデアサートされる(例えば、論理値0)(照合)フラグによって与えられる。可能ならば、セグメンテーションを照合するために使用された追加情報(後述する)を伴う。
視覚化装置(visualizer)装置470が、蛍光画像を、イメージングシステムのモニタ上でそれらの検出セグメントの(可能な)強調表示で視覚化する。視覚化装置470は、蛍光画像リポジトリ410、セグメンテーションマスクリポジトリ450および照合結果リポジトリ465に(リードモードで)アクセスする。
ここで図5A~図5Cを参照して、本開示の実施形態に係る手法の実装に関連する動作の流れを記述する様々な動作図を示す。
特に、動作図は、方法500を用いて手術処置中に患者を撮像するために使用できる例示的なプロセスを表現する。この点に関して、各ブロックは、イメージングシステムの中央ユニット上で、特定された論理機能を実装するための1つ以上の実行可能命令に対応できる。
手術処置の前に、健康管理オペレータ(例えば、看護師)が、蛍光剤を患者に投与する。蛍光剤(例えば、インドシアニングリーン、メチレンブルー等)は、切除対象の腫瘍など、特定の(生物学的)ターゲットに到達し、そこにほぼ固定化されたままとなるように適合している。この結果は、非ターゲット化蛍光剤(例えば、受動(passive)蓄積など、特定の相互作用なしにターゲット本体に蓄積するように適合される)、またはターゲット化蛍光剤(特定の相互作用を用いてターゲットに付着するように適合される、例えば、様々な組織、血管特性、代謝特性などと相互作用するように適合された化学結合特性および/または物理的構造に基づいて、ターゲット特異的リガンドを蛍光剤の処方中に組み込むことによって)のいずれかを使用することによって達成できる。
蛍光剤は、ボーラス(シリンジを用いて)として静脈内に患者に投与され、その結果、蛍光剤は、腫瘍に到達するまで患者の血管系内を循環し、それに結合する。代わりに、残りの(未結合)蛍光剤は、血液プールからクリアされる(対応する半減期に従って)。蛍光剤が腫瘍に蓄積し、患者の他の身体部分から洗い流される待機時間(例えば、数分から24~72時間まで)の後、手術処置は開始できる。従って、オペレータは、イメージングシステムを切り替える。
これに応答して、プロセスは、黒い開始円502からブロック504に進むことによって開始する。この時点で、必要に応じて、オペレータは、ベリファィアのユーザインタフェースにおいて、手術処置のためのターゲットのタイプ(即ち、器官および腫瘍)を選択する。従って、ベリファィアは、対応するリポジトリから、(選択された)ターゲットの照合閾値を検索する。そして、オペレータは、手術空洞が外科医によって開放さている患者の領域に接近してイメージングプローブを配置し、そしてオペレータは、イメージングシステムに開始コマンドを入力する(例えば、そのキーボードを用いて)。
これに応答して、蛍光マネージャおよび反射マネージャは、ブロック506において、視野を照明するために、励起光源および白色光源をそれぞれ点灯させる。ブロック508に進んでと、蛍光マネージャおよび反射マネージャは、同時に(新しい)蛍光画像および(新しい)反射画像をそれぞれ取得し、それらを対応するリポジトリに追加する。こうして蛍光画像および反射画像は、実質的に同時に取得され、それらは、空間的にコヒーレントである同じ視野の異なる表現(それぞれ蛍光および可視光の意味で)を提供する(即ち、予測可能な相関は、これらの画素の間に存在し、完全同一性にまで達する)。蛍光/反射画像は、リアルタイムでモニタ上に連続して表示され、オペレータは、イメージングプローブおよび/または患者の位置を補正することが可能になる。
これらの動作は、手術空洞が正しく撮像されるまで持続し、そしてオペレータは、ブロック510において、(現在の)蛍光画像内の解析領域を設定するために、可能ならば、対応する(現在の)反射画像を利用するために、初期化コマンドをイメージングシステムに入力する(例えば、そのキーボードを用いて)。動作の流れは、ブロック512において、イメージングシステムの動作モードに従って(例えば、その構成中に手動で設定され、デフォルトまたは唯一の利用可能なものによって定義される)分岐する。特に、未支援(動作)モードでは、ブロック514が実行され、一方、支援(動作)モードでは、ブロック516~520が実行される。両方の場合において、動作の流れはブロック522で再び合流する。
ここで、ブロック514(未支援モード)を参照して、セッタは、コンテキスト空間(解析領域を設定するための)を蛍光画像全体に設定する(対応するリポジトリから抽出される)。そして、プロセスは、ブロック522内に下降する。
代わりにブロック516(支援モード)を参照して、レデューサは、反射画像のセマンティックセグメンテーション(対応するリポジトリから抽出される)に従って蛍光画像を分割する(同時係属の国際出願PCT/EP2021/054162号に記載されているように)。要するに、レデューサは、1つ以上のフィルタを適用して、反射画像の品質を改善できる。特に、反射画像が情報領域を識別するのに適しているが、あまり明るくない場合に、ヒストグラムイコライゼーションが適用できる(その画素値の平均が、対応する閾値の間に含まれる)。
追加または代替として、レデューサは、反射画像を縮小して計算の複雑性を減少させることができ、その画素を実質的に均質なグループ(それぞれが、対応する画素値に基づいたグループ値で表現される)にグループ化して、セマンティックセグメンテーションを簡素化でき、動き補償アルゴリズム(反射画像を蛍光画像とアライメント(位置合わせ)するために)および/またはワーピングアルゴリズム(蛍光画像に対する反射画像の歪みを補正するために)を適用できる。そして、レデューサは、分類アルゴリズムまたは深層学習技術を適用することによって、(可能ならば前処理された)反射画像をセマンティック的に分割する。
分類アルゴリズムの場合、レデューサは、対応する特徴マップを生成するフィルタを適用することによって、反射画像および可能ならば蛍光画像から1つ以上の特徴を抽出する。レデューサは、条件付きランダムフィールド(CRF)アルゴリズムなど、特定の分類アルゴリズムを特徴マップに適用することによって、反射還元マスクを計算する。レデューサは、必要に応じて、そうして得られた反射還元マスクを精製できる(例えば、情報領域によって完全に囲まれた非情報領域の任意の切断部分を割り当てることによって、および/または、孤立した誤分類された画素を除去することによって)。代わりに、深層学習手法の場合、レデューサは、反射画像(可能ならば蛍光画像も)を、ニューラルネットワーク(例えば、U-net)に適用し、これは反射還元マスクを直接に生成する。
レデューサは、ブロック518において、反射画像の対応するセグメンテーションをそこに転送することによって、蛍光画像を、その情報領域および非情報領域に分割する。この目的のために、レデューサは、必要に応じて、反射還元マスクを蛍光画像に適合させる(異なるサイズを有する場合、それを縮小/拡大することによって)。そして、レデューサは、蛍光還元マスクを(可能ならば適合された)反射還元マスクに等しく設定し、それを対応するリポジトリに保存する。セッタは、ブロック520において、コンテキスト空間(解析領域を設定するため)を、(蛍光)還元マスクによって画定される蛍光画像の情報領域に設定する。そして、プロセスは、ブロック522内に下降する。
ここでブロック522を参照して、セッタは、初期形状(例えば、正方形)および初期サイズを有するように解析領域を初期化する。初期サイズは、コンテキスト空間のサイズのデフォルト割合(例えば、1~10%、好ましくは2~8%、さらに好ましくは3~7%、例えば、5%)に等しい。例えば、解析領域は、コンテキスト空間の画素数のデフォルト割合に等しい画素数を含むようにサイズ設定される(未支援モードでの蛍光画像の全てのセルによって与えられ、または、支援モードにおいて還元フラグがアサートされている還元マスクのセルによって与えられる)。動作の流れは、ブロック524において、イメージングシステムの(更なる)動作モードに従って再び分岐する(例えば、その構成の際に手動で設定され、デフォルトまたは唯一の利用可能なものによって定義される)。特に、手動(動作)モードでは、ブロック526が実行され、一方、自動(動作)モードでは、ブロック528~544が実行される。両方の場合において、動作の流れはブロック546で再び合流する。
ここでブロック526(手動モード)を参照して、セッタは、解析領域を、コンテキスト空間の中心にある初期位置を有するように初期化する。例えば、作業フレームが、蛍光画像として定義され(未支援モードで)、または、情報領域を囲む蛍光画像の最小矩形領域として定義される(支援モードで)。セッタは、作業フレームの中心を判断し、そして解析領域の中心をそれと位置合わせする。そして、プロセスは、ブロック546に下降する。
代わりにブロック528(自動モード)を参照して、解析領域は、複数の候補領域(解析領域を初期化する候補である)の中から選択された最良候補領域の初期位置に初期化される。候補領域は、解析領域の初期形状および初期サイズを備えたウインドウを、上述したもの(即ち、未支援モードの蛍光画像、または、支援モードでの情報領域を囲む蛍光画像の最小矩形領域)と同じ作業フレーム全体に渡って移動させることによって定義される。
この目的のために、最初は、(現在の)候補領域が、作業フレームの開始端(例えば、その左上隅)において考慮される。そして、ループがブロック530において入力され、動作の流れは、候補領域の選択基準に従って分岐する(例えば、その構成中に手動で設定され、デフォルトまたは唯一の利用可能なものによつて定義される)。特に、品質インジケータに基づいた選択基準の場合、ブロック532~534が実行され、一方、強度インジケータに基づいた選択基準の場合、ブロック536が実行される。両方の場合において、動作の流れはブロック538で再び合流する。
ここで、ブロック532(品質インジケータ)を参照して、セッタは、候補領域を、その(候補)検出セグメントおよび(候補)非検出セグメントに分割するようにセグメンタに命令する(後述するように)。セッタは、ブロック534において、ベリファィアに、候補領域のセグメンテーションの(候補)品質インジケータを計算するように命令する(後述するように)。代わりにブロック536(強度インジケータ)を参照して、セッタは、コンテキスト空間内のその画素値(即ち、未支援モードではそれらの全て、または支援モードでは情報領域に属するものだけ)、例えば、それらの平均に等しいものに従って、候補領域の強度インジケータを計算する。
ここで、ブロック538に移動して、セッタは、候補領域の品質/強度インジケータを、解析領域として暫定的に選択された候補領域の品質/強度インジケータからなるランニング(running)値(ヌル値に初期化される)と比較する。品質/強度インジケータが、ランニング値よりも(可能ならば厳密に)高い場合、これは、候補領域が(暫定)解析領域よりも良好であることを意味する。従って、セッタは、ブロック540において解析領域を候補領域に暫定的に設定し、ランニング値をその品質/強度インジケータと置換する。
そして、プロセスは、ブロック542に続く。品質/強度インジケータがランニング値値よりも(可能ならば厳密に)低い場合は(暫定的な解析領域が依然としてそうであることを意味する)、同じポイントにブロック538からに直接到達する。この時点で、セッタは、最後の候補領域が処理されたか否かを確認する。これは、候補領域が作業フレームの最終端(その開始端に対向する、例えば、課題の例ではその右底隅)に到達した場合に起こる。
もしそうでなければ、セッタは、ブロック544において、作業フレームの走査経路に沿って移動することによって次の候補領域に進む。例えば、候補領域は、作業フレームの対向する境界に到達するまで、1つ以上の画素だけ開始端から水平方向に離れて移動し(右向き)、そして、作業フレーム内で垂直に1つ以上の画素だけ移動し(下向き)、そして、作業フレームの対向する境界に到達するまで、その反対方向に水平に(左向き)1つ以上の画素だけ移動し、そして、作業フレーム内の垂直方向に1つ以上の画素だけ移動する(下向き)。
そして、プロセスは、ブロック530に戻り、この次の候補領域上で同じ動作を繰り返す。同じ動作は、同時に(少なくとも部分的に)実施して、計算時間を低減できる。逆に、全ての候補領域が処理されると、ブロック546に下降することによってループはを退出する。こうしてループの出口において、解析領域は、自動的に最良候補領域に設定される。
ここでブロック546を参照して、セッタは、こうして初期化された解析領域の表現を、モニタ上に連続して表示される蛍光画像に追加する(例えば、解析領域の輪郭を着色(例えば、赤色)し、蛍光画像は白黒で)。外科医は、ブロック548において、セッタのユーザインタフェースを介して解析領域を手動で調整するようにオペレータに要求してもよい。例えば、ダイヤルを設けて、解析領域のサイズを変更してもよく、および/または、4つのボタンを設けて、解析領域を対応する方向に沿って移動させてもよい(左向き、右向き、上向きおよび下向き)。
これにより、異常な状態(例えば、腫瘍が非常に大きく、および/または、手術空洞の境界に接近している場合など)でも解析領域内に腫瘍の疑いのある表現を含むことを可能にする。追加または代替として、外科医は、ブロック550において、オペレータにイメージングプローブを移動させるか、または手術空洞を直接に移動させることを要求できる(対応する蛍光/反射画像上の解析領域の反対移動が得られように)。多くの実際的な状況では、これは、セッタのユーザインタフェースを介して、そのサイズおよび位置を変更することなく、解析領域内に腫瘍の疑いのある表現を含むことを可能にする。これは、手術空洞だけが移動する場合、イメージングシステムと接触なしで(そして、無菌性の心配なしに)、外科医が解析領域を自分で調整することを可能にするため、特に好都合である。
いったん外科医が、解析領域は正しく位置決めされたことを確認すると、オペレータは、ブロック552において、確認コマンドをイメージングシステムに入力し(例えば、そのキーボードを用いて)、それに応答して、セッタは、そうして決定された解析領域を定義する解析マスクを、対応するリポジトリに保存する。
ここから、取得される各(新しい)蛍光画像における解析領域は、その検出セグメントおよび非検出セグメントに分割される。この目的のために、セグメンタは、ブロック554において、例えば、大津のアルゴリズムを適用することによって(検出セグメントおよび非検出セグメントのクラス内分散を最小にするように)、情報領域内にある可能性のあるその画素値の統計的分布に従って、解析領域のセグメンテーション閾値を決定する。
この目的のために、セグメンタは、解析マスク内の解析フラグがアサートされる蛍光画像の画素値を考慮し、さらに、縮小マスク内の還元フラグが支援モードでアサートされる(対応するリポジトリから検索される)。こうして支援モードでは、蛍光画像の非情報領域の内容によって悪影響を及ぼされることなく、情報領域の輪郭(例えば、腫瘍がそれに接近する場合など)に横断して解析領域を配置することが可能である。
セグメンタは、ブロック556において、解析領域の画素値、可能ならば情報領域内の画素値をセグメンテーション閾値と比較することによって、セグメンテーションマスクを生成する。特に、解析マスク内の解析フラグがアサートされ、さらに支援モードでは還元マスク内の還元フラグがアサートされる画素ごとに、対応するセグメンテーションフラグは、蛍光画像内の対応する画素値がセグメンテーション閾値より(可能ならば厳密に)高い場合、アサートされ、それ以外の場合にはデアサートされる。一方、各他の画素については、対応するセグメンテーションフラグは常にデアサートされる。そして、セグメンタは、そうして得られたセグメンテーションマスクを、対応するリポジトリに保存する。
そして、動作の流れは、ブロック558において、解析領域のセグメンテーションの照合インジケータの評価モードに従って分岐する(例えば、イメージング手順の最初に手動で選択され、デフォルトまたは唯一の利用可能なものによって定義される)。特に、二重(評価)モードでは、ブロック560~564が実行され、一方、単一(評価)モードでは、ブロック566が実行される。両方の場合において、動作の流れはブロック568で合流する。
ここでブロック560(二重モード)を参照して、品質インジケータは、検出セグメントと非検出セグメントとの間の比較に従って決定される。特に、セグメンタは、例えば、その画素値(TI)の平均に等しい検出セグメントについて(検出)統計パラメータを計算する。この目的のため、ベリファィアは、セグメンテーションマスク内で検出フラグがアサートされている蛍光画像の画素値を考慮する(対応するリポジトリから検索される)。
同様に、セグメンタは、ブロック562において、例えば、その画素値(BI)の平均に再び等しい非検出セグメントについて(非検出)統計パラメータを計算する。この目的のために、ベリファィアは、セグメンテーションマスク内で検出フラグがデアサートされ、同時に、解析マスク内の解析フラグがアサートされ、還元マスク内の還元フラグが支援モードについてアサートされている蛍光画像の画素値を考慮する(対応するリポジトリから検索される)。ベリファィアは、ブロック564において、検出統計パラメータと非検出統計パラメータとの比較(例えば、それらの比率(TBR))に従って、品質インジケータを計算する。
そして、プロセスは、ブロック568に続く。代わりにブロック566(シングルモード)を参照して、品質インジケータは、検出セグメント単独に従って決定される。特に、セグメンタは、検出セグメントの連続性インジケータに、例えば、その主要部分からの検出セグメントの切断部分の数に比例する量(可能ならば、それらのサイズに従って重み付けされる)だけ減少している最大値に等しいものに、品質インジケータを設定する。そして、プロセスは、ブロック568に続く。
ここでブロック568を参照して、動作の流れは、イメージングシステムの照合モードに従って分岐する(例えば、イメージング手順の最初に手動で選択され、デフォルトまたは唯一の利用可能なものによって定義される)。特に、動的(照合)モードでは、全ての蛍光画像が個別に照合される。これは、視野が連続的に変化する状況(例えば、手術用途など)によく適しており、任意の他の状況においてもその用途が除外されない場合でもそうである。この場合、ベリファィアは、ブロック570において、蛍光画像の照合インジケータをその品質インジケータに設定する。
逆に、静的(照合)モードでは、複数の蛍光画像が、照合のために考慮される。これは、視野が時間経過で実質的に同じままである状況によく適しており(例えば、診断/治療用途な)、任意の他の状況でその用途が除外されなくてもそうである(例えば、複数の蛍光画像を考慮することによって)。この場合、ベリファィアは、ブロック572において、蛍光画像の照合インジケータを、現在のものおよび1つ以上の前回のもの(対応するリポジトリから検索される)を、例えば、予め定めた数、例えば、5~10個を含む蛍光画像セットの品質インジケータの平均に設定する。
これにより、視野の過渡的変化の対応する平滑化に起因して、照合の信頼性を改善している。両方の場合、ベリファィアは、ブロック574において、照合インジケータを照合閾値(ターゲットについて上で検索される)と比較できる。そして、ベリファィアは、そうして得られた照合結果を、対応するリポジトリに保存する。特に、照合結果は、照合インジケータおよび/または照合フラグを含み、これは、照合インジケータが照合閾値よりも(可能ならば厳密に)高い場合(陽性確認)にアサートされ、そうでなければ、デアサートされ(陰性確認)、可能ならば、統計的検出パラメータ、統計的非検出パラメータ、および照合閾値を含む追加情報を伴う。
そして、動作の流れは、ブロック576において、検出セグメントの強調表示モードに従って分岐する(例えば、イメージング手順の最初に手動で選択され、デフォルトまたは唯一の利用可能なものによって定義される)。特に、選択(強調表示)モードでは、動作の流れは、照合結果(対応するリポジトリから検索される)に従ってブロック578においてさらに分岐する。照合結果が陽性である場合(照合フラグがアサートされている)場合、視覚化装置は、ブロック580において選択モードがスタンドアローンであるかどうかを確認する。
もしそうであれば、視覚化装置は、ブロック582において、セグメンテーションマスク(対応するリポジトリから検索される)に示されるような、検出セグメントの画素を強調表示することによって、蛍光画像を更新する。例えば、検出セグメントの画素は着色され(例えば、赤色)、輝度は、モニタの表示範囲全体に渡って対応する画素値とともに増加する(蛍光画像の残りは、白黒)。
再びブロック576を参照して、プログレッシブ(強調表示)モードでは、プロセスは、ブロック584に下降する。選択モードがプログレッシブモードと組み合わされる場合、ブロック580からも同じポイントに到達する。両方の場合、視覚化装置は、例えば、セグメンテーションマスク(対応するリポジトリから検索される)に示されるように、検出セグメントの画素を強調表示することによって、蛍光画像を更新し、強調表示強度は、例えば、照合インジケータに依存する。検出セグメントの画素は着色され、輝度が、対応する画素値と共に増加し(モニタの表示範囲全体に渡って)、波長は、照合インジケータとともに増加し(例えば、プログレッシブモードがスタンドアローンある場合は青色から赤色に、またはプログレッシブモードが選択モードと組み合わされる場合は黄色から赤色に)、蛍光画像の残りは黒と白で、または逆も同様に、検出セグメントの画素は着色され、波長が、対応する画素値とともに増加し、輝度が、照合インジケータと共に増加する。
そして、プロセスは、ブロック582またはブロック582からブロック586に続く。照合結果が陰性である場合(照合フラグがデアサートされる)には、選択モードでのブロック578から同じポイントに直接到達する。この場合、蛍光画像は、変化しないままであり、例えば、完全に白黒である(その検出セグメントを含む)。ここで、視覚化装置は、蛍光画像を、解析領域の表現、および可能ならば強調表示された検出セグメント(および対応する照合の可能な追加情報)とともにモニタに表示する。こうして検出セグメントおよび/またはそのより高い強度の着色は、切除対象の腫瘍を実際に表現する可能性ついての即時の表示を外科医に提供する(モニタの全表示範囲の利用のおかげで)。
セッタは、ブロック588において、例えば、外科医が、手術空洞の異なる部分に移動することを要望する場合に解析領域を変更するために、オペレータが変更コマンドをイメージングシステムに入力したか否か(例えば、そのキーボードを用いて)を確認する。もしそうであれば、プロセスは、ブロック512に戻り、上記のように(新しい)解析領域を設定する。逆に、セグメンタは、ブロック590において、イメージング手順を終了するために、オペレータが終了コマンドをのイメージングシステムへ入力したか否か(例えば、そのキーボードを用いて)を確認する。そうでなければ、プロセスは、ブロック554に戻り、次の蛍光画像上で同じ動作を繰り返す。逆に、プロセスは、同心の白/黒停止円592で終了する(蛍光マネージャおよび反射マネージャは、励起光源および白色光源をそれぞれオフにした後)。
(変形例)
当然には、局所的および特定の要件を満たすために、当業者は、多くの論理的および/または物理的な変形および変更を本開示に適用できる。より詳細には、本開示は、その1つ以上の実施形態を参照して、ある程度の詳細さで説明しているが、形態、詳細そして他の実施形態における種々の省略、置換および変更が可能であることは理解すべきである。特に、本開示の様々な実施形態が、前述の説明に記載された特定の詳細(例えば、数値)なしで実施でき、より完全な理解を提供できるが、逆に、不必要な詳細についての説明を不明瞭にしないために、周知の特徴を省略または簡略化していることがある。さらに、本開示の任意の実施形態に関連して説明した特定の要素および/または方法ステップは、他の任意の実施形態において、一般的な設計選択の事項として組み込み可能であることを明確に意図している。さらに、同じグループおよび様々な実施形態、例または代替例で提示されるアイテムは、事実上互いに等価であると解釈されるべきではない(しかし、それらは別個で自律的な実体である)。いずれの場合も、各数値は、適用可能な許容誤差に従って修正されるものとして読むべきであり、特に他に示していない限り、用語「実質的に(substantially)」、「約(about)」、「おおよそ(approximately)」は、10%の範囲内、好ましくは5%の範囲内、さらにより好ましくは1%の範囲内であると理解すべきである。さらに、数値の各範囲は、(その端点を含む)範囲内の連続体に沿った任意の可能な数を明示的に特定するものとして意図すべきである。序数または他の修飾子は、単に、同じ名前を備えた要素を区別するラベルとして使用しており、それ自体、優先度、優先権または順序を暗示していない。用語「含む(include)」、「備える(comprise)」、「有する(have」、「収容する(contain)」、「含む(involve)」等は、オープンで完全網羅でない意味を伴うと意図すべであり(即ち、記載したアイテムに限定されない)、用語「に基づいて(based on)」、「に応じて(dependent on)」、「に従って(according to)」、「に応じて(function of)」等は、完全網羅でない関係として意図すべきであり(即ち、可能性ある追加の変数が含まれる)、用語"a/an"は、1つ以上のアイテムとして意図すべきであり(他の明示していない限り)、用語「ための手段(means for)」(または任意のミーンズプラスファンクション形式)は、関連する機能を実行するように適応または構成される任意の構造として意図すべきである。
当然には、局所的および特定の要件を満たすために、当業者は、多くの論理的および/または物理的な変形および変更を本開示に適用できる。より詳細には、本開示は、その1つ以上の実施形態を参照して、ある程度の詳細さで説明しているが、形態、詳細そして他の実施形態における種々の省略、置換および変更が可能であることは理解すべきである。特に、本開示の様々な実施形態が、前述の説明に記載された特定の詳細(例えば、数値)なしで実施でき、より完全な理解を提供できるが、逆に、不必要な詳細についての説明を不明瞭にしないために、周知の特徴を省略または簡略化していることがある。さらに、本開示の任意の実施形態に関連して説明した特定の要素および/または方法ステップは、他の任意の実施形態において、一般的な設計選択の事項として組み込み可能であることを明確に意図している。さらに、同じグループおよび様々な実施形態、例または代替例で提示されるアイテムは、事実上互いに等価であると解釈されるべきではない(しかし、それらは別個で自律的な実体である)。いずれの場合も、各数値は、適用可能な許容誤差に従って修正されるものとして読むべきであり、特に他に示していない限り、用語「実質的に(substantially)」、「約(about)」、「おおよそ(approximately)」は、10%の範囲内、好ましくは5%の範囲内、さらにより好ましくは1%の範囲内であると理解すべきである。さらに、数値の各範囲は、(その端点を含む)範囲内の連続体に沿った任意の可能な数を明示的に特定するものとして意図すべきである。序数または他の修飾子は、単に、同じ名前を備えた要素を区別するラベルとして使用しており、それ自体、優先度、優先権または順序を暗示していない。用語「含む(include)」、「備える(comprise)」、「有する(have」、「収容する(contain)」、「含む(involve)」等は、オープンで完全網羅でない意味を伴うと意図すべであり(即ち、記載したアイテムに限定されない)、用語「に基づいて(based on)」、「に応じて(dependent on)」、「に従って(according to)」、「に応じて(function of)」等は、完全網羅でない関係として意図すべきであり(即ち、可能性ある追加の変数が含まれる)、用語"a/an"は、1つ以上のアイテムとして意図すべきであり(他の明示していない限り)、用語「ための手段(means for)」(または任意のミーンズプラスファンクション形式)は、関連する機能を実行するように適応または構成される任意の構造として意図すべきである。
例えば、一実施形態が、視野を撮像するための方法を提供する。しかしながら、この方法は、任意の目的(例えば、医療用途、法医学的解析、欠陥/亀裂検査など)のために、任意の視野を撮像するために使用できる。
一実施形態では、視野は、あるターゲットを含む。しかしながら、ターゲットは、任意のタイプのものでもよい(例えば、身体部分、指紋、機械部品など)。
一実施形態では、ターゲットは、発光物質を含む。しかしながら、発光物質は、任意の外因性/内因性タイプのものでもよい(例えば、任意の発光(ルミネセンス)現象、例えば、蛍光、燐光、化学発光、バイオ発光、誘導ラマン放射などをベースとした任意の発光剤、任意の天然発光成分など)。
一実施形態では、この方法は、コンピュータ装置の制御下で下記ステップを含む。しかしながら、コンピュータ装置は、任意のタイプのものでもよい(下記参照)。
一実施形態では、この方法は、視野の発光画像を(コンピュータ装置に)提供することを含む。しかしながら、発光画像は、任意の方法で提供できる(例えば、直接取得され、取り外し可能なストレージユニットで転送され、ネットワークを介してアップロードされる等)。
一実施形態では、発光画像は、視野の対応する発光場所から発光物質によって放出される発光光を表現する複数の発光値を含む。しかしながら、発光画像は、任意のサイズおよび形状を有してもよく、任意のタイプの発光値、および任意の発光場所を含んでもよい(例えば、画素、ボクセルについて、RBG、YcBcr、HSL、CIE-L*a*b、Lab color、類似の表現におけるグレースケールまたはカラー値)。発光光は、任意のタイプのものでもよく(例えば、NIR、赤外線(IR)、可視光等)、任意の方法(例えば、対応する励起光、またはより一般には加熱とは異なるいずれか他の励起に応答して)で放出されてもよい。
一実施形態では、この方法は、解析領域を、ターゲットの疑わしい表現を囲む発光画像の一部に設定することを含む(コンピュータ装置によって)。しかしながら、解析領域は、任意の方法で(例えば、発光画像全体、またはその情報領域内でのみ、予め定義されるか、または実行時に、手動的に、半自動的にまたは完全に自動的に決定される)設定されてもよい。
一実施形態では、この方法は、解析領域のみの発光値に従って、解析領域を、発光剤の検出を表現する検出セグメントおよび発光剤の非検出を表現する非検出セグメントに分割すること(コンピュータ装置によって)を含む。しかしながら、解析領域は、任意の方法(例えば、対応するマスクによって、または蛍光画像内で直接定義される、閾値処理アルゴリズム、分類アルゴリズム、機械学習手法など)によって分割されてもよい。
一実施形態では、この方法は、解析領域を分割する品質インジケータに基づいて、照合インジケータを決定すること(コンピュータ装置によって)を含む。しかしながら、照合インジケータは、任意の方法で(例えば、課題の発光画像の品質インジケータにのみ基づいて、さらに1つ以上の他の発光画像の品質インジケータに基づいて)、任意の品質インジケータに従って(例えば、検出セグメントと非検出セグメントとの比較に基づいて、検出セグメントのみに基づいてなど)決定されてもよい。
一実施形態では、この方法は、照合インジケータに従って強調表示される検出セグメントとともに、蛍光画像を表示すること(コンピュータ装置によって)を含む。しかしながら、蛍光画像は、任意の方法で(例えば、任意のディスプレイユニット(例えば、モニタ、仮想現実眼鏡等)、印刷され、局所的または遠隔的に、リアルタイムまたはオフラインで、単独で、対応する反射画像と組み合わせ/重ね合わせなど)表示されてもよい。検出セグメントは、任意の方法で(例えば、黒白の残りに対して着色したり、低い輝度を持つ残りに対して高い輝度で)、照合インジケータ(例えば、選択的に強調表示され、または強調表示されない、照合インジケータに応じて強調表示する強度で徐々に、これらの組合せ、任意の更なる情報を伴うまたは伴わずに)に従って、強調表示されてもよい。
更なる実施形態は、追加の有利な特徴を提供しており、基本的な実装では全部省略してもよい。
特に、一実施形態では、この方法は、照合インジケータに従って選択的に強調表示される検出セグメントとともに、発光画像を表示すること(コンピュータ装置によって)を含む。しかしながら、検出セグメントは、任意の方法で選択的に強調表示されてもよい(例えば、単に照合インジケータと閾値との比較に従って、ヒステリシスを備えなど)。
一実施形態では、この方法は、照合インジケータと照合閾値との比較に従って、強調表示され、または強調されていない検出セグメントとともに、発光画像を表示すること(コンピュータ装置によって)を含む。しかしながら、照合閾値は、任意の値(例えば、ターゲットとともに変化する、固定式など)を有してもよい。
一実施形態では、この方法は、着色または白黒でそれぞれ表示することによって強調表示され、または強調表示されない検出セグメントとともに、発光画像を黒白で表示すること(コンピュータ装置によって)を含む。しかしながら、検出セグメントは、任意の方法で着色表示されてもよい(例えば、輝度がその発光値とともに変化する単色で、その発光値に依存する様々な色で、一定の明るさでの単色など)。
一実施形態では、この方法は、照合インジケータに応じた強調表示強度で徐々に強調表示された検出セグメントとともに、発光画像を表示すること(コンピュータ装置によって)を含む。しかしながら、強調表示強度は、任意のタイプのものでもよく(例えば、異なる色、輝度など)、それが、任意の方法で(例えば、任意の線形関数または非線形関数、例えば、比例的、指数関数的、対数的に、連続的または離散的に、常に、または検出セグメントが上述のように強調表示される必要がある場合など)照合インジケータに依存してもよい。
一実施形態では、この方法は、照合インジケータに比例する強調表示強度で強調表示される検出セグメントとともに、発光画像を表示すること(コンピュータ装置によって)を含む。しかしながら、この結果は、任意の方法で達成されてもよい(例えば、照合インジケータ全体に比例する強調強度で、または照合閾値を超える部分のみに比例してなど)。
一実施形態では、この方法は、照合インジケータに依存する視覚的刺激(cue)とともに着色で表示することによって強調表示される検出セグメントとともに、発光画像を黒白で表示すること(コンピュータ装置によって)を含む。しかしながら、この結果は、任意の方法で達成してもよい(例えば、単独で、または発光値に依存した他の視覚的刺激との組合せで、例えば、発光値に依存する単色または様々な色、照合インジケータに依存する輝度、固定した輝度または発光値に依存する輝度、照合インジケータに依存する様々な色など)。
一実施形態では、この方法は、検出セグメントの内容と非検出セグメントの内容との比較に従って、品質インジケータを決定すること(コンピュータ装置によって)を含む。しかしながら、この結果は、任意の方法で達成してもよい(例えば、類似度指数、級間分散として品質インジケータを計算することによって、2つのセグメントの発光値を前または直接に集約することによって)。
一実施形態では、この方法は、検出セグメントの発光値に従う検出値、および非検出セグメントの発光値に従う非検出値を計算すること(コンピュータ装置によって)を含む。しかしながら、検出/非検出値は、任意のタイプのものでもよい(例えば、対応する統計パラメータ、例えば、平均、中央値、モード、分散など、最大/最小値など)。
一実施形態では、この方法は、検出値と非検出値との比較に従って、品質インジケータを計算すること(コンピュータ装置によって)を含む。しかしながら、品質インジケータは、検出値および非検出値に従って任意の方法で計算してもよい(例えば、それらの比率、差など)。
一実施形態では、この方法は、検出セグメントだけの内容に従って品質インジケータを決定すること(コンピュータ装置によって)を含む。しかしながら、品質インジケータは、任意の方法で検出セグメントの内容に従って決定されてもよい(例えば、品質インジケータをその発光値の任意の統計パラメータ、例えば、その平均、中央値、モード、分散などに設定することによって、品質インジケータを、検出セグメントの1つ以上の定性的性質、例えば、その連続性、形状、規則的/不規則な境界などに従って設定することによってなど)。
一実施形態では、この方法は、検出セグメントの連続性に従って品質インジケータを計算すること(コンピュータ装置によって)を含む。しかしながら、連続性は、任意の方法で定義してもよい(例えば、検出セグメントの切断された部分の数に従って、そのサイズおよび/または距離に従って、切断された部分を重み付けすることによってなど)。
一実施形態では、この方法は、解析領域を、発光画像に等しいコンテキスト空間の一部分に初期化すること(コンピュータ装置によって)を含む。しかしながら、コンテキスト空間は、発光画像に正確に設定されてもよく、または、より一般的には、それに対応してもよく(例えば、その予め定義された内部部分に等しい)、そして、解析領域は、任意の方法でそれに応じて初期化されてもよい(例えば、予め定義され、または実行時に決定される位置で、後にそれを更新する可能性の有りまたは無し、手動による確認などを必要とする、または必要としないなど)。
一実施形態では、視野は、撮像のための関心領域と、関心領域とは異なる1つ以上の異物とを含む。しかしながら、関心領域は、任意のタイプのものでもよい(例えば、手術空洞、内視鏡処置の内部空洞、中空を介してアクセスされる開放タイプ、または切開を介してアクセスされる閉止タイプのいずれかなど)。異物は、任意の数、任意のタイプのものでもよく(例えば、器具、手、ツール、身体部分、バックグラウンド材料など)、任意の位置に配置してもよい(例えば、関心領域と任意の程度に重なったり、それを包囲したり、それから離間されたり、それらの任意の組合せなど)。
一実施形態では、この方法は、視野の補助画像を提供すること(コンピュータ装置によって)を含む。しかしながら、補助画像は、任意の方法で提供してもよい(発光画像に対して同じまたは異なるもののいずれか)。
一実施形態では、補助画像は、視野の対応する補助場所から受信される補助光(発光光とは異なる)を表現する複数の補助値を含む。しかしながら、補助画像は、任意のサイズおよび形状を有してもよく、任意のタイプの補助値および任意の補助場所(発光画像と同じまたは異なる場所)を含んでもよい。補助光は、発光画像の発光光とは異なる任意のタイプのものでもよい(例えば、可視光、IR光、紫外線(UV)光、異なる波長の他の発光光など)。
一実施形態では、この方法は、補助画像の内容に従って、異物なし関心領域を表現する補助画像の補助情報領域を識別すること(コンピュータ装置によって)を含む。しかしながら、補助情報領域は、任意のタイプのものでもよい(例えば、単一領域、1つ以上のばらばらな領域、対応するマスクまたは補助画像内に直接に定義されるものなど)、それは、任意の方法で識別してもよい(例えば、補助画像を補助情報領域と補助非情報領域にセマンティック的/非セマンティック的に分割することによって、補助画像内の補助情報領域を探索することによってなど)。
一実施形態では、この方法は、補助情報領域に対応する発光画像の発光情報領域を識別すること(コンピュータ装置によって)を含む。しかしながら、発光情報領域は、任意の方法で識別してもよい(例えば、補助情報領域の識別を直接または任意の適応とともに転送することによって、任意の後処理とともになど)。さらに、この演算は、無差別に実施してもよく、あるいは補助情報領域の識別の品質に対して条件付けしてもよい。例えば、品質メトリック(計量:metric)を計算することが可能であり、もし品質メトリックが対応する閾値に到達していない場合は、全ての発光場所を発光情報領域に割り当てることが可能である。
一実施形態では、この方法は、解析領域を、発光情報領域に従って定義されるコンテキスト空間の一部に初期化すること(コンピュータ装置によって)を含む。しかしながら、コンテキスト空間は、発光情報領域に従って、任意の方法で定義されてもよい(例えば、それに等しく、その中に囲まれた蛍光画像の最も大きな矩形領域に、その中に囲まれた蛍光画像の最も小さな矩形領域になど)。解析領域は、それに従って任意の方法で初期化してもよい(発光画像に対応するコンテキスト空間に対して同じまたは異なるのいずれか)。
一実施形態では、補助画像は反射画像であり、補助光は可視光であり、補助値は白色光によって照明される視野の対応する補助場所で反射した可視光を表現する。しかしながらし、白色光(および対応する可視光)は、任意のタイプのものでもよい(例えば、発光物質に対して有意な発光現象を生じない非発光(non-luminescence)光)。
一実施形態では、補助情報領域を識別するステップは、補助画像をセマンティック的に分割すること(コンピュータ装置によって)を含む。しかしながら、補助画像は、任意の方法でセマンティック的に分割してもよい(例えば、任意の数、特徴のタイプに基づいた任意のタイプの分類アルゴリズムを用いて、任意のニューラルネットワークに基づいた深層学習技術を用いて、補助画像単独に従って、またはさらに蛍光画像にも従ってなど)。
一実施形態では、補助画像は、関心領域の少なくとも1つの関心領域クラスに対応する補助情報領域と、異物の1つ以上の異物クラスに対応する補助非情報領域とにセマンティック的に分割される。しかしながら、関心領域クラスおよび異物クラスは、任意の数でもよく、任意のタイプでもよい(例えば、関心領域全体についての単一の関心領域クラス、全ての異物についての単一の異物クラス、関心領域の対応する部分またはそのグループについての単一の異物クラス、対応する異物タイプまたはそのグループについての複数の異物クラスなど)。
一実施形態では、この方法は、解析領域を、予め定義された初期形状を有するコンテキスト空間の一部に初期化すること(コンピュータ装置によって)を含む。しかしながら、初期形状は、任意のタイプのものでもよく(例えば、正方形、円、長方形など)、いずれの場合も、実行時に初期形状を手動で選択する可能性は除外されない。
一実施形態では、この方法は、解析領域を、予め定義された初期サイズを有するコンテキスト空間の一部に初期化すること(コンピュータ装置によって)を含む。しかしながら、初期サイズは、任意のタイプのものでもよく(例えば、コンテキスト空間の予め定めた百分率、予め定めた値など)、いずれの場合も、実行時に初期サイズを手動で選択する可能性は除外されない(絶対的または相対的な意味のいずれかでも)。
一実施形態では、この方法は、解析領域を、予め定めた初期位置を有するコンテキスト空間の一部に初期化すること(コンピュータ装置によって)を含む。しかしながら、初期位置は、任意のタイプのものでもよく(例えば、中心、エッジなど)、いずれの場合も、実行時に初期位置を手動で選択する可能性は除外されない。
一実施形態では、この方法は、解析領域の初期サイズを、コンテキスト空間のサイズの少なくとも1つの予め定めた割合に従って設定すること(コンピュータ装置によって)を含む。しかしながら、この割合は、任意のタイプで、任意の値のものでもよい(例えば、この領域について単一のもの、寸法、例えば、幅および高さなどに対応する寸法の2つ以上のものなど)。
一実施形態では、この方法は、解析領域の初期位置を、コンテキスト空間の中心に設定すること(コンピュータ装置によって)を含む。しかしながら、解析領域は、任意の方法でコンテキスト空間の中心に設定してもよい(例えば、その幾何学的中心、その重心など)。
一実施形態では、この方法は、解析領域を、その対応する内容に従って、解析領域を初期化する候補である複数の候補領域の中から選択されたコンテキスト空間の最良の候補領域に初期化すること(コンピュータ装置によって)を含む。しかしながら、候補領域は、任意の数で任意のタイプのものでもよい(例えば、コンテキスト空間全体に渡って任意のピッチで移動する予め定めた形状/サイズで、コンテキスト空間全体に渡って変化する形状および/またはサイズでなど)。最良の候補領域は、任意の方法で選択してもよい(例えば、対応する品質インジケータ、強度インジケータ、それらの組合せなどに従って)。
一実施形態では、この方法は、候補領域の各々を、候補領域のみの発光値に従って、発光剤の検出および発光剤の非検出を表現する候補検出セグメントおよび候補非検出セグメントに分割すること(コンピュータ装置によって)を含む。しかしながら、各候補領域は、任意の方法で分割してもよい(解析領域に対して同じまたは異なるのいずれも)。
一実施形態では、この方法は、候補領域の前記分割についての対応する候補品質インジケータを計算すること(コンピュータ装置によって)を含む。しかしながら、各候補品質インジケータは、任意の方法も決定してもよい(品質インジケータに対して同じまたは異なるのいずれも)。
一実施形態では、この方法は、候補品質インジケータのうちの最良のものを有する最良候補領域を選択すること(コンピュータ装置によって)を含む。しかしながら、最良の候補品質インジケータは、任意の方法で決定してもよい(例えば、品質と共に増加または減少する場合、最高のものまたは最低のものなど)。
一実施形態では、この方法は、候補領域の対応する強度インジケータを計算すること(コンピュータ装置によって)を含み、各強度インジケータは、対応する候補領域のみの場所から放出される発光光の強度を示す。しかしながら、各強度インジケータは、任意の方法で計算してもよい(例えば、対応する発光値の任意の統計パラメータ、例えば、それらの平均、中央値、モード、分散などに従って)。
一実施形態では、この方法は、強度インジケータのうちの最良のものを有する最良の候補領域を選択すること(コンピュータ装置によって)を含む。しかしながら、最良の強度インジケータは、任意の方法で決定してもよい(例えば、発光物質の濃度とともに増加または減少する場合、最高のものまたは最低のものなど)。
一実施形態では、この方法は、発光画像を、解析領域の表現とともに表示すること(コンピュータ装置によって)を含む。しかしながら、発光画像は、解析領域の任意の表現とともに表示してもよい(例えば、任意の色、任意のラインその輪郭によってなど)。
一実施形態では、この方法は、解析領域の手動調整を受信すること(コンピュータ装置によって)を含む。しかしながら、解析領域は、任意の方法で調整してもよい(例えば、任意の入力ユニット、例えば、キーボード、トラックボール、マウス、キーパッドなどを用いて、その形状、サイズおよび/または位置を変更することによってなど)。
一実施形態では、この方法は、視野の内容の手動移動の後に、解析領域の確認を受信すること(コンピュータ装置によって)を含む。しかしながら、確認は、視野および/またはイメージングプローブの任意の移動の後に、任意の入力ユニット(例えば、キーボード、トラックボール、マウス、専用ボタンなど)で提供してもよい。
一実施形態では、この方法は、視野の1つ以上の更なる発光画像を提供すること(コンピュータ装置によって)を含み、更なる発光画像の各々は、視野の場所から発光物質によって放出される発光光を表現する、対応する更なる発光値を含む。しかしながら、更なる発光画像は、任意の数でもよく(例えば、固定または、発光画像の前および/または後の全ての利用可能なものまででもよく)、それらは任意のタイプで、任意の方法でも提供されてもよい(発光画像に対して同じまたは異なかのいずれも)。
一実施形態では、この方法は、解析領域に対応する更なる発光画像の対応する更なる解析領域を、更なる解析領域だけの更なる発光値に従って、発光剤の検出および発光剤の非検出を表現する更なる検出セグメントおよび更なる非検出セグメントにそれぞれ分割すること(コンピュータ装置によって)を含む。しかしながら、更なる解析領域は、任意の方法で分割してもよい(解析領域に対して同じか異なるもののいずれか)。
一実施形態では、この方法は、更なる解析領域を分割するの対応する更なる品質インジケータを決定すること(コンピュータ装置によって)を含む。しかしながら、更なる品質インジケータは、任意の方法で決定してもよい(品質インジケータに対して同じか異なるかのいずれか)。
一実施形態では、この方法は、更なる品質インジケータにさらに基づいて、照合インジケータを決定すること(コンピュータ装置によって)を含む。しかしながら、更なる品質インジケータは、任意の方法で使用して、照合インジケータを決定してもよい(例えば、グローバル品質インジケータ(品質インジケータおよび更なる品質インジケータの任意の統計パラメータ、例えば、その平均、中央値、モードなどに等しい)を計算することによって、そして、それを使用して、上記のような品質インジケータおよび更なる品質インジケータに従って、対応する部分照合インジケータを決定することによって、上記のような照合インジケータを決定し、そして、これらを使用して、照合インジケータを決定してもよい。例えば、これらの少なくとも1つの予め定めた百分率、全てまでなどでそうである場合、照合結果を陽性と考えるなど)。
一実施形態では、この方法は、解析領域内の発光値の統計的分布に従って、セグメンテーション閾値を決定すること(コンピュータ装置によって)を含む。しかしながら、セグメンテーション閾値は、任意の方法で決定してもよい(例えば、統計的分布、エントロピー、クラスタリングまたはオブジェクト属性などに基づいて)。
一実施形態では、この方法は、解析領域の発光値とセグメンテーション閾値との比較に従って、解析領域を、検出セグメントおよび非検出セグメントに分割すること(コンピュータ装置によって)を含む。しかしながら、その場所は、セグメンテーション閾値に従って、任意の方法で検出/非検出セグメントに割り当ててもよい(例えば、これらがそれより(可能ならば厳密に)高いまたは低い場合には、検出セグメントに)。
一実施形態では、この方法は、医療用途において患者の身体部分を撮像するためである。しかしながら、医療用途は、任意のタイプでもよい(例えば、外科、診断、治療などの用途)。いずれの場合も、この方法は、医師のタスクを容易にできるが、それは、彼らを支援できる中間結果を提供するだけでなく、厳密には、医師自身が常に行われる医療行為を伴う。さらに、身体部分は任意のタイプでもよく(例えば、器官、例えば、肝臓、前立腺または心臓の領域、組織など)、任意の状態でもよく(例えば、生きているもの内、死体内、身体から抽出されたもの、例えば、生検のサンプルなど)、任意の患者のものでもよい(例えば、ヒト、動物など)。
一実施形態では、ターゲットは、身体部分のターゲット状態によって定義される。しかしなから、ターゲット状態は、任意のタイプでもよい(例えば、病理組織、例えば、腫瘍、炎症など、健康な組織など)。
一実施形態では、発光剤は、方法を実施する前に患者に事前投与されている。しかしながら、発光剤は、任意のタイプのものでもよく(例えば、特異性または非特異性の相互作用に基づく任意のターゲット発光剤、非ターゲット発光剤など)、それは、任意の方法(例えば、シリンジ、注入ポンプなどを用いて)および任意の時間(例えば、事前に、方法を実施する直前に、その最中に連続的など)事前投与されてもよい。いずれの場合も、これは、患者との相互作用とは独立して実施できるデータ処理方法である。さらに、発光剤は、非侵襲的な方法で(例えば、胃腸管を撮像するために経口的に、気道への噴霧器を介して、局所スプレー塗布または手術処置中の局所的な導入を介して)患者に投与してもよく、またはいずれの場合も、専門的な医療専門知識を必要とし、または彼/彼女の健康リスクを伴う患者への実質的な身体的介入(例えば、筋肉注射)なしである。
一実施形態では、視野は、手術処置中に身体部分を露出させる手術空洞を含む。しかしながら、手術空洞は、任意の手術処置のための任意のタイプのものでもよい(例えば、低侵襲手術、標準手術における開放身体など)。
一実施形態では、発光物質は、蛍光物質である(発光画像は蛍光画像であり、発光値は、その励起光によって照明された対応する発光場所から蛍光物質によって放出される蛍光光を表現する)。しかしながら、蛍光物質は、任意のタイプのものでもよい(例えば、外因性/内因性など)。
一般に、同じ手法が同等の方法で実装される場合、同様の検討が適用される(より多くのステップまたはその一部の同じ機能を備えた類似のステップを使用することによって、いくつかの非必須のステップを除去したり、または更なる任意のステップを追加することによって)。さらに、ステップは、異なる順序で、同時に、またはインターリーブ方式で実行してもよい(少なくとも部分的に)。
一実施形態が、コンピュータプログラムがコンピュータ装置で実行される場合、コンピュータ装置に、上記の方法を実施させるように構成されたコンピュータプログラムを提供する。一実施形態が、コンピュータプログラム製品を提供し、これは、コンピュータプログラムを具現化するコンピュータ読み取り可能な記憶媒体を含み、コンピュータプログラムは、コンピュータ装置のワーキングメモリに読み込み可能であり、これにより同じ方法を実施するコンピュータ装置を構成する。しかしながら、コンピュータプログラムは、既存のソフトウェアプログラム(例えば、イメージングシステムのマネージャ)にとってスタンドアロンモジュールとして、プラグインとして、または後者では直接にでも実装してもよい。いずれの場合も、コンピュータプログラムが異なる方法で構成される場合、または追加のモジュールまたは機能が提供される場合、同様の検討が適用される。同様に、メモリ構造は、他のタイプのものでもよく、または同等のエンティティ(実体)(必ずしも物理的記憶媒体から構成されない)と置換してもよい。コンピュータプログラムは、任意のコンピュータ装置(下記参照)によって使用するのに適した任意の形態をとってもよく、それによりコンピュータ装置を所望の動作を実行するように構成できる。特に、コンピュータプログラムは、外部または常駐のソフトウェア、ファームウェアまたはマイクロコード(オブジェクトコードまたはソースコードのいずれか、例えば、コンパイル式またはインタープリ式で)の形態でもよい。さらに、任意のコンピュータ可読記憶媒体上にコンピュータプログラムを提供することが可能である。記憶媒体は、コンピュータ装置によって使用される命令を保持し保存できる任意の有形媒体(それ自体は一時的な信号とは異なる)である。例えば、記憶媒体は、電子、磁気、光学、電磁気、赤外線または半導の体タイプのものでもよい。こうした記憶媒体の例は、固定ディスク(プログラムがプリロードされてもよい)、取り外し可能なディスク、メモリキー(例えば、USBタイプ)などである。コンピュータプログラムは、記憶媒体から、またはネットワーク(例えば、伝送ケーブル、光ファイバ、無線接続、ネットワークデバイスを含む、インターネット、ワイドエリアネットワーク、および/またはローカルエリアネットワーク)を介して、コンピュータ装置にダウンロードしてもよい。コンピュータ装置内の1つ以上のネットワークアダプタが、ネットワークからコンピュータプログラムを受信し、コンピュータ装置の1つ以上の記憶装置に保存用にそれを転送する。いずれの場合も、本開示の一実施形態に係る手法は、ハードウェア構造(例えば、半導体材料の1つ以上のチップ内に集積された電子回路、例えば、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)などによって)、または適切にプログラム設定されまたは他の方法で構成されたソフトウェアおよびハードウェアとの組合せで実装するのに役立つ。
一実施形態が、システムを提供し、これは、上述の方法のステップを実施するように構成された手段を備える。一実施形態が、同じ方法の各ステップを実施するための回路(即ち、適切に構成された任意のハードウェア、例えば、ソフトウェアによって)を含むシステムを提供する。しかしながら、システムは、任意のタイプのものでもよい(例えば、任意のコンピュータ装置、例えば、イメージングシステムの中央ユニット、別個のコンピュータなど)。
一実施形態では、このシステムは、イメージングシステムである。しかしながら、イメージングシステムは、任意のタイプのものでもよい(例えば、ガイド付き手術機器、内視鏡、腹腔鏡など)。
一実施形態では、イメージングシステムは、励起光および、可能ならば白色光を視野に印加するための照明ユニットを含む。しかしながら、照明ユニットは、任意のタイプのものでもよい(例えば、レーザ、LED、UV/ハロゲン/キセノンランプなど)。
一実施形態では、イメージングシステムは、蛍光画像および可能ならば補助画像を取得する取得ユニットを備える。しかしながら、取得ユニットは、任意のタイプのものでもよい(例えば、任意の数およびタイプのレンズ、導波路、ミラー、CCD、ICCD、EMCCD、CMOS、InGaAs、PMTセンサなど)。
一般に、システムが異なる構造を有し、または同等のコンポーネントを備える場合、または、それが他の動作特性を有する場合にも同様の検討が適用される。いずれの場合も、その全コンポーネントは、より多くのエレメントに分離してもよく、または2つ以上のコンポーネントが単一エレメントに統合されてもよい。さらに、各コンポーネントは、対応する動作の実行を並列的にサポートするように複製されてもよい。さらに、他に指定されない限り、異なるコンポーネント間の任意の相互作用は、一般に、連続的である必要はなく、1つ以上の仲介者を介して直接的または間接的でよい。
一実施形態が、下記ステップを含む手術方法を提供する。上記方法に従って、患者の身体部分が撮像され、これにより発光画像を表示し、身体部分の手術処置の際に検出セグメントは、照合インジケータに従って強調表示される。身体部分は、発光画像の前記表示に従って手術される。しかしながら、提案された方法は、任意の種類の手術方法において、用語の最も広い意味で用途を見出すことができ(例えば、治療目的のため、予防目的のため、審美的目的のためになど)、そして任意の患者の任意の種類の身体部分を手術するために(上記参照)。
一実施形態が、下記ステップを含む診断方法を提供する。上記方法に従って、患者の身体部分が撮像され、これにより発光画像を表示し、身体部分の診断処置の際に検出セグメントは、照合インジケータに従って強調表示される。身体部分は、発光画像の前記表示に従って解析される。しかしながら、提案された方法は、任意の種類の診断用途において、用語の最も広い意味で用途を見出すことができ(例えば、健康状態を評価し、新たな病変を発見し、既知の病変を監視するなどの支援)、そして任意の患者の任意の種類の身体部分を解析するために(上記参照)。
一実施形態が、下記ステップを含む治療方法を提供する。上記方法に従って、患者の身体部分が撮像され、これにより発光画像を表示し、身体部分の治療処置の際に検出セグメントは、照合インジケータに従って強調表示される。身体部分は、発光画像の前記表示に従って治療される。しかしながら、提案された方法は、任意の種類の治療方法において、用語の最も広い意味で用途を見出すことができ(例えば、病理学的状態を治療し、その進行を回避し、病理学的状態の発生を防止し、または単に患者の快適さを改善することを支援)、そして任意の患者の任意の種類の身体部分を治療するために(上記参照)。
一実施形態では、手術方法、診断方法および/または治療方法はそれぞれ、発光剤を患者に投与することを含む。しかしながら、発光剤は、任意の方法で投与してもよく(上記参照)、またはこのステップは全て省略してもよい(発光剤が内因性である場合)。
Claims (36)
- 発光物質を含むターゲット(115)を備えた視野(103)を撮像するための方法(500)であって、
コンピュータ装置(100)に、視野(103)の発光画像(205;205F)を提供するステップ(508)であって、発光画像(205;205F)は、視野(103)の対応する場所から発光物質によって発光される発光光を表現する複数の発光値を含む、ステップ(508)と、
コンピュータ装置(100)によって、ターゲット(115)の疑わしい表現を囲む発光画像(205;205F)の一部に、解析領域(225;260)を設定するステップ(512~552)と、
コンピュータ装置(100)によって、解析領域(225;260)のみの発光値に従って、解析領域(225;260)を、発光剤の検出および発光剤の非検出を表現する検出セグメント(230d;265d)および非検出セグメント(230n;265n)にそれぞれ分割するステップ(554~556)と、
コンピュータ装置(100)によって、解析領域(225;260)の前記分割の品質インジケータに基づいて、照合インジケータを決定するステップ(558~574)と、
コンピュータ装置(100)によって、照合インジケータに従って強調表示される検出セグメント(230d;265d)とともに、発光画像(205;205F)を表示するステップ(576-586)と、を含む方法(500)。 - コンピュータ装置(100)によって、照合インジケータに従って選択的に強調表示される検出セグメント(230d;265d)とともに、発光画像(205;205F)を表示するステップ(578~582,586)を含む、請求項1に記載の方法(500)。
- コンピュータ装置(100)によって、照合インジケータと照合閾値との比較に従って強調表示され、または強調表示されない検出セグメント(230d;265d)とともに、発光画像(205;205F)を表示するステップ(578~582,586)を含む、請求項2に記載の方法(500)。
- コンピュータ装置(100)によって、着色または白黒で表示することによって強調表示され、または強調表示されない検出セグメント(230d;265d)とともに、発光画像(205;205F)を白黒で表示するステップ(578~582,586)を含む、請求項2または3に記載の方法(500)。
- コンピュータ装置(100)によって、照合インジケータに依存する強調表示強度で漸進的に強調表示された検出セグメント(230d;265d)とともに、発光画像(205;205F)を表示するステップ(584~586)を含む、請求項1~4のいずれかに記載の方法(500)。
- コンピュータ装置(100)によって、照合インジケータに比例する強調表示強度で強調表示された検出セグメント(230d;265d)とともに、発光画像(205;205F)を表示するステップ(584~586)を含む、請求項5に記載の方法(500)。
- コンピュータ装置(100)によって、照合インジケータに依存する視覚的刺激とともに着色で表示することによって強調表示される検出セグメント(230d;265d)とともに、発光画像(205;205F)を黒白で表示するステップ(584~586)を含む、請求項5または6に記載の方法(500)。
- コンピュータ装置(100)によって、検出セグメント(230d;265d)の内容と非検出セグメント(230n;265n)の内容との比較に従って、品質インジケータを決定するステップ(560~564)を含む、請求項1~7のいずれかに記載の方法(500)。
- コンピュータ装置(100)によって、検出セグメント(230d;265d)の発光値に従う検出値と、非検出セグメント(230n;265n)の発光値に従う非検出値とを計算するステップ(560~562)と、
コンピュータ装置(100)によって、検出値と非検出値との比較に従って品質インジケータを計算するステップ(564)とを含む、請求項8に記載の方法(500)。 - コンピュータ装置(100)によって、検出セグメント(230d;265d)のみの内容に従って、品質インジケータを決定するステップ(566)を含む、請求項1~7のいずれかに記載の方法(500)。
- コンピュータ装置(100)によって、検出セグメント(230d;265d)の連続性に従って品質インジケータを計算するステップ(566)を含む、請求項10に記載の方法(500)。
- コンピュータ装置(100)によって、解析領域(225;260)を、発光画像(205;205F)に等しいコンテキスト空間の一部に初期化するステップ(514)を含む、請求項1~11のいずれかに記載の方法(500)。
- 視野(103)は、撮像のための関心領域(112)と、関心領域(1123)とは異なる1つ以上の異物(210~220;235~245)とを含み、
コンピュータ装置(100)に、視野(103)の補助画像(205R)を提供するステップ(508)であって、補助画像(205R)は、視野の対応する補助位置から受信される、発光光とは異なる補助光を表現する複数の補助値を含む、ステップ(508)と、
コンピュータ装置(100)によって、補助画像(205R)の内容に従って、異物(210~220;235~245)なしの関心領域(112)を表現する補助画像(205R)の補助情報領域(250Ri)を識別するステップ(516)と、
コンピュータ装置(100)によって、補助情報領域(250Ri)に対応する発光画像(205F)の発光情報領域(250Fi)を識別するステップ(518)と、
コンピュータ装置(100)によって、解析領域(225;260)を、発光情報領域(250Fi)に従って定義されるコンテキスト空間の一部に初期化するステップ(520)と、を含む、請求項1~11のいずれかに記載の方法(500)。 - 補助画像は、反射画像(205R)であり、
補助光は可視光であり、
補助値は、白色光によって照明される視野(103)の対応する補助場所によって反射される可視光を表現する、請求項13に記載の方法(500)。 - 補助情報領域を識別するステップ(516)は、コンピュータ装置(100)によって、補助画像(205R)を、関心領域(112)の少なくとも1つの関心領域クラスに対応する補助情報領域(250Ri)と、異物(210~220;235~245)の1つ以上の異物クラスに対応する補助非情報領域(250Rn)とにセマンティック的に分割するステップ(516)を含む、請求項13または14に記載の方法(500)。
- コンピュータ装置(100)によって、解析領域(225;260)を、予め定義された初期形状、初期サイズおよび/または初期位置を有するコンテキスト空間(205;250Fi)の一部に初期化するステップ(522~526)を含む、請求項11~15のいずれかに記載の方法(500)。
- コンピュータ装置(100)によって、コンテキスト空間(205;250Fi)のサイズの少なくとも1つの予め定義された割合に従って、解析領域(225;260)の初期サイズを設定するステップ(522)を含む、請求項16に記載の方法(500)。
- コンピュータ装置(100)によって、解析領域(225;260)の初期位置をコンテキスト空間(205;250Fi)の中心に設定するステップ(526)を含む、請求項16または17に記載の方法(500)。
- コンピュータ装置(100)によって、解析領域(225;260)を、その対応する内容に従って解析領域(225;260)を初期化するための候補である、コンテキスト空間(205;250Fi)の複数の候補領域の中から選択された最良の候補領域に初期化するステップ(528~544)を含む、請求項12~15のいずれかに記載の方法(500)。
- コンピュータ装置(100)によって、候補領域の各々を、候補領域のみの発光値に従って、発光剤の検出および発光剤の非検出をそれぞれ表現する候補検出セグメントおよび候補非検出セグメントに分割するステップ(532)と、
コンピュータ装置(100)によって、解析領域を分割する前記ステップ(532)の対応する候補品質インジケータを計算するステップ(532)と、
コンピュータ装置(100)によって、候補品質インジケータのうちの最良のものを有する最良候補領域を選択するステップ(538~540)と、を含む、請求項19に記載の方法(500)。 - コンピュータ装置(100)によって、候補領域の対応する強度インジケータを計算するステップ(536)であって、強度インジケータの各々は、対応する候補領域のみの場所から放射される発光光の強度を示す、ステップ(536)と、
コンピュータ装置(100)によって、強度インジケータのうちの最良のものを有する最良の候補領域を選択するステップ(538~540)と、を含む、請求項19に記載の方法(500)。 - コンピュータ装置(100)によって、解析領域(225;260)の表現とともに発光画像(205;205f)を表示するステップ(546)と、
コンピュータ装置(100)によって、解析領域(225;260)の手動調整を受信するステップ(548)と、を含む、請求項1~21のいずれかに記載の方法(500)。 - コンピュータ装置(100)によって、視野(103)の内容の手動移動の後に解析領域(225;260)の確認を受信するステップ(550)を含む、請求項1~22のいずれかに記載の方法(500)。
- コンピュータ装置(100)によって、視野(103)の1つ以上の更なる発光画像(205;205F)を提供するステップ(508)であって、更なる発光画像(205;205F)の各々は、視野(103)の場所から発光物質によって放出される発光光を表現する対応する更なる発光値を含む、ステップ(508)と、
コンピュータ装置(100)によって、解析領域(225;260)に対応する更なる発光画像(205,205p)の対応する更なる解析領域(225;260)を、更なる解析領域(225;260)のみの更なる発光値に従って、発光剤の検出および発光剤の非検出をそれぞれ表現する更なる検出セグメント(230d;265d)および更なる非検出セグメント(230n;265n)に分割するステップ(554~556)と、
コンピュータ装置(100)によって、更なる解析領域を分割する前記ステップ(554~556)の対応する更なる品質インジケータを決定するステップ(558~564)と、
コンピュータ装置(100)によって、更なる品質インジケータに基づいて照合インジケータを決定するステップ(572)と、を含む、請求項1~23のいずれかに記載の方法(500)。 - コンピュータ装置(100)によって、解析領域(225;260)での発光値の統計的分布に従って、セグメンテーション閾値を決定するステップ(554)と、
コンピュータ装置(100)によって、解析領域(225;260)の発光値とセグメンテーション閾値との比較に従って、解析領域(225;260)を、検出セグメント(230d;265d)と非検出セグメント(230n;265n)とに分割するステップ(556)と、を含む、請求項1~24のいずれかに記載の方法(500)。 - 方法(500)は、医療用途における患者(106)の身体部分(109)を撮像するためのものであり、
ターゲットは、身体部分(109)のターゲット状態(115)によって定義される、請求項1~25のいずれかに記載の方法(500)。 - 方法(500)を実施する前に、発光剤が患者(106)に事前投与されている、請求項26に記載の方法(500)。
- 視野(103)は、手術処置の際に身体部分(106)を露出させる手術空洞(112)を含む、請求項26または27に記載の方法(500)。
- 発光物質は、蛍光物質であり、
発光画像(205;205F)は、蛍光画像であり、
発光値は、その励起光により照射された対応する発光場所にから蛍光物質が放出する蛍光を表現する、請求項1~28のいずれかに記載の方法(400)。 - コンピュータプログラム(400)がコンピュータ装置(100)上で実行される場合、コンピュータ装置(100)に、請求項1~29のいずれかに記載の方法(500)を実行させるように構成されたコンピュータプログラム(400)。
- コンピュータプログラムを具現化するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラム製品であって、プログラム命令は、コンピュータ装置のワーキングメモリに読み込み可能であり、これにより請求項1~29のいずれかに記載の方法を実施するコンピュータ装置を構成する、コンピュータプログラム製品。
- 請求項1~29のいずれかに記載の方法(500)のステップを実行するように構成された手段(121)を含むシステム(100)。
- 請求項32に記載のシステム(100)であって、システム(100)は、請求項29に記載の方法(500)のステップを実行するように構成されたイメージングシステムであり、
励起光を視野(103)に印加するための照明ユニット(124,130)と、
発光画像(205,205F)を取得するための取得ユニット(136~145)と、を備えるイメージングシステム(100)。 - 請求項1~29のいずれかに記載の方法(500)に従って、患者の身体部分を撮像し、これにより身体部分の手術処置中に、照合インジケータに従って強調表示される検出セグメントとともに発光画像を表示するステップと、
発光画像の表示に従って、身体部分を手術するステップと、を含む手術方法。 - 請求項1~29のいずれかに記載の方法(500)に従って、患者の身体部分を撮像し、これにより身体部分の診断処置中に、照合インジケータに従って強調表示される検出セグメントとともに発光画像を表示するステップと、
発光画像の表示に従って、身体部分を解析するステップと、を含む診断方法。 - 請求項1~29のいずれかに記載の方法(500)に従って、患者の身体部分を撮像し、これにより身体部分の治療処置中に、照合インジケータに従って強調表示される検出セグメントとともに発光画像を表示するステップと、
発光画像の表示に従って、身体部分を治療するステップと、を含む治療方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20169301 | 2020-04-14 | ||
EP20169301.7 | 2020-04-14 | ||
PCT/EP2021/057729 WO2021209239A1 (en) | 2020-04-14 | 2021-03-25 | Verification of segmentation of luminescence images limited to analysis regions thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023521221A true JP2023521221A (ja) | 2023-05-23 |
JPWO2021209239A5 JPWO2021209239A5 (ja) | 2024-03-18 |
Family
ID=70289331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562575A Pending JP2023521221A (ja) | 2020-04-14 | 2021-03-25 | 解析領域に限定された発光画像のセグメンテーションの照合 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230177694A1 (ja) |
EP (1) | EP4136616A1 (ja) |
JP (1) | JP2023521221A (ja) |
CN (1) | CN115210757A (ja) |
WO (1) | WO2021209239A1 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10751548B2 (en) | 2017-07-28 | 2020-08-25 | Elekta, Inc. | Automated image segmentation using DCNN such as for radiation therapy |
-
2021
- 2021-03-25 WO PCT/EP2021/057729 patent/WO2021209239A1/en unknown
- 2021-03-25 EP EP21714164.7A patent/EP4136616A1/en active Pending
- 2021-03-25 JP JP2022562575A patent/JP2023521221A/ja active Pending
- 2021-03-25 CN CN202180018179.1A patent/CN115210757A/zh active Pending
- 2021-03-25 US US17/919,203 patent/US20230177694A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP4136616A1 (en) | 2023-02-22 |
CN115210757A (zh) | 2022-10-18 |
US20230177694A1 (en) | 2023-06-08 |
WO2021209239A1 (en) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210251503A1 (en) | Methods and systems for characterizing tissue of a subject utilizing machine learning | |
JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
US20230394660A1 (en) | Wound imaging and analysis | |
US10580130B2 (en) | Tissue identification by an imaging system using color information | |
JP5435532B2 (ja) | 画像処理システム | |
EP3545491B1 (en) | Method of non-invasive detection of tumour and/or healthy tissue and hyperspectral imaging apparatus | |
US20230050945A1 (en) | Image processing system, endoscope system, and image processing method | |
Thomaßen et al. | In vivo evaluation of a hyperspectral imaging system for minimally invasive surgery (HSI-MIS) | |
Puustinen et al. | Hyperspectral imaging in brain tumor surgery—evidence of machine learning-based performance | |
US20230298184A1 (en) | Processing of multiple luminescence images globally for their mapping and/or segmentation | |
US20220409057A1 (en) | Assisting medical procedures with luminescence images processed in limited informative regions identified in corresponding auxiliary images | |
US20230177694A1 (en) | Verification of segmentation of luminescence images limited to analysis regions thereof | |
Tran Van et al. | Application of multispectral imaging in the human tympanic membrane | |
US20220309678A1 (en) | Luminescence imaging with refining loop based on combination of partial illuminations | |
WO2022065301A1 (ja) | 医療画像装置及びその作動方法 | |
US20230316521A1 (en) | Image-based determination of a property of a fluorescing substance | |
Unger et al. | The role of machine learning and time-resolved autofluorescence imaging for intraoperative cancer margin delineation | |
Lotfy et al. | Robust tissue differentiation in head and neck cancer: ex-vivo study with hyperspectral imaging and convolutional neural networks | |
WO2022269637A1 (en) | Device for detection of breast cancer margin and a system thereof | |
Pratavieira et al. | Development of a widefield reflectance and fluorescence imaging device for the detection of skin and oral cancer | |
CN117918022A (zh) | 用不同内窥镜单元获取的图像的配准 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240307 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240307 |