JP7184489B2 - 蛍光照明に基づいて３ｄ画像を生成するためのシステムおよび方法 - Google Patents

蛍光照明に基づいて３ｄ画像を生成するためのシステムおよび方法 Download PDF

Info

Publication number
JP7184489B2
JP7184489B2 JP2019514265A JP2019514265A JP7184489B2 JP 7184489 B2 JP7184489 B2 JP 7184489B2 JP 2019514265 A JP2019514265 A JP 2019514265A JP 2019514265 A JP2019514265 A JP 2019514265A JP 7184489 B2 JP7184489 B2 JP 7184489B2
Authority
JP
Japan
Prior art keywords
image
images
data set
fluorescent illumination
volume data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019514265A
Other languages
English (en)
Other versions
JP2019534727A5 (ja
JP2019534727A (ja
Inventor
アロン ハーメリン，
ヴャチェスラヴ カルチェンコ，
グイラウメ モロディジュ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yeda Research and Development Co Ltd
Original Assignee
Yeda Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yeda Research and Development Co Ltd filed Critical Yeda Research and Development Co Ltd
Publication of JP2019534727A publication Critical patent/JP2019534727A/ja
Publication of JP2019534727A5 publication Critical patent/JP2019534727A5/ja
Application granted granted Critical
Publication of JP7184489B2 publication Critical patent/JP7184489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20088—Trinocular vision calculations; trifocal tensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Description

関連出願
本出願は、その内容全体が参照により本明細書に組み込まれる、２０１６年９月１８日に出願された米国仮特許出願第６２／３９６，１６３号の米国特許法第１１９条（ｅ）項に基づく優先権の利益を主張する。
本発明は、そのいくつかの実施形態において、蛍光イメージングに関し、より具体的には、限定はしないが、蛍光照明剤（複数可）に基づいて３Ｄ画像を生成するためのシステムおよび方法に関する。
蛍光照明に基づくイメージングは、例えば、臨床および前臨床診療において脳血管のイメージングを実行するために使用される。蛍光照明ベースのイメージングは、例えば血管の非侵襲性または低侵襲性画像を生成し得る。
ｉｎ ｖｉｖｏ光イメージングの例示的な方法である生体顕微鏡検査は、無傷の生物有機体がどのように機能するかについての知識を向上させる不可欠なツールである。生体顕微鏡検査は強力なツールであり、細胞および細胞以下の解像度の自然な文脈で生きている生対象物の生理機能を特徴付ける能力を提供する。しかしながら、視野が小さく、非常に高価で複雑な機器が使用されるため、一般的な生物学的研究における生体内イメージングの有用性は制限される。標準または高度な生体顕微鏡検査は、視野（ＦＯＶ）が２ミリメートル（ｍｍ）まで延在せず、深度が数百マイクロメートルまで延在しないときに役立つ。
経頭蓋光学血管イメージング（ＴＯＶＩ）と呼ばれる蛍光イメージングに基づく別の例示的な方法は、本願と同じ発明者によって発明されたものである。この方法は蛍光造影剤の循環への投与に基づいている。この方法は２Ｄ画像を生成する。ＴＯＶＩを使用して、無傷の頭蓋骨および無傷の皮膚を通して１５ｍｍのＦＯＶで脳血管を観察することができる。
第１の態様によれば、蛍光照明に基づいて三次元（３Ｄ）画像を生成するコンピュータ実施方法は、蛍光照明を中に有する複数の領域を有する対象物に向けてそれぞれの視差に配置された少なくとも３つの画像センサの各々によって、複数の領域の蛍光照明を含む複数の画像のそれぞれのシーケンスを並行して受信することであって、複数の画像の各々は一定の時間間隔を置いて分離されている、受信することと、複数の領域の各それぞれの領域の深度を示すボリュームデータセットを作成するために、それぞれのシーケンスを分析することと、ボリュームデータセットに従って３Ｄ画像を生成することとを含む。
第２の態様によれば、蛍光照明に基づいて三次元（３Ｄ）画像を生成するためのシステムは、蛍光照明を中に有する複数の領域を有する対象物に向けてそれぞれの視差に配置された少なくとも３つの画像センサの各々によって、複数の領域の蛍光照明を含む複数の画像のそれぞれのシーケンスを並行して受信するイメージングインターフェースであって、複数の画像の各々は一定の時間間隔を置いて分離されている、イメージングインターフェースと、コードを記憶するプログラムストアと、記憶されているコードを実施するためにイメージングインターフェースおよびプログラムストアに結合されている少なくとも１つのプロセッサであって、コードは、複数の領域の各それぞれの領域の深度を示すボリュームデータセットを作成するために、それぞれのシーケンスを分析することと、ボリュームデータセットに従って３Ｄ画像を生成することとを行うためのコードを含む、少なくとも１つのプロセッサとを備える。
第３の態様によれば、蛍光照明に基づいて三次元（３Ｄ）画像を生成するための、少なくとも１つのプロセッサによって実施するためのプログラムコードを記憶している非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品は、蛍光照明を中に有する複数の領域を有する対象物に向けてそれぞれの視差に配置された少なくとも３つの画像センサの各々によって、複数の領域の蛍光照明を含む複数の画像のそれぞれのシーケンスを並行して受信するためのコード命令であって、複数の画像の各々は一定の時間間隔を置いて分離されている、受信するためのコード命令と、複数の領域の各それぞれの領域の深度を示すボリュームデータセットを作成するために、それぞれのシーケンスを分析するためのコード命令と、ボリュームデータセットに従って３Ｄ画像を生成するためのコード命令とを備える。
本明細書で提供されるシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、対象物の蛍光照明領域のイメージングの正確度および／または解像度を改善するという技術的問題に対する技術的解決策を提供する。技術的問題は、生きている哺乳動物（例えば、ヒト、マウス、ブタ、ヒツジ、イヌ、ウサギ、ネコ）内の血管および／または管腔の（任意に非侵襲的な）生体内イメージングに関するものであり得る。技術的問題は、蛍光照明領域による血管および／または管腔の種類の分類に関連し得る。技術的問題は、例えば動脈と静脈との間の区別、および／または血管分岐と互いに交差する２つの血管との間の区別のような、構造的詳細の解像に関連し得る。技術的問題は、蛍光照明領域に基づく、生成された３Ｄ画像内の血管および／または管腔の位置の正確度および／または解像度を改善することに関連し得る。
本明細書で提供されるシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、ｉｎ ｖｉｖｏ光イメージング中の生体組織内の光の（すなわち媒質による蛍光の）散乱および／または吸収の技術的問題に対する技術的解決策を提供する。光の散乱および／または吸収は、臨床的に重要である十分に高い解像度で構造をイメージングする能力および／または組織の奥深くの機能的情報を取得する能力を制限する。本明細書で提供されるシステムおよび／または方法は、ｉｎ ｖｉｖｏ光イメージング中に、蛍光照明剤に基づいて、空間解像度を改善し、かつ／またはイメージングの深度を拡大する。本明細書で提供されるシステムおよび／または方法は他の様態で、生体から得られる３Ｄ画像内の隠れた構造的および／または機能的詳細を解像する。そのような動的な詳細は、他の標準的なイメージング方法、例えば磁気共鳴イメージングを用いては得られない。
本明細書に記載のシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、生きている哺乳動物に投与される薬剤（複数可）の蛍光照明を捕捉する画像センサを使用して画像を生成する生体内イメージングシステムの計算ユニットの性能を向上させる。性能の向上は、蛍光照明に基づいて画像センサによって捕捉される血管（複数可）および／または管腔（複数可）の種類の識別を含む、生成される３Ｄ画像の少なくとも改善された正確度および／または解像度を含む。性能の向上は、結果として得られる画像の品質を犠牲にすることなく、より少ないメモリ、および／またはより少ない計算リソース（例えば、プロセッサ（複数可）利用率）、および／またはより速い計算時間を使用して３Ｄ画像を生成することを含み得る。
第１の態様、第２の態様、および第３の態様のさらなる実装形態では、対象物は生きている哺乳動物内の組織を含み、蛍光照明領域は生きている哺乳動物の皮膚の下に位置する蛍光照明剤を注入される複数の血管を含み、少なくとも３つの画像センサが皮膚の外側にかつ皮膚に接触しないように配置される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、分析することは、少なくとも３つの画像センサの各画像センサ対についてそれぞれの視差データセットを計算するためにそれぞれのシーケンスを分析することと、各画像センサ対のそれぞれの視差データセットに基づいてボリュームデータセットを計算することを含み、ボリュームデータセットは、複数の領域の各領域の３Ｄ位置を示す。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、分析することは、各それぞれのシーケンスのそれぞれの画素における蛍光照明の強度の変化を示す少なくとも１つのパターンの分析に基づいて時間類似度指数を計算することと、時間類似度指数に従って各領域の種類を計算することとを含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、各領域の種類は、蛍光照明の強度の変化を示す少なくとも１つのパターンの類似度を有する画素をリンクすることによって計算され、類似度は、時間類似度指数に基づく類似度要件に従って定義される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、類似度要件は、以下の式に従って計算される。
Figure 0007184489000001
式中、Ｉｒ（ｔ）は基準時間関数を表し、ＳｉはＩｒ（ｔ）との比較によって現在の時間関数を示すＩｃ（ｔ）間の相対距離を定義する時間評価を表し、
Figure 0007184489000002
であり、類似度は、関係｜ Ｉｃ（ｔ） － Ｉｒ（ｔ） ｜に従って、マンハッタン距離として計算される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、蛍光照明の強度の変化を示す少なくとも１つのパターンは、蛍光照明の最大強度までの時間を含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、蛍光照明の強度の変化を示す少なくとも１つのパターンは、一定の時間間隔にわたる蛍光照明のほぼ安定した強度を含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、種類は、血管の分岐、より低い組織レベルにある第２の血管に交差するより高い組織レベルにある第１の血管、動脈、静脈、リンパ管、管腔を含む脳脊髄液（ＣＳＦ）、消化器系に関連する空気充填管腔、および泌尿器系に関連する尿充填管腔からなる群から選択される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、ボリュームデータセットによって定義される複数の領域の各領域を、複数の領域の各それぞれの領域の計算された種類を示す少なくとも１つの視覚的マーカと関連付けることをさらに含み、および／または、システムは、そのようにするためのコードをさらに含み、および／または、コンピュータプログラム製品は、そのようにするための追加の命令を含み、３Ｄ画像を生成することは、少なくとも１つの視覚的マーカに基づいて３Ｄ画像を生成することを含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、ニューラルネットワークは、それぞれのシーケンスを受信し、時間類似度指数を計算して、複数の領域の各それぞれの領域の深度を示すボリュームデータセットを出力する。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、等方性基準を計算することと、等方性基準に従って、生成されている３Ｄ画像の空間解像度を向上させることとをさらに含み、および／または、システムは、そのようにするためのコードをさらに含み、および／または、コンピュータプログラム製品は、そのようにするための追加の命令を含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、重み付き係数を含む時空間歪み補償行列（ＳＴＤＣＭ）を計算することと、各領域の各画素の深度座標を補正するためにボリュームデータセットにＳＴＤＣＭを適用することとをさらに含み、および／または、システムは、そのようにするためのコードをさらに含み、および／または、コンピュータプログラム製品は、そのようにするための追加の命令を含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、ＳＴＤＣＭは、それぞれのシーケンスに基づいて計算される、各それぞれの画素における経時的な少なくとも１つの蛍光強度パターンに関連する複数の計算された時間形状指数パラメータに基づいて計算され、複数の計算された時間形状指数パラメータは、ボリュームデータセットの構造的および／または機能的詳細を解像するために使用される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、構造的および／または機能的詳細を解像するために使用される複数の計算された時間形状指数パラメータは、微細構造詳細、血管の種類、血管の分岐または血管の交差を示すトポロジ、血管分類、蛍光コントラスト溢出、および正常な機能状態または異常な挙動からなる群から選択される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、それぞれのシーケンスの画素の蛍光照明の強度の変化の分析に基づいて動き推定器を算出することと、動きアーチファクトを補正するために動き推定器をボリュームデータセットに適用することとをさらに含み、かつ／または、システムは、そのようにするためのコードをさらに含み、かつ／または、コンピュータプログラム製品は、そのようにするための追加の命令を含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、蛍光照明の散乱を補償し、血管から漏出する蛍光照明剤の拡散を推定するデコンボリューションパラメータを計算することをさらに含み、かつ／または、システムは、そのようにするためのコードをさらに含み、かつ／または、コンピュータプログラム製品は、そのようにするための追加の命令を含み、デコンボリューションパラメータは、ボリュームデータセットを補正し、複数の領域の空間解像度を改善するために使用される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、少なくとも３つの画像センサのそれぞれの視差ずれに基づいて構造テンソルを計算することと、３Ｄ画像内の複数の領域の深度および／または視差感度を改善するために、構造テンソルに従ってボリュームデータセットを計算することとをさらに含み、かつ／または、システムは、そのようにするためのコードをさらに含み、かつ／または、コンピュータプログラム製品は、そのようにするための追加の命令を含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、それぞれのシーケンスの分析は、少なくとも３つの画像センサのそれぞれのシーケンスによる各それぞれの画素の計算されている初期位置、および、各それぞれの画素における蛍光イメージングにおける少なくとも１つの変化パターンを入力として受け取り、各それぞれの画素の位置の計算された最大相関に基づいてボリュームデータセットを出力する訓練された時間類似度指数分類器を使用して実行される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、少なくとも３つの画像センサの各々によって受信される各それぞれのシーケンスに適応フィルタを適用することをさらに含み、かつ／または、システムは、そのようにするためのコードをさらに含み、かつ／または、コンピュータプログラム製品は、そのようにするための追加の命令を含み、適応フィルタは、各領域の位置の空間解像度を改善し、蛍光照明の強度の変動中のノイズを低減するように設計されている。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、少なくとも３つの画像センサの各々によって受信される各それぞれのシーケンスに適応フィルタを適用することをさらに含み、かつ／または、システムは、そのようにするためのコードをさらに含み、かつ／または、コンピュータプログラム製品は、そのようにするための追加の命令を含み、適応フィルタは、対象物の媒質の散乱効果を低減するように設計されており、適応フィルタは、各シーケンスの複数の画像の各画像から適応フィルタを減算することによって、優ガウス背景減算として実施される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、方法は、少なくとも３つの画像センサの中心に位置決めされているレーザおよび別の画像センサを動作させることをさらに含み、かつ／または、システムは、動作のために、少なくとも３つの画像センサの中心に位置決めされているレーザおよび別の画像センサと、プログラムストアによって記憶されているコード命令とを備え、かつ／またはコンピュータプログラム製品は、少なくとも３つの画像センサの中心に位置決めされているレーザおよび別の画像センサを動作させるための追加の命令と、プログラムストアによって記憶されているコード命令とを含み、コードは、別の画像センサによって捕捉されるレーザの反射に基づいて作成される画像を分析して、レーザスペックルイメージング（ＬＳＩ）を計算し、 ＬＳＩを独立した基準として使用して、ボリュームデータセットに基づいてリアルタイムで３Ｄ画像を生成するためのコードを含む。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、ＬＳＩは血管の３Ｄフローマップを決定するために使用される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、ＬＳＩはボリュームデータセットの領域の３Ｄ座標を補正するために使用される。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、少なくとも３つの画像センサは、ｘ－ｙ－ｚ空間の同じｚ軸値に位置決めされている。
第１の態様、第２の態様、および第３の態様のさらなる実装形態において、少なくとも３つの画像センサは相補型金属酸化膜半導体（ＣＭＯＳ）センサを含む。
他に定義されない限り、本明細書中で使用される全ての技術的および／または科学的用語は、本発明が属する分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載された方法および材料と類似または同等の方法および材料を本発明の実施形態の実践または試験に使用することができるが、例示的な方法および／または材料を以下に記載する。矛盾がある場合は、定義を含め、本特許明細書が優先するものとする。さらに、材料、方法、および実施例は例示的なものに過ぎず、必ずしも限定であることを意図するものではない。
本発明のいくつかの実施形態が、添付の図面を参照して、単なる例として本明細書において説明される。ここで図面を詳細に参照すると、示された詳細は、例としてのものであり、本発明の実施形態の説明のためであることが強調される。この点に関して、図面を用いた説明は、本発明の実施形態がどのように実践され得るかを当業者に明らかにする。
本発明のいくつかの実施形態による、少なくとも３つの画像センサを使用して時間的に離間された画像のシーケンスを使用して取得される領域内からの蛍光照明に基づいて対象物の領域の３Ｄ画像を生成する方法のフローチャートである。 本発明のいくつかの実施形態による、少なくとも３つの画像センサを使用して捕捉される時間的に離間された画像のシーケンスを使用してイメージングされる蛍光照明に基づいて対象物の領域の３Ｄ画像を生成するシステムの構成要素のブロック図である。 本発明のいくつかの実施形態による、適応フィルタの適用前後の８００枚の積層画像のシーケンスの比較を示す図である。 本発明のいくつかの実施形態による、類似のパターンを有する画素に従って色分けされた第１の画像および第２の画像を含む図である。 本発明のいくつかの実施形態による、図４の画像を重ね合わせることによって作成された画像図である。 本発明のいくつかの実施形態による、対象物に適用される、蛍光照明の時間的に離間された画像のシーケンスに基づいて対象物の３Ｄ画像を生成するためのプロセスの例示的なデータフローを示すブロック図である。 本発明のいくつかの実施形態による、本発明者らによって実施されたイメージング実験の例示的な３－Ｙ設定の写真を含む図である。 本発明のいくつかの実施形態による、図７の３－Ｙ設定を使用して生成され、本明細書に記載のシステムおよび／または方法を使用して計算された３Ｄ画像図である。 本発明のいくつかの実施形態による、３－Ｙ設定を使用して捕捉された３Ｄグローバル形状（すなわち、３Ｄ画像を生成するために使用されるボリュームデータセットとも呼ばれる深度マップ）の画像図である。 本発明のいくつかの実施形態による、図７に示される設定のチューブの複数の位置のうちの１つの位置の微細構造詳細に関する構造化形状を示す、計算されたＳＴＤＣＭに基づいて生成された画像図である。 本発明のいくつかの実施形態による、本明細書に記載の３－Ｙ設定の３つのカメラのうちの２つの間の視差データセットを計算するための設定を示す概略図である。 本発明のいくつかの実施形態による、図１１に示す設定を使用して生成された３Ｄ画像図である。 本発明のいくつかの実施形態による、図１１に示す設定に基づいて生成された、２つの深く根付いた血管網の３Ｄトポロジ上の表示の画像図である。 本発明のいくつかの実施形態による、自動画像復元方法の一例を示す画像を含む図である。 本発明のいくつかの実施形態による、実際の経皮イメージングにおける自動画像復元方法の一例を示す画像を含む図である。 本発明のいくつかの実施形態による、図１５のイメージングデータに適用される時間類似度指数方法を使用して生成された画像図である。 本発明のいくつかの実施形態による、捕捉された画像のシーケンスの品質に対する適応フィルタの効果を評価するための、模型を用いた実験室実験の一部として計算された３Ｄ画像を含む図である。 本発明のいくつかの実施形態による、生成された３Ｄ画像の品質に対する適応フィルタの効果を評価するための、実験の一部として捕捉された画像のシーケンスから計算された３Ｄ画像を含む図である。 本発明のいくつかの実施形態による、３Ｄ画像を計算するためのニューラルネットワークベースのアーキテクチャの例示的な実装形態を示す概略図である。 本発明のいくつかの実施形態による、構造の分岐および／または交差の明瞭さを示す、ニューラルネットワークの出力に基づく３Ｄ画像の一部を含む図である。 本発明のいくつかの実施形態による、本明細書に記載の画像解像度の向上および／またはあいまいな分岐および／または交差の区別の向上を示す、ニューラルネットワークの出力に基づいて計算された３Ｄ画像を含む図である。 本発明のいくつかの実施形態による、時間指数化に従って計算された脳の血管網の３Ｄ画像図である。 本発明のいくつかの実施形態による、構造テンソルを示す脳の血管網の例示的な３Ｄ画像図である。
本発明は、そのいくつかの実施形態において、蛍光イメージングに関し、より具体的には、限定はしないが、蛍光照明に基づいて３Ｄ画像を生成するためのシステムおよび方法に関する。
本発明のいくつかの実施形態の一態様は、時間的に離間された画像のシーケンス（例えばタイムスタンプ付き）の分析に基づいて作成されるボリュームデータセット（複数可）に基づいて３Ｄ画像（複数可）を生成するシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）に関し、各それぞれのシーケンスは、蛍光照明領域を有する対象物に対して非平行に（すなわち、それぞれの視差を有する）配置された３つ（またはそれ以上）の画像センサのうちの１つによって取得される。蛍光照明領域に基づく３Ｄ画像は、対象物、任意選択的に他の隠された領域の構造的および／または機能的詳細を提供する。光経皮イメージングが行われてもよい。例えば、３Ｄ画像は、脳卒中の影響を評価し、腫瘍を識別し、または他の用途のために、例えば、ヒトまたはマウスの脳の血管のイメージングなど、対象物（例えば、ヒト、動物）の血管をイメージングするために、場合によってはリアルタイムで、非侵襲的に実行され得る。生物（例えば、哺乳動物）の経皮イメージングの場合、蛍光照明領域（例えば、血管）が、生きている哺乳動物の皮膚の下で位置特定され、３つ（またはそれ以上）の画像センサが、生きている動物の皮膚の外側に配置される。３つ（またはそれ以上）の画像センサは皮膚に接触しない（すなわち、生きている哺乳動物の皮膚から離間している）。イマジンセンサによって捕捉される画像は、皮膚（および他の組織）をトラバースしており、皮膚（および他の組織）によって影響を受けた蛍光、例えば本明細書に記載されるような散乱に基づいている。
任意選択的に、捕捉されたシーケンスに基づいて画像センサの各対について視差データセットが計算され、例えば、３つの画像センサが使用されるとき、対の３つの組み合わせについて３つの視差データセットが計算される。ボリュームデータセットは、視差データセットに基づいて、例えば訓練された統計的分類器および／または（任意選択的に畳み込み）ニューラルネットワークを使用して計算される。３Ｄ画像はボリュームデータセットに基づいて生成される。
代替的にまたは付加的に、ボリュームデータセットはシーケンスの蛍光照明パターン（複数可）の分析に基づいて生成される。パターンは、各シーケンスの時間的に離間された画像にわたる蛍光照明の強度の変化を示している。パターンは、画素（例えば、ピクセル、ボクセル）および／または画素のグループごとに計算することができる。パターンは、経時的な強度の変化を示す時間関数として表すことができる。
任意選択的に、パターンは蛍光照明の最大強度に達するまでの時間を示す。代替的にまたは付加的に、パターンは蛍光照明の強度の安定性を示す。（例えば、例として統計的距離および／または相関などの類似度要件）類似したパターンを有する画素をともにグループ化することができる。グループ化された画素は、構造および／または機能を示す１つまたは複数の所定の種類として識別することができ、および／または構造詳細を解像して、例えば動脈と静脈との間で区別し、ならびに／もしくは、血管の分岐と２つの血管の互いに対する交差との間で区別するために使用することができる。
本明細書で提供されるシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、対象物の蛍光照明領域のイメージングの正確度および／または解像度を改善するという技術的問題に対する技術的解決策を提供する。技術的問題は、生きている哺乳動物（例えば、ヒト、マウス、ブタ、ヒツジ、イヌ、ウサギ、ネコ）内の血管および／または管腔の（任意に非侵襲的な）生体内イメージングに関するものであり得る。技術的問題は、蛍光照明領域による血管および／または管腔の種類の分類に関連し得る。技術的問題は、例えば動脈と静脈との間の区別、および／または血管分岐と互いに交差する２つの血管との間の区別のような、構造的詳細の解像に関連し得る。技術的問題は、蛍光照明領域に基づく、生成された３Ｄ画像内の血管および／または管腔の位置の正確度および／または解像度を改善することに関連し得る。
本明細書で提供されるシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、ｉｎ ｖｉｖｏ光イメージング中の生体組織内の光の（すなわち媒質による蛍光の）散乱および／または吸収の技術的問題に対する技術的解決策を提供する。光の散乱および／または吸収は、臨床的に重要である十分に高い解像度で構造をイメージングする能力および／または組織の奥深くの機能的情報を取得する能力を制限する。本明細書で提供されるシステムおよび／または方法は、ｉｎ ｖｉｖｏ光イメージング中に、蛍光照明剤に基づいて、空間解像度を改善し、かつ／またはイメージングの深度を拡大する。本明細書で提供されるシステムおよび／または方法は他の様態で、生体から得られる３Ｄ画像内の隠れた構造的および／または機能的詳細を解像する。そのような動的な詳細は、他の標準的なイメージング方法、例えば磁気共鳴イメージングを用いては得られない。
経時的な（すなわち、複数のシーケンス画像にわたる）蛍光イメージングのパターンの分析に基づいて、画素および／または領域の種類および／または位置を識別するシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行されるコード命令）は、例えば、例として本明細書においてその全体が組み込まれるＪ．Ｓｅｏ，Ｙ．Ａｎ，Ｊ．Ｌｅｅ，Ｔ．Ｋｕ，Ｙ．Ｋａｎｇ，Ｃ．Ａｈｎ，Ｃ．Ｃｈｏｉ「Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ｏｆ ｄｙｎａｍｉｃ ｆｌｕｏｒｅｓｃｅｎｃｅ ｉｍａｇｅｓ ｆｏｒ ｄｉａｇｎｏｓｉｓ ｏｆ ｄｉａｂｅｔｉｃ ｖａｓｃｕｌｏｐａｔｈｙ」（Ｊ．Ｂｉｏｍｅｄ．Ｏｐｔ．２１（４），０４６００３，２０１６）に記載されているように、主成分分析（ＰＣＡ）に基づく方法と比較して、他の方法よりも計算効率が向上する。ＰＣＡ法は、統計的手法を用いて主成分のみを抽出すると考えられ、例えば、Ｓｅｏ他は、主要な頻出パターン（すなわち時間的挙動モード）を決定すると考えられる。対照的に、本明細書に記載のシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行されるコード命令）は、例えば、例として循環系における投与された蛍光剤の流動時間遅延に基づく類似度要件に従って類似のパターン（すなわち時間的挙動）を有する画素（例えばピクセル、ボクセル）をリンクさせる。本明細書に記載のシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行されるコード命令）は、より頻繁なおよび／または通常のパターン（例えば、脳内などの主幹動脈）を検出するとともに、他の様態で隠れた異常（例えば、出血性脳卒中に起因する脳血管からの血液のゆっくりとした漏出、および／または腫瘍における異常な血管形成）を検出することができる。
本明細書に記載のシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、生きている哺乳動物に投与される薬剤（複数可）の蛍光照明を捕捉する画像センサを使用して画像を生成する生体内イメージングシステムの計算ユニットの性能を向上させる。性能の向上は、蛍光照明に基づいて画像センサによって捕捉される血管（複数可）および／または管腔（複数可）の種類の識別を含む、生成される３Ｄ画像の少なくとも改善された正確度および／または解像度を含む。性能の向上は、結果として得られる画像の品質を犠牲にすることなく、より少ないメモリ、および／またはより少ない計算リソース（例えば、プロセッサ（複数可）利用率）、および／またはより速い計算時間を使用して３Ｄ画像を生成することを含み得る。
本明細書で提供されるシステムおよび／または方法（例えば、プロセッサ（複数可）によって実行される記憶装置に記憶されたコード命令）は、画像処理の技術分野、特に対象物への蛍光照明剤（複数可）の投与に基づいた３Ｄ画像（任意選択的に医用画像）の生成の分野の基礎となる技術プロセスを改善する。生成されている本明細書で説明されるシステムおよび／または方法は、血管の微細な３Ｄ構造の詳細を明らかにし、血管の隠された詳細を明らかにすること（例えば、分岐している血管と互いに交差している血管との間で区別すること）によって、対象物の領域（例えば脳内の血管）の３Ｄ画像を改善し、深度データを解像し、光散乱を改善し、動きアーチファクトを低減または排除する。
本明細書に記載のシステムおよび／または方法（例えば、１つまたは複数のプロセッサによって実行されるコード命令）は、物理的な現実の構成要素、例えば、対象物の領域（複数可）に投与される蛍光照明剤（複数可）に基づいて画像のシーケンスを各々が捕捉する画像センサに結び付けられる。
したがって、本明細書に記載のシステムおよび／または方法は、対象物に投与される蛍光照明剤（複数可）に基づく対象物の３Ｄイメージング（任意選択的に哺乳動物の生体内イメージング）において生じる実際の技術的問題を克服するために、計算技術および／または物理的構成要素（すなわち画像センサ）に密接に結び付けられる。
本発明の少なくとも１つの実施形態を詳細に説明する前に、本発明は、その適用において、以下の説明に記載されているおよび／または図面および／または実施例に示されている構成要素および／または方法の構造および構成の詳細に必ずしも限定されないことを理解されたい。本発明は、他の実施形態も可能であり、または様々な方法で実践もしくは実行することが可能である。
本発明は、システム、方法、および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（複数可）を含むことができる。
コンピュータ可読記憶媒体は、命令実行装置による使用のために命令を保持し記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適切な組合せであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、上記の任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、無線波または他の自由に伝播する電磁波、導波路もしくは他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、またはワイヤを介して送信される電気信号などの一時的信号自体であると解釈されるべきではない。
本明細書に記載のコンピュータ可読プログラム命令は、例えば、インターネット、ローカルエリアネットワーク、広域ネットワークおよび／またはワイヤレスネットワークなどのネットワークを介してコンピュータ可読記憶媒体から、または外部コンピュータもしくは外部記憶装置へと、それぞれのコンピューティング／処理装置にダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各コンピューティング／処理装置内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理装置内のコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などの対象物指向プログラミング言語、および「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語または同様のプログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくは対象物コードのいずれかであり得る。コンピュータ可読プログラム命令は、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上ならびに部分的に遠隔コンピュータ上で、または全体的に遠隔コンピュータまたはサーバ上で実行することができる。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または接続は、外部コンピュータに対して行うことができる（例えば、インターネットサービスプロバイダを使用してインターネットを介して）。いくつかの実施形態において、例えば、プログラム可能論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム可能論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実行するために、電子回路をパーソナライズするためにコンピュータ可読プログラム命令の状態情報を利用することによってコンピュータ可読プログラム命令を実行し得る。
本発明の態様は、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書で説明される。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施することができることは理解されよう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行する命令が、装置、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作を実施するための手段を作成するように、汎用コンピュータ、特殊用途コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されて、機械を生成することができる。これらのコンピュータ可読プログラム命令は、命令を記憶されているコンピュータ可読記憶媒体が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を含むように、特定の様式で、コンピュータ、プログラム可能データ処理装置、および／または他の装置に指示することができるコンピュータ可読記憶媒体に記憶することもできる。
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他の装置上で実行する命令が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定された機能／動作の態様を実施するように、コンピュータ、他のプログラム可能データ処理装置、または他の装置にロードして、コンピュータ、他のプログラム可能装置または他の装置上で一連の動作ステップを実行させて、コンピュータ実施プロセスを生成することができる。
図面中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を示している。
これに関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能（複数可）を実施するための１つまたは複数の実行可能命令を含むモジュール、セグメント、または命令の一部を表すことができる。いくつかの代替の実装形態では、ブロックに記載されている機能は、図に記載されている順序とは異なる順序で行われてもよい。例えば、連続して示されている２つのブロックは、実際には、含まれる機能に応じて、実質的に同時に実行されてもよく、または時には逆の順序で実行されてもよい。ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図内のブロックの組み合わせは、指定されている機能を実施し、または、特殊目的ハードウェアとコンピュータ命令との組み合わせを実行する特殊目的ハードウェアベースのシステムによって実装することができることにも留意されたい。
本明細書で使用されるとき、３－Ｙ画像センサ設定（または３－Ｙ設定）という用語は、本明細書において記載される場合、対象物に対する画像センサの例示的な位置決めを指す。
本明細書において使用される場合、視差という用語は、見る角度に応じて対象物の位置または方向が変化するように見える方法を意味する。各画像センサは、対象物を有する領域の異なる視差を生成する。視差データセットは、複数（任意選択的に３つ）の画像センサからの画像センサ対によって取得されるシーケンスから計算されるため、本明細書において参照される視差データセットは単独で使用される視差という用語とは異なることに留意されたい。
ここで、本発明のいくつかの実施形態による、少なくとも３つの画像センサを使用して時間的に離間された画像のシーケンスを使用して取得される領域内からの蛍光照明に基づいて対象物の領域の３Ｄ画像を生成する方法のフローチャートである図１を参照する。本発明のいくつかの実施形態による、少なくとも３つの画像センサ２０７Ａ～Ｃを使用して捕捉される時間的に離間された画像のシーケンスを使用してイメージングされる蛍光照明（例えば、蛍光照明投与装置２０６によって投与される）に基づいて対象物２０４の領域２０２の３Ｄ画像を生成するシステム２００の構成要素のブロック図である図２も参照する。システム２００は、任意選択的に、プログラムストア２１２に記憶されたコード命令２１２Ａを実行するコンピューティングユニット２１０の処理ユニット２０８によって、図１を参照して説明される方法の動作を実施することができる。
システムおよび／または方法（例えば、プロセッサ（複数可）によって実行されるコード命令によって実施される）は、２Ｄ画像よりも優れた３Ｄ画像を生成することによって、２Ｄ ＴＯＶＩ方法（本願の同じ著者によって発明された）を改良する。３Ｄ画像は、改善されたより深い深度データ（例えば、３Ｄ画像内の血管および／または他の領域の位置）を提供し、（組織による）蛍光照明の散乱からのノイズを低減し、（血管からの蛍光照明剤の）拡散を補正し、残留する動きアーチファクトからのぼけを補正し、および／または歪みを補償する。３Ｄ画像は、２Ｄ画像よりも改善された空間的および／または時間的解像度を提供する。ＴＯＶＩ法のさらなる詳細は、その内容全体が参照により本明細書に組み込まれている以下の刊行物を参照して見出される。
＊ Ｖ．Ｋａｌｃｈｅｎｋｏ，Ｋ．Ｚｉｖ，Ｙ．Ａｄｄａｄｉ，Ｎ．Ｍａｄａｒ－Ｂａｌａｋｉｒｓｋｉ，Ｉ．Ｍｅｇｌｉｎｓｋｉ，およびＭ．Ｎｅｅｍａｎ「Ｃｏｍｂｉｎｅｄ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｄｙｎａｍｉｃ ｌｉｇｈｔ ｓｃａｔｔｅｒｉｎｇ ｉｍａｇｉｎｇ ａｎｄ ｆｌｕｏｒｅｓｃｅｎｃｅ ｉｎｔｒａｖｉｔａｌ ｍｉｃｒｏｓｃｏｐｙ ｉｎ ｖａｓｃｕｌａｒ ｂｉｏｌｏｇｙ」（Ｌａｓｅｒ Ｐｈｙｓ．Ｌｅｔｔ．，７（８），６０３－６０６ ，２０１０）。
＊ Ｖ．Ｋａｌｃｈｅｎｋｏ，Ｎ．Ｍａｄａｒ－Ｂａｌａｋｉｒｓｋｉ，Ｉ．Ｍｅｇｌｉｎｓｋｉ，およびＡ．Ｈａｒｍｅｌｉｎ「Ｉｎ ｖｉｖｏ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｔｕｍｏｒ ａｎｄ ｔｕｍｏｒ ｖａｓｃｕｌａｒ ｎｅｔｗｏｒｋ ｕｓｉｎｇ ｍｕｌｔｉ－ｍｏｄａｌ ｉｍａｇｉｎｇ ａｐｐｒｏａｃｈ」（Ｊ．Ｂｉｏｐｈｏｔｏｎｉｃｓ，４（９），６４５－６４９，２０１１）。
＊ Ｖ．Ｋａｌｃｈｅｎｋｏ，Ｄ．Ｉｓｒａｅｌｉ，Ｙ．Ｋｕｚｎｅｔｓｏｖ，およびＡ．Ｈａｒｍｅｌｉｎ「Ｔｒａｎｓｃｒａｎｉａｌ ｏｐｔｉｃａｌ ｖａｓｃｕｌａｒ ｉｍａｇｉｎｇ （ＴＯＶＩ） ｏｆ ｃｏｒｔｉｃａｌ ｈｅｍｏｄｙｎａｍｉｃｓ ｉｎ ｍｏｕｓｅ ｂｒａｉｎ」（Ｓｃｉ．Ｒｅｐ．４，５８３９，２０１４）。
＊ Ｖ．Ｋａｌｃｈｅｎｋｏ，Ｙ．Ｋｕｚｎｅｔｓｏｖ，Ｉ．Ｍｅｇｌｉｎｓｋｉ，およびＡ．Ｈａｒｍｅｌｉｎ「Ｌａｂｅｌ ｆｒｅｅ ｉｎ ｖｉｖｏ ｌａｓｅｒ ｓｐｅｃｋｌｅ ｉｍａｇｉｎｇ ｏｆ ｂｌｏｏｄ ａｎｄ ｌｙｍｐｈ ｖｅｓｓｅｌｓ」（Ｊ．Ｂｉｏｍｅｄ．Ｏｐｔ．，１７（５），０５０５０２，２０１２）。
＊ Ｖ．Ｋａｌｃｈｅｎｋｏ，Ｄ．Ｉｓｒａｅｌｉ，Ｙ．Ｋｕｚｎｅｔｓｏｖ，Ｉ．Ｍｅｇｌｉｎｓｋｉ，およびＡ．Ｈａｒｍｅｌｉｎ「Ａ ｓｉｍｐｌｅ ａｐｐｒｏａｃｈ ｆｏｒ ｎｏｎ－ｉｎｖａｓｉｖｅ ｔｒａｎｓｃｒａｎｉａｌ ｏｐｔｉｃａｌ ｖａｓｃｕｌａｒ ｉｍａｇｉｎｇ （ｎＴＯＶＩ）」（Ｊ．Ｂｉｏｐｈｏｔｏｎｉｃｓ，８（１１－１２），８９７－９０１，２０１５））。
本明細書に記載のシステムおよび／または方法は、対象物（例えば、組織、脳）内部のより深部に位置する以前は隠れていた血管構造を含む３Ｄ画像を生成し、血液灌流機能をリアルタイムで特徴付けるために使用することができ、および／または、リアルタイム３Ｄイメージングシステムを生成するために使用することができる機能的イメージング手法を提供する。
本明細書において使用される場合、グローバル形状という用語は、対象物の表面の垂直方向における対象物の領域（および／または他の構造）の深度を示す（すなわち、特定の見やすい点における）深度マップ（例えば、行列および／または画像として実装される）を意味する。生成された３Ｄ画像は、例えば、解像度および／または品質に関して、グローバル形状の改善であり得ることに留意されたい。
微細な頭蓋内構造のない頭蓋の単純な２Ｄ深度マップが３Ｄグローバル形状を画定し得ることに留意されたい。２Ｄの場合、深度マップ（Ｚ深度とも呼ばれる）は、グレイレベル画像、または視点からのシーン領域の表面の距離に関する情報を含む行列として実装することができる。そのような深度マップは、２画像センサステレオ設定を使用して計算することができる。ただし、結果は多くの歪みおよび情報が欠けている箇所を含む粗い推定である。本明細書に記載の３－Ｙ設定は、３Ｄ画像を生成するために使用される高品質の深度マップをレンダリングするために使用される追加の視点を提供する。
３－Ｙ設定は、標準的な２Ｄステレオイメージングシステムにまさる、追加の計算上の改善を提供する。３－Ｙ設定は、三角測量機能を提供するように構成されてもよく、それは、対象物のグローバル形状に対する固有の解を計算するために使用することができる。３つ（またはそれ以上）の独立した歪みデータセット（例えば行列）を計算することができる。歪みデータセットは、例えば、３Ｄ画像を生成するニューラルネットワークに供給される、生成される３Ｄ画像の品質を改善するために使用され得る。３－Ｙ設定は、複数の異なる視点からのデータの組み合わせに基づいて、欠けている側方部分を埋めるために使用されるデータを生成することができる。
明瞭かつ単純にするために、本明細書においては、３つの画像センサ２０７～Ｃを使用する実施態様を説明する。しかし、当業者であれば、例えば、生成される３Ｄ画像内の領域の解像度をさらに向上させるために、３つよりも多い画像センサ２０７Ａ～Ｃを実装することを選択することができることに留意されたい。画像センサ２０７Ａ～Ｃは、リアルタイムで、例えば毎秒約５～１０画像、または毎秒約１１～２０画像、または毎秒約１～４画像、または他の速度で、（各々が一定の時間間隔で分離された）画像のシーケンスを迅速に取得するように設計されている。画像センサの例示的なハードウェア実施態様は、相補型金属酸化膜半導体（ＣＭＯＳ）ベースの光センサを含む。
画像センサ２０７Ａ～Ｃは、それぞれの視差に（すなわち、互いに非平行に）位置決めされている。画像センサ２０７Ａ～Ｃは、互いに対して傾斜している（すなわち、０よりも大きい、または約１８０度未満の角度）。画像センサ２０７Ａ～Ｃは、各々が、対象物２０４の異なる視差を捕捉するように位置決めされている。任意選択的に、画像センサ２０７Ａ～Ｃは、実質的に、対象物２０４を含む３Ｄ ｘ－ｙ－ｚ空間内の同じｙ軸値に沿って位置決めされる。任意選択的に、画像センサ２０７Ａ～Ｃは、正三角形の頂点に位置決めされる。画像センサ２０７Ａ～Ｃは、３つの視野角（または追加のセンサが使用される場合はそれ以上）を得る。
任意選択的に、システム２００は、レーザ（複数可）と他の画像センサ（複数可）２０７Ｄとを含む。レーザおよびセンサ２０７Ｄは、レーザスペックルイメージング（ＬＳＩ）を実行するように設計されている。ＬＳＩデータを生成された３Ｄ画像と共に使用して、対象物２０４内の領域２０２のリアルタイム３Ｄ画像を作成することができる。レーザおよびセンサ２０７Ｄは、画像センサ２０７Ａ～Ｃの中心に位置決めされてもよい。レーザおよびセンサ２０７Ｄの位置は、幾何学的歪みを低減または排除するように設計されている。
任意選択的に、対象物２０４は、例えば、ヒト、ブタ、マウス、イヌ、およびヒツジなどの、生きている哺乳動物の一部を含む。対象物２０４は、例えば、生きている哺乳動物の頭部の一部、腫瘍の一部、および／または心臓の一部を含んでもよい。
任意選択的に、対象物２０４の領域２０２は、血管、動脈、静脈、リンパ管、管腔（例えば、室、管）を含む脳脊髄液（ＣＳＦ）、消化器系に関連する空気充填管腔（例えば、腸）、および、泌尿器系に関連した尿充填管腔（（例えば、尿管）のうちの１つまたは複数を含む。
任意選択的に、蛍光照明投与装置２０６は、蛍光照明剤（複数可）（例えば、造影剤）を対象物２０４の領域（複数可）２０２に注入する。蛍光照明管理装置２０６は、例えば手、動注射器、規定量の蛍光照明剤を規定の時間注入するようにプログラムされた自動注射器、静脈内（ＩＶ）点滴、経口投与剤（すなわち、薬剤を飲むこと）、または他の実施態様として実施することができる。
コンピューティングユニット２１０は、例えば、クライアント端末、サーバ、コンピューティングクラウド、モバイル装置、デスクトップコンピュータ、シンクライアント、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、メガネ型コンピュータ、および時計型コンピュータとして実装することができる。コンピューティングユニット２１０は、図１を参照して説明されている動作のうちの１つまたは複数を実行したローカルに記憶されたソフトウェアを含むことができ、および／または、例えば、クライアント端末（複数可）２１４にサービス型ソフトウェア（ＳａａＳ）を提供し、クライアント端末（複数可）２１４へのローカルダウンロードのためのアプリケーションを提供し、および／またはウェブブラウザなどを通じてクライアント端末２１４への遠隔アクセスセッションを使用して機能を提供する、ネットワーク２１６を介して１つまたは複数のクライアント端末２１４にサービス（例えば、図１を参照して説明されている動作のうちの１つまたは複数）を提供する１つまたは複数のサーバ（例えばネットワークサーバ、ウェブサーバ、コンピューティングクラウド）として動作することができる。
コンピューティングユニット２１０は、１つまたは複数のイメージングインターフェース（複数可）２１８、例えば有線接続、ワイヤレス接続、他の物理的インターフェース実施態様、および／または仮想インターフェース（例えばソフトウェアインターフェース、アプリケーションプログラミングインターフェース（ＡＰＩ）、ソフトウェア開発キット（ＳＤＫ））を使用して、画像センサ２０７Ａ～Ｃによって捕捉されたイメージングデータを受信する。
例えばランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、および／または記憶装置、例えば不揮発性メモリ、磁気媒体、半導体メモリ装置、ハードドライブ、リムーバブル記憶装置、および光媒体（例えばＤＶＤ、ＣＤ－ＲＯＭ）などのプログラムストア２１２は、処理装置２０４によって実施可能なコード命令を記憶する。例えば、プログラムストア２１２は、図１を参照して説明されている方法の１つまたは複数の動作を実行するコード命令２１２Ａを記憶することができる。
コンピューティングユニット２１０は、例えば（本明細書に記載されるように）３Ｄ画像を生成するために使用される訓練された時間類似度指数分類器、ならびに（本明細書に記載されるように）対象物の領域の画像を安定させ、および／または光散乱を補正するために使用される適応フィルタなどの、データを記憶するためのデータリポジトリ２２０を含むことができる。データリポジトリ２２０は、例えば、メモリ、ローカルハードドライブ、取り外し可能記憶ユニット、光ディスク、記憶装置として、および／または遠隔サーバ２２２および／またはコンピューティングクラウド（例えば、データインターフェース２２４を使用してネットワーク２１６を介してアクセスされる）として実装され得る。コード命令２１２Ａは、例えば、処理ユニット２０８による実行のために実行部分がプログラムストア２１２にロードされた状態で、データリポジトリ２２０に記憶され得ることに留意されたい。
コンピューティングユニット２１０は、例えば、ネットワークインターフェースカード、ワイヤレスネットワークに接続するためのワイヤレスインターフェース、ネットワーク接続のためのケーブルに接続するための物理インターフェース、ソフトウェア内で実装される仮想インターフェース、より上層のネットワーク接続を提供するネットワーク通信ソフトウェア、および／または他の実施態様などの、ネットワーク２１６に接続するためのデータインターフェース２２４、任意選択的にネットワークインターフェースを含むことができる。コンピューティングユニット２１０は、例えばネットワーク２１６を使用して１つまたは複数の遠隔サーバ２２２にアクセスして、コード命令２１２Ａの更新をダウンロードすることができる。
コンピューティングユニット２１０は、ネットワーク２１６（または直接リンク（例えば、ケーブル、ワイヤレス）および／または間接リンク（例えば、サーバなどの中間のコンピューティングユニットを介して、および／または記憶装置を介して）を通じてなど、別の通信チャネル）を使用して、以下の１つまたは複数と接続することができる。
＊例えば、コンピューティングユニット２１０がＳａａＳを提供するサーバとして機能するときはクライアント端末（複数可）２１４。
＊例えば、サーバ２２２が、例えば患者に対する手術中に医療支援を提供する専門家による遠隔観察のために、生成された３Ｄ画像を提示することができる遠隔モニタサーバの一部である場合、サーバ２２２。
＊生成された３Ｄ画像、および／または３Ｄ画像を構築するために使用されるデータ、例えば画像センサ２０７Ａ～Ｃによって捕捉された画像のシーケンスのうちの１つまたは複数を記憶する、サーバ２２２によってホストされる記憶装置。サーバ２２２によってホストされる記憶ユニットは、例えば、ストレージサーバ、コンピューティングクラウドストレージサーバ、または他の実施態様として実装されてもよい。
コンピューティングユニット２１０は、ユーザがデータを入力すること、および／または提示されたデータを見ること、および／または生成された３Ｄ画像を見ることを可能にするユーザインターフェース２２６を含むかまたはそれと通信する。例示的なユーザインターフェース２２６は、例えば、タッチスクリーン、ディスプレイ、キーボード、マウス、ならびにスピーカおよびマイクロフォンを使用する音声起動ソフトウェアのうちの１つまたは複数を含む。
図１を参照して説明される方法の１つまたは複数の動作は、コンピューティングユニット２１０の処理ユニット（複数可）２０８によって実行されるプログラムストア２１２に記憶された（および／またはデータリポジトリ２２０に記憶された）コード命令２１２Ａによって実施され得る。
１０２において、対象物２０４の領域２０２の蛍光照明の画像のシーケンスが各画像センサ２０７Ａ～Ｂから受信される。各シーケンスは複数の画像を含み、各画像はシーケンス内の前の画像および次の画像から一定の時間間隔だけ分離されている。シーケンスは同時におよび／または並行して捕捉されてもよい。
任意選択的に、各画像は、取得時間、例えば絶対時間（すなわち、グローバルクロックに対する）および／または相対時間（例えば、前の画像からの経過時間）を示すタグと関連付けられる。相対時間を決定する例示的な方法は、例えば、その全体が参照により本明細書に組み込まれるＧ．Ｍｏｌｏｄｉｊ，Ｅ．Ｎ．Ｒｉｂａｋ，Ｍ．Ｇｌａｎｃ，およびＧ．Ｃｈｅｎｅｇｒｏｓ「Ｅｎｈａｎｃｉｎｇ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｂｙ ｅｘｔｒａｃｔｉｎｇ ｓｔｒｕｃｔｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ」（Ｏｐｔ．Ｃｏｍｍ．３１３，３２１－３２８ （２０１４）））によって説明される。
例えば、画像センサ２０７Ａ～Ｃは、マウスの脳の血管をイメージングするように位置決めされ、腫瘍の血管をイメージングするように位置決めされ、脳神経外科手術を受けている人間の血管をイメージングするように位置決めされ、または他の適用シナリオを受ける。
３－Ｙ設定は、マルチステレオイメージング手法に基づく。３つの独立した視差データセットが生成され、本発明者らは、これらが、（本明細書に記載されるように）有効な歪み行列を計算するため、および３Ｄイメージング空間内の領域（および／または他の構造）の位置を計算するための最小値であることを発見した。時間指数化（本明細書では時間類似度指数とも呼ばれる）を適用することによって、対象物２０４の正確なグローバル形状を得ることができる。本明細書に記載のパラメータをともに処理する（例えば、統計的分類器および／またはニューラルネットワークを使用して）領域２０２の微細な詳細情報（例えば、脳の血管３Ｄアーキテクチャ）が決定される。
１０３において、ＬＳＩデータがレーザおよび／またはセンサ２０７Ｄから受信される。受信画像は、センサ２０７Ｄによって捕捉されたレーザスペックル投影の反射に基づいて生成される。独立した基準としてＬＳＩを使用して、リアルタイムで３Ｄ画像を生成する（ブロック１０８）ために、ＬＳＩを使用することができる。ＬＳＩは、例えば、無傷の頭蓋骨を通じてイメージングするときに、散乱による歪みを補正するために使用することができる。
ＬＳＩデータは、蛍光照明とは独立してグローバル形状の代替基準として取得され得る反射性の複数の視差画像データを含み得る。
ＬＳＩは血管の３Ｄフローマップを決定するために使用されてもよい。フローマップは、血管の位置の作成されたボリュームデータセットと相関し得る。ＬＳＩは、ボリュームデータセットの領域の３Ｄ座標を補正するために使用され得る。例えば、特定の画素が血管（すなわち領域）の一部であることを決定する分析（例えば、ブロック１０４を参照して説明される）が、ＬＳＩデータを使用して補正され得る。例えば、血管として識別され、ＬＳＩデータが血流を示す画素が、血管として確認され得る。例えば、最初は血管として識別されたがＬＳＩデータに基づくと流れている血液と関連付けられない画素は、そのような画素が血管ではないことを示すように補正することができる。
ここで図１に戻って参照すると、１０４において、任意選択的に領域の画素（例えば、ピクセル、ボクセル）の深度値を設計することによって、対象物の各それぞれの領域の深度を示すボリュームデータセットを作成するために、シーケンス（複数可）が分析される。ボリュームデータセットは、深度マップ、または深度行列（特定の視点に対する）、またはイメージング空間内の座標、または他の実施態様として表現され得る。
例示的な分析方法は、ブロック１０６Ａ～Ｆを参照して説明される。ブロック１０６Ａ～Ｂを参照して説明される方法は、各画素の深度（すなわち位置）を示すボリュームデータセットを生成するために、並行して、および／または順次に、および／または組み合わせて実行することができる。任意選択的に、ブロック１０６Ｃ～Ｆを参照して説明される方法は、ボリュームデータセットを改善するために、例えば、ボリュームデータセットの正確度および／または解像度を向上させるために、並行して、および／または順次に、および／またはブロック１０６Ａ～Ｂを参照して説明した方法と組み合わせて実行することができる。
ボリュームデータセットは、２つの関心領域間の画像位置整合方法である局所相関追跡技法（ＬＣＴ）に基づいて生成することができる。
画像のシーケンスの分析は、訓練された時間類似度指数分類器を使用して実行することができる。本明細書において使用される場合、時間類似度指数分類器という用語は、機械学習方法、例えば、ニューラルネットワーク、統計的分類器、決定木、一連の規則、回帰方法、サポートベクタマシン、ｋ最近傍などを意味する。訓練された時間類似度指数分類器は、（例えば、ブロック１０６Ａを参照して説明されている計算された視差データセットに基づく）各それぞれの画素の計算された初期位置と、（例えば、ブロック１０６Ｂを参照して説明されている計算された時間類似度指数に基づく）各それぞれの画素における蛍光イメージングの変化のパターン（複数可）とを入力として受信し、各それぞれの領域の位置および／または各領域の画素の計算された最大相関に基づいてボリュームデータセットを出力する。最大相関は、局在化、時間指数化、および／またはシステムの対称性に応じて確率論的推定器として実装することができる最大確率推定値を使用して計算することができる。３Ｄ画像はボリュームデータセットに基づいて生成することができる。
任意選択的に、各領域（例えば血管）の各画素（例えば点、画素、ボクセル）の深度（すなわちＺ座標）を補正するために時空間歪み補償行列（ＳＴＤＣＭ）が計算される。ＳＴＤＣＭは、対象物に対する特定の観察方向に垂直な領域（例えば点、ボクセル）の深度の行列（または他の表現の実施態様）である。ＳＴＤＣＭは、深度座標を補正するために、深度座標の初期ボリュームデータセットに適用することができる重み付き係数を含む。ＳＴＤＣＭは、３Ｄグローバル形状（例えば頭蓋）のｘ－ｙ－ｚ座標を補正するために使用することができ、３Ｄグローバル形状（例えば頭蓋）内の各領域（例えば血管）の３Ｄ（ｘ－ｙ－ｚ）位置のレンダリングを可能にする。ＳＴＤＣＭは、ブロック１０６Ａおよび／または１０６Ｂを参照して説明されている方法に基づいて計算され、ブロック１０６Ｃ～Ｅを参照して説明されている方法に基づいて計算されてもよい。本明細書において説明するように、ＳＴＤＣＭは複数の空間的および／または時間的パラメータを考慮に入れる。
任意選択的に、１０５において、適応フィルタが各シーケンスに適用される。適応フィルタは、ブロック１０４および／または１０６Ａ～Ｆを参照して説明されている分析の前および／または間に適用される、シーケンスの分析の一部として適用することができる。
適応フィルタは、対象物のイメージング領域を安定させ、および／または光散乱を補正するように設計されている。適応フィルタは、各画素の位置の空間解像度を向上させるように設計されている。適応フィルタは、蛍光照明の強度の変動中にノイズを減らすように設計されている。
経皮イメージングが行われるとき（すなわち、対象が生きている哺乳動物であり、蛍光照明領域が体内の血管および／または他の流体充填管腔であるとき）、適応フィルタは、皮膚を含む拡散層からの光の散乱を除去および／または低減するように設計される。
適応フィルタは、画像のシーケンスの蛍光強度変動の間に空間解像度を改善し、および／またはノイズを低減するように設計されている。適応フィルタは、可視イメージング領域が時間とともに急速に変化するのにかかわらず適用される。適応フィルタは、３Ｄフーリエ変換に基づくカッパ－オメガ適応フィルタと呼ばれる天文計算技法に基づいて実施することができる。適応フィルタは、脳血管系の動的光学イメージング中に取得される運動劣化画像の教師なし画像レジストレーションの品質を著しく向上させる。
（優ガウス仮定における）深視野散乱除去が適用されてもよい。画像のぼけをもたらす多重散乱は、未知のカーネルとの畳み込みの結果としてモデル化され得る。散乱媒質の点広がり関数は、例えば、生物学的組織の光学モデルに従って実行されるモンテカルロシミュレーションを使用して取得され得る。
蛍光放射は、測光再構成においてランベルト面として作用すると仮定され得る。画質を改善するために、優ガウス背景減算を適用することができる。ある方向に伝播する波の減衰は、例えばＴａｔａｒｓｋｉｉ，Ｖ．Ｉ．「Ｔｈｅ ｅｆｆｅｃｔｓ ｏｆ ｔｈｅ ｔｕｒｂｕｌｅｎｔ ａｔｍｏｓｐｈｅｒｅ ｏｎ ｗａｖｅ ｐｒｏｐａｇａｔｉｏｎ」（ Ｊｅｒｕｓａｌｅｍ：Ｉｓｒａｅｌ Ｐｒｏｇｒａｍ ｆｏｒ Ｓｃｉｅｎｔｉｆｉｃ Ｔｒａｎｓｌａｔｉｏｎｓ，１９７１）を参照して説明されているように、他の方向における（エネルギーの保存による）散乱に起因すると考えられる。大気の乱流を通るレーザービーム伝播または星間媒質を通る光のような光子伝播を記述するための散乱の確率論的手法は、例えば、Ｈｉｌｌ，Ｒ．Ｊ．，Ｆｒｅｈｌｉｃｈ，Ｒ．Ｇ．「Ｐｒｏｂａｂｉｌｉｔｙ ｄｉｓｔｒｉｂｕｔｉｏｎ ｏｆ ｉｒｒａｄｉａｎｃｅ ｆｏｒ ｔｈｅ ｏｎｓｅｔ ｏｆ ｓｔｒｏｎｇ ｓｃｉｎｔｉｌｌａｔｉｏｎ」（ＪＯＳＡＡ，１４，Ｉ７，１５３０－１５４０ （１９９７）），Ａｎｄｒｅｗｓ，Ｌ．Ｃ．，Ｐｈｉｌｌｉｐｓ，Ｒ．，Ｌ．，Ｓａｓｉｅｌａ，Ｒ．Ｊ．，Ｐａｒｅｎｔｉ，Ｒ．「ＰＤＦ Ｍｏｄｅｌｓ ｆｏｒ Ｕｐｌｉｎｋ ｔｏ Ｓｐａｃｅ ｉｎ ｔｈｅ Ｐｒｅｓｅｎｃｅ ｏｆ Ｂｅａｍ Ｗａｎｄｅｒ 」（Ｐｒｏｃ．ｏｆ ＳＰＩＥ Ｖｏｌ．６５５１，６５５１０９，（２００７）），およびＪｏｈｎｓｏｎ，Ｍ．Ｄ．； Ｇｗｉｎｎ，Ｃ．Ｒ．「Ｕｌｔｒａ－ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ Ｉｎｔｅｎｓｉｔｙ Ｓｔａｔｉｓｔｉｃｓ ｏｆ ａ Ｓｃｉｎｔｉｌｌａｔｉｎｇ Ｓｏｕｒｃｅ」（Ａｐ．Ｊ．，７５５，２，（２０１２））に記載されているように、散乱効果に適合することができるスクリーンモデルを定義する確率密度関数に基づく。しかしながら、対照的に、生きている哺乳動物の経皮イメージングでは、蛍光放射は、反射画像より優れている空気中での測光増強をもたらす。蛍光放射は、その等方性放射のためにランバート面として挙動し得る。散乱媒質の点広がり関数は、生物学的組織の光学モデルに従って実行されるモンテカルロシミュレーションにおいて取得され得る。蛍光反射率は、例えば、Ａ．Ｍ．Ｂｒｏｎｓｔｅｉｎ，Ｍ．Ｍ．Ｂｒｏｎｓｔｅｉｎ，Ｍ．Ｚｉｂｕｌｅｖｓｋｙ，Ｙ．Ｙ．Ｚｅｅｖｉ「Ｑｕａｓｉ－ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ ｏｆ ｉｍａｇｅｓ ａｃｑｕｉｒｅｄ ｔｈｒｏｕｇｈ ｓｃａｔｔｅｒｉｎｇ ｍｅｄｉａ」（Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ：Ｎａｎｏ ｔｏ Ｍａｃｒｏ，ＩＥＥＥ １０．１１０９／ＩＳＢＩ．２００４．１３９８５４７ （２００４）），Ｉ．Ｓａｔｏ，Ｔ．Ｏｋａｂｅ，およびＹ．Ｓａｔｏ「 Ｂｉｓｐｅｃｔｒａｌ ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ ｂａｓｅｄ ｏｎ ｆｌｕｏｒｅｓｃｅｎｃｅ」（Ｐｒｏｃ．ＩＥＥＥ ＣＶＰＲ，３，６ （２０１２）），Ｔ．Ｔｒｅｉｂｉｔｚ，Ｚ．Ｍｕｒｅｚ，Ｂ．Ｇ．Ｍｉｔｃｈｅｌｌ，およびＤ．Ｋｒｉｅｇｍａｎ「Ｓｈａｐｅ ｆｒｏｍ ｆｌｕｏｒｅｓｃｅｎｃｅ」（Ｐｒｏｃ．ＥＣＣＶ，３，６ （２０１２）），ならびにＺ．Ｍｕｒｅｚ，Ｔ．Ｔｒｅｉｂｉｔｚ，Ｒ．Ｒａｍａｍｏｏｒｔｈｉ，Ｄ．Ｋｒｉｅｇｍａｎ「Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ ｉｎ ａ Ｓｃａｔｔｅｒｉｎｇ Ｍｅｄｉｕｍ」（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１０．１１０９／ＩＣＣＶ．２０１５．３９０．（２８））、Ｄ．Ｎａｎｄｙ，Ｊ．Ｂｅｎ－Ａｒｉｅ「Ｓｈａｐｅ ｆｒｏｍ ｒｅｃｏｇｎｉｔｉｏｎ：ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｆｏｒ ３－Ｄ ｆａｃｅ ｓｈａｐｅ ｒｅｃｏｖｅｒｙ」（ＩＥＥＥ Ｔｒａｎｓ． Ｉｍａｇｅ Ｐｒｏｃｅｓｓ．，１０，２０６－２１７ （２００１））を参照して説明されるように、測光再構成におけるランバート面として作用する。 放射のために、優ガウススパース関数が、散乱媒質を通した画像復元のための良好な近似を提供する。これは例えば、Ｂｒｏｎｓｔｅｉｎ他を参照して説明される。
任意選択的に、適応フィルタは、媒質（例えば、皮膚）の散乱効果を除去するための優ガウス背景減算として実装される。優ガウス背景減算は、適切な確率論的手法を提供し得る。数学表現に関しては、以下のようになる。
Figure 0007184489000003
式中、
Ｉｆｉｌｔ（ｉ，ｊ）は適応フィルタ（すなわち、空間フィルタ関数）を示す。
Ｉｒａｗ（ｉ，ｊ）
は、ｉ×ｊとして表されるピクセル寸法を有する受信画像のシーケンスの特定の現在の生画像を示す。
σはガウスパラメータを示す。
本発明者らは、例えばＧ．Ｍｏｌｏｄｉｊ，Ｅ．Ｎ．Ｒｉｂａｋ，Ｍ．Ｇｌａｎｃ，Ｇ．Ｃｈｅｎｅｇｒｏｓ「Ｅｎｈａｎｃｉｎｇ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｂｙ ｎｏｎｌｉｎｅａｒ ｒｅｇｉｓｔｒａｔｉｏｎ」（Ｏｐｔ．Ｃｏｍｍ．３４２，１５７－１６６，２０１５）を参照して説明されるように、画像情報エントロピーが最小であるときに画像の最適な補正が得られることを見出した。数学的表現の観点からは、最適な補正は以下のように示される。
Ｉｃｏｒ（ｉ，ｊ）＝Ｉｒａｗ（ｉ，ｊ）－Ｉｆｉｌｔ（ｉ，ｊ）
適応フィルタなしで生成された画像と比較した、適応フィルタを用いて生成された画像の例を、図１７～図１８を参照して以下に説明する。
ここで、本発明のいくつかの実施形態による、適応フィルタ（カッパ－オメガ適応フィルタ）を同じシーケンスに適用する前４０２および適用した後４０４の８００枚の積層画像のシーケンスの比較を示す図３を参照する。シーケンス４０４は、生画像シーケンス４０２と比較して、視覚的に鮮明であり（すなわち、ノイズが少ない）および／またはより高い解像度を有する。画質を推定するために、時間的色分け（カラーバー４０６）がシーケンス４０２および４０４に適用される。
ここで図１に戻って参照すると、１０６Ａにおいて、シーケンス（複数可）は、画像センサの各対についてそれぞれの視差データセットを計算するために処理される。例えば、３つの画像センサを有する例示的な３－Ｙ設定では、それぞれの視差データセットはカメラ１－２、２－３、および１－３に基づいて計算される。各視差データセットは、領域の各画素の３Ｄ位置を示すボリュームデータを示す。各視差データセットは独立して計算することができる。
任意選択的に、視差データセットは、画像空間内の各領域の位置を示すボリュームデータセットを作成するために処理される。処理は、例えば、機械学習方法、任意選択的にニューラルネットワーク、任意選択的に畳み込みニューラルネットワークを使用して実行することができる。畳み込みニューラルネットワークは、任意選択的にオプティカルフロー法を使用して、少なくとも３つの異なる方向から取得された画像の深度を決定するために、局所相関を利用する。３つの視差データセットに基づく記載されている畳み込みニューラルネットワークは、例えば、その全体が参照により本明細書に組み込まれるＪ．Ｚｂｏｎｔａｒ，Ｙ．ＬｅＣｕｎ，「Ｃｏｍｐｕｔｉｎｇ ｔｈｅ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｃｏｓｔ ｗｉｔｈ ａ ｃｏｎｖｏｌｕｔｉｏｎａｌ７ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ」（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１５）を参照して説明されるような、２つのカメラを用いて２つの画像を生成する方法よりも改善された結果（例えば、解像度、正確度）に関して改善された計算効率を提供することに留意されたい。さらなる例示的な方法は、例えば、その全体が参照により本明細書に組み込まれるＧ．Ｍｏｌｏｄｉｊ，Ｅ．Ｎ．Ｒｉｂａｋ，Ｍ．Ｇｌａｎｃ，Ｇ．Ｃｈｅｎｅｇｒｏｓ「Ｅｎｈａｎｃｉｎｇ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｂｙ ｎｏｎｌｉｎｅａｒ ｒｅｇｉｓｔｒａｔｉｏｎ」（Ｏｐｔ．Ｃｏｍｍ．３４２，１５７－１６６，２０１５）に見出すことができる。
１０６Ｂにおいて、分析は、画素における蛍光照明の強度の経時的な変化を示す１つまたは複数のパラメータおよび／またはパターンを含むことができる、時間形状指数パラメータ（複数可）（本明細書においては時間類似度指数とも呼ばれ、これは本明細書においてはパターン（複数可）とも呼ばれる））の計算に基づく。時間形状指数は、例えば関数などの、経時的な蛍光照明強度変動の挙動（例えばパターン）に関連する時間的パラメータである。パターンは、蛍光照明剤を一切投与されていない少なくとも１つの画像、および、投与された蛍光照明剤の流れパターンを表す複数の画像を含むことができる捕捉されている画像シーケンスに基づいて計算することができる。シーケンスは、蛍光照明剤が対象物の領域から除去された（例えば、血液循環から除去された、および／または無視できる濃度まで十分に拡散された）終端画像を含み得る。
時間形状指数という用語は、２つの（または複数のグループの）画素間（例えば、ピクセル、ボクセル）の類似度の推定値を指すことがある。時間形状指数パラメータという用語は、画素の時間発展挙動を示すことがある。パターンという用語は、（必要に応じて）類似した推定時間的挙動、すなわち時間類似度指数に基づいて推定される類似した形状指数パラメータ（複数可）を有する空間構造の結果を示すことがある。
時間類似度指数は、投与された蛍光剤との時間動的相互作用に従って領域（例えば内部微細構造）を１つまたは複数の種類に分類する（例えば指数化する）ために使用することができる。
任意選択的に、ＳＴＤＣＭは、各それぞれの領域における経時的な蛍光強度のパターン（複数可）に関連付けられる計算された時間形状指数パラメータに基づいて計算される。
蛍光照明のシーケンスは、蛍光照明の最大強度に至るまでの時間のパターン、および／または蛍光照明の強度がほぼ安定した時間のパターンを決定するために（任意選択的に局所的に、例えば画素ごとに、および／または隣接する画素のグループごとに）分析され得る。
画素および／または隣接する画素のグループに関するパターン、例えば、いずれの画素グループが最初に最大蛍光照明への上昇を経験するか、いずれのグループが最後に最大蛍光照度への上昇を経験するか、いずれのグループが最も長い安定した蛍光照度の強度を経験するか、および、いずれのグループが最も短い蛍光照度の強度を経験するかを決定するために、蛍光照明のシーケンスを（任意選択的に大域的に）分析することができる。
任意選択的に、分析は、蛍光照明の強度の変化を示す類似のパターンを有するリンク画素に基づいて、領域ごとにおよび／またはグループごとに実行される。
パターンに基づく分析は、領域の種類を決定するために実行される。例示的な種類は、血管の分岐、より低い組織レベルにある第２の血管に交差するより高い組織レベルにある第１の血管、動脈、静脈、リンパ管、管腔を含む脳脊髄液（ＣＳＦ）、消化器系に関連する空気充填管腔、および泌尿器系に関連する尿充填管腔を含む。
種類を決定するためのイメージング要素のパターンおよび／またはグループに基づく例示的な分析方法は以下を含む。
＊画素にわたる分岐部または交差部における蛍光照明のパターンによって、血管の交差から血管の分岐を区別すること。分岐はほぼ同時に起こる（すなわち、血管内の血液が分岐において同時に分かれる）と仮定される一方で、異なる血管の交差は異なる時間に起こると仮定される（すなわち、血管の位置に応じて各血管が蛍光剤で充填されるにつれて）。
＊最大蛍光照明の時間に応じて静脈から動脈を区別すること。例えば、動脈は最初に蛍光剤で充填され、その後静脈が充填されると仮定される。
＊定義済みの種類と関連付けられた（例えば、タグ付けされた）３Ｄ画像データを使用して訓練された構造指数類似度分類器を使用して種類を識別すること。構造指数類似度分類器は、訓練イメージングデータ内の同じ３Ｄ位置に（および／または互いに対して）配置された構造に基づいて、３Ｄ位置においていずれの構造を予測すべきかに従って画素および／または領域を分類することができる。例えば、特定の血管が特定の位置において訓練画像の７０％に現れる、ならびに／もしくは特定の血管が、７０％において現れる解剖学的構成を有するとき、画素は特定の血管として分類することができる。
計算された時間形状指数パラメータは、空間的位置に従って構造および／または機能（すなわち現象）を解像するために使用され得る。任意選択的に、識別された構造（複数可）および／または機能（複数可）は、例えば、特定の位置にある構造および／または機能に従って特定の位置にある領域を色分けすること（または他のラベリング方法）によって、ボリュームデータと相関される。代替的にまたは付加的に、構造（複数可）および／または機能（複数可）は、特定の位置における予測される構造および／または機能を考慮して識別され、例えば、ある血管が別の識別された血管の隣にあると予測される場合、血管の存在を、時間形状指数によって検証することができる。例示的な構造（複数可）および／または機能（複数可）は、微細構造詳細、血管の種類（すなわち、動脈または静脈）、血管の分岐または血管の交差を示すトポロジ、血管分類問題、蛍光造影剤溢出、および正常な機能状態または異常な挙動の識別のうちの１つまたは複数を含む。
任意選択的に、計算された時間類似度指数は、組織を通じた蛍光の伝播の前に散乱前駆体を局在化するために使用される。
本発明者らは、画素（および／または領域および／またはグループ）の種類への分類は、最大蛍光強度までの時間、ならびに、経時的な蛍光強度の類似度（すなわち、複数の画像にわたる維持）および／または近傍の画素の蛍光強度パターンの類似度（類似度要件による）を含む、それぞれの画素において計算される少なくとも２つのパラメータを用いて実行することができることを発見した。最大蛍光強度への比較的遅い上昇時間の識別は、種類の分類に関する感受性が高い。異なる画素においては異なる蛍光照明パターンが重なり合っていることに起因して、血液が血管を通って流れるとき、遅い立ち上がり時間は血管を通る血流（すなわち、血液内の蛍光剤）に対応するものとして分析され得る。互いに連続している近傍の画素にわたる蛍光強度パターンの類似度は、連続した血管の存在を示し得る。経時的な蛍光強度パターンの類似度は、例えば血管内の血流を遮断する動脈瘤または凝血塊のような、血液の停滞を示す可能性がある。
（類似度要件、例えば相関値閾値またはパターン間の相関類似度を示す範囲、および／または、パターン間の時間類似度指数に従って）類似した（または同じ）種類を有しおよび／または類似するパターンを有すると識別された画素および／またはグループは、類似の色を割り当てることができる。類似度要件は、例えば、信号取得における誤差のマージンを考慮するために、および／または臨床的に重要なパターンをともにグループ化するために選択され得る。
任意選択的に、蛍光照明のパターン（任意選択的に画素ごとおよび／またはグループごと）は時間関数として表現される。任意選択的に、パターン間の類似度は、時間関数間の類似度に基づいて計算される。任意選択的に、時間関数間の類似度を示す時間類似度指数が計算される。時間類似度指数は、人間が知覚できる対数感度（例えば、ウェーバーフェヒナー対数則）および／または２つの関数間の統計的距離により提供される構造的情報（例えばマンハッタン距離）を考慮に入れる。
数学表現に関しては、以下のとおりである。
Ｉｃ（ｔ）は現在の時間関数を示す。
Ｉｒ（ｔ）は基準時間関数を示す。
代替的にまたは付加的に、記載されている時間類似度指数（本明細書においては構造類似度指数とも呼ばれる）は、べき乗則によって説明される共通感覚の感度（例えば、Ｋ．Ｂｒｅｃｈｅｒ「Ｓｈｏｕｌｄ Ａｓｔｒｏｎｏｍｙ Ａｂｏｌｉｓｈ Ｍａｇｎｉｔｕｄｅｓ？ 」（ Ａｍｅｒｉｃａｎ Ａｓｔｒｏｎｏｍｉｃａｌ Ｓｏｃｉｅｔｙ，１９９ｔｈ ＡＡＳ Ｍｅｅｔｉｎｇ，ｉｄ．４０．０２； Ｂｕｌｌｅｔｉｎ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ａｓｔｒｏｎｏｍｉｃａｌ Ｓｏｃｉｅｔｙ，３３，１３６３，２００１）を参照して説明される）および２つの関数から得られる構造情報（例えば、２つの関数から導出されるマンハッタン距離によって得られる）を考慮に入れる。数学的表現に関して、以下の関係が、計算された時間類似度の改善された効率を表すことができる。
Figure 0007184489000004
Ｓｉは、Ｉｒ（ｔ）で示される基準時間関数との比較によってＩｃ（ｔ）間の相対距離（すなわち、現在の時間関数）を定義する時間的評価を示す。Ｓｉが計算されるとき、δｄの値は代替的に以下の関係に従って計算されてもよい。
Figure 0007184489000005
Ｓｉは基準関数Ｉｒの最大値に関係付けられる。項δｄにおいて、測定値はコントラストに関係付けられる。２つの関数間の構造関係は、例えば、｜ Ｉｃ（ｔ） － Ｉｒ（ｔ） ｜として示されるマンハッタン距離による、基準画像と現在の画像との間の比較に由来する。
本明細書において論じられているように、時間類似度指数は、投与された蛍光剤との時間動的相互作用に従って内部構造を１つまたは複数の種類に分類する（例えば指数化する）ために使用することができる。より頻繁なおよび／または通常のパターンを検出することができ（例えば、脳内などの主幹動脈）、および／または、他の様態で隠れた異常（例えば、出血性脳卒中に起因する脳血管からの血液のゆっくりとした漏出、および／または腫瘍における異常な血管形成）を検出することができる。パターンは、例えば、蛍光照明の最大強度に達するまでの時間および／または蛍光照明の強度の安定性を示す。（例えば、類似度要件、例えば構造的距離に従って）類似したパターンを有する画素は、例えばメタデータタグおよび／または各グループを示す色によってともにグループ化される。グループ化された画素は、構造および／もしくは機能を示す１つまたは複数の所定の種類として識別することができ、または、構造詳細を解像して、例えば動脈と静脈との間で区別するために使用される。
時間関数間の類似度を計算するためのさらなる例示的な方法は、例えば、その全体が参照により本明細書に組み込まれるＧ．Ｍｏｌｏｄｉｊ，Ｅ．Ｎ．Ｒｉｂａｋ，Ｍ．Ｇｌａｎｃ，Ｇ．Ｃｈｅｎｅｇｒｏｓ「Ｅｎｈａｎｃｉｎｇ ｒｅｔｉｎａｌ ｉｍａｇｅｓ ｂｙ ｎｏｎｌｉｎｅａｒ ｒｅｇｉｓｔｒａｔｉｏｎ」（Ｏｐｔ．Ｃｏｍｍ．３４２，１５７－１６６，２０１５）に見出すことができる。
ここで、本発明のいくつかの実施形態による、（類似度要件に従って）類似のパターンを有する画素に従って色分けされた第１の画像５０２および第２の画像５０４を含む図４を参照する。パターンの類似度は、シーケンスの画像にわたる各画素における照明のパターンに基づいて計算される。任意選択的に、類似のパターンは血管の種類に従って分類される。画像５０２は動脈（赤）を示し、画像５０４は静脈（青）を示す。
ここで、本発明のいくつかの実施形態による、図４の画像５０２および５０４を重ね合わせることによって作成された画像である図５を参照する。
ここで図１に戻って参照すると、任意選択的に、１０６Ｃにおいて、等方性基準が計算される。等方性基準は、３Ｄ画像が等方性基準に従って生成されるときに、生成される３Ｄ画像の空間解像度を向上させる。
等方性基準を使用して、任意選択的に適応的教師なし技法を実行することによって、点広がり関数（ＰＳＦ）を計算することができる。最適な点広がり関数は、空間解像度の改善および／または画像ボリューム補正に使用され得る。
等方性基準は、統計的方法を使用して、任意選択的にエルゴード原理の仮定に基づいて、３Ｄ画像の解像度を自動的に定量化するために使用され得る。ここで使用される場合、エルゴード原理は、経時的な平均推定値が空間的な平均推定値と等価であることを示す確率論的原理である。
ＰＳＦは、例えば、その全体が参照により本明細書に組み込まれる Ｇ．Ｍｏｌｏｄｉｊ，Ｓ．Ｋｅｉｌ，Ｔ．Ｒｏｕｄｉｅｒ，Ｎ．Ｍｅｕｎｉｅｒ，Ｓ．Ｒｏｎｄｉ，「Ｍｅｔｈｏｄ ｆｏｒ ｓｉｎｇｌｅ ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｅｒｇｏｄｉｃ ｐｒｉｎｃｉｐｌｅ」（Ｊ．Ｏｐｔ．Ｓｏｃ．Ａｍ．Ａ．２７（１１），２４５９－２４６７，２０１０）を参照して説明されるように、エルゴード原理の仮定に基づいて、正確なラプラスおよび相互相関の単一の生画像への重ね合わせから抽出することができる。ＰＳＦは、既存の方法、例えばブラインドアルゴリズム、またはルーシー－リチャードソンアルゴリズムへの入力として決定され実装されてもよい。
安定性推定器に基づく画質評価を使用して最適なカーネルを評価することができることに留意されたい。そのような安定性評価は、エルゴード原理に基づく単一画像に対するリアプノフ指数の適応に基づいて実行されてもよい。安定性推定器の決定は、生画像と生成された画像との間の空間平均勾配値から推定することができる。複素係数Ｓｃの虚数部の値は、可能な限り大きい二次多項式フィットが割り当てられる安定性の推定値を示す。基準画像が存在するとき、Ｓｃは最小である。Ｓｃは次のように示される。
Figure 0007184489000006
代替的または付加的に、１０６Ｄにおいて、領域の蛍光照明の強度の変化の分析に基づいて動き推定器が計算される。動き推定器は、動きアーチファクトを補正するために深度位置のボリュームデータセットに適用することができる。小さい動きアーチファクトでも貴重な情報を損なう可能性があることに留意されたい。
任意選択的に、動き推定器は、経時的に（すなわち、シーケンス内の複数の画像にわたって）各画素（例えば、点、画素、ボクセル）の位置を検証するＫオメガ適応的動き推定手法に基づく。
任意選択的に、動き推定器は、一切の基準のない生画像を使用した復元安定性の推定に基づいて、画質評価に使用される。
代替的にまたは付加的に、１０６Ｅにおいて、蛍光照明の散乱を補償する、および／または血管から漏出する蛍光照明剤の拡散を推定するデコンボリューションパラメータ（複数可）が計算される。ボリュームデータセットを補正するために、デコンボリューションパラメータ（複数可）を深度データのボリュームデータセットに適用することができる。補正されたボリュームデータセットは、領域の改善された空間解像度を含むことができる。
デコンボリューションは、画像のバリが畳み込み関係（例えば、関数）によって数学的に表され得るという仮定に基づいて、画像の品質（例えば、空間解像度）を改善する画像復元方法である。
デコンボリューションパラメータは、ブロック１０６Ｂを参照して説明されている蛍光強度の決定されたパターンに基づいて計算することができる。
無傷の頭蓋骨および無傷の皮膚を通してイメージングする場合、散乱は特に問題となり得ることに留意されたい。
デコンボリューションは、教師なし画像復元方法に基づいて計算することができる。
デコンボリューションは、計算されたＰＳＦに従って計算されてもよい。
代替的または付加的に、１０６Ｆにおいて、構造テンソルが、画像センサのそれぞれの視差シフトに基づいて計算される。ボリュームデータセットは、３Ｄ画像内の領域の深度および／または視差感度を改善するために、計算された構造テンソルに従って計算（および／または補正）される。
構造テンソルは、例えば、蛍光照明されている血管の深度および／または視差の計算を改善するために、深度データのボリュームデータセットの深度および／または視差感度を改善するために計算される。構造テンソルは、イメージング要素（例えば、ピクセル、ボクセル、他のイメージング要素）、またはそれらのグループに対して計算することができる。
構造テンソルは、画像センサが、皮膚の表面下の組織（例えば、血管）から放射される蛍光の画像を捕捉するためにイメージングされている対象の哺乳動物の皮膚の外部に配置されている、経皮イメージングに基づいて捕捉された画像シーケンスに対して計算され得る。
ボリュームデータセットの深度および／または視差を改善するための構造テンソルの計算は、例えば、相関窓のサイズによって制限される、および／または雑音のあるデータに適用される相関ベースの技法などの他の方法によって得られる解像度と比較して、拡散媒質（例えば、皮膚、組織）の下にあるイメージングされる構造（例えば蛍光を含む血管）の明瞭さおよび／または正確度を改善することによって、計算ユニット２１０の計算効率を改善する。
局所深度は、任意選択的に時間分析（例えば、時間類似度指数に基づく分析としても参照されている、動作１０６を参照して説明されているような）と組み合わせて、および／または適応フィルタリング（例えば、動作１０５を参照して説明したような）と組み合わせて対象物２０４に対する画像センサ（例えば、２０７Ａ～Ｃ）の相対的な向きから推測される。
１０８において、（例えば、それぞれの領域を表す各画素の位置を記憶することによって）各領域の位置を記憶するボリュームデータセットに従って３Ｄ画像が生成される。任意選択的に、３Ｄ画像は、複数の視差データセットに従って生成され、領域の位置の補正は、本明細書で説明されるように実行される。
任意選択的に、３Ｄ画像は、任意選択的に機械学習方法、任意選択的に畳み込みニューラルネットワーク（ＣＮＮ）を使用して、オプティカルフローに基づく再構成プロセスを使用して生成される。ＣＮＮは、最小量の前処理を使用して計算を実行するように設計されてもよく、それによって計算ユニットの計算効率が改善する。
（類似度要件、例えば相関値閾値またはパターン間の相関類似度を示す範囲に従って）類似した（または同じ）種類を有しおよび／または類似するパターンを有すると識別された画素は、類似の色を割り当てることができる。
任意選択的に、ボリュームデータセットの識別された領域（例えば、領域の種類）は、計算された種類を示す視覚的マーカ（複数可）と関連付けられ、例えば、カラー画素は、種類に従って色分けされ、および／または、画素の強度が種類に従って指定される。割り当てられた視覚的マーカ（複数可）に基づいて３Ｄ画像が生成される。代替的または付加的に、（類似度要件に従って）類似のパターンを有する画素には類似の色が割り当てられる。
１１０において、生成された３Ｄ画像はローカルに（例えばディスプレイ２２６上に）提示され、ローカルに（例えばデータリポジトリ２２０に）記憶され、および／または、遠隔提示および／または遠隔記憶のために遠隔ロケーション（例えばクライアント端末（複数可）２１４、サーバ（複数可）２２２）に送信される。
１１２において、ブロック１０２～１１０が、例えば脳神経外科手術などの医療処置中に、および／または例えば患者の脳卒中の進行を監視するために監視プロセスの一部として、リアルタイムで任意選択的に繰り返される。生成された３Ｄ画像は、画像のシーケンスとしておよび／または動画として動的に更新することができる。
ここで、本発明のいくつかの実施形態による、対象物に適用される、蛍光照明の時間的に離間された画像のシーケンスに基づいて対象物の３Ｄ画像を生成するためのプロセスの例示的なデータフローを示すブロック図である図６を参照する。図６を参照して説明されるデータフローは、図１を参照して説明されている方法、および／または図２を参照して説明されたシステム２００に基づいてもよく、および／またはそれに従って埋め込まれてもよい。
データフロー３０２は、生画像シーケンスを生成するプロセスを示す。カメラ３０４が複数のフレーム３０６を取得する。フレームは一定の時間間隔だけ互いに分離されている。フレームは時間３０８に関連付けられており、任意選択的にクロックに従って現在の時間がスタンプされている。フレームは生画像シーケンス（ＲＩＳ）３１０として記憶される。
データフロー３１２は、３つの視差データセットの計算を示す。各カメラ（すなわち、画像センサ）３１４Ａ～Ｂは、投与された蛍光照明剤（複数可）を有する１つまたは複数の領域３１８を含む対象物３１６のＲＩＳを捕捉する。ＲＩＳは、領域３１８の位置の深度データを含む視差データセット３２２Ａ～Ｃを計算するために視差計算コード命令３２０（例えば、計算ユニットのプロセッサ（複数可）によって実施される）によって処理される。視差データセット３２２Ａは、カメラ３１４Ａおよび３１４Ｂに基づく。視差データセット３２２Ｂは、カメラ３１４Ａおよび３１４Ｃに基づく。視差データセット３２２Ｃは、カメラ３１４Ｂおよび３１４Ｃに基づく。視差データセット３２２Ａ～Ｃは、ＳＴＤＣＭとして実装され得る。
データフロー３２４は、取得されたＲＩＳに基づく３Ｄ画像（すなわち３Ｄモデル）の計算を示す。 ＲＩＳ ３２６Ａ～Ｃは、データフロー３０２によって説明されるようにカメラによって取得される。ＲＩＳ ３２６Ａ～Ｃは次の目的で（並列および／または順次および／または独立して）使用される。
＊データフロー３１２を参照して説明されているように、対象物の領域の位置のボリュームデータセット３３０を提供するために使用される深度行列３２８を計算するため。ボリュームデータ３３０は、ＳＴＤＣＭの計算に基づいて再構成することができる。
＊本明細書で説明するように、時間感度指数３３２を計算するため。これは、構造を認識し、隠された詳細３３４を復元するために使用される。
＊生成された３Ｄ画像の空間解像度３３８を改善するために使用される等方性基準３３６を計算するため。
ボリュームデータ３３０、構造認識および隠された詳細３３４、ならびに改善された空間解像度３３８のデータは、対象物内の領域の画像再構成３４０を実行するために処理される。本明細書で説明するように、３Ｄモデル３４２が生成され、これは構造の種類を示す演色３４４と関連付けることができる。
ここで、本発明のいくつかの実施形態による、本発明者らによって実施されたイメージング実験の例示的な３－Ｙ設定の写真６０２、６０４を含む図７を参照する。模型形状は脳をシミュレートするために使用された。チューブを用いて血管をシミュレートした。蛍光照明剤をチューブに注入して血管内の血液の循環をシミュレートした。画像６０６Ａ～Ｃは、３－Ｙ設定の異なる画像センサによって捕捉された、模型および投与された蛍光剤で充填されたチューブの生画像を表す。
ここで、本発明のいくつかの実施形態による、図７の３－Ｙ設定を使用して生成され、本明細書に記載のシステムおよび／または方法を使用して計算された３Ｄ画像を示す図８を参照する。３Ｄ画像は、３つの異なる見やすい点において回転して示される。チューブ間の相対位置（チューブ交差の上または下）を知るために、深度再構成の感度が人工的に増強される（交差領域におけるチューブの隆起を使用して）。チューブ自体の精密な形状は、本明細書に記載のように、例えば、本明細書に記載のニューラルネットワークプロセスを用いた二次処理から導き出すことができる。
ここで、本発明のいくつかの実施形態による、３－Ｙ設定を使用して捕捉された３Ｄグローバル形状（すなわち、３Ｄ画像を生成するために使用されるボリュームデータセットとも呼ばれる深度マップ）の画像である図９を参照する。深度マップは、ある視点に垂直な（図７に示された構成の）チューブの表面の距離に関するデータを含むグレーレベル画像または行列として表される。 図９に示される画像は、本明細書に記載される時間指数化を使用せずに計算され、高解像度かつ高品質の３Ｄ画像を生成する際の時間指数化の寄与を強調する。視差を決定するために、３－Ｙ設定からの局所相関追跡技法が使用される。グレーレベルは深度を示す。蛍光照明の構造および散乱が混合し、粗い形状になっていることに留意されたい。これは、本明細書に記載された方法が高品質の３Ｄ画像を生成する際の散乱に対して的確であることをさらに強調する。
ここで、本発明のいくつかの実施形態による、図７に示される設定のチューブの複数の位置のうちの１つの位置の微細構造詳細に関する構造化形状を示す、計算されたＳＴＤＣＭに基づいて生成された画像である図１０を参照する。図９に対する図１０の改善に留意されたい。図１０の画像は、本明細書で説明されている時間指数化を使用した深度再構成を含む。グレーレベルは深度を示す。微細構造（チューブ）は３Ｄ形状再構成において考慮される。
ここで、本発明のいくつかの実施形態による、本明細書に記載の３－Ｙ設定の３つのカメラのうちの２つの間の視差データセットを計算するための設定を示す概略図である図１１を参照する。
ここで、本発明のいくつかの実施形態による、図１１に示す設定を使用して生成された３Ｄ画像を含む図１２を参照する。ＳＴＤＣＭは、本明細書に記載されている時間指数化に基づいて計算され、３Ｄ画像を生成するために使用される。
ここで、本発明のいくつかの実施形態による、図１１に示す設定に基づいて生成された、２つの深く根付いた血管網の３Ｄトポロジ上の表示の画像である図１３を参照する。図１３の画像は、生成された３Ｄ画像における微細な詳細を示している。動脈８０２が赤色で示されている。静脈８０４が青色で示されている。本明細書に記載されている（例えば、ブロック１０６Ｂを参照して）時間指数化は、２つの深く根付いた血管網（すなわち、動脈および静脈）の３Ｄトポロジを抽出するために局所相関から２つの歪み行列を決定するために使用される。再構成の精度は、図１１の２つの設定カメラ（１つの視差測定）によって制限されることに留意されたい。
ここで、本発明のいくつかの実施形態による、自動画像復元方法の一例を示す画像を含む図１４を参照する。ぼやけた画像９０２は、例えばブロック１０６Ｃを参照して本明細書で説明されるように、等方性基準自動化方法、および、基準を用いない安定性推定を使用して画像９０４に復元される。
ここで、本発明のいくつかの実施形態による、実際の経皮イメージングに対する自動画像復元方法の一例を示す画像を含む図１５を参照する。ぼやけた画像１００２は、例えばブロック１０６Ｃを参照して本明細書で説明されるように、等方性基準方法を使用する画像復元方法を使用して画像１００４に復元される。
ここで、本発明のいくつかの実施形態による、（例えば、ブロック１０６Ｃを参照して説明したような）等方性基準方法およびＫオメガレジストレーション方法を用いた画像復元方法がシーケンスに適用された後に、図１５の画像データに適用される（例えば、ブロック１０６Ｂを参照して説明したような）時間類似度指数化方法を用いて生成された画像の例である図１６を参照する。
ここで、本発明のいくつかの実施形態による、３Ｄ画像の品質に対する適応フィルタの効果を評価するための、模型を用いた実験室実験の一部として計算された３Ｄ画像１７０２～１７０６を含む図１７を参照する。評価されている適応フィルタは、本明細書で説明されるように、Ｉｆｉｌｔ（ｉ、ｊ）と示される優ガウス背景減算として実施された。（例えば図２のシステム２００および／または図５を参照して）本明細書に記載されているシステム設定および本明細書に記載されるような画像シーケンスの処理（例えば、図１および／または図６）を使用して、蛍光が模型内の管に入ったときに模型の画像のシーケンスを捕捉することによって、画像１７０２～１７０６を作成した。
画像１７０２は、拡散層（例えば、皮膚をシミュレートする）を通して模型を観察する画像センサによって捕捉された画像シーケンスから作成される。画像１７０２は、画像１７０４および画像１７０６と比べて比較的低い解像度であることに留意されたい。さらに、画像１７０２の場合、画像のシーケンスから模型の蛍光充填チューブの照射の程度を決定することは、画像１７０４および１７０６と比較してより困難である。
画像１７０４は、画像１７０２を作成するために使用されている生画像シーケンスに適応ガウスフィルタを適用することによって作成される。散乱効果は（画像１７０２と比較して）画像１７０４から取り除かれており、（画像１７０２と比較して）画像１７０４におけるチューブの照射の程度は明確に識別されることに留意されたい。
画像１７０２および１０７４との相対比較のために、拡散層なしで蛍光が模型内のチューブに入ったときに模型の画像のシーケンスを捕捉することによって画像１７０６が作成されている。
ここで、本発明のいくつかの実施形態による、３Ｄ画像の品質に対する適応フィルタの効果を評価するための、実験の一部として捕捉された画像のシーケンスから計算された例示的な３Ｄ画像１８０２～４を含む図１８を参照する。画像１８０２～４は、皮膚を通した脳血管新生の実際の観察から捕捉された画像のシーケンスから計算された。（例えば図２のシステム２００および／または図５を参照して）本明細書に記載されているシステム設定および本明細書に記載されるような画像シーケンスの処理（例えば、図１および／または図６）を使用して、蛍光が脳内の血管に入ったときに頭蓋の画像のシーケンスを捕捉することによって、画像１８０２～４を作成した。
画像１８０２は、適応フィルタを適用せずに、（適応フィルタによって補正されなかった）散乱光を含む画像シーケンスに対して時間指数化方法を実施することによって作成された。画像１８０４は、適応フィルタを適用すること、および、散乱光を除去するように補正された画像シーケンスに対して時間指数化方法を実施することによって作成された。評価されている適応フィルタは、本明細書で説明されるように、Ｉｆｉｌｔ（ｉ、ｊ）と示される優ガウス背景減算として実施された。本明細書に記載された構造指数化方法は、血管の性質を区別するために色分けを使用して画像シーケンスに対して実施された。動脈１８１０は赤色で示されている。静脈１８１２は青色で示されている。皮膚血管１８１４は緑色で示されている。
ここで、本発明のいくつかの実施形態による、捕捉された画像のシーケンスから対象物の各それぞれの蛍光増強領域の深度を示す３Ｄ画像を計算するためのニューラルネットワークベースのアーキテクチャ１９００の例示的な実施態様を示す概略図である図１９を参照する。ニューラルネットワーク１９０２は、本明細書において記載されているように、時間指数化を実行し、および／または局所深度を計算し、および／または散乱を低減して、対象物の画像１９０６の捕捉されたシーケンスから３Ｄ画像１９０４（任意選択的に、構造の種類に従って色分けされている、例えば、動脈、静脈、および皮膚血管の間で区別するために色分けされている）を計算する。捕捉画像１９０６は、適応フィルタ１９０８（例えば、図１の動作１０５を参照して本明細書で説明されているガウスフィルタ）の適用、ならびに、動きアーチファクト１９１０の排除および／または低減（例えば、図１の動作１０６Ｄを参照して説明されている）によって散乱光を除去するために処理される。
ニューラルネットワーク１９０２は、図１を参照して説明した動作１０６Ａ～Ｆのうちの１つまたは複数を参照して説明した計算、および任意選択的に図１の動作１０８を参照して説明した３Ｄ画像（複数可）の生成を実行し得る。
ニューラルネットワーク１９０２は、例えば、計算ユニット２１０の処理ユニット（複数可）２０８による実行のために、計算ユニット２１０のデータレポジトリ２２０および／またはプログラムストア２１２に、および／またはコード２１２Ａの一部として記憶することができる。
ニューラルネットワーク１９０２は、例えば、蛍光強度の高速の動的性質に起因して実施が困難である標準的なセグメンテーション方法を使用する代わりに、ニューラルモード画像のグループごとに蛍光照明の画像のシーケンスを分析して時間のパターンを決定し得る。任意選択的に、ニューラルネットワークは、蛍光照明の強度の変化を示す類似のパターンを有する画素をリンクすることに基づいて（例えば、図１の動作１０６Ｂを参照して説明したように）時間指数化ベースの分析を計算する。
ニューラルネットワーク１９０２の実装は、例えば、生成される３Ｄ画像の品質の改善に関して、計算ユニット２１０の計算効率を改善することに留意されたい。ニューラルネットワーク１９０２は、対象物の蛍光照明構造の局所的組織化に対して感受性が高いように見え、これは、本明細書に記載の分岐および／または交差のあいまいさの検出のための分析を改善する。
ここで、本発明のいくつかの実施形態による、本明細書に記載の分岐および／または交差のあいまいさに対する解像度を示す、（例えば、本明細書に記載されるような、および／または図１９のニューラルネットワーク１９０２のような）ニューラルネットワークの出力に基づいて計算される３Ｄ画像２００２を含む図２０を参照する。画像２００２は、構造（例えば血管）の分岐および／または交差の明瞭さを示す。画像２００２は、ニューラルネットワークなしで他の方法を用いて計算された画像２００４と比較される。画像２００２～４は、（例えば図２のシステム２００および／または図５を参照して）本明細書に記載されているシステム設定および本明細書に記載されるような画像シーケンスの処理（例えば、図１および／または図６および／または図１９）を使用した、蛍光が模型内のチューブに入ったときに捕捉される模型実験（図１７を参照して説明されている）の画像のシーケンスに基づく。（ニューラルネットワークによって計算される）画像２００２に示されるような３Ｄ局所空間内のチューブの局所的組織化は、画像２００４（ニューラルネットワークによって計算されない）と比較してより正確に決定される。
画像２００２では、画像２００４で明らかなあいまいさと比較して、チューブのあいまいな分岐および／または交差が解像されている。例えば、画像２００４を参照すると、接合部２０１０Ａにおいて、チューブ２０１２Ａとチューブ２０１４Ａとが分岐しているのか否か、または、いずれの管がより高く、いずれの管がより低いのかは不明瞭である。あいまいさは画像２００２において解像され、対応する接合部２０１０Ｂにおいて、対応するチューブ２０１２Ｂがチューブ２０１４Ｂに交差する（すなわち、チューブ２０１２Ｂがチューブ２０１４Ｂの上に位置する）ことが明らかである。
ここで、本発明のいくつかの実施形態による、画像解像度の改善および／または本明細書に記載の分岐および／または交差のあいまいさの区別の改善を示す、（例えば、本明細書に記載されるような、および／または図１９のニューラルネットワーク１９０２のような）ニューラルネットワークの出力に基づいて計算される３Ｄ画像を含む図２１を参照する。
図２１の画像は、ニューラルネットワークなしで、他の方法を使用して計算された図１２に示される画像と比較される。図２１の画像は、図１２を参照して説明したように、生きている哺乳動物から捕捉された画像から処理される。図２１の画像は、（例えば、図２のシステム２００および／または図５を参照して）本明細書に記載されているシステム設定および本明細書に記載されるような画像シーケンスの処理（例えば、図１および／または図６および／または図１９）を使用して計算される。（ニューラルネットワークによって計算される）図２１の画像に示す脳血管系の局所的組織化は、図１２の画像（ニューラルネットワークによって計算されない）と比較してより正確に決定される。
ここで、本発明のいくつかの実施形態による、本明細書において説明される（例えば、図１の動作１０６Ｂを参照して説明されるような）時間指数化（本明細書では時間類似度指数とも呼ぶ）に従って計算された脳の血管網の３Ｄ画像である図２２を参照する。図２２の画像に示されるように、時間指数化は、脳の静脈網の下部構造を区別するための解像度を向上させる。図２２の画像について得られた解像度は、他の既知の方法を用いて得られる解像度よりも良好である。本明細書に記載されるように、時間指数化は、例えば蛍光循環の流動時間遅延を考慮することにより（例えば、より頻繁な通常パターン、隠れた異常な構造、および／または清浄な隠れた下部構造を検出する）、共通の時間的挙動に関連付けられるピクセルのリンクに基づいて画像解像度を向上させる。下部構造は、構造の種類に従って色分けすることができる。色分けは、静脈ネットワーク内の下部構造の区別、および対応する構造のリンクを改善して、既存の方法を使用するよりも良好な空間解像度を実現する。
本明細書に記載のシステム、方法、および／またはコード命令に従って計算された画像の解像度の向上に基づいて、画像を計算する計算ユニットの性能が向上することに留意されたい。
ここで、本発明のいくつかの実施形態による、（例えば、図１の動作１０６Ｆを参照して説明したような）配向構造テンソルを示す脳の血管網の例示的な３Ｄ画像２３０２である図２３を参照する。画像２３０２は、（例えば、図２のシステム２００および／または図５を参照して）本明細書に記載されているシステム設定および本明細書に記載されるような画像シーケンスの処理（例えば、図１および／または図６および／または図１９）を使用して計算される。画像２３０４は、画像２３０２の色と計算された構造テンソルの向きとの間のマッピングを定義する車輪形の説明図である。
本発明の様々な実施形態の説明は、例示の目的で提示されているが、網羅的であること、または開示された実施形態に限定されることを意図するものではない。記載された実施形態の範囲および精神から逸脱することなく、多くの修正形態および変形形態が当業者には明らかであろう。本明細書で使用される用語は、実施形態の原理、市場で見出される技術に対する実用化または技術的改善を最もよく説明するため、または当業者が本明細書で開示される実施形態を理解できるようにするために選択された。
本出願から成熟する特許の存続期間中に、多くの関連する蛍光照明剤および画像センサが開発されることになることが予測され、蛍光照明剤および画像センサという用語の範囲は、そのようなすべての新しい技術を先験的に含むことが意図される。
本明細書で使用されるとき、用語「約」は±１０％を指す。
用語「備える」、「備えている」、「含む」、「含んでいる」、「有している」およびそれらの活用形は、「含むが限定されない」ことを意味する。この用語は、「からなる」および「本質的に～からなる」という用語を包含する。
「本質的に～からなる」という句は、組成物または方法が追加の成分および／またはステップを含み得るが、これは、追加の成分および／またはステップが特許請求の範囲に記載の組成物または方法の基本的および新規な特徴を実質的に変えない場合に限る。
本明細書で使用されるとき、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈が明らかにそうでないことを指示しない限り、複数の参照を含む。例えば、用語「化合物」または「少なくとも１つの化合物」は、それらの混合物を含む、複数の化合物を含み得る。
「例示的」という用語は、本明細書では、「例、実例または例示として役立つ」ことを意味するために使用される。「例示的」として説明されているいずれの実施形態も、必ずしも他の実施形態よりも好ましいまたは有利であると解釈されるべきではなく、および／または他の実施形態からの特徴の組み込みを排除するためのものではない。
「任意選択的に」という単語は、本明細書においては、「いくつかの実施形態において提供され、他の実施形態において提供されない」ことを意味するために使用される。本発明の任意の特定の実施形態は、そのような特徴が矛盾しない限り、複数の「任意選択の」特徴を含み得る。
本出願全体を通して、本発明の様々な実施形態は範囲形式で提示され得る。範囲形式での説明は単に便宜上および簡潔さのためのものに過ぎず、本発明の範囲に対する柔軟性のない限定として解釈されるべきではないことを理解されたい。したがって、範囲の説明は、すべての可能な部分範囲およびその範囲内の個々の数値を具体的に開示していると見なされるべきである。例えば、１～６のような範囲の記載は、１～３、１～４、１～５、２～４、２～６、３～６などのような部分範囲、ならびに、その範囲内の個々の数、例えば、１、２、３、４、５、および６を具体的に開示していると考えられるべきである。これは範囲の幅に関係なく適用される。
本明細書において数値範囲が示されるときはいつでも、それは示された範囲内の任意の記載されている数字（分数または整数）を含むことを意味する。第１の指示数および第２の指示数「の間に及ぶ（ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｂｅｔｗｅｅｎ）」ならびに第１の指示数「から」第２の指示数「に及ぶ」（“ｒａｎｇｉｎｇ／ｒａｎｇｅｓ ｆｒｏｍ” ａ ｆｉｒｓｔ ｉｎｄｉｃａｔｅ ｎｕｍｂｅｒ “ｔｏ” ａ ｓｅｃｏｎｄ ｉｎｄｉｃａｔｅ ｎｕｍｂｅｒ）という句は、本明細書では互換的に使用され、第１の指示数および第２の指示数ならびにそれらの間のすべての分数および整数を含むことを意味する。
明確にするために、別個の実施形態の文脈で説明される本発明の特定の特徴は、単一の実施形態において組み合わせて提供されてもよいことが理解される。逆に、簡潔にするために単一の実施形態の文脈で説明されている本発明の様々な特徴は、別々にもしくは任意の適切な部分組み合わせにおいて、または本発明の任意の他の説明された実施形態において適切であるように提供され得る。様々な実施形態の文脈で説明される特定の特徴は、実施形態がそれらの要素なしで動作不能でない限り、それらの実施形態の本質的な特徴と考えられるべきではない。
本発明をその特定の実施形態と併せて説明してきたが、多くの代替形態、修正形態および変形形態が当業者には明らかになることは明白である。したがって、添付の特許請求の範囲の精神および広い範囲内に含まれるすべてのそのような代替形態、修正形態および変形形態を包含することが意図されている。
本明細書で言及されたすべての刊行物、特許および特許出願は、あたかも各個々の刊行物、特許または特許出願が具体的かつ個別に参照により本明細書に組み込まれると示されるのと同程度に、その全体が参照により本明細書に組み込まれる。さらに、本出願における任意の引用文献の引用または特定は、そのような引用文献が本発明に対する先行技術として利用可能であることの承認として解釈されるべきではない。節の見出しが使用されている限りにおいて、それらは必ずしも限定的であると解釈されるべきではない。

Claims (12)

  1. 蛍光照明に基づいて三次元（３Ｄ）画像を生成するシステムであって、
    投与された蛍光剤による蛍光照明を発する複数の領域を有する対象物に向けてそれぞれの視差に配置された少なくとも３つの画像センサの各々によって、前記複数の領域の蛍光照明を含む複数の画像のそれぞれのシーケンスを並行して受信するイメージングインターフェース（２１８）であって、前記複数の画像の各々は一定の時間間隔を置いて分離されている、イメージングインターフェースと、
    コードを記憶するプログラムストア（２１２）と、
    記憶されているコードを実施するために前記イメージングインターフェースおよび前記プログラムストアに結合されている少なくとも１つのプロセッサ（２０８）であって、前記コードは、
    それぞれの画素の位置の計算された最大相関に基づいて前記複数の領域の各領域の深度を示すボリュームデータセットを作成するために、それぞれのシーケンスのそれぞれの画素における前記蛍光照明の強度の変化を示す少なくとも１つのパターンの分析に基づいて時間類似度指数を計算することと、前記時間類似度指数に従って前記複数の領域の各々の種類を計算することによって前記それぞれのシーケンスを分析することと、
    前記ボリュームデータセットに従って３Ｄ画像を生成することとを行うためのコードを含む、少なくとも１つのプロセッサとを備え、
    前記種類は、血管の分岐、より低い組織レベルにある第２の血管に交差するより高い組織レベルにある第１の血管、動脈、静脈、リンパ管、管腔を含む脳脊髄液（ＣＳＦ）、消化器系に関連する空気充填管腔、および泌尿器系に関連する尿充填管腔からなる群から選択されるものである、システム。
  2. 前記対象物は生きている哺乳動物内の組織を含み、蛍光照明領域は前記生きている哺乳動物の皮膚の下に位置する蛍光照明剤を注入される複数の血管を含み、前記少なくとも３つの画像センサが皮膚の外側にかつ前記皮膚に接触しないように配置される、請求項１に記載のシステム。
  3. 前記分析することは、前記少なくとも３つの画像センサの各画像センサ対についてそれぞれの視差データセットを計算するために前記それぞれのシーケンスを分析することと、各画像センサ対の前記それぞれの視差データセットに基づいて前記ボリュームデータセットを計算することとを含み、前記ボリュームデータセットは、前記複数の領域の各領域の３Ｄ位置を示す、請求項１または２のいずれか一項に記載のシステム。
  4. 前記領域の各々の種類は、前記蛍光照明の強度の変化を示す前記少なくとも１つのパターンの類似度を有する画素をリンクすることによって計算され、類似度は、前記時間類似度指数に基づく類似度要件に従って定義される、請求項１に記載のシステム。
  5. 前記類似度要件は、以下の式に従って計算され、
    Figure 0007184489000007
    （式中、Ｉｒ（ｔ）は基準時間関数を表し、ＳｉはＩｒ（ｔ）との比較によって現在の時間関数を示すＩｃ（ｔ）間の相対距離を定義する時間評価を表し、
    Figure 0007184489000008
    であり）前記類似度は、関係｜ Ｉｃ（ｔ） － Ｉｒ（ｔ） ｜に従って、マンハッタン距離として計算される、請求項４に記載のシステム。
  6. 前記蛍光照明の強度の変化を示す前記少なくとも１つのパターンは、前記蛍光照明の最大強度までの時間、および／または、一定の時間間隔にわたる前記蛍光照明のほぼ安定した強度を含む、請求項４または５に記載のシステム。
  7. 前記ボリュームデータセットによって定義される前記複数の領域の各領域を、前記複数の領域の各領域の計算された種類を示す少なくとも１つの視覚的マーカと関連付けるコードをさらに含み、３Ｄ画像を生成することは、前記少なくとも１つの視覚的マーカに基づいて前記３Ｄ画像を生成することを含む、請求項４～６のいずれか一項に記載のシステム。
  8. ニューラルネットワークは、前記それぞれのシーケンスを受信し、前記時間類似度指数を計算して、前記複数の領域の各領域の深度を示す前記ボリュームデータセットを出力する、請求項４～７のいずれか一項に記載のシステム。
  9. 重み付き係数を含む時空間歪み補償行列（ＳＴＤＣＭ）を計算することと、各領域の各画素の深度座標を補正するために前記ボリュームデータセットに前記ＳＴＤＣＭを適用することとをさらに含み、
    前記ＳＴＤＣＭは、前記それぞれのシーケンスに基づいて計算される、それぞれの画素における経時的な少なくとも１つの蛍光強度パターンに関連する複数の計算された時間形状指数パラメータに基づいて計算され、前記複数の計算された時間形状指数パラメータは、前記ボリュームデータセットの構造的および／または機能的詳細を解像するために使用され、
    構造的および／または機能的詳細を解像するために使用される前記複数の計算された時間形状指数パラメータは、微細構造詳細、血管の種類、血管の分岐または血管の交差を示すトポロジ、血管分類、蛍光コントラスト溢出、および正常な機能状態または異常な挙動からなる群から選択される、
    請求項１～８のいずれか一項に記載のシステム。
  10. 動き推定器であって、動きアーチファクトを補正するために前記動き推定器を前記ボリュームデータセットに適用するための前記それぞれのシーケンスの画素の前記蛍光照明の強度の変化の分析に基づく、動き推定器、
    前記蛍光照明の散乱を補償し、血管から漏出する蛍光照明剤の拡散を推定し、前記ボリュームデータセットを補正し、前記複数の領域の空間解像度を改善するために使用される、デコンボリューションパラメータ、
    少なくとも３つの画像センサのそれぞれの視差ずれに基づいた構造テンソルであって、前記３Ｄ画像内の前記複数の領域の深度および／または視差感度を改善するために、前記ボリュームデータセットを計算することに用いることのできる構造テンソル、
    の少なくとも１つを算出することをさらに含む、請求項１～９のいずれか一項に記載のシステム。
  11. 前記少なくとも３つの画像センサの各々によって受信されるそれぞれのシーケンスに適応フィルタを適用するコードをさらに含み、前記適応フィルタは、
    －各領域の位置の空間解像度を改善し、
    －前記蛍光照明の強度の変動中のノイズを低減し、および／または、
    －優ガウス背景減算を用いて各シーケンスの前記複数の画像の各画像から前記適応フィルタを減算することにより前記対象物の媒質の散乱効果を低減する
    ように設計されている、請求項１～１０のいずれか一項に記載のシステム。
  12. 前記少なくとも３つの画像センサの中心に位置決めされているレーザおよび別の画像センサ（２０７D）と、前記プログラムストアによって記憶されているコード命令とをさらに備え、前記コードは、前記別の画像センサによって捕捉される前記レーザの反射に基づいて作成される画像を分析して、レーザスペックルイメージング（ＬＳＩ）を計算し、 前記ＬＳＩを独立した基準として使用して、前記ボリュームデータセットに基づいてリアルタイムで前記３Ｄ画像を生成するためのコードを含む、請求項１～１１のいずれか一項に記載のシステム。
JP2019514265A 2016-09-18 2017-09-12 蛍光照明に基づいて３ｄ画像を生成するためのシステムおよび方法 Active JP7184489B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662396163P 2016-09-18 2016-09-18
US62/396,163 2016-09-18
PCT/IL2017/051024 WO2018051336A1 (en) 2016-09-18 2017-09-12 Systems and methods for generating 3d images based on fluorescent illumination

Publications (3)

Publication Number Publication Date
JP2019534727A JP2019534727A (ja) 2019-12-05
JP2019534727A5 JP2019534727A5 (ja) 2020-10-22
JP7184489B2 true JP7184489B2 (ja) 2022-12-06

Family

ID=60009680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019514265A Active JP7184489B2 (ja) 2016-09-18 2017-09-12 蛍光照明に基づいて３ｄ画像を生成するためのシステムおよび方法

Country Status (5)

Country Link
US (1) US11540725B2 (ja)
EP (1) EP3513381A1 (ja)
JP (1) JP7184489B2 (ja)
CN (1) CN109952598B (ja)
WO (1) WO2018051336A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109952598B (zh) 2016-09-18 2023-08-04 耶达研究及发展有限公司 基于荧光照明来生成3d图像的系统和方法
US10896507B2 (en) * 2017-09-21 2021-01-19 The Regents Of The University Of Michigan Techniques of deformation analysis for quantification of vascular enlargement
WO2019196683A1 (zh) 2018-04-12 2019-10-17 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108573170B (zh) * 2018-04-12 2020-06-12 Oppo广东移动通信有限公司 信息处理方法和装置、电子设备、计算机可读存储介质
US11367222B2 (en) 2018-04-20 2022-06-21 Hewlett-Packard Development Company, L.P. Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
US11861764B2 (en) 2018-08-07 2024-01-02 Siemens Healthcare Gmbh 3D depth reconstruction of vessels in 2D medical images
CN110390651A (zh) * 2019-07-23 2019-10-29 深圳大学 一种运动模糊视频复原方法和装置以及设备
EP4096544A1 (en) * 2020-01-29 2022-12-07 Covidien LP System and methods for identifying vessels within tissue
CN111260670B (zh) * 2020-02-18 2021-02-19 广州柏视医疗科技有限公司 基于深度学习网络的三维影像的管状结构分割图断裂修复方法及系统
CN111489360A (zh) * 2020-03-18 2020-08-04 上海商汤智能科技有限公司 一种图像分割方法及相关设备
CN111866521B (zh) * 2020-07-09 2022-04-01 浙江工商大学 一种视频图像压缩伪影去除方法
AT524118B1 (de) * 2020-10-15 2022-03-15 Ait Austrian Inst Tech Gmbh Computer-implementiertes Verfahren zur Erstellung von mehrdimensionalen Gegenstands-Datenstrukturen

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039658A (ja) 2004-07-22 2006-02-09 Hitachi Software Eng Co Ltd 画像分類学習処理システム及び画像識別処理システム
US20090016587A1 (en) 2007-07-09 2009-01-15 Siemens Corporate Research, Inc. System and method for two-dimensional visualization of temporal phenomena and three dimensional vessel reconstruction
JP2010054356A (ja) 2008-08-28 2010-03-11 Anritsu Sanki System Co Ltd 画像処理装置及びそれを備えたｘ線異物検出装置並びに画像処理方法
US20120200748A1 (en) 2011-02-08 2012-08-09 Nikon Corporation Image processing apparatus, electronic camera, and storage medium storing image processing program
JP2013515959A (ja) 2009-12-24 2013-05-09 コグネックス・コーポレイション カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US20140039309A1 (en) 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
US20140276008A1 (en) 2013-03-15 2014-09-18 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
US20160157725A1 (en) 2014-12-08 2016-06-09 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6198852B1 (en) * 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
US6366638B1 (en) * 2001-03-16 2002-04-02 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for CT scout image processing
US7352935B2 (en) 2004-08-17 2008-04-01 Kabushiki Kaisha Toshiba Optoelectronic conversion header, LSI package with interface module, method of manufacturing optoelectronic conversion header, and optical interconnection system
EP1780651A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method and system for automatic processing and evaluation of images, particularly diagnostic images
US8320662B2 (en) * 2009-01-07 2012-11-27 National Instruments Corporation Distinguishing colors of illuminated objects using machine vision
CN102890823B (zh) * 2011-07-19 2016-04-27 株式会社东芝 运动对象轮廓提取及左心室图像分割方法和装置
US9733119B2 (en) * 2011-11-02 2017-08-15 Seno Medical Instruments, Inc. Optoacoustic component utilization tracking
WO2013116253A1 (en) * 2012-01-30 2013-08-08 Scanadu Incorporated Spatial resolution enhancement in hyperspectral imaging
EP3136951A4 (en) 2014-05-01 2018-05-09 Yeda Research and Development Co. Ltd. Multimodal transcranial brain optical imaging
WO2016132152A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
US9965863B2 (en) * 2016-08-26 2018-05-08 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN109952598B (zh) 2016-09-18 2023-08-04 耶达研究及发展有限公司 基于荧光照明来生成3d图像的系统和方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039658A (ja) 2004-07-22 2006-02-09 Hitachi Software Eng Co Ltd 画像分類学習処理システム及び画像識別処理システム
US20090016587A1 (en) 2007-07-09 2009-01-15 Siemens Corporate Research, Inc. System and method for two-dimensional visualization of temporal phenomena and three dimensional vessel reconstruction
JP2010054356A (ja) 2008-08-28 2010-03-11 Anritsu Sanki System Co Ltd 画像処理装置及びそれを備えたｘ線異物検出装置並びに画像処理方法
JP2013515959A (ja) 2009-12-24 2013-05-09 コグネックス・コーポレイション カメラのミスキャリブレーションの実行時決定のためのシステムと方法
US20120200748A1 (en) 2011-02-08 2012-08-09 Nikon Corporation Image processing apparatus, electronic camera, and storage medium storing image processing program
US20140039309A1 (en) 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
US20140276008A1 (en) 2013-03-15 2014-09-18 The Regents Of The University Of California Imaging system and method for fluorescence guided surgery
US20160157725A1 (en) 2014-12-08 2016-06-09 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing

Also Published As

Publication number Publication date
CN109952598B (zh) 2023-08-04
WO2018051336A1 (en) 2018-03-22
US11540725B2 (en) 2023-01-03
JP2019534727A (ja) 2019-12-05
EP3513381A1 (en) 2019-07-24
CN109952598A (zh) 2019-06-28
US20190254535A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
JP7184489B2 (ja) 蛍光照明に基づいて３ｄ画像を生成するためのシステムおよび方法
Gul et al. Deep learning techniques for liver and liver tumor segmentation: A review
CA3063727C (en) Systems and methods for analysis of heterotopic ossification in 3d images
EP3397166B1 (en) Method and system for segmentation of vascular structure in a volumetric image dataset
US20160117818A1 (en) Computer-aided diagnosis (cad) apparatus and method using consecutive medical images
JP2019534727A5 (ja)
JP2020532783A (ja) 流れを視覚化するための機械学習を使用したスペックルコントラスト分析
US20170294014A1 (en) Image processing used to estimate abnormalities
Islam et al. Image enhancement based medical image analysis
US20210391078A1 (en) Deep learning model learning device and method for cancer region
KR20220142465A (ko) 레이저 스펙클 신호들을 처리하기 위한 시스템들 및 방법들
Mirajkar et al. Acute ischemic stroke detection using wavelet based fusion of CT and MRI images
CN107810518B (zh) 图像处理系统和方法
Feng et al. Enhancing scene structure in prosthetic vision using iso-disparity contour perturbance maps
Qu et al. Estimating blur at the brain gray-white matter boundary for FCD detection in MRI
Flores et al. Edge linking and image segmentation by combining optical and digital methods
CN112926498A (zh) 基于多通道融合和深度信息局部动态生成的活体检测方法
Sen et al. Development of image segmentation methods for intracranial aneurysms
Raj et al. An efficient lung segmentation approach for interstitial lung disease
Sun et al. Structure-aware scale-adaptive networks for cancer segmentation in whole-slide images
Senra et al. Enhancing quality in Diffusion Tensor Imaging with anisotropic anomalous diffusion filter
Ko et al. DOTnet 2.0: Deep learning network for diffuse optical tomography image reconstruction
Wasza Real-time Respiratory Motion Analysis Using GPU-accelerated Range Imaging
Cao A novel automated approach of multi-modality retinal image registration and fusion
Somasundaram et al. A brain extraction method using contour and morphological operations

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221123

R150 Certificate of patent or registration of utility model

Ref document number: 7184489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150