JP2024510479A - 媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステム - Google Patents

媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステム Download PDF

Info

Publication number
JP2024510479A
JP2024510479A JP2023556951A JP2023556951A JP2024510479A JP 2024510479 A JP2024510479 A JP 2024510479A JP 2023556951 A JP2023556951 A JP 2023556951A JP 2023556951 A JP2023556951 A JP 2023556951A JP 2024510479 A JP2024510479 A JP 2024510479A
Authority
JP
Japan
Prior art keywords
data
modality
medium
source
fluorescence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023556951A
Other languages
English (en)
Inventor
ジャン，ボゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuperSonic Imagine SA
Original Assignee
SuperSonic Imagine SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SuperSonic Imagine SA filed Critical SuperSonic Imagine SA
Publication of JP2024510479A publication Critical patent/JP2024510479A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52071—Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Image Generation (AREA)
  • Hardware Redundancy (AREA)
  • Small-Scale Networks (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本発明は、媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法に関し、上記方法は、処理システムによって実施されてもよく、本方法は、媒体の複数の体積単位のうちの少なくとも１つについて、モダリティおよび／またはソースのデータに基づいて光学特性が決定される光学決定ステップと、体積単位のうちの少なくとも１つについて、第２のモダリティおよび／またはソースのデータに基づいて蛍光特性が決定される蛍光決定ステップと、体積単位の決定された光学特性および蛍光特性に基づいて媒体のデータ表現がレンダリングされるレンダリングステップと、を含む。本発明はまた、対応する処理システムに関する。

Description

本開示は、媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステムに関する。特に、本開示は、特に医療撮像のための、本方法を実施する画像処理方法およびシステムに関する。
検査、特に例えば医療検査は、多くの場合、コンピュータ実装撮像方法、例えば超音波撮像によって支援される。この目的のために、検査された媒体（例えば、石、動物、人体またはその一部）からの検査データが取得され、それを検査ユーザまたは医師などの別のユーザに提示するために処理される。
例えば、超音波撮像は、トランスデューサによって送信される１つまたは複数の超音波パルス（または波）による媒体の音波処理からなる。これらのパルスのエコーに応答して、例えば同じトランスデューサを使用して、超音波信号データが取得される。超音波撮像は、異なるモダリティ（またはモード）、例えば、Ｂモード（輝度モード）およびＳｈｅａｒＷａｖｅ（登録商標）（ＳＷＥ、せん断波エラストグラフィ）を有することができ、これらは同じ超音波撮像システムによって提供できる。
そのような画像の解釈、またはより一般的には任意の検査データの解釈には、高度な専門知識が必要である。これは、特に、３次元画像データ、例えば３Ｄ超音波画像の場合である。
検査データは、異なるモダリティおよび／または異なるソースのデータが、例えばユーザに示される同じ３Ｄ（三次元）表現に組み合わされる場合、さらに複雑になる可能性がある。そのような異なるモダリティは、異なるモードで同じシステムによって取得されたデータ、例えば、超音波システムによって取得されたＢモード画像データおよびＳＷＥ画像データを含んでもよい。言い換えれば、異なるモダリティのデータは、同じソース（例えば、超音波）であるが異なるモダリティ（例えば、異なる超音波取得モード）のデータを含むことができる。
異なるソースはまた、異なるシステム、例えば超音波システムおよび別の撮像システム、例えばコンピュータ断層撮影、磁気共鳴または陽電子放出断層撮影などの医療撮像システムによって得られたデータを含んでもよい。
結果として、組み合わせられたマルチモダリティおよび／またはマルチソースデータ（例えば、レンダリングされた３Ｄ画像）の視覚的表現は、ユーザに過負荷な情報を提供する可能性があり、複雑な場合にあまり明瞭ではなく、潜在的に誤解の原因となり、その結果、より関連性の高い情報が他のあまり関連性のない情報によって隠される場合がある。
画像、特に３Ｄ画像または深度情報を有する画像をレンダリングするための様々な既知の技術が存在する。例えば、医療画像の視覚化のために、以下の文献に記載されているように、様々な体積レンダリングアルゴリズムが進化している。
Zhang Q, Eagleson R, Peters TM. Volume visualization: a technical overview with a focus on medical applications. J Digit Imaging. 2011 Aug; 24(4): 640-64. doi: 10.1007/sl0278-010-9321-6. PMID: 20714917; PMCID: PMC3138940.
特に、多断面再構成（ＭＰＲ）は、任意に配置された直交平面または傾斜平面を使用して３Ｄ体積から２次元（２Ｄ）スライスを抽出する既知の画像処理技術である。ＭＰＲは、３Ｄ取得を伴う市販の超音波システムの標準的な解決策である。
別の例は、オブジェクト表面が明示的または暗黙的にモデル化されることを必要とする表面レンダリング（ＳＲ）である。次いで、表面を陰影付けし、例えば光線追跡法によってレンダリングする。この技術は、ビデオゲームおよびデジタル映画で広く使用されている。しかし、表面モデリングは、事前に未知の数の未知の構造の自動セグメント化を必要とし、これは実際にはほとんど堅牢ではなく、追加の計算コストを必要とするため、医療用超音波の状況にはあまり適応していない。
さらに別の例は、中間幾何学的表現を計算することなく３Ｄデータ全体を２Ｄ（２次元）画像として表示する体積レンダリング（ＶＲ）である。
しかしながら、これらの技術は、上記の問題を解決または低減しない。
さらに、医療検査（例えば、超音波撮像法を使用する）は、特に例えば超音波撮像によって導かれる医療介入のために、リアルタイムまたは準リアルタイムのモニタリングを必要とすることが多い。このため、既知のレンダリング方法の演算コストの増加とユーザの潜在的な情報過負荷の両方が、リアルタイム要件に関して不利になる可能性がある。
現在、上述の問題を克服すること、特に、マルチモダリティおよび／またはマルチソースデータの視覚化、理解および解釈を容易にする、体積測定媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステムを提供することが依然として望ましい。さらに、方法およびシステムは、望ましくは、それぞれのデータ表現、例えば深度情報を有する３Ｄ画像または２Ｄ画像における上記マルチモダリティおよび／またはマルチソースデータの組み合わせ表現またはマージ表現を提供する。
したがって、本開示の実施形態によれば、（例えば、体積測定）媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法が提供される。上記方法は、処理システムによって実施されてもよい。本方法は、以下のステップを含む：
・媒体の複数の体積単位のうちの少なくとも１つについて、第１のモダリティおよび／またはソースのデータに基づいて、光学特性が決定される光学決定ステップ、
・体積単位の少なくとも１つについて、第２のモダリティおよび／またはソースのデータに基づいて、蛍光特性が決定される蛍光決定ステップ、
・体積単位の決定された光学特性および蛍光特性に基づいて、体積測定媒体のデータ表現がレンダリングされるレンダリングステップ。
そのような方法を提供することにより、異なるモダリティおよび／またはソースからのデータ（例えば、医療撮像データ）の視覚化、理解および／または解釈が容易になり、したがって、専門家ユーザ（例えば、医療専門家）と非専門家ユーザ（例えば、患者または訓練されていない専門家などの非専門家）の両方にとって、光学的に妥当な方法で、より直感的になる。
本開示は、従来のレンダリングアルゴリズムを、多色蛍光機構のモデリングと組み合わせることによって適合させてもよい。このようにして、異なるモダリティおよび／またはソースを有するデータ体積単位を組み合わせ、統一されたレンダリングシーンにおいて解釈可能にできる。
したがって、提案された技術は、複数の撮像モードおよび／または撮像ソース（例えば、第１のモダリティとしての３Ｄ Ｂモードおよび第２のモダリティとしての３Ｄ ＳＷＥモード）が、異なるカスタマイズ可能な蛍光色によってレンダリングされることを可能にし、その結果、それらが統一されたシーンで視覚化可能となる。この例では、Ｂモード撮像からの媒体のエコー輝度情報およびＳＷＥからの組織弾性情報を、同時にレンダリングできる。
言い換えれば、媒体特性は、同じ視覚化可能シーンで組み合わせることができる。これは、ユーザガイダンス、病理または治療のモニタリングのための視覚的な手がかりにつながる可能性があり、また、マルチモダリティおよび／またはマルチソースデータのより容易なユーザおよび患者の理解および解釈につながる可能性がある。
さらなる結果として、結果として得られる統一されたシーンは、任意の機械学習または他のＡＩ関連アプリケーションのための改善された基盤を提供できる。例えば、シーンは、ＣＮＮ（畳み込みニューラルネットワーク）または事前定義されたサイズおよび／またはフォーマットの入力データを期待する別の機械学習アルゴリズムによって処理することができる、事前定義されたサイズを有する２Ｄまたは３Ｄ画像の形態であってもよい。結果として、２Ｄまたは３Ｄ画像は、さらなる事前処理を必要とせずに、ＣＮＮ（または任意の他の機械学習アルゴリズム）のための単一の標準化された入力として使用できる。対照的に、元のマルチモダリティおよび／またはマルチソースデータは、それぞれの場合に特定の事前処理を必要とする、異なるまたは変化する解像度を有してもよい。
さらに、光学特性および蛍光特性の決定に起因して、結果として得られるレンダリングされた表現は、元のマルチモダリティおよび／またはマルチソースデータと比較して、対照的に強化され得、より少ないノイズを含み得る。この状況は、人間がレンダリングされた表現を正しく解釈するのを助けるだけではない。それはまた、機械学習アルゴリズムによって実行される任意の分類および／または回帰タスクの結果を改善できる。
例えば、レンダリングされたデータ表現は、元のデータのより現実的な重み付けがＡＩベースのアルゴリズムに提供されるようなものであってもよい。言い換えれば、（ＡＩベースの）アルゴリズムは、より重み付けされた、すなわちより関連性の高いデータに対して、より敏感であり得る。一例では、ＳＷＥモダリティのデータは、蛍光決定ステップを通して増加した重み付けまたは注意（すなわち、強調表示および／または色付けできる）を取得できる。言い換えれば、上記データ（例えば、媒体内の病変をマーキングする）はまた、ＡＩベースのアルゴリズムによって、注意を高めて処理されてもよい。
本開示のステップはまた、１つまたは複数の機械学習アルゴリズムまたは任意の他のＡＩ（人工知能）ベースのアルゴリズムによって、実行または少なくとも支援されてもよい。
提案された方法のさらなる利点は、計算コストの可能な低減である。例えば、提案された方法では、オブジェクトまたは表面セグメント化なしでマルチモード３Ｄ画像の融合を可能にする。さらに、計算コストは、シーン内のオブジェクトの数とは無関係であることが有利であり、したがって、複数のオブジェクトに対して複数のレンダリングを行う必要はない。計算コストは、管理される体積単位の数にのみ依存し得る。さらに、蛍光特性の決定は、蛍光の物理的原理に依存し、任意の陰影付けには依存しない。これは、より物理的な直感を提供し、それ自体より自明であることによって、実用的なパラメータの最適化を容易にする。
本方法は、媒体を複数の体積単位に分割するステップをさらに含み得る。上記体積単位は、いずれにせよ、例えば３次元マルチモダリティおよび／またはマルチソース画像データ内のボクセルの形態で、マルチモダリティおよび／またはマルチソースデータによって既に提供されてもよい。媒体の外側にも体積単位が存在することがさらに可能である。媒体の外側のこれらの体積単位のうちの少なくとも１つは、レンダリングされたデータ表現において考慮される別の手段、例えば介入デバイスによって占有されてもよい。例えば、介入デバイスの媒体および／または本体のサンプリングされた位置を表すボクセルは、座標系、例えばデカルトもしくは極座標系、または任意の他の事前定義された系に配置されてもよい。
一例では、モダリティおよび／またはソースのデータは、媒体の３Ｄ画像情報を含んでもよい。上記情報は、デカルトもしくは極座標系または他の事前定義されたシステムなどの事前定義された座標系に従って、ボクセルモードによってボクセル上で取得されてもよい。そのような３Ｄ画像情報は、例えば、超音波マトリックスプローブ、すなわち、マトリックス形式で配置された複数のトランスデューサを有するか、またはいくつかのトランスデューサタイプをマージするプローブ、を使用して取得することができる。
３Ｄ画像情報はまた、２Ｄ画像スライスの積み重ねから取得されてもよい。これは、機械的な１Ｄ線形超音波プローブから達成されてもよい。プローブは、所与の方向に機械的に回転させることができ、異なる角度で１Ｄプローブは２Ｄ画像スライスを取得する。
光学特性が決定される少なくとも１つの体積単位は、蛍光特性が決定される体積単位と同じまたは異なる体積であってもよい。したがって、１つの体積単位は、決定された光学特性および／または決定された蛍光特性を有してもよく、またはその両方を有しなくてもよい。さらに、少なくとも１つの体積単位について、光学特性および蛍光特性のいずれも決定しないことが可能である。
例示的な一実施形態では、いくつかの体積単位について光学特性が決定され、および／または、いくつかの体積単位について蛍光特性が決定される。別の例では、複数の体積単位のそれぞれについて光学特性が決定され、および／または複数の体積単位のそれぞれについて蛍光特性が決定される。
レンダリングステップは、計算ステップまたは演算ステップとして理解されてもよい。それはまた、グラフィカルレンダリングステップおよび／または３Ｄレンダリングステップを含んでもよい。
体積測定媒体のデータ表現は、複数の深さレベルを有する視覚的またはグラフィック表現を含んでもよい。
一例では、データ表現、特に上記視覚的表現は、１つまたは複数の画像、例えば２次元（２Ｄ）または３次元（３Ｄ）画像を含んでもよく、またはその形態であってもよい。
光学特性は、受動光学特性として理解することができる。
蛍光特性は、（二次）光源を放射する特性として理解することができる。したがって、「光学特性」と「蛍光特性」との違いは、前者が受動的であり、後者が能動的であることであり得る。「受動的」は、それらが光源ではないことを意味することができ、「能動的」は、それらが光を放射することができることを意味することができる。
光学決定ステップは、第１のモダリティおよび／またはソースのデータに対して実行されるだけでなく、異なるモダリティ（例えば、ＢモードおよびＳＷＥ）および／またはソース（例えば、超音波およびＣＴ）のデータに基づいて、光学特性が決定されることも可能である。
同様に、蛍光決定ステップにおいて、異なるモダリティおよび／またはソースのデータに基づいて蛍光特性が決定されることも可能である。例えば、各モダリティおよび／またはソースについて、異なるモダリティおよび／またはソースの区別を容易にするために、異なる蛍光色を決定することができる（例えば、ＳＷＥとして赤、認識された介入デバイス（針、マーカーまたは媒体中の関心領域など）のマーキングとして青）。
一例では、光学特性は、体積単位の光吸収率を含んでもよく、または体積単位の光吸収率であってもよい。
さらなる例では、光学特性は、少なくとも１つの体積単位の第１のモダリティおよび／またはソースのデータに適用される（例えば、事前定義された）媒体－光の相互作用マッピングに従って決定されてもよい。したがって、第１のモダリティおよび／またはソースのデータは、媒体－光の相互作用マッピングの入力として使用することができる。光学特性は、媒体－光の相互作用マッピングの出力であってもよい。
媒体－光の相互作用マッピングは、第１のモダリティおよび／またはソースのデータの関数として反射率、指向性、および吸収率のうちの少なくとも１つを決定してもよい。
このマッピングは、事前定義されたマッピング関数および／または事前定義されたマッピング規則であってもよく、あるいは、事前定義されたマッピング関数および／または事前定義されたマッピング規則を含んでもよい。例えば、マッピングは、光学特性を決定するためにどの種類のモダリティおよび／またはソースが使用されるかを（マッピング規則に基づいて）決定できる。例えば、光学特性は、Ｂモードデータ（この例では第１のモダリティおよび／またはソースである）に基づいて決定できる。さらなる例として、マッピングは、第１のモダリティおよび／またはソースのパラメータの値または値の範囲（例えば、Ｂモードデータ内の輝度値）の関数として、光学特性のパラメータの値または値の範囲（例えば、反射率、指向性、および吸収率）を、（マッピング規則および／または関数に基づいて）決定できる。
蛍光特性は、少なくとも１つの体積単位の第２のモダリティおよび／またはソースのデータに適用される（例えば、事前定義された）発光および／または吸収マッピングに従って決定できる。上記マッピングは、例えば、発光マッピング、または発光および吸収マッピングであってもよい。したがって、上記マッピングは、少なくとも１つの体積単位の発光率を定義できる。
したがって、この発光および／または吸収マッピングもまた、事前定義されたマッピング関数および／または事前定義されたマッピング規則であってもよく、またはそれを含んでもよい。例えば、マッピングは、どの種類のモダリティおよび／またはソースが蛍光特性を決定するために使用されるかを（マッピング規則に基づいて）決定できる。例えば、蛍光特性は、ＳＷＥデータ（この例では第２のモダリティおよび／またはソースである）に基づいて決定できる。さらなる例として、マッピングは、第２のモダリティおよび／またはソースのパラメータの値または値の範囲（例えば、ＳＷＥデータ内の輝度／色の値）の関数として、蛍光特性のパラメータの値または値の範囲（例えば、発光速度、光吸収率および／または色）を（マッピング規則および／または関数に基づいて）決定できる。
別の例によれば、本開示によるマッピングは、所与のボクセル値の光学特性および／または蛍光特性をマッピングしてもよい。マッピングがマップを決定することも可能である。上記マップは、ソースおよび／またはモダリティデータのデータ構造に対応するデータ構造を提供してもよい。例えば、マップは、ソースおよび／またはモダリティデータを形成する画像と同じサイズであってもよい。したがって、マップは、各ピクセル／ボクセルにおける光学／蛍光特性を記憶してもよい。
蛍光特性は、体積単位によって形成された二次光源を定義することができる。言い換えれば、体積単位は、蛍光特性に応じた２次光を放射してもよい。したがって、上記二次光は、第１のスペクトルに吸収され、体積単位によって第２のスペクトルの二次光として（再）放射される一次光に基づいて、決定されてもよい。
体積単位の少なくとも１つの光学決定ステップでは、第１の媒体－光の相互作用マッピングとは異なる第２の媒体－光の相互作用マッピングに従って、第３のモダリティおよび／またはソースのデータに基づいて、光学特性を決定できる。
体積単位の少なくとも１つの蛍光決定ステップでは、第１の発光および／または吸収マッピングとは異なる第２の発光および／または吸収マッピングに従って、第４のモダリティおよび／またはソースのデータに基づいて、蛍光特性を決定できる。
言い換えれば、異なるモダリティおよび／またはソースのデータは、例えば、それぞれのデータモダリティおよび／またはソースについて異なる蛍光特性および／または光学特性を得るために、異なるマッピングに従って処理されてもよい。このようにして、異なるデータモダリティおよび／またはソースは、例えば人間または任意のＡＩツールによって、より容易かつより直感的に区別できる。例えば、
発光および吸収マッピングはまた、処理システムのユーザによってカスタマイズ可能であってもよい。このようにして、ユーザは、特定のデータモダリティおよび／またはソースを、例えば強調表示および／または色付けすることができる方法を、自由に選択できる。
蛍光決定ステップおよび光学決定ステップは、同時におよび／または並行して行ってもよい。このようにして、本方法の総処理時間を短縮できる。
レンダリングステップは、蛍光決定ステップおよび／または光学決定ステップの後に行われてもよい。このように、レンダリングステップは、蛍光決定ステップおよび光学決定ステップで決定されたデータを用いてもよい。例えば、決定された光学特性および蛍光特性は、データストレージ（例えば、ローカルまたはクラウドデータストレージ）に記憶できる。レンダリングステップは、記憶された特性に基づいて１回または数回実行できる。このようにして、例えば３Ｄモデルのようなデータモデルに決定を記憶し、その後の任意の時点で異なるデータ表現のレンダリングを実行することが可能である。
あるいは、レンダリングステップは、蛍光決定ステップおよび／または光学決定ステップと同時に（すなわち、同時期に）行われてもよい。例えば、レンダリングステップにおいて光線追跡を使用する場合、各光線（例えば、データ表現を形成する２Ｄ画像内の画素に対応する）について、上記光線によって満たされる体積単位の光学特性および蛍光特性を決定することが可能である。
第１のモダリティおよび／またはソースのデータは、Ｂモード（輝度モード）超音波撮像からの反射率情報を含むことができる。例えば、上記第１のモダリティを使用して、レンダリングされたデータ表現の背景、例えばレンダリングされたデータ表現を形成する２Ｄまたは３Ｄ画像の背景を取得することができる。
第２のモダリティおよび／またはソースのデータは、せん断波エラストグラフィ超音波撮像からの組織弾性情報を含むことができる。例えば、第２のモダリティを使用して、レンダリングされたデータ表現内の特定の区域を強調表示することができる。
さらなる実施形態によれば、第２または第４のモダリティおよび／またはソースのデータは、介入デバイス情報を含むことができる。上記介入デバイス情報は、媒体に配置された介入デバイス（例えば、その６Ｄ姿勢）の位置および／もしくは向き、ならびに／または介入デバイスの形状の事前設定された情報を示すことができる。
一例では、介入デバイス情報は、媒体の座標系におけるデバイスの位置および／または向きを示す座標を含むことができる。これらのデータは、同じディスプレイに表示されてもよいし、別のディスプレイに表示されてもよいし、統合シーン内に表示されなくてもよい。したがって、介入デバイス情報は、必ずしもデバイスの画像データを含む必要はないが、そうすることができる。
したがって、画像の形態ではないモダリティおよび／またはソースのデータを含むことが可能である。上述したように、介入デバイスの画像情報は決定されず、その座標のみが決定されてもよい。この場合、蛍光特性は、これらの座標に関連付けられてもよく、それらは、媒体および介入デバイスを含む統合シーン内にレンダリングされてもよい。
例えば、例示的な介入デバイスとして針を考えると、それをレンダリングするいくつかの可能性がある。
針上の点は、例えば、Ｂモード画像の同じ座標系の下の体積内のボクセルによってボクセルで示され得る。次に、針ソースは、Ｂモード画像と位置合わせされた別の画像源であってもよく、例えば異なる蛍光色を有する以外は任意の他のモダリティおよび／またはソース（例えばＳＷＥ）のデータと同じ方法で処理されてもよい。
あるいは、針上の点は、所与の画像、例えばＢモード画像の座標系における座標のセットとして表されてもよい。次いで、蛍光色をこれらの座標に関連付けることができる。このように、針先はＢモード画像の同じ座標系で表される。この代替案によれば、追加の針画像は使用されない。
さらに別の代替形態では、針上の点は、グローバル基準座標系における座標のセットとして表されてもよい。例えば、介入デバイスのトランスデューサまたは送信機（針の先端など）は、その位置を知らせるためにシステムの信号捕捉器に信号を送信することができる。走査プローブはまた、その位置を知らせるために同じ捕捉器に信号を送信することができる。次に、この基準座標系は、一部またはすべてのソースによって共有されてもよい。このようにして、レンダリングシーンは、このグローバル座標系から構築することができる。
さらに別の代替形態では、介入デバイスは、本開示の方法のステップにおいて媒体のように、すなわち媒体の一部であるかのように取り扱われる。言い換えれば、介入デバイスおよび媒体に適用される開示された方法にいかなる違いも存在し得ない。特に、同じデータモダリティおよび／またはソースを使用することができ、介入デバイスと媒体とを区別することなく、１つの共通の方法でデータを処理することができる。
少なくとも１つの体積単位の蛍光決定ステップでは、介入デバイス情報に基づいて蛍光特性を決定することができる。この決定は、特にその位置および／または向きならびにその形状に従って、介入デバイス（すなわち、介入デバイスが配置されている場所）によって占有される媒体の体積単位を識別することによって行うことができる。
したがって、蛍光決定ステップでは、介入デバイスによって占有される媒体の体積単位は、検出された介入デバイスについて決定された蛍光特性に従って着色され得る。このようにして、以下でより詳細に説明するように、例えば視覚的表現において、媒体内の介入デバイスを視覚化することができる。
レンダリングステップにおいて、データ表現の少なくとも一部は、介入デバイス情報に基づいてレンダリングされてもよい。上記介入デバイス情報は、媒体内に配置された介入デバイスの位置および／または向きと、介入デバイスの形状の事前設定された情報とを示してもよい。
介入デバイスの位置および／または向きは、介入デバイスの事前設定された情報に基づいて構成された走査波を使用して介入デバイスを走査することによって決定することができる。介入デバイスの形状の事前設定された情報は、介入デバイスの３Ｄ表面情報を含むことができる。それはまた、介入デバイスの異なる視点からの画像のセット（例えば、２Ｄまたは３Ｄ）を含むことができる。上記情報は、事前走査ステップ（例えば、光学決定ステップおよび／または蛍光決定ステップの前に実行される）で決定されてもよく、またはデータストレージ、例えば処理システムのローカルデータストレージまたはリモートデータストレージ、例えばクラウドシステムから取得されてもよい。データストレージはまた、異なる介入デバイスの介入デバイス情報を記憶することができる。さらに、それは、介入デバイスのさらなる情報、例えば技術的特性（その材料、その空間寸法、その重量など）および／または製造業者情報（製品ＩＤ、メーカＩＤ等）を記憶することができる。
例えば、走査ステップで取得されたＢモードデータまたは任意の他の走査データを使用して、介入デバイスの製品ＩＤを決定することができる。この製品ＩＤに基づいて、介入デバイスの形状（潜在的に３Ｄ形状）に関する正しい情報をデータストレージから取得することができる。
蛍光決定ステップおよび／またはレンダリングステップにおいて介入デバイス情報を使用する結果として、介入デバイス（例えば、生検針）と生検によってアドレス指定された媒体（例えば、解剖学的構造）の両方を視覚化することが有利に可能になる。
さらに、介入デバイスが媒体内のどこに移動すると予測されるか（例えば、その移動方向および／または移動経路）を決定することが可能である。上記予測は、それぞれ訓練された（ＡＩベースの）アルゴリズムによって行われ得る。
レンダリングステップは、データ表現が光線追跡体積レンダリング方法に従ってレンダリングされる光線追跡レンダリングステップを含むことができる。例えば、蛍光決定ステップおよび光学決定ステップは、それぞれ体積単位ごとに行われてもよい。次に、レンダリングされたデータ表現（例えば、２Ｄまたは３Ｄ画像）の各ピクセルのレンダリングステップにおいて、光線が決定され、ピクセル／ボクセルの色が、光線が満たす体積単位（例えば、ボクセル）の関数として演算される。
フローバー、光学特性および蛍光特性は、レンダリングステップの前に決定される必要はない。蛍光決定ステップおよび光学決定ステップは、レンダリングステップと同時に行われてもよい。例えば、決定は、体積単位の値（例えば、ボクセル値）と光学特性および／または蛍光特性との間の事前定義されたマッピング規則であってもよい。そのような場合、それらの決定は、レンダリング自体と同時に行われてもよい。
光線追跡レンダリングステップは、以下のサブステップの少なくとも１つを含んでもよい。
・媒体に対して事前定義された幾何学的関係（例えば、媒体の内側、媒体の近くもしくは媒体に隣接している、または媒体から離れている）で仮想光源を配置するステップ。
・被写界深度および／または開口形状を定義するステップ。
・媒体に対して事前定義された幾何学的関係で仮想ビュー平面を配置するステップであって、データ表現が仮想ビュー平面の関数としてレンダリングされる、ステップ。仮想ビュー平面の位置は、後者の実距離に対応するように、媒体からのユーザの実距離の関数として定義できる。これは、拡張現実レンズを使用して、視覚的表現を実際の媒体が位置する領域に一致させる場合に有用であり得る。
マルチモダリティおよび／またはマルチソースデータは、媒体の画像データおよび／または３Ｄ情報データを含んでもよい。
体積単位は、少なくとも１つのボクセルを含むことができる。ボクセルは、デカルト座標系を形成することができる３Ｄ空間内の規則的なグリッド上の値を表すことができる（例えば、モダリティおよび／またはソースのデータがトランスデューサのマトリックス配列を有するプローブによって取得される場合）。したがって、上記３Ｄ空間は、媒体および任意選択で１つまたは複数の介入デバイスを含んでもよい。しかしながら、ボクセルは、極座標系に従って配置されてもよい（特に、モダリティおよび／またはソースのデータが、曲線に沿って整列された複数のトランスデューサを含む凸状アレイを有するプローブによって取得される場合）。
一般に、本開示の方法で使用されるモダリティおよび／またはソースが異なるボクセル解像度および／または異なる座標系を有する場合、それらは基準システム（体積単位の基準解像度および基準座標系を含む）に標準化され得る。これにより、光学および蛍光決定ステップおよびレンダリングステップにおいて、それらのデータを融合できる。例えば、モダリティおよび／または最高解像度のソースのデータは、基準として使用されてもよく、他のモダリティおよび／またはソースのデータは、それぞれ補間されてもよい。あるいは、モダリティおよび／または最低解像度のソースのデータは、基準として使用されてもよく、他のモダリティおよび／またはソースのデータは、それぞれダウンサンプリングされてもよい。しかしながら、異なる座標系および／またはモダリティおよび／またはソースの異なる解像度を（事前に）調和させることは必須ではない。本開示によれば、それらはまた、レンダリングステップにおいてマージ（したがって、調和）されてもよい。
例えば、レンダリングステップにおける各光線が光線追跡法に従って計算されるとき、補間によって異なる解像度のデータを処理できる。実際には、レンダリング中に、各光線を一連の点に離散化できる。したがって、これらの「光線点」の位置は、各データ体積内で既知である。これらの「光線点」でデータ値をサンプリングするために、その元の解像度からモダリティおよび／またはソースのデータを補間できる。値がサンプリングされると、光学／蛍光特性は、例えば、値ー特性マッピングから決定される。異なるモダリティおよび／またはソースのデータ解像度を事前に体系的に統一する必要はない。そのような技術の利点は、例えば、別の低解像度ソースが存在するために、高解像度データを劣化させる必要がないことである。同様に、別の高解像度ソースが存在するために、低解像度データをアップサンプリングする必要はない。したがって、本方法の計算コストを削減することができる。
異なる座標系の場合、処理は同様であってもよい。基準座標系を定義または選択することができ、これは望ましくはレンダリングの座標系であり、光線を表すために使用される。そして、データ座標を基準座標に変換してもよい。そのため、各データボクセルは、基準座標系に配置され得る。変換は、事前に行われる必要はない。これは、レンダリング中にオンザフライで行うことができる。要約すると、ボクセル表現データを処理するために、データ解像度を事前に調和させる必要はない。代わりに、各光線がサンプリングされてもよく、データ値は、レンダリング中にオンザフライで補間によってサンプリングされた点で演算されてもよい。
光学決定ステップ、蛍光決定ステップ、およびレンダリングステップのうちの少なくとも１つは、実装されてもよく、または少なくとも１つの第１の人工知能ベース（ＡＩベース）アルゴリズムおよび／または（事前訓練された）機械学習アルゴリズムを使用してもよい。したがって、本開示の方法のステップのいずれか１つは、機械学習ベースまたは任意の他のＡＩアルゴリズムによって実行されてもよい。
少なくとも１つの第２の人工知能ベースのアルゴリズムおよび／または予め訓練された機械学習アルゴリズムは、レンダリングされたデータ表現の関数として事前定義されたタスクを実行できる。例えば、上記タスクは、以下の非限定的なリスト、すなわち、回帰タスク、分類タスク、およびセグメント化タスク、または任意の他の所定のタスクのうちの少なくとも１つを含み得る。
したがって、本開示のデータ表現は、必ずしも視覚的データ表現である必要はなく、（ＡＩベースの）アルゴリズム、例えば上述のタスクの１つによって処理することができる任意の種類のデータセットであってもよい。
これに加えて、データ表現はまた、レンダリングステップにおいて決定された任意のパラメータを含むか、または、レンダリングステップにおいて決定された任意のパラメータからなってもよい。例えば、そのようなパラメータは、介入デバイスの事前設定された点（例えば、生検針の先端）と媒体の事前設定された関心領域（これは、例えば、ユーザによって選択され、および／またはモダリティおよび／またはソースのデータによって、例えば、ＳＷＥデータによって、および／または人工知能専用モジュールを使用して決定される）との間の距離を含んでもよい。
さらに、レンダリングされたデータ表現は、ＡＩベースのアルゴリズム（すなわち、第２の人工知能ベースのアルゴリズムおよび／または予め訓練された機械学習アルゴリズム）のための入力として使用してもよい。次いで、上記ＡＩベースのアルゴリズムは、元のデータ（すなわち、マルチモダリティおよび／またはマルチソースデータ）を理解または解釈する際にユーザを支援することができる任意の情報を決定してもよい。
本開示はさらに、データ処理システムによって実行されると、データ処理システムに本開示による方法を実行させるコンピュータ可読命令を含むコンピュータプログラムに関する。
本開示はさらに、体積測定媒体のマルチモダリティおよび／またはマルチソースデータを処理するためのシステム（すなわち、処理システム）に関する。上記システムは、
・媒体の複数の体積単位のうちの少なくとも１つについて、少なくとも第１のモダリティおよび／またはソースのデータに基づいて、光学特性を決定し、
・体積単位の少なくとも１つについて、少なくとも第２のモダリティおよび／またはソースのデータに基づいて、蛍光特性を決定し、
・体積単位の決定された光学特性および蛍光特性に基づいて、体積測定媒体のデータ表現をレンダリングする、
ように構成されている、処理ユニットを含んでもよい。
システムは、医療システム、例えば超音波撮像システムであってもよく、または超音波撮像システムを含んでもよい。
本開示はまた、コンピュータによって実行されるときに、本開示による方法のステップを実行するための命令を含むコンピュータプログラムを記録した、コンピュータによって読み取り可能な記録媒体に関してもよい。
本開示およびその実施形態は、人間、動物、ならびに金属片、砂利、小石などの考慮されるべき任意の材料に、専用の医療デバイスの文脈で使用することができる。
他の点で矛盾しない限り、上記の要素と本明細書内の要素との組み合わせを行うことができることを意図している。
前述の一般的な説明および以下の詳細な説明の両方は例示的かつ説明的なものにすぎず、例示目的のために提供されており、特許請求の範囲に記載の本開示を限定するものではないことを理解されたい。
本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、例示目的のために提供され、本開示の実施形態を説明と共に示し、その原理を支持および例示するのに役立つ。
本開示の実施形態による、体積測定媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法のフローチャートを示す。 図１の方法の第１の例示的な実施形態を示す。 図１の方法の第２の例示的な実施形態を示す。 本開示による光線追跡法の概略図を示す。 図４ａの光線追跡法によって得られた概略画像を示す。
ここで、本開示の例示的な実施形態を詳細に参照し、その例を添付の図面に示す。可能な限り、同じまたは同様の部分を指すために図面全体を通して同じ参照番号が使用される。
図１は、本開示の実施形態による、体積測定媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法のフローチャートを示す。
任意選択の取得ステップでは、体積測定媒体の異なるモダリティおよび／または異なるソースのＳＩデータが取得される。一例では、体積測定（すなわち３Ｄ）媒体は、生体組織、特に患者または動物または植物のヒト組織であってもよい。
媒体の複数の体積単位のうちの少なくとも１つの光学決定ステップＳ２ａにおいて、少なくとも第１のモダリティおよび／またはソースのデータに基づいて光学特性が決定される。言い換えれば、上記ステップは、ステップＳ１の少なくとも第１のモダリティおよび／またはソース（または例えば、第１および第２のモダリティおよび／またはソース）の入力データを受信し、それらを処理して体積単位の光学特性（例えば、光吸収率）を決定する。
体積単位の少なくとも１つの蛍光決定ステップＳ２ｂでは、少なくとも第２のモダリティおよび／またはソースのデータに基づいて、蛍光特性が決定される。言い換えれば、上記ステップは、ステップＳ１の少なくとも第２のモダリティおよび／またはソースの入力データを受信し、それらを処理して体積単位の蛍光特性（例えば、光度および／または色）を決定する。
レンダリングステップＳ３において、体積単位の決定された光学特性および蛍光特性に基づいて、体積測定媒体のデータ表現がレンダリングされる。言い換えれば、上記ステップは、ステップＳ２ａおよびＳ２ｂで決定された各体積単位の決定された蛍光および／または光学特性を入力として受信し、それらを処理してデータ表現をレンダリングする。
例えば、データ表現は、視覚的表現を含んでもよく、視覚的表現であってもよく、または１つもしくは複数の画像、例えば２次元（２Ｄ）もしくは３次元（３Ｄ）画像の形態であってもよい。データ表現はまた、複数の深度レベルを有する視覚的またはグラフィック表現を含んでもよい。例えば、それは、媒体の異なる深度レベルの２Ｄ画像のセットを含んでもよい。データ表現は、ホログラムもしくは拡張現実シーン、またはユーザがシーン内をナビゲートできる任意の他のシーンをさらに含んでもよい。しかしながら、本開示のデータ表現は、必ずしも視覚的データ表現ではなく、例えば（ＡＩベースの）アルゴリズム、例えば上述のタスクのうちの１つによって処理することができる任意の種類のデータセットであってもよい。
レンダリングステップは、従来のレンダリング技術、例えば最大強度投影または光線追跡を使用してもよい。しかしながら、本開示の方法では、蛍光モデリングの追加のステップが、例えば従来の光線追跡フレームワークに追加される。これにより、異なるデータが個別化された蛍光色を数値的に放射し、次いで光学モデルを通って光線追跡され、最終的に統一されたシーンで提示されることが可能になる。
本開示において適用可能なレンダリング技術のさらなる例は、多断面再構成（ＭＰＲ）である。ＭＰＲは、任意に配置された直交平面または傾斜平面を使用して、３Ｄ体積から２次元（２Ｄ）スライスを抽出する画像処理技術である。別の可能な例は、オブジェクト表面が明示的または暗黙的にモデル化されることを必要とする表面レンダリング（ＳＲ）である。ＳＲは、媒体内に介入デバイスをレンダリングするために有利に使用されてもよい。次いで、表面を陰影付けし、例えば光線追跡法によってレンダリングする。
さらに別の例は、中間幾何学的表現を計算することなく３Ｄデータ全体を２Ｄ画像として表示する、本開示のレンダリングステップに特に有用な体積レンダリング（ＶＲ）である。
本開示の方法は、いくつかの利点を示唆する。
例えば、複数の３Ｄ撮像モード（例えば、３Ｄ Ｂモードおよび３Ｄ ＳＷＥ）を視覚化する統一された方法が提供される。さらに、マルチモード３Ｄデータを視覚化するユーザ体験を向上させることができる。特に、ＳＷＥなどの機能情報を用いた超音波体積の直感的な解釈である。また、カスタマイズ可能な視点での体積内ナビゲーションも可能である。それは、例えば仮想眼鏡などを使用して、視覚的ガイダンスのために拡張現実デバイスにさらに統合できる。また、専門家および非専門家の教育または訓練、ならびに同僚間の彼らのコミュニケーションも容易にする。また、自由視点による情報探索が可能となり、撮像方法で強いられた制約が軽減される。したがって、例えば切除などの外科的または治療的使用のために、定性的な視覚的モニタリング能力を提供することができる。
本方法は、ＧＰＵ（すなわち、追加のハードウェアデバイスは不要）などの従来のハードウェアでさらに実施可能であってもよい。さらに、この技術は、オブジェクトまたは表面のセグメント化なしでマルチモード３Ｄ画像の融合を可能にする。計算コストはオブジェクトの数に依存せず、したがって、複数のオブジェクトに対して複数のレンダリングを行う必要はない。計算コストは、体積単位の数にのみ依存し、現在の計算能力に適合する。着色は、蛍光の物理的原理に依存し、ユーザの習慣および好みに応じて、もちろんカスタマイズできるとしても、任意の陰影付けには依存しない。これは、より物理的な直感を提供することによって、実用的なパラメータの最適化が容易になる。
本方法は、処理システムによって実行されてもよい。そのようなシステムは、処理ユニットと、任意選択的に取得システム（例えば、トランスデューサ）および／または視覚化システム（例えば、ディスプレイ、眼鏡）とを含んでもよい。
ただし、取得システムおよび／または視覚化システムが処理システムの外部にあることも可能である。例えば、トランスデューサ（またはトランスデューサのグループ）は、処理システムに遠隔接続可能であってもよい。例示的な一実施形態では、トランスデューサはＩＯＴデバイスであり、かつ／あるいは、ＩＯＴデバイスに、ならびに／または処理ユニットおよび／もしくは視覚化システムを形成するスマートフォンに、接続可能である。トランスデューサは、インターネット、「クラウド」、４Ｇもしくは５Ｇプロトコル、ＷＩＦＩ、任意のローカルネットワーク、または任意の他のデータ接点もしくはリモート接続を介して、処理システムに接続可能であってもよい。
処理システムおよび視覚化システムは、例えば、インターネット、「クラウド」、４Ｇもしくは５Ｇプロトコル、ＷＩＦＩ、任意のローカルネットワーク、または任意の他のデータ接点もしくはリモート接続を介して、リモート接続可能であることがさらに可能である。
処理ユニットは、例えば、任意選択のバッファメモリと通信する中央処理装置（ＣＰＵ）および／またはグラフィック処理装置（ＧＰＵ）、任意選択的に中央処理システムにリンクされたメモリ（ＭＥＭ）、ならびに、任意選択的に中央処理システムにリンクされたデジタル信号プロセッサ（ＤＳＰ）、を含んでもよい。
任意選択の取得システムは、少なくとも１つのトランスデューサ、例えば、パルスを送信し媒体（すなわち、組織）応答を受信するように構成された単一のトランスデューサ、を含んでもよい。また、複数のトランスデューサおよび／またはトランスデューサアレイを使用することも可能である。アレイは、媒体の二次元（２Ｄ）撮像を実行するように適合されてもよいが、アレイはまた、媒体の３Ｄ撮像を実行するように適合された二次元アレイであってもよい。トランスデューサアレイはまた、曲線に沿って整列した複数のトランスデューサを含む凸状アレイであってもよい。パルスを送信して応答を受信するために同じトランスデューサが使用されてもよく、または異なるトランスデューサが送信および受信に使用されてもよい。
任意選択の視覚化システムは、１つまたは複数のディスプレイ、仮想現実レンズ、または２Ｄもしくは３Ｄ画像、ホログラムもしくは拡張現実シーンを示すための任意の他の電子デバイスを含むことができる。
例えば、拡張現実レンズを使用することにより、ユーザは、媒体の視覚的表現を媒体の実際の位置に配置することによって、媒体の内側を仮想的に見ることができる。これは、介入デバイスが媒体に挿入され、関心点（例えば、病変）に向かうその内部の動きが制御される場合に特に有用であり得る。
さらに、拡張現実レンズを使用することにより、外科医または任意の他の医師またはユーザは、フリーハンドで媒体の視覚的表現をナビゲートする（例えば、視点および／または視野角を変更する）ことができ、これは、彼／彼女が同時に、（例えば、本開示による介入デバイスを使用して）任意の介入を実行することができることを意味する。この目的のために、拡張現実レンズの動きを感知することができ、対応するセンサ信号は、視覚提示の視点および／または視野角を制御できる。
ディスプレイおよび／または拡張現実レンズなどの異なるデバイス上にデータ表現（特に視覚的表現）を提示することも可能である。そのような視覚化デバイスはまた、必要性および／または特定の場合におけるそれらの有用性に応じて（例えば、検査または介入中のユーザの視線方向、視覚的表現の解像度などに応じて）、組み合わせてもよい。
処理システムは、超音波撮像のためのデバイスを含んでもよく、または超音波撮像のためのデバイスに接続可能であってもよい。したがって、トランスデューサは超音波トランスデューサであってもよい。しかしながら、処理システムは、超音波以外の波（超音波波長とは異なる波長を有する波）を使用して、任意の撮像デバイスまたは医療システムを含んでもよく、またはそれらに接続可能であってもよい。
したがって、マルチモダリティおよび／またはマルチソースデータは、異なるソース、例えば超音波システムおよび別のシステム、例えばコンピュータ断層撮影、磁気共鳴もしくは陽電子放射断層撮影のような医療撮像システム、または電磁（ＥＭ）追跡装置のような追跡システムから生じてもよい。
さらなる実施形態によれば、モダリティおよび／またはソースデータは、介入デバイス情報を含んでもよい。上記介入デバイス情報は、例えば、以下に説明するように、介入デバイスの撮像および／または追跡のためのシステムから生じてもよい。上記介入デバイス情報は、媒体に配置された介入デバイス（例えば、その６Ｄ姿勢）の位置および／または向きを示してもよい。上記介入デバイス情報は、任意選択的に、介入デバイスの形状の事前設定された情報を含んでもよい。位置および／または向きは、上述したように、走査された媒体の座標系において介入デバイスにそれぞれの座標を提供することによって定義されてもよい。座標系はまた、体積単位の構造を事前定義してもよい。
異なるデータモダリティの例は、異なる取得モード、例えば、輝度モード（Ｂモード）、せん断波エラストグラフィ（ＳＷＥ）、および超音波撮像の場合の歪みエラストグラフィでシステム（例えば、１つの医療システム）によって取得されたデータであり得る。
図２は、図１の方法の第１の例示的な実施形態を示す。言い換えれば、図２の方法は、特に記載のない限り、図１の方法に対応する。特に、任意選択のステップ１で取得された（すなわち、走査された）マルチモダリティおよび／またはマルチソースデータは、２つの異なるモダリティ、すなわち、取得された第１のモダリティとしての（３Ｄ）Ｂモード（Ｓ１ｂ参照）、および取得された第２のモダリティとしての（３Ｄ）ＳＷＥ（Ｓ１ａ参照）、であってもよい。
媒体（すなわち、組織）の複数の体積単位（例えば、ボクセル）の光学決定ステップＳ２ａでは、ステップＳ１ｂの第１のモダリティ、およびステップＳ１ａの第２のモダリティのデータに基づいて、光学特性が決定される。
特に、光学特性は、体積単位の第１および第２のモダリティおよび／またはソースのデータに適用される組織－光の相互作用マッピングに従って決定される。組織－光の相互作用マッピングは、任意選択的に、反射率、指向性および吸収率のうちの少なくとも１つを決定する。体積単位の決定された光学特性は、光線追跡技術（これに関しては、図４ａおよび図４ｂを参照）に従ってステップＳ３で画像をレンダリングするのに適し得る。
媒体の複数の体積単位についての蛍光決定ステップＳ２ｂにおいて、ステップＳ１ａの第２のモダリティのデータに基づいて蛍光特性が決定される。言い換えれば、上記ステップは、ＳＷＥデータを入力として受信し、それらを処理して体積単位の蛍光特性（例えば、光度および／または色）を決定する。結果として、ＳＷＥ走査によって検出された媒体内の区域（例えば、病変）は、特定の蛍光特性によってマークされてもよい。蛍光特性は、第２のモダリティのデータに適用される発光および／または吸収マッピングに従って決定されてもよい。
さらに、ステップＳ２Ｃにおいて、仮想光源は、媒体に対して事前定義された（幾何学的な）位置および／または姿勢で定義および配置されてもよい。上記光源は、ステップＳ３における光線追跡技術に従って媒体を示すレンダリングされたシーンを照らしてもよい。この目的のために、２Ｄビュー平面は、媒体に関して事前定義された（幾何学的）位置および／または姿勢で定義および配置されてもよい。
レンダリングステップＳ３では、ステップＳ２ａおよびＳ２ｂの体積単位の決定された光学特性および蛍光特性、ならびにステップＳ２Ｃで定義された照明特性およびビュー平面に基づいて、体積測定媒体のデータ表現がレンダリングされる。レンダリングステップは、図４ａおよび図４ｂの文脈でさらに説明するように、光線追跡技術を使用してもよい。
図３は、図１の方法の第２の例示的な実施形態を示す図である。図３の方法は、特に記載のない限り、図２の方法に対応する。
特に、図２の方法に加えて、ステップＳ１ｃ１およびＳ１ｃ２が追加されており、例えば生検針からの介入デバイス情報が取得される。上記介入デバイス情報は、媒体に配置された介入デバイス（例えば、その６Ｄ姿勢）の位置および／または向きを示してもよい。上記介入デバイス情報は、介入デバイスの形状の事前設定された情報をさらに含んでもよい。
例示的な介入デバイスは、針、特に生検針、マーカー、カテーテル、プロテーゼ、マイクロメカニカルシステム（ＭＥＭＳ）ＭＥＭＳ、ステント、弁、バイパス、ペースメーカー、または媒体に挿入され得るもしくは挿入された任意の他のデバイス、を含む。本開示による介入デバイスは、外科的介入に限定されず、外部デバイスが媒体（例えばマーカー）に挿入および／または埋め込まれる任意の介入に限定されることに留意されたい。したがって、介入デバイスは、任意の外部デバイスであってもよい。
例示的な一実施形態では、上記介入デバイス情報は、介入デバイス（例えば、本開示による第４のモダリティおよび／またはソースを表す）を追跡および／または撮像するためのシステムによって取得されてもよい。上記システムは、超音波撮像システム、例えば、ＳＷＥデータおよび／またはＢモードデータを取得するために使用されるシステムと同じであってもよい。あるいは、外部システムであってもよいし、後述するように、さらなる手段（例えば、センサ、トランスデューサまたはマーカー）を含んでもよい。
例えば、その先端から信号を発するように構成された針の形態の介入デバイスを使用してもよい。針先の信号を捕捉することにより、先端の位置を特定することができる。したがって、この先端点は、媒体を示すデータ表現のシーン内にレンダリングすることができる。このタイプの視覚化は、生検位置の貴重な情報を、リアルタイムで有利に医師へ提供できる。
ステップＳ１Ｃ１（図３ではモード「ニードルプラス」と呼ばれる）において、媒体内（または媒体に関して、媒体の外側にある場合）の介入デバイスの位置および／または向きは、介入デバイスの事前設定された情報の関数として適合された第１の走査波を使用して介入デバイスを走査することによって、検出または追跡することができる。介入デバイスの事前設定された情報は、例えば、事前設定された波反射および吸収特性を含んでもよい。したがって、走査波は、特に周囲媒体内のその位置および向きを含む介入デバイスをより確実に検出するように適合され得る。この場合、介入デバイスは受動デバイスと見なすことができる。
走査は、処理システムに関連付けられたプローブ、および任意選択でＢモード走査および／またはＳＷＥデータに使用される超音波システムによって行われてもよい。あるいは、プローブは、超音波以外を用いてもよい。
さらなる代替形態によれば、介入デバイスは、その位置および／または向きを検出できるように構成された手段を備えてもよい。この場合、介入デバイスは能動デバイスと見なすことができる。例えば、介入デバイスは、針／マーカー位置を測定および／もしくはシグナリングするためのセンサ、マーカーならびに／またはトランスデューサを備えてもよい。さらなる例では、介入デバイスを追跡および／または撮像するためのシステムは、電磁（ＥＭ）追跡装置を含んでもよい。ＥＭ追跡装置は、介入デバイスのＥＭマイクロセンサが追跡されるＥＭ場を生成することができる。
ステップＳ１Ｃ２において、介入デバイスによって占有されている媒体内の（３Ｄ）領域、すなわち介入デバイスが配置されている場所、が決定される。この目的のために、ステップＳ１Ｃ１で検出された介入デバイスの位置および／または向きが使用される。さらに、介入デバイスの（３Ｄ）形状に関する情報が使用される。介入デバイスの形状の情報は、介入デバイスの３Ｄ表面情報を含んでもよい。それはまた、介入デバイスの異なる視点からの画像のセット（例えば、２Ｄまたは３Ｄ）を含むことができる。
上記情報は、事前の走査ステップ（例えば、光学決定ステップおよび／または蛍光決定ステップの前に実行される）で（事前に）決定されてもよい。図３の例示的な実施形態に示すように、ステップＳ１ｂで取得されたＢモードデータを使用して形状を決定してもよい。しかし、他の走査方法で形状を決定してもよい。
あるいは、介入デバイスの形状は、データストレージ、例えば処理システムのローカルデータストレージ、または、遠隔データストレージ、例えばクラウドシステム、から取得されてもよい。１つの例示的な利用では、形状は、後でいつでも得ることができるように、一度事前設定され、その後に保存されてもよい。
しかしながら、介入デバイスは、場合によっては、介入中に、および／または介入自体の間に、進化し得ることに留意されたい。例えば、機械的な力によって介入中に変形、サイズ縮小、またはねじれる可能性がある。介入はまた、例えばマーカーである場合、放射線または組み込まれた流体（例えば放射性流体）を放射してもよい。したがって、システムは、事前記憶されたデータに基づいて、さらに介入中に得られる「ライブデータ」に基づいて、介入デバイスをレンダリングするように構成されることが望ましい。例えば、そのような「ライブデータ」は、上述したように、ステップＳ１ｂにおいて取得されたＢモードデータからなることができる。
さらに、データストレージは、異なる介入デバイスの介入デバイス情報を記憶してもよい。１つの介入デバイスの情報は、その形状だけでなく、そのさらなるパラメータ、例えば技術的特性（その材料、その空間寸法、その重量など）および／または製造業者情報（製品ＩＤ、メーカＩＤ等）を含んでもよい。
例えば、走査ステップで取得されたＢモードデータまたは任意の他の走査データを使用して、介入デバイスの製品ＩＤを決定してもよい。この製品ＩＤに基づいて、介入デバイスの（３Ｄ）形状に関する正しい情報をデータストレージから取得することができる。
結果として、介入デバイスの３Ｄモデルが取得され、媒体に対する幾何学的関係に設定される。
少なくとも１つの体積単位の蛍光決定ステップＳ２ｂでは、介入デバイス情報に基づいて、（介入デバイス固有の）蛍光特性を決定してもよい。この決定は、介入デバイスの位置および／または向きならびにその形状に従って、介入デバイスによって占有されているすべての体積単位を識別することによって行うことができる。特に、これらの体積単位はすべて、検出された介入デバイスについて決定された蛍光特性に従って着色されてもよい。
結果として、介入デバイスによって占有される媒体内の区域は、ステップＳ１ａのＳＷＥデータに使用されるものとは異なる特定の蛍光特性によってマークされ得る。さらに、介入デバイスは、媒体および介入デバイスを含むそれぞれの３Ｄモデルにおいて視覚化されてもよい。
さらなる例示的な実施形態によれば、レンダリングステップＳ２ｃにおいて、介入デバイス情報に基づいてデータ表現の少なくとも一部がレンダリングされてもよい。上記介入デバイス情報は、媒体内に配置された介入デバイスの位置および／または向きと、介入デバイスの形状の事前設定された情報とを示してもよい。したがって、体積単位の蛍光特性を決定し、その後にレンダリングする代わりに、最終的なデータ表現をレンダリングするために、介入デバイス情報を直接使用することも可能である。結果として、例えば介入デバイスが動くたびにシーン全体（すなわち、完全なデータ表現）をレンダリングする必要はなく、介入デバイスのみをレンダリングすることで、シーンのより効率的なリアルタイム更新が可能になる。
例えば、表面レンダリング（ＳＲ）方法を使用して介入デバイスがレンダリングされてもよい。この場合、蛍光特性を介入デバイスの表面に適用することができ、ＳＲレンダリングは、例えばステップＳ１ｂのＢモードデータと共に実行される。したがって、介入デバイスの明示的な表面情報を有するデータと、ｂモードデータからのセグメント化情報のないデータとを同時に扱うことが可能になる。
蛍光決定ステップおよび／またはレンダリングステップにおいて介入デバイス情報を使用する結果として、介入デバイス（例えば、生検針）および媒体（例えば、解剖学的構造）の両方を、視覚化することが可能になる。
さらに、介入デバイスが媒体内のどこに移動すると予測されるか（例えば、その移動方向および／または移動経路）を決定することが可能である。上記予測は、それぞれ訓練された（ＡＩベースの）アルゴリズムによって行われ得る。
例えば、介入デバイスは、媒体中の関心領域に移動されるバイオプシーガンおよび生検針を含んでもよい。
さらに、訓練されたＡＩベースのアルゴリズムは、ステップＳ１ｃ１および／またはＳ１ｃ２で得られたデータに基づいて、介入デバイスのタイプおよび／または形状を予測してもよい。上記予測に基づいて、介入デバイスの画像は、媒体内の介入デバイスの予測位置でレンダリングステップにおいてレンダリングされてもよい。画像は、処理システムのローカルデータストレージに記憶された、または例えばクラウドシステムに遠隔記憶された、介入デバイスの事前設定された画像データに基づいて生成されてもよい。
一実施形態では、レンダリングされたデータ表現は、介入中および／または患者の検査（任意選択的に介入を含む）後に、介入の異なる段階で、記憶および／または提示されてもよい。また、検査時に更新されてもよい。例えば、腫瘍または任意の他の病変などの任意の進化の検証を可能にするために、以前の検査および現在の検査のデータ表現を（視覚的におよび／またはパラメータの形態で）提示してもよい。これは、埋め込まれたデバイスの任意の潜在的な進化にも適用されてもよい。例えば、デバイスは、より長い期間、例えば少なくとも２回の検査を伴う期間にわたって、媒体に挿入される１つまたは複数のマーカーまたは任意の他の要素を含んでもよい。そのような場合、上記埋込デバイスの進化、例えば、視覚的提示もしくは数字の形式（例えば、２つ以上の検査間の移動距離）における、マーカーの移動および／または変形をモニタリングすることができる。
図４ａは、本開示による光線追跡法の概略図を示す。光線追跡レンダリング方法（例えば、図１～図３の文脈で説明した方法で使用される）は、以下のサブステップを有してもよい。
１．ステップ１ｂ（図１～図３を参照）のＢモードデータから、ステップ２ａにおいて、Ｂモード画像のすべての体積単位、例えばすべてのボクセルにおける減衰係数に、Ｂモードデータをマッピングすることによって、減衰マッピングが演算される。計算上効率的な代替案では、Ｂモードデータは、光線に沿った体積単位で（のみ）減衰係数にマッピングされ、これは次に後述する光線追跡法に使用される。言い換えれば、マッピングは「光線ごと」であってもよい。「関与する」とは、それぞれのモダリティおよび／またはソース（ここではＢモード）におけるデータが提供される体積単位を意味する。
２．ステップＳ２ｃの光源データから、光線追跡法をステップ３で適用して、光減衰、および任意選択で局所勾配に関して入射光線の指向性を考慮することによって、関与する各体積単位における入射光強度を導出する。
３．ステップ１ａのＳＷＥ体積の場合、ユーザは、ステップ２ｂで３×３の吸収マトリックスＭを定義することによって、蛍光色をカスタマイズしてもよい。この行列は、ＲＧＢ蛍光色成分のそれぞれについて、入射ＲＧＢ強度の関数として光子吸収率を符号化する。ＲＧＢは、可能なカラーコーディングの一例にすぎない。ＲＧＢの可能な代替案は、例えばＨＳＶ（色相、彩度、明度）である。
４．ＳＷＥ体積の場合、ユーザは、ステップ２ｂで３×３の蛍光発光マトリックスＥをカスタマイズしてもよい。Ｅの主対角線上には、ＲＧＢ成分ごとに発光率が設けられている。
５．次に、関与する各体積単位ｘにおける入射光強度、すなわち［ＩＲ（ｘ）ＩＧ（ｘ）ＩＢ（ｘ）］Ｔが、ＳＷＥ体積内で蛍光に変換される。
Figure 2024510479000002
 ここで、
ＦＲ（ｘ）は、体積単位ｘが放射する蛍光の赤色成分であり、
ＦＧ（ｘ）は、体積単位ｘが放射する蛍光の緑色成分であり、
ＦＢ（ｘ）は、体積単位ｘが放射する蛍光の青色成分であり、
Ｅは、蛍光発光率を記録する３×３発光マトリックスであり、
Ｍは、光吸収率を記録する３×３吸収マトリックスであり、
ＩＲ（ｘ）は、体積単位ｘにおける入射光の赤色成分であり、
Ｉ（ｘ）は、体積単位ｘにおける入射光の緑色成分であり、
ＩＢ（ｘ）は、体積単位ｘにおける入射光の青色成分である。
６．データ表現でレンダリングするために所与のピクセルを横切る視線Ｌに沿って、そのＲＧＢ強度成分［ＶＲＶＧＶＢ］Ｔは、ステップＳ３において、光線Ｌによって満たされるＢモード体積単位の内側に到達した入射光源からの光強度と、蛍光発光からの蛍光強度とを組み合わせることによって計算される。
７．これらの２つの強度部分は、ステップＳ３において、この光線に沿って減衰を加えることによって、視線Ｌに沿って従来の光線追跡法によって再び変調することができる。強度寄与の２つの部分の減衰係数は異なっていてもよく、カスタマイズ可能であってもよい。
図４ｂは、図４ａの光線追跡法によって得られた概略画像を示す。図４ｂは、レンダリングされたデータ表現の例示的なシナリオを示す。この例では、表現は２つの超音波モダリティ、例えば、正常組織を示すための３Ｄ Ｂモードからのモダリティ、および病理組織（すなわち、病変）をユーザ定義または事前定義された蛍光色で強調するための３Ｄ ＳＷＥモードからのモダリティ、に基づく。
合成ボールを含む体積（Ｂモード体積と見なされる）、および異なる組織弾性の小ボールを含む第２の体積（ＳＷＥ体積と見なされる）のレンダリングの例が示されている。
Ｂモード体積内のグレー値は、光減衰係数に比例すると考えることができる。したがって、仮想光源はボールの背後であって、むしろ右側に位置するように定義されているため、ボールの左側の領域は減衰の増加により暗く見える。上部小領域は、融合されたＳＷＥ情報、例えば、ユーザもしくはＡＩモジュールによって定義された、またはＳＷＥ走査を介して検出された、関心領域を表す。融合されたＳＷＥ情報を表す上記領域は、事前定義されたまたはユーザ定義の蛍光色を有してもよい。
特許請求の範囲を含む説明全体を通して、「を含む」という用語は、特に明記しない限り、「少なくとも１つを含む」と同義であると理解されるべきである。さらに、特許請求の範囲を含む明細書に記載された任意の範囲は、特に明記しない限り、その最終値を含むと理解されるべきである。記載された要素の特定の値は、当業者に知られている許容された製造公差または工業公差内にあると理解されるべきであり、「実質的に」および／または「およそ」および／または「一般的に」という用語の使用は、そのような許容公差内にあることを意味すると理解されるべきである。
本明細書における本開示は、特定の実施形態を参照して説明されているが、これらの実施形態は、本開示の原理および用途の単なる例示であることを理解されたい。
本明細書および実施例は、例示としてのみ考慮されることが意図されており、本開示の真の範囲は、以下の特許請求の範囲によって示される。

Claims (17)

  1. 媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法であって、
    前記媒体の複数の体積単位のうちの少なくとも１つについて、第１のモダリティおよび／またはソースの前記データに基づいて、光学特性が決定される光学決定ステップと、
    前記体積単位の少なくとも１つについて、第２のモダリティおよび／またはソースの前記データに基づいて、蛍光特性が決定される蛍光決定ステップと、
    前記媒体のデータ表現が、前記体積単位の前記決定された光学特性および蛍光特性に基づいてレンダリングされるレンダリングステップと、
    を含む方法。
  2. 体積測定の前記媒体の前記データ表現が、視覚的表現および／または２Ｄもしくは３Ｄ画像を含む、
    請求項１に記載の方法。
  3. 前記光学特性が、少なくとも体積単位の光吸収率を含み、ならびに／あるいは、
    前記光学特性が、前記少なくとも１つの体積単位の前記第１のモダリティおよび／またはソースの前記データに適用される、第１の媒体－光の相互作用マッピングに従って決定され、
    任意選択的に、前記第１の媒体－光の相互作用マッピングが、前記第１のモダリティおよび／またはソースの前記データの関数として反射率、指向性、および吸収率のうちの少なくとも１つを決定する、
    請求項１または２に記載の方法。
  4. 前記蛍光特性が、前記少なくとも１つの体積単位の前記第２のモダリティおよび／またはソースの前記データに適用される第１の発光および／または吸収マッピングに従って決定される、
    請求項１から３のいずれか一項に記載の方法。
  5. 前記光学決定ステップにおいて、第３のモダリティおよび／またはソースの前記データに基づいて、かつ第１の媒体－光の相互作用マッピングとは異なる第２の媒体－光の相互作用マッピングに従って、前記体積単位のうちの少なくとも１つについて、前記光学特性が決定され、ならびに／あるいは、
    前記蛍光決定ステップにおいて、第４のモダリティおよび／またはソースの前記データに基づいて、かつ第１の発光および／または吸収マッピングとは異なる第２の発光および／または吸収マッピングに従って、前記体積単位の少なくとも１つについて、蛍光特性が決定される、
    請求項１から４のいずれか一項に記載の方法。
  6. 前記蛍光決定ステップおよび前記光学決定ステップが、同時におよび／または並行して実行される、
    請求項１から５のいずれか一項に記載の方法。
  7. 前記決定された光学特性および蛍光特性がデータストレージに記憶され、前記レンダリングステップがその後、前記記憶された特性に基づいて１回または数回実行されるか、または
    前記レンダリングステップが、前記蛍光決定ステップおよび／または前記光学決定ステップと同時に行われる、
    請求項１から６のいずれか一項に記載の方法。
  8. 前記第１のモダリティおよび／またはソースの前記データが、Ｂモード超音波撮像からの反射率情報を含み、ならびに／あるいは、
    前記第２のモダリティおよび／またはソースの前記データが、せん断波エラストグラフィ超音波撮像からの組織弾性情報を含む、
    請求項１から７のいずれか一項に記載の方法。
  9. 前記第２のモダリティおよび／またはソースの前記データが、前記媒体に対して配置された介入デバイスの位置および／または向きを示す、介入デバイス情報、ならびに／あるいは、前記介入デバイスの形状の事前設定された情報を含み、
    少なくとも１つの体積単位の前記蛍光決定ステップにおいて、前記介入デバイスによって占有されている体積単位を識別することによる前記介入デバイス情報に基づいて、蛍光特性が決定される、
    請求項１から８のいずれか一項に記載の方法。
  10. 前記レンダリングステップにおいて、前記データ表現の少なくとも一部が、前記媒体内に配置された介入デバイスの位置および／または向きを示す介入デバイス情報と、前記介入デバイスの形状の事前設定された情報と、に基づいてレンダリングされる、請求項１から８のいずれか一項に記載の方法。
  11. 前記レンダリングステップが、前記データ表現が光線追跡体積レンダリング方法に従ってレンダリングされる光線追跡レンダリングステップを含む、
    請求項１から１０のいずれか一項に記載の方法。
  12. 前記光線追跡レンダリングステップが、
    前記媒体に対して事前定義された幾何学的関係で仮想光源を配置するサブステップと、
    被写界深度および／または開口形状を定義するサブステップと、
    前記媒体に対して事前定義された幾何学的関係で仮想ビュー平面を配置するサブステップであって、前記データ表現が前記仮想ビュー平面の関数としてレンダリングされる、サブステップと、
    のうちの少なくとも１つのサブステップを含む、請求項１１に記載の方法。
  13. 前記マルチモダリティおよび／またはマルチソースデータが、前記媒体の画像データおよび／または３Ｄデータを含み、ならびに／あるいは、体積単位が、少なくとも１つのボクセルを含む、
    請求項１から１２のいずれか一項に記載の方法。
  14. 前記光学決定ステップ、前記蛍光決定ステップ、および前記レンダリングステップのうちの少なくとも１つが、少なくとも１つの第１の人工知能ベースのアルゴリズムおよび／または機械学習アルゴリズムを実施または使用する、
    請求項１から１３のいずれか一項に記載の方法。
  15. 少なくとも１つの第２の人工知能ベースのアルゴリズムおよび／または予め訓練された機械学習アルゴリズムが、前記レンダリングされたデータ表現の関数として事前定義されたタスクを実行し、前記タスクが、任意選択的に、回帰タスク、分類タスク、およびセグメント化タスクのうちの少なくとも１つを含む、請求項１から１４のいずれか一項に記載の方法。
  16. データ処理システムによって実行された場合に、前記データ処理システムに、請求項１から１５のいずれか一項に記載の方法を実行させる、コンピュータ可読命令を含むコンピュータプログラム。
  17. 媒体のマルチモダリティおよび／またはマルチソースデータを処理するためのシステムであって、
    前記媒体の複数の体積単位のうちの少なくとも１つについて、第１のモダリティおよび／またはソースの前記データに基づいて、光学特性を決定し、
    前記体積単位のうちの少なくとも１つについて、第２のモダリティおよび／またはソースの前記データに基づいて、蛍光特性を決定し、
    前記体積単位の前記決定された光学特性および蛍光特性に基づいて、前記媒体のデータ表現をレンダリングする
    ように構成された、処理ユニットを含む、
    システム。
JP2023556951A 2021-03-19 2022-03-15 媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステム Pending JP2024510479A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21315044.4 2021-03-19
EP21315044.4A EP4060383A1 (en) 2021-03-19 2021-03-19 Method and system for processing multi-modality and/or multi-source data of a medium
PCT/EP2022/056742 WO2022194888A1 (en) 2021-03-19 2022-03-15 Method and system for processing multi-modality and/or multi-source data of a medium

Publications (1)

Publication Number Publication Date
JP2024510479A true JP2024510479A (ja) 2024-03-07

Family

ID=75659971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023556951A Pending JP2024510479A (ja) 2021-03-19 2022-03-15 媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステム

Country Status (7)

Country Link
US (1) US20240054756A1 (ja)
EP (1) EP4060383A1 (ja)
JP (1) JP2024510479A (ja)
KR (1) KR20230159696A (ja)
CN (1) CN117015721A (ja)
AU (1) AU2022239788A1 (ja)
WO (1) WO2022194888A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071571B (zh) * 2023-03-03 2023-07-14 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) 一种鲁棒快速的车用单线激光雷达点云聚类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10390796B2 (en) * 2013-12-04 2019-08-27 Siemens Medical Solutions Usa, Inc. Motion correction in three-dimensional elasticity ultrasound imaging

Also Published As

Publication number Publication date
EP4060383A1 (en) 2022-09-21
WO2022194888A1 (en) 2022-09-22
CN117015721A (zh) 2023-11-07
US20240054756A1 (en) 2024-02-15
KR20230159696A (ko) 2023-11-21
AU2022239788A1 (en) 2023-09-07

Similar Documents

Publication Publication Date Title
US8363048B2 (en) Methods and apparatus for visualizing data
CN103356155B (zh) 虚拟内窥镜辅助的腔体病灶检查系统
US9596444B2 (en) Image processing system, apparatus, and method
JP2007537770A (ja) 内視鏡画像内の管腔状構造のディスプレイ最適化のための動的なクロップボックス決定方法
EP3776572B1 (en) Systems and methods for generating enhanced diagnostic images from 3d medical image data
EP3404621B1 (en) Internal lighting for endoscopic organ visualization
CN217907826U (zh) 医学分析系统
US10970875B2 (en) Examination support device, examination support method, and examination support program
US9445082B2 (en) System, apparatus, and method for image processing
US20140330121A1 (en) Ultrasonic imaging apparatus and control method thereof
JP2024510479A (ja) 媒体のマルチモダリティおよび／またはマルチソースデータを処理するための方法およびシステム
US20190096118A1 (en) Imaging system and method
CN108876783B (zh) 图像融合方法及系统、医疗设备和图像融合终端
KR100466409B1 (ko) 가상 내시경 시스템, 가상 내시경 디스플레이 방법과 그 방법을 컴퓨터 상에서 수행하는 프로그램을 저장한 컴퓨터가 판독 가능한 기록 매체
US20230276016A1 (en) Real time augmentation
US11003946B2 (en) Examination support device, examination support method, and examination support program
Decker et al. Performance evaluation and clinical applications of 3D plenoptic cameras
CN106296707A (zh) 医学图像处理方法及装置
US11094104B2 (en) Information processing device, information processing method and non-transitory computer readable medium
KR102321642B1 (ko) 입력 장치 및 이를 포함하는 의료 영상 장치
US11995773B2 (en) Computer implemented method and system for navigation and display of 3D image data
JP2023004884A (ja) 拡張現実のグラフィック表現を表示するための表現装置
Nurizzaty Khairi Three-dimensional visualization of brain tumor computed tomography images/Nurizzaty Khairi Mohamed
Mohamed Three-Dimensional Visualization of Brain Tumor Computed Tomography Images
JP2018157872A (ja) 超音波画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231129