JP7138631B2 - 撮像システムのための収集パラメータを選択すること - Google Patents

撮像システムのための収集パラメータを選択すること Download PDF

Info

Publication number
JP7138631B2
JP7138631B2 JP2019523737A JP2019523737A JP7138631B2 JP 7138631 B2 JP7138631 B2 JP 7138631B2 JP 2019523737 A JP2019523737 A JP 2019523737A JP 2019523737 A JP2019523737 A JP 2019523737A JP 7138631 B2 JP7138631 B2 JP 7138631B2
Authority
JP
Japan
Prior art keywords
patient
imaging
camera
data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019523737A
Other languages
English (en)
Other versions
JP2020500579A (ja
Inventor
アクセル サールバチ
ジュリアン セネガス
アレクサンドラ グロス
サシャ アンドレアス ジョッケル
マーティン ベルトルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020500579A publication Critical patent/JP2020500579A/ja
Application granted granted Critical
Publication of JP7138631B2 publication Critical patent/JP7138631B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0064Body surface scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/06Diaphragms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/40Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4035Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with arrangements for generating radiation specially adapted for radiation diagnosis the source being combined with a filter or grating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/542Control of apparatus or devices for radiation diagnosis involving control of exposure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/542Control of apparatus or devices for radiation diagnosis involving control of exposure
    • A61B6/544Control of apparatus or devices for radiation diagnosis involving control of exposure dependent on patient size
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/545Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像システムのための収集パラメータを選択するためのシステム及び方法に関する。本発明は、さらに、上記システムを備えるワークステーション及び撮像システムと、プロセッサシステムに上記方法を実施させるための命令を備えるコンピュータ可読媒体とに関する。
医療撮像における共通の課題は、技術者又は他のユーザによる適切な収集パラメータの選択である。そのような収集パラメータは、撮像システムの撮像設定を少なくとも部分的に定義し得、一般に患者固有である。たとえば、技術者が、X線撮像システムにおけるコリメーションを、一方では、たとえば撮り直しの必要を回避することによって、収集された画像の診断価値を保証するために対象物の解剖学的構造が十分にカバーされることを保証するように設定し、他方では、たとえば電離放射線への不要な曝露を回避することによって、患者の安全を保証するために過剰コリメーションを最小限に抑えることを保証するように設定することはしばしば困難である。
その選択が患者固有であるX線撮像システムの他の収集パラメータは、限定はしないが、X線管の(しばしばkV単位で測定される)管電圧及び(mA単位の)管電流を指定するパラメータを含む。一般に、技術者は、収集パラメータの選択において、医療ガイドラインによって手引きされる。しかしながら、実際には、収集パラメータの良好な選択は、オペレータの専門知識及び経験に少なくとも部分的に依存し、試行錯誤を伴う。不利なことには、そのような試行錯誤は、たとえば、X線撮像における、放射線曝露の増加だけでなく、より長い検査時間、不十分な画像品質などにつながることがある。
上記のことは、限定はしないが、必要な変更を加えて、磁気共鳴撮像及び超音波を含む、他の撮像モダリティにも適用されることに留意されたい。
WO2016001135は、X線撮像システムを設定するステップを有する方法について説明する。この方法は、1つ又は複数の深度カメラから1つ又は複数の深度画像を取得するステップを有し、前記1つ又は複数の深度カメラは、少なくとも、前記X線撮像システムのX線源のX線束によってカバーされるエリアをカバーすると言われている。膝のX線画像を撮影することに関する例では、たとえば深度画像の処理のための市場で入手可能である画像認識ソフトウェアを使用して、深度画像から、膝が識別され、膝の位置が深度画像中に特定されると言われている。システムは、さらに、深度画像に対する膝の所望の位置を検索する。実際の位置と所望の位置との差が、X線撮像システムの設定のための補正を決定すると言われている。深度カメラとX線源の位置との幾何学的関係が知られているので、たとえば、較正に基づいて、又は適応フィルタ処理などの機械学習技法に基づいて、補正は、X線システムの実際の位置設定に変換される。
したがって、WO2016001135は、深度画像中の物体を検出しながら、別個にそれについて、深度カメラとX線源の一部の位置との幾何学的関係を取得する。その両方が、深度画像中の物体の所望の位置を取得するようにX線システムの位置を設定するために組み合わせられる。
不利なことには、すべての関連するランドマークが、深度画像において確実に検出され得るとは限らない。さらに、位置設定の決定のために、検出されたランドマークのみを使用するので、深度画像における他の潜在的に有用な情報が使用されない。
たとえば、ランドマーク検出のみに頼らないことによって、上記の課題のうちの1つ又は複数に対処する撮像システムのための収集パラメータを選択するためのシステム及び方法を得ることが有益である。
本発明の第1の態様は、撮像システムのための収集パラメータを選択するためのシステムを提供し、収集パラメータは、患者との撮像手順中の撮像システムの撮像設定を少なくとも部分的に定義し、システムは、
- カメラシステムからのセンサーデータに基づいて生成される深度関連マップにアクセスするように設定されたカメラデータインターフェースであって、カメラシステムが、撮像システムの視野の少なくとも一部を含む視野を有し、センサーデータは、患者との撮像手順の前に取得され、患者の外形の部分が有するカメラシステムに対する距離を示す、カメラデータインターフェースと、
- 命令のセットを表す命令データを備えるメモリと、
- カメラデータインターフェース及びメモリと通信することと、命令のセットを実行することとを行うように設定されたプロセッサであって、命令のセットが、プロセッサによって実行されたとき、プロセッサに、収集パラメータを識別するために機械学習アルゴリズムを深度関連マップに適用させ、
- 機械学習アルゴリズムが、メモリに記憶されプロセッサによってアクセスされる、アルゴリズムデータによって表され、
- 機械学習アルゴリズムが、i)例示的な深度関連マップと、ii)予測値としての例示的な収集パラメータとのセットを含むトレーニングデータを使用してトレーニングされ、例示的な収集パラメータが、前の患者との前の撮像手順における人間オペレータによる選択を表し、例示的な深度関連マップが、前の撮像手順中に同じ又は同様のタイプのカメラシステムによって取得されたセンサーデータに基づいて生成される、
プロセッサと、
- 撮像システムによって使用されるべき収集パラメータを出力するように設定された出力インターフェースと
を備える。
本発明のさらなる態様は、上記システムを備えるワークステーション又は撮像システムを提供する。
本発明のさらなる態様は、撮像システムのための収集パラメータを選択するためのコンピュータ実施方法を提供し、収集パラメータは、患者との撮像手順中の撮像システムの撮像設定を少なくとも部分的に定義し、コンピュータ実施方法は、
- カメラシステムからのセンサーデータに基づいて生成される深度関連マップにアクセスするステップであって、カメラシステムが、撮像システムの視野の少なくとも一部を含む視野を有し、センサーデータは、患者との撮像手順の前に取得され、患者の外形の異なる部分がカメラシステムに対して有する距離を示す、アクセスするステップと、
- 収集パラメータを識別するために機械学習アルゴリズムを深度関連マップに適用するステップであって、
- 機械学習アルゴリズムが、メモリに記憶されプロセッサによってアクセスされる、アルゴリズムデータによって表され、
- 機械学習アルゴリズムが、i)例示的な深度関連マップと、ii)予測値としての例示的な収集とのセットを含むトレーニングデータを使用してトレーニングされ、例示的な収集パラメータが、前の患者との前の撮像手順において使用するための人間オペレータによる選択を表し、例示的な深度関連マップが、前の撮像手順中に前のカメラシステムによって取得されたセンサーデータに基づいて生成される、
適用するステップと、
- 撮像システムによって使用されるべき収集パラメータを出力するステップと
を有する。
本発明のさらなる態様は、プロセッサシステムに上記方法を実施させるように構成された命令を表す一時的又は非一時的データを備えるコンピュータ可読媒体を提供する。
上記の方策は、たとえば深度又は視差画像の形態で、撮像手順の前に患者の外形の深度関連マップを取得することを伴う。したがって、深度関連マップは、患者の外形の物理的属性に関する情報を提供し得る。深度関連マップは、患者が、たとえば撮像システムの視野内に横たわることによって又は立つことによって、撮像手順のために配置されるとき、収集され得る。深度関連マップは、必ずしも患者の外形全体を含む必要があるとは限らず、深度関連マップは、外形の一部のみに関してもよい。測定される深度は局所的に変化し得る。1つの単純な例は、患者の首が、一般に、顔に対して引っ込んでおり、したがって、カメラからより遠くに離れていることである。同様に、肥満の患者の場合、ウエストが突き出ており、したがって、カメラにより近くなることがある。上記の方策は、さらに、機械学習アルゴリズムを深度関連マップに適用するための命令のセットによって設定されたプロセッサを提供し、機械学習アルゴリズムは、あらかじめ、前の患者の例示的な深度関連マップと前の患者のための人間によって選択されたパラメータとに関してトレーニングされている。「前の」という単語は「過去」を示すことが意図され、したがって、「直前の」に限定されないことに留意されたい。
発明者は、深度画像及び他の深度関連マップが、収集パラメータを決定する際に有益である患者の外形に関する様々な情報を提供し得ることを認識した。そのような情報は、深度関連マップがランドマークを検出するためにのみ使用されるときには使用されない。たとえば、様々な患者属性が深度画像において視認可能であり得、又は少なくとも表示が得られ得、これには、限定はしないが、患者の身体の質量(体重)、身体タイプ、性別、健康状態レベルが含まれる。これらの患者属性は、撮像手順において使用されるべき収集パラメータに影響を及ぼし得る。しかしながら、ヒューリスティックを設計することは、関係が複雑で特に非線形であり得るので、極めて困難である。
前の患者及び手動で選択されたパラメータに関してトレーニングされた、深度関連マップのための機械学習を使用することによって、深度関連マップの利用可能な情報のすべて又は少なくともより多くの情報が考慮に入れられる。機械学習アルゴリズムをトレーニングすることによって、システムは、深度と収集パラメータとの関係を自動的にモデル化することが可能になる。したがって、(たとえばランドマークが視認可能でない場合、常に使用され得るとは限らない)ランドマーク検出のみに頼る必要がない。事実上、決定されたランドマークは、人工的な中間表現と見なされ、この表現は、検出された物体に座標を割り当てることと、さらにこれらの座標を単に使用することとを伴う。提案されるシステムは、機械学習を深度関連マップのすべてに適用するように設定され、これは、この人工的な中間表現を必要としない、より「ホリスティックな」手法になる。
オプションで、システムは、患者の非画像患者データにアクセスするように設定された患者データインターフェースを備え、トレーニングデータは、トレーニングデータの所与のセットについて、患者の非画像患者データと同じ又は同様のタイプのものである例示的な非画像患者データをさらに含み、命令のセットは、プロセッサによって実行されたとき、プロセッサに、機械学習アルゴリズムへの追加の入力として非画像患者データを使用させる。非画像データは、深度関連データを補足する情報を含み得る。たとえば、肺のサイズは、患者の体重、年齢及び性別に相関されることが知られており、COPDのようないくつかの病気による影響を受ける。そのような非画像データをさらに考慮に入れることによって、システムは、患者と、撮像手順において使用されるべき収集パラメータとの関係をより良くモデル化することが可能になる。
オプションで、患者データインターフェースは、患者の電子健康記録からの非画像患者データにアクセスするように設定される。
オプションで、患者の非画像患者データは、
- 患者の体重と、
- 患者の年齢と、
- 患者の性別と、
- 患者の健康状態レベルの定量化と、
- 患者に関連する病気診断と、
- 患者に関連する投薬記録と、
- 患者に関連するバイタル(vital)パラメータ記録と
のうちの少なくとも1つを含む。
オプションで、トレーニングデータは、トレーニングデータの所与のセットについて、前の撮像手順中のカメラシステムと撮像システムとの間の前の相対ジオメトリを示す例示的なジオメトリデータをさらに含み、命令のセットは、プロセッサによって実行されたとき、プロセッサに、機械学習アルゴリズムへの追加の入力として、撮像手順におけるカメラシステムと撮像システムとの間の現在の相対ジオメトリを使用させる。したがって、機械学習アルゴリズムは、トレーニング並びにその後の使用中に、カメラシステムと撮像システムとの間の異なる相対ジオメトリを区別する。ここで、「相対ジオメトリ」という用語は、カメラシステムの視野と撮像システムの視野との幾何学的関係を指す。相対ジオメトリの差は、たとえば、カメラシステムの(たとえば、撮像システムへの又は独立した)取付けの差、或いはカメラシステム及び/又は撮像システム自体の視野の差により存在し得る。このようにして、特定の相対ジオメトリのコンテキスト内で取得されたトレーニングデータは、カメラシステム及び撮像システムが、異なる相対ジオメトリを有する撮像手順中に、使用されることが防がれ得る。代替的に、カメラシステム及び撮像システムは、機械学習アルゴリズムのトレーニング及びその後の使用中に、同じ又は同様の相対ジオメトリを有することが保証され得ることに留意されたい。
オプションで、トレーニングデータの所与のセットの例示的な深度関連マップは、カメラシステムと撮像システムとの間の前の相対ジオメトリに基づいて生成され、命令のセットは、プロセッサによって実行されたとき、プロセッサに、
- 撮像手順におけるカメラシステムと撮像システムとの間の、前の相対ジオメトリと現在の相対ジオメトリとの間の偏差を決定することと、
- 偏差が存在するか又はしきい値を超える場合、機械学習アルゴリズムを適用することの前に偏差を補償するために深度関連マップを処理することと
を行わせる。
説明される様式で深度関連マップを処理することによって、標準化された入力データが、機械学習アルゴリズムに与えられる。たとえば、偏差により、カメラシステムの視野の変化が生じる。視野のそのような差を補償するために、透視画像補正の分野からの画像処理技法が使用され得る。様々な他の技法も知られており、有利に使用され得る。この点において、深度関連マップが画像と見なされ、したがって、そのような画像処理技法によって処理され得ることに留意されたい。
オプションで、カメラデータインターフェースは、カメラシステムによって収集された画像データにアクセスするようにさらに設定され、画像データは患者の外形を示し、
- トレーニングデータは、トレーニングデータの所与のセットについて、前の撮像手順中の前の患者の外形を示す、前のカメラシステムによって収集された例示的な画像データをさらに含み、
- 命令のセットは、プロセッサによって実行されたとき、プロセッサに、機械学習アルゴリズムへの追加の入力として画像データを使用させる。
深度関連マップに加えて、患者の外形の画像も入力として使用される。画像は、たとえば、可視光のためのRGBセンサーを有するカメラによって取得されたような、「通常の」可視光画像である。画像によって与えられる視野は、深度関連マップによって与えられる視野と同じであるか又は少なくとも部分的に一致し得る。そのような画像データをさらに考慮に入れることによって、システムは、患者と、撮像手順において使用されるべき収集パラメータとの関係をより良くモデル化することが可能になる。
オプションで、システムはカメラシステムを備え、カメラシステムは、飛行時間カメラと、光検出及び測距(LiDAR:light detection and ranging)カメラと、レーザー検出及び測距(LaDAR:laser detection and ranging)カメラと、ステレオカメラ、又はステレオカメラとして構成された2つのカメラと、知られているパターンを患者の外形へ投影し、それにより変形したパターンを生じるように設定されたプロジェクタ、及び変形したパターンを記録するように設定されたカメラとのうちの少なくとも1つを備える。
オプションで、撮像システムは磁気共鳴撮像システムであり、収集パラメータは、
- 磁気共鳴撮像システムの磁気アイソセンターに移動されるべき領域のための基準点など、磁気共鳴撮像システムに対する患者の配置を指定するパラメータと、
- 収集されるべき撮像スライスの中心、向き、及び/又はサイズなど、ジオメトリ収集パラメータと、
- プリセットされたプロトコルのための選択パラメータと、
- SENSEファクタと、
- SENSE方向と
のうちの1つである。
ここで、「SENSE」という用語は感度符号化を指し、これは、Klaas P.Pruessmannらによる論文「SENSE:Sensitivity Encoding for Fast MRI」、Magnetic Resonance in Medicine42:952~962ページ(1999)に記載されている。SENSEファクタはアンダーサンプリングファクタである。SENSE方向は感度符号化の方向である。
オプションで、撮像システムはX線撮像システムであり、収集パラメータは、
- 管電圧、
- 管電流、
- グリッド、
- コリメーションウィンドウ、
- コリメータの検出器の高さ、管の傾き、回転など、コリメータのジオメトリパラメータ
のうちの1つである。
オプションで、撮像システムはコンピュータ断層撮影撮像システムであり、収集パラメータは、
- 電源レベル、
- 管電流、
- 線量変調、
- ローカライザーのためのテーブルの開始及び終了位置など、スキャンプランニングパラメータ、
- 使用されるべきフィルタタイプなど、再構築パラメータ
のうちの1つである。
オプションで、機械学習アルゴリズムは畳み込みニューラルネットワークである。代替的に、機械学習アルゴリズムは、たとえば、限定はしないが、SURF、SIFT、Brief、Brisk、又は固有画像(Eigenimage)のような技法など、特徴検出の分野において知られている特徴検出器及び/又は特徴記述子と組み合わせられた、サポートベクターマシン、決定ツリー、最近傍技法、又はアンサンブル法を含み得る。
本発明の上述の実施形態、実装形態、及び/又はオプションの態様のうちの2つ又はそれ以上は、有用であると考えられる任意のやり方で組み合わせられ得ることが、当業者によって了解されよう。
システムの説明される修正及び変形に対応する、ワークステーション、撮像システム、コンピュータ実施方法及び/又はコンピュータプログラム製品の修正及び変形は、本明細書に基づいて当業者によって実行され得る。
システム及びコンピュータ実施方法は、多次元画像データ、たとえば、限定はしないが、標準のX線撮像、コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)、超音波(US)、陽電子放射断層撮影(PET)、単光子放射コンピュータ断層撮影(SPECT)、及び核医学(NM)など、様々な収集モダリティによって収集された2次元(2D)、3次元(3D)又は4次元(4D)画像に適用され得ることを、当業者は了解されよう。
本発明のこれら及び他の態様は、以下の説明において例として及び添付の図面を参照しながら説明される実施形態から明らかになり、さらにそれらを参照して解明されよう。
撮像システムのための1つ又は複数の収集パラメータを選択するために設定されるシステムを概略的に示す図である。 異なる患者から取得された深度マップを示す図である。 異なる患者から取得された深度マップを示す図である。 本発明の一実施形態による、機械学習アルゴリズムにおいて使用される畳み込みニューラルネットワークを概略的に示す図である。 撮像システムのための1つ又は複数の収集パラメータを選択するために設定されるシステムの別の実施形態を示す図である。 一実施形態による、撮像システムのための収集パラメータを選択するための方法のフローチャートである。 プロセッサシステムに上記方法を実施させるための命令を備えるコンピュータ可読媒体を示す図である。
図は、単に概略であり、一定の縮尺で描かれていないことに留意されたい。図において、すでに説明された要素に対応する要素は同じ参照番号を有する。例、実施形態又はオプションの特徴は、非限定的なものとして示されるか否かにかかわらず、請求される本発明を限定するものとして理解されるべきではない。
参照番号の以下のリストは、図面の解釈を容易にするために提供されており、特許請求の範囲を限定するものとして解釈されるべきではない。
10 患者
11 支持体
12 部屋
15 撮像システム
16 撮像システムの視野
18 カメラシステム
19 カメラシステムの視野
58 第1のカメラ
59 第2のカメラ
60 患者情報インターフェース
62 患者情報データベース
100 収集パラメータを選択するためのシステム
102 第1の患者の深度マップ
103 第2の患者の深度マップ
120 カメラデータインターフェース
122 カメラ又は深度データ
140 メモリ
142 内部データ通信
160 プロセッサ
162 収集パラメータを表す出力
170 出力インターフェース
200 畳み込みニューラルネットワーク
201 第1の層
202 第2の層
203 第3の層
204 第4の層
205 第5の層
206 第6の層
207 出力ニューロン
400 撮像システムのための収集パラメータを選択するための方法
410 深度関連マップにアクセスする
420 機械学習アルゴリズムを適用する
430 収集パラメータを出力する
500 コンピュータ可読媒体
510 命令を表す非一時的データ
図1は、撮像システムのための収集パラメータを選択するために設定されるシステム100を概略的に示し、収集パラメータは、患者との撮像手順中の撮像システムの撮像設定を少なくとも部分的に定義する。図1は、部屋12において支持体11上に横たわっている患者10を概略的に示す。X線撮像システム15が、支持体11の上方に構成され、X線撮像システム15は、活性化エリア16とも呼ばれる視野16を有する。カメラシステム18が、患者10の画像を作ることが可能であるように支持体11の上方に構成される。
X線撮像システム15は、患者の上方に配置される必要がないことに留意されたい。たとえば、近接制御される透視システムでは、X線管が支持体の下方に配置され、イメージャ/レセプタが患者の上方に配置される。他の実施形態では、X線撮像システム15は、患者の前方に又は後方に構成される。
カメラ18は、X線撮像システム15の視野16と少なくとも部分的に重複する視野19を有する。図1の例では、カメラシステム18は、X線撮像システム15から離れている。代替的に、カメラシステム18は、X線撮像システム15に、たとえば、X線撮像システムのCアームに固定される。
システム100は、カメラシステム18から取得されたセンサーデータに基づいて深度関連マップにアクセスするように設定されたカメラデータインターフェース120を備える。センサーデータは、患者10との撮像手順の前に取得され、カメラシステム18に対して患者の外形の部分が有する距離を示す。カメラシステム18は、深度関連マップをシステム100に直接与える。代替的に、カメラシステム18はセンサーデータをシステム100に与え、センサーデータは、深度関連マップを示すが、それを直接表さない。そのようなセンサーデータの非限定的な例は、ステレオ画像の画像データである。この同様の事例では、深度関連マップは、たとえば、深度及び/又は視差推定の分野からの知られている技法を使用して、センサーデータから推定される。深度関連マップは、システム100自体によって、たとえば、(図1に示されていない)深度推定プロセッサによって、カメラデータインターフェース120自体によって、又は外部エンティティによって推定される。さらに説明されるように、深度関連マップは、深度マップだけでなく、視差マップ又は他のタイプの深度関連マップでもよい。
一実施形態では、カメラシステム18はシステム100とは別個である。ただし、システム100はまた、カメラシステム18を備えることがある。
概して、カメラシステム18は、飛行時間カメラと、ステレオカメラと、ステレオカメラとして構成された2つのカメラと、知られているパターンを患者の外形へ投影し、それにより変形したパターンを生じるように設定されたプロジェクタ、及び変形したパターンを記録するように設定されたカメラとのうちの少なくとも1つを備える。
カメラデータインターフェース120は、ローカルエリアネットワークへのネットワークインターフェースだけでなく、ビデオインターフェース、たとえば、HDMI(登録商標)など、様々な形態をとる。
システム100は、データ通信122を介してカメラデータインターフェース120と内部で通信するように設定されたプロセッサ160、並びにデータ通信142を介してプロセッサ160によってアクセス可能なメモリ140をさらに備える。
メモリ140は、システム100の動作中にカメラデータインターフェース120及びメモリ140と通信することと、収集パラメータを識別するために機械学習アルゴリズムを深度関連マップに適用することとを行うようにプロセッサ160を設定する命令のセットを表す命令データを備える。
機械学習アルゴリズムは、メモリ140に記憶されプロセッサ160によってアクセスされる、アルゴリズムデータによって表される。さらに、機械学習アルゴリズムは、i)例示的な深度関連マップと、ii)予測値としての例示的な収集パラメータとのセットを含むトレーニングデータを使用してトレーニングフェーズ中にトレーニングされ、例示的な収集パラメータは、前の患者との前の撮像手順における人間オペレータによる選択を表し、例示的な深度関連マップは、前の撮像手順中に同じ又は同様のタイプのカメラシステム18によって取得されたセンサーデータに基づいて生成される。
図1は、システム100が出力インターフェース170を備えることをさらに示す。図1の例では、出力インターフェース170は、収集パラメータ162を表す出力を外部に送るように設定される。たとえば、出力インターフェース170は、撮像手順において使用するための撮像システムに、たとえば、撮像システムの一部であり、X線撮像システム15を制御するワークステーションに、出力162を与えるように設定される。代替的に、システム100は、X線撮像システム15などの撮像システムの一部であり、この場合、出力インターフェース170は、内部出力インターフェースである。
システム100は、サーバ、ワークステーション、撮像システム又はモバイルデバイスなど、デバイス又は装置として、或いはそれらにおいて具現される。デバイス又は装置は、適切なソフトウェアを実行する1つ又は複数のマイクロプロセッサ又はコンピュータプロセッサを備える。システムのプロセッサは、これらのプロセッサのうちの1つ又は複数によって具現される。ソフトウェアは、ダウンロードされ、及び/或いは対応するメモリ、たとえば、RAMなどの揮発性メモリ、又はフラッシュなどの不揮発性メモリに記憶されている。ソフトウェアは、システムのプロセッサに関して説明される機能を実施するように1つ又は複数のプロセッサを設定する命令を備える。代替的に、システムの機能ユニット、たとえば、カメラデータインターフェース、オプションの患者データインターフェース及びプロセッサは、プログラマブル論理の形態のデバイス又は装置において、たとえば、フィールドプログラマブルゲートアレイ(FPGA)として実施される。カメラデータインターフェース及び患者データインターフェースは、デバイス又は装置のそれぞれのインターフェースによって実施される。概して、システムの各機能ユニットは回路の形態で実施される。システム100は、たとえば、異なるデバイス又は装置を伴う、分散的な様式でも実施されることに留意されたい。たとえば、分散は、たとえば、サーバ及び薄型クライアントPACSワークステーションを使用する、クライアントサーバモデルによるものである。
参照により本明細書に組み込まれる国際公開WO2014033614A1は、イメージャのX線ビームをコリメートするようにX線イメージャのコリメータを自動的に又は半自動的に制御し、物体に関してX線イメージャのアライメントを調整するための、装置における空間深度情報の使用について説明する。コリメーション及びアライメント動作は、画像化されるべき物体の3D画像データに基づく。3D画像データはセンサーによって収集される。3D画像データは物体の3Dの形状を表し、関心領域についてのコリメーションウィンドウを定義するために、解剖学的ランドマークが3D画像データから導出される。したがって、WO2014033614A1では、適切な収集パラメータがコリメーションウィンドウであることを見出すためにランドマークが必要とされる。本出願に記載されているような経験的な様式で(1つ又は複数の)収集パラメータを決定することを可能にするための機械学習アルゴリズムは使用されない。しかしながら、3D画像データの収集は、深度関連マップの収集の可能な実施形態を表すものとして参照により組み込まれる。
図2及び図3は、(本明細書全体にわたって「深度マップ」とも呼ばれる)異なる患者からの深度画像を示す。図2は「通常の」患者の深度画像102を示すが、図3は肥満の患者の深度画像103を示す。図2及び図3では、深度はグレースケールによって示され、黒がカメラまでのより大きい距離を示し、白がカメラにより近い。図3からわかるように、深度画像103において腹部がより明るいことによってわかるように、肥満の患者の腹部が突き出ている。そのような患者属性、たとえば、患者の物理的状態又は健康状態は、深度画像においてランドマークを探すだけであるときには考慮に入れられないが、以下でより詳細に説明されるように本発明によるシステムによって使用される。
図4は、収集パラメータを予測するために使用される畳み込みニューラルネットワーク(CNN)200を概略的に示す。(人工ニューロンの全結合層のシーケンスからなる)通常のニューラルネットワークとは異なり、CNNは、局所結合された異なる層のセットと全結合された層のセットとからなる。図4の実施形態では、層の第1のセットは、畳み込み層201と、プーリング層202と、さらなる畳み込み層203と、さらなるプーリング層204とを含む。畳み込み層201、203は、(層内で空間的に制約され、共有される)学習可能なフィルタのセットからなり、プーリング層202、204は、非線形ダウンサンプリングを実施する(及び自由パラメータの量を低減する)。さらなるプーリング層204は、第1の全結合層205に結合され、第1の全結合層205は、第2の全結合層206に結合される。出力ニューロン207が第2の全結合層206に全結合される。予測値とも呼ばれる出力ニューロンの値は、撮像システムのための収集パラメータについて示すものである。
図4のCNNアーキテクチャについて考えると、たとえば、畳み込み層及びプーリング層並びに全結合層を使用して、第1の部分(層201~204)は、基本的に画像特徴抽出ステップを実施すると見なされ、後者(層205、206、207)は、基本的に分類又は回帰タスクを実施すると見なされる。
さらなる患者関連情報を含めるために、非画像データが第1の全結合層に直接挿入される。層205を参照されたい。CNN200における層の数及び層のタイプは、学習アルゴリズムに応じて変化することに留意されたい。図4では、CNN200の最後の層が全結合されることが示されていることに留意されたい。ただし、層205、206は、代替的に、使用される特定の機械学習アルゴリズムに応じて部分的に結合されることに留意されたい。
2つ以上の出力ニューロンがあることに留意されたい。たとえば、CNN200は、一度に2つ以上の収集パラメータを予測するようにトレーニングされる。また、収集パラメータは、たとえば、カテゴリーパラメータとして、ネットワークにおいてコーディングされ、その場合、収集パラメータについての1つの値をコーディングするために、いくつかの出力ニューロンが必要とされる。たとえば、収集パラメータの値は、符号化された2進数である。
従来のCNNは、主に、(たとえば、画像中の異なる位置においてCNNを評価することによって)画像分類のために又は物体検出のために採用されてきたが、CNN200は、J.Redmonらによる論文「You Only Look Once:Unified,Real-Time Object Detection」、2015、いわゆるYOLOに記載されているのと同様の回帰アルゴリズムとして使用される。YOLOは、RGB画像中の関心物体についてのバウンディングボックス及びクラス確率(たとえば、x、y、幅、高さ、確率)を予測するように設計されたものである。
一実施形態では、そのような回帰アルゴリズムは、撮像システムのための(1つ又は複数の)収集パラメータを予測するために使用される。1つの適用例は、たとえば、現在の患者のためのコリメーションウィンドウ設定の予測であり得る。これは、たとえば、コリメーションウィンドウのx、y、幅及び高さの設定につながる。概して、YOLO文献に記載されている基本技法は、「任意の」収集パラメータの請求された予測を提供するために拡張され、並びに非画像データの入力と組み合わせられる。
図4の例では、トレーニングサンプルがCNN200に供給され、そのサンプルは、(オプションの)非画像データと一緒に深度関連マップを含む。非画像データは、患者の体長、患者の年齢、患者の体重、又はCNNをトレーニングするために場合によっては有用な任意の他の非画像データを含み、これは、図5を参照しながら本明細書でさらに説明される。図4からわかるように、非画像データは、ネットワークにおける後の(たとえば、全結合)層のための入力として使用される。
一実施形態では、深度関連マップはRGB-Dカメラによって生成される。図4のCNN200、又は同様の機械学習アルゴリズムを使用することによって、図1のシステム100は、ランドマークを越える情報RGB-D画像を導出するように設定される。たとえば、RGB-D画像は、患者の腹部の高さの差に関する情報を提供し、これは、患者の全般的な健康状態を示し、したがって、コリメーション設定、露光時間設定、管電圧設定、焦点スポットサイズ設定、及びX線感応エリアの選択などに関連する。
さらなる実施形態では、RGB-D画像、又は概して深度関連マップは、対応するアノテーション付きX線画像と一緒に学習アルゴリズムのためのトレーニングデータとして使用される。アノテーション付きX線画像を使用することによって、システム100は、たとえば患者の肺など、関心の解剖学的構造のサイズ及び位置を予測するようにトレーニングされる。異なるシナリオが可能である。たとえば、RGB-D画像中の肺の位置を予測することができる(これは、カメラシステムとX線デバイスとの間の相対ジオメトリを考慮してシステム設定にマッピングされ得る)。代替的に、検出器座標系における肺の位置、たとえば、カメラシステム18又は撮像システム15に対する位置を予測することができる。患者の肺の位置が予測されると、X線撮像システムのための適切なコリメーション設定が決定されて、したがって、肺の、又は概して関心の解剖学的構造の、最適な撮像を可能にすることができる。
カメラシステム18は、画像又はビデオ、たとえば、ビデオ画像のストリームを提供することに留意されたい。ビデオは、連続ビデオストリーム又はインターバルビデオストリームである。機械学習アルゴリズムは、ビデオの個々のフレームを入力として使用する。代替的に、複数のフレームが、アルゴリズムへの入力として一緒に使用される。
さらなる実施形態では、カメラシステムは、たとえば、図5に示されているように、2つのカメラを備え、ここで、図1の部屋12は、第1のカメラ58と第2のカメラ59とを備える。図5は、さらに、患者データインターフェース60及び外部患者情報データベース62を除いて図1に似ており、これはさらに説明されるだろう。
第1のカメラ58及び第2のカメラ59は、ステレオコンテンツを提供するように構成されたステレオカメラである。この場合、深度情報は、ステレオコンテンツの左画像信号と右画像信号との差によって提供される。深度関連マップは、「深度推定」として知られる、知られている技法を使用して、そのようなステレオコンテンツから推定される。
代替的に、第1のカメラ58は飛行時間(ToF:time-of-flight)カメラであり、第2のカメラ59は「通常の」可視光カメラである。ToFカメラ58によって生成される深度情報は、プロセッサ160によって受信されるコンテンツにおいて明示的に提供される。たとえば、いわゆる「画像+深度」フォーマットで符号化されたコンテンツにおいて、深度情報は、深度値を含む深度信号によって提供され、深度値は、カメラ又は閲覧者に対して2D画像信号内の物体が有する距離を示す。深度はToFカメラ58から取得され、画像は通常のカメラ59から取得される。
さらなる実施形態では、カメラシステムは、知られているパターンを患者の外形へ投影し、それにより変形したパターンを生じるように設定されたプロジェクタ58と、変形したパターンを記録するように設定されたカメラ59とを備える。変形したパターンは、深度関連マップを作成するために、プロセッサ160又は他のエンティティによって使用される。
また別の例では、カメラシステムは、光検出及び測距(LiDAR)カメラ並びに/又はレーザー検出及び測距(LaDAR)カメラを備える。
深度関連マップは、深度関連値の画像のような構成であることに留意されたい。したがって、「深度関連マップ」という用語は、深度関連画像への参照として理解され、その逆も同様である。深度関連マップは深度値を含む。代替的に、深度関連マップは、視差値又は視差シフト値を含んでもよい。視差値及び視差シフト値は、深度値とほぼ逆の関係を有するが、したがって、依然として、「深度」、たとえば、カメラに対して物体が有する距離を表すが、閲覧者又はディスプレイに対しては当該距離に直接対応しない。深度値の上記のすべてのタイプ間の変換のための方法は、それ自体知られている。
図5に示されているシステム100は、上述の患者情報データベース62から患者データを受信するように構成されたオプションの患者データインターフェース60をさらに備える。患者情報データベース62は、機械学習アルゴリズムをトレーニングするためにプロセッサ160によって使用される、数人の他の患者の非画像患者データを含む。そのような非画像患者データの例は患者の電子健康記録である。データベース62は、トレーニングフェーズ中に予測値として使用される関連する収集パラメータの値をも含む。代替的に、そのような収集パラメータは、異なるデータベース(図示せず)から取り出される。
説明されるシステムは、ランドマークベース手法と比較して、いくつかの利点を有することが了解されよう。このシステムは、異なる検査並びにモダリティに適用可能であるスキャンパラメータの予測のための包括的なフレームワークを提供する。さらに、このシステムは、「内部」解剖学的構造の予測のためのランドマーク検出又は別個の統計モデルの必要なしに、必要とされる出力の予測を直接可能にする、エンドツーエンド手法を提供する。また、このシステムは、RGB-D及び医療画像データを組み込むことによって、容易に最適化され得る。説明されるシステムは、より高い精度を潜在的に可能にする(ランドマークだけでなく)画像情報全体を活用する(このシステムは、予想される肺サイズに関係する、患者が小さいのか大きいのか、肥満であるのか筋骨型であるのかを「見る」)。このシステムは、予測プロセスを容易にする、患者の年齢又は性別のような、非画像情報を容易に組み込む。最終的に、たとえば、現場でシステムを再トレーニングするために、臨床サイトにおけるオンライン学習を可能にする。
図6は、一実施形態による、撮像システムのための収集パラメータを選択するための方法400を示す。方法400は、必要ではないが、図1などを参照しながら説明されるようなシステム100の動作に対応する。
方法400は、「深度関連マップにアクセスする」と題する動作において、カメラシステムからのセンサーデータに基づいて生成される深度関連マップにアクセスするステップ410であって、カメラシステムが、撮像システムの視野の少なくとも一部を含む視野を有し、センサーデータは、患者との撮像手順の前に取得され、患者の外形の異なる部分がカメラシステムに対して有する距離を示す、アクセスするステップ410を有する。方法400は、「機械学習アルゴリズムを適用する」と題する動作において、収集パラメータを識別するために機械学習アルゴリズムを深度関連マップに適用するステップ420をさらに有する。機械学習アルゴリズムは、メモリに記憶されプロセッサによってアクセスされる、アルゴリズムデータによって表され、機械学習アルゴリズムは、i)例示的な深度関連マップと、ii)予測値としての例示的な収集とのセットを含むトレーニングデータを使用してトレーニングされ、例示的な収集パラメータは、以前の患者との以前の撮像手順において使用するための人間オペレータによる選択を表し、例示的な深度関連マップは、以前の撮像手順中に以前のカメラシステムによって取得されたセンサーデータに基づいて生成される。方法400は、「収集パラメータを出力する」と題する動作において、撮像システムによって使用されるべき収集パラメータを出力するステップ430をさらに有する。
上記の動作は、適用可能な場合には、たとえば、入出力関係によって必要とされている特定の順序に制約されて、任意の好適な順序で、たとえば、連続的に、同時に、又はそれらの組合せで実施されることが了解されよう。
方法400は、コンピュータ実施方法として、専用ハードウェアとして、又はその両方の組合せとして、コンピュータ上で実施される。また、図7に示されているように、コンピュータのための命令、たとえば、実行可能コードは、たとえば、一連の機械可読物理的マーク510の形態で、及び/或いは異なる電気的、たとえば磁気、又は光学的特性又は値を有する一連の要素としてコンピュータ可読媒体500に記憶される。実行可能コードは、一時的又は非一時的様式で記憶される。コンピュータ可読媒体の例は、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトなどを含む。図7は、命令を表す非一時的データ510を記憶する光ディスク500を示す。
本発明は、本発明を実現するために適応されるコンピュータプログラム、特にキャリア上の又はその中のコンピュータプログラムにも適用されることが了解されよう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース及び部分的にコンパイルされた形態などのオブジェクトコードの形態、又は本発明による方法の実施形態において使用するのに好適な任意の他の形態である。また、そのようなプログラムは多くの異なるアーキテクチャ設計を有することが了解されよう。たとえば、本発明による方法又はシステムの機能を実施するプログラムコードは、1つ又は複数のサブルーチンに再分割される。これらのサブルーチンの間で機能を分散させる多くの異なるやり方は、当業者には明らかであろう。サブルーチンは、独立型プログラムを形成するために、1つの実行ファイルに一緒に記憶される。そのような実行ファイルは、コンピュータ実行可能命令、たとえばプロセッサ命令及び/又はインタープリタ命令(たとえばJava(登録商標)インタープリタ命令)を含む。代替的に、サブルーチンのうちの1つ又は複数又はすべては、少なくとも1つの外部ライブラリファイルに記憶され、たとえばランタイムにおいて、静的に又は動的にのいずれかでメインプログラムにリンクされる。メインプログラムは、サブルーチンのうちの少なくとも1つへの少なくとも1つの呼出しを含んでいる。また、サブルーチンは、互いに対する関数呼出しを含む。コンピュータプログラム製品に関する実施形態は、本明細書に記載された方法のうちの少なくとも1つの各処理段階に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割され、及び/或いは静的に又は動的にリンクされる1つ又は複数のファイルに記憶される。コンピュータプログラム製品に関する別の実施形態は、本明細書に記載されたシステム及び/又は製品のうちの少なくとも1つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令は、サブルーチンに再分割され、及び/或いは静的に又は動的にリンクされる1つ又は複数のファイルに記憶される。
コンピュータプログラムのキャリアは、プログラムを搬送することが可能な任意のエンティティ又はデバイスである。たとえば、キャリアは、ROM、たとえばCD ROM又は半導体ROM、或いは磁気記録媒体、たとえばハードディスクなど、データストレージを含む。さらに、キャリアは、電気ケーブル又は光ケーブルを介して或いは無線機又は他の手段によって伝達される、電気信号又は光信号など、送信可能なキャリアである。プログラムがそのような信号中で具現化されるとき、キャリアはそのようなケーブル或いは他のデバイス又は手段によって構成されてもよい。代替的に、キャリアは、プログラムが埋め込まれる集積回路であり、集積回路は、関連する方法を実施するために適応されるか、又はそれの実施において使用される。
上述の実施形態は本発明を限定するのではなく説明するものであること、及び、当業者であれば添付の特許請求の範囲から逸脱することなく、多くの代替実施形態を設計することが可能となることに留意されたい。特許請求の範囲では、丸括弧の中に置かれたいかなる参照符号も、特許請求の範囲を限定するものとして解釈されるべきではない。「備える、含む、有する(comprise)」という動詞及びその活用形の使用は、特許請求の範囲で述べられた要素又は段階以外の要素又は段階の存在を除外するものではない。要素に先行する冠詞「a」又は「an」は、そのような要素が複数存在することを除外するものではない。本発明は、いくつかの別個の要素を備えるハードウェアによって、また、適切にプログラムされたコンピュータによって実施される。いくつかの手段を列挙するデバイス請求項では、これらの手段のうちのいくつかが、ハードウェアの1つの同じアイテムによって具現化されてもよい。いくつかの方策が、相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利には使用され得ないことを示しているわけではない。

Claims (14)

  1. 患者を撮像手順中の撮像システムの撮像設定を少なくとも部分的に定義する、撮像システムのための収集パラメータを選択するためのシステムであって、前記システムは、
    カメラシステムからのセンサーデータに基づいて生成される深度関連マップにアクセスするカメラデータインターフェースであって、前記カメラシステムは、前記撮像システムの視野の少なくとも一部を含む視野を有し、前記センサーデータは、前記患者との前記撮像手順の前に取得されて、前記カメラシステムに対して前記患者の外形の部分が有する距離を示す、カメラデータインターフェースと、
    命令のセットを表す命令データを備えるメモリと、
    前記カメラデータインターフェース及び前記メモリと通信し、前記命令のセットを実行するプロセッサと、
    前記撮像システムによって使用されるべき前記収集パラメータを出力する出力インターフェースとを備え、
    前記命令のセットは、前記プロセッサによって実行されたとき、前記プロセッサに、前記収集パラメータを識別するために機械学習アルゴリズムを前記深度関連マップに適用させ、
    前記機械学習アルゴリズムは、前記メモリに記憶され前記プロセッサによってアクセスされる、アルゴリズムデータによって表され、
    前記機械学習アルゴリズムは、i)例示的な深度関連マップと、ii)予測値としての例示的な収集パラメータとのセットを含むトレーニングデータを使用してトレーニングされ、前記例示的な収集パラメータは、前の患者との前の撮像手順における人間オペレータによる選択を表し、前記例示的な深度関連マップが、前記前の撮像手順中の同じ又は同様のタイプのカメラシステムによって取得されたセンサーデータに基づいて生成される、
    システムにおいて、
    前記トレーニングデータの所与のセットの前記例示的な深度関連マップは、前記カメラシステムと前記撮像システムとの間の前の相対ジオメトリに基づいて生成され、
    前記命令のセットは、前記プロセッサによって実行されたとき、前記プロセッサに、
    前記撮像手順における前記カメラシステムと前記撮像システムとの間の、前記前の相対ジオメトリと現在の相対ジオメトリとの間の偏差を決定することと、
    前記偏差が存在し、しきい値を超える場合、前記機械学習アルゴリズムを前記適用することの前に前記偏差を補償するように前記深度関連マップを処理することと
    を行わせる、システム
  2. 前記患者の非画像患者データにアクセスする患者データインターフェースをさらに備え、
    前記トレーニングデータは、前記トレーニングデータの所与のセットについて、前記患者の前記非画像患者データと同じ又は同様のタイプのものである例示的な非画像患者データをさらに含み、
    前記命令のセットは、前記プロセッサによって実行されたとき、前記プロセッサに、前記機械学習アルゴリズムへの追加の入力として前記非画像患者データを使用させる、
    請求項1に記載のシステム。
  3. 前記患者データインターフェースは、前記患者の電子健康記録からの前記非画像患者データにアクセスする、請求項2に記載のシステム。
  4. 前記患者の前記非画像患者データは、
    前記患者の体重と、
    前記患者の年齢と、
    前記患者の性別と、
    前記患者の健康状態レベルの定量化と、
    前記患者に関連する病気診断と、
    前記患者に関連する投薬記録と、
    前記患者に関連するバイタルパラメータ記録と
    のうちの少なくとも1つを含む、請求項2又は3に記載のシステム。
  5. 前記トレーニングデータは、前記トレーニングデータの所与のセットについて、前記前の撮像手順中の前記カメラシステムと前記撮像システムとの間の前の相対ジオメトリを示す例示的なジオメトリデータをさらに含み、
    前記命令のセットは、前記プロセッサによって実行されたとき、前記プロセッサに、前記機械学習アルゴリズムへの追加の入力として、前記撮像手順における前記カメラシステムと前記撮像システムとの間の現在の相対ジオメトリを使用させる、
    請求項1乃至4のいずれか一項に記載のシステム。
  6. 前記カメラデータインターフェースは、前記カメラシステムによって収集された前記患者の外形を示す画像データにアクセスし、
    前記トレーニングデータは、前記トレーニングデータの所与のセットについて、前記前の撮像手順中の前記前の患者の外形を示す、前のカメラシステムによって収集された例示的な画像データをさらに含み、
    前記命令のセットは、前記プロセッサによって実行されたとき、前記プロセッサに、前記機械学習アルゴリズムへの追加の入力として前記画像データを使用させる、
    請求項1乃至のいずれか一項に記載のシステム。
  7. 前記システムは前記カメラシステムを備え、前記カメラシステムは、
    飛行時間カメラと、
    光検出及び測距カメラと、
    レーザー検出及び測距カメラと、
    ステレオカメラ、又はステレオカメラとして構成された2つのカメラと、
    知られているパターンを前記患者の外形へ投影し、それにより変形したパターンを生じるプロジェクタ、及び前記変形したパターンを記録するカメラとのうちの少なくとも1つを備える、
    請求項1乃至のいずれか一項に記載のシステム。
  8. 前記撮像システムは磁気共鳴撮像システムであり、前記収集パラメータは、
    前記磁気共鳴撮像システムに対する前記患者の配置を指定するパラメータと、
    ジオメトリ収集パラメータと、
    プリセットされたプロトコルのための選択パラメータと、
    SENSEファクタと、
    SENSE方向と
    のうちの1つである、
    請求項1乃至のいずれか一項に記載のシステム。
  9. 前記撮像システムはX線撮像システムであり、前記収集パラメータは、
    管電圧と、
    管電流と、
    グリッドと、
    コリメーションウィンドウと、
    コリメータのジオメトリパラメータと
    のうちの1つである、請求項1乃至のいずれか一項に記載のシステム。
  10. 前記撮像システムはコンピュータ断層撮影撮像システムであり、前記収集パラメータは、
    電源レベルと、
    管電流と、
    線量調節と、
    スキャンプランニングパラメータと、
    再構築パラメータと
    のうちの1つである、
    請求項1乃至のいずれか一項に記載のシステム。
  11. 前記機械学習アルゴリズムは畳み込みニューラルネットワークである、請求項1乃至10のいずれか一項に記載のシステム。
  12. 請求項1乃至11のいずれか一項に記載のシステムを含む、ワークステーション又は撮像システム。
  13. 患者を撮像手順中の撮像システムの撮像設定を少なくとも部分的に定義する、前記撮像システムのための収集パラメータを選択するためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
    カメラシステムからのセンサーデータに基づいて生成される深度関連マップにアクセスするステップであって、前記カメラシステムは、前記撮像システムの視野の少なくとも一部を含む視野を有し、前記センサーデータは、前記患者との前記撮像手順の前に取得され、前記患者の外形の異なる部分が前記カメラシステムに対して有する距離を示す、アクセスするステップと、
    前記収集パラメータを識別するために機械学習アルゴリズムを前記深度関連マップに適用するステップであって、
    前記機械学習アルゴリズムが、メモリに記憶されプロセッサによってアクセスされる、アルゴリズムデータによって表され、
    前記機械学習アルゴリズムが、i)例示的な深度関連マップと、ii)予測値としての例示的な収集パラメータとのセットを含むトレーニングデータを使用してトレーニングされ、前記例示的な収集パラメータは、前の患者との前の撮像手順において使用するための人間オペレータによる選択を表し、前記例示的な深度関連マップは、前記前の撮像手順中に前のカメラシステムによって取得されたセンサーデータに基づいて生成される、
    適用するステップと、
    前記撮像システムによって使用されるべき収集パラメータを出力するステップと
    を有する、コンピュータ実施方法において、
    前記トレーニングデータの所与のセットの前記例示的な深度関連マップは、前記カメラシステムと前記撮像システムとの間の前の相対ジオメトリに基づいて生成され、
    前記方法は、さらに、
    前記撮像手順における前記カメラシステムと前記撮像システムとの間の、前記前の相対ジオメトリと現在の相対ジオメトリとの間の偏差を決定するステップと、
    前記偏差が存在し、しきい値を超える場合、前記機械学習アルゴリズムを前記適用することの前に前記偏差を補償するように前記深度関連マップを処理するステップと
    を有する、方法
  14. プロセッサシステムに請求項13に記載の方法を実施させる命令を表す、一時的又は非一時的データを備える、コンピュータ可読媒体。
JP2019523737A 2016-11-10 2017-11-07 撮像システムのための収集パラメータを選択すること Active JP7138631B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16198086.7 2016-11-10
EP16198086 2016-11-10
PCT/EP2017/078461 WO2018087083A1 (en) 2016-11-10 2017-11-07 Selecting acquisition parameter for imaging system

Publications (2)

Publication Number Publication Date
JP2020500579A JP2020500579A (ja) 2020-01-16
JP7138631B2 true JP7138631B2 (ja) 2022-09-16

Family

ID=57321131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019523737A Active JP7138631B2 (ja) 2016-11-10 2017-11-07 撮像システムのための収集パラメータを選択すること

Country Status (5)

Country Link
US (1) US20200058389A1 (ja)
EP (1) EP3537976B1 (ja)
JP (1) JP7138631B2 (ja)
CN (1) CN109937012B (ja)
WO (1) WO2018087083A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11478212B2 (en) * 2017-02-16 2022-10-25 Siemens Healthcare Gmbh Method for controlling scanner by estimating patient internal anatomical structures from surface data using body-surface and organ-surface latent variables
WO2018227449A1 (en) * 2017-06-15 2018-12-20 Shanghai United Imaging Healthcare Co., Ltd. Imaging systems and methods thereof
WO2019153245A1 (en) * 2018-02-09 2019-08-15 Baidu.Com Times Technology (Beijing) Co., Ltd. Systems and methods for deep localization and segmentation with 3d semantic map
EP3545846B1 (en) * 2018-03-26 2021-03-10 Siemens Healthcare GmbH Adjusting a collimator of an x-ray source
US10888296B2 (en) * 2018-06-29 2021-01-12 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for modulating radiation dose
US11068668B2 (en) * 2018-10-25 2021-07-20 Facebook Technologies, Llc Natural language translation in augmented reality(AR)
US10751021B2 (en) * 2018-12-20 2020-08-25 General Electric Company System and method for acquiring an x-ray image
KR102056989B1 (ko) * 2018-12-24 2020-02-11 (주)제이엘케이인스펙션 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템
JP7104644B2 (ja) 2019-02-14 2022-07-21 富士フイルム株式会社 放射線撮影システム及びプログラム
JP7224208B2 (ja) * 2019-03-05 2023-02-17 キヤノンメディカルシステムズ株式会社 医用処理装置、および医用診断システム
JP7293814B2 (ja) * 2019-04-01 2023-06-20 株式会社リコー 生体情報計測装置、生体情報計測方法およびプログラム
JP7350519B2 (ja) * 2019-05-29 2023-09-26 キヤノン株式会社 放射線撮影システム、放射線撮影制御装置及びその制御方法、並びに、プログラム
EP3757940A1 (de) * 2019-06-26 2020-12-30 Siemens Healthcare GmbH Ermittlung einer patientenbewegung während einer medizinischen bildgebungsmessung
EP3760125A1 (en) * 2019-07-05 2021-01-06 Koninklijke Philips N.V. Self-learning distributed system with automated ground-truth generation
US11430564B2 (en) 2019-11-27 2022-08-30 Shanghai United Imaging Intelligence Co., Ltd. Personalized patient positioning, verification and treatment
EP4099914A4 (en) * 2020-02-06 2024-02-28 Vicarious Surgical Inc SYSTEM AND METHOD FOR DETERMINING IN VIVO DEPTH PERCEPTION IN A SURGICAL ROBOTIC SYSTEM
US20230309939A1 (en) * 2022-04-04 2023-10-05 GE Precision Healthcare LLC System and Method for Training Sensor-Guided X-Ray Mammography System
CN117670758A (zh) * 2022-08-09 2024-03-08 上海西门子医疗器械有限公司 确定曝光参数的方法、装置、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005021661A (ja) 2003-06-10 2005-01-27 Hitachi Medical Corp X線断層撮影装置
JP2006204329A (ja) 2005-01-25 2006-08-10 Hitachi Medical Corp X線断層撮影装置
US20140221824A1 (en) 2011-07-23 2014-08-07 Broncus Medical Inc. System and method for automatically determining calibration parameters of a fluoroscope
JP2015526231A (ja) 2012-08-27 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ 光学3dシーン検出及び解釈に基づく患者個別型及び自動x線システム調節

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131428A (ja) * 1994-11-08 1996-05-28 Hitachi Ltd ディジタルx線撮影装置
DE102007021769B4 (de) * 2007-05-09 2015-06-25 Siemens Aktiengesellschaft Angiographiegerät und zugehöriges Aufnahmeverfahren mit einem Mechansimus zur Kollisionsvermeidung
US8494608B2 (en) * 2008-04-18 2013-07-23 Medtronic, Inc. Method and apparatus for mapping a structure
DE102011002928A1 (de) * 2011-01-20 2012-07-26 Siemens Aktiengesellschaft Verfahren zur rechnergestützten Konfiguration einer medizinischen Bildgebungsvorrichtung
US9320444B2 (en) * 2013-03-15 2016-04-26 Stryker Corporation Patient support apparatus with patient information sensors
US9152761B2 (en) * 2014-01-10 2015-10-06 Heartflow, Inc. Systems and methods for identifying medical image acquisition parameters
US10441240B2 (en) 2014-06-30 2019-10-15 Agfa Nv Method and system for configuring an X-ray imaging system
WO2016073841A1 (en) * 2014-11-06 2016-05-12 Siemens Medical Solutions Usa, Inc. Scan data retrieval with depth sensor data
JP2018514748A (ja) * 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンThe University of Akron 光学撮像システムおよびその方法
CN109069100B (zh) * 2016-11-09 2022-10-21 深圳市理邦精密仪器股份有限公司 超声成像系统及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005021661A (ja) 2003-06-10 2005-01-27 Hitachi Medical Corp X線断層撮影装置
JP2006204329A (ja) 2005-01-25 2006-08-10 Hitachi Medical Corp X線断層撮影装置
US20140221824A1 (en) 2011-07-23 2014-08-07 Broncus Medical Inc. System and method for automatically determining calibration parameters of a fluoroscope
JP2015526231A (ja) 2012-08-27 2015-09-10 コーニンクレッカ フィリップス エヌ ヴェ 光学3dシーン検出及び解釈に基づく患者個別型及び自動x線システム調節

Also Published As

Publication number Publication date
WO2018087083A1 (en) 2018-05-17
RU2019118036A3 (ja) 2021-03-03
EP3537976B1 (en) 2020-05-20
EP3537976A1 (en) 2019-09-18
JP2020500579A (ja) 2020-01-16
CN109937012A (zh) 2019-06-25
RU2019118036A (ru) 2020-12-10
US20200058389A1 (en) 2020-02-20
CN109937012B (zh) 2023-02-17

Similar Documents

Publication Publication Date Title
JP7138631B2 (ja) 撮像システムのための収集パラメータを選択すること
CN111724904B (zh) 用于针对医学扫描的患者建模的多任务渐进式网络
JP7120584B2 (ja) 被検体の位置決め装置、被検体の位置決め方法、被検体の位置決めプログラムおよび放射線治療システム
US10182771B2 (en) Method and system for dose-optimized computed tomography scanning of a target organ
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
US9684961B2 (en) Scan region determining apparatus
CN104346821B (zh) 用于医学成像的自动规划
US11410374B2 (en) Synthetic parameterized computed tomography from surface data in medical imaging
US20150112197A1 (en) Elasticity imaging-based methods for improved gating efficiency an dynamic margin adjustment in radiation therapy
US20220061781A1 (en) Systems and methods for positioning
US11327773B2 (en) Anatomy-aware adaptation of graphical user interface
JP2019511268A (ja) 脳深部刺激療法の電極の三次元画像における回転配向の決定
US11672496B2 (en) Imaging systems and methods
CN109419521A (zh) 用于对受检者成像的系统和方法
KR101885562B1 (ko) 제1 의료 영상의 관심 영역을 제2 의료 영상 위에 맵핑하는 방법 및 이를 이용한 장치
KR102067412B1 (ko) 치매 평가 방법 및 이를 이용한 장치
EP2584970A2 (en) Mechanism for advanced structure generation and editing
CN109077746B (zh) 一种确定辐射剂量调制线的方法、系统和装置
US20220277835A1 (en) Self-learning distributed system with automated ground-truth generation
US11423554B2 (en) Registering a two-dimensional image with a three-dimensional image
US11734849B2 (en) Estimating patient biographic data parameters
RU2780966C2 (ru) Выбор параметра получения изображений для системы формирования изображений
US20230410308A1 (en) Detection of foreign objects in intraoperative images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220906

R150 Certificate of patent or registration of utility model

Ref document number: 7138631

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150