JP2023540128A - 目標物体のタイプ及び位置の決定 - Google Patents

Abstract

一実施形態において、方法１００が記載されている。該方法はコンピュータ実施方法である。該方法は、放射線撮像装置カウチを含む領域の撮像データ、並びに被検者による該放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品の指定された数、タイプ及び位置の指示情報を受信するステップ１０２を有する。該方法は、更に、領域内の少なくとも１つの目標物体のタイプ及び位置を、上記撮像データを処理するためのインスタンス分割モデルを用いて決定するステップ１０４を有する。該少なくとも１つの目標物体のタイプを決定するステップは、該少なくとも１つの目標物体が上記指示情報により指定されたカウチ付属品のタイプであるか否かを判定するステップを含む。該方法は、更に、上記指示情報により指定されたカウチ付属品のタイプであると判定された少なくとも１つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するステップ１０６を有する。該方法は、更に、少なくとも１つの目標物体の決定された位置が、カウチ付属品の示された指定された位置に対応しないとの判定に応答して、該カウチ付属品が誤って配置されていることを示すステップ１０８を有する。

Description

本発明は、目標物体のタイプ及び位置を決定するための方法、マシン可読媒体及び装置に関する。

コンピュータ断層撮影（ＣＴ）スキャナ等の放射線撮像装置のための「寝台（カウチ）」と称される患者支持体に関連して、様々な付属品（アクセサリ）が使用され得る。これらの付属品は、ヘッドレスト（枕）、フットエクステンション、ニーサポート（膝支持具）、介入制御ボックス等を含み得る。異なる種類の放射線画像装置及び放射線撮像プロトコルは、対応する付属品を使用し得る。例えば、種々のタイプの脳スキャンは、臨床シナリオに適した異なるヘッドレストを使用する必要がある。同様に、膝支持具を設けることは、撮像中に腰椎が正しい角度になることを保証できる。一般的に、カウチ付属品の適切な使用は、患者の撮像を支援し得る。例えば、カウチ付属品の適切な使用は、良好な画質に貢献し得、及び／又は放射線（例えば、Ｘ線）線量の低減につながり得る。更に、カウチ付属品の適切な使用は、異なる放射線科医の操作の一貫性を改善し得る。

本明細書に記載の態様又は実施形態は、患者の画像化の結果を改善することに関するものである。本明細書に記載の態様又は実施形態は、放射線撮像装置用のカウチと併せて使用される付属品の不適切な又は一貫性のない使用に関連する１以上の問題を防止できるものである。

第１の態様においては、方法が記載される。該方法は、コンピュータ実施方法である。該方法は、放射線撮像装置カウチを含む領域の撮像データを受信するステップを有する。該方法は、被験者による放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品（アクセサリ）の指定された数、タイプ及び位置の指示情報（表示）を受信するステップを更に有する。該方法は、前記領域における少なくとも１つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割（セグメンテーション）モデルを用いて決定するステップを更に有する。少なくとも１つの目標物体のタイプの決定は、該少なくとも１つの目標物体が前記指示情報により指定されたカウチ付属品のタイプであるか否かの判定を含む。該方法は、前記指示情報により指定されたカウチ付属品のタイプであると判定された少なくとも１つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するステップを更に有する。少なくとも１つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しないとの判定に応答して、該方法は、該カウチ付属品が誤って配置されていることを示すステップを更に有する。

幾つかの実施形態において、少なくとも１つのカウチ付属品の指定された位置は、該少なくとも１つのカウチ付属品が被験者を支持するために適切に配置されるべき該被験者の必要性に基づくものである。

幾つかの実施形態において、受信された撮像データは領域の深さ（奥行き）情報を含む。例えば、このような撮像データは距離（レンジ）センサにより供給することができ、その例は、ステレオ若しくは３Ｄカメラ又は無線周波数レーダーであり得る。

幾つかの実施形態において、前記決定するステップは領域内に複数の目標物体が存在することを決定するステップを含み、この決定に応答して、当該方法は前記複数の目標物体の各々に対応するカウチ付属品のタイプを決定するステップを含む。同一のタイプの複数の目標物体が存在するとの決定に応答して、当該方法は、同一のタイプの複数の目標物体から、インスタンス分割モデルによる最高の予測確率を持つ１つの目標物体を選択するステップを更に有する。

幾つかの実施形態において、当該方法は、異なるタイプの隣接する目標物体の間の距離を決定するステップを更に有する。該距離が閾値未満であると判定することに応答して、当該方法は、隣接する目標物体から、インスタンス分割モデルによる異なるタイプの最高の予測確率を持つの１つの目標物体を選択するステップを更に有する。

幾つかの実施形態において、当該方法は、撮像データからの連続するフレームを比較して、目標物体の位置が領域において連続するフレームの間で変化したか、及び／又は目標物体の数及び／又はタイプが領域において連続するフレームの間で変化したかを判断するステップを更に有する。

幾つかの実施形態においては、目標物体が連続するフレームの両方に存在すると判定することに応答して、当該方法は、連続するフレームのうちの最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有する。予測確率が予測閾値を超えていると判定することに応答して、当該方法は、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有するか、又は予測確率が予測閾値を超えていないと判定することに応答して、当該方法は連続するフレームにおける目標物体の間の距離を決定するステップを有する。連続するフレームにおける目標物体の間の距離が距離閾値未満であると判定することに応答して、当該方法は目標物体が最新のフレームに存在するとの指示情報を供給するステップを有するか、又は連続するフレームにおける目標物体の間の距離が距離閾値未満ではないと判定することに応答して、当該方法は、目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有する。

幾つかの実施形態においては、目標物体が連続するフレームの最新のフレームには存在するが、連続するフレームの最も早いフレームには存在しないと判定することに応答して、当該方法は、最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有する。予測確率が予測閾値を超えていると判定することに応答して、当該方法は目標物体が最新のフレームに存在するとの指示情報を供給するステップを有するか、又は予測確率が予測閾値を超えていないと判定することに応答して、当該方法は目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有する。

幾つかの実施形態においては、目標物体が連続するフレームの最も早いフレームには存在するが、連続するフレームの最も新しいフレームには存在しないと判定することに応答して、当該方法は、目標物体が最新のフレームにおいて境界に位置するかを判定するステップを有する。目標物体の少なくとも一部が境界に位置すると判定することに応答して、当該方法は、目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有するか、又は目標物体が境界には位置していないと判定することに応答して、当該方法は、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有する。幾つかの実施形態において、当該方法は、領域内の各目標物体のタイプを決定するステップ、及び撮像データの連続するフレームにおける各目標物体を追跡するステップを有する。

幾つかの実施形態において、当該方法は、ディスプレイに、放射線撮像装置カウチの表現（表示）に対して、各目標物体の検出されたタイプ及び／又は位置を表示させるステップを有する。

幾つかの実施形態において、当該方法は、ディスプレイに、少なくとも１つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しない場合に、該カウチ付属品が誤って配置されていることを表示させるステップを有する。

幾つかの実施形態において、インスタンス分割モデルは、少なくとも１つの予め定められた注釈付け原則にしたがって注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像を用いて準備されたデータセットを使用してトレーニングされたマスク領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）により実施される。

幾つかの実施形態において、異なる放射線撮像装置カウチ環境（設定）は、複数の画像のうちの少なくとも１つにおけるカウチ付属品の位置、数及び／又はタイプの少なくとも１つの異なる組合せ；複数の画像のうちの少なくとも１つにおける少なくとも１つの異なる背景；複数の画像のうちの少なくとも１つにおける少なくとも１つの部分的に遮蔽されたカウチ付属品；及び複数の画像のうちの少なくとも１つにおける放射線撮像装置カウチを使用する被験者の存在；のうちの少なくとも１つを含む。

幾つかの実施形態において、少なくとも１つの予め定められた注釈付け原則は、カウチ付属品の注釈付けの予め定められた最小限の精度；完全に遮蔽されたカウチ付属品には注釈を付けないこと；画像内で少なくとも指定されたレベルのシャドーイングを受けるカウチ付属品の一部には注釈を付けないこと；及び画像内の予め定められた露出レベル未満のカウチ付属品は無視すること；のうちの少なくとも１つを含む。

第２の態様においては、有形のマシン可読媒体が記載される。該有形のマシン可読媒体は、少なくとも１つのプロセッサ上で実行された場合に、該少なくとも１つのプロセッサに第１態様の方法又は関連する実施形態を実施させる命令を含む。

第３の態様においては、装置が記載される。該装置は処理回路を備える。該処理回路は、第１の態様の方法又は関連する実施形態を実施する。該処理回路は、放射線撮像装置カウチを含む領域の撮像データを受信するように構成された受信モジュールを有する。該受信モジュールは、更に、被験者による放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品の指定された数、タイプ及び位置の指示情報を受信するように構成される。当該処理回路は、領域内の少なくとも１つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割モデルを使用して決定するように構成された決定モジュールを更に有し、少なくとも１つの目標物体のタイプの決定は、該少なくとも１つの目標物体が指示情報により指定されたタイプのカウチ付属品であるか否かの判定を含む。該処理回路は、指示情報により指定されたタイプのカウチ付属品であると判定された少なくとも１つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するように構成された比較モジュールを更に有する。該処理回路は、少なくとも１つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しないと判定することに応答して、該カウチ付属品が誤って配置されていることを示すように構成された指示モジュールを更に有する。

本発明のこれら及び他の態様は、後述される実施形態から明らかになり、そのような実施形態を参照して解明されるであろう。

図１は、一実施形態による患者撮像の結果を改善する方法を示す。 図２は、一実施形態による患者撮像の結果を改善するためのシステムの概略図である。 図３ａは、一実施形態による患者撮像の結果を改善する方法を示す。 図３ｂは、一実施形態による患者撮像の結果を改善する方法を示す。 図４は、一実施形態による患者撮像の結果を改善するためのマシン可読媒体の概略図である。 図５は、一実施形態による患者撮像の結果を改善するための装置の概略図である。

以下、本発明の例示的実施形態を、図面を参照して単なる例として説明する。

図１は、放射線撮像装置を使用して患者の（放射線）撮像を実行する結果を改善するために使用できる方法１００（例えば、コンピュータ実施方法）を示す。方法１００は、ユーザのコンピューティング装置等のコンピュータ、又はサーバ若しくはクラウドベースのサービス（例えば、ユーザ装置に通信可能に結合された）により実施できる。方法１００は、放射線撮像を実行する際に放射線撮像装置用カウチ（寝台）と組み合わせて使用される付属品が適切に使用されているか否かを判断するために、臨床医又は放射線科医等の操作者により使用され得る特定の情報を提供するために使用できる。

方法１００は、ブロック１０２において、放射線撮像装置カウチを含む領域（例えば、「関心領域」）の撮像データを受信するステップを有する。ブロック１０２において、方法１００は、更に、被検者による放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品の指定された数、タイプ及び位置の指示情報を受信するステップを有する。受信される上記画像データは、患者、放射線科医若しくは他の臨床スタッフ等の操作者及び／又はカウチと組み合わせて使用されるべき付属品を含み得る、該カウチを含む領域の画像（例えば、カラー画像）を取得するように配置されたカメラ等の画像装置により取得できる。代替例として、受信される撮像データは距離センサによっても取得でき、その場合、該撮像データは領域の深さ（奥行）情報を含む。カメラ又は距離センサは、放射線撮像装置を含む部屋内に配置することができ、場合によって、操作者により放射線撮像手順中に患者を（視覚的に）監視するために使用できる。したがって、異なる放射線撮像装置カウチ環境（すなわち、異なるカウチ、放射線撮像装置及び／又は機器レイアウトを有する異なる部屋）は、環境内の異なる位置にカメラ又は距離センサを有する（例えば、天井に配置されたカメラを有する）ことがあり得、カウチ及び／又は患者のビューが環境ごとに異なるようにする。例えば、カメラは、カウチ及び／又は患者の側面視、上面視（天井に配置されたカメラの場合に取得され得る）又は透視に対応する画像を取得するように構成され得る。このことは、分析されるべき多数の異なる可能なビューが存在することを意味し、これは、異なる可能なビュー、及び／又は環境の異なる特徴及びレイアウトにより、複雑な作業になり得る。

少なくとも１つのカウチ付属品の指定された数、タイプ及び位置の受信される指示情報は、手動で又は自動で入力され得る。例えば、操作者は、被験者（例えば、患者）にとり必要であると予想される少なくとも１つのカウチ付属品の数、タイプ及び位置の詳細を入力できる。このような詳細は、ユーザインターフェース、ユーザコンピュータ等で入力できる。それ以外で、該詳細は、自動的に決定され得る、例えば患者の詳細（例えば、身長、体重、病状）等の特定の情報に基づいてコンピュータにより生成され得る。受信される指示情報は、少なくとも１つのタイプのカウチ付属品を被験者に対してどこに（すなわち、被験者の下、上、又は周囲に）配置すべきかを、例えば当該被験者に個人化された態様で示すことができる。

方法１００は、更に、ブロック１０４に、領域内の（例えば、少なくとも１つの）目標物体のタイプ及び位置を、撮像データを処理するための実例（インスタンス）分割モデル（ｉｎｓｔａｎｃｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を使用して決定するステップを有する。ブロック１０４における目標物体のタイプを決定するステップは、該目標物体が前記指示情報により指定されたカウチ付属品のタイプであるか否かを判定するステップを含む。

このように、目標物体のタイプとは、放射線撮像装置カウチに関連する付属品の予め定められたタイプを指し得る。このような予め定められたタイプの付属品の例は、ヘッドレスト（枕）、フットエクステンション、膝支持具、介入制御ボックス等を含む。上記インスタンス分割モデルは、異なる予め定められたタイプの付属品を区別すると共に、領域内の少なくとも１つの目標物体の位置を決定することができる。後に記載されるようにトレーニングされることにより、インスタンス分割モデルは、異なるタイプのカウチ付属品を区別し、認識することができる。

方法１００は、更に、ブロック１０６に、指示情報により指定されたカウチ付属品のタイプであると判定された少なくとも１つの目標物体の決定された位置を、該カウチ付属品の示された指定された位置と比較するステップを有する。

少なくとも１つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しないとの判定に応答して、方法１００は、ブロック１０８に、該カウチ付属品が不正確に配置されていることを示すステップを有する。該指示は、例えば、スタッフに該カウチ付属品の数、タイプ及び／又は位置を修正させるための警告メッセージを含み得る。

このように、幾つかのケースにおいて、方法１００は、領域内の目標物体が、例えば、ヘッドレスト、フットエクステンション、膝支持具、介入制御ボックス等のうちの１つであるという決定を下すことを可能にできる。方法１００は、更に、例えば領域内での、又はカウチ及び／又は患者に対する目標物体の位置も決定できる。少なくとも１つの目標物体が指定された位置にないと判定された場合、方法１００は、該少なくとも１つの目標物体の位置が修正され得るように、操作者に警告する指示情報を提供することができる。方法１００は、ライブカメラ映像であり得る撮像データを取得する間に、領域内の少なくとも１つの目標物体を追跡し、該目標物体のタイプ（すなわち、予め定められたタイプの付属品）を識別できる。

方法１００は、受信された画像データ（例えば、カメラ、距離センサ等により取得された）に基づいてカウチ付属品のインスタンス分割を実施する。前述したように、目標物体（又はカウチ付属品）のタイプ及び位置は、インスタンス分割モデルを実施することにより決定できる。幾つかのケースにおいて、インスタンス分割モデルは、目標物体の（３Ｄ）輪郭（例えば、形状に対応する周又は他の外側プロファイル）を決定するために使用できる。幾つかの実施形態において、新しい付属品がカメラ又は距離センサの視野内で検出されると、該付属品はカメラの視野を離れるまで追跡（及び、その「タイプ」を識別）することができる。追跡過程において付属品が部分的に又は完全に遮蔽されたとしても、インスタンス分割モデルは、該追跡機能により、特定の付属品タイプが特定の位置にあると依然として判断することができる。

幾つかの実施形態において、少なくとも１つのカウチ付属品の指定される位置は、該少なくとも１つのカウチ付属品が被験者を支持するために適切に配置されることの該被験者の必要性に基づくものである。このように、指定される位置は、被験者に対して個性化され得る。

幾つかの実施形態において、方法１００は、患者がカウチ上横たわる前に該カウチ上に初期的に配置されたカウチ付属品のタイプ及び位置を決定することができる。幾つかの実施形態において、方法１００は、患者が初期的にカウチに横たわり、次いでカウチ付属品が該患者の上、周囲又は下に配置された場合に、該付属品のタイプ及び位置を決定することができる。付属品が誤って用いられ又は忘れられた場合、方法１００は、スタッフがカウチ付属品の数、タイプ及び／又は位置を修正することを可能にするための指示情報（例えば、警告メッセージ）の提供を容易にすることができる。

このように、本明細書に記載された特定の方法の実施は、使用される付属品が指定された放射線撮像プロトコルに従っていることを操作者が確認する助けとなり得る。したがって、方法１００は、間違ったカウチ付属品の使用による誤りの減少につながり得、このことは、作業負担を低減し、放射線撮像時間を短縮し、及び／又は放射線画像の品質を向上することになり得る。

幾つかの実施形態において、前記インスタンス分割モデルは、マスク領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）により実施される。マスクＲ－ＣＮＮは、後に詳細に説明される少なくとも１つの事前定義された注釈付け原則に従って注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像（例えば、カメラ画像）を使用して準備されたデータセットを使用してトレーニングされ得る。該インスタンス分割モデルは、画像内に環境の異なる可能なビュー及び／又は異なる特徴及びレイアウトが存在する場合でも、目標物体の認識及び追跡が可能であり得る。

マスクＲ－ＣＮＮは、異なる物体タイプを識別（同定）できる、深層学習におけるインスタンス分割アルゴリズムの一例である。インスタンス分割モデルとの組み合わせで、本明細書に記載の特定の実施形態により、カウチ付属品を追跡するための物体追跡アルゴリズムが実施される。

ここで、インスタンス分割モデルのトレーニングを、一実施形態に従って説明する。先に説明したように、異なる放射線撮像装置カウチ環境（すなわち、部屋）は、異なる設定を有する。当該インスタンス分割モデルがカウチ付属品のタイプを決定できる程度において、異なる操作者によりワールドワイドに使用され得る種々の可能性のある放射線撮像装置のカウチ設定を考慮に入れるためのデータセットが準備された。

該データセットを準備するために、４つの異なるタイプのカウチ付属品が使用された。第１のタイプのカウチ付属品は、患者の頭部をカウチ上で支持するためのヘッドレストである（ヘッドレストには、３つの異なるサブタイプのヘッドレストが存在する）。第２のタイプのカウチ付属品は、患者の足を支持するためのフットエクステンション（１つのサブタイプ）である。第３のタイプのカウチ付属品は、患者の脚及び／又は膝を支持するための膝支持具（１つのサブタイプ）である。第４のタイプのカウチ付属品は、例えば放射線撮像手順中に患者に対して使用される介入機器を制御するための介入制御ボックス（１つのサブタイプ）である。これらのカウチ付属品の各々は固有の形状を有し、このことは、インスタンス分割モデルが、これらの異なるカウチ付属品を区別できることを意味する。

幾つかの実施形態において、当該データセットを提供するために使用された異なる放射線撮像装置カウチ設定は、以下の（第１から第４の）カウチ構成のうちの少なくとも１つがカメラにより撮像されたカメラ撮像データ（すなわち、「複数の画像」）を含む。

第１のカウチ構成の場合、当該データセット内の複数の画像のうちの少なくとも１つの画像は、カウチ付属品の位置、数及び／又はタイプの少なくとも１つの異なる組み合わせを有する。例えば、カウチ付属品は異なる場所に配置され、カメラにより撮影され得る。他の例においては、画像内に、全ての異なるタイプのカウチ付属品が存在するわけではない。他の例においては、全てのタイプのカウチ付属品が画像内に存在する。

第２のカウチ構成の場合、少なくとも１つの異なる背景が、複数の画像のうちの少なくとも１つにおいて使用され得る。例えば、異なる物体（すなわち非目標物体）が視野内に存在し得、及び／又はカメラが異なる位置にあるために、異なる物体が視野内に見え得る。

第３のカウチ構成の場合、少なくとも１つの部分的に遮蔽されたカウチ付属品が、複数の画像のうちの少なくとも１つに存在し得る。例えば、カウチ付属品は、該カウチ付属品が当該環境に導入されているか若しくは該環境から除去されている場合、操作者により扱われている場合、患者により少なくとも部分的に遮蔽される場合、及び／又は他のカウチ付属品等の機器により少なくとも部分的に遮蔽される場合に、少なくとも部分的に遮蔽され得る。

第４のカウチ構成の場合、当該放射線撮像装置のカウチを使用する被験者（例えば、患者）が複数の画像のうちの少なくとも１つに存在し得る。例えば、被験者はカウチに座り又は横たわり得、少なくとも１つのカウチ付属品が該被験者の上、周囲又は下に配置され得る。

少なくとも１つの事前定義された注釈付け原則を実施する（又は、少なくとも訓練者が該少なくとも１つの事前定義された注釈付け原則の実施を容易にすることを可能にする）注釈付けツールは、カメラ画像を表示すると共に、訓練者が、これらの画像の各々についてカウチ付属品のタイプを入力する（例えば、「注釈付けする」）ことを可能にするコンピュータユーザインターフェース（図示せず）により実施化できる。例えば、前記インスタンス分割アルゴリズムは、画像内の特定の物体を識別することができ、訓練者（トレーナ）は、カウチ付属品のタイプを予め定められたタイプのカウチ付属品から（例えば、複数の画像内に存在するカウチ付属品の以前に入力されたリストから）選択して、当該モデルをトレーニングすることができる。

幾つかの実施形態において、上記少なくとも１つの予め定められた注釈付け原則は、下記の（第１から第４の）予め定められた注釈付け原則のうちの少なくとも１つを含む。

第１の予め定められた注釈付け原則は、カウチ付属品注釈付けの予め定められた最小精度を指し得る。例えば、人間のトレーナを使用することにより、カウチ付属品の注釈付け（すなわち、カウチ付属品の「タイプ」の選択）は、非常に正確であると見なすことができる。言い換えれば、トレーナは可能な限り正確に注釈付けすると見なすことができる。

第２の事前定義された注釈付け原則は、完全に遮蔽されたカウチ付属品には注釈付けをしないことを指し得る。例えば、遮蔽されたカウチ付属品は、インスタンス分割モデルのトレーニングにエラーを生じさせ得る。しかしながら、部分的に遮蔽されたカウチ 付属品には、依然として注釈付けされ得る。例えば、カウチ付属品の閉じられていない／露出されている部分（すなわち、遮蔽されていない部分）には注釈を付けることができる。

第３の予め定められた注釈付け原則は、画像内におけるカウチ付属品の少なくとも指定されたレベルの影（シャドーイング）を受ける部分（又は全体）には注釈を付けないことを指し得る。例えば、影はインスタンス分割モデルのトレーニングにエラーを発生させ得る。幾つかの例において、同じカウチの付属品の場合、当該画像における影が濃いとは思われない（例えば、閾値を下回っている）部分において、該付属品は該部分に注釈が付けられ得る。しかしながら、画像の一部において影が濃すぎる（例えば、閾値を超える）場合、当該付属品は該一部では注釈付けされない。このように、付属品の一部が濃い影を受ける場合でも、トレーナにより付属品全体がマーク付けされていない （すなわち、注釈が付けられていない）ままとされる必要はない。

第４の予め定められた注釈付け原則は、画像内の事前定義された露出レベル未満のカウチ付属品を無視することを指し得る。例えば、１０％未満の露出レベル（例えば、当該環境における不十分な光により）は、インスタンス分割モデルをトレーニングするために使用される場合、許容できないエラーを発生すると見なされ得る。

このように、前述した異なるカウチ構成を上記少なくとも１つの事前定義された注釈付け原則と組み合わせて使用することにより、インスタンス分割モデルが異なる可能な環境において十分に訓練されることを可能にするように、画像が十分に変化され得、このことは、該インスタンス分割モデルが撮像データ内のカウチ付属品のタイプを正確に判断することを可能にし、これにより、当該物体追跡手順を容易にすることができる。

インスタンス分割モデルをトレーニングするために使用されたデータセットは、トレーニング用に１４５５の画像を、検証用に２００の画像を含んだ。更に、現場で得られると予想される画像品質の可能性のあるエラー及び／又は変動（非最適な照明及びカメラ設定による）を考慮するために、インスタンス分割モデルのトレーニングを支援するために使用される画像に増強処理が適用された。言い換えると、放射線撮像手順を監視するためにエンドユーザにより使用される様々なカメラ、照明装置及び環境は、画質の点で幾らかの変動性につながり得ることが予想される。この潜在的な変動性を考慮に入れるために増強方法を使用することにより、インスタンス分割モデルは、画質が最適でない又は期待どおりでない場合でも、依然として画像内のカウチ付属品のタイプを決定できる可能性がある。

データセットの作成に使用される増強方法の例は、以下の増強方法を含む。幾つかの実施形態において、これらの増強方法の選択を使用して、インスタンス分割モデルを訓練し、最小の予測精度（例えば、９９％を超える）でカウチ付属品のタイプを識別するデータセットを生成することができる。

該増強方法は、画像にアフィン変換を適用する方法；画像に要素ごとに（すなわち、ピクセルごとに）ガウス分布からサンプリングされたノイズを画像に追加する方法；画像内の全てのピクセルを特定の値で乗算し、これにより、画像を暗くし又は明るくする方法；ＪＰＥＧ圧縮することより画質を劣化させる方法；画像内の長方形領域（すなわち、これらの長方形領域内のピクセル値）をゼロに設定する方法；アルファ／不透明度値を使用して２つの画像ソースをアルファブレンドする方法；画像を、該画像内の近傍にわたって単純平均を計算する（例えば、ぼかしフィルターを適用する）ことによりぼかす方法；画像のコントラストを調整する方法；入力画像を水平方向に反転又は鏡映する方法；入力画像を垂直方向に反転又は鏡映する方法；雪のない風景を雪の風景に変換する方法；及び画像に雲を追加する方法；を含む。

このレベルのトレーニング（すなわち、異なるカウチ構成及び／又は増強方法による異なる画像間の差異、及びデータセットに使用される画像の数）は、カウチ付属品タイプの信頼性が高く一貫した識別をもたらすと共に、適切なカウチ付属品の追跡を容易化することが分かった。

図２は、本明細書に記載の特定の方法を実施するためのシステム２００を示している。システム２００を使用して取得された画像は、上述したモデルをトレーニング及び／又は検証するために使用できる。しかしながら、システム２００は、エンドユーザ（例えば、操作者）により、放射線撮像装置２０２を使用する患者の撮像の結果を改善するために使用することができる。エンドユーザはモデルを（例えば、自身のカウチ付属品を使用して）トレーニングできるが、エンドユーザにより使用される実際のシステム２００は、該モデルをトレーニング及び／又は検証するために使用されたシステム２００とは異なり得る。例えば、放射線撮像装置２０２の製造者又は設置者はモデルを複数の異なる環境（例えば、異なるシステム２００の設定を使用する）からの画像を使用することによりトレーニングできる一方、エンドユーザは図２に示されるようなシステム２００を使用できる。

放射線撮像装置２０２は、複数（この場合は４つであるが、任意の数であり得る）のカウチ付属品２０６ａ～２０６ｄを支持するカウチ２０４を更に備える。これらのカウチ付属品２０６ａ～２０６ｄは、図２では異なる形状を有し、前記インスタンス分割モデルを使用して認識できる。放射線撮像装置２０２の使用時において、患者（図示せず）はカウチ２０４上に横たわり、該患者に必要とされるカウチ付属品２０６ａ～２０６ｄが患者を支持するために適切に配置され得る。カウチ付属品２０６ａ～２０６ｄは患者の下に配置され得るので、カウチ付属品２０６ａ～２０６ｄは少なくとも部分的に遮蔽され得る。しかしながら、前述したようにトレーニングされたインスタンス分割モデルは、カウチ付属品２０６ａ～２０６ｄを十分な精度で識別及び追跡することが分かっている。

この実施形態において、システム２００は、撮像データを取得するためのカメラ２０８（すなわち、「撮像装置」）、コンピューティング装置２１０（例えば、処理装置及びオプションとしてのメモリを備える）、及び撮像データを表示するためのディスプレイ２１２を備える。この実施形態において、コンピューティング装置２１０はカメラ２０８から画像データを受信するように構成され、該カメラは図２に示される領域２１４の画像をキャプチャするように構成される。

他の例において、システム２００は、撮像装置の一実施形態として距離センサを備えることができ、該距離センサは領域２１４の奥行き（深さ）情報を提供するように構成される。言い換えると、領域２１４は、放射線撮像装置２０２、カウチ２１４、カウチ付属品２０６ａ～２０６ｄ、及び／又は該領域２１４内の何らかの他の物体若しくは被写体の（３Ｄ）画像（カメラ２０８によりキャプチャされた）であり得る。コンピューティング装置２１０はディスプレイ２１２に撮像データを表示させるために該ディスプレイ２１２に通信可能に結合され、当該撮像データは、関連する場合、全ての識別されたカウチ付属品２０６ａ～２０６ｄの位置を示す情報、及び／又は欠落している及び／又は誤って配置されているカウチ付属品２０６ａ～２０６ｄに関する警告メッセージ等の何らかの他の情報を含み得る。

幾つかの実施形態において、コンピューティング装置２１０はユーザのコンピュータにより実施化され得る。幾つかの実施形態において、コンピューティング装置２１０はサーバ又はクラウドベースのコンピューティングサービスにより実施化され得る。コンピューティング装置２１０の処理装置は、本明細書に記載の特定の方法を実施することができる（例えば、方法１００を実施し、カメラ２０８に画像データを取得させ、及び／又はディスプレイ２１２に何のカウチ付属品２０６ａ～２０６ｄが必要であるか及び／又は何れかのカウチ付属品２０６ａ～２０６ｄが欠落している若しくは間違った位置にあるかに関する情報を含む画像データを表示させる）。存在する場合、コンピューティング装置２１０のメモリ（又はコンピューティング装置２１０の一部を形成しない他のメモリ）は、インスタンス分割モデル自体、インスタンス分割モデルを実施するための何らかの命令、及び／又はカウチ付属品の追跡を実施するための命令を記憶できる。

インスタンス分割モデルがトレーニングされている幾つかの実施形態において、コンピューティング装置２１０は、トレーニングデータセットを含むメモリ（例えば、コンピューティング装置２１０の、又はコンピューティング装置２１０により提供されない他のメモリ）にアクセスし、トレーニング手順を実行する（例えば、ユーザインターフェース（例えば、ディスプレイ２１２により提供される）を介して訓練者からの入力を受信する）。

図３ａ及び図３ｂは、放射線撮像装置を使用して患者の撮像を行う結果を改善するために使用できる方法３００（例えば、コンピュータ実施方法）を示す。方法３００は、ユーザのコンピューティング装置等のコンピュータ（例えば、コンピューティング装置２１０）、又はサーバ若しくはクラウドベースのサービス（例えば、ユーザ装置に通信可能に結合された）により実施され得る。方法３００は、前記方法１００を実施するための特定のブロックを含む。特定のブロックは、省略されてもよく、及び／又は図３により示されるものとは異なる順序で実行されてもよい。例えば、方法３００の一部は、インスタンス分割モデルをトレーニングする場合に実施され得るが、方法３００の該部分は、エンドユーザにより実施されないものであり得、したがって、エンドユーザにより実施される場合には省略できる。適宜、前述した方法１００及びシステム２００を参照する。

方法３００は、ブロック３０２において初期化される。

方法３００のブロック３０４において、インスタンス分割モデルが構築される（すなわち、前述したようにトレーニング及び検証される）。

方法３００のブロック３０６において、第１のフレーム（すなわち、撮像データの第１の画像であり、該画像データは３Ｄ情報を含み得る）が取得される（例えば、カメラ２０８に第１のフレームを取得させることによるもので、該第１のフレームはコンピューティング装置２１０によりカメラ２０８から直接的に、又は画像データを記憶するためのメモリから受信される）。

方法３００のブロック３０８においては、インスタンス分割モデルを使用して、第１のフレームにおけるカウチ付属品２０６ａ～２０６ｄのタイプ及びこれらカウチ付属品２０６ａ～２０６ｄの位置を決定する。カウチ付属品の位置を決定するステップは、フレーム内の何処に該カウチ付属品が配置されているかを決定するステップ、及び／又は該カウチ付属品の輪郭（例えば、プロファイル又は周囲）のセグメントを決定するステップを含み得る。

どのカウチ付属品２０６ａ～２０６ｄ（特定の視野内には任意の数及びタイプのカウチ付属品が存在し得るので、以下では「目標物体」と称する）を追跡すべきかの選択、及び目標物体の追跡（トラッキング）を、ここで説明する。

幾つかの実施形態において、方法３００は、領域２１４内に複数の目標物体が存在するとの判定に応答して、方法３００は、これら目標物体の各々に対応するカウチ付属品のタイプを決定するステップを含み、ブロック３１０において、同じタイプの複数の目標物体が存在するとの判定に応答して（すなわち、図３ａにおける「はい」）、方法３００は、ブロック３１２において、該複数の同じタイプの目標物体から、インスタンス分割モデルによる最高の予測確率を有する１つの目標物体を選択するステップを更に有する。言い換えると、同じタイプの目標物体の数が１を超える場合、方法３００は、最高の予測確率を持つ目標物体を選択し得る（そして、より低い予測確率を持つ如何なる残りの目標物体も破棄する）。このように、方法３００は、一度に１つのタイプの目標物体（すなわち、同じタイプの１つの目標物体）を追跡することを可能にする。

幾つかの実施形態において、インスタンス分割モデルは、検出された各目標物体に、当該目標物体が確かに予め定められたタイプの目標物体の１つであると該モデルがどの程度確信があるかに基づいて、予測確率を割り当てることができる。

幾つかの実施形態において、方法３００は、ブロック３１４において、異なるタイプの隣接する目標物体の間の距離を決定するステップを有する。コンピューティング装置２１０が隣接する目標物体間の一層正確な距離尺度を出力することを可能にする領域２１４の奥行き（深さ）画像データを有することが有益であり得る。ブロック３１６において該距離が閾値未満であると判定すること（すなわち、図３ａにおける「はい」）に応答して、方法３００は、ブロック３１８において、隣接する目標物体からインスタンス分割モデルによる異なるタイプの最高の予測確率を有する１つの目標物体を選択するステップを更に有する。言い換えれば、隣接する目標物体間の距離が閾値未満である場合、方法３００は、最高の予測確率を持つカウチ付属品のタイプを選択する（例えば、カウチ付属品の識別及び／又は追跡エラー率を低減するために）。方法３００は次いでブロック３２０に進む。

上記距離がブロック３１６において閾値以上である場合（すなわち、図３ａにおける「いいえ」）、方法３００はブロック３２０に進む。

幾つかの実施形態において、上記閾値は、例えば、５０ピクセル又は他の数等のピクセル数（２つの隣接する目標物体のエッジ間の物理的距離に変換される）であり、カメラ２０８の解像度に依存し得る。全ての２Ｄ及び３Ｄ撮像データの例に当てはまるように、該閾値は、物理的に近接している目標物体を区別するためのインスタンス分割モデルの能力の精度に従って選択され得る。例えば、該閾値は、目標物体の予測確率に応じて動的に調整できる。

方法３００のブロック３２０において、第１のフレームにおいて識別され保持された目標物体は、特定の閾値を超える（例えば、９９．９％又は他の適切な値以上の）予測確率を有するなら、保持される（例えば、目標物体追跡の目的で）。

方法３００のブロック３２２において、第１のフレームについて予測結果が得られる。すなわち、第１のフレームにおける目標物体の位置及び識別（すなわち、タイプ）の予測である。この情報を使用して、コンピューティング装置２１０がアクセスできるメモリを更新できる。例えば、該メモリは以前の予測結果（例えば、「ｌａｓｔ＿ｒ」とラベル付けされる）を保持することができ、ブロック３２２は、この以前の予測結果が第１のフレームに関して取得された予測結果で更新されるようにする。

方法３００のブロック３２４において、第２のフレーム（すなわち、撮像データの第２の画像）が取得される（例えば、カメラ又はレンジセンサ２０８に第２のフレームを取得させることによるもので、コンピューティング装置２１０に送信される）。ブロック３２４の機能は、ブロック３０６により提供される機能に対応する。第１のフレームの予測結果を取得するために（ブロック３２２で）使用されたブロック３０６から３１８と同じ機能が、第２のフレームの予測結果を取得するために使用される。言い換えると、ブロック３０６、３０８、３１０、３１２、３１４、３１６及び３１８の機能（第１のフレームに適用された）は、ブロック３２４、３２６、３２８、３３０、３３２、３３４及び３３６の機能（第２のフレームに適用される）に、各々、対応する。

ブロック３３８において、以下に説明するように、第２のフレームの予測結果が取得される。このように、幾つかの実施形態において、方法３００は、ブロック３３８において、撮像データからの連続するフレーム（すなわち、第１及び第２のフレーム）を比較して、目標物体の位置が当該領域において連続するフレーム間で変化したか、及び／又は目標物体の数及び／又はタイプが当該領域において連続するフレーム間で変化したかを判定するステップを有する。

ブロック３３８は、図３ｂに一層詳細に示され、以下に説明される。

幾つかの実施形態において、ブロック３４０において目標物体が連続するフレームの両方に存在すると判定することに応答して、方法３００は、ブロック３４２において、連続するフレームの最新のもの（すなわち、第２のフレーム）における目標物体の予測確率を、予測閾値（例えば、インスタンス分割モデルにより決定される９９．９％）と比較するステップを有する。

予測確率が予測閾値を上回ると判定すること（すなわち、「はい」）に応答して、方法３００は、ブロック３４４において、目標物体が最新のフレームに存在するという指示情報を供給するステップを有する。幾つかの実施形態において、該指示情報を供給するステップは、第２のフレームの予測結果で使用するために（例えば、「ｔｈｉｓ＿ｒ」とラベル付けされる）、検出された目標物体に関する情報を保存するステップを有する。

しかしながら、予測確率が予測閾値を上回らない（すなわち、「いいえ」）と判定することに応答して、方法３００は、ブロック３４６において、連続するフレームにおける目標物体間の距離（例えば、連続するフレーム間のピクセル単位での目標物体の中心間の距離、又は他の距離尺度）を決定するステップを有する。

ブロック３４８において連続するフレームにおける目標物体間の距離が距離（又はピクセル）閾値未満である（すなわち、「はい」）と判定することに応答して、方法３００は、ブロック３５０において、目標物体が最新のフレーム内に存在するとの指示情報を供給するステップを有する。幾つかの実施形態において、該指示情報を供給するステップは、第２のフレームの予測結果で使用するために、検出された目標物体に関する情報を保存するステップを含む（例えば、「ｔｈｉｓ＿ｒ」とラベル付けされる）。

連続するフレームにおける目標物体間の距離が距離閾値を下回っていない（すなわち、「いいえ」）と判定することに応答して、方法３００は、ブロック３５２に、目標物体が最新のフレーム内には存在しないという指示情報を供給するステップを有する。例えば、該指示情報は、当該目標物体を破棄して、第２フレームの予測結果において使用されない又は無視されるようにし得る。

幾つかの実施形態において、ブロック３５４において目標物体は連続するフレームのうちの最新のもの（すなわち第２のもの）には存在するが、該連続するフレームのうちの最も早いもの（すなわち第１のもの）には存在しないと判定することに応答して、方法３００は、ブロック３５６において、最新のフレームにおける目標物体の予測確率を、予測閾値と比較するステップを有する（例えば、ブロック３４２と同様に）。

予測確率が予測閾値を上回ると判断することに応答して、方法３００は、ブロック３５８において、目標物体が最新のフレームに存在するという指示情報を供給するステップを有する（すなわち、ブロック３４４と同様に、「はい」）。

予測確率が予測閾値を上回らない（すなわち、「いいえ」）と判定することに応答して、方法３００は、ブロック３６０において、目標物体は最新のフレームには存在しないという指示情報を供給するステップを有する（例えば、ブロック３５２と同様）。

幾つかの実施形態において、ブロック３６２において目標物体は連続するフレームのうちの最も早い（第１の）フレームには存在するが、該連続するフレームのうちの最新の（第２の）フレームには存在しないと判定することに応答して、方法３００は、ブロック３６４において、目標物体が最新のフレームにおいて境界に位置するか（例えば、該物体が少なくとも部分的に境界を横切り得るか）を判定するステップを有する。例えば、目標物体は、当該領域を離れることにより（例えば、操作者により除去されることにより）少なくとも部分的に遮蔽され、又は患者の下に配置されることにより遮蔽され得る。

目標物体の少なくとも一部が境界に位置する（すなわち、「はい」）と判定することに応答して、方法３００は、ブロック３６６において、目標物体は最新のフレームには存在しないという指示情報を供給するステップを有する（例えば、ブロック３５２と同様）。

目標物体が境界には位置しないと判定することに応答して、方法３００は、ブロック３６８において、目標物体は最新のフレームに存在するという指示情報を供給するステップを有する（例えば、ブロック３４４と同様）。

ブロック３３８を実施する結果として、ブロック３７０において、第２のフレームについて他の予測結果が得られる（すなわち、「ｔｈｉｓ＿ｒ」）。このように、ブロック３２２及び３７０で得られる予測結果は、各々、第１及び第２の（連続する）フレーム間の目標物体のタイプの識別及び追跡に対応する。

ブロック３７２において、方法３００は、以下に説明するように使用され得る第２のフレームの予測結果を出力する。

ブロック３７４において、方法３００は、メモリを更新して、第２フレームの予測結果が第１フレームの予測結果に置き換わるようにする（すなわち、第１フレームの予測結果は、最早、有効でないからである）。

ブロック３７６において、当該方法は、第２のフレームの予測結果を保持するメモリを空にする（すなわち、次のフレームがカメラ２０８により取得され得ることを予期して）。

ブロック３７８において、方法３００は、次のフレームが存在するか否か（すなわち、カメラ２０８が撮像データを取得し続けるか否か）を判定する。「はい」の場合、方法３００はブロック３２４に戻り、方法３００の後続のブロックを繰り返す。「いいえ」の場合、方法３００はブロック３８０で終了する。

このように、幾つかの実施形態において、方法３００は、領域内の各目標物体のタイプを決定すると共に、撮像データの連続するフレームで各目標物体を追跡するステップを含む。

幾つかの実施形態において、ブロック３７２において予測結果を出力することに応答して、方法３００は、ブロック３８２において、ディスプレイ（例えば、ディスプレイ２１２）に、放射線撮像装置カウチ２０４の表現（例えば、表示された画像）に関連させて、各目標物体の検出されたタイプ及び／又は位置を表示させるステップを有する。

方法３００のブロック３８４において、当該領域における各目標物体のタイプ及び／又は位置は、該領域に関する予想される（期待される）物体構成と比較される。予想される物体構成は、被験者による放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品の指定された数、タイプ及び位置に対応し得る。幾つかの実施形態において、当該領域における少なくとも１つの目標物体が予想される物体構成に対応しない、及び／又は少なくとも１つの目標物体が該領域内で欠落していると判定することに応答して、方法３００は、ブロック３８６において、ディスプレイに、少なくとも１つの目標物体の決定された位置がカウチ付属品の示された指定された位置に対応しない及び／又は少なくとも１つの目標物体が予想される物体構成に対応しないなら該カウチ付属品が誤って配置されていなと、及び／又は少なくとも１つの目標物体が当該領域において欠落していると表示させるステップを有する。

幾つかの実施形態において、予想される物体構成は、当該カウチを使用する被験者（例えば、患者）に関連付けられた各目標物体の指定された数、タイプ及び／又は位置を含む。言い換えると、操作者は、コンピューティング装置２１０に当該患者の予想される物体構成を入力することができる。コンピューティング装置２１０（方法３００を実施する）が、目標物体（例えば、カウチ付属品）が欠落している又は誤って配置されていることを検出した場合、ブロック３８６は、ディスプレイに、このことを例えば警告メッセージを介して適宜表示させる。

図４は、少なくとも１つのプロセッサ４０４により実行されると、該少なくとも１つのプロセッサ４０４に、本明細書に記載の特定の方法、例えば方法１００又は３００を実施させる命令４０２を記憶した有形のマシン可読媒体４００を概略的に示す。この実施形態において、命令４０２は、方法１００のブロック１０２の機能を果たすための命令４０６を含む。命令４０２は、方法１００のブロック１０４の機能を果たすための命令４０８を更に含む。命令４０２は、ブロック１０６の機能を果たすための命令４１０を更に含む。命令４０２は、方法１００のブロック１０８の機能を果たすための命令４１２を更に含む。命令４０２は、方法３００のブロックのいずれかの機能を果たすための他の命令を含み得る。

図５は、方法１００又は３００等の、本明細書に記載の特定の方法を実施するために使用され得る装置５００を示している。装置５００は、図２のシステム２００のコンピューティング装置２１０等の、図２のシステム２００に関連して説明した特定のフィーチャに対応する機能を備えたモジュールを有し得る。この実施形態において、装置５００は、方法１００のブロック１０２の機能を果たすように構成された受信モジュール５０４を備える。装置５００は、更に、方法１００のブロック１０４の機能を果たすように構成された決定（判定）モジュール５０６を備える。装置５００は、更に、方法１００のブロック１０６の機能を果たすように構成された比較モジュール５０８を備える。装置５００は、更に、方法１００のブロック１０８の機能を果たすように構成された指示モジュール５１０を備える。受信モジュール５０４、決定モジュール５０６、比較モジュール５０８及び／又は指示モジュール５１０（又は任意の追加モジュール）は、方法３００のブロックのいずれかの機能を果たすために使用することもできる。

幾つかのケースにおいて、上述したモジュールのいずれか（例えば、受信モジュール５０４、決定モジュール５０６、比較モジュール５０８及び／又は指示モジュール５１０）は、当該モジュールの機能を果たすための少なくとも１つの専用のプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等）を有し得る。例えば、該少なくとも１つの専用のプロセッサは、上述した機能を果たすようにプログラムされ、又は上述の機能を果たすために命令を記憶したメモリにアクセスして斯様な命令を実行するように構成され得る。

本発明を、図面及び上記記載において詳細に図示及び説明しが、このような図示及び説明は解説的又は例示的であり、限定するものではないと見なされるべきである。すなわち、本発明は開示された実施形態に限定されるものではない。

１つの実施形態に記載された１以上のフィーチャは、他の実施形態に記載されたフィーチャと組み合わせるか、又は置き換えることができる。例えば、図１又は図３ａ～図３ｂの方法１００、３００は、システム２００（図２を参照した）、マシン可読媒体４００及び／又は装置５００に関連して説明されたフィーチャに基づいて修正でき、その逆でもある。

本開示は、次の番号が付された段落により定義される主題を含む。
段落１．コンピュータ実施方法であって、
－ 放射線撮像装置カウチを含む領域の撮像データを受信するステップと、
－ 領域内の少なくとも１つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割モデルを使用して決定するステップであって、少なくとも１つの目標物体のタイプを決定するステップが、該少なくとも１つの目標物体が放射線撮像装置カウチに関連する予め定められたタイプの付属品であるか否かを判定するステップを含む、ステップと
を有する、方法。
段落２．段落１の方法であって、前記決定するステップは領域内に複数の目標物体が存在することを決定するステップを含み、これに応答して、当該方法は前記複数から目標物体の各々の予め定められたタイプを決定するステップを含み、同一の予め定められたタイプの複数の目標物体が存在すると判断することに応答して、当該方法が、該同一の予め定められたタイプの複数の目標物体から、インスタンス分割モデルにより最高の予測確率を有する１つの目標物体を選択するステップを更に有する、方法。
段落３．段落１又は２の方法であって、異なるタイプの隣接する目標物体間の距離を決定するステップを更に有し、該距離が閾値未満であると判定することに応答して、当該方法が、隣接する目標物体から、インスタンス分割モデルにより異なるタイプの最高の予測確率を有する１つの目標物体を選択するステップを更に有する、方法。
段落４．先行する何れかの段落の方法であって、撮像データからの連続するフレームを比較して、目標物体の位置が当該領域において連続するフレームの間で変化したか、及び／又は目標物体の数及び／又はタイプが当該領域において連続するフレームの間で変化したかを判断するステップを更に有する、方法。
段落５．段落４の方法であって、目標物体が連続するフレームの両方に存在すると判定することに応答して、当該方法は、
－ 連続するフレームのうちの最新のものにおける目標物体の予測確率を予測閾値と比較するステップを有し、及び
－ 予測確率が予測閾値を上回っていると判断することに応答して、当該方法は目標物体が最新のフレームに存在するとの指示情報を供給するステップを有し、又は
－ 予測確率が予測閾値を上回らないと判断することに応答して、当該方法は、連続するフレーム内の目標物体間の距離を決定するステップを有し、
－ 連続するフレーム内の目標物体間の距離が距離閾値未満であると判断することに応答して、当該方法は、目標物体が最新のフレーム内に存在するとの指示情報を供給するステップを有し、又は
－ 連続するフレーム内の目標物体間の距離が距離閾値を下回っていないと判断することに応答して、当該方法が、目標物体が最新のフレーム内には存在しないという指示情報を供給するステップを有する、
方法。
段落６．段落４の方法であって、目標物体が連続するフレームの最新のものには存在するが、連続するフレームの最も早いものには存在しないと判断することに応答して、当該方法は、
－ 最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有し、及び
－ 予測確率が予測閾値を上回っていると判断することに応答して、当該方法は、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有し、又は
－ 予測確率が予測閾値を超えていないと判断することに応答して、当該方法は、目標物体が最新のフレームには存在しないとの指示情報を供給するステップを有する、
方法。
段落７．段落４の方法であって、目標物体が連続するフレームの最も早いものには存在するが、連続するフレームの最も新しいフレームには存在しないと判断することに応答して、
－ 目標物体が最新のフレームにおける境界に位置するかを判定するステップを有し、及び
－ 目標物体の少なくとも一部が境界に位置すると判定することに応答して、当該方法は、目標物体が最新のフレームには存在しないという指示情報を供給するステップを有し、又は
－ 目標物体が境界には位置していないと判断することに応答して、当該方法が、目標物体が最新のフレームに存在するとの指示情報を供給するステップを有する、
方法。
段落８．先行するいずれかの段落の方法であって、領域内の各目標物体のタイプを決定するステップ、及び撮像データの連続するフレームにおける各目標物体を追跡するステップを有する、方法。
段落９．先行するいずれかの段落の方法であって、当該方法が、ディスプレイに、放射線撮像装置カウチの表現に対して、各目標物体の検出されたタイプ及び／又は位置を表示させるステップを更に有する、方法。
段落１０．段落９の方法であって、領域内の各目標物体のタイプ及び／又は位置を、該領域の予想される物体構成と比較するステップを有し、領域内の少なくとも１つの目標物体が予想される物体構成に対応しない又は該領域において少なくとも１つの目標物体が欠落していると判定することに応答して、当該方法が、少なくとも１つの目標物体が期待される物体構成に対応しない、及び／又は少なくとも１つの目標物体が領域内で欠落していることをディスプレイに表示させるステップを有する、方法。
段落１１．段落１０の方法であって、期待される物体構成が、カウチを使用する被験者に関連付けられた各目標物体の指定された数、タイプ及び／又は位置を含む、方法。
段落１２．先行する何れかの方法であって、インスタンス分割モデルが、少なくとも１つの予め定められた注釈付け原則により注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像を用いて準備されたデータセットを使用してトレーニングされた、マスク領域ベースの畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）により実施化される、方法。
段落１３．少なくとも１つのプロセッサ上で実行された場合に、該少なくとも１つのプロセッサに何れかの先行する段落の方法を実施させる命令を含む、有形のマシン可読媒体。
段落１４．処理回路を含む装置であって、処理回路が、
－ 放射線撮像装置カウチを含む領域の撮像データを受信するように構成された受信モジュールと、
－ 領域内の少なくとも１つの目標物体のタイプ及び位置を、撮像データを処理するためのインスタンス分割モデルを使用して決定するように構成された決定モジュールであって、少なくとも１つの目標物体のタイプを決定する動作が、該少なくとも１つの目標物体が放射線撮像装置カウチに関連付けられた予め定められたタイプの付属品であるか否かを判定する動作を含むモジュールと、
を有する、装置。
段落１５．段落１から１３の方法又は段落１４の装置であって、画像化データが領域の深さ（奥行き）情報を含む方法又は装置。

本開示の実施形態は、方法、システムとして、又はマシン可読命令及び処理回路の組み合わせとして提供することができる。このようなマシン可読命令は、コンピュータ可読プログラムコードを有する非一時的なマシン（例えば、コンピュータ）可読記憶媒体（限定されるものではないが、ディスク記憶装置、ＣＤ－ＲＯＭ、光学記憶装置等を含む）に含まれ得る。

本開示は、本開示の実施形態による方法、装置及びシステムのフローチャート及びブロック図を参照して説明されている。上記フローチャートは特定の実行順序を示しているが、実行順序は図示されているものとは異なることができる。あるフローチャートに関連して説明されるブロックは、他のフローチャートのものと組み合わせることができる。フローチャート及び／又はブロック図における各ブロック、ならびにフローチャート及び／又はブロック図におけるブロックの組み合わせは、マシン可読命令により実現できると理解されたい。

マシン可読命令は、例えば、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラム可能なデータ処理装置のプロセッサにより実行されて、当該記載及び図で説明された機能を実現することができる。特に、プロセッサ又は処理回路、又はそのモジュールが、マシン可読命令を実行することができる。したがって、システム２００及び／又は装置５００（例えば、コンピューティング装置２１０、受信モジュール５０４及び／又は決定モジュール５０６）並びに本明細書で説明される他の装置の機能モジュールは、メモリに格納されたマシン可読命令を実行するプロセッサ、又は論理回路に埋め込まれた命令に従って動作するプロセッサにより実装され得る。「プロセッサ」という用語は、ＣＰＵ、処理ユニット、ＡＳＩＣ、論理ユニット、又はプログラマブルゲートアレイ等を含むように広く解釈されるべきである。当該方法及び機能モジュールは全て、単一のプロセッサにより実行されるか、複数のプロセッサに分割され得る。

このようなマシン可読命令は、コンピュータ又は他のプログラム可能なデータ処理装置を特定のモードで動作するように導くことができるコンピュータ可読記憶装置に格納することもできる。

このようなマシン可読命令は、コンピュータ又は他のプログラム可能なデータ処理装置にロードすることもでき、その結果、コンピュータ又は他のプログラム可能なデータ処理装置は一連の動作を実行して、コンピュータで実施される処理を生成する。このよに、コンピュータ又は他のプログラマブル装置上で実行される命令は、フローチャート及び／又はブロック図におけるブロックで指定された機能を実現する。

更に、本明細書の教示は、コンピュータプログラム製品の形で実装されてもよく、該コンピュータプログラム製品は、記憶媒体に格納され、本開示の実施形態に記載された方法をコンピュータ装置に実施させるための複数の命令を含む。

一実施形態に関連して説明された要素又はステップは、他の実施形態に関連して説明された要素又はステップと組み合わされるか、又は置き換えられてもよい。開示された実施形態に対する他の変形は、図面、開示及び添付請求項の精査から、請求項に記載の発明を実施する当業者により理解され、実行されることができる。請求項において、「有する（含む）」という文言は他の要素又はステップを除外するものではなく、単数形は複数を除外するものではない。単一のプロセッサ又は他のユニットは、請求項に記載された幾つかの項目の機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、他のハードウェアと共に、又はその一部として供給される光学記憶媒体又はソリッドステート媒体等の適切な媒体により格納又は配布されてもよいが、インターネット又はその他の有線若しくは無線通信システムを介して等の様に、他の形態で配布することもできる。請求項における如何なる参照記号も、当該範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 放射線撮像装置カウチを含む領域の撮像データと、被験者による前記放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品の指定された数、タイプ及び位置の指示情報とを受信するステップと、
   前記領域における少なくとも１つの目標物体のタイプ及び位置を、前記撮像データを処理するためのインスタンス分割モデルを用いて決定するステップであって、前記少なくとも１つの目標物体のタイプの決定が、該少なくとも１つの目標物体が前記指示情報により指定されたカウチ付属品のタイプであるか否かの判定を含む、ステップと、
   前記指示情報により指定されたカウチ付属品のタイプであると判定された前記少なくとも１つの目標物体の前記決定された位置を、該カウチ付属品の示された指定された位置と比較するステップと、
   前記少なくとも１つの目標物体の前記決定された位置が前記カウチ付属品の示された指定された位置に対応しないとの判定に応答して、該カウチ付属品が誤って配置されていることを示すステップと
   を有する、コンピュータ実施方法。
2. 前記少なくとも１つのカウチ付属品の前記指定された位置は、該少なくとも１つのカウチ付属品が前記被験者を支持するために適切に配置されるべき該被験者の必要性に基づくものである、請求項１に記載のコンピュータ実施方法。
3. 前記決定するステップは前記領域内に複数の目標物体が存在することを決定するステップを含み、この決定に応答して、当該コンピュータ実施方法は前記複数の目標物体の各々に対応するカウチ付属品のタイプを決定するステップを含み、同一のタイプの複数の目標物体が存在するとの決定に応答して、当該コンピュータ実施方法が該同一のタイプの複数の目標物体から前記インスタンス分割モデルによる最高の予測確率を持つ１つの目標物体を選択するステップを更に有する、請求項１又は２に記載のコンピュータ実施方法。
4. 異なるタイプの隣接する目標物体の間の距離を決定するステップを更に有し、前記距離が閾値未満であると判定することに応答して、当該コンピュータ実施方法が、前記隣接する目標物体から前記インスタンス分割モデルによる異なるタイプのうちの最高の予測確率を持つの１つの目標物体を選択するステップを更に有する、請求項１から３の何れか一項に記載のコンピュータ実施方法。
5. 前記撮像データからの連続するフレームを比較して、前記目標物体の位置が前記領域において前記連続するフレームの間で変化したか、及び／又は前記目標物体の数及び／又はタイプが前記領域において前記連続するフレームの間で変化したかを判断するステップを更に有する、請求項１から４の何れか一項に記載のコンピュータ実施方法。
6. 前記目標物体が前記連続するフレームの両方に存在すると判定することに応答して、当該コンピュータ実施方法は、前記連続するフレームのうちの最新のフレームにおける目標物体の予測確率を予測閾値と比較するステップを有し、
   前記予測確率が前記予測閾値を超えていると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有するか、又は
   前記予測確率が前記予測閾値を超えていないと判定することに応答して、当該コンピュータ実施方法が、前記連続するフレームにおける前記目標物体の間の距離を決定するステップを有し、
   前記連続するフレームにおける前記目標物体の間の前記距離が距離閾値未満であると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有するか、又は
   前記連続するフレームにおける前記目標物体の間の前記距離が前記距離閾値未満ではないと判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームには存在しないとの指示情報を供給するステップを有する、
   請求項５に記載のコンピュータ実施方法。
7. 前記目標物体が前記連続するフレームの前記最新のフレームには存在するが、前記連続するフレームの最も早いフレームには存在しないと判定することに応答して、当該コンピュータ実施方法は、前記最新のフレームにおける前記目標物体の予測確率を予測閾値と比較するステップを有し、
   前記予測確率が前記予測閾値を超えていると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有するか、又は
   前記予測確率が前記予測閾値を超えていないと判定することに応答して、当該コンピュータ実施方法が、前記目標物体が前記最新のフレームには存在しないとの指示情報を供給するステップを有する、
   請求項５に記載のコンピュータ実施方法。
8. 前記目標物体が前記連続するフレームの前記最も早いフレームには存在するが、前記連続するフレームの前記最も新しいフレームには存在しないと判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームにおいて境界に位置するかを判定するステップを有し、
   前記目標物体の少なくとも一部が前記境界に位置すると判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームには存在しないとの指示情報を供給するステップを有するか、又は
   前記目標物体が前記境界には位置していないと判定することに応答して、当該コンピュータ実施方法は、前記目標物体が前記最新のフレームに存在するとの指示情報を供給するステップを有する、
   請求項５に記載のコンピュータ実施方法。
9. 前記領域内の各目標物体のタイプを決定するステップ、及び前記撮像データの連続するフレームにおける各目標物体を追跡するステップを有する、請求項１から８の何れか一項に記載のコンピュータ実施方法。
10. ディスプレイに、前記放射線撮像装置カウチの表現に対して、各目標物体の検出されたタイプ及び／又は位置を表示させるステップを更に有する、請求項１から９の何れか一項に記載のコンピュータ実施方法。
11. 前記ディスプレイに、前記少なくとも１つの目標物体の前記決定された位置が前記カウチ付属品の前記示された指定された位置に対応しない場合に、該カウチ付属品が誤って配置されていることを表示させるステップを有する、請求項１０に記載のコンピュータ実施方法。
12. 前記インスタンス分割モデルが、少なくとも１つの予め定められた注釈付け原則にしたがって注釈付けされた異なる放射線撮像装置カウチ環境の複数の画像を用いて準備されたデータセットを使用してトレーニングされたマスク領域ベースの畳み込みニューラルネットワークにより実施される、請求項１から１１の何れか一項に記載のコンピュータ実施方法。
13. 少なくとも１つのプロセッサ上で実行された場合に、該少なくとも１つのプロセッサに請求項１から１２の何れか一項に記載のコンピュータ実施方法を実施させる命令を含む、有形のマシン可読媒体。
14. 処理回路を備える装置であって、前記処理回路が、
    放射線撮像装置カウチを含む領域の撮像データと、被験者による前記放射線撮像装置カウチの使用に関連する少なくとも１つのカウチ付属品の指定された数、タイプ及び位置の指示情報とを受信する受信モジュールと、
    前記領域内の少なくとも１つの目標物体のタイプ及び位置を、前記撮像データを処理するためのインスタンス分割モデルを使用して決定する決定モジュールであって、前記少なくとも１つの目標物体のタイプの決定が、該少なくとも１つの目標物体が前記指示情報により指定されたタイプのカウチ付属品であるか否かの判定を含む、決定モジュールと、
    前記指示情報により指定されたタイプのカウチ付属品であると判定された前記少なくとも１つの目標物体の前記決定された位置を、該カウチ付属品の前記示された指定された位置と比較する比較モジュールと、
    前記少なくとも１つの目標物体の前記決定された位置が前記カウチ付属品の示された指定された位置に対応しないと判定することに応答して、該カウチ付属品が誤って配置されていることを示す指示モジュールと
    を有する、装置。
15. 前記撮像データが前記領域の深さ情報を含む、請求項１から１３の何れか一項に記載の方法又は請求項１４に記載の装置。

Images