JP6357108B2 - 被写体画像ラベリング装置、方法及びプログラム - Google Patents

Description

本発明は、被写体画像内に示された被写体の構造をラベル付けるラベリング装置、ラベリング方法、及びラベリング用コンピュータプログラムに関する。

特許文献１は、医用画像内の器官を自動特定する装置を開示している。その装置は、医用画像を受信するための通信インタフェースと、少なくとも１つのプロセッサと、複数の区別可能な訓練されたデシジョンツリー（決定木）を有するデシジョンフォレストを格納するメモリとを有している。この少なくとも１つのプロセッサは、医用画像から画像要素を選択し、訓練されたデシジョンツリーの各々に該画像要素を適用して、該画像要素が複数の所定の器官分類のうちの１つを表現しているかの複数の確率を取得し、訓練されたデシジョンツリーの各々からの確率を集約し、それに応じて該画像要素に或る器官分類を割り当てる。この、複数の区別可能な訓練されたデシジョンツリーを有するデシジョンフォレストを用いた医用画像内の器官の自動特定は、計算的にかなり複雑である。
米国特許出願公開第２０１２／００１２７６８号明細書は、患者内の解剖学的臓器を特定するシステム及び方法を開示している。その方法は、複数の画像要素を含んだ患者の画像を取得し、該画像要素セグメント化して、少なくとも１つの解剖学的ランドマークによって定められる関心領域を特定し、少なくとも１つの確率的な解剖学的アトラスに基づいて確率マップを生成し、そして、確率マップを確率的分類に適用して、器官が関心領域内に位置している確率を決定することを含んでいる。
米国特許出願公開第２０１１／００９３９２１号明細書は、１つの医用画像又は一組の医用画像内で１つ以上の血管領域を解剖学的に特定するシステム及び方法を開示している。その方法は、左頸動脈、右頸動脈、及び／又は頭部の頭蓋底血管領域に属しているとして、血管構造を自動的に特定する。その方法は、医用画像を入力として用いて１つ以上の血管領域を自動的に特定する。その方法はまた、特定された１つ以上の領域のＭＩＰ表示を自動的に生成し得る。
米国特許出願公開第２００９／０２２６０６０号明細書は、患者内の解剖学的構造を特定するシステム及び方法を開示している。その方法は、一組の画像要素を含んだ患者の画像を取得するステップと、その物質に従って各画像要素を分類するよう画像をセグメント化するステップと、各画像要素の分類が正しい確率を計算するステップと、高い確率を有する画像要素で開始し、より低い確率を有する画像要素へと進んで、画像を再セグメント化するステップと、画像要素のうちの少なくとも１つを解剖学的アトラスとアライメントするステップと、解剖学的アトラスをセグメント化された画像にフィッティングするステップとを含んでいる。
Arish A Qazi等による刊行物“Probabilistic Refinement of Model-Based Segmentation：Application to Radiation Therapy Planning of the Head and Neck”、Medical Imaging and Augmented Reality、Lecture Notes in Computer Science、2010年、第6326巻、pp.403-410は、３Ｄ変形可能モデルを用いて取得されたセグメンテーションの確率的精緻化のための手法を提案している。その方法は、患者画像内でのモデルの自動的な初期化と関心解剖学的構造に対するそれらの適応化とで構成された完全に自動化されたセグメンテーションフレームワークの最終ステップとして適用される。その方法の性能が、下顎骨、脳幹及び耳下腺という頭頸部領域内の３つの重要なリスク器官のセグメンテーションによって、従来のモデルベース手法と比較されている。得られたセグメンテーションが、それらを手動での熟練者の輪郭描写と比較することによって検証されている。

米国特許出願公開第２０１１／０１８８７１５号明細書

本発明の１つの目的は、より少ない計算労力でラベル付けを行うことが可能な、被写体画像内に示された被写体の構造をラベル付けるラベリング装置、ラベリング方法、及びラベリング用コンピュータプログラムを提供することである。

本発明の第１の態様において、請求項１に従った、被写体画像内に示された被写体の構造をラベル付けるラベリング装置が提供される。このラベリング装置は、
被写体画像内の構造を表す輪郭を提供する輪郭提供ユニットと、
確率マップを提供する確率マップ提供ユニットであり、確率マップは、被写体の異なる構造を指し示す異なるラベルに関して、そして確率マップ内の異なる位置に関して、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を指し示し、該確率は確率マップ内の位置に依存する、確率マップ提供ユニットと、
確率マップ内の位置が被写体画像内の位置に割り当てられるよう、確率マップを被写体画像にマッピングするマッピングユニットと、
マッピングされた確率マップに基づいて輪郭にラベルを割り当てるラベル割当ユニットと
を有する。

確率マップ内の位置が被写体画像内の位置に割り当てられるように被写体画像にマッピングされた確率マップに基づいて輪郭にラベルが割り当てられるので、被写体の構造を、確率マップに基づいて、比較的低い計算労力で自動的にラベル付けることができる。

ラベリング装置は好ましくは更に、被写体画像と輪郭とラベルとを表示する表示ユニットを有する。

好ましくは、輪郭提供ユニットは、輪郭を提供するため、ユーザが被写体画像に輪郭を付加することを可能にするように適応される。輪郭提供ユニットは好ましくは、ユーザが被写体画像内で輪郭を描くことを可能にするグラフィカルユーザインタフェースである。故に、ユーザは、所望の輪郭を被写体画像に付加することができ、ラベリング装置が、その輪郭に適切なラベルを自動的に割り当てる。輪郭提供ユニットはまた、輪郭が既に記憶され、それから輪郭を取り出してそれを提供することができる記憶ユニットとすることができ、あるいは、輪郭提供ユニットはまた、ユーザが被写体画像に輪郭を入力することを可能にするように適応された例えば入力装置である別のユニットから輪郭を受信して、受信した輪郭を提供する受信ユニットとすることもできる。

更に好ましくは、マッピングユニットは、マッピングを実行するため、被写体画像と確率マップとを互いに対してレジストレーションするように適応される。特に、確率マップ提供ユニットは、確率マップを、確率マップとレジストレーションされているレジストレーション画像とともに提供するように適応されることができ、そのとき、マッピングユニットは、被写体画像と確率マップとを互いに対してレジストレーションするために、被写体画像をレジストレーション画像に対してレジストレーションするように適応されることができる。確率マップは、複数の被写体画像に基づいて（例えば、被写体の複数のコンピュータ断層撮影画像に基づいて）決定されているとすることができ、これらの被写体画像内では、既に、所望の輪郭が指し示されてラベル付けられている。これらの被写体画像は、確率マップ提供ユニットを訓練するためのトレーニング画像と見なすことができる。レジストレーション画像は、確率マップを決定することに使用される複数の被写体画像の平均を取ることによって生成される平均画像とすることができる。このような平均画像は生来的に、得られる確率マップにレジストレーションされており、故に、レジストレーション画像である平均画像に実際の被写体画像をレジストレーションすることによって、実際の被写体画像は確率マップに対してもレジストレーションされることになる。

好適な一実施形態において、確率マップ提供ユニットは、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率が更に画像値に依存するようにして確率マップを提供するように適応される。故に、確率は、それぞれの画素の位置だけでなく、それぞれの画素の画像値にも依存し得る。特に、確率マップが実際の被写体画像にマッピングされた後、各ラベルについて、実際の被写体画像内の各画素に、実際の被写体画像内のそれぞれの画素の位置とそれぞれの画素の例えば階調値である画像値とに依存したそれぞれの確率を割り当てることができる。画像値を更に考慮に入れることは、被写体画像の画素に割り当てられる確率の品質を高め、それにより、輪郭をラベル付ける精度を向上させることができる。

請求項１に従ったラベリング装置のラベル割当ユニットは、ａ）提供された輪郭と、輪郭に応じて画素の位置を規定する所定の規定ルールとに従って、画素の位置を規定し、ｂ）各ラベルについて、マッピングされた確率マップと規定された画素の位置とによって定められる確率に応じたラベル確率を決定し、且つｃ）最も大きいラベル確率が決定されたラベルを輪郭に割り当てるように適応されることができる。所定の規定ルールは、提供された輪郭を所与として、それぞれの輪郭のラベルを決定するために考慮されるべき画素を規定する。
例えば、所定の規定ルールは、輪郭が閉じたものである場合に、輪郭内の画素の位置を規定し、そのとき、ラベル割当ユニットは、各ラベルについて、マッピングされた確率マップと輪郭内の規定された画素の位置とによって定められる確率を積分することによって、ラベル確率として積分確率を決定するように適応されることができる。例えば、被写体画像は３次元画像とすることができ、その２次元スライスが表示ユニット上に示される。ユーザは、３次元画像をスライスごとにレビューすることができ、各スライス内で、ユーザは、後にラベル割当ユニットによって自動的にラベル付けられるものである１つ以上の輪郭を描くことができる。輪郭にラベルを割り当てるため、ラベル割当ユニットは、各ラベルについて、輪郭によって囲まれた領域全体でそれぞれのラベルに割り当てられた確率の積分を計算するように適応されることができる。それぞれの輪郭に、最も大きい積分確率が計算されたラベルが割り当てられる。

一実施形態において、確率マップ提供ユニットは、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率が更に画像値に依存するようにして確率マップを提供するように適応され、ラベル割当ユニットは、各ラベルについて、マッピングされた確率マップと、規定された画素の位置と、これら規定された位置における被写体画像の画像値とによって定められる確率に応じたラベル確率を決定するように適応される。また、この実施形態において、所定の規定ルールは、輪郭が閉じたものである場合に、輪郭内の画素の位置を規定することができ、ラベル割当ユニットは、各ラベルについて、マッピングされた確率マップと、閉じた輪郭内の規定された画素の位置と、これら規定された位置における被写体画像の画像値とによって定められる確率を積分することによって、ラベル確率として積分確率を決定するように適応されることができる。故に、この実施形態において、積分確率は、輪郭内の画素の位置だけでなく、輪郭内の画素の特には階調値である画像値にも依存する。各ラベルについて、輪郭内の各画素に確率が割り当てられ、それぞれの確率は、被写体画像内のそれぞれの画素の位置とそれぞれの画素のそれぞれの画像値とによって定められ、また、それぞれの確率は、マッピングされた確率マップによって提供される。画像値を更に考慮に入れることは、それぞれの輪郭をラベル付ける精度を高める。

所定の規定ルールはまた、輪郭によって横切られる画素及び輪郭の近傍の画素の位置を規定することができる。確率マップは実際の被写体画像にマッピングされているので、これらの規定された位置の各々に確率が割り当てられる。この確率は場合により、それぞれの位置だけでなく、それぞれの位置の画素の画像値にも依存する。輪郭を包囲する領域を決定して、該領域内で最も大きい確率値を有するラベルを決定することができる。この領域は、輪郭を画成する線に対して所定の距離で定めることができ、この距離以内にある被写体画像の全ての位置が考慮される。この所定の距離は、ボクセル又はピクセルである画素の単位での所定の距離とし得る。ラベル割当ユニットはまた、この領域に関して最も大きい積分確率を有するラベルを決定して、このラベルを輪郭に割り当てるように適応されることができる。

一実施形態において、確率マップ提供ユニットは、確率マップを決定して、決定した確率マップを提供するように適応され、確率マップ提供ユニットは、ａ）それぞれの画像内の少なくとも一部の位置にラベルが割り当てられている、ラベル付けられた輪郭を含んだ被写体の複数の画像を受信し、且つｂ）受信した、ラベル付けられた輪郭を含んだ複数の画像、に基づいて確率マップを決定するように適応される。特に、確率マップ提供ユニットは、各ラベル及び画像内の各位置について、画像内のそれぞれの位置でのそれぞれのラベルの出現数を決定し、且つ決定された出現数に基づいて、異なるラベル及び異なる位置について、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を決定することによって、確率マップを決定するように適応される。受信される複数の画像は、医師のようなユーザによって輪郭描写されてラベル付けられるとともに確率マップを決定するために確率マップ提供ユニットによって使用されるトレーニング画像とすることができる。この新たに決定された確率マップはまた、既存の確率マップを更新するために、既存の確率マップと結合されることができる。

一実施形態において、確率マップ提供ユニットは、提供された輪郭を有する被写体画像に基づいて、中間確率マップを決定し、且つ中間確率マップに基づいて、提供された確率マップを更新するように適応される。故に、実際の被写体画像を用いて確率マップを更新することができる。斯くして、ユーザは、対応する輪郭及び対応する新たなラベルを実際の被写体画像に追加することによって新たなラベルを確率マップに追加することができ、確率マップ提供ユニットは、新たなラベルを持つ輪郭を有する実際の被写体画像に基づいて中間確率マップを決定し、中間確率マップに基づいて、提供された確率マップを更新することができ、それにより、得られた更新後の確率マップもこの新たなラベルを有するようになる。

更に好ましくは、輪郭提供ユニットは、被写体画像に複数の輪郭を提供するように適応され、ラベル割当ユニットは、マッピングされた確率マップに基づいて各輪郭にラベルを割り当てるように適応され、ラベリング装置は更に、同じラベルを有する輪郭同士を集める集約ユニットを有することができる。換言すれば、幾つかの輪郭に同じラベルを割り当てて、複数の輪郭が被写体画像に提供される場合、特に、ユーザが被写体画像内で複数の輪郭を描いた場合、集約ユニットは、同じラベルを有するこれらの輪郭を統合することができる。ラベリング装置は更に、輪郭に割り当てられたラベルをユーザが修正することを可能にする訂正ユニットを有することができる。

本発明の更なる一態様において、請求項１３に従った、被写体画像内に示された被写体の構造をラベル付けるラベリング方法が提供される。このラベリング方法は、
輪郭提供ユニットにより、被写体画像内の構造を表す輪郭を提供するステップと、
確率マップ提供ユニットにより、確率マップを提供するステップであり、確率マップは、被写体の異なる構造を指し示す異なるラベルに関して、そして確率マップ内の異なる位置に関して、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を指し示し、該確率は確率マップ内の位置に依存する、ステップと、
マッピングユニットにより、確率マップ内の位置が被写体画像内の位置に割り当てられるよう、確率マップを被写体画像にマッピングするステップと、
ラベル割当ユニットにより、マッピングされた確率マップに基づいて輪郭にラベルを割り当てるステップと
を有する。ラベルを割り当てることは、
提供された輪郭と、輪郭に応じて画素の位置を規定する所定の規定ルールとに従って、画素の位置を規定し、
各ラベルについて、マッピングされた確率マップと規定された画素の位置とによって定められる確率に応じたラベル確率を決定し、且つ
最も大きいラベル確率が決定されたラベルを輪郭に割り当てる
ことを有する。

本発明の更なる一態様において、被写体画像内に示された被写体の構造をラベル付けるためのラベリング用コンピュータプログラムが提供される。このラベリング用コンピュータプログラムは、請求項１に記載のラベリング装置を制御するコンピュータ上で当該ラベリング用コンピュータプログラムが実行されるときに、ラベリング装置に請求項１３に記載のラベリング方法のステップを実行させるプログラムコードを有する。

理解されるべきことには、請求項１に係るラベリング装置、請求項１３に係るラベリング方法、及び請求項１４に係るラベリング用コンピュータプログラムは、特には従属請求項に記載されるような、類似及び／又は同様の好適実施形態を有する。

理解されるべきことには、本発明の好適実施形態はまた、それぞれの独立請求項との従属請求項の如何なる組み合わせともし得る。

本発明のこれら及びその他の態様が、以下に記載される実施形態を参照して明らかになる。

被写体画像内に示された被写体の構造をラベル付けるラベリング装置の一実施形態を模式的且つ例示的に示す図である。 ラベル付けられた構造を有する被写体画像の２次元ビューを模式的且つ例示的に示す図である。 ラベル付けられた構造を有する被写体画像の別の２次元ビューを模式的且つ例示的に示す図である。 被写体画像内に示された被写体の構造をラベル付けるラベリング方法の一実施形態を例示的に示すフローチャートである。

図１は、被写体画像内に示された被写体の構造をラベル付けるラベリング装置の一実施形態を模式的且つ例示的に示している。この実施形態において、被写体は或る人物であり、被写体画像は、３次元コンピュータ断層撮影画像、３次元磁気共鳴画像、又は他の撮像モダリティによって取得される３次元画像のような、その人物の３次元被写体画像である。

ラベリング装置１は、被写体画像内の構造を表す輪郭を提供する輪郭提供ユニット２を含んだ処理（プロセッシング）装置８を有している。輪郭提供ユニット２は、マウス、キーボード、タッチパッドなどのような入力ユニット７を介してユーザが被写体画像内で１つ以上の輪郭を描くことを可能にするグラフィカルユーザインタフェースである。

図２は、３次元画像のフォーマット変更（リフォーマット）された２次元画像ビュー１８を模式的且つ例示的に示しており、このリフォーマット２次元ビュー内には、２次元輪郭９−１３がユーザによって輪郭提供ユニット２を介して描かれている。図３は、３次元画像のフォーマット変更された別の２次元ビュー１９を模式的且つ例示的に示しており、このビュー内ではユーザが更なる輪郭１４−１７を描いている。

処理装置８は更に、３次元確率マップを提供する確率マップ提供ユニット３を有している。確率マップは、現在の被写体種類に関して、被写体の異なる構造を指し示す異なるラベルに関して、そして確率マップ内の様々な位置に関して、それぞれの構造、すなわち、それぞれの構造の部分がそれぞれの位置に存在している確率を指し示し、その確率は確率マップ内の位置に依存する。この実施形態において、確率マップは、膀胱、直腸、前立腺、右大腿骨及び左大腿骨である少なくとも５つの構造に関する確率を有する。故に、この実施形態においては、確率マップ内の各点に対して、少なくとも５つの確率値が割り当てられ、それぞれの確率値が、それぞれの位置にそれぞれの構造が存在する確率を指し示す。

確率マップは好ましくは、ラベル付けられるべき輪郭を有する被写体画像と同じ空間範囲を有する。故に、例えば、確率マップ提供ユニットは、撮像される被写体の異なる領域及び／又は空間範囲に対応する幾つかの確率マップを有することができ、或る特定の空間範囲において被写体の或る特定の領域を示す所与の被写体画像に対して、対応する確率マップを提供することができる。

処理装置８は更に、３次元確率マップ内の位置が３次元被写体画像内の位置に割り当てられるように３次元確率マップを３次元被写体画像にマッピングするマッピングユニット４を有している。好ましくは、マッピングユニット４は、マッピングを実行するために、３次元被写体画像と３次元確率マップとを互いに対してレジストレーションするように適応される。レジストレーションは、被写体画像及び確率マップが互いに合致するようにする被写体画像及び／又は確率マップの平行移動、回転及び／又はデフォーメイション（ゆがませること）を含むことができる。

この実施形態において、確率マップ提供ユニット３は、確率マップを、該確率マップとレジストレーションされているレジストレーション画像とともに提供する
ように適応され、マッピングユニット４は、被写体画像と確率マップとを互いに対してレジストレーションするために、被写体画像をレジストレーション画像に対してレジストレーションするように適応される。マッピングユニット４は、被写体画像をレジストレーション画像とレジストレーションするために、例えば、ロバストな画像レジストレーション技術又は手動での画像レジストレーション技術を実行することができる。確率マップは好ましくは、ラベル付けられた輪郭を有する複数のトレーニング（訓練）画像に基づいて決定されている。レジストレーション画像は好ましくは、これらのトレーニング画像の平均である平均画像であり、該平均画像は好ましくは、これら異なるトレーニング画像の対応し合う画素の画像値の平均を取ることによって計算されている。

マッピングユニット４は、レジストレーション画像と変形（トランスフォーメイション）された被写体画像との対応し合う画素の画像値間のズレが最小化されるよう、被写体画像を変形するよう適応されることができる。例えば、レジストレーション画像内及び変形された被写体画像内の対応し合う画素の各対について画像値の二乗差を計算することができ、レジストレーション画像及び変形された被写体画像の対応し合う画素の各対について計算される差の総和が最小化されるように被写体画像を変形することができる。

マッピングユニットが確率マップを被写体画像にマッピングした後、３次元被写体画像内の各位置に対して、複数の異なるラベルに対応する複数の確率値が割り当てられる。３次元被写体画像内の位置へのこれらの確率値の割り当ては、各輪郭９−１７にラベルを割り当てるラベル割当ユニット５によって使用される。

この実施形態において、異なるラベルは、各色が特定の構造を指し示す異なる色であり、例えば、赤色が膀胱を指し示し、緑色が直腸を指し示し、黄色が前立腺を指し示し、青緑色が右大腿骨を指し示し、そして薄青色が左大腿骨を指し示す。

確率マップ提供ユニット３は好ましくは、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在する確率が、さらに、それぞれの位置における被写体画像の画素の画像値に依存するように、確率マップを提供するよう適応される。
また、ラベル割当ユニット５は、ａ）提供された輪郭と、輪郭に応じて画素の位置を規定する所定の規定ルールとに従って画素の位置を規定し、ｂ）マッピングされた確率マップと規定された画素の位置とによって定められる確率に応じて、各ラベルに対して、ラベル確率を決定し、そして、ｃ）最も大きいラベル確率が決定されたラベルをその輪郭に割り当てるように適応される。上記所定の規定ルールは、画素の位置をそれぞれの輪郭内で規定し、ラベル割当ユニット５は、各ラベルについて、マッピングされた確率マップと、閉じた輪郭内で規定された画素の位置と、閉じた輪郭内のこれら規定された位置における被写体画像の画像値とによって定められる確率を積分することによって、ラベル確率として積分確率を決定するよう適応される。故に、それぞれの輪郭内の画素に対して、それぞれのラベルに関して、被写体画像内のそれぞれの画素の位置とこのそれぞれの画素の画像値とに依存する確率が割り当てられ、ここで、それぞれの確率はマッピングされた確率マップ内で定められる。

例えば、輪郭９に関する膀胱を指し示すラベルについての積分確率を計算するために、輪郭９内の画素に割り当てられる膀胱に関する全ての確率が足し合わされる。その他のラベルについても、すなわち、この実施形態においては直腸、前立腺、右大腿骨及び左大腿骨であるその他の構造についても、対応する積分確率が決定される。故に、この例において、５つの積分確率が輪郭９に関して計算され、最も大きい積分確率が計算されたラベルが輪郭９に割り当てられる。この例においては、右大腿骨を指し示すラベルとしての青緑色が輪郭９に割り当てられる。また、その他の輪郭１０−１７に関しても積分確率が決定され、それぞれの輪郭１０−１７に割り当てられるべきラベルを決定するために、各輪郭１０−１７に関する最も大きい積分確率が決定される。この例においては、輪郭１１、１５は膀胱を指し示す赤色ラベルで色付けられ、輪郭１７は直腸を指し示す緑色ラベルで色付けられ、輪郭１２は前立腺を指し示す黄色ラベルで色付けられ、輪郭９、１０、１４は右大腿骨を指し示す青緑色ラベルで色付けられ、そして、輪郭１３、１６は左大腿骨を指し示す薄青色ラベルで色付けられる。

或る実施形態において輪郭が閉じていない場合、上記所定の規定ルールはまた、それぞれの輪郭によって横切られる画素及びそれぞれの輪郭の近傍の画素の位置を規定することができる。そして、各ラベルについて、これらの規定された画素の位置に関して、そして必要に応じてこれらの位置の画素の画像値に関して、ラベル確率を決定することができる。規定される位置は、その輪郭を包囲する領域内の位置とすることができ、その領域に関して最も大きい確率を有するラベルを決定することができる。領域は、輪郭を描写する線に対して所定の距離によって定められることができ、この距離以内にある被写体画像の全ての位置が考慮される。この所定の距離は、ボクセル又はピクセルである画素の単位での所定の距離とし得る。

処理装置８は更に、同じラベルを有する輪郭同士を集める集約ユニット２０を有している。例えば、３次元被写体画像の複数の異なる２次元ビュー内で、ユーザが幾つかの２次元輪郭を入力していることがあり得る。集約ユニット２０は、その場合、同じラベルが決定された２次元輪郭同士をそれぞれのラベルによってラベル付けられる１つの３次元構造へと統合するように適応されることができる。

さらに、処理装置８は、輪郭に割り当てられたラベルをユーザが修正することを可能にする訂正ユニット２１を有している。訂正ユニット２１は好ましくは、ラベル割当ユニット５によって輪郭に自動割り当てされた（この実施形態においては）色をユーザが入力ユニット７を介して修正することを可能にするグラフィカルユーザインタフェースである。ラベルはまた、色ひいては輪郭に割り当てられる名前であると考えることができ、ユーザは、特定の輪郭に割り当てられたラベルを、その輪郭に割り当てられた名前を変更することによって修正することができる。例えば、ラベル割当ユニット５が特定の輪郭にラベル“右大腿骨”を割り当てているが、ユーザは対応する構造を膀胱として特定する場合、ユーザは対応するラベルを“膀胱”に補正することができる。

ラベリング装置１は更に、被写体画像、すなわち、例えば２次元ビュー１８、１９、輪郭９−１７及びラベルを表示する表示ユニット６を有している。この実施形態において、ラベルは輪郭９−１７の色であり、故に、色を付けた輪郭９−１７を表示することでラベルも示される。

一実施形態において、確率マップ提供ユニット３は、確率マップを決定し、且つ決定した確率マップを提供するように適応され、このとき、確率マップ提供ユニットは、ａ）それぞれの画像内の少なくとも一部の位置にラベルが割り当てられるようにしてラベル付けられた輪郭を含んだ、被写体の複数の画像を受信し、且つｂ）ラベル付けられた輪郭を有するこれら複数の受信画像に基づいて、確率マップを決定するように適応される。具体的には、確率マップ提供ユニット３は、各ラベル及びこれらの画像内の各位置について、画像内のそれぞれの位置でのそれぞれのラベルの出現数を決定し、且つ、決定された出現数に基づいて、様々なラベル及び様々な位置について、それぞれのラベルによって指し示されるものであるそれぞれの構造がそれぞれの位置に存在する確率を決定することによって、確率マップを決定するように適応される。好ましくは相互にレジストレーションされる複数の受信画像は、医師のようなユーザによって輪郭描写されてラベル付けられるとともに確率マップを決定するために確率マップ提供ユニットによって使用される画像、特にはトレーニング画像、とすることができる。この新たに決定された確率マップはまた、既存の確率マップを更新するために、既存の確率マップと結合されることができる。

具体的には、確率マップ提供ユニット３は、各ラベルについて、受信した複数の画像内でそれぞれのラベルに割り当てられている画像値のヒストグラムを決定するように適応されることができる。そして、特定のラベルを所与として、或る特定の画像値が存在する確率を、該所与のラベルに関して決定されたヒストグラムに基づいて決定することができる。例えば、所与のラベルに関して決定されたヒストグラムが正規化され、正規化されたヒストグラムが直接的に、それぞれのラベルが与えられた画像値に関する確率を提供し得る。さらに、受信した複数の画像内の各位置について各ラベルの出現数を決定することができ、決定された出現数に基づいて、被写体画像内の特定の位置を所与としたラベルの確率を決定することができる。具体的には、各位置について出現数を正規化して、同じ位置について様々なラベルに関して決定された正規化された出現数の総和が１になるようにすることができる。特定のラベル及び特定の位置について決定された正規化された出現数は、その特定の位置が与えられた場合に、その特定のラベルの確率であると見なすことができる。確率マップ提供ユニット３は、特定の位置が与えられた場合の特定のラベルの確率と、特定のラベルが与えられた場合の特定の画像値の確率との積を提供することによって、確率マップを提供するように適応されることができる。故に、確率マップは、これら２つの異なる条件付き確率を格納することによって、確率マップ提供ユニット３内に保管されることができる。

確率マップ提供ユニット３はまた、実際の被写体画像内の輪郭に割り当てられた新たなラベルを、既存の確率マップに組み入れるように適応されることができる。具体的には、確率マップ提供ユニット３は、提供された輪郭を有する被写体画像に基づいて中間確率マップを決定し、中間確率マップに基づいて、提供された確率マップを更新するように適応されることができる。例えば、新たなラベルを有する輪郭のみが実際の被写体画像に対して追加されている場合、その輪郭の外側の位置では確率は０（ゼロ）であり、その輪郭内の位置では確率は１であるとして、特定の位置が与えられた場合にラベルの確率を決定することができる。この確率を考慮して既存の確率マップを更新するため、各位置に関して、中間確率マップによって提供される新たなラベルの確率を第１の重みによって重み付け、既存の確率マップによって提供される既存のラベルの確率を第２の重みによって重み付けることができ、これら２つの確率マップの重み付けられた確率を、これらの和が１になるように正規化することができる。これにより得られる正規化確率が、更新後の確率マップの確率であり、これらの確率は、特定の位置が与えられる場合に、もはや上記新たなラベルともし得る特定のラベルに関する確率を定めるものである。第１の重みは好ましくは、第２の重みより小さくされる。第１の重み及び第２の重みは、第１の重みが第２の重みの所定数分の１であるように予め定められることができ、あるいは、第２の重みは１として、第１の重みは、既存の確率マップによってそれぞれの位置で或るラベルに割り当てられている最小の確率と同等とすることもできる。ラベルが与えられる場合に画像値に関する確率を考慮して既存の確率マップを更新するには、新たなラベルを有する輪郭を含んだ実際の被写体画像から決定された新たなラベルに関する画像値の正規化されたヒストグラムが、既存の確率マップに追加される。更新後の既存の確率マップは、位置が与えられた場合のそれぞれのラベルに関する確率と、ラベル（もはや、新たなラベルも含まれる）が与えられた場合の画像値に関する確率との積を提供する。

続いて、図４に示すフローチャートを参照して、被写体画像内に示された被写体の構造をラベル付けるラベリング方法の一実施形態を例として説明する。

ステップ１０１にて、輪郭提供ユニットにより、被写体画像内の構造を表す輪郭が提供される。具体的には、輪郭提供ユニットは、キーボード、マウス、タッチパッドなどのような入力ユニットを介してユーザが被写体画像内で１つ以上の輪郭を描くことを可能にするグラフィカルユーザインタフェースである。好ましくは、被写体画像は３次元画像であり、３次元画像のフォーマット変更された２次元画像ビューが表示ユニット上に示されて、ユーザは３次元画像内で２次元輪郭を描くことができる。

ステップ１０２にて、確率マップ提供ユニットにより、確率マップが提供される。確率マップは、被写体の異なる構造を指し示すものである異なるラベルに関して、そして確率マップ内の様々な位置に関して、それぞれのラベルによって指し示されるものであるそれぞれの構造がそれぞれの位置に存在している確率を指し示す。ステップ１０３にて、マッピングユニットにより、確率マップ内の位置が被写体画像内の位置に割り当てられ、それにより、被写体画像内のそれらの位置に確率が割り当てられるように、確率マップが被写体画像にマッピングされる。ステップ１０４にて、ラベル割当ユニットにより、マッピングされた確率マップに基づいて、ステップ１０１で提供された１つ又は複数の輪郭にラベルが割り当てられる。ステップ１０５にて、表示ユニット６により、割り当てられたラベルが被写体画像及び輪郭とともに表示される。

数多くの用途が、３次元医用画像のスライスごとの解剖学的臓器の正確な輪郭描写に基づいている。放射線治療プランニング（ＲＴＰ）においては、治療ビームを最適化するために、３次元のコンピュータ断層撮影画像及び磁気共鳴画像の中でのリスク器官（危険にさらされる恐れがある器官）及び腫瘍の輪郭描写が用いられている。輪郭描写は、治療プランニングシステムへの入力の一部であり、理想的には自動システムから取得される。しかしながら、自動システムは、低い画像コントラストや、患者間で大きく異なる画像コントラストや、大きい形状バラつきや、例えば失った臓器やインプラントなどによって引き起こされる通常で内生体構造、又はその他の理由に起因して、或る一定の器官又は或る一定の患者に対して失敗することがある。そのような器官／領域の例は、耳下腺、頸部の節レベル、精嚢、及びその他である。さらには、一部のユーザは、手動で輪郭描写を行うことや、他の施設では通常は輪郭描写されない更なる構造を輪郭描写することを好むことがある。

一般に、既知のシステムにおいては、器官又はその一部のような解剖学的構造を手動で輪郭描写するために、幾らかのユーザインタラクションが必要である。例えば、各解剖学的構造に対し、ユーザは、ラベル付けステップにて、それぞれの解剖学的構造に対して名前を入力する。そして、輪郭描写ステップにて、ユーザは３次元画像のうちの２次元スライス及び所望のコントラスト、例えば所望のウインドウ及びレベル、を選択し、描画ツールを用いて輪郭を描写する。この輪郭描写ステップは、３次元画像の全ての２次元スライス内で所望の解剖学的構造が描写されるまで、何度も繰り返され得る。ユーザが１つのスライス内で複数の器官を輪郭描写することを望む場合、ユーザは典型的に、１つの器官の全てのスライスをスクロールしてそれらを輪郭描写してから、次の器官の輪郭描写を開始する。これは、満足のいかないものになり得る。何故なら、同じスライス内で複数の器官が視認されることがしばしばであり、それらは有利には同時に輪郭描写され得るものであるからである。時折、難しいコントラストを有する器官を完了する前に、その他の器官の一部を輪郭描写することが助けとなり、例えば、前立腺の尖を探している間に、直腸の一部を輪郭描写することがある。また、ユーザは、どの器官を輪郭描写すべきか決定しなければならず、被写体画像内の生体構造を見て検討することに代えて、メニューを用いたラベル付け及びインタラクションを考える。また、既知のラベリングシステムのこれらラベル付け及び輪郭描写のステップは、非常に時間を消費するものである。

対照的に、図１−３を参照して上述したラベリング装置は、ラベルを、ユーザによって描かれた輪郭に自動的に付するように適応されている。故に、例えば解剖学的領域又は解剖学的器官といったものの輪郭描写が、より容易で単純なものになる。ユーザは、関心構造を見てすぐに輪郭を描き始めることができる。ラベリング装置によって、ラベルを構成することができ、また、新たなラベルを学習することができる。同じラベルと有する輪郭は同じ器官に属し、自動的に共に集められる。このラベリング装置は、最も確からしいラベルを輪郭に帰するものとする。しかしながら、ユーザは常に、訂正ユニットを用いることによって、訂正を行うことができる。

このラベリング装置は、検討中の被写体画像の近似的なセグメンテーションを利用することができる。このセグメンテーションは、３次元確率マップを被写体画像にマッピングすることによって得ることができる。マッピングは、ロバスト画像レジストレーションによって、あるいは被写体画像内でランドマークが手動で指し示されて確率マップとのレジストレーションに用いられる手動レジストレーションによって、あるいは既に描かれた輪郭をアトラスとレジストレーションすることによって、計算され得る。レジストレーションは単におおまかなものあってもよい。確率マップは、被写体画像内の任意のラベルの確率を指し示し、製造元によってオフラインで、あるいは、例から、特にはユーザによって輪郭描写及びラベリングされた新たな構造から、オンラインで訓練され得る。ユーザによって作成された各２次元輪郭に対して、最も高い確率を有するラベルがその輪郭に帰するものとされる。輪郭が閉じたものである場合、その輪郭の内部で最も高い積分確率を有するラベルが付される。輪郭が閉じていない場合、その輪郭の近くで最も高い確率を有するラベルが付され得る。輪郭は、特に二値マスクを作成することができる限り、３次元画像の如何なるリフォーマット２次元ビュー内で作成されてもよい。とりわけ、ユーザは、輪郭を作成するために、選択されたデータセットのアキシャルビュー、コロナルビュー又はサジタルビューを選択し得る。

このラベリング装置は、フィリップス社からのＰｉｎｎａｃｌｅ^３のような放射線治療プランニングワークステーションに統合されることができる。このラベリング装置はまた、無線周波数焼灼プランニングシステム、生検プランニングシステム、手術プランニングシステムなどのような、手動輪郭描写を必要とする画像ガイド下インターベンションシステムに統合あるいは併用されることも可能である。

上述の実施形態においては、膀胱、直腸、前立腺などのような特定の解剖学的構造に言及してきたが、このラベリング装置及びラベリング方法は、その他の解剖学的構造をラベル付けるように適応されることもできる。

上述の実施形態においては、被写体は人物であり、その人物の構造がラベル付けられているが、他の実施形態においては、被写体は動物又は技術的な物体とすることもでき、それぞれ、このラベリング装置及びラベリング方法は動物又は技術的な物体の構造をラベル付けるように適応されることができる。

図面、明細書及び特許請求の範囲の学習から、請求項に記載の発明を実施しようとする当業者によって、開示した実施形態へのその他の変形が理解・達成され得る。

請求項において、用語“有する”はその他の要素又はステップを排除するものではなく、不定冠詞“ａ”若しくは“ａｎ”は複数であることを排除するものではない。

単一のユニット又は装置が、請求項に記載された複数のアイテムの機能を果たしてもよい。特定の複数の手段が相互に異なる従属請求項に記載されているという単なる事実は、それらの手段の組合せが有利に使用され得ない、ということを指し示すものではない。

１つ又は複数のユニット又は装置によって実行される、輪郭若しくは確率マップを提供する提供ステップのようなステップ、又は確率マップの被写体画像へのマッピングを計算したりラベルを輪郭に割り当てたりする計算ステップのようなステップは、その他の数のユニット又は装置によって実行されることができる。例えば、ステップ１０１−１０４は、単一のユニットによって実行されてもよいし、その他の数の異なるユニットによって実行されてもよい。これらのステップ、特に、提供ステップ及び／又は計算ステップ、及び／又はラベリング方法に従ったラベリング装置の制御は、コンピュータプログラムのプログラムコード手段として、且つ／或いは専用ハードウェアとして実装されることができる。

コンピュータプログラムは、他のハードウェアとともに供給されるか、あるいは他のハードウェアの部分として供給されるかする例えば光記憶媒体又は半導体媒体などの好適な媒体上で格納／配信され得るが、例えばインターネット又はその他の有線若しくは無線の遠隔通信システムを介してなど、その他の形態で配信されてもよい。

請求項中の参照符号は、範囲を限定するものとして解されるべきでない。

本発明は、被写体画像内に示された被写体の構造をラベル付けるラベリング装置に関する。確率マップ提供ユニットが確率マップを提供し、確率マップは、被写体の異なる構造を指し示す異なるラベルに関して、そして確率マップ内の様々な位置に関して、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を指し示し、その確率は確率マップ内の位置に依存する。確率マップはマッピングユニットによって被写体画像にマッピングされ、ラベル割当ユニットが、マッピングされた確率マップに基づいて、被写体内の構造を表す提供された輪郭にラベルを割り当てる。これは、被写体画像内の提供された輪郭によって指し示された被写体の構造を、比較的低い計算労力で自動的にラベル付けることを可能にする。

Claims (14)

1. 被写体画像内に示された被写体の構造をラベル付けるラベリング装置であって、
   前記被写体画像内の構造を表す輪郭を提供する輪郭提供ユニットと、
   確率マップを提供する確率マップ提供ユニットであり、前記確率マップは、前記被写体の異なる構造を指し示す異なるラベルに関して、そして前記確率マップ内の異なる位置に関して、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を指し示し、該確率は前記確率マップ内の位置に依存する、確率マップ提供ユニットと、
   前記確率マップ内の位置が前記被写体画像内の位置に割り当てられるよう、前記確率マップを前記被写体画像にマッピングするマッピングユニットと、
   前記マッピングされた確率マップに基づいて、前記輪郭提供ユニットにより提供された前記輪郭にラベルを割り当てるラベル割当ユニットであり、
   提供された前記輪郭と、輪郭に応じて画素の位置を規定する所定の規定ルールとに従って、画素の位置を規定し、
   各ラベルについて、前記マッピングされた確率マップと前記規定された画素の位置とによって定められる確率に応じたラベル確率を決定し、且つ
   最も大きいラベル確率が決定されたラベルを前記輪郭に割り当てる
   ように適応されているラベル割当ユニットと、
   を有するラベリング装置。
2. 前記輪郭提供ユニットは、前記輪郭を提供するため、ユーザが前記被写体画像に輪郭を付加することを可能にするように適応されている、請求項１に記載のラベリング装置。
3. 前記マッピングユニットは、前記マッピングを実行するため、前記被写体画像と前記確率マップとをレジストレーションするように適応されている、請求項１に記載のラベリング装置。
4. 前記確率マップ提供ユニットは、前記確率マップを、前記確率マップとレジストレーションされているレジストレーション画像とともに提供するように適応され、前記マッピングユニットは、前記被写体画像と前記確率マップとをレジストレーションするために、前記被写体画像を前記レジストレーション画像に対してレジストレーションするように適応されている、請求項３に記載のラベリング装置。
5. 前記確率マップ提供ユニットは、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している前記確率が更に画素値に依存するようにして前記確率マップを提供するように適応されている、請求項１に記載のラベリング装置。
6. 前記所定の規定ルールは、前記輪郭が閉じたものである場合に、前記輪郭内の画素の位置を規定し、前記ラベル割当ユニットは、各ラベルについて、前記マッピングされた確率マップと前記輪郭内の前記規定された画素の位置とによって定められる確率を積分することによって、前記ラベル確率として積分確率を決定するように適応されている、請求項１に記載のラベリング装置。
7. 前記確率マップ提供ユニットは、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している前記確率が更に画素値に依存するようにして前記確率マップを提供するように適応され、前記ラベル割当ユニットは、各ラベルについて、前記マッピングされた確率マップと、前記規定された画素の位置と、これら規定された位置における前記被写体画像の画素値とによって定められる確率に応じた前記ラベル確率を決定するように適応されている、請求項１に記載のラベリング装置。
8. 前記所定の規定ルールは、前記輪郭が閉じたものである場合に、前記輪郭内の画素の位置を規定し、前記ラベル割当ユニットは、各ラベルについて、前記マッピングされた確率マップと、閉じた前記輪郭内の前記規定された画素の位置と、これら規定された位置における前記被写体画像の画素値とによって定められる確率を積分することによって、前記ラベル確率として積分確率を決定するように適応されている、請求項７に記載のラベリング装置。
9. 前記所定の規定ルールは、前記輪郭が閉じていない場合に、前記輪郭によって横切られる画素及び前記輪郭の近傍の画素の位置を規定する、請求項１に記載のラベリング装置。
10. 前記確率マップ提供ユニットは、確率マップを決定して、決定した確率マップを提供するように適応され、前記確率マップ提供ユニットは、
    それぞれの画像内の少なくとも一部の位置にラベルが割り当てられている、ラベル付けられた輪郭を含んだ前記被写体の複数の画像を受信し、
    受信した、前記ラベル付けられた輪郭を含んだ前記複数の画像、に基づいて前記確率マップを決定する
    ように適応されている、請求項１に記載のラベリング装置。
11. 前記確率マップ提供ユニットは、
    各ラベル及び前記画像内の各位置について、前記画像内のそれぞれの位置でのそれぞれのラベルの出現数を決定し、且つ
    決定された前記出現数に基づいて、異なるラベル及び異なる位置について、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を決定する
    ことによって、前記確率マップを決定するように適応されている、請求項１０に記載のラベリング装置。
12. 前記確率マップ提供ユニットは、提供された前記輪郭を有する前記被写体画像に基づいて、中間確率マップを決定し、且つ前記中間確率マップに基づいて、提供された前記確率マップを更新するように適応されている、請求項１に記載のラベリング装置。
13. 被写体画像内に示された被写体の構造をラベル付けるラベリング方法であって、
    輪郭提供ユニットにより、前記被写体画像内の構造を表す輪郭を提供するステップと、
    確率マップ提供ユニットにより、確率マップを提供するステップであり、前記確率マップは、前記被写体の異なる構造を指し示す異なるラベルに関して、そして前記確率マップ内の異なる位置に関して、それぞれのラベルによって指し示されるそれぞれの構造がそれぞれの位置に存在している確率を指し示し、該確率は前記確率マップ内の位置に依存する、ステップと、
    マッピングユニットにより、前記確率マップ内の位置が前記被写体画像内の位置に割り当てられるよう、前記確率マップを前記被写体画像にマッピングするステップと、
    ラベル割当ユニットにより、前記マッピングされた確率マップに基づいて、前記輪郭提供ユニットにより提供された前記輪郭にラベルを割り当てるステップであり、
    提供された前記輪郭と、輪郭に応じて画素の位置を規定する所定の規定ルールとに従って、画素の位置を規定し、
    各ラベルについて、前記マッピングされた確率マップと前記規定された画素の位置とによって定められる確率に応じたラベル確率を決定し、且つ
    最も大きいラベル確率が決定されたラベルを前記輪郭に割り当てる
    ことを有する割り当てるステップと、
    を有するラベリング方法。
14. 被写体画像内に示された被写体の構造をラベル付けるためのラベリング用コンピュータプログラムであって、当該ラベリング用コンピュータプログラムは、請求項１に記載のラベリング装置を制御するコンピュータ上で当該ラベリング用コンピュータプログラムが実行されるときに、前記ラベリング装置に請求項１３に記載のラベリング方法のステップを実行させるプログラムコードを有する、ラベリング用コンピュータプログラム。

Images