JP5837604B2 - 幾何学的特徴の自動算出方法、非一時的なコンピュータ可読媒体および画像解釈システム - Google Patents

Description

関連出願の相互参照
本願は、２０１０年１１月２日に提出された米国仮出願第６１／４０９，１４４の利点を主張するものであり、それらはすべて本明細書に参照として組み込まれる。

本開示は、デジタル医用画像を自動的に解釈するシステムおよび技術に関し、より詳細には、解釈されたデジタル画像に基づいて幾何学的特徴を自動的に算出するシステムおよび技術に関する。

Ｘ線が解剖学的な異常を判断するために最初に使用された当時から画像解釈の分野は大きく発展してきた。画像解釈ハードウェアは、磁気共鳴画像法（ＭＲＩ）スキャナ、コンピュータ断層撮影法（ＣＴ）スキャナなどの新型装置の形状で進歩してきた。デジタル医用画像は、ＣＴスキャナ、ＭＲＩなどのスキャナから得た生の画像データを用いて構成される。デジタル医用画像は、典型的に、画素素子からなる２次元（２Ｄ）画像または体素（ボクセル）からなる３次元（３Ｄ）画像のいずれかである。そのような現代の医用スキャナによって作成された大量の画像データのため、特定の疾患の判定に対する何らかの関連した洞察を提供するために、スキャンされた医用画像を解釈する処理の一部または全部を自動化できる画像処理技術を開発する必要が以前から存在し、依然として今も存在している。

幾何学的測定は、疾患または疾患の重症度の診断において支援を行うための検査分析ツールとして広く使用されている。頻繁に行われている測定の一例は、心胸郭比（ＣＴＲ）の演算であり、それによって循環器に関係する疾患の判断を容易にし、患者の臨床状態の監視を支援する。例えば、ＣＴＲは、腎不全の患者を監視するために特に有効である。ＣＴＲは、尖端部において、胸郭の内径に対する心臓横径の比率として定義され、とりわけ心肥大を判断するために使用される。臨床的関連性に関して、ＣＴＲが０．５または５０％より大きい場合、典型的に成人では異常と考えられ、０．６６または６６％より大きい場合、典型的に新生児では異常と考えられる。変化を発見するために、心臓の直径自体も測定、監視することができる。正常な個人の場合、心臓の直径は、典型的に、男性で１５．５ｃｍより小さく、女性で１４．５ｃｍより小さい。２枚のＸ線画像間で心臓の直径の変化が１．５ｃｍより大きい場合は、典型的に、有意であると考えられる。

従来、ＣＴＲ測定は、胸部Ｘ線（ＣＸＲ）画像を用いて行われている。内臓（心臓、肺など）の場所および形状が病気で歪んでいないかを確認するために、患者は直立する必要がある。画像取得中の横臥姿勢は内臓に歪みを生じさせる可能性がある。ＣＴＲの算出を行うには、画像上で、（１）胸郭の右側、（２）胸郭の左側、（３）心臓の右側、（４）心臓の左側の４箇所をユーザ定義する必要がある。それらの各測定において、該当する解剖学的構造（胸郭、心臓など）の最長の直径の始点／終点を構成する各点が選択される。

標準的な先端技術の解決策によれば、ユーザは、それぞれの場所においてマウスクリックを４回行うなどによって、画像上において直接４つの関連測定点（図４における十字点）を手作業で識別できる。典型的に、この測定機能は、画像保管通信システム（ＰＡＣＳ）などの画像関連システムに組み込まれる。４つの測定点すべてを手作業で識別した後、本システムはＣＴＲを算出し、値をユーザに出力する。

低年齢の患者や重篤な疾患を持たない患者は画像取得時に完全に直立姿勢を保つことができるため、この単純な４クリック法は、そのような患者に対して有効に作用する。しかしながら、高齢の患者または重篤な疾患を持つ患者は、通常、画像取得時に完全な直立姿勢をとることができない場合があり、したがって、ＣＴＲの測定は、傾いた体位をまっすぐな画像上で測定したことにより失敗となる可能性がある。この問題を補うために、全距離が測定される幾何学上の基準線として中心線を定義できる。全測定距離は、この中心線に垂直である。この中心線の手作業による定義は少なくとも２回のマウスクリックを必要とし、線の回転または平行移動などの複雑な動作を必要とする場合もある。さらに、上述したように、上記４測定点を手作業で識別する必要がある。ＣＴＲ値は、このような時間のかかる作業を行った後にのみ演算できる。

したがって、システムにより不完全な撮像条件を自動的に調整できる、患者の心胸郭比（ＣＴＲ）を決定するシステムおよび方法の改良が必要である。

本発明によれば、幾何学的特徴を自動的に算出する方法であって、
（ｉ）デジタル画像ソースから少なくとも１つのデジタル医用画像を受信し、
（ｉｉ）プロセッサによって、前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、
（ｉｉｉ）前記プロセッサによって、前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、
（ｉｖ）ユーザの検討のために当該ユーザに前記測定要素を提供し、
（ｖ）ユーザが前記測定要素を修正した場合、前記プロセッサによってユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、
前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の１つ又は複数の遮られているまたは欠落している測定要素を推定する１つ又は複数の支援目印を認識する
ことを含む幾何学的特徴の自動算出方法が提案される（請求項１）。

幾何学的特徴の自動算出方法に関する本発明の実施態様は次の通りである。
・デジタル医用画像は胸部Ｘ線画像を含む（請求項２）。
・幾何学的特徴は心胸郭比（ＣＴＲ）を含む（請求項３）。
・関連する測定要素は、心臓の尖端点および横方向の極値点と、右肺および左肺の横方向の極値点とを含む（請求項４）。
・複数の測定要素を自動的に識別することは、画像分析技術を適用して測定要素を認識する（請求項５）。
・複数の測定要素を自動的に識別することは、学習済の分類器を適用して測定要素を認識する（請求項６）。
・さらに、回帰分析を実行することによって分類器を学習させる（請求項７）。
・記複数の測定要素を自動的に識別することは、事前に注釈が付けられた画像のデータベースから１つ又は複数の類似画像を取り出し、かつ、類似画像の注釈付き測定要素から前記画像の遮られているまたは欠落している測定要素の１つ又は複数の位置を推定する（請求項８）。
・複数の測定要素の少なくとも１つは、解剖学的構造の中心線を含む（請求項９）。
・複数の測定要素を自動的に識別することは、前記中心線に沿って複数の一次目印を検出する（請求項１０）。
・複数の測定要素を自動的に識別することは、前記中心線が推定される複数の二次目印を検出する（請求項１１）。
・解剖学的構造は胴を含む（請求項１２）。
・複数の測定要素を自動的に識別することは、背骨に沿った２つの終点、複数点または曲線を検出する（請求項１３）。

本発明によれば、幾何学的特徴を算出するための工程を実行するために、機械によって実行可能な命令のプログラムを具現化する非一時的なコンピュータ可読媒体であって、前記工程は、
（ｉ）デジタル画像ソースから少なくとも１つのデジタル医用画像を受信し、
（ｉｉ）前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、
（ｉｉｉ）前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、
（ｉｖ）ユーザの検討のために当該ユーザに前記測定要素を提供し、
（ｖ）ユーザが前記測定要素を修正した場合、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、
前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の１つ又は複数の遮られているまたは欠落している測定要素を推定する１つ又は複数の支援目印を認識する
ことを含む非一時的なコンピュータ可読媒体も提案される（請求項１４）。

非一時的なコンピュータ可読媒体に関する本発明の実施態様は次の通りである。
・幾何学的特徴は心胸郭比（ＣＴＲ）を含む（請求項１５）。
・複数の測定要素の少なくとも１つは、解剖学的構造の中心線を含む（請求項１６）。

本発明によれば、コンピュータ可読プログラムコードを記憶するメモリ装置と、前記メモリ装置と通信し、前記コンピュータ可読プログラムコードで動作するプロセッサとを含み、前記プロセッサは、
（ｉ）デジタル画像ソースから少なくとも１つのデジタル医用画像を受信し、
（ｉｉ）前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、
（ｉｉｉ）前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、
（ｉｖ）ユーザの検討のために当該ユーザに前記測定要素を提供し、
（ｖ）ユーザが前記測定要素を修正した場合、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、
前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の１つ又は複数の遮られているまたは欠落している測定要素を推定する１つ又は複数の支援目印を認識する
画像解釈システムも提案される（請求項１７）。

画像解釈システムに関する本発明の実施態様は次の通りである。
・幾何学的特徴は心胸郭比（ＣＴＲ）を含む（請求項１８）。
・複数の測定要素の少なくとも１つは、解剖学的構造の中心線を含む（請求項１９）。

デジタル画像を自動的に解釈し、解釈されたデジタル画像に基づいて幾何学的特徴を算出するシステムおよび方法を説明する。本開示の一態様によれば、デジタル医用画像内の複数の測定要素が自動的に識別される。それらの測定要素は幾何学的特徴を演算するために使用され、検討するためにユーザに対して提供される。ユーザが測定要素を修正すると、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴が演算される。

本概要は、簡略化した形態で概念の選択を紹介し、以下の詳細な説明でさらに詳述する。特許請求の範囲の記載の主題の特徴または不可欠な特徴を識別することを意図するものではなく、特許請求の範囲に記載の主題の範囲を限定するために使用されることを意図したものではない。さらに、特許請求の範囲に記載の主題は、本開示の一部に記載されたいずれかの問題または全問題を解決する実施形態に限定されるものではない。

本開示および付随の態様の多くのより完全なる理解は、添付図面とともに以下の詳細な説明を参照することによって得られる。

図１は画像解釈システムの例を示す図である。 図２は画像解釈システムの例をより詳細に示す図である。 図３は画像解釈方法の例を示すフローチャートである。 図４は胸部Ｘ線画像の例を示す図である。 図５は胸部Ｘ線画像の他の例を示す図である。

以下の説明において、本開示の実施形態の完全なる理解を実現するため、特定の構成要素、装置、方法等の例などの多数の特定の詳細を以下に述べる。ただし、本開示の実施形態を実行するために特定の詳細を使用する必要がないことは、当業者には自明であろう。その他の場合において、本開示の実施形態を不必要に不明確にすることを避けるために、周知の材料または方法を詳細に記載しなかった。本開示は様々な修正および代替の形態を含むが、その特定の実施形態は、図面において例として示され、本明細書において詳細に記載される。しかしながら、本開示を開示された特定の形態に限定する意図はなく、本開示は本開示の要旨および範囲内の全修正、相当物、および代替案を包含する。

本明細書で使用されている用語「Ｘ線画像」は、可視のＸ線画像（ビデオ画面上に表示されているものなど）またはＸ線画像のデジタル化された表現（Ｘ線検出装置の画素出力に対応するファイルなど）を意味してもよい。本明細書で使用されている用語「処置中Ｘ線画像」は、放射源がＯＮまたはＯＦＦである時間を含む放射線手術または放射線治療方法の処置実行段階のある時点において撮像された画像を指してもよい。場合によっては、説明の都合上、ＣＴ撮像データを撮像モダリティの例として使用してもよい。ただし、Ｘ線写真、ＭＲＩ、ＣＴ、ＰＥＴ（陽電子放出断層撮影）、ＰＥＴ−ＣＴ、ＳＰＥＣＴ、ＳＰＥＣＴ−ＣＴ、ＭＲ−ＰＥＴ、３Ｄ超音波画像などを含むがそれに限定しない、あらゆる種類の撮像モダリティからのデータを本開示の様々な実施形態において使用してもよい。

以下の記載から明らかなように特記しない限り、「セグメント化」、「作成」、「レジストレーション」、「決定」、「位置合わせ」、「位置決め」、「処理」、「演算」、「選択」、「推定」、「検出」、「追跡」などの用語は、コンピュータシステムのレジスタおよびメモリ内の物理（電子など）量として表現されるデータを、コンピュータシステムのメモリまたはレジスタ、または情報記憶装置、伝送装置、表示装置などの内部において物理量として同様に表現される別のデータに修正および変換する、コンピュータシステムまたは同様の電子演算装置の動作および処理を指してもよい。本明細書に記載する方法の実施形態は、コンピュータソフトウェアを用いて実行できる。認定された標準に対応するプログラミング言語で記載されている場合は、そのような方法を実行するように設計された命令のシーケンスを様々なハードウェアプラットフォーム上での実行および様々なオペレーティングシステムに対するインタフェースのためにコンパイルできる。さらに、本発明の実施形態は、特定のプログラミング言語を参照して説明されるものではない。様々なプログラミング言語を用いて本発明の実施形態を実行できることは明らかであろう。

本明細書において用いられるように用語「画像」は、分散した画像要素（２次元画像のピクセル、３次元画像のボクセルなど）からなる多次元データを指す。この場合の画像は、例えば、コンピュータトモグラフィ、磁気共鳴画像化法、超音波、またはその他の当業者にとって既知の医用画像化システムによって収集された被検体の医用画像を指してもよい。また、この画像は、例えば遠隔感知システム、電子顕微法などの非医用的な構成から提供されるものでもよい。画像はＲ³〜ＲまたはＲ⁷の関数と考えられるが、本発明の各方法はそのような画像に限定されるものではなく、２次元ピクチャまたは３次元ボリュームなどのあらゆる次元の画像に適用可能である。２次元または３次元画像において、画像の範囲は、典型的に２次元または３次元の長方形アレイであり、その場合各ピクセルまたはボクセルは、２本または３本の相互に直交する軸の１組を参照して扱うことが可能である。本明細書において使用されるような用語「デジタル」および「デジタル化された」は、デジタル取得システムから取得された、またはアナログ画像からの変換によって取得されたデジタルまたはデジタル化された形式の画像またはボリュームを適宜指す。

以下の記載において、医用画像の自動的な解釈を容易とするシステムおよび方法の１つ又は複数の実施形態を説明する。本開示の態様によれば、画像内の測定要素を自動的に識別し、それらの測定要素に基づいて幾何学的特徴を演算する仮想アシスタントを備える画像解釈システムが提供される。その結果は、ユーザに対して提供され、受け入れられる、または必要に応じて適応される。臨床的関連の幾何学的特徴の一例は、心肥大の診断において使用されることが多い心胸郭比（ＣＴＲ）である。ＣＴＲの算出に関連する特定の用途を示しているが、本技術は例示の特定の実施形態に限定されるものではないことは理解される。本技術は、例えば、内臓体脂肪の測定または背骨の脊柱側湾曲を決定するためのウエスト−ヒップ比の算出に適用される。

従来の手作業による手法と比較して、本フレームワークは、ユーザにとって大きな時間の節約を実現でき、特に、毎日数百もの検査が行われるような環境において使用される場合に、その効果は特に顕著となる。さらに、ユーザが提供された結果を修正しなかった場合に、完全に再現可能な標準化度の高い結果が提供されるという利点がある。さらに、各ユーザの臨床的な専門知識に関係なく等しく高いレベルの標準が得られ、それによって技術に関連した個人差による品質のばらつきを低減できるという利点を有する。本診断検査は非常に効率的であるため、従来の検査によって通常可能だった患者数よりも非常に多くの患者に対して適用可能である。例えば、ごく一部ではなく、日常的な職場検診から得られる全胸部Ｘ線検査結果が分析できる。これは、患者の疾患（心肥大など）の非常に早期の検出につながる。他の場合であれば、この特定の疾患のために患者の精密検査を行うことはないであろう。

図１は、例示の画像解釈システム１００を図示するブロック図である。本画像解釈システム１００は、本明細書において記載するようなフレームワークを実現するためのコンピュータシステム１０１を備える。コンピュータシステム１０１は、さらにデジタル画像ソース１０２およびワークステーション１０３に無線または有線ネットワークを介して接続されてもよい。デジタル画像ソース１０２は、画像取得システム（例えば、磁気共鳴（ＭＲ）スキャナ、ＣＴスキャナ、その他の放射線スキャナまたはＸ線装置）、または記憶媒体において実現される画像保管通信システム（ＰＡＣＳ）、病院情報システム（ＨＩＳ）、高度ビジュアライゼーション（ＡＶ）システム、電子カルテ（ＥＭＲ）システム、ベンダーニュートラルアーカイブ（ＶＮＡ）、または放射線情報システム（ＲＩＳ）などのデータベースでもよい。

コンピュータシステム１０１は、デスクトップパーソナルコンピュータ（ＰＣ）、ポータブルラップトップ（ノート型）コンピュータ、タブレットパーソナルコンピュータ、その他のポータブル装置、ミニコンピュータ、メインフレームコンピュータ、サーバ、記憶装置システム、専用デジタル機器、またはデジタルデータ群を記憶するように構成された記憶装置サブシステムを有するその他の装置でもよい。一実施形態において、コンピュータシステム１０１は、入力−出力インタフェース１２１を介して、１つ又は複数の非一時的なコンピュータ可読媒体１０６（コンピュータ記憶装置またはメモリ）、表示装置１０８（モニタなど）および様々な入力装置１１０（マウス、タッチスクリーン、キーボードなど）に接続されるプロセッサまたは中央演算装置（ＣＰＵ）１０４を備える。コンピュータシステム１０１は、キャッシュ、電源、クロック回路、プリンタインタフェース、ローカルエリアネットワーク（ＬＡＮ）データ伝送コントローラ、ＬＡＮインタフェース、ネットワークコントローラ、および通信バスなどの支援回路をさらに備えてもよい。さらに、コンピュータシステム１０１は、高性能のグラフィック機能を支援するグラフィック処理ユニット（ＧＰＵ）などのグラフィックコントローラチップを備えてもよい。

本技術は、各種形態のハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはその組み合わせによって実現可能であることを理解するべきである。一実施形態において、本明細書に記載の技術は画像解釈部１０７によって実現される。画像解釈部１０７は、非一時的なコンピュータ可読媒体１０６に明確に具現化されたコンピュータ可読プログラムコードを含んでもよい。非一時的なコンピュータ可読媒体１０６は、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、磁気フロッピディスク、フラッシュメモリ、その他の種類のメモリ、またはその組み合わせを含んでもよい。コンピュータ可読プログラムコードは、デジタル画像ソース１０２（Ｘ線、ＭＲまたはＣＴスキャナなど）からの画像（Ｘ線、ＭＲまたはＣＴ画像など）を処理するように、ＣＰＵ１０４によって実行される。したがって、コンピュータシステム１０１は、コンピュータ可読プログラムコードを実行する際に特殊目的コンピュータシステムとなる汎用コンピュータシステムである。この場合のコンピュータ可読プログラムコードは、いずれかの特定のプログラミング言語およびその実行に限定されることを意図するものではない。様々なプログラミング言語およびその符号化を用いて、本明細書に含まれる開示の教示を実現してもよいことは理解されるであろう。

また、一実施形態において、コンピュータシステム１０１はオペレーティングシステムおよびマイクロ命令コードを含む。本明細書に記載の様々な技術は、オペレーティングシステムを介して実行される、マイクロ命令コードの一部またはアプリケーションプログラムまたはソフトウェア製品の一部、またはその組み合わせとして実現されてもよい。追加のデータ記憶装置および印刷装置など、様々な他の周辺装置をコンピュータシステム１０１に接続してもよい。

ワークステーション１０３は、デスクトップパーソナルコンピュータ（ＰＣ）、ポータブルラップトップ（ノート型）コンピュータ、タブレットパーソナルコンピュータ、パーソナルデジタルアシスタント、他のポータブル機器、通信装置、スマートフォン、ミニコンピュータ、メインフレームコンピュータ、サーバ、記憶装置システム、専用デジタル機器、またはデジタルデータ群を記憶するように構成された記憶装置サブシステムを有するその他の装置でもよい。ワークステーション１０３は、プロセッサ、非一時的なコンピュータ可読媒体、および入力装置および表示装置などの適切な周辺装置を含んでもよく、システム１００全体と連動して動作できる。例えば、ワークステーション１０３は、デジタル画像ソース１０２と通信して、検索された画像データをワークステーション１０３で描画し、ディスプレイ上で閲覧できる。ワークステーション１０３は、放射線科医または他の技能を有するユーザ（医師、技師、操作者、科学者など）が画像データを処理してユーザ入力を提供できるようにするヒューマン−コンピュータインタフェース（ＨＣＩ）を含んでもよい。例えば、ユーザは、ＨＣＩを介して画像中の測定点を識別または修正できる。さらに、ワークステーション１０３はコンピュータシステム１０１と直接通信を行って、処理後の画像データおよび結果を表示してもよい。例えば、放射線科医はコンピュータシステム１０１によって決定された測定要素または幾何学的特徴を対話式に受け取るまたは修正することができる。

図２は、例示の画像解釈システム１００をより詳細に示す。なお、図２に示す様々な構成要素は実施形態によっては異なるコンピュータシステムによって全体または部分的に処理させてもよい。したがって、本明細書に記載の技術は、コンピュータシステム１０１上でローカルに起動してもよく、またはその他のコンピュータシステムにおいて起動してコンピュータシステム１０１に報告されてもよい。１つのコンピュータシステムを有する環境を図示するが、サーバ以外のコンピュータなどとともに、複数のコンピュータシステムまたはサーバプールなどのサーバを使用してもよいことが理解される。

図２に示すように、画像解釈部１０７はデジタル画像ソース１０２およびヒューマンコンピュータインタフェース（ＨＣＩ）２０３に接続される。一実施形態において、画像解釈部１０７は画像分析を行って測定要素を作成する画像解釈エンジン２０２と、例えば、（ＰＡＣＳビューワ、ＡＶ／ＤＩＣＯＭビューワなどを介して）デジタル画像、演算パラメータおよび結果（提供された測定要素、幾何学的特徴）の視覚的な出力を管理し、ユーザおよびシステムコンポーネントからの入力を処理するユーザインタフェースコントローラ２０４とを含む。ユーザインタフェースコントローラ２０４は、ユーザに対して画像および結果を表示するＨＣＩ２０３に通信可能に接続され、ユーザが「修正されている」ものとして結果を受け入れたり、または必要に応じてその結果に対して何らかの修正を加えたりすることができるようにする。ＨＣＩ２０３は、ワークステーション１０３、コンピュータシステム１０１または他のシステムにおいて実現可能である。

画像解釈部１０７は、さらに、幾何学的特徴算出部２０６と、結果処理部２０８とを含んでもよい。幾何学的特徴算出部２０６は、画像解釈エンジン２０２が提供する測定要素と、ＨＣＩ２０３を介して受信したユーザ修正とに基づいて実際の幾何学的特徴（ＣＴＲ値など）を演算する。結果処理部２０８は、画像解釈部１０７の様々な構成要素からの結果を取り込んで、分配する。結果処理部２０８は、ＰＡＣＳ、ＲＩＳまたはＨＩＳシステムなどの隣接するシステムに結果を送信する。またはデジタル画像ソース１０２または他の記憶媒体に記憶可能なＤＩＣＯＭ構造化レポーティング（ＳＲ）オブジェクトを作成する。

本開示の一態様によれば、１つ又は複数のデジタル画像をデジタル画像ソース１０２から取り出して、画像解釈エンジン２０２に転送してもよい。解釈エンジン２０２は、幾何学的特徴を算出するために１つ又は複数の測定要素（測定点、線など）を自動的に識別するための１つ又は複数の画像分析技術を実行することによって画像を解釈する。この分析の出力は、ユーザインタフェースコントローラ２０４に伝えられてもよい。ユーザインタフェースコントローラ２０４は、ＨＣＩ２０３にその結果を転送して表示させる。より良好な視覚方位を容易にするために、支援可視要素（線、点、印、文字など）をユーザインタフェースコントローラ２０４に提供してもよい。

ユーザ２１０は、ＨＣＩ２０３の入力機能を用いることによってシステム１００と対話し、画像解釈エンジン２０２によって提供された結果を変更せずにそのまま受け入れるかもしくは修正を行う。ＨＣＩ２０３は、マウス、音声認識エンジンまたは手書き認識エンジン、バーチャルリアリティ（ＶＲ）グローブ、３次元（３Ｄ）マウス、キーボード、眼球運動／注視取込エンジン、タッチパッドなどのユーザ対話の様々な手段を提供してもよい。ユーザ対話の段階が完了すると、この対話の結果がＨＣＩ２０３からユーザインタフェースコントローラ２０４に返送され、そこから幾何学的特徴算出部２０６に伝えられてもよい。必要に応じて、ユーザが行った修正を画像解釈エンジン２０２にフィードバックし、機械学習における今後の性能を改善させてもよい。例えば、以下で詳細に説明するように、ユーザが修正した測定要素を、分類器を学習するための注釈つき画像として学習データベースに保管してもよい。

幾何学的特徴算出部２０６は、提供された測定要素やさらに修正された測定要素に基づいて幾何学的特徴値を算出し、ＨＣＩ２０３を介してユーザインタフェースコントローラ２０４に戻して表示させることができる。幾何学的特徴値は、心胸郭比（例えば４８％）のような数値データでもよい。図４に示すように、関連する幾何学上の要素とそれを演算するために用いられる測定要素とともに、解釈画像上に重ねられたテキストまたはグラフィックとして視覚的に提供してもよい。幾何学的特徴値および／または解釈画像は結果処理部２０８に転送して、隣接するシステム（ＲＩＳ、ＨＩＳ、ＰＡＣＳなど）に分配され、および／または非一時的な記憶装置（デジタル画像ソース１０２など）に記憶されてもよい。幾何学的特徴値および／または解釈画像は、電子カルテ（ＥＭＲ）、所見リスト（ｆｉｎｄｉｎｇｓ ｎａｖｉｇａｔｏｒなどを介する）、ＤＩＣＯＭセカンダリキャプチャオブジェクト、ＤＩＣＯＭプレゼンテーションステート、ＤＩＣＯＭ ＳＲオブジェクト、または標準ファイル形式（ＪＰＥＧ、ＧＩＦ、ＰＮＧなど）の形態で記憶してもよい。

図３は、例示の画像解釈方法３００を図示するフローチャートである。例示の方法３００は、図１および図２を参照して上述したように、画像解釈部１０７によって実行されてもよい。

工程３０４において、画像解釈部１０７の画像解釈エンジン２０２は、解釈すべき少なくとも１つのデジタル医用画像を受信する。一実施形態において、画像はデジタル画像ソース１０２から受信される。この場合の画像は、磁気共鳴（ＭＲ）画像化法、コンピュータトモグラフィ（ＣＴ）、ヘリカルＣＴ、Ｘ線、陽電子放出断層撮影、蛍光、超音波または単一光子放出コンピュータトモグラフィ（ＳＰＥＣＴ）を含むがそれに限定されない技術によって取得してもよい。デジタル医用画像は、２次元、３次元、４次元またはその他の数の次元を含んでもよい。

一実施形態において、デジタル医用画像は胸部Ｘ線写真（ＣＸＲ）である。ＣＸＲは、胸部、その内容物、およびその近接構造に影響する状態を診断するために使用される胸部Ｘ線投影画像である。さらに、デジタル医用画像は、ＰＡＣＳ、ＥＭＲまたはＡＶ形式などの標準的なデジタル形式でもよい。その他の解剖学的構造（背骨骨格など）の画像を含む他の種類のデジタル医用画像についても、画像解釈エンジン２０２で受信して解釈してもよい。

図４および図５は、画像解釈エンジン２０２によって解釈可能な例示のＣＸＲ画像（４０２および５０２）を示す。図４に示すように、画像４０２は背骨が比較的直線的で直立した患者から取得したものであり、そのため、以下で詳述するように、画像内のオブジェクトの分析または中心線としての背骨の識別のいずれかによって中心線４０４が比較的容易に判断されている。図５は、歪画像５０２を含む複雑なケースを示す。このケースでは、以下で詳述するように、画像５０２における解剖学的な特徴に基づいて中心線５０４を自動的に識別することによって、本開示によるフレームワークも歪角度を識別し、それを補うことができ、ＣＴＲを算出できる。

図３に戻って参照すると、工程３０６において、画像解釈エンジン２０２は、対象となる幾何学的特徴の演算に関連する画像内の測定要素を自動的に識別する。これらの測定要素は、幾何学的測定が基づいている点、線または面でもよい。図４および５に示すように、ＣＸＲ前後方向（ＰＡ）画像（４０２または５０２）においてＣＴＲを演算する関連測定要素は、例えば、胴中心線（４０４または５０４）と同様に、心臓の尖端点（４０８または５０８）、心臓の横方向の極値点（４０６または５０６）、右肺の横方向の極値点（４１０または５１０）、左肺の横方向の極値点（４１２または５１２）を含んでもよい。

上記のような測定要素は比較的よく定められているため、高度の画像分析技術を適用して、ユーザの介入なく自動的にそれらを識別してもよい。一実施形態において、画像解釈エンジン２０２は学習後の分類器を適用して、画像内の関連測定要素の位置を認識または予測する。専門家によって提供された学習事例または本フレームワークによって事前に識別された事例を含む学習データベースから学習する機械学習技術を適用することによって、分類器を学習させることができる。学習事例には、例えば、事前に識別された測定要素を有する臨床ＣＸＲ画像のサンプル群を含んでもよい。例示の機械学習技術には、ベイジアンネットワーク、サポートベクターマシン、決定木の学習などを含み、セグメント化などの他の画像分析技術も実行してもよい。

さらに、関連測定要素の１つ又は複数が欠落している、または例えば、その他の解剖学的または病理学的構造によって遮られている場合、測定要素間の一貫性を実証する、または遮られているまたは欠落している測定要素を推測可能な１つ又は複数の支援目印を認識するように、分類器に学習させてもよい。ＣＴＲ演算用の支援目印の例は、肺の中間位または上位の境界点、心臓に沿った境界点、および肝臓または脾臓などの他の内臓上の目印に沿った境界点を含む。

学習は、専門家による注釈つきの画像の学習データベースに基づいて実行されてもよく、その場合、それらの画像の少なくとも一部は遮られている測定要素を含む。一実施形態において、この分類器は推測のための統計上の関係を表す回帰モデルを含む。例示の回帰分析技術は、線形回帰、最小二乗回帰、ベイジアン線形回帰、最小絶対偏差法、距離メトリック学習、ノンパラメトリック回帰などを含むが、それに限定されない。なお、他の種類の分類器も同様に学習させてもよい。

あるテストケースの場合、システムは回帰モデルを使用して、測定要素間の一貫性を確認する、もしくは欠落しているまたは遮られている測定要素を予測してもよい。もしくは、学習データベースからの類似画像を事前に注釈を付けた画像のデータベースから取り出し、それらの画像からの注釈付き測定要素を使用して、欠落しているまたは遮られている測定要素の場所を推測してもよい。類似性は、例えば検出した類似の測定要素、画像特徴または支援目印に基づいて決定してもよい。データベースは、専門家による注釈を付けられた画像または本フレームワークによって識別された以前の事例を含んでもよい。

一実施形態によれば、自動的に識別される測定要素の少なくとも１つは中心線を含む。ＣＸＲ前後方向（ＰＡ）画像におけるＣＴＲを演算する場合、関連測定要素は任意の胴中心線である。この胴中心線によって、以下に詳述するように、歪画像における心臓の横方向の最大直径の測定が容易になる。胴中心線は、背骨に沿った２つの終点、複数点、または曲線を自動的に検出することによって抽出してもよい。もしくは、この胴中心線は、複数の一次目印および支援目印を識別することによって導出してもよい。これは、脊柱側湾の患者など、背骨が中心線を示す良好な指標とならない場合に特に有効である。一次目印は、中心線（背骨など）に沿って位置するものを含むが、支援目印は（胸骨、肝臓、または頭部など）中心線の外部に位置するが、中心線との幾何学上の関係によって中心線を推定可能なものを含む。例えば、両側のあばら骨、すなわち肝臓ドームおよび膵臓ドーム上に配置された目印の間の中間点を使用して胴の中心線を定義してもよい。

支援目印から中心線を抽出するためには、機械学習を実行して予測子を学習してもよい。例えば、回帰モデルは中心線の方位を予測するように学習させてもよい。もしくは、目印および中心線がどこに位置するかを示すために専門家が印付けを行った画像を含む注釈つきデータベースから類似した事例を取り出してもよい。実行時に、テスト用画像の場合、目印を検出し、データベース内の最類似事例から、中心線を予測（または回帰）または「借用」のいずれかを行ってもよい。

図３に戻って参照すると、工程３０８において、幾何学的特徴算出部２０６は、画像解釈エンジン２０２によって自動的に識別された測定要素に基づいて幾何学的特徴を自動的に演算する。画像解釈システムによって演算された幾何学的特徴は、測定点間の距離または測定点によって決定された線間の角度などの幾何学的測定でもよく、幾何学的測定の関数値（比率、面積、体積など）でもよい。一実施形態において、幾何学的特徴算出部２０６は心臓の肥大を測定するものであって、心臓の横方向の直径（Ｌ１）対胸郭（Ｌ２）の内径の比によって定義される心胸郭比（ＣＴＲ）を演算する。

ただし、ａ＋ｂは横方向の極値点と尖端の横方向の極値点との間で測定される心臓の横方向の最大直径である。横方向の直径は、離散距離ａおよびｂに任意で分割して、異なる垂直方向の位置における測定点間の総距離を表してもよい。

図４に示すように、心臓の右側の横方向の最大直径（ａ）は、中心線４０４から測定点４０６までの垂直の距離によって定義され、心臓の左側の横方向の最大直径（ｂ）は、中心線４０４から測定点４０８の垂直の距離によって定義される。胸郭の内径（Ｌ２）は、測定点４１０と４１２との間の距離を算出することによって得られる。図３の工程３０６に関して上述したように、測定要素４０４、４０６、４０８、４１０および４１２は画像解釈エンジン２０２によって自動的に識別してもよい。

図５は、不完全な直立位（疾患、病態、脊柱側弯、脱力などのため）の患者から得られた例示の歪画像５０２を示す。この場合、中心線５０４は画像５０２の上部または下部に対して完全に垂直ではない。水平方向の線を使用して直径Ｌ１およびＬ２を測定すると、結果的に演算エラーが生じ、最終的に誤診となる。画像歪を補償するために、横方向の最大直径（ａおよびｂ）のそれぞれは、測定点（５０６および５０８）を中心線５０４上に投射して決定され、それによって垂直の距離を得る。もしくは、中心線５０４を用いて、画像５０２の歪角度を得てもよい。その後、歪角度を補償するために画像５０２を回転し、中心線をＹ軸に平行に配置する。その後、直径は、Ｙ軸上に単純に直交して投射し、Ｘ座標間の差分を決定することによって決定される。胸郭（Ｌ２）の内径は、測定点５１０および５１２をＸ軸上に直交して投射し、Ｙ座標間の差分を決定することによって得られる。

工程３１０において、画像解釈エンジン２０２によって識別された測定要素は、検討するためにユーザに提供される。さらに、幾何学的特徴算出部２０６によって演算された幾何学的特徴は、検討するためにユーザに提供してもよい。ユーザは、提供された測定要素および幾何学的特徴を受け入れるか、最適以下の場合、手作業でそれらを修正するかのいずれかを行ってもよい。ユーザが本フレームワークと対話できるようにすることによって、結果においてシステム上のエラーを識別し、および修正してもよい。

工程３１２において、ユーザが測定要素のいずれかを修正したかどうかを確認するためにユーザ入力を調べる。修正が行われた場合、幾何学的特徴算出部２０６は工程３０８においてユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算する。ユーザが結果に満足し、修正が行われなくなるまで、工程３０８、３１０および３１２を繰り返す。

工程３１４において、最終的な幾何学的特徴が出力される。一実施形態において、結果処理部２０８は最終的な幾何学的特徴を隣接するシステム（ＲＩＳ、ＨＩＳ、ＰＡＣＳなど）に記憶および／または分配する。さらに、最終的な幾何学的特徴はＨＣＩ２０３を介してユーザに表示してもよい。例えば、最終的な幾何学的特徴は幾何学的特徴を演算するために使用される測定要素とともに、解釈画像に視覚的に重ねてもよい。実施形態によっては、最終的な幾何学的特徴値（パーセント（％）で表わされる「ＣＴＲ」）はシステム１０１に保管され、または隣接するシステム（ＲＩＳ、ＨＩＳ、ＰＡＣＳなど）に伝えられてもよい。

本開示を例示の実施形態を参照して詳述したように、当業者には添付の特許請求の範囲に記載するような本開示の要旨および範囲から逸脱することなく様々な修正および置換が可能なことは明らかであろう。例えば、様々な例示の実施形態の要素および／または特徴は、本開示および添付の特許請求の範囲内において相互に組み合わせる、および／または置き換えることが可能である。

１００ 画像解釈システム
１０１ コンピュータシステム
１０２ デジタル画像ソース
１０３ ワークステーション
１０４ 中央演算装置
１０６ コンピュータ可読媒体
１０７ 画像解釈部
１０８ 表示装置
１１０ 入力装置
２０２ 画像解釈エンジン
２０３ ＨＣＩ
２０４ ユーザインタフェースコントローラ
２０６ 幾何学的特徴算出部
２０８ 結果処理部

Claims (12)

1. 幾何学的特徴を自動的に算出する方法であって、
   （ｉ）デジタル画像ソースから少なくとも１つのデジタル医用画像を受信し、
   （ｉｉ）プロセッサによって、前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、
   前記複数の測定要素の少なくとも１つは、解剖学的構造の中心線を含み、
   前記解剖学的構造は胴を含み、
   前記複数の測定要素を自動的に識別することは、背骨に沿った曲線を検出することを含み、
   （ｉｉｉ）前記プロセッサによって、前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、
   （ｉｖ）ユーザの検討のために当該ユーザに前記測定要素を提供し、
   （ｖ）ユーザが前記測定要素を修正した場合、前記プロセッサによってユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、
   前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の１つ又は複数のその他の解剖学的または病理学的構造によって遮られているまたは欠落している測定要素を推定する１つ又は複数の支援目印を認識する
   ことを含む幾何学的特徴の自動算出方法。
2. 前記デジタル医用画像は胸部Ｘ線画像を含む請求項１に記載の方法。
3. 前記幾何学的特徴は心胸郭比（ＣＴＲ）を含む請求項１に記載の方法。
4. 前記関連する測定要素は、心臓の尖端点および横方向の極値点と、右肺および左肺の横方向の極値点とを含む請求項３に記載の方法。
5. 前記複数の測定要素を自動的に識別することは、画像分析技術を適用して前記測定要素を認識することを含む請求項１に記載の方法。
6. 前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記測定要素を認識することを含む請求項５に記載の方法。
7. さらに、回帰分析を実行することによって前記分類器を学習させることを含む請求項１に記載の方法。
8. 前記複数の測定要素を自動的に識別することは、
   事前に注釈が付けられた画像のデータベースから１つ又は複数の類似画像を取り出し、
   かつ
   前記類似画像の注釈付き測定要素から前記画像の遮られているまたは欠落している測定要素の１つ又は複数の位置を推定する
   ことを含む請求項１に記載の方法。
9. 幾何学的特徴を算出するための工程を実行するために、機械によって実行可能な命令のプログラムを具現化する非一時的なコンピュータ可読媒体であって、前記工程は、
   （ｉ）デジタル画像ソースから少なくとも１つのデジタル医用画像を受信し、
   （ｉｉ）前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、
   前記複数の測定要素の少なくとも１つは、解剖学的構造の中心線を含み、
   前記解剖学的構造は胴を含み、
   前記複数の測定要素を自動的に識別することは、背骨に沿った曲線を検出することを含み、
   （ｉｉｉ）前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、
   （ｉｖ）ユーザの検討のために当該ユーザに前記測定要素を提供し、
   （ｖ）ユーザが前記測定要素を修正した場合、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、
   前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の１つ又は複数のその他の解剖学的または病理学的構造によって遮られているまたは欠落している測定要素を推定する１つ又は複数の支援目印を認識すること
   を含む非一時的なコンピュータ可読媒体。
10. 前記幾何学的特徴は心胸郭比（ＣＴＲ）を含む請求項９に記載の非一時的なコンピュータ可読媒体。
11. コンピュータ可読プログラムコードを記憶するメモリ装置と、
    前記メモリ装置と通信し、前記コンピュータ可読プログラムコードで動作するプロセッサとを含み、前記プロセッサは、
    （ｉ）デジタル画像ソースから少なくとも１つのデジタル医用画像を受信し、
    （ｉｉ）前記デジタル医用画像内で前記幾何学的特徴の演算に関連する複数の測定要素を自動的に識別し、
    前記複数の測定要素の少なくとも１つは、解剖学的構造の中心線を含み、
    前記解剖学的構造は胴を含み、
    前記複数の測定要素を自動的に識別することは、背骨に沿った曲線を検出することを含み、
    （ｉｉｉ）前記複数の測定要素に基づいて前記幾何学的特徴を自動的に演算し、
    （ｉｖ）ユーザの検討のために当該ユーザに前記測定要素を提供し、
    （ｖ）ユーザが前記測定要素を修正した場合、ユーザが修正した測定要素に基づいて最終的な幾何学的特徴を演算し、
    前記複数の測定要素を自動的に識別することは、学習済の分類器を適用して前記画像の１つ又は複数のその他の解剖学的または病理学的構造によって遮られているまたは欠落している測定要素を推定する１つ又は複数の支援目印を認識する
    画像解釈システム。
12. 前記幾何学的特徴は心胸郭比（ＣＴＲ）を含む請求項１１に記載のシステム。

Images