JP7467348B2 - 医用画像データの表示 - Google Patents

Description

本発明は、医用画像データを表示するためのシステム及びコンピュータ実施方法に関する。

本発明は更に、上記システムを含むワークステーション及びイメージング装置、並びにプロセッサシステムに上記コンピュータ実施方法を行わせるための命令を含むコンピュータ可読媒体に関する。

医療分野では、患者に診断及び／又は治療が行われると、医師が診断及び／又は治療を要約した医用レポートを作成するのが通例である。例えば病変等の医学的異常が診断及び／又は治療されている場合がある。医学的異常は、診断及び／又は治療の前又は最中に患者から収集された医用画像データから決定された可能性がある。

レポートには、医学的異常が関係する解剖学的構造の模式図が含まれることが多く、模式図に注釈を付けて医学的異常の位置を特定することができる。

このような模式図を医用レポートで使用する理由は様々である。例えば紙に複製するのに適していることであり、これにより、例えば医師は解剖学的構造の所定の「テンプレート」模式図に医学的異常を単にマークすればよいようになる。別の理由は、模式図は解釈しやすいことや、注釈を付けやすいことである。

レポートを受け取った人は、模式図は有益であるとは思うが、例えば最初に収集した患者の医用画像データの診断を確認したり、後で収集した医用画像データにおいて治療の進捗状況を確認したりするために、患者の医用画像データを依然として見たい場合がある。

不利なことに、レポート内の模式図は、通常、例えばハイパーリンク又は同様の手段によって、医用画像データにデジタル的にリンクされているわけではない。したがって、医師又は他のタイプのユーザーが関連する医用画像データを検索するのは煩わしい場合がある。更に、このようなデジタルリンクが提供されていたとしても、頭の中で医用画像データを模式図と一致させることが困難であり、したがって、ユーザーが解釈することが困難になる可能性がある。

模式図を考慮した上で、より解釈しやすい患者の医用画像データの表示をユーザーに提供するシステム及び方法を得ることが有利であろう。

本発明の第１の態様によれば、医用画像データを表示するためのシステムが提供される。システムは、
－解剖学的構造の模式図を含む第１の画像データにアクセスするための入力インターフェースであって、模式図は解剖学的構造の特定のビューを提供する、入力インターフェースと、
－命令のセットを表す命令データを含むメモリと、
－入力インターフェース及びメモリと通信し、命令のセットを実行するプロセッサと、
を含み、命令のセットは、プロセッサによって実行されると、プロセッサに、
第１の画像データを解析させて、第１の画像データ内の１つ以上の画像特徴に基づいて、ｉ）解剖学的構造のタイプ、及び、ｉｉ）模式図によって提供される解剖学的構造のビューを決定し、
入力インターフェースを介して、患者から収集され、解剖学的構造のタイプを含む第２の画像データにアクセスさせ、
決定されたビューに従って第２の画像データ内の解剖学的構造を示す出力画像を生成させる。

本発明の更なる態様は、上記システムを含むワークステーション又はイメージング装置を提供する。

本発明の更なる態様は、医用画像データを表示するためのコンピュータ実施方法を提供する。方法は、
－解剖学的構造の模式図を含む第１の画像データにアクセスするステップであって、模式図は、解剖学的構造の特定のビューを提供する、ステップと、
－第１の画像データを解析して、第１の画像データの１つ以上の画像特徴に基づいて、ｉ）解剖学的構造のタイプ、及び、ｉｉ）模式図によって提供される解剖学的構造のビューを決定するステップと、
－患者から収集され、解剖学的構造のタイプを含む第２の画像データにアクセスするステップと、
－決定されたビューに従って第２の画像データ内の解剖学的構造を示す出力画像を生成するステップとを含む。

本発明の更なる態様は、プロセッサシステムに上記コンピュータ実施方法を行わせる命令を表す一時的又は非一時的データを含むコンピュータ可読媒体を提供する。

上記手段は、解剖学的構造の模式図を含む画像データにアクセスするための入力インターフェースを提供する。模式図は、線画、等高線図等であってよいが、概略的な特徴を持つ異なる形態をとってもよい。一般に、第１の画像データは、医用イメージングモダリティの（直接の）出力を表していない。幾つかの実施形態では、第１の画像データは、模式図の紙バージョンのスキャン又は写真を表す。例えば医師が、紙上のテンプレート模式図に注釈を付け、次にそれをスキャン又は写真撮影して、第１の画像データが得られてもよい。他の実施形態では、模式図は、「もともとデジタル」であってよく、例えばスキャン又は写真撮影されたのではなく、デジタル領域で生成されていてよい。

メモリに格納された命令によって、第１の画像データを解析して、第１の画像データに示される解剖学的構造のタイプを決定するように構成可能なプロセッサが提供される。例えば解剖学的構造は、組織、器官の一部、器官系等である。解剖学的構造のタイプは、組織のタイプ（例えば心筋）、器官の一部のタイプ（例えば心臓の心室）、器官のタイプ（例えば心臓）等を指す。更に、解剖学的構造のどのビューが提供されているのかが決定される。事実上、ビューは、プロセッサによって、例えばビューを特徴付けるビューパラメータに関して直接的に、又は、１つ以上のビューパラメータを検索できるようにビューを特定することによって間接的に特徴付けられる。可能なビューパラメータとしては、解剖学的構造の提供されるグラフィカルパースペクティブ（例えば側面、矢状又は別のタイプの幾何学的に定義されたパースペクティブ（方位断面））、ビューのタイプ（例えば断面又は外部）であるが、幾つかの実施形態では、ビューによって解剖学的サイクルのどの部分が示されているか（例えば収縮期又は拡張期の心臓）も含まれる。

プロセッサは、解剖学的構造のタイプ及び解剖学的構造の模式図によって提供されるビューを決定するために、第１の画像データ内の１つ以上の画像特徴を使用する。実施形態を参照して更に説明されるように、ここには様々なオプションが存在する。非限定的な例では、画像特徴として、模式図内で特定される解剖学的ランドマークといった解剖学的画像特徴を使用することができる。別の非限定的な例では、第１の画像データが、コードベースの画像特徴、即ち、解剖学的構造のタイプ及びビューを直接特定することができるか又は例えばデータベース内での検索に基づいて少なくともこれらが決定されることを可能にするバーコード又はＱＲコード（登録商標）といった画像ベースのコードを含む。一般に、「画像特徴」との用語は、画像データ内に直接含まれるか、又は、例えば画像解析又はパターン認識手法によって画像データから決定することができる特徴を指す。

解剖学的構造のタイプ及びビューを決定した後、患者から収集され、模式図に示されるのと同じタイプの解剖学的構造を示す第２の画像データがアクセスされる。この画像データは、以下では単に「医用画像データ」とも呼ばれ、第２の画像データが、超音波、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）等といった医用イメージングモダリティを使用して収集されたことを指す。多くの実施形態では、模式図は、例えば患者の医用レポートに含まれていることによって患者に関連付けられていてよく、医用画像データは、同じ患者から収集されていてよい。例えばシステムは、患者の電子健康記録からのすべての画像データにアクセスすることができ、したがって、原則として、同じ患者からの第１及び第２の画像データにアクセスする。

次に、プロセッサは、決定されたビューに従って第２の画像データ内の解剖学的構造を示す出力画像を生成する。事実上、出力画像は、出力画像における解剖学的構造の視覚化に関連する１つ以上のビュー特性が、模式図における解剖学的構造の視覚化のビュー特性に対応するように生成される。非限定的な例では、模式図が心臓の横断面を提供する場合、第２の画像データは、出力画像も心臓の横断面を提供するように処理される。具体的であるが非限定的な例では、第２の画像データがボリュメトリック画像データである場合、第２の画像データに多平面リフォーマッティング手法を適用して、心臓の横断面を得ることができる。

上記手段は、解剖学的構造の模式図に基づいて解剖学的構造を示す患者の医用画像データの表示がユーザーに提供されるという効果だけでなく、出力画像における解剖学的構造の視覚化が、模式図における解剖学的構造の視覚化と（より近く）対応するという効果もある。したがって、模式図によって提供される解剖学的構造のビューに対応する医用画像データのビューを得るために、ユーザーが医用画像データの表示を手動で操作する必要はない。したがって、ユーザーとシステムとの間のユーザーインタラクションの回数を減らすことができる。出力画像はまた、すでに模式図を検討したユーザーにとって、本質的により解釈しやすくなる。

任意選択的に、解剖学的構造の模式図は注釈を含み、命令のセットはプロセッサに、
－解剖学的構造の模式図内の注釈の解剖学的位置を検出させ、
－検出された解剖学的位置に基づいて、模式図内の注釈に対応して出力画像に注釈を付けさせる。

したがって、システムが模式図内の注釈と同じ又は同様の解剖学的位置に注釈を提供することができるので、模式図内の注釈は、事実上、模式図から出力画像に「転送」される。模式図内の注釈は、関連の解剖学的位置、例えば病変の位置を示し、当該関連の位置は、ユーザーが出力画像内で関連の解剖学的位置を手動で特定する必要なくユーザーに示される。

任意選択的に、命令のセットは、
－入力インターフェースを介して、ｉ）解剖学的構造の模式図のセットの画像データ、及び、ｉｉ）各模式図について、解剖学的構造のタイプ及び／又はそれぞれの模式図によって提供される解剖学的構造のビューを示すメタデータを含むデータベースにアクセスし、
－第１の画像データを、模式図のセットのそれぞれ又はサブセットの画像データと比較することによって、プロセッサに、解剖学的構造のタイプ及び／又は解剖学的構造のビューを決定させる。

解剖学的構造のタイプは、異なるタイプの解剖学的構造を表すことができ、その解剖学的構造のタイプがメタデータから既知である基準模式図のセットの画像データと、模式図の画像データとを比較することによって特定することができる。これは、解剖学的構造のタイプを決定する効率的なやり方を提供する。更に又は或いは、模式図によって提供されるビューは、このやり方で、例えば解剖学的構造の１つ以上のタイプの異なるビューを提供する模式図のセットによって特定することができ、当該ビューの特徴はメタデータから既知である。このような比較は、一般に、様々なやり方で行うことができる。例えば第１の画像データを、例えば既知の画像位置合わせ手法を使用して、模式図のセットのそれぞれ又はサブセットの画像データと位置合わせし、位置合わせされた画像データの対応を決定することによって前記の対応を決定することにより行うことができる。次に、対応基準による「最適な」対応を、目下の模式図を表す可能性が最も高いとして選択することができ、関連するメタデータが、解剖学的構造のタイプ及び／又は模式図内のビューを特定する。

任意選択的に、命令のセットは、画像分類手法を第１の画像データに適用することによって、プロセッサに、解剖学的構造のタイプ及び／又は模式図によって提供される解剖学的構造のビューを決定させる。画像分類手法自体は、医療分野の内外で知られている。このような画像分類手法は、少なくとも部分的にヒューリスティックに基づく。更に又は或いは、画像分類手法は、機械学習に基づく。特に有利な手法は、近年、人間の専門家に匹敵する、場合によってはそれよりも優れた結果を生み出すことがわかっているいわゆる深層学習である。

例えば機械学習ベースの画像分類手法は、
－解剖学的構造のタイプをセグメント化するためのセグメンテーションモデルといった解剖学的構造のタイプの３Ｄモデルにアクセスし、
－異なる視点からの３Ｄモデルの投影を生成して、２Ｄ画像のセットを取得し、
－２Ｄ画像、及び、異なる視点を特徴付けるデータを、画像分類手法へのトレーニング入力として使用することによって、模式図によって提供されるビューを特定するようにトレーニングされる。

事実上、画像分類手法は、解剖学的構造のタイプの３Ｄモデルの様々な投影でトレーニングすることができる。このような投影は、解剖学的構造の模式図に似ているからである。各投影の視点、即ち、一般的に、ビュージオメトリは、例えば１つ以上のビューパラメータによって定義されて既知であるので、画像分類手法はトレーニングされて、１つ以上のビューパラメータを、分類の出力、又は、１つ以上のビューパラメータを検索することができるようにする識別子として提供することができる。

これに関し、プロセッサがトレーニングを行うという点で、トレーニングはシステムによって行われることに留意されたい。或いは、画像分類手法は、別のシステム、例えば「トレーニングシステム」を使用してトレーニングされていてもよく、請求項に係るシステムは、トレーニングされた画像分類手法を表すデータを上記トレーニングシステムから得てもよい。

任意選択的に、第１の画像データは、解剖学的部分のタイプ及び／又は模式図によって提供される解剖学的構造のビューを示す画像ベースのコードを含み、命令のセットは、プロセッサに、第１の画像データを解析させて画像ベースのコードを特定する。

例えば輪郭、解剖学的ランドマーク等の形態の解剖学的構造自体の模式図の画像データを使用することに代えて又は加えて、第１の画像データには、バーコード、ＱＲコード（登録商標）、番号、文字列等といった画像ベースのコードが提供される。画像ベースのコードは、システムによって特定され、解剖学的構造のタイプ及び／又はビューを直接特定するか、少なくともこれらを、例えばデータベースの検索に基づいて決定することを可能にする。例えば模式図は、医師が注釈を付けた後にスキャンされる紙上の「テンプレート」模式図を表す。このようなテンプレート模式図は、特定のテンプレート模式図を特定するバーコードや他のタイプの画像ベースのコードを含んでよく、これらはシステムによって検出することができる。

任意選択的に、第２の画像データは、ボリュメトリック画像データであり、命令のセットは、プロセッサに、
－模式図内の解剖学的構造のビューのジオメトリを決定させ、
－決定されたジオメトリに従って第２の画像データ内の解剖学的構造を示す出力画像を生成させる。

模式図は、例えばこれまでに列挙したいずれかのやり方で、システムによって特定することができる特定の視点から解剖学的構造を示す。第２の画像データがボリュメトリック画像データである場合、この視点は、第２の画像データを適切に処理することにより、出力画像において事実上「再現」することができる。例えば多平面リフォーマッティング、強度投影又はボリュームレンダリングを第２の画像データに適用して、解剖学的構造の模式図によって提供されるのと同じ又は同様の視点から解剖学的構造を示す出力画像を得ることができる。

任意選択的に、命令のセットは、プロセッサに、
－入力インターフェースを介して、解剖学的ランドマークのセットを含み、解剖学的構造のタイプをセグメント化するためのセグメンテーションモデルを定義するモデルデータにアクセスさせ、
－セグメンテーションモデルを第２の画像データに適用させて、患者に適応した解剖学的ランドマークのセットを含む患者に適応したセグメンテーションモデルを取得し、
－患者に適応した解剖学的ランドマークのセットに基づいて、出力画像内に示される解剖学的構造のビューを決定させる。

システムが、模式図によって提供されるビューに似ている第２の画像データの解剖学的構造のビューを示すことを可能にするために、システムは、例えば解剖学的構造の特定の位置、向き等を単に仮定するのではなく、第２の画像データ内の解剖学的構造を特定する。このために、セグメンテーション手法、例えばモデルベースのセグメンテーションを使用することができる。解剖学的ランドマークを含むセグメンテーションモデル自体は知られている。このようなセグメンテーションモデルを第２の画像データに適用して、セグメンテーションモデルを第２の画像データ内に示される特定の解剖学的構造に適応させて、例えば患者に適応したセグメンテーションモデルが得られる。これは、システムに、解剖学的構造の位置、向き及び／又は形状を提供することができ、これに基づいて、第２の画像データ内の解剖学的構造の所望のビューを生成することができる。

任意選択的に、第２の画像データは、解剖学的構造の解剖学的サイクルを表す時系列の画像を含み、命令のセットは、プロセッサに、
－解剖学的サイクルのどの部分が模式図内の解剖学的構造のビューによって示されているのかを決定させ、
－解剖学的サイクルの決定された部分に従って第２の画像データ内の解剖学的構造を示す出力画像を生成させる。

出力画像内に特定の視点を再現することに代えて又は加えて、システムは、解剖学的サイクルのどの部分が模式図内の解剖学的構造のビューによって示されいるのかを特定し、第２の画像データの対応する部分を出力画像に含めるために選択することができる。例えば解剖学的構造が心臓である場合、解剖学的サイクルは、心周期であってよく、模式図に示される心周期の位相を出力画像において再現することができる。別の例では、例えば造影剤によって狭窄が見えることから、病状が最もよく見えた時間インスタンスを選択することができる。

或いは又は更に、患者の医用画像データは、解剖学的構造の特定のビューを示す２Ｄ画像又は一連の２Ｄ画像、例えば２Ｄ画像シーケンスを含む。心臓の例では、２腔像、３腔像、４腔像、短軸像、長軸像等を含む様々なビューを収集することができる。これらの「標準」の２Ｄ画像又は画像シーケンスの多くが１人の患者について収集されることが通例である。したがって、ビューの特定は、提供されたビューに関して、模式図に対応する２Ｄ画像又は２Ｄ画像シーケンスを特定することに関係する場合もある。

当業者は、本発明の上述の実施形態、実施態様及び／又はオプションの態様のうちの２つ以上を有用と思われる任意のやり方で組み合わせてよいことを理解するであろう。

上述のシステムの修正及び変更に対応するワークステーション、イメージング装置、方法及び／又はコンピュータプログラムプロダクトの修正及び変更は、本説明に基づいて当業者によって行うことができる。

当業者は、システム及び方法が、次に限定されないが、標準的なＸ線イメージング、コンピュータ断層撮影（ＣＴ）、磁気共鳴イメージング（ＭＲＩ）、超音波（ＵＳ）、陽電子放出断層撮影（ＰＥＴ）、単光子放出コンピュータ断層撮影（ＳＰＥＣＴ）及び核医学（ＮＭ）といった様々な収集モダリティによって収集された画像データに適用できることを理解するであろう。

本発明のこれらの及び他の態様は、以下の説明に例として説明される実施形態を参照して及び添付図面を参照して、明らかになり、更に解明される。

図１は、ディスプレイ及びユーザー入力デバイスが接続されている医用画像データを表示するシステムを示す。 図２は、冠動脈樹の模式図を含む患者の医用レポートの一部を示す。 図３Ａは、口及び喉の模式図を示し、模式図には注釈が付けられている。 図３Ｂは、患者の口及び喉のボリュメトリック画像データを表す画像ボリュームと、図３Ａの模式図に対応する口及び喉のビューを提供するビュー平面とを示す。 図３Ｃは、図３Ｂのビュー平面に従ってボリュメトリック画像データから生成された出力画像を示す。 図４は、患者の医用画像データ内の解剖学的構造の位置、向き及び／又は形状を特定するために使用することができる、この例では心臓のセグメンテーションモデルを示す。 図５は、医用画像データを表示するためのコンピュータ実施方法のブロック図を示す。 図６は、プロセッサシステムに方法を行わせるための命令を含むコンピュータ可読媒体を示す。

なお、図面は純粋に概略的であり、縮尺どおりに描かれていないことに留意されたい。図面において、既に説明された要素に対応する要素は、同じ参照符号を有しうる。

参照符号のリスト
以下の参照符号のリストは、図面の解釈を容易にするために提供されており、特許請求の範囲を限定するものとして解釈されるべきではない。
０２０ 画像データリポジトリ
０２２ データ通信
０３０ 第１の画像データ
０３２ 第２の画像データ
０６０ ディスプレイ
０６２ ディスプレイデータ
０８０ ユーザー入力デバイス
０８２ ユーザー入力データ
１００ 医用画像データ表示システム
１２０ 入力インターフェース
１２２ 内部データ通信
１４０ プロセッサ
１４２ 内部データ通信
１４４ 内部データ通信
１６０ メモリ
１８０ ユーザーインターフェースサブシステム
１８２ ディスプレイ出力インターフェース
１８４ ユーザー入力インターフェース
２００ 医用レポートの一部
２１０ 冠動脈樹の模式図
２１２ 口と喉の模式図
２２０ 模式図内の注釈
３００ ボリュメトリック画像データの画像ボリューム
３１０ ビュー平面
３２０ ボリュメトリック画像データから生成された出力画像
３３０ 出力画像内の注釈
４００ 心臓のセグメンテーションモデル
５００ 医用画像データ表示方法
５１０ 模式図の画像データにアクセスする
５２０ 解剖学的構造のタイプ及びビューを決定する
５３０ 医用画像データにアクセスする
５４０ 出力画像を生成する
６００ コンピュータ可読媒体
６１０ 非一時的データ

図１は、医用画像データを表示するためのシステム１００を示す。システム１００は、画像データにアクセスする入力インターフェース１２０を含む。図１の例では、入力インターフェース１２０は、解剖学的構造の模式図を含む第１の画像データ０３０及び患者から収集された第２の画像データ０３２を含む外部画像リポジトリ０２０に接続されることが示されている。画像リポジトリ０２０は、例えばシステム１００が接続されるか又は含まれる病院情報システム（ＨＩＳ）の画像保管及び通信システム（ＰＡＣＳ）によって構成されるか又はその一部である。したがって、システム１００は、外部データ通信０２２を介して画像データ０３０、０３２にアクセスすることができる。或いは、画像データ０３０、０３２は、システム１００の内部データストレージ（図示せず）からアクセスされる。

一般に、第１の画像データ０３０及び第２の画像データ０３２は、同じロケーション、例えば図１の場合では同じ画像リポジトリからアクセスされるが、異なるロケーション、例えば異なる画像リポジトリからもアクセスされてもよい。

一般に、入力インターフェース１２０は、ローカルエリアネットワークや、例えばインターネット等のワイドエリアネットワークへのネットワークインターフェース、内部又は外部データストレージへのストレージインターフェース等といった様々な形態をとることができる。

システム１００は更に、データ通信１２２を介して入力インターフェース１２０と内部通信するプロセッサ１４０と、データ通信１４２を介してプロセッサ１４０によってアクセス可能なメモリ１６０とを含むことが示されている。プロセッサ１４０は更に、データ通信１４４を介してユーザーインターフェースサブシステム１８０と内部通信することが示されている。

プロセッサ１４０は、システム１００の動作中に、第１の画像データを解析して、第１の画像データ内の１つ以上の画像特徴に基づいて、ｉ）解剖学的構造のタイプと、ｉｉ）模式図によって提供される解剖学的構造のビューとを決定することができる。更に、プロセッサ１４０は、入力インターフェース１２０を介して、患者から収集され、解剖学的構造のタイプを含む第２の画像データにアクセスし、決定されたビューに従って第２の画像データ内の解剖学的構造を示す出力画像を生成することができる。

図２～図４を参照して、システム１００のこの動作や、その様々なオプションの態様をより詳細に説明する。

図１はまた、様々なオプションのシステムコンポーネントも示す。例えばインタラクティブな画像ビューイングのために、システム１００は、システム１００の動作中に、ユーザーが例えばグラフィカルユーザーインターフェースを使用してシステム１００とやり取りすることができるようにするユーザーインターフェースサブシステム１８０を含む。ユーザーインターフェースサブシステム１８０は、ユーザーが操作可能なユーザー入力デバイス０８０からユーザー入力データ０８２を受信するユーザー入力インターフェース１８４を含むことが示されている。ユーザー入力デバイス０８０は、コンピュータマウス、タッチスクリーン、キーボード、マイクロフォン等を含むがこれらに限定されない様々な形態を取ることができる。図１は、ユーザー入力デバイスをコンピュータマウス０８０として示している。一般に、ユーザー入力インターフェース１８４は、ユーザー入力デバイス０８０のタイプに対応するタイプのものであってよく、即ち、それは、対応するタイプのユーザデバイスインターフェース１８４であってよい。

ユーザーインターフェースサブシステム１８０は更に、ディスプレイ０６０にディスプレイデータ０６２を提供してシステム１００の出力を視覚化するディスプレイ出力インターフェース１８２を含むことが示されている。図１の例では、ディスプレイは外部ディスプレイ０６０である。或いは、ディスプレイは内部ディスプレイである。

一般に、システム１００は、ワークステーション、イメージング装置又はモバイルデバイスといった単一のデバイス又は装置として又はその中に具体化される。デバイス又は装置は、適切なソフトウェアを実行する１つ以上のマイクロプロセッサを含む。ソフトウェアは、対応するメモリ、例えばＲＡＭといった揮発性メモリ又はフラッシュといった不揮発性メモリにダウンロード及び／又は格納される。或いは、システムの機能ユニット、例えば入力インターフェース、オプションのユーザー入力インターフェース、オプションのディスプレイ出力インターフェース及びプロセッサは、プログラム可能なロジックの形態で、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として、デバイス又は装置に実装される。一般に、システムの各機能ユニットは、回路の形態で実装することができる。システム１００はまた、例えば異なるデバイス又は装置を伴う分散様式で実装されることに留意されたい。例えば分散は、例えばサーバーとシンクライアントとを使用する等、クライアントサーバーモデルに従う。

図２は、冠動脈樹の模式図２１０を含む患者の医用レポート２００の一部を示す。解剖学的構造のこのような模式図は、医用レポートで頻繁に使用され、注釈を介して、関心の解剖学的領域、例えば医学的異常を示すために使用することができる。従来、このような模式図２１０は、紙の上に提供され、その後、例えばスマートフォンを用いてスキャン又は写真撮影される。一般に、注釈は、紙や模式図の（デジタル）画像データに付すことができる。

以下では、まず、図３Ａ～図３Ｃを参照して、システムの動作について簡単に説明する。その後、図３Ａ～図３Ｃだけでなく図４も引き続き参照して、更に詳細に説明する。

図３Ａは、この例では口及び喉である解剖学的構造の模式図２１２の別の例を示す。この例では、注釈２２０が模式図に付されて、関心の解剖学的領域、例えば医学的異常がマークされている。このような模式図の画像データは、システムによってアクセス及び解析されて、解剖学的構造のタイプ及び模式図によって提供される解剖学的構造のビューを、例えば以下に説明するやり方で決定することができる。

システムは更に、解剖学的構造のタイプを含む、患者から収集された第２の画像データにアクセスすることができる。幾つかの実施形態では、第２の画像データは、図３Ｂに示されるような長方形の画像ボリューム３００によって概略的に表されるボリュメトリック画像データである。

システムは次に、決定されたビューに従って、第２の画像データ内の解剖学的構造を示す出力画像を生成することができる。例えばシステムは、図３Ａの模式図が、口及び喉の矢状断面を表すと決定する。システムは更に、このような矢状断面が、画像ボリューム３００と交差するビュー平面３１０に対応すると決定する。次に、例えば多平面リフォーマッティングを使用して、出力画像がシステムによって生成され、図３Ｃに示すような出力画像３２０が得られる。オプションで、システムは、図３Ａの模式図のものと実質的に同じ解剖学的位置で出力画像３２０に注釈３３０を挿入することができる。

図３Ａを引き続き参照すると、解剖学的構造のタイプ及び解剖学的構造のビューは、システムによってやり方で決定することができることに留意されたい。例えばシステムは、解剖学的構造の模式図のセットの画像データと、各模式図について解剖学的構造のタイプを示すメタデータとを含むデータベースにアクセスすることができる。データベース内の模式図は、「基準」模式図とも呼ばれる。データベースは、第１の画像データ及び／又は第２の画像データを含むデータベース（例えば図１の画像リポジトリ０２０）と同じであっても、異なるデータベースであってもよい。

次に、画像位置合わせ及び画像解析／処理の分野においてそれ自体は知られている、例えば画像位置合わせ手法及び対応基準を使用することにより、データベースのどの模式図が現在の模式図に最もよく一致するかを決定することができる。具体例では、剛体画像位置合わせ手法を使用し、対応は二乗距離の合計といった画像類似性メトリックによって定量化することができる。「距離」は両方の位置合わせされた画像の強度値の差である。他の様々な画像位置合わせ手法及び／又は画像類似性メトリックが等しく考えられる。図３Ａの注釈２２０といった注釈の存在及び位置は、一方の位置合わせされた画像を他方の位置合わせされた画像から差し引くことから得られる単純な差分画像から決定することができる。或いは、注釈は、例えば明確な色、形状、輪郭幅等の明確な視覚的特性を有する注釈に基づいて検出される。

基準模式図のデータベースとの比較は、標準化された模式図によく適していることに留意されたい。この場合、基準模式図の１つが現在の模式図に対応することが予想される。しかし、このような場合でも、画像位置合わせは依然として有用である。これは、例えば紙ベースの模式図を斜めの角度からスキャンしたり、写真を撮ったり等することによって、現在の模式図が対応する基準に関して画像データ内で平行移動、拡大縮小、回転又は別の方法で変換されている可能性があるからである。

現在の模式図を基準模式図のデータベースと比較することに代えて又は加えて、模式図は、例えば「口と喉」である解剖学的構造のタイプと、例えば「矢状断面」である模式図によって提供されるビューとを特定する画像ベースのコードが提供されるか、又は、例えばデータベース内の検索に基づいて、少なくともこれらが決定されることを可能にする。後者の例では、画像ベースのコードが、例えば「ＣＳＣＶ１」である模式図の識別子を提供し、これに基づいて、例えば「口と喉」及び「矢状断面」である解剖学的構造のタイプ及びビューがデータベースで検索される。一般に、画像ベースのコードは、バーコード、ＱＲコード（登録商標）、数値コード、テキストベースのコード等である。後者の例は、解剖学的ランドマークの図の見出し又はラベルである。これらもまた、例えば光学式文字認識（ＯＣＲ）を使用してテキストの画像ベースの表現を文字ベースの表現に変換することを伴って、システムによって画像ベースのコードと見なされる。

上記アプローチに代えて又は加えて、生体構造のタイプ及びビューを、画像分類手法によって決定することができる。例えば深層学習といった機械学習手法を使用することができる。このような画像分類は、前処理、例えば解剖学的構造の輪郭を特定するための第１の画像データの閾値処理を含んでよく、閾値処理された画像データは、画像分類手法への入力として使用される。画像分類自体は知られており、解剖学的構造のタイプ及びビュー（例えば模式図内で解剖学的構造が示される視点）を決定するための画像分類手法を選択及び構成することは当業者の理解範囲内にあることが理解されよう。

後者の具体例、例えばビュー、具体的には視点の決定には、例えば以下のようにトレーニングすることができる畳み込みニューラルネットワークに基づく深層学習が伴う。解剖学的構造の３Ｄモデルにアクセスすることができる。例えば３Ｄモデルは、あるタイプの解剖学的構造をセグメント化するためのセグメンテーションモデルである。この場合、異なる視点から３Ｄモデルの投影を生成し、これにより、２Ｄ画像のセットを得ることができる。次に、２Ｄ画像は、例えば投影の起点である投影が作成された視点や、正射影の場合は、中心の投影ベクトルに沿った解剖学的構造からある距離に置かれた視点を特徴付けるデータとともに、深層学習へのトレーニング入力として使用することができる。

オプションとして、負の例、例えば異なる解剖学的構造の模式図をトレーニングに含めることができる。例えば逆投影を使用する反復最適化プロセスでは、畳み込みニューラルネットワークを最適化して、模式図の画像データから視点を確実に予測することができる。このようなトレーニングは、単一の畳み込みニューラルネットワークをトレーニングして解剖学的構造のタイプも分類するか、又は、異なるタイプの解剖学的構造の個別の畳み込みネットワークをトレーニングすることによって、異なるタイプの解剖学的構造に対して行うことができることに留意されたい。

図３Ｂ及び図３Ｃを引き続き参照すると、ビューは、患者の医用画像データから様々なやり方で生成することができる。例えば医用画像データがボリュメトリック画像データである場合、システムは、模式図内の解剖学的構造のビューのジオメトリを決定し、その決定されたビューのジオメトリに従って第２の画像データ内の解剖学的構造を示すために出力画像を生成することができる。この点で、視点、即ち、ビューのジオメトリは、「仮想カメラ」からそれ自体が知られているように、同じ又は同様のパラメータによって、例えば並進ベクトル及び方向ベクトルによって定義することができることに留意されたい。或いは、視点、即ち、ビューのジオメトリは、画像ボリュームと交差するビュー平面、例えば交差平面又は投影平面として定義される。

一般に、ボリュメトリック画像データは、コンピュータ断層撮影法（ＣＴ）、磁気共鳴（ＭＲ）等といった医用画像収集手法によって収集することができる。ここで、「ボリュメトリック画像データ」とは、画像ボリュームを表す画像データを指す。このようなボリュメトリック画像データは、患者の解剖学的領域又は構造の３次元（３Ｄ）ビューを提供し、これにより、患者の医学的診断及び治療を支援することができる。

医用画像データのタイプと、視点、即ち、ビューのジオメトリのタイプ（例えば解剖学的構造の交差又は外観）に応じて、出力画像を様々なやり方で生成することができる。例えばボリュメトリック画像データが画像スライスのスタックによって表される場合、交差平面の場合では、表示のために画像スライスの１つを選択することができる。別の例では、多平面リフォーマッティング手法を使用して斜めのスライスを生成することができる。

更に別の例では、ボリュームレンダリング手法を使用して、ボリュメトリック画像データの２次元（２Ｄ）ビューが生成される。当技術分野では幾つかのボリュームレンダリング手法が知られており、一般に、画像データに不透明度の値を割り当て、不透明度の値を使用して画像データをビューイング平面に投影することを伴う。ボリュームレンダリングの出力は、通常、２Ｄ画像である。

システムは、例えば標準化されているか又はＤＩＣＯＭタグ若しくはファイル名といったメタデータによって示されていることによって、医用画像データ内の解剖学的構造の位置及び向きを認識することができることに留意されたい。更に又は或いは、モデルベースのセグメンテーションといったセグメンテーションを使用して、患者の医用画像データ内の解剖学的構造の位置、向き及び／又は形状を決定することができる。つまり、モデルベースのセグメンテーションの分野においてそれ自体は知られているように、また、例えばＥｃａｂｅｒｔ他による「Ａｕｔｏｍａｔｉｃ Ｍｏｄｅｌ－ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ Ｈｅａｒｔ ｉｎ ＣＴ Ｉｍａｇｅｓ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ２００８、２７（９）、１１８９－１２０１ページ）に説明されているように、セグメンテーションモデルを医用画像データに適用し、患者に適応したセグメンテーションモデルを得ることができる。図４は、心臓モデルである、このようなセグメンテーションモデルの一例を示す。

このようなセグメンテーションモデルは、通常、解剖学的ランドマークを含むため、適用されたセグメンテーションモデルから、患者の解剖学的ランドマークがわかり、これは、システムに、医用画像データ内の解剖学的構造の位置、向き及び形状に関する情報を提供する。このような情報は、出力画像を生成するときに使用することができる。例えば医用画像データの交差ビューが生成される場合、交差平面を画像ボリューム内の正しい解剖学的位置に配置することができる。

一般に、システムは、模式図内の注釈に対応して出力画像に注釈を付けることができる。或いは、注釈を含む模式図を、患者の医用画像データの視覚化の上に出力画像内でオーバーレイする。

一般に、システムは、例えば様々なタイプの画像モダリティ用の医用画像を見るための医用ワークステーションである。

図５は、医用画像データを表示するためのコンピュータ実施方法５００を示す。方法５００は、そうある必要はないが、図１等を参照して説明したシステム１００の動作に対応してもよいことに留意されたい。方法５００は、「ＡＣＣＥＳＳＩＮＧ ＩＭＡＧＥ ＤＡＴＡ ＯＦ ＳＣＨＥＭＡＴＩＣ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ（模式図の画像データにアクセスする）」というタイトルの操作において、解剖学的構造の模式図を含む第１の画像データにアクセスすること（５１０）を含み、模式図は、解剖学的構造の特定のビューを提供する。方法５００は更に、「ＤＥＴＥＲＭＩＮＩＮＧ ＴＹＰＥ ＡＮＤ ＶＩＥＷ ＯＦ ＡＮＡＴＯＭＩＣＡＬ ＳＴＲＵＣＴＵＲＥ（解剖学的構造のタイプ及びビューを決定する）」というタイトルの操作において、第１の画像データを解析して、第１の画像データ内の１つ以上の画像特徴に基づいて、ｉ）解剖学的構造のタイプと、ｉｉ）模式図によって提供される解剖学的構造のビューとを決定すること（５２０）を含む。方法５００は更に、「ＡＣＣＥＳＳＩＮＧ ＭＥＤＩＣＡＬ ＩＭＡＧＥ ＤＡＴＡ（医用画像データにアクセスする）」というタイトルの操作において、患者から収集された第２の画像データにアクセスすること（５３０）を含み、第２の画像データは解剖学的構造のタイプを含む。方法５００は更に、「ＧＥＮＥＲＡＴＩＮＧ ＯＵＴＰＵＴ ＩＭＡＧＥ（出力画像を生成する）」というタイトルの操作において、決定されたビューに従って第２の画像データ内の解剖学的構造を示す出力画像を生成すること（５４０）を含む。一般に、上記操作は、任意の適切な順序で、例えば連続して、同時に又はこれらの組み合わせで行われてよく、適用可能な場合は、例えば入出力関係によって必要とされる特定の順序に従うことが理解されよう。

方法５００は、コンピュータ実施方法として、専用ハードウェアとして又は両方の組み合わせとして、コンピュータ上で実装することができる。図６にも示すように、コンピュータの命令、例えば実行可能コードは、例えば一連の機械可読な物理的マーク６１０の形態で、及び／又は、異なる電気的、例えば磁気的若しくは光学的特性又は値を有する一連の要素として、コンピュータ可読媒体６００に格納することができる。実行可能コードは、一時的又は非一時的に格納することができる。コンピュータ可読媒体の例には、メモリデバイス、光学ストレージデバイス、集積回路、サーバー、オンラインソフトウェア等が含まれる。図６は、光ディスク６００を示す。

本出願の要約によれば、医用画像データの表示のためのシステム及び方法が提供され、医用画像データの表示は、解剖学的構造の模式図の概略画像データに基づいて決定される。模式図は、解剖学的構造の特定のビューを提供することができる。模式図によって提供される解剖学的構造のタイプ及び解剖学的構造のビューは、概略画像データ内の１つ以上の画像特徴に基づいて決定することができる。決定されたビューに従って医用画像データ内の解剖学的構造を示す出力画像を生成することができる。したがって、ユーザーに、模式図を考慮した上で、より解釈しやすい医用画像データの表示を提供することができる。

例、実施形態又はオプションの特徴は、非限定的として示されたか否かを問わず、請求項に係る本発明を限定するものとして理解されるべきではない。

本発明はまた、本発明を実施するように適合されたコンピュータプログラム、特に担体上又は担体内のコンピュータプログラムにも適用されることが理解されよう。プログラムは、ソースコード、オブジェクトコード、コード中間ソース及び部分的にコンパイルされた形式等のオブジェクトコードの形式又は本発明による方法の実装における使用に適した他の任意の形式であってよい。また、このようなプログラムは、多くの異なるアーキテクチュアルデザインを有することができることが理解されよう。例えば本発明による方法又はシステムの機能を実施するプログラムコードは、１つ以上のサブルーチンに細分化することができる。これらのサブルーチン間で機能を分配する多くの異なるやり方が当業者には明らかであろう。サブルーチンは、自己完結型プログラムを形成するために１つの実行可能ファイルにまとめて格納することができる。このような実行可能ファイルは、コンピュータ実行可能命令、例えばプロセッサ命令及び／又はインタプリタ命令（例えばＪａｖａインタプリタ命令）を含む。或いは、サブルーチンの１つ以上又は全てが、少なくとも１つの外部ライブラリファイルに格納され、例えば実行時に、静的又は動的にメインプログラムとリンク付けされる。メインプログラムは、サブルーチンのうちの少なくとも１つに対する少なくとも１つの呼び出しを含む。サブルーチンはまた、互いに関数呼び出しを含むことができる。コンピュータプログラムプロダクトに関する実施形態は、本明細書に説明される方法のうちの少なくとも１つ方法の各処理段階に対応するコンピュータ実行可能命令を含む。これらの命令を、サブルーチンに細分化し、及び／又は、静的に若しくは動的にリンク付けされてよい１つ以上のファイルに格納することができる。コンピュータプログラムプロダクトに関する別の実施形態は、本明細書に説明されるシステム及び／又はプロダクトの少なくとも１つの各手段に対応するコンピュータ実行可能命令を含む。これらの命令を、サブルーチンに細分し、及び／又は、静的に若しくは動的にリンク付けされてよい１つ以上のファイルに格納することができる。

コンピュータプログラムの担体は、当該プログラムを担持することができる任意のエンティティ又はデバイスである。例えば担体は、例えばＣＤ－ＲＯＭ若しくは半導体ＲＯＭであるＲＯＭ、又は、例えばハードディスクである磁気記録媒体といったデータストレージを含む。更に、担体は、電気若しくは光ケーブルを介して、又は、無線若しくは他の手段によって伝達されうる電気若しくは光信号といった伝送可能な担体である。プログラムがこのような信号で具現化される場合、担体は、当該ケーブル、他のデバイス又は手段によって構成される。或いは、担体は、プログラムが埋め込まれている集積回路である。集積回路は、関連方法を行うように適応されるか、又は、当該関連方法の実行において使用される。

上記実施形態は、本発明を限定するのではなく例示し、当業者は添付の特許請求の範囲から逸脱することなく多くの代替実施形態をデザインすることができることに留意されたい。請求項において、括弧の間に置かれた参照符号は、請求項を限定するものとして解釈されるべきではない。動詞「含む」及びその活用形の使用は、請求項に記載されている以外の要素又は段階の存在を排除するものではない。単数形の要素は、そのような要素が複数存在することを排除するものではない。本発明は、幾つかの別個の要素を含むハードウェアによって及び適切にプログラムされたコンピュータによって実装される。幾つかの手段を列挙する装置クレームでは、これらの手段の幾つかは、同一のハードウェアアイテムによって具体化される。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。

Claims (12)

1. 医用画像データを表示するためのシステムであって、前記システムは、
   解剖学的構造の模式図を含む第１の画像データにアクセスするための入力インターフェースであって、前記模式図が前記解剖学的構造の特定のビューを提供する、前記入力インターフェースと、
   命令のセットを表す命令データを含むメモリと、
   前記入力インターフェース及び前記メモリと通信し、前記命令のセットを実行するプロセッサと、
   を含み、
   前記命令のセットは、前記プロセッサによって実行されると、前記プロセッサに、
   機械学習に基づく画像分類手法を前記第１の画像データに適用させて、前記第１の画像データ内の１つ以上の画像特徴に基づいて、ｉ）解剖学的構造のタイプ、及び、ｉｉ）前記模式図によって提供される前記解剖学的構造のビューを決定し、前記ビューは、前記解剖学的構造が前記模式図内で示される幾何学的に定義されたパースペクティブとして特徴付けられ、
   前記入力インターフェースを介して、患者から収集されたボリュメトリック画像データであって解剖学的構造の前記タイプを含む第２の画像データにアクセスさせ、
   前記幾何学的に定義されたパースペクティブに従って前記第２の画像データ内の前記解剖学的構造を示す出力画像を生成させ、
   前記画像分類手法は、
   解剖学的構造の前記タイプをセグメント化するためのセグメンテーションモデルといった解剖学的構造の前記タイプの３Ｄモデルにアクセスし、
   異なる視点からの前記３Ｄモデルの投影を生成して、２Ｄ画像のセットを取得し、
   前記２Ｄ画像、及び、前記異なる視点を特徴付けるデータを、前記画像分類手法へのトレーニング入力として使用することによって、前記模式図によって提供されるビューを特定するようにトレーニングされる、システム。
2. 前記解剖学的構造の前記模式図は、注釈を含み、
   前記命令のセットは、前記プロセッサに、
   前記解剖学的構造の前記模式図内の前記注釈の解剖学的位置を検出させ、
   検出された前記解剖学的位置に基づいて、前記模式図内の前記注釈に対応して前記出力画像に注釈を付けさせる、請求項１に記載のシステム。
3. 前記命令のセットは、
   前記入力インターフェースを介して、ｉ）解剖学的構造の模式図のセットの画像データ、及び、ｉｉ）各模式図について、解剖学的構造の前記タイプ及び／又はそれぞれの模式図によって提供される前記解剖学的構造の前記ビューを示すメタデータを含むデータベースにアクセスし、
   前記第１の画像データを、前記模式図のセットのそれぞれ又はサブセットの前記画像データと比較することによって、
   前記プロセッサに、解剖学的構造の前記タイプ及び／又は前記解剖学的構造の前記ビューを決定させる、請求項１又は２に記載のシステム。
4. 前記比較することは、
   前記第１の画像データを、前記模式図のセットのそれぞれ又は前記サブセットの前記画像データに対して位置合わせすることと、
   位置合わせされた前記画像データの対応を決定することと、
   を含む、請求項３に記載のシステム。
5. 前記第１の画像データは、解剖学的部分の前記タイプ及び／又は前記模式図によって提供される前記解剖学的構造の前記ビューを示す画像ベースのコードを含み、
   前記命令のセットは、前記プロセッサに、前記第１の画像データを解析させて前記画像ベースのコードを特定する、請求項１又は２に記載のシステム。
6. 前記命令のセットは、前記プロセッサに、断面ビュー又は外観ビューといった前記模式図によって提供されるあるタイプのビューとして前記ビューを更に特徴付けさせ、ビューの前記タイプに従って前記出力画像を生成させる、請求項１から５のいずれか一項に記載のシステム。
7. 前記命令のセットは、前記プロセッサに、多平面リフォーマッティング、強度投影及びボリュームレンダリングのうちの少なくとも１つを使用して前記出力画像を生成させる、
   請求項１に記載のシステム。
8. 前記命令のセットは、前記プロセッサに、
   前記入力インターフェースを介して、解剖学的ランドマークのセットを含み、解剖学的構造の前記タイプをセグメント化するためのセグメンテーションモデルを定義するモデルデータにアクセスさせ、
   前記セグメンテーションモデルを前記第２の画像データに適用させて、患者に適応した解剖学的ランドマークのセットを含む患者に適応したセグメンテーションモデルを取得し、
   前記患者に適応した解剖学的ランドマークのセットに基づいて、前記出力画像内に示される前記解剖学的構造の前記ビューを決定させる、請求項１から７のいずれか一項に記載のシステム。
9. 前記第２の画像データは、前記解剖学的構造の解剖学的サイクルを表す時系列の画像を含み、命令のセットは、前記プロセッサに、
   前記解剖学的サイクルのどの部分が前記模式図内の前記解剖学的構造の前記ビューによって示されているのかを決定させ、
   前記解剖学的サイクルの決定された前記部分に従って、前記第２の画像データ内の前記解剖学的構造を示す前記出力画像を生成させる、請求項１から５のいずれか一項に記載のシステム。
10. 請求項１から９のいずれか一項に記載のシステムを含むワークステーション又はイメージング装置。
11. 医用画像データを表示するためのコンピュータ実施方法であって、前記コンピュータ実施方法は、
    解剖学的構造の模式図を含む第１の画像データにアクセスするステップであって、前記模式図は、前記解剖学的構造の特定のビューを提供する、前記アクセスするステップと、
    機械学習に基づく画像分類手法を前記第１の画像データに適用して、前記第１の画像データの１つ以上の画像特徴に基づいて、ｉ）解剖学的構造のタイプ、及び、ｉｉ）前記模式図によって提供される前記解剖学的構造の前記ビューを決定するステップであって、前記ビューは、前記模式図内に前記解剖学的構造が示される幾何学的に定義されたパースペクティブとして特徴付けられる、前記決定するステップと、
    患者から収集されたボリュメトリック画像データであって解剖学的構造の前記タイプを含む第２の画像データにアクセスするステップと、
    前記幾何学的に定義されたパースペクティブに従って前記第２の画像データ内の前記解剖学的構造を示す出力画像を生成するステップと、
    を含み、
    前記画像分類手法は、
    解剖学的構造の前記タイプをセグメント化するためのセグメンテーションモデルといった解剖学的構造の前記タイプの３Ｄモデルにアクセスするステップと、
    異なる視点からの前記３Ｄモデルの投影を生成して、２Ｄ画像のセットを取得するステップと、
    前記２Ｄ画像、及び、前記異なる視点を特徴付けるデータを、前記画像分類手法へのトレーニング入力として使用するステップとにより、前記模式図によって提供されるビューを特定するようにトレーニングされる、方法。
12. 請求項１１に記載のコンピュータ実施方法をプロセッサシステムに行わせる命令を表す一時的又は非一時的データを含む、コンピュータ可読媒体。

Images