JP7292191B2 - 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム - Google Patents

Description

本発明の実施形態は、医用画像処理装置、医用画像処理方法、および医用画像処理プログラムに関する。

従来から、患者の診断のために、Ｘ線ＣＴ（Computed Tomography）画像等の３次元画像と、Ｘ線透視画像等の２次元画像の両方を撮像する場合がある。このような場合、Ｘ線ＣＴ画像上に描出された病変の位置と、Ｘ線透視画像上における該病変に相当する位置と、を対応付けて表示する技術が知られている。

また、一般に、Ｘ線ＣＴ画像は、ある撮像時点における３次元の立体画像である。また、Ｘ線透視画像の撮像においては、患者の動きを表すために、時系列に複数のＸ線透視画像が撮像される場合がある。従来においては、医師等は、このようなＸ線ＣＴ画像と、時系列に撮像された複数のＸ線透視画像とを、個別に参照して読影し、患者の状態を診断していた。このような手法においては、３次元画像と、時系列に変化する２次元画像とを目視で比較するため、読影者の負荷が高かった。

特開２０１１－２３９７９６号公報

本発明が解決しようとする課題は、読影者の負荷を低減することが可能な医用画像処理装置、医用画像処理方法、および医用画像処理プログラムを提供することである。

実施形態に係る医用画像処理装置は、取得部と、第１の抽出部と、第２の抽出部と、変形部と、生成部とを備える。取得部は、被検体を撮像した１時点における第１の３次元画像データと、被検体を時系列の複数の撮像時刻において撮像した時系列の複数の２次元画像データと、を取得する。第１の抽出部は、取得部によって取得された第１の３次元画像データに含まれる複数の特徴部位の各々を３次元構造として抽出する。第２の抽出部は、取得部によって取得された複数の２次元画像データに含まれる複数の特徴部位の各々を、２次元部位画像データとして抽出する。変形部は、撮像時刻ごとに、該撮像時刻に対応する２次元部位画像データに基づいて、第１の抽出部によって抽出された複数の３次元構造の各々を変形または回転させる。生成部は、撮像時刻ごとに、変形部により変形または回転された複数の３次元構造を統合した第２の３次元画像データを生成する。

図１は、第１の実施形態に係る医用情報システムの全体構成の一例を示す図である。 図２は、第１の実施形態に係るＸ線ＣＴ装置の一例を示す図である。 図３は、第１の実施形態に係るＸ線診断装置の一例を示す図である。 図４は、第１の実施形態に係る３次元構造の一例を示す図である。 図５は、第１の実施形態に係る２次元部位画像データの一例を示す図である。 図６は、第１の実施形態に係る投影画像データの一例を示す図である。 図７は、第１の実施形態に係る他の投影画像データの一例を示す図である。 図８は、第１の実施形態に係る４次元画像データ生成処理の流れの一例を示すフローチャートである。 図９は、第１の実施形態に係る４次元画像データ生成処理の一例を示すイメージ図である。 図１０は、第２の実施形態に係る医用情報システムの全体構成の一例を示す図である。 図１１は、呼気時と吸気時における胸骨および肋骨の差異を説明する図である。

以下、図面を参照しながら、画像処理装置、画像処理方法、および画像処理プログラムの実施形態について詳細に説明する。

（第１の実施形態）
図１は、本実施形態に係る医用情報システムＳ１の全体構成の一例を示す図である。図１に示すように、医用情報システムＳ１は、例えば、医用画像処理装置１と、Ｘ線ＣＴ（Computed Tomography）装置３と、Ｘ線診断装置２とを備える。医用画像処理装置１、Ｘ線ＣＴ装置３、およびＸ線診断装置２は、病院内に設置された院内ＬＡＮ（Local Area Network）等のネットワークＮ２を介して互いに通信可能に接続している。

Ｘ線ＣＴ装置３は、患者（被検体）のＸ線ＣＴ画像データを撮影する装置である。例えば、Ｘ線ＣＴ装置３は、患者ごとのＸ線ＣＴ画像データを収集する。Ｘ線ＣＴ装置３は、収集したＸ線ＣＴ画像データを、医用画像処理装置に送信する。また、Ｘ線ＣＴ装置３は、Ｘ線ＣＴ画像データに対して各種画像処理を行うことで生成した画像データを、医用画像処理装置１に送信しても良い。

図２は、本実施形態に係るＸ線ＣＴ装置３の一例を示す図である。図２に示すように、Ｘ線ＣＴ装置３は、例えば、架台装置３１０と、寝台装置３２０と、不図示のコンソール装置とを備える。コンソール装置は、Ｘ線ＣＴ装置３全体を制御する。寝台装置３２０は、スキャン対象の被検体Ｐを載置および移動させる装置である。

被検体Ｐは、例えば、臥位で腕を挙上した姿勢で寝台装置３２０に載置され、架台装置３１０の空洞内へ移動される。架台装置３１０は、被検体Ｐに対してＸ線を照射するＸ線管や、被検体Ｐを透過したＸ線を検出する検出器等を備え、Ｘ線ＣＴ画像データ３０を撮影する。

なお、図２では、臥位の状態の被検体Ｐを撮像するＸ線ＣＴ装置３を例示したが、Ｘ線ＣＴ装置３は、立位の状態の被検体Ｐを撮像する立位ＣＴ装置であっても良い。

Ｘ線ＣＴ画像データ３０は、Ｘ線ＣＴ装置３が被検体Ｐを撮像した３次元の立体画像データである。ここでいう３次元とは、高さ方向（Ｙ方向）、左右方向（Ｘ方向）、および奥行方向（Ｚ方向）の３つの次元のことをいう。また、本実施形態におけるＸ線ＣＴ画像データ３０は、ある撮像時点における被検体の状態を表す３次元の静止画である。Ｘ線ＣＴ画像データは、本実施形態に係る第１の３次元画像データの一例である。

本実施形態においては、単に「３次元画像データ」という場合、Ｘ線ＣＴ画像データ３０のように、高さ方向（Ｙ方向）、左右方向（Ｘ方向）、および奥行方向（Ｚ方向）の３つの次元をもつ画像データを指すものとする。また、後述する時間３次元画像データと区別するために、Ｘ線ＣＴ画像データ３０を空間３次元画像データと称しても良い。

図１に戻り、Ｘ線診断装置２は、被検体Ｐに対してＸ線を照射し、被検体Ｐを透過したＸ線を検出することによって、２次元のＸ線画像データを撮像する。Ｘ線診断装置２によって撮像されたＸ線画像データは、本実施形態における２次元画像データの一例である。

図３は、本実施形態に係るＸ線診断装置２の一例を示す図である。図３に示す例では、Ｘ線診断装置２は、立位で腕を体側に沿って下した姿勢の被検体Ｐを撮像する。

本実施形態のＸ線診断装置２は、被検体Ｐを連続して時系列に撮像することにより、複数のＸ線画像データ２０ａ～２０ｎを撮像する。以下、複数のＸ線画像データ２０ａ～２０ｎ特に区別しない場合、Ｘ線画像データ２０という。

また、被検体Ｐが異なる撮像時刻ｔ１～ｔｎにおいて撮像された複数のＸ線画像データ２０ａ～２０ｎは、時間（時相）パラメータｔとして撮像時刻ｔ１～ｔｎを有する。つまり、時系列の複数のＸ線画像データ２０は、高さ方向（Ｙ方向）、左右方向（Ｘ方向）、および時間の３つの次元を有するため、時間３次元画像データ２００ともいう。

図３では立位の状態の被検体Ｐを撮像するＸ線診断装置２を例示したが、Ｘ線診断装置２は、臥位の状態の被検体Ｐを撮像するものでも良い。なお、図２、３に記載のＸ、Ｙ、Ｚ方向の向きは一例であり、これらに限定されるものではない。

図１に戻り、医用画像処理装置１は、例えば、ワークステーション、ＰＣ（Personal Computer）、またはサーバ装置等のコンピュータ機器によって実現される。

より詳細には、医用画像処理装置１は、ＮＷ（Network）インタフェース１１０と、記憶回路１２０と、入力インタフェース１３０と、ディスプレイ１４０と、処理回路１５０とを備える。

ＮＷインタフェース１１０は、処理回路１５０に接続されており、医用画像処理装置１と、Ｘ線ＣＴ装置３またはＸ線診断装置２との間で行われる各種データの伝送および通信を制御する。ＮＷインタフェース１１０は、例えば、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路１２０は、処理回路１５０で使用される各種の情報を予め記憶する。例えば、記憶回路１２０は、被検体Ｐに含まれる複数の特徴部位の各々の特性を表す特性情報を記憶する。複数の特徴部位は、骨格、臓器、または筋組織等である。また、記憶回路１２０は、特性情報、被検体Ｐの呼吸周期、または撮像条件等の各種の情報を含む先見情報を記憶しても良い。特性情報および先見情報の詳細については後述する。また、記憶回路１２０は、各種のプログラムを記憶する。記憶回路１２０は、記憶部の一例である。

入力インタフェース１３０は、例えば、マウス、キーボード、トラックボール、スイッチボタン、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、または音声入力回路等であり、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１５０に出力する。なお、本明細書において入力インタフェース１３０はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、医用画像処理装置１とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１５０へ出力する電気信号の処理回路も入力インタフェース１３０の例に含まれる。

ディスプレイ１４０は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬディスプレイ（OEL：Organic Electro-Luminescence）等である。ディスプレイ１４０は、表示部の一例である。

処理回路１５０は、記憶回路１２０からプログラムを読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。本実施形態の処理回路１５０は、取得機能１５１と、第１の抽出機能１５２と、第２の抽出機能１５３と、変形機能１５４と、生成機能１５５と、出力機能１５６とを備える。取得機能１５１は、取得部の一例である。第１の抽出機能１５２は、第１の抽出部の一例である。第２の抽出機能１５３は、第２の抽出部の一例である。変形機能１５４は、変形部の一例である。生成機能１５５は、生成部の一例である。出力機能１５６は、出力部の一例である。

ここで、例えば、処理回路１５０の構成要素である取得機能１５１と、第１の抽出機能１５２と、第２の抽出機能１５３と、変形機能１５４と、生成機能１５５と、出力機能１５６とは、コンピュータによって実行可能なプログラムの形態で記憶回路１２０に記憶されている。処理回路１５０は、各プログラムを記憶回路１２０から読み出し、読み出した各プログラムを実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１５０は、図１の処理回路１５０内に示された各機能を有することとなる。なお、図１においては、単一の処理回路１５０にて、取得機能１５１、第１の抽出機能１５２、第２の抽出機能１５３、変形機能１５４、生成機能１５５、および出力機能１５６の各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１５０を構成し、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても良い。

取得機能１５１は、被検体Ｐを撮像した１時点における３次元画像と、被検体Ｐを時系列の複数の撮像時刻において撮像した複数の２次元画像と、を取得する。具体的には、取得機能１５１は、ネットワークＮおよびＮＷインタフェース１１０を介して、Ｘ線ＣＴ装置３からＸ線ＣＴ画像データ３０を取得する。また、取得機能１５１は、ネットワークＮおよびＮＷインタフェース１１０を介して、Ｘ線診断装置２からＸ線画像データ２０を取得する。

取得機能１５１は、取得したＸ線ＣＴ画像データ３０を、第１の抽出機能１５２に送出する。また、取得機能１５１は、取得したＸ線画像データ２０を、第２の抽出機能１５３に送出する。

また、取得機能１５１は、Ｘ線ＣＴ装置３およびＸ線診断装置２から、Ｘ線ＣＴ画像データ３０およびＸ線画像データ２０の撮像時の被検体Ｐの姿勢を表す情報を取得する。この場合、取得機能１５１は、Ｘ線ＣＴ画像データ３０およびＸ線画像データ２０の撮像時の被検体Ｐの姿勢を表す情報を、変形機能１５４に送出する。なお、撮像時の被検体Ｐの姿勢が予め定められている場合には、当該情報は記憶回路１２０に予め記憶されていても良い。

また、取得機能１５１は、Ｘ線診断装置２から、Ｘ線画像データ２０の撮像方向を表す情報を取得しても良い。なお、Ｘ線画像データ２０の撮像方向を表す情報は、記憶回路１２０に予め記憶されていても良い。

第１の抽出機能１５２は、取得機能１５１によって取得されたＸ線ＣＴ画像データ３０から、該第１の３次元画像データに含まれる複数の特徴部位の各々を、３次元構造として抽出する。

また、特徴部位は、複数の臓器が連結された単位でも良い。あるいは、特徴部位は、１つの臓器を複数に分割した単位であっても良い。例えば、肺に含まれる複数の肺葉単位で、特徴部位が規定されても良いし、左右の肺を１つにまとめた単位を１つの特徴単位としても良い。また、個々の骨を、１つの特徴部位としても良いし、複数の骨が連結された組み合わせを、１つの特徴単位としても良い。例えば、特徴部位の分割単位を規定する情報が、記憶回路１２０に予め保存されていても良い。

換言すれば、第１の抽出機能１５２は、Ｘ線ＣＴ画像データ３０を、複数の特徴部位ごとに分割する。なお、本実施形態の第１の抽出機能１５２は、Ｘ線ＣＴ画像データ３０に描出された全ての骨格、臓器、および筋組織を抽出する。筋組織は、筋肉および腱を含む。第１の抽出機能１５２は、全ての骨格、臓器、および筋組織を抽出しなくとも良く、Ｘ線ＣＴ画像データ３０に描出された部位のうち、一部の特徴的な部位を抽出しても良い。

図４は、本実施形態に係る３次元構造３０１ａ～３０１ｄの一例を示す図である。図４に示す例では、第１の抽出機能１５２は、被検体Ｐの胸部が撮像されたＸ線ＣＴ画像データ３０を、３次元構造３０１ａ～３０１ｄに分解している。３次元構造３０１ａは、肋骨に相当する。また、３次元構造３０１ｂは、肺に相当する。３次元構造３０１ｃは、心臓に相当する。３次元構造３０１ｄは、肝臓に相当する。以下、３次元構造３０１ａ～３０１ｄを特に区別しない場合には、単に３次元構造３０１という。

第１の抽出機能１５２は、例えば、Ｘ線ＣＴ画像データ３０における各特徴部位のＣＴ値の差異等に基づいて、特徴部位の境目を判別する。また、Ｘ線ＣＴ画像データ３０内の各部位の標準的な位置を表す情報が、記憶回路１２０に予め保存されていても良い。この場合、第１の抽出機能１５２は、記憶回路１２０に保存された各特徴部位の標準的な位置を表す情報に基づいて、Ｘ線ＣＴ画像データ３０から各特徴部位に相当する複数の３次元構造３０１を抽出する。Ｘ線ＣＴ画像データ３０から３次元構造３０１を抽出する手法は限定されるものではなく、公知の画像処理の手法を適用することができる。

また、図４に示す３次元構造３０１の種類および数は一例であり、撮像範囲等によって異なる。また、３次元構造３０１は、複数の臓器が連結された単位でも良い。あるいは、３次元構造３０１は、１つの臓器を複数に分割した単位であっても良い。例えば、肺に含まれる複数の肺葉単位で、３次元構造３０１が規定されても良い。例えば、Ｘ線ＣＴ画像データ３０の分割単位を規定する情報が、記憶回路１２０に予め保存されていても良い。

第１の抽出機能１５２は、抽出した３次元構造３０１を、変形機能１５４に送出する。

図１に戻り、第２の抽出機能１５３は、取得機能１５１によって取得されたＸ線画像データ２０から、該Ｘ線画像データ２０に含まれる複数の特徴部位の各々を、２次元部位画像データとして抽出する。なお、第２の抽出機能１５３は、全ての骨格、臓器、および筋組織を抽出しなくとも良く、Ｘ線画像データ２０に描出された部位のうち、一部の特徴的な部位を抽出しても良い。

例えば、第２の抽出機能１５３は、時系列の複数のＸ線画像データ２０ａ～２０ｎの各々に描出された骨格、臓器、または筋組織等を、複数のＸ線画像データ２０ａ～２０ｎにおける各特徴部位の画素値の差異に基づいて、特徴部位の境目を判別する。複数の２次元部位画像データの切り出し単位は、３次元構造３０１の分割単位と同様であるものとする。

図５は、本実施形態に係る２次元部位画像データの一例を示す図である。例えば、図５に示すように、Ｘ線画像データ２０の撮像範囲が胸部である場合には、第２の抽出機能１５３は、時間３次元画像データ２００に含まれる複数のＸ線画像データ２０ａ～２０ｎの各々から、肋骨、肺、心臓、および肝臓等の特徴部位に相当する画像領域を認識する。第２の抽出機能１５３は、認識した画像領域を、２次元部位画像データとして抽出する。

図５に示す例では、２次元部位画像データ２０１ａ－１は、撮像時刻ｔ１におけるＸ線画像データ２０ａに描出された肋骨に相当する。また、２次元部位画像データ２０１ａ－２は、撮像時刻ｔ２におけるＸ線画像データ２０ａに描出された肋骨に相当する。また、２次元部位画像データ２０１ｂ－１～２０１ｂ－ｎの各々は、Ｘ線画像データ２０ａ～２０ｎの各々に描出された肺に相当する。２次元部位画像データ２０１ｃ－１～２０１ｃ－ｎの各々は、Ｘ線画像データ２０ａ～２０ｎの各々に描出された心臓に相当する。また、２次元部位画像データ２０１ｄ－１～２０１ｄ－ｎの各々は、Ｘ線画像データ２０ａ～２０ｎの各々に描出された肝臓に相当する。

以下、個々の２次元部位画像データ２０１ａ－１～２０１ｎ－１，２０１ｂ－１～２０１ｂ－ｎ，２０１ｃ－１～２０１ｃ－ｎ，２０１ｄ－１～２０１ｄ－ｎを特に区別しない場合には、単に２次元部位画像データ２０１という。

第２の抽出機能１５３は、抽出した複数の２次元部位画像データ２０１を、変形機能１５４に送出する。

変形機能１５４は、撮像時刻ｔ１～ｔｎごとに、該撮像時刻ｔ１～ｔｎに対応する２次元部位画像データ２０１に基づいて、第１の抽出機能１５２によって抽出された複数の３次元構造３０１の各々を変形または回転させる。より詳細には、変形機能１５４は、第１の抽出機能１５２によって抽出された３次元構造３０１を、該３次元構造と同一の特徴部位に対応する各撮像時刻ごとの２次元部位画像データに基づいて、各撮像時刻ごとに変形または回転させる。

例えば、図４で説明した３次元構造３０１ｄと、図５で説明した２次元部位画像データ２０１ｄ－１～２０１ｄ－ｎの各々とは、いずれも肝臓が描出されている。このため、変形機能１５４は、３次元構造３０１ｄを、２次元部位画像データ２０１ｄ－１～２０１ｄ－ｎの各々と比較し、比較結果に応じて、３次元構造３０１ｄを変形または回転させる。

本実施形態において、変形とは、３次元構造３０１の形状を変化させること、または、３次元構造３０１の大きさを変化させることをいう。

より詳細には、変形機能１５４は、仮想の投影視点を基準として、３次元構造３０１を２次元に変換した投影画像データを生成する。変形機能１５４は、投影画像データと、該投影画像データに対応する２次元部位画像データ２０１とが類似するように、投影視点の位置、複数の３次元構造の形状、または複数の３次元構造の大きさを変更する。

図６および図７を用いて、投影画像データについて説明する。図６は、本実施形態に係る投影画像データ３０２ｄの一例を示す図である。図６に示す投影画像データ３０２ｄは、変形機能１５４が、被検体Ｐの正面側から見た投影視点を基準として肝臓に相当する３次元構造３０１ｄを２次元に変換した画像データである。

また、図７は、本実施形態に係る他の投影画像データ３０２ｄ´の一例を示す図である。図７に示す例では、投影視点Ａが、投影画像データ３０２ｄの側面に位置する。この場合、投影視点Ａを基準として３次元構造３０１ｄを２次元に変換すると、図７に示すように、投影画像データ３０２ｄ´は、被検体Ｐの対軸方向に沿った肝臓の断面の輪郭に相当する形状となる。

変形機能１５４は、投影視点Ａと３次元構造３０１ｄとの位置関係を変更することにより、投影画像データを変更する。本実施形態においては、変形機能１５４は、投影視点Ａの位置を固定したまま３次元構造３０１ｘを回転させるものとするが、３次元構造３０１ｘを固定して投影視点Ａを移動させても良い。

変形機能１５４は、例えば、投影視点Ａの位置を、Ｘ線画像データ２０の撮像方向に合わせせるものとする。また、変形機能１５４は、投影画像データ３０２と２次元部位画像データ２０１との比較結果に応じて変更しても良い。

また、変形機能１５４は、記憶回路１２０に記憶された特性情報に基づいて、複数の３次元構造３０１の各々を変形または回転させる。

特性情報は、複数の特徴部位の各々の特性を表す情報である。例えば、特性情報は、複数の特徴部位の各々の動きの制約、被検体の動作に伴う変形、または剛性を表す。

Ｘ線画像データ２０の撮像時に、被検体Ｐの動きに伴って各特徴部位が移動または変形する場合がある。一例として、肺は、呼吸に伴って大きさが変化するが、その変化の範囲は予め想定可能である。また、肺、心臓、および肝臓は、肋骨よりも外側には移動しない。特性情報には、このような各特徴部位が移動する位置の範囲、および各特徴部位の大きさの最大値および最小値が定義される。また、動きの制約には、関節の可動域に関する情報等も含まれる。

また、被検体Ｐの体位の変化によって各特徴部位の位置または形状が変化する場合がある。例えば、被検体Ｐが腕を挙上した場合と、腕を体側に下した場合とで肩甲骨、胸骨、肋骨、および筋肉の位置および形状が変化する。

一般に、筋組織は、被検体Ｐの姿勢の変化に応じて形状が変化するが、体積は変化しない。このため、変形機能１５４は、３次元構造３０１の変形の際に、３次元構造３０１の体積を変化させずに、形状を変化させるものとする。

また、各特徴部位の剛性によって、各特徴部位の変形の度合が変わる。例えば、剛性の低い臓器は重力の影響を受けて変形し易いため、撮像時の被検体Ｐの体位に応じて変形する。また、剛性の高い骨等は、変形しにくいため、Ｘ線画像データ２０の撮像時とＸ線ＣＴ画像データ３０の撮像時とで被検体Ｐの体位が異なっても形状の変化は小さい。変形機能１５４は、特性情報に含まれる各特徴部位の各々の剛性に基づいて、被検体Ｐの姿勢の変化に伴う重力方向の変化を加味して、３次元構造３０１を変形する。

なお、特性情報に含まれる情報はこれらに限定されるものではなく、他の解剖学的な情報が含まれても良い。また、特性情報、被検体Ｐの呼吸周期、または撮像条件等の各種の情報を総称する場合、先見情報という。撮像条件には、被検体Ｐの体位、またはＸ線画像データ２０の撮像時におけるＸ線の照射方向（撮像方向）等が含まれる。

変形機能１５４は、３次元構造３０１から生成した投影画像データ３０２と、該投影画像データ３０２と同じ特徴部位に対応する２次元部位画像データ２０１の一致度が閾値以上となるように、３次元構造３０１を変形または回転する。一致度の閾値は特に限定されるものではない。

変形機能１５４は、３次元構造３０１から生成した投影画像データ３０２と該投影画像データ３０２と同じ特徴部位に対応する２次元部位画像データ２０１の一致度が閾値以上となった場合は、変形または回転後の３次元構造３０１を、生成機能１５５に送出する。

図１に戻り、生成機能１５５は、撮像時刻ｔ１～ｔｎごとに、変形機能１５４により変形または回転された複数の３次元構造３０１を統合した３次元画像データを生成する。各撮像時刻ｔ１～ｔｎごとの３次元画像データは、本実施形態における第２の３次元画像データの一例である。また、撮像時刻ｔ１～ｔｎごとの３次元画像データを時系列に配列したデータを、４次元画像データという。

より詳細には、生成機能１５５は、変形機能１５４によって変形または回転された複数の３次元構造３０１の各々を、複数の２次元部位画像データ２０１の複数の撮像時刻における位置に応じて、該複数の撮像時刻に対応する複数の３次元空間に、互いに空間座標が重ならないように、隙間なく配置することにより、４次元画像データを生成する。

４次元画像データは、時系列の時間情報を有する複数の３次元画像データの組み合わせである。つまり、４次元画像データは、高さ方向（Ｙ方向）、左右方向（Ｘ方向）、奥行方向（Ｚ方向）、および時間の４つの次元を有する。

生成機能１５５は、３次元構造３０１に対応する２次元部位画像データ２０１のＸ線画像データ２０上の位置に基づいて３次元構造３０１を配置する。また、生成機能１５５は、記憶回路１２０に記憶された特性情報に基づいて、３次元空間における３次元構造３０１の位置を調整しても良い。

生成機能１５５は、生成した４次元画像データを、出力機能１５６に送出する。また、生成機能１５５は、生成した４次元画像データを、記憶回路１２０に保存しても良い。

出力機能１５６は、生成機能１５５によって生成された４次元画像データを出力する。例えば、出力機能１５６は、４次元画像データをディスプレイ１４０に出力する。この場合、４次元画像データは、時間の経過と共に変化する３次元画像として、ディスプレイ１４０に表示される。

また、出力機能１５６は、４次元画像データに含まれる３次元画像データの断面画像を、時系列に変化する２次元画像としてディスプレイ１４０に表示しても良い。断面位置は、例えばユーザが任意に設定可能であっても良い。また、出力機能１５６は、４次元画像データを外部装置等に出力しても良い。

次に、以上のように構成された医用画像処理装置１で実行される４次元画像データ生成処理の流れについて説明する。

図８は、本実施形態に係る４次元画像データ生成処理の流れの一例を示すフローチャートである。

まず、取得機能１５１は、Ｘ線ＣＴ装置３からＸ線ＣＴ画像データ３０を取得する（Ｓ１）。

次に、第１の抽出機能１５２は、Ｘ線ＣＴ画像データ３０から、特徴部位を、３次元構造３０１として抽出する（Ｓ２）。

そして、変形機能１５４は、各特徴部位の特性情報に基づいて、複数の３次元構造３０１の各々を変形または回転する（Ｓ３）。

また、取得機能１５１は、Ｘ線診断装置２から、時系列の複数のＸ線画像データ２０ａ～２０ｎを取得する（Ｓ４）。

そして、第２の抽出機能１５３は、時系列の複数のＸ線画像データのうち、最初の撮像時刻ｔ１のＸ線画像データ２０ａを選択する（Ｓ５）。次に、第２の抽出機能１５３は、Ｘ線画像データ２０ａに描出された複数の特徴部位を、複数の２次元部位画像データ２０１として抽出する（Ｓ６）。

なお、以下では、本実施形態に係る処理を、「最初の撮像時刻ｔ１のＸ線画像データ２０ａ」から開始するように記載しているが、以下の処理は「最初の撮像時刻ｔ１のＸ線画像データ２０ａ」から開始することに限定されるものではない。例えば、変形前の状態、もしくは体位の変換（立位から臥位への変換等）で想定される変形を行った際に、最もマッチングされる画像をＸ線画像データ２０ａ～２０ｎから選択し、その画像から時間軸の前後方向に、もしくは周期的に連続してマッチングさせることができる。

ここで、図８と合わせて図９を用いて処理の流れを説明する。図９は、本実施形態に係る４次元画像データ生成処理の一例を示すイメージ図である。なお、図９では、Ｘ線ＣＴ画像データ３０から分割された複数の３次元構造３０１ｅ～３０１ｎ，３０１ｘを、簡略化のため、立方体として記載する。

次に、変形機能１５４は、第１の抽出機能１５２によって抽出された複数の３次元構造３０１ｅ～３０１ｎ，３０１ｘから、１つの３次元構造３０１ｘを選択する（Ｓ７）。

選択の順番は限定されるものではないが、例えば、剛性の高い骨等の特徴部位が先に、剛性の低い臓器等の特徴部位が後になるものとする。これは、後述する４次元画像データの作成において、剛性の高い特徴部位の配置が先に確定した方が、効率的に複数の３次元構造３０１の配置を決定できるためである。なお、剛性が同程度の複数の特徴部位がある場合は、変形機能１５４は、例えば、撮像範囲に占める大きさが大きい特徴部位を先に選択するものとする。例えば、胸部においては、剛性が高く、かつ撮像範囲に占める大きさが大きい肋骨に相当する３次元構造３０１が最初に選択されるものとする。

そして、変形機能１５４は、選択した３次元構造３０１ｘから、２次元の投影画像データ３０２ｘを生成する（Ｓ８）。投影画像データ３０２ｘの基準となる投影視点Ａは、例えば、Ｘ線画像データ２０が被検体Ｐの正面方向からＸ線を照射して撮像されたものである場合、被検体Ｐの正面方向に位置するものとする。

次に、変形機能１５４は、投影画像データ３０２ｘと、該投影画像データ３０２ｘに対応する２次元部位画像データ２０１ｘ－１の一致度が、閾値以上であるか否かを判定する（Ｓ９）。

変形機能１５４は、投影画像データ３０２ｘと、該投影画像データ３０２ｘに対応する２次元部位画像データ２０１ｘ－１の一致度が、閾値未満であると判定した場合（Ｓ９“Ｎｏ”）、３次元構造３０１ｘを変形または回転させる（Ｓ１０）。

そして、変形機能１５４は、変形または回転させた３次元構造３０１ｘから、投影画像データ３０２ｘを生成する（Ｓ１１）。そして、Ｓ９の処理に戻り、変形機能１５４は、再び、投影画像データ３０２ｘと、該投影画像データ３０２ｘに対応する２次元部位画像データ２０１ｘ－１の一致度が、閾値以上であるか否かを判定する。

変形機能１５４は、投影画像データ３０２ｘと、該投影画像データ３０２ｘに対応する２次元部位画像データ２０１ｘ－１の一致度が、閾値以上となるまで、Ｓ９～Ｓ１１の処理を繰り返す。

そして、変形機能１５４は、投影画像データ３０２ｘと、該投影画像データ３０２ｘに対応する２次元部位画像データ２０１ｘ－１の一致度が、閾値以上であると判定した場合（Ｓ９“Ｙｅｓ”）、該投影画像データ３０２ｘに対応する３次元構造３０１ｘを、生成機能１５５に送出する。

投影画像データ３０２ｘに対応する３次元構造３０１とは、３次元構造該投影画像データ３０２ｘを生成するために、変形機能１５４によって変形または回転された３次元構造３０１ｘ－１である。図９に示す例では、３次元構造３０１ｘ－１は、２次元部位画像データ２０１ｘ－１の形状に合わせて、３次元構造３０１ｘよりも縦長に変形されている。

そして、生成機能１５５は、該投影画像データ３０２ｘに対応する３次元構造３０１ｘ－１を、時間パラメータを有する３次元空間５０ａに配置する（Ｓ１２）。図９に示す３次元空間５０ａ～５０ｎの各々の時間パラメータの値は、Ｘ線画像データ２０ａ～２０ｎの各々の撮像時刻ｔ１～ｔｎと同様である。以下、個々の３次元空間５０ａ～５０ｎを区別しない場合には、単に３次元空間５０という。

次に、生成機能１５５は、Ｘ線ＣＴ画像データ３０に含まれる全ての３次元構造３０１の配置が完了したか否かを判定する（Ｓ１３）。Ｘ線ＣＴ画像データ３０に含まれる全ての３次元構造３０１の配置が完了すると、図９に示すように、撮像時刻ｔ１における被検体Ｐの状態を描出する３次元画像データ４０ａが生成される。本実施形態においては、４次元画像データ４００を構成する各撮像時刻ｔ１～ｔｎに対応付けられた個々の立体画像データを、３次元画像データ４０ａ～４０ｎとする。

生成機能１５５がＸ線ＣＴ画像データ３０に含まれる全ての３次元構造３０１の配置が完了していないと判定した場合（Ｓ１３“Ｎｏ”）、変形機能１５４は、Ｘ線ＣＴ画像データ３０に含まれる複数の３次元構造３０１から、次の３次元構造３０１を選択する（Ｓ１４）。そして、Ｓ８の処理に戻り、全てのＸ線ＣＴ画像データに含まれる全ての３次元構造３０１の配置が完了するまで、Ｓ８～Ｓ１４の処理を繰り返す。

また、生成機能１５５は、Ｘ線ＣＴ画像データ３０に含まれる全ての３次元構造３０１の配置が完了したと判定した場合（Ｓ１３“Ｙｅｓ”）、時系列の複数のＸ線画像データ２０ａ～２０ｎの全てと、Ｘ線ＣＴ画像データ３０とのマッチングが完了したか否かを判定する（Ｓ１５）。

生成機能１５５が時系列の複数のＸ線画像データ２０ａ～２０ｎの全てと、Ｘ線ＣＴ画像データ３０とのマッチングが完了していないと判定した場合（Ｓ１５“Ｎｏ”）、第２の抽出機能１５３は、次の撮像時刻ｔ２の２次元画像データを選択する（Ｓ１６）。そして、Ｓ６の処理に戻り、第２の抽出機能１５３は、Ｘ線画像データ２０ｂに描出された各部位に相当する複数の２次元部位画像データ２０１を抽出する。時系列の複数のＸ線画像データ２０ａ～２０ｎの全てと、Ｘ線ＣＴ画像データ３０とのマッチングが完了するまで、Ｓ６～Ｓ１６の処理が繰り返される。

変形機能１５４は、２番目の撮像時刻ｔ２以降のＸ線画像データ２０ｂ～２０ｎに描出された２次元部位画像データ２０１との比較の際には、１つ前の撮像時刻におけるＸ線画像データ２０ａに描出された２次元部位画像データ２０１との比較結果に基づいて変形または回転した３次元構造３０１を初期状態として用いても良い。また、変形機能１５４は、前後の撮像時刻における３次元構造３０１の変形結果や、被検体Ｐの呼吸等の周期的な動き等を加味して３次元構造３０１を変形または回転しても良い。

また、生成機能１５５は、前後の撮像時刻における３次元構造３０１の配置や、被検体Ｐの呼吸等の周期的な動き等を加味して３次元空間５０における３次元構造３０１の位置を調整しても良い。このように変形機能１５４および生成機能１５５が前後の時相や被検体Ｐの周期的な動きを加味することにより、４次元画像データ４００の精度を向上させることができる。また、Ｘ線ＣＴ画像データ３０に描出された状態と同様の形状および向きから３次元構造３０１を都度変形または回転するよりも、前の撮像時刻における変形または回転の結果を流用することで、画像処理に要する時間が低減される。

そして、生成機能１５５は、時系列の複数のＸ線画像データ２０ａ～２０ｎの全てと、Ｘ線ＣＴ画像データ３０とのマッチングが完了したと判定した場合（Ｓ１５“Ｙｅｓ”）、生成した４次元画像データ４００を、出力機能１５６に送出する。

そして、４次元画像データ４００を出力する（Ｓ１７）。ここで、このフローチャートの処理は終了する。

このように、本実施形態の医用画像処理装置１は、Ｘ線ＣＴ画像データ３０に含まれる特徴部位である３次元構造３０１を、該３次元構造３０１と同一の特徴部位に対応する各撮像時刻ｔ１～ｔｎごとの２次元部位画像データの各々に基づいて、各撮像時刻ｔ１～ｔｎごとに変形または回転する。また、本実施形態の医用画像処理装置１は、変形または回転した複数の３次元構造３０１を、撮像時刻ｔ１～ｔｎごとに結合した複数の３次元画像データ４０を撮像時刻ｔ１～ｔｎに基づいて時系列に配列する。このため、本実施形態の医用画像処理装置１によれば、３次元画像データと、時系列に変化する２次元画像データとを時系列に変化する３次元画像データとして統合することで、読影者の負荷を低減することができる。

例えば、従来においては、Ｘ線ＣＴ画像データと時系列の複数のＸ線画像データを医師等が見比べて読影する場合、画像の形態も撮像時刻も異なるこれらの画像データを元に、高さ方向（Ｙ方向）、左右方向（Ｘ方向）、奥行方向（Ｚ方向）、および時間の４つの次元の情報を推察するため、複雑な解釈が必要となり、読影に係る負荷が高かった。

これに対して、本実施形態の医用画像処理装置１によれば、医師等は、被検体Ｐの診断の際に、立体的な情報を有するＸ線ＣＴ画像データ３０と、被検体Ｐの動きを表す時系列の複数のＸ線画像データ２０を見比べなくとも、４次元画像データ４００を参照すれば良くなり、読影のための負荷が軽減される。

また、本実施形態の医用画像処理装置１は、複数の３次元構造３０１の各々を、仮想の投影視点Ａを基準として２次元に変換した複数の投影画像データ３０２を生成し、複数の投影画像データ３０２の各々と、複数の投影画像データ３０２に対応する複数の２次元部位画像データ２０１との一致度が閾値以上となるように、投影視点Ａと複数の３次元構造３０１の各々の位置関係、複数の３次元構造３０１の形状、または複数の３次元構造３０１の大きさを変更する。

このため、本実施形態の医用画像処理装置１によれば、Ｘ線ＣＴ画像データ３０のＸ線画像データ２０の撮像時の被検体Ｐの体勢の差異等のために、３次元構造３０１と２次元部位画像データ２０１とに各特徴部位の形状や向きの差異がある場合においても、Ｘ線画像データ２０に描出された被検体Ｐの各特徴部位に類似するように３次元構造３０１を補正することができる。当該構成により、本実施形態の医用画像処理装置１によれば、高精度にＸ線ＣＴ画像データ３０とＸ線画像データ２０とを統合した４次元画像データ４００を生成することができる。

また、本実施形態の医用画像処理装置１は、複数の特徴部位の各々の特性を表す特性情報に基づいて、複数の３次元構造３０１の各々を変形する。このため、本実施形態の医用画像処理装置１によれば、個々の特徴部位の特性に応じて、各特徴部位が撮像姿勢等によって受ける影響を加味した変形を施した３次元構造３０１ｘ－１を生成することができる。

また、本実施形態における複数の特徴部位は、被検体Ｐの骨格、臓器、または筋組織であり、特性情報は、骨格、臓器、または筋組織の各々の動きの制約または剛性を表す。このため、本実施形態の医用画像処理装置１によれば、個々の特徴部位の動きの制約または剛性に応じて、各特徴部位の変形の程度または可動域を特定することにより、３次元構造３０１の過剰な変形を低減し、高精度な４次元画像データ４００を生成することができる。

なお、本実施形態の医用情報システムＳ１の構成は一例であり、これに限定されるものではない。例えば、医用情報システムＳ１は、ＰＡＣＳ（Picture Archiving and Communication System）等の医用画像保管装置と、医用画像処理装置１とを備えるものであっても良い。当該構成を採用する場合は、医用画像処理装置１は、医用画像保管装置から３次元画像および時系列の２次元画像を取得する。また、この場合、Ｘ線ＣＴ装置３およびＸ線診断装置２は、医用情報システムＳ１に含まれなくとも良い。

また、本実施形態では、立位状態の被検体ＰをＸ線撮像したＸ線画像データ２０を時系列の複数の２次元画像データの一例としたが、時系列の複数の２次元画像データは、これに限定されるものではない。例えば、時系列の複数の２次元画像データは、光学画像であっても良い。また、時系列の複数の２次元画像データは、例えば、超音波診断装置によって撮像された超音波画像データであっても良い。

また、本実施形態では、Ｘ線ＣＴ画像データ３０を３次元画像データの一例としたが、３次元画像データこれに限定されるものではない。例えば、３次元画像データは、Ｘ線ＣＴ装置３以外のモダリティによって撮像された画像データでも良い。

例えば、Ｘ線ＣＴ装置３またはＸ線診断装置２の代わりに、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、磁気共鳴イメージング（Magnetic Resonance Imaging：ＭＲＩ）装置、Ｘ線アンギオグラフィ装置、超音波診断装置、またはその他の撮像装置等の各種のモダリティが採用されても良い。

また、本実施形態では、医用画像処理装置１を、Ｘ線ＣＴ装置３およびＸ線診断装置２とは別個の装置として記載したが、医用画像処理装置１は当該構成に限定されるものではない。具体的には、Ｘ線ＣＴ装置３またはＸ線診断装置２を、医用画像処理装置の一例としても良い。例えば、Ｘ線ＣＴ装置３のコンソール装置の処理回路が、取得機能１５１、第１の抽出機能１５２、第２の抽出機能１５３、変形機能１５４、生成機能１５５、および出力機能１５６を備える構成を採用しても良い。また、Ｘ線ＣＴ装置３またはＸ線診断装置２の代わりに他のモダリティが採用される場合には、当該他のモダリティを、医用画像処理装置の一例としても良い。

（第２の実施形態）
この第２の実施形態では、上述の第１の実施形態で生成された４次元画像データ４００から、被検体Ｐの臓器の時間的変化を解析する。

図１０は、本実施形態に係る医用情報システムＳ２の全体構成の一例を示す図である。図１０に示すように、本実施形態の医用情報システムＳ２は、第１の実施形態と同様の構成を備える。また、本実施形態の医用画像処理装置１００１は、第１の実施形態と同様にＮＷインタフェース１１０と、記憶回路１２０と、入力インタフェース１３０と、ディスプレイ１４０と、処理回路１５０とを備える。

本実施形態の処理回路１５０は、取得機能１１５１と、第１の抽出機能１５２と、第２の抽出機能１５３と、変形機能１５４と、生成機能１５５と、出力機能１１５６と、解析機能１５７とを備える。解析機能１５７は、解析部の一例である。第１の抽出機能１５２と、第２の抽出機能１５３と、変形機能１５４と、生成機能１５５とは、第１の実施形態と同様の機能を備える。

取得機能１１５１は、第１の実施形態と同様の機能を備えた上で、外部装置から、被検体Ｐの呼吸機能検査の結果を取得する。呼吸機能検査の結果は、例えばスパイロ検査（スパイロメトリー）の検査結果であるが、これに限定されるものではない。

呼吸機能検査は、例えば、Ｘ線画像データ２０の撮像と同時に実施される。呼吸機能検査の結果は、検査時刻と対応付けて取得される。取得機能１１５１は、取得した呼吸機能検査の結果を解析機能１５７に送出する。

解析機能１５７は、４次元画像データ４００に含まれる複数の特徴部位の複数の撮像時刻ｔ１～ｔｎの各々における形状、大きさ、または位置に基づいて、被検体Ｐの周期的な動きを解析する。

より詳細には、解析機能１５７は、４次元画像データ４００より、各臓器の時間的変化をパラメータの値として算出する。

例えば、解析機能１５７は、４次元画像データ４００に描出された肺の微小構造ごとの動きを数値化し、微小構造ごとの体積の変化を求めることで肺内微小構造ごとの含気率を算出する。肺の微小構造は、例えば肺胞である。

具体的には、解析機能１５７は、被検体Ｐの呼吸機能検査の結果を参照し、肺の微小構造ごとに、１回の呼吸で送られる気体の総量、および各時相の流量を算出する。呼吸は、被検体Ｐの周期的な動きの一例である。

また、解析機能１５７は、各微小構造における１回の呼吸で送られる気体の総量（換気量）、および各時相の流量の算出結果に基づいて、病変の位置、または疾病の程度を推定する。例えば、解析機能１５７は、流入する気体の量が基準よりも少ない肺胞を、異常な部位として検出しても良い。また、解析機能１５７は、個々の微小構造の伸縮の度合に基づいて、弾性の低下の有無等を判定しても良い。

解析機能１５７は、被検体Ｐの周期的な動きの解析結果を、出力機能１１５６に送出する。本実施形態においては、解析機能１５７は、被検体Ｐの１回の呼吸で送られる気体の総量、および各時相の流量の算出結果を出力機能１１５６に送出する。また、解析機能１５７は、病変の位置、または疾病の程度の推定結果を出力機能１１５６に送出しても良い。

出力機能１１５６は、第１の実施形態と同様の機能を備えた上で、解析機能１５７による解析結果を出力する。例えば、出力機能１１５６は、左右の肺や肺葉等の肺内構造ごとに、解析結果の数値を、ディスプレイ１４０に表示しても良い。また、出力機能１１５６は、肺の微小構造ごとに、解析結果に応じて色を変化させたカラーマップをディスプレイ１４０に表示しても良い。表示態様はこれに限定されるものではなく、出力機能１１５６は、白黒の２値、あるいは色の濃淡で解析結果を表示しても良い。

スパイロ検査等の呼吸機能検査では、肺全体の換気量の総量は計測できるが、肺胞等の微小構造ごとの換気量を計測することはできない。これに対して、本実施形態の医用画像処理装置１００１によれば、第１の実施形態の効果に加えて、４次元画像データ４００から各臓器の時間的変化を解析することにより、微小構造ごとの詳細な換気量も算出することができる。

また、一般に、呼吸機能検査は被検体Ｐが立位の状態で実施されることが多い。４次元画像データ４００に含まれる各臓器は、被検体Ｐが立位の状態で撮像されたＸ線画像データ２０に描出された形状に合わせて変形されている。このため、本実施形態の医用画像処理装置１００１によれば、呼吸機能検査の検査時と同様の体位における被検体Ｐの呼吸機能の状態を反映した換気量等を算出することができる。

なお、本実施形態では、呼吸機能検査は、Ｘ線画像データ２０の撮像と同時に実施されるものとしたが、撮像とは別々の時刻に実施されても良い。この場合、解析機能１５７は、４次元画像データ４００と呼吸機能検査の結果の呼吸の周期が一致するように時相を揃えた上で解析する。

また、本実施形態では、解析機能１５７は４次元画像データ４００だけではなく、呼吸機能検査結果を用いてにおける被検体Ｐの周期的な動きを解析するものとしたが、呼吸機能検査結果は必須ではない。また、解析機能１５７は、被検体Ｐの周期的な動きに関連するその他の検査結果を利用しても良い。また、本実施形態においては、肺を一例としたが、他の臓器の動きを解析対象としても良い。また、被検体Ｐの周期的な動きは呼吸に限定されるものではなく、心拍や、血液循環等であっても良い。

（第３の実施形態）
上述の第１、第２の実施形態では、３次元構造３０１に対応する２次元部位画像データ２０１のＸ線画像データ２０上の位置に基づいて３次元構造３０１を配置していた。この第３の実施形態では、さらに、Ｘ線画像データ２０から被検体Ｐの身体の奥行方向の長さを推定し、当該推定の結果に基づいて、３次元構造３０１を配置する。

本実施形態の医用情報システムＳ１は、第１の実施形態と同様の構成を備える。また、本実施形態の医用画像処理装置１は、第１の実施形態と同様に、ＮＷインタフェース１１０と、記憶回路１２０と、入力インタフェース１３０と、ディスプレイ１４０と、処理回路１５０とを備える。

本実施形態の処理回路１５０は、第１の実施形態と同様に、取得機能１５１と、第１の抽出機能１５２と、第２の抽出機能１５３と、変形機能１５４と、生成機能１５５と、出力機能１５６とを備える。取得機能１５１と、第１の抽出機能１５２と、第２の抽出機能１５３と、変形機能１５４と、出力機能１５６とは、第１の実施形態と同様の機能を備える。

本実施形態の生成機能１５５は、第１の実施形態の機能を備えた上で、複数のＸ線画像データ２０に描出された被検体Ｐの胸骨の位置、胸骨の傾き、被検体Ｐの肋骨の位置、または肋骨の傾きに基づいて、複数の撮像時刻ｔ１～ｔｎの各々における被検体Ｐの胸郭の厚さを推定する。生成機能１５５は、該推定の結果に基づいて、複数の３次元構造３０１の各々の配置を調整する。

図１１は、呼気時と吸気時における胸骨および肋骨の差異を説明する図である。胸骨は、吸気と共に、体軸Ｏに直交する方向に移動する。このため、図１に示すように、吸気時における体軸Ｏと胸骨とのなす角θ２は、呼気時における体軸Ｏと胸骨とのなす角θ１よりも大きくなる。また、吸気時の方が被検体Ｐの胸郭が広がって奥行方向の厚みが増す。このため、吸気時における被検体Ｐの身体の奥行方向の長さ（奥行）ｄ２は、呼気時における被検体Ｐの身体の奥行方向の長さｄ１よりも長くなる。

図１１においては、被検体Ｐの側面方向から見た場合における胸骨および肋骨を図示しているが、呼気時と吸気時における胸骨の角度の違いは、被検体Ｐの腹背方向（正面方向または背面方向）からＸ線を照射して撮影されたＸ線画像データ２０においても、描出される。また、図１１に示すように、吸気時と吸気時とでは肋骨の角度も異なる。当該差異も、被検体Ｐの腹背方向からＸ線を照射して撮影されたＸ線画像データ２０に描出される。

例えば、本実施形態の生成機能１５５は、複数のＸ線画像データ２０に描出された被検体Ｐの胸骨の位置、胸骨の傾き、被検体Ｐの肋骨の位置、または肋骨の傾きに基づいて、複数の撮像時刻ｔ１～ｔｎの各々において被検体Ｐが呼気状態であるか吸気状態であるかを判定する。生成機能１５５は、被検体Ｐが呼気状態であるか吸気状態であるかに基づいて、被検体Ｐの身体の奥行方向の長さを推定する。

また、胸郭全体が呼吸によって均等に拡大または縮小するのではなく、特徴部位によって変動の大きさに差異がある。具体的には、胸郭のうち、被検体Ｐの足側に近い方の特徴部位の方が、被検体Ｐの頭側に近い方の特徴部位よりも、呼吸による大きさの変動が大きくなる。

また、被検体Ｐの姿勢によっても、胸郭の拡大または縮小の程度が異なる。例えば、被検体Ｐが立位の場合は、横臥位の場合よりも、被検体Ｐの背中側に向かって胸郭が大きく広がる。本実施形態の生成機能１５５は、このような被検体Ｐの姿勢に応じて、呼気時および吸気時の胸郭の大きさ、および被検体Ｐの身体の奥行方向の長さを推定する。

生成機能１５５は、該推定の結果に基づいて、３次元空間５０における複数の３次元構造３０１の各々の配置を調整する。また、生成機能１５５は、椎体と胸骨をつなぐ肋骨の角度からも情報を得て体厚を推定して、３次元空間５０における複数の３次元構造３０１の各々の配置に反映させる。

本実施形態の医用画像処理装置１によれば、第１の実施形態と同様の効果に加えて、各撮像時刻ｔ１～ｔｎにおける被検体Ｐの身体の奥行方向の長さを推定することにより、さらに高精度に４次元画像データ４００を生成することができる。

（変形例１）
上述の第１～３の実施形態では、主として胸部の４次元画像データ４００を例示して説明したが、撮像範囲はこれに限定されるものではない。例えば、医用画像処理装置１は、被検体Ｐの嚥下機能を検査するために、頸部の４次元画像データ４００を生成しても良い。

この場合、取得機能１５１は、被検体Ｐが臥位状態で撮像された頸部のＸ線ＣＴ画像データ３０と、被検体Ｐが座位状態で撮像された嚥下検査におけるＸ線透視画像データを取得する。嚥下検査におけるＸ線透視画像データとは、被検体Ｐが飲食物を嚥下している状態が時系列に撮像された複数のＸ線透視画像データである。時系列の複数のＸ線透視画像データが本変形例における複数の２次元画像データの一例である。

変形機能１５４および生成機能１５５は、頸部のＸ線ＣＴ画像データ３０と、嚥下検査におけるＸ線透視画像データから、第１の実施形態と同様の手法により、４次元画像データ４００を生成する。当該４次元画像データ４００は、被検体Ｐが座位状態における頸部の立体構造の動きを表すため、被検体Ｐの嚥下機能の高精度に描出することができる。

また、Ｘ線ＣＴ画像データ３０の撮像の際に、声門等の解剖学的構造を得やすくするため、無声時と発生時の両方を撮像しても良い。この場合、変形機能１５４および生成機能１５５は、Ｘ線ＣＴ画像データ３０とＸ線透視画像データにおける声門等を高精度に位置合わせすることができる。

（変形例２）
また、上述の第１～３の実施形態では、被検体Ｐに動きがある場合を例として説明したが、２次元画像データは静止画でも良い。

例えば、被検体Ｐの検査対象部位が、被検体Ｐが臥位状態では顕現しない場合は、Ｘ線ＣＴ画像データ３０では、被検体Ｐの検査対象部位の疾病または傷病の状態を描出することが困難な場合がある。

より具体的には、被検体Ｐが椎体側弯患者である場合、臥位状態で撮像されたＸ線ＣＴ画像データ３０では、椎体の側弯箇所が伸びてしまい、側弯状態を立体画像で描出することが困難である。立位ＣＴ装置であれば、立位状態の被検体Ｐの椎体の側弯状態を描出することができるが、被検体Ｐの病状によっては、撮像の間、立位姿勢を維持することが困難なため、立位ＣＴ装置での撮像が難しい場合がある。

本変形例の変形機能１５４および生成機能１５５は、Ｘ線ＣＴ装置３で臥位撮影した椎体側弯患者である被検体Ｐの椎体を含むＸ線ＣＴ画像データ３０と、被検体Ｐを立位で撮影した椎体のＸ線画像データ２０とを第１の実施形態と同様の手法によりマッチングすることにより、椎体側弯の立体画像データを生成する。本変形例の医用画像処理装置１によれば、立位ＣＴ装置を使用しなくとも、立位状態の椎体の立体画像データを生成することができる。

また、椎体側弯患者に限らず、変形性膝関節症患者の膝についても、本変形例を適用することができる。

（変形例３）
上述の第１～３の実施形態では、医用画像処理装置１は、３次元構造３０１に対応する２次元部位画像データ２０１のＸ線画像データ２０上の位置に基づいて３次元構造３０１を３次元空間５０内に配置していたが、標準人体モデルを基準として位置合わせを行っても良い。標準人体モデルは、一般的な人体の立体画像モデルであり、例えば、予め記憶回路１２０に記憶される。変形機能１５４は、Ｘ線ＣＴ画像データ３０とＸ線画像データ２０とを、それぞれ標準人体モデルを基準として大きさや形状の補正を行ってから、Ｘ線ＣＴ画像データ３０に含まれる３次元構造３０１と、Ｘ線画像データ２０に含まれる２次元部位画像データ２０１との比較を行っても良い。

また、生成機能１５５は、標準人体モデルを基準として、３次元構造３０１を配置することにより、３次元構造３０１の位置決めの処理を効率化しても良い。

（変形例４）
また、上述の第１～３の実施形態では、時系列の複数のＸ線画像データ２０は被検体Ｐの動きを描出するものとしたが、被検体Ｐだけではなく、撮像装置側が移動することにより、時系列の複数のＸ線画像データ２０が変化しても良い。

例えば、Ｘ線診断装置２は、被検体Ｐの周囲を回転しながら撮影する装置であっても良い。また、Ｘ線診断装置２は、被検体Ｐの何らかの動き（呼吸、心拍、血液循環等）を同時に撮像し、撮像結果を、時系列の複数のＸ線画像データ２０と共に医用画像処理装置１に送信しても良い。

（変形例５）
また、上述の第１～３の実施形態では、医用画像処理装置１は、撮像が完了した時系列の複数のＸ線画像データ２０を一度に取得するものとしたが、医用画像処理装置１は、撮像中の時系列の複数のＸ線画像データ２０を順次取得し、リアルタイムに４次元画像データ４００を生成しても良い。

例えば、Ｘ線診断装置２がＸ線アンギオ装置である場合、医用画像処理装置１の取得機能１５１は、Ｘ線アンギオ装置から、撮像中の時系列の複数のＸ線画像データ２０を順次取得する。また、変形機能１５４および生成機能１５５は、予め取得されたＸ線ＣＴ画像データ３０と、順次取得される時系列の複数のＸ線画像データ２０とに基づいて、４次元画像データ４００を順次生成する。また、出力機能１５６は、４次元画像データ４００が生成される都度、生成された４次元画像データ４００を、リアルタイムで変化する３次元画像としてディスプレイ１４０に表示する。

本変形例によれば、時系列の複数のＸ線画像データ２０の撮像中に４次元画像データ４００を生成することができるので、例えば、Ｘ線アンギオ装置を用いたカテーテル治療等の最中に、リアルタイムで変化する３次元画像を表示することができる。

（変形例６）
また、医用画像処理装置１は、被検体Ｐの姿勢の変化によるＣＴ値の変化を、４次元画像データ４００に反映しても良い。

例えば、本変形例の生成機能１５５は、生成した４次元画像データ４００に含まれる３次元画像データ４０ａ～４０ｎにおける胸郭の大きさの変化に基づいて、３次元画像データ４０ａ～４０ｎにおける肺のＣＴ値を変更する。

Ｘ線ＣＴ画像データ３０においては、ＣＴ値が画素値に変換されるため、生成機能１５５によってＣＴ値が変更されることにより、４次元画像データ４００に基づく画像がディスプレイ１４０に表示される際の画素値が変化する。

具体的には、肺に取り込まれた空気の量が少ないほど、肺のＣＴ値は高くなる。このため、生成機能１５５は、Ｘ線ＣＴ画像データ３０とＸ線画像データ２０の撮像時の被検体Ｐの姿勢に応じて、被検体Ｐの胸郭内の空間の体積を推定し、該推定の結果から、肺に取り込まれた空気の量を推定する。

被検体Ｐの胸郭の大きさは、被検体Ｐが腕を挙上している場合には、腕を体側に沿って降ろしている場合よりも大きくなる。例えば、Ｘ線ＣＴ画像データ３０の撮像の際は、一般に、アーチファクトを低減するために、被検体Ｐが腕を挙上した姿勢で撮像される。また、Ｘ線画像データ２０の撮像の際には、腕を体側に沿って下した状態で撮像される場合が多い。このため、生成機能１５５は、Ｘ線ＣＴ画像データ３０における肺のＣＴ値を、Ｘ線画像データ２０の撮像時における被検体Ｐの姿勢において推定される被検体Ｐの胸郭内の空間の体積に応じて補正する。このような補正により、医用画像処理装置１は、Ｘ線画像データ２０の撮像時における被検体Ｐの姿勢に即した４次元画像データ４００を生成することができる。

また、肺に取り込まれた空気の量は被検体Ｐが呼気状態が吸気状態かによって異なる。このため、上述の第２の実施形態のように被検体Ｐの呼吸周期の解析結果に基づいて、生成機能１５５は、４次元画像データ４００における肺のＣＴ値を変更しても良い。

また、生成機能１５５は、上述の第３の実施形態のように被検体Ｐの胸骨および肋骨の位置または角度に基づいて推定された被検体Ｐの呼吸周期に基づいて、４次元画像データ４００における肺のＣＴ値を変更しても良い。

なお、ＣＴ値の補正は、４次元画像データ４００の生成後ではなく、３次元構造３０１と２次元部位画像データ２０１との比較の際に、変形機能１５４が実施するものとしても良い。

以上説明した少なくとも１つの実施形態によれば、読影者の負荷を低減することが可能な医用画像処理装置、医用画像処理方法、および医用画像処理プログラムを提供することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１，１００１ 医用画像処理装置
２ Ｘ線診断装置
３ Ｘ線ＣＴ装置
２０，２０ａ～２０ｎ Ｘ線画像データ
３０ Ｘ線ＣＴ画像データ
４０，４０ａ～４０ｎ ３次元画像データ
５０，５０ａ～５０ｎ ３次元空間
１２０ 記憶回路
１３０ 入力インタフェース
１４０ ディスプレイ
１５０ 処理回路
１５１，１１５１ 取得機能
１５２ 第１の抽出機能
１５３ 第２の抽出機能
１５４ 変形機能
１５５ 生成機能
１５６，１１５６ 出力機能
１５７ 解析機能
２００ 時間３次元画像データ
２０１，２０１ａ～２０１ｎ，２０１ｘ，２０１ｘ－１～２０１ｘ－ｎ ２次元部位画像データ
３０１，３０１ａ～３０１ｎ，３０１ｘ－１～３０１ｘ－ｎ ３次元構造
３０２，３０２ｘ，３０２ｄ，３０２ｄ´ 投影画像データ
４００ ４次元画像データ
Ａ 投影視点
Ｐ 被検体
Ｓ１，Ｓ２ 医用情報システム

Claims (8)

1. 被検体を撮像した１時点における第１の３次元画像データと、前記被検体を時系列の複数の撮像時刻において撮像した時系列の複数の２次元画像データと、を取得する取得部と、
   前記取得部によって取得された前記第１の３次元画像データに含まれる複数の特徴部位の各々を３次元構造として抽出する第１の抽出部と、
   前記取得部によって取得された前記複数の２次元画像データに含まれる複数の特徴部位の各々を、２次元部位画像データとして抽出する第２の抽出部と、
   前記撮像時刻ごとに、該撮像時刻に対応する前記２次元部位画像データに基づいて、前記第１の抽出部によって抽出された複数の３次元構造の各々を変形または回転させる変形部と、
   前記撮像時刻ごとに、前記変形部により変形または回転された前記複数の３次元構造を統合した第２の３次元画像データを生成する生成部と、
   を備える医用画像処理装置。
2. 前記変形部は、前記３次元構造を、仮想の投影視点を基準として２次元に変換した投影画像データを生成し、前記投影画像データと、前記投影画像データに対応する前記２次元部位画像データとの一致度が閾値以上となるように、前記投影視点と前記３次元構造の位置関係、前記３次元構造の形状、または前記３次元構造の大きさを変更する、
   請求項１に記載の医用画像処理装置。
3. 前記変形部は、前記複数の特徴部位の各々の特性を表す特性情報に基づいて、前記３次元構造を変形する、
   請求項１または２に記載の医用画像処理装置。
4. 前記特徴部位は、前記被検体の骨格、臓器、または筋組織であり、
   前記特性情報は、前記骨格、臓器、または筋組織の各々の動きの制約または剛性を表す、
   請求項３に記載の医用画像処理装置。
5. 前記生成部は、前記複数の２次元画像データに描出された前記被検体の胸骨の位置、前記胸骨の傾き、前記被検体の肋骨の位置、または前記肋骨の傾きに基づいて、前記複数の撮像時刻の各々における前記被検体の胸郭の厚さを推定し、該推定の結果に基づいて、前記複数の３次元構造の各々の配置を調整する、
   請求項１から４のいずれか１項に記載の医用画像処理装置。
6. 前記生成部によって生成された複数の第２の３次元画像データに含まれる複数の特徴部位の前記複数の撮像時刻の各々における形状、大きさ、または位置に基づいて、前記被検体の周期的な動きを解析する解析部、をさらに備える、
   請求項１から５のいずれか１項に記載の医用画像処理装置。
7. 被検体を撮像した１時点における第１の３次元画像データと、前記被検体を時系列の複数の撮像時刻において撮像した時系列の複数の２次元画像データと、を取得する取得ステップと、
   前記取得ステップで取得された前記第１の３次元画像データに含まれる複数の特徴部位の各々を３次元構造として抽出する第１の抽出ステップと、
   前記取得ステップで取得された前記複数の２次元画像データに含まれる複数の特徴部位の各々を、２次元部位画像データとして抽出する第２の抽出ステップと、
   前記撮像時刻ごとに、該撮像時刻に対応する前記２次元部位画像データに基づいて、前記第１の抽出ステップで抽出された複数の３次元構造の各々を変形または回転させる変形ステップと、
   前記撮像時刻ごとに、前記変形ステップで変形または回転された前記複数の３次元構造を統合した第２の３次元画像データを生成する生成ステップと、
   を含む医用画像処理方法。
8. 被検体を撮像した１時点における第１の３次元画像データと、前記被検体を時系列の複数の撮像時刻において撮像した時系列の複数の２次元画像データと、を取得する取得ステップと、
   前記取得ステップで取得された前記第１の３次元画像データに含まれる複数の特徴部位の各々を３次元構造として抽出する第１の抽出ステップと、
   前記取得ステップで取得された前記複数の２次元画像データに含まれる複数の特徴部位の各々を、２次元部位画像データとして抽出する第２の抽出ステップと、
   前記撮像時刻ごとに、該撮像時刻に対応する前記２次元部位画像データに基づいて、前記第１の抽出ステップで抽出された複数の３次元構造の各々を変形または回転させる変形ステップと、
   前記撮像時刻ごとに、前記変形ステップで変形または回転された前記複数の３次元構造を統合した第２の３次元画像データを生成する生成ステップと、
   をコンピュータに実行させるための医用画像処理プログラム。

Images