JP7277131B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本明細書の開示は、画像処理装置、画像処理方法、及びプログラムに関する。

医用分野において、互いに異なる時刻に撮像された２つの原画像（以下、参照画像と比較画像）を比較する際に用いられる技術として、画像間の経時変化を差分で表す画像（以下、差分画像）を取得するサブトラクション技術が知られている。

サブトラクション技術において、撮像対象の経時変化を適切に捉える差分画像を生成するためには、その前処理として参照画像と比較画像の各画素を適切に対応付ける位置合わせ処理を正確に行う必要がある。

非特許文献１には、原画像と、画像中のある特定の領域の抽出処理を行った結果とを併せて位置合わせ処理に利用することで、処理精度を高める方法が開示されている。この技術では、前記抽出領域の輪郭からの距離を表す画像（以下、距離画像）を計算し、位置合わせ処理の中で原画像と距離画像の両方を同時に用いることで、位置合わせ精度を高めている。

Ｍｉｎ Ｃｈｅｎ，ｅｔ．ａｌ．"Ｄｉｓｔａｎｃｅ Ｔｒａｎｓｆｏｒｍｓ ｉｎ Ｍｕｌｔｉ Ｃｈａｎｎｅｌ ＭＲ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ" Ｐｒｏｃ ＳＰＩＥ Ｉｎｔ Ｓｏｃ Ｏｐｔ Ｅｎｇ． ２０１１ Ｍａｒ １１：２０１１（７９６２）：７９６２１Ｄ．

しかしながら、非特許文献１に記載の技術では、位置合わせ処理の中で原画像と所定の部位を抽出した結果に基づく距離画像の２種類の画像を同時に用いているため、処理に係る計算コストが高くなってしまうという課題があった。

本明細書の開示は、異なる時点で撮像された２つの画像をより高い精度、且つより低い計算コストで位置合わせすることを目的とする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

本明細書に開示の画像処理装置は、被検体を互いに異なる時刻に撮像した第１の画像と第２の画像を取得する取得部と、前記第１の画像において抽出される被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有し、且つ前記第１の画像より解像度が低い第１の距離画像を生成し、前記第２の画像において抽出される前記所定の部位を示す領域の輪郭からの距離に基づいた画素値を有し、且つ前記第２の画像より解像度が低い第２の距離画像を生成する生成部と、前記第１の距離画像と前記第２の距離画像を位置合わせすることにより第１の変形情報を算出する第１の算出部と、前記第１の変形情報に基づいて前記第１の画像と前記第２の画像を位置合わせすることにより第２の変形情報を算出する第２の算出部と、を備えることを特徴とする。

本明細書の開示によれば、異なる時点で撮像された２つの画像をより高い精度、且つより低い計算コストで位置合わせができる。

第１の実施形態に係る画像処理装置の機能の構成を示す図である。 画像処理装置の処理手順の例を示すフローチャートである。 画像処理装置により生成される画像の一例を示す図である。

以下、図面を参照して、本明細書に開示の画像処理装置の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の画像処理装置の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

＜第１の実施形態＞
第１の実施形態に係る画像処理装置は、コンピュータ断層撮影装置（以下、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置と呼ぶ）などの種々の画像撮像装置（モダリティ）によって取得される複数の３次元画像の表示を行う装置である。本実施形態に係る画像処理装置は、異なる時点で撮像された２つの３次元画像間で対応する２次元断層画像や、２つの２次元断層画像から生成される差分画像を表示するために、画像間の対応位置を計算する位置合わせ機能を有している。さらに、本実施形態に係る画像処理装置は、対応位置を求める過程において、原画像と併せて、所定の解剖学的領域を抽出した結果から計算する距離画像を多重解像度位置合わせ処理の中で利用することを特徴とする。

本実施形態においては、ＣＴ装置で撮像された画像に含まれる骨部の位置合わせ処理を行う例について記載する。なお、その他のモダリティによって得られた画像、またはその他の解剖学的構造の位置合わせを行う場合にも、同様の処理を行うことで、本実施形態の効果を得られる。

以下、図１を用いて本実施形態の画像処理装置の構成及び処理を説明する。

図１は、本実施形態の画像処理装置を含む画像処理システム（医用画像処理システムともいう）の構成例を示すブロック図である。画像処理システムは、その機能的な構成として、画像処理装置１０、ネットワーク２１、及びデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能に接続されている。ネットワーク２１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。

データベース２２は、被検体の画像や該画像に関連付けられた情報を保持し、管理する。画像処理装置１０は、ネットワーク２１を介してデータベース２２で保持されている画像を取得することが可能である。画像処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１（通信部）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、及び制御部３７を備える。

通信ＩＦ３１（通信部）は、ＬＡＮカードなどにより構成され、外部装置（例えば、データベース２２など）と画像処理装置１０との通信を実現する。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムを記憶する。ＲＡＭ３３は、揮発性のメモリなどにより構成され、各種情報をデータとして一時的に記憶する。記憶部３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、各種情報をデータとして記憶する。操作部３５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ（例えば、医師）からの指示を各種装置に入力する。

表示部３６は、ディスプレイなどにより構成され、各種情報をユーザに表示する。制御部３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などにより構成され、画像処理装置１０における処理を制御する。制御部３７は、その機能的な構成として、取得部５１、抽出部５２、生成部５３、変更部５４、第１の算出部５５、第２の算出部５６、及び表示制御部５７を備える。

取得部５１は、位置合わせ処理対象となる参照画像と比較画像をデータベース２２から取得する。すなわち、取得部５１は、被検体を互いに異なる時刻に撮像した第１の画像と第２の画像を取得する取得部の一例に相当する。なお、本実施形態では、参照画像に比べて過去に撮像した画像を比較画像とする。これらの画像は、各種モダリティにより取得された被検体の３次元の画像である。本実施形態では、この画像がＣＴ画像である例を説明するが、他の種類の画像であってもよい。すなわち、参照画像と比較画像の２つの画像は、３次元の画像あるいは２次元の画像であれば画像の種類に依らず適用可能であって、比較を行う対象の画像であればいずれの画像であってもよい。すなわち、同一被検体を撮像したものであってもよいし、他人同士の画像、例えば、健常者と患者の画像などであってもよい。また、異なるモダリティの画像であってもよい。

抽出部５２は、取得部５１で取得した参照画像と比較画像の夫々に関して、当該画像から被検体の所定の部位を示す領域を抽出する。

生成部５３は、参照画像と比較画像に関する抽出部５２で抽出した被検体の所定の部位を示す領域の夫々について、抽出領域に基づく距離値を算出し、第１の距離画像と第２の距離画像を生成する。より具体的には、抽出部５２で抽出した領域の情報を利用して、例えば抽出領域の輪郭からの距離値に基づいた画素値を２つの画像中の各画素において算出し、第１の距離画像と第２の距離画像を生成する。すなわち、生成部５３は、第１の画像において抽出された領域の輪郭からの距離に基づいた画素値を有する第１の距離画像を第１の画像から生成する。また、第２の画像において抽出された領域の輪郭からの距離に基づいた画素値を有する第２の距離画像を第２の画像から生成する。

変更部５４は、入力された画像を予め設定された解像度に変更する。本実施形態では、第１の距離画像と第２の距離画像に対して解像度を低下させる処理を行う。

第１の算出部５５は、生成部５３により生成された第１の距離画像と第２の距離画像、または変更部５４により生成された画像に基づいて、参照画像と比較画像で対応する位置を示す情報として第１の画像変形情報を算出する。すなわち、第１の距離画像と第２の距離画像を位置合わせすることにより第１の変形情報を算出する。

第２の算出部５６は、取得部５１で取得した参照画像と比較画像と、第１の算出部５５で算出した第１の画像変形情報に基づいて、参照画像と比較画像で対応する位置を示す情報として第２の画像変形情報を算出する。すなわち、第２の算出部５６は、第１の変形情報に基づいて、第１の画像と第２の画像を位置合わせすることにより第２の変形情報を算出する。

すなわち、本実施形態における位置合わせ処理は、低解像度化された距離画像と原画像（参照画像と比較画像）に基づいて、多段階（多重解像度）で行う。本実施形態における位置合わせ処理の基本的な考え方は、Ｃｏａｒｓｅ－ｔｏ－Ｆｉｎｅと呼ばれる考え方に基づくものである。この考え方では、まず大まかな位置合わせ処理を行った後に、その結果を次の位置合わせ処理に利用し、詳細な位置合わせを行う。つまり、段階的に複数の位置合わせ処理を繋げる形を取ることによって、高精度な位置合わせを行う。

後述の図２のフローチャートに示すステップＳ１０５では、まず全体の大まかな位置合わせを行うために、低解像度の距離画像を用いて、１段階目の画像変形情報として第１の画像変形情報を計算する。そして、ステップＳ１０６では、２段階目の位置合わせ処理としてより詳細な位置合わせを行うために、１段階目の処理で用いた距離画像よりも高い解像度の参照画像と比較画像を用いて位置合わせ処理を行い、第２の画像変形情報を計算する。

表示制御部５７は、第２の算出部５６により算出した結果に基づいて、入力された画像のうち少なくとも２つ以上の画像を、対応位置の比較を容易に行えるような表示形態で、表示部３６の画像表示領域内に表示させる。例えば、参照画像と比較画像に加え、第１の変形情報もしくは第２の変形情報に基づいて比較画像を変形させた変形画像と、参照画像と変形画像との差分を示す差分画像との少なくとも一方を表示部に表示させる。

上記の画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）がＲＡＭ３３をワーク領域としてＲＯＭ３２又は記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。

例えば、画像処理装置１０とは異なる場所にある演算装置がネットワーク２１を介して画像処理装置１０に通信可能に接続され、画像処理装置１０と演算装置がデータの送受信を行うことで、画像処理装置１０又は制御部３７の構成要素の機能が実現されてもよい。

次に、図２を用いて、図１の画像処理装置１０の処理の例について説明する。

図２は、画像処理装置１０の処理手順の例を示すフローチャートである。本実施形態では骨部の解剖学的特徴に基づいて位置合わせする例を説明するが、本実施形態はその他の部位を設定する場合にも適用可能である。

（ステップＳ１０１：画像の取得／表示）
ステップＳ１０１において、ユーザが操作部３５を介して画像の取得を指示すると、取得部５１は、ユーザが指定した参照画像と比較画像をデータベース２２から取得し、ＲＡＭ３３に格納する。すなわち、ステップＳ１０１は、被検体を異なる時刻に撮像した第１の画像と第２の画像を取得する画像取得工程の一例に相当する。またこのとき、表示制御部５７は、データベース２２から取得された画像を表示部３６の画像表示領域内に表示させてもよい。

（ステップＳ１０２：各画像の解剖学的構造（骨部）領域の抽出）
ステップＳ１０２において、抽出部５２は、取得部５１で取得した参照画像と比較画像の夫々について、被検体の所定の部位を示す領域（解剖学的構造領域）を抽出する。本実施形態において、被検体の所定の部位を示す領域とは、位置合わせの対象である骨部の領域を表す。なお、骨部の領域は例えば、肋骨、胸骨または骨盤のように細分化して抽出してもよい。この場合、例えば特開２０１７－１９２６９１に記載の、画素値の連続性を表す特徴量を取得する方法を用いることで骨領域をさらに細分化して抽出することができる。また、被検体の所定の部位を示す領域は上記に限定されず、例えば肝臓、肺野または脳などの臓器でもよい。この領域抽出には、例えば、閾値処理やグラフカット等を利用した各種臓器領域抽出手法など、既知の手法を用いればよい。

例えば、ＣＴ画像から骨部の領域を抽出する場合には、非造影の検査画像であれば、画像上で骨領域の画素値がその他の領域の画素値よりも高いことを利用して、ある閾値（例えば１５０［Ｈ．Ｕ．］）以上の画素値を抽出することで大まかに抽出できる。すなわち、所定の閾値以上の画素値を抽出することにより被検体の所定の部位を示す領域を抽出する。

その後、抽出領域の抜けを埋めるために、穴埋め処理やクロージング処理などのモルフォロジー演算を用いて図形整形を行っても良い。また、この抽出処理には、原画像の画素値のみならず、原画像から計算できる既知の特徴量の値を用いても良い。なお、位置合わせの対象となる領域データが予め用意されている場合には、ここで当該画像の読み込みを行ってもよい。また、上記の領域抽出後の処理は行われなくてもよい。

また、本実施形態において、抽出した領域に対応する画素（前景画素／図形画素）には画素値＝２５５などの既定の画素値が格納されるものとし、抽出されなかった領域に対応する画素（背景画素）にも画素値＝０などの規定の画素値が格納されるものとする。

つまり、本ステップＳ１０２で抽出したある被検体の所定の部位を示す領域を表す画像では、抽出領域内部、および、外部には、夫々一定の値が格納されるため、夫々の領域の画素値の分布は一様のものとなる。すなわち、抽出した領域内の画素と抽出した領域外の画素とに互いに異なる２値の画素値を格納することにより被検体の所定の部位を示す領域を抽出する。なお、抽出された領域内部と領域外部とで格納する所定の画素値は上記に限定されず、さらに、抽出された領域内部と領域外部の一部において所定の画素値とは異なる画素値が格納されてもよい。

領域抽出に関する画像処理が終わった後、抽出部５２は、参照画像と比較画像の夫々の画像について、被検体の所定の部位を示す領域を抽出した結果と、図３（ａ）に示すような領域抽出の結果を反映させた画像をＲＡＭ３３に格納する。

（ステップＳ１０３：距離画像の生成）
ステップＳ１０３において、生成部５３は、参照画像と比較画像においてステップＳ１０２で抽出した領域の情報に基づいて、各画素で当該領域の輪郭からの距離値を計算する。そして算出された距離値に基づいて第１の距離画像と第２の距離画像を生成して、ＲＡＭ３３に格納する。すなわち、第１の画像において抽出された領域の輪郭からの距離に基づいた画素値を有する第１の距離画像を第１の画像から生成する。また、第２の画像において抽出された領域の輪郭からの距離に基づいた画素値を有する第２の距離画像を第２の画像から生成する。この計算は、参照画像と比較画像の夫々に対して抽出結果を反映させた画像に関して行うものとし、抽出領域に対する距離変換処理などの既知の手法を用いればよい。図３を用いて説明すると、図３（ａ）のように２値で領域抽出を行った画像に対して距離変換処理などを行い図３（ｂ）のような距離画像を生成する。

なお、本実施形態では、抽出領域の輪郭からのユークリッド距離を画像の各画素で計算するものとするが、マンハッタン距離など、その他の距離指標を用いてもよい。また、図形画素の輪郭付近の値が高くなるように、輪郭からの距離値の逆数や、シグモイド変換などの既知の値変換を行ってもよい。さらに、距離値に対して正負の符号を与えて、抽出領域の内側（前景／図形、画素値＝２５５の領域）と外側（背景、画素値＝０の領域）を区別する符号付き距離を計算してもよく、符号なしの距離を用いても構わない。

上記のような処理を行うことにより生成される距離画像（図３（ｂ））は、ステップＳ１０２で生成される領域抽出の結果を反映させた画像（図３（ａ））と比較して、抽出領域の内側（前景）と外側（背景）について、異なる濃度値を持つ特徴がある。

具体的には、図３（ａ）が２値画像であるのに対して、図３（ｂ）は多値画像となる。例えば、図３（ｂ）に示す距離画像は、抽出された領域内の画素において、抽出された領域の輪郭からのユークリッド距離が長くなるにつれて大きい画素値を有する。このとき、抽出された領域内の画素についてシグモイド変換などの既知の値変換を行うことにより、抽出された領域の輪郭からのユークリッド距離が所定値以上の画素がほぼ一律に同じ画素値になるように変換してもよい。

あるいは、距離画像は、抽出された領域内の画素において、抽出された領域の輪郭からのユークリッド距離の長さが第１の範囲に含まれる画素には第１の画素値を格納し、第１の範囲に含まれる画素よりもユークリッド距離が長い、第２の範囲に含まれる画素には前記第１の画素値よりも大きい第２の画素値を格納してもよい。

また、距離画像は、抽出された領域外の画素において、抽出された領域の輪郭からのユークリッド距離が長くなるにつれて小さい画素値を有する。このとき、抽出された領域外の画素についてシグモイド変換などの既知の値変換を行うことにより抽出された領域の輪郭からのユークリッド距離が所定値以上の画素がほぼ一律に同じ画素値になるように変換してもよい。

あるいは、抽出された領域外の少なくとも一部の画素において、抽出された領域の輪郭からのユークリッド距離の長さが第１の範囲に含まれる画素には第１の画素値を格納し、第１の範囲に含まれる画素よりもユークリッド距離が長い、第２の範囲に含まれる画素には第１の画素値よりも小さい第２の画素値を格納してもよい。なお、上記の濃度値の変換方法等は一例であってこれに限定されない。

上記に示すような濃淡表現によって、位置合わせ処理における位置ずれに対するキャプチャレンジが広がるという効果がある。すなわち、距離画像を位置合わせ処理に用いることで、より大きな位置ずれに対応できるため、初期の位置ずれが大きい場合にも位置合わせ精度の向上が期待できる。

なお、本実施形態においては、ステップＳ１０２で抽出した領域の輪郭からの距離値に基づいた距離画像を用いているが、当該領域の重心からの距離に基づいた画像など、その他の場所を基準として計算できる距離を用いても良い。あるいは、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）などの既知の特徴量を用いて、画像から特徴点を抽出する既知の手法により特定した１つ以上の特徴点に基づいて、距離画像を生成してもよい。このとき、特徴点を計算する際に用いる画像は、抽出部５２で領域抽出した結果を反映させた画像であってもよく、取得部５１で取得した原画像（参照画像と比較画像）であってもよい。なお、取得部５１で取得した原画像から特徴点を直接計算する場合には、前記ステップＳ１０２の領域抽出処理を省略してもよい。

（ステップＳ１０４：画像の低解像度化）
ステップＳ１０４において、変更部５４は、生成部５３で生成した第１の距離画像と第２の距離画像に対して解像度を低下させる処理を行い、画像の大きさを入力画像よりも小さくした画像を生成し、ＲＡＭ３３に格納する。

本実施形態では、低解像度化処理は、参照画像と比較画像の夫々の距離画像に関して行うものとするが、この処理は、ステップＳ１０１や、ステップＳ１０２の後に行っても良く、夫々の処理に合わせて段階的に複数回行っても良い。すなわち、参照画像と比較画像の解像度を低減し、その解像度が低減された画像から被検体の所定の部位を抽出するようなフローでもよい。

つまり、ステップＳ１０２からＳ１０４の順序は上記に限定されず、第１の画像において抽出される被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有し、且つ第１の画像より解像度が低い第１の距離画像が生成されればよい。また、第２の画像において抽出される前記領域の輪郭からの距離に基づいた画素値を有し、且つ第２の画像より解像度が低い第２の距離画像が生成されればよい。

なお、領域抽出を行うステップと画像の低解像度化のステップの順番は、位置合わせ対象となる解剖構造の領域抽出処理の精度との兼ね合いを考慮して、適応的に決定することが望ましい。

例えば肋骨や胸骨など、細かい構造物を抽出したい場合には、領域抽出処理の前に解像度を下げ過ぎてしまうと抽出処理が困難になる可能性があるため距離画像に対して解像度変更を行うフローが望ましい。

一方で、肺野や肝臓、または骨盤などの比較的大きい構造物を抽出したい場合には、低い解像度の画像でも比較的容易に領域を抽出できるため、抽出処理の前に画像の解像度を下げてもよい。このようにすることによって、細かいノイズを除去することができる。また、後段の領域抽出処理や距離計算処理の計算コストを下げることができるため、処理の高速化が期待できる。

あるいは、ステップＳ１０２において、所定の情報（例えば、位置合わせ対象の臓器名などの部位情報）を入力情報として受付け、所定の情報毎に予め決定したステップの順番で処理をしてもよい。例えば、位置合わせ対象臓器として骨盤が指定された場合は低解像度化の後に解剖学的構造領域の抽出と距離画像生成を行う。また、位置合わせ対象臓器として肋骨が指定された場合には解剖学的構造領域の抽出と距離画像生成の後に低解像度化の処理を行う。すなわち、ステップＳ１０２は、被検体の所定の部位の情報を取得する部位情報取得工程の一例に相当する。このようにすることで、入力として与えられる所定の情報に基づいて、適切な処理手順に自動で切替えることができる。

（ステップＳ１０５：距離画像を用いた位置合わせ）
ステップＳ１０５において、第１の算出部５５は、ステップＳ１０４で生成した低解像度の第１の距離画像および第２の距離画像に基づいて、参照画像と比較画像の位置合わせ処理を行う。すなわち、第１の画像変形情報として、低解像度の第１の距離画像の各画素について、低解像度の第２の距離画像で対応する位置を計算する。ここで、第１の画像変形情報は、例えば、低解像度の第１の距離画像と同じ解像度の情報であり、低解像度の第１の距離画像の各画素における（低解像度の第２の距離画像の対応画素への）変位ベクトルを保持する変位場画像として生成できる。なお、ステップＳ１０４の画像の低解像度化の処理がステップＳ１０３の距離画像生成処理よりも前に行われている場合には、ステップＳ１０３の出力画像が低解像度の距離画像であるため、その出力画像を用いればよい。

そして、第１の算出部５５は、第１の画像変形情報と、第１の画像変形情報に基づいて比較画像を参照画像に合わせるように画像変形を行うことで生成した画像（第１の変形画像）をＲＡＭ３３に格納する。なお、この第１の変形画像は必ずしも生成する必要はなく、第１の画像変形情報を出力、保存するだけでもよい。あるいは、第１の画像変形情報を入力として用いた処理を実行し、その結果を第２の算出部５６に出力するだけでもよい。

さて、本実施形態で行われる多段階の位置合わせのうち、ステップＳ１０５で行う１段階目の位置合わせ処理に低解像度の距離画像を用いるのには次の理由がある。この１段階目の位置合わせ処理は、上述の通り、大まかな位置合わせを目的としているため、詳細な情報を持つ高解像度の画像は処理に適していない。

この理由は、位置合わせ前の初期の段階においては、２つの画像の位置は大きくずれていることも多く、そのような場合において、高解像度の画像の各画素単位の値の一致／不一致の情報は、位置合わせ処理におけるノイズとなってしまうためである。すなわち、位置合わせ処理における局所解に陥るリスクが高くなってしまう。解像度の低い画像を用いることには、大まかな画像情報を重点的に利用するという効果があるため、位置合わせ処理の初期段階に低解像度の画像を用いることにはメリットがある。

さらに、解像度を下げた画像を使うことによって、処理対象の画素数が削減されるため、計算コストの削減も期待できる。これらのメリットは、画像ピラミッドなどを用いた一般的な多重解像度の位置合わせと同じである。

次に、本実施形態では、初期の状態で位置合わせ誤差が大きい場合にも対応するために、低い解像度での位置合わせ処理を行う際に、参照画像や比較画像などの原画像の代わりに距離画像を用いることとする。被検体の所定の部位を示す領域を抽出した結果から計算できる距離画像を用いることにより、大まかな対応位置を計算する際に、被検体の所定の部位を示す領域に特化した処理が実現できる。

例えば、骨部の位置合わせを行う場合には、骨以外の臓器が写っている原画像を用いるのではなく、骨領域を抽出した結果の距離画像を利用することで、より重点的に骨領域の位置合わせ処理ができる。ここで抽出結果の画像を直接使うのではなく、距離画像を用いるのは、距離画像の方が、より大きな初期の位置合わせ誤差に対応できるためである。

なお、この２つの距離画像（参照画像の距離画像と比較画像の距離画像）間の位置合わせ処理は、アフィン変換のような線形的な位置合わせ手法や、ＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）、ＬＤＤＭＭ（Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）などの非線形的な位置合わせ手法により実行されてもよく、これらの組合せで実行されてもよい。

さらには、それらの位置合わせ処理や位置合わせ処理の組み合わせを複数回繰り返して行ってもよい。また、本ステップＳ１０５の距離画像を用いた位置合わせ処理自体も多重解像度の枠組みで処理をしてもよい。

（ステップＳ１０６：原画像を用いた位置合わせ）
ステップＳ１０６において、第１の画像変形情報に基づいて、参照画像と比較画像を位置合わせすることにより第２の画像変形情報を算出する。具体的には、第１の画像変形情報を算出した後、第２の算出部５６は、第１の画像変形情報を初期値として、１段階目の処理で用いた画像よりも高い解像度の原画像を用いて、位置合わせ処理を行い、より詳細な変形情報である第２の画像変形情報を得る。すなわち、第２の画像変形情報として、参照画像の各画素について、比較画像で対応する位置を計算する。ここで、第２の画像変形情報は、例えば、参照画像と同じ解像度の情報であり、参照画像の各画素における（比較画像の対応画素への）変位ベクトルを保持する変位場画像として生成できる。なお、この詳細な位置合わせ処理に関しても、上述の既知の位置合わせ手法を用いればよく、第１の画像変形情報を計算した方法と異なる方法であっても構わない。参照画像と比較画像を原画像のまま比較する方法以外に、ノイズ除去やエッジ強調などの前処理を夫々の画像に施した後の画像を用いて位置合わせしてもよい。また、参照画像と比較画像が異なるモダリティで得られた画像の場合には、例えば相互情報量を用いた異モダリティ間位置合わせの各種手法を用いてもよい。第１の画像変形情報は低い解像度の画像で計算されているものであるため、２段階目の位置合わせ処理で用いる位置合わせ手法の必要に応じて、変形情報の解像度を２段階目の処理で用いる画像の解像度と合わせてもよい。

ここで、ステップＳ１０６の位置合わせに高い解像度の距離画像を用いないのには、距離画像には次のデメリットが考えられるためである。距離画像や被検体の所定の部位を示す領域の抽出結果に基づいた位置合わせは、その性質上、位置合わせ処理の精度が領域抽出処理の精度に強く依存してしまうという点がある。これは、領域抽出処理の精度が十分に高く、処理がロバストである場合には問題にならないが、領域抽出処理の結果に見落としや拾い過ぎがある場合には、詳細な位置合わせ処理において問題になる可能性がある。

例えば、領域抽出処理において、ある解剖学的構造の細かい構造を表す領域を見落としている場合、当該領域は位置合わせ処理の対象として扱われないため、抽出処理で見落とした領域の位置合わせができなくなってしまうという問題が生じる。一般に、ある解剖構造を抽出する問題を考えると、細かい構造を自動抽出することは困難であることが想像できる。

したがって、位置合わせ処理に求められる精度に対して領域抽出処理の精度が足りない場合には、詳細な位置合わせを行う段階では、より情報量の多い原画像などを用いる方が好ましいと考えられる。これらのことから、大まかな位置合わせを行う処理と詳細な位置合わせを行う処理を組み合わせる場合には、夫々の段階で最適な画像を選択することで、全体の処理性能を高められることが分かる。本実施形態においては、大まかな位置合わせを行うために、骨部の輪郭からの距離画像を用いて、詳細な位置合わせを行う際には、より情報量の多い原画像を用いることで、精度の高い位置合わせ処理を実現している。

なお、本ステップの位置合わせ処理は、原画像のみを用いるのではなく、非特許文献１の方法を用いても構わない。この場合においても、ステップＳ１０５の処理によって、位置合わせ対象の位置ずれが小さくなっているため、最終的な位置合わせ結果を得るまでの計算コストを下げられる効果は保たれる。

最後に、第２の算出部５６は、第２の画像変形情報と、第２の画像変形情報に基づいて比較画像を参照画像に合わせるように画像変形を行うことで生成した画像（変形画像）をＲＡＭ３３に格納する。なお、この変形画像は必ずしも生成する必要はなく、前記第２の画像変形情報を出力、保存するだけでもよい。あるいは、第２の画像変形情報を入力として用いた処理を実行し、その結果を出力するだけでもよい。一例では、参照画像と変形画像の差分を計算した結果を出力してもよい。また、前記第２の変形情報に基づいて、比較画像上のＲＯＩ（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）に対応する参照画像上のＲＯＩの導出を行ってもよい。あるいは、前記第２の変形情報に基づいて、第１の画像の各スライスに略対応する第２の画像のスライスを同定し、その対応情報を出力する構成であってもよい。

（ステップＳ１０７：位置合わせ結果に基づいた画像表示）
ステップＳ１０７において、表示制御部５７は、入力画像である参照画像と比較画像に併せて、変形画像を画像表示領域内に表示させる。このとき、２つの画像間の差を表す画像、すなわち差分画像（例えば、参照画像から変形画像を引いたもの）を計算し、画像表示領域内に表示させてもよい。

本実施形態によれば、多重解像度の位置合わせ処理に低解像度の距離画像と高解像度の原画像の両方を段階的に利用することで、異なる時点で撮像された２つの画像をより低い計算コストで、より高い精度の位置合わせ結果をユーザに提供できる効果がある。

本実施形態によれば、多重解像度の位置合わせ処理の枠組みの中で、原画像よりも大まかな位置合わせに適している距離画像と、原画像とを組み合わせて利用することで、より低い計算コストで、精度の高い位置合わせ結果をユーザに提供できる。

（変形例）
上記の実施形態では、ステップＳ１０５の処理において第１の算出部５５が第１の変形情報を算出する処理を行う前に、原画像よりも解像度の低い距離画像を生成し、当該位置合わせ処理に用いる例を示した。しかし、低い計算コストで大まかな位置合わせを行うための該変形情報を計算するまでの手順は必ずしもこれに限らない。例えば、解像度の変更を位置合わせ処理の前に行うのではなく、ステップＳ１０５の位置合わせ処理の中で同等の効果が得られる方法を用いながら変形情報を計算してもよい。より具体的には、ステップＳ１０５における位置合わせ処理の中で、処理対象の第１の距離画像と第２の距離画像の比較を行う際に、少なくとも一方の画像（例えば、第１の距離画像）をサンプリングして参照することで処理対象の画素を削減する方法を用いてもよい。例えば、第１の変形情報の計算を行う際に、第１の距離画像を原画像の解像度よりも低くなるようにサンプリングして参照し、サンプリングした位置（画素）において第１の距離画像と第２の距離画像の対応位置の計算を行ってもよい。このとき、前記第１の変形情報の解像度は、第１の距離画像と同じになる。すなわち、前記第２の変形情報の解像度よりも低くなることから、第１の実施形態と同様に、より低い計算コストで精度の高い位置合わせ結果をユーザに提供できる効果を保てる。

＜その他の実施形態＞
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

１０ 画像処理装置
２１ ネットワーク
２２ データベース
３１ 通信ＩＦ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 操作部
３６ 表示部
３７ 制御部
５１ 取得部
５２ 抽出部
５３ 生成部
５４ 変更部
５５ 第１の算出部
５６ 第２の算出部
５７ 表示制御部

Claims (19)

1. 被検体を互いに異なる時刻に撮像した第１の画像と第２の画像を取得する取得部と、
   前記第１の画像において抽出される被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有し、且つ前記第１の画像より解像度が低い第１の距離画像を生成し、前記第２の画像において抽出される前記所定の部位を示す領域の輪郭からの距離に基づいた画素値を有し、且つ前記第２の画像より解像度が低い第２の距離画像を生成する生成部と、
   前記第１の距離画像と前記第２の距離画像を位置合わせすることにより第１の変形情報を算出する第１の算出部と、
   前記第１の変形情報に基づいて前記第１の画像と前記第２の画像を位置合わせすることにより第２の変形情報を算出する第２の算出部と、
   を備えることを特徴とする画像処理装置。
2. 被検体を互いに異なる時刻に撮像した第１の画像と第２の画像を取得する取得部と、
   前記第１の画像において抽出される被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有する第１の距離画像と、前記第２の画像において抽出される前記所定の部位を示す領域の輪郭からの距離に基づいた画素値を有する第２の距離画像を生成する生成部と、
   前記第１の距離画像と前記第２の距離画像を位置合わせすることにより第１の変形情報を算出する第１の算出部と、
   前記第１の変形情報に基づいて前記第１の画像と前記第２の画像を位置合わせすることにより第２の変形情報を算出する第２の算出部と、
   を備え、
   前記第１の変形情報の解像度が前記第２の変形情報の解像度より低いことを特徴とする画像処理装置。
3. 前記第１の算出部と前記第２の算出部は、前記第１の画像と前記第２の画像のうち、一方の画像に比べて過去に撮像された方の画像を前記一方の画像に対して変形することにより前記第１の変形情報と前記第２の変形情報を算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記生成部は、所定の閾値以上の画素値を抽出することにより前記所定の部位を示す領域を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記生成部は、前記所定の部位を示す領域の輪郭からのユークリッド距離に基づいた画素値を有する前記距離画像を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成部は、前記所定の部位を示す領域内の少なくとも一部の画素の画素値は、前記ユークリッド距離が長くなるにつれて大きくなるように前記距離画像を生成することを特徴とする請求項５に記載の画像処理装置。
7. 前記生成部は、前記所定の部位を示す領域内の前記ユークリッド距離が所定値以上の画素は一律に同じ画素値を有する前記距離画像を生成することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記生成部は、前記所定の部位を示す領域外の少なくとも一部の画素の画素値は、前記ユークリッド距離が長くなるにつれて小さくなるように前記距離画像を生成することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 前記生成部は、前記所定の部位を示す領域外の前記ユークリッド距離が所定値以上の画素は一律に同じ画素値を有する前記距離画像を生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の算出部は、前記第１の変形情報を初期値として前記第２の変形情報を算出することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記第１の変形情報もしくは前記第２の変形情報に基づいて前記第２の画像を変形させた変形画像と、前記第１の画像と前記変形画像との差分を示す差分画像との少なくとも一方を表示部に表示させる表示制御部をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記所定の部位は、骨部、肝臓、肺野または脳のうち少なくとも１つであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 被検体を互いに異なる時刻に撮像した第１の画像と第２の画像を取得する画像取得工程と、
    前記第１の画像において抽出される被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有し、且つ前記第１の画像より解像度が低い第１の距離画像を生成し、前記第２の画像において抽出される前記領域の輪郭からの距離に基づいた画素値を有し、且つ前記第２の画像より解像度が低い第２の距離画像を生成する生成工程と、
    前記第１の距離画像と前記第２の距離画像を位置合わせすることにより第１の変形情報を算出する第１の算出工程と、
    前記第１の変形情報に基づいて、前記第１の画像と前記第２の画像を位置合わせすることにより第２の変形情報を算出する第２の算出工程と、
    を備えることを特徴とする画像処理方法。
14. 前記生成工程は、前記第１の画像において、前記領域の輪郭からの距離に基づいた画素値を有する画像を生成した後に解像度を低減することにより前記第１の距離画像を生成し、且つ前記第２の画像において、前記領域の輪郭からの距離に基づいた画素値を有する画像を生成した後に解像度を低減することにより前記第２の距離画像を生成することを特徴とする請求項１３に記載の画像処理方法。
15. 前記生成工程は、前記第１の画像において、前記第１の画像の解像度を低減した後に前記領域を抽出し、前記領域の輪郭からの距離に基づいた画素値を有する前記第１の距離画像を生成し、且つ前記第２の画像において、前記第２の画像の解像度を低減した後に前記領域を抽出し、前記領域の輪郭からの距離に基づいた画素値を有する前記第２の距離画像を生成することを特徴とする請求項１３に記載の画像処理方法。
16. 前記被検体の所定の部位の情報を取得する部位情報取得工程をさらに備え、
    前記生成工程は、前記取得した前記被検体の部位が、肋骨または胸骨である場合には、前記第１の画像において、前記領域の輪郭からの距離に基づいた画素値を有する画像を生成した後に解像度を低減することにより前記第１の距離画像を生成し、且つ前記第２の画像において、前記領域の輪郭からの距離に基づいた画素値を有する画像を生成した後に解像度を低減することにより前記第２の距離画像を生成することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理方法。
17. 前記生成工程は、前記取得した前記被検体の部位が、肺野、肝臓または骨盤である場合には、前記第１の画像において、前記領域の輪郭からの距離に基づいた画素値を有する画像を生成した後に解像度を低減することにより前記第１の距離画像を生成し、且つ前記第２の画像において、前記領域の輪郭からの距離に基づいた画素値を有する画像を生成した後に解像度を低減することにより前記第２の距離画像を生成することを特徴とする請求項１６に記載の画像処理方法。
18. 被検体を撮像した第１の画像と第２の画像を位置合わせする方法であって、
    前記第１の画像から生成された、前記被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有する第１の距離画像と、前記第２の画像から生成された、前記被検体の所定の部位を示す領域の輪郭からの距離に基づいた画素値を有する第２の距離画像と、を位置合わせすることにより前記第１の画像及び前記第２の画像の解像度よりも低い解像度の第１の変形情報を算出する第１の位置合わせ工程と、
    前記第１の位置合わせ工程により取得される前記第１の変形情報を用いて、前記第１の画像と、前記第２の画像を位置合わせすることにより前記第１の変形情報よりも高い解像度を有する第２の変形情報を算出する第２の位置合わせ工程と、
    を備えることを特徴とする画像処理方法。
19. 請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。

Images