JP7387280B2

JP7387280B2 - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP7387280B2
Application number: JP2019075075A
Authority: JP
Inventors: 亨田中; 和大宮狭; 清秀佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-04-10
Filing date: 2019-04-10
Publication date: 2023-11-28
Anticipated expiration: 2039-04-10
Also published as: JP2020171481A; US20220028134A1; WO2020209013A1

Description

本明細書の開示は、画像処理装置、画像処理方法及びプログラムに関する。

医療の分野において、種々のモダリティにより互いに異なる時刻に撮像して得られた２つの画像から生成される差分画像をユーザに提示することにより、病変等の経時変化を可視化する試みがなされている。

非特許文献１では、ＣＴ装置により撮像して得られた２つの３次元画像から生成した差分画像を２次元の断層画像として表示する技術が開示されている。また、差分画像の輝度値をスライス面と平行な方向（ＣＴでは一般に被検体の体軸と直交する方向）に投影した２次元の投影画像を生成・表示する技術が開示されている。

Ｒ．Ｓａｋａｍｏｔｏ，ｅｔ．ａｌ，ＴｅｍｐｏｒａｌｓｕｂｔｒａｃｔｉｏｎｓｙｓｔｅｍｆｏｒｄｅｔｅｃｔｉｎｇｂｏｎｅｍｅｔａｓｔａｓｉｓｕｓｉｎｇＬＤＤＭＭ：ｐｒｅｌｉｍｉｎａｒｙｓｔｕｄｙ，ＣＡＲＳ２０１４．

しかし、非特許文献１の技術では、スライス間隔が粗い２つの３次元画像から差分画像を生成した場合には、差分画像のスライス間隔も粗くなる。その結果、差分画像の輝度値をスライス面と平行な方向に投影した投影画像を表示部に表示した場合に見づらいという課題があった。

上記課題に鑑み、本明細書の開示は、スライス面と平行な方向に投影した場合でも視認性の高い差分画像を生成することを目的とする。

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

本明細書に開示の画像処理装置は、被検体を撮像して得られた３次元画像である第１の医用画像と第２の医用画像から３次元画像である差分画像を生成する画像処理装置であって、前記第１の医用画像と前記第２の医用画像を取得する取得手段と、前記差分画像の解像度を決定する決定手段と、前記決定手段が決定した解像度で前記差分画像を生成する差分画像生成手段と、を備え、前記決定手段は、前記差分画像の解像度を構成する３つの軸方向のうち少なくとも１軸方向の解像度を、前記第１の医用画像の解像度と、所定の第１の解像度とに基づいて決定することを特徴とする。

本明細書の開示によれば、スライス面と平行な方向に投影した場合でも視認性の高い差分画像を生成することができる。

第１の実施形態に係る画像処理システムの機器構成を示す図である。第１の実施形態における全体の処理手順を示すフロー図である。原画像と差分画像のアキシャル断面を例示する図である。原画像のコロナル断面と差分投影画像を例示する図である。本実施形態における座標軸の設定を例示する図である。

以下、添付図面に従って本明細書に開示の画像処理装置の好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の画像処理装置の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。

＜第１の実施形態＞
本実施形態に係る画像処理装置は、互いに異なる時刻に撮像された２つの画像間で位置合わせを行い、差分画像を生成する装置である。本実施形態に係る画像処理装置は、２つの画像（原画像）のスライス間隔が粗い場合には、差分画像のスライス面に直交する方向の解像度（すなわち、差分画像のスライス間隔）を、所定の細かい解像度に合わせて生成することを特徴とする。

以下、図１乃至図４を用いて、本実施形態の構成及び処理を説明する。

図１は、本実施形態に係る画像処理システムの構成を示す。同図に示すように、本実施形態における画像処理装置１００は、ネットワーク１２０を介してデータサーバ１３０と接続されている。

データサーバ１３０は、複数の医用画像を保持している。以下の説明では、データサーバ１３０には、第１の医用画像および第２の医用画像として、異なる条件（異なるモダリティ、撮影モード、日時、体位等）で被検体を予め撮像して得られた複数の３次元断層画像が保持されているとする。本実施形態では、第１の医用画像と第２の医用画像はＸ線ＣＴ装置により撮像して得られた３次元断層画像（３次元医用画像）であるとして説明を行う。

なお、本明細書においては、図５に示すように、被検者の右手から左手への方向を表す軸をＸ軸、被検者の背面から正面への方向を表す軸をＹ軸、被検者の頭から足への方向を表す軸をＺ軸として定義する。また、ＸＹ断面をアキシャル面、ＹＺ断面をサジタル面、ＺＸ断面をコロナル面と定義する。すなわち、Ｘ軸方向は、サジタル面に直交する方向（以下、サジタル方向）である。また、Ｙ軸方向は、コロナル面に直交する方向（以下、コロナル方向）である。さらに、Ｚ軸方向は、アキシャル面に直交する方向（以下、アキシャル方向）である。このとき、２次元スライス画像の集合として構成されるＣＴ画像の場合は、画像のスライス面はアキシャル面を表し、スライス面に直交する方向（以下、スライス方向）はアキシャル方向を表す。なお、座標系の取り方は一例であり、これ以外の定義であってもよい。

なお、３次元断層画像を撮像するモダリティは、ＭＲＩ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置などであってもよい。さらに、第１の医用画像および第２の医用画像は、差分画像を生成する対象となる３次元断層画像であれば、いかなる画像であってもよい。例えば、異なるモダリティや異なる撮影モードで同時期に撮像されたものであってもよい。また、経過観察のために、同一患者を同一モダリティ、同一体位で異なる日時に撮像した画像であってもよい。なお、第１の医用画像および第２の医用画像は、２次元断層画像の集合として構成された３次元医用画像（３次元断層画像）であり、各２次元断層画像の位置および姿勢は、基準座標系（被検体を基準とした空間中の座標系）に変換した上でデータサーバ１３０に保持されているものとする。このとき、基準座標系で表現された第１の医用画像および第２の医用画像は、指示部１４０を操作するユーザの指示に応じて、画像処理装置１００に入力される。

画像処理装置１００は、指示部１４０からユーザによる処理の要求を受け付けて画像処理を行い、処理結果を表示部１５０へ出力する装置であり、医師等のユーザが操作する読影用の端末装置として機能する。具体的には、指示部１４０を通じたユーザからの指示に基づいて、データサーバ１３０から、画像処理対象となる第１の医用画像と第２の医用画像を画像対として取得する。そして、これらの画像の位置合わせ処理を行い、差分画像を生成して表示部１５０に出力する。画像処理装置１００は、以下に説明する構成要素により構成されている。取得部１０１は、画像処理装置１００へと入力される第１の医用画像および第２の医用画像の情報を取得する。変換部１０２は、第１の医用画像と第２の医用画像を予め決められた解像度（以下、処理解像度）に夫々解像度変換する。位置合わせ部１０３は、解像度変換された後の第１の医用画像と第２の医用画像（以下、第１の変換画像、第２の変換画像）の間の位置合わせ処理を行い、画像間の変位場を算出する。決定部１０４は、出力する差分画像の解像度（以下、出力解像度）を決定する。差分画像生成部１０５は、取得した変位場に基づいて第２の医用画像を第１の医用画像と一致させるように変形させた第２の変形画像と、第１の医用画像との間の差分画像を、出力解像度に基づいて生成する。投影画像生成部１０６は、差分画像の輝度値を２次元に投影した投影画像（以下、差分投影画像）を生成する。表示制御部１０７は、生成された差分画像や差分投影画像等を表示部１５０に出力する制御を行う。

表示部１５０は、ＬＣＤやＣＲＴ等の任意の機器により構成されており、医師が読影するために医用画像等の表示を行う。具体的には、画像処理装置１００から取得した第１の医用画像と第２の医用画像の断面画像を表示する。また、画像処理装置１００で生成された差分画像の断面画像、および差分投影画像を表示する。

図２は、画像処理装置１００が行う全体の処理手順を示すフローチャートである。

（Ｓ２０１０）（画像を取得）
ステップＳ２０１０において、取得部１０１は、データサーバ１３０から、指示部１４０を通じてユーザが指定した、第１の医用画像および第２の医用画像を取得する。そして、第１の医用画像および第２の医用画像を、変換部１０２、差分画像生成部１０５、および表示制御部１０７へと出力する。

（Ｓ２０２０）（画像の解像度を変換）
ステップＳ２０２０において、変換部１０２は、第１の医用画像および第２の医用画像を処理解像度に解像度変換し、第１の変換画像および第２の変換画像を取得する。

例えば、差分画像の原画像となる第１の医用画像および第２の医用画像の画素サイズが非等方な場合に、後段の処理で行う画像間の位置合わせを高精度に実施できるように、画素サイズを等方化した第１の変換画像および第２の変換画像を取得する。より具体的には、例えば第１の画像と第２の画像がＣＴ画像の場合には、スライス方向（アキシャル方向）の解像度に対してスライス面内（例えばサジタル方向、コロナル方向）の解像度が高いため、スライス面内の解像度に合わせてスライス方向の画素をアップサンプリングする処理を行う。なお、解像度変換時の濃度値の補間には公知の画像処理手法を用いることができる。

本実施形態では、画像間の細部の差分が算出可能なように処理解像度を３次元の各軸方向に１ｍｍとし、解像度変換により画素サイズが等方化された第１の変換画像と第２の変換画像を取得する。なお、処理解像度は十分に画像間の細部の差分が算出可能な解像度であれば１ｍｍでなくともよい。また、必ずしも等方化しなくてもよく、後段の処理で行う画像間の位置合わせを高精度に実施できる程度に解像度を変換できればよい。さらに、ステップＳ２０１０において取得された段階で第１の医用画像と第２の医用画像の解像度が既に処理解像度である場合等の解像度変換処理が必要ない場合には、必ずしも解像度変換をしなくてもよい。そして、生成された第１の変換画像および第２の変換画像を、位置合わせ部１０３へと出力する。

（Ｓ２０３０）（２画像間を位置合わせ）
ステップＳ２０３０において、位置合わせ部１０３は、第１の変換画像と第２の変換画像間で同一部位を表す画素が略一致するように位置合わせを行い、画像間の位置を対応付ける変位場を取得する。そして、位置合わせの結果である変位場の情報を、差分画像生成部１０５へと出力する。

本実施形態では、画像間の位置合わせとは、一方の画像の各画素位置を変位させて他方の画像の画素位置に対応させるための変位場を算出する処理を示している。

例えば、互いに異なる時刻に撮像された２つの画像がある場合、一方の画像に比べて過去に撮像された画像の各画素位置を変位させ、一方の画像の画素位置に対応させることにより変位場を算出する。すなわち、本実施形態において第２の医用画像が第１の医用画像に比べて過去に撮像された画像であるとすると、第２の変換画像上の各画素位置を変位させて第１の変換画像に位置合わせすることにより各画素位置における変位ベクトル場を取得する。つまり、生成される変位場は、第１の変換画像を基準として、第１の変換画像の各画素位置における変位ベクトルを格納した画像（第２の変形画像）であり、第１の変換画像と同じ解像度、同じ画素数となる。従って、処理解像度が１ｍｍ等方の場合は、変位場も１ｍｍで等方化された変位ベクトル場となる。これにより、変位場は画像間の細部の差分が算出可能な情報量を保持するものとなる。

本実施形態において、位置合わせは公知の画像処理手法により行う。例えば、画像間の画像類似度が高くなるように一方の画像を変形させることにより求める。画像類似度としては、一般的に用いられているＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を用いることができる。また、画像の変形のモデルとしては、ＴｈｉｎＰｌａｔｅＳｐｌｉｎｅ（ＴＰＳ）などの放射基底関数に基づく変形モデルやＦｒｅｅＦｏｒｍＤｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）、ＬａｒｇｅＤｅｆｏｒｍａｔｉｏｎＤｉｆｆｅｏｍｏｒｐｈｉｃＭｅｔｒｉｃＭａｐｐｉｎｇ（ＬＤＤＭＭ）等の公知の変形モデルを利用できる。

（Ｓ２０４０）（出力解像度を決定）
ステップＳ２０４０において、決定部１０４は、出力解像度を、第１の医用画像の解像度とステップＳ２０２０において用いた処理解像度とに基づいて決定する。

そして、決定した出力解像度の値を、差分画像生成部１０５へと出力する。

ここで、決定部１０４が出力解像度を決定する処理の詳細について説明する。

２画像間の差分画像を生成する一般的な方法として、２つの画像のうち位置合わせの基準となる画像（本実施形態では第１の医用画像）と、差分画像とが、画素毎に位置が対応付けられた形で差分画像を生成する方法がある。このとき、差分画像は、位置合わせの基準となる画像（第１の医用画像）と同じ解像度、同じ画素数で生成される。これにより、例えば、第１の医用画像に含まれる２次元断層画像と差分画像に含まれる２次元断層画像の位置を対応付けて確認したい場合には、容易に対応付けて表示することができる。

しかしながら、差分画像をスライス面に平行な方向に２次元投影した差分投影画像や、スライス面（アキシャル面）とは異なる、サジタル面やコロナル面を含む任意の断面で差分画像を切断した断面画像を生成して表示する場合は以下の問題が生じる。

すなわち、第１の画像のスライス間隔が粗いと、差分画像のスライス間隔も粗くなる。これにより、差分画像のスライス面の断面画像を表示部に表示した場合には解像度が十分であるものの、差分投影画像を表示部に表示した場合にはスライス方向に粗い解像度で表示されるという問題があった。この問題は、種々のモダリティにより３次元断層画像を取得する場合に、全ての軸方向において解像度が必ずしも一致しないことが多いために生じる。例えば、Ｘ線ＣＴ装置の場合は、被ばく量の低減やデータ量削減のために、スライス方向（アキシャル方向）の解像度（スライス間隔）はスライス面内方向（例えばサジタル方向やコロナル方向）の解像度に比べて粗いことが多い。

そのため、本実施形態では、出力解像度におけるスライス面内の解像度に関しては、第１の画像と差分画像を対応付けて表示できるように、第１の画像の解像度に一致させる。一方、出力解像度におけるスライス方向の解像度に関しては、差分投影画像が粗くならないように決定する。例えば、３次元画像のスライス面がＸ軸とＹ軸（例えばサジタル方向とコロナル方向）、スライス方向（アキシャル方向）がＺ軸と定義される場合、出力解像度を構成する３軸のうち、Ｘ軸とＹ軸（スライス面内）の解像度は、第１の医用画像の解像度のＸ軸とＹ軸の解像度に一致させるように決定する。一方、Ｚ軸（スライス方向）の解像度は、第１の医用画像のＺ軸の解像度と、画像間の細部の差分が算出可能な所定の解像度（以下、第１の解像度）とに基づいて決定する。

より具体的には、第１の医用画像のＺ軸の解像度と第１の解像度の２つの解像度のうち、高い（細かい）方の解像度をＺ軸の出力解像度（すなわち、差分画像のＺ軸の解像度）として設定する。すなわち、第１の医用画像のＺ軸の解像度が「第１の解像度より粗い」の場合は、Ｚ軸の出力解像度を第１の解像度と同じ解像度に設定する。一方、第１の医用画像のＺ軸の解像度が「第１の解像度と同じ、または、第１の解像度より細かい」の場合は、Ｚ軸の出力解像度を第１の医用画像のＺ軸の解像度と同じ解像度に設定する。換言すると、解像度が極力粗くならないように、差分画像の基準となる第１の医用画像のスライス方向の解像度を、細かい解像度である第１の解像度に基づいて補正した解像度になるように出力解像度を決定する。

また、本実施形態では、第１の解像度として処理解像度の値を採用する。つまり、スライス方向に関して出力解像度の上限値を処理解像度とする。具体的には、処理解像度が１ｍｍ等方であるとすると、第１の解像度として１ｍｍを使用する。このように、出力解像度のスライス方向の解像度の上限値（第１の解像度）を処理解像度に一致させることにより、ステップＳ２０３０に記載した通り、スライス方向の出力解像度は位置合わせ処理によって得られた変位場の解像度とも一致する。ステップＳ２０３０に記載した通り変位場は画像間の細部の差分が算出可能な解像度（１ｍｍ）で生成されている。従って、スライス方向の出力解像度の上限値は、単に差分投影画像の各画素のサイズが大きくならないように設定されているだけではなく、情報量としても画像間の細部の差分を表現できる値として設定されていることになる。このように、出力解像度のスライス方向の解像度の値に上限値（最大値）を設けることにより、第１の医用画像のスライス間隔が粗い（スライス方向の解像度が粗い）場合であっても、差分投影画像のスライス方向における解像度を細かくできる。そして、元々第１の医用画像のスライス間隔が細かい（スライス方向の解像度が細かい）場合には、差分投影画像のスライス方向における解像度をそのまま細かくできる。そのため、第１の医用画像の解像度に関わらず常に所定の解像度で差分画像を生成する方法に比べ、より適切な解像度に決定できるため視認性の高い差分投影画像を生成できる。

なお、第１の解像度として用いる値は一例であって上記に限定されない。すなわち、第１の解像度は処理解像度の値と一致していなくてもよいし、１ｍｍでなくてもよい。望ましくは、０．５ｍｍ以上かつ２．０ｍｍ以下の所定の値であるとよい。上記により、例えば被検体の骨部の経時変化を観察する場合でも、解像度を適切に設定することができる。

このとき、第１の医用画像のスライス方向の解像度が５ｍｍの場合は、スライス方向に関して第１の医用画像の解像度が処理解像度よりも粗いため、出力解像度のスライス方向の値を１ｍｍとする。一方、第１の医用画像のスライス方向の解像度が０．５ｍｍの場合は、スライス方向に関して第１の医用画像の解像度が処理解像度よりも細かいため、出力解像度のスライス方向の値を０．５ｍｍとする。

なお、出力解像度の決定方法は、上記に限られるものではない。例えば、出力解像度のスライス方向の値を、さらに第２の医用画像のスライス方向の解像度も含めた３つの解像度に基づくようにしてもよい。すなわち、出力解像度のスライス方向の値を、差分画像の基準となる第１の医用画像のスライス方向の解像度を第１の解像度と第２の医用画像のスライス方向の解像度に基づいて補正した解像度になるように決定してもよい。より具体的には、これら３つの解像度の最小値（最も高い解像度）としてもよい。これにより、出力解像度のスライス方向の値を、第１の医用画像のスライス方向の解像度、第２の医用画像のスライス方向の解像度、処理解像度のうち最も情報量の多い、すなわち細かい解像度に合わせられる。

また、出力解像度のスライス方向（アキシャル方向）の値に限らず、スライス面内（この例ではＸ軸（サジタル方向）の値やＹ軸（コロナル方向））の値も、第１の医用画像の解像度と処理解像度に基づいて算出するようにしてもよい。すなわち、差分画像の解像度を構成する３つの軸方向のうち少なくとも１軸方向の解像度を、第１の医用画像の解像度と、所定の第１の解像度とに基づいて決定する。

これにより、全ての軸方向の解像度が適切に細かい、視認性の高い差分画像および差分投影画像を生成することができる。

さらに、スライス方向の出力解像度を、第１の医用画像と処理解像度（を含む複数の解像度の組み合わせ）の最小値ではなく、それらの平均値や各解像度に重み付けした平均値などの中間的な値としてもよい。

例えば、第１の医用画像、第２の医用画像及び処理解像度の平均値をとることで、第１の医用画像、第２の医用画像がともに極端に粗い場合でも、スライス方向の出力解像度を最小値の場合よりも第１の医用画像や第２の医用画像に近い値に設定できる。すなわち、不要に解像度の細かい差分画像や差分投影画像を生成する可能性を低減できる。

より詳細には、第１の医用画像と第２の医用画像のスライス間隔がともに極端に粗い（例：１０ｍｍ）場合、差分をとる元画像の解像度自体が極端に粗いため、位置合わせ自体も粗くなる。従って、位置合わせの結果得られた変位場の解像度が１ｍｍのように細かくても、そこに含まれる情報量は粗い変位場とほぼ変わらなくなり、その結果得られる差分投影画像は粗い差分に基づくものとなる。つまり、スライス方向の出力解像度を複数の解像度の最小値である処理解像度（１ｍｍ）に一致させると、不要に解像度の細かい差分画像や差分投影画像が生成される。

しかし、このような場合でも、出力解像度を平均値などに決定することにより不要に解像度の細かい差分画像や差分投影画像を生成する可能性を低減できる。

また、第１の医用画像、第２の医用画像がともに極端に細かい場合でも、スライス方向の出力解像度を最小値の場合よりも第１の医用画像や第２の医用画像に近い値に設定できる。

より詳細には、第１の医用画像と第２の医用画像のスライス間隔がともに極端に細かい（例：０．１ｍｍ）場合、位置合わせによる変位場が１ｍｍの解像度でしか得られない。そのため、得られる差分投影画像は変位場の解像度の情報量でしか得られない（但し、上述の通り画像間の細部の差分算出には充分である）。つまり、スライス方向の出力解像度を、複数の解像度の組み合わせの最小値である第１の医用画像の解像度（０．１ｍｍ）に一致させると、不要に解像度の細かい差分画像や差分投影画像が生成される。

しかし、このような場合でも、複数の解像度の組み合わせの平均値をとることにより不要に解像度の細かい差分画像や差分投影画像を生成する可能性を低減できる。

また、出力解像度の決定方法は、所定の条件を満たす場合は、最小値を設定する上記の通常の処理を行い、所定の条件を満たさない場合にのみ、平均値を設定するようにできる。より具体的には、所定の条件を第１の条件とし、第１の条件を、第１の医用画像のスライス方向の解像度が第１の閾値以上（例えば、０．４ｍｍ以上）かつ第２の閾値未満（例えば、７ｍｍ未満）であることとする。このとき、決定部１０４は例えば、第１の医用画像の解像度が第１の条件を満たす場合に、差分画像のスライス方向の解像度を、第１の医用画像の解像度、第２の医用画像の解像度及び第１の解像度のうち、最も高い（細かい）解像度に決定する。一方、第１の条件を満たさない場合には、差分画像のスライス方向の解像度を、第１の医用画像の解像度、第２の医用画像の解像度及び第１の解像度の平均値に決定する。

（Ｓ２０５０）（差分画像を生成）
ステップＳ２０５０において、差分画像生成部１０５は、ステップＳ２０３０で取得した変位場に基づいて、第２の医用画像上の各位置を第１の医用画像上の位置に変位させる。その後、第１の医用画像上の対応位置との間で、画素の差分値を取ることで差分画像を生成する。このとき、差分画像はステップＳ２０３０で決定した出力解像度で生成する。そして、生成された差分画像を投影画像生成部１０６および表示制御部１０７へと出力する。

図３には、第１の医用画像のアキシャル断面３００、第２の医用画像のアキシャル断面３０１、差分画像のアキシャル断面３０２が示されている。また、第１の医用画像のアキシャル断面３００上の３０３は異常部位を表し、差分画像のアキシャル断面３０２上の３０４は異常部位３０３に対応する差分領域を表す。異常部位３０３に対応する差分領域とは、第１の医用画像に存在する異常部位３０３に対応する第２の医用画像の領域には異常部位が存在しないため、それらの領域の輝度の差分値として描出された領域である。このとき、差分画像のアキシャル断面３０２の解像度は第１の医用画像のアキシャル断面の解像度と一致するため、画像同士が画素単位で対応付いている。そのため、例えば、画像同士の融合や、差分領域３０４を指定すると対応する元の異常部位３０３の位置が表示されるといった画像間での対応位置の表示を容易に行える。

（Ｓ２０６０）（差分投影画像を生成）
ステップＳ２０６０において、投影画像生成部１０６は、ステップＳ２０４０で生成した差分画像の輝度値を２次元に投影した差分投影画像を生成する。そして、生成された差分投影画像を表示制御部１０７へと出力する。

より具体的には、差分投影画像として、３次元画像である差分画像をスライス面に平行に投影した投影画像を生成する。差分画像の原画像がＸ線ＣＴ画像の場合、スライス方向は体軸方向（Ｚ軸）に一致するため、差分投影画像は、被検体の体軸に直交する方向に投影された画像となる。例えば、体軸に直交する方向として、被検体の正面方向（コロナル方向）に投影した差分投影画像を生成する。これにより、被検体の撮像部位全体の差分画像の情報を容易に把握できる。投影方法としては、例えば、投影方向における輝度の最大値と最小値の平均値を算出した画像を生成する。以下ではこれを、ＭＩＰ／ＭｉｎＩＰ画像（最大値投影／最小値投影画像）と称する。これにより、差分画像における正の差分値、負の差分値の双方を考慮した値を投影画像上に反映できる。また、投影方法はこの方法に限られるものではなく、最大値投影（ＭＩＰ：ＭａｘｉｍｕｍＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ）であっても、最小値投影（ＭｉｎＩＰ：ＭｉｎｉｍｕｍＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ）であってもよい。すなわち、差分投影画像は、ＭＩＰ画像もしくはＭｉｎＩＰ画像、もしくは３次元画像を２次元に投影する際に、投影線上の画素値の最大値と最小値の両方に基づく値を投影した画像を含む。このとき、差分投影画像のスライス方向の解像度は、ステップＳ２０３０で決定した出力解像度となる。

図４は、第１の医用画像のコロナル断面画像４００と差分投影画像４０１を示している。また、第１の医用画像のコロナル断面画像４００上の４０２は異常部位を表し、差分投影画像４０１上の４０３は異常部位４０２に対応する差分領域を投影した差分投影領域を表す。これは、図３のスライス画像上の差分領域３０４を含む３次元の差分領域を、コロナル方向に投影した領域に相当する。図４では、第１の医用画像のスライス間隔が粗い（例：５ｍｍ）ため、コロナル断面画像４００のスライス方向（図示のＺ軸）の解像度は粗くなっている。しかし、差分投影画像４０１は、スライス方向の解像度が処理解像度（例：１ｍｍ）である細部の差分の情報量を保持した画像となるため、スライス方向に粗くならない。すなわち、第１の医用画像のスライス間隔が粗いためコロナル断面４００上では異常部位４０２は粗くなってしまうが、差分投影画像上の差分投影領域４０３は、細部の差分の情報量を保持しているため、細かく描出される。

（Ｓ２０７０）（画像を表示）
ステップＳ２０７０において、表示制御部１０７は、差分画像生成部１０５から取得した差分画像の断面画像と、投影画像生成部１０６から取得した差分投影画像を、表示部１５０に表示する制御を行う。また、第１の医用画像と第２の医用画像の断面画像を表示部１５０に表示する制御を行う。

なお、これらの画像を表示する処理は必ずしも必要ではなく、生成した差分画像や投影差分画像を不図示の保持部に保存する構成や、データサーバ１３０に出力する構成であってもよい。また、差分投影画像の生成は必ずしも必要ではなく、画像処理装置１００が保存した差分画像に基づいて、他の装置で投影差分画像を生成するようにしてもよい。

以上によって、画像処理装置１００の処理が実施される。

本実施形態によれば、差分画像の輝度値をスライス面に平行に投影した投影画像を生成する場合に、原画像のスライス間隔が粗い場合でもスライス方向の解像度を細かい解像度で生成することができる。

これにより、非特許文献１のように差分画像の輝度値をスライス面に平行に投影した投影画像を生成する場合に、原画像のスライス間隔が粗い場合でもスライス方向に細かい解像度を有する投影画像を生成することができる。

（変形例）
第１の実施形態では、出力解像度のスライス方向の値を決定する際の上限値（第１の解像度）と処理解像度は一致していた。しかし、必ずしも出力解像度の上限値と処理解像度は一致させなくともよい。例えば、処理解像度は出力解像度の上限値に対して近傍の値であってもよい。ここで、本変形例では、近傍の値とは、対象とする解像度に対して±０．５ｍｍ以内の値であると定義する。すなわち、第１の解像度に基づいた、第１の解像度を含む値である。例えば、ステップＳ２０４０において、出力解像度の上限値は、ステップＳ２０２０に記載した通り、画像間の細部の差分が算出可能な解像度（１ｍｍ）とする。一方、ステップＳ２０２０において、解像度変換する処理解像度を、１ｍｍの近傍の値である１．５ｍｍとする。そして、ステップＳ２０３０において、１．５ｍｍに解像度変換された第１の変換画像と第２の変換画像の間で位置合わせを行う。これにより、１ｍｍに解像度変換した場合に対して、その近傍の解像度で位置合わせすることで、位置合わせ精度を極力落とさずに（変位場の情報量を極力落とさずに）位置合わせを高速に行うことができる。そして、ステップＳ２０５０において、１．５ｍｍの解像度の変位場を用いて、出力解像度の上限値を１ｍｍとする差分画像を生成し、ステップＳ２０７０でその差分画像に基づく差分投影画像を生成する。このとき、差分画像を生成する際に用いた変位場は、１ｍｍの場合に比べ情報量があまり落ちていないため、差分投影画像を、スライス方向の情報量をあまり落とさずに生成することができる。このように、処理解像度が出力解像度の上限値より粗くとも近傍の値であれば、第１の実施形態で生成される差分投影画像に対して極力品質を落とさずに、差分投影画像を高速に出力することができる。

＜その他の実施形態＞
また、本明細書に開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

また、本明細書に開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本明細書に開示の技術を構成することになる。

１０１取得部
１０２変換部
１０３位置合わせ部
１０４決定部
１０５差分画像生成部
１０６投影画像生成部
１０７表示制御部

Claims

被検体を撮像して得られた３次元画像である第１の医用画像と第２の医用画像から３次元画像である差分画像を生成する画像処理装置であって、
前記第１の医用画像と前記第２の医用画像を取得する取得手段と、
前記差分画像の解像度を決定する決定手段と、
前記決定手段が決定した解像度で前記差分画像を生成する差分画像生成手段と、
を備え、
前記決定手段は、前記差分画像の画像座標軸を構成する３つの軸方向のうち少なくとも１軸方向の解像度を、前記第１の医用画像の解像度と、所定の第１の解像度と、に基づいて、前記第１の医用画像の解像度と前記所定の第１の解像度とのうち高い方の解像度、または、前記第１の医用画像の解像度と前記所定の第１の解像度の間の解像度に決定することを特徴とする画像処理装置。
前記３次元画像は、２次元スライス画像の集合として構成された画像であり、
前記決定手段は、前記差分画像のスライス面に直交するスライス方向の解像度を、前記第１の医用画像の前記スライス方向の解像度と前記所定の第１の解像度に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
前記決定手段は、前記差分画像の前記スライス方向の解像度を、前記第１の医用画像の前記スライス方向の解像度と前記所定の第１の解像度のうち、高い方の解像度に基づいて決定することを特徴とする請求項２に記載の画像処理装置。
前記決定手段は、前記差分画像の前記スライス方向の解像度を、前記第１の医用画像の前記スライス方向の解像度と前記所定の第１の解像度の平均値に基づいて決定することを特徴とする請求項２に記載の画像処理装置。
前記決定手段は、前記差分画像のスライス面内の解像度を、前記第１の医用画像のスライス面内の解像度に基づいて決定することを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
前記決定手段は、前記差分画像のスライス面内の解像度を、前記第１の医用画像のスライス面内の解像度に一致させることを特徴とする請求項５に記載の画像処理装置。
前記第１の医用画像と前記第２の医用画像を、前記所定の第１の解像度またはその近傍の解像度に夫々変換したうえで当該画像間の位置合わせ処理を施す位置合わせ手段をさらに備え、
前記差分画像生成手段は、前記位置合わせ処理の結果に基づいて前記差分画像を生成することを特徴とする、請求項１に記載の画像処理装置。
前記決定手段は、前記差分画像の画像座標軸を構成する３つの軸方向のうち少なくとも１軸方向の解像度を、前記第１の医用画像の解像度を前記所定の第１の解像度に基づいて補正した解像度に決定し、
前記差分画像生成手段は、前記決定手段が決定した解像度で前記第１の医用画像を基準にして前記差分画像を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
前記第１の医用画像と前記第２の医用画像の解像度を前記所定の第１の解像度に基づいた値に変換して得られる第１の変換画像と第２の変換画像を位置合わせする位置合わせ手段をさらに備え、
前記差分画像生成手段は、前記位置合わせ処理の結果に基づいて前記差分画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
前記差分画像を前記スライス面に平行な方向に投影した投影画像を生成する投影画像生成手段をさらに備えることを特徴とする請求項２に記載の画像処理装置。
前記投影画像は、ＭＩＰ画像、ＭｉｎＩＰ画像、または、３次元画像を２次元に投影する際に、投影線上の画素値の最大値と最小値の両方に基づく値を投影した画像を含むことを特徴とする請求項１０に記載の画像処理装置。
前記第１の医用画像と前記第２の医用画像は互いに異なる時刻に撮像された画像であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記所定の第１の解像度は、０．５ｍｍ以上かつ２．０ｍｍ以下の所定の値であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
被検体を撮像して得られた３次元医用画像である第１の医用画像と第２の医用画像から３次元の差分画像を生成する画像処理方法であって、
前記第１の医用画像と前記第２の医用画像を取得する取得工程と、
前記差分画像の解像度を決定する決定工程と、
前記決定工程において決定した解像度で前記差分画像を生成する差分画像生成工程と、
を備え、
前記決定工程において、前記差分画像の画像座標軸を構成する３つの軸方向のうち少なくとも１軸方向の解像度を、前記第１の医用画像の解像度と、所定の第１の解像度と、に基づいて、前記第１の医用画像の解像度と前記所定の第１の解像度とのうち高い方の解像度、または、前記第１の医用画像の解像度と前記所定の第１の解像度の間の解像度に決定することを特徴とする画像処理方法。
請求項１４に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
被検体を撮像して得られた３次元画像である第１の医用画像と第２の医用画像から３次元画像である差分画像を生成する画像処理装置であって、
前記第１の医用画像と前記第２の医用画像を取得する取得手段と、
前記差分画像の解像度を決定する決定手段と、
前記決定手段が決定した解像度で前記差分画像を生成する差分画像生成手段と、
を備え、
前記決定手段は、前記差分画像の画像座標軸を構成する３つの軸方向のうち少なくとも１軸方向の解像度を、前記第１の医用画像の解像度と、前記第２の医用画像の解像度と、所定の第１の解像度と、に基づいて、前記第１の医用画像の解像度と前記第２の医用画像の解像度と前記所定の第１の解像度とのうち最も高い解像度、または、前記第１の医用画像の解像度と前記第２の医用画像の解像度と前記所定の第１の解像度との平均値に対応する解像度に決定することを特徴とする画像処理装置。
前記３次元画像は、２次元スライス画像の集合として構成された画像であり、
前記決定手段は、前記差分画像のスライス面に直交するスライス方向の解像度を、前記第１の医用画像の前記スライス方向の解像度と前記第２の医用画像の前記スライス方向の解像度と前記所定の第１の解像度に基づいて決定することを特徴とする請求項１６に記載の画像処理装置。
前記決定手段は、前記差分画像の前記スライス方向の解像度を、前記第１の医用画像の前記スライス方向の解像度、前記第２の医用画像の前記スライス方向の解像度、及び前記所定の第１の解像度のうち、最も高い解像度に基づいて決定することを特徴とする請求項１７に記載の画像処理装置。
前記決定手段は、前記差分画像の前記スライス方向の解像度を、前記第１の医用画像の前記スライス方向の解像度と前記第２の医用画像の前記スライス方向の解像度と前記所定の第１の解像度との平均値に基づいて決定することを特徴とする請求項１７に記載の画像処理装置。
前記決定手段は、前記第１の医用画像の解像度が第１の条件を満たす場合に、前記差分画像のスライス方向の解像度を、前記第１の医用画像の解像度と前記第２の医用画像の解像度と前記所定の第１の解像度とのうち、最も高い解像度に基づいて決定し、且つ前記第１の条件を満たさない場合に、前記差分画像のスライス方向の解像度を、前記第１の医用画像の解像度と前記第２の医用画像の解像度と前記所定の第１の解像度との平均値に基づいて決定することを特徴とする請求項１７乃至１９のいずれか１項に記載の画像処理装置。
前記第１の条件は、前記第１の医用画像の解像度が第１の閾値以上かつ、前記第１の閾値よりも高い第２の閾値未満であることを特徴とする請求項２０に記載の画像処理装置。