JPWO2015198835A1 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

Abstract

予め関心領域が設定された大量のボリュームデータを読影する際に、できるだけ高速で、見落としのない読影をインタラクティブな操作で実現する画像処理装置および方法を提供する。撮影された三次元画像から二次元画像を生成し表示する画像処理装置であって、二次元画像の表示制御入力の速度を含む表示制御の第１次情報に関連する入力信号を受信し、入力信号から表示制御の第１次情報を算出し、関心領域の情報と表示制御の第１次情報をもとに二次元画像の表示速度を含む表示制御の第２次情報を算出し、表示制御の第２次情報に基づき二次元画像を順次生成して表示する。

Description

本発明は、三次元画像から二次元画像を生成して表示する画像処理装置および画像処理方法に関する。

Ｘ線ＣＴ（Ｘ−ｒａｙ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置等に代表される医用画像検査装置を用いた診断では、撮影された三次元医用画像（以下、「ボリュームデータ」ともいう）を連続した二次元画像として再構成し、読影を行うことが一般的である。

撮影装置は年々高度化し、ボリュームデータ一件あたりのデータサイズは増加する傾向にある。また特にＣＴ装置においては、低線量で高画質なボリュームデータの撮影が可能になってきたこともあり、撮影機会も増加傾向にある。従って、これら膨大な医用ボリュームデータを読影する医師や技師にかかる負担は、非常に高くなっている。

このような負担を軽減するため、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｔｅｃｔｉｏｎ，コンピュータ支援検出，もしくはＣｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ，コンピュータ支援診断）の利用ニーズが高まっている。ＣＡＤとは、コンピュータ、およびこれに基づく情報処理技術によって、画像情報の定量化および解析を行うシステムおよびその手法を指す。

ＣＡＤの代表的な機能としては例えば、医用ボリュームデータを対象データとし、そのボクセルの値や分布から、画像処理技術を用いて疾患の疑いが高い領域を自動的に抽出して関心領域として提示する機能などが挙げられる。ただしＣＡＤは診断に関してはあくまで支援を行うものであり、関心領域が疾患領域にあたるかの判断を含めた診断に際しては、医師の確認が必要となる。

ＣＡＤ等により予め関心領域が設定されたボリュームデータを読影する場合に、医師や技師に求められる確認事項としては、予め設定された関心領域を見て、正しく疾患領域に設定されているかどうかを確認することと、関心領域が設定されていない領域を見て、疾患領域が存在しないかどうかを確認することなどがあり、これらをできるだけ高速に、見落としなく行うことが必要である。

従来、予め関心領域が設定された大量のボリュームデータを読影する際に，見落としなく高速に実施するための技術が提案されている。

例えば、特許文献１には、関心領域と交わる画像断面において生成された前記画像データの表示速度を、他の画像断面において生成された前記画像データの表示速度より遅くして綿密な読影に供する装置及びプログラムが提案されている。

特開２０１３−８５６２２号公報

特許文献１に開示される技術では、読影中に、表示速度が遅い速度に自動的に低減されてしまうため、操作者としては不要と考える部分まで低速な表示となり、結果として全体読影時間が増加することや、インタラクティブ性の低い操作となるため、操作者のストレスが増加することなどの問題点がある。

本発明の目的は、できるだけ高速で見落としの少ない読影を、インタラクティブな操作で実現することができる画像処理装置及び画像処理方法を提供することである。

本発明の画像処理装置は、三次元画像に関する画像データベースを格納する記憶部と、ユーザ端末の操作に伴う入力信号を受信する入力受信部と、受信した入力信号の速度を含む表示制御の第１次情報を算出する表示制御の第１次情報の算出部と、三次元画像において疾患を含む疑いが高いと判断された関心領域の情報と、算出された表示制御の第１次情報をもとに三次元画像から生成する二次元画像の表示速度を含む表示制御の第２次情報を算出する表示制御の第２次情報の算出部と、算出された表示制御の第２次情報に基づき、二次元画像を順次生成してユーザ端末に送信する画像生成・送信部と、を備えることを特徴とする。

本発明によれば、高速で見落としの少ない読影を入力部のインタラクティブな操作で実現することができる

実施例１にかかる画像処理システムの構成を示す図である。 表示制御情報の算出処理の一例を示すフローチャート図である。 入力から入力速度を算出する過程の例を示す図である。 撮影対象体の座標系を示す図である。 実施例２にかかる、断面位置に対して関心度が設定されている関心度設定テーブルを示す図である。 入力時刻と表示時刻の時間間隔が設定されている時間間隔設定テーブルを示す図である。 関心領域横断時の関心度と、入力から表示までの時間間隔との関係を示す図である。 入力から表示までの時間間隔を変更する場合の、二次元画像表示タイミングを表すイメージを示す図である。 実施例３にかかる、関心領域の関心度と入力速度とその履歴を表す変化フラグに対して、断面間隔が設定されている断面間隔設定テーブルを示す図である。 実施例４にかかる、ボリュームデータの三次元可視化画像作成時の視点角度と視点位置とを、三次元座標系を用いて説明する図である。 三次元可視化画像作成時の視点角度に対して関心度が設定されている関心度設定テーブルを示す図である。 ボリュームデータの三次元位置に対して関心度が設定されている関心度設定テーブルを示す図である。

以下、４つの実施例を図面を用いて説明する。

本実施例では、表示制御の第１次情報に応じて表示制御の第２次情報を決定する画像処理装置の例を説明する。ここで、表示制御の第１次情報とは、例えば二次元画像をスクロールして読影中のマウスホイールの回転を検出するパルスの入力信号の速度であり、二次元画像を最終的に表示部あるいは表示装置に表示するための表示制御の第２次情報を算出する基礎となる中間生成的な情報であり、詳細については後述する。

また、表示制御の第２次情報とは、例えば入力信号の入力時刻から二次元画像表示時刻までの時間間隔（表示遅れ時間）であり、詳細については後述する。

図１は、本実施例に係る画像処理システムの構成図である。図１に示すように、本システムは、三次元画像に対して画像処理を行って二次元画像を生成する画像処理装置１００と、Ｘ線ＣＴ装置やＭＲＩ装置等を用いて撮影され再構成された三次元画像や関心領域の位置等の関心領域情報を格納する画像データ記憶サーバ２００と、画像処理装置１００への処理要求を入力する入力部３２０と画像データの表示を行う画像表示部３１０とを備えるユーザ端末３００と、これらを接続するネットワーク４００とから構成されている。

画像処理装置１００は、ユーザ端末３００から開始信号と、例えばユーザ端末３００の入力部３２０におけるマウスの移動やホイール回転の操作に伴う入力信号を受信する入力受信部１０と、表示制御の第１次情報を算出する表示制御の第１次情報の算出部２０と、表示制御の第２次情報を算出する表示制御の第２次情報の算出部３０と、二次元画像を生成しユーザ端末３００の画像表示部３１０に送信する画像生成・送信部４０と、入力受信部１０からの入力信号を格納する入力記憶部５０と、表示制御の第１次情報及び表示制御の第２次情報を格納する表示制御情報記憶部６０とを備える。

ここで、表示制御の第１次情報の算出部２０は、入力受信部１０から得られる入力信号から、例えば入力速度のような表示制御の第１次情報を算出する。また、表示制御の第２次情報の算出部３０は、表示制御の第１次情報の算出部２０から得られる表示制御の第１次情報と、画像データ記憶サーバ２００から得られる三次元画像と関心領域の情報から、例えば表示速度のような表示制御の第２次情報を算出する。

次に、図２を用いて、表示制御の第１次情報に応じて表示制御の第２次情報を決定する際の処理の流れを説明する。

まず、画像処理装置１００の入力受信部１０は、ユーザ端末３００の入力部３２０からの入力として開始信号を受信（Ｓ１０１）して、画像処理を開始する。入力受信部１０は、ユーザ端末３００の入力部３２０からの入力の有無を確認し（Ｓ１０２）、入力がない場合、処理を終了する（Ｓ１０３）。

入力がある場合、表示制御の第１次情報の算出部２０で、入力受信部１０から得られる現在の入力と、入力記憶部５０から得られる入力履歴とから、例えば入力速度のような表示制御の第１次情報を算出し（Ｓ１０４）、現在の入力の情報を入力記憶部５０に保存する（Ｓ１０５）。

次に、表示制御の第２次情報の算出部３０で、表示制御の第１次情報の算出部２０から得られる表示制御の第１次情報と、画像データ記憶サーバ２００から得られるボリュームデータ（三次元医用画像）の情報および関心領域の情報と、表示制御情報記憶部６０から得られる、二次元断面画像の断面位置を含む表示制御の第２次情報の履歴から、表示速度を含む表示制御の第２次情報を算出し（Ｓ１０６）、表示制御情報記憶部６０に現在の表示制御の第１次情報と表示制御の第２次情報とを保存する（Ｓ１０７）。

最後に、画像生成・送信部４０で、表示制御の第２次情報の算出部３０から得られる二次元断面画像の断面位置、表示速度を含む表示制御の第２次情報を用いて、画像データ記憶サーバ２００に記憶される三次元画像もしくは複数の二次元画像から表示画像を生成もしくは取得し、決定された表示速度によって表示される二次元画像をユーザ端末３００の画像表示部３１０に送信し（Ｓ１０８）た後、Ｓ１０２に戻り同様の処理を繰り返す。

また、二回目以降のＳ１０２の実行はＳ１０８の終了まで待つ必要はなく、Ｓ１０５さえ終了していれば，Ｓ１０２から次のフローを開始してもよい。ここで、入力受信部１０が、連続する二次元画像の画面スクロール操作に伴う入力を連続入力として受信する場合について説明する。

連続入力について述べるため、入力受信部１０が、ｉ［０］、ｉ［１］、ｉ［２］、・・・の順に複数の入力を受信した場合を考える。ここで入力ｉ［０］、ｉ［１］、ｉ［２］、・・・は同じユーザ端末の入力部から入力されたもので、入力時刻のみが異なるものとする。ここでｉ［０］とｉ［１］の入力時刻差、ｉ［１］とｉ［２］の入力時刻差が、ｄ＿ｔｈ未満となる状態が続いた場合に、ｉ［０］、ｉ［１］、ｉ［２］、・・・は連続入力であると判断し、入力受信部１０が受信した入力の入力時刻が、直前に受信した入力の入力時刻からｄ＿ｔｈ以上経過した時刻であれば、連続入力が終了したと判断する。

ここで、例えばユーザ端末３００の入力部３２０で、マウスを利用し、ホイールを回転させることや、画面上でのカーソル移動を行う場合、またはタッチパネルを用い、指でなぞることなどで操作を行う場合を想定すると、ホイールの直径、もしくはタッチパネルやディスプレイの画面サイズには制限があり、入力の分解能に限界があるため、連続して入力を行う場合でも、一定の間隔で連続入力が途切れることとなる。このような場合であっても、先の例ではｄ＿ｔｈは大き目に設定することで入力の途切れに対応できる。

ここで、入力が連続入力として受信される場合で、Ｓ１０４にて表示制御の第１次情報を算出する例を説明する。通常、二次元画像表示は、マウスのホイール回転等の入力に追従して行われるものであるため、連続入力の速度は、ユーザが操作時点で所望する画像表示速度と等価である考えることができる。ここでは入力の入力時刻を利用し、表示制御入力の第１次情報は連続入力の速度であるとして説明する。例えば、ある時点での入力ｉ［ｎ］の入力時刻がｔ［ｎ］であった場合、表示制御の第１次情報の算出部２０で、その直前の入力ｉ［ｎ−１］の入力時刻ｔ［ｎ−１］を用い、入力速度ｖ［ｎ］＝１／（ｔ［ｎ］−ｔ［ｎ−１］）を算出し、ｉ［ｎ］に対応する表示制御の第１次情報として出力する。

次に、入力受信部１０が、断続的な連続入力を受信する場合の例について、図３を用いて説明する。図３は、入力ｉ［０］、ｉ［１］、・・・に対応する入力時刻ｔ［０］、ｔ［１］、・・・と、入力速度の関連を示している。ここで入力速度ｖ［１］、ｖ［２］、・・・はそれぞれ、ｖ［１］＝１／（ｔ［１］−ｔ［０］）、ｖ［２］＝１／（ｔ［２］−ｔ［１］）、・・・として算出される。

断続的な連続入力とは、例えば、ｉ［１］〜ｉ［４］のような、各入力の入力速度ｖ［１］〜ｖ［４］の値が大きく、またこれら入力速度のばらつきが小さい連続した入力と、ｉ［５］のように、入力速度ｖ［５］がある程度小さい、連続入力を中断させた後の入力、といった順での入力が繰り返されるものと仮定した入力のことである。ここでは、ｉ［１］〜ｉ［４］のように、連続した入力の数を連続入力数ｎｉ、ｔ［０］〜ｔ［４］のように、連続入力が続く間の速度を連続入力速度ｖｃ、ｖ［５］のように入力が中断した間の速度をブランク速度ｖｂと呼ぶこととする。ここで、ｖｃ［１］＝１／（ｔ［４］−ｔ［０］）、ｖｂ［１］＝ｖ［５］として算出することとする。

このような場合、表示制御の第１次情報の算出部２０で、連続入力速度ｖｃ、ブランク速度ｖｂ、もしくは連続入力数ｎｉそれぞれを表示制御の第１次情報として使うことができる。また、表示制御の第１次情報の算出部２０の計算に利用する情報としては、必ずしもユーザ端末３００の入力部３２０における各入力の入力時刻である必要はなく、例えば入力受信部における入力の受信時刻や、単位時間当たりの入力数とすることもできる。単位時間当たりの入力数を利用する場合には、予め定めた一定の時間間隔でＳ１０４を実施する。Ｓ１０４で算出する表示制御の第１次情報としては、単位時間当たりの入力数となる。

ここで、図４に、以降の実施例で用いる三次元座標の座標系について示した。実施例において利用されるボリュームデータは、人体を撮影したものであることを想定しているため、撮影された人体に応じて各軸を設定する。ここでは、被験者が腕を垂直におろし、前を向いて直立した状態で、右手から左手に向かう方向をＸ軸、前から後ろに向かう方向をＹ軸、足から頭に向かう方向をＺ軸とする。

表示制御の第２次情報の算出部３０で算出する表示制御の第２次情報としては、二次元断面画像もしくは三次元可視化画像を表示する場合の表示速度の他に、ボリュームデータから二次元断面画像を生成する場合の断面の位置や、三次元可視化画像を生成する場合の視点位置、またその場合の三次元再構成解像度、などが挙げられる。

本実施例では、画像生成・送信部４０において生成する二次元画像として、ある軸に直交し、その軸上で連続する平行な複数平面でボリュームデータを切断した場合の連続断面図とした場合で、表示制御の第１次情報に応じて決定する表示制御の第２次情報の一例として、入力の入力時刻と二次元画像の表示時刻の時間間隔（表示遅れ時間）を採りあげ、これを決定する方法について以下に説明する。

ここでは、連続断面はＺ軸に直交する平面であり、そのＺ座標をｓ＿０、ｓ＿１、・・・ｓ＿ｅとする。ここで、ｓ＿０およびｓ＿ｅは、三次元ボリュームデータから生成される連続する二次元断面画像の両端の断面位置を示す。また、各平面の間隔については一定の値ｄｉｓとする。二次元断面画像はｉｍａｇｅ［ｓ＿０］〜ｉｍａｇｅ［ｓ＿ｅ］として、各断面位置に対して一枚の画像が対応するよう、予め再構成され、画像データ記憶サーバ２００に記憶されているものとする。

また画像データ記憶サーバ２００には、関心領域情報として、予め断面位置に対して関心度が一意に決まる情報を記憶しておく。ここではその一例として、関心度設定テーブルを図５に示す。図５においては、ｄ＿ｂはｄ＿ａよりも高い値、即ち断面位置ｓ＿ｒ０と断面位置ｓ＿ｒ１の間に関心領域が含まれる場合を表している。

またここで、表示制御の第１次情報の一つは入力の情報から算出される入力速度ｖであるとし、表示制御の第２次情報の算出部３０は、表示制御の第１次情報の一つとして変化フラグｆを利用することとする。変化フラグｆとは、表示制御の第１次情報の変化履歴を表すものであり、ここでは同一関心度を持つ関心領域内を表示している間に、入力速度ｖが閾値ｖ＿ｔｈを下回った回数を数えるものとする。ここで閾値ｖ＿ｔｈは、入力速度の変化を検出するためのものである。従ってｖ＿ｔｈは、それまでの入力速度に応じて決めるものとし、例えば直前の入力速度をｖ＿ｔｈとすることや、直前までの入力速度の平均をｖ＿ｔｈとする。

表示制御情報記憶部６０は、関心度と、表示制御の第１次情報である入力速度ｖと、変化フラグｆとから入力時刻と表示時刻の時間間隔が一意に決まる情報を予め保持している。この情報の一例である時間間隔設定テーブルを図６に示す。図６においては、ｔｉ＿ａは非常に小さい値であり、ｔｉ＿ｂはｔｉ＿ａに比べ、その違いによる表示速度の差違が視認できる程度に大きな値とした場合について示している。

図６は、関心度がｄ＿ｂであり、入力速度ｖがｖ＿ｔｈ以上で、ｆがｆ＿ｔｈ未満であった場合には、入力時刻と出力時刻の間隔はｔｉ＿ｂと大きくなり、それ以外の組み合わせの場合には入力時刻と出力時刻の間隔は小さくなることを示す。ただし、変化フラグｆが予め定める閾値ｆ＿ｔｈ以上である場合、即ち当該関心領域で入力速度ｖがｖ＿ｔｈ未満となる回数が、ｆ＿ｔｈ以上である場合には、図６のどの場合にも時間間隔は一定の値ｔｉ＿ａと小さくなる。

具体的な処理の流れを説明する。まず、ユーザ端末３００の画像表示部３１０には画像ｉｍａｇｅ［ｓ［ｎ］］が表示されており、入力受信部１０が連続入力の一つであるｉ［ｎ＋１］を受信した状態とする。この時点でそれまでに受信した入力ｉ［０］、・・・ｉ［ｎ］に対応する情報として、入力記憶部５０には時刻ｔ［０］、・・・ｔ［ｎ］、直前の入力ｉ［ｎ］に対応する表示制御の第２次情報として、表示制御情報記憶部６０には、表示二次元画像の断面位置ｓ［ｎ］、時間間隔ｔｉ［ｎ］が記憶されているとする。

入力受信部１０は、ユーザ端末３００の入力部３２０から、現在の入力の入力時刻ｔ［ｎ＋１］を受け取るとともに、入力記憶部５０にｔ［ｎ＋１］を記憶させる。次に、表示制御の第１次情報の算出部２０は、ｔ［ｎ＋１］と直前の入力時刻ｔ［ｎ］とから算出する入力速度ｖ［ｎ＋１］＝１／（ｔ［ｎ＋１］−ｔ［ｎ］）を算出して表示制御情報記憶部６０に格納する。表示制御の第２次情報の算出部３０は、表示制御情報記憶部６０から得られる現在の入力速度ｖ［ｎ＋１］及び履歴と、画像データ記憶サーバ２００から得られる関心領域情報とから時間間隔ｔｉ［ｎ＋１］を決定する。

ここで、表示制御の第２次情報の算出部３０が、時間間隔ｔｉ［ｎ＋１］を決定するアルゴリズムの一例を以下に述べる。まず、表示制御情報記憶部６０から、直前の断面位置ｓ［ｎ］を取得し、次の断面位置ｓ［ｎ＋１］を求める。ここでは断面間隔は一定の値ｄｉｓであるとして、ｓ［ｎ＋１］＝ｓ［ｎ］＋ｄｉｓとなる。

表示制御の第２次情報の算出部３０は、図５に示すような関心度設定テーブルを参照し、断面位置ｓ［ｎ＋１］に対応する関心度ｄ［ｎ＋１］を求める。このときｄ［ｎ＋１］が、断面位置ｓ［ｎ］に対応する関心度ｄ［ｎ］と異なる値であった場合、変化フラグｆを０に初期化する。

次に表示制御の第２次情報の算出部３０は、図６に示すような時間間隔設定テーブルを参照し、変化フラグｆと、関心度ｄ［ｎ＋１］と、入力速度ｖ［ｎ＋１］から、ここでの時間間隔ｔｉ［ｎ＋１］を求め、表示制御情報記憶部６０に、現在の断面位置ｓ［ｎ＋１］を記憶する。このとき、入力速度ｖ［ｎ＋１］がｖ＿ｔｈを下回った場合、変化フラグｆをｆ＋１とする。

画像生成・送信部４０は、画像データ記憶サーバ２００から断面位置ｓ［ｎ＋１］に相当する二次元画像ｉｍａｇｅ［ｓ［ｎ＋１］］を取得してユーザ端末３００に送信し、入力時刻から時間間隔ｔｉ［ｎ＋１］後に二次元画像ｉｍａｇｅ［ｓ［ｎ＋１］］を入力部３２０に表示させる。

ここで、時間間隔をｔｉ＿ａからｔｉ＿ｂに自動的に変更することで関心領域を提示し、インタラクティブな操作を実現する状況について説明する。例として、入力ｉ［０］〜ｉ［５］の連続する制御信号の入力があり、各制御信号に対応する断面位置ｓ［０］〜ｓ［５］がある場合について述べる。ここで、ｓ［０］、ｓ［１］がｓ＿ｒ０未満、ｓ［５］がｓ＿ｒ１より大きく、ｓ［２］、ｓ［３］、ｓ［４］がｓ＿ｒ０以上ｓ＿ｒ１未満であった場合、つまりｓ［２］〜ｓ［４］が関心領域内で、ｓ［０］、ｓ［１］、ｓ［５］は関心領域外であるとする。

この場合であって、入力速度ｖ［０］〜ｖ［２］はｖ＿ｔｈ以上で、ｖ［３］はｖ＿ｔｈ未満であり、また、変化フラグ閾値ｆ＿ｔｈが１であった場合のパラメータ変化の例を、図７に示した。また，パラメータの変化に応じた画像表示タイミングのイメージを，図８に示した。

まず入力ｉ［０］〜ｉ［１］までは、そこでの関心度合いがｄ＿ａ即ち低い領域を表示しているため、入力時刻と出力時刻の時間差ｔｉはｔｉ＿ａとごく小さい値となり、連続入力に追従する形で表示が行われる。ここで断面位置が関心領域に突入した場合を考える。ここでは閾値ｖ＿ｔｈは関心領域以外を閲覧している場合の入力速度の平均値よりも少し小さい値（例えば関心領域外閲覧時の入力速度平均値の９割程度の値）とする。ｉ［２］の時点で、ｉ［０］、ｉ［１］と同程度の入力速度で入力を行った場合、入力速度ｖ［２］はｖ＿ｔｈ以上となるため、入力時刻と出力時刻の時間差ｔｉがｔｉ＿ｂと大きくなり、連続入力に対する追従性が自動的に低下することとなる。このことで、関心領域に突入したことに対するユーザの注意を促すことが可能となる。

ここで、入力ｉ［３］の時点で、ユーザが入力速度を遅くした場合、入力速度ｖ［３］がｖ＿ｔｈ未満となり、時間間隔はｔｉ＿ｂからｔｉ＿ａに戻り、通常の追従性に戻ることとなる。ここで上述のようにｖ［２］がｖ＿ｔｈを超えて変化フラグｆは１となり、ｆ＿ｔｈと等しいため、次に関心領域を表示して変化フラグｆが０に初期化されるまで、追従性が低下することはない。これは、連続入力に対する追従の低下により、ユーザが現在の表示二次元画像の断面位置が関心領域内であると気付き、連続二次元画像の表示タイミングを制御する操作を遅くして、ｔｉがｔｉ＿ｂからｔｉ＿ａと小さくなるため、再度追従性の高いスクロール表示が可能になったことを示す。

またここで、臨床の医師が、読影時間を短縮し、かつ検出漏れを低減させるために、ＣＡＤシステムで設定された関心領域を参照しつつ読影を行う状況で、本技術を用いた場合について説明する。

ＣＡＤ等により設定される関心領域情報は、必ずしも過不足なくユーザに必要な情報であるとは限らない。すなわち、上記疾患疑い領域を検出する機能を利用する場合、その検出精度によっては、疾患領域の検出に失敗したり、臨床的には疾患領域とされない領域を検出したりする可能性もある。臨床的には疾患領域とされない領域を検出する具体的な例としては例えば、過去に処置を行った治療痕や、疾患とまではいかない炎症が発生している領域を、疾患疑い部位として検出する場合などである。

ここでは、ユーザ端末３００の入力部３２０としてマウスを想定し、そのホイールを回転させることでスクロールを行い、三次元画像から生成された連続する二次元画像を、順に閲覧することで読影を行う場合とする。

本発明による技術を用いると、表示二次元画像が自動検出された疾患領域に差し掛かった時点でスクロール操作に対する追従が自動的に低下し、別の領域にサムネイル画像等を表示することなく、二次元画像表示領域のみで、自動検出領域に差し掛かったことを提示することができる。そこで自動検出領域が表示されていることに医師が気付いた場合、スクロールの操作速度をそれまでよりも遅い速度とすることで、スクロール操作に対する追従性を元に戻すことができる。

自動検出領域に差し掛かっていることに医師が気付いた場合には、それ以降はシステムによる自動提示を行う必要はない。自動検出領域が医師の目で確認した結果、疾患疑い部位でなかった場合には、高速表示が求められ、疾患疑い部位であった場合には低速表示が求められるが、その操作は医師のスクロール操作速度に追従することで実現できる。

従って、自動検出領域に差し掛かっていることに医師が気付いたことを、スクロール操作速度の変更によって判断し、スクロール操作速度の追従性を元に戻すことでストレスのない高速な読影が可能となる。

本実施例では、図１に示した画像処理システムの構成および図２に示したフローにおいて、表示制御の第１次情報に応じて決定する表示制御の第２次情報のうち、ボリュームデータから再構成する二次元断面画像の、断面間隔を変更する場合について述べる。また、ここでも実施例２と同様、表示制御の第１次情報としては入力の情報から算出される入力速度ｖを用い、表示制御の第２次情報の算出部３０は、表示制御の第１次情報の一つとして、同一関心度を持つ関心領域内を表示している間に、入力速度ｖが閾値ｖ＿ｔｈを下回った回数を数える変化フラグｆも保持していることとする。

ここで、表示制御情報記憶部６０は、関心度と入力速度と変化フラグから、断面間隔が一意に決まる情報を予め保持しているものとする。この情報の一例として、断面間隔設定テーブルを図９に示した。

具体的な処理の流れを以下に述べる。ユーザ端末３００の画像表示部３１０には画像ｉｍａｇｅ［ｓ［ｎ］］が表示されており、入力受信部１０が連続入力を受信していると判断した状態から開始する。この時点で直前の情報として入力記憶部５０には入力時刻ｔ［０］、・・・ｔ［ｎ］、表示制御情報記憶部６０には断面位置ｓ［ｎ］、変化フラグｆ＝０が記憶されている状態とする。

入力受信部１０は、ユーザ端末３００の入力部３２０から入力された入力の入力時刻ｔ［ｎ＋１］を入力記憶部５０に格納する。表示制御の第１次情報の算出部２０は、入力速度ｖ［ｎ＋１］を算出し、表示制御情報記憶部６０に格納する。表示制御の第２次情報の算出部３０は、表示制御情報記憶部６０か得られる現在の入力速度ｖ［ｎ＋１］と、画像データ記憶サーバ２００から得られる関心領域情報と、表示制御情報記憶部６０から得られる直前の二次元表示画像の断面位置ｓ［ｎ］および変化フラグｆから、断面位置ｓ［ｎ＋１］を決定する。

ここで表示制御の第２次情報の算出部３０が、断面位置ｓ［ｎ＋１］を決定するアルゴリズムの一例について述べる。

まず、表示制御情報記憶部６０から、直前の断面位置ｓ［ｎ］を取得し、予め定められた最小断面間隔ｇｍを用いてｓ［ｎ］＋ｇｍを求める。画像データ記憶サーバ２００には関心領域情報として、予め断面位置に対して関心度が一意に決まる情報を記憶しておく。一例として示した図６に示されるような関心度設定テーブルを参照し、表示制御の第２次情報の算出部３０の計算において、断面位置ｓ［ｎ］＋ｇｍに対応する関心度をｄ［ｎ＋１］とする。

次に表示制御の第２次情報の算出部３０は、画像データ記憶サーバ２００に格納された断面間隔設定テーブル（図９）を参照し、関心度ｄ［ｎ＋１］と、入力速度ｖ［ｎ＋１］から、断面間隔ｇ［ｎ＋１］を決定し、ｓ［ｎ＋１］＝ｓ［ｎ］＋ｇ［ｎ＋１］とする。ここで再度図５の関心度設定テーブルを参照し、ｓ［ｎ＋１］に対応する関心度ｄ［ｎ＋１］を求める。

ここで、ｄ［ｎ＋１］が、断面位置ｓ［ｎ］に対応する関心度ｄ［ｎ］と異なる値であった場合、変化フラグｆを０に初期化する。ｄ［ｎ＋１］とｄ［ｎ］が同じ場合で、かつ入力速度ｖ［ｎ＋１］がｖ＿ｔｈを下回った場合、変化フラグｆをｆ＋１とする。

画像生成・送信部４０は、画像データ記憶サーバ２００に記憶されるボリュームデータから、断面位置ｓ［ｎ＋１］に相当する二次元画像ｉｍａｇｅ［ｎ＋１］を生成してユーザ端末３００に送信し、入力時刻ｔ［ｎ＋１］から時間間隔ｔｉ後に画像表示部３１０にｉｍａｇｅ［ｓ［ｎ＋１］］を表示させるとともに、表示制御情報記憶部６０に、現在の断面位置ｓ［ｎ＋１］を記憶する。

例えばｓ［ｎ］がｓ＿ｒ０未満であり、ｓ［ｎ］＋ｇｍがｓ＿ｒ０以上ｓ＿ｒ１未満であった場合、図５より、ｓ［ｎ＋１］における関心度はｄ＿ｂとなり、ｓ［ｎ］における関心度はｄ＿ａである。従って、ｄ＿ｂ＞ｄ＿ａを考慮すると、ｓ［ｎ］からｓ［ｎ＋１］に至ると、関心度はｄ＿ａからｄ＿ｂに高くなり、ｆは０でｖはｖ＿ｔｈ以上となることを考慮すると、図９より、断面間隔はｇ＿ａからｇ＿ｂに変更となる。ここでは例えば、ｇ＿ａよりもｇ＿ｂをより小さい値とした場合、関心度が高い部分であるｓ［ｎ＋１］についてはより断面間隔が狭い二次元画像、すなわち断面間の分解能が高い二次元断面画像を表示し、ユーザに対して注意喚起を促すことが可能となる。

本実施例では、実施例１に示した構成およびフローにおいて、画像生成・送信部４０が三次元可視化画像を生成する場合の例について述べる。

三次元可視化画像とは、ボリュームデータ内を通過する複数の平行な光線を仮定し、その光線に沿って、ボクセル値をある法則に則って処理して生成する二次元画像である。三次元可視化画像を作成する手段として代表的なものとしては、ボリュームデータのボクセルのうち、一定の閾値以上の輝度を持つボクセル群の表面を見るサーフェスレンダリング、ボリュームデータ内のボクセルの輝度値から不透明度を設定し、その値を光線に沿って重畳することで物体内部も表現するボリュームレンダリング、光線上に存在するボクセルで、最大輝度のみを描画するＭＩＰ等がある。

ここでは、関心度情報を、視点角度により設定する場合について述べる。視点角度について、図１０を用いて以下に説明する。

まず、ある初期点ｐ＿０（ｘ＿ｐ０、ｙ＿ｐ０、ｚ＿ｐ０）を設定する。ボリュームデータの中心をｖ＿ｃ（ｘ＿ｐｃ、ｙ＿ｐｃ、ｚ＿ｐｃ）とした場合に、ｖ＿ｃを通りＺ軸に垂直な平面ｐｌａｎｅ＿ｃが、Ｚ軸と交わる点をｐ＿ｃとする。ｐ＿ｃは、三次元座標（ｘ＿ｐ０、ｙ＿ｐ０、ｚ＿ｐｃ）と表わすことができる。ｐ＿ｃとボリュームデータの中心ｖ＿ｃとを結ぶ線分ｌ＿０を、ｖ＿ｃを中心にｐｌａｎｅ＿ｃ上で回転させてできる円の、円周上の各点ｐ＿ｑを、ボリュームレンダリング生成時の視点位置とする。このとき、ｐ＿ｑとｖ＿ｃとを結ぶ線分ｌ＿ｑと、線分ｌ＿０とのなす角を視点角度ａ＿ｑとする。

視点角度ａ＿ｑによって関心度が設定される場合の関心度設定テーブルの例を図１１に示す。この場合、画像データ記憶サーバ２００に保存される二次元画像、もしくは画像生成・送信部４０にて生成される二次元画像は、ａ＿ｑ＝０〜２πの場合の各視点位置ｐ＿ｑから見た三次元可視化画像ｉｍａｇｅ［ｐ＿０］〜ｉｍａｇｅ［ｐ＿２π］となる。

三次元可視化画像を出力時二次元画像とする場合の、表示制御の第１次情報に応じて決定する表示制御の第２次情報の例としては、実施例１と同様に、再構成した三次元可視化画像を表示する場合の入力時刻と表示時刻の時間間隔や、視点角度、もしくは三次元可視化画像を再構成する際の光線密度や光線上のサンプリング間隔などを用いることができる。表示する三次元可視化画像ｉｍａｇｅ［ｐ＿０］〜ｉｍａｇｅ［ｐ＿２π］は、ここで述べたように予め作成して画像データ記憶サーバ２００に保存しておいてもよいし、画像生成・送信部４０において、その都度作成することもできる。

これまでの実施例では、関心領域を示す情報として、図５に示すような、二次元画像断面位置に対して関心度が一意に定まるような関心度設定テーブルを例に挙げて述べてきたが、関心領域を示す情報としてはこれだけではなく、例えば三次元位置に対して関心度を設定することもできる。その一例として、関心度設定テーブルを図１２に示した。図１２の例においては、三つの関心領域があることを示しており、三次元座標（ｘ＿ｒ０、ｙ＿ｒ０、ｚ＿ｒ０）、（ｘ＿ｒ１、ｙ＿ｒ１、ｚ＿ｒ１）、（ｘ＿ｒ２、ｙ＿ｒ２、ｚ＿ｒ２）はそれぞれ各関心領域の中心位置を示し、ｒ＿ｒ０、ｒ＿ｒ１、ｒ＿ｒ２は各関心領域の半径を示す。

ここでは関心領域は球形であるとし、これら中心と半径から表される三つの球の内部の領域に関しては、関心度はそれぞれｄ＿０、ｄ＿１、ｄ＿２であり、三つの球の外部の領域については、関心度がｄ＿３であることを示している。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

実施例１において、画像データ記憶サーバ２００は画像処理装置１００の外部に設置される構成としたが、画像データ記憶サーバ２００に記憶されるデータは画像処理装置１００の内部記憶装置に記憶される構成としてもよいし、画像処理装置１００の記憶部に格納されるデータと合わせて画像処理装置１００の記憶部を構成することにしてもよい。

また、ユーザ端末３００は、ネットワーク４００を介して画像処理装置１００に接続される構成としたが、画像処理装置１００に直接接続される構成にしてもよい。

１０：入力受信部、２０：表示制御の第１次情報の算出部、３０：表示制御の第２次情報の算出部、４０：画像生成・送信部、５０：入力記憶部、６０：表示制御情報記憶部、１００：画像処理装置、２００：画像データ記憶サーバ、３００：ユーザ端末。

本発明は、三次元画像から二次元画像を生成して表示する画像処理装置、画像処理方法および画像処理システムに関する。

Claims (12)

1. 三次元画像に関する画像データベースを格納する記憶部と、
   ユーザ端末の操作に伴う入力信号を受信する入力受信部と、
   受信した前記入力信号の速度を含む表示制御の第１次情報を算出する表示制御の第１次情報の算出部と、
   前記三次元画像において疾患を含む疑いが高いと判断された関心領域の情報と、算出された前記表示制御の第１次情報をもとに、前記三次元画像から生成する二次元画像の表示速度を含む表示制御の第２次情報を算出する表示制御の第２次情報の算出部と、
   算出された前記表示制御の第２次情報に基づき、前記二次元画像を順次生成して前記ユーザ端末に送信する画像生成・送信部と、
   を備えることを特徴とする画像処理装置。
2. 前記関心領域の情報は、前記記憶部に予め格納され、前記関心領域に相当する被撮影領域内に疾患を含む疑いの高さを二段階以上の度合いで表す関心度を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御の第１次情報は、前記ユーザ端末からの連続する入力信号の間隔をあらわす情報を含むことを特徴とする請求項１に記載の画像処理装置。
4. 前記表示制御の第１次情報のうち、前記ユーザ端末からの連続する入力信号の間隔をあらわす情報は、
   前記入力の間隔が所定時間未満で所定数以上連続する連続入力において、
   該連続入力の累計時間に関する直前の入力から現入力までの時間の長さを表す情報を含むことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御の第１次情報は、単位時間当たりの入力数を含むことを特徴とする請求項１に記載の画像処理装置。
6. 前記表示制御の第２次情報は、前記入力信号の入力時刻から二次元画像の表示時刻までの時間間隔を含むことを特徴とする請求項１に記載の画像処理装置。
7. 前記画像生成・送信部が前記ユーザ端末に送信する前記二次元画像は、前記二次元画像を生成する元となる前記三次元画像をある平面で切断した場合の断面を示す二次元断面画像であり、
   前記表示制御の第２次情報は、前記平面の３次元上の位置と角度を決定する断面の位置情報を含むことを特徴とする請求項１に記載の画像処理装置。
8. 前記画像生成・送信部において前記ユーザ端末に送信する前記二次元画像は、前記二次元画像を生成する元となる前記三次元画像をある視点から三次元的に見た状態を再現して可視化する三次元可視化画像であり、
   前記表示制御の第２次情報は、前記三次元可視化画像を生成する際の前記視点の位置情報、あるいは前記三次元可視化画像を生成する際の解像度の情報を含むことを特徴とする請求項１に記載の画像処理装置。
9. 前記表示制御の第１次情報は、前記連続する入力信号の時間間隔の逆数である入力速度を含むことを特徴とする請求項３に記載の画像処理装置。
10. 前記表示制御の第１次情報は、前記連続する入力信号の間隔時間の逆数である入力速度であり、
    前記記憶部は、更に、
    前記表示制御の第１次情報と、
    前記表示制御の第２次情報と、
    前記関心領域の情報と、
    前記関心領域の前記関心度が大と小の２値と、前記入力速度が第１の閾値以上か未満かの２値と、前記入力速度が該第１の閾値を下回った回数を示す変化フラグが第２の閾値以上か未満かの２値とを各パラメータとする入力時刻と表示時刻の時間間隔を記載した、各パラメータの組み合わせにより大と小の２値のうちいずれかの値を有するテーブルと、
    を格納し、
    該テーブルは関心度が大、入力速度が閾値以上、変化フラグが第２の閾値未満の場合のみ前記時間間隔が大の値となるよう記載してあり、
    ユーザが関心領域外から読影を始めて関心度小、速度が第１の閾値以上、変化フラグが第２の閾値未満の場合に前記時間間隔が小となり、
    前記関心領域に突入してもユーザが読影速度を落とさない場合に、前記関心度が大、前記入力速度が閾値以上、前記変化フラグが第２の閾値未満となり、前記時間間隔が大となって前記表示速度が遅くなることを特徴とする請求項１に記載の画像処理装置。
11. 前記画像生成・送信部は、
    前記記憶部に格納された前記三次元画像から生成された二次元画像を表示させるために、前記ユーザ端末へ該二次元画像を送信することを特徴とする請求項１に記載の画像処理装置。
12. 三次元画像から二次元画像を生成して表示する画像処理方法であって、
    前記二次元画像の表示制御入力の速度を含む表示制御の第１次情報に関連する入力信号を入力部から受信する工程と、
    該入力部から入力機器の操作に伴う入力信号を受信する入力工程と、
    受信した該入力信号の速度を含む表示制御の第１次情報を算出する工程と、
    記憶部に予め格納された関心領域の情報と前記表示制御の第１次情報をもとに前記二次元画像の表示速度を含む表示制御の第２次情報を算出する工程と、
    該表示制御の第２次情報に基づき前記二次元画像を順次生成して表示部に表示する画像生成・表示工程と、
    を含むことを特徴とする画像処理方法。

Images