JP6391544B2 - 医用画像処理装置、医用画像処理方法、及びプログラム - Google Patents

Description

本発明は、複数の三次元画像データの位置合わせをするための画像処理装置、画像処理方法、画像処理をコンピュータに実行させるプログラム、及び画像処理システムに関する。

医療の分野において、医師は被検体を撮像した医用画像（被検体内部の情報を表す断層画像群からなる三次元画像データ）をモニタに表示し、表示された医用画像を読影して病変部の診断を行う。三次元画像データを撮像する医用画像収集装置（以下、モダリティと呼ぶ）としては、超音波撮影装置、磁気共鳴映像装置（以下、ＭＲＩ撮影装置と呼ぶ）、Ｘ線コンピュータ断層撮影装置（以下、Ｘ線ＣＴ撮影装置と呼ぶ）などが挙げられる。

これら異なるモダリティで撮影された画像それぞれの特徴を利用することにより、病変部の状態を正確に診断することが可能になる。また、モダリティが同一でも、異なる撮影体位や日時に撮影された複数の三次元画像データを比較することにより、病変の進行や変形の具合など、診断に重要な情報を得ることができる。

これら複数の三次元画像データを組み合わせるために、夫々の三次元画像データにおいて病変部等の指定した点を対応付ける位置合わせの技術が必要である。診断に用いる画像であり確実性を担保するため、医師等の診断者が位置合わせ及びその確認作業を行う技術が必要となる。

特許文献１では、一方の三次元画像データ中の注目病変部を含む予め定められた断面画像を表示しつつ、他方の三次元画像データの断面を変更しながら複数の断面画像を表示させる技術が開示されている。また、この断面の変更の仕方について、常に病変部を含むという拘束条件の元で断面の姿勢を任意方向に回転操作し、病変部を含んだ断面画像を三次元画像データから生成して表示する技術が開示されている。

特開２００５−１６９０７０号公報

しかしながら、従来の技術では一方の断面画像が固定されているため、対応する画像上の特徴を発見しにくい場合には位置合わせを行うのが困難である。また画像上の特徴が一致していたとしても、断面画像に対する奥行き方向の情報が不足しているため位置合わせが正確になされているかを確認することができない。

本発明の医用画像処理装置は、第一の三次元画像データにおいて第一の指定点の指定を受け付けるとともに、第二の三次元画像データにおいて初期位置として前記第一の指定点に対応する第二の指定点の指定を受け付ける指定受付手段と、前記第一の指定点を含む第一の切断面を前記第一の三次元画像データに設定し、前記第二の指定点を含む第二の切断面を前記第二の三次元画像データに設定する切断面設定手段と、前記第一の切断面と前記第二の切断面とを、それぞれ前記指定を受け付けた前記第一の指定点、前記第二の指定点を中心に連動して回転させることにより変更させる回転手段と、前記回転手段による回転に応じて、前記変更された第一の切断面に基づいて第一の断面画像を生成し、前記変更された第二の切断面に基づいて第二の断面画像を生成する断面画像生成手段と、を備え、前記指定受付手段は、前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を更に受け付け、前記回転手段は、前記第一の切断面と前記第二の切断面とを、それぞれ前記第一の指定点、前記指定の受け付けにより位置が修正された前記第二の指定点を中心に、連動して回転させることにより変更させることを特徴とする。

本発明では、連動させて断面を回転することにより、指定位置を中心にした断面画像の特徴自体を比較できると共に断面画像の特徴の変化も比較することができるため、各三次元データにて指定された点が正確に対応しているか否かの確認が容易になる。

実施例１に係る画像処理システムの構成図である。 画像処理装置のハードウェア構成の一態様を示す図である。 画像処理装置により実行される処理の概要を示す図である。 画像処理装置の処理の概要を示すフローチャートである。 画像処理装置の処理による表示の概要を示す図である。 実施例２に係る画像処理システムの構成図である。 画像処理装置の処理の概要を示すフローチャートである。

（実施例１）
第一の実施例に係る画像処理装置は、二つの異なる三次元画像データの夫々に対して切断面を定め、この切断面による断面画像を表示させる。ここで、この切断面を連動させて変更しながら断面画像を表示させるというものである。ユーザは、二つの断面画像を見て特徴量や切断面の変更に対する特徴の変化を比較しながら、複数の異なる三次元画像データの位置が合っているかを確認することができる。また、対応する点の位置の指定を更新することにより、画像を見ながらの位置合わせが可能である。以下、図１乃至４を用いて本実施形態の構成及び処理を説明する。

図１は、実施例１に係る画像処理システムの構成を示す。画像処理装置１００は例えば専用の回路からなるデータ取得部１１０、病変指定部１２０、切断面変更部１３０、変更操作部１４０、断面画像生成部１５０、表示制御部１６０によって構成される。また画像処理装置１００は、第一の医用画像収集装置１７０及び第二の医用画像収集装置１８０と、データサーバ１９０を介して接続されている。第一の医用画像収集装置１７０としてのＭＲＩ撮影装置は被検体を撮像して第１の三次元画像データを得る。第２の医用画像収集装置１８０としての超音波撮影装置は被検体を撮像して第２の三次元画像データを得る。これらの画像データは、データサーバ１９０に格納される。なお、画像収集装置（モダリティ）は、ＭＲＩ，超音波に限らず、Ｘ線ＣＴ撮影装置などであってもよい。

データサーバ１９０が保持する第１の三次元画像データは、ＭＲＩ装置によって被検体を予め撮像して得られた断層画像群である。なお、第１の三次元画像データを構成する各ＭＲＩ断層画像の位置及び姿勢は、基準座標系（被検体を基準とした空間中の座標系）に変換した上でデータサーバ１９０に保持されているものとする。基準座標系で表現された第１の三次元画像データは、データ取得部１１０を介して画像処理装置１００に入力される。

なお、ここで姿勢とは三次元空間におけるＲｏｌｌ，Ｐｉｔｃｈ，Ｙａｗの３つの角度成分によって表される回転または傾き具合のことである。

一方、データサーバ１９０が保持する第２の三次元画像データは、超音波撮影装置によって被検体を予め撮像して得られた断層画像群である。超音波撮影装置の撮像部（不図示）である超音波探触子には、超音波探触子の基準座標系における位置及び傾きを取得できる三次元センサが取り付けられている。これにより、被検体を撮像する際には、この三次元センサで超音波断層画像の位置及び姿勢を取得することができる。この位置及び姿勢の情報は、超音波探触子によって得られた複数の超音波画像同士を位置合わせして三次元ボリュームデータを構成する際に用いられる。三次元センサは例えば米国Ｐｏｌｈｅｍｕｓ社のＦＡＳＴＲＡＫ等によって構成される。

データ取得部１１０は、画像処理装置１００へ入力される第１および第２の三次元画像データを取得して、病変指定部１２０へと出力する。また、第１および第２の三次元画像データから第１および第２の三次元ボリュームデータ（三次元のボクセルメッシュを構成する各ボクセルに輝度値が格納されたデータ）を復元した上で、断面画像生成部１５０へと出力する。なお、第１および第２の三次元画像データを構成する断層画像の位置および姿勢は基準座標系で取得されているので、データ取得部１１０はこのデータを用いて、二つのボリュームデータを共通の基準座標系上において復元する。すなわち、三次元センサの誤差や被検体の変形の影響を除けば二つのボリュームデータの位置および姿勢は大まかに揃えることができる。この揃えた画像を表示させることにより、ユーザが姿勢を揃える手間を低減することができる。

この第１および第２のボリュームデータは、画像処理装置１００内の不図示の記憶部に保持される。

病変指定部１２０は、データ取得部１１０の出力である第１および第２の三次元画像データを取得する。そして、第１の三次元画像データ中における病変部（注目病変部）と思われる部位の位置を、第１の指定点として指定する。同様に、注目病変部に対応する第２の三次元画像データ中における病変部（対応病変部）と思われる部位の位置を、第２の指定点として指定する。ここでの指定は、初期位置を指定するものであるので正確である必要はない。好適には、後の位置合わせのために互いに対応する病変部を指定することが望ましい。なお、本実施形態では被検体の病変部を観察することを目的としてために病変部を注目点としているが、病変部以外の部位を注目点として指定することももちろん可能である。

切断面変更部１３０は、病変指定部１２０により指定された夫々の指定点を含む夫々のボリュームデータの切断面を決定する。切断面は第１および第２のボリュームデータの夫々に対して定義するが、好適には、患者に対する切断面の傾きは揃えておく。データ取得部１１０にて二つのボリュームデータ同士の座標系は揃っているために、傾きを略揃えておくことは容易である。なおここで指定点が実際の病変部の位置に正確に対応しなくとも、画像を見ながら再指定が可能である。

変更操作部１４０は、ユーザによるマウスの操作の入力を受け付ける。切断面変更部１３０は、この変更操作部１４０が受けた操作の入力の情報に基づいて、二つのボリュームデータの切断面を連動させて変更する。処理の詳細については後述する。

断面画像生成部１５０は、切断面変更部１３０にて決定または変更された切断面により、第１および第２のボリュームデータの断面画像を生成（取得）する。

表示制御部１６０は、生成された二つの断面画像を並べた表示用のデータを作成し、これを表示部２００に表示させる制御を行う。

表示制御部１６０により表示された二つの断面画像をユーザが確認し、各ボリュームデータにおいて指定した位置が夫々合っていると判断した場合には、その指定した各位置を対応する点として入力させれば、この対応点の情報を記憶部に格納することにより位置合わせが完了する。

図２は、図１に示した各部の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納され、図１に示した各部の機能を実現し、図３のフローチャートに示した処理を実現するためのプログラムやデータを用いてコンピュータ全体の制御を行う。また、各部の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、ユーザはこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、図１における表示部２００がこれに相当する。表示部１００６は、断面画像生成部１５０が生成する断面画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、各種の情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。データ取得部１１０の機能の一部は、Ｉ／Ｆ１００９によって実現される。

上述した各構成要素は、バス１０１０によって相互に接続される。

上述の画像処理装置１００により実行される処理の概要を、図３に従って説明する。図３（ａ）には、第一の医用画像収集装置１７０から取得した第１の三次元画像データ（ＭＲＩのボリュームデータ）と、第二の医用画像収集装置１８０から取得した第２の三次元画像データ（超音波画像のボリュームデータ）が示されている。これらが、位置合わせの対象となる三次元画像データである。また、各ボリュームデータを通る平面（切断平面）と、その平面による断面が示されている。この各ボリュームデータの断面の画像が、画像処理装置１００による表示処理の対象となる。更に、各断面の画像において表示される病変部が示されている。各ボリュームデータにおいて、これらの病変部と思われる部位の位置が、病変指定部１２０により指定点として指定されているものとする。病変部を示した色が異なっているのは、ＭＲＩと超音波で同一の被検体を撮影しても見え方が異なることを示したものである。

この状況において、夫々の指定点の位置を通る同一方向（例えばｘ軸方向）の直線を回転軸として、各ボリュームデータを通る平面をＬ度だけ回転させる。この場合、各平面は連動して回転する。このときの回転パラメータ（回転軸の方向と回転角度Ｌ）は、画像処理装置１００に対するマウス等の入力を変更操作部１４０が受け付けて定めるものである。図３（ｂ）に示すように、断面画像生成部１５０は、回転後の平面によって定められる断面画像を生成し、表示制御部１６０はその断面画像を表示させることとなる。指定点の位置を通る直線を回転軸として平面を回転させているので、回転後の断面画像の夫々においても、夫々の指定点は画像中に含まれている。

このように、図３（ａ）の断面画像では対応する病変部の形状が略一致しているように見える場合であっても、平面を連動させて変更した場合に、図３（ｂ）のように病変部の形状が異なって表示されることがある。病変部は一般に三次元の立体であり、一方向から見た形状が一致していたとしてもそれら表示されている病変部が同一の病変部を示しているとは限らない。このように、夫々の三次元画像データにおいてユーザが指定した位置が正確に対応しているか否かを、各三次元画像データを通る各平面を連動させて変更し、その断面画像を表示することにより、ユーザに確認させることができる。

上述の画像処理装置１００が行う処理手順を図４のフローチャートに従い説明する。この処理は、図１に掲げた専用の回路により構成される各部により実現される。また、ソフトウェアであるプログラムとＣＰＵ等のハードウェアが協働して実行される処理である。なおプログラムにより実現する場合、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

ステップＳ４０１にて、画像処理装置１００のデータ取得部１１０は、第一の医用画像収集装置１７０及び第二の医用画像収集装置１８０が生成した断層画像群を取得する。ここでは、位置合わせの対象となるＭＲＩの断層画像群及び超音波の断層画像群を取得する。

ステップＳ４０２にてデータ取得部１１０は、データサーバ１９０または第一及び第二の医用画像収集装置１７０、１８０から撮影条件を取得する。この撮影条件とは、例えば、超音波探触子に取り付けられた三次元センサの位置及び姿勢の情報、撮影の体位等の情報、または撮影に用いられた装置の情報である。三次元センサの情報は、断層画像群同士で患者に対する向きを揃える際に用いる。また、撮影体位の情報からも断層画像群同士の姿勢合わせに用いることができる。装置の情報は、撮影された画像の拡大縮小率を取得するために用いる。

ステップＳ４０３にて、データ取得部１１０は、夫々の断層画像群から周知の方法により三次元のボリュームデータを生成する。なお、ボリュームデータは画像処理装置１００が作成しなくとも、データサーバ１９０から受信してもよい。 ステップＳ４０４にて、データ取得部１１０は取得した撮影条件に基づいて断層画像群を回転・拡大縮小し、姿勢及び大きさを合わせる。これにより、ユーザが手動でこれらの操作をする必要がないため、手間を軽減することができる。しかしながら、人体は比較的柔軟な組織であり、撮影日時や撮影体位によって病変の形状、位置、大きさ等は大きく変わってしまう。このように位置合わせをするに際して画像処理では困難な場合が多いため、ユーザが画像を見ながら合わせ込む方が信頼性が高い。この処理により、生成される二つのボリュームデータはいずれも共通の基準座標系上で記述されているので、三次元センサの誤差や被検体の変形の影響を除けば、二つのボリュームデータにおける病変部の位置は大まかには揃うこととなる。なお、予め基準座標系を設定して、ステップＳ４０４をステップＳ４０３と同時に実行しても良い。

これ以降以下の処理は、病変部の対応付けを手動で行う作業を支援する処理である。

ステップＳ４０５にて、表示制御部１６０は、断層画像を夫々画面上に表示させる。表示対象とする断層画像は、断層画像群から任意に選択してよく、ユーザによるマウス１００５等の操作に応じて選択的に表示させることができる。ユーザはマウス１００５等を操作して、ＭＲＩと超音波の夫々の断層画像群から、注目病変部を含むと思われる断層画像を選択して表示させる。そして、表示した断層画像上において、注目病変部と思われる部位の位置を指定点として指定する入力を行う。その入力に応じて病変指定部１２０は、断層画像の位置および姿勢を利用して、基準座標系における第１及び第２の指定点の位置を取得する。

ここで、第１の指定点（第１の三次元画像データ中の指定点）の位置の指定は、例えば以下の手順で行う。まず、ユーザの指示に従って、表示制御部１６０が表示部２００にＭＲＩの断層画像を切り替え表示する。そして、断層画像上に注目病変部と思われる部位が写ったところで、表示画面上における注目病変部と思われる部位の位置をユーザがマウス１００５等でクリックすることで、基準座標系における指定点の位置を取得する。同様に、第２の指定点（第２の三次元画像データ中の指定点）の位置の指定は、例えば以下の手順で行う。まず、ユーザの指示に従って、表示制御部１６０が表示部２００に超音波の断層画像を切り替え表示する。そして、断層画像上に対応病変部と思われる部位が写ったところで、その位置をユーザがマウス１００５等でクリックすることによって指定する。

ステップＳ４０６にて、切断面変更部１３０は、切断面を決定または変更する。ステップＳ４０５からこの処理ステップに遷移した場合には、夫々のボリュームデータにおいて、指定点を含む平面であって、姿勢が初期姿勢（例えばＲｏｌｌ＝０，Ｐｉｔｃｈ＝０，Ｙａｗ＝０）である平面を切断面として決定する。一方、後述するステップＳ４０９からこの処理に遷移した場合には、前時刻にステップＳ４０６の処理を実行した後のボリュームデータ夫々の切断面に基づいて、以下の処理により新たな切断面を決定する。すなわち、夫々の指定点を中心として、ステップＳ４０９で求めた回転パラメータに基づく回転変換を夫々の（前時刻の）切断面に施すことで、新たな切断面を算出する。

ここで、撮影体位を変えた乳房のボリュームデータが二つある場合には、撮影体位による変形を周知の方法により推定し、その変形を考慮する。具体的には、変形を考慮して二つのボリュームデータの切断面を変更する大きさを変えることが考えられる。このように変形がある場合には、それを考慮して切断面を変更することにより、より正確な位置合わせを支援することができる。

ステップＳ４０７にて、断面画像生成部１５０は、切断面変更部１３０により決定または変更された切断面によるボリュームデータの断面画像を夫々取得する。表示制御部１６０は、その断面画像を表示部２００に表示させる。診断者であるユーザは二つの断面画像を見て、夫々の指定点の位置が病変部（注目病変部と対応病変部）の位置に合っているか否かを確認することができる。

表示の例としては、例えば一つの画面を縦または横に分割して第１および第２の断面画像を夫々表示してもよいし、二つの画面に夫々表示してもよい。あるいは、第１および第２の断面画像を異なる色で描画して重ね合わせて表示してもよいし、第１および第２の断面画像のいずれか一方のみを選択して表示できるようにしてもよい。

図５（ａ）は、一つの画面を縦に分割して、注目病変部５０１０を含む第１の断面画像５０２０と、対応病変部５０３０を含む第２の断面画像５０４０を、横に並べて表示した例を示す。なお、厳密には、図５における注目病変部５０１０は、ユーザにより指定されている注目病変部と思われる部位を表す第１の指定点であるが、ここでは説明の便宜上これを注目病変部と呼ぶ。同様に、図５における対応病変部５０３０は、ユーザにより指定されている対応病変部と思われる部位を表す第２の指定点であるが、ここでは説明の便宜上これを対応病変部と呼ぶ。なお、図５（ｂ）に示すように、注目病変部５０１０および対応病変部５０３０の位置が夫々の画面領域の中心となるように、第１の断面画像５０２０と第２の断層画像５０４０を平行移動させて表示してもよい。これによると、注目病変部と対応病変部との比較をより容易に行うことができる。

更に、第１および第２の断面画像上に、注目病変部および対応病変部の位置を示す十字型や正方形や円などの図形を重ね合わせて表示してもよい。また、断面の回転方向を視覚的に表す矢印などの図形を表示してもよい。また、一方のボリュームデータをボリュームレンダリングした上に他方の断面画像の位置姿勢を表す平面などの図形を重ね合わせて描画してもよい。また、各種の図形を重ね合わせるか否かを、夫々選択できるようにしてもよい。図４（ｃ）は、注目病変部の位置を示す円５０５０と、対応病変部の位置を表す円５０６０と、回転方向を表す矢印５０７０を重ね合わせて表示した例を示す。

切断面を変更して更に確認を続けたい場合には、ユーザはその旨の入力をマウス等により行うこととなる。変更操作部１４０はその入力を受け（ステップＳ４０８でＹｅｓ）、入力に応じて切断面を連動させて変更するための回転パラメータ（回転軸の方向と回転角度Ｌ）を取得する（ステップＳ４０９）。このパラメータの取得はマウスの操作を取得して行う。例えば、ボタンを押下している間のマウスの位置、移動量及び移動方向から回転角度及び回転軸の方向を取得する。

マウスの入力に応じた切断面の変更の態様として、例えば、表示部２００に表示された第１または第２の断面画像をマウス１００５で選択する。その後マウスのボタンを押下したままドラッグ操作することで、ドラッグした方向に断面を回転させるような回転パラメータを算出する。その際、回転軸の方向はドラッグ操作時のマウスの移動方向に応じて算出すればよく、回転角度はドラッグ操作時のマウスの移動量に応じて算出すればよい。例えば、マウスの変位を断面画像上における二次元ベクトルとしてまたはこのベクトルの大きさに比例した値を回転角度とする。また、このベクトルに直交する断面画像上のベクトルを回転軸として設定する。また、マウスのドラッグ操作に限らず、キーボードの特定のキーに各方向への回転操作や回転角度の変更を割り当ててもよい。または、表示画面上に操作ボタン等を配置してマウスでクリックして操作してもよい。

またステップＳ４０７により表示された断面画像を見たユーザが、指定点が対応していないと判断した場合には、マウス等の入力により指定点を再指定する旨の入力を行う。変更操作部１４０はその入力を受け（ステップＳ４１０でＹｅｓ）、指定点を再指定する（ステップＳ４１０）。ユーザは、第１および第２の断面画像を観察して、病変部の形状や周辺部の見え方等の類似度を多面的に評価しながら注目病変部または対応病変部の位置をより正確に指定し直すことができる。

また、ステップＳ４０７により表示された断面画像により、病変部の位置合わせが完了したとユーザが判断した場合には、位置合わせ終了の入力を行う。変更操作部１４０はその旨の入力を受け（ステップＳ４１２でＹｅｓ）、画像処理装置１００は、そのときの指定点を、二つのボリュームデータにおいて対応する点として不図示の記憶部に格納する。さらに、表示制御部１６０は表示部２００に対してそれら対応する指定点の情報を出力し（ステップＳ４１３）、表示部２００にその旨の情報を表示させる。

切断面の変更の入力、または指定点の再指定の入力がない場合には（ステップＳ４０８でＮｏ，ステップＳ４０９でＮｏ）、位置合わせ終了の入力があるまで待機状態となり、入力を受け付ける。

以上のように、実施例１に係る画像処理装置によると、一方の三次元画像データ中の注目病変部と思われる部位の位置（第１の指定点）と、他方の三次元画像データ中において対応病変部と思われる部位の位置（第２の指定点）を指定することができる。そして、夫々の指定点を含む同一姿勢の断面を、夫々の三次元画像データから生成して表示することができる。その際に、様々な方向から見た断面画像上において夫々の指定点の位置を適宜修正することで、病変部の位置をより正確に指定することができる。その結果として、夫々の指定点を含んだ断面画像を様々な方向から観察して、病変部の形状や周辺部の見え方等の類似度を多面的に評価しながら、病変部の同定を行うという作業を効率的に行うことができる。

また、断面を連動して回転しすることにより、ユーザに対して画像上の特徴の比較を促すと共に、その特徴の変化の比較をも促すことができる。また、撮影条件に基づいて二つの断層画像群の姿勢を合わせると共に、画像上の特徴を連動して変化させてユーザによる位置合わせを促すことにより、全体としては信頼性が高く、かつユーザの負担が少ない位置合わせを実現することができる。

（実施例１の変形例１）
本実施例では、注目病変部を含む第１の断面画像と対応病変部を含む第２の断面画像とを連動させて回転させる場合を例に述べた。すなわち、第１の断面画像の姿勢と第２の断面画像の姿勢とが最初から一致している場合に有効な方法について述べた。しかし、連動して回転させるだけでなく、個別に回転させてもよい。例えば、第１の断面画像を固定したまま第２の断面画像のみを回転させてもよいし、逆に第２の断面画像を固定したまま第１の断面画像のみを回転させてもよい。例えば、マウスの左ボタンを押下したままドラッグ操作することで、ドラッグした方向に第１の断面画像のみを回転させることができる。同様に、マウスの右ボタンを押下したままドラッグ操作することで、ドラッグした方向に第２の断面画像のみを回転させることができる。そして、マウスの両方のボタンを押下したままドラッグ操作することで、ドラッグした方向に第１および第２の断面画像を連動回転させることができる。

以上のように、第１または第２の断面画像の一方のみを回転させることによって、第１の断面画像の姿勢と第２の断面画像の姿勢とが一致していない場合に、それらが一致するように合わせ込むことができる。

（実施例１の変形例２）
実施例１では、ステップＳ４０５において、注目病変部と対応病変部の位置の指定を夫々手作業で行っていた。しかし、これを省略して、ステップＳ４０５で取得した注目病変部の位置を対応病変部の初期位置（概略位置）として設定してもよい。また、上記で設定した初期位置の近傍を探索して、対応病変部の位置の候補を算出する処理を更に追加してもよい。この場合、例えば注目病変部を中心とする所定の大きさ（例えば５×５×５ボクセル）のボリュームを第１のボリュームデータから切り出してテンプレートとする。そして、このテンプレートに類似する領域を、公知のパターンマッチング手法を利用して、第２のボリュームデータの中から求めればよい。

ここで、被検体に複数の病変部が存在する場合には、注目病変部に対応する対応病変部が正しく算出されない場合が考えられる。しかし、本実施形態によれば、夫々の断面画像の表示を参照しながら、対応病変部の位置を正しく指定し直すことができる。

以上のように、対応病変部の初期位置を自動算出することによって、対応病変部の指定を省力化することができる。

（実施例１の変形例３）
実施例１では、一つの注目病変部に対応する一つの対応病変部を指定する場合を例に述べたが、指定する病変部の数はこれに限られるものではない。例えば、被検体に複数の病変部が存在する場合には、複数の注目病変部に対応する複数の対応病変部を夫々指定することができる。その場合、例えば複数の病変部の中から二つの注目病変部とその対応病変部を選択し、二つの注目病変部を結ぶ直線および二つの対応病変部を結ぶ直線の夫々を回転軸として、第１および第２の断面画像を回転軸周りに連動させて回転してもよい。

以上によって、二つの病変部同士の関係を確認しながら、二つの注目病変部に対応する二つの対応病変部をより正確に指定することができる。そして、複数の注目病変部の中から二つの注目病変部を選択する処理と、対応する二つの対応病変部を指定する処理とを繰り返すことによって、複数の注目病変部に対応する複数の対応病変部をより正確に指定することができる。

（実施例１の変形例４）
実施例１では、第１の三次元画像データとして、ＭＲＩ装置やＸ線ＣＴ装置によって被検体を事前に撮像して得られた断層画像群を用いる場合を例に述べた。また、第２の三次元画像データとして、超音波画像診断装置によって被検体を事前に撮像して得られた断層画像群を用いる場合を例に述べた。しかし、使用する三次元画像データはこれに限られるものではない。

例えば、いずれかの同一モダリティで異なる時刻（日時）に被検体を撮像して得た断層画像群（すなわち、経時データ）を、第１及び第２の三次元画像データとして用いてもよい。また、同一モダリティで異なる撮影の体位（例えば仰向けとうつ伏せ）で被検体を撮像して得た断層画像群を、第１及び第２の三次元画像データとして用いてもよい。

なお、断層画像群から予めボリュームデータを復元せずに、周知の方法を用いて、断層画像群から直接的に断面画像を生成してもよい。また、事前に三次元超音波探触子を用いて直接的に取得されたボリュームデータを用いてもよい。

（実施例１の変形例５）
実施例１では、切断面変更部１３０により決定された切断面に基づいて、三次元画像データの断面画像を生成していた。しかし、断面画像の生成はこれに限られるものではない。

例えば、ボリュームデータに画像処理を施して見え方を調整した新たなボリュームデータを生成して、その新たなボリュームデータの断面を断面画像として生成してもよい。例えば、エッジ強調処理や、臓器セグメンテーション結果に基づく擬似カラー処理等を施したボリュームデータを生成して、その断面画像を生成してもよい。また、公知の方法で、ＭＲＩ画像をあたかも超音波画像診断装置によって撮像されたかのような画像に変換する処理を施したボリュームデータを生成して、その断面画像を生成してもよい。もちろん、ボリュームデータから断面画像を生成した後に、断面画像に対して上述したような画像処理を施してもよい。

また、算出した断面に基づいて三次元画像データから画像を生成するものであれば、生成する断面画像は、その断面上のボクセル値を画像化した画像でなくてもよい。例えば、断面を中心として法線方向に所定の範囲を設定した上で、当該範囲内における法線方向のボクセル値の最大値を断面上の各点に関して求めた投影画像を断面画像としてもよい。

（実施例１の変形例６）
実施例１では、二つの三次元画像データを用いる場合を例に説明したが、三つ以上の三次元画像データを用いる場合であっても、本実施形態の手法が適用可能である。この場合、注目病変部に対応する対応病変部を夫々で指定していもよいし、三つ以上の病変部を同時に見比べながら、夫々の病変部の指定を繰り返してもよい。

（実施例１の変形例７）
変形例７では、実施例１の表示制御部１６０の処理に加えて、二つの断面画像を連動させて拡大または縮小させる。マウス等の操作やキーボードによる拡大率または縮小率の入力に応じて、断面画像を同じ拡大率または縮小率で変更して再表示する。これにより、拡大させて小さな領域を表示させてより細かく検討したり、大きな領域を表示させて画像の傾向を捉えるなど、表示される画像により位置が合っているか否かを詳細に検討することができる。

（実施例２）
実施例２は、対応付けの確からしさが向上してきた場合に切断面の変更量を小さくするというものである。対応付けの確からしさは、指定点または切断面の変更回数等のユーザによる入力情報や、画像のパターンマッチングにより行う。装置の構成及び処理について、実施例１との相違点を中心に説明する。

図６は、実施例２に係る画像処理システムの構成図を示す。実施例１と重複する構成については説明を省略する。

変更量制御部６３５は、断面画像生成部６５０の出力である第１および第２の断面画像を入力する。また、病変指定部６２０の出力である第１および第２の指定点の位置を入力する。そして、指定点があらわす領域の一致度を算出し、切断面変更部６３０へと出力する。

ここでいう一致度の態様としては、ユーザが指定点を指定し直した回数や、断面を変更した回数に基づいて一致度を定めるというものがある。これは、指定点や断面の変更を繰り返すことにより対応付けが一致する可能性が高いと考えられるからである。

切断面変更部６３０は、変更量制御部６３５から取得した一致度に基づいて、切断面に施す回転のパラメータを調整する。例えば、補正係数の算出を次式によって行う。

ここで、ｒは補正係数であり、ｎは第１の指定点および／または第２の指定点の指定回数である。そして、変更操作部６４０から取得した回転パラメータのうちの回転角度にこの補正係数を乗算した値を、実際の回転角度として使用する。上式によれば、指定回数が０の場合には補正係数が１となるため、指定した回転角度がそのまま断面画像生成部６５０へと出力される。一方、指定回数が例えば４の場合には補正係数が０．２となるため、指定した回転角度の１／５の値が断面画像生成部６５０へと出力される。すなわち、注目病変部および／または対応病変部の指定の繰り返しによって、一致度が向上するにしたがって、回転角度が遅くなるように制御することができる。

また別の態様としては、第１および第２の指定点の近傍の画素値を比較することによって一致度を算出する。例えば、第１の指定点を中心とする指定の大きさ（例えば２０ｘ２０画素）の断面画像の部分画像と、第２の指定点を中心とする同じ大きさの断面画像の部分画像との一致度を、公知のパターンマッチング手法を用いて０から１の範囲の値として算出する。

切断面変更部６３０は、変更量制御部６３５から取得した一致度に応じて、ボリュームデータの切断面を変更する変更量（回転角度）に乗ずる補正係数を変更する。例えば、一致度が高いほど補正係数を小さくし、変更量を抑制する。例えば次式によって補正係数を算出すればよい。

ここで、ｒは補正係数であり、ｃは第１および第２の断面画像の一致度である。上式によれば、一致度が０の場合には補正係数が１となるため、指定した回転角度がそのまま切断面変更部６３０にて利用される。一方、一致度が１の場合には補正係数が０．２となるため、指定した回転角度の１／５の値が切断面変更部６３０にて利用される。すなわち、一致度が向上するにしたがって、回転角度が遅くなるように断面の姿勢を制御することができる。

図７は、画像処理装置１００が実行する処理の概要を示したものである。なお、ステップＳ７０１からＳ７０８とＳ７１０からＳ７１３までの処理は、実施例１におけるステップＳ４０１からＳ４０８とＳ４１０からＳ４１３までの処理と重複するため、説明を省略する。

ステップＳ７１４では、切断面の変更の入力を受けて、変更量制御部６３５が一致度を算出する。

ステップＳ７０９では、切断面変更部６３０が、変更操作部１４０から切断面の回転パラメータ（回転軸の方向と回転角度Ｌ）を取得し、一致度に基づいてこれを修正する。

このようにして決定された回転パラメータに基づいて、切断面変更部６３０は、切断面を連動させて変更する処理を行う（ステップＳ７０６）。

以上の処理を行うことにより、対応付けの正確さが向上していくに連れて切断面の変更量を抑制することにより、診断者がより正確な位置合わせを簡易に行うことができる。

（実施例２の変形例１）
本実施形態では、注目病変部を含む断面画像と対応病変部を含む断面画像との比較結果に基づいて、断面の回転角度に掛け合わせる補正係数を算出していた。しかし、注目病変部を含む断面画像と対応病変部を含む断面画像との比較結果に応じて断面画像の生成方法を制御する方法は、これに限られるものではない。例えば、第１および第２の断面画像の拡大率を算出する目的にも用いることもできる。この場合、ステップＳ７１４における処理の一部として、変更量制御部６３５が、病変部の一致度を取得し、その値に応じて拡大率を算出する。拡大率は、例えば次式によって一致度に応じた値を算出すればよい。
Ｚ＝２（ｃ＋１）
ここで、ｚは拡大率であり、ｃは病変部同士の一致度である。上式によれば、一致度が０の場合には拡大率が１となり、一致度が１の場合には拡大率が４となる。

そして、上記で算出した拡大率を用いて、第１および第２の断面画像の表示領域を拡大すればよい。

以上により、第１および第２の断面画像の一致度が向上するにしたがって、注目病変部および対応病変部を拡大して観察することができるため、注目病変部および／または対応病変部の指定をより正確に行うことができる。

（実施例２の変形例２）
変形例２では、注目病変部を含む断面画像と対応病変部を含む断面画像との一致度を算出していたが、ボリュームデータ同士の一致度を算出してもよい。例えば、注目病変部を中心とする指定の大きさ（例えば２０ｘ２０ｘ２０ボクセル）の部分ボリュームデータと、対応病変部を中心とする同じ大きさの部分ボリュームデータとの一致度を、例えば相互情報量などによって０から１の範囲の値として算出すればよい。

（その他の実施例）
本発明は例えば、システム、装置、方法、プログラムその他記憶媒体等の種々の実施形態を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、上述の実施例において、図１に示した各部（データ取得部１１０、病変指定部１２０、切断面変更部１３０、変更操作部１４０、断面画像生成部１５０、表示制御部１６０）の少なくとも一部は、独立した装置として実現してもよい。その場合には、全体としての画像処理システムが本発明を構成することとなる。

または、夫々１つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するプログラムを有するソフトウェアとして実現してもよい。場合には、そのプログラム、プログラムを記憶した記憶媒体、およびプログラムがインストールされたコンピュータまたはシステムは、本発明を構成する。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

１００ 画像処理装置
１１０ データ取得部
１２０ 病変指定部
１３０ 切断面変更部
１４０ 変更操作部
１５０ 断面画像生成部
１６０ 表示制御部

Claims (21)

1. 第一の三次元画像データにおいて第一の指定点の指定を受け付けるとともに、第二の三次元画像データにおいて初期位置として前記第一の指定点に対応する第二の指定点の指定を受け付ける指定受付手段と、
   前記第一の指定点を含む第一の切断面を前記第一の三次元画像データに設定し、前記第二の指定点を含む第二の切断面を前記第二の三次元画像データに設定する切断面設定手段と、
   前記第一の切断面と前記第二の切断面とを、それぞれ前記指定を受け付けた前記第一の指定点、前記第二の指定点を中心に連動して回転させることにより変更させる回転手段と、
   前記回転手段による回転に応じて、前記変更された第一の切断面に基づいて第一の断面画像を生成し、前記変更された第二の切断面に基づいて第二の断面画像を生成する断面画像生成手段と、
   を備え、
   前記指定受付手段は、前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を更に受け付け、
   前記回転手段は、前記第一の切断面と前記第二の切断面とを、それぞれ前記第一の指定点、前記指定の受け付けにより位置が修正された前記第二の指定点を中心に、連動して回転させることにより変更させることを特徴とする医用画像処理装置。
2. 前記第一の切断面は、前記第二の切断面に対応する切断面であり、
   前記指定受付手段は、前記回転手段により前記第一の切断面と前記第二の切断面とが連動して回転可能な状態で、前記第二の指定点を含む前記第二の断面画像において前記第二の指定点の位置の修正に関する指定を更に受け付けることを特徴とする請求項１に記載の医用画像処理装置。
3. 前記回転手段による変更に応じて生成された前記第一の断面画像と前記第二の断面画像とを表示するための制御を行う表示制御手段
   を更に備えることを特徴とする請求項１または２に記載の医用画像処理装置。
4. 前記回転手段は、前記指定受付手段で受け付けた前記指定の回数または前記回転手段により切断面が変更された回数のいずれかに応じて前記回転の制御を行うことを特徴とする請求項１乃至３のいずれか１項に記載の医用画像処理装置。
5. 前記第一の三次元画像データと前記第二の三次元画像データは被検体を異なる方法で撮影して得られる画像データであり、
   前記回転手段は、前記第一の三次元画像データと前記第二の三次元画像データの各々における前記切断面の回転量を制御することを特徴とする請求項１乃至４のいずれか１項に記載の医用画像処理装置。
6. 前記第一の三次元画像データと前記第二の三次元画像データは被検体を異なる方法で撮影して得られる画像データであって、
   前記撮影の際の撮影条件に基づいて前記第一の三次元画像データと前記第二の三次元画像データの前記被検体に対する向きを揃えた画像データであることを特徴とする請求項１乃至５のいずれか１項に記載の医用画像処理装置。
7. 前記表示制御手段は、前記断面画像生成手段で生成される複数の断面画像を連動させて拡大または縮小することを特徴とする請求項３に記載の医用画像処理装置。
8. 前記第一の三次元画像データと前記第二の三次元画像データは被検体を撮像して得た断層画像群であり、
   前記表示制御手段は、前記断層画像群を構成する断層画像の少なくとも一つを表示させることを特徴とする請求項３または７に記載の医用画像処理装置。
9. 前記第一の三次元画像データと前記第二の三次元画像データは同一の対象を異なる方法で撮影した三次元画像データであることを特徴とする請求項１乃至８のいずれか１項に記載の医用画像処理装置。
10. 前記第一の三次元画像データと前記第二の三次元画像データは被検体を異なる撮影体位で撮影して得られる三次元画像データであることを特徴とする請求項１乃至９のいずれか１項に記載の医用画像処理装置。
11. 前記異なる方法での撮影は、Ｘ線ＣＴ撮影装置、ＭＲＩ撮影装置、超音波撮影装置のいずれかによる撮影であることを特徴とする請求項９に記載の医用画像処理装置。
12. 第一の三次元画像データにおいて第一の指定点の指定を受け付けるとともに、第二の三次元画像データにおいて初期位置として前記第一の指定点に対応する第二の指定点の指定を受け付ける指定受付ステップと、
    前記第一の指定点を含む第一の切断面を前記第一の三次元画像データに設定し、前記第二の指定点を含む第二の切断面を前記第二の三次元画像データに設定する切断面設定ステップと、
    前記第一の切断面と前記第二の切断面とを、それぞれ前記指定を受け付けた前記第一の指定点、前記第二の指定点を中心に連動して回転させることにより変更させる回転ステップと、
    前記回転ステップによる回転に応じて、前記変更された第一の切断面に基づいて第一の断面画像を生成し、前記変更された第二の切断面に基づいて第二の断面画像を生成する断面画像生成ステップと、
    を備え、
    前記指定受付ステップは、前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を更に受け付け、
    前記回転ステップは、前記第一の切断面と前記第二の切断面とを、それぞれ前記第一の指定点、前記指定の受け付けにより位置が修正された前記第二の指定点を中心に、連動して回転させることにより変更させることを特徴とする医用画像処理方法。
13. 前記第一の切断面は、前記第二の切断面に対応する切断面であり、
    前記指定受付ステップは、前記回転ステップにより前記第一の切断面と前記第二の切断面とが連動して回転可能な状態で、前記第二の指定点を含む前記第二の断面画像において前記第二の指定点の位置の修正に関する指定を更に受け付けることを特徴とする請求項１２に記載の医用画像処理方法。
14. 処理装置を、
    第一の三次元画像データにおいて第一の指定点の指定を受け付けるとともに、第二の三次元画像データにおいて初期位置として前記第一の指定点に対応する第二の指定点の指定を受け付ける指定受付手段と、
    前記第一の指定点を含む第一の切断面を前記第一の三次元画像データに設定し、前記第二の指定点を含む第二の切断面を前記第二の三次元画像データに設定する切断面設定手段と、
    前記第一の切断面と前記第二の切断面とを、それぞれ前記指定を受け付けた前記第一の指定点、前記第二の指定点を中心に連動して回転させることにより変更させる回転手段と、
    前記回転手段による回転に応じて、前記変更された第一の切断面に基づいて第一の断面画像を生成し、前記変更された第二の切断面に基づいて第二の断面画像を生成する断面画像生成手段
    として機能させ、
    前記指定受付手段は、前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を更に受け付け、
    前記回転手段は、前記第一の切断面と前記第二の切断面とを、それぞれ前記第一の指定点、前記指定の受け付けにより位置が修正された前記第二の指定点を中心に、連動して回転させることにより変更させることを特徴とする前記処理装置が読み取り可能なプログラム。
15. 前記第一の切断面は、前記第二の切断面に対応する切断面であり、
    前記指定受付手段は、前記回転手段により前記第一の切断面と前記第二の切断面とが連動して回転可能な状態で、前記第二の指定点を含む前記第二の断面画像において前記第二の指定点の位置の修正に関する指定を更に受け付けることを特徴とする請求項１４に記載のプログラム。
16. 第一の三次元画像データに設定された第一の切断面に含まれる第一の指定点と、第二の三次元画像データに設定された第二の切断面に含まれ、初期位置として設定された、前記第一の指定点に対応する第二の指定点とを中心に、該第一の切断面と該第二の切断面とをそれぞれ連動して回転させることにより変更させる回転手段と、
    前記変更された第一の切断面を表す第一の断面画像と、前記変更された第二の切断面を表す第二の断面画像とを表示するための制御を行う表示制御手段と、
    前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を受け付ける指定受付手段と、
    を備え、
    前記回転手段は、前記指定を受け付けた場合には、前記第一の指定点と該指定の受け付けにより位置が修正された前記第二の指定点とを中心に、前記第一の切断面と前記第二の切断面とをそれぞれ連動して回転させることにより変更させることを特徴とする医用画像処理装置。
17. 前記第一の切断面は、前記第二の切断面に対応する切断面であり、
    前記指定受付手段は、前記回転手段により前記第一の切断面と前記第二の切断面とが連動して回転可能な状態で、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を受け付けることを特徴とする請求項１６に記載の医用画像処理装置。
18. 第一の三次元画像データに設定された第一の切断面に含まれる第一の指定点と、第二の三次元画像データに設定された第二の切断面に含まれ、初期位置として設定された、前記第一の指定点に対応する第二の指定点とを中心に、該第一の切断面と該第二の切断面とをそれぞれ連動して回転させることにより変更させる回転ステップと、
    前記変更された第一の切断面を表す第一の断面画像と、前記変更された第二の切断面を表す第二の断面画像とを表示するための制御を行う表示制御ステップと、
    前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を受け付ける指定受付ステップと、
    を備え、
    前記回転ステップは、前記指定を受け付けた場合には、前記第一の指定点と該指定の受け付けにより位置が修正された前記第二の指定点とを中心に、前記第一の切断面と前記第二の切断面とをそれぞれ連動して回転させることにより変更させることを特徴とする医用画像処理方法。
19. 前記第一の切断面は、前記第二の切断面に対応する切断面であり、
    前記指定受付ステップは、前記回転ステップにより前記第一の切断面と前記第二の切断面とが連動して回転可能な状態で、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を受け付けることを特徴とする請求項１８に記載の医用画像処理方法。
20. 処理装置を、
    第一の三次元画像データに設定された第一の切断面に含まれる第一の指定点と、第二の三次元画像データに設定された第二の切断面に含まれ、初期位置として設定された、前記第一の指定点に対応する第二の指定点とを中心に、該第一の切断面と該第二の切断面とをそれぞれ連動して回転させることにより変更させる回転手段と、
    前記変更された第一の切断面を表す第一の断面画像と、前記変更された第二の切断面を表す第二の断面画像とを表示するための制御を行う表示制御手段と、
    前記第二の指定点が前記第一の指定点に対応していないとユーザが判断した場合になされる指定であって、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を受け付ける指定受付手段
    として機能させ、
    前記回転手段は、前記指定を受け付けた場合には、前記第一の指定点と該指定の受け付けにより位置が修正された前記第二の指定点とを中心に、前記第一の切断面と前記第二の切断面とをそれぞれ連動して回転させることにより変更させることを特徴とする前記処理装置が読み取り可能なプログラム。
21. 前記第一の切断面は、前記第二の切断面に対応する切断面であり、
    前記指定受付手段は、前記回転手段により前記第一の切断面と前記第二の切断面とが連動して回転可能な状態で、前記第二の指定点を含む前記第二の断面画像において該第二の指定点の位置の修正に関する指定を受け付けることを特徴とする請求項２０に記載のプログラム。

Images