JP5361194B2 - 画像処理装置、画像処理方法、及び、コンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びコンピュータプログラムに関し、特にシェーマの作成及び表示に関する。

カルテや画像診断レポートなどの医用文書が電子化される以前は、医師は紙でできた医用文書の上に手書きでシェーマを描画していた。ここで、「シェーマ」とは、一般には「図式」、「見取り図」を意味するが、医療分野では、人体の所定部位の構造を線図で表したものをいう。その一方で、近年、病院情報システム（ＨＩＳ：Hospital Information System）や画像保管通信システム（ＰＡＣＳ：Picture Archiving and Communication System）等の医用情報システムが普及している。これらの医用情報システムが普及するに連れて、医用文書の電子化も徐々に進展している。すなわち、従来医師が手書きで作成していたカルテや画像診断レポートなどの医用文書を、情報機器を用いて電子的に作成及び表示し、さらに他の医用情報システムと通信できる診療支援装置が使われ始めている。

医用文書を電子的に作成する際、文字列の入力はキーボードを用いて比較的容易に行うことが出来る。一方、任意形状の図形を描くためにはマウスやタブレットなどの入力デバイスを巧みに動かし、入力デバイスが描いた軌跡を線画情報として入力することができる。しかし、シェーマの作成に当たっては、複雑な形状の人体構造を描画する必要があるため、マウスやタブレットを用いた描画方法では容易に図形を描画できない。

そこで、従来の診療支援装置では、あらかじめ装置内にシェーマ画像のテンプレート（以下、基本シェーマと呼ぶ）を多数記憶しておき、医師に所望の基本シェーマを選択させる方式を採用していた。この方式では、医師が基本シェーマを選択した後、基本シェーマ上に疾患部を示す簡単な図形を描画することで、容易にシェーマを作成できる。

さらに、特許文献１では、医用画像から被写体の解剖学的構造物（臓器など）の形状を推定し、基本シェーマで描かれた解剖学的構造物の形状と比較している。これにより、医師が医用画像上で疾患部の位置を指定すると、基本シェーマ上の対応する位置を表示できるため、基本シェーマ上の適切な位置に疾患部を示す図形を描画可能となる。
特開２００６−１８１１４６号公報

上記提案の技術により、電子カルテ上でのシェーマの利用は容易となる。シェーマの利用により、身体部位と疾患部の位置関係を医師に明確に提示できるという利点を得られる。しかしながら、疾患部の情報は簡単な図形として描画できるだけなので、シェーマからは疾患部の詳細な情報が得られないという欠点がある。

また、特許文献１に記載の技術は、医師が医用画像上で疾患部の位置を指定すると、基本シェーマ上の対応する位置を表示できるため、疾患部の位置だけはある程度正確に描画可能となる。しかしながら、特許文献１に記載の技術においても、医師が医用画像上で指定した位置がシェーマ上に表示されるだけであり、疾患部の詳細な情報が得られるわけではない。

一方、疾患部の詳細な情報は、医用画像（レントゲン画像、Ｘ線ＣＴ画像、ＰＥＴ画像、ＳＰＥＣＴ画像など）に記録されている。基本シェーマは特定の患者に依存しない画像であるため、医用画像と基本シェーマとは別々の画像で与えられる。そのため、医師が疾患部の詳細な情報を得たい場合には、基本シェーマとは別に医用画像を参照する必要がある。しかし、別々に参照してしまうと、身体部分と疾患部の位置関係を医師に明確に提示できるというシェーマの利点が生かされない。 そこで、医用画像を基本シェーマ上に重ね合わせて、両者を１枚の画像にすることが考えられる。しかし、単純に重ね合わせるだけだと、患者固有の解剖学的構造物の形態や各画像の大きさの違いにより、画像の境界部分がいびつになってしまい、使用に耐えないものになる。

本発明は、上記の課題に鑑みてなされたものであり、身体部位と疾患部の位置関係を医師に明確に提示できるというシェーマの利点を保ちつつ、疾患部の詳細な情報も同時に提示できる仕組みを提供することを目的とする。

上記課題を解決するための本発明の第１側面に係る画像処理装置は、特定の被検者の身体部位の医用画像と、該身体部位についての前記特定の被検者に依存しないシェーマ画像とを選択する選択手段と、選択された前記シェーマ画像と前記医用画像とにおいて、前記身体部位の構造を特定するための特徴点をそれぞれ抽出する抽出手段と、抽出された前記シェーマ画像における特徴点と前記医用画像における特徴点との幾何学的対応関係を算出する算出手段と、算出された前記幾何学的対応関係に基づいて、前記シェーマ画像における特徴点同士の位置関係と医用画像における特徴点同士の位置関係とが対応するように該シェーマ画像を変形する変形手段と、前記変形手段で変形したシェーマ画像に、前記幾何学的対応関係に基づき前記医用画像又はその一部を合成した合成画像を生成する合成手段とを備えることを特徴とする。
本発明の第２側面に係る画像処理装置は、特定の被検者の身体部位の医用画像と、該身体部位についての前記特定の被検者に依存しないシェーマ画像との対応関係に基づいて、前記シェーマ画像を変形する変形手段と、前記対応関係に基づき前記医用画像又はその一部を前記変形手段で変形したシェーマ画像に合成した合成画像を生成する合成手段とを備えることを特徴とする。

本発明により、身体部位と疾患部の位置関係を医師に明確に提示できるというシェーマの利点を保ちつつ、疾患部の詳細な画像情報も同時に提示できる仕組みを提供できる。

以下、添付図面に従って本発明に係る画像処理装置及びその制御方法の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。実施形態では、本発明に係る画像処理装置を診療支援装置として利用する。

［第１の実施形態］
図１は、発明の第１の実施形態に係る診療支援装置の機器構成例を示す図である。図１において、診療支援装置１は、制御部１０、モニタ１０４、マウス１０５、キーボード１０６を有する。制御部１０は、中央処理装置（ＣＰＵ）１００、主メモリ１０１、磁気ディスク１０２、表示メモリ１０３、共有バス１０７を有する。そして、ＣＰＵ１００が主メモリ１０１に格納されたプログラムを実行することにより、医用文書データベース２や医用画像データベース３との通信、診療支援装置１の全体の制御、等の各種制御が実行される。

ＣＰＵ１００は、主として診療支援装置１の各構成要素の動作を制御する。主メモリ１０１は、ＣＰＵ１００が実行する制御プログラムを格納したり、ＣＰＵ１００によるプログラム実行時の作業領域を提供したりする。磁気ディスク１０２は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する診療支援処理等を行うためのプログラムを含む各種アプリケーションソフト、多数の基本シェーマ・データ等を格納する。表示メモリ１０３は、モニタ１０４のための表示用データを一時記憶する。モニタ１０４は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１０３からのデータに基づいて画像を表示する。マウス１０５及びキーボード１０６はユーザによるポインティング入力及び文字等の入力をそれぞれ行う。上記各構成要素は共有バス１０７により互いに通信可能に接続されている。

本実施形態において、診療支援装置１はＬＡＮ４を介して、医用文書データベース２から電子カルテや画像診断レポートなどの医用文書データを読み出すことができる。また、診療支援装置１はＬＡＮ４を介して、医用画像データベース３から様々な種類の医用画像データを読み出すことができる。或いは、診療支援装置１に外部記憶装置、例えばＦＤＤ、ＨＤＤ、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、ＺＩＰドライブ等を接続し、それらのドライブから医用文書データ又は医用画像データを読み出すようにしても良い。

なお、医用画像の種類には、例えば、以下のものが含まれる。単純Ｘ線画像（レントゲン画像）。Ｘ線ＣＴ（Computed Tomography）画像。ＭＲＩ（Magnetic Resonance Imaging）画像。ＰＥＴ（Positron Emission Tomography）画像。ＳＰＥＣＴ（Single Photon Emission Computed Tomography）画像。超音波画像。

次に、図２のフローチャートを用いて、制御部１０がどのように診療支援装置１を制御しているかについて説明する。図２は、発明の第１の実施形態に係る診療支援装置１の処理手順の例を示すフローチャートである。このフローチャートによって示される処理は、ＣＰＵ１００が主メモリ１０１に格納されているプログラムを実行することにより実現される。また、以下の処理において、医師はマウス１０５やキーボード１０６を操作することで、診療支援装置１に様々なコマンドを入力する。また、以下の処理において、ＣＰＵ１００が実行するプログラムの実行状況や実行結果は、ＣＰＵ１００が別途実行するＯＳ及び表示プログラムの機能により、モニタ１０４に表示される。

ステップＳ２０１において、医師のコマンド入力に従い、ＣＰＵ１００は過去に作成した医用文書を一つ選択して主メモリ１０１に書き込むか、または新たな医用文書を主メモリ１０１上に作成する。医用文書の選択処理は、ＣＰＵ１００が共有バス１０７及びＬＡＮ４を介して医用文書データベース２と通信を行い、医用文書データベース２から所望の医用文書を受信することで実現できる。或いは、ＣＰＵ１００は、診療支援装置１に接続された外部記憶装置から所望の医用文書を読み出すことで実現できる。

以下、ステップＳ２０１で主メモリ１０１に書き込んだ医用文書上に、シェーマを描画する処理を説明する。換言すると、医用文書データの所定位置にシェーマを構成するデータを書き込むための処理を説明する。

ステップＳ２０２において、ＣＰＵ１００は、磁気ディスク１０２に格納された多数の基本シェーマ・データを読み出し、基本シェーマのリストをモニタ１０４に表示する。この際、基本シェーマのリストは、基本シェーマの識別名を列挙したリストであってもよいし、基本シェーマのサムネイル画像を列挙したリストであってもよい。また、基本シェーマのリストを階層的にグループ分けし、最上階層のリストから順次表示してもよい。モニタ１０４に表示された基本シェーマのリスト中から、医師が所望の基本シェーマを選択すると、ＣＰＵ１００は選択された基本シェーマ・データを主メモリ１０１に書き込む。

図３に、基本シェーマのリストを階層的に表示した例を示す。図３では、複数階層のリストを簡易に表記するため識別名のみのリストを示したが、実際に医師に提示する際は、サムネイル画像のリストを用いるとよい。図３において診療支援装置１は、まずモニタ１０４に第１階層の基本シェーマの候補リスト表示画面３０１を表示し、医師にその中の一つ（例えば、胸部）を選択してもらう。

次に、モニタ１０４に選択されたグループ（胸部）に属する第２階層の基本シェーマの候補リスト表示画面３０２を表示し、再び医師にその中の一つ（例えば、肺正面）を選択してもらう。第３階層以下がある場合は、同様の手順を繰り返す。最下層の候補リスト表示画面から医師が選択した基本シェーマが、最終的に選択された基本シェーマである。選択シェーマ表示画面３０３では、このようにして選択された基本シェーマの画像を表示している。

図２に戻り、フローチャートの説明を続ける。ステップＳ２０３において、ＣＰＵ１００は、基本シェーマに描かれた身体部位の構造情報を抽出する。この際、身体部位の構造情報は、基本シェーマと医用画像とのいずれからも同様に抽出できる必要がある。

図４は、基本シェーマに描かれた身体部位の構造情報として、身体部位の輪郭線上の特徴的な点（特徴点）を利用する例を説明するための図である。図４では、身体部位として肺を一例として記載しているが、身体部位の例は、当然に肺に限定されるものではない。また、図４で示した肺の図形は、一例として示したものであって、基本シェーマの構造は図４で示すものに限定されることはない。

図４では、特徴点を丸印４０１で示している。この特徴点は、例えば、輪郭線の分岐点や曲率が極大となる点として抽出することができる。本実施形態では、図４に示すような各特徴点の座標を、身体部位の構造情報として利用することができる。

なお、基本シェーマに描かれた身体部位の構造情報の抽出方法として、いくつか異なる手法がある。その一つとして、例えば、予め基本シェーマの作成時に、身体部位の構造情報を基本シェーマの属性情報として予め与えておく方法がある。この方法では、身体部位の構造情報を抽出する際には、当該属性情報として予め与えられた情報を読み出せばよい。この方法によれば、構造情報をその都度算出する必要がないので、処理効率が高くなる。

また、例えば、基本シェーマの階層リストにおいて基本シェーマが属するグループ名や、基本シェーマに付けられた識別名から、身体部位の位置または解剖学的構造物、及び身体部位の向き（正面、左側面、右側面など）を識別する方法がある。

さらに、身体部位の構造情報を自動的に抽出する方法を記載する文献として、D. G. Lowe, “Object recognition from local scale-invariant features（局所スケール不変特徴からの物体認識）”, Proc. of IEEE International Conference on Computer Vision(ICCV), pp.1150-1157, 1999がある。ここには、ＳＨＩＦＴ（Scale-Invariant Feature Transform）特徴量を求める方法が記載されている。また同様の文献として、「Y. Ke, R. Sukthankar, “PCA-SHIFT: A more distinctive representation for local image descriptors（ＰＣＡ−ＳＨＩＦＴ：局所画像記述子のための、より特殊な表現法）”, Proc. of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp.511-517, 2004」がある。この文献には、ＰＣＡ（Principal Component Analysis）−ＳＨＩＦＴ特徴量をＣＰＵ１００が計算する方法が記載されている。

図２に戻り、フローチャートの説明を続ける。ステップＳ２０４において、ＣＰＵ１００は、医用文書に関連付けられた医用画像を主メモリ１０１に書き込む。医用画像は医用画像データベース３に格納されているので、ＣＰＵ１００は、共有バス１０７及びＬＡＮ４を介して医用画像データベース３から医用画像を受信する。或いは、所望の医用画像が診療支援装置１に接続された外部記憶装置に格納されている場合は、ＣＰＵ１００は、外部記憶装置から所望の医用画像を検索して、その画像を読み出す。

このとき、ＣＰＵ１００は、医用画像が３次元画像または複数枚の２次元画像から成る場合、ステップＳ２０２で選択された基本シェーマに描かれた身体部位の向き（正面、左側面、右側面など）に対応する画像を選択する。

ここで、基本シェーマに描かれた身体部位の向きは、上述のステップＳ２０３において身体部位の構造情報の一部として抽出されている。医用画像が３次元画像である場合、身体部位の向きが決められると、アキシャル断面、コロナル断面、サジタル断面などの画像断面の方向が決まる。

しかし、３次元画像では、画像断面の方向が決まっても、なおかつ複数枚の断面画像が存在する。そこで、これらの断面画像の中で、疾患部が最もよく映っている断面画像を選択する。疾患部が最もよく映っている断面画像の選択方法としては、例えば、医師から特定の断面画像の選択を受け付ける方法がある。あるいは、疾患部の形状、サイズ及び輝度分布がある程度既知である場合は、これらの既知の情報が強調される画像処理フィルタを医用画像に適用し、強調処理後の医用画像を閾値処理することで、疾患部を自動抽出することもできる。

続くステップＳ２０５において、ＣＰＵ１００は、医用画像に写った身体部位の構造情報を抽出する。この際、医用画像に写った身体部位の構造情報は、基本シェーマに描かれた身体部位の構造情報と比較可能な情報でなければならない。

基本シェーマに描かれた身体部位の構造情報の抽出方法と同様に、医用画像に写った身体部位の構造情報の抽出方法には、いくつか異なる手法がある。その一つとして、例えば、医用画像をモニタ１０４に表示し、医用画像に写った身体部位の輪郭線上において、特徴点の指定を医師から受け付ける方法がある。この際、医師から指定を受け付ける特徴点は、図４に例示した基本シェーマの輪郭線上の特徴点（丸印４０１）と対応する位置であることが望ましい。

このようにして、特徴点の指定を受け付けた医用画像の一例は図５に示す通りである。図５では、断面画像における身体部位（ここでは「肺」）の輪郭線上に、特徴点を示す丸印５０１が配置されている。

また、その他の方法として、ＣＰＵ１００が、医用画像に基づき、前述のＳＨＩＦＴ特徴量またはＰＣＡ−ＳＨＩＦＴ特徴量を自動的に計算する方法を採用することもできる。

ステップＳ２０６において、ＣＰＵ１００は、ステップＳ２０３で抽出した基本シェーマに描かれた身体部位の構造情報と、ステップＳ２０５で抽出した医用画像に写った身体部位の構造情報とを比較し、幾何学的対応関係を算出する。ここで、構造情報の例として上述した特徴点の座標、ＳＨＩＦＴ特徴量またはＰＣＡ−ＳＨＩＦＴ特徴量はいずれも、複数成分からなるベクトル情報を構成することができる。従って、ステップＳ２０６の具体的な処理は、基本シェーマと医用画像間で対となるベクトル情報を探すことである。

この処理では、基本シェーマの一つのベクトル情報と医用画像の一つのベクトル情報との間のベクトル間距離を計算し、すべてのベクトルの組合せ中で距離が最小となるベクトルの組合せを求めることができる。ただし、ベクトル間距離が予め決めた閾値より大きい場合は、対となるベクトルがないものと判断する。またさらに、対応するベクトルの探索ミスを減らす工夫として、一つのベクトルではなく、互いに近傍にある数個のベクトルをまとめて、より高次元のベクトルとして扱うことができる。この場合は、基本シェーマの高次元ベクトルと医用画像の高次元ベクトルとの間のベクトル間距離を計算する。

ステップＳ２０７において、ＣＰＵ１００は、ステップＳ２０６で求めた幾何学的対応関係に基づき基本シェーマを変形する。つまり、基本シェーマ上の特徴点の位置が医用画像上の対応する特徴点の位置に近づくように画像を変形する。こうした画像変形技術は、レジストレーション(Registration)と呼ばれ、従来より様々な手法が研究されている。例えば、「Joseph V. Hajnal, Derek L.G. Hill, David J. Hawkes, “Medical Image Registration (The BIOMEDICAL ENGINEERING Series)（医用画像レジストレーション（生体医療技術シリーズ））”, CRC Press, 2001」には、医用画像において用いられる複数のレジストレーション手法が記載されている。その中でも特に、１３章に記載されたいくつかの非剛体レジストレーション(Nonrigid Registration)手法はステップＳ２０７の処理に適している。これらの手法のいずれか一つを用いることで、ステップＳ２０７において基本シェーマの変形を行うことができる。

ステップＳ２０８において、ＣＰＵ１００は、医用画像から注目領域（ＲＯＩ：Region Of Interest）内の画像を主メモリ１０１の作業エリアにコピーし、ＲＯＩ画像を作成する。ここで、注目領域を決める方法としては、例えば、モニタ１０４に医用画像を表示し、医師に医用画像上に矩形や楕円形の境界線を描画してもらうことで、境界内の範囲を注目領域とする方法がある。あるいは、ステップＳ２０４で述べたように、疾患部の形状、サイズ及び輝度分布がある程度既知である場合は、疾患部を自動抽出できる。そこで、自動抽出した疾患部の周囲に一定幅のマージンを設定し、マージン付きの疾患部を囲む最小の矩形領域または円形領域を計算することで、ＲＯＩ画像を自動的に抽出できる。

このようにして抽出された注目領域の一例は、図５に示すようになる。図５の領域５０２は、医用画像における疾患部を囲む注目領域の例を示している。

図２に戻り、フローチャートの説明を続ける。ステップＳ２０８において、ステップＳ２０７で求めた変形後の基本シェーマの画像解像度とＲＯＩ画像の画像解像度とを比較する。もし、これらの画像解像度が大きくことなる場合は、ＲＯＩ画像または変形後の基本シェーマの解像度変換を行い、これらの解像度がほぼ同程度となるように調整する。例えば、変形後の基本シェーマと比べて、ＲＯＩ画像が縦横とも約ｎ倍の画像解像度を持つ場合、ＲＯＩ画像の解像度を縦横ともｎ分の１に縮小することで、ＲＯＩ画像のデータ量を１／ｎ²に減らすことができる。これにより、後述する合成シェーマのデータ量、さらには合成シェーマを書き込んだ医用文書のデータ量を減らすことができるので、医用文書データベース２の使用容量を削減する効果がある。

ステップＳ２０９において、ＣＰＵ１００は、ステップＳ２０７で求めた変形後の基本シェーマに、ステップＳ２０８で求めたＲＯＩ画像を合成する。この際、ステップＳ２０６で求めた幾何学的対応関係及びステップＳ２０７における基本シェーマの変形量を参照することにより、ＲＯＩ画像を変形後の基本シェーマ上のどの位置に合成すればよいかを計算できる。これにより、合成画像データが生成される。

図６に、合成シェーマの作成例を示す。この合成シェーマの例では、肺正面の基本シェーマの一部がＲＯＩ画像６０１により置換されている。

図２に戻り、フローチャートの説明を続ける。ステップＳ２１０において、ＣＰＵ１００は、合成シェーマを医用文書の所定の位置（以下、シェーマ記述欄と呼ぶ）に書き込む。ここでは、医用文書は主メモリ１０１に記憶されている。そこで、医用文書の編集をすべて終了した後に、ＣＰＵ１００は、共有バス１０７とＬＡＮ４を経由して、医用文書を医用文書データベース２に送信する。医用文書データベース２では、受信した医用文書を蓄積する。

以上、上述した構成によれば、以下の効果を得ることができる。すなわち、医師は医用文書上の合成シェーマを見ることにより、身体部位と疾患部の位置関係を明確に把握できると同時に、合成シェーマに合成されたＲＯＩ画像から疾患部の詳細な情報も得られるという効果がある。

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。なお、第２の実施形態の構成は、第１の実施形態と同様の構成を取るため、図１の構成図を用いるものとし、説明を省略する。

次に、図７乃至図１０のフローチャートを用いて、制御部１０がどのように診療支援装置１を制御しているかについて説明する。なお、以下の説明において、第１実施形態の図２のフローチャートと同様の処理を行っているステップについては、図２のどのステップと同様であるかを述べ、詳細な説明は省略する。

図７は、医用文書に基本シェーマとｎ種類のＲＯＩ画像を関連付けて書き込むまでの処理手順の例を示したフローチャートである。このフローチャートによって示される処理は、第1の実施形態と同様、ＣＰＵ１００が主メモリ１０１に格納されているプログラムを実行することにより実現される。

ステップＳ３０１において、ＣＰＵ１００は、主メモリ１０１に記憶している変数ｎとＮとを初期化する。変数ｎには値１を代入し、Ｎには医用画像の種類数を代入する。なお、本実施形態では、同一患者に対して複数の異なる種類の医用画像が予め撮影されており、それら複数の医用画像はすべて前述の患者の医用文書に順番に関連付けられているものとする。また、複数の異なる種類の医用画像とは、下記のいずれかあるいはそれらの組合せを意味する言葉として用いている。
・複数の異なる種類の医用画像撮影装置で撮影された医用画像
・複数の異なる種類の撮影パラメータを用いて撮影された医用画像
・複数の異なる時期、時刻または造影剤注入後の異なる時相に撮影された医用画像
・動画像として連続的に撮影された医用画像

例えば、同一患者に対して、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像の３種類の画像撮影を行った場合、Ｎには値３を代入する。また例えば、過去に４回ＣＴ画像撮影を行った患者が、今回５回目のＣＴ画像撮影を行った場合、Ｎには値５を代入する。あるいは、合成シェーマの作成に使用する医用画像を医師が直接選定してもよく、その場合、Ｎには選定された医用画像の枚数を代入する。

ステップＳ３０２において、ＣＰＵ１００は、図２のステップＳ２０１と同様の処理を行い、医用文書を選択するかまたは新規に作成する。

ステップＳ３０３において、ＣＰＵ１００は、図２のステップＳ２０２と同様の処理を行い、基本シェーマを選択する。

ステップＳ３０４において、ＣＰＵ１００は、図２のステップＳ２０３と同様の処理を行い、基本シェーマに描かれた身体部位の構造情報を抽出する。

ステップＳ３０５において、ＣＰＵ１００は、ｎ番目の医用画像に対して図２のステップＳ２０４と同様の処理を行い、医用文書にｎ番目に関連付けられた医用画像を主メモリ１０１に書き込む。あるいは、合成シェーマの作成に使用する医用画像を医師が直接選定した場合は、医師がｎ番目に選定した医用画像を主メモリ１０１に書き込む。

ステップＳ３０６において、ＣＰＵ１００は、ｎ番目の医用画像に対して図２のステップＳ２０５と同様の処理を行い、ｎ番目の医用画像に写った身体部位の構造情報を抽出する。

ステップＳ３０７において、ＣＰＵ１００は、ｎに１を加算する。

ステップＳ３０８において、ＣＰＵ１００は、ｎがＮを越えたかどうかを判定する。ｎがＮを超えた場合は、ステップＳ３０９に進み、ｎに値１を代入する。ｎがＮを越えていない場合は、ステップＳ３０５に戻って次の医用画像に対する処理を行う。

ステップＳ３１０において、ＣＰＵ１００は、図２のステップＳ２０６と同様の処理を行う。すなわち、ステップＳ３０４で抽出した基本シェーマに描かれた身体部位の構造情報と、ステップＳ３０６で抽出した１番目の医用画像に写った身体部位の構造情報とを比較し、幾何学的対応関係を算出する。なお、医用画像はｎ種類あるが、本実施形態では、各画像間での身体部位の構造情報の対応関係が明確であることを前提としている。即ち、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像の３種類の画像であっても、撮像部位、断面、方向は一致しており、特徴点同士の対応関係が明確である場合を想定している。この場合、合成シェーマ上ではｎ種類すべての画像を同じ位置に合成するため、幾何学的対応関係の算出には１種類の医用画像を用いるだけでよい。

ステップＳ３１１において、ＣＰＵ１００は、図２のステップＳ２０７と同様の処理を行い、ステップＳ３１０で求めた幾何学的対応関係に基づき基本シェーマを変形する。

ステップＳ３１２において、ＣＰＵ１００は、変形後の基本シェーマのデータをシェーマ記述欄に書き込む。この時、医用文書は主メモリ１０１に記憶されている。また、医用文書にデータを書き込み終えた位置を記憶しておき、次に医用文書にデータを追記する時の開始位置とする。

ステップＳ３１３において、ＣＰＵ１００は、図２のステップＳ２０８と同様の処理を行い、選択したｎ番目の断面画像からｎ番目のＲＯＩ画像を作成する。

ステップＳ３１４において、ＣＰＵ１００は、ｎ番目のＲＯＩ画像及び合成方法に関する情報を医用文書に追記する。ここで、合成方法に関する情報とは、ｎ番目のＲＯＩ画像であるという情報と、このＲＯＩ画像をステップＳ３１１で求めた変形後の基本シェーマ上のどの位置に合成するかという情報とである。この際、ステップＳ３１０で求めた幾何学的対応関係及びステップＳ３１１における基本シェーマの変形量を参照することにより、ＲＯＩ画像を変形後の基本シェーマ上のどの位置に合成すればよいかが計算できる。なお、ＲＯＩ画像を変形後の基本シェーマ上のどの位置に合成するかという情報については、ｎ＝１の時に１回書き込むだけでよい。

ステップＳ３１５において、ＣＰＵ１００は、ｎに１を加算する。

ステップＳ３１６において、ＣＰＵ１００は、ｎがＮを越えたかどうかを判定する。ｎがＮを超えた場合は、ステップＳ３１７に進む。ｎがＮを越えていない場合は、ステップＳ３１３に戻って次の医用画像に対する処理を行う。

ステップＳ３１７において、ＣＰＵ１００は、主メモリ１０１に記憶されている医用文書を、共有バス１０７とＬＡＮ４を経由して、医用文書データベース２に送信する。医用文書データベース２では、受信した医用文書を蓄積する。

図８は、図７で作成した医用文書から基本シェーマとｎ種類のＲＯＩ画像に関する情報を読み出すまでの処理手順の例を示すフローチャートである。このフローチャートによって示される処理は、ＣＰＵ１００が主メモリ１０１に格納されているプログラムを実行することにより実現される。

ステップＳ４０１において、ＣＰＵ１００は、図７のステップＳ３０１と同様に、主メモリ１０１に記憶している変数ｎとＮとを初期化する。変数ｎには値１を代入し、Ｎには医用画像の種類数を代入する。

ステップＳ４０２において、ＣＰＵ１００は、図７のステップＳ３０２と同様に、医用文書を選択する。この際、選択される医用文書は図７で作成した医用文書とする。その他の医用文書を選択した場合は、別途例外処理が必要となるが、説明の簡略化のため、図８では例外処理は省略する。

ステップＳ４０３において、ＣＰＵ１００は、シェーマ記述欄から変形後の基本シェーマのデータを読み出す。この際、医用文書からデータを読み出し終えた位置を記憶しておき、次に医用文書からデータを読み出す時の開始位置とする。

ステップＳ４０４において、ＣＰＵ１００は、変形後の基本シェーマを第０表示レイヤ画像として主メモリ１０１に記憶する。

ステップＳ４０５において、ＣＰＵ１００は、医用文書からｎ番目のＲＯＩ画像と合成方法に関する情報を読み出す。ここで、合成方法に関する情報とは、図７のステップＳ３１４で述べた情報である。つまり、ｎ番目のＲＯＩ画像であるという情報と、このＲＯＩ画像を変形後の基本シェーマ上のどの位置に合成するかという情報とである。

ステップＳ４０６において、ＣＰＵ１００は、合成方法に関する情報に基づきｎ番目のＲＯＩ画像を第ｎ表示レイヤ画像として主メモリ１０１に記憶する。ここで、合成方法に関する情報は、第０表示レイヤ画像に対する第ｎ表示レイヤ画像の合成位置（オフセット分）を決めるために使用される。

ステップＳ４０７において、ＣＰＵ１００は、ｎに１を加算する。

ステップＳ４０８において、ＣＰＵ１００は、ｎがＮを越えたかどうかを判定する。ｎがＮを越えていない場合は、ステップＳ４０５に戻って次のＲＯＩ画像に対する処理を行う。ｎがＮを超えた場合は、（１）で示された次のステップに進む。（１）で示された次のステップ以降の処理は、図９及び図１０で説明する。

図９は、図８の（１）以降の第１の処理例を示したものであり、一定時間の経過後に自動的に合成シェーマの表示方法を変更する処理手順の例を示すフローチャートである。このフローチャートによって示される処理は、ＣＰＵ１００が主メモリ１０１に格納されているプログラムを実行することにより実現される。

ステップＳ４１１において、ＣＰＵ１００は、主メモリ１０１に記憶している変数ｎに値１を代入する。

ステップＳ４１２において、ＣＰＵ１００は、ＯＳが備えるタイマ（システムタイマ）を起動した後、コマンド入力待ち状態に移行する。コマンド入力待ち状態とは、任意のコマンドを受信可能な状態である。

ステップＳ４１３において、ＣＰＵ１００は、ＯＳからのタイムアウト通知またはユーザである医師から入力されたコマンドのいずれかを受信する。

ステップＳ４１４において、ＣＰＵ１００は、コマンドの内容を判定し、コマンドの内容に応じた処理を実行する。コマンドがタイムアウト通知だった場合、ステップＳ４１５に進む。コマンドが表示終了コマンドだった場合、図９の処理を終了する。

ステップＳ４１５において、ＣＰＵ１００は、主メモリ１０１上の第０表示レイヤ画像を表示メモリ１０３の所定の位置（合成シェーマ表示位置）にコピーする。さらに、ＣＰＵ１００は、主メモリ１０１上の第ｎ表示レイヤ画像を表示メモリ１０３の所定の位置（合成シェーマ表示位置からオフセット分だけずらした位置）に上書きする。この時、表示メモリ１０３に作成された合成画像は、変形後の基本シェーマ上にｎ番目のＲＯＩ画像を合成した合成シェーマである。

ステップＳ４１６において、ＣＰＵ１００は、ｎに１を加算する。

ステップＳ４１７において、ＣＰＵ１００は、ｎがＮを越えたかどうかを判定する。ｎがＮを超えた場合は、ステップＳ４１８に進む。ｎがＮを越えていない場合は、ステップＳ４１２に戻る。

ステップＳ４１８において、ＣＰＵ１００は、ｎに値１を代入する。その後、ステップＳ４１２に戻る。

これにより、一定時間の経過後に自動的に、ｎ＝１からｎ＝ＮまでのＲＯＩ画像を順番に合成した合成シェーマの表示が行われる。

図１０は、図８の（１）以降の第２の処理例を示したものであり、医師が入力したコマンドに応じて合成シェーマの表示方法を変更する処理手順の例を示すフローチャートである。このフローチャートによって示される処理は、第1の実施形態と同様、ＣＰＵ１００が主メモリ１０１に格納されているプログラムを実行することにより実現される。

ステップＳ４２１において、ＣＰＵ１００は、主メモリ１０１に記憶している変数ｎに値１を代入する。

ステップＳ４２２において、ＣＰＵ１００は、コマンド入力待ち状態に移行する。

ステップＳ４２３において、ＣＰＵ１００は、ユーザである医師から入力されたコマンドを受信する。ここでは、合成シェーマの表示切替コマンド、第ｍ画像表示指定コマンドまたは表示終了コマンドのいずれか一つを受信するものとする。なお、合成シェーマの表示切替コマンドとは、現在表示している合成シェーマの内容を、次のＲＯＩ画像を用いた合成シェーマに切り替えるためのコマンドである。また、第ｍ画像表示指定コマンドとは、現在表示している合成シェーマの内容を、第ｍ番目のＲＯＩ画像を用いた合成シェーマに切り替えるためのコマンドである。

ステップＳ４２４において、ＣＰＵ１００は、コマンドの内容を判定し、コマンドの内容に応じた処理を実行する。コマンドが合成シェーマの表示切替コマンドだった場合、ステップＳ４２６に進む。コマンドが第ｍ画像表示指定コマンドだった場合、ステップＳ４２５に進む。コマンドが表示終了コマンドだった場合、図１０の処理を終了する。

ステップＳ４２５において、ＣＰＵ１００は、変数ｎに値ｍを代入する。

ステップＳ４２６において、ＣＰＵ１００は、主メモリ１０１上の第０表示レイヤ画像を表示メモリ１０３の所定の位置（合成シェーマ表示位置）にコピーする。さらに、ＣＰＵ１００は、主メモリ１０１上の第ｎ表示レイヤ画像を表示メモリ１０３の所定の位置（合成シェーマ表示位置からオフセット分だけずらした位置）に上書きする。この時、表示メモリ１０３に作成された合成画像は、変形後の基本シェーマ上にｎ番目のＲＯＩ画像を合成した合成シェーマである。

ステップＳ４２７において、ＣＰＵ１００は、ｎに１を加算する。

ステップＳ４２８において、ＣＰＵ１００は、ｎがＮを越えたかどうかを判定する。ｎがＮを超えた場合は、ステップＳ４２９に進む。ｎがＮを越えていない場合は、ステップＳ４２２に戻る。

ステップＳ４２９において、ＣＰＵ１００は、ｎに値１を代入する。その後、ステップＳ４２２に戻る。

これにより、ユーザである医師から入力されたコマンドに従って選択したＲＯＩ画像を合成した合成シェーマの表示が行われる。

以上、上述した構成によれば、以下の効果を得ることができる。すなわち、医師は医用文書上で一定時間ごとに自動的に合成シェーマを切り替えて、または切替要求によって指示した通りに合成シェーマを切り替えて、合成シェーマを表示可能となる。これにより、身体部位と疾患部との位置関係を明確に把握できると同時に、様々な種類の合成シェーマに合成された様々な種類のＲＯＩ画像を見ることができるので、これまで以上に疾患部の詳細な情報を得られるという効果がある。

［その他の実施形態］
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。

発明の第１の実施形態に係る診療支援装置１の機器構成例を示す図である。 発明の第１の実施形態に係る診療支援装置１の処理手順の例を示すフローチャートである。 発明の第１の実施形態において、基本シェーマのリストを階層的に表示した例である。 発明の第１の実施形態において、基本シェーマに描かれた身体部位の構造情報として、身体部位の輪郭線上の特徴的な点（特徴点）を利用する例を説明するための図である。 発明の第１の実施形態おいて、特徴点の指定を受け付けた医用画像の一例である。 発明の第１の実施形態において、合成シェーマの作成例を図示したものである。 発明の第２の実施形態において、医用文書に基本シェーマとｎ種類のＲＯＩ画像を関連付けて書き込むまでの処理手順の例を示すフローチャートである。 発明の第２の実施形態において、図７で作成した医用文書から基本シェーマとｎ種類のＲＯＩ画像に関する情報を読み出すまでの処理手順の例を示すフローチャートである。 発明の第２の実施形態において、図８の第１の続きの処理例を示したものであり、一定時間経過で自動的に合成シェーマの表示方法を変更する処理手順の例を示すフローチャートである。 発明の第２の実施形態において、図８の第２の続きの処理例を示したものであり、医師が入力したコマンドに応じて合成シェーマの表示方法を変更する処理手順の例を示すフローチャートである。

符号の説明

１：診療支援装置
２：医用文書データベース
３：医用画像データベース
４：ＬＡＮ
１００：ＣＰＵ
１０１：主メモリ
１０２：磁気ディスク
１０３：表示メモリ
１０４：モニタ
１０５：マウス
１０６：キーボード
１０７：共有バス

Claims (12)

1. 特定の被検者の身体部位の医用画像と、該身体部位についての前記特定の被検者に依存しないシェーマ画像とを選択する選択手段と、
   選択された前記シェーマ画像と前記医用画像とにおいて、前記身体部位の構造を特定するための特徴点をそれぞれ抽出する抽出手段と、
   抽出された前記シェーマ画像における特徴点と前記医用画像における特徴点との幾何学的対応関係を算出する算出手段と、
   算出された前記幾何学的対応関係に基づいて、前記シェーマ画像における特徴点同士の位置関係と医用画像における特徴点同士の位置関係とが対応するように該シェーマ画像を変形する変形手段と、
   前記変形手段で変形したシェーマ画像に、前記幾何学的対応関係に基づき前記医用画像又はその一部を合成した合成画像を生成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記医用画像の一部は医用画像の注目領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記医用画像の候補が複数の断面画像を含む場合に、前記選択手段は選択された前記シェーマ画像と同じ方向から切り出された断面画像を前記医用画像として選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記医用画像の候補が３次元画像を含む場合に、前記選択手段は選択された前記シェーマ画像と切り出し方向が同一の断面画像を前記３次元画像から切り出し、該切り出した断面画像を前記医用画像として選択することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記医用画像の候補が３次元画像を含む場合に、前記選択手段は前記選択された前記シェーマ画像の切り出し方向および前記３次元画像に含まれる疾患部に基づいて断面画像を前記３次元画像から切り出し、該切り出した断面画像を前記医用画像として選択することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記選択手段は、前記選択された前記シェーマ画像と切り出し方向が同一の断面画像の中から前記３次元画像に含まれる疾患部に基づいて断面画像を前記３次元画像から切り出し、該切り出した断面画像を前記医用画像として選択することを特徴とする請求項５記載の画像処理装置。
7. 前記医用画像の解像度と変形された前記シェーマ画像の解像度とを合わせるように調整する解像度変換手段をさらに備え、
   前記合成手段は、前記解像度が変換されたシェーマ画像又は医用画像とをもとに前記合成画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記合成画像を表示する表示手段をさらに備え、
   前記選択された医用画像に複数枚の医用画像が含まれる場合に、
   前記合成手段は、前記表示手段における表示の切替要求、又は、一定時間の経過に応じて、前記複数の医用画像のいずれか又はその一部を切り替えて前記変形したシェーマ画像に合成して前記合成画像を生成し、
   前記表示手段は、前記切替要求、又は、前記一定時間の経過に応じて生成された前記合成画像を表示する
   ことを特徴とする請求項１乃至７のいずれか1項に記載の画像処理装置。
9. 前記医用画像は、単純Ｘ線画像、Ｘ線ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、ＳＰＥＣＴ画像、及び超音波画像の少なくともいずれかであることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 特定の被検者の身体部位の医用画像と、該身体部位についての前記特定の被検者に依存しないシェーマ画像との対応関係に基づいて、前記シェーマ画像を変形する変形手段と、
    前記対応関係に基づき前記医用画像又はその一部を前記変形手段で変形したシェーマ画像に合成した合成画像を生成する合成手段と
    を備えることを特徴とする画像処理装置。
11. 選択手段が、特定の被検者の身体部位の医用画像と、該身体部位についての前記特定の被検者に依存しないシェーマ画像とを選択する選択工程と、
    抽出手段が、選択された前記シェーマ画像と前記医用画像とにおいて、前記身体部位の構造を特定するための特徴点をそれぞれ抽出する抽出工程と、
    算出手段が、抽出された前記シェーマ画像における特徴点と前記医用画像における特徴点との幾何学的対応関係を算出する算出工程と、
    変形手段が、算出された前記幾何学的対応関係に基づいて、前記シェーマ画像における特徴点同士の位置関係と医用画像における特徴点同士の位置関係とが対応するように該シェーマ画像を変形する変形工程と、
    合成手段が、前記変形工程で変形したシェーマ画像に、前記幾何学的対応関係に基づき前記医用画像又はその一部を合成した合成画像を生成する合成工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのコンピュータプログラム。