JP4676021B2 - 診断支援装置、診断支援プログラムおよび診断支援方法 - Google Patents

Description

本発明は、医療分野での利用に適した発明で、３次元画像データに基づく画像診断を支援する装置、コンピュータプログラムおよび方法に関するものである。

放射線科医による画像診断を支援する装置として、３ＤＣＴ画像（Three Dimensional Computer Tomography Image）等の３次元画像データ（ボリュームデータ）を、観察に適した画像に変換して表示する装置が提供されている。変換の手法としては、ボリュームレンダリング（VR: Volume Rendering）、最大値投影（MIP: Maximum Intensity Projection）、多断面再構成（MPR: Multi Planer Reconstruction）等が知られている。

観察に適した画像は観察対象や観察目的によって異なるが、管腔臓器の内壁の観察には、仮想内視鏡（VE: Virtual Endoscopy）画像が適している。また、管腔臓器が直線状に伸ばされ芯線に沿って切り開かれたような画像（伸長展開画像）や、管腔臓器が直線状に伸ばされ芯線に沿って縦割りにされたような画像（伸長断面画像）も、管腔臓器全体を短時間で観察することができ、好ましい（特許文献１参照）。

しかし、仮想内視鏡画像、伸長展開画像および伸長断面画像は、管腔臓器の内壁を一方向から捉えた画像であるため、画像に表れない部分も多く存在する。例えば、大腸の内壁には多数の襞が存在するが、画像生成時に設定された視線の方向が、ある襞の側面に垂直であった場合、その襞の裏面あるいはその襞の陰にある病変（例えば、ポリープ）は、生成された画像には表れない。また、病変が画像に表れていても、一方向のみからの観察では、診断に迷う場合がある。例えば、内壁の微小な凹凸は、垂直な方向からの観察では判別が難しく、ポリープと窪み、襞と溝の区別がつかないことがある。

これらの問題の解決策として、特許文献２（特に、第００３９段落）は、仮想視点から照射される仮想光線の方向を可変にし、異なる方向からの投影画像を並列表示あるいはアニメーション表示する方法を提案している。また、特許文献３は、管腔臓器の芯線方向（伸長画像の伸長方向）に移動可能な表示範囲を設定し、表示範囲の中央の領域では、内壁と垂直な方向に視線を設定し、表示範囲の中央から離れた領域では、中央から離れるほど内壁との角度が鋭角になるように視線を設定して、それぞれの領域を表す画像を生成する方法を提案している。この方法では、内壁の同じ箇所でも、表示範囲の中央に表示されるときと端に表示されるときとで、設定される視線の方向は異なることになる。よって、表示範囲を変更することにより、その構造物を異なる角度から観察することができる。

特開２００８−２５９７１２号公報 特開２００６−０６８３０１号公報 特開２００８−２５９７１３号公報

しかし、大腸の内壁のような複雑な構造では、視線の方向を変更してもなお、充分に観察できない領域がある。例えば、ポリープと襞とが近接してある場合、ポリープを襞がある側から観察したいと思っても、設定した視線が襞に遮られ、ポリープの十分な観察ができないことがある。

また、伸長展開画像や伸長断面画像は、仮想的に変形された管腔臓器を表す画像であるため、これらの画像に表れる病変の形状や大きさは、その病変の実際の形状や大きさとは異なる場合がある。例えば、大腸の屈曲部の内壁にあるポリープは、屈曲部が仮想的に伸長されることで一緒に伸長されるため、画像に表れるポリープは、形状、大きさともに実際とは異なるものとなる。

本発明は、改良された診断支援装置、プログラムおよび方法を提供することにより、診断を行う医師が、病変と思われる箇所や病変が隠れていそうな箇所を、あらゆる方向から存分に観察することができ、且つ、その観察により病変の形状および大きさについての正確な情報を得られるようにすることを目的とする。

本発明の診断支援装置は、以下に説明するボリュームデータ記憶手段、概観画像表示手段、目標点設定手段、目標ボリューム設定手段、視線設定手段および詳細画像表示手段を備えている。また、本発明の診断支援プログラムは、一台または複数台のコンピュータに実装され、実行された際に、そのコンピュータを、以下に説明する概観画像表示手段、目標点設定手段、目標ボリューム設定手段、視線設定手段および詳細画像表示手段として機能させるプログラムである。このプログラムは、複数のプログラムモジュールからなり、上記各手段の処理は、それぞれ、一または複数のプログラムモジュールにより実行される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ、ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記憶され、ユーザに提供される。また、本発明の診断支援方法は、一台または複数台のコンピュータにより以下に説明する概観画像表示処理、目標点設定処理、目標ボリューム設定処理、視線設定処理および詳細画像表示処理を行うことで、診断を支援する方法である。

ボリュームデータ記憶手段は、被検体の撮影により取得されたデータから構成されたボリュームデータを記憶するものである。具体的には、診断支援装置として機能するコンピュータに内蔵されるメモリ、ストレージのほか、そのコンピュータに直接またはネットワークを介して接続された外部記憶装置等がボリュームデータ記憶手段として機能する。

ボリュームデータ記憶手段は、撮影装置から出力されたボリュームデータのほか、撮影装置から出力されたデータ（スライスデータ等）を別のコンピュータで再構成することにより得られたボリュームデータも記憶する。また、被検体の撮影後に、診断支援装置の機能を使って加工された（例えば、骨等、特定の構造物の情報が削除された）ボリュームデータを記憶することもできる。

概観画像表示手段は、ボリュームデータに基づいて、被検体を構成する一の構造物の概観を表す概観画像を生成し、その概観画像を画面に表示するものである。概観画像は、構造物の全容把握に用いられる一または複数の画像である。好ましくは、構造物全体を表す一の画像とするのがよいが、複数の区分に分割された構造物を区分ごとに表す複数の画像であってもよい。概観画像はＶＲ画像でもよいが、構造物が管状構造物であるときには、前述の伸長展開画像、伸長断面画像あるいは仮想内視鏡画像とすることが好ましい。

目標点設定手段は、概観画像中の少なくとも１つの点、および、概観画像中のその少なくとも１つの点に対応するボリュームデータ中の少なくとも１つの点を、目標点として設定するものである。目標点は、注目すべき点、すなわち診断を行う上で慎重な観察を要する点であり、手動または自動で設定される。

手動設定の場合、目標点設定手段は、概観画像が表示されている画面において、概観画像中の点を指定するユーザ操作を検出し、そのユーザ操作により指定された点と、その点に対応するボリュームデータ中の点を、目標点として設定する。概観画像中の点に対応するボリュームデータ中の点の探索には、特許文献１等に示される方法のほか、公知のあらゆる手法を用いることができる。手動設定では、ユーザは任意の点を目標点として指定することができ、詳細に観察したい箇所を存分に観察することができる。

自動設定の場合、目標点設定手段は、ボリュームデータを解析することにより構造物の特徴的部位を検出し、その特徴的部位の位置を示す概観画像中の点と、その特徴的部位の位置を示すボリュームデータ中の点を、目標点として設定する。特徴的部位の検出には、公知のＣＡＤ（Computer-aided Diagnosis）システムで採用されている種々の自動検出方法を用いることができる。自動設定では、慎重な観察を要する点が漏れなく、またユーザに負担をかけることなく、目標点として設定される。

目標ボリューム設定手段は、ボリュームデータ中に、目標点を含む目標ボリュームを設定するものである。目標ボリュームは、ボリュームデータの中の一区分であり、ボリュームデータを構成するボクセルデータのうち、目標点周辺に位置する一部のボクセルデータ群により構成される。

目標ボリューム設定手段は、所定の記憶媒体に記憶されている目標ボリュームの形状および大きさのデータを参照し、そのデータが示す形状および大きさの目標ボリュームを設定する。もしくは、ボリュームデータを解析することにより構造物の特徴的部位を検出し、その特徴的部位の形状および大きさに基づいて決定した形状および大きさの目標ボリュームを設定する。前者の設定方法では、形状や大きさを予め決めておくことで、処理時間を短縮することができる。一方、後者の設定方法では、検出された特徴的部位ごとに最適な形状および大きさの目標ボリュームを設定することができる。

視線設定手段は、ボリュームデータ中に、目標点を終点とし、移動可能な視点を始点とする視線ベクトルを設定し、視点を移動することにより視線ベクトルの方向を変化させるものである。視点の移動は自動で行ってもよいが、好ましくは、視線設定手段が、視点の移動を指示するユーザ操作を検出し、そのユーザ操作に基づいて視点を移動するのがよい。ユーザが、時間を制限されることなく、観たい画像を存分に観察できるようにするためである。

詳細画像表示手段は、視線ベクトルの方向と垂直な投影面に、目標ボリュームを投影することにより、構造物の目標点付近の詳細を表す詳細画像を生成し、その詳細画像を画面に表示するものである。前述のとおり、視線ベクトルの方向は設定により変化するので、詳細画像表示手段は、視線ベクトルの方向が変更される度に新しい詳細画像を生成し、表示する。視線の移動に伴い新しい詳細画像が生成、表示されると、画面の中の詳細画像の向きが変化する。これにより、ユーザは目標点付近の構造を、あらゆる方向から観察することができる。

詳細画像は、概観画像と並べて表示してもよいが、好ましくは、概観画像の、目標点が設定された位置に重ねて表示するのがよい。目標点の位置と詳細画像の表示位置とが同じであれば、目標点の指定から視点の移動までの一連の操作を、マウス本体を大幅に移動することなく行うことができる。

詳細画像は、画面上では、あたかも概観画像の一部が拡大されたかのように表示されるが、概観画像に基づいて生成されるわけではなく、目標ボリュームを投影面に透過投影（中心投影）または平行投影することにより生成される。よって、詳細画像は、目標点付近の構造を、概観画像よりも正確に表したものとなる。一方、詳細画像の生成に用いられる目標ボリュームには、設定範囲外の構造に関する情報は一切含まれないため、詳細画像には、目標ボリュームの範囲外にあるものは表れない。

また、詳細画像表示手段は、複数の投影方法により目標ボリュームの投影画像を複数生成し、複数の投影画像を合成することにより詳細画像を生成するものとしてもよい。これにより詳細画像は、各投影画像から得られる複数種類の情報を含むものとなる。このような詳細画像を表示すれば、１つの投影画像を詳細画像として表示する場合よりも多くの診断情報をユーザに提供することができる。

また、概観画像表示手段が、異なる体位で撮影を行うことにより取得された複数の体位別ボリュームデータに基づいて、複数の体位別概観画像を生成、表示し、詳細画像表示手段が、複数の体位別ボリュームデータのそれぞれの中に設定された目標ボリュームを用いて、複数の体位別詳細画像を生成し、表示するようにしてもよい。体位別の観察を可能にすることで、診断精度を向上することができる。

本発明の診断支援装置、プログラムおよび方法によれば、ユーザは、概観画像に基づいて構造物の全容を把握し、続いて詳細画像に基づいて目標点付近の構造を詳細に観察することができる。詳細画像に基づく観察では、視線の方向を変更できるので、ユーザは、目標点付近の構造を色々な角度から観察することができる。この際、詳細画像には目標ボリュームの範囲外にあるものは表れないので、視線の方向を変更しても、目標点付近の構造が他のものの陰に隠れることはない。また、詳細画像は、目標点付近の構造（形状や大きさ）を概観画像よりも正確に表すものである。よって、ユーザは、詳細画像の観察により構造に関する正確な情報を得ることができる。

本発明の一実施形態における診断支援装置の概略構成を示す図 概観画像（伸長展開画像）上にカーソルが配置された状態を示す図 概観画像（伸長展開画像）上に詳細画像が表示された画面の一例を示す図 視線方向の変更に伴う詳細画像の向きの変化を示す図 視線方向の変更に伴う詳細画像の向きの変化を示す図 視線方向の変更に伴う詳細画像の向きの変化を示す図 視線方向の変更に伴う詳細画像の向きの変化を示す図 概観画像（仮想内視鏡画像）上にカーソルが配置された状態を示す図 概観画像（仮想内視鏡画像）上に詳細画像が表示された画面の一例を示す図 概観画像およびボリュームデータにおける目標点を示す図 ボリュームデータ中に設定された目標ボリュームの一例を示す図 目標ボリュームと視線ベクトルと投影面の関係を示す図 移動する視点と変更された視線ベクトルを示す図 マークが付与された概観画像の一例を示す図 ２種類の投影画像の合成により生成された詳細画像の一例を示す図 体位別概観画像が表示された画面の一例を示す図 体位別詳細画像の生成方法について説明するための図

以下、本発明の診断支援装置および診断支援プログラムの実施形態について、図面を参照しながら詳細に説明する。

以下に示す各実施形態において、診断支援装置は、コンピュータに、各実施形態の診断支援プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションやパソコンでもよいし、もしくは、それらとネットワークを介して接続されたサーバコンピュータでもよい。診断支援プログラムは、ＤＶＤ、ＣＤ−ＲＯＭ等の記録メディアに格納されて配布され、その記録媒体からコンピュータにインストールされる。もしくは、ネットワークに接続されたサーバコンピュータのストレージ、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

図１は、ワークステーションに診断支援プログラムをインストールすることにより実現された診断支援装置の概略構成を示す図である。同図が示すように、診断支援装置１は、標準的なワークステーションの構成として、ＣＰＵ２、メモリ３およびストレージ４を備えている。また、診断支援装置１には、ディスプレイ５と、マウス６等の入力装置が接続されている。

ストレージ４（ボリュームデータ記憶手段）には、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置等の断層撮影装置が出力するスライスデータを再構成して得たボリュームデータ、３ＤＣＴ装置やコーンビームＣＴ装置等の３Ｄ撮影装置から出力されたボリュームデータ（例えば、腹部撮影により得られたボリュームデータ７ａ）のほか、それらのボリュームデータを解析することにより得られたボリュームデータ（例えば、ボリュームデータ７ａの解析により大腸のみを抽出したボリュームデータ７ｂ）が記憶されている。

また、メモリ３には、診断支援プログラムが記憶されている。診断支援プログラムは、ＣＰＵ２に実行させる処理として、概観画像表示処理、目標点設定処理、目標ボリューム設定処理、視線設定処理および詳細画像表示処理を規定している。そして、ＣＰＵ２がプログラムに従いこれらの処理を実行することで、汎用のワークステーションは、概観画像表示手段、目標点設定手段、目標ボリューム設定手段、視線設定手段および詳細画像表示手段として機能することになる。

［実施形態１］
はじめに、本実施形態の診断支援装置のユーザインタフェースについて説明する。本実施形態の診断支援装置は、診断の対象となる生体組織（臓器、骨、筋肉等）の種類に応じて、複数の診断支援機能を提供する。本発明は診断の対象に拘らず適用可能な発明であるが、ここでは、一例として、大腸の診断支援機能が選択されたときのユーザインタフェースを例示する。

選択メニューから大腸の診断支援機能が呼び出され、診断の対象となる検査結果（データファイル）が選択されると、図２に示されるように、ディスプレイ５の画面に、大腸の概観画像として、伸長展開画像８と仮想内視鏡画像９が表れる。伸長展開画像８は、大腸の一部の領域を表している。表示されていない領域は、例えば、伸長展開画像８を左右方向にドラッグすることにより、順次画面に表れる。仮想内視鏡画像９については、例えば、マウス６のホイールボタンを回転することにより、芯線上の仮想視点が手前もしくは奥行き方向に移動し、表示されていない領域が順次画面に表れる。医師は、これらの操作を行うことで、大腸の内壁の全容を、短時間で観察することができる。

ここで、図２に示されるように伸長展開画像８上にカーソル１０が配置された状態で、マウスの右ボタンが押されると、ボタンが押されている間、図３に示されるように、カーソル１０が配置された位置に、その周辺の内壁の構造を詳細に示す詳細画像１１が重ねて表示される。初期表示される詳細画像１１は、カーソルで指定された点を中心とする内壁の一区画を、内壁に垂直な視線で捉えた画像である。詳細画像１１において、その区画の内壁の構造は、概観画像よりも高い解像度で詳細且つ正確に表される。詳細画像１１は、マウスの右ボタンが元に戻されると、画面から消える。

詳細画像１１が表示された状態で、左右前後方向にマウスのドラッグ操作が行われると、伸長展開画像８上の詳細画像１１の向きが、ドラッグ操作と連動して変化する。ドラッグ操作は、視線方向の変更を指示するもので、この操作により、前記一区画を捉える視線が内壁と鋭角を成す方向に再設定され、新たな視線で捉えられた画像が詳細画像として再表示される。例えば、図４Ａは、図３と同じく前記区画を内壁に対し垂直な視線で捉えた画像を例示した図であり、図４Ｂおよび図４Ｃは、芯線方向（図の左右方向）に傾いた視線で捉えた画像を例示した図であり、図４Ｄは、芯線と垂直な方向（図の上下方向）に傾いた視線で捉えた画像を例示した図である。詳細画像の再表示は、視線方向の変更と連動して実行されるので、ドラッグ操作が行われた場合、画面上は、あたかも詳細画像１１が奥行き方向に回転するかのような表示がなされる。

同様に、仮想内視鏡画像上にカーソルが配置された状態でマウスの右ボタンが押されたときも、カーソルが配置された位置に、その周辺の内壁の構造を詳細に示す詳細画像が重ねて表示される。本実施形態では、初期表示される詳細画像は、カーソルで指定された点を中心とする内壁の一区画を、内壁に垂直な視線で捉えた画像である。例えば、図５は、仮想内視鏡画像９中のある襞にカーソルを合わせた状態を例示している。また、図６は、その襞を内壁に垂直な視線で捉えた詳細画像１１が、仮想内視鏡画像９に重ねて表示された状態を例示している。但し、初期表示される詳細画像は、仮想内視鏡画像９の視線方向と同じ方向から捉えた画像であってもよい。

上記ユーザインタフェースによれば、詳細な観察が必要と思われる箇所にカーソルを配置して上記操作を行うことで、その箇所周辺の構造を、多方向から観察することが可能になる。例えば、伸長展開画像８や仮想内視鏡画像９を見ただけでは、ポリープか窪みか判別できないとき、襞の裏面等、伸長展開画像８や仮想内視鏡画像９には表れない面を観察したいときには、ポリープと疑われる対象や注目した襞の周辺の構造を、詳細画像１１により確認することができる。この確認により、窪みをポリープと見誤るといった誤診、また、襞の裏の病変の見落とし等を防止することができる。

続いて、診断支援装置１が、上記ユーザインタフェースを実現するために行う具体的な処理について説明する。診断支援装置１は、選択メニューにおいて大腸の診断支援機能が選択されたことを検出すると、ストレージ４に記憶されている腹部のボリュームデータ７ａをメモリ３にロードする。

はじめに、診断支援装置１は概観画像表示処理を実行する。概観画像表示処理において、診断支援装置１は、まず、ボリュームデータ７ａについて閾値判定を行い、空気領域と推定される領域を抽出する。この処理により腹部の管腔臓器（大腸、小腸、十二指腸等）の領域が、大腸の候補領域として検出される。続いて、各候補領域から、大腸の特徴を検出し、該当する特徴が最も多く検出された領域を大腸領域と判定する。さらに、大腸領域と判定した領域を、画面右上のウィンドウに表示し、ユーザからの修正指示を受け付ける。修正を指示する入力が検出された場合には、その指示に基づき判定結果を修正する。これにより図１に例示したボリュームデータ７ｂが生成される。なお、ストレージ４にボリュームデータ７ｂが予め記憶されているときは、ボリュームデータ７ａに代えてボリュームデータ７ｂをメモリ３にロードし、大腸領域を判定するための処理は実行しなくてもよい。

次に、診断支援装置１は、大腸領域に対し細線化処理を施し、大腸の芯線に相当する線分を抽出する。さらに、その線分をスプライン曲線補間し、滑らかなパスを形成する。続いて、診断支援装置１は、そのパスに沿って大腸領域を展開し、大腸の伸長展開画像（または伸長断面画像）を生成する。また、伸長展開画像を生成する過程で、大腸領域を構成する各ボクセルデータの位置座標と、その各ボクセルデータに対応する伸長展開画像上の点の位置座標との対応付けを、メモリ３に記憶する。さらに、診断支援装置１は、パス上の初期位置に視点を設定し、仮想内視鏡画像を生成する。伸長展開画像、伸長断面画像、仮想内視鏡画像の生成方法については、特許文献１をはじめ多くの文献に開示があるため、詳細な説明は省略する。診断支援装置１は、生成した伸長展開画像や仮想内視鏡画像をディスプレイに出力する。これにより画面に、図２に例示したような画像が表れる。

次に、診断支援装置１が行う目標点設定処理について、図７を参照して説明する。目標点設定処理において、診断支援装置１は、まず、ユーザのマウス操作を検出し、カーソル１０で指定された点１２の座標情報を取得する。ここで取得する座標情報は、指定された点の伸長展開画像における位置座標を示すものである。また、診断支援装置１は、概観画像表示処理を実行したときにメモリ３に記憶しておいた対応付けに基づいて、指定された点１２に対応するボリュームデータ７ｂ内の点１３の座標情報を取得する。そして、取得された２つの座標情報が示す内壁上の点を、目標点として設定する。なお、前述した特許文献１には、伸長展開画像上の点とボリュームデータ内の点とを対応づける方法の詳細が示されている。

次に、診断支援装置１が行う目標ボリューム設定処理について、図８を参照して説明する。図８に示されるように、目標ボリューム１４は、ボリュームデータ７ｂの一区分であり、目標点として設定された点１３の周辺にある複数のボクセルデータにより構成される。

メモリ３には、目標ボリューム１４の形状と大きさを定義するデータが記憶されている。本実施形態では、初期化された定義データには、直方体で、上面の一辺が標準的な大きさのポリープの幅程度、厚みが標準的な大きさのポリープの高さ程度の目標ボリュームが定義されている。多くのポリープは実際の大きさで１０ｍｍ×１０ｍｍの範囲に収まるくらいなので、目標ボリューム１４の形状は、実際の大きさにして１５ｍｍ×１５ｍｍ程度のものを表せる形状とすればよい。なお、目標ボリュームの形状や大きさは、定義データの書き換えにより変更可能である。また、メモリ３に、ユーザにより選択可能な複数の定義データを記憶しておき、選択された定義データに基づき目標ボリュームが設定されるようにすることもできる。

診断支援装置１は、これらのデータを参照することにより目標ボリュームの形状と大きさを決定し、決定した形状および大きさの目標ボリュームを設定する。目標ボリュームの設定は、目標ボリュームの形状や大きさを特定するボクセルデータの位置座標を決定することにより行う。例えば、直方体の目標ボリュームであれば、直方体の８つの頂点の位置座標を決定する。また、円柱状の目標ボリュームであれば、円柱の上面の中心の位置座標と、円の半径および円柱の高さ（いずれもボクセルデータの数として定義される）を決定する。本実施形態では、直方体の目標ボリュームの一面と大腸の内壁とが平行になり、且つ目標ボリュームのほぼ中央に目標点である点１３が配置されるように、目標ボリュームが設定される。

次に、診断支援装置１が行う視線設定処理および詳細画像表示処理について、図９および図１０を参照して説明する。診断支援装置１は、目標点として設定された点１３を終点とし、移動可能な視点１５ａを始点とする長さＲの視線ベクトル１６ａを初期設定する。図９に示されるように、初期設定された視線ベクトル１６ａの方向は、大腸の内壁に対し（目標ボリュームの一面に対し）垂直な方向とする。視点１５ａは、伸長展開画像生成時に設定されたパス上に設定してもよいし、パス上以外に設定してもよい。

続いて、診断支援装置１は、初期設定された視線ベクトル１６ａの方向と垂直な投影面１７ａに、目標ボリューム１４を投影することにより詳細画像を生成する。なお、目標ボリューム１４を投影するときの手法は、透過投影(中心投影)でも、平行投影でもよい。診断支援装置１は、投影により生成した画像、すなわち詳細画像を、画面上の伸長展開画像のカーソルが配置されている位置に重ねて表示する。

診断支援装置１は、視線方向の変更を指示するドラッグ操作を検出すると、再度視線設定処理と詳細画像表示処理を実行する。これにより、図１０に示されるように、視線ベクトルの始点が点１３を球心とする半径Ｒの球面上を移動し、あらたな視点１５ｂあるいは１５ｃが設定される。再設定される視線ベクトル１６ｂや１６ｃの方向、すなわち角度θｂや角度θｃは、ドラッグ操作時のマウスの移動量に応じて決まる。診断支援装置１は、視線ベクトルの方向が変更される度に、新しく設定された視線ベクトル１６ｂ（あるいは１６ｃ）に垂直な投影面１７ｂ（あるいは１７ｃ）に、目標ボリューム１４を投影することにより、詳細画像を生成し、画面に出力する。視線設定処理と詳細画像表示処理とを繰り返し実行することにより、目標点付近の構造を種々の角度から捉えた画像を連続して表示することができる。

なお、診断支援装置１は、仮想内視鏡画像９上にカーソルが配置された状態で上記各マウス操作を検出した場合にも、伸長展開画像の場合と同様の目標点設定処理、目標ボリューム設定処理、視線設定処理および詳細画像表示処理を実行する。

本実施形態の診断支援装置、プログラムおよび方法によれば、診断を行う医師は、伸長展開画像や仮想内視鏡画像に基づいて大腸の全容を把握し、続いてそれらの画像上で特に観察を要すると思われる点をカーソルで自由に指定し、指定した点付近の構造を詳細に示す詳細画像を画面に表示させることができるので、効率よく診断を行うことができる。

また、詳細画像に基づく観察では、視線の方向を任意の方向に設定できるので、医師は、指定した点付近の構造を色々な角度から観察することができる。これにより、一方向のみからの観察では判別が難しいポリープと窪み、襞と溝などを、正しく判別することができる。さらには、襞の裏側など、一方向のみからの観察では観えない領域を観察することもできる。この際、視線方向の変更は医師により手動で行われるので、医師は時間を制限されることなく、観たい対象を観たい角度で存分に観察することができる。

また、前述のとおり、詳細画像には目標ボリュームの範囲外にあるものは表れないので、観察の際に、周辺のものに視線が遮られることがない。例えば、観察したいポリープの隣に襞があるときは、襞が除外されるように目標ボリュームを設定することで、襞がある方向からの視線を設定したときでも、襞に視線を遮られることなく、ポリープを観察することができる。

また、詳細画像に表れる構造（形状や大きさ）は概観画像よりも正確であるため、医師は、詳細画像の観察結果に基づいて、ポリープの大きさ等を診断することができる。

さらに、詳細画像は、伸長展開画像のカーソルを配した点上に表示されるので、カーソルによる指定から視線方向の変更までの一連の操作を、マウス本体を大幅に移動することなく、行うことができる。

[実施形態２]
次に、本発明の他の実施形態として、診断支援処理にＣＡＤ検出技術を利用する形態を示す。以下に説明する点以外は、実施形態１の装置と同じであるため、説明を省略する。

本実施形態では、大腸の診断支援機能が呼び出されると、実施形態１と類似する画面が表示される。但し、図１１に示されるように、その画面には、詳細観察が必要な箇所にマーク１８ａ、１８ｂが付与された概観画像および仮想内視鏡画像が表示される。また、本実施形態では、画面に表示される詳細画像の大きさや形状が、詳細画像が表す構造に応じて変化する。

上記ユーザインタフェースを実現するために、本実施形態の診断支援装置は、目標点設定処理において、ボリュームデータを対象とする特徴検出処理を実行する。そして、検出された特徴に基づいて、病変（ポリープ等）や、病変を見落とし易い構造（内壁と鋭角を成す襞等）を抽出する。ボリュームデータから特定の構造を抽出する方法は、特表２００７−３０７３５８号公報の第１０７〜１０８段落に示される方法をはじめ種々提案されている。目標点設定処理は、それら公知の方法のいずれを用いて行ってもよい。特定の構造が抽出されると、診断支援装置は、抽出された構造の中心点等を目標点として自動設定するとともに、概観画像上の目標点に、○印等のマーク１８ａ、１８ｂを表示する。

また、本実施形態の診断支援装置は、目標ボリューム設定処理において、目標点周辺のボリュームデータを対象とした特徴検出処理を行う。ここでは、主に、ポリープや襞の幅、高さなど、観察を要する対象の大きさを示す特徴量を検出する。そして、検出された特徴に基づいて、観察を要する対象の全体が詳細画像に含まれるように、目標ボリュームの形状や大きさを決定する。

本実施形態の診断支援装置によれば、ユーザは、概観画像の中から詳細観察が必要な箇所を探索する必要がなく、マーキングされた箇所に順次カーソルを合わせて詳細画像を表示させるだけでよい。また、詳細画像においてポリープや襞の一部が欠けたりする心配がなく、観察を要する箇所を確実に観察することができる。

[実施形態３]
次に、本発明の他の実施形態として、複数の投影手法を組み合わせて詳細画像を生成する形態を示す。以下に説明する点以外は、実施形態１の装置と同じであるため、説明を省略する。

本実施形態の診断支援装置は、詳細画像表示処理において、目標ボリュームの透過投影画像もしくは平行投影画像を生成し、さらに目標ボリュームのＭＩＰ画像を生成し、２種類の投影画像を合成することにより、詳細画像を生成する。例えば、２種類の投影画像の全体を融合することにより、詳細画像を生成する。または、一部の領域が透過投影画像であり、他の一部の領域がＭＩＰ画像であるような、詳細画像を生成してもよい。図１２に、内壁の構造を表す透過投影画像と血管１９を表すＭＩＰ画像とを合成することにより生成された詳細画像１１を例示する。この際、ＭＩＰ画像に代えて、ＭＰＶＲ（MultiProjection Volume Reconstruction）画像を合成してもよい。

大腸の内壁にできたポリープが悪性か良性かは、ポリープ周辺の血管の状態をみて判断されることが多いが、透過投影画像には血管は表れない。ＭＩＰ画像には血管が表れるので、透過投影画像等とＭＩＰ画像を合成した詳細画像を表示することで、ポリープの悪性／良性を判断する上で有用な情報を提供することができる。

［実施形態４］
次に、本発明のさらに他の実施形態として、撮影体位別の概観画像および詳細画像を表示する形態を示す。以下に説明する点以外は、実施形態１の装置と同じであるため、説明を省略する。

大腸の検査では、観察の妨げとなる残渣を移動させるために、撮影体位を変えて複数回の撮影を行うことがある。すなわち、撮影により、体位別の複数のボリュームデータが取得されることがある。一般には、仰臥位と伏臥位（腹臥位）の２つの体位で撮影が行われ、２つのボリュームデータが取得される。但し、さらに側臥位での撮影が行われ、３つ以上のボリュームデータが取得される場合もある。

本実施形態の診断支援装置は、複数の体位別ボリュームデータが記憶されている場合に、図１３に例示するように、体位別の概観画像を表示する。図は、仰臥位で取得されたボリュームデータＶｓから生成された伸長展開画像２０ａと仮想内視鏡画像２１ａ、伏臥位で取得されたボリュームデータＶｐから生成された伸長展開画像２０ｂと仮想内視鏡画像２１ａの、４種類の概観画像が表示された画面を例示している。伸長展開画像２０ａ、２０ｂ上には、カーソル操作により移動可能な視点設定線２４が表示される。仮想内視鏡画像２１ａ、２１ｂは、大腸経路の視点設定線２４により指定された位置を視点とする画像である。

ユーザが、ある撮影体位の概観画像上で目標点を指定する操作を行うと、診断支援装置は、その概観画像の生成に用いられたボリュームデータ中に目標点および目標ボリュームを設定し、目標ボリュームの投影により生成された詳細画像を表示する。例えば、仰臥位の伸長展開画像２０ａ上で目標点が指定された場合には、仰臥位で取得されたボリュームデータＶｓ中に目標点および目標ボリュームを設定して、詳細画像２２ａを生成し、表示する。この処理は、実施形態１の診断支援装置の処理と同様であるが、本実施形態の診断支援装置は、この処理に加え、目標点の指定操作が行われなかった概観画像（伏臥位の伸長展開画像２０ｂ）についても、詳細画像２２ｂを生成し、表示する。

本実施形態の診断支援装置は、詳細画像２２ｂを生成し、表示するために、概観画像生成処理の中で、すなわち伸長展開画像２０ａおよび２０ｂを生成する過程で、図１４に示すような対応づけ処理を行う。同図に示すように、診断支援装置は、仰臥位で取得されたボリュームデータＶｓおよび伏臥位で取得されたボリュームデータＶｐから、それぞれ大腸領域Ｃｓ、Ｃｐを抽出し、細線化処理により大腸のパス（点線として図示）を形成する。このとき、ボリュームデータＶｓから抽出されたパスの始点Ｓｓと、ボリュームデータＶｐから抽出されたパスの始点Ｓｐの位置座標とをメモリ３に記憶する。但し、始点に代えて、終点Ｅｓ、Ｅｐの位置座標を記憶してもよい。

さらに、パス上の各点において、始点（または終点）からの距離を算出し、距離が等しい点同士を対応する点としてメモリ３に記憶する。仰臥位と伏臥位とでは大腸の形状は変わるため、図に例示するように、大腸領域Ｃｓと大腸領域Ｃｐとは必ずしも同じ形状にはならないが、パスに沿って算出された始点Ｓｓから点Ｐｓまでの距離と、同じくパスに沿って算出された始点Ｓｐから点Ｐｐまでの距離とが等しければ、点Ｐｓと点Ｐｐとは、解剖学的に同じ点を表す点と認定することができる。

診断支援装置は、目標点設定処理において、ボリュームデータＶｓ中に目標点を設定した後、目標点に最も近いパス上の点を、ボリュームデータＶｓの中で特定する。そして、メモリ３に記憶されている対応関係を参照して、特定したパス上の点に対応するボリュームデータＶｐ中の点を特定する。さらに、仰臥位と伏臥位の関係から、初期設定における視線ベクトルの方向を求め、視線ベクトルと内壁との交点を、ボリュームデータＶｐ中の目標点として設定する。これにより、ボリュームデータＶｐ中に、詳細画像２２ｂの生成に必要な目標ボリュームを設定することができる。

また、大腸領域Ｃｐを構成する各ボクセルデータの位置座標と、その各ボクセルデータに対応する伸長展開画像２０ｂ上の点の位置座標との対応付けは、実施形態１と同様、伸長展開画像を生成する過程でメモリ３に記憶される。したがって、ボリュームデータＶｐ中の目標点の位置座標から、伸長展開画像２０ｂ上の対応点の位置座標、すなわち詳細画像２２ｂの表示位置が求まる。これにより、図１３に例示した画面を表示することができる。

なお、以上に説明した方法では、ボリュームデータＶｐ中の目標点を特定した後に、伸長展開画像２０ｂ上の目標点の位置座標を求めているが、目標点の設定は逆の順番で行ってもよい。例えば、伸長展開画像２０ａ、２０ｂの間で予め非剛体位置合わせを行っておけば、伸長展開画像２０ａ上の点の位置座標から、対応する伸長展開画像２０ｂ上の点を直ちに特定することができる。この場合には、伸長展開画像２０ｂ上で特定された目標点から、メモリに記憶されている対応関係を利用して、ボリュームデータＶｐ中の目標点を特定すればよい。

メモリ３に記憶しておいた対応関係を利用すれば、詳細画像２２ａ、２２ｂのいずれか一方に対し視線方向の変更が指示された場合に、他方の詳細画像の視線方向を連動して変更することも可能である。但し、視線方向は、詳細画像２２ａ、２２ｂとで、個別に変更できるようにしてもよい。

また、図１３は、視点設定線２４と離れた位置に目標点が設定された場合を例示しているが、視点設定線２４上に目標点が設定された場合には、伸長展開画像２０ａ、２０ｂ上のみならず、仮想内視鏡画像２１ａ、２１ｂ上にも詳細画像を表示する。あるいは、目標点が視点設定線２４上にある場合には仮想内視鏡画像上に詳細画像を表示し、目標点が視点設定線２４から離れた位置にあるときには伸長展開画像上に詳細画像を表示するようにしてもよい。

本実施形態の診断支援装置によれば、残渣により観察が妨げられることがあったとしても、異なる体位の画像で同じ箇所を観察することができる。すなわち、観察を要する箇所を確実に観察することができ、診断精度を向上することができる。

［その他の実施形態］
以上４つの実施形態を示したが、上記実施形態の中に示される処理を組み合わせた形態も考えられる。

例えば、目標点の設定については、メニュー選択により、実施形態１の目標点設定処理（手動設定）と実施形態２の目標点設定処理（自動設定）を選択的に実行できるようにしてもよい。

また、目標点の設定は特徴検出処理によらず手動で行い、目標ボリュームの設定は、特徴検出の結果に基づいて行ってもよい。反対に、目標点の設定は特徴検出に基づき自動で行い、目標ボリュームの設定はメモリに記憶された定義データに基づいて行ってもよい。

また、詳細画像の表示処理では、実施形態１〜４の説明の中で例示した複数種類の詳細画像を生成しておき、メニュー選択などにより切換え表示できるようにしてもよい。

また、実施形態１〜４の視線設定処理では、マウス操作に応じて視点を移動しているが、前述した球面上で自動的に視点を移動し、マウス操作が行われたときに視点を固定するようにしてもよい。

また、実施形態１〜４の詳細画像表示処理では、概観画像上に詳細画像を重ねて表示しているが、詳細画像は、概観画像が表示されるウィンドウとは別のウィンドウに表示してもよい。

また、実施形態１〜４の詳細画像表示処理では、一つの概観画像につき一つの詳細画像しか表示されないが、複数の目標点についてそれぞれ詳細画像を生成し、複数の詳細画像を画面上に並列表示してもよい。さらには並列表示された詳細画像を一括してプリント出力する機能を設けてもよい。

さらには、同一被検体の時系列なボリュームデータを読み込んで、同じ位置に目標点を設定し、過去のボリュームデータから生成された詳細画像と、新しいボリュームデータから生成された詳細画像とを並列表示することも考えられる。この形態では、一方の詳細画像に対し視線方向の変更が指示された場合に、他方の詳細画像も連動して視線方向を変更することが望ましい。

また、実施形態１〜４の説明では、入力装置としてマウスを例示したが、他の入力装置を採用してもよいことは言うまでもない。例えば、ジョイスティック等は、詳細画像の回転操作に適している。また、ディスプレイ５に代えて、タッチパネルを採用し、パネル上で操作入力を行えるようにしてもよい。

また、実施形態１〜４において一台の診断支援装置により実行される処理は、複数台のコンピュータにより分担して実行してもよい。

このように、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、種々の変更を加えることができる。また、大腸以外の臓器、血管、骨、筋肉など、あらゆる生体組織の診断支援に用いることができ、さらには、生体の診断支援に限らず、例えば空港で行われる荷物検査などにも応用することができる。

１ 診断支援装置
２ ＣＰＵ
３ メモリ
４ ストレージ
５ ディスプレイ
６ マウス
７ａ，７ｂ ボリュームデータ
８ 伸長展開画像（概観画像）
９ 仮想内視鏡画像（概観画像）
１０ カーソル
１１ 詳細画像
１２，１３ 点
１４ 目標ボリューム
１５ａ，１５ｂ，１５ｃ 視点
１６ａ，１６ｂ，１６ｃ 視線ベクトル
１７ａ，１７ｂ，１７ｃ 投影面
１８ａ，１８ｂ マーク
１９ 血管
２０ａ 仰臥位伸長展開画像
２０ｂ 伏臥位伸長展開画像
２１ａ 仰臥位仮想内視鏡画像
２１ｂ 伏臥位仮想内視鏡画像
２２ａ 仰臥位詳細画像
２２ｂ 伏臥位詳細画像
２４ 視点設定線

Claims (12)

1. 被検体の撮影により取得されたデータから構成されたボリュームデータを記憶するボリュームデータ記憶手段と、
   前記ボリュームデータに基づいて前記被検体を構成する一の構造物の概観を表す概観画像を生成し、前記概観画像を画面に表示する概観画像表示手段と、
   前記概観画像中の少なくとも１つの点、および、前記概観画像中の前記少なくとも１つの点に対応する前記ボリュームデータ中の少なくとも１つの点を、目標点として設定する目標点設定手段と、
   前記ボリュームデータ中に、前記目標点を含む目標ボリュームを設定する目標ボリューム設定手段と、
   前記ボリュームデータ中に、前記目標点を終点とし、移動可能な視点を始点とする視線ベクトルを設定し、前記視点を移動することにより前記視線ベクトルの方向を変化させる視線設定手段と、
   前記視線ベクトルの方向と垂直な投影面に、前記目標ボリュームを投影することにより、前記構造物の前記目標点付近の詳細を表す詳細画像を生成し、前記詳細画像を前記画面に表示する詳細画像表示手段と
   を備える診断支援装置。
2. 前記概観画像表示手段が、前記構造物が管状構造物であるときに、前記概観画像の１つとして、前記管状構造物の伸長展開画像もしくは伸長断面画像を生成することを特徴とする請求項１記載の診断支援装置。
3. 前記目標点設定手段が、前記画面において前記概観画像中の点を指定するユーザ操作を検出し、前記ユーザ操作により指定された点および前記点に対応する前記ボリュームデータ中の点を、前記目標点として設定することを特徴とする請求項１または２記載の診断支援装置。
4. 前記目標点設定手段が、前記ボリュームデータを解析することにより前記構造物の特徴的部位を検出し、前記特徴的部位の位置を示す前記概観画像中の点および前記特徴的部位の位置を示す前記ボリュームデータ中の点を、前記目標点として設定することを特徴とする請求項１から２のいずれか１項記載の診断支援装置。
5. 前記目標ボリューム設定手段が、所定の記憶媒体に記憶されている目標ボリュームの形状および大きさのデータを参照し、前記データが示す形状および大きさの目標ボリュームを設定することを特徴とする請求項１から４のいずれか１項記載の診断支援装置。
6. 前記目標ボリューム設定手段が、前記ボリュームデータを解析することにより前記構造物の特徴的部位を検出し、前記特徴的部位の形状および大きさに基づいて決定した形状および大きさの目標ボリュームを設定することを特徴とする請求項１から４のいずれか１項記載の診断支援装置。
7. 前記視線設定手段が、前記視点の移動を指示するユーザ操作を検出し、前記ユーザ操作に基づいて前記視点を移動することを特徴とする請求項１から６のいずれか１項記載の診断支援装置。
8. 前記詳細画像表示手段が、前記概観画像の前記目標点が設定された位置に、前記詳細画像を重ねて表示することを特徴とする請求項１から７のいずれか１項記載の診断支援装置。
9. 前記詳細画像表示手段が、複数の投影方法により前記目標ボリュームの投影画像を複数生成し、前記複数の投影画像を合成することにより前記詳細画像を生成することを特徴とする請求項１から８のいずれか１項記載の診断支援装置。
10. 前記概観画像表示手段が、異なる体位で撮影を行うことにより取得された複数の体位別ボリュームデータに基づいて、複数の体位別概観画像を生成、表示し、
    前記詳細画像表示手段が、前記複数の体位別ボリュームデータのそれぞれの中に設定された目標ボリュームを用いて、複数の体位別詳細画像を生成し、表示することを特徴とする請求項１から９のいずれか１項記載の診断支援装置。
11. 一台または複数台のコンピュータを、
    被検体の撮影により取得されたデータから構成され所定の記憶装置に記憶されたボリュームデータに基づいて、前記被検体を構成する一の構造物の概観を表す概観画像を生成し、前記概観画像を画面に表示する概観画像表示手段と、
    前記概観画像中の少なくとも１つの点、および、前記概観画像中の前記少なくとも１つの点に対応する前記ボリュームデータ中の少なくとも１つの点を、目標点として設定する目標点設定手段と、
    前記ボリュームデータ中に、前記目標点を含む目標ボリュームを設定する目標ボリューム設定手段と、
    前記ボリュームデータ中に、前記目標点を終点とし、移動可能な視点を始点とする視線ベクトルを設定し、前記視点を移動することにより前記視線ベクトルの方向を変化させる視線設定手段と、
    前記視線ベクトルの方向と垂直な投影面に、前記目標ボリュームを投影することにより、前記構造物の前記目標点付近の詳細を表す詳細画像を生成し、前記詳細画像を前記画面に表示する詳細画像表示手段として機能させる診断支援プログラム。
12. 一台または複数台のコンピュータに、
    被検体の撮影により取得されたデータから構成され所定の記憶装置に記憶されたボリュームデータに基づいて、前記被検体を構成する一の構造物の概観を表す概観画像を生成し、前記概観画像を画面に表示する概観画像表示処理と、
    前記概観画像中の少なくとも１つの点、および、前記概観画像中の前記少なくとも１つの点に対応する前記ボリュームデータ中の少なくとも１つの点を、目標点として設定する目標点設定処理と、
    前記ボリュームデータ中に、前記目標点を含む目標ボリュームを設定する目標ボリューム設定処理と、
    前記ボリュームデータ中に、前記目標点を終点とし、移動可能な視点を始点とする視線ベクトルを設定し、前記視点を移動することにより前記視線ベクトルの方向を変化させる視線設定処理と、
    前記視線ベクトルの方向と垂直な投影面に、前記目標ボリュームを投影することにより、前記構造物の前記目標点付近の詳細を表す詳細画像を生成し、前記詳細画像を前記画面に表示する詳細画像表示処理とを実行させることにより、医師の診断を支援する方法。