WO2002034138A1

WO2002034138A1 - Dispositif et procede de traitement d'images

Info

Publication number: WO2002034138A1
Application number: PCT/JP2001/009341
Authority: WO
Inventors: Satoru Ohishi
Original assignee: Kabushiki Kaisha Toshiba
Priority date: 2000-10-24
Filing date: 2001-10-24
Publication date: 2002-05-02
Also published as: KR100723737B1; JP5361103B2; CN1471375A; DE60135143D1; KR20030045839A; EP1336376A1; CN100546546C; CN100346748C; CN100998509A; EP1336376A4; JP2002125937A; US20030185426A1; EP1336376B1; US6990229B2

Description

明細書

画像処理装置及び画像処理方法

技術分野

本発明は、例えば、医療分野における超音波診断装置、 X 線 C T装置、磁気共鳴イメージング（ M R I ) 装置、核医学診断装置等の医療用画像診断装置によって得られた医療画像を画像処理し表示する画像処理装置、及ぴ画像処理方法に関する。

背景技術

従来において、医用画像診断装置等にて撮影された患者の医用画像を観察する場合、種々の形態にて画像処理 · 表示が行える画像処理装置が利用されている。特に、近年の画像処理装置では、二次元画像処理のみならず三次元画像処理により、あたかも人間が目で見る世界のようにある視点からの物体の奥行きや光源による影等を計算した疑似三次元空間を作り出し、画像表示することができる。

この様な画像処理装置を使用した診断において、例えば二つの異なる画像を同時に表示し、比較観察する場合がある。この場合、双方の観察角度及び拡大率等を同じにすることで、画像同士の比較を容易に行うことができる。

図 6 は、従来の画像処理装置において、二つの異なる三次元画像を同時に表示し、比較観察する場合の操作について説明するための図である。図 6 に示すように、画像モニタ 1 8 に表示された複数（今の場合、二つ）の三次元画像を観察する場合、比較観察を容易にするため、画像間の観察角度、拡大率、表示用画像処理等を同一の条件に設定することが多い ₍ この条件を同一に設定するための多くの操作は、従来の画像処理装置においては、ユーザのマニュアル操作にて実行されている。

しかしながら、このマニュアルによる設定操作は時間と労力、さらに熟練を要するものであり、一般ユーザにとって使い勝手のよいものではない。このことは、三次元画像の比較読影を広めることの一つの障害となっている。

一方、一般的に、臨床医学において比較読影が有用な診察 /診断手法であることは、 X 線撮影や CT、 MRI 等の断層像等の二次元画像の比較読影において広く認められている。この事実からすれば、三次元画像の比較読影が有用であることは想像に難くない。三次元画像を簡単な操作にて比較観察可能な画像処理装置の登場は、従来から望まれるところである , そこで、本発明は、三次元画像を同時に複数表示して比較観察する場合に、自動的に或いは簡単な操作にて画像間の観察角度等を条件一致させて表示することができ、また必要な診断情報も同時に表示することができる、ユーザーフレンドリ一な画像処理装置、及び画像処理方法を提供することを目的としている。

発明の開示

本発明は、上記目的を達成するために、以下の手段を講じている。

本発明の第 1 の視点は、複数の三次元画像の観察角度を銃一する画像処理を行う画像処理ュニットと、観察角度が統一された前記複数の三次元画像を同時に表示する表示装置とを具備する画像処理装置である。 .

本発明の第 2 の視点は、複数の三次元画像の拡大率を統一する画像処理を行う画像処理ユニットと、拡大率が統一された前記複数の三次元画像を同時に表示する表示装置とを具備する画像処理装置である。

本発明の第 3 の視点は、複数の三次元画像について、同一の条件にて画像処理を行う画像処理ュ-ットと、前記複数の三次元画像を同時に表示する表示装置とを具備する画像処理装置である。

本発明の第 4 の視点は、複数の三次元画像の観察角度、拡大率、画像処理のうち、少なくとも一つを統一する画像処理を行う画像処理ュニットと、' 前記画像処理が施された前記複数の三次元画像を合成した合成画像を生成する画像合成ュニットと、前記合成画像を表示する表示装置とを具備する画像処理装置である。

本発明の第 5 の視点は、複数の三次元画像のそれぞれに対応する各投影画像群に対して、同一条件の空間フィルタを使用した画像再構成処理を施して複数のボリユームデータを生成する画像再構成ュニットと、前記各ポリユームデータから複数の三次元画像を生成する画像処理ュニットと、前記複数の三次元画像を同時に表示する表示装置とを具備する画像処理装置である。

本発明の第 6 の視点は、複数の三次元画像の観察角度、拡大率、画像処理のうち少なくとも一つを統一する画像処理を行う画像処理ユニットと、過去の診断に関する診断情報を格納するデータベースと、前記複数の三次元画像の少なくとも一つに関連する診断情報を前記データベースから読み出す診断情報管理ユニットと、画像処理後の前記複数の三次元画像と前記読み出された診断情報とを同時に表示する表示装置とを具備する画像処理装置である。

本発明の第 ₇ の視点は、三次元画像或いは診断情報を表示する表示装置と、過去の診断に関する診断情報或いは三次元画像を格納するデータベースと、前記表示された三次元画像或いは診断情報と前記データベースに格納された過去の診断に関する診断情報或いは三次元画像との間に差異があるか否かを判別する制御装置とを具備し、前記制御装置が差異があると判別した場合には、前記表示装置は、当該差異がある旨 , 或いは差異がある情報或いは画像を前記データベースから読み出して表示する画像処理装置である。

本発明の第 8 の視点は、複数の三次元画像を表示し、前記複数の三次元画像のうち所望の一画像について入力された観察方向の変更指示に基づいて、前記所望の一画像の観察角度と、前記複数の三次元画像の残余の画像の観察角度とを条件一致させて変更する画像処理を行い、前記観察角度変更後の前記複数の三次元画像を同時に表示することを具備する画像処理方法である。

本発明の第 9 の視点は、複数の三次元画像を表示し、前記複数の三次元画像のうち所望の一画像について入力された拡大率の変更指示に基づいて、前記所望の一画像の拡大率と、前記複数の三次元画像の残余の画像の拡大率とを条件一致させて変更する画像処理を行い、前記拡大率変更後の前記複数の三次元画像を同時に表示することを具備する画像処理方法である。

本発明の第 1 0 の視点は、複数の三次元画像を表示し、前記複数の三次元画像のうち所望の一画像について入力された画.像処理の変更指示に基づいて、前記所望の一画像の画像処理と、前記複数の三次元画像の残余の画像の画像処理とを条件一致させて実行し、前記画像処理後の前記複数の三次元画像を同時に表示することを具備する画像処理方法である。

図面の簡単な説明

図 1 は、本発明の実施の形態による画像処理装置の構成を説明するための概略図を示す。

図 2 は、本発明の実施の形態による画像処理装置の構成を説明するための概略図を示す。

図 3 は、同時表示される画像 Aと画像 B とを条件一致させる条件一致処理の手順の一例を示したフローチャートである c 図 4 は、本発明の実施の形態による画像処理装置による画面表示の一つの例を示す。

図 5 は、同時表示される画像 Aと画像 B とを条件一致させる条件一致処理の手順の他の例を示したフローチャートである。

図 6 は、従来の画像処理装置による画面表示の一つの例を示す。

発明を実施するための最良の形態ぐ第 1 の実施の形態〉

図 1 は本発明の第 1 の実施の形態に係る画像処理装置を具備する診断システムの概略図である。当該診断システムは、第 1 の画像処理装置 2 、第 2 の画像処理装置 3 、 C T装置 4 、 M R I 装置 5 、超音波装置 6 、 X線装置 7 または核医学装置等の画像診断装置、画像データベース 1 を具備している。各装置は、ネットワーク 8 によって接続され、データのやり取りが可能となっている。各診断装置では当該患者の内部構造を三次元的に画像化した三次元画像が再構成され、生成された画像は画像データベース 1 に格納される。なお、この画像データベース 1 には、三次元画像だけでなく、画像に付帯する患者 · 撮影情報、画像のオリエンテーションを示す情報等も保管されている。

本実施形態においては、図 1 に示すように画像処理装置を二台具備.する診断システムを例とする。しかし、システムに設けられる画像処理装置の数に制限はない。

図 2 は、図 1 にて示した第一の画像処理装置 2或いは第二の画像処理装置 3 の内部構成を説明するための概略図である _c 図 2 に示すように第 1 或いは第 2 の画像処理装置は、 C P U 1 4 、入力装置 1 3 、画像メモリ 9 、三次元ァフィン処理部 1 0 、三次元画像処理部 1 1 、 L U T ( L o o k U p T a b l e ) 1 2 と、表示部（モニタ） 1 5 と、信号ノス 1 6 を有している。各構成要素の機能は、例えば次のようである（

C P U 1 4 は、画像処理装置全体の処理を制御する。

入力装置 1 3 は、オペレタからの指示情報を当該装置に入力するための装置である。当該入力装置 1 3 には、例えぼ様々な表示条件設定を行うためのボタン、キーボード、ドラックボール、ジョイステックなどが設けられている。後述する画像条件一致処理においては、同時に複数表示された画像の少なくとも一つに対し、当該入力装置 1 3 によって表示角度変更操作等が指示される。

画像メモリ 9 は、三次元画像データ、再構成前の投影画像データ等を格納する。

三次元ァフィン処理部 1 0 は、表示画像に対して平行移動拡大、縮小、回転等（すなわち、ァフィン変換）を施す変換部である。

三次元画像処理部 1 1 は、ボリュームレンダリング処理'やサーフヱイスレンダリング処理等の三次元画像処理を行い、三次元表示画像を構成する。

L U T ( L o o k U p T a b l e ) 1 2 は、予め入力値と出力値との変換対応テーブルに基づいて、三次元表示画像の階調を変換する。

表示部 1 5 は、三次元表示画像を表示するモニタである。表示部 1 5 は、複数の表示領域を有し、複数の三次元表示画像を一度に表示できる。その構造はマルチウインドウ表示でも良いし、また複数のモニタで構成しても良い。

信号バス 1 6 は、各構成要素間の信号やデータ送受における信号伝送を行う。

診断データベース 2 2 は、ネットワーク 8 を介して画像データベース 1 、或いは各種診断装置等から取得した診断画像 (二次元或いは三次元画像）、患者データ、検査データ等を関連付け保存する。この診断データベース 2 2 に格納された情報は、例えば「部位」、「病名」、「コメント（診断に至つた経緯）」等の項目別に検索可能となっている。また、診断データベース 2 2 は、「部位」や「病名」別にデータを自動的に管理する辞書機能を有している。

画像再構成部 2 3 は、メモリ 9 に格納された投影画像画像データに基づいて画像再構成処理を行う。

なお、三次元ァフィン処理 1 0及ぴ三次元画像処理 1 1 が実行する処理は、 C P U 1 4 によって実行される構成であつてもよい。

次に、第 1 の画像処理装置 2又は第 2 の画像処理装置 3 によって実行される条件一致表示処理について説明する。

図 3 は、同時表示される画像 Aと画像 B とを条件一致させる条件一致処理の手順を示したフローチヤ一トである。以下画像 Aと画像 B との表示角度を条件一致させる場合を例に説明する。

図 3 において、まず、画像データベース 1 に登録されている三次元画像 A と B とを、画像処理装置に同時に表示する (ステップ S 1 ) 。この三次元画像 A， Bは、同一モダリティで撮影された画像でも良いし、異なるモダリティで撮影された画像でも良い。通常この段階では、各々の表示画像は通常は意図的に合致させない限り、それぞれの表示されている角度が異なっている。

次に、操作者によって条件一致スィツチが O Nにされる (ステップ S 2 ) 。この O N操作を受けて、例えば現状画像 Aがコントローラブルな画像である場合には、画像 Bの表示角度が、画像 Aの表示角度に一致するように回転変換（ァフイン変換）される（ステップ S 3 ) 。この回転は、単に初期表示角度からの変更量を一致させるためのものではなく、 '画像のオリエンテーションを考慮して、種々の情報に基づき画像 Bが画像 Aと解剖学的に同じ角度から観察されるように実行される。（以下、この画像 B と画像 A との解剖学的な観察角度を一致させるための情報を「画像オリエンテーション情報」と称する。）

C T装置 4 の画像オリエンテーション情報としては、患者挿入方向、画像観察方向、患者本位などが挙げられる。例えば、患者揷入方向は、患者を C T装置 4 に頭から入れるか、もしくは足から入れるかを意味する画像オリェンテーション情報である。この患者挿入方向は、再構成される三次元画像の並び順を決定するものであり、 T o p F i r s t ( T F ：頭頂方向から順番に画像を構成してレヽる） Z F o o t F i r s t ( F F ：足尾方向から順番に画像を構成して'いる）のように表現される。また、画像観察方向は、画像を観察する方向を示し、 V i e w f r o m T o p ( V F T ：頭頂方向力、ら見た画像） ZV i e w f r o m F o o t ( V F F : 足尾方向から見た画像）のように表現される。さらに、患者体位は、例えば、撮影時に患者が上下左右のど:ちらを向いていたかを示す画像オリェンテーション情報である例えば、ステップ S 1 において、 i ) 画像 A と画像 B とは共に初期表示角度であり、 ϋ ) 画像 Aの画像オリエンテーシヨン情報は、 V F T、 T F、上向きであり、 ΰΐ ) 画像 Β画像オリエンテーション情報は、 V F F、 F F、上向きである場合を想定する。この場合、ステップ S 3 において、画像 B を上下反転させるアブイン変換を実行することにより、画像 A と画像 B との観察角度を一致させることができる。

なお、 M R I 装置の場合であっても、原理的には同じである。しかしながら、 M R 1 装置は、断層面を患者に対して自由に設定できるため、さらに詳細な画像オリエンテーション情報を利用することが好ましい。

ステップ S 3 において観察角度を一致させた画像 A と画像 B とは、互いに条件一致して表示部 1 5 に表示される（ステップ S 4 ) 。

次に、三次元画像 A と三次元画像 B との間のズレを補正する指示があつたか否かの判別を行う（ステップ S 5 ) 。ここで、ズレ補正とは次の様な機能である。すなわち、回転による画像条件一致においては、上述の如く画像オリエンテーション情報に基づいてほぼ解剖学的に同じ角度から表示した画像を表示している場合でも、撮影前の患者の僅かな向きの変化により異なってしまう場合がある。本画像処理装置では、必要に応じて、以下に述べる 2種類の機能によって画像間のズレを補正することができる。

1 つは、解剖学的に対応する少なくとも 2 点、例えば 3 点を画像 A， B双方上で特定し、一致させることで画像間のズレを補正する機能である。例えば特定した点を画像 A上の ( a A , b A . C A ) 、画像 B上の（ a _B , b _B ， c _B ) とする。さらに a _A と a _B 、 b _A と b _B 、 c _A と c _B がそれぞれ解剖学的に一致する点であるとする。この時直線 a A b A と a _B b B が同じ向ぎとなるように、且つ a _A c _A と a B c B が同じ向きとなるように算出することにより、画像間のズレを補正することが可能である。

もう一つは、操作者のマニュアル操作により画像間のズレを補正する機能である。すなわち、所定の機能が割り当てられたボタンを押しつつの操作、例えばキーボードの S H I F Tキーを押しながらの回転操作の際は、回転処理が片方の画像のみに対して行われる。具体的な処理動作は、ステップ S 3 の内容と同じである。

ステップ S 5 においてズレ補正の指示有りと判別された場合には、上記二種類の補正の少なくとも一方によってズレを補正し（ステップ S 6 ) 、再び画像 Aと画像 B とが条件一致表示.される（ステップ S 7 ) 。なお、マニュアル操作によるズレ捕正を実行した場合には、 S H I F Tキーを離した時点で自動的に条件一致表示されることが望ましい。

ステップ S 6 にてズレ補正を行った場合、最初の条件一致状態からの変化量は誤差として記憶され、以後の条件一致表示は当該誤差を補正した上で実行される。

一方、ステップ S 5 においてズレ補正の指示無しと判別された場合には、そのまま画像 Aと画像 B とが条件一致して表示される. （ステップ S 7 ) 。·

以後条件一致スィツチが O Nになっている間は、片方の画像に加える処理、例えば回転、移動、拡大ノ縮小等も同様にもう一方の画像にも適用される。伹し移動、拡大縮小については相対的な変化のみである。

図 4 は、第 1 の実施の形態による画像処理装置にて画像処理され、表示装置 1 5 にて表示された三次元画像の一つの例を示している。図 4 に示すように、表示モニタ 1 7 の表示画面 1 9 には観察対象部位の三次元画像 A と B とが条件一致表示されている。この 2つの画像のどちらか一方のスケールや観察角度、拡大率を操作すると、もう一方の三次元画像表示も条件一致して変更される。こうして常に同一条件で複数の三次元画像同士を比較することができる。

任意のタイミングにて条件一致スィツチを O F Fにすることにより.条件一致表示処理は終了し、条件一致状態は解除される（ステップ S 8 ) 。

本画像処理装置、及び後述される各実施形態に係る画像処理装置は、例えば次のような動作も可能である。

本実施の形態では 2つの三次元表示画像を表示した場合について説明しているが、画像の数に制限されることなく、例えば 3 つ以上の画像表示でも可能である。また本実施の形態では、画像処理装置、検查装置、画像データベース 1 を全て別々の装置として記述しているが、本発明はその構成に制限されることなく、これらの装置の 2つ若しくは全てが一つの装置の中.に構成されていても実施可能である。

また、上記実施形態においては、画像オリエンテーション情報を中心とした画像条件一致を行った。しかし、例えば三次元画像 Aと画像 B とが異なるモダリティによって撮影されている場合等適当な画像オリェンテーション情報を採用できない場合には、各画像において最低 3 つの対応点を選択し、当該対応点に基づいて条件一致を行う構成であってもよい。

<第 2 の実施の形態 >

本発明の第 2 の実施の形態について、図 3 を参照しながら説明する。本実施形態においては、拡大率の条件一致処理についてさらに詳細な説明を行う。なお、第 1 の実施の形態と同一の構成については説明を省略する。

まず、図 3 において、画像データベース 1 に登録されている三次元画像 Aと Bが画像処理装置に三次元表示される（ステツプ S 1 ) 。この画像 A , Bは同一モダリティで撮影された画像でも良いし、異なるモダリティで撮影された画像でも良い。通常、各々の表示画像は意図的に合致させない限り、それぞれの表示角度や拡大率が異なっている。

次に、操作者によって条件一致スィツチが O Nにされる (ステップ S 2 ) 。

この条件一致スィツチの O N入力により、三次元画像 A,と B とを同じ観察角度、且つ同じ拡大率にするためのァフィン変換が実行され（ステップ S 3 ) 、自動的に条件一致表示される（ステップ S 4 ) 。従って、操作者は、その手を煩わせることなく容易に条件一致画像を観察することができる。

ここで、ステップ S 3 において実行される拡大率条件一致のための変換処理について説明する。なお、観察角度条件一致のための変換については、第 1 の実施の形態と同様なので説明を省く。

拡大率の条件一致とは、物理的に同じ長さを表示装置上で同じ長さに表示することを指している。例えば現状画像 Aがコントローラブルな画像であるとすると、画像 B の表示角度及び拡大率は画像 Aの表示角度に一致するように回転されるこれは単に初期表示角度、初期拡大率からの変更量を一致させるのではなく、画像のオリェンテーションゃ画素ピッチを考慮して、解剖学的に同じ角度から観察されるように、物理的に同じ長さを表示装置上で同じ長さに変換するものである例えば、 C T装置の例では、各種撮影条件、すなわち撮影領域やマトリックスサイズにより断層面での画素ピッチが決まり、寝台移動幅（ヘリカルスキャン方式の場合は寝台移動速度）、コリメータ幅等により体軸方向の画素ピッチが決まる。今画素 Aにおいて断層面及び体軸方向での画素ピッチが共に 0 . 5 m mであったとし、画像 B については断層面及び体軸方向での画素ピッチが共に 0 . 7 m mであったとする。この場合、全く同じ部位を撮影したとしても初期状態では画像 Aの方が画像 B より 1 . 4倍に拡大されて表示される。

本実施形態における拡大率条件一致においてはこの画素ピツチも考慮した捕正が実行される。すなわち、この例の場合画像 Aがコントローラプルで現状の初期表示状態から 1 . 2 倍拡大表示されているとすると、画像 Bは 1 . 6 8 ( = 1 . 2 1 . 4 ) 倍に拡大されて表示される。

伹し、移動については相対的な変化のみである。すなわち片方の画像を z 軸方向に 5 m m移動した場合、もう一方の画像も z 軸方向に 5 m m移動する。

ステップ S 3 において拡大率を一致させた画像 Aと画像 B とは、条件一致して表示部 1 5 に表示される（ステップ S 4 ) 。なお、第 1 の実施形態と同様、条件一致スィッチが O Nになっている間は片方の画像に加える処理、例えば回転、移動、拡大 · 縮小等も同様にもう一方の画像にも適用される。

次に、三次元画像 Aと三次元画像 B との間のズレを補正する指示があつたか否かを判別する（ステップ S 5 ) 。すなわち、回転、拡大に関しては、ほぼ解剖学的に同じ角度、同じ拡大率で表示した画像を表示している場合でも、撮影前の患者の僅かな向きの変化や、撮影画像の歪み等により観察角度や拡大率が異なってしまう場合がある。観察角度についての捕正法については第 1 の実施の形態で説明してあるので、以下、本実施形態に係る画像処理装置が行う拡大率の補正に,ついてのみ説明する。

本実施形態に係る画像処理装置には、このようなズレを補正する 2種類の機能がある。一つは、解剖学的に一致する 2 点を画像 A， B双方上で特定し、これに基づいて画像間のズレを捕正する機能である。例えば角度の誤差特定のために指定した点の内 2 点、画像 A上の（ a _A , b A ) 、画像 B上の（ a _B , b Β ) を使用するか、若しくは角度の誤差がないと判断した時は 2 点のみを画像 Α上の（ a A ， b A ) 、画像 B 上の（ a _B ， b B ) を指定しても良い。この時直線 a A b A と a _B b _B が同じ長さとなるように拡大率を算.出することにより、画像間のズレを補正することができる。もう一つは、機能がマニュアル操作による方法で、所定の機能が付与されたポタンを押しつつの操作、例えばキーボードの S H I F Tキーを押しながらの拡大操作の際は処理が片方の画像のみに対して行われる。

ステップ S 5 においてズレ補正の指示有りと判別された.場合には、上記二種類の補正の少なくとも一方によってズレを補正し（ステップ S 6 ) 、再び画像 Aと画像 B とが条件一致表示される（ステップ S 7 ) 。なお、マニュアル操作によるズレ補正を実行した場合には、 S H I F Tキーを離した時点で自動的に条件一致表示されることが望ましい。

ステップ S 6 にてズレ補正を行った場合、最初の条件一致状態からの変化量は誤差として記憶され、以後の条件一致表示（ステップ S 7 ) は当該誤差を補正した上で実行される。

一方、ステップ S 5 においてズレ補正の指示無しと判另リ,された場合には、そのまま画像 A と画像 B とが条件一致しで表示される（ステップ S 7 ) 。

条件一致をやめる場合は、条件一致スィツチを O F F にすることにより条件一致状態は解除される（ステップ S 8 ) 。

以上第 2 の実施形態に係る画像処理装置の条件一致処理動作について説明した。本画像処理装置においても、第 1 の実施形態と同様、ズレ補正を行った場合には、その変化量を最初の条件一致状態からの変化量を誤差として記憶しておき、その後の条件一致は誤差を補正した上で表示することができる。また、画像の数に制限されることなく、 3 つ以上の画像を同時に処理することも可能である。 <第 3 の実施の形態 >

次に、第 3 の実施の形態に係る画像処理装置について説明する。本実施形態は、条件一致表示する各画像について同一の条件にて画像処理を行う例である。なお、本第 3 の実施形態に係る画像処理装置の構成については、第 1 の実施形態で述べた画像処理装置と略同様である。また、先に説明した第 1 および第 2 の実施の形態と重複する部分については説明'を省略する。

本第 3 の実施形態に係る各画像処理装置の条件一致処理について、図 5 を参照しながら説明する。

図 5 において、まず、第 1 の実施形態と同様に、 A画像及ぴ B画像を同時に表示し（ステップ S 1 ) 、条件一致スイツチをオンにする（ステップ S 2 ) 。

ステップ S 2 での O N操作を受けて、例えば現状の画像 A がコントローラブルな画像であるとすると、画像 B の表示角度及び表示用画像処理は画像 Aの表示角度や表示用画像処理に一致するように回転変換等される。これは単に初期表示角度、初期表示用画像処理からの変更量を一致させるのではなく、画像のオリエンテーションを考慮して、解剖学的に同じ角度から観察されるように変更することを指すものである。

続いて、画像 A及び画像 B の表示用画像処理が全く同じ処理となるように、画像 A又は画像 B の少なくとも一方に画像処理を施す（ステップ S 3 ' ) 。以下、代表的な 2種類の画像処理を例に詳しく説明する。

サーフェイスレンダリング法では、閾値を設定し、その閾 . 値の範囲内に入る領域を対象領域として、その対象に対して任意の方向から光が当った状態のように擬似的に演算を行いその反射光を演算することにより表示画像が算出される。本ステップ S 3 では、この時の閾値、光源の位置、強度、対象の色等が合致するように処理される。

また、ボリュームレンダリング法の場合は、画素数を例えば反射率や屈折率等光学パラメータに変換する関数（光学変換関数）が定義されており、その物体に対し任意の方向から光を当てて、その反射光を計算することにより表示画像データが演算される。このボリュームレンダリング法では、光学変換関数の定義によっては、例えば霧の中に対象物がぼやけて見えるように、内部構造を可視化できる。従って、サーフェイスレンダリング法と異なり、物体の表面が明確に定義でき、表面の後ろに隠れた情報を画像化することができる。：本ステップ S 3 においては、この光学変換関数、光源の位置、強度、対象の色等が合致するように処理される。

以下、第 1 の実施形態と同様に、 A画像及び B画像は必要に応じてズレ補正が施され（ステップ S 5 、 S 6 ) 、条件一致表示される（ステップ S 4 、ステップ S 7 ) 。当該条件一致表示は、スィッチオフによって解除され（ステップ S 8 ) 条件一致表示処理は完了する。

く第 4 の実施の形態 >

次に、第 4 の実施の形態に係る画像処理装置について説明する。本実施形態は、同一の画像処理を施す場合についての変形例である。なお、本第 4 の実施形態に係る画像処理装置の構成については、第 1 の実施形態で述べた画像処理装置と略同様である。また、先に説明した各実施の形態と重複する部分については説明を省略する。，本第 4 の実施形態に係る各画像処理装置の条件一致処理について、図 5 を参照しながら説明する。

図 5 において、まず、第 1 の実施形態と同様に、 A画像及び B画像を同時に表示し（ステップ S 1 ) 、条件一致スイツチをオンにする（ステップ S 2 ) 。

ステップ S 2 での O N操作を受けて、例えば現状の画像 A がコントローラブルな画像であるとすると、画像 Bの表示角度及び表示用画像処理は画像 Aの表示角度や表示用画像処理に一致するように回転変換等される。これは単に初期表示角度、初期'表示用画像処理からの変更量を一致させるのではなく、画像のオリエンテーションを考慮して、解剖学的に同じ角度から同じサイズで観察されるように変更するものである続いて、画像 A及び画像 B の表示用画像処理が全く同じ処理となるように、画像 A又は画像 B の少なくとも一方に画像処理を施す（ステップ S 3 一）。例えば、次の様に画素ピッチによって画像 B の光学変換関数を補正することで、画像 A と画像 B との画像処理を同じにする。

例えば画像 B の画素ピッチを m、画像 Aの画素ピッチを n とし、画像 Bの光学変換関数は以下の関数によって補正される。

a = ( 1 — e X し一 n lSi ] ) / 、 1 一 e x p し一，πι Ν ] ) ここで反射率 γ は以下のような数式でモデル化しており、 Νは画素値を示している。

γ = 1 — e X p L x N J

なお、 x は対象の通過距離を示す。

ステップ S 3 において上記光学変換関数にて画像処理が施されると、第 1 の実施形態と同様に、 A画像及び B画像は必要に応じてズレ補正が施され（ステップ S 5 、 S 6 ) 、条件一致表示される（ステップ S 4 、ステップ S 7 ) 。当該条件一致表示は、スィッチオフによって解除され（ステップ S 8 ) 、条件一致表示処理は完了する。

く第 5 の実施の形態〉

次に、第 5 実施の形態に係る画像処理装置について説明する。本実施形態に係る装置は、同時に表示した三次元画像 A と B とを合成 (フュージョン）して表示することができる。この合成は、任意のタイミングで実行可能である。

例えば、図 3及ぴ図 5 に示したステップ S 4 の条件一致表示の状態において、合成を指示するスィツチを押すことで、三次元画像 A及び Bは合成される。或いは、一のスィッチ操作にて、各画像において指定した点を一致させるように補正した後、三次元的に合成するといった一連の処理が施される。さらに、最初の条件一致表示にて画像同士の角度ズレ、位置ズレ、拡大率ズレ情報を保存しておき、合成スィッチが押された場合、表示角度、位置、拡大率が合致するように補正した後に合成を行う構成であってもよい。

<第 6 の実施の形態〉次に、第 6 の実施の形態に係る画像処理装置について説明する。本実施形態は、画像合成処理を施す場合についての変形例である。

一般に、ボリュームレンダリング法では、画素値が反射率や屈折率等の光学パラメータに変換され、この光学パラメ，一タで構成される物体に光を当てたと仮定して、表示画像が計算される。また、第 5 の実施形態で述べた合成は、 1 ピクセルおきの互い違いのピクセルを 1 枚の画像に合致させることにより行われる。

しかしこれに限らず、例えば変換した画像 A、画像 B の光学パラメータ ί _Α ， μ Β を用いて、合成画像の光学パラメータを以下のように算出してもよい。

= I ( μ A , Β ノ

この時 f は任意の関数を示し、例えば以下の 2種類のように使用される。

— A + B

または

β = β A 一 ^ Β

前者を用いることにより、解像度の良好な画像を得ることができる。また後者を用いることにより、画像 Α と画像 Β の違いを明瞭に観察することができる。

また、他の変形例として、光学パラメータを合成する方法に代えて、別々の画像として処理した後、表示画線上で合成しても良い。本例では、例えば画像毎に別々の色、強度、光源の位置等を設定することにより、合成した画像でありながら、両者の区別を明瞭にすることができる。

また、画像毎に異なる色を使用する場合、例えば画素値の範囲を指定してそれに含まれる領域を決定し、その領域同士の重なった部分と重ならない部分との色を変化させても良いこれにより注目部位での両者の区別を明瞭にすることができる。

なお、本画像処理装置によれば、 3以上の画像を合成表示することも可能である。例えば、画像 A、 B 、 C 3つの画像を合成する場合には、各画像の光学パラメータをそれぞれ μ A ' B . ^ C とすれば、

β = 2 β c _ A + ^ Β

にて求められる光学パラメータ μ を採用することができる。

<第 7 の実施の形態 >

第 7 の実施の形態では、同時に表示する複数の画像について、同一の条件にて画像再構成を行うことで、より診断に有益な三次元画像を提供可能な画像処理装置を示す。

例えば X線 C Τ装置では、複数の断面に関する複数の投影画像の収集処理、当該複数の投影画像に基づく画像再構成処理、再構成画像の画像処理等を経て三次元画像が生成される特に画像再構成処理においては、空間フィルタを使用したェッジ強調処理も行われる。この空間フィルタは、コンボリューシヨン'演算等によって実施される。従って、再構成のタイミングに隔たりのある三次元画像 Αと Β とを同時に表示して観察する場合、双方の画像間に空間フィルタのパラメータの違いに基づく差異が現れることがある。本実施形態に係る画像処理装置は、同一の条件にて再構成処理を行うことで、比較等が容易な三次元画像を提供することができる。すなわち、例えば図 5 中ステップ S 3 ' にいて . 画像再構成部 2 3 は、画像 B に対応する投影画像に対して、画像 A と条件を同一とした画像再構成を行う。この画像再構成後、再び表示条件一致のためのァフィン変換を行うことで同一の条件にてエッジ強調処理された複数の三次元画像を'条件一致表示することができる。

<第 8 の実施の形態 >

第 8 の実施の形態では、三次元画像を利用した診断を行う場合に有効な医療情報を提供可能な画像処理装置を開示する , 第 1 或いは第 2 の画像処理装置 2 、 3 は、診断画像（二次元或いは三次元画像）、患者データ、検查データ等を関連付け、診断データベース 2 2 に保存する。既述の如く、この診断データベース ₂ 2 に格納された情報は、例えば「部位」、

「病名」、「コメント（診断に至った経緯）」等の項目別に検索可能となっている。また、診断データベース 2 2 は'、

「部位」や「病名」別にデータを自動的に管理する辞書機能を有している。

本実施形態に係る画像処理装置では、このようにして構築された診断データベース 2 2 を利用して、三次元画像によつて例えば次のような診断を行うこ 'とができる。すなわち、診断において三次元画像、検査結果などの新たな診断情報が得られた場合、当該診断情報に関する患者名、部位、病名等に基づいて診断データベース 2 2 内の過去のデータを検索することができる。また、現在表示されている画像或いは診断情報と診断データベース 2 2 内の情報とが適宜 C P U 1 4 によつて比較される。この比較において差異がある場合には、当該データベース 2 2 内の情報が読み出され、表示部 1 5 に表示される。具体的には、次の様な状況で利用される。

例えば、診断対象部位と同じ部位、若しくは関連する部位での診断情報が診断データベース 2 2 内にあれば、その内 ^:容

(例えば「診断日」、「診断者」、「症例」、「部位」等）はポップアップウィンドウで表示部 1 5 に提示される。さらにその詳細を観察したい場合には、当該ウインドウにある詳細ボタンを押すことにより、その画像等の検査内容、その時の結果（例えば診断に至った経緯）等が診断データベース 2 2 から読み出される。従って、操作者は、診断中に使用する三次元画像と関連する過去の診断情報を容易に読み出すことだでき、参照することができる。

また、例えば操作者が、データベース 2 2 内の同一患者に関する過去の画像に付されたコメントと異なるコメン.トを、現在表示されている三次元画像に対して入力した場合には、その差異を操作者に気づかせるため、ポップアップウインドゥ形式等で自動的に表示部 1 5 に表示される。操作者は、その差異の内容についてさらに知りたい場合には、所定の操作にてデータベース 2 2 内の情報を表示することができる。

さらに、例えば過去の画像に C A D ( Computer Aided Diagno st ) を施し、現在表示中の画像にも同一パラメータにて C A D処理を施した場合を想定する。この場合、治癒の状況によって過去と現在とで画像レベルの自動診断結果に差異を生じることがある。このとき、 C P U 1 4 は、当該差異を判別し、表示部 1 5 において操作者に示唆する。操作者は、当該機能によって比較作業を援助され、より効率的に質の'高い診断作業を行うことができる。

以上説明した各実施の形態に係る画像処理装置によれば、条件一致スィッチを O Nにすることにより、観察角度、拡大率、表示用画像処理を、撮影装置固有の撮影条件、表示パラメータを元に条件一致して表示することができるため、三次元画像の比較を容易にし、患部の経時変化や治療効果を確認しゃすくなる。

また、条件一致スィッチを O Nにすることにより、観察角度について撮影装置固有の撮影角度情報を元に条件一致させることができる。 ' また、観察角度と拡大率を撮影装置固有の撮影情報を元に条件一致させることができ、観察角度や拡大率および表示用画像処理を撮影装置固有の撮影条件や表示パラメータを元に条件一致して表示することができる。

さらに、診断画像に関連する過去の診断情報を容易に提供することができる。その結果、作業性の向上及び診断の質の向上を図ることができる。

なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

産業上の利用可能性

以上、本発明によれば、三次元画像を同時に複数表示して比較観察する場合に、自動的に或いは簡単な操作にて画像間の観察角度等を条件一致させて表示することができ、また必要な診断情報も同時に表示することができる、ユーザーフレンドリーな画像処理装置、及び画像処理方法を提供することができる。

Claims

請求の範囲

1 . 複数の三次元画像の観察角度を統一する画像処理を行う画像処理ュエツトと、

観察角度が統一された前記複数の三次元画像を同時に表示する表示装置と、

を具備する画像処理装置。

2 . 前記画像処理ュニットは、前記各三次元画像が取得された撮影装置において定義される位置情報に基づいて前記画像処理を行う請求項 1 記載の画像処理装置。

3 . 表示された前記複数の三次元画像のうち所望の一画像について、観察方向の変更指示を入力するためのィンタフエ一スをさらに具備し、

前記画像処理ュニットは、前記変更指示が入力された場合には、前記所望の一画像の観察角度と、前記複数の三次元画像の残余の画像の観察角度とを条件一致させて変更する画像処理を行い、

前記表示装置は、観察角度変更後の前記複数の三次元画像を同時に表示する請求項 1 記載の画像処理装置。

4 . 前記画像処理ュニットは、前記各三次元画像が取得された撮影装置において定義される位置情報に基づいて前記画像処理を行う請求項 3記載の画像処理装置。

5 . 前記画像処理ュエツトは、各三次元画像において指定された少なくとも 2 点の座標の対応をとることで前記画像処理を行う請求項 1 又は 3記載の画像処理装置。

6 . 前記画像処理ユニットは、前記インタフェースを介してマニュアル入力された指示に基づいて前記画像処理を行う請求項 3記載の画像処理装置。

7 . 複数の三次元画像の拡大率を統一する画像処理を行う画像処理ユニットと、

拡大率が統一された前記複数の三次元画像を同時に表示する表示装置と、：を具備する画像処理装置。

8 . 前記画像処理ユニットは、前記各三次元画像が取得された撮影装置における撮影条件に基づいて前記画像処理を行う請求項 7記載の画像処理装置。

9 . 表示された前記複数の三次元画像のうち所望の一画像について、拡大率の変更指示を入力するためのインタフエ一スをさらに具備し、

前記画像処理ユニットは、前記変更指示が入力された場合には、前記所望の一画像の拡大率と、前記複数の三次元画像の残余の画像の拡大率とを条件一致させて変更する画像処理を行い、

前記表示装置は、拡大率変更後の前記複数の三次元画像を同時に表示する請求項 7記載の画像処理装置。

1 0 . 前記画像処理ユニットは、前記各三次元画像が取得された撮影装置における撮影条件に基づいて前記画像処理を行う請求項 9記載の画像処理装置。

1 1 . 前記画像処理ュニットは、各三次元画像において指定された少なくとも 2点の座標に基づく情報の対応をとることで前記画像処理を行う請求項 7又は 9記載の画像処理装置

1 2 . 前記画像処理ュニットは、前記インタフェースを介してマニュアル入力された指示に基づいて前記画像処理を行う請求項 9記載の画像処理装置。

1 3 . 複数の三次元画像について、同一の条件にて画像処理を行う画像処理ユニットと、

前記複数の三次元画像を同時に表示する表示装置と、を具備する画像処理装置。

1 4 . 前記画像処理はボリユームレンダリング処理であり前記画像処理ユニットは、画像表示法、光源の位置、光源の強度、光学変換関数、表示色のうちの少なくとも一つを同一として前記画像処理を行う請求項 1 3記載の画像処理装置 1 5 . 複数の三次元画像の観察角度、拡大率、画像処理のうち、少なくとも一つを統一する画像処理を行う画像処理ュニットと、

前記画像処理が施された前記複数の三次元画像を合成した合成画像を生成する画像合成ュニットと、

前記合成画像を表示する表示装置と、

を具備する画像処理装置。

1 6 . 前記画像合成ュ-ットは、前記各複数の三次元画像の光学パラメータによって算出された合成光学パラメータに基づいて、前記合成画像を生成する請求項 1 5記載の画像処

1 7 . 前記画像合成ュ-ットは、三次元画像が重複する領域と重複しない領域とで色分けされた合成画像を生成する請求項 1 5記載の画像処理装置。

1 8 . 複数の三次元画像のそれぞれに対応する各投影画像群に対して、同一条件の空間フィルタを使用した画像再構成処理を施して複数のボリユームデータを生成する画像再構成ユニットと、

前記各ボリュームデータから複数の三次元画像を生成する画像処理ユニットと、：前記複数の三次元画像を同時に表示する表示装置と、を具備する画像処理装置。

1 9 . 複数の三次元画像の観察角度、拡大率、画像処理のうち少なくとも一つを統一する画像処理を行う画像処理ュニッ卜と、

過去の診断に関する診断情報を格納するデータベースと、前記複数の三次元画像の少なくとも一つに関連する診断情報を前記データベースから読み出す診断情報管理ュ -ットと画像処理後の前記複数の三次元画像と前記読み出された診断情報とを同時に表示する表示装置と、

を具備する画像処理装置。

2 0 . 三次元画像或いは診断情報を表示する表示装置と、過去の診断に関する診断情報或いは三次元画像を格納するデータベースと、前記表示された三次元画像或いは診断情報と前記データべースに格納された過去の診断に関する診断情報或いは三次元画像との間に差異があるか否かを判別する制御装置と、を具備し、

前記制御装置が差異があると判別した場合には、前記表示装置は、当該差異がある旨、或いは差異がある情報或いは画像を前記データベースから読み出して表示する画像処理装置。

2 1 . 表示された前記複数の三次元画像のうち所望の一画像について、観察角度、拡大率、画像処理のうち、少なくとも一つの変更指示を入力するためのィンタフェースをさらに具備し、 '

前記画像処理ユニットは、前記変更指示が入力された場合には、前記所望の一画像の観察角度、拡大率、画像処理の少なくともいずれかと、前記複数の三次元画像の残余の画像の観察角度、拡大率、画像処理の少なくともいずれかとを条件一致させて変更する画像処理を行い、

前記表示装置は、前記変更後の前記複数の三次元画像を同時に表示する請求項 1 8乃至 2 0 のうちいずれか一項記載の画像処理装置。

2 2 . 複数の三次元画像を表示し、

前記複数の三次元画像のうち所望の一画像について入力された観察方向の変更指示に基づいて、前記所望の一画像の観察角度と、前記複数の三次元画像の残余の画像の観察角度とを条件一致させて変更する画像処理を行い、

前記観察角度変更後の前記複数の三次元画像を同時に表示すること、

を具備する画像処理方法。

2 3 . 前記画像処理は、前記各三次元画像が取得された撮影装置において定義される位置情報に基づいて実行される請求項 2 2記載の画像処理方法。

2 4 . 前記画像処理は、各三次元画像において指定された少なくとも 2点の座標の対応に基づいて実行される請求項 2 2記載の画像処理方法。： 2 5 . 複数の三次元画像を表示し、

前記複数の三次元画像のうち所望の一画像について入力された拡大率の変更指示に基づいて、前記所望の一画像の拡大率と、前記複数の三次元画像の残余の画像の拡大率とを条件一致させて変更する画像処理を行い、

前記拡大率変更後の前記複数の三次元画像を同時に表示すること、

を具備する画像処理方法。

2 6 . 前記画像処理は、前記各三次元画像が取得された撮影装置において定義される位置情報に基づいて実行される請求項 2 5記載の画像処理方法。： 2 7 . 前記画像処理は、各三次元画像において指定きれた少なくとも 2 点の座標に基づく情報の対応に基づいて実行される請求項 2 5記載の画像処理方法。

2 8 . 複数の三次元画像を表示し、

前記複数の三次元画像のうち所望の一画像について入力された画像処理の変更指示に基づいて、前記所望の一画像の画像処理と、前記複数の三次元画像の残余の画像の画像処理とを条件一致させて実行し、

前記画像処理後の前記複数の三次元画像を同時に表示すること、

を具備する画像処理方法。

2 9 . 前記画像処理は、ボリュームレンダリング処理であり、前記変更指示は画像表示法、光源の位置、光源の強度'、光学変換関数、表示色のうちの少なくとも一つを変更する指示である請求項 2 8記載の画像処理方法。