WO2013161590A1

WO2013161590A1 - 画像表示装置、方法及びプログラム

Info

Publication number: WO2013161590A1
Application number: PCT/JP2013/061087
Authority: WO
Inventors: 美保礒川; 及川　道雄; 拡樹谷口; 英恵吉田
Original assignee: 株式会社日立メディコ
Priority date: 2012-04-27
Filing date: 2013-04-12
Publication date: 2013-10-31
Also published as: JP5871705B2; US20150109304A1; US9437037B2; JP2013232730A

Abstract

　３次元医用画像を立体ディスプレイに表示するときに、同時に表示する付帯情報の位置を適切に制御する。　描画対象となる３次元の信号値の座標系における付帯情報の位置を算出して前記記憶部に保存し、前記描画処理部は、前記描画対象である３次元の信号値の配列のうち、描画の対象領域を指定するマスク情報で指定された領域に対して前記３次元の信号値の配列に基づく２次元の画像の描画方法を指定する情報に基づいて描画される３次元データ領域と、前記描画対象に関連づけられた付帯情報に対して前記描画制御部により決定された付帯情報の位置の情報に基づき描画される付帯情報領域を統合することにより、前記表示部に表示する出力画像を生成し、前記表示部は前記描画された出力画像を表示する。

Description

画像表示装置、方法及びプログラム

　本発明は、画像表示装置に関し、特に、ＭＲＩ（Magnetic Resonance Imaging）装置（核磁気共鳴画像診断装置）、ＣＴ（Computed Tomography）装置（コンピュータ断層撮影装置）などの医用画像撮像装置によって収集された３次元データを用いて３次元医用画像を描画する際の画像表示技術に関する。

　近年、ＭＲＩ装置、ＣＴ装置などの医用画像撮像装置の高機能化に伴い、大量の断面像（断面画像）を収集できるようになった。また、医用画像表示装置の高機能化に伴い、断面像からの３次元データ生成、３次元データからの医用画像の描画、および医用画像に対する画像処理を高速かつ高精度に行うことができるようになった。

　医用画像を用いた読影（医用画像に基づく診断）を行う際には、形態学的な知見を用いるために、３次元データから生成された３次元医用画像を、立体ディスプレイ上に表示することで立体視することも可能である。このとき、医用画像撮像装置から収集された断面像には含まれていない、ＲＯＩ（Region of Interest：関心空間）や所見などのアノテーション（注釈、annotation）、マウスカーソル、計測ツール、さまざまな文字情報といった付帯情報を、３次元医用画像に重畳表示する場合がある。このとき付帯情報の配置を適切に行わないと、３次元医用画像の立体感を損なったり、付帯情報の視認性が低下したりするおそれがある。

　３次元医用画像を立体視表示する際の付帯情報の配置に関して、特許文献１は、２次元断面像で付加した矢印状のアノテーションに関して、３次元画像の座標系における位置を特定し、立体視表示を行うための各眼用の視差画像の対応する位置に付加することで、３次元画像にアノテーションを重畳して立体視表示するものである。

　また特許文献２では、立体画像中でのスケール値に応じた左眼用及び右眼用スケール（目盛）を、それぞれ左眼用及び右眼用視差画像に含ませて表示することにより、立体スケールを立体画像に重畳する立体視方法が提案されている。

特開２０１１－２０６１６７号公報特開２００５－１３６７２６号公報

　３次元医用画像に付帯情報を重畳して立体ディスプレイに表示する場合、立体ディスプレイの実現方式に応じて、付帯情報を配置する奥行を、可読性や解像度が低下したり視覚疲労が増大したりしない範囲に適切に調整する必要がある。

　また、付帯情報の３次元位置を固定すると、視点位置や画面に表示する情報量に応じて、視認性が低下する場合があるため、配置を制御する際に画面内の表示位置を考慮する必要がある。

　即ち、従来技術では、３次元データに基づく医用画像および付帯情報を立体ディスプレイ上に適切に表示することができないという課題がある。

　前記課題を解決するため、本発明に係る画像表示装置は以下の構成を備える。

　即ち、描画された出力画像を表示する表示部、描画対象である３次元の信号値の配列と、３次元の信号値の配列のうち描画の対象領域を指定するマスク情報と、３次元の信号値の配列に基づく２次元画像の描画方法を指定する情報と、描画対象に関連付けられた付帯情報と、付帯情報に対して設定された配置および表示方針の情報と、表示部の特性に関する情報を格納した記憶部、マスク情報と、２次元の画像の描画方法を指定する情報と、配置および表示方針の情報と、表示部の特性に関する情報に基づき、描画対象となる３次元の信号値の座標系における付帯情報の位置を算出して記憶部に格納する描画制御部、及び、描画対象である３次元の信号値の配列のうち、マスク情報で指定された領域に対して２次元の画像の描画方法を指定する情報に基づいて描画される３次元データ領域と、付帯情報に対して描画制御部により決定された付帯情報の位置の情報に基づき描画される付帯情報領域を統合することにより、表示部に表示する出力画像を生成する描画処理部、を有する。

　本発明によれば、３次元データに基づく医用画像および付帯情報を立体ディスプレイ上に適切に表示することができる。

本発明の実施形態に係る医用画像表示装置および医用情報管理サーバの構成の概略を示すブロック図である。本発明の実施形態に係る描画要素のデータ構造を示す図である。本発明の実施形態に係る表示部の情報のデータ構造を示す図である。本発明の実施形態に係る表示部が表示する画面の例を示す図である。本発明の実施形態に係る画面と座標系の定義を示す図である。本発明の実施形態に係る付帯情報の表示・配置の取り扱いの例を示す図である。本発明の実施形態に係る付帯情報の表示・配置方針を示す図である。本発明の実施形態に係る付帯情報を含む医用画像の表示処理を示すフローチャートである。本発明の実施形態に係る付帯情報の位置決定処理の概要を示すフローチャートである。本発明の実施形態に係る奥行位置もしくは画面内位置が非固定の付帯情報の位置決定処理の処理を示すフローチャートである。本発明の実施形態に係る立体視可能な奥行の推奨範囲と有効３次元データ領域の位置関係を示す図である。本発明の実施形態に係る有効３次元データ領域とオクルージョンが発生しない領域を示す図である。本発明の実施形態に係る有効３次元データ領域と重複せずオクルージョンにより有効３次元データ領域の背面にならない領域を示す図である。本発明の実施形態に係る付帯情報の優先表示処理として大きさを変えた図である。本発明の実施形態に係る付帯情報の優先表示処理として奥行位置を変えた図である。本発明の実施形態に係る付帯情報の優先表示処理として色もしくは透明度を変えた図である。本発明の実施形態に係る付帯情報の優先表示処理として優先順位の高いものだけ表示した図である。本発明の実施形態に係る付帯情報の優先表示処理を行わない場合の例を示した図である。

　以下、本実施形態に係る医用画像表示装置および医用情報管理サーバを実施するための形態について、添付図面を参照して説明する。

　まず、図１を参照して、本実施形態に係る医用画像表示装置および医用情報管理サーバの構成について説明する。

　ＭＲＩ装置またはＣＴ装置などの医用画像撮像装置２１は、撮像によって断面像（断面上の信号値によって構成される画像）を収集し、ネットワーク２０を経由して医用情報管理サーバ１５に送信する。なお、このネットワーク２０は、例えば、病院や検査機関などのイントラネットであっても良いし、インターネットであっても良い。

　医用画像表示装置１は、医用情報管理サーバ１５に接続して、医用画像撮像装置２１が撮像した断面像、または断面像から構築した３次元データを描画して生成した医用画像などを表示し、ユーザが読影および診断情報の入力を行うためのコンピュータ装置であり、例えば、ＣＰＵ（Central Processing Unit）、メモリ、ＲＯＭ（Read Only Memory）、
ＨＤＤ（Hard Disk Drive）、入出力インタフェース、ＬＣＤ（Liquid Crystal Display）、キーボード、マウスなどから構成される。

　医用画像表示装置１は、ユーザからの入力を処理する入力部２、医用画像を表示する画面を保有する表示部３、医用情報管理サーバ１５および院内情報システム２２と情報の送受信を行う通信部４、読影依頼案件および医用情報のリスト、ユーザリストなどを管理するリスト管理部６、描画対象の管理や位置の制御などを行う描画制御部７、断面像および３次元データの変換処理や描画を行う描画処理部８、および、医用画像、描画設定、診断情報などを一時的に保存する記憶部１０を備えている。図１の例において、リスト管理部６、描画制御部７および描画処理部８は、制御部５の一部である。制御部５は、例えば、ＣＰＵがメモリに格納されたプログラムを実行することによって実現される。したがって、以下の説明において制御部５（すなわちリスト管理部６、描画制御部７、描画処理部８）が実行する処理は、実際には、メモリに格納されたプログラムに従うＣＰＵによって実行される。

　なお、医用画像表示装置１は、読影を行わず、医用画像や診断情報を閲覧することを主目的とする装置であっても良い。

　医用情報管理サーバ１５は、いわゆるＰＡＣＳ（Picture Archiving and Communication System：医用画像診断支援システム）サーバであり、医用画像、診断情報、および患者に関する情報などの医用情報を管理するもので、制御部１６、通信部１７および記憶部１８からなる。

　制御部１６は、通信部１７が受信したデータを記憶部１８が備えるデータベースへ格納する格納処理、および医用画像表示装置１からのデータ要求に応じたデータを記憶部１８が備えるデータベースから取得する検索処理などを行う。制御部１６は、例えば、ＣＰＵとメモリによって実現される。

　通信部１７は、医用画像表示装置１、医用画像撮像装置２１、および、患者、検査、会計などの情報を管理する院内情報システム２２などとデータの送受信を行う。

　記憶部１８は、医用画像撮像装置２１から収集した断面像、医用画像表示装置１で生成された医用画像、描画設定、診断情報、レポートなどの情報、および、院内情報システム２２から取得した患者に関する情報などを蓄積するデータベースを備える。記憶部１８は、例えば、ＨＤＤなどによって実現される。なお、前記のすべての情報に対するデータベースを備えた記憶部１８を持つ医用情報管理サーバ１５を用いても良いし、特定のデータベースのみを備えた記憶部１８を持つ複数の医用情報管理サーバ１５を連携して用いても良いし、同等のデータベースを保有する院内情報システム２２を連携して用いても良い。

　次に、医用画像の描画に関する情報の構成例について、図２を用いて説明する。

　図２に示す描画設定３０は、描画方法３１および描画パラメータ３２からなる情報である。

　描画方法３１は、３次元データに対して投影処理を行う方法を識別する情報である。より詳細には、３次元データに対する投影処理とは、医用画像撮像装置２１によって得られた断面像から構築された信号値（例えばＣＴ値）の３次元の配列に基づいて、２次元の画面上に画像を投影する処理である。このような投影処理を行う方法として、例えばＶＲ（Volume Rendering：ボリュームレンダリング、ＳＲ（Surface Rendering：サーフェースレンダリング）、ＭＩＰ（Maximum Intensity Projection：最大値投影法）、ＭｉｎＩＰ（Minimum Intensity Projection：最小値投影法）、またはＶＥ（Virtual Endoscopy：仮想内視鏡画像）などがある。以下、本実施形態では３次元データに対して投影処理を行う描画方法について説明する。

　描画パラメータ３２は、上記の描画方法によって２次元データを生成し、その２次元データに基づいて画像を表示するために適用されるパラメータである。具体的には、描画パラメータ３２は、対象となる値の範囲３３、および、描画方法３１に関わるその他のパラメータ３４によって構成される。

　対象となる値の範囲３３とは、医用画像撮像装置２１によって測定された信号値の範囲に対して、その他のパラメータ３４の適用対象となる信号値の範囲を限定するものである。例えば、ＣＴ値（ＣＴ装置で測定される信号値）の範囲は一般に－２０００～＋４０００程度であり、脳に対する描画パラメータ３２を設定するのであれば、対象となる値の範囲３３として６０～９０程度の信号値の範囲を指定する。範囲外の信号値に関してはその他のパラメータ３４は適用されない。

　その他のパラメータ３４は、例えば、描画方法３１がＶＲの場合には、ウィンドウレベル、ウィンドウ幅、オパシティカーブ（opacity curve、信号値に対する不透明度と色の割り当て）、光源の情報、および３次元空間における視点位置などを含む。

　描画設定３０は、特定の３次元データに依存しない情報である。すなわち、ある３次元データの描画に利用された描画設定を、それ以外の任意の３次元データに対して同様の描画を行う際に再利用することが可能である。記憶部１８等には、種々の描画方法３１と種々の描画パラメータ３２との組み合わせからなる複数の描画設定３０が格納されてもよい。

　描画要素３５は、描画対象３６および描画設定３０の組み合わせである。描画対象３６は、描画設定３０が適用される対象（すなわち描画設定３０に基づく描画の対象）を指定する情報であり、３次元データ名３７およびマスク名３８によって構成される。

　３次元データ名３７は、３次元データ（すなわち３次元の信号値の配列）を識別する情報であり、これによって、描画設定３０が適用される対象の３次元データが指定される。

　マスクは、３次元データが属する３次元空間内において描画対象領域を指定する情報であり、３次元データの各ボクセル（voxel、３次元空間における座標格子点）が描画の対象であるか否かを示す２値のデータを含む。３次元データとマスクは情報量が大きいため、本実施形態の描画対象３６はそれぞれを呼び出すキーとなる名前（すなわち３次元データ名３７およびマスク名３８）のみを含むが、描画対象３６がデータそのものを含んでも良い。

　描画要素３５は、特定の３次元データに関する情報であるため、他の３次元データへの再利用ではなく、特定の３次元データに関する描画の再現を行うために用いられる。描画設定３０に描画対象３６を割り当てることによって、描画要素３５を構成することも可能である。

　描画設定３０又は描画要素３５は描画制御部７が管理し、描画要素３５を用いて描画処理部８が描画処理を行う。描画設定３０又は描画要素３５は、描画制御部７が医用画像表示装置１の記憶部１０または医用情報管理サーバ１５の記憶部１８に保存し、必要に応じて呼び出し、そのまま用いたり、変更を加えて用いたりすることが可能である。

　また、描画設定３０又は描画要素３５は、複合的な医用画像を生成するために、それぞれ複数を組み合わせた集合として扱うことも可能である。

　複合的な医用画像とは、複数の描画設定３０または描画対象３６が混在する状態で描画を行った画像であり、３次元データまたは特定の領域ごとに異なる描画設定を用いることによって、医用画像の分かりやすさおよび読影の精度を向上することが可能である。

　ここで、読影対象の３次元データが定義された３次元座標空間において、マスク名３８で指定されたマスク領域に含まれており、かつ描画方法３１と描画パラメータ３２により、０より大きい不透明度および色を割り当てられ、描画処理の対象となるボクセル（３次元単位格子上の点）の領域を、有効３次元データ領域９１とする。例えば、図４Ａの表示物５４が有効３次元データ領域９１を描画したものである。

　次に表示部３の特性および記憶部１０に保存される表示部の情報４０の構成例について説明する。ここでは表示部３として立体表示が可能なディスプレイを用いる。立体表示の実現方式には、アナグリフ（anaglyph）や分光などの波長分割方式、シャッター眼鏡などの時分割方式、偏向、バリア（barrier）、レンチキュラ（lenticular）などの空間分割方式、IntegralPhotography、ホログラム（hologram）、重畳投影などの光線再生方式など、様々な方式がある。選択した方式により、立体視を適切に行うことが可能な飛び出し量の範囲や、奥行位置に応じた画質（画像の認識のし易さ）の変化などの特性が異なる。適正な飛び出し量の範囲を超えて表示すると、ユーザが視覚疲労を生じたり、可読性が低下したりするおそれがある。

　また立体表示の方式により表示部３へ表示する出力画像の形式、数量、生成条件などが異なるため、制御部５は出力画像を生成する際に表示部の情報４０を用いる必要がある。表示部の情報４０は記憶部１０に保存され、表示部３を接続する際に設定しても良いし、あらかじめいくつかの方式に関する複数の情報を記憶部１０に蓄積しておき、必要に応じて切り替えても良い。

　さらに、表示部３として立体表示できないディスプレイを用いることも可能であり、このとき表示部の情報４０としては立体表示が不可であるという情報を含み、本実施例で述べる描画手順により描画された出力画像を、立体表示せずに表示することも可能である。

　図３は記憶部１０に保存される、立体視表示が可能な表示部の情報４０の例である。表示部の情報４０は、画像形式４２、画像枚数４３、画像生成条件４４などの立体視に必要となる出力画像の情報４１と、文字情報および図形情報それぞれに対する、適切に立体視可能な奥行値の推奨範囲４５とを含む。さらに表示部３の画面５０に垂直なｚ軸７２上の奥行値により画面５０に平行なｘ－ｙ平面上の画質（画像の認識のし易さ）が変化する場合は、その情報を含んでも良い。描画制御部７は、配置が可変である描画対象に関して、配置を決定する際に、記憶部１０に保存された表示部の情報４０を参照し、立体視可能な奥行値の推奨範囲４５内において配置を行い、画像形式４２で指定された形式の画像を、画像枚数４３で指定された数量で画像生成条件４４に従い描画を行う。

　次に、図４Ａを用いて表示部３の画面５０と付帯情報の例について説明する。表示部３に表示される画面５０は、全体を立体表示しても良いし、画面内の一部分だけ立体表示しても良い。図４Ａでは一部分に立体画像表示領域５１を設けている例であり、立体画像表示領域５１以外にも、断面像表示領域５２や、さまざまな操作メニューやライブラリ、設定内容などを表示するツール領域５３などを含む。立体画像表示領域５１内には、描画要素３５に基づき描画された医用画像（即ち、表示物）５４を立体表示する。ここで、立体画像表示領域５１内に表示する、描画要素３５から生成された医用画像５４以外のすべての情報を付帯情報とする。付帯情報の例として、ユーザが入力操作を行うマウスカーソル６０、患者や検査、描画設定に関する文字情報、３次元データの値に対する色の割当を示すカラースケール、医用画像の大きさを示すサイズスケール、医用画像の特定の位置に割り当てたマーカ５５やＲＯＩ５６、５７、２点間距離や周囲長、面積、体積などを測る計測ツール５９、診断所見などのコメント５８、見ている方向を示す姿勢情報などがある。これらの付帯情報は、描画要素３５に含まれている情報や、ユーザが付与して記憶部１０に蓄積された情報などにより生成される。

　付帯情報は、立体画像表示領域５１内に表示する際に、奥行位置を設定して描画を行う必要がある。ただし３次元データから医用画像５４を生成する投影方法はＶＲ（Volume Rendering）など読影に用いるための特殊な方法である場合が多く、付帯情報はポリゴンレンダリング（polygon rendering）など別の方法で描画する必要がある。そこで、特開２００４－８６４２８号公報のように３次元データと付帯情報それぞれに対して別々に出力画像と奥行画像（出力画像中の各画素について、その画素値を算出する投影光線上において、有効３次元データ領域９１のうち最も手前側にあるボクセルのｚ軸７２の値を記録したもの）を生成し、奥行画像を参照しながら重ね合せる方法が提案されている。本画像表示装置１においても、描画処理部８が奥行画像を用いて出力画像の統合処理を行うものとする。ただし３次元データに付帯情報を重畳して出力画像を生成する方法は、これ以外の方法を用いても良い。

　付帯情報を表示する位置の取り扱いは、付帯情報の性質により異なる。付帯情報の性質は、付帯情報種別５０１、付帯情報の（表示）形式５０２、画面内の位置５０３、及び３次元データ座標との位置の関連５０４からなる。

　図５に付帯情報の性質に応じた表示位置の取り扱いの例を示す。例えば、患者や検査、描画設定に関する文字情報や、カラースケール（color scale）、サイズスケール（size scale）、姿勢情報などは、医用画像５４の表示位置に依存しない情報であるため、立体画像表示領域５１内の特定の位置に固定した方が見やすいと考えられる。ただし、ここで固定とするのは、図４Ｂに示すように、画面５０に平行なｘ軸７０とｙ軸７１を定めたｘ－ｙ平面内での位置であり、奥行に相当するｚ軸７２上の位置は変更しても良い場合がある。また必要に応じて表示のオンとオフを切り替えても良い。

　それぞれの付帯情報には、図５に示した例のような、付帯情報の配置・表示方針８０を割り当てて付帯情報と共に記憶部に保存する。付帯情報の配置・表示方針８０の構成例を図６に示す。この情報は、あらかじめシステム管理者などが設定しておいても良いし、ユーザが個別に設定を変更しても良い。また、付帯情報の種別ごとに一括して割り当てても良いし、一つ一つの付帯情報ごとに設定を変えても良い。

　付帯情報の配置・表示方針８０は、奥行位置の固定／非固定８１、画面内位置の固定／非固定８２、表示/非表示の切替可否８３、表示優先度８４、３次元データの特定の座標位置もしくは他の付帯情報との関連性８５、ユーザ操作との関連性８６、及び３次元データとのオクルージョン（occulusion）処理８７からなる。図６の項目８１～８４及び８６は、図５の画面内の位置５０３に対応し、項目８５は、図５の３次元データ座標との位置の関連５０４に対応する。

　奥行位置の固定／非固定８１とは、表示部の画面に垂直なｚ軸上の位置を固定するか否かを設定するものである。画面内の位置の固定／非固定８２とは、表示部３の画面５０に平行なｘ－ｙ平面上の位置を固定するか否かを設定するものである。それぞれ固定である場合には、推奨される座標値も記憶部１０に保存する。表示優先度８４とは、常に表示する、表示可能領域があれば表示する、同じ種別の付帯情報が複数ある場合には優先度に応じて優先表示を行う、などの優先度に応じた表示方法に関する情報を含み、いずれか１つを選択するのではなく、複数の表示方法を組み合わせても良い。

　３次元データの特定の座標位置もしくは他の付帯情報との関連性８５とは、例えばＲＯＩなどのように３次元データの特定の座標位置上に重畳して表示する場合や、コメントなどのように３次元データの特定の座標位置もしくは他の付帯情報に対して引き出し線などを引いた上で近くに表示する場合などがある。ユーザ操作との関連性８６とは、例えばマウスカーソル６０のようにユーザのマウス入力に従い位置が決まるものであれば、関連ありとなる。

　３次元データとのオクルージョン処理８７とは、付帯情報に対して適切に立体表示可能な奥行の推奨範囲４５内で配置を行ったときに、３次元データ領域との重複やオクルージョン（occulusion, 手前の物体に遮られて奥の物体が見えなくなる状態）が発生して付帯情報よりも手前側に３次元データが表示される場合、３次元データの立体感を損なわないために付帯情報の可視性が阻害されるがそのまま表示するか（立体感優先）、付帯情報の可視性を優先するためにボリュームデータの立体感を損なうが付帯情報を優先して表示するか（情報表示優先）を設定するものである。なお立体感優先と設定した場合にも、ユーザのマウスクリック（mouse click）やマウスオーバー（mouse over）などの操作により一時的に付帯情報を優先表示しても良い。

　次に、本実施例による医用画像表示装置１を用いてユーザが付帯情報を含む医用画像の表示を行う流れの例と、描画制御部７が行う付帯情報の位置決定処理について、図７を用いて説明する。ここで、ユーザとしては、読影依頼を受けた放射線科の読影医師などを想定している。

　医用画像表示装置１の入力部２がユーザからのログイン処理を受け付けると、リスト管理部６がユーザリストに基づいてユーザ認証処理を行う（Ｓ１００）。リスト管理部６が読影依頼案件のリストを生成し、ユーザが読影対象の情報を選択する（Ｓ１０２）。ここで、読影対象の情報としては、医用画像撮像装置２１で収集された断面像集合、断面像集合を用いてあらかじめ構成された３次元データ、３次元データに対して描画を行った医用画像などを想定している。また、ユーザが患者名、検査名、画像集合名などをキーとして医用情報管理サーバ１５が蓄積する情報を検索することによって読影対象の情報を選択することも可能である。

　通信部４はユーザの選択に従い医用情報管理サーバ１５へデータ要求を送信する。医用情報管理サーバ１５は要求された情報（すなわちユーザによって選択された読影対象の情報）を記憶部１８から検索して取得し、適合する情報を通信部１７から医用画像表示装置１へ送信する。医用画像表示装置１の通信部４が読影対象の情報を受け取ると、該情報が断面像集合であった場合には、描画処理部８が断面像集合から３次元データを構成し、記憶部１０に蓄積する（Ｓ１０４）。このとき、読影対象に関連付けられたＲＯＩや診断所見などの付帯情報がある場合には、同時に医用情報管理サーバ１５から取得し、記憶部１０に蓄積する。

　次に、表示部３が保有する画面５０のツール領域５３を用いて、図２に示す、描画方法３１、描画パラメータ３２、読影対象の３次元データ名３７、およびマスク名３８の組合せからなる描画要素３５をユーザが設定する（Ｓ１０６）。この描画要素３５と、立体視に必要となる出力画像の情報４１に基づき、描画処理部８が３次元データの出力画像と奥行画像の描画を行い、記憶部１０に保存する（Ｓ１０８）。立体視に必要となる出力画像の情報４１が例えば左右眼画像２枚となっている場合には、右目用および左目用の視点位置から投影処理を行い、それぞれ２枚ずつの出力画像と奥行画像が描画される。

　また、この描画の過程において、描画処理部８が有効３次元データ領域９１の算出も行い、記憶部１０に蓄積する。ここで、有効３次元データ領域９１のｚ軸７２上の手前側が、表示部３の立体視可能な奥行値の推奨範囲４５を超える場合に、描画制御部７がｚ軸７２上の位置を画面５０の奥側へシフトさせても良い。また、ユーザが描画設定３０に含まれる視点位置もしくは３次元データの表示位置の移動操作を行うことにより、この状態を回避することも可能である。

　次に、描画制御部７が、有効３次元データ領域９１と、３次元データに関連付けられた付帯情報と、各付帯情報の配置・表示方針８０を記憶部１０より取得し、各付帯情報の描画可否と３次元空間における位置を決定する（Ｓ１１０）。このとき各付帯情報の配置・表示方針８０は、医用情報管理サーバ１５より付帯情報と共に取得した場合にはそれを用い、付帯情報に付与されていない場合には、記憶部１０に蓄積されている付帯情報の種別５０１ごとに割り当てられた初期設定を用いる。位置決定の手順については後で詳しく述べる。

　この描画制御部７が決定した付帯情報の位置と、立体視に必要となる出力画像の情報４１に基づき、描画処理部８が付帯情報の出力画像と奥行画像の描画を行い、記憶部１０に保存する（Ｓ１１２）。また、付帯情報の配置・表示方針８０の設定において３次元データとのオクルージョン処理８７が情報表示優先となっている付帯情報がある場合は、各画素が付帯情報の表示を優先する領域であるか否かを２値で示す優先表示情報（ビット情報）も生成する。優先表示情報は、各画素のデータに対応して保持される。

　次に、描画処理部８が３次元データおよび付帯情報の奥行画像を参照しながら、各画素に関して奥行画像の値（ｚ）が大きい方（前面に表示される方）を表示対象とし、そちらの出力画像の画素値を表示部３へ出力する出力画像の画素値としてコピーするという統合処理を行う（Ｓ１１４）。このとき、先に述べた優先表示情報が存在する場合には、付帯情報を優先表示するとされた画素については、奥行画像によらず付帯情報の出力画像の画素を用いるものとする。

　描画処理部８は、統合した出力画像を表示部３へ出力し、表示部３が画面５０内の立体画像表示領域５１に表示する（Ｓ１１６）。

　この表示された立体画像に対して、ユーザが設定の変更や付帯情報の追加などの操作を行った場合には、必要に応じてステップＳ１０８もしくはＳ１１０以降の処理を再度行う。

　次に、付帯情報の位置決定処理（Ｓ１１０）について、図８を用いて説明する。まず描画制御部７は、描画処理部８により生成された有効３次元データ領域９１と、３次元データに関連する付帯情報と、各付帯情報の配置・表示方針８０を記憶部１０より取得する（Ｓ２００）。次に付帯情報群から１つを選択し（Ｓ２０２）、奥行位置もしくは画面内位置が固定であるか否かを調べる（Ｓ２０４）。いずれかが非固定であれば、描画制御部７が位置決定処理を行う（Ｓ２０６）。この処理の詳細については、さらに後で述べる。

　次に、ステップＳ２０２において奥行位置が固定であり、推奨値が設定されている場合に、描画制御部７が表示部３の立体表示可能な奥行の推奨範囲４５に含まれているかどうかを調べ（Ｓ２０８）、範囲外であった場合には、付帯情報の奥行位置を立体表示可能な奥行の推奨範囲４５内に補正する（Ｓ２１０）。

　位置が未設定の付帯情報がある場合には（Ｓ２１２）、ステップＳ２０２～Ｓ２１０の処理を繰り返し、すべての配置が終了した後に、描画処理部８が描画を行う（Ｓ１１２）。

　奥行位置もしくは画面内位置が非固定の付帯情報の位置決定処理（Ｓ２０６）について、図９から図１１を用いて詳しく述べる。まず、描画制御部７は、図１０Ａに示すように、ｚ軸７２の値が立体視可能な奥行の推奨範囲４５内である３次元領域について、図１０Ｂのように、有効３次元データ領域９１とオクルージョンが発生しない領域９２、もしくは、図１０Ｃのように、有効３次元データ領域９１と重複せずオクルージョンにより有効３次元データ領域９１の背面にならない領域９３のいずれかを、配置可能領域として記憶部１０に保存する（Ｓ３００）。両者のどちらを用いるかは、配置すべき付帯情報の量や立体画像表示領域５１の大きさなどを考慮して、自動的もしくはユーザ設定により選択しても良い。

　次に、描画制御部７が付帯情報の配置・表示方針８０を参照して、ユーザ操作と関連ありの場合は、マウス入力に応じた位置に付帯情報を配置する（Ｓ３０４）。このときマウス入力により決まるのはｘ－ｙ平面内の２次元座標であり、ｚ軸７２上の奥行位置は他の手段を用いて設定するか、立体視可能な奥行の推奨範囲４５内で最も画質（画像認識のし易さ）が向上する位置に設定するものとしたり、飛び出し量０（すなわちｚ＝０）としたりしても良い。

　付帯情報の表示優先度８４の設定において「配置可能領域があれば表示」となっている場合には（Ｓ３０６）、配置可能領域内にこの付帯情報を配置することができるか、即ち、配置可能領域内に付帯情報を配置できるスペースがあるかどうかの判定を行う（Ｓ３０８）。また表示優先度８４の設定において「優先順に応じた優先処理を行う」となっている場合には（Ｓ３１０）、描画制御部７が、記憶部１０より、表示すべき付帯情報のうち同種の付帯情報をすべて取得し、付帯情報の重要度や付帯情報をユーザが付与した際の描画設定３０の類似度などを基準に優先順位付けを行い、優先順位の高い付帯情報ほど視認性が高まるように表示方法を設定する（Ｓ３１２）。

　図１１Ａ～１１Ｄおよび図１２に、優先度に応じて視認性が高まる表示方法の例を示す。図１２において、コメント１１０１、１１０４を二重斜線、ドット、又は白抜きの領域で示し、マーカ１１０２を黒丸で示し、他の表示物で隠れたマーカ１１０３を破線の丸で示し、表示物１１０５を太線で囲って示している。図１２ではコメント１１０１、１１０４をすべて同じ大きさで最前面に表示している。ここでコメントの優先度に関して、１１０１ａ、１１０１ｂ、１１０４の順に優先度が低くなるものとして、表示方法を変えた例を図１１Ａ～１１Ｄに示す。図１１Ａは優先度に応じてコメントを表示する大きさを変えた場合であり、優先度が高いコメントほど大きく表示される。小さく表示されるコメントは、表示する文字数を減らすか、もしくは文字の大きさを小さくするなどの方法により表示内容を調整する。図１１Ｂは優先度に応じてコメントを表示する奥行を変えた場合であり、優先度が最も高いコメント１１０１ａのみが最前面となり、他の１１０１ｂおよび１１０４は表示物１１０５の背面に表示している。図１１Ｃは優先度に応じてコメントの色や透明度を変えた場合であり、図１１Ｄは優先度が最も高いコメント１１０１ａだけを表示した場合を示す。なお優先度が低いコメントについて、ユーザのマウスクリックなどの選択操作により、表示状態を変更することが可能である。

　また、マーカやＲＯＩなど付帯情報の位置が３次元データの特定の座標に関連がある場合には（Ｓ３１４）、描画制御部７が３次元データの特定の座標に対応する位置を設定する（Ｓ３１６）。さらに、マーカやＲＯＩに対して付与されたコメントなど、他の付帯情報に関連がある場合には（Ｓ３１８）、描画制御部７が、付帯情報とその対象となる付帯情報との間に引き出し線を追加して関連性を示し、配置可能領域内で対象付近の位置を設定する（Ｓ３２０）。

　以上の手順により、立体視可能な奥行の範囲内で付帯情報の配置を行う。

１：医用画像表示装置、３：表示部、５：制御部、６：リスト管理部、７：描画制御部、８：描画処理部、１０：記憶部、１５：医用情報管理サーバ、
１８：記憶部、２０：ネットワーク、２１：医用画像撮像装置、２２：院内情報システム、３０：描画設定、３１：描画方法、３２：描画パラメータ、３３：対象となる値の範囲、３５：描画要素、３６：描画対象、３７：３次元データ名、３８：マスク名、
４０：表示部の情報、４１：立体視に必要となる出力画像の情報、４２：画像形式、
４３：画像枚数、４４：画像生成条件、４５：立体視可能な奥行位置の推奨範囲、
４６：文字情報の範囲、４７：図形情報の範囲、５０：画面、５１：立体画像表示領域、５２：断層像表示領域、５３：ツール領域、５４：医用画像、５６：ＲＯＩ（２次元）、
５７：ＲＯＩ（３次元）、５８：コメント、５９：計測ツール、６０：マウスカーソル、
７０：Ｘ軸、７１：Ｙ軸、７２：Ｚ軸、８０：付帯情報の表示・配置方針、
８１：奥行位置の固定／非固定、８２：画面内位置の固定／非固定、８３：表示/非表示の切替可否、８４：表示優先度、８５：元データの特定の座標もしくは他の付帯情報との関連性、８６：ユーザ操作との関連性、８７：３次元データとのオクルージョン処理、
９１：有効３次元データ領域、９２：有効３次元データ領域とオクルージョンが発生しない領域、９３：有効３次元データ領域と重複せずオクルージョンにより有効３次元データ領域の背面にならない領域。

Claims

　画像表示装置であって、
　描画された出力画像を表示する表示部、
　描画対象である３次元の信号値の配列と、前記３次元の信号値の配列のうち描画の対象領域を指定するマスク情報と、前記３次元の信号値の配列に基づく２次元画像の描画方法を指定する情報と、前記描画対象に関連付けられた付帯情報と、前記付帯情報に対して設定された配置および表示方針の情報と、前記表示部の特性に関する情報を格納した記憶部、
　前記マスク情報と、前記２次元の画像の描画方法を指定する情報と、前記配置および表示方針の情報と、前記表示部の特性に関する情報に基づき、描画対象となる３次元の信号値の座標系における付帯情報の位置を算出して前記記憶部に格納する描画制御部、及び
　前記描画対象である３次元の信号値の配列のうち、前記マスク情報で指定された領域に対して前記２次元の画像の描画方法を指定する情報に基づいて描画される３次元データ領域と、
前記付帯情報に対して前記描画制御部により決定された付帯情報の位置の情報に基づき描画される付帯情報領域を統合することにより、前記表示部に表示する出力画像を生成する描画処理部、を有することを特徴とする画像表示装置。
　前記表示部は、立体視表示を行う機能を有し、
　前記記憶部に含まれる前記表示部の特性に関する情報は、
　前記表示部で立体視表示を行うために必要となる画像の形式、数量及び画像生成条件と、前記表示部において立体視を行う際の奥行位置の範囲に関する情報と、特定の奥行位置に関する情報を含むことを特徴とする請求項１に記載の画像表示装置。
　前記描画制御部は、前記表示部の特性に関する情報と、前記配置および表示方針の情報に基づいて
　前記付帯情報の位置を算出することを特徴とする請求項1に記載の画像表示装置。
　前記配置および表示方針を指定する情報は、
　前記付帯情報に関して、前記表示部の画面に対して垂直な軸上の奥行位置の固定もしくは非固定と、前記表示部の画面内位置の固定もしくは非固定と、前記付帯情報が関連付けられた描画対象に含まれる特定の座標位置、もしくは他の付帯情報のとの関連性の有無、からなる配置方針の情報と、
　前記付帯情報の表示可否の判断あるいは所定の優先処理を行う基準となる優先度と、前記３次元データ領域と付帯情報領域において領域の重複もしくはオクルージョンが発生する場合の処理からなる表示方針の情報とを含むことを特徴とする請求項１に記載の画像表示装置。
　前記描画制御部における付帯情報の位置の算出は、
　前記付帯情報に対して設定された配置および表示方針の情報において、
　前記表示部の画面に対して垂直な軸上の奥行位置が非固定、かつ前記表示部の画面内位置が固定と設定された付帯情報に対して、前記表示部の特性に関する情報において指定された奥行位置の範囲内であって、
　ボリュームデータ領域よりも手前側の範囲内で、前記表示部の特性に関する情報において前記特定の奥行位置が規定されている場合には、前記奥行位置に最も近い奥行位置とし、前記特定の奥行位置が規定されていない場合には、前記ボリュームデータ領域に最も近い手前側の奥行位置とすることを特徴とする請求項４に記載の画像表示装置。
　前記描画制御部における付帯情報の位置の算出は、
　前記付帯情報に対して設定された配置および表示方針の情報において、
　前記表示部の画面に対して垂直な軸上の奥行位置が非固定、かつ前記表示部の画面内位置が非固定、かつ前記付帯情報が関連付けられた描画対象に含まれる特定の座標位置もしくは他の付帯情報との関連性があると設定された付帯情報に対して、引き出し線を含む付帯情報を付加することにより前記特定の座標位置もしくは他の付帯情報との関連性を示した上で、前記描画制御部により位置の設定を行うことを特徴とする請求項４に記載の画像表示装置。
　前記描画制御部は、
　前記付帯情報に関する優先度の情報が、表示可能な領域があれば描画処理に含めるとされている付帯情報が存在する場合に、前記３次元データ領域を用いて描画した深度画像から、特定の奥行位置において、前記付帯情報を配置した場合に３次元データ領域と重複しない領域と、３次元データ領域とオクルージョンが発生しない領域の少なくとも一方を算出して付帯情報配置可能領域とし、前記付帯情報配置可能領域の形状に基づき付帯情報の表示の可否や配置を決定することを特徴とする請求項１に記載の画像表示装置。
　前記描画制御部は、
　前記付帯情報に関する優先度の情報が、優先順位に従い優先表示を行うとされている付帯情報が複数存在する場合に、前記付帯情報を付与した際の、前記２次元画像の描画方法を指定する情報を、前記付帯情報に関連付けて前記記憶部に保存し、
　前記制御部は、前記付帯情報に関連付けて保存された前記３次元の信号値の配列に基づく２次元画像の描画方法と、現在表示している前記３次元の信号値の配列に基づく２次元画像の描画方法との類似度に応じて前記付帯情報を優先的に表示することを特徴とする請求項１に記載の画像表示装置。
　前記３次元データ領域と前記付帯情報領域において、領域の重複もしくはオクルージョンが発生する場合の処理は、
　前記３次元データ領域が前記付帯情報領域よりも手前側に存在する場合には、前記２次元画像の各画素に関してそれぞれの深度画像で示される奥行が手前にある方の２次元画像の画素を用いて出力画像を生成するか、前記付帯情報の領域に関して深度画像を参照せずに前記付帯情報から生成された２次元画像の画素を用いて出力画像を生成するかを選択し、
　前記付帯情報の表示を優先する付帯情報が存在する場合には、前記描画処理部において、付帯情報領域から前記２次元画像および深度画像に加えて、各画素が優先表示領域であるか否かを２値で示す優先表示画像を生成して、前記出力画像の統合を行うことを特徴とする請求項１に記載の画像表示装置。
　記憶部、描画制御部、描画処理部および表示部を備える画像表示装置が実行する画像表示方法であって、
　前記記憶部は、描画対象である３次元の信号値の配列と、前記３次元の信号値の配列のうち描画の対象領域を指定するマスク情報と、前記３次元の信号値の配列に基づく２次元画像の描画方法を指定する情報と、前記描画対象に関連付けられた付帯情報と、前記付帯情報に対して設定された配置および表示方針の情報と、前記表示部の特性に関する情報を格納し、
　前記描画制御部は、前記マスク情報と、前記２次元の画像の描画方法を指定する情報と、前記配置および表示方針の情報と、前記表示部の特性に関する情報に基づき、描画対象となる３次元の信号値の座標系における付帯情報の位置を算出して前記記憶部に格納し、
　前記描画処理部は、前記描画対象である３次元の信号値の配列のうち、前記マスク情報で指定された領域に対して前記２次元の画像の描画方法を指定する情報に基づいて描画される３次元データ領域と、
　前記付帯情報に対して前記描画制御部により決定された付帯情報の位置の情報に基づき描画される付帯情報領域を統合することにより、前記表示部に表示する出力画像を生成し、
　前記表示部は、前記描画された出力画像を表示することを特徴とする画像表示方法。
　画像表示装置が実行するプログラムであって、前記プログラムは請求項１０記載の画像表示方法を実行することを特徴とするプログラム。
　計算機で読み取り可能な記憶媒体であって、前記記憶媒体は請求項１０記載の画像表示方法を実行するためのプログラムを格納したことを特徴とする記憶媒体。