JP4377464B2

JP4377464B2 - 像表示装置

Info

Publication number: JP4377464B2
Application number: JP33234398A
Authority: JP
Inventors: エイイーリボズタンク; アールキャロルティモシー
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1997-11-26
Filing date: 1998-11-24
Publication date: 2009-12-02
Anticipated expiration: 2018-11-24
Also published as: DE69836255T2; DE69836255D1; JPH11313816A; US6369812B1; EP0919956A2; EP0919956A3; EP0919956B1; ATE343829T1

Description

【０００１】
【発明の属する技術分野】
本発明は、像表示装置に係る。本発明は、医療診断像の三次元表示をリモートビデオモニタに形成することに関連して特に使用することができ、これについて特に説明する。より詳細には、本発明は、腸や気管支や動脈等の器官の内部空洞を対話式に目に見えるようにすることに係る。しかしながら、本発明は、パイプや密封されや容器のような器官以外の物体の内部空洞を仮想的に目に見えるようにするといった他の分野にも適用できることが明らかである。更に、本発明は、種々の像形成手段、例えば、ＣＴスキャン、磁気共鳴像形成及び超音波によって収集したデータから三次元診断像を発生することについて広く適用できる。
【０００２】
【従来の技術】
従来、気管支や食道や胃のような器官の内部又はその通路を見るために内視鏡が使用されている。内視鏡は人体内の内部空洞に通され、内部のリアルタイム、高解像度の視野を与えることができる。これらの視野は、後で観察するためにビデオテープに記録される。更に、ビデオの像を遠隔位置へ電子的に送信することができる。しかしながら、内視鏡検査及びそのビデオ記録には多数の欠点がある。内視鏡は、オペレータ及び遠隔の観察者に、限定された視野しか与えず、逆方向に検討することができない。内視鏡検査に伴う別の問題は、体外への開口をもたない空洞には使用できないことである。この点について、可能であれば、内視鏡を入れられるように、ある空洞を外科手術で設けねばならない。更に、内視鏡検査は、不快であるか又は痛みを伴うので、患者の不快感を減らすためにある種の鎮静又は麻酔手順を必要とする。
【０００３】
Ｘ線を用いたコンピュータ断層撮影（ＣＴ）スキャナの使用も、内部空洞の限定された検査しか与えない。ＣＴスキャナは、対象物の平面領域を種々の角度から照射し、そして貫通する放射線の強度を検出する。角度及び放射線強度情報から、平面の二次元像表示が再構成される。典型的な像表示は、５１２ｘ５１２ピクセルアレーを含むが、それより小型及び大型のアレーも知られている。白黒像の場合には、各ピクセルは、そのピクセルにおいて表示されるべきグレースケールを表わす対応値又は数字を有する。三次元像形成の場合には、複数の切片、例えば、６０個の密接に隣接する平行な切片が形成され、その各々がピクセル値の５１２ｘ５１２アレーで表わされる。多数の切片のピクセル値は、５１２ｘ５１２ｘ６０ピクセルアレーとして処理されるか、又は三次元の像データとして処理される。種々の平面又は他の表面を三次元データにより定義しそして表示することができる。しかしながら、一連の切片から三次元空洞の内部を映像化することは困難である。
【０００４】
映像化を改善する努力において、任意の切断面に沿って対象物を検査できるようにする三次元表示を発生するための技術が開発されている。これらの技術では、適当な平面及び表面を選択して、人体の空洞の内面を見ることができる。即ち、食道の長さにわたる切片像を形成することができる。このような切片を処理して、器官の内部円筒長さの半分の内面を露呈することができる。一般に、このような三次元表示は、延長された表面のみの表示を含み、観察者は、適当な平面又は表面により対象物の切断部を通る対象物の大部としてそれを見る。
表示のためのピクセル値を発生するために、三次元データの各ピクセル値が検査される。各データ値は、合成像においてそれが出現するかどうか決定するために検査される。出現する各データ値は、他のデータ値に対して評価され、もしあればそれが像に対してどんな貢献をするか決定する。どのデータ値も、それが出現しないときに容易に放棄することはできない。特に、空気は、黒のピクセル値特性を生じさせる。空気は観察者にとって透明であるから、空気を表わす値のピクセルの影に隠れたピクセルからの値が出現し、従って、表示されねばならない。同様に、特性ピクセル値又はＣＴ番号を有する他の形式の組織も、透明と定義され、視野から除去される。従って、データ内のピクセルの位置だけでは、ピクセル値が像に出現するかどうか決定できない。むしろ、各ピクセル値は、それを取り巻くピクセルの環境において考慮されねばならない。これは、計算上、非常に時間浪費である。５１２ｘ５１２ｘ６０ピクセルデータセットは、ほぼ１６００万個のピクセルを含むことに注意されたい。種々の技術が開発されているが、その多くはアプリケーション指向のものであり、即ち切断面又は観察スクリーンまで投影してそれらの貢献を決定するために得られる全てのピクセルのサブセットを減少し又は識別するためのものである。
【０００５】
深さを映像化するために、各点において表面に正接する角度が推定され、そして所定の照明点に対して正接する表面の角度に基づいて陰影が追加される。白黒ＣＴ像においては、光源に対してどれほど垂直に近いかに比例して各ピクセル値の白に対する輝度を増加し、そして正接面が光源からどれほど離れて面しているかに比例して黒のスケールを増加することにより、陰影が追加される。例えば、正接面と光源との間の角度のサイン／コサインに比例するグレースケール値を各ピクセル値と合成することができる。
三次元表示がスクリーンに表示されると、異なる方向からそれを観察することがしばしば効果的である。例えば、臨界表面部分が部分的に覆い隠されるか、又は外科手術を開始する前に背面から見ることが必要となる。新たな観点については、プロセス全体が新たに繰り返される。効率的には、三次元体積内の全てのデータが観察スクリーンに対して適切な向きに回転され、そして各ピクセルの貢献が再評価のためにスクリーンの平面まで投影される。データがスクリーンまで投影される前にデータに対するスクリーンの適切な位置を得るために全てのデータが回転又はシフトされる。ほぼ１６００万個のデータピクセルのシフト及びもし必要であればデータの補間は、処理時間を更に増加させる。
【０００６】
【発明が解決しようとする課題】
ＣＴデータをキーフレーム技術で観察することは、内部空洞の映像化において更に別の改善をもたらす。１つのキーフレーム技術においては、オペレータは、ソフトウェアを用いて、データを通して移動しそしてある視点からある方向に像をレンダリングする。オペレータは、アニメーションとして順次見ることのできる一連の像を発生する。キーフレームアニメーションに伴う問題の幾つかは、内視鏡調査の映像記録の場合と同じである。二次的な観察者は、限定された視界しかなく、最初のオペレータにより選択されたキーフレームに限定される。更に、このような調査は、ネットワークにおいて使用するには著しく大きく且つ厄介なものである。
【０００７】
内部空洞を映像化する別の技術は、キーフレームアニメーションの形式の前方探索仮想内視鏡である。ソフトウェアパッケージを使用して、オペレータは空洞又は通路内の経路を選択する。その経路に沿って順次の前方探索観察像即ちキーフレームが発生されそして表示される。この前方探索仮想内視鏡も、実際の内視鏡と同じ幾つかの問題で悩まされている。即ち、二次的な観察者は、視野が限定されると共に、前方探索観察像のみに制限される。加えて、仮想内視鏡調査は、膨大な量のデータを発生し、それらの送信においてネットワークリソースに負担をかけ、ダウンロードに著しい時間を必要とし、そしてそれらを記憶するのに著しいリソースを必要とする。データセットから作成された調査結果を見るためには、全映像シーケンスを最初に最初にダウンロードしてから像を見なければならない。仮想内視鏡映像のデータ圧縮は、ネットワークを経て高速送信及び円滑な再生を行うことができるが、像の質を著しく悪化する。
【０００８】
前方探索仮想内視鏡は、キーフレームアニメーションの外部の像を捕らえることにより改善することができる。この技術においては、放射線医師が像捕獲のキーフレームアニメーション規範を離れて、器官を通る視線に例えば垂直な構造を捕獲するために手で方向付を変える。これも又問題である。第１に、仮想内視鏡像のシーケンスを構成しながら観察像を捕獲することは困難であり且つ時間がかかる。第２に、器官構造体を充分にカバーしそしてその後にカメラの方向を変えて元の経路を回復するのに必要な頻繁な再方向付けにおいて器官の視野―空間関係がある程度失われる。従って、捕獲シーケンスが委ねられた放射線医師は、手で誘導して仮想内視鏡データベースに像を捕獲しそしてその後にレンダリングカメラの方向を変えることが本来困難であるために、診断の信頼性にとって極めて重要な幾つかの観察像を捕獲しないおそれが生じる。
【０００９】
【課題を解決するための手段】
本発明によれば、診断像形成装置は、三次元像表示を与える。この装置は、三次元体積を表わす像データを記憶するための像データメモリと、その記憶された像データを選択的にアクセスするための像データメモリアクセス装置とを備えている。観察像レンダリング装置は、三次元体積内の視点の周りの全視野空間を全体でカバーする複数の観察像をレンダリングする。観察像コンポーザーは、複数の観察像を、視点の周りの全視野空間をカバーする完全な像へと合成する。マッピング装置は、完全な像を球状のパノラマ像へとマッピングする。映像プロセッサは、球状のパノラマ像の一部分をディスプレイに表示する。
本発明の別の特徴によれば、像データの三次元アレー内の視点からの内部球状観察像がコンピュータを用いて発生される。視点の周りの全球状空間を全体でカバーする複数の二次元アレーが形成される。複数の二次元アレーの少なくとも１つが複数の第１の多角形アレーに分割される。これら複数の第１の多角形アレーは、複数の第２の多角形アレーへとスケーリングされる。これらの複数の第２の多角形アレーと、複数の二次元アレーの一部分は、視点の周りの全球状空間をカバーする完全な二次元アレーを形成するように合成される。この完全な二次元アレーは、球状の観察像へとマッピングされる。マッピングされた完全な二次元アレーの少なくとも一部分は、人間が読めるディスプレイに像ピクセルとして表示される。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して、本発明を一例として説明する。
図１を参照すれば、対話型の仮想内視鏡システム１０は、検査領域１６において対象物１４の内部領域を検査してそれを表わすデータを発生するＣＴスキャナ１２又は他の非侵襲的検査装置を備えている。ＣＴデータは、体積像データメモリ２０に記憶される。シーケンス発生コンピュータ２２を使用して、人間のオペレータ２４は、患者１４の観察経路に沿ったＣＴデータの選択された部分の球状マップ可能なパノラマ観察像のシーケンスを発生する。このシーケンスはサーバー２６へ転送され、該サーバーは、データを処理して、遠隔アクセスに使用できるようにする。ローカルエリアネットワーク（ＬＡＮ）３０を経て、データは、遠隔の観察者３２のコマンドに基づき、リモート観察コンピュータ３４へ選択的に転送され、そこで、データは圧縮解除されて、リモートディスプレイスクリーン３６に表示される。
【００１１】
図１を更に参照すると、より詳細には、ＣＴスキャナは、検査領域１６に受け入れられる患者又は他の対象物を支持するための対象物支持体又は患者寝台４０を備えている。Ｘ線管のような照射手段４２は、患者にＸ線又は他の貫通放射線を照射する。放射線検出器４４のような放射線受け取り手段は、検査領域を横断した診断的にエンコードされた放射線を受け取る。好ましい実施形態では、Ｘ線管は、扇状のＸ線ビームを発生する。扇状のＸ線ビームは、対象物を貫通し、放射線検出器４４の弧に当たる。Ｘ線管は、モータ又は他の回転手段により検査領域の周りを回転するように取り付けられ、対象物は多数の方向から照射される。放射線検出器は、検査領域を取り巻く固定リングに配置されるか、又は対象物を通過した放射線を受け取るようにＸ線管と共に回転する弧に配置される。患者は、ＣＴスキャナの長手軸に沿って、螺旋走査するように連続的に移動されるか又は増分的に移動されて、多数の切片を形成する。任意であるが、巾の広いＸ線ビームを発生しそして複数列の検出器を設けて、複数の切片を同時に形成することもできる。
【００１２】
像再構成プロセッサ５０は、放射線検出器４４から放射線をサンプリングし、そしてそこから像表示を再構成する。放射線検出器４４がサンプリングされるたびに、そのサンプリングされた放射線の強度は、Ｘ線源（サンプリング時の）とサンプリングされた検出器との間の線即ち経路に沿って存在する組織の放射線吸収特性の和を表わす。Ｘ線源における放射線の強度は既知でありそして検出された放射線の強度も既知であるから、領域１６における物質の線積分を推定して、各線に沿った放射線吸収又は減衰の線積分を表わすことができる。再構成プロセッサ５０は、三次元ボクセルアレーの各々に対応するＣＴ番号を発生するために必要に応じて外挿又は補間を行う。
元の体積像データメモリ２０は、再構成された体積データを記憶する。データに対するＣＴ番号の各々は、３つの直交軸、例えば、検査体積のｚ、ｙ及びｚ軸に沿った座標位置によりアドレスできると考えられる。例えば、ピクセル値は、体積内のｘ、ｙ及びｚ空間位置に基づいて対応するピクセル値をアクセスできるように、三重のサブスクリプトをもつ変数でよい。このように、像形成された体積領域にわたり規則的な分布を表わすピクセル値が形成されて記憶される。
【００１３】
経路選択
図１を参照すると共に図２Ａを参照すれば、シーケンス発生コンピュータ２２は、通常放射線医師である人間のオペレータ２４が器官を通る所望の通路を選択するために使用するオペレータ制御器６０を備えている。オペレータ制御器６０は、適当なキー、ジョイスティック、トラックボール又はマウス構成体を有していて、オペレータ２４が体積像データメモリ２０内のあるデータを選択的にアクセスして、それをシーケンスコンピュータビデオディスプレイ６２のスクリーンに表示することができるようにする。この選択プロセスは、人体を通る切片像、当該器官の外部視野の三次元投影、キーフレームアニメーション技術等の多数のフォーマットのいずれかでビデオディスプレイ６２のＣＴデータを見ながら実行される。
【００１４】
図２Ａ及び３を参照すれば、好ましい実施形態において、オペレータは、患者１４の気管支７２における所望の観察経路７０を選択する助けとしてキーフレームアニメーション技術を使用する。ここに示す例では、患者の外観像と気管支とが示されている。しかしながら、当業者に明らかなように、外観像ではなくて、体内像がキーフレームアニメーション技術によって発生される。オペレータ制御器６０を使用して、オペレータ又は放射線医師は、体積データを通して段階的に移動して気管支を見つける。オペレータは、オペレータ制御器６０に位置及び方向データを入力する。オペレータ制御器６０は、キーフレームの視野（ＦＯＶ）及び他の像形成パラメータ、例えば、陰影付け、着色等の選択及び調整を行うことができる。フレームレンダリングプロセッサ７４は、像メモリアクセスプロセッサ７６により体積像データメモリ２０におけるあるデータをアクセスする。フレームレンダリングプロセッサは、選択された位置及び選択された方向における観察平面からの複数の線を計算する線投影プロセッサ７８を制御する。観察平面は、映像ターミナル６２のスクリーンによって表わされる。これらの線は、観察平面から体積データの三次元アレーを経て投影される。三次元アレーデータは、データポイント即ちボクセルの各三次元アレーに対応するグレースケール値によって特徴付けられる。観察されるべき器官又は組織は、通常、データ内に埋められる。観察又は像平面の各ピクセルからの線は、観察平面に直交してデータへと投影される。空気減算器８２は、計算される線に沿って空気の値を有するピクセルを減算又は無視する。計算される線は、組織を表わすピクセルに交差するか又はデータの三次元アレーの終了点に到達するまで続く。各線が組織に交差する深さ及びその線が組織に完全に交差するかどうかから、マッピングプロセッサ８４は、観察平面から見たときに組織の表面輪郭のマップを発生する。
【００１５】
着色プロセッサ８６は、グレースケールレベル又はＣＴ値に基づいてマップにカラーを加える。これは、ある組織を容易に識別できるようにする。
表面輪郭に意味を与えるために、陰影付けプロセッサ又はルーチン９０は、スクリーンに垂直の方向に有効深さを与えるようにキーフレームの露出面に陰影を与える。陰影付けプロセッサは、あたかも観察平面に光源が存在したかのように表面輪郭のマップに陰影を付加する。陰影付けプロセッサは、深さ陰影付け、深さ勾配陰影付け、グレースケールレベル勾配陰影付け、及び多角形でのレンダリングといった陰影を付加する多数の方法のいずれかを使用する。
各キーフレーム像が発生されて適当に増強されると、それがキーフレームメモリ９２に記憶される。オプションの平滑装置９４は、順次のキーフレーム間に平滑路を形成する。好ましい実施形態では、平滑装置は、立体スプラインの技術を使用する。平滑されたキーフレームのシーケンスは、アニメーションメモリ９６に記憶される。映像プロセッサ１００は、シーケンスコンピュータビデオディスプレイ６２に表示するようにデータをフォーマットする。
【００１６】
図２Ａ及び３を参照すると共に、図４も参照すると、ビデオディスプレイ６２のＣＴデータのキーフレーム像を観察しながら、オペレータは、オペレータ制御器６０及びグラフィックインターフェイス１０２を介して少なくとも出発経路点１１０及び終了経路点１１２を指定することにより所望の観察経路７０を選択する。図３に示す例では、オペレータは、咽頭蓋即ち出発経路点１１０と、肺内の深部の点即ち終了経路点１１２との間で気管支７２内の空洞又は溝１１４を選択する。もし所望ならば、器官内の岐路１２０を含むように第２組の出発及び終了経路点１１６、１１８を選択することもできる。更に、オペレータは、オペレータ制御器を介して腫瘍１４２のようなある組織にマーク又はタグを付けて、遠隔の観察者が容易に識別できるようにしてもよい。
【００１７】
図４及び図２Ｂを参照すれば、経路選択の際に、空洞ロケータ１３０は、経路点１１０、１１２間及びそれらの周りのデータを走査し、所望の溝１１４内に空気が存在するところの像強度即ちハウンズフィールド(Houndsfield) 値を有する全てのＣＴピクセルデータを識別する。他の実施形態では、空洞ロケータは、血液又は脳脊髄流体のような所望の空洞内の他の均一媒体を走査するようにプログラムされる。空気の像強度を有するピクセルの軌跡に基づき、セントロイド経路プロセッサ１３２は、溝内の一般的に中央のセントロイド経路を計算する。このセントロイド経路は、観察経路７０として既に指定されている。
図２Ｂ及び４を参照すれば、経路分割プロセッサ１３４は、セントロイド経路７０を同じ長さのセグメント１３６に分割する。セグメントの長さは、最終シーケンスの所望の解像度に基づいてオペレータにより変えることができる。セグメント１３６の終了点は、観察点１４０を定める。これらの観察点は、発生されるべき球状パノラマ観察像の中心点即ち優勢点である。
【００１８】
別の実施形態では、経路分割プロセッサが多数の視点を定義できるようにするのではなく、オペレータがシーケンスに対して１つ、２つ又はそれ以上の視点を選択的に定義できるようにする。例えば、図４を参照すれば、２つの視点１４２のみを選択することにより、オペレータ及び遠隔観察者は、シーケンスに焦点を置くか、又は１つの当該領域、例えば、気管支の腫瘍１４６を調査することができる。
本発明の好ましい実施形態では、視点１４０は、低歪視点である。これらの低歪視点１４０は、２６個の平坦像から発生される球状パノラマ観察像の中心でなければならない。本発明の別の実施形態では、視点１４０は、６個のみの平坦像から発生される球状パノラマ観察像の中心となるべき高歪観察点である。低歪観察点の周りの球状パノラマ観察像には多数の像が組み込まれるので、これらの観察点は、高精度、高詳細の検査を与える。これに対して、高歪視点の周りの球状像は、高い精度又は詳細を与えない。もちろん、２６個の球状観察像を発生するには、６像の球状観察像の発生よりも著しく大きな計算力が必要である。
【００１９】
レンダリング
図２Ｂ及び４を更に参照すると、レンダリングされる各球状像間に滑らかな移行を確保するために、正接ベクトルプロセッサ及びその関連メモリ１５０は、各視点ごとに観察経路７０に対する正接ベクトル１５２を計算して記憶する。正接ベクトルは、ｚ' として定義する。各次々の視点に対し、方向プロセッサ及び関連メモリ１５４は、ｚ' に直交するベクトルｘ' を定義して記憶する。図４において、ｘ' は、紙面に直交する向きである。方向プロセッサは、２つの隣接する視点間のｘ' ベクトルの角度偏差を最小にする。図４を参照すると共に、図５Ａ及び５Ｂを参照すれば、ｚ' 及びｘ' ベクトルは、発生されるべき６個又は２６個の平坦観察像１６０、１６２の組の方向を定義する。この映像化を助けるものとして、図４は、立体１５８を示しており、その前壁はｚ' で定義されそして右側壁（正確でない斜視図で）はｘ' で定義される。このプロセスは、観察中に、２つの隣接する球状像が、像間を移動するときに歪のシフトとして観察者が認知し得る甚だしい方向のねじれを受けないように確保する。
【００２０】
別の実施形態では、正接プロセッサ及び方向プロセッサは、システムから除去される。この実施形態では、６個又は２６個の平坦観察像のｚ' 及びｚ' 方向は、記憶された体積像のｘ及びｚ方向の単なる鏡像である。
図５Ａ及び５Ｂを更に参照すると、背景として、球状パノラマ観察像を形成する際の固有の制約は、ソース像が平坦であり、即ち像が平面へのシーンの投影であることである。それ故、平坦像により形成されるパノラマは、せいぜい多小面状の球である。球状パノラマの最良の近似は、より小さな小面で達成され、又はこれと同等であるが、小さな視野（ＦＯＶ）をもつソース像で達成される。しかしながら、小さな小面を用いると、点の周りの球状観察像をカバーするのに必要なソース像の数が増加する。更に、ソース像の数が多いほど、球状観察像を形成するのに必要なコンピュータ処理量が多くなる。
【００２１】
上記のように、２６像の球状パノラマの利点は、球状の世界をより正確に近似することである。図５Ａ及び５Ｂに示すように、１組の２６個の像で形成された２６面多角形１６２は、１組の６個の像で形成された立体１６０よりも正確に球を近似する。従って、図２Ｂ及び５Ｂを参照すると、シーケンス発生コンピュータ２２は、視点当たり２６個のソース像を使用して球状パノラマのシーケンスを形成する。
図５Ｂを更に参照すると共に、図６Ａ及び８を参照すると、ソース像１７０は、水平及び垂直の両方の方向に沿って同一の視野をもつ方形像として収集される。好ましい実施形態では、２６面の解決策１６２に対するソース像のピクセル寸法は、２５６ｘ２５６であり、そしてＦＯＶは４５である。
【００２２】
図２Ｂ及び４を参照すれば、各視点１４０に対し、２６フレームのレンダリングプロセッサ１８２は、視点の周りの２６個の観察像のレンダリングを制御する。図５Ｂを参照すれば、２６個の観察像１６２の各組は、視点の周りのマップ可能な全空間をカバーする。図２Ｂを参照すれば、レンダリングプロセッサ１８２は、選択された視点において、その選択された視点に対するｘ' 及びｙ' ベクトルに基づく方向における観察平面からの複数の線を計算する線投影プロセッサ１８４を制御する。これらの線は、観察平面から体積データの三次元アレーを経て投影される。観察即ち像平面の各ピクセルからの線は、観察平面に直交してデータへと投影される。
１組の２６個の像のレンダリング中に、空気減算器即ちルーチン１８６は、表示されるべきでない空気又は他の選択された組織形式を表わすアドレスされたピクセルを三次元像体積において識別する。ピクセル値が空気を表わす場合には、線プロジェクター１８４は、投影方向、即ち観察スクリーンに垂直な方向を１ピクセル段階で像データへと更に移動し、そして次の対応するピクセルを検索する。このピクセルも、空気又は他の所定の組織値と比較されて、それを表示すべきかどうか決定する。このプロセスは、表示されるべき適当な範囲のメモリセル又はピクセル値が見つかるまで繰り返される。各線が組織に交差する深さ及びその線が組織に完全に交差するかどうかから、マッピングプロセッサ１９０は、観察平面から見たときに組織の表面輪郭のマップを発生する。当業者に明らかなように、本発明においては、体積合成等の他の組織レンダリング技術も使用できる。
【００２３】
着色プロセッサ１９２は、グレースケールレベル又はＣＴ値に基づいてマップにカラーを付加する。これは、ある組織を容易に識別できるようにする。
更に実際的な又は現実的な三次元表示の場合には、陰影付けプロセッサ又はルーチン１９４は、陰影値を各ピクセルに与える。より詳細には、照明起点の角度又は位置が定義される。照明ソース点から定義された体積へ線が投影され、空気又は他の選択された組織は除去される。検索されたピクセル値は、光源に対して正接する表面及び距離に基づいてより暗く又は明るくされる。他の表面により光源から遮られる表面は、最も暗く陰影付けされる。付加される陰影の程度は、光源を明るく又は暗くするものとして考えることのできるオペレータ制御器から選択的に調整することができる。
同様に、照明ソースの位置を変えそして陰影付けプロセスを繰り返して、表示される対象物の他の部分を良好に示すことができる。好ましい実施形態では、照明ソースが各々のレンダリングされる平坦像の観察平面にある。各々のレンダリングされる像は、像メモリ２００に記憶される。
【００２４】
合成
図２Ｂを参照すると共に、図６Ａ及び６Ｂを参照すれば、１組の２６個の方形の平坦な部分像２３８が形成された後に、合成プロセッサ２４０は、１組の部分像を切断し、スケーリングしそして合成して、球状パノラマ観察像を表わす完全な平坦な出力像２４２を形成する。合成プロセッサにより使用される特殊な合成技術は、出来上がる球状パノラマ像の解像度を高めそして歪を減少する。
【００２５】
合成された完全な平らな出力像２４２は、地球の長方形の世界地図に性質が類似している。１組の２６個の部分像２３８の中で、８個の赤道面即ち部分像２４４は、球状像の赤道を形成する。図６Ａを参照すれば、赤道面の上下には、８個の北半球面２５０と、８個の南半球面２５２とがある。最上面即ち北極面２５４及び最下面即ち南極面２５６で、２６面の球状近似が完成する。
図２Ｂ、６Ａ及び６Ｂを参照すれば、赤道観察プロセッサ又はルーチン２６０は、８個の赤道観察像２４４を並置して、全出力像２４２の中央部分を形成する。部分像を適当なサイズにして２６面の球を形成するために、切断プロセッサ２６２は、北及び南半球面２５０、２５２を台形２６４（辺を点線で表わした）へと切断する。更に、切断プロセッサ２６２は、最上面及び最下面２５４、２５６を八角形２７０（図５Ｂの）へと切断する。八角形観察像分割器２７２は、八角形の面２７０を８個の三角形２７４へと分割し、八角形２７０の各辺が三角形２７４の底になるようにする。
【００２６】
スケーリングプロセッサ２８０は、北及び南半球の台形状に切断された観察像２６４を２５６ｘ２５６ピクセルの長方形２８２へとスケーリングする。更に、スケーリングプロセッサ２８０は、八角形の観察像２７０の各三角形２７４を２５６ｘ１２８ピクセルの長方形２８６へとスケーリングする。これらの変換を達成するために、スケーリングプロセッサは、選択されたデータポイント間に付加的な補間データを挿入して、台形及び三角形アレーを充填すると共に、それらを長方形アレーへと変換する。好ましい実施形態では、スケーリングプロセッサは、立体補間の技術を使用する。しかしながら、他の補間技術も使用できることを理解されたい。配列装置２９０は、スケーリングされた三角形を、切断及びスケーリングされた半球面２８２の上下に適当に配置する。配列プロセッサが、重畳された縁のデータを平均化するのも任意である。合成装置２４０から得られる完全な平坦な像は、シーケンスメモリ３００に記憶される。好ましい実施形態では、合成された完全な像は、２０４８ｘ１０２４ピクセルデータ点のアレーである。
【００２７】
好ましい実施形態では、完全な平坦な像は、ほとんどの病院で使用されるＤＩＣＯＭ（医療用のデジタル像形成及びコミュニケーション）規格に合致する。しかしながら、像データは、他の像形成規格に合致してもよいことを理解されたい。フィールドプロセッサ３０２は、像のその後の順序付け及び表示において助けとなるように各々の発生された完全な像に空間情報を指定する。任意であるが、オペレータが腫瘍のような特定の組織にマーク又はタグを付ける場合には、フィールドプロセッサは、組織の三次元座標を像のシーケンスに関連させる。空間及び他の情報を含む像及び関連フィールドの全シーケンスは、シーケンスメモリ３００に記憶される。
完全な観察像のシーケンスは、公知技術では見られない効果を奏する。キーフレームに基づくアニメーションとは対照的に、経路に沿って前方を向かない観察像を捕獲するためにそれ自身常時向きを変える必要はない。更に、背面或いは腫瘍又は他の構造体の面は、当然、球状観察像の一部分としてレンダリングされ、このような観察像を容易に捕獲しそして検査することができる。
【００２８】
本発明の別の実施形態では、シーケンス発生コンピュータは、各視点の周りの６個の観察像から完全な平坦な像を形成する。これらの視点は、高歪の視点であるとみなされる。図５Ａ、７及び８を参照すれば、シーケンス発生コンピュータ２２は、各視点ごとに６個のソース像１７０を収集する。この戦略の効果は、コンピュータの処理時間を短くする。ソース像１７０は、水平及び垂直の両方向に沿って同一の視野をもつ方形像として収集される。６面の解決策１６０に対するソース像のＦＯＶ及びピクセル寸法は、各々、９０及び５１２ｘ５１２である。図７（図２Ｂの場合と同じ要素は同じ参照番号で示され、そして図２Ｂの場合と同様の要素は、プライム（' ）を付けた同じ番号で示される）を参照すると共に、図４を参照すれば、各視点１４０ごとに、６フレームのレンダリングプロセッサ１８２' は、各視点の周りの６個の観察像のレンダリングを制御する。図５Ａを参照すれば、各組の６個の観察像１６０は、視点の周りのマップ可能な全空間をカバーする。更に図７を参照すれば、レンダリングプロセッサ１８２' は、線投影プロセッサ１８４を制御する。６像セットのレンダリング中に、空気減算器又はルーチン１８６は、表示されるべきでない空気又は他の選択された組織形式を表わすアドレスされたピクセルを三次元像体積において識別する。各線が所望の組織に交差する深さ及びその線が完全に組織に交差するかどうかから、マッピングプロセッサ１９０は、観察平面から見たときに組織の表面輪郭のマップを発生する。着色プロセッサ１９２は、グレースケールレベル又はＣＴ値に基づいてマップにカラーを付与する。陰影付けプロセッサ又はルーチン１９４は、各ピクセルに陰影値を与える。各像及び１組の６個の像は、像メモリ２００' に記憶される。
【００２９】
更に図７を参照し、そして図８も参照すれば、１組の６個の平坦な方形観察像１７０が形成された後に、合成プロセッサ２４０' は、１組の方形像を合成して、球状のパノラマ観察像を表わす完全な平坦な出力像２０６を形成する。合成された像は、地球の長方形の世界地図に性質が類似している。
図５Ａ及び８を参照すれば、６個の平坦な方形の観察像は、４つの壁像２１０と、天井像２１２と、床像２１４とを有する立体的な部屋に類似している。更に図５Ａ及び８を参照すると共に、図７も参照すれば、壁プロセッサ又はルーチン２６０' は、４つの壁像２１０を並置して、完全な出力像２０６の中央部分を形成する。観察像分割プロセッサ２７２' は、天井像２１２及び床像２１４を各々４つの三角形２２４へと分割する。もちろん、天井及び床像の各三角形は、６つの像の立体セットとしてみたときにその底に隣接する壁が関連される。スケーリングプロセッサ２８０' は、各三角形を５１２ｘ５１２ピクセルの長方形アレー２３０へとスケーリングする。この変換を行うために、スケーリングプロセッサは、選択されたデータポイント間に付加的な補間データを挿入して、三角形アレーを充填すると共に、それを長方形アレーに変換する。配列プロセッサ２９０' は、壁像２１０並びに天井及び床像２１２、２１４の縁を適当に整列及び／又は重畳させて、最終的な出力像２０６を形成する。配列プロセッサは、重畳された縁のデータを平均化する。合成された完全な像は、２０４８ｘ１０２４ピクセルデータ点のアレーである。
【００３０】
フィールドプロセッサ３０２は、各々の発生された完全な像に空間情報を指定して、像のその後の順序付け及び表示を助ける。空間情報を含む像及び関連フィールドの全シーケンスは、シーケンスメモリ３００に記憶される。
付加的な観察像
図２Ｂに示す実施形態に戻ると、遠隔の観察者に視野―空間関係を与えるために、付加的な観察像レンダリングプロセッサ３１０は、全身又はその一部分の軸方向、矢状方向及び冠状方向の観察像、当該器官の外部三次元観察像、又は他の所望の観察像をレンダリングする。これらの観察像は、リモートビデオターミナルにおいて球状像に並べて表示されねばならない。
フィールド指定装置３０２は、観察像に空間情報を指定し、それらを球状パノラマ像と整合できるようにする。これらの観察像は、次いで、シーケンスメモリ３００に記憶される。
【００３１】
転送及び表示
図１及び２Ｃを参照すれば、ネットワーク３０を経てシーケンスを使用できるようにするために、シーケンスメモリからのデータは、指定のサーバー２６へ転送される。好ましい実施形態では、サーバーは、病院のローカルエリアネットワークをサポートし、従って、ＤＩＣＯＭに合致する。しかしながら、サーバーは、ワールドワイドウェブを含むワイドエリアネットワークもサポートすることを理解されたい。更に、ＤＩＣＯＭ以外のデータプロトコルを本発明に使用できることも理解されたい。
図２Ｃを更に参照すれば、シーケンスメモリ３００からシーケンスデータを受け取ると、サーバー制御器３２０は、完全な像並びに軸方向、矢状方向及び冠状方向像のシーケンスに関連した空間情報フィールドをパーズするようにパージングプロセッサ３２２に指令する。パージングの結果に基づき、スクリプトノードプロセッサ３２６は、完全な像並びにそれに関連する軸方向、矢状方向及び冠状方向像のシーケンスに対する全ての空間及びリンク情報を含む単一のスクリプトファイルを形成する。好ましい実施形態では、このスクリプトファイルは、球状観察アプリケーションで観察するためにＶＭＲＬ２．０（仮想現実モデリング言語）に合致する。
【００３２】
１つの球状像の表示を簡単なＵＲＬ（均一リソースロケータ）リンクを経て別の像にリンクすることはできるが、これは、各テキストファイルのダウンロード及びパージングに多大な時間がかかるので、望ましくない。その結果、像を表示するのに多大な時間を要することになる。像が観察されると、像及びそのスクリプトファイルがリモートコンピュータシステムのハードディスクにキャッシュ処理される。しかしながら、像を再検討するために、スクリプトファイルをパージングし直さねばならない。パージング時間は、プロセッサの速度、ランダムアクセスメモリ及びテキストファイルのサイズに依存し、１０ないし６０秒を要する。
又、サーバー制御器３２０は、球状像の各々をパラメータ的に圧縮するように圧縮プロセッサ３４０に指令する。好ましい実施形態では、圧縮プロセッサは、データを８対１の比でＪＰＥＧファイルに圧縮する。しかしながら、他の実施形態では、システムの容量と、圧縮―圧縮解除により生じる歪の許容レベルとに基づいて、ＢＭＰ及びＧＩＦのような圧縮及び非圧縮ファイル、並びに他の圧縮比が使用される。圧縮された像及びスクリプトファイルは、サーバー出力メモリ３４４に記憶される。
【００３３】
仮想内視鏡シーケンスのパージング及び圧縮は、ネットワークを経てデータをより迅速に送信できると共に、ネットワークリソースをより効率的に使用できるようにする。しかしながら、帯域巾が広がりそしてネットワークリソースが改善されるにつれて、ある観察システムでは、データの圧縮及び実際にはサーバーを省略できることが意図される。
サーバー出力メモリ３４４のデータは、ローカルエリアネットワーク３０を経て複数のリモートコンピュータ３４へ送ることができる。遠隔の観察者３２は、所望の仮想内視鏡シーケンスを呼び出すためにリモートコンピュータ３４へコマンドを入力する。これらのコマンドは、キーボード及びトラックボールを含むリモートオペレータ制御器３５０に入力される。ジョイスティック、マウス、タッチパッド等の他の入力装置も使用できることが明らかであろう。リモートコンピュータのウェブブラウザジャバアプレット(Java applet) 、プロセッサ又はアプリケーション３４５は、サーバー出力メモリ３４４のスクリプトファイルをアクセスし、そしてそれをリモートコンピュータのハードドライブ又はキャッシュメモリ４３８にダウンロードする。通常、スクリプトファイルのアドレスは、an .html（ハイパーテキストモデリング言語）ファイル拡張を伴う別のテキストページに埋め込まれる。ページがウェブブラウザジャパアプレット３５４においてオープンされるときには、アプレットが仮想現実観察プロセッサ又はアプリケーション３６２を開始する。観察アプリケーション３６２は、次いで、シーケンスの圧縮された完全な像のダウンロードを開始する。観察アプリケーションは、圧縮された完全な像ファイルを拡張するための圧縮解除プロセッサ又はルーチン３５８を備えている。
【００３４】
映像プロセッサ３６６は、映像スクリーン３７０（図９）に像を表示する。観察アプリケーション３６２は、シーケンスの各視点から全視野空間を見ることができるようにする。円筒状の観察像のような視野空間のより限定された観察像に関連して他のブラウザ又はアプリケーションも使用できることが明らかである。観察アプリケーション３６２は、選択されたノード又は視点及びそれに関連した完全な平坦な像をアクセスするためのノードアクセスプロセッサ又はルーチン３７４を含む。球マッピングプロセッサ３７８は、平坦な像を３６０ｘ１８０゜の球状パノラマへとマップする。
観察アプリケーション又はプロセッサ３６２は、ピッチ及びヨーの２つの回転自由度をサポートする。ピッチ及びヨーは、表示される環境のマッピングを変更する環境マッピングプロセッサ３８２により制御される。このプロセスにおいて、パノラマは、遠隔の観察者を取り巻く球状表面に再投影され、球状像の見えない部分を表示する。モニタ３６のスクリーン３７０の平面を基準原点と考えると、リモートオペレータ制御器３５０及び観察アプリケーション３６２は、遠隔の観察者がピッチ及びヨーを回転して、その視点の周りの球状像のいかなる部分も選択的に見ることができるようにする。
【００３５】
オペレータ制御器３５０及び観察アプリケーション３６２は、遠隔の観察者が観察方向を選択しながら観察経路に沿って前方又は後方に移動できるようにする。これは、気管支の壁を直接見ながらその壁をパンダウンするような独特の観察技術を提供する。これは、観察者が壁の周囲観察像のみを得る前方探索技術では得られないものである。
観察経路に沿って移動を与えるために、経路運動プロセッサ３９４は、表示された観察像をスケーリング又は並進移動する。例えば、観察者が観察経路に沿って前方に移動しながら前方を探索するときには、経路運動プロセッサは、前方観察像のスケールを拡大し、即ちズームインして、観察者が前方に移動しているという幻想を与える。同様に、観察者が後方に移動しながら前方を探索するときには、経路運動プロセッサは、前方観察像のスケールを減少して、観察者が後方に移動しているという幻想を与える。横を見ながら観察経路に沿って前方に移動するという幻想を与えるために、経路運動プロセッサは、スクリーン上で完全な像の表示された部分の側部から像データを並進移動しそして表示された観察像のマッピングを変更する。経路に沿った移動が、表示された球状観察像の限界に到達すると、経路運動プロセッサは、次の球状観察像の表示をトリガーする。
【００３６】
更に、リモートオペレータ制御器３５０及び観察アプリケーション３６２は、遠隔の観察者が像調整プロセッサ又はルーチン３９８により視野（ズームイン及びズームアウト）等の像パラメータを調整できるようにする。遠隔の観察者が向きを変えるか、さもなくば、視野を変更するときには、映像プロセッサ３６６は、ビデオディスプレイ３６が空洞内部の三次元表示をスクリーン上に表示するようにし続ける。
更に図２Ｃを参照すると共に、図９を参照すれば、観察プロセッサ３６２は、球状マップ像４００の表示をスクリーン３７０に向ける。観察アプリケーション３６２の付加的な観察プロセッサ又はルーチン４０２は、患者のシルエットの軸方向、矢状方向及び冠状方向観察像４０６、４０８、４１０と、気管支又は当該器官の外部観察像との表示を与える。他の実施形態では、付加的な観察プロセッサは、患者の直交する観察像、或いは患者のシルエット、当該器官の外部観察像、身体の切片像等の患者の領域の表示をサポートする。付加的な観察プロセッサは、付加的な観察像４０６、４０８、４１０各々に指示子４１４を組み込んで、対応的に表示される球状像４００の視点の位置及び向きを動的に示す。好ましい実施形態では、指示子は、緑の十文字であり、視点の位置を指示する。赤のドットは、観察方向に対応するように十文字の中心の周りで回転することにより観察方向を示す。赤のドットは、十文字で形成された象限の１つにおいて停止し、付加的な観察像の平面内における角度的な観察方向を示す。
【００３７】
観察アプリケーションの患者フィールドプロセッサ又はルーチン４１８は、調査データの正確な表示として患者テキスト及び観察情報フィールド４２２の表示を与える。ナビゲーション支援プロセッサ４２６は、球状像４００の表示において方向ポインタ４３０を表示する。表示ポインタは、像データの状況を解釈するための視覚的な助けである。任意であるが、観察アプリケーションは、放射線医師又は疾病のスペシャリストのような遠隔の観察者が診断の見解又は他の注釈を見てそれを患者診断データファイル４３４に入力し、像及びシーケンスと関連付けることができる。サーバーをアクセスする他の遠隔観察者は、次いで、像に関連した注釈を見ることができる。遠隔の観察者が特定の注釈を素早く見つけるように助けるために、観察アプリケーションは、一連の像又は調査において選択されたワード、番号又はアルファベットの組み合わせ、或いは位置及び観察方向を見つけ又はそこへジャンプするためのオプションをサポートする。
【００３８】
観察された像は、観察者がシーケンスを逆方向進むことを選択した場合に容易に検索するためにキャッシュメモリ４３８に記憶される。グラフィックインターフェイス４４４は、観察プロセッサの出力と遠隔観察者の入力との間でデータを同時に表示及び交換できるようにする。
球状像のシーケンスの観察者は、所定の前方探索経路に限定されるのではなく、その意志で自由に回転しそして特定の視点からいかなる方向にも見ることができる。このように、観察者は、一連の前方探索が与える順序及び空間の感覚をもつが、所与の観察点から空間を完全に検査する能力が付加される。更に、観察者は、ビデオの場合のようにいらいらする時間のかかる再生―逆転―再生式のインターフェイスではなくて、直感的インターフェイス（指してクリックする）を使用する。
【００３９】
【発明の効果】
本発明の球状像のシーケンスは、必要に応じて像ごとに選択的にダウンロードされる。これは、見る前に全シーケンスがダウンロードされる従来のビデオとは対照的に放射線医師がネットワークの時間を生産的に利用できるようにする。
従って、以上に述べた実施形態は、球状パノラマ観察像の連続シーケンスで医療診断データの仮想内視鏡調査結果を発生しそしてネットワークを経てこれらの調査結果を観察するための対話式観察システムを提供する。その１つの効果は、像データの三次元アレー内から妨げのない完全な球状パノラマ観察像を形成することである。別の効果は、像データの三次元アレーに表わされた内部空洞の遠隔観察及び診断を容易にすることである。更に別の効果は、像データの三次元アレーの二次的な観察者にとって高い診断の信頼性が与えられることである。更に別の効果は、ネットワークを経てリモート位置へ像を迅速に送信しそしてネットワークリソースを効率的に使用できるようにすることである。更に、内視鏡検査はほとんど非侵襲的であるが、その手順は、依然として、患者の不快感を低減するために、ある程度の鎮静又は麻酔処置を必要とする。
【図面の簡単な説明】
【図１】本発明により医療診断データの仮想内視鏡調査を行うための対話型観察システムを示す概略図である。
【図２Ａ】図１のシーケンス発生コンピュータ２２を示す詳細部分図である。
【図２Ｂ】図１のシーケンス発生コンピュータ２２を示す詳細部分図である。
【図２Ｃ】図１のサーバー２２及びリモートコンピュータ３４を詳細に示す図である。
【図３】対話型観察システムにより観察されるべき患者の気管支を示す図である。
【図４】図３の気管支の拡大図で、気管支を通る観察経路を詳細に示す図である。
【図５Ａ】視点の周りの高歪球状像を発生するための６つの平坦観察像の構成を示す図である。
【図５Ｂ】視点の周りの低歪球状像を発生するための２６個の平坦観察像の構成を示す図である。
【図６Ａ】低歪球状パノラマ像に対する完全な平坦像を得るための図５Ｂの２６個の観察像の分割及び切断を示す図である。
【図６Ｂ】低歪球状パノラマ像に対する完全な平坦像を得るための図５Ｂの２６個の観察像の配列を示す図である。
【図７】図１に示すシーケンス発生コンピュータ２２の一部分の第２実施形態を示す詳細な部分図である。
【図８】高歪球状パノラマ像に対する完全な平坦像を得るための図５Ａの６個の観察像の分割及び配列を示す図である。
【図９】図１のディスプレイモニタ３６に表示される球状像、その像に関連した軸方向、矢状方向及び冠状方向観察像、患者及び観察像情報、並びに患者診断フィールドの代表的な表示を示す図である。
【符号の説明】
１０対話型仮想内視鏡システム
１２ＣＴスキャナ
１４対象物（患者）
１６検査領域
２０体積像データメモリ
２２シーケンス発生コンピュータ
２４オペレータ
２６サーバー
３０ローカルエリアネットワーク（ＬＡＮ）
３２遠隔の観察者
３４リモート観察コンピュータ
３６リモートディスプレイスクリーン
４０患者用寝台
４２照射手段
４４放射線検出器
５０像再構成プロセッサ
６０オペレータ制御器
６２シーケンスコンピュータビデオディスプレイ
７０観察経路
７２気管支
７４フレームレンダリングプロセッサ
７６像メモリアクセスプロセッサ
７８線投影プロセッサ
８４マッピングプロセッサ
８６着色プロセッサ
９０陰影付けプロセッサ

Claims

三次元体積を表わす像データを記憶するための像データメモリ(20)と、その記憶された像データに選択的にアクセスするための像データメモリアクセス装置(76)とを備えた三次元像表示を与えるための診断像形成装置において、
（ａ）上記像データメモリアクセス装置によってアクセスされた像データから上記三次元体積内の視点(140)の周りの全視野空間を全体でカバーする複数の二次元アレー(238)を発生するための観察像レンダリング装置(182)と、
（ｂ）上記複数の二次元アレーの少なくとも１つ(250,252)を複数の台形アレー(264)へと切断し(262)、これら複数の台形アレーを複数の長方形アレー(282)へとスケーリングし(280)、これら複数の長方形アレーと上記複数の二次元アレーの一部分とを結合する(290)ことによって、視点の周りの全視野空間をカバーする完全な二次元アレー(242)を形成するための観察像合成装置(240)と、
（ｃ）この完全な二次元アレーを球状のパノラマ像へとマッピングするためのマッピング装置(378)と、
（ｄ）上記球状のパノラマ像の一部分をディスプレイ(36)に表示するための映像プロセッサ(366)とを備えたことを特徴とする診断像形成装置。
上記少なくとも１つの二次元アレーの各ピクセル値を、表示されるべきでない空気又は他の選択された組織形式を表わす所定の基準と比較するための空気減算器(186)を更に備え、この空気減算器は、上記像データメモリアクセス装置に作動的に接続されて、上記基準を満たすピクセル値が検索されるまで、このメモリアクセス装置が視野方向に沿って記憶メモリのピクセル値にアクセスし続けるようにする請求項１に記載の診断像形成装置。
表示される球状パノラマ像のピッチを制御するためのピッチ制御器(362)と、表示される球状パノラマ像のヨーを制御するためのヨー制御器(362)と、これらピッチ及びヨー制御器により球状パノラマ像の他の部分を表示するように映像プロセッサを制御する環境マッピングプロセッサ(382)とを更に備えた請求項１又は２に記載の診断像形成装置。
複数の像と像との間の移動を模擬するために複数の球状パノラマ像の部分を順次に表示する経路運動プロセッサ(394)を更に備えた請求項１ないし３のいずれかに記載の診断像形成装置。
上記ディスプレイにパノラマ像の遠隔表示を形成できるように上記像データメモリアクセス装置と上記ディスプレイとの間にサーバー(26)を更に備えた請求項１ないし４のいずれかに記載の診断像形成装置。
三次元体積を表わす像データの三次元アレー内の視点(140)からの内部球状観察像をコンピュータ(22)を使用して発生する方法において、
（ａ)上記像データの三次元アレーから上記視点の周りの全球状空間を全体でカバーする複数の二次元アレー(238)を発生し(182)、
（ｂ)上記複数の二次元アレーの少なくとも１つ(250,252)を複数の台形アレー(264)へと切断し(262)、
（ｃ)これら複数の台形アレーを複数の長方形アレー(282)へとスケーリングし(280)、
（ｄ)これら複数の長方形アレーと上記複数の二次元アレーの一部分とを結合して(290)、視点の周りの全球状空間をカバーする完全な二次元アレー(242)を形成し、
（ｅ）この完全な二次元アレーを球状観察像へとマッピングし(378)、そして
（ｆ）このマッピングされた完全な二次元アレーの少なくとも一部分を像ピクセルとして人間の読めるディスプレイ(36)で表示する
という段階を備えたことを特徴とする方法。
視点の周りの全球状空間を全体でカバーする複数の二次元アレーを形成する上記段階は、少なくとも１つの二次元アレーの各ピクセル値をスレッシュホールド基準と比較し(186)、ピクセル値がスレッシュホールド基準を満たさないのに応答して、スレッシュホールド基準を満たすピクセル値が識別されるまで像データのより深部を投影し、そしてスレッシュホールド基準を満たすピクセル値を上記二次元アレーに挿入するという段階を含む請求項６に記載の方法。
上記複数の二次元アレーの少なくとも１つを三角形アレー(274)へと切断し、そしてその三角形アレーを長方形アレー(286)へとスケーリング(280)する段階を更に備え、この長方形アレー(286)を上記結合段階において、上記複数の長方形アレー(282)及び上記複数の二次元アレーの一部分と結合することを含む請求項６又は７に記載の方法。
上記完全な二次元アレーの周りに領域(406)の個別の二次元アレーを発生し(402)、そしてこの個別の二次元アレーを人間が読めるディスプレイに表示する段階を更に含む請求項６ないし８のいずれかに記載の方法。
ネットワーク(30)を経てリモートアクセスを与えると共に、上記人間が読めるディスプレイにリモート表示を形成するために、完全な二次元アレーをサーバー(26)に記憶する段階を更に含む請求項６ないし９のいずれかに記載の方法。