JP4257218B2 - 三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム - Google Patents

三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム Download PDF

Info

Publication number
JP4257218B2
JP4257218B2 JP2003581126A JP2003581126A JP4257218B2 JP 4257218 B2 JP4257218 B2 JP 4257218B2 JP 2003581126 A JP2003581126 A JP 2003581126A JP 2003581126 A JP2003581126 A JP 2003581126A JP 4257218 B2 JP4257218 B2 JP 4257218B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
eye image
eye
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003581126A
Other languages
English (en)
Other versions
JP2005521960A (ja
JP2005521960A5 (ja
Inventor
ロブレフト,ステーフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2005521960A publication Critical patent/JP2005521960A/ja
Publication of JP2005521960A5 publication Critical patent/JP2005521960A5/ja
Application granted granted Critical
Publication of JP4257218B2 publication Critical patent/JP4257218B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/286Image signal generators having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

本発明は、被験体の内部の中空器官の体積走査に基づいて被験体の内部の中空の器官を視覚化する方法に関し、その方法は、a)中空器官の内部の三次元画像を再構成するステップを有する。
そのような方法は、当該技術で既知であり、“仮想内視鏡検査”と呼ばれる仮想健康診断技術を提供する分野の異なる専門家によって設計された多くのコンピュータプログラムの基礎を形成する。例えば、コンピュータ断層撮影の手段によって生じる被験者の体積走査に基づいてデータモデルが生成され、該データモデルから既知の三次元再構成技術により三次元内視鏡検査画像が再構成される。関心のある管状構造即ち中空器官を経て3D経路が規定され、その後、この経路に沿って仮想カメラを移動させると共に該経路上に位置する視点から見られる3D内視鏡画像を計算することによって、上記中空器官の内部が視覚化される。そのようなコンピュータプログラムは、本当の内視鏡検査のような侵襲性の検査を必要とせずに患者の内部の器官を検査する機会を医療従事者に提供する。このような、再構成された3D内視鏡画像は、例えば、医師によってコンピュータ上で評価できる。
既知の方法は、結果となる三次元画像が中空器官の内部構造の真の表現であるが、それの解釈は困難であるという欠点を有する。実際に、例えばユーザにとって、仮想カメラの相互作用的移動の間において該仮想カメラの向きを見失わないことは困難であるように思える。さらに、仮想カメラのレンズの高角度の視界が人の観察者にとって不自然であり、したがって、解釈を難しくする。
本発明の方法の目的は、より自然な視界を提供する前述のようなタイプの方法を提供することである。
したがって、本発明による方法は、各画像において、該方法は、下記のステップに記載される多くの技術的な手段を有し、それらは、
b)第一視点から左眼のための画像を計算するステップ、c)第一視点とは異なる第二視点から右眼のための画像を計算するステップ、d)立体的な画像を形成するために左眼の画像と右眼の画像をペアに組み合わせるステップ、及びe)立体イメージャー手段を使用して立体画像を示すステップ、である。
単眼視画像に代わり、中空器官の立体画像を提供することによって、ユーザはより自然に画像を見る。立体画像は、画像の深さ情報及び高さ情報などの追加的な情報を提供する。この情報を使用して、例えば、ユーザは、対象間の関係を良好に判断でき、並びに/又は湾曲及び/若しくは平らと傾斜エリアとを区別させる高さの差異を明確に見ることができる。その結果として、オブザーバは、患者のデータをより正確に解釈することが可能で、正確な診断に至る多大な機会を有する。
ステップb)からd)は、立体画像の生成に関連し、それはコンピュータグラフィックの分野で本来既知であることに言及する。このタイプの方法は、例えば、米国特許第6,011,581号明細書に記載されている。本発明による方法に反して、既知の方法は、しかしながら、仮想内視鏡検査など、患者の内部の中空器官の体積走査に基づいて患者の内部の中空器官の仮想検査を実行する方法の一部ではない。
本発明による方法の第一の好ましい実施態様において、ステップa)は、さらに、中空器官を通る視界経路を定義することを含み、該方法は、各画像において、第一視点が第一ラインに位置し、第二視点が第二ラインに位置し、その第一及び第二ラインは、それぞれが視界経路の各側で視界経路と実質的に平行に延在することを特徴とする。ここでユーザは、既知の“単眼視モード”で仮想内視鏡検査の実行におけるような中空器官を通る同一経路に従うが、より自然の立体的な視界で3D画像を見る。この実施態様のサポートにおいて、各視点における画像は、個別に計算されることを必要とする。
本発明による方法の第二の好ましい実施態様において、ステップa)は、さらに、中空器官を通る視界経路を定義することと、視界経路に位置する視点から見られるような画像を再構成することを含み、該方法は、少なくとも第一視点又は第二視点が視界経路に位置することを特徴とする。計算される画像の量は、第一実施態様において必要とされる画像の量に等しい。しかしながら、立体ビューイング技術が周知の単眼視のビューイング技術に追加して使用される場合、各立体的なペアにおいて、有利に、唯一の追加的な画像が計算されることを必要とされる。ここで、既知の単眼視のビューイング技術において既に計算される視界経路上の視点における単眼視の画像は、立体ペアの左眼又は右眼のいずれかとして使用できる。これによって、本発明による方法を実行するために必要な全体的な計算は、したがって、効果的に最小限にされる。
本発明による方法の第三の好ましい実施態様において、ステップa)は、さらに、中空器官を通る視界経路を定義することと、視界経路に位置する視点から見られるような画像を再構成することを有し、該方法は、第一視点及び第二視点の両視点が視界経路に位置することを特徴とする。この第三の好ましい実施態様で賢明で効果的に第一視点及び第二視点を選択することによって、計算される画像数は、既知の単眼視の方法において計算される画像数と等しい。本発明による方法は、如何なる必要な全体の計算を必要とせずに既知の単眼視の方法に加えて実行されてよい。既知の単眼視の方法における視界経路の視点において既に計算される画像を利用できる。経路上の視点において既に計算された画像は、第一視点又は第二視点として交互に使用されて最も効果的である。
本発明による方法の第四の好ましい実施態様において、第一視点と第二視点との間の距離は、本質的に1ミリメートル以上である。結果となる視界は、人のオブザーバにとって最も自然に見える。
好ましくは、第一視点及び第二視点の視界方向は、実質的に平行である。再度、本発明の目的は、人のオブザーバの正常な視界をシミュレートすることであり、したがって、代わりに正しい診断を成す機会を非常に高める、画像データの正確な解釈を容易にする。
本発明による方法の別の好ましい実施態様によると、ステップe)は、立体的な画像を形成する左眼及び右眼画像を異なる修正により示すステップと、前記立体イメージャ手段を左眼画像が左眼に渡されると共に右眼画像が右眼に渡されるように構成するステップとを更に有する。適切で立体イメージャー手段と組み合わせた左眼画像及び右眼画像の異なる修正は、立体的な視界を達成する実際的な手法である。本発明の様々な手法は、関連する技術において本来既知である。第一の詳細な実施態様において、いわゆる“受動的な”立体イメージャー手段が利用される。立体画像の左眼画像及び右眼画像は、異なる偏光で示され、立体イメージャー手段は、左眼及び右眼の各々に対して対応して異なるように偏光されたビューング手段を備える。第二の詳細な実施態様において、立体画像の左眼画像及び右眼画像は、異なる時間多重で示される。いわゆる“能動的な”立体イメージャー手段は、制御ユニットにより対応する時間多重信号に基づいて別個に駆動されるべき左眼及び右眼用の異なるビューイング手段によって使用される。幾何学的に正確な画像を提供するために、ビューイング手段は、好ましくは、ヘッドマウント型(head-mountable)ディスプレイに組み込まれる。
本発明による方法の別の好ましい実施態様によると、立体イメージャー手段は、レンチキュラースクリーンを有する。レンチキュラースクリーンは、関連技術において本来既知である。それらのスクリーンは、如何なる支援手段をオブザーバが使用又は着用するような必要がなく、立体画像を有益に示すことができる。
本発明はまた、患者の内部の中空器官の体積走査に基づいて患者の内部の中空器官を視覚化するためのシステムに関し、該システムは、本発明による方法のステップを実行するための手段を含む。
本発明はさらに、本発明による方法を実行するコンピュータプログラムに関する。
本発明は、添付図によってさらに説明されるであろう。
すべての図面において、等価物は同一の参照番号で示される。
一般的に、本発明による方法は、一般的に人間の患者であるが、例えば、動物でもある被験者の、例えば、健康診断などの診察における仮想検査技術に関する。そのような技術は、コンピュータグラフィックスの手段による、例えば、器官、血管などの被験者の中空構造の内部の視界を可能にする。仮想カメラは、被験者(又はその一部)を表わす三次元のデータ体積に配置される。本発明による方法は、人間の患者の結腸で実行される仮想内視鏡検査に関する、好ましい実施態様により、ここに記載されるであろう。
3Dの患者のデータを必要とするために、幾つかの周知の健康診断技術が、コンピュータ断層撮影(CT)又は磁気共鳴断層撮影法(MR)のような体積走査を得るために使用することができる。3Dデータは、既知の三次元の再構成技術の手段によって視覚化される。この目的のために、異なる適切な体積レンダリング(rendering)技術がコンピュータグラフィックスの分野で既知である。好ましい使用は、例えば、“Iso-surface volume rendering”, M.K. et al., Proc. Of SPIE Medical Imaging 98, vol.3335, pp10-19に記載のイソ(iso)表面体積レンダリング技術で成される。したがって、内視鏡検査をシミュレートする仮想環境が生成される。
図1は、本発明による方法のステップの概要を表わす流れ図を示す。すべてのステップは、下記に個別に記載される。
方法のステップ
ステップ10は、中空器官の内部表面の多数の三次元画像の再構成である。
様々な視覚化技術は、ユーザがナビゲートすることで結腸の三次元視界をシミュレートするために、当業者に利用可能である。幾つかの例は、
a)各視点から結腸壁の6つのビューが相互に垂直な方向で計算され、これらビューが立方体の壁に投影され、次いで該立方体が展開されて当該結腸の自然なビューを提供するような“展開立方体”技術と;
b)実際の内視鏡におけるように、各視点から一つの方向における一つのビューが計算されるような“視点”技術と;
c)結腸壁が円筒の壁上に投影され、次いで該円筒が展開されると共に引き伸ばされるような“引き伸ばされた経路”技術と、
を含む。
すべての技術は、平らな表面に投影されて、表面モデルとして表現される、体積走査のデータを有するボクセル(voxel)モデルに基づく結腸の分割に帰着する。仮想内視鏡法により生成された画像は関連分野においては、通常、三次元(3D)画像と呼ばれているが、これら画像は、実際には、表面上への3D構造の2次元投影の画像として一層正確に説明される。当該明細書の全体にわたって、それら画像は3D画像として参照されるであろう。
視点技術は、当該技術で既知の古典的技術であり、特に、Rogalla P, Terwisscha van Scheltiga J, Hamm B (Eds) “Virtual endoscopy and related 3D techniques”, Berlin, Springer Verlag(2001)によって記載される。この本は、Baert AL, Sartor K, en Youker JEによって編集された一連のMedical Radiology Diagnostic Imagingの一部分である。
引き伸ばされた経路技術は、D.S.Paik, C.F.Beaulieu, R.B.Jeffrey,Jr., C.A.Karadi, S.Napel, “Visualization Modes for CT Colonography using Cylindrical and Planar Map Projections.” J Comput Assist Tomogr 24(2), pp.179-88, 2000の文献でより詳細に記載される。
展開立方体技術は、S.E. Chen,“Quicktime VR-an image based approach to virtual environment navigation”SIGGRAPH 95, 6-11 August 1995, Los Angeles, California, USA, Conference Proceedings, Annual Conference Series, pages 29-38により詳細に記載される。展開立方体技術の医学的な応用は、F.Vos, I.Serlie, R. van Gelder, F.Post, R.Truyen, F.Gerritsen, J.Stoker, and A.Vossepoel, “A New Visualization Method for Virtual Colonoscopy” Medical Image Computing and Computer-Assisted Intervention-MICCAI 2001 (W.J.Niessen and M.A.Viergever, eds.), pp.645-654, Springer-Verlag, October 2001の出版物に記載される。
展開立方体技術によると、前述のレンダリング技術から生じる二次元画像は、対象物の平面若しくは側面に投影されるか又は写像される。次に、対象物は二次元に展開されて保存される。結果となる保存された二次元の展開された対象物の画像は、対象物内の視点からの三次元の視界をシミュレートする。
様々な異なる対象物は、立方体、球体、シリンダ、などの環境に写像するように使用できる。適切な投射又は写像技術は、コンピュータグラフィックスの分野において本来既知である。二次元の展開された対象物の画像は、例えば、jpigなどの一般的なフォーマット又はクイックタイム・ブイアール(Quicktime VR)フォーマットなどの特定のフォーマットの異なるフォーマットに保存できる。結果となる二次元の展開された対象物の画像は多の情報を含むが、ローエンドのコンピュータのディスプレイに適切である。
前述の投射から生じる保存された二次元の展開された対象物の画像の例は、図2に示される。画像1は、患者の結腸の内壁を示す。明らかに分かるように、三次元の視界をシミュレートする二次元画像は、元は、二次元で開いて折り重ねられる、立方体2の側面に写像される。立方体の6つの側面は、前(F)、左(L)、右(R)、後ろ(B)、上(U)、及び下(D)として与えられる。このように、元の3D情報の直感的な表現がユーザに与えられる。
図2で示されるような画像は、既知の技術の手段によって結腸を通過して定義される、視界経路上に位置する多数の視点において計算できる。好ましくは、計算された二次元画像は、連続して表示される。このように、リビューアは、あたかも彼等リビューアが“三次元の環境を通過して飛び”得るかのように、三次元の環境に没頭するために印象を与えられる。保存された二次元画像に基づく仮想環境は、仮想環境の相互作用検査を可能にする三次元視界での一つ以上の視点で計算できる。この実施態様は、ユーザに視点の環境を相互作用して動的に検査する可能性を提供する。
しかしながら、従来技術による画像1は、単眼視画像である。本発明の方法によると、立体画像が計算されて示され、したがって、情報の深さ及び高さなどのすべての関連する幾何学的な情報を含む患者データの自然な印象を人間のオブザーバに提供する。
したがって、本発明による方法は、各画像において、ステップ20乃至50で記載されるような下記の技術的な手段を含む。本発明による方法の3つの異なる好ましい実施態様は、図3乃至5に例示される。すべての3つの図は、結腸3の写真を示し、視界経路4は既知の技術を使用して定義される。視点m(i=1乃至nであり、nは視点の番号である。)は、単眼視の画像Mが従来技術の方法にしたがって生成される、視界経路上の位置を表わす。視点l及びrは、本発明の方法による立体画像を形成するために左眼の画像L及び右眼の画像Rの生成における位置である。
ステップ20は、第一視点から左眼のための画像を計算する。
前述のように、左眼のための適切な第一視点lから三次元の単眼視の画像Lを計算するために、数多の技術が当該分野で周知である。展開立方体技術を使用する場合、画像1のような画像は、例えば、左眼の画像として使用できる。
ステップ30は、第一視点とは異なる第二視点から右眼のための画像を計算する。
単眼視の左眼画像Lを生成するために方法が一旦選択されると、同一の方法が三次元の単眼視の右眼画像Rを計算するために使用される。右眼画像は、第一視点lとは異なる第二視点rから計算される。
自然の視界を生成するために、好ましくは、視点l、rの両点からの視界方向は、本質的に平行である。しかしながら、画像のペアはまた、一点に集中する視界方向で計算されてよく、この場合、画像の歪みが生成される。
両視点間の距離に関しては、好ましくは、視点間の距離が視点から例えば結腸壁等の視覚化される対象(又は複数の対象)までの距離の約1/30であるべきであるという一般規則が当てはまるものとする。実際上、これは、1乃至5ミリメートル、より好ましくは2乃至3ミリメートルの範囲に位置してよい、1ミリメートル以上の視点間の好ましい距離を導く。立体の画像化に関する一般的な情報は、Jacobus G.Ferwerda, “The World of 3-D, A Practical Guide to Stereo Photography”, 1982で見ることができる。
数多のアプローチは、3つの好ましい実施態様の一部として下記に記載される第一視点及び第二視点l、rを定義するように選択できる。
ステップ40は、立体画像を形成するために左眼画像と右眼画像をペアに組み合わせる。
図3は、本発明による方法の第一の好ましい実施態様を概略して例示する。第一の好ましい実施態様によると、各立体画像(L、R)において、第一視点lは視界経路4の左に位置し、第二視点rは視界経路4の右に位置する。好ましくは、第一視点lは、ある距離で視界経路に本質的に従う第一ライン(示されていない)に位置する。好ましくは、第二視点rは、ある距離で視界経路に本質的に従う第二ライン(示されていない)に位置する。第一及び第二ラインは、好ましくは、視界経路の異なる側に位置する。この実施態様によると、2つの新しい単眼視画像L及びRは、既知の方法による視界経路4上の視点mにおける一つの単眼視画像Mに代わって、立体画像(L、R)を生成するために視界経路4に従う2つの視点l及びrにおいて生成されることを必要とする。
図4は、本発明による方法の第二の好ましい実施態様を概略して例示する。各立体画像において、少なくとも第一視点l又は第二視点rは、視界経路4に位置する。図4において、第一視点lは視界経路4に位置し、第二視点rは視界経路4の右に位置する。第一視点lは、従来技術による方法において、ここで視点m(図3)に等しい。好ましくは、第二視点rは、ある距離で視界経路4に本質的に従うラインに位置する。この実施態様によると、2つの単眼視画像L及びRは、立体画像(L、R)を生成するために視界経路4上及び視界経路4に隣接してそれぞれ位置する、2つの視点l及びrにとって生成されることを必要とする。立体ビューイングの場合、視界経路に位置する視点mにおける既に計算された単眼視の画像Mが、各立体画像の左眼画像又は右眼画像のいずれかとして効率的に使用できる技術が、既知の単眼視の観察技術に加えて使用される。
図5は、本発明による方法の第三の好ましい実施態様を概略して例示し、各立体画像(L、R)において、第一視点l 及び第二視点rの両視点は、視界経路4に位置する。結果としての立体画像は、視界経路4の方向に垂直な側面の視界を提供する。立体ビューイング既知の単眼視ビューイング技術に追加して使用され単眼視の側面画像M 視界経路に位置する視点mいて既に計算されている場合、それら画像は、各立体画像で左眼画像及び右眼画像の両画像として効率的に使用できる。図5において、視点の多数の対応するペアは、(l、r)及び(l−1、r−1)示され、ここで、r=l−1及びr−1=l−2である。これは例えば、L、R、U及びDのそれぞれの4つの側面の視界を有する、前述した展開立方体技術にあてはまる。ここで、計算される画像量は、周知の単眼視のビューイング技術において計算される画像量と等しい。
ステップ50は、立体イメージャー手段を使用する立体画像を示す。
立体画像が一旦生成されると、それら画像はオブザーバに示されることを必要とする。一般的に、これは、下記の2つのステップによって実行され、それらのステップは、立体画像を形成する左眼画像及び右眼画像を異なる修正により示すステップと、立体イメージャー手段を左眼画像が左眼に渡されると共に、右眼画像が右眼に渡されるように構成するステップである。
コンピュータグラフィックスの分野において、このタイプの修正を達成する異なる技術が利用可能である。それらのうちの幾つかが下記に記載される。
第一に、修正は、立体画像の左眼画像と右眼画像を交互に異なる偏光により示すことによって達成できる。次いで、人のオブザーバは、左眼及び右眼のそれぞれにおいて対応して異なって偏光されたビューイング手段を備えて提供された立体イメージャー手段を使用して画像を見てよい。実際上、左眼画像及び右眼画像は、例えば、高頻度でスクリーンに交互に示すことができ、一方で、オブザーバは、例えば、偏光眼鏡を着用する。
第二に、修正は、立体画像の左眼画像と右眼画像を異なる時間多重により示すことによって達成できる。次いで、立体イメージャー手段に、制御ユニットにより対応する時間多重信号に基づいて別個に駆動されるべき左眼及び右眼用の異なるビューイング手段が提供されることを必要とする。この目的のために、LCDシャッターは、赤外線信号を使用するコンピュータによって制御されて使用されてよい。
好ましくは、立体画像は、立体画像が計算されたか若しくは記録された同一又は同様の条件下で見られる。これに関して、見る角度と全体像は関連している。ヘッドマウント型ディスプレイにビューイング手段を組み込むことによって、立体画像の幾何学的に正確な表現が保証できる。
第三に、第一及び第二の示す手段の代替として、立体イメージャー手段はレンチキュラースクリーンを有してよい。レンチキュラースクリーンは、オブザーバによって着用される如何なるビューイング手段を必要とせずに、直接的に立体画像を示すことができる、シリンダ型レンズのアレイを有する。レンチキュラースクリーンは、当該技術において本来既知であり、例えば、同一の出願人による米国特許第6,064,424号及び米国特許第6,118,584号明細書に記載されている。
当該明細書にわたって、用語としての左眼と右眼は互換性があることを注意する。
本発明による方法は、好ましくは、被験体の内部の中空器官の体積走査に基づく被験体の内部の中空器官を視覚化するためのシステムによって実行され、該システムは、本発明による方法のステップを実行するための手段を有する。その手段は、好ましくは、コンピュータプログラムを有する。ここに与えられた説明に基づいて、当業者は、方法のステップを、方法を実行するためのそのようなプログラムに変換することができるであろう。
記載されたシステムは、関心のある被験体のデータを得るためのデータ獲得システムに対して直接的に結合できる。このデータセットは、三次元のX線の回転式血管造影法、コンピュータ断層撮影、核磁気共鳴映像法又は磁気共鳴血管造影法などの様々な技術の手段によって得ることができる。
概略すると、本発明は、さらに詳細に明らかにするために、立体画像の手段による三次元の患者のデータを示すことによって、仮想内視鏡法などの仮想検査を実行する方法に関する。本発明は、検査の正確性を高めるため、したがって患者の診断の確実性を高めるために、医療環境で使用するために特に発展される。この方法の応用は、医療情報をもたらす仮想画像に帰着し、結腸鏡検査及び気管支鏡検査のような侵襲性の方法の代わりとして使用することができる。
当然のこととして、本発明は記載又は示された実施態様に限定されない。本発明は、血管又は気管などの他の診断対象物の表面の詳細を視覚化するように使用されてよく、さらに医学分野外で使用されてもよい。したがって、本発明は、一般的に、上記の記載及び添付図で見られるように請求項の範囲内となる、如何なる実施態様に適用する。
本発明による方法のステップの概略を示す流れ図である。 従来技術によるシミュレートされた内視鏡の視界の一部としての単眼視画像の例を示す図である。 本発明による方法の第一の好ましい実施態様を概略的に例示する図である。 本発明による方法の第二の好ましい実施態様を概略的に例示する図である。 本発明による方法の第三の好ましい実施態様を概略的に例示する図である。

Claims (12)

  1. 被験体の内部の中空器官の体積走査に基づき該被験体の内部の中空器官を視覚化するための方法であって、該方法は、
    a)前記中空器官の内部表面の多数の三次元画像再構成するステップであって:
    a1)前記中空器官を通過する視界経路を自動的に定義する段階、および、
    a2)前記視界経路上に位置する視点から見られるような、前記視界経路の方向と垂直な方向に見た三次元画像を再構成する段階とを有する段階を含むステップ、を有し
    前記方法はさらに
    )前記視界経路上にある複数の視点について単眼視の側面視界画像を計算
    左眼についての画像として、第一視点の単眼視の側面視界画像を使用し、
    d)右眼についての画像として、前記第一視点とは異なる第二視点の単眼視の側面視界画像を使用し、
    e)立体画像を形成するために前記左眼画像及び右眼画像をペアに組み合わせ、
    示す手段を使用して前記立体画像をスクリーン上に示すステップ、
    を有することを特徴とする方法。
  2. 単眼視の側面視界画像を計算する前記ステップが、展開立方体技術に基づいて単眼視の側面視界画像を計算するステップを含む、請求項1記載の方法。
  3. 前記視界経路の視点、第一視点又は第二視点として交互に使用されることを特徴とする請求項に記載の方法。
  4. 前記第一視点と前記第二視点との間の距離は、実質的に1ミリメートル以上であることを特徴とする請求項1乃至の一項以上に記載の方法。
  5. 前記第一視点と前記第二視点の視界方向は、実質的に平行であることを特徴とする請求項1乃至の一項以上に記載の方法。
  6. 立体視画像を示す前記ステップは
    I.立体画像を形成する前記左眼画像及び前記右眼画像異なる修正を加えるステップと、
    II.前記左眼画像及び前記右眼画像をスクリーン上に示すステップとを有しており
    異なる修正は、ビューイング手段によって前記左眼画像が左眼に渡され前記右眼画像が右眼に渡されるようにするものであることを特徴とする請求項1乃至の一項以上に記載の方法。
  7. 前記ステップIは、前記左眼画像及び前記右眼画像異なる偏光を適用することを含んでおり、
    前記ステップIIは、前記左眼画像及び前記右眼画像を交互に示ことを含んでおり
    前記ビューイング手段は、左眼及び右眼の各々のための対応する異なる偏ビューイング手段を有することを特徴とする請求項に記載の方法。
  8. 立体視画像をスクリーン上に示す前記ステップが:
    立体画像の左眼画像及び右眼画像をスクリーン上に、時間多重における異なるタイミングで示ビューイング手段によって前記左眼画像が左眼に渡され、前記右眼画像が右眼に渡されるように、制御ユニットにより対応する時間多重信号に基づいて別個に、左眼及び右眼のためのビューイング手段を有効にするステップを有することを特徴とする請求項1ないし5のうちいずれか一項に記載の方法。
  9. 前記ビューイング手段、ヘッドマウント型ディスプレイに組み込まれることを特徴とする請求項又はに記載の方法。
  10. 前記示す手段、レンチキュラースクリーンを有することを特徴とする請求項1乃至の一項以上に記載の方法。
  11. 被験体の内部の中空器官の体積走査に基づき該被験体の内部の中空器官を視覚化するためのシステムであって、該システムは、請求項1乃至10の一項以上に記載の方法のステップを実行するための手段を有することを特徴とするシステム。
  12. 請求項1乃至10の一項以上に記載の方法を実行するためのコンピュータプログラム。
JP2003581126A 2002-03-29 2003-03-26 三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム Expired - Fee Related JP4257218B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02076296 2002-03-29
PCT/IB2003/001216 WO2003083781A1 (en) 2002-03-29 2003-03-26 Method, system and computer program for stereoscopic viewing of 3d medical images

Publications (3)

Publication Number Publication Date
JP2005521960A JP2005521960A (ja) 2005-07-21
JP2005521960A5 JP2005521960A5 (ja) 2006-05-18
JP4257218B2 true JP4257218B2 (ja) 2009-04-22

Family

ID=28459543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003581126A Expired - Fee Related JP4257218B2 (ja) 2002-03-29 2003-03-26 三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20050151730A1 (ja)
EP (1) EP1493128A1 (ja)
JP (1) JP4257218B2 (ja)
AU (1) AU2003215836A1 (ja)
WO (1) WO2003083781A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005043464A2 (en) * 2003-11-03 2005-05-12 Bracco Imaging S.P.A. Dynamic crop box determination for optimized display of a tube-like structure in endoscopic view (“crop box”)
US7035371B2 (en) 2004-03-22 2006-04-25 Siemens Aktiengesellschaft Method and device for medical imaging
US7609910B2 (en) * 2004-04-09 2009-10-27 Siemens Medical Solutions Usa, Inc. System and method for creating a panoramic view of a volumetric image
US7813590B2 (en) * 2005-05-13 2010-10-12 Given Imaging Ltd. System and method for displaying an in-vivo image stream
US8284204B2 (en) * 2006-06-30 2012-10-09 Nokia Corporation Apparatus, method and a computer program product for providing a unified graphics pipeline for stereoscopic rendering
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
IL186567A (en) 2006-10-10 2014-02-27 Visionsense Ltd A method and system for navigating the colon
US11275242B1 (en) 2006-12-28 2022-03-15 Tipping Point Medical Images, Llc Method and apparatus for performing stereoscopic rotation of a volume on a head display unit
US11315307B1 (en) 2006-12-28 2022-04-26 Tipping Point Medical Images, Llc Method and apparatus for performing rotating viewpoints using a head display unit
US11228753B1 (en) 2006-12-28 2022-01-18 Robert Edwin Douglas Method and apparatus for performing stereoscopic zooming on a head display unit
US10795457B2 (en) 2006-12-28 2020-10-06 D3D Technologies, Inc. Interactive 3D cursor
US10586400B2 (en) * 2018-02-23 2020-03-10 Robert E Douglas Processing 3D medical images to enhance visualization
JP5683831B2 (ja) * 2010-04-14 2015-03-11 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
KR20120017649A (ko) * 2010-08-19 2012-02-29 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5932406B2 (ja) * 2012-03-09 2016-06-08 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
EP2669781B1 (en) * 2012-05-30 2016-08-17 Dassault Systèmes A user interface for navigating in a three-dimensional environment
JP7183256B2 (ja) * 2018-04-09 2022-12-05 オリンパス株式会社 内視鏡業務支援システムおよび内視鏡業務支援方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US633116A (en) * 1899-05-09 1899-09-19 William A Simmons Means for reducing friction of axles and journals.
US6011581A (en) * 1992-11-16 2000-01-04 Reveo, Inc. Intelligent method and system for producing and displaying stereoscopically-multiplexed images of three-dimensional objects for use in realistic stereoscopic viewing thereof in interactive virtual reality display environments
US5694530A (en) * 1994-01-18 1997-12-02 Hitachi Medical Corporation Method of constructing three-dimensional image according to central projection method and apparatus for same
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5611025A (en) * 1994-11-23 1997-03-11 General Electric Company Virtual internal cavity inspection system
US5606348A (en) * 1995-01-13 1997-02-25 The United States Of America As Represented By The Secretary Of The Army Programmable display interface device and method
GB9513658D0 (en) * 1995-07-05 1995-09-06 Philips Electronics Uk Ltd Autostereoscopic display apparatus
US6256529B1 (en) * 1995-07-26 2001-07-03 Burdette Medical Systems, Inc. Virtual reality 3D visualization for surgical procedures
US5748199A (en) * 1995-12-20 1998-05-05 Synthonics Incorporated Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture
US6064424A (en) * 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
US6331116B1 (en) * 1996-09-16 2001-12-18 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual segmentation and examination
US6049622A (en) * 1996-12-05 2000-04-11 Mayo Foundation For Medical Education And Research Graphic navigational guides for accurate image orientation and navigation
US6501468B1 (en) * 1997-07-02 2002-12-31 Sega Enterprises, Ltd. Stereoscopic display device and recording media recorded program for image processing of the display device
JP4063933B2 (ja) * 1997-12-01 2008-03-19 オリンパス株式会社 手術シミュレーション装置
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope

Also Published As

Publication number Publication date
WO2003083781A1 (en) 2003-10-09
US20050151730A1 (en) 2005-07-14
AU2003215836A1 (en) 2003-10-13
EP1493128A1 (en) 2005-01-05
JP2005521960A (ja) 2005-07-21

Similar Documents

Publication Publication Date Title
JP4257218B2 (ja) 三次元医療画像の立体的な観察のための方法、システム及びコンピュータプログラム
EP2765776B1 (en) Graphical system with enhanced stereopsis
JP2005521960A5 (ja)
CN1312639C (zh) 虚拟内窥镜检查的自动导航的方法和系统
US20070147671A1 (en) Analyzing radiological image using 3D stereo pairs
US20050148848A1 (en) Stereo display of tube-like structures and improved techniques therefor ("stereo display")
JP5666967B2 (ja) 医用画像処理システム、医用画像処理装置、医用画像診断装置、医用画像処理方法および医用画像処理プログラム
Gautsch et al. True three dimensional stereographic display of 3D reconstructed CT scans of the pelvis and acetabulum.
JP2008259696A (ja) 三次元画像処理装置および方法並びにプログラム
IL272651B (en) Creating a new frame using processed and unprocessed content from a previous perspective
CN112819777B (zh) 一种双目内窥镜辅助显示方法、系统、装置和存储介质
CN113906479A (zh) 从局部深度图生成合成三维成像
CN101069655A (zh) 用于腔体器官的虚拟内窥镜检查的方法和装置
US9210397B2 (en) Image processing system, apparatus, and method
CN103688293B (zh) 用于执行渲染的方法和系统
Owczarczyk et al. Evaluation of true 3 D display systems for visualizing medical volume data
JP2012050605A (ja) X線画像撮影装置、x線画像撮影方法およびプログラム
JP5177668B2 (ja) 立体画像作成装置及び方法並びに内視鏡検査システム
Martin et al. Stereographic viewing of 3D ultrasound images: a novelty or a tool?
Baxter et al. Application of a three-dimensional display in diagnostic imaging
Stoyanov et al. Current issues of photorealistic rendering for virtual and augmented reality in minimally invasive surgery
JP2003109042A (ja) 三次元画像高速演算方法
Liao et al. High-resolution stereoscopic surgical display using parallel integral videography and multi-projector
JP5974235B2 (ja) 画像処理装置、画像処理方法、画像処理システム及び医用画像診断装置
Liao et al. Image-guidance for cardiac surgery using dynamic autostereoscopic display system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees