JP5787030B2 - 医療用x線装置 - Google Patents
医療用x線装置 Download PDFInfo
- Publication number
- JP5787030B2 JP5787030B2 JP2014507002A JP2014507002A JP5787030B2 JP 5787030 B2 JP5787030 B2 JP 5787030B2 JP 2014507002 A JP2014507002 A JP 2014507002A JP 2014507002 A JP2014507002 A JP 2014507002A JP 5787030 B2 JP5787030 B2 JP 5787030B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- region
- fluoroscopic
- stereogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 claims description 103
- 238000002594 fluoroscopy Methods 0.000 claims description 51
- 238000003780 insertion Methods 0.000 claims description 34
- 230000037431 insertion Effects 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 23
- 230000005855 radiation Effects 0.000 claims description 15
- 238000003745 diagnosis Methods 0.000 claims description 10
- 238000007408 cone-beam computed tomography Methods 0.000 description 84
- 238000003384 imaging method Methods 0.000 description 40
- 210000000621 bronchi Anatomy 0.000 description 37
- 238000000034 method Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 238000001839 endoscopy Methods 0.000 description 14
- 230000029058 respiratory gaseous exchange Effects 0.000 description 12
- 238000013170 computed tomography imaging Methods 0.000 description 11
- 206010028980 Neoplasm Diseases 0.000 description 10
- 230000003902 lesion Effects 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000002583 angiography Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000001574 biopsy Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000003097 mucus Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000002725 brachytherapy Methods 0.000 description 1
- 238000013276 bronchoscopy Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000004877 mucosa Anatomy 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/022—Stereoscopic imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/12—Arrangements for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
- A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
- A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5264—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2008—Assembling, disassembling
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- High Energy & Nuclear Physics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Pulmonology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
この発明は、検出されたX線に基づいて透視画像をリアルタイムに表示して診断・治療を行う医療用X線装置に係り、特に、診断・治療の対象となる被検体の体内に挿入部材を挿入しながら透視を行って診断・治療に供する技術に関する。
挿入部材としては、内視鏡検査などに用いられる気管支内視鏡や、整形外科手術や血管造影などに用いられるカテーテルやワイヤや、放射線治療計画などに用いられる線源を挿入するためのアプリケータ(線源挿入用アプリケータ)や模擬線源などがある。内視鏡検査では、気管支内視鏡や気管支内視鏡を介して挿入された生検(生体検査)用の鉗子などを被検体の気管支に挿入して気管支に関する診断を行う。血管造影では、カテーテルやワイヤを目的部位まで血管中に挿入して診断あるいは治療を行う。放射線治療計画では、線源挿入用アプリケータと模擬線源とを治療部位まで挿入して線源による治療計画を行う。以下では、内視鏡検査を例に採って説明する。
内視鏡検査に先だって、X線CT(Computed Tomography)で得られた3次元データにより、気管支の3次元画像(仮想内視鏡像)を作成することが望ましい。そして、気管支内視鏡を被検体の気管支に挿入して所定の気管支の診断位置にまで進行させる過程で、気管支の内腔から見た画像(気管支鏡画像)を作成し、当該画像をリアルタイムに表示することで内視鏡検査を行い、気管支内視鏡の先端を誘導(すなわちナビゲート)する。このとき、仮想内視鏡像に基づいて実際での気管支鏡の先端部分の位置を決めることが重要なポイントである。
従来では、現在の気管支鏡画像と類似する画像(類似画像)を仮想内視鏡像から選び、その仮想内視鏡像を参照して気管支鏡の先端部分の実際での位置を確認して決定することで、当該位置を同定する(例えば、特許文献1参照)。また、特許文献1においては電磁気でその位置を同定する。
ところで、末梢病変に対する気管支鏡検査では、気管支内視鏡は、例えば右主気管支から上葉に入り、その後は末梢の細い気管支に挿入する。ところが、気管支内視鏡は例えば5mm径の太さで、末梢の細い気管支は例えば1mm径の太さである。したがって、5mm径の太さの気管支内視鏡が、1mm径の太さの細い気管支に挿入することができない。また、細い気管支に太い気管支内視鏡を挿入すると当該内視鏡は挿入可能な位置までしか進まないので、気管支の内腔から見た画像(すなわち気管支鏡画像)からは挿入可能な位置までしか気管支の内腔を確認することができず、細い気管支の内腔まで確認することができない。
そこで、気管支内視鏡の先端にある処置チャンネル(鉗子チャンネル)の開口部に鉗子を挿入して、X線CTで得られた仮想内視鏡像で鉗子の位置を確認して、病変(例えば腫瘍)まで誘導して、組織等の検体を採取する。なお、極細径の気管支鏡を使用すると、比較的に細い気管支まで挿入が可能で、そのときに分岐の方向の理解を促進する仮想内視鏡像があると有用であるが、目的の細い気管支にまで挿入できるとは限らない。また、通常の太さの気管支鏡を挿入する場合で、ある程度太い気管支レベルでも仮想内視鏡像が参考になることがある。
しかしながら、上述の類似画像を選んで位置を同定する方法は、人体の組織・構造が柔軟であるので、困難であるという問題点がある。すなわち、気管支鏡画像と、X線により得られた類似画像との間で表示の態様が異なる。気管支鏡画像はリアルタイムに表示される画像であるので、例えば、呼吸しているときの人体の組織・構造が動いた位相毎の気管支鏡画像がその都度に表示される。一方、類似画像はリアルタイムに表示される画像でないので、ある位相の画像でしか表示されない。したがって、両画像間で一致させるのは難しく、類似画像を選んで位置を同定する方法は困難となる。また、内視鏡画像では透明で粘膜が透見可能な粘液も、X線による類似画像では粘液と粘膜との区別は難しい。
また、電磁気で位置を同定する方法は、先端部分の絶対的な位置はわかるが、周囲の解剖学的な構造との関係や、先端部分の向いている方向(すなわち挿入方向)までわからないという問題点がある。以上の問題点より、精度ある誘導(すなわちナビゲーション)は困難である。
この発明は、このような事情に鑑みてなされたものであって、精度よくナビゲーションを行うことができる医療用X線装置を提供することを目的とする。
発明者らは、上記の問題を解決するために鋭意研究した結果、次のような知見を得た。
すなわち、リアルタイムに表示される画像として、従来の内視鏡による気管支鏡画像に頼るのでなく、X線に基づいて予め得られた3次元画像(仮想内視鏡像)に着目してみた。してみれば、リアルタイムに表示される画像として、X線に基づいて得られた透視画像を採用すれば、3次元画像・透視画像では同じX線画像同士である。したがって、目的物の位置(内視鏡検査の場合には内視鏡の先端部分)を同定することが可能になり、気管支内視鏡などに代表される挿入部材を被検体の体内に挿入しながら透視を行って、精度よくナビゲーションを行うことができるという知見を得た。
また、投影方向に視差を互いにつけた2つの透視画像からなるステレオグラム画像に適用すれば、(リアルタイムに表示される)ステレオグラム画像に基づいて3次元座標位置を同定し、挿入方向もわかるという知見を得た。また、ステレオグラム画像に適用しなくとも3次元画像および(リアルタイムに表示される)透視画像に基づいて3次元座標位置を同定し、挿入方向もわかるという知見も得た。
このような知見に基づくこの発明は、次のような構成をとる。
すなわち、この発明に係る医療用X線装置(前者の発明)は、検出されたX線に基づいて透視画像をリアルタイムに表示して診断・治療を行う医療用X線装置であって、投影方向に視差を互いにつけた2つの透視画像からなるステレオグラム画像を作成するステレオグラム画像作成手段と、X線に基づいて予め得られた3次元画像において、前記ステレオグラム画像作成手段により作成された前記ステレオグラム画像における各々の投影方向での前記3次元画像に基づく立体視画像をそれぞれ作成する立体視画像作成手段と、各々の投影方向での前記ステレオグラム画像と前記立体視画像作成手段でそれぞれ作成された前記立体視画像とを重ね合わせて重畳処理する重畳処理手段と、その重畳処理手段で重畳処理された画像をリアルタイムに表示する表示手段とを備えることを特徴とするものである。
すなわち、この発明に係る医療用X線装置(前者の発明)は、検出されたX線に基づいて透視画像をリアルタイムに表示して診断・治療を行う医療用X線装置であって、投影方向に視差を互いにつけた2つの透視画像からなるステレオグラム画像を作成するステレオグラム画像作成手段と、X線に基づいて予め得られた3次元画像において、前記ステレオグラム画像作成手段により作成された前記ステレオグラム画像における各々の投影方向での前記3次元画像に基づく立体視画像をそれぞれ作成する立体視画像作成手段と、各々の投影方向での前記ステレオグラム画像と前記立体視画像作成手段でそれぞれ作成された前記立体視画像とを重ね合わせて重畳処理する重畳処理手段と、その重畳処理手段で重畳処理された画像をリアルタイムに表示する表示手段とを備えることを特徴とするものである。
この発明に係る医療用X線装置(前者の発明)によれば、ステレオグラム画像作成手段は、投影方向に視差を互いにつけた2つの(X線に基づいて得られた)透視画像からなるステレオグラム画像を作成する。一方、立体視画像作成手段は、X線に基づいて予め得られた3次元画像において、上述のステレオグラム画像作成手段により作成されたステレオグラム画像における各々の投影方向での3次元画像に基づく立体視画像をそれぞれ作成する。
そして、重畳処理手段は、各々の投影方向でのステレオグラム画像と上述の立体視画像作成手段でそれぞれ作成された立体視画像とを重ね合わせて重畳処理する。さらに、上述の重畳処理手段で重畳処理された画像を表示手段にリアルタイムに表示する。上述したように、3次元画像(立体視画像)・透視画像(ここではステレオグラム画像)では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。
また前者の発明において、ステレオグラム画像作成手段により作成されたステレオグラム画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する3次元座標位置検出手段を備えることが好ましい。3次元座標位置検出手段は、ステレオグラム画像作成手段により作成されたステレオグラム画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する。リアルタイムのステレオグラム画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
また前者の発明において、ステレオグラム画像作成手段により作成されたステレオグラム画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する3次元座標位置検出手段を備えることが好ましい。3次元座標位置検出手段は、ステレオグラム画像作成手段により作成されたステレオグラム画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する。リアルタイムのステレオグラム画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
また、この発明に係る医療用X線装置(後者の発明)は、検出されたX線に基づいて透視画像をリアルタイムに表示して診断・治療を行う医療用X線装置であって、局所的な関心領域を設定する関心領域設定手段と、(1)その関心領域設定手段で設定された前記関心領域において、被検体の体動を一定のシフトと見なし、前記透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を、前記透視画像における前記一定のシフトに合わせてシフトする、もしくは(2)その関心領域設定手段で設定された前記関心領域において、被検体の体動を一定のシフトと見なし、前記透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を固定し、その固定された立体視画像の位置に合わせて前記透視画像をシフトする画像シフト手段と、前記関心領域において、(1)前記透視画像と前記画像シフト手段によりシフトされた前記立体視画像とを重ね合わせて重畳処理する、もしくは(2)前記立体視画像と前記画像シフト手段によりシフトされた前記透視画像とを重ね合わせて重畳処理する重畳処理手段と、その重畳処理手段で重畳処理された画像をリアルタイムに表示する表示手段とを備えることを特徴とするものである。
この発明に係る医療用X線装置(後者の発明)によれば、関心領域設定手段は、局所的な関心領域を設定し、画像シフト手段は、(1)関心領域設定手段で設定された関心領域において、被検体の体動を一定のシフトと見なし、(X線に基づいて得られた)透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を、透視画像における一定のシフトに合わせてシフトする。もしくは、画像シフト手段は、(2)(関心領域設定手段で設定された)関心領域において、被検体の体動を一定のシフトと見なし、透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を固定し、その固定された立体視画像の位置に合わせて透視画像をシフトする。通常、被検体の体動(例えば呼吸による体動)により体内の組織・構造は拡大あるいは縮小されるが、局所的な関心領域では拡大や縮小は無視され大きさは一定でシフトすると見なされる。また、例えば挿入部材を挿入しながら透視を行う場合には、全体画像はさほど重要でなく、関心領域さえわかればよい。そこで、上述の(1)の場合には、関心領域において透視画像のシフトに合わせて立体視画像をシフトすることができる。また、上述の(2)の場合には、関心領域において立体視画像を固定し、その固定された立体視画像の位置に合わせて透視画像をシフトするので、透視画像がシフトしたとしても、固定された立体視画像の位置に透視画像を常に位置させて、透視画像があたかも静止しているように見える。また、例えば呼吸による体動の場合には、呼吸センサに同期した3次元画像、あるいは複数位相毎に同期した3次元画像を予め取得することで、体動による重畳処理に対処する手法も考えられるが、呼吸センサが必要になったり、複数位相毎の画像を取得するために撮影回数が増して検査時間や被曝線量や処理時間の増加などがあり実用的でない。また、被検体が大きく動けば、全て撮り直しという大きな無駄も生じる。後者の発明の場合には、投影方向が変更されたときに透視画像の位置ズレ量に基づいて立体視画像の位置ズレ量を算出して両者を重畳表示する手法とは相違し、局所的な関心領域では大きさは一定と見なして立体視画像(または上述の(2)の場合には透視画像)を単にシフトすることで、従来のような呼吸センサは不要で、かつ複数位相毎に同期した3次元画像を予め取得することなく、撮影回数を低減させて検査時間や被曝線量や処理時間も低減させることができる。
そして、重畳処理手段は、関心領域において、(1)透視画像と上述の画像シフト手段によりシフトされた立体視画像とを重ね合わせて重畳処理する。もしくは、関心領域において、(2)立体視画像と上述の画像シフト手段によりシフトされた透視画像とを重ね合わせて重畳処理する。さらに、上述の重畳処理手段で重畳処理された画像を表示手段にリアルタイムに表示する。上述したように、3次元画像(立体視画像)・透視画像では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。
また後者の発明において、関心領域における3次元画像および透視画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する3次元座標位置検出手段を備えることが好ましい。3次元座標位置検出手段は、関心領域における3次元画像および透視画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する。3次元画像およびリアルタイムの透視画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
また後者の発明において、関心領域における3次元画像および透視画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する3次元座標位置検出手段を備えることが好ましい。3次元座標位置検出手段は、関心領域における3次元画像および透視画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する。3次元画像およびリアルタイムの透視画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
後者の発明において、リアルタイムに表示される3次元座標位置が関心領域から外れるときに、当該3次元座標位置が収まるように関心領域を再設定する関心領域再設定手段を備え、その関心領域再設定手段で再設定された関心領域で、前記画像シフト手段による画像のシフト,前記重畳処理手段による重畳処理,前記表示手段によるリアルタイム表示および前記3次元座標位置検出手段による目的物の3次元座標位置の検出を繰り返し行うのが好ましい。上述の関心領域再設定手段で再設定された関心領域で、前記画像シフト手段による画像のシフト,前記重畳処理手段による重畳処理,前記表示手段によるリアルタイム表示および前記3次元座標位置検出手段による目的物の3次元座標位置の検出を繰り返し行うことで、例えば挿入部材を挿入しながら透視を行う場合において3次元座標位置が変動する場合に当該位置を追いながらナビゲートすることができる。また、ナビゲートしながら関心領域も再設定を繰り返しながら当該位置に追従するので、当該位置を追いながら精度よくナビゲーションを行うことができる。
また、前者の発明と後者の発明とを両方組み合わせることもできる。
すなわち、後者の発明において、投影方向に視差を互いにつけた2つの透視画像からなるステレオグラム画像を作成するステレオグラム画像作成手段と、前記3次元画像において、前記ステレオグラム画像作成手段により作成された前記ステレオグラム画像における各々の投影方向での前記3次元画像に基づく立体視画像をそれぞれ作成する立体視画像作成手段とを備え、前記画像シフト手段は、(1)前記関心領域において、被検体の体動を一定のシフトと見なし、前記立体視画像作成手段でそれぞれ作成された前記立体視画像を、前記ステレオグラム画像における前記一定のシフトに合わせてシフトする、もしくは(2)前記関心領域において、被検体の体動を一定のシフトと見なし、前記立体視画像作成手段でそれぞれ作成された前記立体視画像を固定し、その固定された立体視画像の位置に合わせて前記ステレオグラム画像をシフトし、前記重畳処理手段は、前記関心領域において、(1)前記ステレオグラム画像と前記画像シフト手段によりシフトされた前記立体視画像とを各々の投影方向ごとに重ね合わせて重畳処理する、もしくは(2)前記立体視画像と前記画像シフト手段によりシフトされた前記ステレオグラム画像とを各々の投影方向ごとに重ね合わせて重畳処理し、前記表示手段は、前記重畳処理手段で重畳処理された画像をリアルタイムに表示し、前記3次元座標位置検出手段は、前記関心領域における前記3次元画像および前記ステレオグラム画像に基づいて前記3次元座標位置を算出して検出することを特徴とするものである。
すなわち、後者の発明において、投影方向に視差を互いにつけた2つの透視画像からなるステレオグラム画像を作成するステレオグラム画像作成手段と、前記3次元画像において、前記ステレオグラム画像作成手段により作成された前記ステレオグラム画像における各々の投影方向での前記3次元画像に基づく立体視画像をそれぞれ作成する立体視画像作成手段とを備え、前記画像シフト手段は、(1)前記関心領域において、被検体の体動を一定のシフトと見なし、前記立体視画像作成手段でそれぞれ作成された前記立体視画像を、前記ステレオグラム画像における前記一定のシフトに合わせてシフトする、もしくは(2)前記関心領域において、被検体の体動を一定のシフトと見なし、前記立体視画像作成手段でそれぞれ作成された前記立体視画像を固定し、その固定された立体視画像の位置に合わせて前記ステレオグラム画像をシフトし、前記重畳処理手段は、前記関心領域において、(1)前記ステレオグラム画像と前記画像シフト手段によりシフトされた前記立体視画像とを各々の投影方向ごとに重ね合わせて重畳処理する、もしくは(2)前記立体視画像と前記画像シフト手段によりシフトされた前記ステレオグラム画像とを各々の投影方向ごとに重ね合わせて重畳処理し、前記表示手段は、前記重畳処理手段で重畳処理された画像をリアルタイムに表示し、前記3次元座標位置検出手段は、前記関心領域における前記3次元画像および前記ステレオグラム画像に基づいて前記3次元座標位置を算出して検出することを特徴とするものである。
前者の発明と後者の発明とを両方組み合わせた発明によれば、後者の発明において、前者の発明と同様のステレオグラム画像作成手段と立体視画像作成手段とを備える。後者の発明における画像シフト手段において、透視画像をステレオグラム画像に限定することで、画像シフト手段は、関心領域において、被検体の体動を一定のシフトと見なし、上述の(1)の場合には、上述の立体視画像作成手段でそれぞれ作成された立体視画像を、ステレオグラム画像における一定のシフトに合わせてシフトする、もしくは上述の(2)の場合には、立体視画像を固定し、その固定された立体視画像の位置に合わせてステレオグラム画像をシフトする。また、後者の発明における重畳処理手段において、透視画像をステレオグラム画像に限定することで、重畳処理手段は、関心領域において、ステレオグラム画像(または上述の(2)の場合には立体視画像)と画像シフト手段によりシフトされた立体視画像(または上述の(2)の場合にはステレオグラム画像)とを各々の投影方向ごとに重ね合わせて重畳処理する。言い換えれば、前者の発明における重畳処理手段において、関心領域に限定することで、関心領域において、ステレオグラム画像(または上述の(2)の場合には立体視画像)と画像シフト手段によりシフトされた立体視画像(または上述の(2)の場合にはステレオグラム画像)とを各々の投影方向ごとに重ね合わせて重畳処理することになる。
また、後者の発明における表示手段は、前者の発明における表示手段と同様に、重畳処理手段で重畳処理された画像をリアルタイムに表示する。また、後者の発明における3次元座標位置検出手段において、透視画像をステレオグラム画像に限定することで、3次元座標位置検出手段は、関心領域における3次元画像およびステレオグラム画像に基づいて3次元座標位置を算出して検出する。言い換えれば、前者の発明における3次元座標位置検出手段において、関心領域に限定して、基となるデータにステレオグラム画像の他にも3次元画像を追加することで、関心領域における3次元画像およびステレオグラム画像に基づいて3次元座標位置を算出して検出することになる。それ以外の作用・効果については、前者の発明と後者の発明とを組み合わせたものであるので、その説明について省略する。
上述のステレオグラム画像作成手段の一例は、投影方向に視差を互いにつけたリアルタイムでの透視によりそれぞれ得られ、かつ当該視差を互いにつけた2つの透視画像からなるステレオグラム画像を作成することである。すなわち、ステレオグラム透視を行うことにより、その都度に視差を互いにつけた2つの透視画像をリアルタイムに取得し、ステレオグラム画像を作成する。
上述のステレオグラム画像作成手段の他の一例は、リアルタイムでの透視により得られた1つの元の透視画像から、前記3次元画像に基づいて当該元の透視画像の投影方向に視差をつけた第2の透視画像を作成し、さらに前記元の透視画像と前記第2の透視画像とからなる前記ステレオグラム画像を作成することである。すなわち、(ステレオグラム透視ではない)通常の透視を行うことにより、その都度に1つの元の透視画像をリアルタイムに取得する。そして、当該元の透視画像から、当該元の透視画像と当該元の透視画像の投影方向に視差をつけた第2の透視画像を作成し、さらに元の透視画像と第2の透視画像とからなるステレオグラム画像を作成する。
前者の発明・後者の発明を含め、これらの発明に係る医療用X線装置において、上述の3次元座標位置検出手段は、診断・治療の対象となる被検体の体内に挿入される挿入部材の先端部分の位置を3次元座標位置として検出する。気管支内視鏡やカテーテルやワイヤや線源挿入用アプリケータなどに代表される挿入部材を被検体の体内に挿入しながら透視を行う場合において、従来のような電磁気を用いなくとも、透視下の挿入部材の位置・向きを同定するのが容易になる。また、挿入部材の一例は、内視鏡,線源挿入用アプリケータ,模擬線源あるいはカテーテルワイヤである。
この発明に係る医療用X線装置(前者の発明)によれば、3次元画像(立体視画像)・ステレオグラム画像では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。さらに、リアルタイムのステレオグラム画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
また、この発明に係る医療用X線装置(後者の発明)によれば、3次元画像(立体視画像)・透視画像では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。さらに、3次元画像およびリアルタイムの透視画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
また、この発明に係る医療用X線装置(後者の発明)によれば、3次元画像(立体視画像)・透視画像では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。さらに、3次元画像およびリアルタイムの透視画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
以下、図面を参照してこの発明の実施例1を説明する。図1は、各実施例に係るCアーム透視撮影装置の概略構成図およびブロック図であり、図2(a)は、内視鏡検査(透視)に先だって行われるCアーム透視撮影装置によるコーンビームCT撮影(CBCT撮影)の概略図であり、図2(b)は、Cアーム透視撮影装置による内視鏡検査(透視)の概略図である。後述する実施例2、3も含めて、本実施例1では、医療用X線装置として、Cアーム透視撮影装置を例に採って説明するとともに、挿入部材として、内視鏡を例に採って説明する。
後述する実施例2、3も含めて、本実施例1に係るCアーム透視撮影装置は、図1に示すように、被検体Mを載置する天板1に対して独立して動くように構成されている。Cアーム透視撮影装置は、X線管2およびX線検出器3からなる映像系4を備えている。後述する実施例2、3も含めて、本実施例1では、X線管2は、2つの焦点を有した1つの管球(ステレオX線管球)である。具体的には、図2に示すように、パルスで焦点切り換えを行うことができ、左右交互でX線を切り換え照射しながら左右透視画像をリアルタイムに表示する。
この他に、Cアーム透視撮影装置は、一端でX線管2を保持し、他端でX線検出器3を保持するCアーム5を備えている。Cアーム5は、回転中心軸x方向に湾曲状に形成されている。Cアーム5は、Cアーム5自身に沿って被検体Mの体軸zの軸心周りに(矢印RA方向に)回転することで、Cアーム5に保持されたX線管2およびX線検出器3も同方向に回転することが可能である。さらに、Cアーム5は体軸zと直交する回転中心軸xの軸心周りに(矢印RB方向に)回転することで、X線管2およびX線検出器3も同方向に回転することが可能である。
具体的には、Cアーム5は、床面に固定配置された基台6に、支柱7およびアーム保持部8を介して保持される。基台6に対して支柱7は、鉛直軸の軸心周りに(矢印RC方向)に回転可能で、この回転により支柱7に保持されたCアーム5ごと映像系4も同方向に回転することが可能である。また、支柱7に対してアーム保持部8を回転中心軸xの軸心周りに回転可能に保持することで、アーム保持部8に保持されたCアーム5ごと映像系4も同方向に回転することができる。また、アーム保持部8に対してCアーム5を被検体Mの体軸zの軸心周りに回転可能に保持することで、Cアームごと映像系4も同方向に回転することができる。
さらに、Cアーム透視撮影装置は、図1に示すように、X線検出器3で検出されたX線に基づいて各種の画像処理を行う画像処理部11と、画像処理部11で得られた各画像(各実施例ではCBCTボリュームデータや立体視画像や重畳処理後の画像)などのデータを書き込んで記憶するメモリ部12と、データや命令を入力する入力部13と、透視画像やCBCT画像やこれらを重畳処理した画像を表示する表示部14と、これらを統括制御するコントローラ15とを備えている。その他にも、高電圧を発生して管電流や管電圧をX線管2に与える高電圧発生部などを備えているが、この発明の特徴部分あるいは特徴部分に関連する構成でないので、図示を省略する。画像処理部11は、この発明におけるステレオグラム画像作成手段,立体視画像作成手段および重畳処理手段に相当し、表示部14は、この発明における表示手段に相当し、コントローラ15は、この発明における3次元座標位置検出手段に相当する。
画像処理部11は、内視鏡検査(透視)時には、X線検出器3で検出されたX線に基づく投影像を透視画像として、コントローラ15を介して、表示部14に送り込んで、透視画像を表示部14にリアルタイムに表示する。透視画像を表示部14にリアルタイムに表示することにより、オペレータ(術者)は透視画像をリアルタイムにモニタリングする。
後述する実施例3も含めて、本実施例1では、図2(b)に示すように、X線管2からパルスで焦点切り換えを行うことにより、左右交互でX線を切り換え照射してX線検出器3でそれぞれ検出されたX線に基づく2つの投影像を、画像処理部11は、投影方向に視差を互いにつけた2つの透視画像(透視右画像,透視左画像)とする。すなわち、画像処理部11は、投影方向に視差を互いにつけたリアルタイムでの透視によりそれぞれ得られ、かつ当該視差を互いにつけた2つの透視画像(透視右画像,透視左画像)からなるステレオグラム画像を作成する。
さらに、後述する実施例2、3も含めて、本実施例1では、内視鏡検査(透視)に先だって、映像系4を各方向(例えば図1や図2(a)に示す矢印RA方向に約200°回転)に動かして、図2(a)に示すように、1つの焦点のみからコーンビーム(CB: Cone Beam)状のX線を照射してX線検出器3で検出することにより、コーンビームCT撮影(CBCT撮影)を行う。
内視鏡検査(透視)に先だって行われるコーンビームCT撮影(CBCT撮影)時には、映像系4を各方向に動かして収集された複数の投影像に基づいて、画像処理部11は、3次元再構成して3次元画像(CBCTボリュームデータ)を作成する。さらに、画像処理部11は、その3次元画像(CBCTボリュームデータ)に基づいて、立体視画像として後述するCBCT右画像およびCBCT左画像(図3〜図5を参照)をそれぞれ作成する。これらのCBCTボリュームデータや立体視画像(CBCT右画像,CBCT左画像)を、コントローラ15を介して、メモリ部12に書き込んで記憶する。具体的な3次元再構成の手法(演算手法)や、立体視画像(CBCT右画像,CBCT左画像)の具体的な生成の手法(演算手法)については、この発明の特徴部分でないので、説明を省略する。
さらに、画像処理部11は、各々の投影方向でのステレオグラム画像(透視右画像,透視左画像)と立体視画像(CBCT右画像,CBCT左画像)とを重ね合わせて重畳処理する。具体的には、透視右画像とCBCT右画像とを重ね合わせて重畳処理し、透視左画像とCBCT左画像とを重ね合わせて重畳処理する。これらの重畳処理された画像(重畳処理後の画像)についても、コントローラ15を介して、メモリ部12に書き込んで記憶する。
メモリ部12は、コントローラ15を介して、画像処理部11で作成されたCBCTボリュームデータや立体視画像(CBCT右画像,CBCT左画像)や重畳処理後の画像などのデータを書き込んで記憶し、適宜必要に応じて読み出して、コントローラ15を介して、これらのデータを表示部14に送り込んで表示する。メモリ部12は、ROM(Read-only Memory)やRAM(Random-Access Memory)やハードディスクなどに代表される記憶媒体で構成されている。後述する実施例2、3も含めて、本実施例1では、内視鏡検査(透視)時に立体視画像(CBCT右画像,CBCT左画像)や重畳処理後の画像をメモリ部12から読み出して表示部14に表示する。
入力部13は、オペレータが入力したデータや命令をコントローラ15に送り込む。入力部13は、マウスやキーボードやジョイスティックやトラックボールやタッチパネルなどに代表されるポインティングデバイスで構成されている。
表示部14は、モニタで構成されている。後述する実施例2、3も含めて、本実施例1では、表示部14は、一対の画像を3次元的に表示(3D表示)する3Dモニタ、あるいは両眼型ヘッドマウントディスプレイ(2画面ヘッドマウントディスプレイ)等の3D表示部で構成されている。具体的な表示については、図5で後述する。
コントローラ15は、X線血管撮影装置を構成する各部分を統括制御する。後述する実施例2、3も含めて、本実施例1では、リアルタイムに表示される画面上の目的物の位置(各実施例では気管支内視鏡の先端部分の位置)から当該目的物の3次元座標位置を算出して検出する3次元座標位置検出の機能を有する。特に、本実施例1では、画像処理部11により作成されたステレオグラム画像(透視右画像,透視左画像)に基づいて、コントローラ15は3次元座標位置を算出して検出する。上述の画像処理部11やコントローラ15は、中央演算処理装置(CPU)などで構成されている。画像処理部11で得られた各画像などのデータを、コントローラ15を介して、メモリ部12に書き込んで記憶、あるいは表示部14に送り込んで表示する。
続いて、各画像の生成および表示について、図3〜図6を参照して説明する。図3は、各画像のデータの流れを示す概略図であり、図4は、CBCTボリュームデータから立体視画像(CBCT右画像,CBCT左画像)の作成に供する概略図であり、図5は、表示部による画像表示方式の一実施態様を示した概略図であり、図6は、気管支内視鏡の概略図である。
図4では、CBCT右画像を作成する投影方向を「A」方向とするとともに、CBCT左画像を作成する投影方向を「B」方向とする。また、リアルタイムに表示される透視右画像の投影方向を上述のA方向とし、A方向に対して視差をつけた方向を上述のB方向とすると、B方向から得られた透視画像が透視左画像となる。つまり、CBCT右画像,CBCT左画像における各投影方向(A,B方向)がなす相対角度θは、Cアーム5(図1および図2を参照)の透視角度にも依存し、交差法では相対角度θは5°〜10°程度である。したがって、図3に示すように、CBCT撮影位置情報およびステレオX線管球のX線管2(図1および図2を参照)から照射された透視位置情報に基づいて、3次元画像(CBCTボリュームデータ)に基づくCBCT右画像,CBCT左画像をそれぞれ作成することができる。
より具体的に説明すると、図3に示すように、画像処理部11(図1を参照)は、内視鏡検査(透視)に先だって行われたコーンビームCT撮影(CBCT撮影)で得られた複数の投影画像に基づいて3次元画像(CBCTボリュームデータ)を作成する。作成されたCBCTボリュームデータをコントローラ15(図1を参照)を介して、メモリ部12(図1を参照)に書き込んで記憶する。
そして、内視鏡検査(透視)時に、予め得られた(メモリ部12に記憶された)CBCTボリュームデータを(コントローラ15を介して)読み出して、画像処理部11は、当該CBCTボリュームデータにおいて、同じく画像処理部11により作成されたステレオグラム画像(透視右画像,透視左画像)における各々の投影方向(図4のA,B方向)でのCBCTボリュームデータに基づく立体視画像(CBCT右画像,CBCT左画像)をそれぞれ作成する。すなわち、CBCT撮影位置情報や透視位置情報に基づいてCBCT右画像,CBCT左画像をそれぞれ作成する。作成されたCBCT右画像,CBCT左画像を、コントローラ15を介して、メモリ部12に書き込んで記憶、あるいは表示部14(図1、図3および図5を参照)に送り込んで表示する。
一方、内視鏡検査(透視)時に、画像処理部11は、透視右画像,透視左画像を作成するとともに、各々の透視画像とCBCT右画像,CBCT左画像とを重ね合わせて重畳処理して重畳処理後の画像(右画像,左画像)を作成する。リアルタイムに表示するために、内視鏡検査(透視)時には、メモリ部12に書き込まずに、コントローラ15を介して表示部14に送り込んで表示する。このように表示部14に直接に表示することにより、重畳処理後の画像(右画像,左画像)を表示部14にリアルタイムに表示する。ただし、重畳処理後の画像(右画像,左画像)を後で利用するために、コントローラ15を介してメモリ部12に書き込んで記憶することもできる。
表示部14は、図5に示すように4つのモニタからなる。図5の場合には、CBCT右画像,CBCT左画像(「操作計画図」とも呼ぶ)を表示するモニタ14A、気管支の内腔から見た画像(気管支鏡画像)を表示するモニタ14B、透視右画像,透視左画像をリアルタイムに表示するモニタ14Cおよび重畳処理後の画像(右画像,左画像)をリアルタイムに表示するモニタ14Dからなる。
また、一対の画像を3次元的に表示(3D表示)する3Dモニタの場合には、モニタ14Cでは、透視右画像を3Dモニタの左右眼用画像の一方(ここでは右眼用画像)とし、透視左画像を3Dモニタの他方の左右眼用画像(ここでは左眼用画像)とするということを意味する。そして、当該3Dモニタの場合には、モニタ14Dでは、透視右画像とCBCT右画像とを重ね合わせて重畳処理した画像(右画像)を3Dモニタの左右眼用画像の一方(ここでは右眼用画像)とし、透視左画像とCBCT左画像とを重ね合わせて重畳処理した画像(左画像)を他方の左右眼用画像(ここでは左眼用画像)とするということを意味する。
一方、両眼型ヘッドマウントディスプレイ(2画面ヘッドマウントディスプレイ)の場合には、モニタ14Cでは、透視右画像,透視左画像を並べてステレオグラム画像として表示し、モニタ14Dでは、透視右画像とCBCT右画像とを重ね合わせて重畳処理した画像(右画像),透視左画像とCBCT左画像とを重ね合わせて重畳処理した画像(左画像)を並べてステレオグラム画像として表示する。当該両眼型ヘッドマウントディスプレイの場合には、一対の画像を左右に表示し、オペレータ自身が立体視を行う形の表示も可能である。この構成であれば、3Dモニタのような特殊な機器を必要とせずに、従来の装置構成(通常のモニタ)で実現することが可能である。
内視鏡検査(透視)時には、図6に示すような気管支内視鏡21を用いる。気管支内視鏡21は、ワイヤ状のガイド部22と、撮像素子や生検(生体検査)用の鉗子を挿入するための処置チャンネルなどからなる先端部分23とを備えている。なお、内視鏡検査(透視)時に気管支内視鏡21の撮像素子で得られた画像を表示部14にリアルタイムに表示してもよい。ガイド部22を介して、先端部分23を被検体M(図1および図2を参照)の体内(口腔および気管支)に案内することによって、気管支内視鏡21を体内に挿入する。気管支内視鏡21は、この発明における挿入部材に相当する。
なお、リアルタイムに表示される図5に示すモニタ14C,14Dの画面上には、図6に示す気管支内視鏡21が画像としてリアルタイムに表示される。図5において、気管支内視鏡21全体の画像を符号14aとし、ガイド部22の画像を符号14bとし、先端部分23の画像を符号14cとする。ステレオグラム画像(透視右画像,透視左画像)に基づいて、コントローラ15(図1を参照)は、リアルタイムに表示される画面上の目的物の位置(ここでは気管支内視鏡21の先端部分23の位置)から当該目的物の3次元座標位置を算出して検出する。ガイド部22の画像14bも含め、先端部分23の画像14cにおける画素値は、周囲の画素値に対して著しく異なるので、コントローラ15は3次元座標位置を自動で演算して求めることが可能である。もちろん、先端部分23の画像14cをオペレータが認識して、画像14cに該当する画面上の箇所に、オペレータが入力部13(図1を参照)によりポインタを合わせて手動で入力することにより、当該箇所に基づいてコントローラ15は3次元座標位置を求めてもよい。また、手動と自動とを両方組み合わせてもよい。
本実施例1に係るCアーム透視撮影装置によれば、ステレオグラム画像作成手段(本実施例1では画像処理部11)は、投影方向に視差を互いにつけた2つの(X線に基づいて得られた)透視画像からなるステレオグラム画像を作成する。一方、立体視画像作成手段(本実施例1では画像処理部11)は、内視鏡検査(透視)に先だって行われたコーンビームCT撮影(CBCT撮影)により、X線に基づいて予め得られた3次元画像(本実施例1ではCBCTボリュームデータ)において、上述のステレオグラム画像作成手段(画像処理部11)により作成されたステレオグラム画像における各々の投影方向での3次元画像(CBCTボリュームデータ)に基づく立体視画像(本実施例1ではCBCT右画像,CBCT左画像)をそれぞれ作成する。
そして、重畳処理手段(本実施例1では画像処理部11)は、各々の投影方向でのステレオグラム画像(本実施例1では透視右画像,透視左画像)と上述の立体視画像作成手段(画像処理部11)でそれぞれ作成された立体視画像(CBCT右画像,CBCT左画像)とを重ね合わせて重畳処理する。さらに、上述の重畳処理手段(画像処理部11)で重畳処理された画像(重畳処理後の右画像,重畳処理後の左画像)を表示手段(本実施例1では表示部14のモニタ14D)にリアルタイムに表示する。一方、3次元座標位置検出手段(本実施例1ではコントローラ15)は、ステレオグラム画像作成手段(画像処理部11)により作成されたステレオグラム画像(透視右画像,透視左画像)に基づいて、リアルタイムに表示される画面上の目的物の位置(本実施例1では気管支内視鏡21の先端部分23の位置)から当該目的物の3次元座標位置を算出して検出する。
上述したように、3次元画像(立体視画像)・透視画像(ここではステレオグラム画像)では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。さらに、リアルタイムのステレオグラム画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
後述する実施例3も含めて、本実施例1では、ステレオグラム画像作成手段(画像処理部11)は、投影方向(各実施例ではA,B方向)に視差を互いにつけたリアルタイムでの透視によりそれぞれ得られ、かつ当該視差を互いにつけた2つの透視画像(透視右画像,透視左画像)からなるステレオグラム画像を作成している。すなわち、ステレオグラム透視を行うことにより、その都度に視差を互いにつけた2つの透視画像(透視右画像,透視左画像)をリアルタイムに取得し、ステレオグラム画像を作成する。
後述する実施例2、3も含めて、本実施例1では、Cアーム透視撮影装置において、上述の3次元座標位置検出手段(コントローラ15)は、診断・治療の対象となる被検体Mの体内に挿入される挿入部材(各実施例では気管支内視鏡21)の先端部分の位置を3次元座標位置として検出している。各実施例のように、気管支内視鏡21やカテーテルやワイヤや線源挿入用アプリケータなどに代表される挿入部材を被検体Mの体内に挿入しながら透視を行う場合において、従来のような電磁気を用いなくとも、透視下の挿入部材(気管支内視鏡21)の位置・向きを同定するのが容易になる。また、後述する実施例2、3も含めて、本実施例1では、挿入部材は気管支内視鏡21である。
次に、図面を参照してこの発明の実施例2を説明する。図7は、実施例2に係る一連のナビゲーションの流れを示すフローチャートであり、図8〜図11は、実施例2に係る表示部による一実施態様を示した概略図である。上述した実施例1と共通する箇所については、同じ符号を付してその説明を省略する。また、図1に示すように、本実施例2に係るCアーム透視撮影装置は、実施例1に係るCアーム透視撮影装置と同じ構成である。
上述した実施例1では、重畳処理の対象は全体画像であったが、本実施例2では、内視鏡検査(透視)に先だって行われたコーンビームCT撮影(CBCT撮影)により、X線に基づいて予め得られた3次元画像(CBCTボリュームデータ)において、全体画像から局所的な関心領域(ROI: Region Of Interest)に限定して重畳処理を行う。また、実施例1では、透視画像をステレオグラム画像に限定したが、後述する理由により、本実施例2では透視画像を必ずしもステレオグラム画像に限定する必要はない。透視画像を得るには、透視時においても、図2(a)に示すように1つの焦点のみからX線を照射してX線検出器3で検出すればよい。なお、後述する実施例3では、上述した実施例1と同様に透視画像をステレオグラム画像に限定している。
「課題を解決するための手段」の欄における後者の発明の作用・効果でも述べたように、気管支内視鏡などに代表される挿入部材を挿入しながら透視を行う場合には、全体画像はさほどに重要でなく、関心領域さえわかればよい。したがって、関心領域(ROI)において、透視画像と3次元画像(CBCTボリュームデータ)とを重ね合わせて重畳処理すれば、気管支内視鏡の先端部分の位置・向きが十分にわかるというのが、本実施例2では透視画像を必ずしもステレオグラム画像に限定する必要はないという理由である。ただ、透視画像上で気管支内視鏡の位置・向きをより一層正確に同定する意味では、後述する実施例3のように、透視画像としてステレオグラム画像を適用するのがより好ましい。
さらに、本実施例2では、Cアーム透視撮影装置は、局所的な関心領域(ROI)を設定する関心領域設定・関心領域再設定の機能を有する。当該関心領域設定・関心領域再設定の機能については、コントローラ15(図1を参照)が有してもよい。すなわち、気管支内視鏡21(図6を参照)全体の画像14a(図5を参照)における画素値が周囲の画素値に対して著しく異なるのを利用して、気管支内視鏡21の挿入に追従するのをコントローラ15が関心領域(ROI)を自動で演算して設定・再設定してもよい。もちろん、当該関心領域設定・関心領域再設定の機能については、入力部13(図1を参照)が有してもよい。すなわち、気管支内視鏡21の先端部分23(図6を参照)の画像14c(図5を参照)をオペレータが認識して、画像14cに該当する画面上の箇所に、オペレータが入力部13(図1を参照)によりポインタを合わせて手動で入力することにより、当該箇所を含むように関心領域(ROI)を手動で設定・再設定してもよい。また、手動と自動とを両方組み合わせてもよい。
さらに、関心領域設定の機能についてはコントローラ15が有し、関心領域再設定の機能については入力部13が有することで、関心領域(ROI)の設定については自動で行い、気管支内視鏡21の挿入に追従した関心領域(ROI)の再設定については手動で行ってもよい。逆に、関心領域設定の機能については入力部13が有し、関心領域再設定の機能についてはコントローラ15が有することで、関心領域(ROI)の設定については手動で行い、気管支内視鏡21の挿入に追従した関心領域(ROI)の再設定については自動で行ってもよい。関心領域(ROI)の設定について自動で行う場合には、コントローラ15は、関心領域設定手段に相当し、関心領域(ROI)の設定について手動で行う場合には、入力部13は、関心領域設定手段に相当し、関心領域(ROI)の設定について手動と自動とを組み合わせて行う場合には、入力部13およびコントローラ15は、関心領域設定手段に相当する。また、関心領域(ROI)の再設定について自動で行う場合には、コントローラ15は、関心領域再設定手段に相当し、関心領域(ROI)の再設定について手動で行う場合には、入力部13は、関心領域再設定手段に相当し、関心領域(ROI)の再設定について手動と自動とを組み合わせて行う場合には、入力部13およびコントローラ15は、関心領域再設定手段に相当する。
さらに、本実施例2では、Cアーム透視撮影装置は、設定された関心領域(ROI)において、透視画像における投影方向での、3次元画像(CBCTボリュームデータ)に基づく立体視画像を、透視画像のシフトに合わせてシフトする画像シフトの機能を有する。通常、被検体M(図1および図2を参照)の体動(例えば呼吸による体動)により体内の組織・構造は拡大あるいは縮小されるが、局所的な関心領域(ROI)では拡大や縮小は無視され大きさは一定でシフトすると見なされる。そこで、画像処理部11(図1を参照)は、関心領域(ROI)において透視画像のシフトに合わせて立体視画像のシフト量を演算して求め、立体視画像をシフトする。
また、本実施例2では、画像処理部11は、関心領域(ROI)において、透視画像とシフトされた立体視画像とを重ね合わせて重畳処理する。表示部14(図1を参照)の構成については、上述した実施例1と同じ構成であるので、その説明を省略する。本実施例2では、画像処理部11は、この発明における画像シフト手段に相当する。また、画像処理部11は、この発明における重畳処理手段にも相当し、表示部14は、この発明における表示手段に相当し、コントローラ15は、この発明における3次元座標位置検出手段に相当する。
本実施例2に係る一連のナビゲーションについては、図7に示すフローチャートにしたがって行う。なお、図8〜図11中の符号T(「○」を参照)は病変(例えば腫瘍)である。
(ステップS1)気管支内視鏡の挿入開始
先ず、気管支内視鏡21(図6を参照)を被検体M(図1および図2を参照)の体内(口腔および気管支)に挿入することにより、気管支内視鏡21の挿入開始を行う。主要気管支については、気管支内視鏡21の撮像素子により気管支の内腔から見た画像を撮像することによりリアルタイムにモニタリングしながら気管支内視鏡21を内部に進行させて操作する。また、それに並行して、主要気管支に関する透視画像を、図8(a)に示すように、表示部14のモニタ14Dにリアルタイムに表示する。このとき、主要気管支の内部に進行する気管支内視鏡21全体の画像14aもモニタ14Dにリアルタイムに表示される。そして、気管支内視鏡21が進行不可になるまで続行する。なお、このステップS1では重畳処理前であるので、図5に示すモニタ14Cにリアルタイムに表示してもよい。このとき、図8(a)に示すように、通常の透視下では(例えば末梢の)細い気管支は見えない。
先ず、気管支内視鏡21(図6を参照)を被検体M(図1および図2を参照)の体内(口腔および気管支)に挿入することにより、気管支内視鏡21の挿入開始を行う。主要気管支については、気管支内視鏡21の撮像素子により気管支の内腔から見た画像を撮像することによりリアルタイムにモニタリングしながら気管支内視鏡21を内部に進行させて操作する。また、それに並行して、主要気管支に関する透視画像を、図8(a)に示すように、表示部14のモニタ14Dにリアルタイムに表示する。このとき、主要気管支の内部に進行する気管支内視鏡21全体の画像14aもモニタ14Dにリアルタイムに表示される。そして、気管支内視鏡21が進行不可になるまで続行する。なお、このステップS1では重畳処理前であるので、図5に示すモニタ14Cにリアルタイムに表示してもよい。このとき、図8(a)に示すように、通常の透視下では(例えば末梢の)細い気管支は見えない。
(ステップS2)CBCT撮影
そこで、気管支内視鏡21の進行が不可になった時点で、コーンビームCT撮影(CBCT撮影)を行い、複数の投影画像を取得する。そして、これらの投影画像に基づいて3次元再構成して3次元画像(CBCTボリュームデータ)を作成する。
そこで、気管支内視鏡21の進行が不可になった時点で、コーンビームCT撮影(CBCT撮影)を行い、複数の投影画像を取得する。そして、これらの投影画像に基づいて3次元再構成して3次元画像(CBCTボリュームデータ)を作成する。
どこまで気管支内視鏡21が挿入されているか確認できれば、気管支内視鏡21が挿入されていない段階で予め撮影した3次元画像、また気管支内視鏡21を抜去して撮影した3次元画像を使用してもよい。この場合、気管支内視鏡21によるX線へのアーティファクト、干渉が軽減される。
(ステップS3)内視鏡検査
ステップS2のコーンビームCT撮影(CBCT撮影)の後に、細かい気管支まで透視できるように、X線管2およびX線検出器3からなる映像系4(いずれも図1および図2を参照)を動かして、細かい気管支に関する透視画像を、図8(b)に示すように、表示部14のモニタ14Dにリアルタイムに表示する。このとき、進行が不可になった気管支内視鏡21全体の画像14aもモニタ14Dにリアルタイムに表示される。このようにして内視鏡検査(透視)を行う。
ステップS2のコーンビームCT撮影(CBCT撮影)の後に、細かい気管支まで透視できるように、X線管2およびX線検出器3からなる映像系4(いずれも図1および図2を参照)を動かして、細かい気管支に関する透視画像を、図8(b)に示すように、表示部14のモニタ14Dにリアルタイムに表示する。このとき、進行が不可になった気管支内視鏡21全体の画像14aもモニタ14Dにリアルタイムに表示される。このようにして内視鏡検査(透視)を行う。
(ステップS4)ROI設定・再設定
そして、コントローラ15(図1を参照)が局所的な関心領域(ROI)を自動で設定、あるいは気管支内視鏡21の先端部分23(図6を参照)の画像14c(図5を参照)に該当する画面上の箇所にオペレータが入力部13(図1を参照)によりポインタを合わせて手動で入力して当該関心領域(ROI)を手動で設定する。関心領域(ROI)の大きさについては特に限定されないが、気管支の次なる分岐点が含まれる程度の大きさがより好ましい。図8(c)において、最初に設定された関心領域(ROI)を符号ROI1とし、先端部分23から延びた鉗子にマーキングするランドマークを符号M(「●」を参照)とする。
そして、コントローラ15(図1を参照)が局所的な関心領域(ROI)を自動で設定、あるいは気管支内視鏡21の先端部分23(図6を参照)の画像14c(図5を参照)に該当する画面上の箇所にオペレータが入力部13(図1を参照)によりポインタを合わせて手動で入力して当該関心領域(ROI)を手動で設定する。関心領域(ROI)の大きさについては特に限定されないが、気管支の次なる分岐点が含まれる程度の大きさがより好ましい。図8(c)において、最初に設定された関心領域(ROI)を符号ROI1とし、先端部分23から延びた鉗子にマーキングするランドマークを符号M(「●」を参照)とする。
設定された関心領域ROI1において、ステップS2のコーンビームCT撮影(CBCT撮影)で得られた3次元画像に基づく立体視画像のシフト量を、透視画像のシフトに合わせて、画像処理部11(図1を参照)は演算して求め、当該立体視画像をシフトする。さらに、当該関心領域ROI1において、透視画像とシフトされた立体視画像とを重ね合わせて重畳処理し、その重畳処理された画像(重畳処理後の画像)をモニタ14Dにリアルタイムに表示(以下、「シフト表示」と略記)する。
数呼吸分、シフト表示を繰り返し、呼吸に合わせた周期に同期したフレームレートで表示することにより周期表示をロック(固定)すれば、モニタ14Dには同じ位置で重畳処理後の画像が動かないように表示される。このとき、鉗子にランドマークMをマーキングする。マーキングについてはコントローラ15により自動で行ってもよいし、入力部13により手動で行ってもよい。
当該関心領域ROI1における3次元画像(立体視画像)および透視画像とに基づいて、コントローラ15は、リアルタイムに表示される画面上の目的物の位置(ここでは気管支内視鏡21の先端部分23の位置)から当該目的物の3次元座標位置を算出して検出する。
シフト表示した状態で、気管支内視鏡21の位置・向きを同定することができるので、細い気管支においても気管支内視鏡21を再度に進行させることができる。リアルタイムに表示しながら、気管支内視鏡21を進行させると、図9(a)に示すように、気管支の次なる分岐点にて気管支内視鏡21の進行を停止させる。なお、図9(a)では、ランドマークMは、図8(c)の位置で止まっているが、ランドマークMを気管支の次なる分岐点に予めマーキングして、そのランドマークMにて気管支内視鏡21の進行を停止させてもよい。図9(b)に示すように、気管支内視鏡21の先端部分23から延びた鉗子にランドマークMを再度マーキングし直す。
このとき、リアルタイムに表示される(気管支内視鏡21の先端部分23から延びた鉗子の)3次元座標位置が関心領域ROI1から外れそうになる。本明細書中の「関心領域から外れるとき」とは、関心領域から実際に外れる場合のみを意味するだけでなく、関心領域から外れそうになる場合も包含していることに留意されたい。このように、鉗子の3次元座標位置が関心領域ROI1から外れそうになるときに、当該3次元座標位置が収まるように関心領域(ROI)を再設定する。
関心領域ROI1の設定時と同様に、コントローラ15が関心領域(ROI)を自動で再設定、あるいは気管支内視鏡21の先端部分23の画像14cに該当する画面上の箇所にオペレータが入力部13によりポインタを合わせて手動で入力して当該関心領域(ROI)を手動で再設定する。図9(c)において、次に再設定された関心領域(ROI)を符号ROI2とする。
関心領域ROI1の設定時と同様に、再設定された関心領域ROI2において、画像シフトの機能,重畳処理の機能,表示部14へのモニタリングおよび3次元座標検出の機能が繰り返し行うことによりシフト表示を行う。
シフト表示した状態で気管支内視鏡21を再度に進行させる。リアルタイムに表示しながら、気管支内視鏡21を進行させると、図10(a)に示すように、気管支の次なる分岐点にて気管支内視鏡21の進行を停止させる。図10(b)に示すように、気管支内視鏡21の先端部分23から延びた鉗子にランドマークMを再度マーキングし直す。
同様に、リアルタイムに表示される鉗子の3次元座標位置が関心領域ROI2から外れそうになる。このように、鉗子の3次元座標位置が関心領域ROI2から外れそうになるときに、当該3次元座標位置が収まるように関心領域(ROI)を再設定する。
関心領域ROI1の設定時や関心領域ROI2の再設定時と同様に、コントローラ15が関心領域(ROI)を自動で再設定、あるいは気管支内視鏡21の先端部分23の画像14cに該当する画面上の箇所にオペレータが入力部13によりポインタを合わせて手動で入力して当該関心領域(ROI)を手動で再設定する。図10(c)において、次に再設定された関心領域(ROI)を符号ROI3とする。
関心領域ROI1の設定時や関心領域ROI2の再設定時と同様に、再設定された関心領域ROI3において、画像シフトの機能,重畳処理の機能,表示部14へのモニタリングおよび3次元座標検出の機能が繰り返し行うことによりシフト表示を行う。
シフト表示した状態で気管支内視鏡21を再度に進行させる。リアルタイムに表示しながら、気管支内視鏡21を進行させると、図11に示すように、気管支の次なる分岐点にて気管支内視鏡21の進行を停止させる。このように、再設定された関心領域(ROI)で、画像シフトの機能,重畳処理の機能,表示部14へのモニタリングおよび3次元座標検出の機能が繰り返し行うことによりシフト表示を繰り返し行う。
(ステップS5)腫瘍到達?
このように、気管支内視鏡21の先端部分23から延びた鉗子が腫瘍Tに到達したか否かを判断する。なお、実際には、気管支内視鏡21が腫瘍Tなどに代表される病変に届かない、あるいは病変が見えない可能性がある。したがって、気管支内視鏡21を介して挿入された鉗子が病変の手前で止まることもあれば、病変内に気管支が開存していれば鉗子が止まらずに病変の箇所を鉗子が通り過ぎる可能性がある。このような場合には、X線透視により得られた透視画像やCTで得られたCT画像(例えばCBCT右画像,CBCT左画像)等で、鉗子の先端が3次元的に病変内にあることを確認するのが好ましい。以下では、鉗子が腫瘍Tに到達したものとして説明する。
このように、気管支内視鏡21の先端部分23から延びた鉗子が腫瘍Tに到達したか否かを判断する。なお、実際には、気管支内視鏡21が腫瘍Tなどに代表される病変に届かない、あるいは病変が見えない可能性がある。したがって、気管支内視鏡21を介して挿入された鉗子が病変の手前で止まることもあれば、病変内に気管支が開存していれば鉗子が止まらずに病変の箇所を鉗子が通り過ぎる可能性がある。このような場合には、X線透視により得られた透視画像やCTで得られたCT画像(例えばCBCT右画像,CBCT左画像)等で、鉗子の先端が3次元的に病変内にあることを確認するのが好ましい。以下では、鉗子が腫瘍Tに到達したものとして説明する。
この判断についてもコントローラ15により自動で行ってもよいし、入力部13により手動で行ってもよい。もし、腫瘍Tに到達していなければ、ステップS3に戻って、シフト表示を含んだステップS4のROI再設定、ステップS5の腫瘍到達の判断を繰り返し行う。もし、図11に示すように、鉗子が腫瘍Tに到達した場合には、一連のナビゲーションを終了する。そして、鉗子により組織(ここでは腫瘍T)を採取して生体検査を行う。
本実施例2に係るCアーム透視撮影装置によれば、関心領域設定手段(本実施例2では入力部13あるいはコントローラ15)は、局所的な関心領域(図8および図9ではROI1)を設定し、画像シフト手段(本実施例2では画像処理部11)は、関心領域設定手段(入力部13あるいはコントローラ15)で設定された関心領域ROI1において、(X線に基づいて得られた)透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を、透視画像のシフトに合わせてシフトする。通常、被検体Mの体動(例えば呼吸による体動)により体内の組織・構造は拡大あるいは縮小されるが、局所的な関心領域(ROI)では拡大や縮小は無視され大きさは一定でシフトすると見なされる。また、例えば挿入部材(各実施例では気管支内視鏡21)を挿入しながら透視を行う場合には、全体画像はさほど重要でなく、関心領域(ROI)さえわかればよい。
そこで、関心領域(ROI)において透視画像のシフトに合わせて立体視画像をシフトすることができる。また、例えば呼吸による体動の場合には、呼吸センサに同期した3次元画像(CBCTボリュームデータ)、あるいは複数位相毎に同期した3次元画像(CBCTボリュームデータ)を予め取得することで、体動による重畳処理に対処する手法も考えられるが、呼吸センサが必要になったり、複数位相毎の画像を取得するために撮影回数が増して検査時間や被曝線量や処理時間の増加などがあり実用的でない。また、被検体Mが大きく動けば、全て撮り直しという大きな無駄も生じる。本実施例2の場合には、投影方向が変更されたときに透視画像の位置ズレ量に基づいて立体視画像の位置ズレ量を算出して両者を重畳表示する手法とは相違し、局所的な関心領域(ROI)では大きさは一定と見なして立体視画像を単にシフトすることで、従来のような呼吸センサは不要で、かつ複数位相毎に同期した3次元画像(CBCTボリュームデータ)を予め取得することなく、撮影回数を低減させて検査時間や被曝線量や処理時間も低減させることができる。
そして、重畳処理手段(本実施例2では画像処理部11)は、関心領域(ROI)において、透視画像と上述の画像シフト手段(画像処理部11)によりシフトされた立体視画像とを重ね合わせて重畳処理する。さらに、上述の重畳処理手段(画像処理部11)で重畳処理された画像を表示手段(本実施例2では表示部14のモニタ14D)にリアルタイムに表示する。一方、3次元座標位置検出手段(本実施例2ではコントローラ15)は、関心領域(図8および図9ではROI1)における3次元画像および透視画像に基づいて、リアルタイムに表示される画面上の目的物の位置(本実施例2では気管支内視鏡21の先端部分23の位置)から当該目的物の3次元座標位置を算出して検出する。
上述したように、3次元画像(立体視画像)・透視画像では同じX線画像同士であるので、これらを重畳処理してリアルタイムに表示することにより、現在透視下の位置・向きを同定することが可能になる。さらに、3次元画像およびリアルタイムの透視画像から3次元座標位置を検出することにより、現在透視下の位置・向きを同定するのがさらに容易になり、精度よくナビゲーションを行うことができる。
本実施例2において、リアルタイムに表示される3次元座標位置が関心領域(図8〜図11ではROI1〜ROI3)から外れるときに、当該3次元座標位置が収まるように関心領域を再設定する関心領域再設定手段(本実施例2では入力部13あるいはコントローラ15)を備え、その関心領域再設定手段(入力部13あるいはコントローラ15)で再設定された関心領域ROI2,ROI3で、画像シフト手段(画像処理部11),重畳処理手段(画像処理部11),表示手段(表示部14のモニタ14D)および3次元座標位置検出手段(コントローラ15)は繰り返し行うのが好ましい。
上述の関心領域再設定手段(入力部13あるいはコントローラ15)で再設定された関心領域ROI2,ROI3で、画像シフト手段(画像処理部11),重畳処理手段(画像処理部11),表示手段(表示部14のモニタ14D)および3次元座標位置検出手段(コントローラ15)は繰り返し行うことで、例えば挿入部材(気管支内視鏡21)を挿入しながら透視を行う場合において3次元座標位置が変動する場合に当該位置を追いながらナビゲートすることができる。また、ナビゲートしながら関心領域(ROI)も再設定を繰り返しながら当該位置に追従するので、当該位置を追いながら精度よくナビゲーションを行うことができる。
次に、図面を参照してこの発明の実施例3を説明する。上述した実施例1、2と共通する箇所については、同じ符号を付してその説明を省略する。また、図1に示すように、本実施例3に係るCアーム透視撮影装置は、実施例1、2に係るCアーム透視撮影装置と同じ構成である。
本実施例3では、上述した実施例1と上述した実施例2とを両方組み合わせている。
すなわち、実施例2において、実施例1と同様のステレオグラム画像作成手段(実施例1では画像処理部11)と立体視画像作成手段(実施例1では画像処理部11)とを備えた構造が本実施例3の構造である。実施例2における画像シフト手段(実施例2では画像処理部11)において、透視画像をステレオグラム画像に限定することで、本実施例3では、画像シフト手段(画像処理部11)は、関心領域(ROI)において、上述の立体視画像作成手段(画像処理部11)でそれぞれ作成された立体視画像を、ステレオグラム画像のシフトに合わせてシフトしている。
すなわち、実施例2において、実施例1と同様のステレオグラム画像作成手段(実施例1では画像処理部11)と立体視画像作成手段(実施例1では画像処理部11)とを備えた構造が本実施例3の構造である。実施例2における画像シフト手段(実施例2では画像処理部11)において、透視画像をステレオグラム画像に限定することで、本実施例3では、画像シフト手段(画像処理部11)は、関心領域(ROI)において、上述の立体視画像作成手段(画像処理部11)でそれぞれ作成された立体視画像を、ステレオグラム画像のシフトに合わせてシフトしている。
また、実施例2における重畳処理手段(実施例2では画像処理部11)において、透視画像をステレオグラム画像に限定することで、本実施例3では、重畳処理手段(画像処理部11)は、関心領域(ROI)において、ステレオグラム画像と画像シフト手段によりシフトされた立体視画像とを各々の投影方向ごとに重ね合わせて重畳処理している。言い換えれば、実施例1における重畳処理手段(実施例1でも画像処理部11)において、関心領域(ROI)に限定することで、本実施例3では、関心領域(ROI)において、ステレオグラム画像と画像シフト手段(画像処理部11)によりシフトされた立体視画像とを各々の投影方向ごとに重ね合わせて重畳処理することになる。
また、実施例2や本実施例3における表示手段(実施例2では表示部14のモニタ14D)は、実施例1における表示手段(表示部14のモニタ14D)と同様に、重畳処理手段(画像処理部11)で重畳処理された画像をリアルタイムに表示する。また、実施例2における3次元座標位置検出手段(実施例2ではコントローラ15)において、透視画像をステレオグラム画像に限定することで、本実施例3では、3次元座標位置検出手段(コントローラ15)は、関心領域(ROI)における3次元画像およびステレオグラム画像に基づいて3次元座標位置を算出して検出する。言い換えれば、実施例1における3次元座標位置検出手段(実施例1でもコントローラ15)において、関心領域(ROI)に限定して、基となるデータにステレオグラム画像の他にも3次元画像を追加することで、本実施例3では、関心領域(ROI)における3次元画像およびステレオグラム画像に基づいて3次元座標位置を算出して検出することになる。それ以外の作用・効果については、実施例1と実施例2とを組み合わせたものであるので、その説明について省略する。
上述した実施例1と同様に、本実施例3では、ステレオグラム透視を行うことにより、その都度に視差を互いにつけた2つの透視画像(透視右画像,透視左画像)をリアルタイムに取得し、ステレオグラム画像を作成する。
この発明は、上記実施形態に限られることはなく、下記のように変形実施することができる。
(1)上述した各実施例では、図1に示すようにCアーム透視撮影装置であったが、映像系が天井面あるいは壁面に対して固定式の透視撮影装置に適用してもよいし、外科用X線装置に適用してもよい。また映像系を構成するX線管とX線検出器との配置を入れ替え構成した装置であってもよい。
(2)上述した各実施例では、気管支内視鏡を被検体の気管支に挿入して気管支に関する診断を行ったが、被検体の診断あるいは治療を行う医療用X線装置であれば、上述したように、血管造影のようにカテーテルやワイヤを目的部位まで血管中に挿入して診断あるいは治療を行ってもよいし、放射線治療計画のように、線源挿入用アプリケータを治療部位まで挿入して線源や模擬線源による治療計画を行ってもよい。例えば、小線源用の粒(「シード(Seed)」とも呼ばれる)などを体内に植え込んだ場合には、植え込まれたシードを基にその後に挿入するシードの位置を考える等の治療計画などがある。
(3)上述した各実施例では、図4に示すような交差法により視差を付与する方法を採用したが、図12に示すように平行法により視差を付与してもよい。
(4)上述した各実施例では、図2に示すように、パルスで焦点切り換えを行うステレオX線管球をX線管2として採用したが、図13に示すように、1つの焦点を有した通常のX線管2を採用してもよい。3次元画像を取得する場合には、図13(a)に示すように映像系4を各方向(例えば矢印RA方向に約200°回転)に動かして行い、透視画像を取得する場合には、図13(b)に示すように視差をつけない透視画像をリアルタイムに取得して行えばよい。図13の構成は上述した実施例2のようにステレオグラム画像に限定しない場合に有用である。
(5)上述した実施例1、3では、ステレオグラム透視を行うことにより、その都度に視差を互いにつけた2つの透視画像をリアルタイムに取得し、ステレオグラム画像を作成したが、ステレオグラム透視に限定されない。例えば、図2(a)あるいは図13(a)で得られた3次元画像に基づいて、リアルタイムでの透視により得られた1つの元の透視画像から、当該元の透視画像と当該元の透視画像の投影方向に視差をつけた透視画像とからなるステレオグラム画像を作成してもよい。すなわち、(ステレオグラム透視ではない)通常の透視を行うことにより、その都度に1つの元の透視画像をリアルタイムに取得する。そして、当該元の透視画像から、当該元の透視画像と当該元の透視画像の投影方向に視差をつけた透視画像とからなるステレオグラム画像を作成する。この場合には、図13のような1つの焦点を有した通常のX線管2を備えた構成でもステレオグラム画像を作成することが可能である。
(6)上述した各実施例では、透視画像を取得する場合においても、3次元画像を取得する場合においても、図2に示すように同じ装置を利用したが、3次元画像を取得する場合にX線CT装置などに代表される別の装置(外部装置)を用いて行い、透視時のみ医療用X線装置を用いて行ってもよい。ただし、時間を置かずに撮影・透視を続けて行う点や、より正確にナビゲーションを行う点では、同じ装置の方が好ましい。
(7)上述した実施例2、3では、透視画像やステレオグラム画像の表示位置を固定して、これらの画像のシフトに合わせて関心領域(ROI)での立体視画像をシフトし、透視画像やステレオグラム画像とシフトされた立体視画像とを重ね合わせて重畳処理したが、逆であってもよい。すなわち、立体視画像の表示位置を固定して、その固定された立体視画像の表示位置に合わせて関心領域(ROI)での透視画像やステレオグラム画像をシフトし、立体視画像とシフトされた透視画像やステレオグラム画像とを重ね合わせて重畳処理してもよい。この場合には、透視画像やステレオグラム画像がシフトしたとしても、固定された立体視画像の位置に合わせて透視画像やステレオグラム画像をシフトするので、透視画像やステレオグラム画像がシフトしたとしても、固定された立体視画像の位置に透視画像やステレオグラム画像を常に位置させて、透視画像やステレオグラム画像があたかも静止しているように見える。また、実施例2では、周期表示をロック(固定)したが、この変形例(7)では周期表示をロック(固定)しなくとも、より細かいフレームレートで重畳処理後の画像を表示することができるという効果をも奏する。
(8)上述した実施例2、3では、リアルタイムに表示される3次元座標位置が関心領域(ROI1〜ROI3)から外れるときに、当該3次元座標位置が収まるように関心領域を再設定する関心領域再設定手段を備えたが、3次元座標位置を追わない場合には、必ずしも関心領域再設定手段を備える必要はない。
11 … 画像処理部
13 … 入力部
14 … 表示部
14D … モニタ
15 … コントローラ
21 … 気管支内視鏡
ROI … 関心領域
M … 被検体
13 … 入力部
14 … 表示部
14D … モニタ
15 … コントローラ
21 … 気管支内視鏡
ROI … 関心領域
M … 被検体
Claims (8)
- 検出されたX線に基づいて透視画像をリアルタイムに表示して診断・治療を行う医療用X線装置であって、
局所的な関心領域を設定する関心領域設定手段と、
(1)その関心領域設定手段で設定された前記関心領域において、被検体の体動を一定のシフトと見なし、前記透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を、前記透視画像における前記一定のシフトに合わせてシフトする、もしくは(2)その関心領域設定手段で設定された前記関心領域において、被検体の体動を一定のシフトと見なし、前記透視画像における投影方向での、X線に基づいて予め得られた3次元画像に基づく立体視画像を固定し、その固定された立体視画像の位置に合わせて前記透視画像をシフトする画像シフト手段と、
前記関心領域において、(1)前記透視画像と前記画像シフト手段によりシフトされた前記立体視画像とを重ね合わせて重畳処理する、もしくは(2)前記立体視画像と前記画像シフト手段によりシフトされた前記透視画像とを重ね合わせて重畳処理する重畳処理手段と、
その重畳処理手段で重畳処理された画像をリアルタイムに表示する表示手段と、
を備えることを特徴とする医療用X線装置。 - 請求項1に記載の医療用X線装置において、
前記関心領域における前記3次元画像および前記透視画像に基づいて、リアルタイムに表示される画面上の目的物の位置から当該目的物の3次元座標位置を算出して検出する3次元座標位置検出手段を備えることを特徴とする医療用X線装置。 - 請求項2に記載の医療用X線装置において、
リアルタイムに表示される前記3次元座標位置が前記関心領域から外れるときに、当該3次元座標位置が収まるように関心領域を再設定する関心領域再設定手段を備え、
その関心領域再設定手段で再設定された関心領域で、前記画像シフト手段による画像のシフト,前記重畳処理手段による重畳処理,前記表示手段によるリアルタイム表示および前記3次元座標位置検出手段による目的物の3次元座標位置の検出を繰り返し行うことを特徴とする医療用X線装置。 - 請求項2または請求項3に記載の医療用X線装置において、
投影方向に視差を互いにつけた2つの透視画像からなるステレオグラム画像を作成するステレオグラム画像作成手段と、
前記3次元画像において、前記ステレオグラム画像作成手段により作成された前記ステレオグラム画像における各々の投影方向での前記3次元画像に基づく立体視画像をそれぞれ作成する立体視画像作成手段と
を備え、
前記画像シフト手段は、(1)前記関心領域において、被検体の体動を一定のシフトと見なし、前記立体視画像作成手段でそれぞれ作成された前記立体視画像を、前記ステレオグラム画像における前記一定のシフトに合わせてシフトする、もしくは(2)前記関心領域において、被検体の体動を一定のシフトと見なし、前記立体視画像作成手段でそれぞれ作成された前記立体視画像を固定し、その固定された立体視画像の位置に合わせて前記ステレオグラム画像をシフトし、
前記重畳処理手段は、前記関心領域において、(1)前記ステレオグラム画像と前記画像シフト手段によりシフトされた前記立体視画像とを各々の投影方向ごとに重ね合わせて重畳処理する、もしくは(2)前記立体視画像と前記画像シフト手段によりシフトされた前記ステレオグラム画像とを各々の投影方向ごとに重ね合わせて重畳処理し、
前記表示手段は、前記重畳処理手段で重畳処理された画像をリアルタイムに表示し、
前記3次元座標位置検出手段は、前記関心領域における前記3次元画像および前記ステレオグラム画像に基づいて前記3次元座標位置を算出して検出する
ことを特徴とする医療用X線装置。 - 請求項4に記載の医療用X線装置において、
前記ステレオグラム画像作成手段は、前記投影方向に視差を互いにつけたリアルタイムでの透視によりそれぞれ得られ、かつ当該視差を互いにつけた2つの透視画像からなる前記ステレオグラム画像を作成することを特徴とする医療用X線装置。 - 請求項4に記載の医療用X線装置において、
前記ステレオグラム画像作成手段は、リアルタイムでの透視により得られた1つの元の透視画像から、前記3次元画像に基づいて当該元の透視画像の投影方向に視差をつけた第2の透視画像を作成し、さらに前記元の透視画像と前記第2の透視画像とからなる前記ステレオグラム画像を作成することを特徴とする医療用X線装置。 - 請求項1から請求項6のいずれかに記載の医療用X線装置において、
前記3次元座標位置検出手段は、診断・治療の対象となる被検体の体内に挿入される挿入部材の先端部分の位置を前記3次元座標位置として検出することを特徴とする医療用X線装置。 - 請求項7に記載の医療用X線装置において、
前記挿入部材は、内視鏡,線源挿入用アプリケータ,模擬線源あるいはカテーテルワイヤであることを特徴とする医療用X線装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/002198 WO2013145010A1 (ja) | 2012-03-29 | 2012-03-29 | 医療用x線装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013145010A1 JPWO2013145010A1 (ja) | 2015-08-03 |
JP5787030B2 true JP5787030B2 (ja) | 2015-09-30 |
Family
ID=49258383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014507002A Expired - Fee Related JP5787030B2 (ja) | 2012-03-29 | 2012-03-29 | 医療用x線装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150042643A1 (ja) |
JP (1) | JP5787030B2 (ja) |
CN (1) | CN104244831B (ja) |
WO (1) | WO2013145010A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11127153B2 (en) | 2017-10-10 | 2021-09-21 | Hitachi, Ltd. | Radiation imaging device, image processing method, and image processing program |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE537421C2 (sv) * | 2012-09-05 | 2015-04-21 | Scanflex Healthcare AB | Röntgenanordning med platta detektorer |
JP6275488B2 (ja) * | 2014-01-09 | 2018-02-07 | コニカミノルタメディカルソリューションズ株式会社 | 手術支援装置および手術支援プログラム |
KR102185726B1 (ko) * | 2014-01-28 | 2020-12-02 | 삼성메디슨 주식회사 | 관심 영역에 대응하는 초음파 영상 표시 방법 및 이를 위한 초음파 장치 |
DE102014104529A1 (de) * | 2014-03-31 | 2015-10-01 | IDTM GmbH | Operationstisch |
JP6534193B2 (ja) * | 2014-07-02 | 2019-06-26 | コヴィディエン リミテッド パートナーシップ | 実時間自動位置合わせフィードバック |
CN104887316A (zh) * | 2015-04-24 | 2015-09-09 | 长春理工大学 | 基于主动立体显示技术的虚拟立体内窥镜显示方法 |
JP6667231B2 (ja) * | 2015-08-31 | 2020-03-18 | キヤノン株式会社 | 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。 |
US11172895B2 (en) * | 2015-12-07 | 2021-11-16 | Covidien Lp | Visualization, navigation, and planning with electromagnetic navigation bronchoscopy and cone beam computed tomography integrated |
US11051886B2 (en) * | 2016-09-27 | 2021-07-06 | Covidien Lp | Systems and methods for performing a surgical navigation procedure |
EP3381371A1 (en) * | 2017-03-29 | 2018-10-03 | Koninklijke Philips N.V. | Angiography panning during x-ray roadmap |
EP3603483A4 (en) * | 2017-03-30 | 2020-04-22 | FUJIFILM Corporation | ENDOSCOPIC SYSTEM AND METHOD FOR THE OPERATION THEREOF |
JP6959612B2 (ja) * | 2017-10-04 | 2021-11-02 | 株式会社島津製作所 | 診断画像システム |
USD910652S1 (en) * | 2019-01-31 | 2021-02-16 | OrthoGrid Systems, Inc | Display screen or portion thereof with a graphical user interface |
JP7190950B2 (ja) * | 2019-03-27 | 2022-12-16 | 富士フイルム株式会社 | 位置情報表示装置、方法およびプログラム、並びに放射線画像撮影装置 |
US11627924B2 (en) | 2019-09-24 | 2023-04-18 | Covidien Lp | Systems and methods for image-guided navigation of percutaneously-inserted devices |
USD979578S1 (en) | 2021-02-08 | 2023-02-28 | Orthogrid Systems Holdings, Llc | Display screen or portion thereof with a graphical user interface |
US11633168B2 (en) * | 2021-04-02 | 2023-04-25 | AIX Scan, Inc. | Fast 3D radiography with multiple pulsed X-ray sources by deflecting tube electron beam using electro-magnetic field |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19620371A1 (de) * | 1996-05-21 | 1997-12-04 | Philips Patentverwaltung | Röntgenaufnahme-Verfahren |
JP2003038477A (ja) * | 2001-07-31 | 2003-02-12 | Shimadzu Corp | X線撮影装置 |
DE10210646A1 (de) * | 2002-03-11 | 2003-10-09 | Siemens Ag | Verfahren zur Bilddarstellung eines in einen Untersuchungsbereich eines Patienten eingebrachten medizinischen Instruments |
US7035371B2 (en) * | 2004-03-22 | 2006-04-25 | Siemens Aktiengesellschaft | Method and device for medical imaging |
CN101039622B (zh) * | 2004-10-11 | 2011-09-07 | 皇家飞利浦电子股份有限公司 | 产生高质量x射线投影的成像系统 |
DE102005007893B4 (de) * | 2005-02-21 | 2007-05-10 | Siemens Ag | Verfahren zur Positionsbestimmung eines Instrumentes mit einem Röntgensystem |
US20070236514A1 (en) * | 2006-03-29 | 2007-10-11 | Bracco Imaging Spa | Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation |
JP5595745B2 (ja) * | 2010-01-06 | 2014-09-24 | 株式会社東芝 | X線透視装置 |
JP5572437B2 (ja) * | 2010-03-29 | 2014-08-13 | 富士フイルム株式会社 | 3次元医用画像に基づいて立体視用画像を生成する装置および方法、並びにプログラム |
JP2012055549A (ja) * | 2010-09-10 | 2012-03-22 | Fujifilm Corp | バイオプシ用ファントム |
-
2012
- 2012-03-29 CN CN201280072095.7A patent/CN104244831B/zh not_active Expired - Fee Related
- 2012-03-29 JP JP2014507002A patent/JP5787030B2/ja not_active Expired - Fee Related
- 2012-03-29 US US14/388,137 patent/US20150042643A1/en not_active Abandoned
- 2012-03-29 WO PCT/JP2012/002198 patent/WO2013145010A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11127153B2 (en) | 2017-10-10 | 2021-09-21 | Hitachi, Ltd. | Radiation imaging device, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
WO2013145010A1 (ja) | 2013-10-03 |
JPWO2013145010A1 (ja) | 2015-08-03 |
CN104244831A (zh) | 2014-12-24 |
US20150042643A1 (en) | 2015-02-12 |
CN104244831B (zh) | 2016-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5787030B2 (ja) | 医療用x線装置 | |
US20200409306A1 (en) | Method and system for displaying holographic images within a real object | |
JP5319188B2 (ja) | X線診断装置 | |
US9265468B2 (en) | Fluoroscopy-based surgical device tracking method | |
US10524865B2 (en) | Combination of 3D ultrasound and computed tomography for guidance in interventional medical procedures | |
JP5597399B2 (ja) | 医用画像診断装置 | |
CN110123449B (zh) | 使用标准荧光镜进行局部三维体积重建的系统和方法 | |
US20100020926A1 (en) | Method for representing interventional instruments in a 3d data set of an anatomy to be examined as well as a reproduction system for performing the method | |
JP2005270652A (ja) | インターベンションまたは外科手術時の画像形成方法および装置 | |
CA2939099C (en) | Marker placement | |
TW201919544A (zh) | 用於極低劑量電腦斷層螢光攝影之系統及方法 | |
US20230135733A1 (en) | Navigating bronchial pathways | |
KR20140120155A (ko) | 심혈관 진단 및 치료영상의 실시간 정합을 위한 방사선 불투과성 반구형 표지 | |
JP5405010B2 (ja) | 画像表示装置及び画像表示方法 | |
JP2011156086A (ja) | 医用画像収集装置 | |
JP6878028B2 (ja) | 医用画像診断システム及び複合現実画像生成装置 | |
KR101485900B1 (ko) | 방사선 불투과성 반구형 입체 표지를 기반으로 하는 ct 혈관 조영 영상과 x-선 혈관 조영 영상 간의 정합 방법 | |
JP5458207B2 (ja) | 画像表示装置及び画像表示方法 | |
JP2009082470A (ja) | 画像表示装置及び画像表示方法 | |
JP5269233B2 (ja) | X線診断装置 | |
JP6056569B2 (ja) | 放射線撮影装置 | |
JP2013022411A (ja) | 医療用x線装置 | |
US11813094B2 (en) | System and method for imaging | |
US20220079536A1 (en) | System and method for imaging | |
JPWO2021122344A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150713 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5787030 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |