JP5279291B2 - 医用画像表示装置および画像表示方法 - Google Patents

医用画像表示装置および画像表示方法 Download PDF

Info

Publication number
JP5279291B2
JP5279291B2 JP2008037673A JP2008037673A JP5279291B2 JP 5279291 B2 JP5279291 B2 JP 5279291B2 JP 2008037673 A JP2008037673 A JP 2008037673A JP 2008037673 A JP2008037673 A JP 2008037673A JP 5279291 B2 JP5279291 B2 JP 5279291B2
Authority
JP
Japan
Prior art keywords
feature point
general
dimensional medical
points
general feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008037673A
Other languages
English (en)
Other versions
JP2009195306A (ja
Inventor
重治 大湯
仁 山形
カルデロン アルトウーロ
敦子 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2008037673A priority Critical patent/JP5279291B2/ja
Priority to US12/525,315 priority patent/US8374410B2/en
Priority to PCT/JP2009/052318 priority patent/WO2009104510A1/ja
Publication of JP2009195306A publication Critical patent/JP2009195306A/ja
Application granted granted Critical
Publication of JP5279291B2 publication Critical patent/JP5279291B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

この発明は、医用画像表示装置および画像表示方法に関する。
従来より、同じ被検体について、撮影時期の異なる複数の医用画像を比較読影することにより、疾患の進行状況や治癒状況などを把握して治療方針を検討したりすることが行なわれている。
例えば、最新の検査で撮影された医用画像(最新画像)を、過去の検査で撮影された医用画像(過去画像)と比較読影する際、複数の画像を読み込み、画面にそれら複数の画像を表示する機能を備えた画像表示ソフトウェアを用いて、最新画像と過去画像とを同時に表示することが行なわれている。
また、特許文献1では、医用画像における異常陰影などのマーカを抽出し、抽出したマーカを医用画像に重畳して表示することで、最新画像と過去画像との比較読影において、疾患の進行状況や治癒状況などを容易に把握することができる画像診断支援装置が開示されている。
ここで、比較読影においては、被検体のほぼ同じ位置の断面画像を比較することが重要であり、撮影時期の異なる医用画像間の位置合わせ(registration、レジストレーション)を行なう必要がある。また、近年、X線CT装置などの医用画像診断装置において、被検体を撮影した断面画像から3次元医用画像を生成することが可能になり、3次元医用画像の位置合わせを行なう必要が生じてきている。
画像間の位置合わせの一般的な手法としては、画像相関(image similarity、イメージ・シミラリティ)を用いた反復的位置合わせ法と、ランドマーク(landmark:特徴点)を用いた位置合わせ法とが知られている。
画像相関を用いた反復的位置合わせ法は、相関係数などの画像相関を利用して反復的に画像間の位置合わせを行なうものである(例えば、非特許文献1参照)。具体的には、比較対象となる各3次元医用画像に対して数十個程度の局所領域を設定したうえで、3次元医用画像間で対応する局所領域を設定し、局所領域の組について画像相関を算出するとともに、その画像相関が高くなるように、画像の平行移動、回転、スケーリング(サイズ変更)、変形などの処理を反復的に行なうことにより、3次元医用画像間の位置合わせを行なうものである。しかしながら、この反復処理には長時間を要するために、画像相関を用いた反復的位置合わせ法においては、3次元医用画像間の位置合わせを迅速に行なうことができない。
一方、ランドマークを用いた位置合わせ法は、最新画像および過去画像それぞれにおいて、抽出されたランドマークから、最新画像および過去画像それぞれにおいて組となるランドマークを選択し位置合わせを行なうものであり、画像相関を用いた反復的位置合わせ法と比較して、組となるランドマークの位置合わせに線形最適化手法を適用することで、処理時間を短縮することができる。例えば、非特許文献2では、胸部CT画像から、肺血管の分岐点や気管支の分岐点をランドマークとして抽出する技術が開示されており、この技術により抽出された肺血管の分岐点や気管支の分岐点をランドマークとして用いることで、最新と過去との胸部CT画像間の位置合わせを迅速に行なうことができる。
特開2005−334219号公報 Jeongtae Kim、Jefferey A. Fessl、「Intensity−based image registration using robust correlation coefficients」、IEEE TRANSACTIONS ON MEDICAL IMAGING、Vol.23、NOVEMBER 2004、pp.1430−1444 四方秀則、他7名、「肺の非剛体レジストレーションのための血管分岐点位置検出アルゴリズム」、電子情報通信学会論文誌、Vol.J85−D−II、No.10、pp.1613−1623、2002
ところで、上記したランドマークを用いた位置合わせ方法においては、3次元医用画像間の位置合わせを精度よく行なえない場合があった。
例えば、入院などにより、長期間ベッドに横たわった状態にある被検体において、体内の水分や血液が、ベッドに対して近い方向に偏ってしまうことがある。このような状態にある被検体の胸部CT画像を撮影した場合、図13に示すように、溜まった水分や血液によるX線吸収により、肺領域が白く写し出されてしまい、肺領域に高吸収領域が出現することがある。また、肺炎などを併発している場合も、同様に肺領域に高吸収領域が出現することがある。なお、図13は、従来技術における課題を説明するための図である。
肺領域に高吸収領域が出現した異常画像となった胸部CT画像に対して、肺血管の分岐点抽出処理を行なうと、図13に示すように、肺血管の分岐点とともに、多数の「肺血管の分岐点でない点」、すなわち、多数の「偽分岐点」が誤って抽出されてしまう。抽出された多数の偽分岐点をランドマークとして用いると、最新画像および過去画像それぞれにおいてランドマークの組を正確に選択することができず、結果的に、3次元医用画像間の位置合わせを精度よく行なえない場合があった。
すなわち、上記したランドマークを用いた位置合わせ方法においては、図13に示すような異常画像を処理対象とする場合、抽出されたランドマークに誤りが多く発生することにより、3次元医用画像間の位置合わせを精度よく行なえないという課題があった。
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、3次元医用画像間の位置合わせを常に精度よく行なうことが可能となる医用画像表示装置および画像表示方法を提供することを目的とする。
上述した課題を解決し、目的を達成するため、発明は、第一および第二の3次元医用画像の位置合わせを行なって、当該第一および第二の3次元医用画像それぞれの対応断面を表示する医用画像表示装置であって、前記第一および第二の3次元医用画像それぞれにおいて、対応関係が特定され位置合わせの基準となる特徴点である基準特徴点をそれぞれ抽出し、抽出された基準特徴点それぞれを対応付けた組として構成する基準特徴点抽出対応付け手段と、前記第一および第二の3次元医用画像それぞれにおいて、位置合わせに用いる可能性のある一般的な特徴点である一般特徴点を抽出する一般特徴点抽出手段と、前記基準特徴点抽出対応付け手段によって前記第一および第二の3次元医用画像それぞれにおいて抽出された前記基準特徴点との位置関係に基づいて、前記一般特徴点抽出手段によって抽出された前記一般特徴点の中から、当該第一および第二の3次元医用画像の間で対応付けられる一般特徴点の組を構成する一般特徴点対応付け手段と、前記基準特徴点抽出対応付け手段によって対応付けられた前記基準特徴点の組と、前記一般特徴点対応付け手段によって対応付けられた前記一般特徴点の組との位置情報に基づいて、前記第一および第二の3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを決定する座標変換パラメータ決定手段と、前記座標変換パラメータ決定手段によって決定された前記座標変換パラメータに基づいて、前記第一および第二の3次元医用画像それぞれの対応断面を生成する対応断面生成手段と、前記対応断面生成手段によって生成された前記第一および第二の3次元医用画像それぞれの対応断面を所定の表示部にて表示するように制御する表示制御手段と、を備えたことを特徴とする。
また、発明は、第一および第二の3次元医用画像の位置合わせを行なって、当該第一および第二の3次元医用画像それぞれの対応断面を表示する画像表示方法であって、前記第一および第二の3次元医用画像それぞれにおいて、対応関係が特定され位置合わせの基準となる特徴点である基準特徴点をそれぞれ抽出し、抽出された基準特徴点それぞれを対応付けた組として構成する基準特徴点抽出対応付け工程と、前記第一および第二の3次元医用画像それぞれにおいて、位置合わせに用いる可能性のある一般的な特徴点である一般特徴点を抽出する一般特徴点抽出工程と、前記基準特徴点抽出対応付け工程によって前記第一および第二の3次元医用画像それぞれにおいて抽出された前記基準特徴点との位置関係に基づいて、前記一般特徴点抽出工程によって抽出された前記一般特徴点の中から、当該第一および第二の3次元医用画像の間で対応付けられる一般特徴点の組を構成する一般特徴点対応付け工程と、前記基準特徴点抽出対応付け工程によって対応付けられた前記基準特徴点の組と、前記一般特徴点対応付け工程によって対応付けられた前記一般特徴点の組との位置情報に基づいて、前記第一および第二の3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを決定する座標変換パラメータ決定工程と、前記座標変換パラメータ決定工程によって決定された前記座標変換パラメータに基づいて、前記第一および第二の3次元医用画像それぞれの対応断面を生成する対応断面生成工程と、前記対応断面生成工程によって生成された前記第一および第二の3次元医用画像それぞれの対応断面を所定の表示部にて表示するように制御する表示制御工程と、を含んだことを特徴とする。
発明によれば、3次元医用画像間の位置合わせを常に精度よく行なうことが可能となる。
以下に添付図面を参照して、この発明に係る医用画像表示装置および画像表示方法の好適な実施例を詳細に説明する。
まず、実施例1における医用画像表示装置の構成について説明する。図1は、実施例1における医用画像表示装置の構成を示す図である。図1に示すように、実施例1における医用画像表示装置30は、入力部30aと、表示部30bと、基準ランドマーク抽出対応付け部30cと、一般ランドマーク抽出部30dと、ランドマークペア構成部30eと、座標変換パラメータ算出部30fと、対応断面生成部30gと、表示制御部30hとを備える。
ここで、実施例1における医用画像表示装置30は、図1に示す医用画像診断装置10により生成され医用画像データベース20に格納されている複数の3次元医用画像から、比較読影を行なう医師などの利用者が入力部30aを介して指定した2つの3次元医用画像を読み込み、これら2つの3次元医用画像の位置合わせを行なって対応断面を表示部30bにて表示することを概要とし、3次元医用画像間の位置合わせを常に精度よく行なうことが可能となることに主たる特徴がある。
この主たる特徴について、図1とともに、図2〜図7を用いて説明する。図2および図3は、基準ランドマーク抽出対応付け部を説明するための図であり、図4は、実施例1における一般ランドマーク抽出部を説明するための図であり、図5は、ランドマークペア構成部の処理を説明するための図であり、図6は、実施例1における座標変換パラメータ算出部を説明するための図であり、図7は、対応断面生成部を説明するための図である。
なお、医用画像診断装置10としては、MRI装置、X線CT装置、核医学診断装置、超音波診断装置などが挙げられ、医用画像データベース20としては、各種の医用画像のデータを管理するシステムであるPACS(Picture Archiving and Communication System)のデータベースや、医用画像が添付された電子カルテを管理する電子カルテシステムのデータベースなどが挙げられる。
また、本実施例では、医用画像表示装置30が、同一被検体の過去と最新の胸部CT検査において、医用画像診断装置10としてのX線CT装置によって生成された肺を含む3次元医用画像の位置合わせを行なって対応断面を表示部30bにて表示する場合について説明する。また、以下では、過去の検査によって医用画像診断装置10としてのX線CT装置が生成した3次元医用画像を過去3次元医用画像と記し、最新の検査によって医用画像診断装置10としてのX線CT装置が生成した3次元医用画像を最新3次元医用画像と記す。なお、過去3次元医用画像は、特許請求の範囲に記載の「第一の3次元医用画像」に対応し、最新3次元医用画像は、特許請求の範囲に記載の「第二の3次元医用画像」に対応する。
基準ランドマーク抽出対応付け部30cは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、解剖学的に対応関係が一意に特定され位置合わせの基準となるランドマークである基準ランドマークをそれぞれ抽出し、抽出された基準ランドマークそれぞれを対応付けたペア(基準ランドマークペア)を構成する。ここで、特徴点は、特許請求の範囲に記載の「特徴点」に対応し、基準ランドマークは、同じく「基準特徴点」に対応し、基準ランドマークペアは、同じく「基準特徴点の組」に対応し、基準ランドマーク抽出対応付け部30cは、同じく「基準特徴点抽出対応付け手段」に対応する。
具体的には、基準ランドマーク抽出対応付け部30cは、基準ランドマークとして、気管支における主要3分岐点を抽出する。まず、基準ランドマーク抽出対応付け部30cは、過去3次元医用画像および最新3次元医用画像それぞれから、気管支の主要部を抽出するため、閾値処理を行う。すなわち、基準ランドマーク抽出対応付け部30cは、図2の(A)の左側に示すように、過去3次元医用画像および最新3次元医用画像それぞれにおいて、例えば、「−950H.U.(Hounsfield unit:ハンスフィールド値)」を閾値とし、閾値以下の画素値を持つ領域を気管支の主要部として抽出する。ここで、図2の(A)の左側に示すように、抽出された気管支の主要部内には、閾値より大きい画素値を持つ画素が多数存在し、また、抽出された気管支の主要部外にも、閾値以下の画素値を持つ画素が点在する。
このように、抽出された気管支の主要部内に閾値より大きい画素が多数存在し、抽出された気管支の主要部外に閾値以下の画素が多数存在した状態で気管支における主要3分岐点を抽出すると偽分岐が含まれて抽出されてしまう。このため、基準ランドマーク抽出対応付け部30cは、図2の(A)の右側に示すように、抽出された気管支の主要部内にある閾値より大きい画素に対して穴埋め処理を実施し、さらに、気管支の主要部外にある閾値以下の画素を除外するため、穴埋め処理により気管支の主要部として1つに連結された領域の抽出処理を実施する。
そして、基準ランドマーク抽出対応付け部30cは、連結された領域として抽出された気管支の主要部(以下、気管支主要領域と記す)に対して、主要3分岐点の抽出処理を実施する。具体的には、基準ランドマーク抽出対応付け部30cは、気管支における分岐点を抽出する際の起点となるシード点を、例えば、処理対象となる3次元医用画像の上から「50mm」下がった位置の断面画像にある気管支主要領域の中央に設定し、設定したシード点から、気管支主要領域のボクセルを1層ずつ拡張していく。このように、1層ずつの拡張処理を行なうと、気管支の分岐に遭遇したときに気管支の断面が2つに分離する。そこで断面が分離したとき、その前の断面を分岐断面とし、その分岐断面のボクセルの中心位置を求め分岐点とする。
なお、分岐点は、シード点の上側と下側に抽出されるが、上側に抽出される分岐点は、画像境界などの影響により誤って抽出されるものであり、実際の分岐点ではない。すなわち、基準ランドマーク抽出対応付け部30cは、シード点の下側に抽出される最初の分岐点を、左右の気管支に分岐する「気管主分岐点」として抽出し、次に抽出される2つの分岐点のうち、右側のものを「右第1分岐点」として、左側のものを「左第1分岐点」として抽出する。例えば、図2の(B)に示すように、基準ランドマーク抽出対応付け部30cは、白抜きの丸印により指定された3つの点を、「気管主分岐点」、「右第1分岐点」および「左第1分岐点」からなる「気管支における主要3分岐点」として抽出する。なお、図2の(B)においては、「気管支における主要3分岐点」以外に抽出された分岐点を黒い丸印にて示している。上記した処理により、「気管支における主要3分岐点」を、常に正確に抽出することができ、これらを、位置合わせの基準として用いることができる。
このようにして、基準ランドマーク抽出対応付け部30cは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、「気管支における主要3分岐点」からなる3つの基準ランドマークをそれぞれ抽出したのちに、基準ランドマークペアを構成する。例えば、基準ランドマーク抽出対応付け部30cは、図3の(A)に示すように、過去3次元医用画像としての「画像A」にて抽出された「気管主分岐点」を「AM」、「右第1分岐点」を「AR」、「左第1分岐点」を「AL」として設定し、最新3次元医用画像としての「画像B」にて抽出された「気管主分岐点」を「BM」、「右第1分岐点」を「BR」、「左第1分岐点」を「BL」として設定する。そして、基準ランドマーク抽出対応付け部30cは、図3の(B)に示すように、「AM」と「BM」とを対応付けて「基準ランドマークペア1」として構成し、「AL」と「BL」とを対応付けて「基準ランドマークペア2」として構成し、「AR」と「BR」とを対応付けて「基準ランドマークペア3」として構成する。
図1に戻って、一般ランドマーク抽出部30dは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、位置合わせに用いる可能性のある一般的なランドマークである一般ランドマークとして、肺血管の分岐点を抽出する。ここで、一般ランドマークは、特許請求の範囲に記載の「一般特徴点」に対応し、一般ランドマーク抽出部30dは、同じく「一般特徴点抽出手段」に対応する。
具体的には、一般ランドマーク抽出部30dは、まず、過去3次元医用画像および最新3次元医用画像それぞれにおいて、肺に相当する画像領域(肺画像領域)を抽出したのちに、肺画像領域において、「−600H.U.」以上の領域を抽出し、抽出された「−600H.U.」以上の領域を肺血管の領域(肺血管領域)とする(図4の左側参照)。そして、一般ランドマーク抽出部30dは、肺血管領域に含まれる心臓との境界部にシード点を設定して、上述した気管支における分岐点抽出処理と同様に、肺血管分岐点抽出処理を実施する(図4の右側参照)。ここで、図4の右側においては、抽出された肺血管の分岐点を、丸印で示している。なお、図4においては、作図の都合上、肺血管領域および肺血管の分岐点の抽出処理結果を2次元画像にて示しているが、実際には、これらの抽出処理は、3次元画像にて実施される。
ここで、上記した処理により肺血管の分岐点として抽出された点は、すべて正しい肺血管の分岐点であるとは限らず、気管支壁や結節内部などにおける点も、肺血管の分岐点として誤って抽出される場合がある。また、すべての肺血管の分岐点が抽出されることはなく、肺血管の分岐点のうち、一部の肺血管の分岐点が抽出されるだけである。従って、一般ランドマーク抽出部30dによって抽出された肺血管の分岐点は、位置合わせに用いる可能性のあるランドマークとして、以下の処理に用いられる。なお、以下では、過去3次元医用画像としての「画像A」にて抽出された肺血管の分岐点を「一般ランドマークA群」、最新3次元医用画像としての「画像B」にて抽出された肺血管の分岐点を「一般ランドマークB群」として記載する。
図1に戻って、ランドマークペア構成部30eは、基準ランドマーク抽出対応付け部30cによって、「画像A」および「画像B」それぞれにおいて抽出された基準ランドマークとの位置関係に基づいて、一般ランドマーク抽出部30dによって抽出された「一般ランドマークA群」と「一般ランドマークB群」との中から、「画像A」および「画像B」の間で対応付けられる一般ランドマークペアを構成する。ここで、一般ランドマークペアは、特許請求の範囲に記載の「一般特徴点の組」に対応し、ランドマークペア構成部30eは、同じく「一般特徴点対応付け手段」に対応する。
具体的には、ランドマークペア構成部30eは、「画像A」において抽出された基準ランドマーク3点それぞれとの距離と、「画像B」において抽出された基準ランドマーク3点それぞれとの距離との差および比が、所定の範囲内にある一般ランドマークを、「一般ランドマークA群」と「一般ランドマークB群」とにおいて探索して、一般ランドマークペアを構成する。
また、ランドマークペア構成部30eは、一般ランドマークペアを構成すると判断された一般ランドマーク以外の一般ランドマーク、すなわち、一般ランドマークペアを構成すると判断された一般ランドマークを除いた「一般ランドマークA群」と「一般ランドマークB群」の中から、基準ランドマーク3点それぞれとの距離とともに、一般ランドマークペアを構成すると判断された一般ランドマークそれぞれとの距離を用いて、一般ランドマークペアをさらに構成する。
このような処理の具体的な一例について図5を用いて説明する。なお、以下では、図3の(B)に示した「画像A」における「AM」「AR」、および「AL」を改めて、「PA1」、「PA2」および「PA3」とし、図3の(B)に示した「画像B」における「BM」「BR」、および「BL」を改めて、「PB1」、「PB2」および「PB3」とする。このように基準ランドマークを表記すると、3つの基準ランドマークペアは、「(PAi,PBi)(ただし、i=1,2,3)」として表される。
図5に示すように、まず、ランドマークペア構成部30eは、「画像A」および「画像B」それぞれにおいて、基準ランドマーク抽出対応付け部30cによる基準ランドマークの抽出および基準ランドマークペア(PAi,PBi)の構成と、一般ランドマーク抽出部30dによる一般ランドマークの抽出とが行なわれると(ステップS501肯定)、基準ランドマークと一般ランドマークとを合成する(ステップS502)。
例えば、「画像A」から一般ランドマークが「na−3」個抽出され、「画像B」から一般ランドマークが「nb−3」個抽出された場合、「画像A」における合成後のランドマーク群(以下、A群と記す)は、「A1,A2,・・・,Ana」となり、「画像B」における合成後のランドマーク群(以下、B群と記す)は、「B1,B2,・・・,Bnb」となる。なお、「画像A」および「画像B」の間で対応付けられている基準ランドマークを確定点とし、「画像A」および「画像B」の間で対応付けられていない一般ランドマーク(この時点では、抽出された一般ランドマークのすべて)を未確定点とする。
そして、ランドマークペア構成部30eは、A群を構成する「na個」の点すべての間の距離と、B群を構成する「nb個」の点すべての間の距離とをそれぞれ算出して、A群およびB群の距離行列を算出する(ステップS503)。ここで、A群の距離行列は、「na行×na列」の配列となり、B群の距離行列は、「nb行×nb列」の配列となる。以下、ランドマークペア構成部30eは、処理の高速化のために、距離を求めるすべての処理において、これらの距離行列を参照する。
続いて、ランドマークペア構成部30eは、A群の距離行列およびB群の距離行列それぞれにおいて、未確定点ごとに最も距離が近い確定点を探索して、探索された確定点との距離(最小距離)を算出し、算出された未確定点ごとの最小距離を小さい順に並べ替えた最小距離配列を作成する(ステップS504)。
そののち、ランドマークペア構成部30eは、A群、B群各々の最小距離配列に基づいて、仮ランドマークペア群を設定する(ステップS505)。例えば、ランドマークペア構成部30eは、A群の最小距離配列において1番目から5番目にある未確定点と、B群の最小距離配列において1番目から5番目にある未確定点とを、仮ランドマークペア群として設定する。
そして、ランドマークペア構成部30eは、確定点との距離に基づいて、設定された仮ランドマークペア群から一般ランドマークペアが抽出されるか否かを判定する(ステップS506)。例えば、ランドマークペア構成部30eは、A群において仮ランドマークペア群に設定された5つの未確定点ごとに、確定点である「PA1,PA2,PA3」との距離をA群の距離行列を参照して求め、また、B群において仮ランドマークペア群に設定された5つの未確定点ごとに、確定点である「PB1,PB2,PB3」との距離をB群の距離行列を参照して求める。例えば、A群にて仮ランドマークペア群として設定された「未確定点TA1」と「PA1,PA2,PA3」それぞれとの距離が「TAL1,TAL2,TAL3」であり、B群にて仮ランドマークペア群として設定された「未確定点TB1」と「PB1,PB2,PB3」それぞれとの距離が「TBL1,TBL2,TBL3」であった場合、距離の比すべてが(すなわち、「TAL1/TBL1」、「TAL2/TBL2」および「TAL3/TBL3」が)、「0.9〜1.11」の範囲内であり、かつ、距離の差すべてが(すなわち、「TAL1−TBL1」、「TAL2−TBL2」および「TAL3−TBL3」の絶対値が)、「3mm」以内であれば、「未確定点TA1」と「未確定点TB1」とは、「画像A」および「画像B」の間で対応付けられる一般ランドマークであるとし、これら2点を一般ランドマークペアとして構成する。
この処理を、A群において仮ランドマークペア群に設定された5つの未確定点と、B群において仮ランドマークペア群に設定された5つの未確定点との間のすべての組み合わせで行ない、設定された仮ランドマークペア群から一般ランドマークペアが抽出されるか否かを判定する。
ここで、設定された仮ランドマークペア群から一般ランドマークペアが抽出された場合(ステップS506肯定)、ランドマークペア構成部30eは、一般ランドマークペアとして抽出された未確定点を確定点として登録し、一般ランドマークペアとして抽出されなかった未確定点を削除する(ステップS507)。例えば、設定された5個ずつの仮ランドマークペア群から、3組の未確定点が一般ランドマークペアを構成するとして抽出された場合、3組の未確定点(A群の3個およびB群の3個)を確定点として登録し、一般ランドマークペアを構成するとして抽出されなかった4個の未確定点(A群の2個およびB群の2個)を削除する。
これに反して、設定された仮ランドマークペア群から、1組も一般ランドマークペアが抽出されなかった場合(ステップS506否定)、ランドマークペア構成部30eは、ステップS505において設定された仮ランドマークペア群の未確定点(本実施例では、A群の5個およびB群の5個からなる合計10個の未確定点)をすべて削除する(ステップS508)。
そして、ランドマークペア構成部30eは、ステップS507やステップS508において、基準ランドマークとともに確定点として新たに登録された一般ランドマーク、未確定点として削除された一般ランドマークの情報に基づいて、A群、B群各々の最小距離配列を更新する(ステップS509)。すなわち、新たに確定点として登録された一般ランドマークと基準ランドマークとからなる確定点の集合と、削除後の一般ランドマークからなる未確定点の集合とから求められる最小距離配列を、A群、B群各々で更新して作成する。
そののち、ランドマークペア構成部30eは、未確定点としての一般ランドマークが、A群およびB群に存在するか否かを判定する(ステップS510)。
ここで、未確定点としての一般ランドマークが、A群およびB群にある場合(ステップS510肯定)、ランドマークペア構成部30eは、ステップS505に戻って、更新されたA群、B群各々の最小距離配列に基づいて、仮ランドマークペア群を設定する(ステップS505)。例えば、ランドマークペア構成部30eは、更新されたA群の最小距離配列における1番目から5番目の未確定点と、更新されたB群の最小距離配列における1番目から5番目の未確定点とを、仮ランドマークペア群として改めて設定する。
これに反して、未確定点としての一般ランドマークが、A群およびB群にない場合(ステップS510否定)、ランドマークペア構成部30eは、処理を終了する。
なお、本実施例では、基準ランドマークと一般ランドマークとをあわせたすべての点の間で算出された距離の情報をすべて含む距離行列を用いる場合について説明したが、本発明はこれに限定されるものではなく、例えば、算出された距離の情報から一定距離以上あるいは一定距離以下の距離の情報を削除した距離行列を用いる場合であってもよい。これにより、不適切な一般ランドマークの対応付けが行われることを、さらに防止することが可能である。
また、本実施例では、未確定点と確定点との距離情報のみを、一般ランドマークペアを構成するか否かを判定する際の基準として採用する場合について説明したが、本発明はこれに限定されるものではなく、さらに、厳しい基準を加えた判定を行なって、不適切な一般ランドマークペアを除去する場合であってもよい。具体的には、未確定点と確定点との距離情報によって一般ランドマークペアを構成すると判定された未確定点それぞれの、確定点との角度情報を用いて一般ランドマークペアを構成するか否かをさらに厳密に判定する場合であってもよい。あるいは、未確定点と確定点との距離情報によって一般ランドマークペアを構成すると判定された未確定点それぞれの、局所的な画像一致度を用いて一般ランドマークペアを構成するか否かをさらに厳密に判定する場合であってもよい。
また、本実施例では、仮ランドマークペア群のうち、確定点として登録されなかった未確定点をすべて削除する場合について説明したが、本発明はこれに限定されるものではなく、確定点として登録されなかった未確定点のうち、最小距離配列の最後尾にある未確定点のみは削除せず、次に設定される仮ランドマーク群の中に、この未確定点を含ませる場合であってもよい。例えば、A群の最小距離配列において2番目と5番目にある未確定点が確定点として登録されず、B群の最小距離配列において1番目と4番目にある未確定点が確定点として登録されなかった場合は、A群の最小距離配列において5番目にある未確定点と、B群の最小距離配列において4番目にある未確定点とは、次に設定される仮ランドマーク群の中に含ませる場合であってもよい。
図1に戻って、座標変換パラメータ算出部30fは、基準ランドマーク抽出対応付け部30cによって、対応付けられた基準ランドマークペアと、ランドマークペア構成部30eによって対応付けられた一般ランドマークペアとの位置情報に基づいて、過去3次元医用画像(画像A)および最新3次元医用画像(画像B)の位置合わせを行なうために用いられる座標変換パラメータを算出して決定する。なお、以下では、基準ランドマークペアと一般ランドマークペアとがあわせて「m組」構成されている場合について説明する。また、基準ランドマークペアと一般ランドマークペアとをまとめてランドマークペアとして記述する。
例えば、「ランドマークペアi(ただし、iは1からmの整数とする)」を構成する過去3次元医用画像における確定点「ri」の座標を(ri1,ri2,ri3)とし、「ランドマークペアi」を構成する最新3次元医用画像における確定点「ti」の座標を(ti1,ti2,ti3)とする。この場合、座標変換パラメータ算出部30fは、X座標における差分「ti1−ri1」を「a1ri1+b1ri2+c1ri3+d1」とし、Y座標における差分「ti2−ri2」を「a2ri1+b2ri2+c2ri3+d2」とし、Z座標における差分「ti3―ri3」を「a3ri1+b3ri2+c3ri3+d3」とする連立方程式を設定し、「a1,b1,c1,a2,b2,c2,a3,b3,c3,d1,d2,d3」からなる12個の座標変換パラメータを決定する。
具体的には、座標変換パラメータ算出部30fは、図6に示すように、「m組」のランドマークペア(ランドマークペア1〜ランドマークペアm)に対して設定される「m個」の連立方程式を満たす座標変換パラメータ「a1,b1,c1,a2,b2,c2,a3,b3,c3,d1,d2,d3」を、最小二乗法などの線形最適化法によって決定する。
ここで、図6に示す座標変換式は1次式の連立方程式であり、(t11,t12,t13)〜(tm1,tm2,tm3)および(r11,r12,r13)〜(rm1,rm2,rm3)の値は既知であるが、12個の座標変換パラメータが未知である。ここで、ランドマークペアが4組以上与えられれば、最小二乗法などの線形最適化法により、12個の座標変換パラメータを求めることが可能である。また、一般逆行列の手法を用いれば、ランドマークペアが3組以下の場合でも、12個の座標変換パラメータを求めることが可能である。なお、本実施例では、一次式の連立方程式によって座標変換パラメータを決定する場合について説明したが、本発明はこれに限定されるものではなく、例えば、2次多項式の連立方程式など、より複雑な座標変換式によって座標変換パラメータを決定する場合であってもよい。
図1に戻って、対応断面生成部30gは、座標変換パラメータ算出部30fによって決定された座標変換パラメータに基づいて、過去3次元医用画像(画像A)および最新3次元医用画像(画像B)それぞれの対応断面を生成する。ここで、対応断面生成部30gは、特許請求の範囲に記載の「対応断面生成手段」に対応する。
例えば、対応断面生成部30gは、利用者が入力部30aを介して指定した2つの3次元医用画像のうち、当該利用者が、さらに入力部30aを介して過去3次元医用画像(画像A)における特定の断面(画像A表示画面)を指定して、表示部30bが備えるモニタの画面にて、最新3次元医用画像(画像B)における対応断面(画像B表示画面)とともに表示するよう要求した場合、最初に画像A表示画面を、以下の処理により生成する。
まず、対応断面生成部30gは、図7に示すように、画像A表示画面における画素(i,j)に対応する過去3次元医用画像(画像A)の座標(r1,r2,r3)を求める。そして、座標(r1,r2,r3)の画素値「vr」を取得し、画素値「vr」を階調変換処理により表示画素の輝度値を決定する。対応断面生成部30gは、この処理を、すべての表示画素に対して実施することで、表示部30bが備えるモニタの画面にて表示される画像A表示画面を生成する。
続いて、対応断面生成部30gは、画像A表示画面における画素(i,j)の輝度値に対応する画像B表示画面における画素(i,j)の輝度値を決定する。すなわち、対応断面生成部30gは、図7に示すように、過去3次元医用画像(画像A)の座標(r1,r2,r3)に対応する最新3次元医用画像(画像B)の座標(t1,t2,t3)を、座標変換パラメータ算出部30fによって決定された座標変換パラメータを用いた座標変換式によって決定する。そして、座標(t1,t2,t3)の最新3次元医用画像(画像B)における画素値「vt」を求め、階調変換により画像B表示画面における画素(i,j)の輝度値を決定する。対応断面生成部30gは、この処理を、すべての表示画素に対して実施することで、表示部30bが備えるモニタの画面にて表示される画像B表示画面を生成する。
図1に戻って、表示制御部30hは、対応断面生成部30gによって生成された過去3次元医用画像(画像A)および最新3次元医用画像(画像B)それぞれの対応断面を表示部30bが備えるモニタの画面にて表示するように制御する。ここで、表示制御部30hは、特許請求の範囲に記載の「表示制御手段」に対応する。
次に、図8を用いて、実施例1における医用画像表示装置30の処理について説明する。図8は、実施例1における医用画像表示装置の処理を説明するための図である。
図8に示すように、実施例1における医用画像表示装置30は、比較読影を行なう利用者から、入力部30aを介して断面画像の表示要求を受け付けると(ステップS801肯定)、基準ランドマーク抽出対応付け部30cは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、「気管支における主要3分岐点」からなる3つの基準ランドマークをそれぞれ抽出し、抽出された「気管支における主要3分岐点」から基準ランドマークペアを構成する(ステップS802)。
そして、一般ランドマーク抽出部30dは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、一般ランドマークとして、肺血管の分岐点を抽出する(ステップS803)。
続いて、ランドマークペア構成部30eは、一般ランドマーク抽出部30dによって抽出された一般ランドマーク群の中から、過去3次元医用画像および最新3次元医用画像の間で対応付けられる一般ランドマークペアを構成する(ステップS804、図5参照)。
そののち、座標変換パラメータ算出部30fは、基準ランドマーク抽出対応付け部30cによって、対応付けられた基準ランドマークペアと、ランドマークペア構成部30eによって対応付けられた一般ランドマークペアとの位置情報に基づいて、過去3次元医用画像および最新3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを算出して決定する(ステップS805)。
そして、対応断面生成部30gは、座標変換パラメータ算出部30fによって決定された座標変換パラメータに基づいて、過去3次元医用画像および最新3次元医用画像それぞれの対応断面を生成し(ステップS806)、表示制御部30hによって、対応断面生成部30gによって生成された過去3次元医用画像および最新3次元医用画像それぞれの対応断面を表示部30bが備えるモニタの画面にて表示するように制御されることで、これら2つの対応断面が表示され(ステップS807)、処理を終了する。なお、こののち、表示部30bが備えるモニタにて表示された2つの対応断面を参照して、医師による比較読影が行なわれる。
上述してきたように、実施例1では、基準ランドマーク抽出対応付け部30cは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、「気管支における主要3分岐点」からなる3つの基準ランドマークをそれぞれ抽出し、基準ランドマークペアを構成する。一般ランドマーク抽出部30dは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、一般ランドマークとして、肺血管の分岐点を抽出する。ランドマークペア構成部30eは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、基準ランドマークそれぞれと一般ランドマークそれぞれとの距離を用いて、一般ランドマークペアを構成するとともに、一般ランドマークペアとして構成された一般ランドマークそれぞれとの距離をさらに用いて、当該一般ランドマークペアを構成する一般ランドマーク以外の一般ランドマークの中から、一般ランドマークペアをさらに構成する。
そして、座標変換パラメータ算出部30fは、基準ランドマークペアと、一般ランドマークペアとの位置情報に基づいて、座標変換パラメータを算出し、対応断面生成部30gは、座標変換パラメータに基づいて、過去3次元医用画像および最新3次元医用画像それぞれの対応断面を生成し、表示制御部30hは、生成された過去3次元医用画像および最新3次元医用画像それぞれの対応断面を表示部30bが備えるモニタの画面にて表示するように制御する。このようなことから、一般ランドマークに誤りが多く発生する場合でも、確実に一般ランドマークペアを構成することができ、上記した主たる特徴のように、3次元医用画像間の位置合わせを常に精度よく行なうことが可能となる。
すなわち、「気管支における主要3分岐点」は、どの患者にも存在するものであり、各々が解剖学的に一意に特定することができる。例えば、気管支の右第1分岐点といえば、どの患者でも特定の分岐点を意味し、当然、同一患者の撮影データの間でも一意に特定することができる。一方、肺血管分岐点は、各々を個別に区別することができず、一般的に一意に特定することはできない。肺領域を撮影した3次元医用画像間での位置合わせ処理のためには、ランドマークを対応付けることが必要だが、一意に特定することができないランドマークの場合、対応付けを行なうことが困難である。しかし、反面、位置あわせの処理精度を向上させるためには、肺領域に広範囲に分布する肺血管の分岐点を用いることが重要である。すなわち、一意に特定可能なランドマークのみを用いれば、位置あわせの処理を迅速に行なうことはできるが、位置合わせ処理の精度の観点からすれば、一意に特定することができないが広範囲に分布しているランドマークを用いることが必要になる。
そこで、実施例1では、一意に特定可能なランドマークを基準ランドマークとして用いてランドマークペア(基準ランドマークペア)を構成し、広範囲に分布するが一意に特定できないランドマークを一般ランドマークとして用いる。そして、一般ランドマークの対応付け処理に、基準ランドマークペアの情報を用いランドマーク間の距離(または、角度や画像一致度)の情報を利用して一般ランドマークの対応付けを行う。このように、確実に対応付けられる基準ランドマークペアを基準として一般ランドマークの対応付けを行っていくので、誤って抽出された一般ランドマークの割合が大きく、従来技術では、位置合わせに失敗するような場合でも、一意性のない一般ランドマークの対応付けが確実に実現され、3次元医用画像間の位置合わせを常に精度よく行なうことが可能となる。
なお、本実施例では、一般ランドマークとして、肺血管の分岐点を用いる場合について説明したが、本発明はこれに限定されるものではなく、一般ランドマークとして、肺血管の分岐点と同様に、肺領域に広範囲に分布する「気管支における主要3分岐点」以外の「気管支分岐点」を用いる場合であってもよい。
上述した実施例1では、一般ランドマークとして肺血管の分岐点を用いる場合について説明したが、実施例2では、一般ランドマークとして肺血管の分岐点とともに、「気管支における主要3分岐点」以外の「気管支における分岐点」を用いる場合について、図9および図10を用いて説明する。ここで、図9は、実施例2における医用画像表示装置の概念を説明するための図であり、図10は、実施例2における一般ランドマーク抽出部を説明するための図である。
実施例2における医用画像表示装置30は、図1に示す実施例1における医用画像表示装置30と同様の構成からなるが、一般ランドマーク抽出部30dおよびランドマークペア構成部30eの処理内容が異なるので、以下これらを中心に説明する。
実施例2における医用画像表示装置30は、まず、図9に示すように、実施例1と同様に、基準ランドマーク抽出対応付け部30cにより、過去3次元医用画像(画像A)および最新3次元医用画像(画像B)それぞれにおいて、肺領域を抽出したうえで、「気管支における主要3分岐点」からなる3つの基準ランドマークをそれぞれ抽出し、抽出された基準ランドマークの対応付けを行なって、確定点として登録する。
ここで、実施例2における医用画像表示装置30を構成する一般ランドマーク抽出部30dは、実施例1とは異なり、図9に示すように、一般ランドマークとして、「気管支における主要3分岐点」以外の気管支分岐点(以下、「気管支分岐点」と記す)を抽出する。例えば、図10に示すように、「気管支における主要3分岐点」(二重丸印参照)以外の「気管支分岐点」(白抜き丸印参照)を抽出する。なお、「気管支分岐点」は、特許請求の範囲に記載の「非主要分岐点」に対応する。
そして、実施例2における医用画像表示装置30を構成するランドマークペア構成部30eは、図5に示した処理と同様の処理により、図9に示すように、複数の「気管支分岐点」としての一般ランドマークの対応付けを行なって、一般ランドマークペアを抽出し、抽出された一般ランドマークペアを基準ランドマークペアとしたうえで、基準ランドマークペアを構成する「気管支分岐点」を確定点として登録する。
そののち、実施例2における医用画像表示装置30を構成する一般ランドマーク抽出部30dは、図9に示すように、実施例1と同様に、肺血管の領域を抽出したうえで、一般ランドマークとして、肺血管分岐点を抽出する。
そして、実施例2における医用画像表示装置30を構成するランドマークペア構成部30eは、図5に示した処理と同様の処理により、図9に示すように、複数の肺血管分岐点としての一般ランドマークの対応付けを行なって、一般ランドマークペアを抽出し、抽出された一般ランドマークペアを構成する肺血管分岐点を確定点として登録する。
そして、図9に示すように、基準ランドマークペアおよび一般ランドマークペアからなるランドマークペアの位置情報を用いて、座標変換パラメータ算出部30fは、座標変換パラメータを算出して決定し、対応断面生成部30gは、過去3次元医用画像および最新3次元医用画像それぞれの対応断面を生成し、表示制御部30hの制御に従って、表示部30bは、自身が備えるモニタの画面にて2つの対応断面を表示する。
次に、図11を用いて、実施例2における医用画像表示装置30の処理について説明する。図11は、実施例2における医用画像表示装置の処理を説明するための図である。
図11に示すように、実施例2における医用画像表示装置30は、比較読影を行なう利用者から、入力部30aを介して断面画像の表示要求を受け付けると(ステップS1101肯定)、基準ランドマーク抽出対応付け部30cは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、「気管支における主要3分岐点」からなる3つの基準ランドマークをそれぞれ抽出し、抽出された「気管支における主要3分岐点」から基準ランドマークペアを構成する(ステップS1102)。
そして、一般ランドマーク抽出部30dは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、一般ランドマークとして、「気管支における主要3分岐点」以外の「気管支分岐点」を抽出し(ステップS1103)、ランドマークペア構成部30eは、一般ランドマーク抽出部30dによって抽出された「気管支における主要3分岐点」以外の複数の「気管支分岐点」の中から、過去3次元医用画像および最新3次元医用画像の間で対応付けられる一般ランドマークペアを構成し(ステップS1104)、さらに、この一般ランドマークペアを基準ランドマークペアとする。
続いて、一般ランドマーク抽出部30dは、過去3次元医用画像および最新3次元医用画像それぞれにおいて、一般ランドマークとして、肺血管分岐点を抽出し(ステップS1105)、ランドマークペア構成部30eは、一般ランドマーク抽出部30dによって抽出された複数の肺血管分岐点の中から、過去3次元医用画像および最新3次元医用画像の間で対応付けられる一般ランドマークペアを構成し(ステップS1106)。
なお、こののちのステップS1107〜ステップS1109の処理内容は、図8におけるステップS805〜ステップS807の処理内容と同様であるので、説明を省略する。
上述してきたように、実施例2では、一般ランドマークとして、肺領域に広範囲に存在する「気管支分岐点」と肺血管分岐点とを併用して用い、基準ランドマークとの位置情報から、これらの一般ランドマークを順次対応付けして、対応断面の生成を行なうので、3次元医用画像間の位置合わせをさらに精度よく行なうことが可能となる。
上述した実施例1では、基準ランドマークペアと一般ランドマークペアとを同等に評価して座標変換パラメータを決定する場合について説明したが、実施例3では、基準ランドマークペアと一般ランドマークペアとに異なる評価を与えて座標変換パラメータを決定する場合について、図12を用いて説明する。ここで、図12は、実施例3における座標変換パラメータ算出部を説明するための図である。
実施例3における医用画像表示装置30は、図1に示す実施例1における医用画像表示装置30と同様の構成からなるが、座標変換パラメータ算出部30fの処理内容が異なるので、以下これを中心に説明する。
実施例3における医用画像表示装置30を構成する座標変換パラメータ算出部30fは、基準ランドマークペアにおける位置情報の重み付けを、一般ランドマークペアにおける位置情報の重み付けより大きくしたうえで、座標変換パラメータを算出して決定する。
具体的には、実施例3における医用画像表示装置30を構成する座標変換パラメータ算出部30fは、実施例1とは異なり、図6に示す「m組」のランドマークペアの位置情報に基づいて設定される「m個」の連立方程式の両辺に、図12に示すように、重み付け「w1,w2,・・・,wm」が掛け合わされる。ここで、重み付け「w1,w2,・・・,wm」のすべてが「1」である場合は、実施例1と同様となるが、実施例3では、基準ランドマークペアの一次式に対しては、重み付け「10」を設定し、一般ランドマークペアの一次式に対しては、重み付け「1」を設定したうえで、「m個」の連立方程式を満たす座標変換パラメータ「a1,b1,c1,a2,b2,c2,a3,b3,c3,d1,d2,d3」を、最小二乗法などの線形最適化法によって決定する。
なお、実施例3における医用画像表示装置30の処理手順は、図8におけるステップS805において、座標変換パラメータ算出部30fが上述した処理を行なう点以外は、実施例1における医用画像表示装置30の処理手順と同様であるので、説明を省略する。
上述してきたように、実施例3では、基準ランドマークペアに対する重み付けを一般ランドマークペアに対する重み付けより大きくしたので、例えば、基準ランドマークペアに対する重み付けを「10」とし、一般ランドマークペアに対する重み付けを「1」とすることで、基準ランドマーク3点は、一般ランドマークペアとして抽出された一般ランドマークそれぞれと比較して、「10の二乗」個分の影響度を持つようになり、一般ランドマークペアとして抽出された肺血管分岐点が、実際には、誤って抽出された偽肺血管分岐点であったとしても、3次元医用画像間の位置合わせに対する影響度を軽減することができる。すなわち、本実施例によれば、ランドマークの種類に応じて重み付けを変更することができ、ランドマーク検出の誤りに対しても、位置合わせの精度の恒常性をさらに維持することが可能になる。
なお、上述した実施例1〜3では、過去3次元医用画像を「第一の3次元医用画像」とし、最新3次元医用画像を「第二の3次元医用画像」とする場合について説明したが、本発明はこれに限定されるものではなく、最新3次元医用画像を「第一の3次元医用画像」とし、過去3次元医用画像を「第二の3次元医用画像」とする場合であってもよい。
また、上述した実施例1〜3では、利用者によって、過去3次元医用画像の断面が指定された場合に、過去3次元医用画像の表示用画像を生成して、決定された座標変換パラメータを用いた座標変換式によって最新3次元医用画像の表示用画像を生成する場合について説明したが、本発明はこれに限定されるものではなく、最新3次元医用画像の断面が指定された場合に、最新3次元医用画像の表示用画像を生成して、決定された座標変換パラメータを用いた座標変換式によって過去3次元医用画像の表示用画像を生成する場合であってもよい。
また、上述した実施例1〜3では、基準ランドマークとして「気管支における主要3分岐点」を用いる場合について説明したが、本発明はこれに限定されるものではなく、例えば、「気管支における主要3分岐点」と同様に、どの患者にも存在し、解剖学的に一意に特定することができる肺の頂上である肺尖部を基準ランドマークとして用いる場合であってもよい。
また、上述した実施例1〜3では、3次元医用画像として、X線CT画像の位置合わせを行なう場合について説明したが、本発明はこれに限定されるものではなく、3次元医用画像として、MRI画像や、PET画像、SPECT画像、超音波画像などの位置合わせを行なう場合であってもよい。
また、上述した実施例1〜3では、肺領域を含む3次元医用画像において、「気管支における主要3分岐点」を基準ランドマークとして位置合わせの基準とする場合について説明したが、本発明はこれに限定されるものではなく、例えば、脊椎を含む3次元医用画像において、棘突起の先端部を基準ランドマークとして位置合わせの基準とするなど、3次元医用画像に含まれる組織において、解剖学的に一意に特定することができるランドマークを、任意に選択して基準ランドマークとして位置合わせの基準とすることができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
なお、本実施例で説明した画像表示方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD−ROM、MO、DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
以上のように、本発明に係る医用画像表示装置および画像表示方法は、2つの3次元医用画像の位置合わせを行なって、当該2つの3次元医用画像それぞれの対応断面を表示する場合に有用であり、特に、3次元医用画像間の位置合わせを常に精度よく行なうことに適する。
実施例1における医用画像表示装置の構成を説明するための図である。 基準ランドマーク抽出対応付け部を説明するための図である。 基準ランドマーク抽出対応付け部を説明するための図である。 実施例1における一般ランドマーク抽出部を説明するための図である。 ランドマークペア構成部の処理を説明するための図である。 実施例1における座標変換パラメータ算出部を説明するための図である。 対応断面生成部を説明するための図である。 実施例1における医用画像表示装置の処理を説明するための図である。 実施例2における医用画像表示装置の概念を説明するための図である。 実施例2における一般ランドマーク抽出部を説明するための図である。 実施例2における医用画像表示装置の処理を説明するための図である。 実施例3における座標変換パラメータ算出部を説明するための図である。 従来技術における課題を説明するための図である。
符号の説明
10 医用画像診断装置
20 医用画像データベース
30 医用画像表示装置
30a 入力部
30b 表示部
30c 基準ランドマーク抽出対応付け部
30d 一般ランドマーク抽出部
30e ランドマークペア構成部
30f 座標変換パラメータ算出部
30g 対応断面生成部
30h 表示制御部

Claims (8)

  1. 第一および第二の3次元医用画像の位置合わせを行なって、当該第一および第二の3次元医用画像それぞれの対応断面を表示する医用画像表示装置であって、
    前記第一および第二の3次元医用画像それぞれにおいて、被検体によらず存在し、各々が解剖学的に一意に特定することができる特徴点であり、対応関係が特定され位置合わせの基準となる特徴点である基準特徴点をそれぞれ抽出し、抽出された基準特徴点それぞれを対応付けた組として構成する基準特徴点抽出対応付け手段と、
    前記第一および第二の3次元医用画像それぞれにおいて、画像内に広範囲に存在し、位置合わせに用いる可能性のある一般的な特徴点である一般特徴点を抽出する一般特徴点抽出手段と、
    前記基準特徴点抽出対応付け手段によって前記第一および第二の3次元医用画像それぞれにおいて抽出された前記基準特徴点との位置関係に基づいて、前記一般特徴点抽出手段によって抽出された前記一般特徴点の中から、当該第一および第二の3次元医用画像の間で対応付けられる一般特徴点の組を構成する一般特徴点対応付け手段と、
    前記基準特徴点抽出対応付け手段によって対応付けられた前記基準特徴点の組と、前記一般特徴点対応付け手段によって対応付けられた前記一般特徴点の組との位置情報に基づいて、前記第一および第二の3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを決定する座標変換パラメータ決定手段と、
    前記座標変換パラメータ決定手段によって決定された前記座標変換パラメータに基づいて、前記第一および第二の3次元医用画像それぞれの対応断面を生成する対応断面生成手段と、
    前記対応断面生成手段によって生成された前記第一および第二の3次元医用画像それぞれの対応断面を所定の表示部にて表示するように制御する表示制御手段と、
    を備えたことを特徴とする医用画像表示装置。
  2. 前記一般特徴点対応付け手段は、前記第一および第二の3次元医用画像それぞれにおいて、前記基準特徴点抽出対応付け手段によって抽出された前記基準特徴点それぞれと前記一般特徴点抽出手段によって抽出された前記一般特徴点それぞれとの距離を用いて、前記一般特徴点の組を構成するとともに、前記一般特徴点の組として構成された一般特徴点それぞれとの距離をさらに用いて、当該一般特徴点の組を構成する一般特徴点以外の一般特徴点の中から、前記一般特徴点の組をさらに構成することを特徴とする請求項1に記載の医用画像表示装置。
  3. 前記基準特徴点抽出対応付け手段は、前記基準特徴点として、気管支における主要分岐点を抽出し、
    前記一般特徴点抽出手段は、前記一般特徴点として、気管支における前記主要分岐点以外の分岐点、または、肺血管の分岐点を抽出することを特徴とする請求項2に記載の医用画像表示装置。
  4. 前記基準特徴点抽出対応付け手段は、前記基準特徴点として、気管支における主要分岐点を抽出し、
    前記一般特徴点抽出手段は、前記一般特徴点として、気管支における前記主要分岐点以外の分岐点である非主要分岐点および肺血管の分岐点を抽出し、
    前記一般特徴点対応付け手段は、前記一般特徴点としての前記非主要分岐点において、前記一般特徴点の組を構成し、前記一般特徴点の組を構成するとされた非主要分岐点の組を、前記基準特徴点の組としたうえで、前記一般特徴点としての前記肺血管の分岐点において、前記一般特徴点の組を構成することを特徴とする請求項2に記載の医用画像表示装置。
  5. 前記座標変換パラメータ決定手段は、前記基準特徴点の組における位置情報の重み付けを、前記一般特徴点の組における位置情報の重み付けより大きくしたうえで、前記座標変換パラメータを決定することを特徴とする請求項1〜4のいずれか一つに記載の医用画像表示装置。
  6. 第一および第二の3次元医用画像の位置合わせを行なって、当該第一および第二の3次元医用画像それぞれの対応断面を表示する画像表示方法であって、
    コンピュータが、
    前記第一および第二の3次元医用画像それぞれにおいて、被検体によらず存在し、各々が解剖学的に一意に特定することができる特徴点であり、対応関係が特定され位置合わせの基準となる特徴点である基準特徴点をそれぞれ抽出し、抽出された基準特徴点それぞれを対応付けた組として構成する基準特徴点抽出対応付け工程と、
    前記第一および第二の3次元医用画像それぞれにおいて、画像内に広範囲に存在し、位置合わせに用いる可能性のある一般的な特徴点である一般特徴点を抽出する一般特徴点抽出工程と、
    前記基準特徴点抽出対応付け工程によって前記第一および第二の3次元医用画像それぞれにおいて抽出された前記基準特徴点との位置関係に基づいて、前記一般特徴点抽出工程によって抽出された前記一般特徴点の中から、当該第一および第二の3次元医用画像の間で対応付けられる一般特徴点の組を構成する一般特徴点対応付け工程と、
    前記基準特徴点抽出対応付け工程によって対応付けられた前記基準特徴点の組と、前記一般特徴点対応付け工程によって対応付けられた前記一般特徴点の組との位置情報に基づいて、前記第一および第二の3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを決定する座標変換パラメータ決定工程と、
    前記座標変換パラメータ決定工程によって決定された前記座標変換パラメータに基づいて、前記第一および第二の3次元医用画像それぞれの対応断面を生成する対応断面生成工程と、
    前記対応断面生成工程によって生成された前記第一および第二の3次元医用画像それぞれの対応断面を所定の表示部にて表示するように制御する表示制御工程と、
    実行することを含んだことを特徴とする画像表示方法。
  7. 第一および第二の3次元医用画像の位置合わせを行なって、当該第一および第二の3次元医用画像それぞれの対応断面を表示する医用画像表示装置であって、
    前記第一および第二の3次元医用画像それぞれにおいて、対応関係が特定され位置合わせの基準となる特徴点である基準特徴点をそれぞれ抽出し、抽出された基準特徴点それぞれを対応付けた組として構成する基準特徴点抽出対応付け手段と、
    前記第一および第二の3次元医用画像それぞれにおいて、位置合わせに用いる可能性のある一般的な特徴点である一般特徴点を抽出する一般特徴点抽出手段と、
    前記基準特徴点抽出対応付け手段によって前記第一および第二の3次元医用画像それぞれにおいて抽出された前記基準特徴点との位置関係に基づいて、前記一般特徴点抽出手段によって抽出された前記一般特徴点の中から、当該第一および第二の3次元医用画像の間で対応付けられる一般特徴点の組を構成する一般特徴点対応付け手段と、
    前記基準特徴点抽出対応付け手段によって対応付けられた前記基準特徴点の組と、前記一般特徴点対応付け手段によって対応付けられた前記一般特徴点の組との位置情報に基づいて、前記第一および第二の3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを決定する座標変換パラメータ決定手段と、
    前記座標変換パラメータ決定手段によって決定された前記座標変換パラメータに基づいて、前記第一および第二の3次元医用画像それぞれの対応断面を生成する対応断面生成手段と、
    前記対応断面生成手段によって生成された前記第一および第二の3次元医用画像それぞれの対応断面を所定の表示部にて表示するように制御する表示制御手段と、
    を備え、
    前記基準特徴点抽出対応付け手段は、前記基準特徴点として、気管支における主要分岐点を抽出し、
    前記一般特徴点抽出手段は、前記一般特徴点として、気管支における前記主要分岐点以外の分岐点、または、肺血管の分岐点を抽出することを特徴とする医用画像表示装置。
  8. 第一および第二の3次元医用画像の位置合わせを行なって、当該第一および第二の3次元医用画像それぞれの対応断面を表示する画像表示方法であって、
    コンピュータが、
    前記第一および第二の3次元医用画像それぞれにおいて、対応関係が特定され位置合わせの基準となる特徴点である基準特徴点をそれぞれ抽出し、抽出された基準特徴点それぞれを対応付けた組として構成する基準特徴点抽出対応付け工程と、
    前記第一および第二の3次元医用画像それぞれにおいて、位置合わせに用いる可能性のある一般的な特徴点である一般特徴点を抽出する一般特徴点抽出工程と、
    前記基準特徴点抽出対応付け工程によって前記第一および第二の3次元医用画像それぞれにおいて抽出された前記基準特徴点との位置関係に基づいて、前記一般特徴点抽出工程によって抽出された前記一般特徴点の中から、当該第一および第二の3次元医用画像の間で対応付けられる一般特徴点の組を構成する一般特徴点対応付け工程と、
    前記基準特徴点抽出対応付け工程によって対応付けられた前記基準特徴点の組と、前記一般特徴点対応付け工程によって対応付けられた前記一般特徴点の組との位置情報に基づいて、前記第一および第二の3次元医用画像の位置合わせを行なうために用いられる座標変換パラメータを決定する座標変換パラメータ決定工程と、
    前記座標変換パラメータ決定工程によって決定された前記座標変換パラメータに基づいて、前記第一および第二の3次元医用画像それぞれの対応断面を生成する対応断面生成工程と、
    前記対応断面生成工程によって生成された前記第一および第二の3次元医用画像それぞれの対応断面を所定の表示部にて表示するように制御する表示制御工程と、
    を実行することを含み、
    前記基準特徴点抽出対応付け工程は、前記基準特徴点として、気管支における主要分岐点を抽出し、
    前記一般特徴点抽出工程は、前記一般特徴点として、気管支における前記主要分岐点以外の分岐点、または、肺血管の分岐点を抽出することを特徴とする画像表示方法。
JP2008037673A 2008-02-19 2008-02-19 医用画像表示装置および画像表示方法 Expired - Fee Related JP5279291B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008037673A JP5279291B2 (ja) 2008-02-19 2008-02-19 医用画像表示装置および画像表示方法
US12/525,315 US8374410B2 (en) 2008-02-19 2009-02-12 Medical image display device and image displaying method
PCT/JP2009/052318 WO2009104510A1 (ja) 2008-02-19 2009-02-12 医用画像表示装置および画像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008037673A JP5279291B2 (ja) 2008-02-19 2008-02-19 医用画像表示装置および画像表示方法

Publications (2)

Publication Number Publication Date
JP2009195306A JP2009195306A (ja) 2009-09-03
JP5279291B2 true JP5279291B2 (ja) 2013-09-04

Family

ID=40985392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008037673A Expired - Fee Related JP5279291B2 (ja) 2008-02-19 2008-02-19 医用画像表示装置および画像表示方法

Country Status (3)

Country Link
US (1) US8374410B2 (ja)
JP (1) JP5279291B2 (ja)
WO (1) WO2009104510A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5702572B2 (ja) * 2009-10-29 2015-04-15 株式会社東芝 X線撮影装置
JP2011092620A (ja) * 2009-11-02 2011-05-12 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP5415245B2 (ja) * 2009-12-14 2014-02-12 富士フイルム株式会社 医用画像表示装置および方法並びにプログラム
JP5698465B2 (ja) * 2010-04-22 2015-04-08 キヤノン株式会社 眼科装置、表示制御方法及びプログラム
US9734285B2 (en) 2010-05-20 2017-08-15 General Electric Company Anatomy map navigator systems and methods of use
JP2012115399A (ja) * 2010-11-30 2012-06-21 Ge Medical Systems Global Technology Co Llc 医用装置およびプログラム
JP2012125297A (ja) * 2010-12-13 2012-07-05 Toshiba Corp 超音波診断装置、画像処理装置及びプログラム。
JP5745444B2 (ja) 2012-03-05 2015-07-08 富士フイルム株式会社 医用画像表示装置および医用画像表示方法、並びに、医用画像表示プログラム
EP2648160B1 (en) * 2012-04-03 2017-03-08 Intrasense Topology-preserving ROI remapping method between medical images
KR20150002932A (ko) * 2013-06-26 2015-01-08 삼성전자주식회사 초음파 영상 디스플레이 방법 및 장치
KR101572487B1 (ko) * 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
JP6490985B2 (ja) 2014-03-11 2019-03-27 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理システム
US9754367B2 (en) * 2014-07-02 2017-09-05 Covidien Lp Trachea marking
US10105117B2 (en) * 2015-02-13 2018-10-23 Biosense Webster (Israel) Ltd. Compensation for heart movement using coronary sinus catheter images
JP6541363B2 (ja) * 2015-02-13 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6554722B2 (ja) * 2015-02-25 2019-08-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
DE112016003634T5 (de) * 2015-09-09 2018-04-26 Fujifilm Corporation Zuordnungsbild-anzeigesteuervorrichtung, -verfahren und -programm
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08131403A (ja) * 1994-11-09 1996-05-28 Toshiba Medical Eng Co Ltd 医用画像処理装置
US7627158B2 (en) * 2003-07-30 2009-12-01 Koninklijke Philips Electronics N.V. Automatic registration of intra-modality medical volume images using affine transformation
JP4731127B2 (ja) 2004-05-26 2011-07-20 株式会社日立メディコ 画像診断支援装置及び方法
US7583857B2 (en) * 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
US20070217665A1 (en) * 2006-02-13 2007-09-20 Siemens Corporate Research, Inc. System and Method For Image-Based Tree Matching And Registration
EP1881453A3 (en) 2006-07-18 2009-07-22 Kabushiki Kaisha Toshiba A medical image-processing apparatus and a method for processing medical images

Also Published As

Publication number Publication date
WO2009104510A1 (ja) 2009-08-27
JP2009195306A (ja) 2009-09-03
US8374410B2 (en) 2013-02-12
US20110158487A1 (en) 2011-06-30

Similar Documents

Publication Publication Date Title
JP5279291B2 (ja) 医用画像表示装置および画像表示方法
JP6878509B2 (ja) データ及びモデルを用いた画像再構成ならびに補正のためのシステム及び方法
US20210361174A1 (en) System for vascular assessment
US9962086B2 (en) Medical image data processing apparatus and method for determining the presence of an abnormality
JP7132299B2 (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
JP5919296B2 (ja) イメージレジストレーション装置
JP2008006188A (ja) 医用画像表示処理装置、及び、医用画像表示処理プログラム
US7689018B2 (en) Anomaly detection in volume data structure information
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
CN110301883B (zh) 用于导航管状网络的基于图像的向导
Zhang et al. Simultaneous registration of location and orientation in intravascular ultrasound pullbacks pairs via 3D graph-based optimization
JP2004313736A (ja) 医用画像処理装置、医用画像処理方法、および、プログラム
JP2023552577A (ja) ナビゲーション気管支鏡検査のための動的変形追跡
EP2960870B1 (en) A visualization method for a human skeleton from a medical scan
US9367893B2 (en) Diagnosis assistance apparatus, method and program
JP6876200B2 (ja) 動的術中セグメンテーションデータに対する静的術前計画データの位置合わせ
Perchet et al. Advanced navigation tools for virtual bronchoscopy
JP2015136480A (ja) 3次元医用画像表示制御装置およびその作動方法並びに3次元医用画像表示制御プログラム
JP2019500114A (ja) 位置合わせ精度の決定
Gibbs et al. Integrated system for planning peripheral bronchoscopic procedures
WO2021256096A1 (ja) 領域修正装置、方法およびプログラム
JP6878035B2 (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
JP2023033234A (ja) データ拡張方法、データ拡張装置及びプログラム
Barbour et al. Surface Reconstruction of the Pediatric Larynx via Structure from Motion Photogrammetry: A Pilot Study
Reynisson Improved Bronchoscopy by new image guided Approach

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130521

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5279291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees