JP5422742B2 - 医用画像処理装置とその方法 - Google Patents

医用画像処理装置とその方法 Download PDF

Info

Publication number
JP5422742B2
JP5422742B2 JP2012524015A JP2012524015A JP5422742B2 JP 5422742 B2 JP5422742 B2 JP 5422742B2 JP 2012524015 A JP2012524015 A JP 2012524015A JP 2012524015 A JP2012524015 A JP 2012524015A JP 5422742 B2 JP5422742 B2 JP 5422742B2
Authority
JP
Japan
Prior art keywords
boundary
coordinate system
left ventricular
image processing
volume data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012524015A
Other languages
English (en)
Other versions
JPWO2012153539A1 (ja
Inventor
智行 武口
幸辰 坂田
修平 新田
智也 岡崎
貴優 杉浦
信幸 松本
恭子 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2012524015A priority Critical patent/JP5422742B2/ja
Application granted granted Critical
Publication of JP5422742B2 publication Critical patent/JP5422742B2/ja
Publication of JPWO2012153539A1 publication Critical patent/JPWO2012153539A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、医用画像処理装置とその方法に関する。
従来の医用画像処理装置は、心臓のボリュームデータにアクセスし、変形可能な境界モデルをボリュームデータ内の構造にフィットさせて境界を検出し、前記境界モデルに基づいて１つ以上の特徴点を特定し、ディスプレイに特徴点に基づく心臓の画像を表示する。
特開２０１０‐１７９０９８号公報 米国特許第６１０６４６６号公報
しかし、従来の医用画像処理装置では、ボリュームデータから心臓の位置、姿勢の検出やアライメントを行わず境界を直接検出するため、その検出精度が低下するという問題点があった。
そこで本発明の実施形態は、上記問題点を解決するためになされたものであって、心臓の境界検出の精度の向上が図れる医用画像処理装置とその方法を提供することを目的とする。
本発明の実施形態は、心臓のボリュームデータを取得する取得部と、前記心臓の左心室長軸を少なくとも含む３つの軸からなる３次元の左心室座標系を、前記ボリュームデータから検出する座標系検出部と、前記左心室座標系で表現された境界モデルを用いて、前記境界モデルを前記ボリュームデータに当てはめて求めた境界パターンと、予め定めた境界パターンモデルとの誤差が小さくなるように、前記境界モデルを変形させて、前記ボリュームデータから左心室境界を検出する境界検出部と、前記左心室座標系の前記３つの軸の少なくとも一つの軸に直交する断面像と共に、前記断面像上に検出した前記左心室境界を表示する表示部と、を有する医用画像処理装置である。
第１の実施形態に係わる医用画像処理装置の構成を示すブロック図。 同じく医用画像処理装置の動作を示すフローチャート。 人体を基準にしてボリュームデータ座標系を表した図。 ボリュームデータ座標系の軸に垂直な断面像を示す図。 ボリュームデータ座標系と左心室座標系を重ねて表した図。 左心室座標系の軸に垂直な断面像を示す図。 座標系検出部の第１の検出方法のフローチャート。 検出される左心室座標系の説明図。 座標系検出部の第１の検出方法のフローチャート。 検出される左心室座標系の説明図。 境界モデルの例を示す図。 第２の実施形態の構成を示すブロック図。 第４の実施形態に係わる医用画像処理装置の構成を示すブロック図。 同じく医用画像処理装置の動作を示すフローチャート。 境界モデルを示す説明図。 境界パターンモデルを示す心臓のｖ−ｗ平面図。 境界パターンモデルを示すグラフ。 第６の実施形態に係る医用画像処理装置が設置される画像処理システムの構成例を示す図。 第６の実施形態に係る医用画像処理装置の構成例を示す図。 入力画像の一例を示す図。 学習用画像群の一例を示す図。 境界モデルの作成例を示す図。 境界パターンモデルの作成例を示す図。 部位別テンプレートの一例を示す図。 左心室座標系の一例を示す図。 短軸検出に用いられる部位の一例を示す図。 部位領域の検出方法を示す図（１）。 部位領域の検出方法を示す図（２）。 部位領域の検出方法を示す図（３）。 部位領域の検出方法を示す図（４）。 部位領域の検出方法を示す図（５）。 第６の実施形態に係る補正処理を説明するための図。 境界パターンモデルの補正例を示す図。 第６の実施形態に係る境界検出部による検出例を示す図。 第６の実施形態に係る医用画像処理装置の処理例を示すフローチャート。 第７の実施形態に係る医用画像処理装置の構成例を示す図。 第７の実施形態に係る医用画像処理装置の処理例を示すフローチャート。
以下、本発明の一実施形態の医用画像処理装置について説明する。
第１の実施形態
第１の実施形態の医用画像処理装置１０について図１〜図６を用いて説明する。本実施形態の医用画像処理装置は、心臓に関する画像を表示する装置である。
本実施形態の医用画像処理装置１０の構成について、図１を用いて説明する。図１は、医用画像処理装置１０を示すブロック図である。
医用画像処理装置１０は、取得部１０１、座標系検出部１０２、境界検出部１０３、表示部１０４、３次元左心室境界モデル（以下、単に「境界モデル」という）を記憶した記憶部１１０とを備えている。
取得部１０１は、心臓に関する３次元のボリュームデータを取得し、座標系検出部１０２、境界検出部１０３、表示部１０４にそのデータを送る。
座標系検出部１０２は、ボリュームデータから左心室座標系を検出し、境界検出部１０３と表示部１０４にそのデータを送る。
境界検出部１０３は、記憶部１１０に記憶された境界モデルを用いて３次元の左心室境界を検出し、表示部１０４にそのデータを送る。
表示部１０４は、ボリュームデータ、左心室座標系、左心室境界を表示する。
次に、医用画像処理装置１０の動作について図１と図２を用いて説明する。図２は、医用画像処理装置１０の動作を示すフローチャートである。
まず、ステップ１では、取得部１０１が、外部の撮像装置などから心臓が撮像されたボリュームデータを取得する。
「ボリュームデータ」とは、空間方向に３次元の広がりをもつ濃淡画像を意味する。心臓の３次元のボリュームデータは、一般にＸ線ＣＴ装置、ＭＲＩ装置、超音波診断装置、核医学診断装置などの医用画像診断装置によって撮像可能であるが、これら撮像装置で撮像されたボリュームデータに限定されない。また、ボリュームデータは撮像装置から直接取得することも可能であるし、撮像データが保存されているサーバー、パソコン、ＨＤＤ、ＤＶＤなどの外部メディアから取得することも可能である。
取得部１０１で取得したボリュームデータは、座標系検出部１０２、境界検出部１０３、表示部１０４に送られる。このとき、各処理ステップに適するようにボリュームデータに対してノイズ除去処理、コントラスト強調処理、画像の拡大縮小処理がなされても良い。但し、画像の拡大縮小処理を行う場合は、それぞれに渡すボリュームデータ間の縮尺関係を記憶しておく。
次に、ステップ２では、座標系検出部１０２が、取得部１０１より送られてきたボリュームデータから左心室座標系を検出する。
「左心室座標系」とは、左心室長軸（以下、単に「長軸」という）を少なくとも含む３つの軸からなる３次元座標系である。図３〜図６に左心室座標系とボリュームデータ座標系の関係を示す。図３は人体を基準にしてボリュームデータ座標系を表した図、図４はボリュームデータ座標系の軸に垂直な断面像を示す図、図５はボリュームデータ座標系と左心室座標系を重ねて表した図、図６は左心室座標系の軸に垂直な断面像を示す図である。
ボリュームデータは、撮像装置の座標系を基準としたボリュームデータ座標系により保存されるのが一般的である。図３に示すように、ボリュームデータ座標系は、例えばＣＴ装置でボリュームデータを撮像した場合、人体の体軸方向（ｚ軸）、背腹方向（ｙ軸）と左右方向（ｘ軸）からなる。図４に示すように、これらの軸方向に直交する断面像をアキシャルビュー（Ａｘｉａｌ Ｖｉｅｗ）、サジタルビュー（Ｓａｇｉｔｔａｌ Ｖｉｅｗ）、コロナルビュー（Ｃｏｒｏｎａｌ Ｖｉｅｗ）と呼ぶ。
心臓を撮像したボリュームデータは、ボリュームデータ内部での心臓の存在位置、方向、及び、その大きさは、個人差、呼吸、心拍、撮像時の装置、人体の相対的位置関係によって変化する。そのため、心臓の位置、姿勢はボリュームデータ内で特定する必要がある。
左心室座標系の検出は、ボリュームデータ内の左心室の位置、方向を設定するために行う。左心室座標系の第１の検出方法としては、例えば、非特許文献１（坂田幸辰 他、「ランダム木を用いた心エコーボリュームデータからの診断用基準断面自動検出」、画像センシングシンポジウム予稿集、第１６回画像センシングシンポジウム、ＩＳ３−２４）に示された方法がある。その第１の検出方法を図５〜図８を用いて説明する。図７は、第１の検出方法のフローチャートである。
まず、ステップ１０１では、座標系検出部１０２が、図５に示すように、左心室座標系を長軸（ｕ軸）、四腔断面像が観察できる断面が設定される左心室に直交する軸（ｖ軸）、２軸に直交する軸（ｗ軸）を予め設定すると共に、図５に示すように、左心室の中心ｐで構成される左心室座標系を基準にした左心室断面像パターンを予め作成する。なお、「左心室断面像パターン」とは、パターン照合で用いる左心室断面像を意味する。
次に、ステップ１０２では、座標系検出部１０２が、ボリュームデータに対して左心室断面像パターンを当てはめながら、最も良く照合される位置、姿勢、スケールを探索することにより、ボリュームデータから図８に示すように左心室座標系を設定する。
左心室座標系の第２の検出方法を図９のフローチャートと図１０を用いて説明する。３次元座標系は、３次元空間中で一直線上に乗らない３点で設定できる。
まず、ステップ１１１では、座標系検出部１０２が、ボリュームデータから心尖位置、僧帽弁位置、右室角点を検出する。この検出方法は、座標系検出部１０２が、ボリュームデータと、予め学習した心尖位置の周辺の画像パターンとをパターン照合して心尖位置を検出する。なお、「画像パターン」とは、パターン照合に用いる画像を意味する。また、同様に、座標系検出部１０２は、僧帽弁位置、右室角点も、ボリュームデータと、僧帽弁位置周辺の画像パターン、右室角点周辺の画像パターンとのパターン照合によって検出する。
次に、ステップ１１２では、座標系検出部１０２が、ボリュームデータから心尖位置と僧帽弁位置との中点を原点ｐと設定する。
次に、ステップ１１３では、座標系検出部１０２が、原点ｐから心尖位置までのベクトルを長軸（ｕ軸）と設定する（図１０参照）。
次に、ステップ１１４では、座標系検出部１０２が、長軸（ｕ軸）に直交するベクトルで、かつ、右室角点を通る方向を第２の軸（ｖ軸）と設定する（図１０参照）。なお、右室角点は、検出した長軸に直交する断面内において、予め学習した画像パターンとの照合によって検出できる。
次に、ステップ１１５では、座標系検出部１０２が、長軸（ｕ軸）と第２の軸（ｖ軸）にそれぞれ直交する方向を第３の軸（ｗ軸）と設定する（図１０参照）。
なお、心臓内の他の１点は右室角点に限らず、例えば、三尖弁位置、左室流出路位置なども同様の方法で検出することにより、左心室座標系を設定できる。
また、左心室座標系の検出方法については、これらに限定する必要はなく、長軸を構成要素の一つとする３次元の座標系が設定できる検出方法であればよい。
また、本実施形態で明らかなように、左心室座標系の検出には、後段で検出する左心室境界上の点や、左心室境界によって設定される点を使う必要はない。
次に、ステップ３では、境界検出部１０３が、座標系検出部１０２で得られる左心室座標系及び記憶部１１０に記憶している境界モデルを使って、取得部１０１より得られるボリュームデータから左心室境界を検出する。
境界検出部１０３で検出する左心室境界とは、図６に示すように、左心室を取り囲む心筋（図６中で実線で囲まれている灰色の領域）と左心室内腔（白い領域）の境界である内膜境界、左心室を取り囲む心筋と左心室外の境界である外膜境界のどちらか一方、又は、その両方の境界を意味する。図６（ａ）は短軸断面像（Ｓｈｏｒｔ Ａｘｉｓ Ｖｉｅｗ：ｖ−ｗ平面図）、（ｂ）は４腔断面像（４ｃｈａｍｂｅｒ Ｖｉｅｗ：ｕ−ｖ平面図）、（ｃ）は２腔断面像（２ｃｈａｍｂｅｒ Ｖｉｅｗ：ｗ−ｕ平面図）である。なお、本実施形態では、内側境界（心筋内側境界）のみを左心室境界として検出する場合について述べる。
左心室の内膜境界は、心尖位置を頂点とするお椀型の境界モデルで近似できる。境界モデルは、左心室座標系が検出されていることを前提にすることで、例えば、図１１に示すように、長軸（ｕ軸）を中心軸とする２次曲面で近似できる。図１１の境界モデルを式（１）に示す。
Figure 0005422742
但し、ｕ＜ａ４である。この境界モデルは４つの変数ａ１、ａ２、ａ３、ａ４があり、左心室座標系上に凸状の回転放物面を定義できる。よって、本実施形態における境界検出とは、３次元の左心室座標系が得られているボリュームデータ中で境界モデルの変数（パラメータ）ａ１、ａ２、ａ３、ａ４を求めることになる。図１１の境界モデルは、ａ１＝１、ａ２＝１、ａ３＝０、ａ４＝１００である。
変数ａ１〜ａ４を求める方法は、境界モデルとボリュームデータの間で計算できるエネルギーを定義し、変数に初期値を与え、定義したエネルギーが小さくなるように、変数を繰り返し最適化していく。このようなエネルギーの最小化に基づく境界モデルの当てはめは、一般的な方法であり、スネークスや動的輪郭モデルの当てはめ方法として用いられる。
但し、本実施形態は、境界モデルが左心室座標系の検出を前提としていることが特徴である。すなわち、左心室座標系を検出することにより、３次元形状が式（１）のような簡単な形で表現できるだけでなく、それぞれの変数の事前分布を求めておくことにより、変数の値域を限定するなどの工夫が可能となる。また、左心室座標系が検出されていれば、側壁、前壁、下壁、中隔など大まかな左心室心筋の部位が特定できるため、特定部位に対して別のエネルギーを定義するなど、部位に応じた処理による精度向上の工夫も可能となる。
境界検出部１０３は、３次元の境界上の点で法線方向の輝度の微分量が大きくなるまで変数ａ１〜ａ４を更新する。法線方向は、当然３次元となるため、ボリュームデータ中の３次元方向の微分量（差分量）を計算することによりエネルギーの計算が可能となる。エネルギー最小化に必要なモデルパラメータの更新方法は、グリーディアルゴリズム、シミュレーテッドアニーリング、遺伝アルゴリズムなどの一般的なサーチアルゴリズムが利用可能である。
最後に、ステップ４では、表示部１０４は、取得部１０１で得られるボリュームデータ、座標系検出部１０２で得られた左心室座標系、境界検出部１０３で得られた３次元左心室境界を、ディスプレイ、プロジェクタ、プリンタなどの表示デバイスに表示する。表示部１０４は、ボリュームデータの断面像と、検出した境界が表示できればよく、前述したデバイスに限定されない。
表示部１０４で表示するボリュームデータの断面は、左心室座標系に基づいて決定する。左心室座標系の長軸（ｕ軸）方向に直交する断面は、ユーザ（医療従事者）にとって一般的な左心室短軸像となる。ここに、同断面位置での左心室境界を表示することによって、ユーザにとって心臓の位置、姿勢が認識しやすい断面像上で境界検出結果を確認できる。
また、左心室座標系として長軸（ｕ軸）方向と四腔断面像を定義できる方向（ｖ軸方向）を検出しておけば、短軸像に加えて四腔断面像と断面上の左心室境界を表示することが可能となり、３次元境界の検出結果や左心室座標系検出結果の全体像がさらに把握しやすくなる。同様に、三腔断面像や二腔断面像を定義する方向としてｖ軸を検出しておくことによっても同様の効果が得られる。
また、検出する左心室座標系を直交座標系にして設定し、この座標系の原点ｐを、推定した左心室中心としておくことで、ｕ＝０、ｖ＝０、ｗ＝０で表される３断面は左心室中心を断面像の中心にして、長軸を含む２断面と短軸断面となる。それら断面像は互いに直交関係となるため、位置関係の把握が容易であり、検出した左心室境界と共に左心室座標系が正しいかどうかの確認も容易になる。
本実施形態によれば、座標系検出部１０２で左心室座標系を検出し、左心室座標系に基づいて境界検出部１０３で左心室境界を検出することで高精度の境界検出が可能となり、表示部１０４で境界検出結果の確認をわかりやすく表示できる。
第２の実施形態
第２の実施形態の医用画像処理装置１０について図１２のブロック図を用いて説明する。本実施形態の医用画像処理装置１０は、第１の実施形態の医用画像処理装置１０の第１の変更例である。
本実施形態の医用画像処理装置１０では、座標系検出部１０２が、取得部１０１で得られたボリュームデータを、検出した左心室座標系に座標変換して、後の作業を簡単化している。
座標系検出部１０２が、座標変換後の画像を境界検出部１０３、表示部１０４に与えることによって、取得部１０１からボリュームデータを与える必要がなくなり、図１２に示すようにデータフローを簡単化できる。
第３の実施形態
第３の実施形態の医用画像処理装置１０について説明する。本実施形態の医用画像処理装置１０は、第１の実施形態の医用画像処理装置１０の第２の変更例である。
第１の実施形態では、境界検出部１０３において左心室の内膜境界（心筋内側境界）を検出する方法について述べたが、外膜境界（心筋外側境界）の検出であっても同じように対応できる。
すなわち、本実施形態では、内膜境界に関する境界モデルと外膜境界に関する境界モデルを記憶部１１０がそれぞれ記憶することによって、境界検出部１０３が内膜と外膜の境界検出を独立に行うことが可能となり、並列コンピュータの利用によって、境界検出にかかる時間を短縮できる。
また、内膜境界と外膜境界とを組み合わせた一体の境界モデルを記憶部１１０が記憶することによって、境界検出部１０３が、内膜境界と外膜境界の検出を一体に行ってもよい。
第４の実施形態
第４の実施形態の医用画像処理装置２０について図１３〜図１７を用いて説明する。
本実施形態の医用画像処理装置２０の構成について、図１３を用いて説明する。図１３は、医用画像処理装置２０を示すブロック図である。
医用画像処理装置２０は、ボリュームデータを取得する取得部２０１、左心室座標系を検出する座標系検出部２０２、左心室の境界を検出する境界検出部２０３、検出した左心室境界を評価する評価部２０４、評価結果を表示する表示部２０５、境界モデルを記憶した第１記憶部２１０、境界パターンモデルを記憶した第２記憶部２２０とを備えている。
まず、本実施形態における「境界モデル」について説明する。境界モデルは、予め収集された複数のボリュームデータに教示した３次元境界を、主成分分析することによって得られる複数の基底ベクトルと、平均形状の線形和で表現されている。この表現方法は、動的形状モデル（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）と呼ばれる非特許文献２（T.F.Cootes and C.J. Taylor, ”Statistical Models of Appearance for Computer Vision”, http://personalpages.manchester.ac.uk/staff/timothy.f.cootes/Models/app_models.pdf）で開示されている。この表現方法は、内外境界上の点の座標を１本のベクトルとして扱うことによって、内外境界を同時に扱うことができる。但し、本実施形態では、左心室座標系が検出されていることを前提とすることで、左心室座標系を用いたアライメントが行える。境界モデルを学習する際は、予め収集された複数のボリュームデータに対して、左心室座標系と３次元境界を教示しておく。複数のボリュームデータに教示された境界は，それぞれ独立な３次元の画像座標系で表現されているため，仮に２つの境界が全く同じ形状であっても，各画像上での位置が異なれば，境界の形状ベクトルは異なる値を持つ。そこで，左心室座標系を用いた境界の形状の正規化を行い，境界の形状ベクトルの座標系の差異を吸収する。正規化は、各ボリュームデータ内の左心室座標系に境界上の点を座標変換することで行う。境界モデルを、ボリュームデータ上で使う際は、ボリュームデータから検出された左心室座標系に境界モデルを座標変換する。図１５は、このようにして学習した境界モデルの図であって、長軸、短軸方向を１８点で表現した左心室の境界モデルである。
次に、「境界パターンモデル」について説明する。境界パターンモデルは、３次元の境界周辺の画像パターンである。第２記憶部２２０は、予め収集された複数の学習用ボリュームデータに教示した３次元の境界周辺の境界パターンを収集し、境界パターンモデルとして学習する。図１６と図１７に基づいて境界パターンモデルの学習について説明する。
図１６は、心臓のｖ−ｗ平面図である。図１７のグラフは、縦軸は画素値（例えば、輝度値）、横軸は内外境界を貫く直線を複数の点（図では３０点）で区切ったものであり、各点にそれぞれ番号（図では１〜３０）が付与されている。すなわち、図１６において、心臓の心筋領域の内側の点が、図１７における１０番であり、外側の点が２０番である。また、図１６のｖ−ｗ断面図において、原点ｐを中心として周方向（矢印が示す方向）に等角度毎に１８個に分割し、各分割位置における直線上にある３０点のプロファイルした画素値のパターンが、図１７の系列１〜１８を意味している。そして、図１７における各系列で表される画素値のパターンは、複数の学習用ボリュームデータから収集した各系列の画素値のパターンを平均化したパターン（以下、これを「境界パターン」という）である。そして、この平均化したパターン（境界パターン）は、長軸（ｕ軸）方向の境界上の点の数（１８点）だけあるので、これらの境界パターンをまとめて境界パターンモデルという。
すなわち、複数の学習用ボリュームデータから、図１６に示すような、同一点番号（同じ系列番号）の２点を通る直線状の画像に関するプロファイルを保存しておく。同一点番号（同じ系列番号）の２点を通る直線状の画像に関するプロファイルは、複数の学習用ボリュームデータの数だけあるので、これらプロファイルの各画素値を、図１７に示すように平均化した境界パターンを作成する。境界パターンは、ｕ軸方向の境界上の点の数だけあるので、これらをまとめて境界パターンモデルと呼ぶ。
医用画像処理装置２０の動作について図１３と図１４を用いて説明する。図１４は、医用画像処理装置２０の動作を示すフローチャートである。
まず、ステップ２１では、取得部２０１が、心臓が撮像されたボリュームデータを取得する。
次に、ステップ２２では、座標系検出部２０２が、取得部２０１から得られたボリュームデータを用いて左心室座標系を検出する。この検出方法は、第１の実施形態と同様である。
次に、ステップ２３では、境界検出部２０３が、座標系検出部２０２で得られる左心室座標系、第１記憶部２１０に記憶された境界モデル、第２記憶部２２０に記憶された境界パターンモデルを用いて、取得部２０１より得られるボリュームデータから左心室境界を検出する。本実施形態の境界検出部２０３は、以下のように左心室の内膜境界と外膜境界を検出する。
第１に、境界検出部２０３が、動的形状モデルで表された境界モデルをボリュームデータに当てはめる。
第２に、境界検出部２０３が、ボリュームデータに当てはめた境界モデルの位置における境界パターン（以下、「入力境界パターン」という）を求める。入力境界パターンは、ボリュームデータ中の画素値によって表現されている。
第３に、境界検出部２０３が、境界の検出に必要なエネルギーを求める。このエネルギーは、入力境界パターンと、上記で説明した境界パターンモデルとの誤差を求める。「誤差」としては、例えば、二乗誤差、絶対和、入力境界パターンの各画素の輝度値と境界パターンモデルにおける各画素の輝度値の差などである。
第４に、境界検出部２０３が、前記エネルギーを低下させるように、動的形状モデルで表された境界モデルを変形させる。変形は、例えば、動的形状モデルを表す平均形状の線形和の重みを変化させる。エネルギーを低下させることは、境界パターンモデルに類似するように境界モデルを変形させることに等しい。
第５に、境界検出部２０３は、前記エネルギー（境界パターンと境界パターンモデルとの誤差）が、最小になるように変形した境界モデルを求める。そして、この境界モデルによって検出された左心室の内膜境界と外膜境界とが、最終的に検出する内膜境界と外膜境界である。
次に、ステップ２４では、評価部２０４が、最小になったエネルギー（以下、「最終エネルギー」という）を、予め定めた閾値との比較を行う。表示部２０５は閾値との比較結果（すなわち評価結果）を表示してもよい。ここでは閾値より低いか否かを評価し、その結果によって次のように行う。最終エネルギーが閾値以下である場合には、ステップ２５に進む（Ｙｅｓの場合）。最小エネルギーが閾値より高い場合には、ステップ２６に進む（Ｎｏの場合）。
ステップ２５では、最小エネルギーが前記閾値以下であるので、表示部２０５は、左心室座標系、左心室境界、ボリュームデータを使って断面画像と境界検出結果を表示する。
ステップ２６では、最小エネルギーが前記閾値より高いので、表示部２０５は、境界検出が正確でない可能性が高いことをユーザに通知する。すなわち、最終エネルギーが高いということは、境界パターンモデルと異なるパターンを示す位置で左心室境界が検出されたことを意味する。この場合、左心室座標系の検出が誤っているため、正しい境界位置を検出できなかったと判断できるため、左心室境界を検出できない旨を表示する。この場合、再度、条件を変えて左心室座標系の検出を行うなどの対応を自動的に行うことが可能となる。
本実施形態によれば、座標系検出部２０２で左心室座標系を検出し、左心室座標系に基づいて境界検出部２０３で左心室境界を検出することで高精度の境界検出が可能となり、表示部２０５で境界検出結果の確認をわかりやすくすることが可能となる上、境界検出結果の可否を判定して表示する、又は、再度処理をやり直すなどのフェールセーフ機能を提供できる。
なお、上記では境界パターンモデルに関して、複数の学習用ボリュームデータを平均化したパターンで説明したが、複数の学習用ボリュームデータから画像に関するプロファイルを集めておけば、境界パターン間の標準偏差、共分散、部分空間、又は、収集した境界に関するプロファイルと、境界とは無関係なプロファイルとを使って学習される識別器など、既知のパターン認識技術を利用し境界パターンモデルを構築できる。
第５の実施形態
第５の実施形態の医用画像処理装置２０について説明する。
本実施形態の医用画像処理装置２０は、第４の実施形態の医用画像処理装置２０の第１の変更例である。
本実施形態では、自動検出処理に対してフェールセーフ機能を提供する。例えば、取得部２０１で取得するボリュームデータが、心臓全体が十分に捉えられていない場合や、実際には心臓を撮像したものでない場合など、ボリュームデータ自体の内容によっては、左心室座標系の検出が失敗する場合がある。左心室座標系の検出に失敗した場合は、表示部２０５において左心室座標系が検出できないことをユーザに通知する。そして、画像座標系を基準としてボリュームデータを表示することにより、左心室座標系の検出に使ったボリュームデータが適切であったかをユーザに確認させる機構を備えることにより、作業ミスを軽減できる。
また、第４の実施形態のステップ２６に示すように、境界検出処理後に行う最終評価で、検出された左心室境界での最終エネルギーと前記閾値との評価により、境界検出失敗の通知をユーザに与えることができる。この際、検出された境界は表示せずに、ボリュームデータのみを表示することによって、ユーザは、ボリュームデータが適切であったかをチェックしやすくできる。
また、ボリュームデータは適切であったものの、正しい左心室座標系の検出ができなかった場合は、予め定めた異なる条件で左心室座標系を再度検出できる。ここで異なる条件とは、左心室座標系を探索する範囲、探索時に使用する乱数、又は、使用する境界モデル等を変えることである。
また、医用画像処理装置２０が、正しい左心室座標系が検出できなかった場合は、ユーザに左心室座標系を設定させてもよい。この場合、ユーザが左心室座標系を指示するユーザインターフェースを備え、教示が完了した後に、境界検出処理を再度実行させればよい。
以上のように、全自動検出に伴う失敗に対して、フェールセーフ機能を与えることができる。
第６の実施形態
第６の実施形態の医用画像処理装置３０について図１８〜図３５を用いて説明する。
まず、第６の実施形態に係る医用画像処理装置３０が設置される画像処理システムの構成例について説明する。図１８は、第６の実施形態に係る医用画像処理装置３０が設置される画像処理システムの構成例を示す図である。
図１８に示す画像処理システムは、医用画像診断装置１００と、画像保管装置２００と、医用画像処理装置３０とを有する。図１８に例示する各装置は、例えば、病院内に設置された院内ＬＡＮ（Local Area Network）により、直接的、又は間接的に相互に通信可能な状態となっている。例えば、画像処理システムにＰＡＣＳ（Picture Archiving and Communication System）が導入されている場合、各装置は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則って、医用画像等を相互に送受信する。
医用画像診断装置１００は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、又はこれらの装置群等である。医用画像診断装置１００により撮影される医用画像は、２次元の画像データや、３次元の画像データ（ボリュームデータ）である。または、医用画像診断装置１００により撮影される医用画像は、これらの画像データが時系列に沿って撮影された２次元の動画データや３次元の動画データである。以下、医用画像診断装置１００の一例であるＸ線ＣＴ装置が行なう撮影について、簡単に説明する。
Ｘ線ＣＴ装置は、Ｘ線を照射するＸ線管球と被検体を透過したＸ線を検出するＸ線検出器とを対向する位置に支持して回転可能な回転フレームを有する。Ｘ線ＣＴ装置は、Ｘ線管球からＸ線を照射させながら回転フレームを回転させることで、投影データを収集し、投影データからＸ線ＣＴ画像を再構成する。Ｘ線ＣＴ画像は、Ｘ線管球とＸ線検出器との回転面（アキシャル面）における断層像となる。ここで、Ｘ線検出器は、チャンネル方向に配列されたＸ線検出素子である検出素子列が、被検体の体軸方向に沿って複数列配列されている。例えば、検出素子列が１６列配列されたＸ線検出器を有するＸ線ＣＴ装置は、回転フレームが１回転することで収集された投影データから、被検体の体軸方向に沿った複数枚（例えば１６枚）のＸ線ＣＴ画像を再構成する。
また、Ｘ線ＣＴ装置は、回転フレームを回転させるとともに、被検体を載せた天板を移動させるヘリカルスキャンにより、例えば、心臓全体を網羅した５００枚のＸ線ＣＴ画像をボリュームデータとして再構成することができる。或いは、例えば、検出素子列が３２０列配列されたＸ線検出器を有するＸ線ＣＴ装置では、回転フレームを１回転させるコンベンショナルスキャンを行なうだけで、心臓全体を網羅したボリュームデータを再構成することができる。また、Ｘ線ＣＴ装置は、ヘリカルスキャンやコンベンショナルスキャンを連続して行なうことで、Ｘ線ＣＴ画像を時系列に沿って撮影可能である。
なお、ＭＲＩ装置は、位相エンコード用傾斜磁場、スライス選択用傾斜磁場及び周波数エンコード用傾斜磁場を変化させることで収集したＭＲ信号から、任意の１断面のＭＲＩ画像や、任意の複数断面のＭＲＩ画像（ボリュームデータ）を再構成することができる。また、超音波診断装置は、超音波の２次元走査を行なう超音波プローブの位置を操作者が調整することで、任意の断面の超音波画像を生成することができる。また、超音波診断装置は、メカニカルスキャンプローブや２Ｄプローブを用いることで、超音波の３次元走査を行なって、３次元の超音波画像（ボリュームデータ）を生成することができる。また、Ｘ線診断装置は、Ｘ線管球とＸ線検出器とを支持するＣアームの位置を固定した状態で撮影を行なうことで、２次元のＸ線画像を生成する。また、Ｘ線診断装置は、Ｃアームを回転させることで、３次元のＸ線画像（ボリュームデータ）を生成することができる。
画像保管装置２００は、医用画像を保管するデータベースである。具体的には、画像保管装置２００は、医用画像診断装置１００から送信された医用画像を自装置の記憶部に格納し、保管する。画像保管装置２００に保管された医用画像は、例えば、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の付帯情報と対応付けて保管される。
医用画像処理装置３０は、例えば、病院内に勤務する医師や検査技師が医用画像の読影に用いるワークステーションやＰＣ（Personal Computer）等である。医用画像処理装置３０の操作者は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等を用いた検索を行なうことで、必要な医用画像を画像保管装置２００から取得することができる。また、第６の実施形態に係る医用画像処理装置３０は、医用画像を読影用に表示する他に、医用画像に対して各種画像処理を行なう装置である。具体的には、第６の実施形態に係る医用画像処理装置３０は、画像診断を支援するための各種画像処理を行なう機能を有する。
なお、上述した画像処理システムは、ＰＡＣＳが導入されている場合にその適用が限られるものではない。例えば、画像処理システムは、医用画像が添付された電子カルテを管理する電子カルテシステムが導入されている場合にも、同様に適用される。この場合、画像保管装置２００は、電子カルテを保管するデータベースである。また、例えば、画像処理システムは、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）が導入されている場合にも、同様に適用される。また、画像処理システムは、上述した構成例に限られるものではない。各装置が有する機能やその分担は、運用の形態に応じて適宜変更されてよい。また、医用画像処理装置３０は、医用画像を、医用画像診断装置１００から直接的に取得する場合や、ＤＶＤ等の記憶媒体により取得する場合であっても良い。
そして、第６の実施形態に係る医用画像処理装置３０は、画像診断支援用の画像処理として、被検体の心臓を含んで撮影された入力画像において、心筋の境界を検出する。例えば、第６の実施形態に係る医用画像処理装置３０は、造影剤注入後の被検体の心臓を含んで撮影された医用画像である入力画像において、心筋の境界を検出する。
ここで、入力画像は、２次元空間又は３次元空間において、心臓の形状及び造影剤による各部位の染影が、輝度値の大小により濃淡で描出された画像データである。また、心筋パフュージョン検査を行なう場合、入力画像は、連続撮影された時系列に沿った複数の造影画像データとなる。なお、以下では、心臓の心腔の中で、心機能解析を行なう上で重要となる左心室周りの心筋の境界を検出する場合について説明する。かかる場合、入力画像は、造影剤を注入後に撮影され、左心室周りの心筋の一部が少なくとも描出されていれば良い。
以下、第６の実施形態に係る医用画像処理装置３０が行なう画像処理について、図１９等を用いて説明する。図１９は、第６の実施形態に係る医用画像処理装置３０の構成例を示す図である。第６の実施形態に係る医用画像処理装置３０は、図１９に示すように、入力部１１と、表示部１２と、通信部１３と、記憶部１４と、制御部１５とを有する。
入力部１１は、マウス、キーボード、トラックボール等であり、医用画像処理装置３０に対する各種操作の入力を操作者から受け付ける。具体的には、第６の実施形態に係る入力部１１は、画像処理の対象となる医用画像を画像保管装置２００から取得するための情報の入力を受け付ける。例えば、入力部１１は、患者ＩＤ、検査ＩＤ、装置ＩＤ、シリーズＩＤ等の入力を受け付ける。また、第６の実施形態に係る入力部１１は、後述する制御部１５により行なわれる各種処理の条件の入力を受け付ける。また、入力部１１は、心臓の３次元のボリュームデータを取得する取得部の役割も行う。
表示部１２は、例えば、モニタであり、各種情報を表示する。具体的には、第６の実施形態に係る表示部１２は、操作者から各種操作を受け付けるためのＧＵＩ（Graphical User Interface）や、医用画像等を表示する。
通信部１３は、ＮＩＣ（Network Interface Card）等であり、他の装置との間で通信を行う。例えば、通信部１３は、入力部１１が受け付けた患者ＩＤ等の情報を画像保管装置２００に送信し、画像保管装置２００から医用画像を受信する。
記憶部１４は、ハードディスク、半導体メモリ素子等であり、各種情報を記憶する。具体的には、第６の実施形態に係る記憶部１４は、後述する制御部１５により行なわれる各種処理に用いられる情報を記憶する。より具体的には、第６の実施形態に係る記憶部１４は、図１９に示すように、画像記憶部１４１と、部位別テンプレート記憶部１４２と、境界パターンモデル記憶部１４３と、境界モデル記憶部１４４とを有する。
画像記憶部１４１は、通信部１３を介して画像保管装置２００から取得した医用画像や、制御部１５の処理結果等を記憶する。具体的には、画像記憶部１４１は、心筋の境界検出対象として画像保管装置２００から取得した入力画像を記憶する。例えば、画像記憶部１４１は、入力画像として、造影剤により染影された心臓の四腔断面像や、三腔断面像、二腔断面像、又は、造影剤により染影された心臓全体のボリュームデータを記憶する。
部位別テンプレート記憶部１４２は、心臓の各部位をパターンマッチングにより検出するためのテンプレートを、部位ごとに対応付けて記憶する。境界パターンモデル記憶部１４３は、心臓を含み、造影剤により染影された画像における心筋及び心筋境界周辺の輝度値のパターンが学習によりモデル化された境界パターンモデルを記憶する。例えば、境界パターンモデル記憶部１４３は、造影剤により染影された心臓を含む医用画像における心筋及び心筋境界周辺の輝度値のパターンが学習によりモデル化された境界パターンモデルを記憶する。境界モデル記憶部１４４は、境界パターンモデルの学習に用いられた画像における心筋の境界形状が学習によりモデル化された境界モデルを記憶する。例えば、境界モデル記憶部１４４は、境界パターンモデルの学習に用いられた医用画像における心筋の境界形状が学習によりモデル化された境界モデルを記憶する。なお、部位別テンプレート、境界パターンモデル及び境界モデルについては、後に詳述する。
制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路であり、医用画像処理装置３０の全体制御を行なう。
例えば、第６の実施形態に係る制御部１５は、表示部１２に対するＧＵＩの表示や医用画像等の表示を制御する。また、例えば、制御部１５は、画像保管装置２００との間で通信部１３を介して行なわれる送受信を制御する。また、例えば、制御部１５は、医用画像等の各種データの記憶部１４への格納や読み込み等を制御する。
また、例えば、制御部１５は、医用画像に対して、各種画像処理を行なう。画像処理の一例として、制御部１５は、ボリュームデータである医用画像を表示部１２に表示するための各種レンダリング処理を行なう。制御部１５は、レンダリング処理として、ボリュームデータの３次元情報を反映した２次元画像を生成するボリュームレンダリング処理や、断面再構成法（ＭＰＲ：Multi Planer Reconstruction）により、ボリュームデータからＭＰＲ画像を再構成する処理を行なう。
例えば、Ｘ線ＣＴ装置が撮影したボリュームデータであり、造影剤により染影された心臓を含むボリュームデータにおいて、心臓の四腔断面像を心筋の境界検出対象とする場合、入力画像は、４つの心腔が描出される断面でボリュームデータを切断した断面像となる。このため、操作者は、入力部１１を介して、例えば、ボリュームデータの直交３断面（アキシャル面、コロナル面、サジタル面）の表示要求を入力する。制御部１５は、ボリュームデータから直交３断面を生成し、表示部１２に表示させる。操作者は、直交３断面を参照して、右心房、右心室、左心房及び左心室の心腔が全て描出される断面を設定する。制御部１５は、設定された断面を用いて四腔断面像（ＭＰＲ画像）を再構成し、再構成した四腔断面像を入力画像として、画像記憶部１４１に格納する。ここで、操作者により設定される断面は、例えば、表示されたコロナル面に平行な断面や、オブリーク断面となる。図２０は、入力画像の一例を示す図である。
図２０に例示する入力画像は、Ｘ線ＣＴ画像により撮影されたボリュームデータにおける心臓の四腔断面像である。図２０に示すように、入力画像には、心筋で囲まれた４つの心腔である右心房、右心室、左心房及び左心室が含まれ、更に、右心房と右心室との境界に位置する三尖弁や、左心房と左心室との間に位置する僧帽弁等が含まれている。
そして、第６の実施形態に係る制御部１５は、図１９に示すように、座標系検出部１５１と、部位領域検出部１５２と、算出部１５３と、補正部１５４と、境界検出部１５５とを有し、これら処理部の機能により、入力画像における心筋の境界を検出する。例えば、第６の実施形態に係る制御部１５は、図２０に示す入力画像である四腔断面像における左心室周囲の心筋の境界を検出する。以下では、境界検出に用いられる境界パターンモデル及び境界モデルについて詳細に説明した後、座標系検出部１５１、部位領域検出部１５２、算出部１５３、補正部１５４及び境界検出部１５５の処理について詳細に説明する。
境界パターンモデル及び境界モデルは、境界検出を行なうために、同一の学習用画像群を用いて事前に作成され、記憶部１４に格納される。具体的には、学習用画像群から境界モデルが作成され、その後、学習用画像群及び境界モデルを用いて境界パターンモデルが作成される。なお、本実施形態では、制御部１５が境界パターンモデル及び境界モデルを作成し、記憶部１４に格納する場合について説明する。但し、本実施形態は、医用画像処理装置３０以外の装置が境界パターンモデル及び境界モデルを作成する場合であっても良い。かかる場合、例えば、制御部１５は、通信部１３を介して境界パターンモデル及び境界モデルを受信し、記憶部１４に格納する。或いは、例えば、制御部１５は、記憶媒体が記憶する境界パターンモデル及び境界モデルを読み込んで、記憶部１４に格納する。図２１は、学習用画像群の一例を示す図である。
例えば、学習用画像群は、図２１に示すように、心臓の造影ＣＴ検査により撮影された複数の被検体それぞれの四腔断面像である。
かかる場合、第６の実施形態に係る境界パターンモデルは、図２１に示す四腔断面像群における左心室周囲の心筋及び心筋境界周辺の輝度値のパターンが学習によりモデル化されたデータとなる。また、第６の実施形態に係る境界モデルは、図２１に示す四腔断面像群における左心室周囲の心筋の境界形状が学習によりモデル化されたデータとなる。図２２は、境界モデルの作成例を示す図であり、図２３は、境界パターンモデルの作成例を示す図である。
例えば、境界モデルでは、心筋境界として、左心室の内膜と外膜との２つの境界が合わせて表現される。ここで、第６の実施形態に係る境界モデルでは、学習用画像が２次元データであることから、各境界が２次元の点群で表される。例えば、モデル作成者は、図２２の上図に示すように、学習用画像群を構成する四腔断面像それぞれで、左心室の内膜上の点と左心室の外膜上の点とをペアとし、かかるペアを心筋に沿って複数設定する。各学習用画像上で設定されたペア数を「Ｎ」とすると、学習用画像それぞれの左心室の内膜形状は、「Ｎ」個のベクトルで表現され、学習用画像それぞれの左心室の外膜形状は、「Ｎ」個のベクトルで表現される。すなわち、学習用画像ごとの「２Ｎ」個のベクトルが、境界形状を学習するための境界ベクトル群となる。
但し、図２１に示すように、学習用画像群を構成する四腔断面像それぞれの大きさや方向は、異なる。このため、各境界ベクトル群で表現される形状は、それぞれ異なる画像座標系により表現されたものとなる。そこで、境界モデルの作成では、各学習用画像で求められる左心室座標系を用いた形状の正規化を行なう。
境界モデルの作成では、制御部１５は、左心室の長軸と、左心室中心と、長軸に直交する短軸とを各学習用画像で求める。例えば、制御部１５は、僧帽弁の位置と左心室の心尖部とを結ぶ線分を長軸とし、かかる線分の中点を左心室中心位置する。そして、制御部１５は、例えば、長軸方向に直交し、右心室に向かう方向を短軸方向とする。これにより、各学習用画像において、図２２の左下図に示すように、中心位置ベクトルと、中心位置を原点とする長軸ベクトル及び短軸ベクトルとで定義される左心室の直交座標系が求められる。そして、制御部１５は、各学習画像で求められた左心室座標系のスケールを、左心室中心位置から左心室の心尖部までの長さを「１」とすることで、正規化直交座標系を求める。そして、制御部１５は、学習画像ごとに、正規化直交座標系により境界ベクトル群の座標系を変換する。これにより、制御部１５は、正規化直交座標系により正規化された学習用境界ベクトル群を求める。
そして、制御部１５は、例えば、学習用境界ベクトル群から、統計的形状学習方法である「Active Shape Model」による形状モデルにより任意の形状を表現するための平均形状及び形状基底ベクトルを求める。制御部１５は、平均形状及び形状基底ベクトルを境界モデルとして境界モデル記憶部１４４に格納する。例えば、境界モデルとしての平均形状は、図２２の右下図において２つの点線で示すように、左心室の内膜形状と外膜形状の平均的な形状を表現するベクトル群となる。
なお、「Active Shape Model」による形状モデルでは、平均形状を「ｘバー」とし、形状基底ベクトルを「Φ」とし、重み付け係数を「ｂ」とすると、任意の形状「ｘ」を、以下の式（２）により生成することができる。
Figure 0005422742
また、境界パターンモデルを作成する場合、制御部１５は、ペアとして設定されている内膜境界点及び外膜境界点を通る線分上における輝度値プロファイルの切り出しを各学習用画像で行なう。制御部１５は、内膜境界点及び外膜境界点のペアが複数設定されていることから、１つの学習用画像から複数の輝度値プロファイルを切り出す。そして、制御部１５は、各学習用画像それぞれから切り出した複数の輝度値プロファイルを用いて、輝度値のパターン学習を行なう。例えば、制御部１５は、図２２の上図に示した学習用画像に設定された２点（内膜境界点及び外膜境界点）のペアを用いて、輝度値プロファイルの切り出しを行なう。
輝度値プロファイルに用いられる線分は、例えば、図２３の左上図に示すように設定される。まず、制御部１５は、内膜境界点及び外膜境界点を結ぶ線分を内側（左心室内腔側）及び外側（左心室外側）に延長した直線を設定する。そして、制御部１５は、設定した直線において、内外膜間の距離と同じ距離分だけ内側に位置する点（内側点）と、内外膜間の距離と同じ距離分だけ外側に位置する点（外側点）とを設定する。そして、制御部１５は、図２３の左上図に示すように、内側点と外側点とを結ぶ線分上の輝度値プロファイルを切り出す。ここで、図２３の左上図に示すように、内側点と内膜境界点との間は、左心室内腔に対応し、内膜境界点及び外膜境界点との間は、心筋に対応し、外膜境界点と外側点との間は、左心室外に対応する。制御部１５は、例えば、内側点から外側点に向かう方向で輝度値プロファイルを切り出す。
ここで、制御部１５は、１つの学習用画像において内側点と外側点とを結ぶ線分を複数設定する。これにより、制御部１５は、図２３の右上図に示す２つの一点鎖線で囲まれる範囲の輝度値を、心筋境界周辺領域における輝度値パターンとして取得する。そして、制御部１５は、各学習用画像における心筋境界周辺領域における輝度値パターンを学習することで、境界パターンモデルを作成する。
例えば、制御部１５は、各学習用画像の左心室座標系を正規化直交座標系に変換することで、学習用画像間で対応するペアを特定する。そして、例えば、制御部１５は、特定したペア間で、輝度値プロファイルの平均値を算出することで、境界パターンモデルを作成する。或いは、制御部１５は、境界パターンモデルとして、輝度値プロファイルの平均値及び標準偏差を算出する。
図２３の下図は、上述した処理により作成される境界パターンモデルの一例を示す。境界パターンモデルは、ペア（Ｐ）ごとに、左心室内腔から心筋を経て左心室外へと向かう方向で画素の輝度値を配列した輝度値列となる。また、制御部１５は、輝度値列において、各輝度値の画素が位置する部位「左心室内腔、心筋、左心室外」を対応付ける。また、例えば、制御部１５は、輝度値列の配列順（ペアの配列順）を「側壁、心尖部、中隔へと向かう順」とする。
これにより、例えば、境界パターンモデルは、図２３の下図に示すように、「Ｐ：１」の輝度値列として、左心室内腔を構成する１０個の画素の輝度値「ａ１〜ａ１０」と、心筋を構成する１０個の画素の輝度値「ａ１１〜ａ２０」と、左心室外を構成する１０個の画素の輝度値「ａ２１〜ａ３０」とを記憶する。なお、図２３の下図に示すように、境界パターンモデルでは、左心室外の部位が心臓外であるのか、右心室内腔であるのかも対応付けても良い。図２３の下図に示す一例では、左心室外を構成する１０個の画素の輝度値「ａ２１〜ａ３０」は、「心臓外」として対応付けられる。
また、内外膜間の距離が一定でないことから、輝度値列長は、ペア（Ｐ）ごとに異なる。例えば、境界パターンモデルは、「Ｐ：２００」の輝度値列として、左心室内腔を構成する１３個の画素の輝度値と、心筋を構成する１３個の画素の輝度値と、左心室外を構成する１３個の画素の輝度値とを記憶する。もしくは、輝度値列長を固定にし、輝度値列を作成するために取得する画素の間隔を内外膜間の距離に応じて異なるようにしても良い。かかる場合、例えば、「Ｐ：１」と「Ｐ：２」とで各輝度値列を構成する画素数は同じであり、「Ｐ：１」の輝度値「ａ１」と「ａ２」とが取得される間隔と、「Ｐ：２」の輝度値「ａ３１」と「ａ３２」とが取得される間隔は異なる。制御部１５は、図２３の下図に例示した境界パターンモデルを、境界パターンモデル記憶部１４３に格納する。制御部１５は、後段の処理において、「Ｐ：１」の輝度値列の１番目の画素が輝度値「ａ１」の左心室領域の画素であり、１５番目の画素が輝度値「ａ１５」の心筋領域の画素であるといった情報を境界パターンモデルから取得することができる。
そして、図１９に示す座標系検出部１５１と、部位領域検出部１５２と、算出部１５３と、補正部１５４と、境界検出部１５５とは、事前に格納された境界パターンモデルと境界モデルとを用いて、入力画像の心筋の境界を検出する。まず、座標系検出部１５１は、入力画像から、当該入力画像における心臓の位置姿勢を示す左心室座標系として、少なくとも心臓の長軸を検出する。第６の実施形態では、座標系検出部１５１は、入力画像から、左心室座標系として、少なくとも左心室の長軸を検出する。また、第６の実施形態では、座標系検出部１５１は、長軸とともに、入力画像における心臓の短軸を左心室座標系として検出する。
以下、座標系検出部１５１が行なう情報検出方法を第１の情報検出方法及び第２の情報検出方法の２つに大別して説明する。第１の情報検出方法を行なう場合、座標系検出部１５１は、入力画像から僧帽弁の位置と心尖部の位置とを検出し、僧帽弁の位置と心尖部の位置とを結ぶ線分の中点を左心室中心位置とする。そして、座標系検出部１５１は、左心室中心位置から心尖部位置までのベクトルを長軸として検出する。具体的には、座標系検出部１５１は、上述した部位別テンプレート記憶部１４２に予め格納されたパターンマッチング用の部位ごとのテンプレートを用いる。
図２４は、部位別テンプレートの一例を示す図である。例えば、部位別テンプレート記憶部１４２は、図２４に示すように、予め学習された心尖部（図中の点線丸を参照）の周辺の輝度パターンを心尖部テンプレートとして記憶する。また、例えば、部位別テンプレート記憶部１４２は、図２４に示すように、予め学習された僧帽弁（図中の点線丸を参照）の周辺の輝度パターンを僧帽弁テンプレートとして記憶する。
座標系検出部１５１は、入力画像と、僧帽弁テンプレートとをパターン照合して、僧帽弁位置を検出する。同様にして、座標系検出部１５１は、入力画像と、心尖部テンプレートとをパターン照合して、心尖部の位置を検出する。図２５は、左心室座標系の一例を示す図である。座標系検出部１５１は、図２５に示すように、左心室の中心位置と、長軸とを左心室座標系として検出する。これにより、座標系検出部１５１は、入力画像の左心室座標系における原点と長軸ベクトルとを検出する。
また、第１の情報検出方法を行なう場合、座標系検出部１５１は、更に、入力画像である四腔断面像における短軸を検出する。具体的には、座標系検出部１５１は、長軸検出と同様に、部位別テンプレートを用いる。例えば、座標系検出部１５１は、部位別テンプレートとして右心室の角点テンプレートを用いる。図２６は、短軸検出に用いられる部位の一例を示す図である。ここで、右心室の角点とは、具体的には、図２６に例示するように、左心室及び右心室が描出された二腔断面像において、右心室外周で最も外側に位置する点のことである。座標系検出部１５１は、入力画像と、角点テンプレートとをパターン照合して、右心室の角点の位置を検出する。座標系検出部１５１は、右心室の角点から長軸に直交する線分を求め、求めた線分を原点まで平行移動させることで、図２５に示すように、短軸を設定する。これにより、座標系検出部１５１は、入力画像の左心室座標系における短軸ベクトルを検出する。
なお、第１の情報検出方法で四腔断面像の短軸を検出する場合、座標系検出部１５１は、右心室の角点の他に、三尖弁の位置を、三尖弁テンプレートを用いて検出しても良い。なお、第１の情報検出方法で三腔断面像の短軸を検出する場合、座標系検出部１５１は、左心室から大動脈へと血液が流れ込む左心室流出路を検出する。また、第１の情報検出方法で二腔断面像の短軸を検出する場合、座標系検出部１５１は、前壁点を検出する。
一方、第２の情報検出方法で長軸を検出する場合、座標系検出部１５１は、予め学習した長軸周辺の輝度パターンである長軸テンプレートと、入力画像とをパターン照合して長軸を検出する。なお、上記の「長軸周辺」とは、長軸から一意に定まる矩形領域を示す。また、第２の情報検出方法で短軸を検出する場合、座標系検出部１５１は、予め学習した短軸周辺の輝度パターンである短軸テンプレートと、入力画像とをパターン照合して短軸を検出する。
なお、第６の実施形態は、上述した方法以外の方法により長軸及び短軸が左心室座標系として検出される場合であっても良い。また、第６の実施形態は、長軸の情報だけが左心室座標系として検出される場合であっても良い。また、左心室座標系を検出する方法は、上述した方法に限定されるものではなく、任意の方法を用いることができる。
そして、部位領域検出部１５２は、左心室座標系を用いて、入力画像における所定の部位領域を検出する。具体的には、部位領域検出部１５２は、所定の部位領域として、心室、心房、左室流出路、弁輪、乳頭筋、心筋及び冠動脈の少なくとも１つを含む領域を検出する。更に、第６の実施形態では、部位領域検出部１５２は、左心室座標系を用いて、複数の部位領域を検出する。第６の実施形態では、部位領域検出部１５２が、左心室座標系を用いて、左心室領域（左心室内腔領域）と、心筋領域と、右心室領域（右心室内腔領域）とを検出する場合について説明する。なお、部位領域には、少なくとも１つの画素が含まれる。図２７〜図３１は、部位領域の検出方法を示す図である。
まず、部位領域検出部１５２は、入力画像において、左心室座標系に含まれる長軸により定まる所定の範囲を部位領域として検出する。左心室領域の検出では、例えば、図２７に示すように、部位領域検出部１５２は、長軸の一部の範囲を左心室領域として検出する。図２７で例示する方法では、部位領域検出部１５２は、長軸上の実線部分を左心室領域として検出する。或いは、部位領域検出部１５２は、長軸を含む所定サイズの矩形を左心室領域として検出する。なお、上記の長軸上の一部の範囲や矩形のサイズは、統計的に求められる値であり、かかる値は、予め部位領域検出部１５２に設定される。
右心室の検出は、長軸を用いる第１検出法と、長軸及び短軸を用いる第２検出法とがある。右心室領域の第１検出法では、部位領域検出部１５２は、例えば、図２８の斜線部分で示す長軸から所定の距離に位置する所定の範囲内の領域を右心室領域として検出する。図２８で例示する方法では、左心室中心と心尖部との線分の中点を始点とし、中点から画像上、左側に向かって所定の距離に終点が位置する「ベクトルＬ１」が設定される。図２８で例示する方法では、「ベクトルＬ１」は、長軸に直交するベクトルである。そして、例えば、部位領域検出部１５２は、「ベクトルＬ１」の終点を基準に、「ベクトルＬ１」に直交する２本の線分が長辺となり、「ベクトルＬ１」に平行な２本の線分が短辺となる所定サイズの矩形を左心室領域として検出する。なお、中点から終点までの距離及び矩形のサイズの値は、統計的に求められる値であり、かかる値は、予め部位領域検出部１５２に設定される。また、入力画像における左右方向は、例えば、ＤＩＣＯＭ規格に則って、医用画像に付帯情報として付与されている医用画像診断装置１００の座標系及び被検体の体位等の情報から取得可能である。
右心室領域の第２検出法は、短軸に関する情報が左心室座標系として検出されている場合に行なわれる。すなわち、第２検出法では、部位領域検出部１５２は、入力画像において、長軸の方向と短軸の方向とにより定まる所定の範囲を部位領域（右心室領域）として検出する。例えば、右心室領域の第２検出法では、部位領域検出部１５２は、図２９において実線で示すように、短軸ベクトルに平行であり、左心室中心と心尖部との線分の中点を始点とする「ベクトルＬ２」上の線分を右心室領域として検出する。或いは、部位領域検出部１５２は、「ベクトルＬ２」を含む所定サイズの矩形を右心室領域として検出する。なお、「ベクトルＬ２」の始点位置や、「ベクトルＬ２」上の線分の位置及び長さや、矩形のサイズは、統計的に求められる値であり、かかる値は、予め部位領域検出部１５２に設定される。
心筋領域の検出は、長軸を用いる第１検出法と、上述した境界モデルを用いる第２検出法とがある。心筋領域の第１検出法では、部位領域検出部１５２は、例えば、図３０において斜線の矩形で示すように、長軸から所定の距離に位置する所定サイズの領域を心筋領域して検出する。図３０で例示する方法では、左心室中心から長軸上で所定の距離に位置する点を始点とし、始点から画像上、右側に向かって所定の距離に終点が位置する「ベクトルＬ３」が設定される。図３０で例示する方法では、「ベクトルＬ３」は、長軸に直交するベクトルである。そして、例えば、部位領域検出部１５２は、「ベクトルＬ３」の終点を基準に、「ベクトルＬ３」に直交する２本の線分が長辺となり、「ベクトルＬ３」に平行な２本の線分が短辺となる所定サイズの矩形を心筋領域として検出する。なお、始点及び終点の位置及び矩形のサイズは、統計的に求められる値であり、かかる値は、予め部位領域検出部１５２に設定される。また、入力画像における左右方向は、上述したように、医用画像の付帯情報から取得可能である。
また、心筋領域の第２検出法では、部位領域検出部１５２は、図３１で２本の点線で示す境界モデル（平均形状）を、入力画像の左心室座標系に変換する。そして、部位領域検出部１５２は、変換後の境界モデルを左心室座標系（左心室の中心位置及び心尖部の位置）に基づいて、入力画像に当てはめる。境界モデルは、例えば、長軸を中心とした椀状であり、入力画像の長軸の情報と、変換後の境界モデルの長軸の情報とを用いることで、一意に当てはめることができる。そして、部位領域検出部１５２は、当てはめた境界モデルの中心線（図３１に示す実線の曲線を参照）を求め、当該中心線の一部を心筋領域として検出する。なお、上記の処理により決定される心筋領域はおおまかな領域であり、第６の実施形態は、中心線以外にも、当てはめた境界モデル内の矩形等が心筋領域として検出される場合であっても良い。また、心筋領域の第２検出法を行なう場合、部位領域検出部１５２は、後段の境界検出部１５５が繰り返して実行する境界モデルの当てはめ処理における途中段階の処理結果から、心筋領域を検出する場合であっても良い。
また、例えば、複数の境界モデルが格納されている場合、部位領域検出部１５２は、複数の境界モデルの中から、入力画像の左心室座標系と最も一致する境界モデルを選択し、選択した境界モデルを用いて、心筋領域を検出しても良い。
なお、心筋領域の第３検出法として、部位領域検出部１５２は、短軸の情報を用いる場合であっても良い。例えば、部位領域検出部１５２は、短軸ベクトルに平行な直線上で、統計的に心筋とされる所定の範囲が心筋領域として検出する場合であっても良い。
また、部位領域を検出する方法は、上述した方法に限定されるものではなく、左心室座標系を用いて部位領域を特定できる方法であれば、任意の方法を用いることができる。
そして、算出部１５３は、左心室座標系に基づいて、所定の部位領域の造影剤濃度を示す染影度を算出する。第６の実施形態では、算出部１５３は、部位領域検出部１５２により検出された部位領域を用いて染影度算出処理を行なう。なお、第６の実施形態は、例えば、長軸から左心室領域が一意に特定されることから、部位領域検出部１５２の処理を行なわず、算出部１５３の処理が行なわれる場合であっても良い。
入力画像中において造影剤の濃度は輝度値と相関があり、例えば、造影剤の濃度が大きいほど輝度値は大きくなるので、染影度は、入力画像中の輝度値から算出可能である。
従って、算出部１５３は、部位領域を構成する複数の画素の輝度値列における統計的な代表値を、当該部位領域の染影度として算出する。例えば、算出部１５３は、部位領域を構成する全画素の輝度値を輝度値列として設定する。或いは、例えば、算出部１５３は、部位領域を構成する全画素の中から、所定数の画素をランダムに選択し、選択した複数画素の輝度値を輝度値列として設定する。そして、算出部１５３は、例えば、輝度値列の中央値を染影度とする。
なお、統計的な代表値は、中央値に限定されるものではなく、例えば、輝度値列の最頻値、最大値、最小値、平均値、又は、標準偏差等の値であっても良い。また、染影度とする代表値は、画像中のノイズの影響を除去するために、輝度値列を輝度値の順にソートし、ソートした輝度値列における上位Ｎ番目の値として算出される場合であっても良い。また、染影度とする代表値は、例えば、平均値及び標準偏差といったように、複数の代表値の組み合わせであっても良い。
そして、補正部１５４は、部位領域の染影度を用いて、入力画像の輝度値と境界パターンモデルの輝度値とが当該部位領域において近接する補正を行なう。具体的には、第６の実施形態に係る補正部１５４は、染影度を用いた補正処理を境界パターンモデルに対して行なって、補正境界パターンモデルを生成する。より具体的には、第６の実施形態に係る補正部１５４は、部位領域の染影度に基づいて、当該部位領域の境界パターンモデルの輝度値を、当該部位領域の入力画像の輝度値に近接させる補正を行なって、補正境界パターンモデルを生成する。
境界パターンモデルの補正方法は、補正対象の部位領域ごとに異なる。以下、左心室領域、右心室領域、心筋領域の順に、境界パターンモデルの補正方法について説明する。図３２は、第６の実施形態に係る補正処理を説明するための図である。以下では、境界パターンモデルの「ｉ」番目の画素の輝度値が「ａｉ」であり、補正部１５４が「ａｉ」を補正した値を「ｐｉ」として説明する。
まず、境界パターンモデルの「ｉ」番目の画素が左心室内腔の画素である場合、補正部１５４は、例えば、以下の式（３）により、「ｐｉ」を算出する。
Figure 0005422742
ここで、式（３）において、「ｄｌ」は、左心室領域の染影度である。また、「ａｌ」は、境界パターンモデル内で、「ａｉ」と同じ輝度値列において左心室内腔として対応付けられている全画素の輝度値の代表値（例えば、平均値）である。また、「ａｎ」は、図３２の（Ａ）に示すように、「ａｉ」と同じペアの輝度値列において、心筋の中でも内膜境界点として対応付けられている画素の輝度値である。なお、補正部１５４は、「ａｉ」と同じペアの輝度値列において、心筋として対応付けられている画素の中で、先頭の画素を内膜境界点として、「ａｎ」を取得することができる。
例えば、図３２の（Ａ）に示すように、「ａｉ」が「ｄｌ」より大きい場合、補正部１５４は、式（３）による演算処理を行なうことで、「ａｎ」を基準として、「ａｉ」が「ｄｌ」に近接した値となるように、「ａｉ」の値を小さくした値「ｐｉ」を算出する。
また、境界パターンモデルの「ｉ」番目の画素が左心室外であり右心室内腔の画素である場合、補正部１５４は、例えば、以下の式（４）により、「ｐｉ」を算出する。
Figure 0005422742
ここで、式（４）において、「ｄｒ」は、右心室領域の染影度である。また、「ａｒ」は、境界パターンモデル内で、「ａｉ」と同じ輝度値列において右心室内腔として対応付けられている全画素の輝度値の代表値（例えば、平均値）である。また、「ａｐ」は、図３２の（Ｂ）に示すように、「ａｉ」と同じペアの輝度値列において、心筋の中でも外膜境界点として対応付けられている画素の輝度値である。なお、補正部１５４は、「ａｉ」と同じペアの輝度値列において、心筋として対応付けられている画素の中で、最後尾の画素を外膜境界点として、「ａｐ」を取得することができる。
例えば、図３２の（Ｂ）に示すように、「ａｉ」が「ｄｒ」より大きい場合、補正部１５４は、式（４）による演算処理を行なうことで、「ａｐ」を基準として、「ａｉ」が「ｄｒ」に近接した値となるように、「ａｉ」の値を小さくした値「ｐｉ」を算出する。なお、境界パターンモデルにて左心室外の部位が心臓外であるのか、右心室内腔であるのかが対応づけられていない場合、補正部１５４は、「ａｉ」の輝度値と閾値とを比較することで、「ｉ」番目の画素が心臓外の画素であるのか、右心室内腔の画素であるのかを判別する。ここで、閾値は、統計的に求められる値である。
また、境界パターンモデルの「ｉ」番目の画素が心筋の画素である場合、補正部１５４は、例えば、以下の式（５）により、「ｐｉ」を算出する。
Figure 0005422742
ここで、式（５）において、「ｄｍ」は、心筋領域の染影度である。また、「ａｍ」は、境界パターンモデル内で、「ａｉ」と同じ輝度値列において心筋として対応付けられている全画素の輝度値の代表値（例えば、平均値）である。
例えば、図３２の（Ｃ）に示すように、「ａｉ」が「ｄｍ」より小さい場合、補正部１５４は、式（５）による演算処理を行なうことで、「ａｉ」が「ｄｍ」に近接した値となるように、「ａｉ」の値を大きくした値「ｐｉ」を算出する。
上記の式（３）〜（４）による演算処理により、補正部１５４は、補正境界パターンモデルを生成する。図３５は、境界パターンモデルの補正例を示す図である。図３５に例示する輝度値プロファイルは、左心室内腔の画素から右心室内腔の画素に向かう輝度値プロファイルであり、左心室周囲の心筋である中隔の周辺の輝度値をプロットしたものである。図３５に示す一例では、補正前の境界パターンモデルの輝度値プロファイルと、補正後の境界パターンモデルの輝度値プロファイルとで、輝度値の値が左心室、心筋及び右心室それぞれで、大きくなっていることを示している。これは、入力画像の染影度が、学習用画像群の染影度と比較して、高かったことを示すものである。
なお、上述した境界パターンモデルの補正方法では、境界パターンモデルの輝度値を染影度によりラウンディング処理する場合であっても良い。また、境界パターンモデルを補正する方法は、上記の式（３）〜式（５）による演算処理に限定されるものではない。染影度を用いた補正処理を、加算処理、減算処理、乗算処理、除算処理、又はラウンディング処理の組み合わせにより行なうことで、境界パターンモデルの輝度値が入力画像の輝度値に近接するように補正を行なうことが可能であるならば、補正部１５４は、任意の演算処理を行なっても良い。
そして、境界検出部１５５は、補正部１５４による補正後のデータを用いて、入力画像における心筋の境界を検出する。すなわち、第６の実施形態に係る境界検出部１５５は、補正境界パターンモデルを用いて、入力画像における心筋の境界を検出する。具体的には、第６の実施形態に係る境界検出部１５５は、補正境界パターンモデル及び境界モデルを用いて、入力画像における心筋の境界を検出する。より具体的には、第６の実施形態に係る境界検出部１５５は、補正境界パターンモデル及び境界モデルを用いて、入力画像における左心室周辺の心筋の境界を検出する。
例えば、境界検出部１５５は、境界モデルを様々に変化させながら入力画像に当てはめた際の境界周辺の輝度パターンと、補正境界パターンモデルとのマッチングを行なう。そして、境界検出部１５５は、境界モデルを変化させた境界形状の中で、補正境界パターンモデルと最もマッチングした輝度パターンが得られた境界形状を探索することで、入力画像における左心室周辺の心筋の境界を検出する。
まず、境界検出部１５５は、式（２）で説明した「ｂ」を初期的に「０」とし、初期エネルギーの値を無限大とする（処理１）。そして、境界検出部１５５は、現在の「ｂ」により形状「ｘ」を生成する（処理２）。そして、境界検出部１５５は、生成した形状「ｘ」の座標系を、座標系検出部１５１の処理により求められた入力画像の左心室座標系に変換する（処理３）。
そして、境界検出部１５５は、座標変換後の形状「ｘ」を、入力画像の左心室座標系を用いて入力画像に当てはめて、境界周辺の輝度パターンを切り出す（処理４）。そして、境界検出部１５５は、切り出した輝度パターンと補正境界パターンモデルとの誤差（例えば、正規化二乗誤差）を算出して、現在のエネルギーを計算する（処理５）。そして、境界検出部１５５は、現在のエネルギーと前回のエネルギーとの大小関係を判定する（処理６）。境界検出部１５５は、処理６の結果、現在のエネルギーが前回のエネルギーより大きければ、処理を終了する。
一方、現在のエネルギーが前回のエネルギーより小さければ、境界検出部１５５は、現在の「ｂ」の値を更新する（処理７）。１回目では、現在のエネルギーが初期エネルギーより小さくなるので、処理７が行なわれる。境界検出部１５５は、処理２から処理７までの処理を繰り返し行なう。そして、境界検出部１５５は、処理６にて、現在のエネルギーが前回のエネルギーより大きいと判定した場合、前回のエネルギーを与えた「ｂ」をエネルギーが最小となる「ｂ」として求める。
そして、境界検出部１５５は、エネルギーが最小となる「ｂ」を用いて処理３で生成した座標変換後の形状「ｘ」を、入力画像の左心室周辺の心筋の境界として検出する。図３４は、第６の実施形態に係る境界検出部による検出例を示す図である。
例えば、第６の実施形態に係る境界検出部１５５は、図３４に示すように、入力画像である四腔断面像の左心室の心筋境界を検出し、表示部１２に表示させる。
例えば、制御部１５は、時系列に沿った複数の入力画像それぞれで、上述した処理を行なう。そして、例えば、制御部１５は、心筋パフュージョン検査において、各入力画像で検出された左心室周辺の心筋の境界を用いて、心筋の造影剤濃度（染影度）の経時的変化を求め、心筋の血流動態を解析可能なパフュージョン画像を生成する。制御部１５は、心筋境界の検出結果及びパフュージョン画像を画像記憶部１４１に格納し、パフュージョン画像を表示部１２に表示させる。或いは、制御部１５は、各入力画像で検出された左心室周辺の心筋の境界を用いて、例えば、左心室の駆出率（ＥＦ：Ejection Fraction）等、心壁運動の指標値を算出しても良い。
次に、図３５を用いて、第６の実施形態に係る医用画像処理装置３０の処理について説明する。図３５は、第６の実施形態に係る医用画像処理装置３０の処理例を示すフローチャートである。
図３５に示すように、第６の実施形態に係る医用画像処理装置３０は、入力画像に対する心筋境界の検出要求を受け付けたか否かを判定する（ステップＳ１０１）。ここで、心筋境界の検出要求を受け付けない場合（ステップＳ１０１否定）、医用画像処理装置３０は、検出要求を受け付けるまで待機する。
一方、検出要求を受け付けた場合（ステップＳ１０１肯定）、座標系検出部１５１は、入力画像における心臓の左心室座標系を検出し（ステップＳ１０２）、部位領域検出部１５２は、左心室座標系から部位領域を検出する（ステップＳ１０３）。例えば、座標系検出部１５１は、入力画像における左心室の長軸及び短軸を検出し、部位領域検出部１５２は、入力画像の左心室領域、右心室領域及び心筋領域を検出する。
そして、算出部１５３は、部位領域の染影度を算出し（ステップＳ１０４）、補正部１５４は、染影度を用いて境界パターンモデルを補正し、補正境界パターンモデルを生成する（ステップＳ１０５）。そして、境界検出部１５５は、入力画像、補正境界パターンモデル及び境界モデルから、入力画像の心筋境界を検出し（ステップＳ１０６）、処理を終了する。
上述してきたように、第６の実施形態では、染影度に応じて境界パターンモデルを補正し、補正後の境界パターンモデルを用いて入力画像における心筋の境界検出を行なう。従来では、入力画像の心臓の左心室座標系を用いて、当該入力画像の心筋境界周辺の輝度パターンと境界パターンモデルとのマッチングを行なっていた。しかし、入力画像における心臓の各部位の染影度は、造影剤注入後からの経過時間や、各個人の脈拍等により異なり、境界パターンモデルは、かかる染影度のバリエーションを網羅したモデルデータではない。このため、従来の方法では、入力画像の心筋境界輝度パターンと境界パターンモデルとのマッチング精度が低下し、境界検出精度が低下する場合があった。
一方、第６の実施形態では、境界検出を行なう入力画像の各部位領域の染影度に応じて、当該部位領域における境界パターンモデルが、当該部位領域における入力画像の輝度値に近づくように補正を行なう。そして、第６の実施形態では、入力画像の心筋境界周辺の輝度パターンとのマッチングを、補正境界パターンモデルに対して行なう。これにより、第６の実施形態では、入力画像の造影剤の染影度のバリエーションの影響を軽減して、マッチング精度を向上させることができる。その結果、第６の実施形態では、心筋の境界検出精度を向上することができる。
なお、上記では、複数の部位領域それぞれの染影度により補正境界パターンモデルを生成する場合について説明したが、第６の実施形態は、１つの部位領域の染影度により補正境界パターンモデルを生成する場合であっても適用可能である。
例えば、第６の実施形態は、算出部１５３が長軸から特定される入力画像の左心室領域の染影度を算出し、補正部１５４が、左心室領域の染影度を用いて補正境界パターンモデルを生成する場合であっても良い。かかる場合の補正境界パターンモデルは、左心室領域の染影度に基づいて、左心室内腔の画素の輝度値が補正されたデータであっても、左心室内腔、心筋及び左心室外の輝度値全てが補正されたデータであっても良い。また、第６の実施形態は、境界検出部１５５の検出結果を用いて、再度、部位領域検出部１５２、算出部１５３及び補正部１５４の処理を行ない、再生成された補正境界パターンモデルを用いて、境界検出部１５５による境界の再検出が行なわれる場合であっても良い。部位領域検出部１５２、算出部１５３、補正部１５４及び境界検出部１５５の処理が繰り返される場合の繰り返し回数は、例えば、「３回」等の数値が、操作者により手動設定される。もしくは、部位領域検出部１５２、算出部１５３、補正部１５４及び境界検出部１５５の処理は、境界検出部１５５にて計算されるエネルギーが最小となるまで繰り返されても良い。
また、上記では、境界パターンモデル及び境界モデルが、四腔断面像における左心室周囲の心筋の境界検出を行なうために、四腔断面像群から作成される場合について説明した。しかし、第６の実施形態は、境界パターンモデル及び境界モデルが、二腔断面像や三腔断面像における左心室周囲の心筋の境界検出を行なうために、二腔断面像群や三腔断面像群から作成される場合であっても良い。また、境界パターンモデル及び境界モデルは、左心室だけでなく、４つの心腔それぞれで作成される場合であっても良い。かかる場合、制御部１５は、入力画像において、右心房の心筋の境界や、右心室の心筋の境界、左心房の心筋の境界も検出することができる。
また、境界パターンモデル及び境界モデルは、ボリュームデータ群を学習用画像群として用いることで、３次元の情報として作成される場合であっても良い。かかる場合、境界検出の対象となる入力画像は、ボリュームデータを用いることができる。また、境界検出の対象となる入力画像が断面像である場合、制御部１５は、３次元境界パターンモデル及び３次元境界モデルから、対応する断面の情報を抽出することで、境界検出を行なうことができる。
また、第６の実施形態は、学習用画像群の心位相それぞれが異なる場合であっても、例えば、拡張期に統一されている場合であっても良い。また、第６の実施形態は、学習用画像群の心位相を揃えることで、心位相ごとの境界パターンモデル及び境界モデルが作成される場合であっても良い。更に、第６の実施形態は、被検体の年齢、性別、身長及び体重等の身体的特徴ごとにグループ化して、境界パターンモデル及び境界モデルが作成される場合であっても良い。
また、第６の実施形態は、境界パターンモデル及び境界モデルを医用画像の種別ごとに作成しておくことで、Ｘ線画像やＭＲＩ画像、超音波画像を入力画像として用いることができる。
第７の実施形態
第７の実施形態の医用画像処理装置４０について図３６〜図３７を用いて説明する。
第７の実施形態では、第６の実施形態で説明した補正処理とは異なる補正処理が行なわれる場合について、図３６、図３７を用いて説明する。図３６は、第７の実施形態に係る医用画像処理装置４０の構成例を示す図である。
図３６に例示するように、第７の実施形態に係る画像処理システムは、図１８を用いて説明した第６の実施形態に係る画像処理システムと同様に、医用画像診断装置１００と、画像保管装置２００とを有する。そして、図３６に例示するように、第７の実施形態に係る画像処理システムは、第６の実施形態に係る医用画像処理装置３０の代わりに、第７の実施形態に係る医用画像処理装置４０を有する。
第７の実施形態に係る医用画像処理装置４０は、図３６に示すように、入力部２１と、表示部２２と、通信部２３と、記憶部２４と、制御部２５とを有する。また、記憶部２４は、図３６に示すように、画像記憶部２４１と、部位別テンプレート記憶部２４２と、境界パターンモデル記憶部２４３と、境界モデル記憶部２４４とを有する。また、制御部２５は、図３６に示すように、座標系検出部２５１と、部位領域検出部２５２と、算出部２５３と、補正部２５４と、境界検出部２５５とを有し、これら処理部の機能により、入力画像における心筋の境界を検出する。
なお、図３６に示す入力部２１と、表示部２２と、通信部２３とは、図１９を用いて説明した入力部１１と、表示部１２と、通信部１３と同様の機能を有する。また、図３６に示す記憶部２４が有する画像記憶部２４１と、部位別テンプレート記憶部２４２と、境界パターンモデル記憶部２４３と、境界モデル記憶部２４４とは、図１９に示す画像記憶部１４１と、部位別テンプレート記憶部１４２と、境界パターンモデル記憶部１４３と、境界モデル記憶部１４４と同様のデータを記憶する。
また、図３６に示す制御部２５が有する座標系検出部２５１と、部位領域検出部２５２と、算出部２５３とは、図１９に示す座標系検出部１５１と、部位領域検出部１５２と、算出部１５３と同様の処理を行なう。また、入力部２１は、心臓の３次元のボリュームデータを取得する取得部の役割も行う。
しかし、第７の実施形態において、補正部２５４は、補正部１５４とは異なり、以下の補正処理を行なう。補正部２５４は、染影度を用いた補正処理を入力画像に対して行なって、補正入力画像を生成する。具体的には、第６の実施形態に係る補正部２５４は、部位領域の染影度に基づいて、当該部位領域の入力画像の輝度値を、当該部位領域の境界パターンモデルの輝度値に近接させる補正を行なって、補正入力画像を生成する。
以下、第７の実施形態で、補正部２５４が行なう補正処理の一例について説明する。以下では、入力画像の「ｉ」番目の画素の輝度値が「Ｉｉ」であり、補正部２５４が「Ｉｉ」」を補正した補正後の値を「Ｉ’ｉ」として説明する。
まず、補正部２５４は、境界パターンモデルの画素の中で、入力画像の「ｉ」番目の画素が位置する部位に対応する部位の画素の輝度値の平均値である「ａ’」を算出する。そして、補正部２５４は、入力画像の「ｉ」番目の画素が位置する部位の染影度「ｄ’」を、算出部２５３の処理結果から取得する。
ここで、補正部２５４は、例えば、算出部２５３が算出した部位領域の染影度において、「Ｉｉ」に最も近い染影度が算出された部位領域を、入力画像の「ｉ」番目の画素が位置する部位であると特定する。
そして、補正部２５４は、以下の式（６）により「Ｉ’ｉ」を算出する。
Figure 0005422742
或いは、補正部２５４は、以下の式（７）により「Ｉ’ｉ」を算出する。
Figure 0005422742
かかる処理を、入力画像の全画素において行なうことで、補正部２５４は、補正入力画像を生成する。
なお、上述した入力画像の補正方法では、入力画像の輝度値を染影度によりラウンディング処理する場合であっても良い。また、入力画像を補正する方法は、上記の式（６）や式（７）による演算処理に限定されるものではない。染影度を用いた補正処理を、加算処理、減算処理、乗算処理、除算処理、又はラウンディング処理の組み合わせにより行なうことで、入力画像の輝度値が境界パターンモデルの値に近接するように補正を行なうことが可能であるならば、補正部２５４は、任意の演算処理を行なっても良い。
そして、第７の実施形態において、境界検出部２５５は、境界検出部１５５と異なり、境界パターンモデルを用いて、補正入力画像における心筋の境界を検出する。具体的には、境界検出部２５５は、境界パターンモデル及び境界モデルを用いて、補正入力画像における心筋の境界を検出する。
例えば、境界検出部２５５は、境界モデルを様々に変化させながら補正入力画像に当てはめた際の境界周辺の輝度パターンと、境界パターンモデルとのマッチングを行なう。そして、境界検出部２５５は、境界モデルを変化させた境界形状の中で、境界パターンモデルと最もマッチングした輝度パターンが得られた境界形状を探索することで、補正入力画像、すなわち、入力画像における左心室周辺の心筋の境界を検出する。
なお、境界検出部２５５が行なう補正処理の詳細は、第６の実施形態で説明した境界検出部１５５が行なう処理１〜処理７において、入力画像の代わりに補正入力画像を用い、補正境界パターンモデルの代わりに境界パターンモデルを用いる以外は、同様であるので説明を省略する。
次に、図３７を用いて、第７の実施形態に係る医用画像処理装置４０の処理について説明する。図３７は、第７の実施形態に係る医用画像処理装置４０の処理例を示すフローチャートである。
図３７に示すように、第７の実施形態に係る医用画像処理装置４０は、入力画像に対する心筋境界の検出要求を受け付けたか否かを判定する（ステップＳ２０１）。ここで、心筋境界の検出要求を受け付けない場合（ステップＳ２０１否定）、医用画像処理装置４０は、検出要求を受け付けるまで待機する。
一方、検出要求を受け付けた場合（ステップＳ２０１肯定）、座標系検出部２５１は、入力画像における心臓の左心室座標系を検出し（ステップＳ２０２）、部位領域検出部２５２は、左心室座標系から部位領域を検出する（ステップＳ２０３）。
そして、算出部２５３は、部位領域の染影度を算出し（ステップＳ２０４）、補正部２５４は、染影度を用いて入力画像を補正し、補正入力画像を生成する（ステップＳ２０５）。そして、境界検出部２５５は、補正入力画像、境界パターンモデル及び境界モデルから、入力画像の心筋境界を検出し（ステップＳ２０６）、処理を終了する。
上述してきたように、第７の実施形態では、染影度に応じて入力画像を補正し、補正後の入力画像を境界パターンモデルのマッチング対象とすることで、入力画像における心筋の境界検出を行なう。これにより、第７の実施形態でも、入力画像の造影剤の染影度のバリエーションの影響を軽減して、マッチング精度を向上させることができる。その結果、第７の実施形態では、心筋の境界検出精度を向上することができる。
なお、補正部２５４は、例えば、第６の実施形態に係る部位領域検出部１５２の処理で説明した統計的な値を用いて、長軸や短軸の情報から入力画像の「ｉ」番目の画素が位置する部位を特定する場合であっても良い。かかる場合、補正部２５４は、心腔や心壁を所定の範囲で特定することとなるので、入力画像の一部を補正した補正入力画像を生成することとなる。このため、第７の実施形態では、補正部２５４が、境界検出部２５５の検出結果を用いて、例えば、所定の範囲を拡大して、再度、補正入力画像を生成し、境界検出部２５５が再度、境界検出を行なう場合であっても良い。かかる場合、心筋の境界検出精度を向上するため、第７の実施形態では、補正部２５４による部位の再特定及び補正入力画像の再生成と、境界検出部２５５の境界再検出とを所定の回数繰り返して行なうことが望ましい。
また、第７の実施形態は、上述した染影度を用いた部位特定を行なう場合であっても、部位特定を一部の画素において行なって、入力画像の一部を補正した補正入力画像を生成しても良い。かかる場合も、補正部２５４による部位の再特定及び補正入力画像の再生成と、境界検出部２５５の境界再検出とを繰り返して行なうことで、心筋の境界検出精度を向上することができる。
また、第７の実施形態は、「補正対象が入力画像であり、境界検出が補正入力画像及び境界パターンモデルを用いて行なわれる」点以外、第６の実施形態で説明した内容を適用することが可能である。
以上のように、第６の実施形態及び第７の実施形態では、所定の部位領域の値が、境界パターンモデルと入力画像とで近接するように補正を行ない、補正後のデータを用いて心筋の境界検出を行なう。
ところで、上述した第６の実施形態及び第７の実施形態では、境界パターンモデル及び境界モデルを用いて、心筋の境界検出が行なわれる場合について説明した。しかし、第６の実施形態及び第７の実施形態は、境界モデルを用いずに、心筋の境界検出を行なう場合であっても良い。
ここで、境界パターンモデルは、上述したように、心臓の部位の情報が対応付けられた画素の輝度値列が複数配列された情報である。また、境界パターンモデルにおいて、輝度値列内での画素の配列順と、輝度値列の配列順とには、心臓の空間的な情報が含まれている。よって、第６の実施形態において、境界検出部１５５は、左心室座標系及び補正境界パターンモデルにおける心臓の空間的な情報により限定される条件下で、例えば、補正境界パターンモデルにおける画素間の距離を変動させながら補正境界パターンモデルと入力画像とを総当りでマッチングすることで、心筋の境界を検出することができる。
また、第７の実施形態において、境界検出部２５５は、左心室座標系及び境界パターンモデルにおける心臓の空間的な情報により限定される条件下で、例えば、補正境界パターンモデルにおける画素間の距離を変動させながら境界パターンモデルと補正入力画像とを総当りでマッチングすることで、心筋の境界を検出することができる。
また、上述した第６の実施形態及び第７の実施形態で説明した画像処理方法は、医用画像診断装置１００において実行される場合であっても良い。
また、第６の実施形態の医用画像処理装置３０や、第７の実施形態の医用画像処理装置４０で実行される画像処理プログラムは、ＲＯＭ等に予め組み込まれて提供される。
第６の実施形態の医用画像処理装置３０や、第７の実施形態の医用画像処理装置４０で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
更に、第６の実施形態の医用画像処理装置３０や、第７の実施形態の医用画像処理装置４０で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、第６の実施形態の医用画像処理装置３０や、第７の実施形態の医用画像処理装置４０で実行される画像処理プログラムを、インターネット等のネットワーク経由で提供または配布するように構成しても良い。
第６の実施形態の医用画像処理装置３０や、第７の実施形態の医用画像処理装置４０で実行される画像処理プログラムは、上述した各部（座標系検出部、部位領域検出部、算出部、補正部、境界検出部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭから画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、座標系検出部、部位領域検出部、算出部、補正部、境界検出部が主記憶装置上に生成されるようになっている。
以上、説明したとおり、第６の実施形態及び第７の実施形態によれば、心筋の境界検出精度を向上することができる。
変更例
なお、上記各実施形態の医用画像処理装置１０，２０，３０，４０は、例えば、汎用のコンピュータを基本ハードウェアとして用いることでも実現することが可能である。すなわち、取得部、座標系検出部、部位領域検出部、算出部、補正部、境界検出部及び表示部は、上記のコンピュータに搭載されたプロセッサにプログラムを実行させることにより実現できる。このとき、医用画像処理装置１０，２０，３０，４０は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。また、取得部、座標系検出部及び境界検出部は、上記のコンピュータに内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現できる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１０，２０，３０，４０・・・医用画像処理装置、１０１・・・取得部、１０２・・・座標系検出部、１０３・・・境界検出部、１０４・・・表示部、１１０・・・記憶部

Claims (29)

  1. 心臓のボリュームデータを取得する取得部と、
    前記心臓の左心室長軸を少なくとも含む３つの軸からなる３次元の左心室座標系を、前記ボリュームデータから検出する座標系検出部と、
    前記左心室座標系で表現された境界モデルを用いて、前記境界モデルを前記ボリュームデータに当てはめて求めた境界パターンと、予め定めた境界パターンモデルとの誤差が小さくなるように、前記境界モデルを変形させて、前記ボリュームデータから左心室境界を検出する境界検出部と、
    前記左心室座標系の前記３つの軸の少なくとも一つの軸に直交する断面像と共に、前記断面像上に検出した前記左心室境界を表示する表示部と、
    を有する医用画像処理装置。
  2. 前記座標系検出部は、前記左心室長軸に加えて、前記心臓の四腔断面像、三腔断面像、又は、二腔断面像を設定するいずれか一つの軸を前記左心室座標系の軸として前記ボリュームデータから検出する、
    請求項１に記載の医用画像処理装置。
  3. 前記座標系検出部は、前記３つの軸の方向が互いに直交し、かつ、前記心臓の左心室中心の位置を原点とする前記左心室座標系を前記ボリュームデータから検出する、
    請求項１に記載の医用画像処理装置。
  4. 前記座標系検出部は、
    前記ボリュームデータと、予め作成した左心室断面像パターンを照合して、前記左心室座標系を検出する、
    請求項１に記載の医用画像処理装置。
  5. 前記座標系検出部は、
    前記ボリュームデータと、予め学習した心尖位置周辺の画像パターン及び僧帽弁位置周辺の画像パターンを照合して、前記心臓の心尖位置と僧帽弁位置をそれぞれ求め、前記心尖位置と前記僧帽弁位置から前記左心室長軸を検出する、
    請求項１に記載の医用画像処理装置。
  6. 前記座標系検出部は、前記左心室長軸を検出した後に、前記心臓の右心室角点の位置、三尖弁の位置、左室流出路の位置のいずれか一つの位置を用いて、前記左心室座標系を検出する、
    請求項５に記載の医用画像処理装置。
  7. 前記座標系検出部は、前記左心室座標系が検出できない場合、前記表示部にユーザに対して検出できない旨を通知する、
    請求項１に記載の医用画像処理装置。
  8. 前記座標系検出部は、前記左心室座標系が検出できない場合、
    前記表示部は、前記ボリュームデータの座標系に基づいて前記ボリュームデータを表示する、
    請求項１に記載の医用画像処理装置。
  9. 予め定めた境界パターンモデルと、検出された前記左心室境界に関する境界パターンとの誤差を評価する評価部を有し、
    前記表示部は前記評価部で評価した前記誤差の評価結果を表示する、
    請求項１に記載の医用画像処理装置。
  10. 前記評価部は、前記誤差が閾値より低いか否かを評価する、
    請求項９に記載の医用画像処理装置。
  11. 前記評価部において前記誤差が前記閾値より低い場合は、前記表示部が、前記断面像と共に、前記断面像上に前記左心室境界を表示する、
    請求項１０に記載の医用画像処理装置。
  12. 前記評価部において前記誤差が前記閾値より高い場合は、前記表示部は、前記左心室境界を検出できない旨を表示する、
    請求項１０に記載の医用画像処理装置。
  13. 前記評価部において前記誤差が前記閾値より高い場合は、前記表示部は、前記左心室境界を表示せずに前記ボリュームデータを表示する、
    請求項１０に記載の医用画像処理装置。
  14. 前記評価部において前記誤差が前記閾値より高い場合は、前記座標系検出部が、予め定めた異なる条件で左心室座標系を再度検出する、
    請求項１０に記載の医用画像処理装置。
  15. 前記評価部において前記誤差が前記閾値より高い場合は、前記座標系検出部に対し、ユーザが左心室座標系の入力を行う、
    請求項１０に記載の医用画像処理装置。
  16. 前記境界モデルは、前記左心室の心筋内側境界と心筋外側境界とが組み合わさった一つの境界モデルである、
    請求項１に記載の医用画像処理装置。
  17. 前記境界モデルは、前記左心室の心筋内側の境界モデル、又は、心筋外側の境界モデルである、
    請求項１に記載の医用画像処理装置。
  18. 前記ボリュームデータは、ＣＴ装置、又は、ＭＲ装置で撮像されたボリュームデータである、
    請求項１に記載の医用画像診断装置。
  19. 前記境界パターンモデルは、造影剤により染影された画像における心筋及び心筋境界周辺の輝度値のパターンが学習によりモデル化され、
    前記左心室座標系に基づいて、前記ボリュームデータにおける所定の部位領域の造影剤濃度を示す染影度を算出する算出部と、
    前記部位領域の染影度を用いて、前記ボリュームデータの輝度値と前記境界パターンモデルの輝度値とが当該部位領域において近接する補正を行なう補正部と、を備え、
    前記境界検出部は、前記補正部による補正後のデータを用いて、前記ボリュームデータにおける心筋の境界を検出する、
    請求項１に記載の医用画像処理装置。
  20. 前記左心室座標系を用いて、前記ボリュームデータにおける前記部位領域を検出する部位領域検出部、
    を更に備え、
    前記算出部は、前記部位領域検出部により検出された部位領域を用いて染影度算出処理を行なう、
    請求項１９に記載の医用画像処理装置。
  21. 前記補正部は、前記染影度を用いた補正処理を前記境界パターンモデルに対して行なって、補正境界パターンモデルを生成し、
    前記境界検出部は、前記補正境界パターンモデルを用いて、前記ボリュームデータにおける心筋の境界を検出する、
    請求項１９に記載の医用画像処理装置。
  22. 前記補正部は、前記染影度を用いた補正処理を前記ボリュームデータに対して行なって、補正ボリュームデータを生成し、
    前記境界検出部は、前記境界パターンモデルを用いて、前記補正ボリュームデータにおける心筋の境界を検出する、
    請求項１９に記載の医用画像処理装置。
  23. 前記補正部は、前記染影度を用いた補正処理を、加算処理、減算処理、乗算処理、除算処理、又はラウンディング処理の組み合わせにより行なう、
    請求項１９に記載の医用画像処理装置。
  24. 前記算出部は、前記部位領域を構成する複数の画素の輝度値列における統計的な代表値を、当該部位領域の染影度として算出する、
    請求項１９に記載の医用画像処理装置。
  25. 前記部位領域検出部は、前記所定の部位領域として複数の部位領域を検出し、
    前記算出部は、前記複数の部位領域それぞれの染影度を算出する、
    請求項２０に記載の医用画像処理装置。
  26. 前記部位領域検出部は、前記所定の部位領域として、心室、心房、左室流出路、弁輪、乳頭筋、心筋及び冠動脈の少なくとも１つを含む領域を検出する、
    請求項２０に記載の医用画像処理装置。
  27. 前記部位領域検出部は、前記ボリュームデータにおいて、前記左心室座標系に含まれる長軸により定まる所定の範囲を前記部位領域として検出する、
    請求項２０に記載の医用画像処理装置。
  28. 前記座標系検出部は、更に、前記ボリュームデータにおける心臓の短軸を前記左心室座標系として検出し、
    前記部位領域検出部は、前記ボリュームデータにおいて、前記長軸の方向と前記短軸の方向とにより定まる所定の範囲を前記部位領域として検出する、
    請求項２０に記載の医用画像処理装置。
  29. 心臓のボリュームデータを取得し、
    前記心臓の左心室長軸を少なくとも含む３つの軸からなる３次元の左心室座標系を、前記ボリュームデータから検出し、
    前記左心室座標系で表現された境界モデルを用いて、前記境界モデルを前記ボリュームデータに当てはめて求めた境界パターンと、予め定めた境界パターンモデルとの誤差が小さくなるように、前記境界モデルを変形させて、前記ボリュームデータから左心室境界を検出し、
    前記左心室座標系の前記３つの軸の少なくとも一つの軸に直交する断面像と共に、前記断面像上に検出した前記左心室境界を表示する、
    医用画像処理方法。
JP2012524015A 2011-05-11 2012-05-11 医用画像処理装置とその方法 Active JP5422742B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012524015A JP5422742B2 (ja) 2011-05-11 2012-05-11 医用画像処理装置とその方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011106223 2011-05-11
JP2011106223 2011-05-11
JP2012001524 2012-01-06
JP2012001524 2012-01-06
PCT/JP2012/003093 WO2012153539A1 (ja) 2011-05-11 2012-05-11 医用画像処理装置とその方法
JP2012524015A JP5422742B2 (ja) 2011-05-11 2012-05-11 医用画像処理装置とその方法

Publications (2)

Publication Number Publication Date
JP5422742B2 true JP5422742B2 (ja) 2014-02-19
JPWO2012153539A1 JPWO2012153539A1 (ja) 2014-07-31

Family

ID=47139025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012524015A Active JP5422742B2 (ja) 2011-05-11 2012-05-11 医用画像処理装置とその方法

Country Status (4)

Country Link
US (1) US9153033B2 (ja)
JP (1) JP5422742B2 (ja)
CN (1) CN102883662B (ja)
WO (1) WO2012153539A1 (ja)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3035048C (en) 2010-12-23 2021-05-04 Mark Deem System for mitral valve repair and replacement
EP2723273B1 (en) 2011-06-21 2021-10-27 Twelve, Inc. Prosthetic heart valve devices
US9039757B2 (en) 2011-10-19 2015-05-26 Twelve, Inc. Prosthetic heart valve devices, prosthetic mitral valves and associated systems and methods
CN103974674B (zh) 2011-10-19 2016-11-09 托尔福公司 人工心脏瓣膜装置、人工二尖瓣和相关系统及方法
US9655722B2 (en) 2011-10-19 2017-05-23 Twelve, Inc. Prosthetic heart valve devices, prosthetic mitral valves and associated systems and methods
AU2012325809B2 (en) 2011-10-19 2016-01-21 Twelve, Inc. Devices, systems and methods for heart valve replacement
US11202704B2 (en) 2011-10-19 2021-12-21 Twelve, Inc. Prosthetic heart valve devices, prosthetic mitral valves and associated systems and methods
US9763780B2 (en) 2011-10-19 2017-09-19 Twelve, Inc. Devices, systems and methods for heart valve replacement
US9579198B2 (en) 2012-03-01 2017-02-28 Twelve, Inc. Hydraulic delivery systems for prosthetic heart valve devices and associated methods
WO2014084398A1 (ja) 2012-11-30 2014-06-05 株式会社 東芝 医用画像診断装置
JP6195714B2 (ja) * 2013-01-16 2017-09-13 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム
JP6068177B2 (ja) * 2013-02-13 2017-01-25 東芝メディカルシステムズ株式会社 医用画像診断装置、医用画像処理装置及び医用画像処理方法
CA2910948C (en) 2013-05-20 2020-12-29 Twelve, Inc. Implantable heart valve devices, mitral valve repair devices and associated systems and methods
CN104240226B (zh) * 2013-06-20 2017-12-22 上海联影医疗科技有限公司 一种心脏图像的配准方法
EP3067716A4 (en) * 2013-11-05 2016-11-30 Shimadzu Corp CONTOUR IMAGE GENERATING DEVICE AND DIAGNOSTIC DEVICE IN NUCLEAR MEDICINE
FR3015680B1 (fr) * 2013-12-19 2016-01-15 Snecma Procede de caracterisation d'une piece
JP5990834B2 (ja) 2014-03-28 2016-09-14 株式会社日立製作所 診断画像生成装置および診断画像生成方法
EP3170454B1 (en) * 2014-07-15 2020-05-20 Fujifilm RI Pharma Co., Ltd. Computer program, and image processing device and method
KR101616029B1 (ko) * 2014-07-25 2016-04-27 삼성전자주식회사 자기 공명 영상 처리 방법 및 방법을 실행하기 위한 장치
KR102329113B1 (ko) * 2014-10-13 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 초음파 영상 장치의 제어 방법
JP6411183B2 (ja) * 2014-11-13 2018-10-24 キヤノンメディカルシステムズ株式会社 医用画像診断装置、画像処理装置及び画像処理プログラム
JP6513391B2 (ja) * 2014-12-24 2019-05-15 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理装置における画像データ表示方法およびｘ線ｃｔ装置
US9558561B2 (en) * 2015-01-06 2017-01-31 Varian Medical Systems International Ag Semiautomatic drawing tool for image segmentation
EP3086287B1 (en) * 2015-04-24 2017-10-11 Pie Medical Imaging BV Flow analysis in 4d mr image data
JP7111610B2 (ja) 2015-08-21 2022-08-02 トゥエルヴ， インコーポレイテッド 埋込可能な心臓弁デバイス、僧帽弁修復デバイス、ならびに関連するシステム及び方法
US10674994B2 (en) 2015-12-02 2020-06-09 Hitachi, Ltd. Ultrasonic imaging device and image processing method
US9799102B2 (en) * 2015-12-02 2017-10-24 Adobe Systems Incorporated Smoothing images using machine learning
CN108475428B (zh) * 2015-12-22 2022-04-29 皇家飞利浦有限公司 心脏模型引导的冠状动脉分割的系统及方法
JP6734073B2 (ja) 2016-02-26 2020-08-05 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
JP6738631B2 (ja) * 2016-03-29 2020-08-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2017189276A1 (en) 2016-04-29 2017-11-02 Medtronic Vascular Inc. Prosthetic heart valve devices with tethered anchors and associated systems and methods
CN108701354B (zh) * 2016-05-09 2022-05-06 深圳迈瑞生物医疗电子股份有限公司 识别超声图像中感兴趣区域轮廓的方法及系统
JP2017205142A (ja) * 2016-05-16 2017-11-24 コニカミノルタ株式会社 動態解析システム
JP7080590B2 (ja) * 2016-07-19 2022-06-06 キヤノンメディカルシステムズ株式会社 医用処理装置、超音波診断装置、および医用処理プログラム
CN110072460A (zh) * 2016-12-15 2019-07-30 皇家飞利浦有限公司 可视化准直错误
WO2018148907A1 (zh) 2017-02-16 2018-08-23 深圳迈瑞生物医疗电子股份有限公司 超声医学检测设备及成像方法、成像系统、显示终端
US10433961B2 (en) 2017-04-18 2019-10-08 Twelve, Inc. Delivery systems with tethers for prosthetic heart valve devices and associated methods
US10702378B2 (en) 2017-04-18 2020-07-07 Twelve, Inc. Prosthetic heart valve device and associated systems and methods
US10575950B2 (en) 2017-04-18 2020-03-03 Twelve, Inc. Hydraulic systems for delivering prosthetic heart valve devices and associated methods
US10032281B1 (en) * 2017-05-03 2018-07-24 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging
US10792151B2 (en) 2017-05-11 2020-10-06 Twelve, Inc. Delivery systems for delivering prosthetic heart valve devices and associated methods
US10646338B2 (en) 2017-06-02 2020-05-12 Twelve, Inc. Delivery systems with telescoping capsules for deploying prosthetic heart valve devices and associated methods
US10709591B2 (en) 2017-06-06 2020-07-14 Twelve, Inc. Crimping device and method for loading stents and prosthetic heart valves
EP3412214A1 (en) * 2017-06-08 2018-12-12 Koninklijke Philips N.V. Ultrasound imaging method
US10729541B2 (en) 2017-07-06 2020-08-04 Twelve, Inc. Prosthetic heart valve devices and associated systems and methods
US10786352B2 (en) 2017-07-06 2020-09-29 Twelve, Inc. Prosthetic heart valve devices and associated systems and methods
US12051192B2 (en) 2018-01-24 2024-07-30 Pie Medical Imaging B.V. Flow analysis in 4D MR image data
US11594028B2 (en) * 2018-05-18 2023-02-28 Stats Llc Video processing for enabling sports highlights generation
CN108898582B (zh) * 2018-06-11 2021-08-17 上海联影医疗科技股份有限公司 心脏图像重建方法、装置以及计算机设备
US11024062B2 (en) 2018-06-11 2021-06-01 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for evaluating image quality
JP2020141748A (ja) * 2019-03-04 2020-09-10 富士フイルム株式会社 巡回撮影管理装置、巡回撮影管理装置の作動方法、巡回撮影管理装置の作動プログラム、データ構造、および記録装置
WO2021141135A1 (ja) * 2020-01-09 2021-07-15 学校法人東京女子医科大学 冠動脈ｃｔ４ｄフローイメージによる機能的虚血検出技術
JP7328156B2 (ja) * 2020-01-22 2023-08-16 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、および医用画像処理プログラム
JP7538705B2 (ja) * 2020-12-08 2024-08-22 富士フイルムヘルスケア株式会社 超音波診断システム及び操作支援方法
CN113096238B (zh) * 2021-04-02 2022-05-17 杭州柳叶刀机器人有限公司 一种x射线图模拟方法、装置、电子设备及存储介质
CN114419032B (zh) * 2022-03-14 2022-06-21 深圳科亚医疗科技有限公司 心脏左心室的心肌内膜和/或心肌外膜的分割方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503136A (ja) * 1999-04-21 2003-01-28 オークランド ユニサービシーズ リミティド 器官の特性を測定する方法およびシステム
JP2006198410A (ja) * 2005-01-21 2006-08-03 Siemens Ag 心臓の３ｄ画像データセットにおける左心室の位置および向きの自動決定方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781195A (en) * 1996-04-16 1998-07-14 Microsoft Corporation Method and system for rendering two-dimensional views of a three-dimensional surface
US6106466A (en) * 1997-04-24 2000-08-22 University Of Washington Automated delineation of heart contours from images using reconstruction-based modeling
JP4373682B2 (ja) * 2003-01-31 2009-11-25 独立行政法人理化学研究所 関心組織領域抽出方法、関心組織領域抽出プログラム及び画像処理装置
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
US8265363B2 (en) 2009-02-04 2012-09-11 General Electric Company Method and apparatus for automatically identifying image views in a 3D dataset

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003503136A (ja) * 1999-04-21 2003-01-28 オークランド ユニサービシーズ リミティド 器官の特性を測定する方法およびシステム
JP2006198410A (ja) * 2005-01-21 2006-08-03 Siemens Ag 心臓の３ｄ画像データセットにおける左心室の位置および向きの自動決定方法

Also Published As

Publication number Publication date
JPWO2012153539A1 (ja) 2014-07-31
US20140219524A1 (en) 2014-08-07
CN102883662A (zh) 2013-01-16
CN102883662B (zh) 2015-04-08
WO2012153539A1 (ja) 2012-11-15
US9153033B2 (en) 2015-10-06

Similar Documents

Publication Publication Date Title
JP5422742B2 (ja) 医用画像処理装置とその方法
US8014578B2 (en) Method and system for image segmentation using models
Banerjee et al. A completely automated pipeline for 3D reconstruction of human heart from 2D cine magnetic resonance slices
EP3652747B1 (en) Methods and systems for guidance in cardiac resynchronization therapy
RU2595757C2 (ru) Устройство совмещения изображений
JP2019504659A (ja) 自動化された心臓ボリュームセグメンテーション
CN110827956A (zh) 用于识别医学图像采集参数的系统和方法
WO2015168792A9 (en) Method and system for analysis of myocardial wall dynamics
US10019804B2 (en) Medical image processing apparatus, method, and program
JP2013022463A (ja) 運動対象輪郭抽出装置、左心室画像分離装置、運動対象輪郭抽出方法及び左心室画像分離方法
US10628963B2 (en) Automatic detection of an artifact in patient image
CN111311551B (zh) 基于机器学习的生理运动测量系统和方法
US11232859B2 (en) Artificial intelligence for basal and apical slice identification in cardiac MRI short axis acquisitions
JP5498989B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US9224188B2 (en) Image processing device, method and program
EP2220618B1 (en) Apparatus for determining a parameter of a moving object
EP3244798B1 (en) Adaptive segmentation for rotational c-arm computed tomography with a reduced angular range
JP6734073B2 (ja) 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
EP2343687B1 (en) Tomographic image generating apparatus, tomographic image generating method, and program for generating tomographic images
JP2020527992A (ja) 動き補償された心臓弁の再構築
Medina et al. Left ventricle myocardium segmentation in multi-slice computerized tomography
EP3667618A1 (en) Deep partial-angle coronary restoration
Krishnaswamy et al. Validation of a diffeomorphic registration algorithm using true deformation computed from thin plate spline interpolation
EP4231234A1 (en) Deep learning for registering anatomical to functional images
US20240202919A1 (en) Medical image processing apparatus, method, and storage medium

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131125

R150 Certificate of patent or registration of utility model

Ref document number: 5422742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350