JP4798712B2 - 医用画像表示装置及び方法並びにプログラム - Google Patents

医用画像表示装置及び方法並びにプログラム Download PDF

Info

Publication number
JP4798712B2
JP4798712B2 JP2006536404A JP2006536404A JP4798712B2 JP 4798712 B2 JP4798712 B2 JP 4798712B2 JP 2006536404 A JP2006536404 A JP 2006536404A JP 2006536404 A JP2006536404 A JP 2006536404A JP 4798712 B2 JP4798712 B2 JP 4798712B2
Authority
JP
Japan
Prior art keywords
image
stacked
superimposed
dimensional image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006536404A
Other languages
English (en)
Other versions
JPWO2006033377A1 (ja
Inventor
崇 白旗
雄大 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2006536404A priority Critical patent/JP4798712B2/ja
Publication of JPWO2006033377A1 publication Critical patent/JPWO2006033377A1/ja
Application granted granted Critical
Publication of JP4798712B2 publication Critical patent/JP4798712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/56Details of data transmission or power supply, e.g. use of slip rings
    • A61B6/563Details of data transmission or power supply, e.g. use of slip rings involving image data transmission via a network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Pulmonology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明はX線CT装置、MRI装置、超音波装置を含む医用画像診断装置(モダリティ)から被検体の断層像を得、前記得られた断層像の観察対象となる臓器の三次元的形状と、前記観察対象臓器とその周辺臓器との位置関係を同時に表示可能とする技術に関する。
本出願は、日本国特許法に基づく特許出願 特願2004-276576号に基づくパリ優先権主張を伴う出願であり、特願2004-276576号の利益を享受するために参照による援用を受ける出願である。
例えば、心臓を含む運動臓器はリアルタイムで計測結果が表示されることで、心臓の心筋の石灰化や梗塞などの異常な運動状態を診断することができる。現在、心臓の断層画像などの2次元画像においてはリアルタイム化が実質的に達成されている。
近年、2次元画像だけでは順次に形態が変化する運動臓器の全様が把握しにくいため、3次元画像による運動臓器の解析が試みられている。
しかし、運動臓器の3次元画像は演算すべきデータ量が多く、コンピュータ処理の高速化がされた現状であっても、リアルタイム表示の技術が確立していない。
そこで、次善の方法として臓器領域の三次元画像と、任意の位置における断面像を並べて表示し、臓器の三次元的形状と断層像の断面情報を得て、その断層像の二次元画像に三次元的な奥行き方向の情報を加えている。(例えば、特許文献1)
特開2000-107182号公報
しかしながら、特許文献1では、三次元的な形態情報を任意の方向からの観察や三次元画像に隠れた部位の情報を同時に表示するという配慮がなされていなかった。
そこで、本発明の目的は、三次元的な形態情報を任意の方向からの観察や三次元画像に隠れた部位の情報を同時に表示することが可能な医用画像表示装置及び方法並びにプログラムを提供することにある。
本発明の医用画像表示装置は、医用画像撮影装置により得られた複数の断層像を入力する断層像入力手段と、該入力された複数の断層像を積上げて積上げ三次元画像を作成する三次元画像作成手段と、前記積上げ三次元画像を任意断面で切断し、その切断された断面像を前記複数の断層像から作成する任意切断面像作成手段と、前記断層像の位置情報に基づいて前記積上げ三次元画像と前記任意切断面像との重畳画像を作成する重畳画像作成手段と、前記作成された重畳画像を表示する表示手段と、を備える。
本発明の医用画像表示方法は、医用画像撮影装置により得られた複数の断層像を入力する断層像入力工程と、該入力された複数の断層像を積上げて積上げ三次元画像を作成する三次元画像作成工程と、前記積上げ三次元画像を任意断面で切断し、その切断された断面像を前記複数の断層像から作成するMPR像作成工程と、前記断層像の位置情報に基づいて前記積上げ三次元画像と前記MPR像との重畳画像を作成する重畳画像作成工程と、前記作成された重畳画像を表示する表示工程と、を含む。
本発明のコンピュータで実行するための医用画像表示プログラムは、医用画像撮影装置により得られた複数の断層像を入力する断層像入力処理と、該入力された複数の断層像を積上げて積上げ三次元画像を作成する三次元画像作成処理と、前記積上げ三次元画像を任意断面で切断し、その切断された断面像を前記複数の断層像から作成する任意切断面像作成処理と、前記断層像の位置情報に基づいて前記積上げ三次元画像と前記任意切断面像との重畳画像を作成する重畳画像作成処理と、前記作成された重畳画像を表示する表示処理と、を有する。
本発明によれば、三次元的な形態情報を任意の方向からの観察や三次元画像に隠れた部位の情報を同時に表示することができる。
本発明による医用画像表示装置の一例である。 図1の主要部を抜粋したブロック図である。 図2の制御装置20の詳細である。 第1の実施形態を実現するGUIの一例である。 第1の実施形態の処理フローチャートの一例である。 第1の実施形態で作成される三次元画像の一例である。 第1の実施形態で作成されるMPR像の一例である。 第1の実施形態で作成される三次元画像とMPR像との重畳画像の一例である。 第2の実施形態を実現するGUIの一例である。 第2の実施形態の処理フローチャートの一例である。 第2の実施形態で作成される三次元画像とMPR像との重畳画像の一例である。 第3の実施形態を実現するGUIの一例である。 第3の実施形態の処理フローチャートの一例である。 第3の実施形態で作成される三次元画像とMPR像との重畳画像の一例である。 第3の実施形態を実現するGUIの一例である。 第3の実施形態の処理フローチャートの一例である。 第3の実施形態で作成される三次元画像とMPR像との重畳画像の一例である。 三次元画像とMPR像との重畳画像のシネ表示の一例である。
符号の説明
10 CPU、11 医用断層画像撮影装置、12 LAN、13 磁気ディスク、14 主メモリ、15 コントローラ、16 マウス、17 キーボード、18 表示メモリ、19 ディスプレイ
本発明の医用画像表示方法、医用画像表示プログラム、医用画像表示装置は図1に示されるようなコンピュータシステムによって実施される。
なお、本実施形態の説明で使用する図面は、全図において同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
前記コンピュータシステムは、CPU10と、CPU10とデータ転送バス1Aを介して接続される転送磁気ディスク13、主メモリ14、コントローラ15、表示メモリ18を有している。
CPU10は領域抽出演算や投影画像作成演算を行う。磁気ディスク13は医用断層画像撮影装置11により撮影された医用断層画像をLAN12などのネットワークを介して受け取り記憶する。主メモリ14は領域抽出演算時に医用断層画像データや演算の途中経過を記憶する。コントローラ15は操作者が領域抽出に必要な抽出開始点やパラメータなどを入力するために接続されたマウス16やキーボード17を有し、操作者がマウス16やキーボード17にパラメータ等を入力する。ディスプレイ装置19は領域抽出結果表示に用いる表示メモリ18と液晶ディスプレイやCRTなどである。
図2は図1の機能ブロック図であり、図3は図2の制御装置20の詳細である。コンピュータシステムは入力装置21、記憶装置22、表示装置23と接続された制御装置20を有している。
制御装置20は入力装置21および記憶装置22に接続された観察対象臓器領域抽出部30、観察対象領域における三次元画像データ作成部31、MPR画像作成部32、重畳画像作成部33からなる。本発明の医用画像表示装置は、各実施形態に示されるフローチャートの手順の方法で、コンピュータによって実行可能なプログラムにより動作する。
[第1の実施形態]
本発明の第1の実施形態について図を用いて説明する。図4は第1の実施形態を実現するグラフィカル・ユーザ・インターフェース(GUI)の一例を示す。図5に第1の実施形態の処理フローチャートの一例を示す。図5の各ステップについて以下に説明する。本実施形態では、心筋を観察対象臓器とする場合を例示する。
(ステップ50)
操作者はマウス16などの入力装置を操作して、GUI40の画像読込ボタン41を入力し、X線CT装置やMRI装置により撮影された医用断層画像群を入力する。入力画像は画像表示領域42に表示される。入力された医用断層画像群はそのうちどのスライスを表示されるかは、操作者がマウス16やキーボード17などの入力装置を用いてスライス送りスクロールバー43を操作することにより、任意に選択できるようにしてもよい。
また、操作者がマウス16やキーボード17などの入力装置を操作して階調変換スクロールバー44を操作することにより、入力画像を任意の階調で表示可能にしてもよい。
(ステップ51)
操作者はマウス16などの入力装置を操作して、GUI40の画像表示領域42に表示された、X線CT画像やMR画像などの医用断層画像上で観察対象となる臓器領域を指定する。
(ステップ52)
CPU10は、例えば特許第2845995号公報に示される領域抽出法(リージョングローイング法)を用いて、前記指定された臓器領域を抽出する。
(ステップ53)
CPU10はサーフェイスレンダリング法やボリュームレンダリング法などを用いて、ステップ52において抽出した観察対象となる臓器領域の三次元画像を作成する。操作者がサーフェイスレンダリング法を採用するかボリュームレンダリング法を採用するかは操作者がマウス16などの入力装置を用いてGUI40上のコンボボックス45を操作することにより任意に変えられるようにしてもよい。
例えば、CPU10が図6に示すような心筋を撮影した画像60からなる画像群61から観察対象臓器として心筋を抽出した場合の三次元画像の一例は画像62のようになる。
(ステップ54)
CPU10は積層された医用断層画像中の任意の座標を中心とし、任意の傾きをもつ断面で切断したMPR像を作成する。MPR像は、図6の心筋画像群について適用した場合、例えば図7の画像70のように作成される。
(ステップ55)
CPU10は前記観察対象臓器領域の三次元画像と、前記MPR像を重ね合わせた重畳画像を作成する。ここで三次元画像とMPR像の位置関係が実際の位置関係となるように座標を合わせる。図6の三次元画像62と図7のMPR像70からは例えば図8のような重畳画像80が得られる。
(ステップ56)
CPU10は前記作成した三次元画像とMPR像との重畳画像をGUI40上の重畳画像の表示領域46に表示する。
ここで、表示される三次元画像の角度は操作者が重畳画像の表示領域46上でマウス16をドラッグすることにより自由に変えられるようにしてもよい。三次元画像の回転と同時にMPR像も位置関係を保持したまま回転するようにしてもよい。あるいは、重畳画像表示領域46上で操作者がマウス16をドラッグすることにより、三次元画像の表示角度は固定したまま、MPR像を作成する断面のみが回転するようにしてもよい。もちろん、断面が回転すれば、表示されるMPR像も断面位置に応じて変化する。あるいは、重畳画像表示領域46上で操作者がマウス16をドラッグすることにより、三次元画像とMPR像を作成する断面の角度は固定したまま、MPR像を作成する断面の中心位置のみが移動するようにしてもよい。MPR像は前記移動に伴い、その表示されたMPR像が変化する。
前記三次元画像の回転や、MPR像を作成する断面の回転、MPR像を作成する断面の移動などマウス操作によるイベントのうち、いずれか1つのみを実現できるようにしておいてもよいし、あるいは、操作者が任意に回転、移動等のモードを切り替えられるようにして、すべてのイベントを実現できるようにしてもよい。これらのモードは例えばGUI40上の回転モードコンボボックス47で選択できるようにしてもよい。
これによって、三次元的な形態情報を任意の方向からの観察や三次元画像に隠れた部位の情報を同時に得ることができる。
[第2の実施形態]
本発明の第2の実施形態について図を用いて説明する。図9に本実施形態を実現するGUIの一例を示す。図10に本実施形態の処理フローチャートの一例を示す。以下に、図10の各ステップについて図を用いて説明する。
(ステップ100)
操作者はマウス16などの入力装置を操作して、GUI90の画像読込ボタン91を入力し、X線CT装置やMRI装置により撮影されたX線CT画像やMR画像などの医用断層画像群を入力する。入力画像は画像表示領域92に表示される。入力された医用断層画像群のうちどのスライスを表示するかは、操作者がマウス16やキーボード17などの入力装置を用いてスライス送りスクロールバー93を操作することにより、任意に選択できるようにしてもよい。また、操作者がマウス16やキーボード17などの入力装置を操作して階調変換スクロールバー94を操作することにより、入力画像を任意の階調で表示可能にしてもよい。
(ステップ101)
操作者はマウス16などの入力装置を操作して、GUI90の画像表示領域92に表示された、X線CT画像やMR画像などの医用断層画像上で観察対象となる臓器領域を指定する。
(ステップ102)
CPU10は例えばリージョングローイング法を用いて、前記指定された臓器領域を抽出する。
(ステップ103)
CPU10は積層された医用断層画像中の任意の座標を中心とし、任意の傾きをもつ断面で切断したMPR像を作成する。
(ステップ104)
CPU10は透明度設定スクロールバー95から透明度の値を取得する。
(ステップ105)
CPU10はサーフェイスレンダリング法やボリュームレンダリング法などを用いて、ステップ102において抽出した観察対象となる臓器領域の三次元画像を作成する。操作者がサーフェイスレンダリング法を採用するかボリュームレンダリング法を採用するかは、操作者がマウス16などの入力装置を用いてGUI90上のコンボボックス96を操作することにより任意に変えられるようにしてもよい。
(ステップ106)
CPU10は前記観察対象臓器領域の三次元画像と、前記MPR像を重ね合わせた重畳画像を作成する。ここで三次元画像とMPR像の位置関係が実際の位置関係と同一になるように座標を合わせる。また、ステップ104にて取得した透明度を用いて三次元画像を半透明表示して重ね合わせることで、重畳画像は図11の画像110のようになる。このようにすれば三次元画像が半透明表示されMPR像が透けた状態で表示される。
(ステップ107)
CPU10は前記作成した三次元画像とMPR像との重畳画像をGUI90上の重畳画像表示領域97に表示する。
ここで、表示する三次元画像の表示角度は操作者が重畳画像表示領域97上でマウス16をドラッグすることにより自由に変えられるようにしてもよい。三次元画像の回転と同時にMPR像も位置関係を保持したまま回転するようにしてもよい。あるいは、重畳画像の表示領域97上で操作者がマウス16をドラッグすることにより、三次元画像の角度は固定したまま、MPR像を作成する断面のみが回転するようにしてもよい。もちろん、断面が回転すれば、表示されるMPR像も断面位置に応じて変化する。あるいは、操作者が重畳画像の表示領域97上でマウス16をドラッグすることにより、三次元画像とMPR像を作成する断面の角度は固定したまま、MPR像を作成する断面の中心位置のみが移動するようにしてもよい。MPR像は前記移動に伴い、表示されるMPR像が変化する。
前記三次元画像の回転や、MPR像を作成する断面の回転、MPR像を作成する断面の移動などマウス操作によるイベントのうち、いずれか1つのみを実現できるようにしておいてもよいし、あるいは、操作者が任意に回転等のモードを切り替えられるようにして、すべてのイベントを実現できるようにしてもよい。これらのモードは例えばGUI90上の回転モードコンボボックス98で選択できるようにしてもよい。
(ステップ108)
操作者はGUI90上の重畳画像表示領域97に表示された重畳画像を見ながら、必要に応じてマウス16やキーボード17などの入力装置で透明度設定スクロールバー95を操作することにより三次元画像の透明度を任意に変更してもよい。
三次元画像作成処理は三次元画像の透明度の変更が起こると直ちにステップ104が行われ、新たな重畳画像が作成される。
これによって、半透明に設定された三次元画像とMPR像を重畳して両者の情報を同時に得ることができる。
[第3の実施形態]
本発明の第3の実施形態について図を用いて説明する。図12に本実施形態を実現するGUIの一例を示す。図13に本実施形態の処理フローチャートの一例を示す。以下に、図13の各ステップについて図を用いて説明する。
(ステップ130)
操作者はマウス16などの入力装置を操作して、GUI120の画像読込ボタン121を入力し、X線CT装置やMRI装置により撮影されたX線CT画像やMR画像などの医用断層画像群を入力する。
入力画像は画像表示領域122に表示される。入力された医用断層画像群のうちどのスライスを表示するかは、操作者がマウス16やキーボード17などの入力装置を用いてスライス送りスクロールバー123を操作することにより、任意に選択できるようにしてもよい。また、操作者がマウス16やキーボード17などの入力装置を操作して階調変換スクロールバー124を操作することにより、入力画像を任意の階調で表示可能にしてもよい。
(ステップ131)
操作者はマウス16などの入力装置を操作して、GUI120の画像表示領域122に表示された、X線CT画像やMR画像などの医用断層画像上で観察対象となる臓器領域を指定する。
(ステップ132)
CPU10は例えばリージョングローイング法を用いて、前記指定された臓器領域を抽出する。
(ステップ133)
CPU10はサーフェイスレンダリング法やボリュームレンダリング法などを用いて、ステップ122において抽出した観察対象となる臓器領域の三次元画像を作成する。操作者がサーフェイスレンダリング法を採用するかボリュームレンダリング法を採用するかは、操作者がマウス16などの入力装置を用いてGUI120上のコンボボックス125を操作することにより任意に変えられるようにしてもよい。
(ステップ134)
CPU10は透明度設定スクロールバー126からMPR用透明度の値を取得する。
(ステップ135)
CPU10は積層された医用断層画像中の任意の座標を中心とし、任意の傾きをもつ断面で切断したMPR像を作成する。
(ステップ136)
CPU10は前記観察対象臓器領域の三次元画像とMPR像を重ね合わせた重畳画像を作成する。ここで三次元画像とMPR像の位置関係が実際の位置関係と同一になるように座標を合わせる。また、ステップ124にて取得した透明度を用いてMPR画像を半透明表示して重ね合わせる。重畳画像は図14の画像140のようになる。MPR画像が半透明表示され三次元画像が透けて見える。
(ステップ137)
CPU10は前記作成した三次元画像とMPR像との重畳画像をGUI120上の重畳画像表示領域127に表示する。
ここで、表示する三次元画像の表示角度は操作者が重畳画像表示領域127上でマウス16をドラッグすることにより自由に変えられるようにしてもよいし、三次元画像の回転と同時にMPR像も位置関係を保持したまま回転するようにしてもよい。あるいは、重畳画像表示領域127上で操作者がマウス16をドラッグすることにより、三次元画像の角度は固定したまま、MPR像を作成する断面のみが回転するようにしてもよい。もちろん、断面が回転すれば、表示されるMPR像も断面位置に応じて変化する。あるいは、重畳画像の表示領域127上で操作者がマウス16をドラッグすることにより、三次元画像とMPR像を作成する断面の角度は固定したまま、MPR像を作成する断面の中心位置のみが移動するようにしてもよい。MPR像は前記移動に伴い、表示されるMPR像が変化する。
前記三次元画像の回転や、MPR像を作成する断面の回転、MPR像を作成する断面の移動などマウス操作によるイベントのうち、いずれか1つのみを実現できるようにしておいてもよいし、あるいは、操作者が任意に回転等のモードを切り替えられるようにして、すべてのイベントを実現できるようにしてもよい。これらのモードは例えばGUI120上の回転モードコンボボックス128で選択できるようにしてもよい。
(ステップ138)
操作者はGUI120上の重畳画像表示領域127に表示された重畳画像を見ながら、必要に応じてマウス16やキーボード17などの入力装置を操作し、透明度設定スクロールバー125を操作することにより三次元画像の透明度を任意に変更してもよい。MPR画像作成処理は透明度の変更が起こると直ちにステップ134が行われ、新たな重畳画像が作成される。
これによって、半透明に設定されたMPR像と三次元画像を重畳して両者の情報を同時に得ることができる。
[第4の実施形態]
本発明の第4の実施形態について図を用いて説明する。図15に本実施形態を実現するGUIの一例を示す。図16に本実施形態の処理フローチャートの一例を示す。以下に、図16の各ステップについて図を用いて説明する。
(ステップ160)
操作者はマウス16などの入力装置を操作して、GUI150の画像読込ボタン151を入力し、X線CT装置やMRI装置により撮影されたX線CT画像やMR画像などの医用断層画像群を入力する。
入力画像は画像表示領域152に表示される。入力された医用断層画像群のうちどのスライスを表示するかは、操作者がマウス16やキーボード17などの入力装置を用いてスライス送りスクロールバー153を操作することにより、任意に選択できるようにしてもよい。また、操作者がマウス16やキーボード17などの入力装置を操作して階調変換スクロールバー154を操作することにより、入力画像を任意の階調で表示可能にしてもよい。
(ステップ161)
操作者はマウス16などの入力装置を操作して、GUI150の画像表示領域152に表示された、X線CT画像やMR画像などの医用断層画像上で観察対象となる臓器領域を指定する。
(ステップ162)
CPU10は例えばリージョングローイング法を用いて、前記指定された臓器領域を抽出する。
(ステップ163)
CPU10は透明度設定スクロールバー155から三次元画像用透明度およびMPR像用透明度を取得する。
(ステップ164)
CPU10はサーフェイスレンダリング法やボリュームレンダリング法などを用いて、ステップ152において抽出した観察対象となる臓器領域の三次元画像を作成する。サーフェイスレンダリング法を採用するかボリュームレンダリング法を採用するかは操作者がマウス16などの入力装置を用いてGUI150上のコンボボックス156を操作することにより任意に変えられるようにしてもよい。
(ステップ165)
CPU10は積層された医用断層画像中の任意の座標を中心とし、任意の傾きをもつ断面で切断したMPR像を作成する。
(ステップ166)
CPU10は前記観察対象臓器領域の三次元画像と、前記MPR像を重ね合わせた重畳画像を作成する。ここで三次元画像とMPR像の位置関係が実際の位置関係と同一になるように座標を合わせる。また、ステップ153にて取得した透明度を用いて三次元画像およびMPR画像を半透明表示して重ね合わせる。重畳画像は図17の画像170のようになる。三次元画像およびMPR画像が共に半透明表示され透けて見える。
(ステップ167)
CPU10は前記作成した三次元画像とMPR像との重畳画像をGUI150上の重畳画像表示領域157に表示する。
ここで、表示する三次元画像の表示角度は操作者が重畳画像表示領域157上でマウス16をドラッグすることにより自由に変えられるようにしてもよいし、三次元画像の回転と同時にMPR像も位置関係を保持したまま回転するようにしてもよい。あるいは、重畳画像の表示領域157上で操作者がマウス16をドラッグすることにより、三次元画像の角度は固定したまま、MPR像を作成する断面のみが回転するようにしてもよい。もちろん、断面が回転すれば、表示されるMPR像も断面位置に応じて変化する。あるいは、重畳画像の表示領域157上で操作者がマウス16をドラッグすることにより、三次元画像とMPR像を作成する断面の角度は固定したまま、MPR像を作成する断面の中心位置のみが移動するようにしてもよい。MPR像は前記移動に伴い、表示されるMPR像が変化する。
前記三次元画像の回転や、MPR像を作成する断面の回転、MPR像を作成する断面の移動などマウス操作によるイベントのうち、いずれか1つのみを実現できるようにしておいてもよいし、あるいは、操作者が任意に回転等のモードを切り替えられるようにして、すべてのイベントを実現できるようにしてもよい。
これらのモードは例えばGUI150上の回転モードコンボボックス158で選択できるようにしてもよい。
(ステップ168)
操作者はGUI150上の重畳画像表示領域157に表示された重畳画像を見ながら、必要に応じてマウス16やキーボード17などの入力装置を操作し、透明度設定スクロールバー155を操作することにより三次元画像の透明度を任意に変更してもよい。透明度の変更が起こると直ちにステップ164の三次元画像作成処理以降の処理が行われ、新たな重畳画像が作成される。
これによって、半透明に設定する対象、つまり三次元画像又はMPR像を選択することができる。
第1〜4の実施形態では、三次元画像に切断面の画像を重ねた重畳画像を表示する方法について説明したが、これらの重畳画像に加え、断面像を並べて表示するようにしてもよい。また、画像を重畳するか三次元画像のみを表示するかをON/OFF切り替えにより任意に選択できるようにしてもよい。
第1〜4の実施形態では、1時相での医用画像について三次元画像とMPR像とを重畳する場合を例に説明したが、例えば、図18の画像180〜182に示すように心臓のような周期的な運動を行う臓器に対し、その心拍の様子を撮影した心時相毎に複数の断層画像群がある場合、図18の画像183〜185に示すように、それぞれの心時相で第1〜4の実施形態で説明した三次元画像とMPR像との重畳画像を作成し、それらを心時相の進行に合わせて連続的にシネ表示するようにしてもよい。
図18に示される具体例は、時相1では拡大期に応じた三次元画像とMPR像との重畳画像を作成し、時相2ではやや収縮した三次元画像とMPR像との重畳画像を作成し、時相3では収縮期に応じた三次元画像とMPR像との重畳画像を作成する。
第1〜4の実施形態では、心筋を観察対象とする場合を例に説明したが、もちろん心筋以外の臓器、例えば、血管、肺を対象としても良い。
本発明の医用画像表示方法及びプログラム並びに装置は、観察対象となる臓器領域の形態情報を含む三次元画像と、観察対象となる臓器の周辺臓器についての情報を含むMPR像を同時に表示することが可能となる。従って、観察対象となる臓器の形状と、周辺臓器との位置関係を一度に把握することができる。
また、注目臓器のみ三次元表示を行い周辺はMPR像を使用するため、演算時間も短くて済み、回転表示や動画表示が高速に行える。
さらに、三次元画像やMPR像に透明度を設定することにより、視点の方向に関して三次元画像の裏側に隠れた領域の情報や、MPR像の背面に隠れた領域の情報を同時に得ることが可能となる。

Claims (17)

  1. 医用画像撮影装置により得られた複数の断層像を入力する断層像入力手段と、該入力された複数の断層像を積上げて積上げ三次元画像を作成する三次元画像作成手段と、
    前記積上げ三次元画像を任意断面で切断し、その切断された断面像を前記複数の断層像から作成する任意切断面像作成手段と、
    前記断層像の位置情報に基づいて前記積上げ三次元画像と前記任意切断面像との重畳画像を作成する重畳画像作成手段と、
    前記作成された重畳画像を表示する表示手段と、
    前記表示手段によって表示された重畳画像のうちの積上げ三次元画像と任意切断面像のいずれか一方の表示角度を設定する設定手段と、
    を備えたことを特徴とする医用画像表示装置。
  2. 前記三次元画像作成手段は、作成された積上げ三次元画像に透明度を設定する手段を含み、その設定された透明度の積上げ三次元画像を作成すると共に、
    前記重畳画像作成手段は、前記設定された透明度の積上げ三次元画像と前記任意切断面像との重畳画像を作成することを特徴とする請求項1に記載の医用画像表示装置。
  3. 前記重畳画像作成手段は、前記設定手段によって前記積上げ三次元画像の透明度が変更設定されることで重畳画像を作成し、
    前記表示手段はその作成された重畳画像を表示することを特徴とする請求項に記載の医用画像表示装置。
  4. 前記任意切断面像作成手段は、作成された任意切断面像に透明度を設定する手段を含み、その設定された透明度の任意切断面像を作成すると共に、
    前記重畳画像作成手段は、前記積上げ三次元画像と前記設定された透明度の任意切断面像との重畳画像を作成することを特徴とする請求項1に記載の医用画像表示装置。
  5. 前記重畳画像作成手段は、前記設定手段によって前記任意切断面像の透明度が変更設定されることで重畳画像を作成し、
    前記表示手段はその作成された重畳画像を表示することを特徴とする請求項に記載の医用画像表示装置。
  6. 前記三次元画像作成手段及び前記任意切断面像作成手段によって各々作成された積上げ三次元画像又は任意切断面像の双方に透明度を設定する手段を含み、前記三次元画像作成手段及び前記任意切断面像作成手段はそれぞれ設定された透明度の積上げ三次元画像又は任意切断面像を作成すると共に、
    前記重畳画像作成手段は、前記設定された透明度の積上げ三次元画像と前記設定された透明度の任意切断面像との重畳画像を作成することを特徴とする請求項1に記載の医用画像表示装置。
  7. 前記透明度設定手段によって前記積上げ三次元画像及び前記任意切断面像の透明度が変更設定されることで前記積上げ三次元画像及び前記任意切断面像を作成し、それら作成された前記積上げ三次元画像及び前記任意切断面像から重畳画像を作成し、
    前記表示手段はその作成された重畳画像を表示することを特徴とする請求項に記載の医用画像表示装置。
  8. 前記断層像入力手段は、医用画像撮影装置により得られた異なる時相毎の複数の断層像を入力する断層像入力し、
    前記三次元画像作成手段は、前記断層像入力手段によって入力された異なる時相毎の複数の断層像を積上げ、異なる時相毎の積上げ三次元画像を作成し、
    前記任意切断面像作成手段は、異なる時相毎の積上げ三次元画像を任意断面で切断し、
    それぞれ切断された異なる時相毎の断面像を前記異なる心時相毎の複数の断層像から作成し、
    前記重畳画像作成手段は、前記異なる時相毎の複数の断層像の位置情報に基づいて前記異なる時相毎の積上げ三次元画像と前記異なる時相毎の任意切断面像との異なる時相毎の重畳画像を作成し、
    前記表示手段は、前記作成された異なる時相毎の重畳画像を表示することを特徴とする請求項1乃至7の何れか一項に記載の医用画像表示装置。
  9. 前記表示手段は、前記積上げ三次元画像を作成した複数の断層像を表示することを特徴
    とする請求項1乃至8の何れか一項に記載の医用画像表示装置。
  10. 医用画像撮影装置により得られた複数の断層像を入力する断層像入力工程と、該入力された複数の断層像を積上げて積上げ三次元画像を作成する三次元画像作成工程と、前記積上げ三次元画像を任意断面で切断し、その切断された断面像を前記複数の断層像から作成する任意切断面像作成工程と、前記断層像の位置情報に基づいて前記積上げ三次元画像と前記任意切断面像との重畳画像を作成する重畳画像作成工程と、前記作成された重畳画像を表示する表示工程と、前記表示工程によって表示された重畳画像のうちの積上げ三次元画像と任意切断面像のいずれか一方の表示角度を設定する設定工程と、
    を含むことを特徴とする医用画像表示方法。
  11. 前記三次元画像作成工程又は前記任意切断面像作成工程によって各々作成された積上げ三次元画像又は任意切断面像の少なくとも一方に透明度を設定する工程を含み、前記透明度設定工程によって透明度が設定された少なくとも前記三次元画像又は前記任意切断面像を作成すると共に、
    前記重畳画像作成工程は、前記積上げ三次元画像と任意切断面像との重畳画像を作成することを特徴とする請求項10に記載の医用画像表示方法。
  12. 前記積上げ三次元画像と前記任意切断面像少なくとも一方の画像の透明度が前記透明度設定工程によって変更設定されることで前記積上げ三次元画像及び前記任意切断面像を作成し、
    前記重畳画像作成工程はそれら作成された前記積上げ三次元画像及び前記任意切断面像から重畳画像を作成し、
    前記表示工程はその作成された重畳画像を表示することを特徴とする請求項11に記載の医用画像表示方法。
  13. 前記断層像入力工程は、医用画像撮影装置により得られた異なる時相毎の複数の断層像を入力する断層像入力し、
    前記三次元画像作成工程は、前記入力された異なる時相毎の複数の断層像を積上げ、異なる時相毎の積上げ三次元画像を作成し、
    前記任意切断面像作成工程は、異なる時相毎の積上げ三次元画像を任意断面で切断し、
    それぞれ切断された異なる時相毎の断面像を前記異なる時相毎の複数の断層像から作成し、
    前記重畳画像作成工程は、前記異なる時相毎の複数の断層像の位置情報に基づいて前記異なる時相毎の積上げ三次元画像と前記異なる時相毎の任意切断面像との異なる時相毎の重畳画像を作成し、
    前記表示工程は、前記作成された異なる時相毎の重畳画像を表示することを特徴とする請求項10乃至12の何れか一項に記載の医用画像表示方法。
  14. 医用画像撮影装置により得られた複数の断層像を入力する断層像入力処理と、該入力された複数の断層像を積上げて積上げ三次元画像を作成する三次元画像作成処理と、前記積上げ三次元画像を任意断面で切断し、その切断された断面像を前記複数の断層像から作成する任意切断面像作成処理と、前記断層像の位置情報に基づいて前記積上げ三次元画像と前記任意切断面像との重畳画像を作成する重畳画像作成処理と、前記作成された重畳画像を表示する表示処理と、前記表示処理によって表示された重畳画像のうちの積上げ三次元画像と任意切断面像のいずれか一方の表示角度を設定する設定処理と、を有したことを特徴とするコンピュータに実行させるための医用画像表示プログラム。
  15. 前記三次元画像作成処理又は前記任意切断面像作成処理によって各々作成された積上げ三次元画像又は任意切断面像の少なくとも一方に透明度を設定する処理を含み、前記透明度設定処理によって透明度が設定された少なくとも前記三次元画像又は前記任意切断面像を作成すると共に、
    前記重畳画像作成処理は、前記積上げ三次元画像と任意切断面像との重畳画像を作成することを特徴とする請求項14に記載のコンピュータに実行させるための医用画像表示プログラム。
  16. 前記積上げ三次元画像と前記任意切断面像少なくとも一方の画像の透明度が前記透明度設定処理によって変更設定されることで前記積上げ三次元画像及び前記任意切断面像を作成し、
    前記重畳画像作成処理はそれら作成された前記積上げ三次元画像及び前記任意切断面像から重畳画像を作成し、
    前記表示処理はその作成された重畳画像を表示することを特徴とする請求項15に記載のコンピュータに実行させるための医用画像表示プログラム。
  17. 前記断層像入力処理は、医用画像撮影装置により得られた異なる時相毎の複数の断層像を入力する断層像入力し、
    前記三次元画像作成処理は、前記入力された異なる時相毎の複数の断層像を積上げ、異なる時相毎の積上げ三次元画像を作成し、
    前記任意切断面像作成処理は、異なる時相毎の積上げ三次元画像を任意断面で切断し、
    それぞれ切断された異なる時相毎の断面像を前記異なる時相毎の複数の断層像から作成し、
    前記重畳画像作成処理は、前記異なる時相毎の複数の断層像の位置情報に基づいて前記異なる時相毎の積上げ三次元画像と前記異なる時相毎の任意切断面像との異なる時相毎の重畳画像を作成し、
    前記表示処理は、前記作成された異なる時相毎の重畳画像を表示することを特徴とする請求項14乃至16の何れか一項に記載のコンピュータに実行させるための医用画像表示プログラム。
JP2006536404A 2004-09-24 2005-09-22 医用画像表示装置及び方法並びにプログラム Active JP4798712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006536404A JP4798712B2 (ja) 2004-09-24 2005-09-22 医用画像表示装置及び方法並びにプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004276576 2004-09-24
JP2004276576 2004-09-24
JP2006536404A JP4798712B2 (ja) 2004-09-24 2005-09-22 医用画像表示装置及び方法並びにプログラム
PCT/JP2005/017446 WO2006033377A1 (ja) 2004-09-24 2005-09-22 医用画像表示装置及び方法並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2006033377A1 JPWO2006033377A1 (ja) 2008-05-15
JP4798712B2 true JP4798712B2 (ja) 2011-10-19

Family

ID=36090132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006536404A Active JP4798712B2 (ja) 2004-09-24 2005-09-22 医用画像表示装置及び方法並びにプログラム

Country Status (3)

Country Link
US (1) US7801346B2 (ja)
JP (1) JP4798712B2 (ja)
WO (1) WO2006033377A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4810395B2 (ja) * 2006-10-31 2011-11-09 株式会社東芝 医用画像生成装置及びその方法
JP5575356B2 (ja) 2006-11-17 2014-08-20 株式会社東芝 画像表示方法及びその装置並びに画像表示プログラム
JP4283303B2 (ja) * 2006-12-12 2009-06-24 ザイオソフト株式会社 画像表示制御装置、画像表示制御プログラム及び画像表示制御方法
WO2009016927A1 (ja) * 2007-07-31 2009-02-05 Hitachi Medical Corporation 医用画像表示装置、医用画像表示方法
US9058679B2 (en) 2007-09-26 2015-06-16 Koninklijke Philips N.V. Visualization of anatomical data
JP5484664B2 (ja) * 2007-09-28 2014-05-07 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像表示装置および放射線ct装置
JP5637653B2 (ja) * 2008-08-18 2014-12-10 株式会社東芝 医用画像処理装置、超音波診断装置、及び医用画像処理プログラム
CN102753103B (zh) * 2010-02-09 2015-09-30 株式会社日立医疗器械 超声波诊断装置以及超声波图像显示方法
WO2012176100A1 (en) * 2011-06-22 2012-12-27 Koninklijke Philips Electronics N.V. System and method for processing a medical image
JP5751993B2 (ja) * 2011-08-30 2015-07-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2013048688A (ja) * 2011-08-30 2013-03-14 Canon Inc 画像処理装置、画像処理方法及びプログラム
WO2013125276A1 (ja) * 2012-02-21 2013-08-29 株式会社 東芝 X線ct装置、画像表示装置、画像表示方法
JP6266217B2 (ja) * 2012-04-02 2018-01-24 東芝メディカルシステムズ株式会社 医用画像処理システム、方法及びプログラム
JP2014097309A (ja) * 2012-10-15 2014-05-29 Toshiba Corp 医用画像表示装置
JP6096473B2 (ja) * 2012-11-01 2017-03-15 東芝メディカルシステムズ株式会社 医用画像診断装置、および、医用画像処理方法
JP6122495B2 (ja) 2013-06-11 2017-04-26 敦 丹治 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
JP6229342B2 (ja) * 2013-07-18 2017-11-15 富士通株式会社 プログラム、表示調整支援方法及び表示調整支援装置
JP5800039B2 (ja) * 2014-01-22 2015-10-28 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置
JP6985053B2 (ja) * 2017-07-28 2021-12-22 キヤノンメディカルシステムズ株式会社 超音波画像診断装置、医用画像診断装置及び医用画像表示プログラム
JP6921711B2 (ja) * 2017-10-31 2021-08-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019130827A1 (ja) * 2017-12-25 2019-07-04 キヤノン株式会社 画像処理装置およびその制御方法
US11550012B2 (en) * 2018-06-11 2023-01-10 Canon Medical Systems Corporation Magnetic resonance imaging apparatus and imaging processing method for determining a region to which processing is to be performed

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014484A (ja) * 1999-07-01 2001-01-19 Japan Radio Co Ltd 3次元可視化装置
JP2002245487A (ja) * 2001-02-20 2002-08-30 Toshiba Medical System Co Ltd 画像表示装置、画像表示方法、画像処理装置、及び医用画像診断装置
JP2002336255A (ja) * 2001-05-14 2002-11-26 Hitachi Medical Corp 超音波診断装置
JP2004008350A (ja) * 2002-06-04 2004-01-15 Hitachi Medical Corp 超音波診断装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0673661B1 (en) * 1994-03-25 2003-03-12 Kabushiki Kaisha Toshiba Radiotherapy system
US7245754B2 (en) * 2000-06-30 2007-07-17 Hitachi Medical Corporation image diagnosis supporting device
JP4393016B2 (ja) * 2000-06-30 2010-01-06 株式会社日立メディコ 画像診断支援装置
US6901277B2 (en) * 2001-07-17 2005-05-31 Accuimage Diagnostics Corp. Methods for generating a lung report
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014484A (ja) * 1999-07-01 2001-01-19 Japan Radio Co Ltd 3次元可視化装置
JP2002245487A (ja) * 2001-02-20 2002-08-30 Toshiba Medical System Co Ltd 画像表示装置、画像表示方法、画像処理装置、及び医用画像診断装置
JP2002336255A (ja) * 2001-05-14 2002-11-26 Hitachi Medical Corp 超音波診断装置
JP2004008350A (ja) * 2002-06-04 2004-01-15 Hitachi Medical Corp 超音波診断装置

Also Published As

Publication number Publication date
US20070293755A1 (en) 2007-12-20
WO2006033377A1 (ja) 2006-03-30
JPWO2006033377A1 (ja) 2008-05-15
US7801346B2 (en) 2010-09-21

Similar Documents

Publication Publication Date Title
JP4798712B2 (ja) 医用画像表示装置及び方法並びにプログラム
JP5417609B2 (ja) 医用画像診断装置
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
JP4958901B2 (ja) 医用画像表示システム及び医用画像表示プログラム
JP4786307B2 (ja) 画像処理装置
JP2007282656A (ja) 医用画像表示装置
JP5399407B2 (ja) 画像処理装置及び画像処理方法
US10537293B2 (en) X-ray CT system, image display device, and image display method
JP5492024B2 (ja) 領域分割結果修正装置、方法、及びプログラム
JP2001167251A (ja) 医療用画像処理装置
JP2006305204A (ja) Ct画像表示方法及び装置
JP5000976B2 (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理方法
WO2020205714A1 (en) Surgical planning, surgical navigation and imaging system
JP5454841B2 (ja) 医用画像処理装置
JP3856406B2 (ja) 画像処理装置
JP5595207B2 (ja) 医用画像表示装置
CN114391158A (zh) 用于在虚拟多用户协作中分析医学图像数据的方法、计算机程序、用户接口和系统
JP5398791B2 (ja) 医用画像表示装置
JP6433190B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5305635B2 (ja) 医用画像表示装置
JP2014050465A (ja) 画像処理装置及び関心領域設定方法
JP4305991B2 (ja) 画像表示装置
JP4497965B2 (ja) 医用画像表示装置
JP5196714B2 (ja) 画像表示装置及び画像表示プログラム
JP5592655B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110728

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110729

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4798712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250