JP5639739B2 - 複数のビューのボリューム・レンダリングのための方法及びシステム - Google Patents

複数のビューのボリューム・レンダリングのための方法及びシステム Download PDF

Info

Publication number
JP5639739B2
JP5639739B2 JP2008161138A JP2008161138A JP5639739B2 JP 5639739 B2 JP5639739 B2 JP 5639739B2 JP 2008161138 A JP2008161138 A JP 2008161138A JP 2008161138 A JP2008161138 A JP 2008161138A JP 5639739 B2 JP5639739 B2 JP 5639739B2
Authority
JP
Japan
Prior art keywords
image
viewing direction
views
data set
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008161138A
Other languages
English (en)
Other versions
JP2009011827A (ja
JP2009011827A5 (ja
Inventor
セヴァルド・ベルグ
スタイン・インジ・ラッベン
シグムンド・フリグスタッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2009011827A publication Critical patent/JP2009011827A/ja
Publication of JP2009011827A5 publication Critical patent/JP2009011827A5/ja
Application granted granted Critical
Publication of JP5639739B2 publication Critical patent/JP5639739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/465Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Generation (AREA)

Description

本発明は、一般的に云えば、医用イメージング・システムに関するものであり、より具体的には、医用イメージング・システムによって取得された同じデータ・セットから複数のボリューム・レンダリングを行うことに関するものである。
医用イメージング・システムは、患者の様々な領域又は区域(例えば、様々な器官)をイメージングするために様々な用途で使用されている。例えば、超音波イメージングは心臓の画像を生成するために使用することができる。次いで、これらの画像はユーザによる検討及び分析のために表示される。これらの画像はまた、関心のある様々な領域又は物体をより良く観察し又は視覚化するように修正又は調節することができる。
ボリューム・レンダリングによる視覚化は、三次元データ・セットに基づいて写実的な画像(例えば、三次元画像)を生成する公知の技術である。例えば、三次元データは任意の視方向(又は観察方向)に投影して二次元画像を形成することができる。この投影は、既知のアルゴリズムを使用して、例えば、レイトレーシング・アルゴリズム及び改良照明モデルを使用して、遂行することができる。ユーザは典型的には、例えば被撮像物体を異なる角度又は視点から見ることができるように、画像についての視方向を調節することができる。例えば、ユーザは、心臓の周りの複数の異なる場所で心臓の画像を取得して観察することができる。ユーザはまた、記憶されているデータを操作して、複数の異なるビューを生成することができる。
ボリューム・イメージングにおいて、別の重要な機能は、物体の内部を見るために被撮像物体の一部分を切り取る能力である。切り取り機能は様々なやり方で遂行することができる。切り取り(cropping)は通常、被撮像物体の中に切り込む平面を規定することによって行われ、該平面の一方の側に有る物体の部分がレンダリングから除かれる。
ボリューム・イメージングを使用して物体を視覚化するときに様々な課題が生じる。ボリューム超音波を使用して人の心臓を視覚化する場合の一つの課題は、三次元データ内で操作して、複数の異なる角度から解剖学的構造を特定して、臨床的に適切なビューを生成することである。典型的には、オペレータが手動により、他の以前に規定されたビューと何ら関係のないランダムな場所でボリュームを切断することによって単一のレンダリング・ビューを規定している。例えば、オペレータは、心臓の1つのビューを生成するために、画像を切り取って単一のビューを生成し、次いで該画像を回転及び/又は平行移動して別のビューを生成し、次いで該画像を別の場所で再び切り取って別のビューを生成する。この処理は、異なるビューを規定する複数の異なる画像が生成されるまで繰り返えされる。
このように、或る画像の複数の異なるビューを規定し生成する手動の処理は、単調でつまらなく且つ時間がかかる。加えて、生成される複数のビューは、複数の異なる視点から関心のある領域(一つ又は複数)全体を捕捉できないことがあり、この結果として潜在的に画像の臨床的に関係のある部分を排除して、不適切な診断を生じさせる虞がある。
本発明の一実施形態によれば、物体の複数の画像ビューを生成するための方法を提供する。本方法は、物体の画像に対する複数の視方向を特定する段階と、前記複数の視方向に基づいて三次元データ・セットを自動的にボリューム・レンダリングする段階を含む。本方法は更に、レンダリング後のデータを使用して、各々の視方向についての画像を生成する段階を含む。
本発明の別の実施形態によれば、三次元データ・セットの複数のボリューム・レンダリングを視覚化するための方法を提供する。本方法は、三次元データ・セットについて少なくとも1つの切り取り(crop)平面を特定する段階と、前記少なくとも1つの切り取り平面に基づいて前記三次元データ・セットを使用して複数の異なるビューを自動的に生成する段階とを含む。本方法は更に、前記複数の異なるビューの画像を単一の表示装置上に表示する段階を含む。
本発明の更に別の実施形態によれば、三次元(3D)超音波データ・セットを規定する三次元(3D)超音波画像データを取得するように構成されているプローブを含む超音波イメージング・システムを提供する。超音波イメージング・システムは更に、少なくとも1つの視方向及び少なくとも1つの切り取り平面に基づいて前記3D超音波データ・セットの異なる画像ビューをボリューム・レンダリングするように構成されている多重ボリューム・レンダリング・モジュールを含む。
本発明の上記の概要、並びに様々な特定の実施形態についての以下の詳しい説明は、添付の図面を参照して読めば、より良く理解されよう。図面には様々な実施形態の機能ブロックを線図で示しているが、それらの機能ブロックは必ずしもハードウエア回路間の区分を表すものではない。従って、例えば、1つ又は複数の機能ブロック(例えば、処理装置又はメモリ)は単一体のハードウエア(例えば、汎用信号処理装置又はランダム・アクセス・メモリの一ブロック、ハードディスクなど)で具現化することができる。同様に、プログラムは、独立型プログラムであってよく、またオペレーティング・システム内のサブルーチンとして組み込むことができ、またインストールされたソフトウエア・パッケージ内の機能などであってよい。ここで、様々な実施形態は図面に示された配置構成及び手段に制限されないことを理解されたい。
また本書において、単に「素子」又は「段階」と記載することがあるが、特に明記していない場合、これは複数の素子又は段階を排除するものではないことを理解されたい。更に、本発明の「一実施形態」と云う場合、これは、その記載した特徴を取り入れていない付加的な実施形態の存在を排除するものとして解釈すべきではない。また更に、特定の特性を持つ1つ又は複数の素子を「有する」又は「持っている」実施形態は、特に否定しない限り、その特性を持たない付加的な同様な素子を含むことができる。
図1は、超音波システム100のブロック図を示す。超音波システム100は、超音波パルス信号を身体内に放出させるためにプローブ106内の複数のトランスデューサ素子104を駆動する送信器102を含む。超音波信号すなわち送信ビームは、血球又は筋肉組織のような身体内の構造から後方散乱されて、複数のトランスデューサ素子104へ戻るエコーすなわち戻りビームを生成する。戻ってくるエコーは複数のトランスデューサ素子104によって電気エネルギへ変換され、それらの電気エネルギは受信器108で受信される。受信された信号はビームフォーマ110に通され、ビームフォーマ110はビーム形成を行ってRF信号を出力する。ここで、複数のトランスデューサ素子の信号を組み合わせてビームの操向及び集束を行うことによって送信ビーム形成も得られることに留意されたい。RF信号はRF処理装置112を通過する。代替態様として、RF処理装置112は、RF信号を復調して、エコー信号を表すIQデータ対を形成する複素復調器(図示せず)を含むことができる。次いで、RF又はIQ信号データは一時的な保存のためにメモリ114、例えば、RF/IQバッファへ直接送ることができる。
ユーザ入力装置120(これは、キーボード、トラックボール、制御ボタンなどを持つユーザ・インターフェースとして構成することができる)を使用することにより、超音波システム100の動作を制御すること、例えば、患者データ及び走査パラメータの入力を制御し、異なるビュー方向又は切り取り平面を選択又は規定することができ、更にまた、マクロフォン230を介して供給される音声指令を使用することを含むことができる。他の装置を設けることができ、例えば、超音波システム100の動作を制御するために一組のユーザ制御部を構成することができ、またこれらのユーザ制御部は、タッチスクリーン又はパネルの一部として、またユーザ操作可能なスイッチ、ボタンなどのような手動入力として設けることができる。一組のユーザ制御部は、手動で操作できるもの又は音声で作動されるものにすることができる。
超音波システム100はまた、取得された超音波情報(すなわち、RF信号データ又はIQデータ対)を処理し且つ表示装置118上に表示するために超音波情報のフレームを生成するための処理装置116(例えば、処理装置モジュール)を含む。処理装置116は、取得された超音波情報について複数の選択可能な超音波モダリティに従った1つ以上の処理動作を遂行するように構成されている。取得された超音波情報は、エコー信号を受信する走査期間中に実時間で処理することができる。追加態様として又は代替態様として、超音波情報は、走査期間中にメモリ114に一時的に保存して、生の動作又はオフライン動作において後で処理することができる。画像メモリ122が、直ちに表示する予定になっていない取得された超音波情報の処理済みのフレームを記憶するために設けられる。画像メモリ122は任意の既知のデータ記憶媒体を有することができる。
多重ボリューム・レンダリング・モジュール124(以後、ボリューム・レンダリング・モジュール124と呼ぶ)が、メモリ122内に記憶されている視方向データ/切り取り平面データ126にアクセスして、三次元(3D)超音波データ・セットに基づいて物体(例えば、心臓)についての複数のボリューム・レンダリングを自動的に視覚化することができる。ボリューム・レンダリング・モジュール124はハードウエア、ソフトウエア又はそれらの組合せで具現化することができる。ボリューム・レンダリング及び計算、並びに切り取り平面及びビュー平面の表示は、専用グラフィックス・ハードウエア及び/又は処理装置を使用して、グラフィックス処理ユニット(GPU)で、又は任意の種類の処理装置を使用するソフトウエアで具現化することができる。複数のレンダリングは、ユーザによって選択された1つ以上の切り取り平面によって規定することができ且つまた以下により詳しく説明されるようにリンクし、関連付け、或いは接続することができるメモリ(例えば、固定されたメモリ又は取外し可能なメモリ)に記憶されている単一のデータ・セットから生成される。
表示装置118は、診断及び分析のためにユーザに対して診断用超音波画像を含む患者情報を提示する1つ以上のモニタを含む。表示装置118は、メモリ114又は122(又は、他のメモリ装置)に記憶された3D超音波データ・セットから複数のビュー、例えば、4つ組フォーマットであってよい心臓の複数のレンダリング・ビューを自動的に表示する。また、ボリューム・レンダリング後の画像を表示するために専用3D表示装置を使用することもできる。メモリ114及びメモリ122の内の一方及び両方は超音波データの三次元データ・セットを記憶することができ、その場合、このような3Dデータ・セットは2D及び3D画像を提供するためにアクセスされる。3D超音波データ・セットは、1つ以上の画像ビューと共に、対応するメモリ114又は122の中にマッピングされる。ビューの位置及び配向はユーザ入力120からの指令に基づいて制御することができる。
システム100は、三次元データ・セットを、様々な技術(例えば、3D走査、実時間3Dイメージング、ボリューム走査、位置決めセンサを持つトランスデューサによる2D走査、ボクセル相関技術を使用するフリーハンド走査、2D又はマトリクス・アレイ・トランスデューサなど)によって取得する。2D走査の場合、トランスデューサ106が、関心のある領域(ROI)を走査しながら、例えば直線又は弓形経路に沿って、動かされる。各々の直線又は弓形経路上の位置において、トランスデューサ106は走査平面を取得し、これらの走査平面はメモリ114に記憶される。トランスデューサの2Dアレイによる3D走査の場合、関心のある領域の一部分又は全体を含むボリュームが実時間で走査される。
ここで、システム100に関して説明した機能はどのような超音波システムの種類にも制限されないことを理解されたい。例えば、システム100は台車をベースとしたシステムに収納することができ、又は図2に示される様なより小形の可搬型システムで具現化することができる。
図2は、超音波データを取得するように構成されているプローブ106を持つ小型超音波システム100を示す。本書で用いる「小型」とは、超音波システムが手持ち型又は持ち運び型であること、或いは人の手で、ブリーフケース状のケースの中に入れて、又はリュックサックの中に入れて運ばれるように構成されていることを意味する。例えば、超音波システム10は、典型的なラップトップ・コンピュータの大きさを持つ持ち運び型の装置であってよい。また、一体型表示装置134(例えば、内部表示装置)が設けられ、該装置は1つ以上の医学的画像を表示するように構成されている。
超音波データは、有線又は無線のネットワーク133(又は、例えば、直列又は並列ケーブル又はUSBポートを介しての直接接続)により外部装置136へ送ることができる。実施形態によっては、外部装置136は、コンピュータ、或いは表示装置を持つワークステーションであってよい。この代わりに、外部装置136は、持ち運び型超音波イメージング・システム100から画像データを受け取り且つ一体型表示装置134よりも高い解像度を持つことのある画像を表示又は印刷することができる別個の外部表示装置又はプリンタであってよい。
ユーザ・インターフェース140(これはまた、一体型表示装置134を含んでいてよい)がオペレータからの指令を受け取るために設けられる。取得する画像データは、一体型表示装置134で表示することのできるものよりも高い分解能で取得することができる。
別の例として、超音波システム100はポケット・サイズの超音波システムであってよい。ポケット・サイズの超音波システムは、表示装置、ユーザ・インターフェース(すなわち、キーボード)及びプローブへの接続のための入力/出力(I/O)ポート(全て図示していない)を含むことができる。ここで、様々な実施形態は異なる寸法、重量及び電力消費を持つ小型超音波システムに関連して具現化することができることに留意されたい。
様々な実施形態は、任意の診断用イメージング・システムに関連して、例えば、とりわけ、超音波イメージング・システム、X線イメージング・システム、コンピュータ断層撮影(CT)イメージング・システム、単一光子放出型コンピュータ断層撮影(SPECT)システム、陽電子放出型断層撮影(PET)イメージング・システム、核医学イメージング・システム、磁気共鳴イメージング(MRI)システム、及びそれらの組合せ(例えば、マルチモダリティ・イメージング・システム)のような、異なる種類の医用イメージング・システムに関連して具現化することができる。更に、様々な実施形態は、人を対象としてイメージングするための種々の医用イメージング・システムに制限されず、人以外の物をイメージングするため、及び非破壊イメージング又は試験、保安用イメージング(例えば、空港手荷物検査)などのための非医用システムを含むことができる。
様々な実施形態において、ユーザ入力120は、1つ以上の視方向及び/又は切り取り平面(該平面は「切断平面」とも呼ぶことができる)を規定することによって1つ以上のレンダリング・ビューを選択するために使用することができる。例えば、平面の配向及び位置を含めて1つ以上の平面を指定することができる。また、例えば、平面の大きさ及び形状を調節し、基準座標系に対して平面の位置を平行移動及び回転させることなどのために、追加のパラメータを規定することができる。1つ以上の視方向を規定すると、ボリューム・レンダリングがメモリに記憶されているただ一セットの3D超音波データから自動的に遂行される。例えば、データは視方向データ/切り取り平面データ126(図1に示す)として記憶させることができる。このように、複数のビューを規定すると、対応する画像が自動的にレンダリングされリンクされる。例えば、本発明の様々な実施形態により、或る心臓についての複数の標準的な心エコー・ビューを同時に生成し、次いで表示することができる。
ボリューム・レンダリング・モジュール124は1つ以上の視方向又は切り取り平面を3D超音波データ・セットの中にマッピングして、自動的に異なるビューを対応的にレンダリングする。表示装置118は、このレンダリング後のデータに関連した画像ビューを選択的に表示する。メモリ114又は122は、1つ以上のビュー(例えば、場所の座標)についてのビュー位置データ及び/又は切り取り平面データを記憶する。随意選択により、メモリ114又は122は、ビューについての位置及び切り取り平面データに関連して、複数のビューを規定する視方向及び平面の座標以外の情報、例えば、画像内の選択された位置又は領域を記憶することができる。
本発明の様々な実施形態は、関心のある物体160又は領域(例えば、心臓)の複数のレンダリング・ビューを構成する方法を提供する。これらのレンダリング・ビューは解剖学的に既知の構造又は解剖学的に既知のビュー位置に基づいて規定することができる。例えば、図3は、三次元データセット又は物体160へ向かって方向付けられ且つ視方向164を持つビュー平面162を例示する。データ・セット内には、切り取り平面166が規定されており、これは、例えば、空間内でランダムに規定することが可能である。切り取り平面166は物体160を2つの部分に分割し、それらは、ビュー平面162によって規定されるようなレンダリング後の画像に示される視覚可能な部分168と、レンダリング後の画像では視覚可能ではない切り落とされる部分170とである。本発明の様々な実施形態では、複数のこのようなビュー平面162及び切り取り平面166を同時に用いることができる。
別の例として、図4に示されるように、1つ以上の視方向(図には矢印1、2、3...Nで示す)をデータ・セット内の何処でも規定して関心のある物体450へ方向付けることができる。各々の視方向について、ボリューム・レンダリングが自動的に遂行されて、複数の画像が生成され、それらの画像は表示装置上に一緒に(例えば、4つ組形式のビューで)表示することができる。図4に示されているように、複数の視方向を選択することができる。例えば、ユーザは、マウス又はトラックボールを使用して、矢印で示されるような物体450の領域を選択することによって、1つ以上のビューを選択することができる。次いでユーザは、物体の表面に対する方向の角度を変えることによって、視方向を修正することができる。視方向は、例えば、マウス又はトラックボールを使用して変えることができる。例えば、反対側のビューが得られるように180°離れれている様な所定の一組の方向を選ぶことによって、1つ以上の視方向を選択することができる。他の角度もまた規定することができる。代替態様として、ユーザはマウス又はトラックボールを使用して対話式に視方向を変更することができる。また、1つの視方向を変更したときに、他の関連した視方向(例えば、所定の一組の中の他の視方向)もまた、例えば、180°の差を保つように変更されるように、視方向を互いに一緒にリンクさせることができる。代替態様として、視方向は独立に変更してもよい。
物体450の画像はまた、1つ以上の切り取り平面452(例えば、二次元(2D)切断平面)を設けることによって切り取ることができる。物体450はまた切り取りして、図5に示されるように画像の他の部分を除去し且つ視方向を規定することができる。
これらの視方向は、ビューの間の相対的な位置を保ちながら、例えば、ビュー平面相互の間の角度を保ちながら、同時に変更することができる。一例として、2つのビューを、図6に示されているように、180°離して生成することができる。図6は、ビュー470及び472にそれぞれ動脈側及び心室側から同時に見た心臓の僧帽弁を示している。この例で、ビューが180°離れているとき、構造を反対側から見た2つの画像が示される。ユーザが視方向を変えたとき、両方のビューが変更される。
ここで、図7に示されるように複数の切り取り平面452を対応する視方向と共に規定することができることに留意されたい。図示例では、前と同様に、切り取り平面452を線で示し、対応する視方向を矢印で示している。視方向は切り取り平面452に対して垂直に示しているが、切り取り平面452に対して角度を付けることができる。次いで、複数の画像460を、ユーザ選択の切り取り平面及び視方向に基づいて生成して表示装置462上に一緒に表示するか、又は、例えば、所定の一組のビューに基づいて生成することができる。本質的に、複数の対応するボリューム・レンダリングがメモリに記憶された単一の3D超音波データ・セットから生成されて、同時に表示される。例えば、図8に示されているように、複数の画像460は、心臓の標準的な尖端平面及び僧帽弁の短軸ビューによって規定された画像であってよい。しかしながら、異なるレイアウトが考えられ、また様々な実施形態は4つ組形式のビュー又は配列に制限されない。また、ユーザは、前に述べたように特定の又は特別な視方向及び切り取り平面452を選択することによって異なるビューを規定することができる。標準的なビューにおける平面の位置は、整列方法を使用して規定することができ、この場合、ユーザは、例えば心臓の標準的な2Dビューに従っている2D切断平面を生成するために、3Dデータセットの配向を再調節する。これらの切断平面は、切り取り平面として用いることができる。
再び図7について説明すると、複数の切り取り平面452(従って、ビュー)は交差することが可能である。そのときの各々の表示ビューは、他の切り取り平面452とは独立に物体450の異なる部分を示す。しかしながら、図9に示されているように切り取り平面452をオーバーラップさせることができ、それらの視方向(1及び2)によって規定される対応するボリューム・レンダリングは同時に表示される。この構成は、物体450全体を網羅するように物体450の2つのビューを同時に表示するために使用することができる。例えば、図10に示されているように、1つの切り取り平面を使用して左心室の2つのビューが表示され、2つの異なる方向から示されているビュー480及び482が心腔全体の表示を可能にする。従って、左心室尖端四腔ビューが2つの方向から同時に表示され、この場合、標準的な尖端四腔ビュー480が前壁を示し、またビュー482が後壁/下壁を示す。
ここで、本書で述べる様々な表示形式及びモードが、超音波システム100を使用してデータ取得中に、又は超音波システム100を使用して以前に取得したデータについて、又はレビュー・ステーションのような別のシステムで、生成することができることに留意されたい。更に、特定の複数の切り取り平面、従って同時表示が、予め規定された位置に基づいて、例えば、解剖学的に規定された位置に基づいて定められることに留意されたい。例えば、心エコー法では、3つの標準的な画像又は位置(すなわち、四腔ビュー、二腔ビュー及び長軸ビュー)が解剖学的構造を用いて特定され、対応的に3D超音波データが切り取られ、そしてこれらのビューのボリューム・レンダリングがスクリーン上に同時に表示される。
図11は、物体の複数の異なるビューの画像を自動的に生成するための方法500を例示する。詳しく述べると、段階502で、走査データを取得し又は入手する。例えば、メモリから記憶されている3D超音波データ・セットを入手することができ、或いは取得することができる。ここで、データを取得しているときに、該データを一時的に保存して、後でアクセスするようにできることに留意されたい。その後、段階504で、切り取りが遂行されていたかどうかについて判定する。例えば、切り取り平面がユーザによって供給され又は規定されているかどうか判定することができる。切り取りが遂行されていた場合、段階506で、切り取り平面についての座標が特定されて記憶され、それには座標の平行移動及び回転の両方を含むことができる。例えば、切り取り平面によって包含されている画像の各ボクセルについてのデカルト座標が記憶される。代替態様として、それらの平面は、表面法線及び原点までの距離を使用して記憶することができる。
ここで、切り取り平面を特定するために解剖学的マーカーを使用することができ、また使用する解剖学的構造を承認するようにユーザに催促することができることに留意されたい。例えば、心臓の画像においては、公知の検出方法を使用して又はユーザによって、僧帽弁輪の位置を特定することができ、且つ切り取り平面を僧帽弁輪の位置に対して規定することができる。また、尖端四腔ビューのような標準的な2D心エコー・ビューはユーザによって特定することができ且つ切り取り平面を規定するために使用することができる。
段階506で座標が記憶されたとき、又は段階504で何ら切り取りが遂行されていないと判定された場合、段階508で、1つ以上の視方向が規定されているかどうか判定する。例えばユーザによって、視方向が規定されていた場合、段階510で、該視方向が特定される。例えば、任意の規定された平面についての視方向に対応するビュー位置(例えば、座標)が決定される。何ら視方向が規定されていないと段階508で判定された場合、段階512で、予め規定された又は予め決定されたビューが選択される。例えば、本書で述べるように標準的なビューを選択して特定することができる。
その後、又は段階510でビュー位置を記憶した後、段階514で、ボリューム・レンダリングを遂行する。詳しく述べると、視方向に基づいて、且つ、随意選択により、選択された切り取り平面に基づいて、別々の画像ビューが生成される。ボリューム・レンダリングは同じ3D超音波データ・セットについて遂行される。例えば、ボリューム・レンダリングは、メモリに記憶されている単一のデータ・セットを処理することによって遂行される。ボリューム・レンダリングを生じるための1つの方法は、ボリューム、例えば、物体に射線を投射して、射線が物体の背後の平面を通過するときの「射線値」を記録することである。ビュー平面に記録された「射線値」は、視点からビュー平面までの経路に沿った全てのボクセルの値の組合せである。この組合せは、例えば、各々に「オパシティ」と呼ばれる重み係数を乗算したボクセル値の和であってよい。従って、各々の視方向について、同じ技術が同じ同じデータ・セットに適用される。
このように、関心のある物体又は領域の複数のビューが同じデータ・セットから生成され、また各々のビューは記憶されている座標情報に基づいて他のビューとリンクさせ又は関連付けることができる。メモリに記憶されているデータ・セットについての単一の動作で異なる画像ビューが生成される。これらのビューは、同じデータセットについての異なる方向からの複数のボリューム・レンダリングによって生成される。次いで、段階516で、画像ビューは表示され、例えば、分割画面又は4つ組画面形式などで、画面(単一の表示装置)上に同時に表示される。
このように、視方向と切り取り平面とにより、異なる画像ビューが生成されて表示される。例えば、同じ切り取り平面(1つ又は複数)を使用することによって、様々な視方向をリンクすることができるが、相対位置が保たれる場合には異なる角度から観察することができる。更に、ボリューム・レンダリングは同じデータ・セット(例えば、メモリに記憶されている単一のデータ・セット)から生成されるが、例えば、メモリに数回ロードされた同じデータ・ファイルについては遂行されない。
本発明の少なくとも1つの実施形態の技術的効果には、単一のデータ・セットを使用することによって物体の複数のビューのレンダリングを容易にすることが含まれる。視方向を使用して、また随意選択により、切り取りを使用して、複数の画像ビューが生成され、且つ記憶されている座標情報に基づいてリンクされる。次いで、これらの画像ビューは同時に表示することができる。
様々な実施形態及び/又は構成要素、例えば、モジュール、又はその中の構成要素及び制御装置はまた、1つ以上のコンピュータ又は処理装置の一部として具現化することができる。コンピュータ又は処理装置は、計算装置、入力装置、表示ユニット、及び例えばインターネットにアクセスするためのインターフェースを含むことができる。コンピュータ又は処理装置はマイクロプロセッサを含むことができる。マイクロプロセッサは通信母線に接続することができる。コンピュータ又は処理装置はまた、メモリを含むことができる。メモリには、ランダム・アクセス・メモリ(RAM)及び読出し専用メモリ(ROM)を含むことができる。コンピュータ又は処理装置は更に記憶装置を含むことができ、それは、ハードディスク・ドライブ、或いは、フレキシブル・ディスク・ドライブ、光ディスク・ドライブなどのような取外し可能な記憶媒体のドライブであってよい。記憶装置はまた、コンピュータ・プログラム又は他の命令をコンピュータ又は処理装置にロードするための他の同様な手段であってよい。
本書で用いられる用語「コンピュータ」には、マイクロコントローラ、縮小命令セット・コンピュータ(RISC)、特定用途向け集積回路(ASIC)、論理回路、及び本書で述べた機能を実行することの可能なに任意の他の回路又は処理装置を使用するシステムを含む、任意の処理装置をベースとした又はマイクロプロセッサをベースとしたシステムを含むことができる。上記の例は典型的なものに過ぎず、従っていずれにしても用語「コンピュータ」の定義及び/又は意味を制限するものではない。
コンピュータ又は処理装置は、入力データを処理するために、1つ以上の記憶素子に記憶されている一組の命令を実行する。記憶素子はまた、希望されるとき又は必要とされるとき、データ又は他の情報を記憶することができる。記憶素子は、情報源又は処理機械内の物理的メモリ素子の形態であってよい。
一組の命令は、本発明の様々な実施形態の方法及び処理のような特定の動作を遂行するために処理機械としてコンピュータ又は処理装置に命令する様々なコマンドを含むことができる。一組の命令は、ソフトウエア・プログラムの形態であってよい。ソフトウエアは、システム・ソフトウエア又はアプリケーション・ソフトウエアのような様々な形態であってよい。更に、ソフトウエアは、一群の別々のプログラム、より大きなプログラム内のプログラム・モジュール、又はプログラム・モジュールの一部分の形態であってよい。ソフトウエアはまた、オブジェクト指向プログラミングの形態でモジュラー・プログラミングを含むことができる。処理機械による入力データの処理は、ユーザ指令に応答するもの、又は以前の処理の結果に応答するもの、又は別の処理機械によってなされた要求に応答するものであってよい。
本書で用いられる用語「ソフトウエア」及び「ファームウエア」は相互に交換可能であり、またRAMメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ及び不揮発性RAM(NVRAM)メモリを含む、コンピュータによって実行するためにメモリに記憶されている任意のコンピュータ・プログラミングを含む。上記のメモリの種類は典型的なものに過ぎず、従ってコンピュータ・プログラミングの記憶のために使用可能なメモリの種類について制限するものではない。
また、上記の記載が説明のためのものであって、制限するためのものではないことを理解されたい。例えば、上述の様々な実施形態(及び/又はその様々な態様)は互いに組み合わせて用いることができる。その上、特定の状況又は材料を本発明の範囲から逸脱せずに本発明の教示に適応させるように多くの修正を為すことができる。本書で述べた材料の寸法及び種類が本発明のパラメータを規定することを意図しているが、それらは制限ではなく、模範的な実施形態である。上記の説明を検討すると、当業者には多くの他の実施形態が明らかであろう。従って、発明の範囲は、特許請求の範囲の記載と共に、該記載と等価な全ての範囲を参照して決定すべきである。特許請求の範囲の記載では、「含む」及び「その場合において」と云う用語は「有する」及び「その場合」と云う用語とそれぞれ等価なものとして用いられている。更に、特許請求の範囲の記載において、「第1」、「第2」、「第3」などの用語は単にラベルとして用いられていて、それらの対象について数に関する要件を課しているものではない。更に、特許請求の範囲が「手段+機能」形式で記載されていず、また特許請求の範囲は、構造についての記載のない機能の記述の後に用語「手段」を記載したものでないなら、米国特許法35U.S.C.ξ112、第6項に基づいて解釈されるべきではない。
本発明の一実施形態に従って形成された超音波システムのブロック図である。 本発明の一実施形態に従って形成された小型超音波システムの絵画図である。 本発明の一実施形態に従った被撮像物体についてのビュー平面及び切り取り平面を例示する概略図である。 本発明の一実施形態に従って規定された被撮像物体の複数のビューを例示する概略図である。 本発明の一実施形態に従って規定された切り取った被撮像物体の複数のビューを例示する概略図である。 本発明の一実施形態に従って生成され且つ図5の切り取りに対応する僧帽弁の2つのビューの画像の写図である。 本発明の一実施形態に従って規定された被撮像物体の複数のビュー及び複数の交差する切り取り平面を例示する概略図である。 本発明の一実施形態に従って生成され且つ図7の切り取りに対応する心臓の標準的なビューの画像の写図である。 本発明の一実施形態に従って規定された被撮像物体の複数のビュー及び複数のオーバーラップする切り取り平面を例示する概略図である。 本発明の一実施形態に従って生成され且つ図9の切り取りに対応する心臓の2つの画像の写図である。 本発明の様々な実施形態に従って物体の複数の異なるビューの画像を自動的に生成するための方法の流れ図である。
符号の説明
100 超音波システム
104 トランスデューサ素子
106 プローブ
114 メモリ
134 一体型表示装置
140 ユーザ・インターフェース
160 関心のある物体
162 ビュー平面
164 視方向
166 切り取り平面
168 視覚可能な部分
170 切り落とされる部分
450 関心のある物体
452 切り取り平面
460 複数の画像
462 表示装置
470 ビュー
472 ビュー
480 ビュー
482 ビュー

Claims (7)

  1. 物体(450)の複数の画像(460)をプロセッサが生成するための方法であって、
    物体(450)の画像に対する複数の切り取り平面(452)であって、それぞれが所望の配向及び位置を有する複数の切り取り平面(452)を、対応する視方向(164)と共に特定する段階と、
    前記複数の視方向(164)に基づいて三次元データ・セットをボリューム・レンダリングする段階と、
    前記レンダリング後のデータを使用して、各々の視方向(164)と切り取り平面(452)の組み合わせについての画像(460)を生成し、各々の視方向(164)からの前記画像(460)を表示する段階と、
    前記複数の画像(460)の内の第1の画像の視方向(164)を変更する段階と、
    前記複数の視方向(164)同士の相対的な位置を保つように前記プロセッサが前記複数の視方向(164)の他の視方向(164)を変更する段階と、
    前記他の視方向(164)を変更した後に、前記レンダリング後のデータを使用して、前記他の視方向(164)に対応する第2の画像を前記プロセッサが生成する段階と、
    前記第1及び第2の画像をそれぞれの変更後の視点から表示する段階と、
    を有し、
    前記複数の視方向(164)は予め決定された複数の視方向(164)により選択され、
    前記レンダリング後のデータにおいて複数の所定の解剖学的構造マーカーを検出する段階と、
    前記複数の解剖学的構造マーカーの内のユーザへの催促に応じて特定された解剖学的構造マーカーを使用して前記複数の切り取り平面(452)を特定する段階を有している、
    方法。
  2. 更に、前記複数の視方向(164)を規定するユーザ入力(120)を受け取る段階を有している請求項記載の方法。
  3. 2つの前記視方向(164)を180°離れるように選択することができる、請求項またはに記載の方法。
  4. 前記三次元データ・セットが、メモリに格納された単一の超音波データ・セットを含む請求項1乃至のいずれかに記載の方法。
  5. 前記超音波データ・セットが心臓の画像を含む請求項記載の方法。
  6. 前記三次元データ・セットのデータの取得中に、前記複数の画像(460)がプロセッサにより生成される、請求項1乃至のいずれかに記載の方法。
  7. 請求項1乃至のいずれかに記載の方法を実行するプロセッサ。
JP2008161138A 2007-06-30 2008-06-20 複数のビューのボリューム・レンダリングのための方法及びシステム Active JP5639739B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/772,147 US7894663B2 (en) 2007-06-30 2007-06-30 Method and system for multiple view volume rendering
US11/772,147 2007-06-30

Publications (3)

Publication Number Publication Date
JP2009011827A JP2009011827A (ja) 2009-01-22
JP2009011827A5 JP2009011827A5 (ja) 2013-03-14
JP5639739B2 true JP5639739B2 (ja) 2014-12-10

Family

ID=40137989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008161138A Active JP5639739B2 (ja) 2007-06-30 2008-06-20 複数のビューのボリューム・レンダリングのための方法及びシステム

Country Status (3)

Country Link
US (1) US7894663B2 (ja)
JP (1) JP5639739B2 (ja)
FR (1) FR2918205B1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7874991B2 (en) * 2006-06-23 2011-01-25 Teratech Corporation Ultrasound 3D imaging system
US20120179044A1 (en) 2009-09-30 2012-07-12 Alice Chiang Ultrasound 3d imaging system
US10080544B2 (en) 2008-09-15 2018-09-25 Teratech Corporation Ultrasound 3D imaging system
CN102171724B (zh) * 2008-10-01 2016-05-18 皇家飞利浦电子股份有限公司 医学图像序列快照的选择
KR101014559B1 (ko) * 2008-11-03 2011-02-16 주식회사 메디슨 3차원 초음파 영상 제공 초음파 시스템 및 방법
KR101043331B1 (ko) * 2009-04-30 2011-06-23 알피니언메디칼시스템 주식회사 초음파진단시스템의 실시간 다시점 3차원 초음파 영상 사용자 인터페이스 장치 및 방법
JP5253424B2 (ja) * 2010-01-05 2013-07-31 日立Geニュークリア・エナジー株式会社 超音波探傷方法及び超音波探傷装置
US20120105443A1 (en) * 2010-10-29 2012-05-03 Jon Alan Klingborg System and Method for Generating A Three-Dimensional Patient Display
KR101286401B1 (ko) * 2010-11-11 2013-07-15 삼성메디슨 주식회사 미리 보기 영상을 제공하는 초음파 시스템 및 방법
US8817076B2 (en) * 2011-08-03 2014-08-26 General Electric Company Method and system for cropping a 3-dimensional medical dataset
WO2013121341A1 (en) * 2012-02-13 2013-08-22 Koninklijke Philips Electronics N.V. Simultaneous ultrasonic viewing of 3d volume from multiple directions
US8834376B2 (en) 2012-02-28 2014-09-16 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Health Dispersive ultrasound technology as a diagnostic device for traumatic brain injuries
US9030549B2 (en) 2012-03-07 2015-05-12 Blue River Technology, Inc. Method and apparatus for automated plant necrosis
US9439623B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical planning system and navigation system
US9498182B2 (en) 2012-05-22 2016-11-22 Covidien Lp Systems and methods for planning and navigation
US9439627B2 (en) 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
US9439622B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical navigation system
US9196092B2 (en) * 2012-06-11 2015-11-24 Siemens Medical Solutions Usa, Inc. Multiple volume renderings in three-dimensional medical imaging
JP6396310B2 (ja) 2012-11-23 2018-09-26 キャデンス メディカル イメージング インコーポレイテッドCadens Medical Imaging Inc. 第一レンダリング投影と第二レンダリング投影との間のトランジションをユーザーに表示するための方法および装置
US10537071B2 (en) 2013-07-26 2020-01-21 Blue River Technology Inc. System and method for individual plant treatment based on neighboring effects
US10327393B2 (en) 2013-03-07 2019-06-25 Blue River Technology Inc. Modular precision agriculture system
WO2015006675A2 (en) 2013-07-11 2015-01-15 Blue River Technology, Inc. Method for automatic phenotype measurement and selection
EP3107367B1 (en) 2014-02-21 2023-08-02 Blue River Technology Inc. Method and system for in-situ precision calibration of a precision agricultural system to accommodate for a treatment delay
KR102255417B1 (ko) * 2014-03-13 2021-05-24 삼성메디슨 주식회사 초음파 진단 장치 및 그에 따른 초음파 영상의 디스플레이 방법
KR20160050395A (ko) * 2014-10-29 2016-05-11 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
KR102297148B1 (ko) 2014-10-31 2021-09-03 삼성메디슨 주식회사 3차원 영상을 표시하는 초음파 시스템 및 그 방법
KR102297346B1 (ko) 2014-10-31 2021-09-03 삼성메디슨 주식회사 의료 영상 장치 및 그에 따른 의료 영상을 디스플레이 하는 방법
KR102388130B1 (ko) * 2015-01-12 2022-04-19 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
WO2016144795A1 (en) 2015-03-06 2016-09-15 Blue River Technology Inc. Modular precision agriculture system
KR102035993B1 (ko) 2015-09-03 2019-10-25 지멘스 메디컬 솔루션즈 유에스에이, 인크. 탄성 영상을 형성하는 초음파 시스템 및 방법
WO2017192781A1 (en) 2016-05-03 2017-11-09 Affera, Inc. Anatomical model displaying
US10376320B2 (en) 2016-05-11 2019-08-13 Affera, Inc. Anatomical model generation
US20170325901A1 (en) 2016-05-12 2017-11-16 Affera, Inc. Anatomical model controlling
CN112566581B (zh) 2018-08-10 2024-03-19 柯惠有限合伙公司 用于消融可视化的系统
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
US11145111B2 (en) 2018-12-04 2021-10-12 Intuitive Research And Technology Corporation Volumetric slicer
US11113868B2 (en) 2018-12-04 2021-09-07 Intuitive Research And Technology Corporation Rastered volume renderer and manipulator
CN111353328B (zh) * 2018-12-20 2023-10-24 核动力运行研究所 一种超声三维体数据在线显示及分析方法
US11062512B2 (en) * 2019-08-09 2021-07-13 Raytheon Company System and method for generating 3D color representation of 2D grayscale images
US11521345B2 (en) 2019-09-30 2022-12-06 GE Precision Healthcare LLC Method and system for providing rotation previews for three-dimensional and four-dimensional ultrasound images
CN110742654B (zh) * 2019-11-05 2020-11-17 深圳度影医疗科技有限公司 一种基于三维超声图像的标准切面的定位和测量方法
CN114445431B (zh) * 2022-04-11 2022-07-26 浙江卡易智慧医疗科技有限公司 一种医学三维影像任意切割的方法与装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5839440A (en) * 1994-06-17 1998-11-24 Siemens Corporate Research, Inc. Three-dimensional image registration method for spiral CT angiography
JPH10192A (ja) * 1996-04-15 1998-01-06 Olympus Optical Co Ltd 超音波画像診断装置
US6280387B1 (en) * 1998-05-06 2001-08-28 Siemens Medical Systems, Inc. Three-dimensional tissue/flow ultrasound imaging system
US6159150A (en) * 1998-11-20 2000-12-12 Acuson Corporation Medical diagnostic ultrasonic imaging system with auxiliary processor
JP2001022964A (ja) * 1999-06-25 2001-01-26 Terarikon Inc 三次元画像表示装置
JP2001276066A (ja) * 2000-03-29 2001-10-09 Toshiba Corp 三次元画像処理装置
WO2004109603A1 (en) 2003-06-11 2004-12-16 Koninklijke Philips Electronics, N.V. User control of 3d volume plane crop
US20060034513A1 (en) * 2004-07-23 2006-02-16 Siemens Medical Solutions Usa, Inc. View assistance in three-dimensional ultrasound imaging
US7532214B2 (en) * 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
US7773074B2 (en) * 2005-06-28 2010-08-10 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging three dimensional navigation device and methods
US20070046661A1 (en) * 2005-08-31 2007-03-01 Siemens Medical Solutions Usa, Inc. Three or four-dimensional medical imaging navigation methods and systems
US8023709B2 (en) * 2006-11-24 2011-09-20 General Electric Company Vasculature partitioning methods and apparatus

Also Published As

Publication number Publication date
JP2009011827A (ja) 2009-01-22
FR2918205A1 (fr) 2009-01-02
FR2918205B1 (fr) 2013-09-20
US20090003665A1 (en) 2009-01-01
US7894663B2 (en) 2011-02-22

Similar Documents

Publication Publication Date Title
JP5639739B2 (ja) 複数のビューのボリューム・レンダリングのための方法及びシステム
US8497862B2 (en) Method and apparatus for processing three dimensional images, and recording medium having a program for processing three dimensional images recorded therein
US9035941B2 (en) Image processing apparatus and image processing method
EP2420188B1 (en) Diagnosis support apparatus, diagnosis support method, and storage medium storing diagnosis support program
JP5475516B2 (ja) 超音波モーショントラッキング情報を表示するシステムおよび方法
EP2157546B1 (en) Medical image processing apparatus, ultrasound imaging apparatus, X-ray CT (Computed Tomography) apparatus, and method of processing medical image
US20120245465A1 (en) Method and system for displaying intersection information on a volumetric ultrasound image
US9424680B2 (en) Image data reformatting
US9390546B2 (en) Methods and systems for removing occlusions in 3D ultrasound images
JP5497640B2 (ja) 超音波撮像システムの二次元表示上で三次元ボリューム画像をラベリングするシステム及び方法
JP4105176B2 (ja) 画像処理方法および画像処理プログラム
CN101190124A (zh) 交互式四维虚拟内窥镜检查术的方法和设备
US20090153548A1 (en) Method and system for slice alignment in diagnostic imaging systems
EP1877984B1 (en) Multi-surface modelling
JP2005103263A (ja) 断層撮影能力のある画像形成検査装置の作動方法およびx線コンピュータ断層撮影装置
JP4653324B2 (ja) 画像表示装置、画像表示プログラム、画像処理装置、及び医用画像診断装置
CN107705350B (zh) 医学图像生成方法、装置及设备
JP5454841B2 (ja) 医用画像処理装置
CN100583161C (zh) 用于显示以立体数据组成像的对象的方法
JP2000105838A (ja) 画像表示方法及び画像処理装置
JP2011125569A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
JP5487339B2 (ja) 医用画像処理装置
JP5245811B2 (ja) ボクセル配列可視化装置
US20230181165A1 (en) System and methods for image fusion

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141027

R150 Certificate of patent or registration of utility model

Ref document number: 5639739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250