JP5631629B2 - 超音波画像処理装置及び超音波診断装置 - Google Patents

超音波画像処理装置及び超音波診断装置 Download PDF

Info

Publication number
JP5631629B2
JP5631629B2 JP2010113523A JP2010113523A JP5631629B2 JP 5631629 B2 JP5631629 B2 JP 5631629B2 JP 2010113523 A JP2010113523 A JP 2010113523A JP 2010113523 A JP2010113523 A JP 2010113523A JP 5631629 B2 JP5631629 B2 JP 5631629B2
Authority
JP
Japan
Prior art keywords
cross
vector
image
section
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010113523A
Other languages
English (en)
Other versions
JP2011239890A (ja
Inventor
新一 橋本
新一 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2010113523A priority Critical patent/JP5631629B2/ja
Priority to US13/107,323 priority patent/US9161741B2/en
Priority to CN201110126841.3A priority patent/CN102247165B/zh
Publication of JP2011239890A publication Critical patent/JP2011239890A/ja
Application granted granted Critical
Publication of JP5631629B2 publication Critical patent/JP5631629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Cardiology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、超音波スキャンにより発生されたボリュームデータに画像処理を施す超音波画像処理装置及び超音波診断装置に関する。
超音波画像による画像診断のために、超音波スキャンにより発生されたボリュームデータに基づく3次元画像の生成・表示が行われている。所望の3次元画像を容易に生成する手段として、視点方向と3次元画像処理の対象領域(以下、切り出し領域と呼ぶことにする)とをMPR画像上で同時に設定する機能が登場している。
特表2007―503857号公報
上述の同時設定機能においては、典型的には、1つの3次元画像と互いに直交する3つのMPR画像とが並列に表示されている。MPR画像は、視点方向の設定と切り出し領域の設定とのために表示されている。MPR画像の断面位置は、操作者により変更されない限り固定されている。3次元画像は、設定された視点方向と切り出し領域とに基づいて発生された2次元の表示画像である。
以下に同時設定機能を利用した視点方向と切り出し領域との操作者による設定作業の流れを示す。まず、操作者は、表示されている3つのMPR画像の中から、切り出し領域の指定を行い易い画像を選ぶ。次に操作者は、選ばれたMPR画像上にマウスカーソルを移動し、切り出し領域の一端となる位置でクリックすることによりベクトル(視点方向と切り出し領域との設定のためのベクトル。以下、設定ベクトルと表記する。)の始点を指定し、切り出し領域の他端となる位置にマウスカーソルを移動することにより設定ベクトルの終点を指定する。指定された始点から終点を結ぶベクトルが設定ベクトルに設定される。1つのMPR画像上で設定ベクトルが設定されると、他のMPR画像には設定ベクトルの投影が表示される。操作者は、他のMPR画像上に投影された設定ベクトルの向きや長さをマウスカーソルで調整することにより、設定ベクトルの3次元的な向きや長さを調整している。
しかしながら、設定ベクトルが表示中のMPR画像上で設定されるので、設定ベクトルの3次元的な向きは、表示中のMPR画像の断面内に制限されてしまう。そのため、設定ベクトルを表示中のMPR画像の断面外に向かせたい場合、MPR画像の断面を調整し、調整後のMPR画像上で設定ベクトルの向きを再度調整しなければならない。このように、設定ベクトルを3次元的に最適に設定するためには、MPR画像の断面の調整とMPR画像上でのベクトルの調整とを繰り返さなければならない。
目的は、超音波画像を利用した画像観察における操作性の向上を実現する超音波画像処理装置及び超音波診断装置を提供することにある。
本実施形態に係る超音波画像処理装置は、超音波スキャンにより発生されたボリュームデータを記憶する記憶部と、前記ボリュームデータに基づいて既定の複数の複数の断面にそれぞれ対応する複数の断面画像のデータを生成する断面画像生成部と、前記ボリュームデータに基づいて既定の視点方向に関する3次元画像のデータを生成する3次元画像生成部と、前記複数の断面画像と3次元画像とを表示する表示部と、前記表示されている複数の断面画像のうちの第1の断面画像上に、操作者からの指示に従ってベクトルを設定する設定部と、前記表示されている3次元画像を前記設定されたベクトルが示す切り出し領域と視線方向とに従って更新する更新部と、前記表示されている複数の断面画像のうちの第2の断面画像の断面の位置を、前記設定されたベクトルを包含し、且つ前記第1の断面画像の断面に直交する位置に変更し、前記表示されている複数の断面画像のうちの第3の断面画像の断面の位置を、前記ベクトル上の基準点において直交する位置に変更する変更部と、を具備する。
本実施形態に係る超音波画像処理装置と超音波診断装置との構成を示す図。 図1の表示部に表示される4画像表示のレイアウトの一例を示す図。 図1の表示部に表示される初期画面におけるMPR画像のA面、B面、及びC面の初期的な位置関係を示す図。 図1のシステム制御部の制御のもとに行なわれる断面自動変更処理の典型的な流れを示す図。 図4のステップS1において表示部に表示される初期画面の一例を示す図。 図4のステップS2にいて行われる設定ベクトルの位置指定を説明するための図。 図4のステップS4において行われる切り出し領域の設定処理を説明するための図。 図4のステップS7において行われる第1の断面計算処理を説明するための図。 図4のステップS8において行われる第2の断面計算処理を説明するための図。 図4のステップS10において表示部により表示される画面の一例を示す図。 図4の2回目のステップS2における設定ベクトルの調整処理を説明するための図(C面が設定ベクトルの始点に交差する場合)。 図1の表示部により表示される、設定ベクトルの終点に交差するC面に関するC面画像の一例を示す図。 図1の表示部により表示される、設定ベクトルの中点に交差するC面に関するC面画像の一例を示す図。 図1の表示部により表示される、設定ベクトルの始点に交差するC面、終点に交差するC面、及び中点に交差するC面が一度に設定された場合の画面の一例を示す図。
以下、図面を参照しながら本実施形態に係わる超音波画像処理装置と超音波診断装置とを説明する。
図1は、本実施形態に係る超音波診断装置1と超音波画像処理装置50との構成を示す図である。図1に示すように、超音波診断装置1は、超音波プローブ11、スキャン制御部13、送信部15、受信部17、信号処理部19、ボリュームデータ発生部21、記憶部23、ベクトル設定部25、切り出し部27、3次元画像生成部29、断面計算部31、断面画像生成部33、表示制御部35、表示部37、操作部39、及びシステム制御部41を有する。
超音波プローブ11は、電子スキャン型である。超音波プローブ11は、送信部15からの駆動パルスを受け、超音波を発生する。超音波は、被検体の体内組織の音響インピーダンスの不連続点(エコー源)で次々と反射される。反射された超音波は、超音波プローブ11により受波される。超音波プローブ11は、超音波を受波すると、受波された超音波に由来するエコー信号(電気信号)に変換し、このエコー信号を出力する。
スキャン制御部13は、超音波プローブ11を介して被検体を超音波でスキャンするために送信部15と受信部17とを制御する。スキャン部13と送信部15と受信部17とは、超音波プローブ11を介して被検体を超音波でスキャンするスキャン部を構成する。
送信部15は、スキャン制御部13による制御に従って超音波プローブ11に駆動パルスを繰り返し送信する。より詳細には、送信部15は、レートパルスをチャンネル毎に繰り返し発生する。送信部15は、発生された各レートパルスに対して、既定の送信方向と送信フォーカスとに関する超音波送信ビームを形成するのに必要な遅延時間を与える。この遅延時間は、例えば、送信方向と送信フォーカス位置とに応じて振動子毎に決定される。そして送信部15は、各遅延されたレートパルスに基づくタイミングで送信駆動パルスを発生し、発生された駆動パルスを各振動子に供給する。駆動パルスの供給を受けた各振動子は、超音波を発生する。これにより超音波プローブ11は、既定の送信方向と送信フォーカス位置とに関する超音波送信ビームを照射する。
受信部17は、スキャン制御部13による制御に従って、被検体により反射された超音波に由来するエコー信号を超音波プローブ11を介して繰り返し受信する。エコー信号が受信されると受信部17は、超音波ビームに関する受信信号を生成する。より詳細には受信部17は、超音波プローブ11からエコー信号を受信し、受信されたエコー信号を増幅し、増幅されたエコー信号をアナログからデジタルに変換する。次に受信部17は、デジタルに変換されたエコー信号をデジタルメモリに記憶する。デジタルメモリは、振動子毎に設けられている。エコー信号は、受信した振動子に対応するデジタルメモリ上の、そのエコー信号の受信時刻に応じたアドレスに記憶される。受信部17は、既定の受信フォーカス位置に対応するアドレスからエコー信号を読み出して加算する。受信フォーカス位置を超音波送信ビーム上に沿って変更しながらこの加算処理を繰り返すことにより受信部17は、既定の受信方向に沿う超音波受信ビームに対応するエコー信号(以下、受信信号と呼ぶことにする)を生成する。生成された受信信号は、信号処理部19に供給される。
信号処理部19は、受信信号にBモード処理を施す。具体的には、Bモード処理部19は、受信信号に対数圧縮や包絡線検波処理を施す。対数圧縮や包絡線検波処理が施された受信信号は、Bモード信号と呼ばれている。Bモード信号は、ボリュームデータ生成部21に供給される。
ボリュームデータ発生部21は、Bモード信号に基づいて被検体に関するボリュームデータを生成する。具体的には、ボリュームデータ発生部21は、Bモード信号をその位置情報に従ってスキャンコンバージョンメモリ上に配置し、データ欠落部分のデータを補間する。この配置処理と補間処理とによってボリュームデータが発生される。ボリュームデータを構成する各画素は、由来するエコー信号の強度に応じた輝度値を有する。ボリュームデータは、記憶部23に供給される。
記憶部23は、被検体に関するボリュームデータを記憶する。さらに記憶部23は、後述する断面自動変更処理のための専用プログラムを記憶する。
ベクトル設定部25は、操作者による操作部39を介した指示に従ってボリュームデータ内に設定ベクトルを設定する。設定ベクトルは、3次元画像の視点方向と3次元画像の対象領域である切り出し領域との設定に利用される。また、ベクトル設定部25は、操作者による操作部39を介した指示に従って設定ベクトルの始点や終点の位置、すなわち、設定ベクトルの長さや向きを調整することもできる。
切り出し部27は、設定ベクトルに応じた範囲を有する切り出し領域をボリュームデータに設定し、設定された切り出し領域のデータをボリュームデータから切り出す。3次元画像生成部29は、切り出し領域のデータに基づいて設定ベクトルを視点方向とする3次元画像のデータを生成する。なお、3次元画像生成部29は、予め設定された視点方向や切り出し領域に関する3次元画像のデータをボリュームデータから生成することもできる。また、3次元画像生成部29は、ボリュームデータ全体から3次元画像のデータを生成することもできる。
断面計算部31は、設定ベクトルに応じてMPR断面を計算する。断面画像生成部33は、計算された断面に関する断面画像のデータを、ボリュームデータに基づいて生成する。断面画像生成部33は、ボリュームデータにMPR(multi-planar reconstruction)処理を施して断面画像のデータを生成する。以下、MPR処理により生成された断面画像をMPR画像と呼ぶことにする。なお、断面画像生成部33は、予め設定された断面に関するMPR画像のデータを生成することもできる。
表示制御部35は、MPR画像と3次元画像とを既定のレイアウトで表示部37に表示する。表示制御部35は、表示されている3次元画像を、操作者により操作部39を介して設定された設定ベクトルに応じて更新する。また、表示制御部35は、表示されているMPR画像の断面を、設定ベクトルの設定に伴って計算された断面に変更する。表示部37は、表示制御部35による制御に従ってMPR画像と3次元画像とを既定のレイアウトで表示する。表示部37は、例えばCRTディスプレイや、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等の表示デバイスにより構成される。
操作部39は、操作者からの各種指示や情報を入力デバイスを介して入力する。入力デバイスは、キーボードやマウス、各種のスイッチ等を有する。例えば、操作部39は、設定ベクトルの設定のために行われる設定ベクトルの始点や終点の指定に利用される。
システム制御部41は、超音波診断装置1の中枢として機能する。具体的には、システム制御部41は、記憶部23から専用プログラムを読み出して、読み出された専用プログラムを実行する。専用プログラムの実行によりシステム制御部41は、断面自動変更処理を実行するように、専用プログラムが表す手順に従って各部を制御する。
なお、記憶部23、ベクトル設定部25、切り出し部27、3次元画像生成部29、断面計算部31、断面画像生成部33、表示制御部35、表示部37、操作部39、及びシステム制御部41は、超音波画像処理装置50を構成する。
次にシステム制御部41の制御のもとに行なわれる超音波診断装置1及び超音波画像処理装置50の動作例について心臓を臨床応用例に挙げて説明する。さらには、心臓を心尖アプローチで観察するものとする。なお、本実施形態の適用部位は、心臓のみに限定されず、被検体のあらゆる部位に適用可能である。
本実施形態においては、心臓を4画像表示のレイアウトで観察するものとする。図2は、4画像表示のレイアウトの一例を示す図である。図2に示すように、表示画面には、4つの画像表示領域が割り当てられている。3つの画像表示領域R1、R2、R3には、互いに直交する3つのMPR画像IA、IB、ICがそれぞれ表示される。3つのMPR画像IA、IB、ICは、互いに直交する3つの断面に関する。ここで3つの断面を慣習に従ってA面、B面、C面と呼ぶ。第1の画像表示領域R1にはA面に関するMPR画像IA(以下、A面画像と呼ぶ)、第2の画像表示領域R2にはB面に関するMPR画像IB(以下、B面画像と呼ぶ)、第3の画像表示領域R3にはC面に関するMPR画像IC(以下、C面画像と呼ぶ)が表示される。また、第4の画像表示領域R4には3次元画像I3が表示される。
図3は、A面、B面、C面の初期的な位置関係を示す図である。図に示すように、A面は、超音波プローブの電子スキャン面に平行する断面を表す。B面は、A面に直交し、且つ、電子スキャン面の配列方向に沿う断面を表す。C面は、A面とB面との両方に直交する断面を表す。なお図に示すA面、B面、C面の位置は、初期的なものであり、任意に変更可能である。ただし断面位置が変更されても、A面、B面、及びC面間の直交関係は保たれる。
超音波スキャンの際、超音波プローブ11の操作者は、電子スキャン面(A面)が心臓の4腔断面(いわゆる4chビュー、心臓の4つの腔が描出される断面)となるように超音波プローブ11の位置を調整する。この場合、B面は、2腔断面(いわゆる2chビュー、心臓の4つの腔のうちの2つの腔が描出される断面)に調整されることとなる。また、C面は、心臓の短軸面(左室中心軸に直交する断面)に調整されることとなる。しかしながら、心臓の超音波スキャンを実行する場合、超音波プローブの位置11が肋間の超音波窓に制限されてしまい、多くの場合、超音波プローブ11を心尖アプローチに最適な位置に配置することができない。このため、初期的なA面やB面は心臓観察に最適な断面とはならない場合が多い。
次にシステム制御部41の制御のもとに行なわれる断面自動変更処理について説明する。図4は、断面自動変更処理の典型的な流れを示す図である。
操作者により操作部39を介して画像観察の開始指示がなされたことを契機として、システム制御部41は、断面自動変更処理を開始させる。まずシステム制御部41は、表示制御部35に初期画面の表示処理を行わせる(ステップS1)。
ステップS1において表示制御部35は、既定のレイアウトに設定されている初期画面を表示部37に表示する。図5は、初期画面の一例を示す図である。初期画面においては、第1の画像表示領域R1に初期的なA面画像IA、第2の画像表示領域R2に初期的なB面画像IB、第3の画像表示領域R3に初期的なC面画像IC、第4の画像表示領域R4に初期的な3次元画像I3が表示される。初期的な3次元画像I3は、ボリュームデータ全体から発生された、初期的な視点方向に関するレンダリング画像である。初期的な視点方向は、任意の方向に設定可能であり、例えば、A面とB面との交線を通りA面に直交する方向に設定される。これら初期的なA面画像IAのデータ、B面画像IBのデータ、C面画像ICのデータは、断面画像生成部33により予め生成されている。また、初期的な3次元画像のデータは、3次元画像生成部29により予め生成されている。なお初期的には、第4の表示領域R4には、3次元画像が表示されていなくても、例えば、断面画像生成部33により生成されたA面画像等のMPR画像が表示されていても良く、あるいは超音波画像が表示されていなくても良い。
A面画像IAにはA面上におけるB面の位置を示すB面指示線LB1とA面上におけるC面の位置を示すC面指示線LC1とが重ねられる。B面画像IBにはB面上におけるA面の位置を示すA面指示線LA1とB面上におけるC面の位置を示すC面指示線LC2とが重ねられる。C面画像にはC面上におけるA面の位置を示すA面指示線LA2とC面上におけるB面の位置を示すB面指示線LB2とが重ねられる。これら指示線LA1、LA2、LB1、LB2、LC1、LC2は、断面位置の変更に伴い表示制御部35により変更される。逆に操作者により操作部39を介して指示線LA1、LA2、LB1、LB2、LC1、LC2の位置が変更されることに伴って、対応する断面が表示制御部35により変更される。
初期画面が表示されるとシステム制御部41は、3つのMPR画像のうちの1つのMPR画像上に設定ベクトルの位置が指定されることを待機する(ステップS2)。
初期画面が表示されると操作者は、観察に適切な3次元画像を第4の画像表示領域に表示させるために、操作部39を介して設定ベクトルの位置を指定する。設定ベクトルは、A面、B面、及びC面のうちの1つのMPR断面上で設定される。典型的には、設定ベクトルは、A面上で設定される。それは、超音波プローブ11の操作者が超音波スキャン時に電子スキャン面(すなわちA面)が観察対象を含むように超音波プローブ11を配置するためである。
図6は、設定ベクトルの位置指定を説明するための図である。具体的には、まず操作者は、操作部39を介してマウスカーソルMCをA面画像IA上の一点に移動させクリックする。クリックされた点は、設定ベクトルの始点P1に設定される。次に操作者は、操作部39を介してマウスカーソルMCをドラッグしてA面画像I1上の他点に移動させる。この他点は、設定ベクトルの終点P2に設定される。設定ベクトルの終点P2は、ドラッグされている期間、マウスカーソルMCが指し示す位置にリアルタイムで自動的に指定される。始点P1から終点P2へ延びるベクトルがステップS3において設定ベクトルVeに設定される。
例えば、僧帽弁を観察する場合を例に挙げて設定ベクトルの位置の指定について具体的に説明する。僧帽弁を観察する場合、僧帽弁の中心を左房側、あるいは左室側から観察するのが一般的である。より詳細には、僧帽弁輪の概略面(一般的に平面ではなく鞍型状の形状であるため、平均的な平面を意味する)の垂直方向から僧帽弁を観察するのが良い。従って設定ベクトルの始点と終点とは、A面上で僧帽弁の動きの範囲を必要最低限に包含するように設定されるとよい。
2点(始点と終点)が指定されるとシステム制御部41は、ベクトル設定部25に設定ベクトルの設定処理を行わせる(ステップS3)。ステップS3においてベクトル設定部25は、指定された始点から終点に延びるベクトルを設定ベクトルに設定する。設定された設定ベクトルは、ボリュームデータ上に3次元的に設定される。設定ベクトルの始点と終点とは、A面画像上で指定されたので、設定ベクトルは、ボリュームデータ内のA面に含まれている。表示制御部35は、図6に示すように、設定ベクトルVeをA面画像上にリアルタイムに表示する。
ステップS3が行われるとシステム制御部41は、切り出し部27に切り出し領域の設定処理を行わせる(ステップS4)。ステップS4において切り出し部27は、設定ベクトルが指し示す範囲を切り出し領域に設定する。図7は、切り出し領域の設定処理を説明するための図である。図7に示すように、切り出し領域RCは、始点を含む第1の平面P1と終点を含む第2の平面P2とに挟まれるボリュームデータVO内の領域に設定される。第1の平面H1は、始点P1を含み、且つ設定ベクトルVeに直交する位置に設定される。第2の平面H2は、終点P2を含み、且つ設定ベクトルVeに直交する位置に設定される。
ステップS4が行われるとシステム制御部41は、切り出し部27に切り出し領域の切り出し処理を行わせる(ステップS5)。ステップS8において切り出し部27は、ボリュームデータから切り出し領域のデータを切り出す(クロップする)。
ステップS5が行われるとシステム制御部41は、3次元画像生成部29に3次元画像処理を行わせる(ステップS6)。ステップS6において3次元画像生成部29は、設定ベクトルを視点方向に有する3次元画像のデータを生成するために、切り出し領域のデータに3次元画像処理を施す。3次元画像処理としては、ボリュームレンダリングやサーフェスレンダリング、MIP(最小値投影法)等が利用される。利用される3次元画像の種類は、操作者により操作部39を介して任意に設定可能である。
また、ステップS3が行われるとシステム制御部41は、断面計算部31に第1の断面計算処理を行わせる(ステップS7)。
図8は、第1の断面計算処理を説明するための図である。図8に示すように、ステップS7において断面計算部31は、設定ベクトルVeを包含し、且つ点指定されたMPR断面(本実施形態の場合A面)に直交する断面(計算断面)の位置を計算する。すなわち、設定ベクトルVeの始点P1と終点P2との両方を含み、且つ点指定されたMPR断面に直交する計算断面の位置が計算される。計算された位置を有する計算断面は、新たなB面に設定される。
ステップS7が行われるとシステム制御部41は、断面計算部31に第2の断面計算処理を行わせる(ステップS8)。
図9は、第2の断面計算処理を説明するための図である、図9に示すように、ステップS8において断面計算部31は、設定ベクトルVeの始点P1に交差し、設定ベクトルVeを法線ベクトルとする断面(計算断面)の位置を計算する。すなわち、設定ベクトルVeの始点P1において設定ベクトルVeに直交する計算断面の位置が計算される。このステップS8における計算断面は、点指定された断面(この場合A面)とステップS7における計算断面(この場合B面)との両方に直交する。計算された位置を有する計算断面は、新たなC面に設定される。すなわち、新たなC面は、切り出し領域の端面と同一に設定される。
このようにステップS7とステップS8とにおいては、設定ベクトルに交差し、且つ設定ベクトルの位置が点指定された断面(この場合、A面)に直交する断面の位置が計算される。
ステップS8が行われるとシステム制御部41は、断面画像生成部33にMPR処理を行わせる(ステップS9)。ステップS9において断面画像生成部33は、ステップS7において計算された位置を有するB面に関するB面画像のデータを生成するために、ボリュームデータにMPR処理を施す。また、断面画像生成部33は、ステップS8において計算された位置を有するC面に関するC面画像のデータを生成するために、ボリュームデータにMPR処理を施す。
ステップS6とステップS9とが行われるとシステム制御部41は、表示制御部35に表示処理を行わせる(ステップS10)。ステップS10において表示制御部35は、ステップS2において点指定されたMPR画像(この場合、A面画像)とステップS6において生成された2つのMPR画像(この場合、B面画像とC面画像)とステップS9において生成された3次元画像とを表示する。
図10は、ステップS10において表示される画面の一例を示す図である。図10に示すように、第1の画像表示領域R1には、初期画面同様のA面画像IAが表示さる。第2の画像表示領域R2には、ステップS7において計算されたB面に関するB面画像IBが表示される。第3の画像表示領域R3には、ステップS8において計算されたC面に関するC面画像ICが表示される。すなわち、表示制御部35は、操作部39を介して設定ベクトルが設定されなかったMPR画像(この場合、操作部39を介して設定ベクトルが設定されたMPR画像はA面画像、設定されなかったMPR画像がB面画像とC面画像)の断面の位置を、設定ベクトルに交差し、且つ操作部39を介して設定ベクトルが設定されたMPR画像の断面に直交する位置に変更している。また、表示制御部35は、設定ベクトルの設定に従って、表示中の3次元画像を更新している。
また、表示制御部35は、ステップS7において計算されたB面の位置に応じて、A面画像IA上のB面指示線LB1とC面画像IC上のB面指示線LB2とを変更する。同様に、表示制御部35は、ステップS8において計算されたC面の位置に応じて、A面画像IA上のC面指示線LC1とB面画像IB上のC面指示線LC2とを変更する。また、表示制御部35は、B面の位置とC面の位置との変更に応じてB面画像IB上のA面指示線LA1とC面画像IC上のA面指示線LA2とを変更する。
また、表示制御部35は、設定ベクトルVeのB面上での位置や長さを示すために、B面画像IBに設定ベクトルVeのB面上への投影PVeB(以下、投影ベクトルと呼ぶことにする)を描画する。同様に表示制御部35は、設定ベクトルVeのC面上での位置や長さを示すために、C面画像ICに設定ベクトルVeのC面上への投影ベクトルPVeCを描画する。投影ベクトルPVeB、PVeCの位置や長さは、操作部39を介して任意に変更可能である。投影ベクトルPVeB、PVeCの位置や長さの変更に応じて設定ベクトルの位置や長さがベクトル設定部25により再設定される。
また、表示制御部35は、各MPR画像IA、IB上に切り出し領域の境界を示すための境界線を表示する。具体的には、A面画像IA上には、切り出し領域の第1平面(始点P1を含む平面)の位置を示す境界線(B面指示線LC1と同一)と、切り出し領域の第2平面(終点P2を含む平面)の位置を示す境界線LL1とが表示される。また、B面画像IA上には、切り出し領域の第1平面の位置を示す境界線(B面指示線LC2と同一)と、切り出し領域の第2平面の位置を示す境界線LL2とが表示される。境界線の位置は、操作部39を介して任意に変更可能である。境界線の位置の変更に応じて切り出し領域の範囲が再設定される。
また、上述のように新たなC面画像は、切り出し領域の端面に関するMPR画像である。従って操作者は、この新たなC面画像を観察することで、3次元画像の形態把握が容易になる。
ステップS10が行われるとシステム制御部41は、操作者により操作部39等を介して終了指示がなされることを待機する(ステップS11)。終了指示がなされない場合、システム制御部41は、再びステップS2に進み、設定ベクトルの位置が指定されることを待機する(2回目ステップS2)。設定ベクトルの位置が操作部39を介して再指定されるとシステム制御部41は、再びステップS4〜ステップS11を行う。このようにして操作者は、点指定する断面を変更しながら、最適な設定ベクトルが3次元的に設定されるまで設定ベクトルの位置を調整する。
この設定ベクトルの再設定について具体的に説明する。例えば、1回目のステップS2においてA面上に設定ベクトルの位置が指定された場合、ボリュームデータ内のA面上の設定ベクトルの位置は最適な位置に設定されていると考えられる。しかし、A面上で設定ベクトルの位置を指定しただけでは、B面やC面上における設定ベクトルの位置を指定できない。従って2回目のステップS2においては、B面やC面上における設定ベクトルの位置が指定される必要がある。
操作者は、例えば、図11に示すように、B面画像IB上に描画されている投影ベクトルPVeBの位置を調整することで、設定ベクトルのB面上での位置を修正する。投影ベクトルPVeBの位置の変更に応じて、設定ベクトルの3次元的な位置が変更される。なお表示制御部35は、変更後の設定ベクトルのA面上への投影をA面画像IA上に描画し、C面上への投影をC面画像IC上に描画する。なお、C面画像IC上での設定ベクトルのC面上での位置の修正は、操作部39を介してA面とB面との交差線上に沿ってC面の位置を平行移動することにより実現される。
ところで、2回目のステップS2の開始時点においてB面は設定ベクトルを包含する位置に、C面は設定ベクトルの始点に直交する位置に自動的に設定されている。従って2回目のステップS2において、B面やC面上で設定ベクトルの位置を設定すれば、実質的に設定ベクトルの所望の3次元的な位置が設定されたこととなる。すなわち、本実施形態によれば、設定ベクトルの位置を少なくとも2回指定すれば、設定ベクトルの所望の3次元的な位置を設定することができる。また、B面やC面上で設定ベクトルを修正する際、A面上で設定された設定ベクトルの位置を大きく変えることなくB面上での設定ベクトルの修正を行うことができる。
このようにして最適な3次元位置に設定ベクトルが設定されるまでステップS2〜S11が繰り返される。そしてシステム制御部41は、ステップS11において操作者により操作部39等を介して終了指示がなされたことを契機として(ステップS11:YES)、断面自動変更処理を終了する。
なお、上記の説明においてC面は、設定ベクトルの始点に交差し、且つ設定ベクトルに直交する位置に設定されるとした。しかしながら、本実施形態が、これに限定されない。例えば、図12に示すように、設定ベクトルVeの終点P2に交差し、且つ設定ベクトルVeに直交する位置に設定されても良いし、図13に示すように、設定ベクトルVeの中点P3に交差し、且つ設定ベクトルVeに直交する位置に設定されても良い。さらには、複数の位置に関する複数のC面を利用する場合、例えば、3つのC面を利用する場合、図14に示すように、設定ベクトルVeの始点P1に交差する第1C面、中点P3に交差する第2C面、及び終点P2に交差する第3C面が設定されても良い。3つのC面は、臨床的には、左室の心尖、中央、弁輪付近それぞれの短軸像を観察する場合に有効である。本実施形態は、このような3つのC面の設定作業の簡便化をも実現している。すなわち、ステップS2において操作者がマウスカーソルにより2点を指定するだけで、3つのC面、さらにはA面(4chビュー)、B面(2chビュー)を自動的に設定することができるからである。
上記構成により本実施形態に係る超音波診断装置1及び超音波画像処理装置50は、設定ベクトルを設定する際に、設定ベクトルの位置を点指定したMPR断面以外の残りのMPR断面を、設定ベクトルに直交するように自動的に変更する。これにより操作者は、残りのMPR画像の断面位置を変更することなく、残りのMPR画像上において設定ベクトルの位置の調整をすることができる。このようにして超音波診断装置1及び超音波画像処理装置50は、設定ベクトルの調整の簡便化を実現している。
かくして本実施形態に係る超音波診断装置1及び超音波画像処理装置50は、超音波画像を利用した画像観察における操作性の向上を実現する。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
1…超音波診断装置、11…超音波プローブ、13…スキャン制御部、15…送信部、17…受信部、19…信号処理部、21…ボリュームデータ生成部、23…記憶部、25…ベクトル設定部、27…切り出し部、29…3次元画像生成部、31…断面計算部、33…断面画像生成部、35…表示制御部、37…表示部、39…操作部、41…システム制御部、50…超音波画像処理装置

Claims (6)

  1. 超音波スキャンにより発生されたボリュームデータを記憶する記憶部と、
    前記ボリュームデータに基づいて既定の複数の複数の断面にそれぞれ対応する複数の断面画像のデータを生成する断面画像生成部と、
    前記ボリュームデータに基づいて既定の視点方向に関する3次元画像のデータを生成する3次元画像生成部と、
    前記複数の断面画像と3次元画像とを表示する表示部と、
    前記表示されている複数の断面画像のうちの第1の断面画像上に、操作者からの指示に従ってベクトルを設定する設定部と、
    前記表示されている3次元画像を前記設定されたベクトルが示す切り出し領域と視線方向とに従って更新する更新部と、
    前記表示されている複数の断面画像のうちの第2の断面画像の断面の位置を、前記設定されたベクトルを包含し、且つ前記第1の断面画像の断面に直交する位置に変更し、前記表示されている複数の断面画像のうちの第3の断面画像の断面の位置を、前記ベクトル上の基準点において直交する位置に変更する変更部と、
    を具備する超音波画像処理装置。
  2. 前記変更部は、前記第3の断面画像の断面の位置を、前記ベクトル上の前記基準点に交差し、且つ前記ベクトルを法線とする位置に変更する、請求項1記載の超音波画像処理装置。
  3. 前記基準点は、前記ベクトルの始点、中点、又は終点である、請求項記載の超音波画像処理装置。
  4. 超音波スキャンにより発生されたボリュームデータを記憶する記憶部と、
    前記ボリュームデータに基づいて既定の第1断面に関する第1断面画像のデータを発生する第1断面画像発生部と、
    前記第1断面画像上に操作者からの指示に従ってベクトルを設定する設定部と、
    前記ベクトルを含む領域のデータを前記ボリュームデータから切り出す切り出し部と、
    前記切り出された領域のデータに基づいて前記ベクトルを視点方向とする3次元画像のデータを生成する3次元画像生成部と、
    前記ベクトルを包含し且つ前記第1断面に直交する、前記ボリュームデータ内の第2断面を計算し、前記ベクトル上の基準点において直交する、前記ボリュームデータ内の第3断面を計算する計算部と、
    前記第2断面に関する第2断面画像のデータを前記ボリュームデータから生成する第2断面画像発生部と、
    前記第3断面に関する第3断面画像のデータを前記ボリュームデータから生成する第3断面画像発生部と、
    前記第2断面画像と前記第3断面画像と前記3次元画像とを表示する表示部と、
    を具備する超音波画像処理装置。
  5. 超音波プローブと、
    前記超音波プローブを介して被検体を超音波でスキャンするスキャン部と、
    前記超音波プローブからのエコー信号に基づいて前記被検体に関するボリュームデータを発生するボリュームデータ発生部と、
    前記ボリュームデータに基づいて既定の複数複数の断面にそれぞれ対応する複数の断面画像のデータを生成する断面画像生成部と、
    前記ボリュームデータに基づいて既定の視点方向に関する3次元画像のデータを生成する3次元画像生成部と、
    前記複数の断面画像と3次元画像とを表示する表示部と、
    前記表示されている複数の断面画像のうちの第1の断面画像上に、操作者からの指示に従ってベクトルを設定する設定部と、
    前記表示されている3次元画像を前記設定されたベクトルが示す切り出し領域と視線方向とに従って更新する更新部と、
    前記表示されている複数の断面画像のうちの第2の断面画像の断面の位置を、前記設定されたベクトルを包含し、且つ前記第1の断面画像の断面に直交する位置に変更し、前記表示されている複数の断面画像のうちの第3の断面画像の断面の位置を、前記ベクトル上の基準点において直交する位置に変更する変更部と、
    を具備する超音波診断装置。
  6. 超音波プローブと、
    前記超音波プローブを介して被検体を超音波でスキャンするスキャン部と、
    前記超音波プローブからのエコー信号に基づいて前記被検体に関するボリュームデータを発生するボリュームデータ発生部と、
    前記ボリュームデータに基づいて既定の第1断面に関する第1断面画像のデータを発生する第1断面画像発生部と、
    前記第1断面画像上に操作者からの指示に従ってベクトルを設定する設定部と、
    前記ベクトルを含む領域を前記ボリュームデータから切り出す切り出し部と、
    前記切り出された領域に基づいて前記ベクトルを視点方向とする3次元画像のデータを生成する3次元画像生成部と、
    前記ベクトルを包含し且つ前記第1断面に直交する、前記ボリュームデータ内の第2断面を計算し、前記ベクトル上の基準点において直交する、前記ボリュームデータ内の第3断面を計算する計算部と、
    前記第2断面に関する断面画像のデータを前記ボリュームデータから生成する第2断面画像発生部と、
    前記第3断面に関する第3断面画像のデータを前記ボリュームデータから生成する第3断面画像発生部と、
    前記第2断面画像と前記第3断面画像と前記3次元画像とを表示する表示部と、
    を具備する超音波診断装置。
JP2010113523A 2010-05-17 2010-05-17 超音波画像処理装置及び超音波診断装置 Active JP5631629B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010113523A JP5631629B2 (ja) 2010-05-17 2010-05-17 超音波画像処理装置及び超音波診断装置
US13/107,323 US9161741B2 (en) 2010-05-17 2011-05-13 Ultrasonic image processing apparatus, ultrasonic diagnostic apparatus, and ultrasonic image processing method
CN201110126841.3A CN102247165B (zh) 2010-05-17 2011-05-17 超声波图像处理装置及方法、超声波诊断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010113523A JP5631629B2 (ja) 2010-05-17 2010-05-17 超音波画像処理装置及び超音波診断装置

Publications (2)

Publication Number Publication Date
JP2011239890A JP2011239890A (ja) 2011-12-01
JP5631629B2 true JP5631629B2 (ja) 2014-11-26

Family

ID=44912360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010113523A Active JP5631629B2 (ja) 2010-05-17 2010-05-17 超音波画像処理装置及び超音波診断装置

Country Status (3)

Country Link
US (1) US9161741B2 (ja)
JP (1) JP5631629B2 (ja)
CN (1) CN102247165B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013176188A1 (ja) 2012-05-22 2013-11-28 株式会社東芝 医用画像診断装置及び画像表示装置
US9498188B2 (en) * 2012-07-20 2016-11-22 Fujifilm Sonosite, Inc. Enhanced ultrasound imaging apparatus and associated methods of work flow
KR20140024190A (ko) * 2012-08-20 2014-02-28 삼성메디슨 주식회사 초음파 영상 관리 방법, 표시 방법 및 그 장치
CN104812298B (zh) * 2012-11-22 2018-02-16 东芝医疗系统株式会社 图像处理装置、磁共振成像装置以及图像处理方法
US10054932B2 (en) * 2013-03-11 2018-08-21 Autodesk, Inc. Techniques for two-way slicing of a 3D model for manufacturing
US11024080B2 (en) 2013-03-11 2021-06-01 Autodesk, Inc. Techniques for slicing a 3D model for manufacturing
JP6201255B2 (ja) * 2013-04-11 2017-09-27 ザイオソフト株式会社 医用画像処理システムおよび医用画像処理プログラム
EP3108456B1 (en) * 2014-02-19 2020-06-24 Koninklijke Philips N.V. Motion adaptive visualization in medical 4d imaging
KR102245202B1 (ko) * 2014-03-17 2021-04-28 삼성메디슨 주식회사 단면 선택 라인의 방향 및 위치 중 적어도 하나를 소정의 패턴에 따라 변경하기 위한 방법 및 장치
EP3161795A4 (en) 2014-07-11 2018-02-14 Shanghai United Imaging Healthcare Ltd. System and method for image processing
CN104463942B (zh) * 2014-10-31 2017-07-28 上海联影医疗科技有限公司 三维图像裁剪方法及装置
US11403809B2 (en) 2014-07-11 2022-08-02 Shanghai United Imaging Healthcare Co., Ltd. System and method for image rendering
KR102388130B1 (ko) * 2015-01-12 2022-04-19 삼성메디슨 주식회사 의료 영상 표시 방법 및 장치
US20160225180A1 (en) * 2015-01-29 2016-08-04 Siemens Medical Solutions Usa, Inc. Measurement tools with plane projection in rendered ultrasound volume imaging
JP6738631B2 (ja) * 2016-03-29 2020-08-12 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
WO2017177096A1 (en) * 2016-04-08 2017-10-12 The Regents Of The University Of Michigan Device for imaging assisted minimally invasive implant and jawbone reconstruction surgery
JP7102480B2 (ja) * 2020-09-29 2022-07-19 ジーイー・プレシジョン・ヘルスケア・エルエルシー 超音波画像表示装置及びその制御プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4421203B2 (ja) * 2003-03-20 2010-02-24 株式会社東芝 管腔状構造体の解析処理装置
DE10339979B4 (de) * 2003-08-29 2005-11-17 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Darstellung eines vorbestimmbaren Bereichs in mehrdimensionalen Datensätzen
JP4493402B2 (ja) * 2004-05-24 2010-06-30 オリンパス株式会社 超音波画像診断装置
JP4865575B2 (ja) * 2007-01-17 2012-02-01 日立アロカメディカル株式会社 超音波診断装置
JP5269427B2 (ja) 2008-01-31 2013-08-21 株式会社東芝 超音波診断装置、画像診断装置、及びプログラム

Also Published As

Publication number Publication date
CN102247165A (zh) 2011-11-23
JP2011239890A (ja) 2011-12-01
US9161741B2 (en) 2015-10-20
CN102247165B (zh) 2014-11-12
US20110282207A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
JP5631629B2 (ja) 超音波画像処理装置及び超音波診断装置
JP5433240B2 (ja) 超音波診断装置及び画像表示装置
JP5230589B2 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
JP5395538B2 (ja) 超音波診断装置及び画像データ表示用制御プログラム
JP6054089B2 (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
US9721355B2 (en) Methods and systems for defining a VOI in an ultrasound imaging space
CN104066380B (zh) 超声波诊断装置、图像处理装置
JP2009131420A (ja) 超音波画像診断装置
JP2015157067A (ja) 医用画像診断装置、画像処理装置及び画像処理方法
JPWO2011021254A1 (ja) 医用画像処理装置及びその方法
JP5437767B2 (ja) 超音波ボリュームデータ処理装置
JP5981178B2 (ja) 医用画像診断装置、画像処理装置及びプログラム
JP2009148421A (ja) 超音波診断装置及び超音波ストレス画像取得方法
JP2013118998A (ja) 医用画像診断装置、超音波診断装置及びプログラム
JP2008289548A (ja) 超音波診断装置及び診断パラメータ計測装置
JP2006204621A (ja) 超音波画像診断装置および超音波画像診断装置の制御プログラム
JP2015073798A (ja) 医用画像診断装置、画像処理装置およびプログラム
JP2012040207A (ja) 超音波診断装置、超音波診断装置の制御プログラム、及び画像処理装置
JP5653135B2 (ja) 超音波診断装置及びその制御プログラム
US20190388063A1 (en) Ultrasound diagnostic apparatus, ultrasound diagnostic method, and computer-readable recording medium
JP2007325664A (ja) 超音波診断装置
JP2012170536A (ja) 超音波診断装置、画像処理装置及び画像処理プログラム
JP5364322B2 (ja) 超音波診断装置
JP4665771B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130501

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131205

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141008

R150 Certificate of patent or registration of utility model

Ref document number: 5631629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350