JP6054089B2 - 超音波診断装置、医用画像処理装置および医用画像処理プログラム - Google Patents

超音波診断装置、医用画像処理装置および医用画像処理プログラム Download PDF

Info

Publication number
JP6054089B2
JP6054089B2 JP2012172250A JP2012172250A JP6054089B2 JP 6054089 B2 JP6054089 B2 JP 6054089B2 JP 2012172250 A JP2012172250 A JP 2012172250A JP 2012172250 A JP2012172250 A JP 2012172250A JP 6054089 B2 JP6054089 B2 JP 6054089B2
Authority
JP
Japan
Prior art keywords
dimensional data
viewpoint
unit
ultrasonic
ultrasonic probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012172250A
Other languages
English (en)
Other versions
JP2013059610A (ja
Inventor
田中 豪
豪 田中
後藤 英二
英二 後藤
衣津紀 久我
衣津紀 久我
俊昊 車
俊昊 車
康一郎 栗田
康一郎 栗田
和俊 貞光
和俊 貞光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Priority to JP2012172250A priority Critical patent/JP6054089B2/ja
Priority to PCT/JP2012/070088 priority patent/WO2013027571A1/ja
Priority to CN201280001326.5A priority patent/CN103068316B/zh
Priority to US13/715,687 priority patent/US10456106B2/en
Publication of JP2013059610A publication Critical patent/JP2013059610A/ja
Application granted granted Critical
Publication of JP6054089B2 publication Critical patent/JP6054089B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • A61B8/145Echo-tomography characterised by scanning multiple planes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42Details of probe positioning or probe attachment to the patient
    • A61B8/4245Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461Displaying means of special interest
    • A61B8/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/483Diagnostic techniques involving the acquisition of a 3D volume of data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明の実施形態は、レンダリング画像を発生させる超音波診断装置、医用画像処理装置および医用画像処理プログラムに関する。
近年、被検体を3次元的に走査することにより、被検体からのエコー信号を収集する超音波診断装置が実用化されている。この超音波診断装置によれば、エコー信号に基づいて、3次元データを生成することにより、3次元画像(例えばレンダリング画像など)を生成表示することが出来る。3次元画像を発生させるために、3次元データに対して、例えば、レンダリング処理(例えば、ボリュームレンダリング、サーフェイスレンダリングなど)が実行される。レンダリング処理に用いられる視点、視線、視角、投影領域などが、3次元データに設定される。上記設定後、平行投影または透視投影が実行されることにより、レンダリング画像(例えば、平行投影画像、透視投影画像など)が発生される。
レンダリング画像の表示方法の一つの応用例の一つとして、臓器内部に設定された視点を連続的に移動させて、移動された視点に対応するレンダリング画像を連続的に表示する表示方法がある。この表示方法は、例えば管腔状の臓器(以下、管腔臓器と呼ぶ)に関する3次元データにおいて、管腔臓器の管腔内に視点が設定される。設定された視点を起点として、管腔が伸びている方向に視線が設定される。また、設定された視点を中心とした所定の視角が設定される。設定された視点と視線と視角とを用いて透視投影が実行される。次いで、視点が、操作者による操作または所定の速度で、管腔に沿って移動される。この視点の移動により、管腔内の画像を表示することができる。この表示方法により、操作者は、管腔の内壁をくまなく観察することができる。
しかしながら、例えば図13に示すように、超音波プローブを移動させた後に3次元Bモードデータを発生した場合、超音波プローブの位置に関係なく、この表示方法における視点は、3次元データに関する座標系上の固定された位置に配置される。このため、超音波プローブの移動に伴って視点が移動される場合、移動された視点の位置が、管腔内から逸脱する問題がある。これにより、観察対象の管腔内の透視投影画像が表示されない問題がある。また、例えば、1次元アレイを複数の振動子の配列方向と直交する方向に揺動させて3次元走査を実行するメカニカル4次元プローブを用いて、3次元データを発生し、この表示方法を実行した場合、レンダリング画像の連続的なリアルタイム表示において、フレームレートが十分でない問題がある。
目的は、超音波プローブを移動させても、視点を生体組織に維持することが出来る超音波診断装置を提供することにある。
本実施形態に係る超音波診断装置は、被検体体表面に当接され、複数の超音波振動子を有する超音波プローブと、前記超音波プローブの位置情報を、所定の基準位置を基準として検出する位置検出部と、前記超音波振動子各々に駆動信号を供給し、前記各超音波振動子によって発生された各受信エコー信号に基づいて受信信号を発生する送受信部と、前記受信信号に基づいて、第1の3次元データを発生する3次元データ発生部と、前記第1の3次元データにおいて、生体組織内部における領域を特定する特定部と、前記位置情報に基づいて前記特定された領域第1の視点を設定する設定部と、前記設定された第1の視点と前記第1の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する画像発生部と、を具備し、前記位置検出部は、前記被検体体表面に当接された前記超音波プローブの移動に応じて前記位置情報を更新し、前記3次元データ発生部は、前記移動後の超音波プローブの位置で取得された受信信号に基づいて、第2の3次元データを発生し、前記特定部は、前記第2の3次元データにおいて、前記生体組織内部における領域を特定し、前記設定部は、前記移動後の超音波プローブの位置情報と、前記第2の3次元データにおいて特定された前記生体組織内部における領域に第2の視点を維持するように設定し、前記画像発生部は、前記設定された第2の視点と前記第2の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する。
図1は、本実施形態に係る超音波診断装置の構成を示す構成図である。 図2は、本実施形態に係り、管腔領域に視点と視線とを設定し、透視投影像を発生させる処理の流れを示すフローチャートである。 図3は、本実施形態に係り、超音波プローブの移動後、視点および視線を、次に得られた3次元データにおける管腔内に設定する一例を示す図である。 図4は、本実施形態に係り、超音波プローブの移動後において、超音波プローブの直下の管腔内に視点を設定する一例を示す図である。 図5は、本実施形態に係り、表示部で切り替え表示可能な第1組み合わせ画像と、第2組み合わせた画像との一例を示す図である。 図6は、本実施形態の第1の変形例に係り、超音波プローブの移動後において、視点および視線を、超音波プローブの移動前に得られた3次元データにおける管腔内に維持する一例を示す図である。 図7は、本実施形態の第2の変形例に係り、3次元データにおける端部領域に視点が到達すると超音波スキャンが実行される一例を示す図である。 図8は、本実施形態の第2の変形例に係り、視点が3次元データの端部領域に到達した時点における視点の位置に基づいて、被走査領域の視野深度を変更する一例を示す図である。 図9は、本実施形態の第3の変形例に係り、管腔の分岐点において、超音波プローブの角度と超音波プローブの移動方向とに応じて、超音波プローブ直下に近い管腔が選択され、視点が移動される一例を示す図である。 図10は、本実施形態の第4の変形例に係り、超音波プローブの背面方向から被走査領域、管腔周辺領域、管腔、芯線を平行投影させた平行投影図を、超音波プローブの移動軌跡とともに示した図である。 図11は、本実施形態の第4の変形例に係り、図10における(1)−(1)’断面、(2)−(2)’断面、(3)−(3)’断面各々における芯線、管腔、管腔周辺領域を、被走査領域とともに示す図である。 図12は、本実施形態の第4の変形例に係り、3次元ボディーマークに、超音波プローブと、管腔の方向とを示した図である。 図13は、従来に係り、3次元Bモードデータごとに予め設定された視点の位置が、プローブの移動後に得られた3次元Bモードデータにおける管腔内から外れることを示す図である。
以下、図面を参照しながら本実施形態に係わる超音波診断装置を説明する。なお、以下の説明において、略同一の構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る超音波診断装置1のブロック構成図を示している。同図に示すように、超音波診断装置1は、超音波プローブ8、位置センサ9、位置検出部10、装置本体11、表示部12、装置本体11に接続され操作者からの各種指示・命令・情報を装置本体12に取り込むための入力部13を有する。加えて本超音波診断装置1には、心電計、心音計、脈波計、呼吸センサに代表される図示していない生体信号計測部およびネットワークが、インターフェース(InterFace:以下I/Fと呼ぶ)35を介して接続されてもよい。
超音波プローブ8は、圧電セラミックス等の音響/電気可逆的変換素子としての圧電振動子を有する。複数の圧電振動子は並列され、超音波プローブ8の先端に装備される。なお、一つの圧電振動子が一チャンネルを構成するものとして説明する。圧電振動子は、後述する送受信部21から供給される駆動信号に応答して超音波を発生する。圧電振動子は、被検体の生体組織で反射された超音波(以下、エコー信号と呼ぶ)の受信に応答して、受信エコー信号を発生する。以下、超音波プローブ8は、1次元アレイを複数の振動子の配列方向と直交する方向に揺動させて3次元走査を実行するメカニカル4次元プローブとして説明する。なお、超音波プローブ8は、メカニカル4次元プローブに限定されず、2次元アレイプローブであってもよい。
なお、超音波プローブ8は、1次元に配列された複数の振動子を有する1次元アレイプローブであってもよい。この時、3次元走査は、振動子の配列方向に直交する方向に操作者により揺動、または平行移動されることにより実現される。例えば1次元アレイプローブを揺動させる場合、1次元アレイプローブの揺動方向は、後述する位置検出部10により検出される。これにより、1次元アレイプローブの複数の揺動角度にそれぞれ対応する複数断面各々におけるBモードデータと、後述する位置検出部10により検出された揺動角度およびプローブ位置とを用いて、後述する3次元データ発生部23により、後述する3次元データが発生される。以上のことから、1次元アレイプローブを用いることでも、後述する3次元データは発生可能である。1次元アレイプローブを平行移動させる場合でも、プローブ位置に基づいてBモードデータを合成し、3次元データを発生する動作は同様に行える。
位置センサ9は、所定の基準位置を基準とした超音波プローブ8の位置情報(以下、プローブ位置情報と呼ぶ)を取得する。プローブ位置情報は、所定の基準位置に対する超音波プローブ8の位置と超音波プローブ8の角度である。超音波プローブ8の角度とは、例えば、所定の基準方向に対する超音波プローブ8の傾きである。所定の基準位置とは、例えば、超音波診断装置1の装置本体11の位置である。所定の基準方向とは、例えば、予め設定された直交3軸である。位置センサ9は、例えば、超音波プローブ8に設けられる。位置センサ9は、取得したプローブ位置情報を、後述する位置検出部10に出力する。
位置センサ9は、例えば、磁気センサ、赤外線センサ、角度センサまたは角速度センサ(例えばジャイロセンサ)などである。例えば、磁気センサは、後述する位置検出部10における図示していない磁気送信器から送信された磁気を用いて、所定の基準位置を基準としたプローブ位置情報を取得する。また、赤外線センサは、後述する位置検出部10における図示していない赤外線送信器から送信された赤外線を用いて、所定の基準位置を基準としたプローブ位置情報を取得する。なお、赤外線の代わりにより一般的な電磁波を用いてもよい。なお、位置センサ9が磁気センサ場合、基準位置は、磁気送信器の位置であってもよい。また、位置センサ9が赤外線センサ場合、基準位置は、赤外線送信器の位置であってもよい。また、基準位置は、後述する入力部13を介した操作者の指示により、適宜調整可能である。なお、所定の基準位置は、被検体の体表面に初めに当接される位置であってもよい。
角度センサは、超音波プローブ8の被検体体表面に対する角度を検出する。角速度センサは、超音波プローブ8の動きに応じた角速度を検出する。以下、位置センサ9における角度センサまたは加速度センサからの出力を角度情報と呼ぶ。なお、角度情報は、超音波プローブ8の側面に設けられた2つの磁気センサ、2つの赤外線センサ、または磁気センサと赤外線センサとの組み合わせなどから出力される2点の位置に基づいて、決定されてもよい。
位置検出部10は、位置センサ9から出力されたプローブ位置情報を用いて、所定の基準位置を基準とした超音波プローブ8の位置および傾きを検出する。具体的には、位置検出部10は、所定の基準位置を基準とした絶対座標系上に超音波プローブ8の位置を決定する。以下、絶対座標系上における超音波プローブ8の位置を、プローブ座標と呼ぶ。位置検出部10は、プローブ座標を後述する3次元データ発生部23、特定部25、設定部27などに出力する。
位置検出部10は、超音波プローブ8の移動に応じて、位置情報を更新する。もしくは、所定の時間間隔(例えば1秒間に60回)で、位置情報を更新する。
装置本体12は、送受信部21、3次元データ発生部23、特定部25、設定部27、画像発生部29、記憶部31、制御プロセッサ(中央演算処理装置:Central Processing Unit:以下CPUと呼ぶ)33、I/F35を有する。
送受信部21は、図示していないトリガ発生回路、送信遅延回路、パルサ回路、プリアンプ回路、アナログディジタル(Analog to Digital:以下A/Dと呼ぶ)変換器、受信遅延回路、加算器等を有する。トリガ発生回路は、所定のレート周波数で送信超音波を形成するためのレートパルスを繰り返し発生する。トリガ発生回路は、例えば5kHzのレート周波数でレートパルスを繰り返し発生する。このレートパルスは、チャンネル数に分配され、送信遅延回路に送られる。送信遅延回路は、チャンネル毎に超音波をビーム状に収束し且つ送信指向性を決定するのに必要な遅延時間を、各レートパルスに与える。パルサ回路は、このレートパルスに基づくタイミングで、超音波プローブ11の振動子ごとに電圧パルス(駆動信号)を印加する。これにより、超音波ビームが被検体に送信される。
被検体の生体組織で反射されたエコー信号は、超音波プローブ8を介して受信エコー信号としてチャンネル毎に取り込まれる。プリアンプ回路は、超音波プローブ8を介して取り込まれた被検体からの受信エコー信号をチャンネル毎に増幅する。A/D変換器は、増幅された受信エコー信号をディジタル信号に変換する。受信遅延回路は、ディジタル信号に変換された受信エコー信号に、受信指向性を決定するために必要な遅延時間を与える。加算器は、遅延時間が与えられた複数の受信エコー信号を加算する。この加算により、送受信部21は、受信指向性に応じた方向からの反射成分を強調した受信信号を発生する。この送信指向性と受信指向性とにより超音波送受信の総合的な指向性が決定される(この指向性により、いわゆる「超音波走査線」が決まる)。送受信部21は、被走査領域内の各走査線における深さごとの受信信号を、後述する3次元データ発生部23に出力する。なお、送受信部21は、1回の超音波送信で複数の走査線上に生じたエコー信号を同時に受信する並列受信機能を有していてもよい。
3次元データ発生部23は、図示していないBモードデータ発生ユニットを有する。なお、3次元データ発生部23は、カラー乃至ドプラデータに関する3次元データを発生するカラー乃至ドプラユニット(図示していない)を有していてもよい。以下、説明を簡単にするために、3次元データは、Bモードに関するものとして説明する。Bモードデータ発生ユニットは、図示していない包絡線検波器、対数変換器などを有する。包絡線検波器は、送受信部21から出力された受信信号に対して包絡線検波を実行する。包絡線検波器は、包絡線検波された信号を、後述する対数変換器に出力する。対数変換器は、包絡線検波された信号に対して対数変換して弱い信号を相対的に強調する。Bモードデータ発生ユニットは、対数変換器により強調された信号に基づいて、各走査線における深さごとの信号値(Bモードデータ)を発生する。
Bモードデータ発生ユニットは、被走査領域におけるアジマス(Azimuth)方向(振動子が配列された方向)とエレベーション(Elevation)方向(走査面の揺動方向)と深さ方向(以下レンジ(Range)方向と呼ぶ)とに対応付けて複数の信号値を配列させたBモードデータであるローデータ(RAW Data)を発生する。Bモードデータ発生ユニットは、後述するレンダリング処理のために予め設定された視線上にデータを配列させるために、データの補間を実行してもよい。このとき、Bモードデータ発生ユニットは、データの補間により、後述する視線上にデータを配置した視線データを発生する。なお、Bモードデータ発生ユニットは、ローデータをデータ補間することによりローボクセル(RAW Voxel)変換して、ボリュームデータ(通常はボリュームである直方体を単位長さで区切った格子上にボクセルが配置される)を発生してもよいし、ローデータまたはボリュームデータから視線データを発生させてもよい。なお、本実施形態では、ローデータ、ボリュームデータ、視線データ等を総称して、3次元データと呼ぶ。以降、説明を簡単にするため、一般性を失うこと無く、3次元データという用語はこれらの総称として、またはローデータを念頭に置いて扱うものとする。なお、ローデータは、複数の画素値または複数の輝度値などを、走査線に沿って、アジマス方向、エレベーション方向、レンジ方向にそれぞれ対応付けて配列させたデータであってもよい。Bモードデータ発生ユニットは、位置検出部10により検出されたプローブ座標を用いて、3次元データを絶対座標系に対応付ける。なお、Bモードデータ発生ユニットは、プローブ座標に基づいて、絶対座標系における座標を3次元データに付与してもよい。なお、3次元データには、図示していないカラー乃至ドプラユニットにより発生された3次元的なドプラデータであってもよい。
1次元アレイプローブを揺動方向に揺動させた場合、3次元データ発生部23は、複数の揺動角度にそれぞれ対応する複数断面各々におけるBモードデータと、位置検出部10により検出された揺動角度およびプローブ位置とを用いて、3次元データを発生する。
3次元データ発生部23は、超音波プローブ8の移動ごとに発生された3次元データを位置合わせして結合した結合3次元データを発生してもよい。結合3次元データは、後述する記憶部31に記憶される。位置合わせおよび結合は、超音波プローブ8の移動ごとの更新されたプローブ位置を用いることで、実行される。
特定部25は、3次元データにおける被検体の生体組織に対応する領域を、閾値処理により特定する。被検体の生体組織とは、例えば、後述する入力部13を介して入力された臓器名に対応する組織である。なお、生体組織は、予め設定された組織または特定臓器であってもよい。なお、生体組織は、超音波スキャン前に入力されるスキャン条件に基づいて、決定されてもよい。特定部25は、設定された生体組織のBモードデータまたは決定された生体組織のBモードデータに対応する閾値を、後述する記憶部31から読み出す。特定部25は、3次元データにおける走査線ごと、または視線ごとに、読み出した閾値を用いて閾値処理を実行する。特定部25は、上記閾値処理により、3次元データにおける生体組織の領域を特定する。以下、説明を簡単にするために、生体組織は管腔臓器であるものとする。管腔臓器とは、例えば、消化管、血管、気管などである。この時、特定部25は、特定臓器の領域として、管腔臓器の管腔を特定する。なお、特定部25は、管腔の代わりに管腔の芯線を特定してもよい。以下、説明の便宜上、特定部25は、管腔臓器の管腔の芯線を特定するものとする。特定部25は、位置検出部10により決定されたプローブ座標を用いて、特定された芯線を絶対座標系に対応付ける。なお、特定部25は、プローブ座標に基づいて、絶対座標系における座標を芯線に付与してもよい。
なお、特定臓器は、例えば子宮などの臓器であってもよいし、特定臓器を組織内に発生した腫瘍や結石などに読み替えてもよい。また、生体組織は、被検体内の胎児などであってもよい。
設定部27は、プローブ座標に基づいて、後述するレンダリング処理に用いられる視点を、芯線上に設定する。設定部27は、設定された視点を起点とした視線を絶対座標系上に設定する。視線方向は、例えば、視点における芯線に沿った方向(以下、芯線方向と呼ぶ)である。なお、芯線方向は、芯線の接線方向であってもよい。設定部27は、例えば視線を中心とした所定の視角を、設定された視点を起点として、絶対座標系上に設定する。なお、視点、視線、視角は、後述する入力部13を介して、操作者により適宜調整可能である。なお、設定部27は、視角の代わりにレンダリング領域を設定してもよい。
具体的には、設定部27は、絶対座標系において3次元データが占める領域内に、視点設定領域を設定する。視点設定領域とは、例えば、3次元データにおいて、プローブ座標を包含する3次元データの断面である。設定部27は、視点設定領域と芯線との交点を視点として決定する。なお、設定部27は、プローブ座標から走査線方向に伸ばした直線と、芯線との交点を視点として決定してもよい。また、設定部27は、プローブ座標の直下における芯線の位置に、視点を設定してもよい。なお、設定部27は、視点設定領域と管腔との交差領域に視点を設定してもよい。
被検体体表面に当接させた状態で超音波プローブ8を移動させた場合、設定部27は、超音波プローブ8の移動速度(以下、プローブ速度と呼ぶ)と移動方向とにそれぞれ対応する速度と方向とで、芯線に沿って視点を移動させる。具体的には、設定部27は、プローブ速度と略同じ速度で、所定の時間間隔、所定の位置間隔で、または連続的に視点を設定する。なお、設定部27は、後述する記憶部31に記憶された所定の一定速度で、または後述する入力部13により設定された一定速度で、芯線に沿って視点を移動させてもよい。この時、設定部27は、発生された3次元データにおける所定の領域に、視点が移動されたとき、視点の移動速度を、超音波プローブ8の移動速度に変更してもよい。
なお、設定部27は、結合3次元データにおいて特定された芯線上に、上記視点の移動方向、視点の移動の起点および終点、視線を、反転して設定してもよい。この反転した設定により、後述する画像発生部29で発生される透視投影像(または平行投影像)の表示順序は逆となる。すなわち、後縦する表示部12は、超音波プローブ8に移動に伴って表示された透視投影像とは視線方向を反転した透視投影像を、視点の移動の起点および終点を反転して表示する。
画像発生部29は、設定部27で設定された視点と3次元データとを用いて、レンダリング処理を実行する。レンダリング処理とは、例えば、サーフェイスレンダリング、ボリュームレンダリングなどである。具体的には、画像発生部29は、視点と視線と、視角とを用いて、レンダリング処理として3次元データの透視投影を実行する。以下、説明を簡単にするために、透視投影で実行されるレンダリング処理は、サーフェイスレンダリングであるものとする。なお、画像発生部29は、視点と視線とレンダリング領域とを用いて、レンダリング処理として3次元データの平行投影を実行してもよい。以下、説明を簡単にするために、平行投影で実行されるレンダリング処理は、ボリュームレンダリングであるものとする。なお、ボリュームレンダリングは、例えば、最大値投映法(Maximum Intensity Projection:以下、MIPと呼ぶ)などであってもよい。画像発生部29は、所定の間隔でまたは連続的に設定された視点および視線を用いて、所定の時間間隔、所定の位置間隔で、または連続的に、透視投影または平行投影を実行する。
画像発生部29は、透視投影により超音波画像(以下透視投影像と呼ぶ)を発生する。画像発生部29は、平行投影により超音波画像(以下平行投影像と呼ぶ)を発生する。画像発生部29は、視点の移動に伴って透視投影像を逐次発生する。なお、画像発生部29は、3次元データを用いて、多断面再構成(MultiPlanar Reconstruction:以下MPRと呼ぶ)画像を発生してもよい。また、画像発生部29は、MPR画像と透視投影像とを並列させて組み合わせた第1組み合わせ画像を発生してもよい。また、画像発生部29は、MPR画像と平行投影像とを並列させて組み合わせた第2組み合わせ画像を発生してもよい。画像発生部29は、発生された超音波画像における信号列を、テレビなどに代表される一般的なビデオフォーマットの信号列に変換し、表示画像としての超音波画像を発生する。なお、画像発生部29は、図示していないカラー乃至ドプラユニットから出力されたカラー乃至ドプラデータに基づいて、カラー乃至ドプラ画像を発生してもよい。また、画像発生部29は、被走査領域の断面に関する通常のBモード画像を発生してもよい。
なお、画像発生部29は、結合3次元データにおいて特定された芯線上に、反転された起点、終点、視線と、結合3次元データとを用いて、反転された視点の移動方向に沿って、透視投影像を発生してもよい。
記憶部31は、フォーカス深度の異なる複数の受信遅延パターン、本超音波診断装置1の制御プログラム、診断プロトコル、送受信条件等の各種データ群、3次元データ、結合3次元データ、ドプラデータ、画像発生部29で発生された透視投影像、平行投影像、MPR画像、および生体組織を特定するための閾値、基準位置、視点を決定するアルゴリズムに関するプログラムなどを記憶する。記憶部31は、後述する入力部13を介して操作されたフリーズ操作直前の超音波画像および視線データなどを記憶する。記憶部31は、特定部25で用いられる管腔臓器を特定するための閾値を記憶する。なお、記憶部31は、設定部27で用いられる視点の移動に関する所定の一定速度を記憶してもよい。
CPU33は、操作者により入力部13を介してから入力されたモード選択、受信遅延パターンリストの選択、送信開始・終了に基づいて、記憶部31に記憶された送受信条件と装置制御プログラムを読み出し、これらに従って装置本体11を制御する。例えば、CPU33は、記憶部31から読み出した制御プログラムに従って、特定部25、設定部27および画像発生部29を制御する。
I/F35は、入力部13、ネットワーク、図示していない外部記憶装置および生体信号計測部に関するインターフェースである。装置本体11によって得られた超音波画像等のデータおよび解析結果等は、I/F35とネットワークとを介して他の装置に転送可能である。
表示部12は、図示していないモニタを有する。表示部12は、画像発生部29で発生された各種画像を、モニタに表示する。具体的には、例えば、表示部12は、視点の移動に伴って発生された透視投影像を、モニタに連続的に表示する。なお、表示部12は、透視投影像に対応するMPR画像および平行投影像を表示してもよい。また、表示部12は、画像発生部29で発生された超音波画像およびMPR画像に対して、ブライトネス、コントラスト、ダイナミックレンジ、γ補正などの調整および、カラーマップの割り当てを実行してもよい。なお、表示部12は、画像発生部29で発生された第1組み合わせ画像と、第2組み合わせ画像とを、切り替え可能に表示してもよい。
なお、表示部12は、視点の移動方向を反転して画像発生部29により発生された透視投影像を表示することも可能である。
入力部13は、I/F35に接続され操作者からの各種指示・命令・情報・選択・設定を装置本体11に取り込む。入力部13は、図示していないトラックボール、スイッチボタン、マウス、キーボード等の入力デバイスを有する。入力デバイスは、表示画面上に表示されるカーソルの座標を検出し、検出した座標をCPU33に出力する。なお、入力デバイスは、表示画面を覆うように設けられたタッチパネルでもよい。この場合、入力部13は、電磁誘導式、電磁歪式、感圧式等の座標読み取り原理でタッチ指示された座標を検出し、検出した座標をCPU33に出力する。また、操作者が入力部13の終了ボタンまたはフリーズボタンを操作すると、超音波の送受信は終了し、装置本体11は一時停止状態となる。
なお、入力部13は、特定部25で特定される生体組織に対応する領域または管腔臓器の管腔の芯線を、操作者の指示に従って入力してもよい。また、入力部13は、設定部27で設定される視点、視線、視角などを、所作者の指示に従って入力してもよい。なお、入力部13は、特定部25で用いられる閾値を入力してもよい。入力部13は、第1組み合わせ画像と第2組み合わせ画像との表示切り替え指示を入力する。なお、入力部13は、視点の一定速度を、操作者の指示に従って入力してもよい。
また、入力部13は、視点の移動方向の反転を入力するボタンなどを有していてもよい。このボタンが操作されると、結合3次元データに特定された芯線に沿って、反転された起点、終点、視線と、結合3次元データとを用いて、反転された視点の移動方向に沿って、透視投影像が発生、表示される。
(透視投影像発生機能)
透視投影像発生機能とは、位置検出部10で決定されたプローブ座標に基づいて、視点および視線を決定し、決定された視点および視線に基づいて、透視投影像を発生する機能である。以下、透視投影像発生機能に関する処理(以下、透視投影像発生処理と呼ぶ)を説明する。
図2は、透視投影像を発生させる処理の流れを示すフローチャートである。
被検体に対する超音波送受信に先立って、入力部13を介した操作者の指示により、患者情報の入力、送受信条件、種々の超音波データ収集条件、ROIの設定および更新などが実行される。これらの設定および更新は、記憶部31に記憶される。これらの入力/選択/設定/決定が終了したならば、超音波プローブ8は、被検体体表面の所定の位置に当接される(ステップSa1)。
所定の基準位置を基準として、プローブ座標が検出される(ステップSa2)。次いで送受信部21が、超音波を被検体に向けて送信する。送信された超音波に対応するエコー信号の受信(すなわち超音波スキャン)に基づいて、受信信号が発生される(ステップSa3)。受信信号に基づいて、3次元データが発生される(ステップSa4)。この時、発生された3次元データには、プローブ座標に基づいて絶対座標系での座標(以下、絶対座標と呼ぶ)が付与される。発生された3次元データにおける管腔の芯線が、閾値処理により特定される(ステップSa5)。特定された芯線には、絶対座標が割り当てられる。プローブ座標と所定の基準位置とに基づいて、絶対座標系における芯線上に視点が設定される。加えて、視線と視角とが、設定された視点を起点として設定される(ステップSa6)。この時、視点の位置および視線の方向、視角は、絶対座標系上に設定される。3次元データに基づいて、設定された視点と視線とを用いて、透視投影像が発生される(ステップSa7)。以上の処理が、超音波プローブ8の移動に応じて実行される(ステップSa8)。この時、位置検出部10は、プローブ位置情報を更新する。
図3は、超音波プローブ8の移動後、視点および視線を、次に得られた3次元データにおける管腔内に設定する一例を示す図である。図3は、説明を簡単にするため、位置センサ9の座標系(絶対座標系)は、2次元座標系として示している。移動前の超音波プローブ8に関するプローブ座標は(a1、a2)である。超音波プローブ8の移動後におけるプローブ座標は、(b1、b2)である。それぞれのプローブ座標において設定された視点および視線を用いて、透視投影像が発生される。
図4は、超音波プローブ8の移動後において、超音波プローブ8の直下の管腔内に視点を設定する一例を示す図である。図3との違いは、超音波プローブ8の直下に視点がそれぞれ設定されることにある。
図5は、表示部12で切り替え表示可能な第1組み合わせ画像と、第2組み合わせた画像との一例を示す図である。第1組み合わせ画像は、透視投影像と、視点、視線、視角を示したMPR画像とを有する。第2組み合わせ画像は、平行投影像と、視点、視線、視角を示したMPR画像とを有する。第1、第2組み合わせ画像は、入力部13を介して入力された操作者の指示に従って、適宜切り替えられる。
(第1の変形例)
上記実施形態との相違は、超音波プローブ8を移動後、絶対座標系における視点の座標を、移動前の超音波プローブ8に関するプローブ座標に基づいて設定された視点の座標に維持することにある。加えて、第1の変形例は、超音波プローブ8の移動後において発生された3次元データ(以下、移動後3次元データと呼ぶ)を、超音波プローブ8の移動前において発生された3次元データ(以下、移動前3次元データと呼ぶ)に結合させることも可能である。
設定部27は、超音波プローブ8の移動後における視点を、移動前の超音波プローブ8に関するプローブ座標に基づいて設定された視点の座標に維持する。
3次元データ発生部23は、絶対座標系の座標に基づいて、移動前3次元データに、移動後3次元データを結合する。3次元データ発生部23は、これらの3次元データを絶対座標系で結合した結合3次元データを発生する。なお、3次元データ発生部23は、移動前3次元データと移動後3次元データとが絶対座標系において結合できない距離で離れている場合においても、移動前後の3次元データを絶対座標系上に定義してもよい。
画像発生部29は、維持された視点と超音波プローブ8の移動後に発生された3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生してもよい。例えば視点を維持した地点から超音波プローブ8を遠ざけるように移動させた場合、視点から遠い位置にレンダリング画像が表示されることとなる。また、画像発生部29は、維持された視点と結合3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生してもよい。生体組織は、管腔臓器に限定されず、例えば、子宮、被検体内の胎児などであってもよい。生体組織が子宮、被検体内の胎児である場合、維持される視点は、例えば、子宮内または羊水内である。
図6は、超音波プローブの移動後において、視点および視線を、移動前3次元データにおける管腔内に維持する一例を示す図である。図6において、移動前3次元データに移動後3次元データが結合されてもよい。このとき、表示部12は、移動前の超音波プローブ8に関するプローブ座標における透視投影像を表示する。この後の処理としては、例えば、入力部13を介した透視投影像の連続表示の実行指示に従って、設定部27は、芯線上に視点などを設定する。画像発生部29は、設定された視点と移動前3次元データなどを用いて、レンダリング処理を実行する。表示部12は、レンダリング処理された透視投影像などを、モニタに表示する。
(第2の変形例)
第1の変形例との相違は、3次元データの端部近傍の所定領域(以下、端部領域と呼ぶ)に、視点が移動されること契機として、超音波の送信を制御することにある。
設定部27は、3次元Bモードデータの端部近傍に端部領域を設定する。具体的には、設定部27は、端部領域として、例えば、超音波スキャンに要する時間と透視投影像を発生させる時間との和に視点の移動速度をかけた距離の幅を有する領域を、3次元データの端部に設定する。なお、端部領域は、入力部13を介した操作者の指示により、適宜調整可能である。また、端部領域は、予め記憶部31に記憶されていてもよい。
CPU33は、端部領域に視点が到達したことを契機として、超音波振動子各々に駆動信号を供給させるために、送受信部21を制御する。なお、CPU33は、端部領域に到達した視点の位置における芯線の接線方向が走査線方向に平行な場合、超音波振動子各々に駆動信号を供給させないために、送受信部21を制御してもよい。また、このとき、CPU33は、エラー表示を表示させるために、表示部12を制御してもよい。
なお、CPU33は、端部領域における視点の位置に基づいて、視野深度、走査線本数、送信中心周波数、フォーカス深度などの超音波送信条件を変更してもよい。例えば、CPU33は、被走査領域の視野深度に対する端部領域における視点の深さの割合に応じて、超音波送信条件を変更する。CPU33は、例えば、上記割合が80%以上である場合、視野深度を1.5倍にするように送受信部21を制御する。なお、CPU33は、視野深度の深さに応じて、送信中心周波数を変更することも可能である。また、CPU33は、端部領域における視点の深さと、端部領域における視点での視線方向とに基づいて、フォーカス深度を適宜変更してもよい。
図7は、端部領域に視点が到達すると超音波スキャンが実行される一例を示す図である。図7において、視点は、超音波プローブ8の直下における芯線上に設定される。超音波プローブ8の移動に伴って、視点が移動される。移動された視点が予め設定された端部領域に到達すると、超音波スキャンが実行される。
図8は、視点が3次元データの端部領域に到達した時点における視点の位置に基づいて、被走査領域の視野深度を変更する一例を示す図である。超音波プローブ8の移動前の超音波スキャンに関する被走査領域での視野深度に対する端部領域における視点の深さの割合に応じて、超音波プローブ8の移動後の超音波スキャンに関する被走査領域での視野深度が決定される。決定された視野深度で、超音波プローブ8の移動後の超音波スキャンが実行される。超音波スキャン後の処理として、芯線上に視線が設定され、透視投影像などがモニタに表示される。
(第3の変形例)
第1、第2の変形例との相違は、管腔が分岐している場合、超音波プローブ8の動きにより一つの管腔を表示させることにある。
位置センサ9は、所定の基準位置を基準としたプローブ位置情報を取得する。プローブ位置情報は、所定の基準位置に対する超音波プローブ8の位置と超音波プローブ8の角度である。超音波プローブ8の角度とは、例えば、所定の基準方向に対する超音波プローブ8の傾きである。所定の基準位置とは、例えば、超音波診断装置1の装置本体11の位置である。所定の基準方向とは、例えば、予め設定された直交3軸である。位置センサ9は、例えば、超音波プローブ8に設けられる。位置センサ9は、取得したプローブ位置情報を、後述する位置検出部10に出力する。
位置センサ9は、例えば、磁気センサ、赤外線センサ、角度センサまたは角速度センサ(例えばジャイロセンサ)などである。例えば、磁気センサは、後述する位置検出部10における図示していない磁気送信器から送信された磁気を用いて、所定の基準位置を基準としたプローブ位置情報を取得する。また、赤外線センサは、後述する位置検出部10における図示していない赤外線送信器から送信された赤外線を用いて、所定の基準位置を基準としたプローブ位置情報を取得する。なお、赤外線の代わりにより一般的な電磁波を用いてもよい。なお、位置センサ9が磁気センサ場合、基準位置は、磁気送信器の位置であってもよい。また、位置センサ9が赤外線センサ場合、基準位置は、赤外線送信器の位置であってもよい。また、基準位置は、後述する入力部13を介した操作者の指示により、適宜調整可能である。なお、所定の基準位置は、被検体の体表面に初めに当接される位置であってもよい。
角度センサは、超音波プローブ8の被検体体表面に対する角度を検出する。角速度センサは、超音波プローブ8の動きに応じた角速度を検出する。以下、位置センサ9における角度センサまたは加速度センサからの出力を角度情報と呼ぶ。なお、角度情報は、超音波プローブ8の側面に設けられた2つの磁気センサ、2つの赤外線センサ、または磁気センサと赤外線センサとの組み合わせなどから出力されるデータに基づいて、決定されてもよい。
位置検出部10は、プローブ位置情報に基づいて、超音波プローブ8の移動方向を決定する。移動方向とは、例えば、絶対座標系における単位ベクトル(以下、プローブ方向ベクトルと呼ぶ)である。位置検出部10は、超音波プローブ8の移動に伴って所定の間隔で、プローブ方向ベクトルを決定する。
特定部25は、絶対座標系における芯線の単位ベクトル(以下、芯線方向ベクトルと呼ぶ)を、視点の位置それぞれについて決定する。以下説明を簡単にするために、管腔は、分岐部において2方向に分岐するものとする。管腔の分岐部において、芯線は第1の芯線と第2の芯線とに分岐する。特定部25は、分岐部において、第1の芯線に関する第1芯線方向ベクトルと第2の芯線に関する第2芯線方向ベクトルとを決定する。
設定部27は、プローブ方向ベクトルと芯線方向ベクトルとに基づいて、分岐している管腔のいずれか一つにおける芯線上に視点を、所定の基準位置を基準として設定する。具体的には、設定部27は、プローブ方向ベクトルと、プローブ方向ベクトルの直下に位置する第1芯線方向ベクトルとの内積(以下、第1の内積と呼ぶ)を計算する。第1の内積は、プローブ方向ベクトルと、第1芯線方向ベクトルとの角度のコサインに対応する。設定部27は、プローブ方向ベクトルと、プローブ方向ベクトルの直下に位置する第2芯線方向ベクトルとの内積(以下、第2の内積と呼ぶ)を計算する。第2の内積は、プローブ方向ベクトルと、第2芯線方向ベクトルとの角度のコサインに対応する。なお、第1芯線方向ベクトルと第2芯線方向ベクトルとは、同一平面上(例えば走査面)に位置する。この平面は、アジマス方向とエレベーション方向とのうち少なくとも一つが異なる。
設定部27は、計算された第1、第2の内積のうちより大きい値に関する芯線方向ベクトルを特定する。特定された芯線方向ベクトルに関する芯線に視点を設定する。なお、設定部27は、第1の内積の絶対値と第2の内積の絶対値とのちより大きい値に関する芯線方向ベクトルを特定してもよい。このとき、視線(視点の移動方向)を反転させることも可能となる。視点の移動方向の反転は、内積が負になることに対応する。なお、管腔が上下に分岐されているときは、入力部13を介して入力されたフォーカス位置により、視点が設定されてもよい。
画像発生部29は、設定された視点と3次元データとを用いてレンダリング処理を実行する。表示部12は、レンダリング処理された透視投影像などを表示する。
図9は、管腔の分岐点において、超音波プローブの角度と超音波プローブの移動方向とに応じて、超音波プローブ直下に近い管腔が選択され、視点が移動される一例を示す図である。MPR1画像において、点線で示された管腔は、MPR1の断面から逸れている(分岐している)ことを示している。MPR2画像(MPR1の直交断面)において、プローブの移動と煽り(角度情報)とに基づいて、管腔の経路が特定されたことを示している。
(第4の変形例)
第1乃至第3の変形例との相違は、管腔が曲がっている場合、表示対象としている管腔に対して超音波スキャンを実行するために、超音波プローブ8を誘導する方向を表示させることにある。
設定部27は、特定部25により特定された管腔の周囲に、所定の厚みを有する管腔周辺領域を設定する。なお、管腔周辺領域は、入力部13を介した操作者の指示により、適宜調整可能である。
位置検出部は、超音波プローブ8の移動に伴って、超音波プローブの移動方向を決定する。
特定部25は、視点における芯線の接線方向を特定する。特定部25は、3次元データにおいて、超音波プローブ8の移動方向に垂直な面(以下、垂直面と呼ぶ)を特定する。垂直な面とは、例えば、超音波走査面である。特定部25は、垂直面に管腔周辺領域が含まれるか否かを判定する。特定部25は、超音波プローブ8の移動に伴って、垂直面にから管腔周辺領域が外れた場合、この時の接線方向を、表示部12に出力する。
表示部12は、ボディーマーク上に超音波プローブ8の位置を表示する。表示部12は、超音波プローブ8の位置が表示されたボディーマークに、特定部25から出力された接線方向を、重ねて表示する。
図10は、超音波プローブの背面方向から被走査領域、管腔周辺領域、管腔、芯線を平行投影させた平行投影図を、超音波プローブ8の移動軌跡とともに示した図である。特定部25は、図10に示すように、垂直面(2)−(2)’から管腔周辺領域が外れたことを判定する。このとき特定部25は、垂直面(2)−(2)’における管腔の方向を、表示部12に出力する。
図11は、図10における(1)−(1)’断面、(2)−(2)’断面、(3)−(3)’断面各々における芯線、管腔、管腔周辺領域を、被走査領域における垂直面とともに示す図である。図11は、垂直面(2)−(2)’から管腔周辺領域が外れたことの一例を示している。
図12は、ボディーマークに、超音波プローブ8と、管腔の方向とを示した図である。特定部25から出力された管腔の方向は、ボディーマークに重畳表示される。
以上に述べた構成によれば、以下の効果を得ることができる。
本超音波診断装置1によれば、所定の基準位置を基準として検出された超音波プローブ8の位置に基づいて、3次元Bデータにおいて特定された生体組織の領域に視点を設定することができる。これにより、超音波プローブ8を移動させた場合においても、生体組織内部に視点を維持することができ、生体組織内部における視点でレンダリング画像を発生することができる。例えば、超音波プローブ8の直下に設定された視点を、超音波スキャンを再度実行した場合においても管腔内に維持することができる。なお、レンダリング画像に関する視点の移動速度を、超音波プローブ8の移動速度と相違させることも可能である。この場合、3次元Bモードデータにおける所定の領域に視点が到達したとき、視点の移動速度をプローブ8の移動速度に変更することができる。
加えて、本超音波診断装置1によれば、位置センサ9により定義される絶対座標系を用いることにより、リアルタイムで発生された3次元データに基づいて、レンダリング処理を実行することができる。これにより、超音波プローブ8の移動後において、管腔内を一定速度で移動する視点における透視投影像を、超音波プローブ8の移動前に発生された3次元データにおける生体組織と同じ生体組織(管腔など)について表示することができる。このことから、視点の移動に伴って発生されたレンダリング画像を、リアルタイムで連続的に表示することができる。
また、本超音波診断装置1によれば、レンダリング処理における視点を、超音波プローブ8の移動後においても、超音波プローブ8の移動前に設定された視点に維持することができる。このとき移動前3次元データと移動後3次元データとを結合することも可能である。
さらに、絶対座標系において超音波プローブ8の直下に設定された視点が3次元データの端部領域に到達することを契機として、超音波スキャンを再度実行することができる。これにより、現行のフレームレートに対応して、、視点の移動に伴って発生されたレンダリング画像を表示させることができる。加えて、端部領域における視点の位置に応じて、管腔を連続して表示するために最適な超音波送受信条件に変更することも可能である。
また、管腔が分岐している場合、超音波プローブ8の位置と角度とに応じて、視点移動方向を決定することも可能である。加えて、芯線の方向と超音波プローブ8の移動方向とが異なる場合、超音波プローブ8を移動させる方向を、ボディーマークに表示させることも可能である。
以上のことから、生体組織内におけるレンダリング像を、生体組織内部から逸脱させることなく表示することができる。例えば、観察対象の管腔内の透視投影像を、管腔から逸脱することなく表示することができる。
また、上記実施形態の変形例として、本超音波診断装置1の技術的思想を医用画像処理装置で実現する場合には、例えば図1の構成図における実線内の構成要素を有するものとなる。この時、透視投影像発生機能に関する処理は、ステップSa5からステップSa7の処理に対応する。これらの処理につては、実施形態と同様である。なお、ステップSa5における3次元データは、対応するプローブ位置情報(座標、角度)とともに予め記憶部31に記憶される。加えて、記憶部31は、超音波プローブ8の移動軌跡に対応するプローブ位置情報を、3次元データに関連付けて記憶する。これにより、医用画像処理装置は、過去に取得された3次元データとプローブの移動軌跡とを用いて、生体組織内におけるレンダリング像を、生体組織内部から逸脱させることなく表示することができる。
また、医用画像処理装置において、超音波診断装置から出力されたDICOMファイル(例えば、3次元データなど)を読み込んで、上記処理を実行することも可能である。加えて、実施形態に係る各機能は、当該処理を実行するプログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。このとき、コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクなど)、光ディスク(CD−ROM、DVDなど)、半導体メモリなどの記憶媒体に格納して頒布することも可能である。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1…超音波診断装置、8…超音波プローブ、9…位置センサ、10…位置検出部、11…装置本体、12…表示部、13…入力部、21…送受信部、23…3次元データ発生部、25…特定部、27…設定部、29…画像発生部、31…記憶部、33…制御プロセッサ(CPU)、35…インターフェース(I/F)

Claims (16)

  1. 被検体体表面に当接され、複数の超音波振動子を有する超音波プローブと、
    前記超音波プローブの位置情報を、所定の基準位置を基準として検出する位置検出部と、
    前記超音波振動子各々に駆動信号を供給し、前記各超音波振動子によって発生された各受信エコー信号に基づいて受信信号を発生する送受信部と、
    前記受信信号に基づいて、第1の3次元データを発生する3次元データ発生部と、
    前記第1の3次元データにおいて、生体組織内部における領域を特定する特定部と、
    前記位置情報に基づいて前記特定された領域第1の視点を設定する設定部と、
    前記設定された第1の視点と前記第1の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する画像発生部と、
    を具備し、
    前記位置検出部は、前記被検体体表面に当接された前記超音波プローブの移動に応じて前記位置情報を更新し、
    前記3次元データ発生部は、前記移動後の超音波プローブの位置で取得された受信信号に基づいて、第2の3次元データを発生し、
    前記特定部は、前記第2の3次元データにおいて、前記生体組織内部における領域を特定し、
    前記設定部は、
    前記移動後の超音波プローブの位置情報と、前記第2の3次元データにおいて特定された前記生体組織内部における領域に第2の視点を維持するように設定し、
    前記画像発生部は、前記設定された第2の視点と前記第2の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する超音波診断装置。
  2. 前記設定部は、
    前記基準位置を原点とする座標系上に前記第1、第2の3次元データを設定し、
    前記設定された第1、第2の3次元データ各々において特定された前記生体組織内部における領域に、前記第1、第2の視点の位置をそれぞれ設定する請求項に記載の超音波診断装置。
  3. 前記設定部は、前記更新された位置情報に基づく第2の視点を、前記第1の視点に一致させて設定する請求項に記載の超音波診断装置。
  4. 前記3次元データ発生部は、前記第1の3次元データと前記第2の3次元データとを結合した結合3次元データを発生する請求項1乃至3のうちいずれか一項に記載の超音波診断装置。
  5. 前記設定部は、前記結合3次元データにおいて、前記第2の視点を、前記第1の視点に一致させて設定し、
    前記画像発生部は、前記第2の点と前記結合3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する請求項に記載の超音波診断装置。
  6. 前記特定部は、管腔を有する前記生体組織に対応する管腔領域を特定し、
    前記設定部は、前記位置情報と前記基準位置とに基づいて、前記第1の視点を前記特定された管腔領域内部に設定する請求項1乃至5のうちいずれか一項に記載の超音波診断装置。
  7. 前記設定部は、
    前記第1の3次元データ内に、視点の設定に関する視点設定領域を設定し、
    前記管腔領域と前記視点設定領域との交差領域に第1の視点を設定する請求項に記載の超音波診断装置。
  8. 前記位置検出部は、前記基準位置を基準として、前記移動後の超音波プローブの位置と前記超音波プローブの移動方向とを検出し、
    前記特定部は、前記第1の3次元データにおいて特定された前記管腔領域における管腔方向を特定し、
    前記設定部は、前記管腔が分岐している場合、前記移動後の超音波プローブの位置と前記超音波プローブの移動方向と前記管腔方向と前記基準位置とに基づいて、前記第1の3次元データにおいて特定された前記管腔領域内部に、前記第1の視点を設定する請求項6または7に記載の超音波診断装置。
  9. 前記レンダリング画像を表示する表示部をさらに具備し、
    前記設定部は、前記特定された管腔領域の周囲に所定の厚みを有する管腔周辺領域を設定し、
    前記位置検出部は、前記基準位置を基準として、前記超音波プローブの移動方向を検出し、
    前記特定部は、
    前記第1の3次元データにおける前記管腔領域における管腔方向を特定し、
    前記第1の3次元データにおける前記移動方向に垂直な面に、前記管腔周辺領域が含まれるか否かを判定し、
    前記表示部は、前記管腔周辺領域が前記垂直な面から外れた場合、前記第1の視点における芯線の接線方向を表示する請求項6乃至8のうちいずれか一項に記載の超音波診断装置。
  10. 前記設定部は、前記超音波プローブの移動速度に対応する速度で、前記第1の視点を前記領域内に亘って移動させる請求項1乃至9のうちいずれか一項に記載の超音波診断装置。
  11. 前記超音波振動子各々に駆動信号を供給するタイミングを制御する制御部をさらに具備し、
    前記制御部は、前記第1の視点が前記第1の3次元データの端部近傍の所定領域に包含されることを契機として、前記超音波振動子各々に駆動信号を供給させるために前記送受信部を制御する請求項1に記載の超音波診断装置。
  12. 前記制御部は、前記所定領域における前記第1の視点の位置に基づいて、超音波送信条件を変更する請求項1に記載の超音波診断装置。
  13. 前記画像発生部は、前記レンダリング処理として、平行投影処理と透視投影処理とのうち、少なくとも一方を実行する請求項1乃至12のうちいずれか一項に記載の超音波診断装置。
  14. 被検体体表面に当接され、複数の超音波振動子を有する超音波プローブと、
    前記超音波プローブの位置情報を、所定の基準位置を基準として検出する位置検出部と、
    前記超音波振動子各々に駆動信号を供給し、前記各超音波振動子によって発生された各受信エコー信号に基づいて受信信号を発生する送受信部と、
    前記受信信号に基づいて、3次元データを発生する3次元データ発生部と、
    前記3次元データにおける生体組織内部における領域を特定する特定部と、
    前記超音波プローブの位置情報と前記基準位置とに基づいて、前記特定された領域に第1の視点を設定する設定部と、
    前記第1の視点と前記3次元データとを用いて、レンダリング処理を実行し、レンダリング画像を発生する画像発生部とを具備し、
    前記位置検出部は、前記被検体体表面に当接された前記超音波プローブの移動に応じて前記位置情報を更新し、
    前記設定部は、
    前記更新された位置情報と前記領域とに基づいて、前記3次元データにおいて特定された前記生体組織内部における領域に第2の視点を維持するように設定し、
    前記画像発生部は、前記設定された第2の視点と前記3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する超音波診断装置。
  15. 所定の基準位置を基準とした、被検体体表面に当接された超音波プローブの位置に関する第1の3次元データを記憶する記憶部と、
    前記第1の3次元データにおいて、生体組織内部における領域を特定する特定部と、
    前記超音波プローブの位置に基づいて前記特定された領域に第1の視点を設定する設定部と、
    前記設定された第1の視点と前記第1の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する画像発生部と、
    を具備し、
    前記記憶部は、前記被検体体表面に当接された超音波プローブの移動後の超音波プローブの位置情報に関する第2の3次元データを記憶し、
    前記特定部は、前記第2の3次元データにおいて、前記生体組織内部における領域を特定し、
    前記設定部は、前記移動後の超音波プローブの位置情報に基づいて、前記第2の3次元データにおいて特定された前記生体組織内部における領域に第2の視点を維持するように設定し、
    前記画像発生部は、前記設定された第2の視点と前記第2の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生する医用画像処理装置。
  16. コンピュータに、
    所定の基準位置を基準とした、被検体体表面に当接された超音波プローブの位置に関する第1の3次元データを記憶
    前記第1の3次元データにおいて、生体組織内部における領域を特定
    前記超音波プローブの位置に基づいて前記特定された領域に第1の視点を設定
    前記設定された第1の視点と前記第1の3次元データとを用いてレンダリング処理を実行させ、レンダリング画像を発生
    前記被検体体表面に当接された超音波プローブの移動後の超音波プローブの位置情報に関する第2の3次元データを記憶し、
    前記第2の3次元データにおいて、前記生体組織内部における領域を特定し、
    前記移動後の超音波プローブの位置情報に基づいて、前記第2の3次元データにおいて特定された前記生体組織内部における領域に第2の視点を維持するように設定し、
    前記設定された第2の視点と前記第2の3次元データとを用いてレンダリング処理を実行し、レンダリング画像を発生すること、
    を実現させることを特徴とする医用画像処理プログラム。
JP2012172250A 2011-08-19 2012-08-02 超音波診断装置、医用画像処理装置および医用画像処理プログラム Expired - Fee Related JP6054089B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012172250A JP6054089B2 (ja) 2011-08-19 2012-08-02 超音波診断装置、医用画像処理装置および医用画像処理プログラム
PCT/JP2012/070088 WO2013027571A1 (ja) 2011-08-19 2012-08-07 超音波診断装置、医用画像処理装置および医用画像処理方法
CN201280001326.5A CN103068316B (zh) 2011-08-19 2012-08-07 超声波诊断装置、医用图像处理装置及医用图像处理方法
US13/715,687 US10456106B2 (en) 2011-08-19 2012-12-14 Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011179613 2011-08-19
JP2011179613 2011-08-19
JP2012172250A JP6054089B2 (ja) 2011-08-19 2012-08-02 超音波診断装置、医用画像処理装置および医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2013059610A JP2013059610A (ja) 2013-04-04
JP6054089B2 true JP6054089B2 (ja) 2016-12-27

Family

ID=47746321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012172250A Expired - Fee Related JP6054089B2 (ja) 2011-08-19 2012-08-02 超音波診断装置、医用画像処理装置および医用画像処理プログラム

Country Status (4)

Country Link
US (1) US10456106B2 (ja)
JP (1) JP6054089B2 (ja)
CN (1) CN103068316B (ja)
WO (1) WO2013027571A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6222955B2 (ja) * 2013-03-25 2017-11-01 キヤノン株式会社 被検体情報取得装置
KR20150024167A (ko) * 2013-08-26 2015-03-06 삼성메디슨 주식회사 바디 마커 생성 방법 및 초음파 진단 장치
EP3142560B1 (en) * 2014-05-12 2021-08-18 Exact Imaging Inc. Medical-imaging system and method thereof
JP2016016022A (ja) * 2014-07-04 2016-02-01 株式会社東芝 超音波診断装置
KR101621309B1 (ko) 2014-07-04 2016-05-16 한국디지털병원수출사업협동조합 3차원 초음파 진단기용 영상 이미지 왜곡 보정 시스템
EP3220828B1 (en) 2014-11-18 2021-12-22 C.R. Bard, Inc. Ultrasound imaging system having automatic image presentation
EP4011298A1 (en) 2014-11-18 2022-06-15 C. R. Bard, Inc. Ultrasound imaging system having automatic image presentation
KR102367194B1 (ko) * 2014-12-31 2022-02-25 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
CN105261052B (zh) * 2015-11-03 2018-09-18 沈阳东软医疗系统有限公司 管腔图像展开绘制方法及装置
EP3469553A1 (en) * 2016-06-10 2019-04-17 Koninklijke Philips N.V. Systems and methods for generating b-mode images from 3d ultrasound data
US11653897B2 (en) 2016-07-07 2023-05-23 Canon Medical Systems Corporation Ultrasonic diagnostic apparatus, scan support method, and medical image processing apparatus
JP6833427B2 (ja) * 2016-09-26 2021-02-24 キヤノンメディカルシステムズ株式会社 超音波診断装置及び医用画像処理プログラム
WO2019064706A1 (ja) * 2017-09-27 2019-04-04 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN109717906B (zh) * 2019-02-23 2020-05-08 广州莲印医疗科技有限公司 一种胎头方向测量装置及其方法
CN114431892B (zh) * 2020-10-30 2024-04-16 通用电气精准医疗有限责任公司 一种超声成像系统及超声成像方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
JP2002510230A (ja) * 1997-06-27 2002-04-02 ザ・ボード・オブ・トラスティーズ・オブ・ザ・リーランド・スタンフォード・ジュニア・ユニバーシティ 立体的画像ナビゲーション方法及び装置
DE69805209T2 (de) * 1998-02-23 2002-11-28 Algotec Systems Ltd., Raanana System und methode zur automatischen wegplanung
JP4260938B2 (ja) * 1998-10-23 2009-04-30 株式会社東芝 3次元超音波診断装置
WO2004028375A1 (ja) * 2002-09-27 2004-04-08 Olympus Corporation 超音波診断装置
JP2005042709A (ja) * 2003-07-10 2005-02-17 Ebara Corp 真空ポンプ
JP4167162B2 (ja) * 2003-10-14 2008-10-15 アロカ株式会社 超音波診断装置
US7604601B2 (en) * 2005-04-26 2009-10-20 Biosense Webster, Inc. Display of catheter tip with beam direction for ultrasound system
US8285011B2 (en) * 2005-06-02 2012-10-09 M2S Anatomical visualization and measurement system
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US8428690B2 (en) * 2007-05-16 2013-04-23 General Electric Company Intracardiac echocardiography image reconstruction in combination with position tracking system
CN101354246B (zh) * 2007-07-27 2010-09-29 鸿富锦精密工业(深圳)有限公司 物体表面形貌测量方法
US8086000B2 (en) * 2007-08-27 2011-12-27 Pie Medical Imaging B.V. Method, apparatus and computer program for quantitative bifurcation analysis on angiographic images
JP5112021B2 (ja) * 2007-11-26 2013-01-09 株式会社東芝 血管内画像診断装置及び血管内画像診断システム
JP5384473B2 (ja) * 2008-03-21 2014-01-08 株式会社日立メディコ 画像表示装置及び画像表示方法
CN101601593B (zh) * 2008-06-10 2013-01-16 株式会社东芝 超声波诊断装置
JP5433240B2 (ja) * 2009-01-21 2014-03-05 株式会社東芝 超音波診断装置及び画像表示装置
JP5395538B2 (ja) * 2009-06-30 2014-01-22 株式会社東芝 超音波診断装置及び画像データ表示用制御プログラム
JP5498181B2 (ja) * 2010-01-29 2014-05-21 株式会社東芝 医用画像収集装置

Also Published As

Publication number Publication date
CN103068316B (zh) 2016-05-25
US20130102903A1 (en) 2013-04-25
JP2013059610A (ja) 2013-04-04
US10456106B2 (en) 2019-10-29
CN103068316A (zh) 2013-04-24
WO2013027571A1 (ja) 2013-02-28

Similar Documents

Publication Publication Date Title
JP6054089B2 (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
US9005128B2 (en) Ultrasound imaging apparatus and method for displaying ultrasound image
JP5606076B2 (ja) 超音波診断装置、医用画像処理装置及び医用画像処理プログラム
JP6342164B2 (ja) 超音波診断装置
WO2006059668A1 (ja) 超音波装置、超音波撮像プログラム及び超音波撮像方法
JP6071599B2 (ja) 超音波診断装置、画像処理装置及びプログラム
US20150087981A1 (en) Ultrasound diagnosis apparatus, computer program product, and control method
JP6720001B2 (ja) 超音波診断装置、及び医用画像処理装置
JP5942217B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
JP6574531B2 (ja) 体内及び体外超音波プローブの音響的位置合わせ
JP2013158348A (ja) 超音波診断装置及び画像処理プログラム
JP6457054B2 (ja) 超音波診断装置
JP5865720B2 (ja) 超音波画像診断装置
JP5823184B2 (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
JP2002315754A (ja) 細径プローブ型超音波診断装置
JP7368247B2 (ja) 超音波診断装置および画像処理プログラム
JP6068017B2 (ja) 超音波診断装置及び画像生成プログラム
JP2013099386A (ja) 超音波診断装置および医用画像処理装置
JPH10216127A (ja) 超音波診断装置とその画像処理用アダプタ装置
JP2013135961A (ja) 超音波診断装置、及び医用画像処理装置
JP6207940B2 (ja) 超音波診断装置、医用画像処理装置および医用画像処理プログラム
JP2024067479A (ja) 超音波診断装置、算出方法及び算出プログラム
JP3040306U (ja) 超音波診断装置とその画像処理用アダプタ装置
JP2000005175A (ja) 超音波診断装置
JP2018134271A (ja) 超音波診断装置、及び超音波診断支援プログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131219

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20140109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150702

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161130

R150 Certificate of patent or registration of utility model

Ref document number: 6054089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees