JP5809302B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP5809302B2
JP5809302B2 JP2014015111A JP2014015111A JP5809302B2 JP 5809302 B2 JP5809302 B2 JP 5809302B2 JP 2014015111 A JP2014015111 A JP 2014015111A JP 2014015111 A JP2014015111 A JP 2014015111A JP 5809302 B2 JP5809302 B2 JP 5809302B2
Authority
JP
Japan
Prior art keywords
displacement
image
data
living tissue
tomographic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014015111A
Other languages
English (en)
Other versions
JP2015139624A (ja
Inventor
雄樹 澤山
雄樹 澤山
林 達也
林  達也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Aloka Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Aloka Medical Ltd filed Critical Hitachi Aloka Medical Ltd
Priority to JP2014015111A priority Critical patent/JP5809302B2/ja
Priority to PCT/JP2014/077232 priority patent/WO2015114887A1/ja
Publication of JP2015139624A publication Critical patent/JP2015139624A/ja
Application granted granted Critical
Publication of JP5809302B2 publication Critical patent/JP5809302B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波診断装置に関し、特に、生体組織の変位を計測する装置に関する。
生体組織に針を穿入することにより、薬物の注入、細胞の摘出、細胞の焼灼等を行う穿刺と呼ばれる施術が広く行われている。穿刺用の針としては、施術の目的に応じた構造を有する穿刺針が用いられる。例えば、薬物の注入、細胞の摘出等には、先端に開口を有する中空の穿刺針が用いられる。また、腫瘍を焼灼する場合には、電磁波を放射する電極が先端に設けられた穿刺針が用いられる。
穿刺に際しては、生体の適切な位置に適切な角度で穿刺針を穿入するため、穿刺アダプタが用いられることが多い。穿刺アダプタは、超音波プローブに装着される器具であり、穿刺針を適切な位置および方向に導く。また、穿刺は、超音波診断装置のモニタに穿刺対象部位を表示しながら行われる。施術者は、生体に超音波プローブを接触させて、モニタに穿刺対象部位を表示させた状態で穿刺対象部位に向けて穿刺針を穿入する。そして、モニタに表示された穿刺針および穿刺対象部位を参照し、穿刺針の位置および姿勢、穿刺対象部位の位置等を確認しながら穿刺を行う。
以下の特許文献1には、超音波プローブに着脱自在な穿刺アダプタが記載されている。穿刺アダプタが超音波プローブに装着されることで、超音波プローブの傍らに穿刺針に対する案内経路が形成される。穿刺の際には案内経路に穿刺針が通される。穿刺針は、案内経路に沿って所定の姿勢を保ちながら生体に穿入される。特許文献2には、穿刺針の進入路の目安を示す直線を超音波画像上に表示する超音波診断装置が記載されている。
特開2010−172565号公報 特開平6−183号公報 特開2012−143389号公報
穿刺に際し施術者は、穿刺対象部位および穿刺針がモニタに表示され、かつ、穿刺針が穿刺対象部位に到達するように、穿刺アダプタ等を用いて超音波プローブおよび穿刺針の各姿勢を定める。しかし、超音波プローブおよび穿刺針の位置関係によっては、モニタにおける穿刺針の視認性が低下し、穿刺を行うことが困難となることがある。
そこで、特許文献3に記載されているように、ドプラ法を用いて生体組織の歪を算出し、算出された歪に基づいて穿刺針の位置を特定し表示する超音波診断装置が考えられている。しかし、ドプラ法は演算量が多いため、穿刺針および生体組織の変位に迅速に応答した表示をすることが困難となる場合がある。
本発明は、穿刺に伴う生体組織の状態を適切に表示することを目的とする。
本発明は、穿刺される生体組織で反射した超音波に基づいて、断層画像フレームデータを生成する断層画像生成部と、穿刺によって変位した前記生体組織の変位状態を示す変位データを、複数フレームの前記断層画像フレームデータに基づいて生成する変位計測部と、前記変位データに基づいて、前記生体組織が穿刺によって変位した方向を示す穿刺変位画像データを生成する変位データ生成部と、前記穿刺変位画像データに基づく画像を、前記断層画像フレームデータに基づく断層画像に重ねて表示部に表示する画像合成部と、を備え、前記変位データ生成部は、前記断層画像と穿刺針との角度関係を表す穿刺針角度を、ユーザの操作に基づいて、あるいは穿刺針方向検出センサを用いて取得し、前記穿刺針角度に基づいて、前記穿刺針の進路方向を基準とした前記生体組織の変位方向を示す画像データを、前記穿刺変位画像データとして生成することを特徴とする。また、本発明は、穿刺される生体組織で反射した超音波に基づいて、断層画像フレームデータを生成する断層画像生成部と、穿刺によって変位した前記生体組織の変位状態を示す変位データを、複数フレームの前記断層画像フレームデータに基づいて生成する変位計測部と、前記変位データに基づいて、前記生体組織が穿刺によって変位した方向を示す穿刺変位画像データを生成する変位データ生成部と、前記穿刺変位画像データに基づく画像を、前記断層画像フレームデータに基づく断層画像に重ねて表示部に表示する画像合成部と、を備え、前記変位データ生成部は、前記生体組織の変位の特定範囲の方向成分を示す画像データを前記穿刺変位画像データとして生成することを特徴とする。
本発明によれば、断層画像と共に生体組織の変位状態が表示部に表示される。これによって、穿刺に伴う生体組織の歪み等の変位状態が、ユーザに分かり易く示される。一般に、生体組織に対して穿刺が行われた場合、穿刺針周辺の生体組織の変位状態が穿刺針の進路に応じて変化する。したがって、本発明によれば、ユーザが穿刺針の進路を把握することが容易になる。本発明における変位データは、画像データであってもよいし、断層画像フレームデータに付加的な情報を与えるデータであってもよい。
望ましくは、前記変位データ生成部は、前記生体組織の変位方向と色との間に予め定められた対応関係に基づいて、前記生体組織の変位方向を色によって表す画像データを、前記穿刺変位画像データとして生成する。また、望ましくは、前記変位データ生成部は、 前記断層画像と穿刺針との角度関係を表す穿刺針角度を、ユーザの操作に基づいて、あるいは穿刺針方向検出センサを用いて取得し、前記穿刺針角度に基づいて、前記穿刺針の進路方向を基準とした前記生体組織の変位方向を示す画像データを、前記穿刺変位画像データとして生成する。また、望ましくは、前記変位計測部は、時間経過と共に順次生成された複数フレームの前記断層画像フレームデータに基づいて、前記変位データを時間経過と共に順次生成し、前記変位データ生成部は、過去に遡った所定枚数分の前記変位データについて平均化処理または重み付け平均化処理を実行して、前記穿刺変位画像データを生成し、前記画像合成部は、複数の前記断層画像を時間経過と共に順次、前記表示部に表示すると共に、前記穿刺変位画像データに基づく画像を、時間的に対応する前記断層画像に重ねて前記表示部に表示する。また、望ましくは、前記変位データ生成部は、前記生体組織の変位の方向を描画要素によって示す画像データを前記穿刺変位画像データとして生成し、前記画像合成部は、前記穿刺変位画像データに基づく画像を前記断層画像に重ねて前記表示部に表示する。
本発明における描画要素は、例えば、矢印等の図形、色、またはこれらの組み合わせである。本発明によれば、生体組織の変位の方向が描画要素によって示される。これによって、ユーザは、生体組織の変位状態を視覚を通じて容易に把握することができる。
本発明によれば、生体組織の変位の特定の方向成分が示される。これによって、穿刺を容易にするために適した画像を表示することができる。
本発明は、穿刺される生体組織で反射した超音波に基づいて、断層画像フレームデータを生成する断層画像生成部と、複数フレームの前記断層画像フレームデータに基づいて、前記生体組織の変位状態を示す変位データを生成する変位データ生成部と、 前記変位データに基づいて、前記生体組織の回転特性を示す回転特性データを生成する回転特性データ生成部と、前記断層画像フレームデータおよび前記回転特性データに基づいて、断層画像と共に前記生体組織の回転特性を表示部に表示する画像合成部と、を備えることを特徴とする。
本発明によれば、断層画像と共に生体組織の回転特性が表示部に表示される。これによって、穿刺に伴う生体組織の回転歪み等の回転特性が、ユーザに分かり易く示される。一般に、生体組織に対して穿刺が行われた場合、穿刺針周辺の生体組織の回転特性が穿刺針の進路に応じて変化する。したがって、本発明によれば、ユーザが穿刺針の進路を把握することが容易になる。本発明における変位データおよび回転特性データは、画像データであってもよいし、断層画像フレームデータに付加的な情報を与えるデータであってもよい。
望ましくは、前記変位データ生成部は、前記生体組織の変位を示すデータを前記変位データとして生成し、前記回転特性データ生成部は、前記生体組織の変位に対して回転演算を施し、前記生体組織の変位の回転成分を前記生体組織の回転特性として求める。
本発明においては、ベクトル演算としての回転演算によって回転特性が求められる。これによって、回転特性が容易に求められる。
望ましくは、前記回転特性データ生成部は、前記回転成分が示す回転方向を描画要素によって示す画像データを前記回転特性データとして生成し、前記画像合成部は、 前記回転特性データに基づく画像を前記断層画像に重ねて前記表示部に表示する。
本発明における描画要素は、例えば、矢印等の図形、色、またはこれらの組み合わせである。本発明によれば、生体組織の回転特性が描画要素によって示される。これによって、ユーザは、生体組織の回転特性を視覚を通じて容易に把握することができる。
望ましくは、前記画像合成部は、前記断層画像と共に前記生体組織の回転特性および変位状態を前記表示部に表示する。
本発明によれば、断層画像と共に生体組織の回転特性および変位状態が表示される。これによって、穿刺に伴う生体組織の回転歪み等の回転特性、および、穿刺に伴う生体組織の歪み等の変位状態がユーザに分かり易く示される。一般に、生体組織に対して穿刺が行われた場合、穿刺針周辺の回転特性および変位状態が穿刺針の進路に応じて変化する。したがって、本発明によれば、ユーザが穿刺針の進路を把握することが容易になる。
本発明によれば、穿刺に伴う生体組織の状態を適切に表示することができる。
本発明の第1実施形態に係る超音波診断装置を示す図である。 生体組織の変位の定義を概念的に示す図である。 モニタに示される画像の例を示す図である。 生体組織の変位の方向が色と共に矢印によって示された画像の例を示す図である。 生体組織の変位の特定方向成分のみを表す画像を示す図である。 生体組織の変位の特定方向成分のみが色および矢印によって示された画像を示す図である。 生体組織の変位の方向と色との対応関係が、穿刺針穿入方向に応じて定められた画像を示す図である。 本発明の第2実施形態に係る超音波診断装置を示す図である。 回転量を求める処理を説明する図である。 断層画像に回転特性画像が重ねられた画像を示す図である。 生体組織の回転方向が、色と共に回転方向を示す矢印によって示された画像を示す図である。
図1には、本発明の第1実施形態に係る超音波診断装置の構成が示されている。この超音波診断装置は、被検体16に対して送受信される超音波のビームを走査し、受信された超音波に基づいて断層画像を表示すると共に、被検体16の組織(生体組織)の変位を計測して表示する。生体組織の変位は、所定時間当たりに生体組織が移動する距離を表す。変位は、方向および大きさを有するベクトル量であり、色および輝度の組み合わせや、矢印等の図形、2つの成分値の組等によって表示され得る。
図1に示された構成要素のうち、一点鎖線で囲まれた部分は、ハードウエアとしての本体ユニット32を構成する。本体ユニット32はプロセッサを含み、プロセッサは、所定のプログラムに従い、本体ユニット32に含まれる回路を構成する。操作部34は、トラックボール、マウス等のユーザインターフェースを備える。制御部36は、操作部34における操作に従って、本体ユニット32を制御する。例えば、制御部36は、本体ユニット32の処理の開始または停止、計測状態の切り替え、本体ユニット32からモニタ30に出力される画像データの切り替え等の制御を行う。
計測に際して、プローブ14は被検体16の表面に接触した状態とされる。プローブ14には穿刺アダプタ15が装着され、穿刺アダプタ15は穿刺針17を適切な位置および方向に導く。プローブ14は、複数の超音波振動子を備える。送信部12は、ビーム制御部10による制御に基づいてプローブ14の各超音波振動子に送信信号を出力する。これによって、プローブ14からは超音波が送信される。送信部12は、ビーム制御部10の制御に従い各送信信号の遅延時間を調整し、プローブ14において送信超音波ビームを形成し、さらに、その送信超音波ビームを被検体16に対して走査する。被検体16内で反射した超音波がプローブ14の各超音波振動子で受信されると、各超音波振動子は、受信された超音波に応じた電気信号を受信部18に出力する。受信部18は、ビーム制御部10の制御に従い、プローブ14の各超音波振動子から出力された電気信号を整相加算して受信信号を生成し、断層画像生成部20に出力する。これよって、プローブ14において受信超音波ビームが形成され、その受信超音波ビームに応じた受信信号が、受信部18から断層画像生成部20に出力される。
なお、上記では、複数の超音波振動子を備えるプローブを採用し、超音波ビームを電気的に走査する処理について説明した。このような電気的走査ではなく機械的走査が行われてもよい。この場合、プローブ14は、超音波振動子の位置または向きを機械的に変化させる機構を備えるものとする。超音波ビームの走査は、超音波振動子に超音波の送受信を行わせながら、超音波振動子の位置または向きを機械的に変化させることで行われる。
断層画像生成部20は、各超音波ビーム方向に対して得られた受信信号に基づいて断層画像フレームデータを生成し、画像合成部22に出力する。1フレームの断層画像フレームデータは、1枚の断層画像に対応する。ビーム制御部10、送信部12、プローブ14、受信部18、および断層画像生成部20は、時間経過と共に断層画像フレームデータを次々と生成し、画像合成部22に出力する。断層画像生成部20は、現時点から過去に遡って複数フレーム分(Nフレーム分)の断層画像フレームデータを記憶する。また、断層画像生成部20は、超音波ビームの走査開始から現時点に至るまでの間の総ての断層画像フレームデータを記憶してもよい。
後述のように、変位データ生成部28からは、生体組織の変位状態を示す変位画像データが時間経過と共に次々と出力される。画像合成部22は、断層画像フレームデータと、その断層画像フレームデータに時間的に対応する変位画像データとに基づいて、断層画像に変位画像を重ねた断層・変位画像を示す画像データを断層・変位画像データとして生成し、表示部としてのモニタ30に出力する。モニタ30は、断層・変位画像を表示する。
変位画像データを生成する構成および処理について説明する。変位画像データは、フレームデータ取得部24、変位計測部26、および変位データ生成部28によって生成される。上記のように、断層画像生成部20は、現時点から過去に遡って複数フレーム分の断層画像フレームデータを記憶している。フレームデータ取得部24は、現時点から過去に遡った複数フレーム分の断層画像フレームデータを断層画像生成部20から取得し、変位計測部26に出力する。変位計測部26は、複数フレーム分の断層画像フレームデータに基づいて、最新の断層画像上の各位置について生体組織の変位を求める。
例えば、フレームデータ取得部24は、最新の断層画像フレームデータ、および1フレーム前の断層画像フレームデータを断層画像生成部20から取得し変位計測部26に出力する。変位計測部26は、最新の断層画像フレームデータと、1フレーム前の断層画像フレームデータとに基づいて、最新の断層画像上の各位置について生体組織の変位を求める。
生体組織の変位を求める方法としては、1フレーム前の断層画像と最新の断層画像との比較に基づいて、1フレーム前の断層画像上の各位置について、最新の断層画像上の対応位置への移動ベクトルを求める方法がある。この場合、最新の断層画像上の各対応位置への移動ベクトルが、最新の断層画像上の各対応位置における生体組織の変位として求められる。このようにして求められる生体組織の変位は、1フレーム時間当たりに生体組織が移動した距離を表す。生体組織の変位にフレームレートを乗ずることで生体組織の移動速度が求められる。
図2には、生体組織の変位の定義が概念的に示されている。図2(a)には、1フレーム前の断層画像が示されており、図2(b)には、最新の断層画像が示されている。1フレーム前の断層画像における画素38−1および画素38−2が表す像は、それぞれ、最新の断層画像における画素40−1および画素40−2の位置に移動している。各移動ベクトルは、(ΔX1,ΔY2)および(ΔX2,ΔY2)であるため、最新の断層画像の画素40−1および画素40−2の位置における生体組織の変位は、それぞれ、(ΔX1,ΔY2)および(ΔX2,ΔY2)である。
各位置における生体組織の変位を求める処理の例としては次のようなものがある。変位計測部26は、1フレーム前の断層画像上の各画素を試行的に移動させた試行的歪み画像と、最新の断層画像との相関値を求める。ここで、相関値は、2つの画像が近似している度合いを示す値である。相関値を求める方法は、当業者の間で様々なものが考えられている。変位計測部26は、試行的歪み画像と最新の断層画像との相関値が所定の大きさを超える場合には、試行的歪み画像の元となった1フレーム前の断層画像の各画素についての移動ベクトルを、その各画素に対応する最新の断層画像の各画素についての生体組織の変位として求める。変位計測部26は、試行的歪み画像と最新の断層画像との相関値が所定の大きさ以下である場合には、移動ベクトルを変化させながら、最新の断層画像との相関値が所定の大きさを超える試行的歪み画像を探索する。
図1に戻り、変位計測部26は、最新の断層画像上の各位置における生体組織の変位を変位データ生成部28に出力する。変位データ生成部28は、各位置における生体組織の変位に基づいて、生体組織の変位状態を色によって示す変位画像データを生成する。すなわち、各画素に対し生体組織の変位の方向に対応する色を求めて各画素に対応付ける処理、および、各画素に対し生体組織の変位の大きさに対応する輝度を求めて各画素に対応付ける処理を実行する。
変位データ生成部28は、生体組織の変位の方向に対して色を対応付けた方向対色テーブルを記憶していてもよい。方向対色テーブルは、例えば、画像の右方向を0°とし、左回転方向を正方向として、0°以上90°未満の方向に第1の色を対応付け、90°以上180°未満の方向に第2の色を対応付け、180°以上270°未満の方向に第3の色を対応付け、270°以上360°(0°)未満の方向に第4の色を対応付ける。各色は、赤、緑および青の混合割合で定められていてもよい。さらに、変位データ生成部28は、生体組織の変位の大きさに対して輝度を対応付けた方向対輝度テーブルを記憶していてもよい。
変位データ生成部28は、このような対応付けに基づいて、生体組織の変位に応じた色および輝度を断層画像の各画素にマッピングした変位画像を求め、変位画像を示す変位画像データを生成する。
断層画像生成部20において、時間経過と共に断層画像フレームデータが次々と生成されるのに伴って、変位データ生成部28は、各断層画像フレームデータに時間的に対応する変位画像データを生成する。変位データ生成部28は、時間経過と共に生成された変位画像データを順次、画像合成部22に出力する。求められる変位画像データは、複数フレーム分の断層画像フレームデータに対し、1画像分のデータであってもよい。この場合、複数フレーム分の断層画像フレームデータに同一の変位画像データが時間的に対応付けられる。
画像合成部22は、断層画像フレームデータと、その断層画像フレームデータに時間的に対応する変位画像データとに基づいて、断層画像に変位画像を重ねた断層・変位画像を示す画像データを断層・変位画像データとして生成し、モニタ30に出力する。モニタ30は、断層・変位画像を表示する。
これによって、断層画像に変位画像が重ねられた画像がモニタ30に表示され、断層像の動画と共に、生体組織の変位状態の変化がモニタ30に表示される。すなわち、生体組織の動きと共に、生体組織の変位の方向が色によってモニタ30に示される。
なお、画像合成部22は、2つの画像データのうち一方の画像データに基づく画像を、他方の画像データに基づく画像を透かして見通せるように、これら2つの画像データを合成する。すなわち、断層画像フレームデータおよび変位画像データを合成する際には、変位画像を透かして断層画像を見通せるように、断層画像フレームデータおよび変位画像データを合成する。このような画像合成処理には、一方の画像の画素を間引き、間引かれた画素の位置に他方の画像の画素を補充するものがある。また、一方の画像の画素値と、他方の画像の画素値とを所定の重みで足し合わせるものがある。例えば、一方の画像の画素値をα倍したものと、他方の画像の画素値を(1−α)倍したものとを足し合わせる。ここで、αは画像の混合割合であり、0を超える1未満の正数である。
図3には、モニタ30に示される画像の例が示されている。断層画像44上には、穿刺針の像46と共に、生体組織の変位の方向が色によって示されている。モニタ30の左上には、生体組織の変位の方向と色との対応付けを示すカラーマップ42が示されている。カラーマップ42は、x軸正方向を0°とし、左回転方向を正方向として、0°以上90°未満の方向に第1の色が対応付けられ、90°以上180°未満の方向に第2の色が対応付けられ、180°以上270°未満の方向に第3の色が対応付けられ、270°以上360°(0°)未満の方向に第4の色が対応付けられていることを示している。例えば、第1の色および第3の色は、それぞれ、青および赤とし、第2の色および第4の色は、紫、水色、黄緑、黄、橙等の中間色としてもよい。
図3の画像では、穿刺針の像46の周りにおいて、生体組織の変位の方向が180°以上270°未満の方向であることが示されている。すなわち、穿刺針が左下方向に進み、穿刺針との摩擦によって生体組織が左下方向に変位していることが示されている。また、穿刺針の先端付近より左上において、生体組織の変位の方向が270°以上360°未満の方向であることが示されている。すなわち、穿刺針との摩擦によって生体組織が右下方向に変位していることが示されている。さらに、穿刺針の先端付近より右下において、生体組織の変位の方向が90°以上180°未満の方向であることが示されている。すなわち、穿刺針との摩擦によって生体組織が左上方向に変位していることが示されている。
超音波診断装置の断層画像では、プローブおよび穿刺針の位置関係によっては、穿刺針の像が不明確となって視認性が低下し、穿刺を行うことが困難となることがある。本発明に係る超音波診断装置によれば、断層画像と共に生体組織の変位の方向が施術者としてのユーザに示される。これによって、ユーザは、生体組織の変位の方向から穿刺針の進路を把握することができ、穿刺を容易に行うことができる。
生体組織の変位の方向は、色と共に矢印によって示してもよい。この場合、変位データ生成部28は、矢印を表示する位置における生体組織の変位に基づいて、断層画像上の対応する位置に色および矢印を重ねて示す画像データを変位画像データとして生成する。矢印が示す向きおよび長さは、生体組織の変位の方向および長さに対応させる。図4には、生体組織の変位の方向が、色と共に矢印によって示された画像の例が示されている。
なお、生体組織の変位の方向は、矢印の他、三角形等、その他の図形によって示してもよい。また、生体組織の変位の方向は、色によらず矢印等の図形のみによって示してもよい。この場合、変位データ生成部28は、図形を表示する位置における生体組織の変位に基づいて、断層画像上の対応する位置に図形を重ねて示す画像データを変位画像データとして生成する。
さらに、変位データ生成部28は、生体組織の変位の特定方向成分のみを色によって表す変位画像データを生成してもよい。図5には、生体組織の変位について180°以上270°未満の方向成分のみを示す変位画像が、断層画像44上に重ねられた例が示されている。この画像によれば、生体組織の変位が、180°以上270°未満の方向成分を含む領域が色によって示される。穿刺針が右上から左下に進んだ場合、生体組織は穿刺針との摩擦によって左下に変位する。そのため、穿刺針の周りの生体組織の変位は、左下方向の成分を有することとなり、図5に示されるように、生体組織の変位が180°以上270°未満の方向成分を含む領域が、穿刺針の像46の周りに示される。また、図6には、応用例として、生体組織の変位の特定方向成分のみを色および矢印によって表した画像が示されている。
このような表示によれば、穿刺針の方向に巻き込まれる成分が表示されなくなる。これによって、ユーザは、生体組織の変位の特定方向成分から穿刺針の進路を把握することができ、穿刺を容易に行うことができる。
生体組織の変位の方向を色で示す場合、生体組織の変位の方向と色との対応関係は、穿刺針が穿入される方向に応じて適応的に定めてもよい。図7のカラーマップ43は、穿刺針が進む方向を0°とし、左回転方向を正方向として、−45°以上45°未満の方向に第1の色が対応付けられ、45°以上135°未満の方向に第2の色が対応付けられ、135°以上180°未満の方向、および、−180°以上−135°未満の方向に第3の色が対応付けられ、−135°以上−45°未満の方向に第4の色が対応付けられていることを示している。表示部30に表示されるカラーマップ43は、穿刺針の像46の角度に応じて回転させてもよい。
このようなカラーマップ43に従った画像データを生成するため、変位データ生成部28は、断層画像と穿刺針との角度関係を用いる。図1に示されるように本実施形態においては、断層画像の横方向または縦方向に対して穿刺針17がなす角度は、穿刺アダプタ15によって定められる。そこで、ユーザは、穿刺針17が断層画像の横方向または縦方向に対してなす角度を予め操作部34から入力する。変位データ生成部28は、操作部34における操作に基づき、穿刺針17が断層画像の横方向または縦方向に対してなす角度を制御部36を介して読み込む。変位データ生成部28は、穿刺針の穿入方向を0°とした対応付けに基づいて、生体組織の変位の方向に応じた色および輝度をマッピングした変位画像を求め、変位画像データを生成する。変位データ生成部28は、穿刺針17が進む方向を0°として、生体組織の変位の方向に対して色を対応付けた方向対色テーブルを記憶していてもよい。
なお、穿刺アダプタ15には、断層画像の横方向または縦方向に対して穿刺針17がなす角度を出力する穿刺針方向センサが設けられていてもよい。この場合、変位データ生成部28は、穿刺針方向センサから穿刺針17の角度を読み込む。
本発明に係る超音波診断装置においては、複数フレームの断層画像フレームデータに基づいて、生体組織の変位が求められる。したがって、断層画像を求めるために超音波を送受信することに加えて、生体組織の変位を求めるために、さらに超音波を送受信する必要はない。したがって、特許文献3に記載されているようなドプラ法を用いる超音波診断装置に比べて迅速に生体組織の変位が求められ、生体組織の動きに迅速に応答した画像を表示することができる。すなわち、断層画像フレームデータを生成する際のフレームレートを著しく低下させることなく、生体組織の変位状態を表示することができる。
図8には、第2実施形態に係る超音波診断装置の構成が示されている。第1実施形態に係る超音波診断装置が、変位画像を断層画像に重ねて表示するものであるのに対し、第2実施形態に係る超音波診断装置は、生体組織の回転特性を示す画像を断層画像に重ねて表示する。回転特性は、例えば、ベクトル量としての変位に対し、ベクトル演算である回転演算(rot:ローテーション)を施すことで求められる。
上述のように、変位データ生成部28は、現時点から過去に遡った複数フレーム分の複数の断層画像データに基づいて変位画像データを生成する。変位データ生成部28は、変位画像データを回転特性データ生成部52に出力する。回転特性データ生成部52は、変位画像上の各位置における生体組織の変位に基づいて、各位置に対し回転特性を求める。回転特性データ生成部52は、例えば、次の(数1)で表されるローテーションrotを各位置における生体組織の変位Vに施して、回転量Rを求める。ローテーションによって求められる量は、xy平面に垂直なz軸方向の成分を有するベクトル量である。回転量Rが正であることは、描画面を見て左回転方向の成分を生体組織の変位が含むことを意味し、回転量Rが負であることは、描画面を見て右回転方向の成分を生体組織の変位が含むことを意味する。ここでは、回転量Rを、z軸方向成分を表すスカラー量として扱う。
Figure 0005809302
ここで、ベクトルkはz軸正方向の単位ベクトルである。(数1)の右辺は偏微分で表されているが、変位画像の各画素は離散的に位置しているため、次の(数2)に示されているような差分演算が行われる。図9は、回転量Rを求める処理を説明するために、変位画像の一部を概念的に表したものである。図9には、x座標の範囲がX(−2)〜X(+2)、y座標の範囲がY(−2)〜Y(+2)である25個の画素が示されている。ここでは、[X(0),Y(0)]の位置にある注目画素50における回転量について説明する。(数1)を離散的な表現に書き直すと、(数2)のようになり、注目画素50における回転量は、(数2)によって求められる。
Figure 0005809302
ここで、Vy+は、注目画素50に対しx軸正方向側に隣接する画素が示す変位のy軸方向成分、Vy-は、注目画素50に対しx軸負方向側に隣接する画素が示す変位のy軸方向成分を示す。また、Vx+は、注目画素50に対しy軸正方向側に隣接する画素が示す変位のx軸方向成分、Vx-は、注目画素50に対しy軸負方向側に隣接する画素が示す変位のx軸方向成分を示す。Δxは、x軸方向についての画素の間隔を示し、Δyは、y軸方向についての画素の間隔を示す。画素が正方形である場合には、ΔxおよびΔyは同一値である。また、回転量Rは相対的な値であるため、ΔxおよびΔyは1としてもよい。この場合、[X(0),Y(0)]の位置にある注目画素50についての回転量Rは、R=(Vy+−Vy-)−(Vx+−Vx-)として求められる。
図8に戻り、回転特性データ生成部52は、変位画像上の各位置について回転量を求め、各位置における回転量に基づいて、生体組織の回転特性を色によって示す回転特性画像データを生成する。すなわち、各画素に対し回転量の極性に対応する色を求めて各画素に対応付ける処理、および、各画素に対し回転量の大きさに対応する輝度を求めて各画素に対応付ける処理を実行する。
回転特性データ生成部52は、回転量の極性に対して色を対応付けた回転方向対色テーブルを記憶していてもよい。回転方向対色テーブルは、例えば、正の値の回転量(xy平面における左回転方向)に対しては青を対応付け、負の値の回転量(xy平面における右回転方向)に対しては赤を対応付ける。さらに、回転特性データ生成部52は、回転量の大きさに対して輝度を対応付けた回転量対輝度テーブルを記憶していてもよい。回転量テーブルは、例えば、より大きい回転量に対しては、より大きい輝度を対応付ける。回転特性データ生成部52は、このような対応付けに基づいて、断層画像の各画素に対応する画素に回転量に応じた色および輝度をマッピングした回転特性画像を求め、回転特性画像データを生成する。
断層画像生成部20において、時間経過と共に断層画像フレームデータが次々と生成されるのに伴って、回転特性データ生成部52は、各断層画像フレームデータに時間的に対応する回転特性画像データを生成する。回転特性データ生成部52は、時間経過と共に生成された回転特性画像データを順次、画像合成部22に出力する。求められる回転特性画像データは、複数フレーム分の断層画像フレームデータに対し、1画像分のデータであってもよい。この場合、複数フレーム分の断層画像フレームデータに同一の回転特性画像データが時間的に対応付けられる。
画像合成部22は、断層画像フレームデータと、その断層画像フレームデータに時間的に対応する回転特性画像データとに基づいて、断層画像に回転特性画像を重ねた断層・回転画像を示すデータを断層・回転画像データとして生成し、モニタ30に出力する。モニタ30は、断層・回転画像を表示する。
これによって、断層画像に回転特性画像が重ねられた画像がモニタ30に表示され、断層像の動画と共に、生体組織の回転特性の変化がモニタ30に表示される。すなわち、生体組織の動きと共に、生体組織の回転方向が色によってモニタ30に示される。
図10には、モニタ30に示される画像の例が示されている。断層画像44上には、穿刺針の像46と共に、生体組織の回転方向が色によって示されている。モニタ30の左上には、生体組織の回転方向と色との対応付けを示すカラーマップ48が示されている。
カラーマップ48は、xy平面における左回転方向に対しては第5の色が対応付けられ、xy平面における右回転方向に対しては第6の色が対応付けられることを示している。例えば、第5の色および第6の色は、それぞれ、緑色および紫色とする。
図10の画像では、穿刺針の像46の上側において生体組織の回転方向が右方向であり、穿刺針の像46の下側において生体組織の回転方向が左方向であることが示されている。すなわち、穿刺針が左下方向に進み、穿刺針との摩擦によって生体組織が穿刺針に追随するように引っ張られて回転歪みが生じていることが示されている。これより、生体組織の回転方向が異なる2つの領域の境界付近に穿刺針が進入していることが示される。また、一般に、穿刺針の先端付近においては、生体組織の回転歪みは大きくなり、高輝度で回転特性が示される。
上述のように、超音波診断装置の断層画像では、プローブおよび穿刺針の位置関係によっては、穿刺針の像が不明確となって視認性が低下し、穿刺を行うことが困難となることがある。本発明に係る超音波診断装置によれば、断層画像と共に生体組織の回転特性がユーザに示される。回転特性においては、生体組織の回転方向が異なる2つの領域の境界付近に穿刺針が進入しているものと考えられる。したがって、ユーザは、生体組織の回転方向から穿刺針の進路を把握することができ、穿刺を容易に行うことができる。
生体組織の回転方向は、色と共に矢印等の図形によって示してもよい。この場合、回転特性データ生成部52は、図形を表示する位置における回転量に基づいて、断層画像上の対応する位置に色および図形を重ねて示す画像データを回転特性画像データとして生成する。図形が示す回転方向は、回転量の極性に対応させる。図11には、生体組織の回転方向が、色と共に回転方向を示す矢印によって示された画像の例が示されている。
なお、回転方向は、矢印の他、円形状に配列された複数の三角形等、その他の図形によって示してもよい。また、生体組織の回転方向は、色によらず図形のみによって示してもよい。この場合、回転特性データ生成部は、図形を表示する位置における回転量に基づいて、断層画像上の対応する位置に図形を重ねて示す画像データを回転特性画像データとして生成する。
また、図8の画像合成部22は、断層・回転画像に変位画像を重ねた断層・回転・変位画像を表す画像データを、断層・回転・変位画像データとして生成してもよい。この場合、画像合成部22は、変位画像を透かして断層・回転画像を見通せるように、断層・回転画像データおよび変位画像データを合成する。
断層・回転・変位画像は、上述の断層・変位画像に、回転特性画像を重ねた画像であってもよい。この場合、画像合成部22は、断層画像データおよび変位画像データを合成して断層・変位画像データを生成した後、断層・変位画像データおよび回転特性画像データを合成する。
断層・回転・変位画像データの生成に際して、変位データ生成部28は、生体組織の変位の方向を、色によらず図形によって示す変位画像データを生成し、画像合成部22に出力してもよい。そして、回転特性データ生成部52は、生体組織の回転方向を色によって示す回転特性画像データを生成し、画像合成部22に出力してもよい。これによって、画像合成部22は、断層画像上に生体組織の回転方向を色によって示し、生体組織の変位の方向を図形によって示す断層・回転・変位画像データを生成する。モニタ30は、断層・回転・変位画像を表示する。
また、断層・回転・変位画像データの生成に際して、変位データ生成部28は、生体組織の変位の方向を色によって示す変位画像データを生成し、画像合成部22に出力してもよい。そして、回転特性データ生成部52は、生体組織の回転方向を図形によって示す回転特性画像データを生成し、画像合成部22に出力してもよい。これによって、画像合成部22は、断層画像上に生体組織の変位の方向を色によって示し、生体組織の回転方向を図形によって示す断層・回転・変位画像データを生成する。モニタ30は、断層・回転・変位画像を表示する。
このように、断層・回転・変位画像を表示することで、生体組織の回転方向と共に生体組織の変位の方向がユーザに示される。これによって、ユーザは、生体組織の変位状態および回転特性と共に穿刺針の進路を容易に把握することができる。
第1および第2実施形態における変位データ生成部28は、断層画像上の各位置について、移動平均化処理を施した変位を求めてもよい。この場合、変位データ生成部28は、現時点から過去に遡って自らが生成した所定枚数分の変位画像データにつき各位置の変位の平均値を求め、この平均値を断層画像上の各位置における移動平均化処理後の変位とする。このような処理によれば、モニタ30に示される変位の変化が平滑化され、過去の変位画像と現時点の変位画像とが混合された画像が表示される。したがって、生体組織の実際の変位が急激に0となったとしても、モニタ30に示される生体組織の変位は緩やかに0となる。例えば、生体組織の変位を色および輝度で示した場合、穿刺針の動きが止まり、周囲の生体組織の動きも止まったときには、生体組織の変位を表す色の輝度が緩やかに小さくなり、徐々に色が消滅する。
なお、変位データ生成部28は、現時点から過去に遡って自らが生成した所定枚数分の変位画像データのそれぞれにつき適切な重み付け係数を乗じて、各位置における変位の重み付け平均値を求めてもよい。この場合、変位画像上の各位置における変位の重み付け平均値を断層画像上の各位置における移動平均化処理後の変位とする。例えば、最新の変位画像上のある位置の画素値をP(0)、1枚前の画素値をP(1)、2枚前の画素値をP(2)、・・・・・、n−1枚前の画素値をP(n−1)としたときに、重み付け平均値Aは、次の(数3)で表される。
Figure 0005809302
ここで、Wiは重み付け係数であり、この値を適宜設定することで、過去の変位画像を残像として反映させる度合いが設定される。Wiを1とした場合、重み付け平均値は、通常の平均値と同一となる。
移動平均化処理を用いることにより変位画像または回転特性画像の変化が平滑化される。そのため、生体組織が急激に変位した場合であっても、穿刺を容易にする画像が表示される。
10 ビーム制御部、12 送信部、14 プローブ、16 被検体、18 受信部、20 断層画像生成部、22 画像合成部、24 フレームデータ取得部、26 変位計測部、28 変位データ生成部、30 モニタ、32 本体ユニット、34 操作部、36 制御部、38−1,38−2,40−1,40−2 画素、42,43,48 カラーマップ、44 断層画像、46 穿刺針の像、50 注目画素、52 回転特性データ生成部。

Claims (9)

  1. 穿刺される生体組織で反射した超音波に基づいて、断層画像フレームデータを生成する断層画像生成部と、
    穿刺によって変位した前記生体組織の変位状態を示す変位データを、複数フレームの前記断層画像フレームデータに基づいて生成する変位計測部と、
    前記変位データに基づいて、前記生体組織が穿刺によって変位した方向を示す穿刺変位画像データを生成する変位データ生成部と、
    前記穿刺変位画像データに基づく画像を、前記断層画像フレームデータに基づく断層画像に重ねて表示部に表示する画像合成部と、
    を備え
    前記変位データ生成部は、
    前記断層画像と穿刺針との角度関係を表す穿刺針角度を、ユーザの操作に基づいて、あるいは穿刺針方向検出センサを用いて取得し、
    前記穿刺針角度に基づいて、前記穿刺針の進路方向を基準とした前記生体組織の変位方向を示す画像データを、前記穿刺変位画像データとして生成することを特徴とする超音波診断装置。
  2. 穿刺される生体組織で反射した超音波に基づいて、断層画像フレームデータを生成する断層画像生成部と、
    穿刺によって変位した前記生体組織の変位状態を示す変位データを、複数フレームの前記断層画像フレームデータに基づいて生成する変位計測部と、
    前記変位データに基づいて、前記生体組織が穿刺によって変位した方向を示す穿刺変位画像データを生成する変位データ生成部と、
    前記穿刺変位画像データに基づく画像を、前記断層画像フレームデータに基づく断層画像に重ねて表示部に表示する画像合成部と、
    を備え
    前記変位データ生成部は、
    前記生体組織の変位の特定範囲の方向成分を示す画像データを前記穿刺変位画像データとして生成することを特徴とする超音波診断装置。
  3. 請求項2に記載の超音波診断装置において、
    前記変位データ生成部は、
    前記断層画像と穿刺針との角度関係を表す穿刺針角度を、ユーザの操作に基づいて、あるいは穿刺針方向検出センサを用いて取得し、
    前記穿刺針角度に基づいて、前記穿刺針の進路方向を基準とした前記生体組織の変位方向を示す画像データを、前記穿刺変位画像データとして生成することを特徴とする超音波診断装置。
  4. 請求項1から請求項3のいずれか1項に記載の超音波診断装置において、
    前記変位データ生成部は、
    前記生体組織の変位方向と色との間に予め定められた対応関係に基づいて、前記生体組織の変位方向を色によって表す画像データを、前記穿刺変位画像データとして生成することを特徴とする超音波診断装置。
  5. 請求項1から請求項のいずれか1項に記載の超音波診断装置において、
    前記変位計測部は、
    時間経過と共に順次生成された複数フレームの前記断層画像フレームデータに基づいて、前記変位データを時間経過と共に順次生成し、
    前記変位データ生成部は、
    過去に遡った所定枚数分の前記変位データについて平均化処理または重み付け平均化処理を実行して、前記穿刺変位画像データを生成し、
    前記画像合成部は、
    複数の前記断層画像を時間経過と共に順次、前記表示部に表示すると共に、前記穿刺変位画像データに基づく画像を、時間的に対応する前記断層画像に重ねて前記表示部に表示することを特徴とする超音波診断装置。
  6. 穿刺される生体組織で反射した超音波に基づいて、断層画像フレームデータを生成する断層画像生成部と、
    複数フレームの前記断層画像フレームデータに基づいて、前記生体組織の変位状態を示す変位データを生成する変位データ生成部と、
    前記変位データに基づいて、前記生体組織の回転特性を示す回転特性データを生成する回転特性データ生成部と、
    前記断層画像フレームデータおよび前記回転特性データに基づいて、断層画像と共に前記生体組織の回転特性を表示部に表示する画像合成部と、
    を備えることを特徴とする超音波診断装置。
  7. 請求項6に記載の超音波診断装置において
    前記変位データ生成部は、
    前記生体組織の変位を示すデータを前記変位データとして生成し、
    前記回転特性データ生成部は、
    前記生体組織の変位に対して回転演算を施し、前記生体組織の変位の回転成分を前記生体組織の回転特性として求めることを特徴とする超音波診断装置。
  8. 請求項7に記載の超音波診断装置において、
    前記回転特性データ生成部は、
    前記回転成分が示す回転方向を描画要素によって示す画像データを前記回転特性データとして生成し、
    前記画像合成部は、
    前記回転特性データに基づく画像を前記断層画像に重ねて前記表示部に表示することを特徴とする超音波診断装置。
  9. 請求項6から請求項8のいずれか1項に記載の超音波診断装置において、
    前記画像合成部は、
    前記断層画像と共に前記生体組織の回転特性および変位状態を前記表示部に表示することを特徴とする超音波診断装置。
JP2014015111A 2014-01-30 2014-01-30 超音波診断装置 Expired - Fee Related JP5809302B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014015111A JP5809302B2 (ja) 2014-01-30 2014-01-30 超音波診断装置
PCT/JP2014/077232 WO2015114887A1 (ja) 2014-01-30 2014-10-10 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014015111A JP5809302B2 (ja) 2014-01-30 2014-01-30 超音波診断装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015142304A Division JP6082783B2 (ja) 2015-07-16 2015-07-16 超音波診断装置

Publications (2)

Publication Number Publication Date
JP2015139624A JP2015139624A (ja) 2015-08-03
JP5809302B2 true JP5809302B2 (ja) 2015-11-10

Family

ID=53756487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014015111A Expired - Fee Related JP5809302B2 (ja) 2014-01-30 2014-01-30 超音波診断装置

Country Status (2)

Country Link
JP (1) JP5809302B2 (ja)
WO (1) WO2015114887A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090143676A1 (en) * 2005-10-19 2009-06-04 Takeshi Matsumura Ultrasonograph for Creating Elastic Image
JP2012110527A (ja) * 2010-11-25 2012-06-14 Toshiba Corp 超音波診断装置
JP2013240369A (ja) * 2012-05-17 2013-12-05 Toshiba Corp 超音波診断装置及び制御プログラム
JP6058295B2 (ja) * 2012-06-19 2017-01-11 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、医用画像処理方法、および医用画像処理プログラム

Also Published As

Publication number Publication date
JP2015139624A (ja) 2015-08-03
WO2015114887A1 (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
JP5775164B2 (ja) 超音波診断装置及び超音波画像表示方法
CN108784735B (zh) 用于显示采集质量水平的超声成像系统和方法
JP5416900B2 (ja) 超音波診断装置及び穿刺支援用制御プログラム
CN107252322B (zh) 超声波诊断装置、图像处理装置以及图像处理方法
US7798966B2 (en) Ultrasonic diagnostic apparatus
JP5495357B2 (ja) 画像表示方法及び医用画像診断システム
JP5486449B2 (ja) 超音波画像生成装置及び超音波画像生成装置の作動方法
JP4886432B2 (ja) 超音波診断装置
JP5814370B2 (ja) 超音波診断装置及び超音波画像表示方法
US20170095226A1 (en) Ultrasonic diagnostic apparatus and medical image diagnostic apparatus
CN110403681B (zh) 超声波诊断装置以及图像显示方法
JP6063454B2 (ja) 超音波診断装置及び軌跡表示方法
JP2008086742A (ja) 超音波プローブの軌跡表現装置及び超音波診断装置
JP2007000226A (ja) 医用画像診断装置
JP6026455B2 (ja) 医用画像表示装置およびその作動方法並びにプログラム
JP6121807B2 (ja) 超音波診断装置、コンピュータプログラム及び制御方法
JP2001340336A (ja) 超音波診断装置及び超音波診断方法
WO2015092628A1 (en) Ultrasound imaging systems and methods for tracking locations of an invasive medical device
JP6082783B2 (ja) 超音波診断装置
CN111053572B (zh) 用于医疗图像中的运动检测和补偿的方法和系统
JP5809302B2 (ja) 超音波診断装置
CN116585032A (zh) 基于导航系统的微创穿刺系统
KR20130124750A (ko) 초음파 진단 장치 및 그 제어방법
JP6068017B2 (ja) 超音波診断装置及び画像生成プログラム
WO2017130714A1 (ja) 医療システム及び表示方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150512

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150716

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150910

R150 Certificate of patent or registration of utility model

Ref document number: 5809302

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees