JP6698505B2 - 超音波撮像装置、画像処理装置、および、画像処理方法 - Google Patents

超音波撮像装置、画像処理装置、および、画像処理方法 Download PDF

Info

Publication number
JP6698505B2
JP6698505B2 JP2016233073A JP2016233073A JP6698505B2 JP 6698505 B2 JP6698505 B2 JP 6698505B2 JP 2016233073 A JP2016233073 A JP 2016233073A JP 2016233073 A JP2016233073 A JP 2016233073A JP 6698505 B2 JP6698505 B2 JP 6698505B2
Authority
JP
Japan
Prior art keywords
ultrasonic
physical property
property value
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016233073A
Other languages
English (en)
Other versions
JP2018088990A (ja
Inventor
悠史 坪田
悠史 坪田
川畑 健一
健一 川畑
崇秀 寺田
崇秀 寺田
敦郎 鈴木
敦郎 鈴木
文晶 武
文晶 武
一宏 山中
一宏 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016233073A priority Critical patent/JP6698505B2/ja
Publication of JP2018088990A publication Critical patent/JP2018088990A/ja
Application granted granted Critical
Publication of JP6698505B2 publication Critical patent/JP6698505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、超音波撮像装置に関し、特に、被検体を透過した超音波を用いて被検体の画像を生成する装置に関する。
媒質中に配置した被検体に対して、複数の方向から超音波を照射し、被検体を透過した透過波信号から被検体内部の物性値(音速や減衰率)を求め、物性値により断層画像を生成する超音波撮像装置が知られている。この装置は、超音波CT(Computed Tomography)装置とも呼ばれている。特許文献1には、超音波CT装置の基本構成と画像化技術が開示されている。特許文献1の装置では、リングアレイ状に超音波素子を並べた開口に被検体を挿入し、超音波素子から超音波を発生させて被検体に照射し、透過波を他の超音波素子により検出する。これにより、物性値画像として、音速画像や減衰率画像を再構成する。
超音波CT装置は、マンモグラフィと異なり放射線被曝がないため、より若年層に適用可能な乳癌検診装置として有望である。超音波CT装置が算出した被検体の物性値は、医師が被検体の生体組織の性状を判断する際の重要な指標となり得る。例えば、被検体組織の音速値は、組織の硬さに対応しているため、医師は、音速値に基づいて組織が硬い組織かどうか判断することができる。
特表平8−508925号公報
上述のように超音波CT装置が算出した被検体の物性値を生体組織の性状判断に用いるためには、超音波CT装置は、被検体の物性値を精度よく算出することが望ましい。そのためには、超音波が、屈折率が異なる領域の境界に入射する際の屈折を正確に考慮して物性値画像を算出することが望ましいが、すべての屈折を考慮して物性値を算出するのは容易ではなく、計算量も増大する。一方、屈折を正確に考慮することなく透過波から物性値を求め、物性値画像を再構成した場合、境界が不鮮明になるとともに、領域内の物性値が過小に評価(表示)されるという問題がある。特に、大きな被検体を撮像対象とする場合や、超音波素子を並べた開口に対して被検体をオフセンター配置する場合には、被検体の端部で屈折した超音波が、超音波素子の受信範囲からはみ出て、受信することができなくなり、物性値画像の誤差がさらに増大するという問題も生じる。
本発明の目的は、超音波の屈折に起因する物性値の誤差を低減し、精度よく物性値を算出することにある。
上記目的を達成するために、本発明の超音波撮像装置は、被検体に超音波を送信し、少なくとも前記被検体の透過波を受信して受信データを出力する複数の超音波素子が配列された超音波素子アレイと、受信データを処理して、被検体の画像を生成する信号処理部とを有する。信号処理部は、画像に少なくとも1つの領域を設定し、領域を透過した透過波の受信データから当該領域の物性値を演算により求める物性値算出部を含む。物性値算出部は、超音波素子アレイのうち、領域を透過した透過波が到達する範囲の端部に位置する1以上の超音波素子で受信された透過波の受信データを、受信データから除去するか、または、物性値の演算における重みを低下させて、領域の物性値を求める。
本発明によれば、超音波の屈折に起因する物性値の誤差を低減し、精度よく物性値を算出することができる。
本発明の実施形態の超音波撮像装置の全体構成の概略を示すサジタル断面図である。 実施形態の超音波素子アレイを下から見た形状を示す図である。 被検体の領域を通過する超音波の屈折を示す説明図である。 超音波の屈折や干渉を示す説明図である。 実施形態の信号処理部の機能ブロック図である。 実施形態の信号処理部の動作を示すフローチャートである。 実施形態の超音波撮像装置の計測から較正後の画像表示までのシーケンス図である。 (a)、(b)、(c)は、透過波信号処理部、反射波信号処理部およびセグメンテーション処理部の動作をそれぞれ示すフローチャートである。 (a)音速分布画像の一例、(b)反射境界画像の一例、(c)ユーザにより入力された境界(複数の領域)の一例、(d)重み0の領域が設定された透過距離サイノグラムの一例、(e)は(d)の透過距離サイノグラムから得た音速分布画像の一例。 実施形態で生成されるマスク画像の例であり、(a)は、大きい領域のマスク画像であり、(b)および(c)は、4つの小さい領域を2つずつ組にして組ごとに生成されたマスク画像であり、(d)〜(f)は、(a)〜(c)を順投影して得た透過距離サイノグラムである。 実施形態において、重み関数w(d)、および、関数αの選択、ならび、較正有り無しの選択をユーザから受け付けるための画面例である。 実施形態で生成した物性値画像の物性値(音速値(y))と、音速値(y)に対応する領域の平均音速値(x)との関係を、二次関数y(x)でフィッティングした較正曲線の例である。
以下、本発明の一実施形態について図面を用いて説明する。
図1は、本実施形態の超音波撮像装置の全体構成の概略を示すサジタル断面図であり、図2は、超音波素子アレイ3を下から見た形状を示す図である。図3は、被検体1の領域11を通過する超音波の屈折を示す図である。図4は、超音波の屈折や干渉を示す説明図である。ただし、図2は、超音波素子アレイ3をリングアレイとして図示し、図3および図4は、説明を容易にするために、超音波素子アレイ3として対向配置された直線アレイとして図示し、平面波を送受信している例を示している。なお、本実施形態において、超音波素子アレイ3は、被検体1の透過波を受信できればどのような形状であってもよい。また、超音波は、平面波に限られず、ファンビームや集束ビームであってもよい。また、図1では被検体1の撮像部位が乳房であり、超音波撮像装置を乳癌検診装置として用いる形態を図示しているが、本発明の超音波撮像装置は、撮影対象が乳房に限定されるものではない。
本実施形態の超音波撮像装置は、図1のように、超音波素子アレイ3と、信号処理部7とを少なくとも備えている。超音波素子アレイ3は、図2のように、複数の超音波素子が配列された構造である。被検体1には、超音波素子アレイ3から超音波が送信される。超音波素子アレイ3とは異なる超音波素子から超音波を送信してもよい。超音波素子アレイ3の超音波素子は、被検体1に送信された超音波のうち、少なくとも被検体1を透過した透過波を受信して受信データを出力する。信号処理部7は、超音波アレイ3の受信データを処理して、被検体1の画像10を生成する。
信号処理部7は、図1のように、物性値算出部70を含む。物性値算出部70は、図3に示すように、被検体1の画像10に少なくとも1つの領域11を設定し、領域11を透過した超音波の透過波12を受信した超音波素子の出力する受信データから領域11の物性値を演算により求める。このとき、物性値算出部70は、領域11を透過した透過波が到達する範囲13の超音波素子アレイ3の超音波素子のうち、範囲13の端部に位置する1以上の超音波素子3aで受信された受信データを、物性値の演算に用いる受信データから除去するか、または、物性値の演算における重みを低下させて、領域11の物性値を求める。このように、範囲13の端部の超音波素子3aの受信データを除去または重みを低下させて演算する理由は、次の通りである。
図3、図4に示したように、領域11に超音波が入射する際、および、領域11から超音波が出射する際には、領域11がその周囲の領域に対して屈折率が異なるため、超音波が屈折する。丸みを持った形状の領域11を設定した場合には、特に、超音波の入射方向に対して領域11の左右両端部において超音波の入射角が大きくなるため、領域11の左右両端部において透過波12の屈折角が大きくなる。領域11の左右両端部を透過し、屈折した透過波12aは、透過波12が到達する超音波素子アレイ3の範囲13の端部に位置する超音波素子3aに到達して受信される。このとき、領域11の端部を透過した透過波12aは、領域11の外側を通過した透過波14と干渉し、干渉波15を生じることもある。干渉波15もまた、透過波12が到達する範囲13の端部に位置する超音波素子3aに到達して受信される。よって、透過波12が到達する範囲13の端部に位置する超音波素子3aの出力する受信信号は、屈折した透過波12aや、外側の超音波14と干渉した超音波の受信信号であるため、除去、または、演算における重みを低下させて、物性値11の物性値を演算することにより、屈折や干渉の影響が低減された物性値を比較的容易に算出することができる。
本実施形態では、透過波12が到達する範囲13の端部に位置する1以上の超音波素子3aの受信信号を除去、または、重みを低下させた受信信号を用いて、物性値を算出する。これにより、領域11の物性値を演算により、精度よく算出することができる。よって、ユーザは、精度よく算出された物性値に基づいて、領域11の組織性状を判別や診断等することができる。
領域11の物性値として、例えば、平均音速および減衰率の少なくとも一方を求める。物性値算出部70は、領域11内の平均音速を、領域11の形状から求めた、透過波の領域11の透過距離と、受信データから求めた領域11の透過波の通過時間から算出することができる。また、物性値算出部70は、領域11の減衰率を、受信データから求めた、領域11の透過波の通過前後の強度(振幅)の変化から算出することができる。
また、物性値を演算する際に受信データを除去、または、演算において重みを低下させる超音波素子3aの数を、領域11のサイズや位置、送信超音波の中心周波数に応じて物性値算出部70が設定する構成としてもよい。これにより、領域11のサイズや位置、周波数に応じて、適切な数の受信データを除去、または、重みを低下させることができるため、領域11の物性値の演算に用いる受信データの量を確保しながら、屈折や干渉の影響を低減できる。
物性値算出部70は、超音波素子アレイ3の受信データを用いて領域11および領域11外の物性値を一旦算出し、領域11内と領域11の外の領域との物性値の差に応じて、受信データを除去または重みを低下させる超音波素子3aの数を設定してもよい。超音波の屈折角は、領域11の内外の屈折率差により決まるため、領域11の内外の物性値の差に応じて受信データを除去等する超音波素子3aの数を決定することにより、領域11の物性値の演算に用いる受信データ量確保しながら、屈折や干渉の影響を低減できる。
物性値算出部70は、超音波素子3aの数が複数である場合、それぞれの超音波素子3aの受信データの物性値演算における重みを、領域11を透過した透過波が超音波素子アレイ3に到達する範囲13の端部からその超音波素子3aまでの距離に応じて設定してもよい。これにより、屈折や干渉の影響が大きい範囲13の端部に近い超音波素子3aの受信データほど、演算における重みを低下させることができる。
物性値算出部70は、領域11を設定するために、信号処理部7が生成した画像上で、ユーザから領域の設定を受け付けてもよい。例えば、超音波素子アレイ3は、被検体1による超音波の透過波のみならず反射波も受信し、信号処理部7は、反射波の受信データを用いて、被検体1の反射波画像を生成し、物性値算出部70は、入力部9を介して、反射波画像上で、ユーザから領域の設定を受け付ける構成としてもよい。
物性値算出部70は、信号処理部7が生成した反射波画像を画像処理することにより、領域11を設定する構成としてもよい。この場合、物性値算出部70が設定した領域11を、ユーザが入力部9を介して修正できる構成であれば、さらに望ましい。
また、信号処理部7は、被検体1の透過波の受信データをすべて用いて、被検体の物性値の分布を示す物性値画像を生成し、この物性値画像における物性値を、物性値算出部70が算出した領域11内の物性値を用いて較正する構成としてもよい。これにより、精度の良い物性値画像を生成することができる。
<具体的な実施形態>
以下、本実施形態の具体的な実施形態の超音波撮像装置について説明する。
以下説明する超音波撮像装置(以下、超音波CT装置と呼ぶ)は、反射波画像(以下、反射境界画像と呼ぶ)から主要な物体の構造をセグメンテイション(領域分け)することにより、1以上の領域11を設定し、1以上の領域11のマスク画像を作成する。そして、超音波CT装置は、超音波の直線モデルを仮定してマスク画像を順投影し、透過距離サイノグラムを得た後、透過距離サイノグラムと、計測で得られたサイノグラムとを比較し、最小自乗法等を用いて、セグメンテーションした領域11等(主要物体)の物性値を求める。その際、本装置は、構造境界部のデータ(すなわち、領域11を透過した透過波が到達する超音波素子アレイ3の範囲13の端部に位置する1以上の超音波素子3aで受信された受信データ)の演算(最小自乗法等)における重みを下げる、もしくは、演算に用いるデータから除去することで、屈折や干渉の影響を低減する。
さらに、この超音波CT装置は、上記のようにして得られた領域11の物性値と、全透過波を用いて別途再構成した物性値画像の、領域11に対応する領域の物性値とを比較する。これにより、超音波CT装置は、物性値画像の物性値を較正するための較正曲線を得て、この較正曲線を用いて物性値画像全体を較正する。
このように、本実施形態の超音波装置は、被検体の構造境界部(領域11の端部)についての受信データを、物性値演算における重みを下げるか、または、物性値演算に用いる受信データから除去する。これにより、領域11における透過波の屈折やそれによる透過波の視野はみ出しに由来して、領域11の物性値が過小に評価(算出)される現象を較正し、より定量精度の高い領域11の物性値、および、より精度の高い物性値画像を提供する。以下、さらに詳細に説明する。
図1に示したように、本実施形態の超音波CT装置は、すでに述べた超音波素子アレイ3および信号処理部7の他に、被検体1を乗せるベッド2と、水槽4と、制御部6と、記憶部8と、入出力部9とを備えている。ベッド2には、被検体1を搭載する面に開口が設けられ、開口の下部には、胸部を挿入できる円柱状の水槽4が備えられている。その内部には、図2に示すようなリング状の超音波素子アレイ(以下、リングアレイと呼ぶ)3が、水槽4の軸方向に平行移動可能に備えられている。リングアレイ3は、超音波送受信器である圧電素子(超音波素子)をリング状に配列した構成である。水槽4には、温水が満たされ、予備タンク5に接続されている。予備タンク5は、水槽4内の温水を浄化、加熱および脱気する。予備タンク5内や水槽4の下部には、温度計(不図示)が取り付けられ、制御部6に接続されている。
超音波CT装置の撮影条件は、ユーザにより、入出力部9のタッチパネルやキーボード等を通して設定される。設定された条件等は、記憶部8のメモリやハードディスクドライブ等に保存される。
信号処理部7は、記憶部8に保存された撮像条件をもとに制御信号を生成し、制御部6を構成する各種コントローラーに出力する。コントローラーは、超音波信号の送受信やスイッチング、リングアレイ3の上下動の制御、予備タンク5の水圧制御や温水の温度制御などを行う。
リングアレイ3が超音波を受信して出力する受信信号は、記憶部8に記録されると共に、信号処理部7で画像処理演算が実行される。信号処理部7が生成した被検体1の断層画像等の情報は、入出力部9のモニタ等に表示される。
なお、制御部6と信号処理部7と記憶部8は、ベッド2の下部の空間に収めることもできる。
図5は、信号処理部7の機能ブロック図である。図5のように、信号処理部7は、透過波信号処理部7a、反射波信号処理部7b、および、セグメンテーション処理部7cを備えている。セグメンテーション処理部7cは、上述の物性値算出部70として機能する。これらの構成により、超音波CT装置は、水槽4内の被検体1の断層画像(反射境界画像(反射波画像)および物性値画像(透過波画像))を表示することが可能である。
信号処理部7は、CPU(Central Processing Unit)と、プログラムが予め格納されたメモリとを備えて構成され、CPUがプログラムを読み込んで実行することにより、信号処理部7の透過波信号処理部7a、反射波信号処理部7b、および、セグメンテーション処理部7cの機能をソフトウエアにより実現する。なお、信号処理部7は、その一部または全部をハードウエアによって実現することも可能である。例えば、ASIC(Application Specific Integrated Circuit)のようなカスタムICや、FPGA(Field-Programmable Gate Array)のようなプログラマブルICを用いて信号処理部7を構成し、信号処理部7の透過波信号処理部7a、反射波信号処理部7b、および、セグメンテーション処理部7cの動作を実現するように回路設計を行えばよい。
信号処理部7は、撮像条件等を基に、制御信号を生成し、制御部6を構成する各種コントローラーに送る。コントローラーは、超音波信号の送受信やスイッチング、リングアレイ3の上下動、および、ベッド2の上下動の制御、予備タンク5の水圧制御、温水温度のフィードバック制御などを行う。リングアレイ3により受信された透過波および反射波の受信データは、記憶部8に記録されると共に、信号処理部7の画像生成部11によって画像処理演算が施され、被検体1の反射境界画像や、物性値の分布を示す物性値画像等が生成される。生成された画像は、入出力部9のモニタ等に表示される。
図6は、信号処理部7の動作を示すフローチャートである。図6を用いて、信号処理部7の動作を以下に説明する。被検体1またはユーザが、入出力部9のスタートボタンを押下した場合、信号処理部7は、それを受け付け、入出力部9のモニタに、被検体に検査着へ着替えるよう促す表示と、被検体の氏名又はIDと問診票を入力するための画面を入出力部9のモニタに表示する。これにより、被検体1またはユーザが、入出力部9を介して入力画面に氏名や問診票を入力したならば、信号処理部7は、これを受け付け、被検体1にベッド2へうつ伏せになり、水槽4に片方の乳房を挿入するように促す表示を入出力部9のモニタに表示する(ステップ102)。被検体1の乳房が水槽4に挿入されたことを、被検体1による入出力部9の操作等により、信号処理部7が把握したならば、信号処理部7は、予備タンク5を動作させるように制御部6に制御信号を出力する。制御部6は、予備タンク5内の水の温度を温度計から取り込んで、水の温度が所定の温度(体温程度)になるまで加熱し、脱気装置により脱気した後、ポンプを駆動させて、水槽4に移動させる。これにより、水槽4は、所定の温度に調整した脱気水で満たされる(ステップ103)。
つぎに、信号処理部7は、制御部6を制御して、以下のように超音波を送受信させる。ここでは、ピッチが0.5mmで2048チャネルの圧電素子(超音波素子13)がリング状に並べられ、直径326mmのリングアレイ3が構成されているものとする。なお、圧電素子の水槽4の軸方向の厚みは1mmとする。リングアレイ3から照射する超音波の中心周波数を1.5MHz(水中での超音波の波長約1mm)とする。
制御部6は、リングアレイ3の連続した512チャネルの圧電素子に、所定の遅延量でそれぞれ遅延させた送信信号を受け渡す。これにより、512チャネルの圧電素子から位相を揃えた平面波の超音波を照射させる。そして、同じ512チャンネルの圧電素子で、被検体1の撮像部位(乳房)で反射された反射波を受信させる。また、送信した512チャネルに対して、撮像部位を挟んで対向する位置にある連続した512チャネルの圧電素子で、撮像部位の透過波を受信させる。これによって撮影視野(Field of View, FOV)を直径230mm確保することができる。制御部6は、リングアレイ3上で超音波を照射させる512チャネルの圧電素子を4チャネルずつずらしながら、上記照射動作および受信動作を繰り返し行わせることにより、水槽4のある深さのスライス(断面)において、水槽4の周囲360度からの透過波及び反射波の信号を、0.7度ずつずれた512ビューにおいて得る(ステップ104)。得られた反射波および透過波の受信信号は、記憶部8に格納する。
制御部6は、水槽4の軸方向に0.5mmピッチでリングアレイ3を変位させながら、各深さにおいて、上記撮影を繰り返す(ステップ105,106)。よって、リングアレイ3が、例えば合計20mmの変位するまで上記撮影を繰り返した場合、撮像部位の40スライス分の受信信号データが得られる。上記手順で、予め定めた深さ範囲について、被検体1の乳房の三次元情報(受信信号)を得て、記憶部8に格納する。
信号処理部7は、乳房の受信信号が正しく得られたかどうかをチェックし、正しく得られていたならば、他方の乳房も同様に測定するため、ステップ102に戻って、水槽4にもう片方の乳房を挿入するように被検体1に促す表示を入出力部9のモニタに表示し、ステップ103〜106を繰り返す。両方の乳房について受信信号が正しくえられたならば、信号処理部7は、ステップ108に進む。
ステップ108〜110では、透過波信号処理部7a、反射波信号処理部7b、および、セグメンテーション処理部7c(物性値演算部70)が、それぞれ処理を行う。図7に、透過波信号処理部7a、反射波信号処理部7b、セグメンテーション処理部7cで行われる処理シーケンスの概略を示す。この処理シーケンスは、以下の(a)〜(c)の3つの過程を含む。
(a)透過波信号処理部7aが、記憶部8から透過波信号データを読み込み、物性値画像を生成し、生成した物性値画像を入出力部9に出力する(ステップ108における処理)。
(b)反射波信号処理部7bが、記憶部8から反射波信号データを読み込み、反射率境界画像を生成し、生成した反射境界画像を入出力部9に出力する(ステップ109における処理)。
(c)セグメンテーション処理部7cが、上記(b)の過程で得られた反射境界画像を読み込んで、セグメンテーション(領域分け)して領域11を設定し、必要に応じて設定した領域分けの結果画像を入出力部9に出力して表示させ、ユーザから修正を受け付ける等した後、領域11毎の平均物性値を演算により求める。そして、上記(a)の過程で得られた物性値画像を読み込んで、この画像の物性値を、領域11の平均物性値を用いて較正し、較正後の物性値画像を入出力部9に出力する(ステップ110における処理)。
以下、透過波信号処理部7a、反射波信号処理部7bおよびセグメンテーション処理部7cが行う処理を詳しく説明する。図8(a)、(b)、(c)は、透過波信号処理部7a、反射波信号処理部7bおよびセグメンテーション処理部7cのステップ108〜110の動作をそれぞれ示すフローチャートである。まず、透過波信号処理部7aの処理を図8(a)のフローに従って説明する。透過波信号処理部7aは、透過波の受信波信号を記憶部8から読み込み(ステップ801)、時間方向にヒルベルト変換を実施し、透過波の最大振幅とそのタイミングを求める(ステップ802)。被検体1の挿入前後の受信時間の差と最大振幅の対数の差とを、各ビュー、各受信チャネル毎にそれぞれ計算し、受信時間の差のデータの集まりであるサイノグラムおよび最大振幅の差のデータの集まりであるサイノグラムをそれぞれ生成する(ステップ803)。サイノグラムは、スライス毎に得られる。透過波信号処理部7aは、受信時間の差のサイノグラムおよび最大振幅の対数の差のサイノグラムをそれぞれ、X線CTの分野で広く利用されているフィルタ補正逆投影法(Filtered Back Projection, FBP)等で処理することにより、断層画像を再構成する(ステップ804)。受信時間の差のサイノグラムからは、被検体1の挿入前後の、超音波の「遅さ(Slowness)」の差の分布画像(断層画像)が得られる。「遅さ」は、音速の逆数である。最大振幅の対数の差のサイノグラムからは、被検体1の挿入前後の減衰率の差の分布画像(断層画像)が得られる。透過波信号処理部7aは、水の音速や減衰率として予め定めておいた値(推定値)を用いることにより、上記「遅さ(Slowness)」の差の分布画像および上記減衰率の差の分布画像から、被検体1の音速分布および減衰率分布の画像をそれぞれ生成する(ステップ805)。図9(a)に生成した音速分布画像の一例を示す。透過波信号処理部7aは、スライスごとの透過波の受信信号について上記処理を行って、スライスごとの音速分布および減衰率分布の画像(物性値画像)を生成する。透過波信号処理部7aは、生成した音速分布画像および減衰率分布画像を、記憶部8に格納する。
次に、反射波信号処理部7bの処理を、図8(b)のフローに沿って説明する。反射波信号処理部7bは、記憶部8から反射波の受信データを読み込み、時間方向にヒルベルト変換を実施する。反射波信号処理部7bは、超音波素子13から超音波を照射してから被検体1からの反射波が超音波素子13に返って来る時間(タイミング)を、送信した超音波素子13から注目画素(被検体1内の点)までの距離と、注目画素から受信した超音波素子13までの距離の和を、超音波の音速(例えば水の音速)で割ることで求める。そして、反射波信号処理部7bは、被検体1内の注目画素で反射した反射波が、受信を行う各超音波素子にそれぞれ到達するタイミングで各超音波素子が受信した信号を加算し、加算後の信号強度をその画素の値とする。この方法は、遅延加算法(Delay and Sum, DAS)と呼ばれている。これを視野内の全画素について行うことで、反射波信号処理部7bは、超音波エコー検査で広く利用されているBモード画像を得る(ステップ812)。反射波信号処理部7bは、各照射角度(ビュー)で求まったBモード画像を加算することで、被検体1のあるスライスの反射境界画像を得る(ステップ813)。この処理をスライスごとの反射波の受信信号に行うことにより、画像生成部11は、スライスごとの反射境界画像を生成する。図9(b)に生成した反射境界画像の一例を示す。反射波信号処理部7bは、生成した反射境界画像を記憶部8に格納する。
セグメンテーション処理部7cの処理を図8(c)のフローを用いて説明する。反射境界画像は、一般に透過波画像よりも空間分解能が高いため、ユーザは、反射境界画像に基づいて透過波画像だけでは分からない被検体1の構造(組織の境界)を把握することができる。セグメンテーション処理部7cは、透過波信号処理部7aが生成した物性値画像と、反射波信号処理部7bが生成した反射境界画像を記憶部8から読み込んで、入出力部9のモニタに表示し、反射境界画像上でセグメンテーション(領域11の設定)をユーザから受け付ける(ステップ821)。例えば、ユーザは、物性値画像を参考にしながら、反射境界画像上で、物性値境界(腫瘍部等)と予想される境界をマウス等で入力し、反射境界画像を領域分けし、少なくとも一つの領域11を設定する。図9(c)にユーザにより入力された境界(複数の領域)の例を示す。境界情報は、フリーハンド曲線のほか、楕円や多角形で入力できるように、セグメンテーション処理部7cを構成してもよい。なお、セグメンテーション処理部7cが、セグメンテーションの受け付けのために、ユーザに表示する反射境界画像と透過波画像は、並べて表示してもよいし、適当に輝度を調整した上で重ねて表示しても良い。また、ユーザが作業しやすい方に、ユーザの入出力部9の操作に応じて、セグメンテーション処理部7cが切り替える構成としてもよい。
セグメンテーション処理部7cは、設定された領域11が、予め定めておいた条件を満たすかどうかを判定することにより、領域11が適切かどうか判断する(ステップ822)。例えば、設定された領域11の面積または径が、予め定めた値以下である場合や、領域11の数が予め定めた数よりも多い場合は、適切ではないため、以下の処理で正しく物性値を求めることができないと判断する。そして、セグメンテーション処理部7cは、入出力部9のモニタにユーザへの警告メッセージを表示し、再度領域分けの入力を行うように促し、ステップ821に戻る。
一方、セグメンテーション処理部7cは、設定された領域11が適切であると判断した場合には、領域11のマスク画像を生成する(ステップ823)。ここで、マスク画像とは、領域11の内部を1、外部を0とする二値画像のことであり、領域11が複数ある場合には、領域ごとに生成する。複数の領域11が設定され、大きな領域11の内側に小さい領域11が設定されている場合には、大きな領域11の内部を1、大きい領域の外部および内側の小さい領域11の内部を0としたマスク画像と、小さい領域11のそれぞれのマスク画像を生成する。ただし、小さい領域11のいくつかを組みにして、組ごとにマスク画像を生成してもよい。この場合、組にする小さい領域11は、領域内の被検体1の物性値が同じか近いものであることが望ましい。図10(a)〜(c)に、一例として、大きい領域(被検体1の外形)11の内側に4つの小さい領域11が設定されたマスク画像の一例を示す。図10(a)は、大きい領域のマスク画像であり、図10(b)、(c)は、4つの小さい領域を2つずつ組にして組ごとに生成されたマスク画像である。
セグメンテーション処理部7cは、マスク画像ごとに透過距離サイノグラムを生成する(ステップ824)。すなわち、セグメンテーション処理部7cは、マスク画像について、超音波の直線伝播モデルを仮定して、リングアレイ3の超音波を送信した超音波素子と受信した超音波素子との間の経路が、各領域11が横切る長さ、すなわち超音波の透過距離を計算する。この処理を順投影と呼ぶ。この順投影を、各超音波素子(チャネル)について、投影角度(ビュー)ごとに求めることにより、透過距離のデータの集まりを求める。求められた透過距離のデータの集まりを透過距離サイノグラムと呼ぶ。図10(a)〜(c)のマスク画像について得られた透過距離サイノグラムを図10(d)〜(f)に示す。図10(d)〜(f)は、横軸に超音波素子(チャネル)の番号、縦軸にビュー番号を示す。領域11を横切った超音波の経路が到達する超音波素子のみが値(透過距離値)をもつため、その値に応じた輝度で描かれている。そのため、透過距離サイノグラム上には、順投影により領域11を横切った超音波の経路が到達するチャネルの範囲の画素値が大きく、その範囲がビューごとに変化するため、幅をもった曲線として描かれ、その周囲は超音波の経路が到達しないチャネルであるため画素値が0で表されている。
図3および図4を用いてすでに説明したように、被検体1の構造(領域11)の境界部では、超音波が屈折し、丸みを持った形状の領域11である場合、超音波の入射方向に対して左右両端部において、超音波12aの入射角が大きくなるため、超音波12aの屈折角が大きくなる。また、屈折した超音波12aと、領域11の外側を通過する超音波14との干渉も生じ得る。そのため、領域11を横切った超音波が到達する超音波素子の範囲(すなわち、透過波12が到達する範囲13)の端部に位置する超音波素子3aの出力する受信信号は、他の超音波素子の出力する受信信号データよりも信頼性が低いと考えられる。
そこで、セグメンテーション処理部7cは、透過波12が到達する範囲13の両端部(超音波素子3a)からの距離dに応じた重みを生成する(ステップ825)。具体的には、セグメンテーション処理部7cは、透過距離サイノグラム上に描かれた曲線(すなわち、順投影により領域11を横切った超音波の経路が到達するチャネルの範囲)の両端に位置するチャネル(超音波素子)からのチャネル方向の距離を改めてdとし、透過距離サイノグラム上に重み関数w(d)を生成する。重み関数wは、例えばガウス型とすればよい。ただし、屈折の大きさは境界(領域11)の内と外の音速差ΔCに依存することを考慮し、境界の内外の音速差に応じて、重みを調整しても良い。ここでの音速値は、ステップ108で生成した物性値画像のうち音速画像における、各領域11の音速値(画素値)の平均値を用いればよい。
一例として、距離dと音速差ΔCに依存する重み関数w(d、ΔC)を式(1)に示す。式(1)において、αは、音速差ΔCに依存する関数である。なお、重み関数wは式(1)の形に限られるものではなく、式(2)にように、順投影により領域11を横切った超音波の経路が到達するチャネルの範囲の両端に位置するチャネル(超音波素子)からの所定の距離dの領域11のデータを除去(重み0)にする場合も含む。なお、式(2)において、θはヘヴィサイドの階段関数である。各領域11の境界ごとに生成された重みwをそれぞれ掛け合わせることで、重みサイノグラムW=Πmmを生成する。図9(d)は、生成した重みサイノグラムWを透過距離サイノグラムに掛け合わせた例であり、2つの小さい領域11に対応する透過距離サイノグラムの帯状の曲線の端部から所定の距離dの範囲の重みが0に設定されている。なお、重みサイノグラムは、境界からの距離に応じた重みを付加したマスク画像を順投影して生成しても良い。
Figure 0006698505
Figure 0006698505
なお、式(1)および(2)において、重み関数wの形やαの関数形は、被検体(撮影部位)に応じて複数の候補からユーザが選択できるように構成してもよい。例えば、セグメンテーション処理部7cは、図11のように、重み関数wとして予め定めおいた複数の重み関数w、w、w、ならびに、関数αとして予め定めておいた複数の関数α、α、αを示す画面をモニタに表示し、中からユーザが一つを選択するための画面を入出力部9のモニタに表示させ、関数w、αとして用いる関数の選択を入出力部9を介してユーザから受け付ける構成にすることができる。
次に、セグメンテーション処理部7cは、ステップ824で生成した重みと、超音波素子の出力信号(受信信号)とを用いて各領域11の平均物性値を算出する(ステップ826)。例えば、セグメンテーション処理部7cは、最尤推定法を用いて各領域11の物性値を求める。具体的には、物性値として音速値を求める場合、式(3)を最小化するように、式(4)の音速値Cの組み合わせを探索することにより、各領域11の音速値Cを求める。ここで、dtは、被検体1の挿入前後の受信時間の差のサイノグラムであり、Lは透過距離サイノグラム、Cwaterは水の音速、mは各領域11に付けたインデックスである。解の探索は例えばニュートン法を用いる。なお、最尤推定の方法は式(3)の形に限るものではない。なお、求めることができる物性値としては、音速に限られるものではなく、減衰係数値も同様に求めることが可能である。
Figure 0006698505
Figure 0006698505
複数のスライスの受信データデータがある場合には、それぞれのスライスのマスク画像から得られた透過距離サイノグラムをまとめて式(5)のように、処理することもできる。これによって各スライス間の画像を統一的に較正することができる。
Figure 0006698505
つぎに、セグメンテーション処理部7cは、ステップ826で求めた各領域11の平均物性値を用いて、ステップ805で生成した物性値画像を較正する(ステップ827)。まず、セグメンテーション処理部7cは、ステップ826で求めた各領域11の物性値(y)と、ステップ805で求めた物性値画像における領域11に対応する領域の平均物性値(x)との関係を二次元グラフ(x−y)にプロットし、これを関数y(x)でフィッティングし、関数y(x)を較正曲線として求める。図12は、ステップ826で求めた物性値である音速値(y)と、音速値(y)に対応する領域についてステップ805で求めた平均音速値(x)をプロットし、二次関数y(x)でフィッティングしたグラフである。セグメンテーション処理部7cは、関数y(x)を較正関数として用いて、ステップ805で求めた物性値画像の画素値(物性値)xから較正後の物性値yを算出し、画素値をyに置き換える処理を行う。これにより、物性値画像の各画素の物性値を、領域の境界における屈折や干渉の影響を抑制して求めた物性値に較正した物性値画像が生成される。ここでは、物性値画像として音速値画像を較正する例について説明したが、減衰係数値の画像も同様に較正曲線を求めることが可能である。
なお、セグメンテーション処理部7cが上記ステップ827における物性値画像の較正を行うかどうかを、ユーザが選択可能な較正にしてもよい。例えば、図11のように、セグメンテーション処理部7cは、較正の有り無しの選択を受け付ける項目を図11の画面に表示し、入出力部9を介してユーザにより較正の有りまたは無しの選択を受け付ける。較正有りが選択された場合は、セグメンテーション処理部は、ステップ827を実行し、較正なしが選択された場合は、ステップ827を実行しない。
なお、ここでは、図12のように、フィッティング関数を二次関数でフィッティングしたが、フィッティング関数は多項式に限られるものではない。
また、較正後の画質の均一性を保つために、較正曲線のフィッティングは複数のスライスで得られた全てのデータに対して行っても良い。
つぎに、信号処理部7は、セグメンテーション処理部7cがステップ826で生成した較正後の物性値画像を入出力部9のモニタに表示させる。これにより、ユーザは、構成後の物性値画像を視認することができ、視認した物性値から被検体1の組織の診断を行うことができる。信号処理部7は、較正後の物性値画像の他に、ステップ826で求めた各領域11の平均物性値を表示してもよい。また、ステップ805で生成した較正前の物性値画像やステッップ813で生成した反射境界画像を、較正後の物性値画像と合わせてモニタに表示してもよく、ユーザが表示させる画像を入出力部9を介して選択し、それに応じて信号処理部7が表示画像を切り換える構成にしてもよい。
上述の図8(c)のステップ821では、セグメンテーション処理部7cは、ユーザから領域設定の入力を受け付ける構成であったが、セグメンテーション処理部7cは、反射境界画像を画像処理することにより、境界を自動抽出して、領域を設定する構成としてもよい。セグメンテーション処理部7cは、反射境界画像に対して、微分フィルタ等で画素値を処理して境界を強調し、適当な閾値以下の画素を除去することにより、境界を抽出する。その後、セグメンテーション処理部7cは、内部を持つ閉じた境界を抽出することにより、領域を設定する。
なお、セグメンテーション処理部7cは、自動で領域11を設定する際、複数のスライスのデータがある場合には、異なるスライスでの境界の連続性(隣接スライス間で境界が近傍にあるべきという条件)を仮定することで、隣接するスライス間で領域11が近傍に位置する(連続性を有する)ように領域11の位置を調整して設定してもよい。これにより、境界の誤抽出を低減し、適切な領域11を設定することができる。
また、セグメンテーション処理部7cは、抽出した境界を入出力部9のモニタに表示してユーザに提示してもよい。この場合、ユーザは自動抽出された境界に問題がないかどうかを確認し、足りない境界があれば追加し、余分な境界は削除することができる。
また、セグメンテーション処理部7cは、図8(c)のステップ821においてユーザから受け付けた領域の境界を自動で最適化することもできる。例えば、ユーザが選択した領域の近傍について領域の中心から放射状に反射境界画像を微分し、変化率の大きな画素を探索して選択し、選択した画素を繋げることにより反射境界に一致した領域を設定することができる。この処理は繰り返し実行する構成としてもよい。これにより、ユーザが入力した領域の境界を最適化することができる。
なお、本実施形態の超音波CT装置は、リングアレイで超音波を送受信し、受信データの取得と受信データの処理とを一つの装置内で行っているが、データ取得とデータ処理を別装置で行う構成にしてもよい。例えば、信号処理部7、記憶部8、入出力部9を有する画像処理装置を構成し、別の超音波送受信装置が取得した透過波信号データと反射波信号データを、画像処理装置が取り込み、図6のステップ108〜111の処理を実行する構成とする。
上述してきた本実施形態の装置では、超音波の屈折の影響による物性値の過小評価を補正でき、より定量精度の高い物性値および物性値画像を提供できる。
1 被検体
2 ベッド
3 リングアレイ
4 水槽
5 予備タンク
6 制御部
7 信号処理部
8 記憶部
9 入出力部
7a 透過波信号処理部
7b 反射波信号処理部
7c セグメンテーション処理部
70 物性値算出部

Claims (15)

  1. 被検体に超音波を送信し、少なくとも前記被検体の透過波を受信して受信データを出力する複数の超音波素子が配列された超音波素子アレイと、
    前記受信データを処理して、前記被検体の画像を生成する信号処理部とを有し、
    前記信号処理部は、撮影視野内に少なくとも1つの領域を設定し、前記領域を透過した前記透過波の前記受信データから当該領域の物性値を演算により求める物性値算出部を含み、
    前記物性値算出部は、前記領域を透過した前記透過波が到達する前記超音波素子アレイの範囲の、端部に位置する1以上の超音波素子の受信データを、前記超音波素子アレイの前記受信データから除去するか、または、前記物性値の演算における重みを低下させて、前記領域の前記物性値を求めることを特徴とする超音波撮像装置。
  2. 請求項1に記載の超音波撮像装置であって、前記物性値算出部は、前記受信データを除去、または、前記演算において重みを低下させる前記超音波素子の数を、前記領域のサイズ、または、前記領域の位置、または、送信超音波の中心周波数に応じて設定することを特徴とする超音波撮像装置。
  3. 請求項1に記載の超音波撮像装置であって、前記信号処理部は、前記受信データを除去または重みを低下させることなく、前記超音波素子アレイの受信データを用いて前記領域内および前記領域外の物性値を算出し、
    前記物性値算出部は、前記信号処理部が算出した前記領域内と前記領域外の物性値の差に応じて、前記受信データを除去または重みを低下させる前記超音波素子の数を設定することを特徴とする超音波撮像装置。
  4. 請求項1に記載の超音波撮像装置であって、前記物性値算出部は、前記透過波が到達する前記超音波素子アレイの範囲の端部からの前記超音波素子までの距離に応じて、当該超音波素子の前記受信データを除去または前記重みを設定することを特徴とする超音波撮像装置。
  5. 請求項1に記載の超音波撮像装置であって、前記信号処理部は、前記領域を透過した前記透過波の透過距離を、前記領域の形状に基づいて算出することを特徴とする超音波撮像装置。
  6. 請求項1に記載の超音波撮像装置であって、前記超音波素子アレイは、前記被検体による前記超音波の反射波をさらに受信して、前記反射波の受信データを出力し、
    前記信号処理部は、前記反射波の受信データを用いて、前記被検体の反射波画像をさらに生成し、
    前記物性値算出部は、前記反射波の画像上で、ユーザから前記領域の設定を受け付ける入力部を備えることを特徴とする超音波撮像装置。
  7. 請求項1に記載の超音波撮像装置であって、前記超音波素子アレイは、前記被検体による前記超音波の反射波をさらに受信して、前記反射波の受信データを出力し、
    前記信号処理部は、前記反射波の受信データを用いて、前記被検体の反射波画像をさらに生成し、
    前記物性値算出部は、前記反射波画像を画像処理することにより、前記領域を設定し、設定した前記領域の、ユーザによる修正を受け付ける入力部を備え
    ることを特徴とする超音波撮像装置。
  8. 請求項1に記載の超音波撮像装置であって、前記信号処理部は、前記被検体の前記透過波の受信データを用いて、前記被検体の物性値分布を示す物性値画像を生成し、
    前記物性値算出部は、算出した前記領域内の物性値を用いて、前記物性値画像の物性値を較正することを特徴とする超音波撮像装置。
  9. 請求項7に記載の超音波撮像装置であって、前記信号処理部は、前記被検体の複数のスライスについて前記反射波画像をそれぞれ生成し、
    前記物性値算出部は、前記スライスごとの前記反射波画像を画像処理することにより前記被検体の組織の反射境界を抽出し、境界に沿って前記領域を設定し、その際、隣接する前記スライス間では境界が連続するという仮定を用いて、隣接するスライスの領域が近傍に位置するように前記領域の位置を調整することを特徴とする超音波撮像装置。
  10. 請求項1に記載の超音波撮像装置であって、前記物性値算出部は、前記画像上で、ユーザから前記領域の設定を受け付け、前記画像上でユーザが設定した前記領域の近傍で、前記画像を処理して前記被検体の組織の境界を抽出し、抽出した境界に前記ユーザが設定した領域を近づける最適化処理を行うことを特徴とする超音波撮像装置。
  11. 請求項10に記載の超音波撮像装置であって、前記画像上でユーザが設定した前記領域が、予め定めた条件を満たすかどうか判定し、前記条件を満たさない場合、接続されている表示装置に警告メッセージを表示することを特徴とする超音波撮像装置。
  12. 請求項1に記載の超音波撮像装置であって、前記物性値算出部は、予め定めた複数の関数を示す画面を表示装置に表示させ、入力部を介してユーザによる前記関数の選択を受け付ける構成であることを特徴とする超音波撮像装置。
  13. 請求項8に記載の超音波撮像装置であって、前記物性値算出部は、前記較正を行うかどうかをユーザが選択するための表示を表示装置に表示させ、入力部を介してユーザが較正有りを選択した場合、前記較正を行うことを特徴とする超音波撮像装置。
  14. 超音波が被検体を透過した透過波を、超音波素子アレイによって受信することにより得られた受信データを受け取って、前記被検体の画像を生成する信号処理部と、
    前記被検体に少なくとも1つの領域を設定し、前記領域を透過した前記透過波の前記受信データから当該領域の物性値を演算により求める物性値算出部とを含み、
    前記物性値算出部は、前記領域を透過した前記透過波が到達する前記超音波素子アレイの範囲の、端部に位置する1以上の超音波素子の受信データを、前記超音波素子アレイの前記受信データから除去するか、または、前記物性値の演算における重みを低下させて、前記領域の前記物性値を求めることを特徴とする画像処理装置。
  15. 超音波が被検体を透過した透過波を、超音波素子アレイによって受信することにより得られた受信データを受け取り、
    前記被検体に少なくとも1つの領域を設定し、前記領域を透過した前記透過波が到達する前記超音波素子アレイの範囲の、端部に位置する1以上の超音波素子の受信データを、前記超音波素子アレイの前記受信データから除去するか、または、演算における重みを低下させて、前記領域の物性値を前記受信データから演算により求めることを特徴とする画像処理方法。

JP2016233073A 2016-11-30 2016-11-30 超音波撮像装置、画像処理装置、および、画像処理方法 Active JP6698505B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016233073A JP6698505B2 (ja) 2016-11-30 2016-11-30 超音波撮像装置、画像処理装置、および、画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016233073A JP6698505B2 (ja) 2016-11-30 2016-11-30 超音波撮像装置、画像処理装置、および、画像処理方法

Publications (2)

Publication Number Publication Date
JP2018088990A JP2018088990A (ja) 2018-06-14
JP6698505B2 true JP6698505B2 (ja) 2020-05-27

Family

ID=62563930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016233073A Active JP6698505B2 (ja) 2016-11-30 2016-11-30 超音波撮像装置、画像処理装置、および、画像処理方法

Country Status (1)

Country Link
JP (1) JP6698505B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020099619A (ja) * 2018-12-25 2020-07-02 株式会社日立製作所 超音波送受信装置

Also Published As

Publication number Publication date
JP2018088990A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
Feigin et al. A deep learning framework for single-sided sound speed inversion in medical ultrasound
EP3328285B1 (en) A method and system for correcting fat-induced aberrations
EP2870918A1 (en) Ultrasonic diagnostic apparatus and elastic evaluation method
JP6730919B2 (ja) 超音波ct装置
JP6216736B2 (ja) 超音波診断装置、及び超音波診断方法
JP2019524221A5 (ja)
US11069059B2 (en) Prenatal ultrasound imaging
CN107072547B (zh) 光声成像装置
RU2677191C2 (ru) Установление границ блокирования ребром в анатомически интеллектуальной эхокардиографии
US12004844B2 (en) Information acquisition apparatus and signal processing method
KR20150112057A (ko) 공간 일관성 기초 초음파 신호 처리 모듈 및 그에 의한 초음파 신호 처리 방법
US10799217B2 (en) Ultrasound imaging device and ultrasound image generation program
EP3349655B1 (en) Tomography apparatus and controlling method for the same
Hooi et al. Acoustic attenuation imaging of tissue bulk properties with a priori information
JP6698505B2 (ja) 超音波撮像装置、画像処理装置、および、画像処理方法
EP3506832B1 (en) Ultrasound diagnosis apparatus
CN111789632A (zh) 超声波诊断装置、信号处理装置以及存储介质
CN111434310B (zh) 超声波ct装置、图像处理装置以及计算机可读存储介质
EP2533684B1 (en) Method of characterizing tissue of a patient
CN112294362B (zh) 超声波ct装置、图像处理装置、图像处理方法及记录介质
KR101956460B1 (ko) 초음파 의료영상 장치를 이용한 미세석회화 조직 검출 방법 및 그 초음파 의료영상 장치
JP6942847B2 (ja) 被検体情報取得装置および信号処理方法
WO2019061148A1 (zh) 超声动态图像处理方法、装置及超声摄像设备
KR101882325B1 (ko) 스펙트럴 도플러 영상을 생성하는 방법 및 그 초음파 도플러 영상 장치
Oh et al. Comparison of various photoacoustic imaging reconstruction algorithms under realistic scenarios: a simulation study

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200428

R150 Certificate of patent or registration of utility model

Ref document number: 6698505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250