JP5502686B2 - 光音響画像診断装置、画像生成方法、及びプログラム - Google Patents

光音響画像診断装置、画像生成方法、及びプログラム Download PDF

Info

Publication number
JP5502686B2
JP5502686B2 JP2010220557A JP2010220557A JP5502686B2 JP 5502686 B2 JP5502686 B2 JP 5502686B2 JP 2010220557 A JP2010220557 A JP 2010220557A JP 2010220557 A JP2010220557 A JP 2010220557A JP 5502686 B2 JP5502686 B2 JP 5502686B2
Authority
JP
Japan
Prior art keywords
image
photoacoustic
correlation
reference waveform
waveform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010220557A
Other languages
English (en)
Other versions
JP2012075464A (ja
Inventor
和弘 広田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010220557A priority Critical patent/JP5502686B2/ja
Publication of JP2012075464A publication Critical patent/JP2012075464A/ja
Application granted granted Critical
Publication of JP5502686B2 publication Critical patent/JP5502686B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、光音響画像診断装置、画像生成方法、及びプログラムに関し、更に詳しくは、被検体内に照射した光により生じた音響信号を受信して画像を生成する光音響画像診断装置、画像生成方法、及びプログラムに関する。
近年、光源から発生した光を生体に照射し、光のエネルギー吸収によって生体組織から発生した音響波を検出し、検出された信号を処理することで生体内の光学特性値分布を得る光音響イメージングが提案されている(例えば特許文献1参照)。光音響イメージングでは、音響波の発生源である光の吸収係数が高い組織を画像化することができ、例えば体内における血管を画像化することが可能である。この画像(光音響画像)を用いて、ガン病変の診断や、手術中の血管分布を抽出するなどの応用が検討されている。
特開2010−136887号公報
光音響画像は、照射した光に対しての吸収の強弱の分布を示すのみで、どこに目的の組織があるかなどの読影に熟練を要するという問題がある。例えばガン病変部に見られるような密集した血管分布を観察したい場合でも、他の吸収係数が大きな組織も同時に画像化されるため、光音響画像においてどの部分が血管部分であるかを識別することが難しい。
本発明は、上記に鑑み、目的組織の識別が可能な画像を生成する光音響画像診断装置、画像生成方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明は、被検体内に光を照射する光源と、それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子と、生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する参照波形選択手段と、前記超音波探触子で検出された光音響信号に基づく受信波形に対して前記取得された参照波形を畳み込み、畳込み信号を生成する参照信号畳込み手段と、前記畳込み信号に基づいて、畳込み画像を生成する畳込み画像構築手段と、前記畳込み画像を出力する画像出力手段とを備えたことを特徴とする第1の光音響画像診断装置を提供する。
第1の光音響画像診断装置が、前記取得された参照波形を時間軸方向に伸長又は圧縮する波形伸縮手段を更に備え、前記畳込み手段が、前記波形伸縮手段で伸長又は圧縮された参照波形を前記受信波形に畳み込む構成を採用することができる。
第1の光音響画像診断装置は、前記超音波探触子が複数の超音波探触子を含んでおり、該複数の超音波振動子により検出された光音響信号の再構成を行う画像再構成手段を更に備え、前記参照信号畳込み手段が、前記画像再構成手段により再構成された光音響信号を受信波形として前記参照波形を畳み込む構成とすることができる。画像再構成手段が行う再構成の手法は特に問わない。再構成には、遅延加算法、CBP(Circular Back Projection)法、ハフ変換法、フーリエ変換法などを用いることができる。
前記参照信号畳込み手段は、前記超音波振動子が検出した光音響信号を受信波形として前記参照波形を畳み込んでもよい。
第1の光音響画像診断装置が、被検体内に出力した超音波に対する反射音響信号に基づいて超音波画像を生成する超音波画像生成手段を更に備え、前記画像出力部が、前記畳込み画像と前記超音波画像とを選択的に又は合成して出力する構成を採用することができる。
また、本発明は、被検体内に光を照射する光源と、それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子と、生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する参照波形選択手段と、前記超音波探触子で検出された光音響信号に基づく受信波形と前記取得された参照波形との相関を求める相関算出手段と、前記相関に基づいて、相関画像を生成する相関画像構築手段と、前記相関画像を出力する画像出力手段とを備えたことを特徴とする第2の光音響画像診断装置を提供する。
前記相関画像構築手段は、前記相関が所定のしきい値以上の部分を相関画像として画像化するものとすることができる。
第2の光音響画像診断装置が、前記取得された参照波形を時間軸方向に伸長又は圧縮する波形伸縮手段を更に備え、前記相関算出手段は、前記波形伸縮手段で伸長又は圧縮された参照波形と前記受信波形との相関を算出する構成を採用することができる。
前記相関画像構築手段は、所定のカラーマップに従って前記相関画像を生成してもよい。
第2の光音響画像診断装置は、前記超音波探触子が複数の超音波探触子を含んでおり、前記複数の超音波振動子により検出された光音響信号の再構成を行う画像再構成手段を更に備え、前記相関算出手段が、前記画像再構成手段により再構成された光音響信号を受信波形として相関を算出する構成を採用することができる。画像再構成手段が行う再構成の手法は特に問わない。再構成には、遅延加算法、CBP(Circular Back Projection)法、ハフ変換法、フーリエ変換法などを用いることができる。
前記相関算出手段は、前記超音波振動子が検出した光音響信号を受信波形として相関を算出してもよい。
第2の光音響画像診断装置が、前記光音響信号に基づいて光音響画像を生成する光音響画像生成手段を更に備え、前記画像出力手段が、前記光音響画像と前記相関画像とを選択的に又は合成して出力する構成を採用することができる。この場合、前記画像出力手段は、前記光音響画像と前記相関画像とを合成する際に、両画像を所定の割合で加算して合成してもよい。
第2の光音響画像診断装置が、前記被検体内に出力された超音波に対する反射音響信号に基づいて超音波画像を生成する超音波画像生成手段を更に備え、前記画像出力手段が、前記前記相関画像と前記超音波画像とを選択的に又は合成して出力する構成としてもよい。この場合、前記画像出力手段は、前記超音波画像と前記相関画像とを合成する際に、両画像を所定の割合で加算して合成することができる。
第2の光音響画像診断装置が、前記光音響信号に基づいて、前記光音響信号の発生源部分を画像化する光音響画像を生成する光音響画像生成手段と、前記被検体内に出力された超音波に対する反射音響信号に基づいて超音波画像を生成する超音波画像生成手段をと更に備え、前記画像出力手段が、前記光音響画像と前記超音波画像と前記相関画像とを合成して出力する構成としてもよい。この場合、前記画像出力手段は、前記光音響画像と前記超音波画像と前記相関画像とを所定の割合で加算して合成してもよい。
本発明は、生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得するステップと、それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形に対して前記取得された参照波形を畳み込み、畳込み信号を生成するステップと、前記畳込み信号に基づいて、畳込み画像を生成するステップとを有することを特徴とする第1の画像生成方法を提供する。
また、本発明は、生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得するステップと、それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形と前記取得された参照波形との相関を求めるステップと、前記相関に基づいて、相関画像を生成するステップとを有することを特徴とする第2の画像生成方法を提供する。
更に本発明は、コンピュータに、生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する手順と、それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形に対して前記取得された参照波形を畳み込み、畳込み信号を生成する手順と、前記畳込み信号に基づいて、畳込み画像を生成する手順とを実行させるための第1のプログラムを提供する。
本発明は、コンピュータに、生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する手順と、それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形と前記取得された参照波形との相関を求める手順と、前記相関に基づいて、相関画像を生成する手順とを実行させるための第2のプログラムを提供する。
本発明の第1の光音響画像診断装置、画像生成方法、及びプログラムでは、識別対象の生体組織に対応する参照波形を受信系の受信波形に対して畳み込み、畳込みデータを用いて断層画像(畳込み画像)を生成する。畳込みデータにおいては、受信データにおいて畳み込まれる波形と似た波形部分ほど信号強度が強くなるため、そのような畳込みデータを用いて畳込み画像を生成することで、目的組織の識別が可能な画像を生成できる。
また、本発明の第2の光音響画像診断装置、画像生成方法、及びプログラムでは、識別対象の生体組織に対応する参照波形と受信系の受信波形との相関を算出し、相関が高い部分を相関画像において画像化する。相関が高い部分は識別対象の生体組織からの光音響信号が存在する部分に対応するため、相関が高い部分を画像化することで、目的組織の識別が可能な画像を生成できる。
本発明の第1実施形態の光音響画像診断装置を示すブロック図。 超音波振動子と光吸収体とを示す図。 再構成後の1ラインのデータを示す波形図。 参照波形を示す波形図。 畳込みデータを示す波形図。 畳込み画像を示す図。 動作手順を示すフローチャート。 本発明の第2実施形態の光音響画像診断装置を示すブロック図。 算出された相互相関を示す波形図。 光音響画像と相関画像とを合成した画像を示す図。 動作手順を示すフローチャート。 本発明の第3実施形態の光音響画像診断装置を示すブロック図。 (a)〜(c)は、太さが異なる血管部分とその血管部分からの光音響信号の波形とを示す図。 第4実施形態の光音響画像診断装置を示すブロック図。
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図1は、本発明の第1実施形態の光音響画像診断装置を示す。光音響画像診断装置10は、超音波探触子11、AD変換手段12、光源13、信号処理手段14、及び画像表示手段24を備える。光源13は、被検体内にレーザ光を照射する。レーザ光の波長は、観察対象物に応じて適宜設定すればよい。超音波探触子11は、被検体からの光音響信号の検出を行う。超音波探触子11は、例えば1次元的に配列された複数の超音波振動子を有する。AD変換手段12は、超音波探触子11が有する複数の超音波振動子が検出した光音響信号をデジタル信号に変換する。AD変換手段12は、例えば所定のサンプリング周期で検出された光音響信号をサンプリングする。
信号処理手段14は、画像再構成手段15、検波手段16、対数変換手段17、画像出力手段19、参照波形選択手段20、参照波形データベース21、畳込み手段25、及び畳込み画像構築手段26を有する。信号処理手段14内の各部の機能は、コンピュータが所定のプログラムに従って動作することで実現できる。なお、参照波形データベース21は、光音響画像診断装置10(信号処理手段14)からアクセス可能であればよく、必ずしも信号処理手段14の内部に設けられている必要はない。
画像再構成手段15は、超音波探触子11の複数の超音波振動子で受信された光音響信号に基づいて、光音響画像の各ラインのデータを生成する。画像再構成手段15は、例えば超音波探触子の64個の超音波振動子からのデータを、超音波振動子の位置に応じた遅延時間で加算し、1ライン分のデータを生成する(遅延加算法)。画像再構成手段15は、遅延加算法に代えて、CBP法(Circular Back Projection)により再構成を行ってもよい。あるいは画像再構成手段15は、ハフ変換法又はフーリエ変換法を用いて再構成を行ってもよい。検波手段16は、画像再構成手段15が出力する各ラインのデータの包絡線を出力する。対数変換手段17は、検波手段16が出力する包絡線を対数変換し、ダイナミックレンジを広げる。
参照波形データベース21には、生体組織と、その生体組織に対応する光音響信号の波形情報とが対応付けて記憶されている。ユーザは、図示しない入力手段などを用いて識別対象の生体組織を指定する。参照波形選択手段20は、参照波形データベース21から、識別対象の生体組織に対応する波形情報を取得し、畳込み手段25に与える。
畳込み手段25は、識別対象の生体組織の波形情報で表わされる波形を参照波形として、画像再構成手段15が出力する各ラインのデータに対し、参照波形を畳み込む。すなわち畳込み手段25は、参照波形選択手段20が読み出した参照波形を、画像再構成手段15が生成した各ラインのデータに畳み込み、畳込みデータを生成する。畳み込み手段25は、例えば複数の超音波振動子からのデータを遅延加算することで生成された各ラインのデータにおける畳込み開始時間位置を1時刻ずつずらしながら、各ラインのデータに参照波形を畳み込む。
図2は、超音波振動子と光吸収体とを示す。図2において横軸方向は被検体の深さ方向の位置に対応する。図2に示される3つの光吸収体31〜33のうち、紙面左右方向の真ん中の光吸収体32は血管部分の生体組織であり、他の2つの光吸収体31、33は血管とは異なる生体組織であるとする。図3は、再構成後の1ラインのデータを示す。図3において、横軸はAD変換手段12におけるサンプリング開始時刻からの経過時刻に対応し、縦軸は信号強度に対応する。図3における横軸は、図2における横軸、すなわち断層画像における深さ方向の位置に対応する。
図3に示される波形は、図2において矢印で示される位置の1ラインのデータに対応する。以下、図3に示す波形データを受信データと呼ぶこととする。受信データにおいて振幅が現れている部分は、図2に示す光吸収体31〜33からの光音響信号に相当する。図2における3つの光吸収体のうち、真ん中の血管部分に相当する光吸収体32の両側に存在する光吸収体31、33は、血管とは異なる生体組織であり、受信データにおける真ん中の光吸収体32からの光音響信号の波形は、他の光吸収体31、33からの光音響信号の波形とは異なっている。
図4は、参照波形を示す。図4に示す参照波形は、被検体内の血管部分からの光音響信号の波形に対応した波形である。畳込み手段25は、図3に示す受信データの各時刻に対して、図4に示す参照波形を畳み込む。畳込み手段25は、例えば参照波形がN時刻分のデータで構成されるときは、下記式に従って受信データに参照波形を畳み込む。
図5は、畳込みデータを示す。例えば図3に示す受信データに、図4に示す参照波形を畳み込むと、図5に示す畳込みデータが得られる。図3に示す受信データと図5に示す畳込みデータとを比較すると、図3の受信データにおいて参照波形と似た波形部分の振幅が他の部分の振幅よりも大きくなっている。すなわち、図2に示す3つの光吸収体31〜33のうち、真ん中の光吸収体32からの光音響信号の部分の信号強度が強まったデータが生成されている。
畳込み手段25が生成した畳込みデータは、検波手段16及び対数変換手段17を介して畳込み画像構築手段26に入力される。畳込み画像構築手段26は、対数変換が施された各ラインの畳込みデータに基づいて、断層画像(畳込み画像)を生成する。畳込み画像構築手段26は、例えば畳込みデータにおける光音響信号(ピーク部分)の時間軸方向の位置を、断層画像における深さ方向の位置に変換して畳込み画像を生成する。画像出力手段19は、畳込み画像構築手段26が生成した畳込み画像を、表示モニタなどの画像表示手段24に出力する。画像表示手段24は、畳込み画像を表示画面上に表示する。
図6は、畳込み画像を示す。畳込み画像構築手段26が、畳込み手段25で受信データに参照波形を畳み込んだ畳込みデータを用いて断層画像を生成することで、例えば図6に示す畳込み画像が生成される。畳込みデータは、参照波形を畳み込む前と類似した波形で、かつ、参照波形と類似する部分の振幅が大きくなっているため、畳込みデータを用いて断層画像を生成すると、受信データに基づいて光音響画像を生成した場合に比して、受信データにおいて参照波形と似た波形が現れる部分、すなわち識別対象の生体組織に対応する部分が強調された画像を得ることができる。
図7は、動作手順を示す。光源13は、図示しない制御部からのトリガ信号を受けて被検体内部に光を照射する(ステップS11)。超音波探触子11は、被検体内部からの光音響信号を検出する(ステップS12)。AD変換手段12は、光音響信号を所定のサンプリング周期でサンプリングする(ステップS13)。画像再構成手段15は、超音波探触子11の複数の超音波振動子で受信された光音響信号に基づいて、各ラインのデータ(受信データ)を生成する(ステップS14)。
参照波形選択手段20は、例えばユーザが識別対象の生体組織を指定すると、参照波形データベース21を参照して、識別対象として指定された生体組織に対応する波形データを参照波形として読み出す(ステップS15)。畳込み手段25は、画像再構成手段15が生成した受信データに、参照波形選択手段20が読み出した参照波形を畳み込み、畳込みデータを生成する(ステップS16)。
畳込み手段25が生成した畳込みデータは、検波手段16及び対数変換手段17を介して畳込み画像構築手段26に入力される。畳込み画像構築手段26は、畳込みデータに基づいて畳込み画像を生成する(ステップS17)。画像出力手段19は、畳込み画像を画像表示手段24に出力する(ステップS18)。
畳込み手段25は、ステップS16において、例えば図3に示す受信データから図5に示す畳込みデータを生成する。畳込み画像構築手段26は、ステップS17において、例えば図2に示す3つの光吸収体31〜33のうち、真ん中の光吸収体32の部分が強調された畳込み画像を生成する。なお、単純に受信データに対して参照波形を畳み込んだ場合、図3に示す受信データにおける光吸収体32部分からの光音響信号のピーク位置と、畳込みデータにおけるその部分に対応するピーク位置とが一致しないことがある。そのような場合、ピーク位置を一致させるように、例えば参照波形(図4)の重心位置に基づいて畳込みデータを時間軸方向に平行移動させればよい。
本実施形態では、識別対象の生体組織に対応する波形データを受信系の受信データに対して畳み込み、畳込みデータを用いて断層画像(畳込み画像)を生成する。畳込みデータにおいては、受信データにおいて畳み込まれる波形と似た波形部分ほど信号強度が強くなるため、そのような畳込みデータを用いて畳込み画像を生成することで、識別対象の生体組織部分が強調された画像を得ることができる。畳込み画像を観察するユーザは、畳込み画像中に含まれる目的の生体組織部分を簡易に判別することができる。ユーザは、例えば識別対象の生体組織として血管部分を指定し、畳込み画像を生成させる。この畳込み画像を観察することで、例えばガンの病変部のように血管部分が密集している部分を簡易に見つけることができる。
続いて本発明の第2実施形態を説明する。図8は、本発明の第2実施形態の光音響画像診断装置を示す。本実施形態の光音響画像診断装置10aの構成は、図6に示す第2実施形態の光音響画像診断装置10とは、信号処理手段14aの構成が異なる。本実施形態における信号処理手段14aは、画像再構成手段15、検波手段16、対数変換手段17、断層画像構築手段18、画像出力手段19、参照波形選択手段20、参照波形データベース21、相関算出手段22、及び相関画像構築手段23を有する。画像再構成手段15、検波手段16、対数変換手段17、参照波形選択手段20、及び参照波形データベース21は、第1実施形態の光音響画像診断装置10で用いた信号処理手段14における各手段と同様な手段でよい。
断層画像構築手段18は、対数変換手段17が出力する対数変換が施された各ラインのデータに基づいて、断層画像(光音響画像)を生成する。断層画像構築手段18は、例えば光音響信号の時間軸方向の位置を、断層画像における深さ方向の位置に変換して光音響画像を生成する。断層画像構築手段18は、入力信号の違いを除けば、第1実施形態における畳込み画像構築手段26と同様な動作を行って断層画像を生成する手段でよい。画像再構成手段15、検波手段16、対数変換手段17、及び断層画像構築手段18は、光音響画像生成手段に相当する。光音響画像生成手段部分には、既存の任意の手段を用いることができる。
参照波形選択手段20は、参照波形データベース21から取得した、識別対象の生体組織に対応する波形情報を相関算出手段22に与える。相関算出手段22は、識別対象の生体組織の波形情報で表わされる波形を参照波形として、画像再構成手段15が出力する各ラインのデータと参照波形との相関を算出する。相関は、各ラインの任意の時間位置から所定時間範囲内のデータ(波形)が、参照波形とどのくらい似ているかを表す。相関には相互相関を用いることができる。
相関算出手段22は、例えば複数の超音波振動子からのデータを遅延加算することで生成された各ラインのデータにおける比較開始時間位置を1時刻ずつずらしながら、各ラインのデータと参照波形との相互相関を求める。相関算出手段22は、例えば参照波形がN時刻分のデータで構成されるときは、下記式に従って相互相関を算出する。
図9は、算出された相互相関を示す。相関算出手段22が、受信データ内の比較対象の位置をずらしながら各時刻において参照波形との相互相関を算出することで、図9に示す相互相関データが得られる。相互相関データにおいて相関値が高い(波形の類似度が高い)部分は、図3に示す受信データにおいて、図2に示す血管部分からの光音響信号が現れる部分に対応する。
相関画像構築手段23は、相関算出手段22が算出した相関に基づいて、受信データと参照波形との相関値が高い(類似度が高い)部分を画像化する相関画像を生成する。相関画像構築手段23は、例えば相互相関データ(図9)を所定のしきい値でしきい値処理し、相互相関値がしきい値以上の部分を「1」とし、しきい値より小さい部分を「0」とする2値画像を相関画像として生成する。あるいは相互相関画像構築手段23は、相互相関値がしきい値以上の部分について、相互相関値に応じた階調値を画素値とする画像を相関画像として生成してもよい。
相関画像における表示色は、任意の色でよい。また、識別対象の生体組織に対して所定の表示色を決めておき、識別対象として指定された生体組織に応じて表示色を決めてもよい。例えば参照波形データベース21に、生体組織に対応付けて更に表示色に関する情報を記憶しておき、参照波形選択手段20に対して識別対象としてある生体組織が指定されたときに、参照波形データベース21から、その生体組織に対応する表示色を読み出せばよい。
画像出力手段19は、相関画像構築手段23が生成した相関画像を、画像表示手段24に出力する。画像出力手段19は、光音響画像と相関画像とを選択的に画像表示手段24に出力してもよい。または、画像出力手段19は、相関画像と、断層画像構築手段18が生成した光音響画像とを合成して画像表示手段24に出力してもよい。画像出力手段19は、光音響画像と相関画像とを合成する際には、両画像を所定の割合で加算して合成してもよい。
図10は、光音響画像と相関画像とを合成した画像を示す。光音響画像と相関画像とを合成して表示することで、図2に示す3つの光吸収体31〜33のうち、真ん中の光吸収体32に対応する部分が識別対象である血管部分に対応していることが容易にわかる。なお、光音響画像において、相関値が高い部分の輝度を元の輝度から上昇させるなどにより、識別対象の生体組織部分を強調した画像も、便宜上、光音響画像と相関画像とを合成した画像の概念に含まれるものとする。また、光音響画像において、相関値が高い部分の表示色を周囲の表示色から替えた画像も、便宜上、光音響画像と相関画像とを合成した画像の概念に含まれるものとする。
図11は、動作手順を示す。光源13は、図示しない制御部からのトリガ信号を受けて被検体内部に光を照射する(ステップS21)。超音波探触子11は、被検体内部からの光音響信号を検出する(ステップS22)。AD変換手段12は、光音響信号を所定のサンプリング周期でサンプリングする(ステップS23)。
画像再構成手段15は、超音波探触子11の複数の超音波振動子で受信された光音響信号に基づいて、各ラインのデータ(受信データ)を生成する(ステップS24)。ここまでのステップは、図7におけるステップS11〜S14と同様でよい。画像再構成手段15が生成した受信データは、検波手段16及び対数変換手段17を介して断層画像構築手段18に入力される。断層画像構築手段18は、入力されデータに基づいて光音響画像を生成する(ステップS25)。
画像再構成手段15が生成したデータは、相関算出手段22にも入力される。参照波形選択手段20は、例えばユーザが識別対象の生体組織を指定すると、参照波形データベース21を参照して、識別対象として指定された生体組織に対応する波形データを参照波形として読み出す(ステップS26)。相関算出手段22は、読み出された参照波形と画像再構成手段15が出力するデータとの相互相関を算出する(ステップS27)。相関画像構築手段23は、例えば相互相関値がしきい値以上の部分を識別対象の生体組織部分として画像化する相関画像を生成する(ステップS28)。画像出力手段19は、ステップS25で生成された光音響画像と、ステップS28で生成された相関画像とを合成して画像表示手段24に出力する(ステップS29)。
相関算出手段22は、ステップS27において、例えば図3に示す受信データから図9に示す相互相関データを生成する。相関画像構築手段23は、ステップS28において、相互相関値がしきい値以上の部分、例えば図2に示す3つの光吸収体31〜33のうち、真ん中の光吸収体32の部分を画像化する相関画像を生成する。なお、単純に受信データと参照波形との相互相関を算出した場合、図3に示す受信データにおける光吸収体32部分からの光音響信号のピーク位置と、相互相関データにおけるピーク位置とが一致しないことがある。そのような場合、ピーク位置を一致させるように、例えば参照波形(図4)の重心位置に基づいて相互相関データを時間軸方向に平行移動させればよい。
本実施形態では、識別対象の生体組織に対応する波形データと受信系の受信データとの相関を算出し、相関が高い部分を相関画像において画像化する。このようにすることで、識別対象の生体組織部分を画像化することができ、ユーザは、相関画像を観察することで、目的の生体組織部分を簡易に観察できる。また、例えば相互相関画像を光音響画像と合成して表示することで、光音響画像において、目的の生体組織部分を簡易に判別することができる。
ここで、第1実施形態と第2実施形態とを比較すると、両者の主な相違点は、第1実施形態では受信データに参照波形を畳み込んでいるのに対し、第2実施形態では受信データと参照波形との相関を求めている点である。相関データは、図9に示すように、識別対象の生体組織部分で大きな値を取り、その他の部分では低い値を取る。従って、そのような相関データに基づいて画像生成を行う第2実施形態では、識別対象の生体組織部分のみを抽出した画像を生成できる。
一方、受信データに対して参照波形を畳み込んだ畳込みデータは、図5に示すように、畳込みデータは識別対象の生体組織部分以外においても信号振幅を有している。従って、そのような畳込みデータを用いて画像生成を行う第1実施形態では、畳込みデータから識別対象組織以外の光吸収体部分も画像化できる。第2実施形態において、識別対象組織以外の光吸収体部分も併せて観察したい場合には、例えば受信データから生成した光音響画像と、識別対象部分が抽出された相関画像とを合成して表示すればよい。
なお、相関データでは、元の受信データにおける信号強度の情報が消えるため、相関データからは、波形の類似度を表す情報しか得られない。その結果、例えば参照波形との相関は高いが受信データにおける信号強度はそれほど高くない部分が、相関画像において高い信号値で画像化されることになる。第2実施形態において、信号強度に応じた画像表示を行うためには、元の受信データの信号強度を参照する必要がある。これに対し、第1実施形態で用いた畳込みデータは、元の受信データにおける信号強度を有しており、畳込みデータのみで、元の受信データにおける信号強度を利用した画像化が可能である。
続いて本発明の第3実施形態を説明する。図12は、本発明の第3実施形態の光音響画像診断装置を示す。本実施形態の光音響画像診断装置10bは、信号処理手段14bが、図8に示す第2実施形態の光音響画像診断装置10における信号処理手段14aの構成に加えて、波形伸縮手段27を備える。波形伸縮手段27は、参照波形選択手段20にて取得された参照波形を時間軸方向に伸長又は圧縮する。相関算出手段22は、波形伸縮手段27で伸長又は圧縮された参照波形と受信データとの相関を算出する。その他の点は、第2実施形態と同様である。
図13(a)〜(c)は、太さが異なる血管部分とその血管部分からの光音響信号の波形とを示す。図13(a)は、比較的細い血管を示しており、血管内部での光吸収が少なく、反対側の面まで光が届く場合は、超音波振動子側(光照射側)の界面と反対側の界面との双方で振動波形が現れる。図13(b)は、(a)よりも太い血管を示しており、血管内部での光吸収が大きく、反対側の面まで光が届かない場合は、超音波振動子側の界面のみの振動波形となる。図13(c)は、より太い血管を示しており、血管内部での光の吸収が更に大きいと、光が吸収される範囲が更に短くなり、よりシャープな波形となる。
図13(a)〜(c)を参照すると、波形そのものは似ているものの、波形の時間軸方向の幅は血管部分の太さに応じて異なっている。そこで、例えば図13(b)に示す振動波形を参照波形データとして参照波形データベース21に登録しておく。ユーザは、参照波形選択手段20に対して、血管を識別対象組織として指定すると共に、共に、識別対象の血管の太さを指定する。ユーザは、血管の太さとして例えば“細”、“中”、太“のうちの何れか指定する。
波形伸縮手段27は、例えばユーザが“細”を指定したときは、参照波形を時間軸方向に伸長して相関算出手段22に与える。波形伸縮手段27は、ユーザが“中”を選択したときは参照波形をそのまま相関算出手段22に与え、ユーザが“太”を指定したときは、参照波形を時間軸方向に圧縮して相関算出手段22に与える。相関算出、及び相関画像の生成は、第2実施形態と同じでよい。本実施形態では、波形伸縮手段27を用いることで、相関画像を観察するユーザは、所望の太さの血管部分を容易に判別することができる。
なお、上記では血管を例に用いて説明したが、参照波形を時間軸方向に伸長又は圧縮する対象の生体組織は血管には限定されない。任意の生体組織に対して、大きさや太さといったパラメータに対して、参照波形を時間軸方向に伸長又は圧縮する際の係数を決めておき、波形伸縮手段27が、ユーザが指定したパラメータに応じた係数に従って、参照波形を時間軸方向に伸長又は圧縮してもよい。
引き続き本発明の第4実施形態を説明する。図14は、第4実施形態の光音響画像診断装置を示す。本実施形態の光音響画像診断装置10cにおける信号処理手段14cは、図8に示す第2実施形態の光音響画像診断装置10における信号処理手段14aの構成に加えて、モード切替手段28と、超音波画像生成手段29とを備える。本実施形態の光音響画像診断装置10cは、光音響画像に加えて超音波画像を生成可能である。
超音波探触子11は、超音波画像の生成時は被検体内に超音波を出力し、出力した超音波に対する反射音波(以下、反射音響信号ともいう)を検出する。モード切替手段28は、光音響画像生成時はAD変換手段12が出力するサンプリングデータを画像再構成手段15に出力し、超音波画像生成時はサンプリングデータを超音波画像生成手段29に出力する。超音波画像生成手段29は、反射音響信号に基づいて超音波画像を生成する。超音波画像の生成手法には任意の手法を用いることができる。
画像出力手段19は、超音波画像生成手段29が生成した超音波画像と、相関画像構築手段23が生成した相関画像とを選択的に、又は合成して出力する。画像出力手段19は、超音波画像と相関画像とを生成する際には、両画像を所定の割合で加算して合成してもよい。あるいは画像出力手段19は、超音波画像と相関画像と断層画像構築手段18が生成した光音響画像とを合成して出力してもよい。
本実施形態では、光音響画像と相関画像とに加えて、超音波画像を生成する。例えば超音波画像に相関画像を合成して表示することで、ユーザは、超音波画像中のどの部分が目的の生体組織部分であるかを簡易に判別できる。
なお、上記各実施形態は、組み合わせて用いることもできる。例えば第1実施形態と第3実施形態とを組み合わせ、畳込み手段25(図1)において、参照波形を波形伸縮手段27(図12)を用いて時間軸方向に伸長又は圧縮した波形を受信データに畳み込むようにしてもよい。また、第1実施形態と第4実施形態とを組み合わせ、画像出力手段19が、畳込み画像構築手段26が生成した畳込み画像と超音波画像生成手段29(図14)が生成した超音波画像とを選択的に又は合成して出力してもよい。
なお、第1実施形態では、畳込み手段25が画像再構成後の受信データに対して参照波形を畳み込むこととしたが、これには限定されない。例えば超音波探触子11が有する複数の超音波振動子からの光音響信号をAD変換手段12を介して畳込み手段25に入力し、畳込み手段25において再構成前の光音響信号(各超音波振動子からの光音響信号)を受信データとして参照波形を畳み込んでもよい。また、第2〜第4実施形態において、相関算出手段22が、再構成前の光音響信号と参照波形との相関を算出してもよい。
上記各実施形態では、参照波形選択手段20が識別対象の生体組織を1つ選択し、その生体組織に対応する波形データを参照波形として読み出す例を説明したが、識別対象の生体組織は1つには限定されない。例えば第2実施形態において、識別対象の生体組織を複数指定する場合は、図11のステップS26からステップS28までを指定された生体組織の数だけ繰り返し行い、指定した生体組織の数の分だけ相関画像を生成し、それらを重ねて画像出力手段19から出力すればよい。
相関画像構築手段23は、所定のカラーマップに従って相関画像を生成してもよい。例えば相関値の大小を表示色の変化に対応させたカラーマップを用意しておき、相関画像構築手段23が、例えば相関データにおける相関値がしきい値以上となる部分について、カラーマップに従って相関値を色に変換し、相関画像を生成してもよい。例えば参照波形データベース21に、生体組織に対応付けて更にカラーマップを格納しておき、参照波形選択手段20が、参照波形データベース21から、識別対象として指定された生体組織に対応する参照波形を読み出して相関算出手段22に与えると共に、その生体組織に対応するカラーマップを読み出して相関画像構築手段23に設定してもよい。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の光音響画像診断装置、画像生成方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
10:光音響画像診断装置
11:超音波探触子
12:AD変換手段
13:光源
14:信号処理手段
15:画像再構成手段
16:検波手段
17:対数変換手段
18:断層画像構築手段
19:画像出力手段
20:参照波形選択手段
21:参照波形データベース
22:相関算出手段
23:相関画像構築手段
24:画像表示手段
25:畳込み手段
26:畳込み画像構築手段
27:波形伸縮手段
28:モード切替手段
29:超音波画像生成手段

Claims (25)

  1. 被検体内に光を照射する光源と、
    それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子と、
    生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する参照波形選択手段と、
    前記超音波探触子で検出された光音響信号に基づく受信波形に対して前記取得された参照波形を畳み込み、畳込み信号を生成する参照信号畳込み手段と、
    前記畳込み信号に基づいて、畳込み画像を生成する畳込み画像構築手段と、
    前記畳込み画像を出力する画像出力手段とを備えたことを特徴とする光音響画像診断装置。
  2. 前記取得された参照波形を時間軸方向に伸長又は圧縮する波形伸縮手段を更に備え、
    前記畳込み手段が、前記波形伸縮手段で伸長又は圧縮された参照波形を前記受信波形に畳み込むものであることを特徴とする請求項1に記載の光音響画像診断装置。
  3. 前記超音波探触子が複数の超音波探触子を含んでおり、該複数の超音波振動子により検出された光音響信号の再構成を行う画像再構成手段を更に備え、
    前記参照信号畳込み手段が、前記画像再構成手段により再構成された光音響信号を受信波形として前記参照波形を畳み込むものであることを特徴とする請求項1又は2に記載の光音響画像診断装置。
  4. 前記参照信号畳込み手段が、前記超音波振動子が検出した光音響信号を受信波形として前記参照波形を畳み込むものであることを特徴とする請求項1又は2に記載の光音響画像診断装置。
  5. 被検体内に出力した超音波に対する反射音響信号に基づいて超音波画像を生成する超音波画像生成手段を更に備え、
    前記画像出力部が、前記畳込み画像と前記超音波画像とを選択的に又は合成して出力するものであることを特徴とする請求項1から4何れかに記載の光音響画像診断装置。
  6. 前記参照波形データベースが、複数の生体組織と該複数の生体組織からの光音響信号にそれぞれ対応する複数の参照波形とを対応付けて記憶することを特徴とする請求項1から5何れかに記載の光音響画像診断装置。
  7. 前記識別対象の生体組織を入力する入力手段を更に備えたことを特徴とする請求項1から6何れかに記載の光音響画像診断装置。
  8. 前記光音響信号に対して検波を実施する検波手段と、検波後の光音響信号に対して対数変換処理を実施する対数変換手段とを更に備え、
    前記参照信号畳込み手段は、前記対数変換が施された光音響信号に基づく受信波形に対して前記参照波形を畳み込むことを特徴とする請求項1から7何れかに記載の光音響画像診断装置。
  9. 被検体内に光を照射する光源と、
    それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子と、
    生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する参照波形選択手段と、
    前記超音波探触子で検出された光音響信号に基づく受信波形と前記取得された参照波形との相関を求める相関算出手段と、
    前記相関に基づいて、相関画像を生成する相関画像構築手段と、
    前記相関画像を出力する画像出力手段とを備えたことを特徴とする光音響画像診断装置。
  10. 前記相関画像構築手段が、前記相関が所定のしきい値以上の部分を相関画像として画像化するものであることを特徴とする請求項に記載の光音響画像診断装置。
  11. 前記取得された参照波形を時間軸方向に伸長又は圧縮する波形伸縮手段を更に備え、
    前記相関算出手段が、前記波形伸縮手段で伸長又は圧縮された参照波形と前記受信波形との相関を算出するものであることを特徴とする請求項又は10に記載の光音響画像診断装置。
  12. 前記相関画像構築手段が、所定のカラーマップに従って前記相関画像を生成するものであることを特徴とする請求項から11何れかに記載の光音響画像診断装置。
  13. 前記超音波探触子が複数の超音波探触子を含んでおり、前記複数の超音波振動子により検出された光音響信号の再構成を行う画像再構成手段を更に備え、
    前記相関算出手段が、前記画像再構成手段により再構成された光音響信号を受信波形として相関を算出するものであることを特徴とする請求項から12何れかに記載の光音響画像診断装置。
  14. 前記相関算出手段が、前記超音波振動子が検出した光音響信号を受信波形として相関を算出するものであることを特徴とする請求項から12何れかに記載の光音響画像診断装置。
  15. 前記光音響信号に基づいて光音響画像を生成する光音響画像生成手段を更に備え、
    前記画像出力手段が、前記光音響画像と前記相関画像とを選択的に又は合成して出力するものであることを特徴とする請求項から14何れかに記載の光音響画像診断装置。
  16. 前記画像出力手段が、前記光音響画像と前記相関画像とを合成する際に、両画像を所定の割合で加算して合成するものであることを特徴とする請求項15に記載の光音響画像診断装置。
  17. 前記被検体内に出力された超音波に対する反射音響信号に基づいて超音波画像を生成する超音波画像生成手段を更に備え、
    前記画像出力手段が、前記前記相関画像と前記超音波画像とを選択的に又は合成して出力するものであることを特徴とする請求項から16何れかに記載の光音響画像診断装置。
  18. 前記画像出力手段が、前記超音波画像と前記相関画像とを合成する際に、両画像を所定の割合で加算して合成するものであることを特徴とする請求項17に記載の光音響画像診断装置。
  19. 前記光音響信号に基づいて、前記光音響信号の発生源部分を画像化する光音響画像を生成する光音響画像生成手段と、
    前記被検体内に出力された超音波に対する反射音響信号に基づいて超音波画像を生成する超音波画像生成手段をと更に備え、
    前記画像出力手段が、前記光音響画像と前記超音波画像と前記相関画像とを合成して出力するものであることを特徴とする請求項から14何れかに記載の光音響画像診断装置。
  20. 前記画像出力手段が、前記光音響画像と前記超音波画像と前記相関画像とを所定の割合で加算して合成するものであることを特徴とする請求項19に記載の光音響画像診断装置。
  21. 前記参照波形データベースが、複数の生体組織と該複数の生体組織からの光音響信号にそれぞれ対応する複数の参照波形とを対応付けて記憶することを特徴とする請求項9から20何れかに記載の光音響画像診断装置。
  22. 生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得するステップと、
    それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形に対して前記取得された参照波形を畳み込み、畳込み信号を生成するステップと、
    前記畳込み信号に基づいて、畳込み画像を生成するステップとを有することを特徴とする画像生成方法。
  23. 生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得するステップと、
    それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形と前記取得された参照波形との相関を求めるステップと、
    前記相関に基づいて、相関画像を生成するステップとを有することを特徴とする画像生成方法。
  24. コンピュータに、
    生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する手順と、
    それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形に対して前記取得された参照波形を畳み込み、畳込み信号を生成する手順と、
    前記畳込み信号に基づいて、畳込み画像を生成する手順とを実行させるためのプログラム。
  25. コンピュータに、
    生体組織と該生体組織からの光音響信号に対応する参照波形とを対応付けて記憶する参照波形データベースから、識別対象の生体組織に対応付けて記憶された参照波形を取得する手順と、
    それぞれが、被検体内で光吸収により発生する光音響信号を検出する少なくとも1つの超音波振動子を含む超音波探触子を用いて検出された光音響信号に基づく受信波形と前記取得された参照波形との相関を求める手順と、
    前記相関に基づいて、相関画像を生成する手順とを実行させるためのプログラム。
JP2010220557A 2010-09-30 2010-09-30 光音響画像診断装置、画像生成方法、及びプログラム Active JP5502686B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010220557A JP5502686B2 (ja) 2010-09-30 2010-09-30 光音響画像診断装置、画像生成方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010220557A JP5502686B2 (ja) 2010-09-30 2010-09-30 光音響画像診断装置、画像生成方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2012075464A JP2012075464A (ja) 2012-04-19
JP5502686B2 true JP5502686B2 (ja) 2014-05-28

Family

ID=46236474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010220557A Active JP5502686B2 (ja) 2010-09-30 2010-09-30 光音響画像診断装置、画像生成方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5502686B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6103931B2 (ja) * 2012-12-28 2017-03-29 キヤノン株式会社 被検体情報取得装置、被検体情報取得方法
JP6598528B2 (ja) * 2015-06-25 2019-10-30 キヤノン株式会社 被検体情報取得装置および被検体情報取得方法
JP2017055838A (ja) * 2015-09-14 2017-03-23 プレキシオン株式会社 光音響画像化装置
WO2018135005A1 (ja) 2017-01-23 2018-07-26 オリンパス株式会社 信号処理装置、光音響波撮影装置および信号処理方法
CN117158911B (zh) * 2023-10-25 2024-01-23 杭州励影光电成像有限责任公司 一种多声速自适应光声层析图像重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003033365A (ja) * 2001-07-23 2003-02-04 Hitachi Ltd 超音波治療装置
JP4406226B2 (ja) * 2003-07-02 2010-01-27 株式会社東芝 生体情報映像装置
JP2009039277A (ja) * 2007-08-08 2009-02-26 Panasonic Corp 超音波診断装置

Also Published As

Publication number Publication date
JP2012075464A (ja) 2012-04-19

Similar Documents

Publication Publication Date Title
JP6222811B2 (ja) 超音波診断装置及び画像処理装置
JP4130114B2 (ja) 超音波イメージング装置及び超音波信号処理方法
JP5840069B2 (ja) 光音響画像生成装置、システム、及び方法
JP6292836B2 (ja) 被検体情報取得装置、表示方法、プログラム、処理装置
JP6058295B2 (ja) 超音波診断装置、医用画像処理装置、医用画像処理方法、および医用画像処理プログラム
WO2015040710A1 (ja) 超音波診断装置、医用画像処理装置および医用画像処理方法
JP2008259605A (ja) 超音波診断装置
JP2010068904A (ja) 超音波診断装置および画像表示プログラム
WO2006123742A1 (ja) 画像診断装置
JP5779567B2 (ja) 光音響信号処理装置及び方法
JP5810050B2 (ja) 音響画像生成装置および音響画像生成方法
JP5502686B2 (ja) 光音響画像診断装置、画像生成方法、及びプログラム
JP2005253827A (ja) 超音波撮像方法及び装置
KR20190044758A (ko) 3차원 초음파 영상 복원 방법 및 그 초음파 영상 장치
KR20160056614A (ko) 영상 처리 장치, 영상 처리 장치 제어 방법 및 초음파 영상 장치
JP2016101415A (ja) 被検体情報取得装置
KR102364289B1 (ko) 초음파 진단 장치 및 그 제어방법
JP5683860B2 (ja) 超音波診断装置、超音波画像処理装置、超音波診断装置制御プログラム及び超音波画像処理プログラム
JP5388416B2 (ja) 超音波診断装置および超音波診断装置の制御プログラム
JP2009254780A (ja) 超音波診断装置
JP2006280520A (ja) 超音波撮像装置、超音波画像処理方法、及び、超音波画像処理プログラム
JP2006212054A (ja) 超音波観測装置、画像処理装置、及び、画像処理プログラム
JP2005111258A (ja) 超音波診断装置
JP5839688B2 (ja) 光音響画像処理装置、及び方法
JP7308600B2 (ja) 超音波診断装置、医用画像処理装置、及び超音波画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140313

R150 Certificate of patent or registration of utility model

Ref document number: 5502686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250