JP5864894B2 - 被検体情報取得装置および信号処理装置 - Google Patents

被検体情報取得装置および信号処理装置 Download PDF

Info

Publication number
JP5864894B2
JP5864894B2 JP2011105317A JP2011105317A JP5864894B2 JP 5864894 B2 JP5864894 B2 JP 5864894B2 JP 2011105317 A JP2011105317 A JP 2011105317A JP 2011105317 A JP2011105317 A JP 2011105317A JP 5864894 B2 JP5864894 B2 JP 5864894B2
Authority
JP
Japan
Prior art keywords
signal
subject
plurality
signals
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011105317A
Other languages
English (en)
Other versions
JP2012235830A (ja
Inventor
尚史 海老澤
尚史 海老澤
依田 晴夫
晴夫 依田
長永 兼一
兼一 長永
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2011105317A priority Critical patent/JP5864894B2/ja
Publication of JP2012235830A publication Critical patent/JP2012235830A/ja
Application granted granted Critical
Publication of JP5864894B2 publication Critical patent/JP5864894B2/ja
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046Techniques for image enhancement involving transmitter or receiver
    • G01S7/52047Techniques for image enhancement involving transmitter or receiver for elimination of side lobes or of grating lobes; for increasing resolving power
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079Constructional features

Description

本発明は、被検体情報取得装置および信号処理装置に関する。

被検体内の生体情報を取得する技術として、被検体に対して超音波を送受信し、受信された超音波エコーによる信号を元に生体画像情報(例えば断層像もしくは3次元像)を生成する方法は存在し広く実用化されている。なお、超音波エコーとは、被検体からの超音波反射波のことである。

超音波画像装置のリニア走査の処理系について図2及び図3を用いて説明する。図2は一般的な超音波装置のシステム概略図である。超音波装置は、送信回路処理系001、受信回路処理系002、システム制御部003、超音波プローブ004、受信信号処理部010、画像処理部007、画像表示部008を備える。超音波プローブ004は、複数の変換素子(トランスデューサ)005を備える。図3は受信回路処理系002及び受信信号処理部010の詳細を示しており、受信回路処理系002は整相遅延部009より構成され、受信信号処理部010は加算部018、ヒルベルト変換部012、直交検波部020より構成される。

超音波画像装置のリニア走査の動作について説明する。リニアに並んだ複数の変換素子005上の任意の位置における画像走査線019上の画像データを作成する場合、該任意位置を中心に、対称に位置する複数個の変換素子005を用いて送信開口を形成する。該送信開口を構成する変換素子005から超音波を送信し、該任意位置の画像走査線019上に送信ビームを形成する。通常、送信ビームの方向および位置は撮像対象内で所望の画像走査線019の位置に対応するようにとられる。該送信ビームは該送信開口を構成する各変換素子005からの送信タイミングに遅延処理を施し、目標深さにてフォーカスさせることで形成される。この一連の動作はシステム制御部003において条件が設定され、送信回路処理系001にて実行される。
この様に形成された送信ビームが被検体内にて反射・散乱される。

被検体内からの超音波エコーは該任意位置を中心に、対称に位置する複数個の変換素子005から形成される受信開口にて受信され、各変換素子005において電気信号に変換される。被検体内からの超音波エコーは所望位置以外からもノイズとして変換素子に到達するため、受信回路処理系002、受信信号処理部010において所望方向および位置からの信号のみを抜き出す合成処理が実行される。

超音波画像装置における一般的な合成処理は整相加算処理が採用されている。整相加算処理について図3を用いて説明する。整相加算処理とは、各変換素子005にてタイミングがずれて受信される所望被検体からの超音波エコーに対し、整相遅延部009にて遅延処理を施す処理である。この処理により各受信信号の位相を合わせ、さらに加算部018にて加算する事で、所望信号以外のノイズ成分が打ち消し抑制される。
合成処理後の信号はヒルベルト変換部012にて複素信号に変換され、直交検波部020にて包絡線検波処理を行われ出力される。

この出力値が時系列毎に算出されたデータ群が該任意位置における画像走査線データ(深さ方向)である。この一連の送受信処理を、該送信開口と該受信開口をリニア方向に移動させて繰り返すことで2次元の画像情報が出力される。この該画像情報を画像処理部0
07にてLOG圧縮等が施されることで、被検体のBモード画像が作成され、画像表示部008(図2)に出力される。
以上が一般的な整相加算処理を用いた超音波画像装置の処理系である。

一方、無線・レーダーの分野において発達した技術として、複数のアレーアンテナを用いた適応型信号処理がある。適応型信号処理は各アンテナから受信される信号の内、所望の方向からの信号を電力値として効率よく算出する方法である。超音波画像装置は、前述の通り図2の受信回路処理系002、受信信号処理部010において所望方向および位置からの信号のみを抜き出す合成処理を行っている。一方適応型信号処理も、所望信号を効率よく算出する特徴を有する為、受信回路処理系002、受信信号処理部010を適応型信号処理に対応させたシステムが考えられる。

以下に適応型信号処理の一種である方位拘束付電力最小規範の処理について説明する。
M個の変換素子より成るリニア(直線状)アレーアンテナを考える。M個のアレーアンテナ素子の内、k番目のアンテナ素子にて時間tで受信した信号をx(t)とおき、これらM個の信号群をX(t)とおく。これを行列で表現すると、式(1)のようになる。

なお、このTは転置行列を意味する。

このアレー信号群の各信号から出力を算出する為には、複素ウェイトベクトルWを算出する必要がある。ウェイトベクトルWと出力y(t)、そして、出力電力Poutを求める公式を、以下の式(2)〜(4)に示す。

なお、このHは複素共役転置、上添字*は複素共役を意味する。

この公式に用いられているRxxは受信信号X(t)の相関行列であり、式(5)で示される。

なお、Eは時間平均を示している。

適応型信号処理ではこのウェイトベクトルWを出力信号が最適になるように適応的に変化させて処理している。
この最適になる、とは所望信号の方向の感度を1に拘束した状況で出力値を最小になることであり、以下の式(6)、式(7)のように問題を定式化出来る。

この定式化した問題を解くことで最適なウェイトベクトルWcpが以下の式(8)のように算出される。このウェイトベクトルWcpによって所望信号の方向以外からのノイズ信号を可能な限り抑制する事が出来る。

この最適ウェイトベクトルWcpを用いることで、アレーの最適出力電力は以下に示す式(9)に変換される。

以上が、方位拘束付電力最小規範の基本的な電力換算方法である。

IEEE Trans Ultrason Ferroelectr Freq Control. 2007 Aug;54(8):1606-13. IEEE Trans Ultrason Ferroelectr Freq Control. 2009 Oct;56(10):2187-97.

上記で説明したように、受信信号に適応型信号処理を適用することで、従来の整相加算処理による画像再構成に比べ、方位分解能の優れた画像が再構成出来る(非特許文献1)。しかし、適応型信号処理では電力換算時の逆行列Rxx-1を算出する過程の処理規模が膨大になる事が知られている。その為、超音波画像装置に適応型信号処理を単純に流用するには、装置の処理規模は医療機器としては非現実的な規模となる。その解決の為に適応型信号処理への入力信号を事前にまとめ、信号数を少なくするシステムが提案されている(非特許文献2)。

この提案では、受信される信号を一括に取得し、離散フーリエ変換(DFT)処理によって空間周波数ごとに信号を分類し、複数の信号に統合したのちに適応型信号処理を実施
している。しかし、DFT処理や空間周波数ごとのグループ分け等のある程度複雑な処理工程を、処理の前段に設ける必要がある。また、今後の高解像度化等により受信信号数が増加されると、該前段処理工程も大きくなる。よって、超音波画像装置のシステム全体を考えると上記課題を完全に解決していたとは言えない。

一般的に超音波画像装置はリアルタイム性と計測時間の短縮が重要である。従って、簡易かつ処理規模の小さいシステムを用いて適応型信号処理の規模の抑制を実現し、システム全体として現実的な規模の高画質な超音波画像装置を提供することが重要である。

以下、適応型信号処理の処理フローと規模について詳述する。
適応型信号処理を用いた超音波画像装置のリニア走査の処理系について図1及び図4を用いて説明する。図1は図2の一般的な超音波装置のシステムのうち受信信号処理部010を適応型信号処理部006に入れ替えたものである。図4は受信回路処理系002及び適応型信号処理部006の詳細を示している。受信回路処理系002は整相遅延部009より構成され、適応型信号処理部006はヒルベルト変換部012、相関行列部013、空間平均化部014、電力算出部015より構成される。

ここでは適応型信号処理のうち、方向拘束付電力最小規範の一種であるCAPON法を例に説明する。
受信開口がM個の変換素子005を用いて形成されるとする。ヒルベルト変換部012は、整相遅延部009にて位相を揃えたMチャンネル信号をヒルベルト変換する。相関行列部013にてM×Mの相関行列を作成する。その後、空間平均化部014にてN×Nの部分行列に変換する。空間平均化後の行数(N)は、入力チャンネル数(M)の半分程度が好ましい(N≒M/2)。しかし、M>N≧2の関係にあればCAPON法は相応の機能を果たす。電力算出部015にてN×Nの部分行列の逆行列と信号到来方向に関する拘束ベクトルより適応的に最適電力を算出する。このとき信号到来方向を前記送信ビームの方向にとることで、送信ビーム方向からの超音波エコーの信号を他方向からの超音波エコーの信号に比べより優先的に選択する処理が行われる。これにより方位方向解像度に優れた合成処理が可能となる。
CAPON法により算出された出力は、画像処理部007でLOG圧縮等が行われ一般的な整相加算処理と同様に被検体のBモード画像が作成され、画像表示部008(図1)に出力される。

しかし、CAPON法をはじめとする適応型信号処理は、処理規模が入力数に対し大きくなる傾向がある。なかでも電力換算部の前記逆行列Rxx−1を算出する過程において、その処理規模は行数の3乗に対応する。例えば前記シミュレーションのように16×16サイズの行列から電力を算出する処理規模を4096Lと仮定すると、該行列サイズが8×8、4×4の場合の処理規模はそれぞれ512L、64Lとなる。多くの入力信号を必要とする超音波画像再構成の場合、単純に適応型信号処理を適用すると処理規模は膨大になる。この処理規模ではリアルタイム表示は困難になり、またボリュームデータ取得の場合もスキャン時間が増加する為、被検者の体力的・精神的負担も無視できない。この要因が実用化への大きな課題となっていた。

本発明は上記の課題に鑑みてなされたものであり、その目的は、方位分解能が高い超音波画像を、処理規模を抑制しつつ構成可能な被検体情報取得装置を提供することにある。

本発明は以下の構成を採用する。すなわち、被検体から放出された音響波を受信して受信信号に変換する複数の変換素子を含むプローブと、前記複数の変換素子から出力される複数の受信信号の位相を揃える整相遅延部と、前記整相遅延部から出力された複数の受信信号をグループに分け、前記グループごとに加算して後段入力信号とする複数の信号加算手段と、前記信号加算手段から出力された複数の前記後段入力信号に適応型信号処理を行うことにより被検体内部の画像データを生成する適応型信号処理部と、を有するものであって、前記適応型信号処理部には、前記複数の信号加算手段のそれぞれがM(Mは自然数である)個の受信信号を入力される第1の場合と、前記複数の信号加算手段のそれぞれがN(Nは自然数であり、かつ、M≠Nである)個の受信信号を入力される第2の場合とで、同数の前記後段入力信号が入力される被検体情報取得装置である。
本発明は、また、以下の構成を採用する。すなわち、位相を揃えられた複数の受信信号を複数のグループに分け、前記グループごとに加算して後段入力信号とするものであって、同数の前記受信信号が入力される複数の信号加算手段と、前記信号加算手段から出力された複数の前記後段入力信号に適応型信号処理を行うことにより被検体内部の画像データを生成する適応型信号処理部とを有し、前記適応型信号処理部は、前記複数の後段入力信号を複素信号に変換する複素信号化部と、前記複素信号化部から出力された複数の複素信号から相関行列を算出する相関行列部と、前記相関行列から複数の部分行列を抽出し平均化して部分相関行列を算出するとともに、前記部分相関行列から重み係数を求める空間平均化部と、前記重み係数を用いて前記受信信号の出力電力を求める電力算出部と、を有するものであって、前記適応型信号処理部には、前記複数の信号加算手段のそれぞれがM(ただし、Mは自然数である)個の受信信号を入力される第1の場合と、前記複数の信号加算手段のそれぞれがN(ただし、Nは自然数であり、かつ、M≠Nである)個の受信信号を入力される第2の場合とで、同数の前記後段入力信号が入力される信号処理装置である。

本発明によれば、方位分解能が高い超音波画像を、処理規模を抑制しつつ構成可能な被検体情報取得装置を提供できる。

本発明の超音波画像装置のブロック図。 一般的な超音波画像装置のブロック図。 整相加算処理を用いた画像構成のブロック図。 適応型信号処理を用いた画像構成のブロック図。 実施例1の構成のブロック図。 実施例2の構成のブロック図。 実施例3の構成のブロック図。 実施例4の構成のブロック図。 実施例の効果を説明する為のシミュレーション画像を示す図。 実施例の効果を説明する為のシミュレーション断層像を示す図。 実施例1の効果を説明する為のシミュレーション画像を示す図。 実施例2の効果を説明する図。 実施例3の効果を説明する図。

以下、本発明の好適な実施形態を図1、図5を用いて説明する。
本発明の超音波画像装置は、被検体からの超音波エコーを受信し処理することで、生体情報を画像情報(画像データ)として取得する装置である。その生体画像情報は断層面のみならず3次元画像も提示する事が出来る。超音波画像装置の構成は、主に、生体に超音波を照射する送信回路処理系と、送信信号の反射波を受信し画像を構成する受信信号処理部からなる。なお、受信処理部とは図1の受信回路処理系002、適応型信号処理部006より構成される。

本発明の超音波画像装置は、被検体に超音波を送信し、上述したような超音波エコー技術を利用した装置を含む。さらにその他にも、被検体に光(電磁波)を照射することにより被検体内で発生した音響波を受信して、被検体情報を画像データとして取得する光音響効果を利用した装置を含む。したがって本発明の超音波画像装置は、被検体情報取得装置とも呼べる。被検体が生体である場合、被検体情報取得装置は生体情報取得装置とも呼べる。ここで音響波とは、典型的には超音波であり、音波、超音波、光音響波、光超音波と呼ばれる弾性波を含む。

前者の超音波エコー技術を利用した被検体情報取得装置の場合、被検体情報とは、被検体内部の組織の音響インピーダンスの違いを反映した情報である。後者の光音響効果を利用した被検体情報取得装置の場合、被検体情報とは、光照射によって生じた音響波の発生源分布や、被検体内の初期音圧分布、初期音圧分布から導かれる光エネルギー吸収密度分布、吸収係数分布、組織を構成する物質の濃度分布を示す。物質の濃度分布とは、例えば、酸素飽和度分布や酸化・還元ヘモグロビン濃度分布などである。またこれらの被検体情報は、当該情報に基づく再構成により被検体内部の画像を生成する画像データである。

本発明の特徴は、受信信号処置部に関する内容であり、超音波の送信過程は前述した一般的な超音波装置の送信処理と同じである為、信号の送信に関する詳細説明は省略する。
本発明の特徴的な構成は、まず受信信号処理系002内の整相遅延部009と加算処理部011において、予め幾つかの受信信号を各々整相加算処理してまとめる。その後、適応型信号処理部006では、加算処理部にて統合された後段入力信号023を用いて適応型信号処理を行い、生体情報の画像再構成を行う点である。該受信信号は、前記送信ビームによる被検体からの超音波エコーを、前記受信開口を構成する各変換素子005が受信したものである。

この様に事前に幾つかの信号にまとめることで、方位分解能の向上を現実的な規模の適応型信号処理にて実現できる。またこの前段のシステムも、基本的に複数の加算処理部011を付け加えただけであるため、単純かつ小規模な前段処理が実現できる。これらの実現により、システム全体を通して現実的な処理規模で、高画質な超音波画像装置を実現できる。

適応型信号処理とは主にレーダーの分野において、所望の観察方向の感度を向上させる為に、複数の変換素子で得られた受信信号を合成する際の重み係数(ウェイトベクトル)を信号に応じて適応的に変化させる手法である。この適応型信号処理は、その対応手法によって幾つかの処理方法が存在するが、本実施形態おいては方位拘束付電力最小規範(DCMP)の一種であるCAPON法を採用する。なお、線形予測法・最小ノルム法(MUSIC法・ESPRIT法)などの他の適応型信号処理を使用する事も可能である。

適応型信号処理では、所望波とノイズの相関抑制が重要となる。ところが超音波の信号では、レーダーの信号の場合より、所望波とノイズの相関性が高い傾向が強い。そのため、空間平均化法と呼ばれる方法をさらに組み合わせ、相関を抑制する必要がある。この空間平均化法は受信信号同士の相関行列を求め、相関行列から複数の部分行列を抽出し、これらを平均化する事で部分相関行列を算出し、その部分行列から重み係数を算出する方法である。

また、適応的に重み係数(ウェイトベクトル)を変更させる為には、ある程度の自由度が必要である。例えばウェイトベクトル算出時の行列が1×1サイズでは、行列情報から重み変更の適応性は確保できなくなる。このことから後段入力信号023の数は自由度確保の為にもある程度必要になる。

この点に関し自由度と適応性について、シミュレーション結果を基に説明する。図9は前段で整相加算処理、後段でCAPON法を用いて、ワイヤーファントム(直径0.1mm)の画像を再構成したものである。その再構成手法は、32素子の受信データのうち複数をグループ化し、そのグループ内の信号について整相加算を行って後段入力信号を作成したのち、該後段入力信号を用いてCAPON法で処理した。図10はワイヤーの断面ビームプロファイルを表示している。

後段入力信号023の数は、受信信号数32を前段の整相加算を行う受信データの素子数で割った数としており、また空間平均化法は後段入力信号023の数の半分の行数になるように平均化を行っている。つまり、前段整相加算数が4の場合、後段入力信号023の数は8となり、空間平均化法によって4×4の行列が処理されることを意味する。しかし、空間平均化数に関しては平均化する回数を変えても結果が大きく変わることはない。

図9、図10における条件(A)〜(G)を説明する。
条件(A)では、32個の全ての信号でCAPON法を行った。
条件(B)では、32個の全ての信号で整相加算処理を行った。
条件(C)では、前段2素子で整相加算し、後段16入力でCAPON法を行った。
条件(D)では、前段4素子で整相加算し、後段8入力でCAPON法を行った。
条件(E)では、前段8素子で整相加算し、後段4入力でCAPON法を行った。
条件(F)では、前段10素子で整相加算し、後段3入力でCAPON法を行った。
条件(G)では、前段16素子で整相加算し、後段2入力でCAPON法を行った。

まず、条件(A)では、条件(B)よりもビーム幅が狭くなり、これは基本的なCAPON法の効果を示している。また条件(C)から条件(F)までは、条件(A)と同程度の方位分解能を有していることが確認出来る。しかし、条件(G)になると急激にビーム幅が広くなる。これは後段入力信号023の数が2に制限され、空間平均化によって1×1の行列を処理する事になり、重み係数算出時の自由度が少なくなりすぎるためである。これらのシミュレーション結果より、少なくとも重み係数算出時に2×2の行列であれば、十分な方位分解能を有する事が認められる。つまり、空間平均化が必要な超音波におけるCAPON法では、後段入力信号023の数は3以上にしなければ適応型信号処理の効果は得られない。

空間平均化後に前述の公式を用いて逆行列Rxx−1等の値を求めることで最終的に出力電力Poutの強度が算出される。この電力値を時系列的に処理したものが任意位置における所望信号方向への画像走査線データになる。前述の通りこの一連の処理をアレー上の送受信開口を移動させて行うことで、2次元超音波画像データが出力される。なおここではリニア走査での処理について説明したが、本発明は前述した所望信号の方向を対応させることで、リニア走査型のみならず、コンベックス走査型、セクタ走査型、ラジアル走査型でも用いる事が出来きる。また1D、1.5Dプローブのみではなく2Dアレープローブに関しても有効な手法である。

<実施例1>
以上を踏まえ、実施例を説明する。
実施例1では前段に整相加算処理、後段に適応型信号処理(CAPON法)を用いる超音波画像装置について説明する。

(超音波装置の構成)
図1は本実施例の超音波装置のシステム概略図である。超音波装置は、送信回路処理系001、受信回路処理系002、システム制御部003、超音波プローブ004、適応型信号処理部006、画像処理部007、画像表示部008を備える。超音波プローブ004は、複数の変換素子(トランスデューサ)005を備える。

また図5は受信回路処理系002および適応型信号処理部006の詳細を示している。受信回路処理系002は整相遅延部009と複数の加算処理部011より構成される。適応型信号処理部006はヒルベルト変換部012、相関行列部013、空間平均化部014、電力算出部015より構成される。ヒルベルト変換部は複素信号化部に相当する。

(超音波装置の動作)
超音波を送信する位置(フォーカス位置)が設定されると、図1に記載のシステム制御部003から送信回路処理系001へその設定情報が送られる。送信回路処理系001はそれらの情報を元に送信する素子とそれらの各遅延時間を決定する。そして送信回路処理系001から超音波プローブ004内の対応する変換素子005を駆動する為の電気信号が送られる。この電気信号が変換素子005によって変位信号に変換されて被検体に向かって超音波として伝播する。

このように送信し伝播された超音波は被検体によって反射若しくは散乱されて再び超音波エコーとして変換素子005に戻ってくる。このうち受信開口を形成する32個の変換素子005において、超音波エコーが電気信号(受信信号)に変換されることで、被検体
の生体情報を32の電気信号として取得する事が出来る。この受信信号は受信回路処理系002に送られる。受信回路処理系002は受信データの深さ情報を元に受信信号の遅延時間を決定し、各受信信号に対して遅延処理を行う。この遅延処理については図5に記載の受信回路処理系002内の整相遅延部009にて行われ、各変換素子005が受信した被検体からの超音波エコーに起因する信号の位相を揃えるよう処理される。なお、送受信における各々の整相遅延部は同じ処理部を流用する事も可能である。遅延処理後の各信号はあらかじめ設定された数である4チャンネル毎にまとめられ、それぞれの信号加算手段011に送られる。信号加算手段011において位相の揃えられた4チャンネルの信号が加算され、8チャンネルにまとめられた後段入力信号023が適応型信号処理部006に送られる。

適応型信号処理部006では、まずヒルベルト変換部012にて8チャンネルの後段入力信号023のそれぞれを複素信号に変換し、8チャンネル複素ベクトルが作成される。相関行列部013では4×4サイズの複素相関行列が算出される。その後、空間平均部014において4×4サイズの部分相関行列に平均化される。電力算出部015では空間平均部で得た行列と、指定された所望信号の方向とからウェイトベクトルを適応的に算出し、そのウェイトベクトルを用いて、出力電力Poutを生成する。なお、整相遅延部009において、遅延量を4チャンネルごとではなく全32チャンネルにて一致させていた場合は、所望信号の方向を指定する為のベクトルを設定する必要が無い。しかし、整相加算後の8チャンネルの後段入力信号023各々の位相が揃っていない場合はそれぞれの所望信号の方向を指定した拘束ベクトルを用いて出力電力Poutの強度を算出する必要がある。

出力電力Poutは画像処理部007に送られ、LOG圧縮等の処理が施され画像操作線データが作成される。これら一連の処理を画像走査線毎に実行することで、2次元の超音波画像が作成される。画像処理部007で作成された超音波画像はLCDをはじめとする画像表示部008に送られ、画像が視覚的に表示される。この時、画像表示部008はLCDに限らず、CRT、PDP、FED、OLEDなどの他の画像表示装置でも代用できる。

以上が主な信号の流れとなる。
以上の方式で超音波用ファントム内のワイヤー(直径0.1mm)画像を再構成した結果を図11(b)に示す。比較として、32個の信号をCAPON法にて再構成した画像を図11(a)に、32個の信号を整相加算処理にて再構成した画像を図11(c)に示す。

これらのワイヤー画像のTOP値の−1.94dB程度における方位方向のビーム幅は、図11(a)が0.5mm、図11(b)は0.5mm、図11(c)は0.75mmとなった。これより画質は整相加算処理のみの場合に比べ方位分解能が良好で、適応型信号処理のみの場合と比較しても遜色のない程度の画質を実現する事が確認出来る。また本実施例の処理規模は、図11(a)の場合に比べおよそ1/64程度に縮小できた。
なお、本実施例では入力信号数32、前段整相加算数4、後段入力信号数8、空間平均化後のベクトルサイズ4×4にて実施したが、これらの値は他の値を用いることも可能である。

<実施例2>
(超音波装置の構成)
本発明の実施例2について説明する。本実施例では、実施例1で示した図1のシステムを用いることが可能であるが、受信回路処理系002において異なる処理を行う。図6は本実施例の構成を示したものであり、実施例1における図5記載の整相遅延部009と加
算処理部011の間に信号選択部016を設けている。
また、図12は本実施例を開口制御と対応させて説明する為の図であり、被検体024内の画像走査線019上の対象深さと信号選択部016の動作の関係を示した。

(超音波装置の動作)
超音波の画像再構成において、計測する深さが浅い場合、すなわち変換素子からの距離が比較的近い位置の出力電力の強度を算出する場合、サイドローブを抑える為に開口制御を行う事がある。開口制御とは、計測深さに対応させて、超音波の送受信開口を構成する複数の送信用変換素子005、及び受信用変換素子005の数を調整する処理の事であり、計測深さが浅くなるに従い、送受信の素子数を減少させる。素子数の減少は、変換素子を全体的に間引くのではなく、変換素子の範囲を狭めることにより行われる。なお、本発明の送信信号では開口制御の有無は問わない為、受信信号に関する内容のみ説明する。

図6に記載の変換素子005で電気信号に変換された受信信号は受信回路処理系002の整相遅延部009に送られ、システム制御部003からの信号をもとに遅延処理が施される。遅延処理を施された各信号は信号選択部016に送られる。信号選択部016はシステム制御部003から送られた選択信号を基に、全受信信号を後段の8個のブロックに分かれた信号加算手段011へ割り振る。また、この処理では任意の変換素子005からの信号を何処にも割り振らない事も可能である。本実施例では合成処理に用いる変換素子005の数を被検体深さが浅くなるに従い32、24、16、8と減らし、均等に8個の信号加算手段011へ振り分ける。信号加算手段011にて8チャンネルの後段入力信号023が作成され、その後は実施例1と同様の処理を行うことで画像を再構成している。なお、送受信における各々の整相遅延部は同じ処理部を流用する事も可能である。

この様に処理する事で図12に示すように、画像走査線019上の対象深さに対応して、合成処理に参照される変換素子005の数を調整でき、開口制御が可能となる。開口制御を行う深さや、深さに応じた変換素子の数については、プローブや変換素子の特性、画像再構成の精度、被検体の種類に応じて所定の深さの範囲に対応する変換素子の所定数を予め定めておいても良い。あるいは試験的に計測と画像再構成を行って調整しても良い。かかる所定の深さの範囲やそれに対応する変換素子の数は、メモリ等に保存しておき画像再構成時に参照することができる。

以上の方式を導入した結果、全信号をCAPON法にて処理した場合に比べ、処理規模はおよそ1/64程度に縮小できた。また、画質は整相加算処理のみの場合に比べ方位分解能が良好で、CAPON法のみの場合と比較しても遜色のない程度の画質を実現し、なおかつ開口制御の動作も実現する事が出来た。

なお、入力信号数や、計測深さに対し信号加算手段011へ振り分ける信号数の変化パターンやまとめられる信号数8個については上記以外の値でもかまわない。

<実施例3>
(超音波装置の構成)
本発明の実施例3について説明する。本実施例は超音波プローブのピン配置や素子チャンネル数の違いをプローブ情報に基づいて吸収するような超音波装置を扱う。
図7は本実施例の装置構成を示しており、実施例1で示した図1のシステムにおいて送信回路処理系001および受信回路処理系002と、超音波プローブ004との間に、信号選択部017を設けている。なお、本実施例での受信回路処理系002と適応型信号処理部006の詳細は実施例1と同じで図5に記載した通りである。

(超音波装置の動作)
フォーカス位置や使用している超音波プローブ004の情報が設定されると、システム制御部003から送信回路処理系001に、その設定情報が送信される。送信回路処理系001はそれらの情報を基に送信素子の種類とそれら素子へ送る各遅延時間を決定し、超音波プローブ004内の対応する変換素子005を駆動する為の電気信号を信号選択部017へ送る。信号選択部017ではシステム制御部001から送られた超音波プローブ004の情報や超音波信号の深さ情報を基に、前記電気信号を各々対応する変換素子005に送る。変換素子005では送られた電気信号が変位信号に変換されて、超音波として被検体へ伝播される。

その後被検体より反射された超音波エコーを各変換素子005が受信し、電気信号として取得される。この受信信号は再び信号選択部017へと送られる。信号選択部017ではシステム制御部001から送られた超音波プローブ004の情報や深さ情報を元に、前記受信信号を取捨選択し、受信回路処理系002内の整相遅延部009(図5)に送る。整相遅延部では、送られてきた信号のみ整相遅延処理を行う。遅延処理後の各信号はあらかじめ設定された加算処理部011(図5)へと送られる。なお、送受信における各々の整相遅延部は同じ処理部を流用する事も可能である。その後は実施例1と同様の処理を行うことで画像を再構成している。

この信号選択部017の機能について図13を用いて説明する。
図13は図7の超音波プローブ004、変換素子005、信号選択部017、受信回路処理系002を示している。一般的に超音波プローブ004はプローブコネクタ025にて超音波画像装置本体と接続されており、各変換素子005と対応するプローブコネクタのピンの配置はプローブ種類によって異なっている。信号選択部017は信号を振り分ける切替スイッチ026を備えている。

図13(a)と図13(b)にて、変換素子005の数は等しいがプローブコネクタ025のピン配置が異なる超音波プローブ004それぞれを使用した場合の動作を説明する。前述2種類の超音波プローブ004を切替スイッチ026が無い状況で使用した場合、各変換素子005とそれに対応する整相遅延部の入出力チャンネルとが整合しない。事前にシステム制御部003からプローブ情報を取得する事で切替スイッチはこの整合をとるような設定に並べ替える。これにより両者は同様の処理を行うことが出来る。
具体的には、128チャンネルのリニアプローブでコネクタのピン配置が異なるもの2つを用いて確認した。各プローブの帯域や各素子の感度が異なる為、完全に同じ画像とはならないが、同じシステムにてCAPON法を用いた高分解能な画像が再構成されることを確認した。

次に、図13の(a)と(c)にて、変換素子005の数とプローブコネクタ025のピン配置が異なる超音波プローブ004それぞれ使用した場合の動作を説明する。事前にシステム制御部003からプローブ情報を取得する事で切替スイッチは後方の合成処理に対応した設定に並べ替える。画像を合成する為の信号数が異なる場合でも、加算処理部011に等しく振り分ける事が出来、画像を出力する事が出来る。
具体的には、256チャンネルと128チャンネルのリニアプローブを用いて確認した。各プローブでの送受信開口を形成する素子数、帯域、各素子の感度が異なる為、完全に同じ画像とはならないが、同じシステムにてCAPON法を用いた高分解能な画像が再構成されることを確認した。

最後に図13の(a)と(d)にて、開口制御に対応した動作を説明する。(a)は被検体の深い個所、(d)は浅い個所の処理に対応する。事前にシステム制御部003からプローブ情報と計測深さ情報を取得する事で、切替スイッチは後方の合成処理に対応した設定に並べ替える。両者の後段入力信号023の数は等しくなり、(d)は適応型信号処
理の効果を最大限に使用でき、実施例2と同様の処理を行うことが出来る。

この実施例を行うことで、異なるチャンネル数・ピン配置の超音波プローブを使用する場合にも同じ処理システムで画像を再構成出来、開口制御等の素子数を変化させる状況にも対応できる事がわかる。
具体的には、128チャンネルのリニアプローブにて、計測深さが浅くなるのに対し信号切替による送信信号数を32→24→16→8のように変更した。これにより同じシステムにてCAPON法を用いた高分解能な画像を実現し、なおかつ開口制御の動作も実現する事が出来た。

<実施例4>
(超音波装置の構成)
本発明の実施例4について説明する。本実施例は、光音響信号(光音響波)を受信し、適応型信号処理にて画像再構成を行う事を特徴とする光音響画像装置についての実施例である。
図8は本実施例の装置構成を示しており、実施例1で示した図1のシステムの送信回路処理系001の代わりに光源駆動系021、光源022を備えたものである。

(超音波装置の動作)
被検体内の目標位置が設定されると、図8に記載のシステム制御部003から光源駆動系021に、その設定情報が送られる。光源駆動系021はその設定情報より光源022を駆動し、パルスレーザーなどのパルス状の電磁波を被検体に照射する。この照射によって被検体内から放出された音響波は変換素子005で受信される。その後は実施例1と同様の処理を行うことで画像を再構成する。

以上の方式を導入した結果、入力信号を4つ毎にまとめる事により、全信号をCAPON法にて処理した場合に比べ、処理規模はおよそ1/64程度に縮小できた。

001…送信回路処理系,002…受信回路処理系,004…超音波プローブ,005…変換素子,006…適応型信号処理部,007…画像処理部,009…整相遅延部,010…受信信号処理部,011…加算処理部

Claims (14)

  1. 被検体から放出された音響波を受信して受信信号に変換する複数の変換素子を含むプローブと、
    前記複数の変換素子から出力される複数の受信信号の位相を揃える整相遅延部と、
    前記整相遅延部から出力された複数の受信信号をグループに分け、前記グループごとに加算して後段入力信号とする複数の信号加算手段と、
    前記信号加算手段から出力された複数の前記後段入力信号に適応型信号処理を行うことにより被検体内部の画像データを生成する適応型信号処理部と、
    を有するものであって、
    前記適応型信号処理部には、前記複数の信号加算手段のそれぞれがM(Mは自然数である)個の受信信号を入力される第1の場合と、前記複数の信号加算手段のそれぞれがN(Nは自然数であり、かつ、M≠Nである)個の受信信号を入力される第2の場合とで、同数の前記後段入力信号が入力される被検体情報取得装置。
  2. 前記適応型信号処理部は、
    前記複数の後段入力信号を複素信号に変換する複素信号化部と、
    前記複素信号化部から出力された複数の複素信号から相関行列を算出する相関行列部と、
    前記相関行列から複数の部分行列を抽出し平均化して部分相関行列を算出するとともに、前記部分相関行列から重み係数を求める空間平均化部と、
    前記重み係数を用いて前記受信信号の出力電力を求める電力算出部と、
    を含む請求項1に記載の被検体情報取得装置。
  3. 前記適応型信号処理部は、CAPON法を用いて適応型信号処理を行う
    請求項2に記載の被検体情報取得装置。
  4. 前記信号加算手段は、前記複数の受信信号を少なくとも3つのグループに分けてそれぞれを加算し後段入力信号とする
    請求項1ないし3のいずれか1項に記載の被検体情報取得装置。
  5. 前記信号加算手段は、前記被検体内部における出力電力を求める位置の前記プローブからの深さが浅いほど、前記出力電力を算出するのに用いる変換素子の範囲を狭める
    請求項2または3に記載の被検体情報取得装置。
  6. 前記プローブは前記複数の変換素子と前記整相遅延部を接続するコネクタを含んでおり、
    前記コネクタを制御して前記変換素子と前記整相遅延部のチャンネルを整合させる信号選択部をさらに有する
    請求項1ないし5のいずれか1項に記載の被検体情報取得装置。
  7. 前記被検体から放出された音響波とは、前記変換素子から出力された音響波が前記被検体内部で反射したものである
    請求項1ないし6のいずれか1項に記載の被検体情報取得装置。
  8. 前記被検体に電磁波を照射する光源をさらに有し、
    前記被検体から放出された音響波とは、前記電磁波を照射された被検体が放出する光音響波である
    請求項1ないし6のいずれか1項に記載の被検体情報取得装置。
  9. 前記第1の場合に入力される受信信号と前記第2の場合に入力される受信信号とは互いに前記被検体内部の異なる深さに位置する部分から放出された前記音響波を変換して形成されたものであり、
    それぞれの前記信号加算手段により加算される前記受信信号の数は該受信信号が前記被検体内部のより浅い部分から放出された前記音響波を変換して形成されたものであるほど小さい
    請求項1に記載の被検体情報取得装置。
  10. 位相を揃えられた複数の受信信号を複数のグループに分け、前記グループごとに加算して後段入力信号とするものであって、同数の前記受信信号が入力される複数の信号加算手段と、
    前記信号加算手段から出力された複数の前記後段入力信号に適応型信号処理を行うことにより被検体内部の画像データを生成する適応型信号処理部とを有し、
    前記適応型信号処理部は、
    前記複数の後段入力信号を複素信号に変換する複素信号化部と、
    前記複素信号化部から出力された複数の複素信号から相関行列を算出する相関行列部と、
    前記相関行列から複数の部分行列を抽出し平均化して部分相関行列を算出するとともに、前記部分相関行列から重み係数を求める空間平均化部と、
    前記重み係数を用いて前記受信信号の出力電力を求める電力算出部と、
    を有するものであって、
    前記適応型信号処理部には、前記複数の信号加算手段のそれぞれがM(ただし、Mは自然数である)個の受信信号を入力される第1の場合と、前記複数の信号加算手段のそれぞれがN(ただし、Nは自然数であり、かつ、M≠Nである)個の受信信号を入力される第2の場合とで、同数の前記後段入力信号が入力される信号処理装置。
  11. 前記複数の信号加算手段は、前記複数の位相が揃えられた受信信号を少なくとも3つのグループに分けるとともに、前記受信信号をそれぞれ加算することにより前記後段入力信号を形成する
    請求項10に記載の信号処理装置。
  12. 前記受信信号は、被検体から放出されるとともに複数の変換素子に受信された音響波に基づいて形成されたものであり、
    前記被検体から放出された音響波とは、前記変換素子から出力された音響波が前記被検体内部で反射したものであり、
    前記複数の変換素子は、前記被検体から放出された前記音響波を受信することにより該音響波を複数の前記受信信号へ変換する
    請求項10に記載の信号処理装置。
  13. 前記受信信号は、被検体から放出された音響波に基づいて形成されたものであり、
    前記被検体から放出された前記音響波は、電磁波が照射された前記被検体から放出された光音響波である
    請求項10に記載の信号処理装置。
  14. 前記第1の場合に入力される受信信号と前記第2の場合に入力される受信信号とは互いに前記被検体内部の異なる深さに位置する部分から放出された前記音響波を変換して形成されたものであり、
    それぞれの前記信号加算手段により加算される前記受信信号の数は該受信信号が前記被検体内部のより浅い部分から放出された前記音響波を変換して形成されたものであるほど小さい
    請求項10に記載の信号処理装置。
JP2011105317A 2011-05-10 2011-05-10 被検体情報取得装置および信号処理装置 Active JP5864894B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011105317A JP5864894B2 (ja) 2011-05-10 2011-05-10 被検体情報取得装置および信号処理装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011105317A JP5864894B2 (ja) 2011-05-10 2011-05-10 被検体情報取得装置および信号処理装置
PCT/JP2012/002874 WO2012153479A2 (en) 2011-05-10 2012-04-26 Object information acquiring apparatus
US14/113,614 US20140051970A1 (en) 2011-05-10 2012-04-26 Object information acquiring apparatus

Publications (2)

Publication Number Publication Date
JP2012235830A JP2012235830A (ja) 2012-12-06
JP5864894B2 true JP5864894B2 (ja) 2016-02-17

Family

ID=46208698

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011105317A Active JP5864894B2 (ja) 2011-05-10 2011-05-10 被検体情報取得装置および信号処理装置

Country Status (3)

Country Link
US (1) US20140051970A1 (ja)
JP (1) JP5864894B2 (ja)
WO (1) WO2012153479A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814556B2 (ja) 2011-02-04 2015-11-17 キヤノン株式会社 信号処理装置
JP5850640B2 (ja) 2011-05-10 2016-02-03 キヤノン株式会社 被検体情報取得装置及び被検体情報取得方法
JP2012235832A (ja) 2011-05-10 2012-12-06 Canon Inc 被検体情報取得装置
US9500627B2 (en) * 2012-06-26 2016-11-22 The Boeing Company Method for ultrasonic inspection of irregular and variable shapes
JP6071582B2 (ja) 2013-01-23 2017-02-01 キヤノン株式会社 被検体情報取得装置およびその制御方法
JP6508867B2 (ja) 2013-03-29 2019-05-08 キヤノン株式会社 被検体情報取得装置およびその制御方法
JP6238556B2 (ja) 2013-04-25 2017-11-29 キヤノン株式会社 被検体情報取得装置およびその制御方法、ならびに探触子
JP6288998B2 (ja) * 2013-09-17 2018-03-07 キヤノンメディカルシステムズ株式会社 超音波診断装置及び超音波イメージングプログラム
JP6321471B2 (ja) * 2014-07-01 2018-05-09 古野電気株式会社 信号処理装置、水中探知装置、レーダ装置、信号処理方法、及び信号処理プログラム
EP3278734A4 (en) * 2015-03-27 2018-10-10 Alpinion Medical Systems Co., Ltd. Beamforming device, ultrasonic imaging device, and beamforming method allowing simple spatial smoothing operation
JP2017047194A (ja) * 2015-08-31 2017-03-09 キヤノン株式会社 光音響効果を利用した検査を行うための装置、検査支援方法、及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0677590B2 (ja) * 1985-07-23 1994-10-05 松下電器産業株式会社 超音波探触子接続用アダプタ
US6089096A (en) * 1998-07-01 2000-07-18 Aloka Co., Ltd. Elevation focusing by beamformer channel sharing
JP4087739B2 (ja) * 2003-04-22 2008-05-21 アロカ株式会社 超音波診断装置
JP4406226B2 (ja) * 2003-07-02 2010-01-27 株式会社東芝 生体情報映像装置
US7998072B2 (en) * 2003-12-19 2011-08-16 Siemens Medical Solutions Usa, Inc. Probe based digitizing or compression system and method for medical ultrasound
JP5483905B2 (ja) * 2009-03-03 2014-05-07 キヤノン株式会社 超音波装置
JP5653057B2 (ja) * 2009-05-27 2015-01-14 キヤノン株式会社 測定装置
JP5413141B2 (ja) 2009-11-13 2014-02-12 凸版印刷株式会社 包装容器及びこの包装容器を用いた食品包装体の製造方法

Also Published As

Publication number Publication date
US20140051970A1 (en) 2014-02-20
JP2012235830A (ja) 2012-12-06
WO2012153479A2 (en) 2012-11-15
WO2012153479A3 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
US20160174850A1 (en) Received data processing apparatus of photoacoustic tomography
KR101868381B1 (ko) 의료용 초음파 이미징에서의 전단파 정보의 해석
JP6227724B2 (ja) 超音波システムのビーム形成方法及び超音波撮像システム
US20160011498A1 (en) Echolocation data generation
JP2018011997A (ja) 超音波イメージングにおけるスペクトル拡散符号化波形
US9730676B2 (en) Ultrasound imaging system using beamforming techniques for phase coherence grating lobe suppression
Mehdizadeh et al. Eigenspace based minimum variance beamforming applied to ultrasound imaging of acoustically hard tissues
JP4130114B2 (ja) 超音波イメージング装置及び超音波信号処理方法
US7207943B2 (en) Synthetic elevation aperture for ultrasound systems and methods
US6910380B2 (en) Ultrasonic transmitting and receiving apparatus
Jensen et al. Synthetic aperture ultrasound imaging
US8038618B2 (en) Ultrasound-imaging systems and methods for a user-guided three-dimensional volume-scan sequence
EP1488253B1 (en) Portable 3d ultrasound system
US9116225B2 (en) Measuring apparatus
JP5312081B2 (ja) 生体情報処理装置および生体情報処理方法
JP5373308B2 (ja) 超音波撮像装置及び超音波撮像方法
EP1004894B1 (en) Method and apparatus for high-frame-rate high-resolution ultrasonic image data acquisition
WO2010100868A1 (en) Ultrasonic apparatus with adaptive and fixed beamforming
JP2012011193A (ja) 超音波データ処理方法及びシステム
US10321889B2 (en) Coherent spread-spectrum coded waveforms in synthetic aperture image formation
EP2107388A1 (en) Ultrasound diagnosis apparatus
US20090099451A1 (en) Ultrasonic imaging apparatus and a method for generating an ultrasonic image
EP3199973A1 (en) Subject information processing apparatus using acoustic waves received from the subject
JP5424933B2 (ja) 生体情報処理装置
DE102012108353A1 (de) Klassifikationsvorverarbeitung in der medizinischen ultraschallscherwellenbildgebung

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150421

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151225

R151 Written notification of patent or utility model registration

Ref document number: 5864894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151