JPWO2018180223A1 - 光音響画像生成装置 - Google Patents

光音響画像生成装置 Download PDF

Info

Publication number
JPWO2018180223A1
JPWO2018180223A1 JP2019509073A JP2019509073A JPWO2018180223A1 JP WO2018180223 A1 JPWO2018180223 A1 JP WO2018180223A1 JP 2019509073 A JP2019509073 A JP 2019509073A JP 2019509073 A JP2019509073 A JP 2019509073A JP WO2018180223 A1 JPWO2018180223 A1 JP WO2018180223A1
Authority
JP
Japan
Prior art keywords
photoacoustic
detection
insert
wave
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019509073A
Other languages
English (en)
Other versions
JP6704510B2 (ja
Inventor
宮地 幸哉
幸哉 宮地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018180223A1 publication Critical patent/JPWO2018180223A1/ja
Application granted granted Critical
Publication of JP6704510B2 publication Critical patent/JP6704510B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Acoustics & Sound (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

先端付近から光音響波を発生させる挿入物を用いる光音響画像生成装置において、挿入物先端付近からの光音響波の出力が正常であるか検出可能にする。光音響波発生部を有する挿入物(15)と、光音響波および反射音響波を検出する音響波検出部(11)と、光音響波に基づいて光音響画像を生成する光音響画像生成部(24)と、音響波検出部11によって検出した光音響波に基づく情報を画像表示手段に出力する画像出力部(26)と、挿入物(15)の先端部分が音響波検出部(11)に対する所定の検出位置に配置されたことを検出する先端位置検出部(29)と、挿入物(15)の先端部分が所定の検出位置に配置されたことが検出されると、挿入物検査モードとして、光音響波発生部から発生させた光音響波の検出信号の強度に基づく情報を画像表示手段に表示する制御部(28)とを備える。

Description

本発明は、光を吸収して光音響波を発生する光音響波発生部を有し、少なくとも一部が被検体に挿入される挿入物を備えた光音響画像生成装置に関する。
生体内部の状態を非侵襲で検査できる画像検査法の一種として、超音波検査法が知られている。超音波検査では、超音波の送信および受信が可能な超音波探触子が用いられる。超音波探触子から被検体(生体)に超音波を送信させると、その超音波は生体内部を進んでいき、組織界面において反射する。その反射超音波を超音波探触子によって受信し、反射超音波が超音波探触子に戻ってくるまでの時間に基づいて距離を計算することにより、内部の様子を画像化することができる。
また、光音響効果を利用して生体の内部を画像化する光音響イメージングが知られている。一般に光音響イメージングでは、パルスレーザ光を生体内に照射する。生体内部では、生体組織がパルスレーザ光のエネルギーを吸収し、そのエネルギーによる断熱膨張により超音波(光音響波)が発生する。この光音響波を超音波探触子などによって検出し、検出信号に基づいて光音響画像を構成することにより、光音響波に基づく生体内の可視化が可能である。
また、光音響イメージングに関し、特許文献1には、光を吸収して光音響波を発生する光音響波発生部を先端付近に設けた穿刺針が提案されている。この穿刺針においては、穿刺針の先端まで光ファイバが設けられており、レーザ光源から出射されたレーザ光が光ファイバによって導光され光音響波発生部に照射される。光音響波発生部において発生した光音響波は超音波探触子によって検出され、その検出信号に基づいて光音響画像が生成される。光音響画像では、光音響波発生部の部分が輝点として現れ、光音響画像を用いて穿刺針の位置の確認が可能となる。
特開2015−231583号公報 特開2016−36673号公報
特許文献1に記載のような先端付近から光音響波を発生させる穿刺針を用いた光音響イメージングでは、レーザ光源が劣化や故障するなどして既定の出力のレーザ光が出射されていなかった場合、光ファイバが折れたり破損したり汚染したりするなどしてレーザ光が正常に光音響波発生部に導光されていなかった場合、および、光音響波発生部に剥がれや光音響波発生効率の低下などの不具合がある場合などにおいて、穿刺針先端付近から正常な出力の光音響波が発生しなくなり、正確な光音響画像が生成できなくなるという問題がある。
特許文献2では、光音響画像生成装置における校正処理について開示されている。ここでは、光音響イメージング用の構成用基準体に外部から光を照射し、構成用基準体において発生した光音響波に基づいて校正処理を行っているが、この方式では上記で問題としているような、穿刺針自身が発生させる光音響波の出力が正常であるかの確認を行うことはできない。
本発明は、上記事情に鑑み、先端付近から光音響波を発生させる挿入物を用いる光音響画像生成装置において、挿入物先端付近からの光音響波の出力が正常であるか検出可能な光音響画像生成装置を提供することを目的とするものである。
本発明の光音響画像生成装置は、少なくとも先端部分が被検体内に挿入される挿入物であって、先端部分まで光を導光する導光部材と、導光部材により導光された光を吸収して光音響波を発生する光音響波発生部とを有する挿入物と、光音響波発生部から発せられた光音響波を検出する音響波検出部と、音響波検出部によって検出した光音響波に基づいて、光音響画像を生成する光音響画像生成部と、音響波検出部によって検出した光音響波に基づく情報を画像表示手段に出力する画像出力部と、挿入物の先端部分が音響波検出部に対する所定の検出位置に配置されたことを検出する先端位置検出部と、挿入物の先端部分が所定の検出位置に配置されたことが先端位置検出部により検出されたことを受けて、挿入物検査モードとして、光音響波発生部から発生させた光音響波の検出信号の強度に基づく情報を画像表示手段に表示する制御部とを備えたことを特徴とする。
本発明の光音響画像生成装置においては、制御部が、光音響画像上において所定の検出位置に対応する検出領域を表示するものとしてもよい。
また、本発明の光音響画像生成装置においては、音響波検出部が、さらに被検体に対する音響波の送信によって反射された反射音響波を検出し、音響波検出部によって検出した反射音響波に基づいて、音響画像を生成する音響画像生成部を備え、制御部が、音響画像上において所定の検出位置に対応する検出領域を表示するものとしてもよい。
また、本発明の光音響画像生成装置においては、所定の検出位置が、音響波検出部に対して相対的に変更可能であることが好ましい。
この場合、制御部が、所定の検出位置の音響波検出部に対する相対位置に基づいて、挿入物を示す信号の強度を判定するときの基準強度を変更することが好ましい。
また、本発明の光音響画像生成装置においては、制御部が、挿入物の先端部分を所定の検出位置に配置するときの方向を指示する表示を行うことが好ましい。
また、本発明の光音響画像生成装置においては、制御部が、挿入物検査モードにおける挿入物を示す光音響波の信号強度に基づいて、ユーザに対する警告を行うことが好ましい。
また、本発明の光音響画像生成装置においては、制御部が、挿入物検査モードにおける挿入物を示す光音響波の信号強度と、光音響波の信号強度と表示内容との関係を記録した表示マップとに基づいて、測定結果を表示するものとしてもよい。
また、本発明の光音響画像生成装置においては、制御部が、挿入物検査モードにおける挿入物を示す光音響波の信号強度の状態を、文字および/またはグラフにより表示するものとしてもよい。
また、本発明の光音響画像生成装置においては、音響波検出部が、光音響波を検出する複数の検出素子が配列された検出素子アレイを備え、制御部が、挿入物検査モードでは所定の検出位置に対応する一部の検出素子の受信信号のみを測定結果の生成に用いるものとしてもよい。
また、本発明の光音響画像生成装置においては、音響波検出部が、光音響波を検出する複数の検出素子が配列された検出素子アレイを備え、制御部が、挿入物検査モードでは所定の信号強度を超える信号を検出した一部の検出素子の受信信号のみを測定結果の生成に用いるものとしてもよい。
また、本発明の光音響画像生成装置においては、制御部が、光音響画像上において同フレーム内の最大振幅に対して所定の割合以上の振幅の点のみを表示することが好ましい。
この場合、制御部が、最大振幅に対して所定の割合以上の振幅の点について、信号強度に基づいた1つの色により表示させることが好ましい。
また、本発明の光音響画像生成装置においては、制御部が、挿入物検査モードにおける検出結果に基づいて、検出された受信信号の強度が基準となる信号強度と同等になるように補正することが好ましい。
また、挿入物が、被検体に穿刺される針であることが好ましい。
本発明の光音響画像生成装置は、先端付近から光音響波を発生させる挿入物を用いる光音響画像生成装置において、挿入物の先端部分が音響波検出部に対する所定の検出位置に配置されたことを検出して、挿入物検査モードとして、光音響波発生部から発生させた光音響波の検出信号の強度に基づく情報を表示するようにしたので、挿入物先端付近からの光音響波の出力が正常であるか検出することができる。
本発明の光音響画像生成装置の第1の実施形態の概略構成を示すブロック図 穿刺針の先端部分の構成を示す断面図 第1の実施形態の光音響画像生成装置における穿刺針の検査方法を説明するためのフローチャート 超音波探触子の一例を示す正面図 図4に示す超音波探触子の側面図 図4に示す超音波探触子の下面図 図4に示す超音波探触子の下面図 穿刺針設置指示の表示画面の一例を示す図 穿刺針検査時の表示画面の一例を示す図 表示画面中の穿刺針の表示例を示す図 表示画面中の穿刺針の表示例を示す図 表示画面中の穿刺針の表示例を示す図 穿刺針の検査結果の表示例を示す図 第1の実施形態の光音響画像生成装置における他の穿刺針の検査方法を説明するためのフローチャート 第2の実施形態の光音響画像生成装置における穿刺針検査時の穿刺針の設置態様を示す図 穿刺針検査時の表示画面の一例を示す図
以下、本発明の光音響画像生成装置の第1の実施形態について、図面を参照しながら詳細に説明する。図1は本発明の光音響画像生成装置の第1の実施形態の概略構成を示すブロック図である。
本実施形態の光音響画像生成装置10は、図1に示すように、超音波探触子11、超音波ユニット12、レーザユニット13、および穿刺針15を備えている。穿刺針15とレーザユニット13とは、光ファイバを有する光ケーブル16によって接続されている。穿刺針15は、光ケーブル16に対して着脱可能なものであり、ディスポーザブルに構成されたものである。なお、本実施形態では、音響波として超音波を用いるが、超音波に限定されるものでは無く、被検対象や測定条件等に応じて適切な周波数を選択してさえいれば、可聴周波数の音響波を用いても良い。
レーザユニット13は、例えばYAG(イットリウム・アルミニウム・ガーネット)およびアレキサンドライトなどを用いた固体レーザ光源を備えている。レーザユニット13の固体レーザ光源から出射されたレーザ光は、光ケーブル16によって導光され、穿刺針15に入射される。本実施形態のレーザユニット13は、近赤外波長域のパルスレーザ光を出射するものである。近赤外波長域とは、700nm〜850nm程度の波長域を意味する。なお、本実施形態においては、固体レーザ光源を用いるようにしたが、気体レーザ光源などその他のレーザ光源を用いるようにしてもよいし、レーザ光源以外の光源を用いるようにしてもよい。
穿刺針15は、本発明の挿入物の一実施形態であり、被検体に穿刺される針である。図2は、穿刺針15の長さ方向に伸びる中心軸を含む断面図である。穿刺針15は、鋭角に形成された先端面15eに開口を有し、中空状に形成された穿刺針本体15aと、レーザユニット13から出射されたレーザ光を穿刺針15の開口の近傍まで導光する光ファイバ15b(本発明の導光部材に相当する)と、光ファイバ15bから出射したレーザ光を吸収して光音響波を発生する光音響波発生部15cとを含む。
光ファイバ15bおよび光音響波発生部15cは、穿刺針本体15aの中空部15dに配置される。光ファイバ15bは、例えば穿刺針15の基端部に設けられた光コネクタを介して光ケーブル16(図1を参照)内の光ファイバに接続される。光ファイバ15bの光出射端からは、例えば0.2mJのレーザ光が出射される。
光音響波発生部15cは、光ファイバ15bの光出射端に設けられており、穿刺針15の先端近傍かつ穿刺針本体15aの内壁に設けられる。光音響波発生部15cは、光ファイバ15bから出射されるレーザ光を吸収して光音響波を発生する。光音響波発生部15cは、例えば黒顔料を混合したエポキシ樹脂、ポリウレタン樹脂、フッ素樹脂およびシリコーンゴムなどから形成されている。なお、図2では、光ファイバ15bよりも光音響波発生部15cの方が大きく描かれているが、これには限定されず、光音響波発生部15cは、光ファイバ15bの径と同程度の大きさであってもよい。
光音響波発生部15cは、上述したものに限定されず、レーザ光の波長に対して光吸収性を有する金属膜または酸化物の膜を、光音響波発生部としてもよい。例えば光音響波発生部15cとして、レーザ光の波長に対して光吸収性が高い酸化鉄や、酸化クロムおよび酸化マンガンなどの酸化物の膜を用いることができる。あるいは、光吸収性は酸化物よりも低いが生体適合性が高いTi(チタン)やPt(白金)などの金属膜を光音響波発生部15cとして用いてもよい。また、光音響波発生部15cが設けられる位置は穿刺針本体15aの内壁には限定されない。例えば光音響波発生部15cである金属膜または酸化物の膜を、蒸着などにより光ファイバ15bの光出射端上に例えば100nm程度の膜厚で製膜し、酸化物の膜が光出射端を覆うようにしてもよい。この場合、光ファイバ15bの光出射端から出射されたレーザ光の少なくとも一部は、光出射端を覆う金属膜または酸化物の膜で吸収され、金属膜または酸化物の膜から光音響波が生じる。
図1に戻り、超音波探触子11は、被検体に穿刺針15が穿刺された後に、光音響波発生部15cから発せられた光音響波を検出する。超音波探触子11は、光音響波を検出する音響波検出部を備えている。
音響波検出部は、光音響波を検出する複数の圧電素子が一次元に配列された圧電素子アレイ20と、不図示のマルチプレクサとを備えている。圧電素子は、超音波振動子であり、例えば圧電セラミクス、またはポリフッ化ビニリデン(PVDF)のような高分子フィルムから構成される圧電素子である。また、音響波検出部は、図示省略しているが、音響レンズ、音響整合層、バッキング材、および圧電素子アレイの制御回路などを備えている。
超音波探触子11は、音響波検出部の圧電素子アレイ20によって、光音響波の検出に加えて、被検体に対する音響波(超音波)の送信、及び送信した超音波に対する反射音響波(反射超音波)の受信を行う。なお、超音波の送信と受信とは分離した位置で行ってもよい。例えば超音波探触子11とは異なる位置から超音波の送信を行い、その送信された超音波に対する反射超音波を超音波探触子11の圧電素子アレイ20で受信してもよい。超音波探触子11としては、リニア超音波探触子、コンベクス超音波探触子、またはセクター超音波探触子などを用いることができる。
超音波ユニット12は、受信回路21、受信メモリ22、データ分離部23、光音響画像生成部24、超音波画像生成部25、画像出力部26、送信制御回路27、制御部28、および先端位置検出部29を有する。超音波ユニット12は、典型的にはプロセッサ、メモリ、およびバスなどを有する。超音波ユニット12には、光音響画像生成処理、超音波画像生成処理、および穿刺針15の先端部分が超音波探触子11に対する所定の検出位置に配置されたことを検出する処理などに関するプログラムがメモリに組み込まれている。プロセッサによって構成される制御部28によってそのプログラムが動作することにより、データ分離部23、光音響画像生成部24、超音波画像生成部25、画像出力部26、および先端位置検出部29の機能が実現する。すなわち、これらの各部は、プログラムが組み込まれたメモリとプロセッサにより構成されている。
なお、超音波ユニット12のハードウェアの構成は特に限定されるものではなく、複数のIC(Integrated Circuit)、プロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、およびメモリなどを適宜組み合わせることによって実現することができる。
受信回路21は、超音波探触子11が出力する検出信号を受信し、受信した検出信号を受信メモリ22に格納する。受信回路21は、典型的には、低ノイズアンプ、可変ゲインアンプ、ローパスフィルタ、およびAD変換器(Analog to Digital convertor)を含む。超音波探触子11の検出信号は、低ノイズアンプにより増幅された後に、可変ゲインアンプにより深度に応じたゲイン調整がなされ、ローパスフィルタで高周波成分がカットされた後にAD変換器においてデジタル信号に変換され、受信メモリ22に格納される。受信回路21は、例えば1つのIC(Integral Circuit)で構成される。
超音波探触子11は、光音響波の検出信号と反射超音波の検出信号とを出力し、受信メモリ22には、AD変換された光音響波および反射超音波の検出信号(サンプリングデータ)が格納される。データ分離部23は、受信メモリ22から光音響波の検出信号を読み出し、光音響画像生成部24に送信する。また、受信メモリ22から反射超音波の検出信号を読み出し、超音波画像生成部25に送信する。
光音響画像生成部24は、超音波探触子11で検出された光音響波の検出信号に基づいて光音響画像を生成する。光音響画像の生成処理は、例えば位相整合加算などの画像再構成、検波および対数変換などを含む。超音波画像生成部25は、超音波探触子11で検出された反射超音波の検出信号に基づいて被検体の生体内部の状態を2次元画像で表示する超音波画像(本発明の音響画像に相当する)を生成する。超音波画像の生成処理も、位相整合加算などの画像再構成、検波および対数変換などを含む。画像出力部26は、光音響画像と超音波画像とをディスプレイ装置などの画像表示部30に出力する。
制御部28は、超音波ユニット12内の各部を制御する。制御部28は、光音響画像を取得する場合は、レーザユニット13にトリガ信号を送信し、レーザユニット13からレーザ光を出射させる。また、レーザ光の出射に合わせて、受信回路21にサンプリングトリガ信号を送信し、光音響波のサンプリング開始タイミングなどを制御する。受信回路21によって受信されたサンプリングデータは、受信メモリ22に格納される。
光音響画像生成部24は、データ分離部23を介して光音響波の検出信号のサンプリングデータを受信し、所定の検波周波数で検波して光音響画像を生成する。光音響画像生成部24が生成した光音響画像は、画像出力部26に入力される。
また、制御部28は、超音波画像を取得する場合は、送信制御回路27に超音波送信を指示する旨の超音波送信トリガ信号を送信する。送信制御回路27は、超音波送信トリガ信号を受けると、超音波探触子11から超音波を送信させる。超音波探触子11は、超音波画像を取得する場合には、制御部28による制御によって、例えば圧電素子群の受信領域を一ラインずつずらしながら走査して反射超音波の検出を行う。制御部28は、超音波送信のタイミングに合わせて受信回路21にサンプリングトリガ信号を送信し、反射超音波のサンプリングを開始させる。受信回路21によって受信されたサンプリングデータは、受信メモリ22に格納される。
超音波画像生成部25は、データ分離部23を介して超音波の検出信号のサンプリングデータを受信し、所定の検波周波数により検波して超音波画像を生成する。超音波画像生成部25が生成した超音波画像は、画像出力部26に入力される。
先端位置検出部29は、光音響画像生成部24によって生成された光音響画像または超音波画像生成部25によって生成された超音波画像に基づいて、穿刺針15の先端部分の位置を検出するものである。
光音響画像に基づいて穿刺針15の先端位置検出を行う場合は、例えば光音響画像における最大輝度点の位置を、穿刺針15の先端部分の位置として検出するようにすればよい。なお、実際には、光のアーチファクトや音のアーチファクトが生じ、あたかも複数の位置から光音響波が検出されたかのような光音響画像が生成される場合があり、本来の穿刺針15の先端部分の位置を特定できない場合がある。
そこで、光音響画像生成部24によって生成された光音響画像をそのまま用いるのではなく、平滑化処理などを施すことによって、上述したアーチファクトによる誤検出を防止するようにしてもよい。具体的には、検波および対数変換後の光音響画像に対して平滑化処理を行う。平滑化処理としては、例えばガウシアンフィルタによるフィルタ処理を用いることができる。ガウシアンフィルタのフィルタサイズは、穿刺針15の先端部分より小さいことが好ましい。
次いで、平滑化処理後の光音響画像に対して2値化処理を施して2値画像を生成する。そして、2値画像から、白画素が連続して分布する領域を検出することによって、穿刺針15の先端部分の位置を検出する。このように穿刺針15の先端部分の位置検出を行うことによって、より高精度に検出することができる。
超音波画像に基づいて穿刺針15の先端位置検出を行う場合は、穿刺針15だけでなく生体細胞や血管などの他の物体が映っていることが多いため、画像全体における最大輝度点の位置により判断した場合に、穿刺針15の先端部分の位置を正確に特定できない場合がある。
そこで、穿刺針15が配置されることが想定される深さ範囲を予め設定し、超音波画像における該当の深さ範囲において、同一深さのライン毎にプロファイルを計測し、プロファイル中の最大値が所定の閾値を超えた場合に、該当位置において穿刺針15が検出されたと判断するようにすればよい。
また、プロファイルにおいて、平均値、標準偏差、および最大値を求め、例えば下記式のような条件式を規定して、条件式を満足する場合に穿刺針15が検出されたと判断するようにすれば、より検出精度を高めることができる。
最大値>平均値+標準偏差×3
なお、上記で説明した光音響画像または超音波画像に基づく穿刺針15の先端部分位置の検出方法はあくまでも一例であり、これに限定されるものではなく、どのような方法で検出してもよい。
ここで、制御部28による穿刺針15の検査方法について詳細に説明する。図3は本実施形態の光音響画像生成装置における穿刺針の検査方法を説明するためのフローチャートである。
制御部28は、ユーザ操作を受けて穿刺針(挿入物)検査待機モードに移行すると(S10)、光音響波送受信を開始し(S11)、超音波探触子(音響波検出部)11に対する所定の検出位置において穿刺針15の先端部分が検出されたかの判定を行う(S12)。
ここで、穿刺針(挿入物)検査待機モードに移行するためのユーザからの指示は、入力部40を介して制御部28に入力される。このときのインターフェースについては、画像表示部30に穿刺針(挿入物)検査待機モードに移行するためのアイコンを表示しておき、例えば入力部40として接続されているマウスなどによってアイコンがクリックされたときに、穿刺針(挿入物)検査待機モードに移行するようにしてもよいし、穿刺針(挿入物)検査待機モードに移行するための専用の物理的なボタンを光音響画像生成装置に設けてもよい。
また、超音波探触子(音響波検出部)11に対する所定の検出位置は、予め設定されたものであり、ここで図面を用いて詳細に説明する。図4は超音波探触子の一例を示す正面図、図5はこの超音波探触子の側面図、図6および図7はこの超音波探触子の下面図、図8は穿刺針設置指示の表示画面の一例を示す図、図9は穿刺針検査時の表示画面の一例を示す図である。
穿刺針15の検査を行う際には、超音波探触子11と穿刺針15をなるべく近づけた方が強度が高い信号を受信できるため、図4〜6に示すように、超音波探触子11の検出面(下面)中央近傍に設定することが好ましい。このとき、図7に示すように、圧電素子アレイ20の圧電素子配列方向と穿刺針15の長手方向が平行になってしまうと、検査時にアーチファクトが発生するおそれがあるため、図6に示すように、圧電素子アレイ20の圧電素子配列方向と穿刺針15の長手方向が直交するように設置させることが好ましい。また、超音波探触子11の表面に、穿刺針15の検査時の設置位置の目安となる矢印などの目安表示11aを設けてもよい。
また、穿刺針15から同じ強度の光音響波が発生していたとしても、超音波探触子11の検出面に対する穿刺針15の先端面15eの向きが変わってしまうと、超音波探触子11における受信信号強度が変わってしまう。なお、穿刺針15の先端面15eが超音波探触子11の検出面側に向いている状態が、最良の受信状態となる。従って、穿刺針15の検査を行う際には、毎回決まって、図4〜6に示すように、穿刺針15の先端面15eが超音波探触子11の検出面側に向いている状態にさせる必要がある。
そのため、検査待機モードに移行したら、図8に示す表示画面I1のように、設置態様を示す絵とともに「穿刺針の先端面をプローブ(超音波探触子11)の検出面に向けて下さい。」などの文章による指示を画像表示部30に表示して、ユーザに穿刺針15の先端面15eが超音波探触子11の検出面側に向いている状態にさせるようにしてもよい。
また、図9に示す表示画面I2のように、穿刺針(挿入物)検査待機モードにおける光音響波の送受信に基づいて生成された光音響画像60をリアルタイムで表示するとともに、光音響画像60上に所定の検出位置に対応する検出領域62を表示することにより、ユーザに穿刺針15を所定の検出位置に設置させる際の補助としてもよい。
ステップS12において、超音波探触子(音響波検出部)11に対する所定の検出位置において穿刺針15の先端部分が検出された場合には、穿刺針(挿入物)検査モードに移行して光音響波送受信を開始し(S13)、測定結果の表示を行って(S14)、処理を終了する。
ここで、ステップS13における測定は、複数フレーム(例えば5フレーム程度)行って、それらの平均値に基づいて測定結果を求めることにより、測定の正確性を向上させることができる。
また、測定結果の表示について、図面を用いて詳細に説明する。図10〜12は表示画面中の穿刺針の表示例を示す図、図13は穿刺針の検査結果の表示例を示す図である。
なお、穿刺針(挿入物)検査モードでは、既に穿刺針15の先端部分が超音波探触子11に対する所定の検出位置にあることが分かっているため、所定の検出位置に対応する一部の圧電素子(穿刺針15に近接している一部の圧電素子)の受信信号のみ、もしくは所定の信号強度を超える信号を検出した一部の圧電素子の受信信号のみを測定結果の生成に用いることにより、検出時のノイズを低減させることができる。
図9に示す表示画面I2のように、測定結果は、光音響波の信号強度と表示色との関係を示す表示マップ61に基づいて、光音響画像60上に穿刺針15の先端部分の位置を示す輝点63の表示色を変更することにより表示される。
表示マップ61における表示色は、穿刺針15の先端部分からの信号強度が所定の適正基準強度と比較して、正常であるか、異常であるか、その中間であるかが認識できるように設定されている。例えば、正常時が青で、正常時の最大振幅から15%低下すると緑、正常時の最大振幅から30%低下すると赤などとすることができる。なお、正常時の信号強度は、例えば針先端から1.0×10−7mJ/cm程度の光音響波を受信したときの、受信振幅とすればよい。
ここで、測定結果を示す輝点63は、図10に示す輝点63aのように、単色で表示されることが好ましいが、輝点63の周縁部では中心に比べて信号強度が低くなるため、輝点63を示す各画素について、信号強度を直接的に表示マップ61の表示色に置き換えて表示すると、図11に示す輝点63bのように、1つの輝点の中においてリング状に表示色が変わってしまい、測定結果をユーザに正しく把握させるのが困難になってしまう。
そのため、光音響画像上において同フレーム内の最大振幅に対して所定の割合以上の振幅の点のみを表示したり、それらの点を平均化して求めた信号強度に基づいて一つの代表色により表示したり、図12に示す輝点63cのように、信号強度の最大値において色相を決定し、決定した一つの代表色により輝度をグラデーション表示したような画像を表示することが好ましい。ここで、同フレーム内の最大振幅に対して所定の割合以上の振幅の点のみを表示に用いるということは、最大振幅のオーダーと同程度のノイズをある程度落とすことを意味しており、所定の割合についてはノイズレベルに応じて適宜設定すればよい。例えば、ノイズが比較的少ない場合には、最大振幅に対して10%以上の振幅の点のみを表示に用いればよく、ノイズが比較的多い場合には、最大振幅に対して70%以上の振幅の点のみを表示に用いればよい。
なお、測定結果の表示については、上記のような光音響画像60上の輝点63の表示色によるものに限らず、「正常、注意、異常」もしくは「OK、Caution、NG」といった語句や、穿刺針15の先端部分からの信号強度の実際の測定値(単位mJ/cm、mW/cmなど)や、もしくは、穿刺針15の先端部分からの信号強度を正常値と比較したときの数値(例えば、95%、Level8など)などの文字により表示してもよい。また、図13に示すようなグラフに基づいて表示してもよい。さらに、これらを組み合わせて表示を行ってもよい。
さらに、穿刺針15の先端部分からの信号強度が所定の適正基準強度と比較して異なる場合、穿刺針15の先端部分からの信号強度が所定の適正基準強度と同等になるようにキャリブレーション(補正)を行うようにしてもよい。このキャリブレーションは、ステップS14の後に光音響画像生成装置が自動で行うようにしてもよいし、ユーザからの指示に基づいて行うようにしてもよい。
ユーザからの指示は、入力部40を介して制御部28に入力される。このときのインターフェースについては、画像表示部30にキャリブレーションを行うためのアイコンを表示しておき、例えば入力部40として接続されているマウスなどによってアイコンがクリックされたときにキャリブレーションを行うようにしてもよいし、キャリブレーションを行うための専用の物理的なボタンを光音響画像生成装置に設けてもよい。
キャリブレーション動作については、穿刺針15の先端部分からの信号強度が所定の適正基準強度と同等(例えば適正基準強度の±20%以内)になるように、受信回路21の受信ゲインを補正すればよい。
穿刺針15の先端部分からの信号強度が変化する要因としては、レーザユニット13におけるレーザ光の出力変動が原因となることが多いため、超音波ユニット12に接続されるレーザユニット13の個体毎に受信ゲインの補正量を保持し、受信ゲインの補正量を取得済みの個体のレーザユニット13が接続された場合には、穿刺針15の検査を行わず、保持されている受信ゲインの補正量に基づいて、自動的にキャリブレーションを行うようにしてもよい。
また、キャリブレーション動作については、上記のような受信回路21の受信ゲインの補正に限らず、レーザユニット13の動作条件(光源駆動時の入力電圧やパルス長)を調整することで行ってもよい。
このようなキャリブレーション動作を行うことにより、レーザユニット13や穿刺針15の寿命を延ばすことができる。
ステップS12において、超音波探触子(音響波検出部)11に対する所定の検出位置において穿刺針15の先端部分が検出されなかった場合には、穿刺針(挿入物)検査待機モード移行から所定時間が経過しているか判定し(S15)、所定時間が経過していない場合にはステップS11に戻り、所定時間が経過している場合にはエラー表示を行うとともに光音響波送受信を停止し(S16)、処理を終了する。
具体的には10秒程度穿刺針15の先端部分が検出されなかった場合には、例えば「針先から既定の出力以上の超音波が検出されません。針先がプローブ(超音波探触子11)表面に接しているか確認してください。接している場合、故障している可能性があります。」などのエラー表示を行う。これにより、穿刺針15の先端付近の光音響波発生部15cが剥がれたりしていて、光ファイバ15bにより導光されたレーザ光が外部に漏れている場合でも、レーザ光が漏れ続けることなく、所定時間でレーザ光の照射が停止されるため、安全性を向上させることができる。
上記の通り、本実施形態の光音響画像生成装置10は、穿刺針15自身が発生させる光音響波の出力に基づいて検査を行っているため、レーザユニット13や穿刺針15の不具合を確実に検知することが可能となる。また、通常の光音響画像生成装置に対して適用可能であるため、検査用の新たなハードウェアが不要である。また、穿刺針15の先端部分が所定の検出位置に配置されたことを検出して自動的に検知を行うようにしているため、穿刺針15の設置状態が正しいかユーザが確認する必要が無く、利便性を向上させることができる。
なお、本実施形態では、穿刺針(挿入物)検査待機モード移行時に、光音響波送受信を行って光音響画像により穿刺針15の先端部分の検出を行っているが、図14に示すフローチャートのように、穿刺針(挿入物)検査待機モード移行時に、超音波送受信を行って超音波画像により穿刺針15の先端部分の検出を行うようにしてもよい。
次に、本発明の光音響画像生成装置の第2の実施形態について説明する。第1の実施形態の光音響画像生成装置10においては、超音波探触子(音響波検出部)11に対する所定の検出位置について、超音波探触子11の検出面(下面)中央近傍に設定していたが、本実施形態においては、穿刺針15を水槽などに設置することを想定したものである。図15は第2の実施形態の光音響画像生成装置における穿刺針検査時の穿刺針の設置態様を示す図、図16は穿刺針検査時の表示画面の一例を示す図である。
本実施形態においては、穿刺針(挿入物)検査待機モードに移行時に、水槽70内に貯留された水71内に穿刺針15を挿入することを想定している。このとき、超音波探触子(音響波検出部)11に対する所定の検出位置については、図15に示すように、超音波探触子11の検出面(下面)中央から離れた位置となる。この所定の検出位置はユーザにより調整可能であり、例えば図16に示す表示画面I3のように、光音響画像60上に表示する検出領域62の位置をユーザに入力部40を介して上下に移動させることにより、調整するようにしてもよい。
このとき、超音波探触子11の検出面から穿刺針15の先端部分が離れるにつれて受信信号強度が下がるため、超音波探触子11の検出面から所定の検出位置までの距離および穿刺針15の周囲の媒質の超音波減衰率に基づいて、穿刺針15の先端部分からの信号強度の状態を判定する時の適正基準強度も調整する必要がある。
例えば、穿刺針15の周囲の媒質が水71であり、穿刺針15において発生する光音響波の周波数が5MHz、超音波探触子11の検出面から所定の検出位置までの距離が1cmとすると、下記の通り適正基準強度を−0.01(dB)とする必要がある。なお、超音波探触子11の検出面から所定の検出位置までの距離が0cmの場合には−0(dB)、2cmの場合には−0.02(dB)、5cmの場合には−0.05(dB)となる。
0.002(dB/(MHz・cm))×5(MHz)×1(cm)=0.01(dB)
なお、上記の様な水槽70の代わりに、ファントムを用いてもよい。ファントムの超音波減衰率は0.5(dB/(MHz・cm))程度である。
このような態様としても、上記。第1の実施形態と同様の効果を得ることができる。
なお、上記第1および第2の実施形態では、挿入物の一実施形態として穿刺針15を用いるようにしたが、挿入物としては、これには限定されない。挿入物は、内部にラジオ波焼灼術に用いられる電極を収容するラジオ波焼灼用針であってもよいし、血管内に挿入されるカテーテルであってもよいし、血管内に挿入されるカテーテルのガイドワイヤであってもよい。あるいは、レーザ治療用の光ファイバであってもよい。
また、挿入物は注射針のような針には限定されず、生体検査に用いられる生検針であってもよい。すなわち、生体の検査対象物に穿刺して検査対象物中の生検部位の組織を採取可能な生検針であってもよい。その場合には、生検部位の組織を吸引して採取するための採取部(吸入口)において光音響波を発生させればよい。また、針は、皮下および腹腔内臓器など、深部までの穿刺を目的とするガイディングニードルとして使用されてもよい。
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の光音響計測装置は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
10 光音響画像生成装置
11 超音波探触子
12 超音波ユニット
13 レーザユニット
15 穿刺針
15a 穿刺針本体
15b 光ファイバ
15c 光音響波発生部
15d 中空部
15e 先端面
16 光ケーブル
20 音響波検出部
21 受信回路
22 受信メモリ
23 データ分離部
24 光音響画像生成部
25 超音波画像生成部
26 画像出力部
27 送信制御回路
28 制御部
29 参照テーブル保持部
30 画像表示部
40 入力部
60 光音響画像/超音波画像
61 表示マップ
62 検出領域
63、63a、63b、63c 輝点
70 水槽
71 水
I1〜I3 表示画面

Claims (15)

  1. 少なくとも先端部分が被検体内に挿入される挿入物であって、前記先端部分まで光を導光する導光部材と、前記導光部材により導光された光を吸収して光音響波を発生する光音響波発生部とを有する挿入物と、
    前記光音響波発生部から発せられた前記光音響波を検出する音響波検出部と、
    前記音響波検出部によって検出した前記光音響波に基づいて、光音響画像を生成する光音響画像生成部と、
    前記音響波検出部によって検出した前記光音響波に基づく情報を画像表示手段に出力する画像出力部と、
    前記挿入物の前記先端部分が前記音響波検出部に対する所定の検出位置に配置されたことを検出する先端位置検出部と、
    前記挿入物の前記先端部分が前記所定の検出位置に配置されたことが前記先端位置検出部により検出されたことを受けて、挿入物検査モードとして、前記光音響波発生部から発生させた前記光音響波の検出信号の強度に基づく情報を前記画像表示手段に表示する制御部と
    を備えたことを特徴とする光音響画像生成装置。
  2. 前記制御部が、前記光音響画像上において前記所定の検出位置に対応する検出領域を表示する
    請求項1記載の光音響画像生成装置。
  3. 前記音響波検出部が、さらに前記被検体に対する音響波の送信によって反射された反射音響波を検出し、
    前記音響波検出部によって検出した前記反射音響波に基づいて、音響画像を生成する音響画像生成部を備え、
    前記制御部が、前記音響画像上において前記所定の検出位置に対応する検出領域を表示する
    請求項1記載の光音響画像生成装置。
  4. 前記所定の検出位置が、前記音響波検出部に対して相対的に変更可能である
    請求項1から3のいずれか1項記載の光音響画像生成装置。
  5. 前記制御部が、前記所定の検出位置の前記音響波検出部に対する相対位置に基づいて、前記挿入物を示す信号の強度を判定するときの基準強度を変更する
    請求項4記載の光音響画像生成装置。
  6. 前記制御部が、前記挿入物の前記先端部分を前記所定の検出位置に配置するときの方向を指示する表示を行う
    請求項1から5のいずれか1項記載の光音響画像生成装置。
  7. 前記制御部が、前記挿入物検査モードにおける前記挿入物を示す前記光音響波の信号強度に基づいて、ユーザに対する警告を行う
    請求項1から6のいずれか1項記載の光音響画像生成装置。
  8. 前記制御部が、前記挿入物検査モードにおける前記挿入物を示す前記光音響波の信号強度と、前記光音響波の信号強度と表示内容との関係を記録した表示マップとに基づいて、測定結果を表示する
    請求項1から7のいずれか1項記載の光音響画像生成装置。
  9. 前記制御部が、前記挿入物検査モードにおける前記挿入物を示す前記光音響波の信号強度の状態を、文字および/またはグラフにより表示する
    請求項1から7のいずれか1項記載の光音響画像生成装置。
  10. 前記音響波検出部が、前記光音響波を検出する複数の検出素子が配列された検出素子アレイを備え、
    前記制御部が、前記挿入物検査モードでは前記所定の検出位置に対応する一部の前記検出素子の受信信号のみを測定結果の生成に用いる
    請求項1から9のいずれか1項記載の光音響画像生成装置。
  11. 前記音響波検出部が、前記光音響波を検出する複数の検出素子が配列された検出素子アレイを備え、
    前記制御部が、前記挿入物検査モードでは前記所定の信号強度を超える信号を検出した一部の前記検出素子の受信信号のみを測定結果の生成に用いる
    請求項1から9のいずれか1項記載の光音響画像生成装置。
  12. 前記制御部が、前記光音響画像上において同フレーム内の最大振幅に対して所定の割合以上の振幅の点のみを表示する
    請求項1から11のいずれか1項記載の光音響画像生成装置。
  13. 前記制御部が、前記最大振幅に対して所定の割合以上の振幅の点について、信号強度に基づいた1つの色により表示させる
    請求項12記載の光音響画像生成装置。
  14. 前記制御部が、前記挿入物検査モードにおける検出結果に基づいて、検出された受信信号の強度が基準となる信号強度と同等になるように補正する
    請求項1から13のいずれか1項記載の光音響画像生成装置。
  15. 前記挿入物が、前記被検体に穿刺される針である
    請求項1から14のいずれか1項記載の光音響画像生成装置。
JP2019509073A 2017-03-29 2018-03-05 光音響画像生成装置 Active JP6704510B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017064580 2017-03-29
JP2017064580 2017-03-29
PCT/JP2018/008196 WO2018180223A1 (ja) 2017-03-29 2018-03-05 光音響画像生成装置

Publications (2)

Publication Number Publication Date
JPWO2018180223A1 true JPWO2018180223A1 (ja) 2020-01-09
JP6704510B2 JP6704510B2 (ja) 2020-06-03

Family

ID=63677361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509073A Active JP6704510B2 (ja) 2017-03-29 2018-03-05 光音響画像生成装置

Country Status (3)

Country Link
US (1) US11642030B2 (ja)
JP (1) JP6704510B2 (ja)
WO (1) WO2018180223A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043969A (ja) * 2013-08-02 2015-03-12 富士フイルム株式会社 光音響画像生成装置及び光源制御方法
JP2016036673A (ja) * 2014-08-11 2016-03-22 プレキシオン株式会社 光音響画像化装置および光音響画像化装置用の校正用部材
WO2017169188A1 (ja) * 2016-03-29 2017-10-05 富士フイルム株式会社 光音響計測装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013081764A (ja) * 2011-09-27 2013-05-09 Toshiba Corp 超音波診断装置及び超音波走査プログラム
US9849252B2 (en) * 2012-05-04 2017-12-26 Sofia Eleni Armes Electromechanical manipulating device for medical needle and syringe with sensory biofeedback and pain suppression capability
JP6066232B2 (ja) 2013-01-09 2017-01-25 富士フイルム株式会社 光音響画像生成装置及び挿入物
JP5819387B2 (ja) * 2013-01-09 2015-11-24 富士フイルム株式会社 光音響画像生成装置及び挿入物
CN109954196B (zh) * 2013-08-15 2021-11-09 直观外科手术操作公司 用于导管定位和插入的图形用户界面
JP6049208B2 (ja) * 2014-01-27 2016-12-21 富士フイルム株式会社 光音響信号処理装置、システム、及び方法
JP2015173922A (ja) * 2014-03-17 2015-10-05 株式会社東芝 超音波診断装置及び超音波診断装置制御方法
JP6371847B2 (ja) * 2014-06-30 2018-08-08 富士フイルム株式会社 光音響画像生成装置、信号処理装置、及び光音響画像生成方法
WO2016006188A1 (ja) * 2014-07-08 2016-01-14 富士フイルム株式会社 光音響画像生成装置及び挿入物
JP6301487B2 (ja) * 2014-09-29 2018-03-28 富士フイルム株式会社 光音響画像生成装置
EP3345551B1 (en) * 2015-08-31 2020-02-26 FUJIFILM Corporation Photoacoustic image generating device and insertion object
JP6732054B2 (ja) * 2017-02-10 2020-07-29 富士フイルム株式会社 光音響画像生成装置
US11504095B2 (en) * 2018-01-08 2022-11-22 Rivanna Medical, Inc. Three-dimensional imaging and modeling of ultrasound image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015043969A (ja) * 2013-08-02 2015-03-12 富士フイルム株式会社 光音響画像生成装置及び光源制御方法
JP2016036673A (ja) * 2014-08-11 2016-03-22 プレキシオン株式会社 光音響画像化装置および光音響画像化装置用の校正用部材
WO2017169188A1 (ja) * 2016-03-29 2017-10-05 富士フイルム株式会社 光音響計測装置

Also Published As

Publication number Publication date
US11642030B2 (en) 2023-05-09
US20200008683A1 (en) 2020-01-09
WO2018180223A1 (ja) 2018-10-04
JP6704510B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
US11304607B2 (en) Photoacoustic image generation apparatus, signal processing device, and photoacoustic image generation method
US10238299B2 (en) Photoacoustic image-generating apparatus and light source control method
US10492693B2 (en) Photoacoustic signal processing device, photoacoustic signal processing system, and photoacoustic signal processing method
JP6049215B2 (ja) 光音響計測装置並びにそれに利用される信号処理装置および信号処理方法
JP6374012B2 (ja) 光音響画像生成装置
JP6745889B2 (ja) 光音響画像生成装置
JP6628891B2 (ja) 光音響画像生成装置
JP6211497B2 (ja) 光音響画像生成装置
JP6704510B2 (ja) 光音響画像生成装置
US11779223B2 (en) Image generation apparatus and operation method
US11921202B2 (en) Photoacoustic image generation apparatus
JP6667649B2 (ja) 光音響画像生成装置
JP6250510B2 (ja) 光音響画像生成装置
JP6685413B2 (ja) 光音響計測装置
JP6847234B2 (ja) 光音響画像生成装置
JP6745888B2 (ja) 光音響計測装置
WO2016051764A1 (ja) 光音響画像生成装置
WO2019044212A1 (ja) 光音響画像生成装置および画像取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200512

R150 Certificate of patent or registration of utility model

Ref document number: 6704510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250