JP6322578B2 - 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム - Google Patents

機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム Download PDF

Info

Publication number
JP6322578B2
JP6322578B2 JP2014540150A JP2014540150A JP6322578B2 JP 6322578 B2 JP6322578 B2 JP 6322578B2 JP 2014540150 A JP2014540150 A JP 2014540150A JP 2014540150 A JP2014540150 A JP 2014540150A JP 6322578 B2 JP6322578 B2 JP 6322578B2
Authority
JP
Japan
Prior art keywords
image processing
processing system
image
light
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014540150A
Other languages
English (en)
Other versions
JP2015501194A (ja
Inventor
オラエフスキー,アレクサンダー
エルミロフ,セルゲイ
コンジュストー,アンドレ
ブレヒト,ペーター
ナドヴォレツキー,ヴャチェスラフ
スー,リチャード
ハーゾグ,ドナルド,ジー.
クリングマン,ブライアン
ザレフ,ジェイソン
Original Assignee
セノ メディカル インストルメンツ,インク.
セノ メディカル インストルメンツ,インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/287,759 external-priority patent/US20130109950A1/en
Priority claimed from US13/341,950 external-priority patent/US8686335B2/en
Priority claimed from US13/507,217 external-priority patent/US9289191B2/en
Application filed by セノ メディカル インストルメンツ,インク., セノ メディカル インストルメンツ,インク. filed Critical セノ メディカル インストルメンツ,インク.
Priority claimed from US13/667,808 external-priority patent/US20130289381A1/en
Priority claimed from US13/667,830 external-priority patent/US9757092B2/en
Publication of JP2015501194A publication Critical patent/JP2015501194A/ja
Application granted granted Critical
Publication of JP6322578B2 publication Critical patent/JP6322578B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A61B5/0095Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy by applying light and detecting acoustic waves, i.e. photoacoustic measurements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1702Systems in which incident light is modified in accordance with the properties of the material investigated with opto-acoustic detection, e.g. for gases or analysing solids
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204Acoustic sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/43Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4312Breast evaluation or disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本出願は、2012年11月2日出願の米国特許出願第13/667,808号、および同第13/667,830号の優先権を主張する。また、本出願は、「光音響データの取得およびそのパラメトリックマップ生成システムと方法(System and Method for Acquiring Optoacoustic Data and Producing Parametric Maps Thereof)」という名称の2012年6月13日出願の米国特許出願第13/507,217号、および、「光音響画像処理システムの光出力の調節システムおよび方法(System and Method for Adjusting the Light Output of an Optoacoustic Imaging System)」という名称の2011年12月31日出願の米国特許出願第13/341,950号、および、「ハンドヘルド光音響プローブ(Handheld Optoacoustic Probe)」という名称の2011年11月2日出願の米国特許出願第13/287,759号の一部継続出願である。これらの出願の全開示は、添付物を含め、参照により本明細書に組み込まれる。
本明細書で開示の少なくとも一部の実施形態は、一般的に、生物医学的な画像処理システムに関し、さらに具体的には、非侵襲的に皮膚を通して薄い組織切片を可視化するリアルタイム画像処理システムに関する。
医用超音波画像処理は、解剖学的分析に基づいて診断情報を提供し、種々の器官の組織形態を可視化するために確立された画像処理技術である。光音響画像処理は、医療用途において、組織光学的特性の変化に基づいて動物およびヒトの組織および器官のインビボおよびインビトロマッピングを行うために使われる。光音響断層撮影は、解剖学的、機能的および分子的画像処理を提供できるが、光音響画像処理の最も重要な価値は、赤血球の分子成分の内因性コントラストに基づく定量的機能情報を与える能力にある。機能画像処理の本質は、医師が特定の組織が正常に機能しているか否かを判断できるように、血液分布および酸素化度のマップを医師に提供することである。例えば、濃度増加領域および酸素飽和度の減少領域を同時に示す総ヘモグロビン量分布のマップは、潜在的悪性度を示す。分子画像処理の本質は、特定の健康状態に対する種々の対象分子の分布と濃度のマップを提供することである。例えば、細胞膜中の特定のタンパク質受容体の分布は、ヒトの疾患を治療するための医薬品および治療方法の設計を支援する分子生物学または細胞に対する洞察を与える。
一実施形態では、本発明は、皮膚を通して非侵襲的に薄い組織切片を可視化するリアルタイム画像処理システムを提供し、また、生物医学的に重要な情報を含む、独立した、および、重ね合わされた3枚の画像を提供する。具体的には、深部の生物学的組織構造の画像が、総ヘモグロビン濃度および血液酸素飽和度、などの組織機能状態の画像と正確に重ね合わされる。従って、この実施形態の本発明は、超音波画像処理および光音響画像処理技術を新しい方式で組み合わせる。これらにより提供される情報の相補的性質、および同じセットの超音波/圧力検出器および同じセットのアナログおよびデジタル電子機器を使って、組織から両タイプの信号を取得できるという事実を考慮すれば、これらの技術は、うまく組み合わせることができる。定量的情報の高レベルの正確さを実現し、実質的にリアルタイムで(すなわち、実質的な発生時に)見せるために、1つまたは複数の二波長短パルス幅レーザー、または複数の単一波長短パルス幅レーザー、光ファイバー光伝送システム、ハンドヘルド画像処理プローブ、その他の電子機器および処理ソフトウェアを利用した設計技法が開示される。
一実施形態では、少なくとも身体の一部の組織の深度まで切片の可視化を行うための画像処理システムが開示される。システムは、3枚の独立した画像を生成する処理サブシステムを含む。画像は、総ヘモグロビン濃度分布および血液酸素飽和度の分布を示す2枚の機能的画像、ならびに1枚の組織構造の形態学的画像を含み、この画像は、1個の、同じハンドヘルド画像処理プローブを利用して、時間および空間的に重ね合わされている。システムは、少なくとも身体の一部の表面に沿ってハンドヘルドプローブを走査することにより取得される組織の深部から作られた2次元切片から、前記身体の3次元画像を構築する機能を提供する3次元位置決めシステムを含んでもよい。
一実施形態では、画像処理方法は、少なくとも身体の一部の組織の機能的および解剖学的同時表示マッピングを提供する。超音波パルスは、組織中に送られ、身体形態に関連する種々の構造組織境界から反射された後方散乱超音波信号が検出される。電磁エネルギーの異なるスペクトル帯を有する2つの光学的パルスが伝送され、血液含有組織のヘモグロビンおよび酸化へモグロビンによる、2つの光学的パルスのそれぞれからの異なるエネルギー部分の選択的吸収から生じた過渡的超音波信号が検出される。検出された超音波信号は、ノイズを除去し、組織および検出システム部品を通る信号伝搬の過程での信号の変化を元に戻し、元の信号の一時的形状および超音波スペクトルを回復する処理が行われる。画像の再構築および処理が行われ、総ヘモグロビン濃度および血液酸素飽和度の部分的に透過性の機能的画像と同時表示され、重ね合わされた組織構造の形態学的画像が生成される。上記プロセスステップが、任意のビデオフレームレートで繰り返され、それにより、実質的に組織の機能的および形態学的変化が起こるときに、リアルタイム画像によりこうした変化を表示できる。
開示実施形態は、付随する図面中の図を使って例として説明されており、制限を意図するものではない。この図面では、類似の表示は、類似の要素を示す。
2本の光ビームをマージすることにより組織中で形成された散乱光ビームにより、皮膚を通して組織に照射を行う光音響プローブの実施形態を示す図である。 どのようにして、光音響プローブからのレーザー照射光および超音波信号が皮膚からプローブの音響レンズの方に散乱できるかを示す図である。 超音波振動子アレイの両側の光ビームを使って、また、生成される画像面に対して大きな角度で傾斜した振動子による検出を使って、皮膚のレーザーパルスにより誘導された横方向超音波の影響を示す光音響信号の図である。 光フルエンスの急激な変化を有する光学的照射ビームの端部効果に関連する画像アーチファクトの出現の実施形態を示す図である。 組織の光照射が、光音響プローブの下から、または異なる距離のプローブの側面から光エネルギーを伝送するハンドヘルド光音響プローブを使って行われる実施形態の図である。 音響レンズの光照射から保護されたハンドヘルド光音響超音波プローブの2つの実施形態を示す図である。 全く光学的反射のない音響レンズを備えたプローブ、およびレンズ関連画像アーチファクトを除去する金の光学的反射層を有するプローブを使った光音響画像を示す図である。 音波の端部効果および関連アーチファクトを生成する可能性のある鋭敏な端部を有する光ビーム、および端部関連アーチファクトの生成を低減する滑らかな端部を有する光ビームの実施形態を示す図である。 画像面の均等な照射を与え、端部関連光音響アーチファクトを減らす形状の複数のサブバンドルを含む出力ファイバーバンドルデザインを示す図である。 画像面の均等な照射を与え、端部関連光音響アーチファクトを減らす形状の複数のサブバンドルを含む出力ファイバーバンドルデザインを示す図である。 2個のプローブに対する光照射の効果を示す図である。この場合、各プローブの両側の2つのファイバーバンドルが、プローブの下の皮膚を直接照射するように向けられる。 平坦、凹または凸円弧形状を有する超音波プローブの実施形態を示す図である。 凹円弧形状を有するハンドヘルド光音響プローブを示す図である。 凹円弧形状を有するハンドヘルド光音響プローブの詳細を示す図である。 3枚の球形状対象の光音響画像を示し、大きな対象の場合でも、円弧空間(および、特に外側)の視野内の解像度が優れていることを示す図である。 光音響/超音波ハンドヘルドプローブ設計の代替実施形態を示す図である。 比較的狭い超音波感度周波数帯域の超音波振動子のインパルス応答、超広帯域超音波振動子のインパルス応答、および超広帯域および狭帯域共振型振動子に対する周波数の関数としての振動子感度の超音波スペクトルの例を示す図である。 検出された光音響信号からの振動子のインパルス応答のデコンヴォルーションの例を示す図である。デコンヴォルーションが元の変更のないN字型圧力信号を回復する。 5スケール、7スケールおよび9スケールに対して、ウェーブレットフィルターを通して、低周波数から高周波数までの範囲に対応する全スケールの加算により元の矩形圧力プロファイルを回復したN字型光音響信号の例を示す図である。 各振動子素子開口が、重み付けされ、振動子アレイの全開口で正規化される放射逆投影の図である。 小動脈、より大きな静脈および微小血管の可視化に対するシステム性能の評価を可能とする矩形グリッドを有する組織を介した撮像切片の光音響断層撮影画像の例を示す図である。 逆伝搬アルゴリズムおよび開口正規化逆投影アルゴリズムを使って平坦直線形状プローブで可視化される点像分布関数による光音響断層撮影画像を示す図である。 異なる深さに埋め込まれた毛髪を含むファントムの光音響画像の例を示す図である。この場合、第1の画像は、標準パレットの実施形態を使って生成され、第2の画像は、深さで正規化されたパレットの実施形態を使って生成された。 平坦直線形状プローブで得られた球状模擬腫瘍ファントムの光音響画像の例を示す図である。 完全に低酸素性の血液中の極大ヘモグロビン吸収波長(757nm)、および正常酸素化血液中に存在する酸化へモグロビンによる吸収に対する低酸素性ヘモグロビンによる吸収の最小比率波長(1064nm)にほぼ一致する2種の波長:757nmおよび1064nmでの吸収係数に基づく腫瘍識別の例を示す図である。 良性(箱形)および悪性(球状)腫瘍を模擬したファントムの2つの波長での吸収係数に基づく腫瘍識別を示す図である。 異なる血中濃度[SO2]を有する血液を満たした2本の交差チューブの光音響画像を示す図である。 乳溶液中におかれ、円弧形状光音響プローブを使って画像化された人工血管を含む実験装置の写真である。 血管の解剖学的画像と機能的画像とが同時表示された2D断面画像の図であり、異なる解剖学的および機能的画像の6枚の画像パネルを示す。 21Aの1064nm、および21Bの757nmの波長のレーザー照射下での、血液酸素飽和度の関数としての光音響信号振幅を示す図である(ヘマトクリットは一定)。これらのプロットは、血液酸素飽和度が、光音響画像処理によりモニター可能であることを示す。 ヘモグロビン、酸化へモグロビンおよび水の近赤外領域中で光エネルギーを吸収する主要組織発色団の光吸収スペクトルを示す図である。 腫瘍のある平均乳房の光学および音響特性を正確に再現するファントム中の同時表示された乳房腫瘍の機能的および解剖学的画像処理を示す図である。 同時表示された乳房腫瘍の機能的および解剖学的画像処理を示す図である。
(発明の詳細な説明)
以下の説明および図は、例示のためのものであり、限定するものと解釈されるべきではない。完全な理解を得るために多くの特定の詳細説明が記載される。しかし、特定の例では、記述を曖昧にするのを避けるために、周知のまたは通常の詳細事項は記載されない。本開示の1つのまたは任意の実施形態への言及は、必ずしも同じ実施形態への言及ではなく、このような言及は、少なくとも1つを意味する。
本明細書で、「一(an)実施形態」または「その(the)実施形態」に対する言及は、実施形態に関連して記載される特定の特徴、構造、または特性が、本開示の少なくとも一実施形態に含まれることを意味する。本明細書の種々の場所での語句の「一実施形態では」の出現は、必ずしも、全てが同じ実施形態に言及している必要はなく、また、相互に他の実施形態を除外する別のまたは代わりの実施形態でもない。さらに、いくつかの実施形態により示すことができるが、他の実施形態では示されない種々の特徴が記載される。同様に、ほかの実施形態では要件にならないが、一部の実施形態では要件である、種々の要件が記載される。
(システム概要)
少なくとも一部の実施形態では、本開示は、器官の皮膚表面に沿って走査するためのハンドヘルドプローブを使用する医用診断二重モダリティ超音波/光音響システムに関し、組織の深さでの2つのタイプ:解剖学的(形態学的)および機能的(血液ヘモグロビン指数および血液酸素化指数)2次元マップを提供する。一実施形態では、これらの2つのマップは、診断対象の組織中で起こりうるどのような生理的な変化よりも速く、同じアレイの超音波振動子を使って空間的に同時表示され、また、2つのタイプの画像をリアルタイムで取得することにより時間的に同時表示される。血液ヘモグロビン指数は、診断対象領域中のバックグラウンド血液濃度に対する診断対象の血液ヘモグロビン濃度変化を表す。血液酸素化指数は、診断対象領域中の血液酸素化のバックグラウンドレベルに対する血液酸素化の変化を表す。これらの同時表示マップを使って、良性腫瘤および嚢腫から悪性腫瘍を非侵襲的に鑑別できる。
一実施形態では、本開示の二重モダリティ超音波/光音響システムは、交換可能ハンドヘルドプローブを使って光エネルギーの伝送および生じた過渡圧力波の超音波検出を利用して身体の2次元画像処理を提供する。このプローブのうち、1個目は平坦で、調査対象身体の少なくとも平坦部分の並進スキャンを行うために使用され、2個目は、調査対象身体の少なくとも円柱状または湾曲部分の並進スキャンを行うために湾曲凹円弧形状であり、両スキャンは、身体の正常または病理学的機能のより完全な理解に寄与する。
一実施形態では、調査対象身体の少なくとも一部は、身体機能を受け持つヘモグロビンもしくは酸化へモグロビンなどの血液成分、または細胞機能を受け持つ細胞中の受容体、水、脂質もしくはその他の成分、などの分子を含む。
一実施形態では、少なくとも1本のレーザービームを使って生成された光エネルギーは、少なくとも1つの波長の光での身体照射に使われる。一実施形態では、光エネルギーは、望ましい空間解像度に等しい身体中の距離を通る超音波伝搬時間よりも短いパルス持続時間でパルス出力される。一実施形態では、光エネルギーは、532nm〜1064nmのスペクトル範囲内である。一実施形態では、光エネルギーは、1nm〜1mの波長の他の電磁エネルギーで置換される。
一実施形態では、超音波振動子により生成された電子信号は、高入力インピーダンスの低ノイズ広帯域電子増幅器を使って増幅される。一実施形態では、マルチチャネルアナログ・デジタル変換器によりアナログ電子信号がデジタル化され、フィールドプログラマブルゲートアレーを利用してさらに処理される。一実施形態では、超音波振動子は、反響がないか、または最小限の反響で超音波信号を検出する超広帯域振動子である。一実施形態では、システムは、異なる密度および/または音速を有する身体および身体の一部の音響境界の可視化を強化するために使用される超音波画像処理システムと統合される。
一実施形態では、このような信号の固有の光音響振幅およびプロファイルおよび身体中の光吸収係数分布を得るために、デジタル電子信号処理と組み合わせて、ハードウェア転送関数のデコンヴォルーションにより、光エネルギー伝搬および吸収の特性決定を行うことにより、標的分子、細胞または組織の濃度定量的測定が行われる。
一実施形態では、光音響造影剤を使って、対象の身体の一部が可視化される、または身体中の特定の分子、細胞または組織の分布の特性決定が行われる。
一実施形態では、システムは、少なくともレーザー、光伝送システム、光音響プローブ、電子システム、コンピュータおよび画像ディスプレイを含む。
<レーザー>
一実施形態では、レーザーは、2つの(またはさらに多い)異なる切替波長、すなわち、2つの異なるスペクトル帯で、短い、ナノ秒パルスの近赤外線を発光できる。一実施形態では、波長の1つは、血液ヘモグロビンにより優先的に吸収され、その他の波長は、血液中の酸化へモグロビンにより優先的に吸収される。一実施形態では、1つの波長(スペクトル帯)の第1のレーザーパルスで調査対象の器官の照射、および第1の照射から生じた第1の光音響信号プロファイルの検出、続けて、第2の波長帯域の第2のレーザーパルスでの照射、および第2の光音響信号プロファイルの検出、により、(i)血液ヘモグロビン指数および(ii)血液酸素化指数に基づいて、診断対象領域の機能マップ生成に使うことができる2枚の同時表示断層撮影画像の再構築に使用可能なデータを得ることができる。
<光伝送システム>
一実施形態では、光伝送システムは、光ファイバーバンドルを含む。一実施形態では、光ファイバーバンドルの入力部は、入射レーザービームに合わせるために環状であり、一方、ファイバーバンドルの出力部は、超音波振動子アレイのサイズと形状に合わせるために矩形である。一実施形態では、各ファイバーは、バンドルに優れた柔軟性を付与するために小さい直径である(例えば、50ミクロンまで小さくされる)。一実施形態では、ファイバーバンドルの入力チップを溶融し、バンドルを六角形の形状にして、バンドル中のファイバー間の空隙を除去し、それにより、レーザーエネルギー伝送の20%もの改良が行われる。一実施形態では、ファイバーバンドルの出力チップが、完全に無作為化され、それにより、入力部で相互に接近して現れたファイバーが、出力部で、または二股のファイバーバンドルの異なる分岐部でも、相互に離れて現れるようになる。
<光音響プローブ>
プローブは、光音響および超音波画像に高コントラストおよび高解像度を与えるように設計される。一実施形態では、プローブは、超音波/光音響振動子アレイを有するハンドヘルドプローブであり、これは、1次元、1.5次元、または2次元となるように設計できる。一実施形態では、振動子は、超広帯域の超音波周波数内の音波を検出し、超広帯域は、診断対象組織により放出される光音響信号のスペクトルに合うような形状にされる。また、一実施形態では、振動子は、短いリングダウン時間および徐々に大きさが減少する最小限の反響を有する短パルス幅の超音波として、音波を放出するように設計される。
このような設計を実現するために、振動子材料は、例えば、圧電セラミックス(例えば、PZT、PMN−PT、およびPZNT)、圧電単結晶(例えば、PZT、PMN−PT、およびPZNT)、圧電ポリマー(例えば、PVDFおよび共重合体PVDF共重合体)、ポリマーセラミック複合材およびポリマー結晶圧電材料複合材、ならびに静電型超音波マイクロ振動子(CMUT)、から選択できる。一実施形態では、振動子のバッキング層および前面整合層の中心周波数および材料を規定する振動子素子の厚さが最適化される。
種々の実施形態では、超音波振動子アレイの形状は、平坦でも、凹円弧であってもよい。平坦設計は、人体のようなプローブのサイズよりはるかに大きい曲率半径を有する調査対象器官の表面を走査するのに適する。凹円弧形状設計は、最小限の物理的寸法で光音響信号検出用の最大の開口を与える。さらには、より大きな開口は、アレイのそれぞれの端部振動子により、円弧の焦点を連結する直線により形成される視野角内で改善された方位分解能を提供する。円弧形状プローブは、プローブの半径にほぼ適合する半径で湾曲された身体表面(平均サイズの乳房、首、腕、および脚、など)の走査用として最も効率的である場合が多い。
図1Aは、光ディフューザ(LD)を介して拡大し、通過した後、光学的窓(OW)を通過するファイバーバンドル(FB)から発現する2本の光ビーム(OB)をマージして、組織中に形成される散乱光(SL)ビームにより皮膚(SK)を通して組織(TS)の照射を提供する光音響プローブの実施形態を示す。組織中の散乱光(SL)により血管または腫瘍(BVまたはTM)中で生成される音波(AW)は、音響レンズ(AL)中を通り振動子(TR)に伝搬し、電気ケーブル(EC)によって、バッキング材(BM)を通って電子増幅器に伝送される電気信号に変換される。
一実施形態では、光ファイバーバンドルの設計は以下の通りである。ファイバーバンドルの入力部は、ファイバー間の空隙による光損失を避けるように溶融ファイバーチップで円形にする。ファイバー直径は、良好な柔軟性のために約200ミクロンであってもよく、100ミクロン、または50ミクロンのファイバー直径でも、特定の適用には望ましい場合がある。このファイバーバンドルは、2つの半バンドルにY分岐され、完全に無作為化され、それにより、実質的に、入力部で認められたいずれの2つの隣接ファイバーも、異なる半バンドル中に現れる。少なくとも大部分の隣接ファイバーは、ここで無作為化される必要がある。各半バンドルは、複数のサブバンドルに分割され、各サブバンドルが、その溝/適所に置かれ、ファイバーバンドルの「パドル」を形成するのが好ましい。2つのパドルは、超音波振動子(TR)アレイのアセンブリの両側に置かれる。下記で考察されるように、図7Bおよび7Cを参照すると、各ファイバーバンドルパドルの出力形状は、視野の幅、典型的な例では、40mmの矩形で、三角形の端部を有してもよい。このような三角形の形状は、図1Aの光ディフューザ(LD)を通過後、出力ビームの端部が滑らかになる。最終的に、ファイバーバンドルパドルからの光ビームは、プローブから出て、光学的窓(OW)を通って皮膚(SK)中に入る。この光学的窓は、画像化される組織の値に整合する音響インピーダンスを有する薄い反射防止コートガラスプレートまたは反射防止コートポリマープレートもしくはプラスチックプレートを含む。
本光音響プローブ設計にはいくつかのターゲットがある:(i)光は、実質的に、音響レンズ(AL)を通って伝搬してはならず、またはプローブの両側の光学ブロック音響ダンパ(OBAD)を通って伝搬してもいけない。(ii)音響レンズ中でも、または光学ブロック音響ダンパ材料中でも、実質的に、光の吸収によって音波が生成されてはならない。0.1MHz〜15MHzの広範囲の超音波周波数の音波が、減衰なしで(AL)を通過できなければならず、また、いずれの超音波も、OBADを通過できてはならない。(iii)光学的窓(OW)を通って出てくる光ビーム(OB)は、光フルエンスの滑らかな端部をもっていなければならず、これらの光ビームは、皮膚内で光散乱によるマージを行うのに相互に必要な程度に近くで、皮膚に入らなければならず、また、アレイまたは振動子下層組織に入り、画像面中で最大フルエンスを与えなければならない。
一実施形態では、光伝送システムは、振動子素子のアレイを通すのではなく、振動子素子の下に光を向ける。一実施形態では、光音響プローブの設計は、可能な限り振動子に近いように配置され、超音波ビームの焦点を最も存在確率の高い標的の深さに合わせる必要性を考慮して、振動子の仰角軸の寸法が可能な限り小さい、超音波アレイの両側の光ファイバー伝送システムを有する超音波振動子アレイをベースにしている。一実施形態では、光ファイバー伝送システムは、近赤外線の光エネルギーを画像化される乳房などの器官中に侵入させるように、また、光ビームの皮膚との光−熱−機械的な相互作用を最小にさせるように、設計されている。
光伝送システムの別の代替設計は、超音波振動子の下に置かれた反射鏡またはプリズムに光を伝送して、光を直角に反射して画像化される器官の皮膚表面に向ける。このような実施形態では、振動子素子と皮膚/組織の間に距離を置くことができる。これらの代替実施形態は、本発明の範囲内で組み合わせることができる。
(システム要素の態様の詳細説明)
<光照射およびプローブ設計>
音響レンズは、典型的な例では、超音波ビームの焦点を合わせるために、光音響プローブ内の振動子上に置かれる。プローブは、音響レンズがなくても提供できるが、レンズがない場合は、超音波振動子は、直接光に曝露され、このような光を吸収する可能性があり、このような光がパルス出力される場合は特に、これにより、非常に大きなアーチファクトの超音波信号が生ずる場合がある。超音波プローブ上へのレンズの光照射は、画像アーチファクトに繋がる非常に強い過渡的音波を生じる。50%以下の近赤外線が、皮膚色に応じて、皮膚によって拡散的に散乱される可能性がある。振動子素子のレンズ間の音響インピーダンスのミスマッチは、長いリングダウン時間をもつ反響を起こす可能性がある。従って、プローブ設計の実施形態は、強散乱白色不透明レンズを含む。各振動子要素の湾曲形状によりこのようなレンズが必要でない場合は、白色強散乱前面整合層を採用して、近赤外光から振動子素子を保護する必要がある。
図1Bは、光音響プローブからのレーザー照射光110および120が、どのようにして皮膚140からプローブの音響レンズ150の方に散乱130ができるのかを示す。
さらに、(レーザー)光パルスは、画像面に直角の方向に皮膚表面に沿って横方向に横断する光パルスと、画像化される器官の皮膚との強力な相互作用により誘導された音波が、超音波振動子に直接影響を与える可能性がある。振動子アレイにより検出されると、これら音波の空間分布は、振動子アレイと皮膚表面の光ビームの間の横方向距離に等しい深さで、光音響画像上に投影され、アーチファクトを形成する。さらに、音響レンズの反響により皮膚で生成される音波およびプローブの筺体が、さらに画像処理の質に影響を与える可能性がある。
図2は、超音波振動子アレイの両側の光ビームを使った皮膚のレーザーパルスにより誘導された横方向超音波の影響を示す代表的光音響信号を示す。示された信号は、それから生成される画像面に対しほぼ直角の方向に振動子により生成される。このような振動子は、それから生成される画像面に対し大きな斜角(90°まで)で信号を受信できるが、これは望ましいことではない。従って、振動子アレイの設計は、画像面から出てくる信号を排除する手段を含む。このような手段には、限定されないが、振動子素子および音響レンズの凹円弧形状、ならびに振動子の下への光ビームの伝送が含まれる。2Aの検出光音響信号210は、効果的な超音波カップリング剤、このケースでは水、を使って生成された。2Bの信号220は、音響カップリング剤なしで、すなわち、空気間隙のみを使って、音響信号を振動子アレイにカップリングして生成された。
さらに、光ビームの有限の寸法が、光ビームの組織への衝突に応答して生成される音波に影響する可能性がある。このような音波が、光ビームの鋭敏な端部で生成され、振動子アレイの方向に伝搬し、アーチファクトを生ずる場合がある。平坦直線形状アレイの超音波振動子を利用するシステムは、アレイ中の最初および最後の振動子がこれらの波を最初に検出し、中央の振動子がこれらの波を最後に検出するように構成されているので、この「端部効果」は、光音響信号サイノグラム上にV字型アーチファクトを、および光音響画像上に低周波数バルクアーチファクトを生ずる。
図3は、光音響信号のサイノグラム300上のV字型アーチファクト310、および光音響画像上の関連アーチファクト320の顕在化例を示す。これらの音波は、光フルエンスの急激な変化を有する光照射ビームの端部効果と関連するので、一実施形態では、サイノグラム上にV字型高輝度信号および光音響画像上に一連の関連アーチファクト波を認めることができる。
さらに、光音響プローブから発射された光ビームの照射形状は、画像の質に影響を与える可能性がある。光音響プローブの光ビームが、非常に離れて配置される場合、これにより、暗視野照射(プローブの両側に別々の2本の光ビームがあり、その結果、画像面中のプローブ下には、直接の光がない)から明視野照射(画像面に沿って組織の深さに挿入するプローブ下の1本のビーム)に徐々に変化が起こる可能性がある。この変化は、画像輝度マップにおける問題を生じさせ、マップの定量的正確性がなくなり、プローブの両側の別々の光照射ビームの間の初期幅と同じ深さでアーチファクトを生じさせる。
図4は、組織の光照射が、光音響プローブの下からか、または異なる距離のプローブの側のいずれかから光エネルギーを伝送するハンドヘルド光音響プローブ410、420、430を使って実現される実施形態を示す。4Aの実施形態では、光ビームが超音波プローブの下から伝送される場合、画像面中の光エネルギーの分布は、皮膚表面で最大となる滑らかな勾配を有する。この光学的分布は、高コントラストの光音響画像を得るには有用である。4Bの実施形態では、光ビームが薄い光音響プローブの近くで伝送される場合は、2本のビームが皮膚内の光散乱によりマージでき、それにより、皮膚下の組織中の光エネルギーの分布が、4Aの実施形態と同様に形成される。4Cの実施形態では、光ビームが大きな距離により分離されている場合、それらは、組織内のかなりの深さでのみマージされ、組織の表面下層のダークゾーン(光なし)、および組織の深さ中のブライトゾーンが存在する、画像面での光学的分布を生成し、これは、特に、2本のビームの分離距離と同じ深さで、明るく照射された皮膚の領域の光音響画像面上への投影を考慮すると、光音響画像のコントラストに有害である。
従って、図4で示した実施形態では、走査される組織の画像輝度マップ412、422および432は、皮膚の照射が、プローブ410の直下にある場合に、最適化される。420および430に示すように、振動子の中心と光ビームの中心との距離が増加するに伴い、走査組織の画像輝度マップ422および432は、次第に不均一性が大きくなる。
最後に、皮膚で生成された後に、組織中に発射されたレーザー誘導超音波の、組織構造(腫瘍、血管または組織層など)の境界からの反射は、同様に、線、曲線、および全般的ノイズとして表される画像アーチファクトに繋がる場合がある。
一実施形態では、プローブの音響レンズは、照射要素からの光をレンズが反射し、散乱させるが、吸収はしないように設計されている。それでも、それは、光学的に不透明である。種々の実施形態では、このようなレンズは、光学的に強く散乱させる材料、例えば、二酸化チタンもしくは硫酸バリウム粉末を充填したシリコンゴムを使って、または薄い金属高反射層、例えば、アルミニウムもしくは金または不透明レンズ材料と金属層の組み合わせを使って作ることができる。一実施形態では、散漫散乱材料のレンズと薄い反射層(箔)とを組み合わせている場合、音響レンズ前面からの金属薄層の剥離を避けるために、散漫散乱材料のレンズと薄い反射層(箔)とを組み合わせている場合、散漫散乱材料の2つの層間に金属反射層を配置できる。光吸収が絶対的にゼロである材料を作るのは困難であり、このような吸収は、熱弾性材料中で超音波を生成する可能性があるので、レンズ材料は、最小限の熱膨張の熱可塑性材料から作ることが可能で、この材料は、吸収光エネルギーに応答して最小限の超音波を生成するか、または、全く生成しない。
図5は、それぞれ、ハンドヘルド光音響超音波プローブ510および520の2つの実施形態を示し、これらは、音響レンズの光照射から保護されている。5Aでは、完全に反射性不透明白色レンズが利用され、5Bでは、部分的に反射性白色レンズが利用され、レンズの光反射能が金層または金コーティングにより強化されている。
図6は、非反射性音響レンズを有するプローブ610、および金の反射層を有するプローブ620を使った光音響画像を示す。金の反射層を利用するプローブ620は、アーチファクト612および614が低減された画像を生成する。
一実施形態では、プローブの筺体がプローブの低エコー封入となり、これは、プローブの筺体が、(i)レーザー光(さらに具体的には、近赤外光)を吸収しない材料(しかし、少量の吸収が避けられない場合は、レーザー光の吸収後、超音波を放射しない低熱膨張の材料)で、(ii)超音波を大きく減衰させ、抑制し、反響しない材料、から作られることを意味する。プローブ筺体内での振動子アセンブリは、低エコー材料からでも作られる。あるいは、光と振動子アセンブリとの相互作用時のいかなる超音波の発生も避けるために、前記低エコー材料の層が、振動子アセンブリと光ファイバーアセンブリとの間に配置される。種々の実施形態では、このような材料は、例えば、バッフル、発泡体、ポリマー、ゴムおよびプラスチック用の白色多孔性および無響性混成複合材(例えば、Micro−Mark社(ニュージャージー州バークレーハイツ)から入手可能なCR−600注型用樹脂、またはSyntech Materials社(ヴァージニア州スプリングフィールド)から入手可能なAM−37)、などから選択できる。一実施形態では、特に、外部電磁放射からプローブを保護するために、このような材料は、いずれも電気的に非導電性の絶縁体である。
一実施形態では、光照射サブシステムは、滑らかな強度端部を有する光ビームを伝送するように構成される。一実施形態では、光ビームの幅は、光音響プローブ内の超音波振動子アレイの幅(例えば、約5mm)に等しい。これは、光ファイバーバンドルのファイバー密度を端部で徐々に減少するように設計することにより実現される。この設計により、調査対象器官の皮膚へのレーザー照射が可能となり、その結果、ビームが鋭敏な端部による超音波を生成せず、また、このようなレーザー誘導超音波が光音響画像のサイノグラム中のV字型アーチファクトを生成することもない。
図7Aは、超音波端部効果および関連アーチファクトを生成する可能性のある鋭敏な端部710を有する光ビーム、および端部関連アーチファクトの生成が低減された滑らかな端部を有する光ビーム720の実施形態を示す。図7Bおよび7Cは、複数のサブバンドルおよびファイバーバンドルアセンブリの両端に三角形の構造を有する光ファイバーバンドルの設計を使って、フルエンスの滑らかな端部を有する光ビームを作成できることを示す。
一実施形態では、ファイバーバンドルは、光ビームが所望の幅に広がるのに十分な皮膚からの距離で配置される。プローブの寸法がコンパクトである場合は、ファイバーバンドルに使われるファイバーは、より大きい開口数(例えば、0.22を超える)をもつように選択できる。一実施形態では、光ビームの皮膚へのより良好なカップリングを行うために、ビームは、光学的窓を介して伝送される。このような実施形態では、光学的窓が皮膚に接触し、より良好な光浸透性を得るために表面を平坦にし、同時に過剰なカップリングゲルを画像化対象皮膚表面から除去する。一実施形態では、ファイバーバンドルおよび光学的窓は、プローブ筺体中に組み込まれ、それにより、ファイバーバンドルと光学的窓との間のエアギャップが保護される。
一実施形態では、光学的窓は、光ビームおよびレーザー誘導超音波の両方と、このような窓との相互作用が最小限になるように設計される。一実施形態では、窓は、非常に薄く、反射防止(AR)光学コーティングを有する光学的に透明な材料から作られる。一実施形態では、このような材料は、無響音波的特性を持つ。これらの無響超音波特性、および照射を受けた皮膚が光音響走査時に凹むことにより、レーザー照射された皮膚表面から振動子アレイへ横方向に伝搬する超音波の抑制が生じ、その結果、関連アーチファクトが低減される。
一実施形態では、光ビームが超音波プローブの両側で振動子素子から非常に近くになるように、プローブが設計され、技術的に可能な限り薄く作られる。一実施形態では、プローブの厚さは、非常に小さく(例えば、5mm)、プローブ中心からこの距離、d、にある皮膚に伝送された光ビームが、皮膚の厚さ(約z=5mm)内の1本のビームにマージされ、調査対象器官の組織が振動子素子の下で1本のビームを受けるようにする。これは明視野照射と呼ばれる。一実施形態では、光音響プローブは、光学的光ビームが振動子素子の直下の皮膚に伝送されるように設計される。
図8は、2個のプローブ810および820の光照射の効果を示す。それぞれのプローブの両側の2つのファイバーバンドルは、プローブ812の直下の皮膚、およびプローブ822の両側の皮膚を照射する方向に配置される。皮膚がプローブ812直下で照射される場合、腫瘍814は、明確に認識可能であり、画像バックグラウンド816上に散乱は認められない。皮膚がプローブ822の両側で照射される場合、腫瘍824は、認識可能ではなく、画像バックグラウンド826上に多くのアーチファクトが認められる。
一実施形態では、ビーム幅は、画像化対象組織切片に、増大した光を伝送するように設計される。不均一ビームは、不均一性による音源を生成し、さらには、光音響画像中にアーチファクトを生成するので、一実施形態では、ビームは均一で、ビーム全体で一定のフルエンスを有する。フルエンスレベルは、レーザー皮膚照射のためのANSIレーザー安全基準により規定される。ビーム幅は、光のフォトンを振動子素子の下に配置される切片(画像化対象切片)の中心に伝送するための組織中での光散乱能力により制限される。一実施形態では、光ビームの長さは、振動子アレイの長さに等しい。また、鋭敏な端部は、光音響画像上に強力な端部アーチファクトを生成するので、一実施形態では、光ビームは、滑らかな端部、すなわち、端部で徐々に減少するフルエンスを有する。
一実施形態では、本開示の光照射システムおよび光音響プローブの設計の特徴を、下表にまとめる。
種々の実施形態では、一体化された光音響/超音波画像処理用の超音波振動子アレイの形状は、平坦または凸円弧形状であってよい。一実施形態では、光音響画像処理用のプローブ形状は、凹円弧形状である。このような凹形状は、画像化対象の最小限の物理的寸法の大きな開口、より広い視野を与え、さらには、画像化対象の改善された方位分解能および形状のより良好な再構築を与える。
図9A〜9Cは、平坦または凹円弧形状910の光音響/超音波ハンドヘルドプローブ(図9A)および直線形状920のハンドヘルド経直腸的プローブ(図9B)の実施形態を示す。図9Cは、超音波振動子アセンブリ、低エコー光反射および超音波減衰材料から成る両側の2つの層、ならびに2つの光ビーム伝送用光学的窓を備える面を有する光音響/超音波ハンドヘルドプローブ設計の詳細を示す。
図9Cは、凹円弧形状のハンドヘルド光音響プローブの詳細を示す。電気ケーブル930は、プローブとの双方向通信用に備えられ、光ファイバーバンドル940は、プローブに光を伝送するために備えられる。広帯域超音波振動子アレイ950は、音響エネルギーを送受する。振動子アレイ950は、広範囲にわたり近赤外光を散乱し、反射する不透明の白色円柱状レンズ(わかりやすいように図示せず)でカバーされる。光学的窓960は、光ビーム出力を送出する。実施形態の図9Cでは、プローブ内の超音波振動子は、横方向音波(超音波)に敏感でないように、また、特に、横方向で反響がないように設計してもよい。これは、圧電複合材材料、マトリックス中の圧電セラミック素子の形状、およびマトリックスの無響特性を選択することによって実現できる。また、一実施形態では、超音波振動子は、超音波周波数の超広帯域内で高感受性を持つように設計される。これは、さらには、光音響/超音波画像上のアーチファクトの原因となる反響を最小限にする。
図9Dは、光音響画像の解像度の観点から凹円弧形状ハンドヘルドプローブの利点を示す光音響画像である。この実施形態で示すように、対象物がプローブ開口の視野内にある場合には、大きな球形の形状および鋭敏な端部が明確に示されている。プローブ開口の外側では、解像度と形状の正確さの再現性が減少するが、しかし、類似幅の平坦直線形状プローブのものよりは、良好な状態で残っている。
図9Eは、種々の選択された深さで皮膚表面に平行になっている平面内で2次元画像処理ができる光音響/超音波ハンドヘルドプローブ設計の代替実施形態を示す。3次元画像の場合も同様である。
一実施形態では、皮膚表面に沿って走査され、身体中の調査対象組織のリアルタイム2次元画像を生成するハンドヘルドプローブもまた、プローブの正確な包括的3D位置決めの役割をする部品を有する。この設計は、画像処理システムに全組織切片の位置を記憶させ、走査手順の最後に3次元画像を再構築させる。
<電子データ取得システム>
一実施形態では、本開示は、光音響および超音波の両モードで動作し、これらのモード間を急速に切り替えることができる電子データ取得システムを有する光音響画像処理システムに関する。一実施形態では、これは、電子データ取得システムの主マイクロプロセッサであるフィールドプログラマブルゲートアレー(FPGA)の機能を制御するファームウェアを使って実現される。一実施形態では、再プログラム可能FPGAにより、光音響および超音波操作モード間をリアルタイムに切り替えることができ、その結果、超音波および光音響画像の同時表示を可能とし、この同時表示画像は、機能的および解剖学的マップに基づく画像診断に使用できる。一実施形態では、FPGAの機能には、リアルタイム画像再構築および処理のために、光音響および/または超音波データ、信号処理および伝達データを制御すること、取得すること、および保存することが含まれる。また、一実施形態では、FPGAは、超音波ビーム形成および画像再構築するために採用されてもよい。
一実施形態では、電子データ取得システム設計には、画像再構築および処理用の1つまたは複数のマルチコアグラフィカルプロセッサユニット(GPU)を利用する。超音波モードでは、一実施形態では、FPGAは、超音波伝送を制御し、マルチチャネルボードで超音波および光音響データの取得を行う。FPGAのメモリの操作性を高めるために、外部メモリバッファを使ってもよい。一実施形態では、FPGAは、約2〜20kHz信号/フレームの繰り返し率での超音波データ取得を、約10〜20Hz信号/フレームの繰り返し率での光音響データ取得に、急速に書き換えることを可能とし、また、ゲート構造ならびに内部メモリ構造およびサイズを超音波発生と検出、レーザー同期化、およびシステム制御の間でリアルタイム切り替えを可能とするように構成される。一実施形態では、複数のFPGAを使って、システム性能を高めることができる。一実施形態では、超音波および光音響モードで、FPGAクロックを、適切な時分割多重化(TDM)により変更できる。一実施形態では、マルチチャネル電子データ取得システムの設計は、モジュールベースであってもよく、モジュールは、典型的な例では、16〜128チャネルであるが、一部の適用では、256チャネル以上が適切な場合もある。一実施形態では、マルチチャネル電子データ取得システムの設計は、64チャネル構成である。
光音響/超音波システムの二重モダリティ操作を実現するために、別々の光音響電子システムが、別々の超音波電子システムと単一プローブを介して組み合わされてもよい。一実施形態では、プローブは、プローブを光音響および超音波電子システムに接続するY分岐を有するケーブルを有する。一実施形態では、プログラム可能電子スイッチは、検出信号をプローブ(振動子アレイ)から光音響電子機器(光音響モードで機能するために)または超音波電子機器へ、さらに、超音波電子機器からプローブ(超音波モードで機能するために)へ送信可能とする。一実施形態では、同期化のトリガー信号が、光音響および超音波システムに順次送信され、それにより、光音響および超音波画像が次々に取得される。
<画像の処理、再構築および表示>
信号処理
種々の実施形態では、画像診断手順の目的は、画像上に表示された組織の各ボクセルで最初に生成された信号を正しく再現する明るさで各ピクセルを表示することである。他方、組織内の光パルスにより生成される固有の圧力信号は、組織を通る伝搬の過程、および特に、超音波振動子および電子機器サブシステムによる検出と記録の過程で、大きく変えられる場合がある。
一実施形態では、検出信号は、変化を逆転させ、元の信号に戻すように処理される。一実施形態では、このような逆転は、システムインパルス応答(IR)のデコンヴォルーションにより実現できる。一実施形態では、インパルス応答は、高熱弾性膨張係数の強吸収性光媒体中で短(ナノ秒)レーザーパルスにより生成されるデルタ関数超音波信号を記録し、デジタル化することにより測定できる。
インパルス応答の1成分は、音響電気インパルス応答であり、これは、超音波振動子、ケーブルおよびアナログ電子機器の特性に起因する光音響または超音波信号歪みを与える。インパルス応答の2つ目の成分は、超音波振動子の有限の次元に関連する信号歪みを与える空間インパルス応答である。種々の実施形態では、大きな振動子は、全ての角度での超音波入射を統合できるが、一方、点光源様振動子は、完全な、または完全に近いデルタ関数空間のインパルス応答を提供できる。
一実施形態では、音響電気インパルス応答中に発生し得るどの歪みも、検出信号からのインパルス応答のデコンヴォルーションにより逆転可能である。しかし、空間インパルス応答中の可能な歪みは、画像面内の小さい寸法の振動子を設計することにより避けることができる。一実施形態では、振動子の寸法は、振動子により検出または発生できる超音波の最短波長よりかなり小さい。
図10は、比較的狭帯域感度の超音波振動子1010のインパルス応答、超広帯域超音波振動子1020のインパルス応答、ならびに、超広帯域および狭帯域共振型振動子1030に対する振動子感度の周波数の関数としての超音波スペクトルの例を示す。
一実施形態では、2次元光音響画像を生成する画像処理システムにおける光音響信号処理の最初のステップは、音響電気インパルス応答のデコンヴォルーションである。
図11は、検出光音響信号1110からの振動子のインパルス応答のデコンヴォルーションの例を示す。デコンヴォルーションは、元の、前と同じN字型圧力信号1120を復元する。
一実施形態では、光音響信号の処理の第2のステップは、信号フィルターを使ってノイズを除くための信号フィルタリングである。一実施形態では、信号フィルターは、周波数および時間ドメインで同時に機能するウェーブレット変換に基づいている。一実施形態では、このようなウェーブレットフィルターは、ノイズに属し、所与の時間に出現する特定の周波数成分をフィルタリングする一方で、異なる時間に出現する有用な信号と類似の周波数成分を保持することが可能である。一実施形態では、ウェーブレットフィルターの周波数スペクトルは、典型的なN字型光音響信号の周波数帯域を再現し、また、同時にコンボリューション時に信号歪みを生じない滑らかなウインドウ端部を与える。
一実施形態では、このようなウェーブレットフィルターは、圧力伝搬の前に組織中で生成される元の圧力プロファイルを復元する能力の観点から、光音響画像処理に有用である。組織を通る伝搬の過程で、元の正圧信号が二極性(圧縮/張力)プロファイルに変換される。従って、吸収光エネルギーの画像(光音響画像)の再構築では、二極性信号から始まり、全て正値の光音響画像強度を与える変換が必要となる。一実施形態では、多重スケールウェーブレットフィルター、例えば、時間に対し信号を同時に積分し、信号中に存在するいくつかの周波数帯域の加算を与えるフィルターは、二極性圧力信号を、熱エネルギーまたは最初に生成された正圧を表す単極信号に変換できる。
図12は、5スケール1210、7スケール1220および9スケール1230に関して、ウェーブレットフィルターを通して、低周波数から高周波数までの範囲に対応する全スケールの加算により元の矩形圧力プロファイルに復元されたN字型光音響信号の例を示す。
種々の実施形態では、ウェーブレットフィルタリングは、特定の寸法範囲内の画像上の対象の強調を可能とする。画像処理操作者(超音波技術者または診断放射線科医)は、典型的な例では、特定の寸法の腫瘍や特定の寸法の他の対象、例えば、血管をより良く可視化することを希望する。一実施形態では、ウェーブレットフィルターは、特定のサイズの対象の強調や、他の重要でない大きさの対象の抑制のみでなく、操作者に独自に選択されたウェーブレットフィルタースケールの適用を可能とする。一実施形態では、境界は、いずれのサイズの対象に対してもよく可視化でき、高周波数ウェーブレットのスケールは、画像の質にとって有益であり、スケールの選択に含まれる。一実施形態では、数学的に正確な断層撮影再構築のために、ランプフィルターを信号に適用でき、これはさらに高い周波数の寄与を直線的に強調できる。
画像再構築
種々の実施形態では、画像再構築は、典型的な例では、処理された、および、フィルタリングされた信号の画像面への放射逆投影を使用する。しかし、小さいハンドヘルドプローブから利用出来る限定された視野のために、不完全なデータセットのみ、得ることができる。結果として、2D光音響画像は、画像上に表示される対象の形状および明るさを歪ませるアーチファクトを含む可能性がある。一実施形態では、開口積分正規化放射逆投影(aperture integrated normalized radial back projection)を使って、制限された開口による光音響断層撮影で観察される一部の再構築アーチファクトが補正される。
図13は、各振動子素子開口が振動子アレイの全開口に対し重みづけられ、正規化される場合の放射逆投影の説明図である。
一実施形態では、T〜Tk+4、1311〜1315は、アレイ中の振動子1310である。振動子#kにより可視化される場合、Bi、jは、座標(i、j)のピクセルの明るさ(強度)、ωi、j、k1320、1330は、ピクセル(i、j)により放出された光音響波面の角度部分である。全振動子アレイにより可視化される場合、Ωi、j=Σωi、j、k(全ωi、j、kの合計)は、光ピクセル(i、j)により放出された光音響波面部分である。さらに、Si、j、kは、kth振動子により測定され、ピクセル(i、j)での明るさの再構築に使われる光音響信号サンプルである。種々の逆伝搬アルゴリズムを使って光音響画像を正規化できる。
一実施形態では、逆伝搬アルゴリズムは、下式で表現できる:
しかし、少なくとも一部の実施形態では、開口正規化逆投影は、優れた画像が得られる。一実施形態では、開口正規化逆投影は、下式で表現できる:
図14は、腫瘍血管新生モデルの撮像切片の光音響断層撮影画像の例1410および1420である。第1の画像1410では、すぐ上の最初のアルゴリズムのような逆伝搬アルゴリズムを使って、画像が正規化される。得られた画像は、アレイ表面の近くにある血管1414の周りの強く明るい円弧形状アーチファクト1412を有する。第2の画像1420では、すぐ上の2つ目のアルゴリズムのような開口正規化逆投影アルゴリズムを使って、画像が正規化される。図からわかるように、開口正規化逆投影アルゴリズムは、画像の明るさを補正し、円弧形状アーチファクトを低減する。
図15は、すぐ上の最初のアルゴリズムのような逆伝搬アルゴリズムを使って(1510)、およびすぐ上の2つ目のアルゴリズムのような開口正規化逆投影アルゴリズムを使って(1520)、平坦直線形状プローブで可視化した場合の、点像分布関数による光音響断層撮影画像の例1510および1520である。図からわかるように、開口正規化逆投影アルゴリズムは、画像明るさを補正し、アーチファクトを減らす。
画像処理および表示
一実施形態では、光音響画像パレットは、組織内の光分布の影響を減少させるために同一にされる。このような同等化は、浅い対象、および深い対象の両方をより良く可視化するために、光音響画像のダイナミックレンジを変える。
図16は、異なる深さに埋め込まれた毛髪を含むファントムの光音響画像の例1610および1620である。第1の画像1610は、標準的パレットの実施形態を使って生成され、第2の画像1620は、深さで正規化されたパレットの実施形態を使って生成された。図からわかるように、深さで正規化されたパレットの利用により、図示実施形態中の深い位置の対象の視認性が高められる。
一実施形態では、単一光音響画像取得(異なるチャネル)の主成分分析(PCA)を使って、相互相関信号ノイズが除去される。光音響信号のデータセットの主成分分析により、相関画像クラッターを除去できる。また、光音響フレームの主成分分析により、相関画像クラッターが除去できる。
図17は、平坦直線形状プローブで得られた球状人工腫瘍のファントムの光音響画像の例1710および1720である。第1の画像1710は、主成分分析処理を行わなかった生の画像である。第2の画像1720は、第1の主成分のデコンヴォルーションで主成分分析処理を行った。図からわかるように、主成分分析処理の利用により、特に、アーチファクト低減により画像の質が高められる。
一実施形態では、本開示の設計における信号および画像処理の特徴を、下表2のようにまとめることができる。
診断画像再処理
機能的画像診断の原理は、腫瘍病態生理学に基づくことが可能である。例えば、悪性腫瘍では、総ヘモグロビン濃度が高められ、血液ヘモグロビン中の酸素飽和度レベルが低減される。一実施形態では、光音響画像は、再処理され、特に、(i)総ヘモグロビン[tHb]および(ii)ヘモグロビンの酸素飽和度[SO2]の画像に変換できる。図18は、2つの乳房腫瘍の例を示す。
図18は、2つの波長、755nm(1810)、および1064nm(1820)(これらは、酸化へモグロビンによる吸収に対するヘモグロビン(低酸素性の血液)による吸収の比率が極大になる波長:757nm、および極小になる波長:1064nm、に相当)での吸収係数に基づく腫瘍識別の例を示す。図からわかるように、悪性腫瘍(1830)は、757nmで、良性腫瘍(1840)よりも高い吸収係数を有し、一方、良性腫瘍(1840)は、1064nmで、悪性腫瘍(1830)よりも高い吸収係数を有する。
図19は、ファントム中の2つの波長(1910および1920)での吸収係数に基づく光音響画像処理による腫瘍識別の例を示す。757nm(1920)では、悪性腫瘍のモデル(1922)は、明確に認識可能であるが、一方、悪性腫瘍のモデル(1922)は、1064nm(1910)で明確に認識できない。
図20Aは、異なる血中濃度[SO2](左側のチューブは98%、右側のチューブは31%)を有する血液を充填した2本の交差チューブの光音響画像を示す。チューブを、ヒトの乳房で認められるものと類似の光学的特性を有する1%脂肪乳中に置いた。この画像に使用したレーザー照射波長は、1064nmである。図20Bは、乳溶液中に配置され、円弧形状光音響プローブで画像化された人工血管を含む実験設定の写真である。図20Cは、同時表示された6枚の血管の2D断面の解剖学的および機能的画像パネルである:(1−上段左)血管を有する身体の解剖学的超音波画像;(2−上段右)757nmの波長で取得された光音響画像;(3−下段右)1064nmの波長で取得された光音響画像;(4−下段左)総ヘモグロビン量[tHb]の機能的画像;(5−下段中央)血液酸素飽和度[SO2]の機能的画像;(6−上段中央)総ヘモグロビン量の最大濃度領域でのみ現れる血液酸素飽和度の機能的画像。図20Cの上段右および下段右パネルの生の光音響画像は、異なるレベルの総ヘモグロビン濃度[tHb]および血液酸素飽和度[SO2]の血液を含む血管の異なる明るさを示すが、正確な定量的測定は、身体組織の光照射の正規化フルエンスの条件下で、深さの関数として行うことができる。これらの光音響画像を使って、総ヘモグロビン量[tHb]および血液酸素化[SO2]の機能的画像が再構築された。図20Cに示された全ての機能的画像は、より適切な特徴の相関を取るために、組織構造の解剖学的画像と同時表示し、重ね合わせた。
図21は、21Aの1064nmの波長、および21Bの757nmの波長でレーザー照射した場合の、血液酸素飽和度の関数としての光音響信号の振幅を示す(ヘマトクリット値は、一定)。これらのプロットは、血液酸素飽和度が、光音響画像処理でモニター可能であることを示す。具体的には、この実施形態は、種々のレベルの酸素飽和度(30%〜98%)および赤血球中ヘモグロビン(38g/dL)[tHb]のヘマトクリットを有する血液中の光音響信号振幅の測定値に基づく定量的データを示す。報告されている血液の吸収スペクトルから予測されるように、酸素飽和度のレベルの増加と共に、1064nmの照射での光音響信号の振幅が増加するが、一方、757nmの照射波長では、血液酸素化の増加と共に、光音響信号振幅が減少する。
図22は、近赤外範囲で光エネルギーを吸収する主要組織発色団:ヘモグロビン、酸化へモグロビンおよび水の光吸収スペクトルを示す。機能的画像処理用の好ましいレーザー波長は、最大および最小[HHb]/[O2Hb]比率に対応する757nmおよび1064nmである。一方、800nmの波長は、総ヘモグロビン量[tHb]の測定全体の較正の目的に最適である。
図23は、腫瘍のある平均乳房の光学および超音波特性を正確に再現するファントム中の同時表示された乳房腫瘍の機能的および解剖学的画像処理を示す。23Aは、超音波に基づく悪性腫瘍の形態学的モデルの2D画像(左)、総ヘモグロビン濃度の機能的画像(中央)と血液酸素化の機能的画像(右)とが同時表示された同じ解剖学的画像を示す。23Bは、良性腫瘍モデルの2D画像であり、超音波に基づく形態学的画像(左)、総ヘモグロビン濃度の機能的画像(中央)と血液酸素化の機能的画像(右)とが同時表示された同じ解剖学的画像である。
図24は、同時表示された乳房腫瘍の機能的および解剖学的画像処理を示す。24Aは、粗面境界、不均一形態、高濃度の総ヘモグロビンおよび低酸素飽和度(低酸素症)を有する悪性腫瘍である浸潤性乳管癌の2D画像を示す。この悪性腫瘍の形態は、左の画像の超音波、及び中央の画像の血液酸素化の機能的画像と右の画像の総ヘモグロビン濃度の機能的画像とが同時表示される同じ解剖学的画像に基づく。24Bは、比較的丸みを帯びた境界、正常酸化へモグロビン濃度および比較的低い総ヘモグロビン量を有する良性腫瘍である線維腺腫のある乳房の2D画像を示す。乳房形態は、左の画像の超音波に基づき、同じ解剖学的画像が中央の血液酸素化の機能的画像と右の総ヘモグロビン濃度の機能的画像と共に同時表示される。
結論
一部の実施形態は、十分に機能するコンピュータおよびコンピュータシステムに実装可能であるが、種々の実施形態は、コンピュータ製品として種々の形態で配布可能であり、実際の配布に使用される特定のタイプのマシンまたはコンピュータ可読メディアに関わらず、適用可能である。
少なくとも一部の開示態様は、少なくとも一部は、ソフトウェアで具体化可能である。すなわち、本明細書記載の技術は、メモリ、例えば、ROM、揮発性RAM、不揮発性メモリ、キャッシュまたは遠隔記憶装置中に含まれる一連の命令を実行するマイクロプロセッサなどのプロセッサに対応した特殊用途用または汎用コンピュータシステムまたは他のデータ処理システムを使って実施可能である。
実施形態を実行するために行われるルーチンは、オペレーティングシステム、ファームウェア、ROM、ミドルウェア、サービス提供プラットホーム、SDK(ソフトウェア開発キット)構成要素、ウェブサービス、またはその他の特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュールまたは「コンピュータプログラム」と呼ばれる命令の手順の一部として実行されてもよい。これらのルーチンの起動インタフェースは、ソフトウェア開発コミュニティーにAPI(アプリケーションプログラミングインタフェース)として公開してもよい。コンピュータプログラムは、典型的な例では、コンピュータ中の種々のメモリおよび記憶装置中の反復される1つまたは複数の命令セットを含み、この命令セットが、コンピュータ中の1つまたは複数のプロセッサにより読み取られ、実行される場合、コンピュータに種々の態様を含む要素の実行に必要な操作を行わせる。
マシン可読メディアを使って、ソフトウェアおよびデータを保存でき、これらは、データ処理システムにより実行される場合、システムに種々の方法を実行させる。実行可能ソフトウェアおよびデータは、例えば、ROM、揮発性RAM、不揮発性メモリおよび/またはキャッシュ、などの様々な場所に保存できる。このソフトウェアおよび/またはデータの一部は、これらの記憶装置のいずれか1つに保存できる。さらに、データおよび命令は、集中型サーバーまたはピアツーピアネットワークから入手可能である。データおよび命令の異なる部分は、異なる時間および異なる通信セッションで、または同じ通信セッションで、異なる集中型サーバーおよび/またはピアツーピアネットワークから入手可能である。データおよび命令は、アプリケーションの実行の前に全体を入手可能である。あるいは、一部のデータおよび命令は、実行のために必要なタイミングに合わせて、動的に取得できる。従って、特定の時間に、データおよび命令の全体をマシン可読メディアに置いておく必要はない。
コンピュータ可読メディアの例には、限定されないが、特に、書込み可能な、および読み込み専用タイプメディア、例えば、揮発性および不揮発性記憶装置、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、フラッシュメモリ装置、フロッピーおよびその他のリムーバブルディスク、磁気ディスク記憶媒体、光学的記憶媒体(例えば、コンパクトディスク読み出し専用メモリ(CD ROM)、デジタル多用途ディスク(DVD)、など)、が含まれる。
一般的に、マシン可読メディアは、マシン(例えば、コンピュータ、ネットワーク装置、携帯情報端末、製造用ツール、一連の1つまたは複数のプロセッサを備えるいずれかの装置、など)によりアクセス可能な形態の情報を提供(例えば、保存)する全ての機構を含む。
種々の実施形態では、配線接続回路は、ソフトウェア命令と組み合わせて、技術を実行できる。従って、技術は、ハードウェア回路およびソフトウェアのいずれの組み合わせにも、データ処理システムにより実行される命令を出すいずれの特定のソースにも限定されない。
一部の図は、いくつかの操作を特定の順序で例示するが、順序依存性ではない操作は、再度順序を設定でき、他の操作が組み合わされても、または突然発生してもよい。一部の再順序設定、またはその他のグループ化については、具体的に述べられるが、他のものについては、当業者には明らかであろうから、代替事項の網羅的リストは提示されない。さらに、ステージは、ハードウェア、ファームウェア、ソフトウェアまたはこれらのいずれかの組み合わせで実行可能であることを認識されたい。
前述の明細書では、本開示は、特定の代表的実施形態に基づき説明されてきた。次の請求項で言及されるより広い趣旨および範囲を逸脱することなく、種々の修正がなしうることは、明らかであろう。従って、明細書および図は、制限的な意図はなく、例示的意図を持つと見なされるべきである。

Claims (50)

  1. 少なくとも身体の一部の組織の深さまで切片を可視化するための画像処理システムであって、
    光放出部および超音波振動子アレイを含むハンドヘルド画像処理プローブ;および
    前記ハンドヘルド画像処理プローブ由来の超音波信号を含むデータを受け取り、前記データの少なくとも一部に基づいて少なくとも3枚の独立した画像を処理するように構成された処理システム、
    を含み、
    前記少なくとも3枚の独立した画像の処理は、i)前記ハンドヘルド画像処理プローブのハードウェアに関連するインパルス応答のデコンヴォルーションであって、前記インパルス応答は強吸収性光媒体中で短レーザーパルスにより生成されるデルタ関数超音波信号に基づいているデコンヴォルーションと、ii)ノイズを除くための信号フィルタリングであって、前記デコンヴォルーションおよび前記信号フィルタリングによって、組織および前記ハンドヘルド画像処理プローブの前記ハードウェアを通る信号伝搬の過程で生じる信号の変化を元に戻す信号フィルタリングとを、含んでおり
    前記3枚の独立した画像が、
    総ヘモグロビン濃度分布を反映する第1の機能的画像;
    血液酸素飽和度分布を反映する第2の機能的画像;および
    組織構造の形態学的画像;
    を一緒に含み、
    前記処理システムが、前記第1の機能的画像、前記第2の機能的画像、および前記形態学的画像を時間的、空間的に実質的に同時表示し、実質的に同時表示された画像を出力するようにさらに構成された、
    画像処理システム。
  2. 前記ハンドヘルド画像処理プローブ中の前記光放出部および前記超音波振動子アレイが、概ね平坦直線形状に配列された請求項1に記載の画像処理システム。
  3. 前記ハンドヘルド画像処理プローブ中の前記光放出部および前記超音波振動子アレイが、湾曲凹円弧形状に配列された請求項1に記載の画像処理システム。
  4. 前記ハンドヘルド画像処理プローブが、前記超音波振動子アレイのそれぞれの側に位置する少なくとも2本の光ビームを生成し、それにより、前記超音波振動子アレイの下で、皮膚の厚さ以内の距離で、前記光ビームが1本のビームにマージされる程度の前記光ビーム間の角度と距離で光エネルギーを皮膚表面に伝送するように構成される請求項1に記載
    画像処理システム。
  5. 1つまたは複数の二波長短パルス幅レーザーをさらに含む請求項1に記載の画像処理システム。
  6. 複数の単一波長短パルス幅レーザーをさらに含む請求項1に記載の画像処理システム。
  7. 光ファイバー光伝送システムをさらに含む請求項1に記載の画像処理システム。
  8. あるビデオフレームレートで動作させることにより、実質的にリアルタイムで画像を提示するように構成される請求項1に記載の画像処理システム。
  9. 光発光部分のハンドヘルド光音響プローブが、前記超音波振動子アレイ面の下またはその側面のいずれかから光エネルギーを伝送するように構成される請求項1に記載の画像処理システム。
  10. 前記ハンドヘルド画像処理プローブが、音響レンズを含む請求項1に記載の画像処理システム。
  11. 前記音響レンズが、光反射材料を含む請求項10に記載の画像処理システム。
  12. 前記光反射材料が、前記音響レンズとの光相互作用に関連する画像アーチファクトを除去する高光反射金属薄層を含む請求項11に記載の画像処理システム。
  13. 前記音響レンズが、白色不透明材料から形成される請求項12に記載の画像処理システム。
  14. 前記高光反射金属薄層が、アルミニウム、金、または銀を含む請求項12に記載の画像処理システム。
  15. 前記ハンドヘルド画像処理プローブが、複数のサブバンドルを含む出力ファイバーバンドルを含む請求項1に記載の画像処理システム。
  16. 前記複数のサブバンドルが、前記画像面に均一の照射および滑らかな照射端部を提供し、それにより、端部関連光音響アーチファクトを減らすような形状にされる請求項15に記載の画像処理システム。
  17. 前記超音波振動子アレイが、中心周波数から200%までの帯域の超広帯域の超音波周波数帯感度を有する超音波振動子を含む請求項1に記載の画像処理システム。
  18. 前記ハンドヘルド画像処理プローブが、入射レーザービームに適合する形状を有する入力ファイバーバンドルを含む請求項1に記載の画像処理システム。
  19. 前記ハンドヘルド画像処理プローブが、ファイバー間の空隙を通る光の損失を避けるように前記バンドル中の実質的に全ファイバーを再成形した熱融合ファイバーバンドルチップを有する入力ファイバーバンドルを含む請求項1に記載の画像処理システム。
  20. 前記ハンドヘルド画像処理プローブが、少なくとも2つのサブバンドルをさらに含み、各サブバンドル中のファイバーが無作為に位置付けられ、それにより、ファイバーバンドルの入力時の2つの隣接ファイバーがファイバーバンドルの出力の異なるサブバンドル中に現れるファイバーバンドルを含む請求項1に記載の画像処理システム。
  21. 前記ハンドヘルド画像処理プローブが、少なくとも2つのサブバンドルを有し、少なくとも第1のサブバンドルが前記超音波振動子アレイの一方の側に置かれ、第2のサブバンドルが前記超音波振動子アレイの他方の側に置かれ、各サブバンドルがさらに小さいサブバンドルに構造的に分割され、それぞれのさらに小さいサブバンドルが前記サブバンドル中に構造的に位置付けられている溝の中に構造的に位置付けられ、それにより、光ビームの制御されたプロファイルを提供するファイバーバンドルを含む請求項1に記載の画像処理システム。
  22. 前記ハンドヘルド画像処理プローブが、ファイバーバンドルを含み、このバンドルが、前記超音波振動子アレイのサイズおよび形状を補完する形状にされている光ビームを生成する請求項1に記載の画像処理システム。
  23. 前記ハンドヘルド画像処理プローブが、三角の形状の端部を有し、それにより、光ディフューザを通過後に出力ビームが滑らかな端部の光フルエンスを有することができる出力ファイバーバンドルを含む請求項1に記載の画像処理システム。
  24. 前記ハンドヘルド画像処理プローブが複数の光学的窓を含み、それぞれが画像化対象組織に整合する超音波インピーダンスを有する1つまたは複数の反射防止コートプレートを含む請求項1に記載の画像処理システム。
  25. 前記反射防止コートプレートが、ガラス、ポリマーまたはその他の光学的に透明な固体材料を含む請求項24に記載の画像処理システム。
  26. 前記ハンドヘルド画像処理プローブが、
    第1および第2の光ディフューザ;
    第1および第2の光学的窓;
    少なくとも2つの出力ファイバーバンドルであって、少なくとも2つの出力ファイバーバンドルからそれぞれ出現する光ビームは、前記それぞれの光ディフューザを通過して、次に、前記それぞれの光学的窓を通過して、その後、少なくとも部分的にマージされるように、配置された少なくとも2つの出力ファイバーバンドル、
    を含む請求項1に記載の画像処理システム。
  27. 前記ハンドヘルドプローブの位置を制御し、それにより、少なくとも前記身体の一部の表面に沿って前記ハンドヘルドプローブを走査することにより取得された深さの組織から作られた2次元切片から前記身体の3次元画像の構築を可能とするように構成された3次元位置決めシステムをさらに含む請求項1に記載の画像処理システム。
  28. 前記ハンドヘルド画像処理プローブが、実質的に吸収されない照射部品からの光を反射および散乱することを可能にする材料であって、光学的に不透明である材料から形成された音響レンズをさらに含む請求項1に記載の画像処理システム。
  29. 前記音響レンズが、シリコンゴムから形成される請求項28に記載の画像処理システム。
  30. 前記シリコンゴムに、二酸化チタンが充填される請求項29に記載の画像処理システム。
  31. 前記シリコンゴムに、硫酸バリウム粉末が充填される請求項29に記載の画像処理システム。
  32. 前記ハンドヘルド画像処理プローブが、前記プローブの低エコー封入を提供する筺体をさらに含む請求項1に記載の画像処理システム。
  33. 前記筺体の内部または外部が、近赤外レーザー光を吸収しない材料を含む請求項32に記載の画像処理システム。
  34. 前記筺体の内部または外部が、レーザー光吸収後、超音波を発生しないように低熱膨張特性を有する材料を含む請求項33に記載の画像処理システム。
  35. 前記超音波振動子アレイのアセンブリが、低エコー材料で作られる請求項1に記載の画像処理システム。
  36. 前記超音波振動子アレイのアセンブリと光ファイバーアセンブリとの間に低エコー材料層をさらに含み、光と前記超音波振動子アレイのアセンブリとの間の相互作用時に超音波の発生を回避する請求項1に記載の画像処理システム。
  37. 少なくとも身体の一部の組織の機能的および解剖学的マッピングを共記載する画像処理システムであって、
    a)画像処理プローブで超音波パルスを前記組織に伝送する、および身体形態に関連する構造組織境界から反射された後方散乱超音波信号を検出する;
    b)画像処理プローブで前記組織に異なる電磁エネルギースペクトル帯を有する少なくとも2つの光パルスを順次伝送する、および組織に含まれる血液のヘモグロビンおよび酸化へモグロビンでの前記少なくとも2つのそれぞれの光パルスの選択的吸収から生じる過渡的超音波信号を検出する;
    c)1)ノイズを除去し、2)組織および検出システムのハードウェア部品を通る信号伝搬過程での信号の変化を元に戻し、さらに、3)元の信号の一時的形状および超音波スペクトルを復元するために検出超音波信号を処理することであって、前記処理することは前記検出システムの前記ハードウェア部品に関連するインパルス応答のデコンヴォルーションを含み、前記インパルス応答は強吸収性光媒体中で短レーザーパルスにより生成されるデルタ関数超音波信号に基づいており
    d)総ヘモグロビン濃度および血液酸素飽和度を反映している部分的に透過性の機能的画像と共に同時表示され、重ねられた組織構造の形態学的画像を生成するために画像再構築を行い、さらに処理する;および、
    e)組織機能的および形態学的変化を、実質的にその発生時にリアルタイム画像が表示するように、上記a)〜d)をあるビデオフレームレートで反復すること、
    を含む操作を実行するように構成されている画像処理システム。
  38. それぞれの異なる電磁照射スペクトル帯を有する3つ以上の光パルスが前記組織に順次伝送され、それにより、重要な組織の分子発色団を反映している改善された正確さの機能的画像が生成される請求項37に記載の画像処理システム。
  39. 前記組織の分子発色団が、水を含む請求項38に記載の画像処理システム。
  40. 前記組織の分子発色団が、脂質を含む請求項38に記載の画像処理システム。
  41. それぞれの異なる電磁照射スペクトル帯を有する4つの光パルスが、前記組織に順次伝送される請求項38に記載の画像処理システム。
  42. 前記2つの光パルスのスペクトル帯が、それらの内の1つが757nm近傍のヘモグロビン吸収の局所的極大ピークに整合し、もう一つがヘモグロビンの光吸収に対する酸化へモグロビンの光吸収の最大比率に対応する1064nm近傍のスペクトル範囲に整合するように選択される請求項37に記載の画像処理システム。
  43. 腫瘍の腫瘍識別を示すことであって、第1および第2の波長で測定された前記腫瘍の吸収係数に少なくとも一部基づく、をさらに含む請求項37に記載の画像処理システム。
  44. 前記第1の波長が、757ナノメータを含む請求項43に記載の画像処理システム。
  45. 前記第2の波長が、1064ナノメータを含む請求項43に記載の画像処理システム。
  46. 前記腫瘍識別を示すことが、
    性腫瘍を示すために、前記総ヘモグロビンの濃度の比較的低い上昇および正常な血液酸素飽和度と重ね合わされた比較的滑らかな形状の腫瘍、または腫瘍の周辺の組織、
    または
    性腫瘍を示すために、前記総ヘモグロビンの濃度の高い上昇および低い血液酸素飽和度と重ね合わされた粗形状の腫瘍、または前記腫瘍の周辺の組織、
    のいずれかを表示することを含む請求項43に記載の画像処理システム。
  47. 前記組織の表面に対応する画像ピクセルの相対的明るさを低減させ、それにより、組織のより大きい深度に対応するピクセルの相対的明るさを強調することにより画像表示パレットを再正規化し、より大きい深度に位置する対象をより高いコントラストで可視化することをさらに含む請求項37に記載の画像処理システム。
  48. 前記検出超音波信号を前記処理することは、前記検出超音波信号の固有の光音響振幅およびプロファイル、並びに前記身体の光吸収係数の分布を取得する請求項37に記載の画像処理システム。
  49. 記身体の一部中の組織形態の可視化、および機能情報のコントラストを強調するために、光音響および超音波造影剤をさらに含む請求項37に記載の画像処理システム。
  50. 前記身体中の所定のタイプの分子、細胞または組織の分布の特徴付けを強調するために、光音響および超音波造影剤をさらに含む請求項37に記載の画像処理システム。
JP2014540150A 2011-11-02 2012-11-02 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム Active JP6322578B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
US13/287,759 2011-11-02
US13/287,759 US20130109950A1 (en) 2011-11-02 2011-11-02 Handheld optoacoustic probe
US13/341,950 US8686335B2 (en) 2011-12-31 2011-12-31 System and method for adjusting the light output of an optoacoustic imaging system
US13/341,950 2011-12-31
US13/507,217 2012-06-13
US13/507,217 US9289191B2 (en) 2011-10-12 2012-06-13 System and method for acquiring optoacoustic data and producing parametric maps thereof
PCT/US2012/063409 WO2013067419A1 (en) 2011-11-02 2012-11-02 Dual modality imaging system for coregistered functional and anatomical mapping
US13/667,808 2012-11-02
US13/667,808 US20130289381A1 (en) 2011-11-02 2012-11-02 Dual modality imaging system for coregistered functional and anatomical mapping
US13/667,830 US9757092B2 (en) 2011-11-02 2012-11-02 Method for dual modality optoacoustic imaging
US13/667,830 2012-11-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018074832A Division JP6732830B2 (ja) 2011-11-02 2018-04-09 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム

Publications (2)

Publication Number Publication Date
JP2015501194A JP2015501194A (ja) 2015-01-15
JP6322578B2 true JP6322578B2 (ja) 2018-05-09

Family

ID=48192850

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014540150A Active JP6322578B2 (ja) 2011-11-02 2012-11-02 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム
JP2018074832A Active JP6732830B2 (ja) 2011-11-02 2018-04-09 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018074832A Active JP6732830B2 (ja) 2011-11-02 2018-04-09 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム

Country Status (8)

Country Link
JP (2) JP6322578B2 (ja)
KR (1) KR102117132B1 (ja)
AU (2) AU2012332233B2 (ja)
CA (1) CA2861089C (ja)
IL (1) IL232414A0 (ja)
MX (1) MX2014005408A (ja)
SG (1) SG11201401986WA (ja)
WO (1) WO2013067419A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9144383B2 (en) 2007-12-13 2015-09-29 The Board Of Trustees Of The University Of Arkansas Device and method for in vivo noninvasive magnetic manipulation of circulating objects in bioflows
US9451884B2 (en) 2007-12-13 2016-09-27 Board Of Trustees Of The University Of Arkansas Device and method for in vivo detection of clots within circulatory vessels
US20090156932A1 (en) 2007-12-13 2009-06-18 Board Of Trustees Of The University Of Arkansas Device and method for in vivo flow cytometry using the detection of photoacoustic waves
US8686335B2 (en) 2011-12-31 2014-04-01 Seno Medical Instruments, Inc. System and method for adjusting the light output of an optoacoustic imaging system
US11191435B2 (en) 2013-01-22 2021-12-07 Seno Medical Instruments, Inc. Probe with optoacoustic isolator
US20130116538A1 (en) 2011-11-02 2013-05-09 Seno Medical Instruments, Inc. Optoacoustic imaging systems and methods with enhanced safety
US10433732B2 (en) 2011-11-02 2019-10-08 Seno Medical Instruments, Inc. Optoacoustic imaging system having handheld probe utilizing optically reflective material
US9445786B2 (en) 2011-11-02 2016-09-20 Seno Medical Instruments, Inc. Interframe energy normalization in an optoacoustic imaging system
US9814394B2 (en) 2011-11-02 2017-11-14 Seno Medical Instruments, Inc. Noise suppression in an optoacoustic system
US20130289381A1 (en) 2011-11-02 2013-10-31 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
US20140005544A1 (en) 2011-11-02 2014-01-02 Seno Medical Instruments, Inc. System and method for providing selective channel sensitivity in an optoacoustic imaging system
KR102105728B1 (ko) 2012-03-09 2020-04-28 세노 메디컬 인스투르먼츠 인코포레이티드 광음향 이미징 시스템에서의 통계적 매핑
JP6061571B2 (ja) * 2012-09-04 2017-01-18 キヤノン株式会社 被検体情報取得装置
WO2014052449A1 (en) 2012-09-25 2014-04-03 The Board Of Trustees Of The University Of Arkansas Device and method for in vivo photoacoustic diagnosis and photothermal purging of infected blood
WO2015034101A2 (en) * 2013-09-04 2015-03-12 Canon Kabushiki Kaisha Photoacoustic apparatus
CN103512960B (zh) * 2013-09-27 2016-01-06 中国科学院声学研究所 一种超声阵列成像方法
WO2015054688A2 (en) 2013-10-11 2015-04-16 Seno Medical Instruments, Inc. Systems and methods for component separation in medical imaging
CN104739453A (zh) * 2013-12-31 2015-07-01 深圳市鹏瑞智能技术应用研究院 超声信号断层扫描成像系统及方法
JP6049209B2 (ja) * 2014-01-28 2016-12-21 富士フイルム株式会社 光音響計測用プローブおよびそれを備えた光音響計測装置
CA2970536C (en) 2014-12-31 2023-09-26 Vladimir Pavlovich Zharov Devices and methods for fractionated photoacoustic flow cytometry
EP3749215A4 (en) * 2018-02-07 2021-12-01 Atherosys, Inc. DEVICE AND METHOD FOR CONTROLLING THE ULTRASONIC RECORDING OF THE PERIPHERAL ARTERIES IN THE TRANSVERSAL PLANE
KR20210027246A (ko) * 2018-04-04 2021-03-10 토모웨이브 래버러토리즈, 인코포레이티드 정량적 이미징 시스템 및 그의 용도
WO2020044337A1 (en) * 2018-08-29 2020-03-05 Tel Hashomer Medical Research Infrastructure And Services Ltd. System and method for determining oxygenated-blood content of biological tissue
US11832872B2 (en) 2019-04-01 2023-12-05 Anya L. Getman Resonating probe with optional sensor, emitter, and/or injection capability
JP7301676B2 (ja) * 2019-08-28 2023-07-03 キヤノンメディカルシステムズ株式会社 超音波診断装置、信号処理方法、及び信号処理プログラム
WO2021149127A1 (ja) * 2020-01-21 2021-07-29 オリンパス株式会社 赤血球分化モニタリング装置および赤血球分化モニタリング方法
CN111671436A (zh) * 2020-05-21 2020-09-18 东南大学 一种温度补偿的光声无创血红蛋白检测装置及检测方法
CN111839730B (zh) * 2020-07-07 2022-02-11 厦门大学附属翔安医院 一种用于引导肿瘤切除的光声成像手术导航平台
US12109006B2 (en) * 2021-09-10 2024-10-08 Rockley Photonics Limited Optical speckle receiver
CN116138805B (zh) * 2022-12-30 2023-09-08 深圳开立生物医疗科技股份有限公司 光声超声多模态成像设备及方法、电子设备及存储介质
CN115868956A (zh) * 2023-03-01 2023-03-31 暨南大学附属第一医院(广州华侨医院) 一种用于光磁声成像的激励源抗干扰方法
CN118356211B (zh) * 2024-06-19 2024-09-10 杭州励影光电成像有限责任公司 一种超高速多模态融合成像系统及方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
JPH0961359A (ja) * 1995-08-29 1997-03-07 Hamamatsu Photonics Kk 濃度測定装置
US5830146A (en) * 1997-03-17 1998-11-03 Polartechnics Limited Sheathed probes for tissue type recognition
JPH1176232A (ja) * 1997-09-11 1999-03-23 Hitachi Medical Corp 超音波診断装置
US6827686B2 (en) * 2002-08-21 2004-12-07 Koninklijke Philips Electronics N.V. System and method for improved harmonic imaging
JP4406226B2 (ja) * 2003-07-02 2010-01-27 株式会社東芝 生体情報映像装置
JP4643153B2 (ja) * 2004-02-06 2011-03-02 株式会社東芝 非侵襲生体情報映像装置
IL166408A0 (en) * 2005-01-20 2006-01-15 Ultraview Ltd Combined 2d pulse-echo ultrasound and optoacousticsignal for glaucoma treatment
WO2006090298A1 (en) * 2005-02-23 2006-08-31 Philips Intellectual Property & Standards Gmbh Imaging an object of interest
JP4745743B2 (ja) * 2005-07-14 2011-08-10 Hoya株式会社 蛍光観察内視鏡システム
US20070093708A1 (en) * 2005-10-20 2007-04-26 Benaron David A Ultra-high-specificity device and methods for the screening of in-vivo tumors
US20070093702A1 (en) * 2005-10-26 2007-04-26 Skyline Biomedical, Inc. Apparatus and method for non-invasive and minimally-invasive sensing of parameters relating to blood
JP2007267837A (ja) * 2006-03-30 2007-10-18 Toshiba Corp 生体光計測装置
EP2034878A2 (en) * 2006-06-23 2009-03-18 Koninklijke Philips Electronics N.V. Timing controller for combined photoacoustic and ultrasound imager
US8070682B2 (en) * 2006-07-19 2011-12-06 The University Of Connecticut Method and apparatus for medical imaging using combined near-infrared optical tomography, fluorescent tomography and ultrasound
JP4820239B2 (ja) * 2006-08-28 2011-11-24 公立大学法人大阪府立大学 光トモグラフィ装置用プローブ
RU2457776C2 (ru) * 2006-11-21 2012-08-10 Конинклейке Филипс Электроникс Н.В. Система, устройство, способ, машиночитаемый носитель и применение для визуализации ткани in vivo в анатомической структуре
US8302480B2 (en) * 2007-02-05 2012-11-06 Brown University Enhanced ultra-high resolution acoustic microscope
JP5002397B2 (ja) * 2007-09-28 2012-08-15 株式会社東芝 超音波診断装置及びプログラム
CN101918811B (zh) * 2007-10-25 2013-07-31 圣路易斯华盛顿大学 具有光学横向分辨率的共焦光声显微镜
JP2010179085A (ja) * 2008-07-11 2010-08-19 Canon Inc 生体情報取得装置
EP2328480B1 (en) * 2008-07-18 2016-01-06 University Of Rochester Low-cost device for c-scan photoacoustic imaging
JP5749164B2 (ja) * 2008-07-25 2015-07-15 ヘルムホルツ・ツェントルム・ミュンヒェン・ドイチェス・フォルシュンクスツェントルム・フューア・ゲズントハイト・ウント・ウムベルト(ゲーエムベーハー)Helmholtz Zentrum MuenchenDeutsches Forschungszentrum fuer Gesundheit und Umwelt (GmbH) 組織バイオマーカーの定量的多重スペクトル光音響トモグラフィ
JP4900979B2 (ja) * 2008-08-27 2012-03-21 キヤノン株式会社 光音響装置および光音響波を受信するための探触子
US20100094134A1 (en) * 2008-10-14 2010-04-15 The University Of Connecticut Method and apparatus for medical imaging using near-infrared optical tomography combined with photoacoustic and ultrasound guidance
US9528966B2 (en) * 2008-10-23 2016-12-27 Washington University Reflection-mode photoacoustic tomography using a flexibly-supported cantilever beam
JP2010125260A (ja) * 2008-12-01 2010-06-10 Canon Inc 生体検査装置
JP5241465B2 (ja) * 2008-12-11 2013-07-17 キヤノン株式会社 光音響イメージング装置および光音響イメージング方法
JP5275830B2 (ja) * 2009-01-26 2013-08-28 富士フイルム株式会社 光超音波断層画像化装置および光超音波断層画像化方法
JP5483905B2 (ja) * 2009-03-03 2014-05-07 キヤノン株式会社 超音波装置
JP4621781B2 (ja) * 2009-03-06 2011-01-26 株式会社東芝 レーザ超音波検査装置
CN102573621A (zh) * 2009-05-01 2012-07-11 视声公司 用于光声成像的系统及方法
JP2011072702A (ja) * 2009-10-01 2011-04-14 Konica Minolta Medical & Graphic Inc 超音波探触子用音響レンズおよび超音波探触子
JP5692988B2 (ja) * 2009-10-19 2015-04-01 キヤノン株式会社 音響波測定装置
EP2957232A1 (en) * 2009-10-29 2015-12-23 Canon Kabushiki Kaisha Photoacoustic apparatus
WO2011091423A2 (en) * 2010-01-25 2011-07-28 The Arizona Board Of Regents On Behalf Of The University Of Arizona Ultrasonic/photoacoustic imaging devices and methods
JP5818444B2 (ja) * 2010-02-04 2015-11-18 キヤノン株式会社 機能情報取得装置、機能情報取得方法、及びプログラム
JP5448918B2 (ja) * 2010-02-24 2014-03-19 キヤノン株式会社 生体情報処理装置
JP5479173B2 (ja) * 2010-03-17 2014-04-23 キヤノン株式会社 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
JP6732830B2 (ja) 2020-07-29
KR102117132B1 (ko) 2020-05-29
IL232414A0 (en) 2014-06-30
WO2013067419A1 (en) 2013-05-10
JP2018143778A (ja) 2018-09-20
SG11201401986WA (en) 2014-08-28
KR20140103932A (ko) 2014-08-27
CA2861089A1 (en) 2013-05-10
AU2017268522A1 (en) 2017-12-14
MX2014005408A (es) 2015-02-12
AU2012332233A1 (en) 2014-05-22
AU2012332233B2 (en) 2017-08-31
CA2861089C (en) 2021-01-12
JP2015501194A (ja) 2015-01-15

Similar Documents

Publication Publication Date Title
JP6732830B2 (ja) 機能的および解剖学的同時表示マッピングのための二重モダリティ画像処理システム
US10709419B2 (en) Dual modality imaging system for coregistered functional and anatomical mapping
US9757092B2 (en) Method for dual modality optoacoustic imaging
US10433732B2 (en) Optoacoustic imaging system having handheld probe utilizing optically reflective material
CN112272540B (zh) 定量成像系统和其用途
CA2435990C (en) Method and apparatus for forming an image that shows information about a subject
KR100686409B1 (ko) 비침습적 생체정보 영상화 방법 및 장치
JP5751769B2 (ja) 画像情報取得装置及びその制御方法
JP6132466B2 (ja) 被検体情報取得装置及び被検体情報取得方法
JP2017047177A (ja) 被検体情報取得装置および被検体情報取得装置の制御方法
JP2017029610A (ja) 光音響装置、信頼度取得方法、プログラム
JP6486056B2 (ja) 光音響装置および光音響装置の処理方法
EP2773267B1 (en) Dual modality imaging system for coregistered functional and anatomical mapping
RU2787527C2 (ru) Система количественного формирования изображений и ее применение
JP6643108B2 (ja) 被検体情報取得装置および被検体情報取得方法
JP2019136520A (ja) 処理装置、光音響画像の表示方法、及びプログラム
Reyman et al. Two-dimensional optoacoustic tomography of large-scale phantoms
JP2017124264A (ja) 処理装置、被検体情報取得装置、光音響画像の表示方法、及びプログラム
WO2018235781A1 (ja) 音響波画像生成装置および光音響画像解析方法
JP2019195515A (ja) 被検体情報取得装置および被検体情報取得方法
JP2015186576A (ja) 画像情報取得装置及び画像情報取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170605

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170612

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170905

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R150 Certificate of patent or registration of utility model

Ref document number: 6322578

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250