WO2020040172A1

WO2020040172A1 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: WO2020040172A1
Application number: PCT/JP2019/032560
Authority: WO
Inventors: 大樹梶田; 宣晶今西; 貞和相磯; 長永　兼一
Original assignee: キヤノン株式会社; 学校法人慶應義塾
Priority date: 2018-08-24
Filing date: 2019-08-21
Publication date: 2020-02-27
Also published as: JP7108985B2; JP2020028669A; US20210177269A1

Abstract

本発明は、被検体への光照射により被検体内から発生した光音響波に基づいて生成された３次元画像データを処理する画像処理装置であって、３次元画像データから被検体内の第１物質に対応する第１領域を抽出した第１の３次元画像データを取得する第１の３次元画像取得手段と、３次元画像データから被検体内の第２物質に対応する第２領域を抽出した第２の３次元画像データを取得する第２の３次元画像取得手段と、第１の３次元画像データから、第１領域の３次元位置情報を関連付けた第１の２次元画像データを取得する第１の２次元画像取得手段と、第２の３次元画像データから、第２領域の３次元位置情報を関連付けた第２の２次元画像データを取得する第２の２次元画像取得手段と、を有することを特徴とする画像処理装置を提供する。

Description

画像処理装置、画像処理方法、プログラム

　本発明は、光音響イメージングにより画像を生成するシステムに用いられる情報処理に関する。

　血管やリンパ管等の検査において、造影剤を利用した光音響イメージング（「光超音波イメージング」ともよぶ。）が知られている。特許文献１には、リンパ節やリンパ管などの造影のために用いられる造影剤を評価対象とし、その造影剤が吸収して光音響波を発生する波長の光を出射する光音響画像生成装置が記載されている。

国際公開第２０１７／００２３３７号

　しかしながら、光音響イメージングでは、一般にデータ量が大きいという問題がある。

　そこで本発明は、光音響イメージングにおけるデータ量を従来よりも低減可能な技術を提供することを目的とする。

　本発明の一つの側面は、
　被検体への光照射により前記被検体内から発生した光音響波の受信信号データに基づいて生成された３次元画像データを処理する画像処理装置であって、
　前記３次元画像データから第１物質に対応する第１領域を抽出した第１の３次元画像データを取得する、第１の３次元画像取得手段と、
　前記３次元画像データから第２物質に対応する第２領域を抽出した第２の３次元画像データを取得する第２の３次元画像取得手段と、
　前記第１の３次元画像データから、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データを取得する第１の２次元画像取得手段と、
　前記第２の３次元画像データから、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データを取得する第２の２次元画像取得手段と、
を有することを特徴とする画像処理装置である。
　本発明の別の一つの側面は、
　被検体への光照射により前記被検体内から発生した光音響波の受信信号データに基づいて生成された３次元画像データを処理する画像処理方法であって、
　前記３次元画像データから第１物質に対応する第１領域を抽出した第１の３次元画像データを取得する、第１の３次元画像取得ステップと、
　前記３次元画像データから第２物質に対応する第２領域を抽出した第２の３次元画像データを取得する第２の３次元画像取得ステップと、
　前記第１の３次元画像データから、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データを取得する第１の２次元画像取得ステップと、
　前記第２の３次元画像データから、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データを取得する第２の２次元画像取得ステップと、
を有することを特徴とする画像処理方法である。

　本発明によれば、光音響イメージングにおけるデータ量を従来よりも低減可能な技術を提供することができる。

図１は、本発明の一実施形態に係るシステムのブロック図である。図２は、本発明の一実施形態に係る画像処理装置とその周辺構成の具体例を示すブロック図である。図３は、本発明の一実施形態に係る光音響装置の詳細なブロック図である。図４は、本発明の一実施形態に係るプローブの模式図である。図５は、本発明の一実施形態に係る画像処理方法のフロー図である。図６Ａ～図６Ｃは、３次元リンパ画像および３次元血管画像を取得する際の模式図である。図７Ａ、図７Ｂは、２次元リンパ画像および２次元血管画像と深さ情報を取得する際の模式図である。図８Ａ～図８Ｃは、深さ情報を反映した２次元画像の表示を示す模式図である。図９Ａ～図９Ｄは、波長の組み合わせを変化させたときの、造影剤に対応する式（１）の計算値の等高線グラフである。図１０は、ＩＣＧの濃度を変化させたときの、造影剤に対応する式（１）の計算値を示す折れ線グラフである。図１１は、オキシヘモグロビンとデオキシヘモグロビンのモラー吸収係数スペクトルを示すグラフである。図１２は、本発明の一実施形態に係るＧＵＩを示す図である。図１３Ａ、図１３Ｂは、ＩＣＧの濃度を変化させたときの右前腕伸側の分光画像である。図１４Ａ、図１４Ｂは、ＩＣＧの濃度を変化させたときの左前腕伸側の分光画像である。図１５Ａ、図１５Ｂは、ＩＣＧの濃度を変化させたときの右下腿内側および左下腿内側の分光画像である。

　以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

　本発明に係るシステムにより得られる光音響画像は、光エネルギーの吸収量や吸収率を反映している。光音響画像は、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、及び光吸収係数などの少なくとも１つの被検体情報の空間分布を表す。光音響画像は、２次元の空間分布を表す画像であってもよいし、３次元の空間分布を表す画像（ボリュームデータ）であってもよい。本実施形態に係るシステムは、造影剤が導入された被検体を撮影することにより光音響画像を生成する。なお、造影対象の三次元分布を把握するために、光音響画像は、被検体表面から深さ方向の２次元の空間分布を表す画像または３次元の空間分布を表してもよい。

　また、本発明に係るシステムは、複数の波長に対応する複数の光音響画像を用いて被検体の分光画像を生成することができる。本発明の分光画像は、被検体に互いに異なる複数の波長の光を照射することにより発生した光音響波に基づいた、複数の波長のそれぞれに対応する光音響信号を用いて生成される。
　なお、分光画像は、複数の波長のそれぞれに対応する光音響信号を用いて生成された、被検体中の特定物質の濃度を示してもよい。使用される造影剤の光吸収係数スペクトルと、特定物質の光吸収係数スペクトルとが異なる場合、分光画像中の造影剤の画像値と分光画像中の特定物質の画像値とは異なる。よって、分光画像の画像値に応じて造影剤の領域と特定物質の領域とを区別することができる。なお、特定物質は、ヘモグロビン、グルコース、コラーゲン、メラニン、脂肪や水など、被検体を構成する物質である。この場合にも、特定物質の光吸収係数スペクトルとは異なる光吸収スペクトルを有する造影剤を選択する。また、特定物質の種類に応じて、異なる算出方法で分光画像を算出してもよい。

　以下に述べる実施形態では、酸素飽和度の計算式（１）を用いて算出された画像値を持つ分光画像について説明する。本発明者らは、複数の波長のそれぞれに対応する光音響信号に基づいて血中ヘモグロビンの酸素飽和度（酸素飽和度に相関をもつ指標でもよい）を計算する式（１）に対し、光吸収係数の波長依存性がオキシヘモグロビンおよびデオキシヘモグロビンとは異なる傾向を示す造影剤で得られた光音響信号の計測値Ｉ（ｒ）を代入した場合に、ヘモグロビンの酸素飽和度が取り得る数値範囲から大きくずれた計算値Ｉｓ（ｒ）が得られる、ということを見出した。それゆえ、この計算値Ｉｓ（ｒ）を画像値としてもつ分光画像を生成すれば、被検体内部におけるヘモグロビンの領域（血管領域）と造影剤の存在領域（例えばリンパ管に造影剤が導入された場合であればリンパ管の領域）とを画像上で分離（区別）することが容易となる。

　ここで、Ｉ^λ _１（ｒ）は第１波長λ_１の光照射により発生した光音響波に基づいた計測値であり、Ｉ^λ _２（ｒ）は第２波長λ_２の光照射により発生した光音響波に基づいた計測値である。ε_Ｈｂ ^λ _１は第１波長λ_１に対応するデオキシヘモグロビンのモラー吸収係数［ｍｍ^－１ｍｏｌ^－１］であり、ε_Ｈｂ ^λ _２は第２波長λ_２に対応するデオキシヘモグロビンのモラー吸収係数［ｍｍ^－１ｍｏｌ^－１］である。ε_ＨｂＯ ^λ _１は第１波長λ_１に対応するオキシヘモグロビンのモラー吸収係数［ｍｍ^－１ｍｏｌ^－１］であり、ε_ＨｂＯ ^λ _２は第２波長λ_２に対応するオキシヘモグロビンのモラー吸収係数［ｍｍ^－１ｍｏｌ^－１］である。ｒは位置である。なお、計測値Ｉ^λ _１（ｒ）、Ｉ^λ _２（ｒ）は、吸収係数μ_ａ ^λ _１（ｒ）、μ_ａ ^λ _２（ｒ）であってもよいし、初期音圧Ｐ_０ ^λ _１（ｒ）、Ｐ_０ ^λ _２（ｒ）であってもよい。

　ヘモグロビンの存在領域（血管領域）から発生した光音響波に基づいた計測値を式（１）に代入すると、計算値Ｉｓ（ｒ）として、ヘモグロビンの酸素飽和度（または酸素飽和度に相関をもつ指標）が得られる。一方、造影剤を導入した被検体において、造影剤の存在領域（例えばリンパ管領域）から発生した音響波に基づいた計測値を式（１）に代入すると、計算値Ｉｓ（ｒ）として、擬似的な造影剤の濃度分布が得られる。なお、造影剤の濃度分布を計算する場合でも、式（１）ではヘモグロビンのモラー吸収係数の数値をそのまま用いればよい。このようにして得られた画像値Ｉｓ（ｒ）を持つ分光画像では、被検体内部のヘモグロビンの存在領域（血管）と造影剤の存在領域（例えばリンパ管）の両方が互いに分離可能（区別可能）な状態で描出される。

　なお、本実施形態では、酸素飽和度を計算する式（１）を用いて分光画像の画像値を計算するが、酸素飽和度以外の指標を分光画像の画像値として計算する場合には、式（１）以外の算出方法を用いればよい。指標およびその算出方法としては、公知のものを利用可能であるため、詳しい説明を割愛する。

　また、本発明に係るシステムにおいて、分光画像は、第１波長λ_１の光照射により発生した光音響波に基づいた第１光音響画像および第２波長λ_２の光照射により発生した光音響波に基づいた第２光音響画像の比を示す画像であってもよい。すなわち、分光画像は、第１波長λ_１の光照射により発生した光音響波に基づいた第１光音響画像および第２波長λ_２の光照射により発生した光音響波に基づいた第２光音響画像の比に基づいた画像であってもよい。なお、式（１）の変形式にしたがって生成される画像も、第１光音響画像および第２光音響画像の比によって表現できるため、第１光音響画像および第２光音響画像の比に基づいた画像（分光画像）といえる。

　なお、造影対象の三次元分布を把握するために、分光画像は、被検体表面から深さ方向の２次元の空間分布を表す画像または３次元の空間分布を表してもよい。

　以下、本実施形態のシステムの構成及び画像処理方法について説明する。
　図１を用いて本実施形態に係るシステムを説明する。図１は、本実施形態に係るシステムの構成を示すブロック図である。本実施形態に係るシステムは、光音響装置１１００、記憶装置１２００、画像処理装置１３００、表示装置１４００、及び入力装置１５００を備える。装置間のデータの送受信は有線で行われてもよいし、無線で行われてもよい。

　光音響装置１１００は、造影剤が導入された被検体を撮影することにより光音響画像を生成し、記憶装置１２００に出力する。光音響装置１１００は、光照射により発生した光音響波を受信することにより得られる受信信号データを用いて、被検体内の複数位置のそれぞれに対応する特性値の情報を生成する。すなわち、光音響装置１１００は、光音響波に由来した特性値情報の空間分布を医用画像データ（光音響画像）として生成する。

　記憶装置１２００は、ＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの記憶媒体であってもよい。また、記憶装置１２００は、ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）等のネットワークを介した記憶サーバであってもよい。

　画像処理装置１３００は、記憶装置１２００に記憶された光音響画像や光音響画像の付帯情報等の情報を処理する。
　画像処理装置１３００の演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。
　画像処理装置１３００の記憶機能を担うユニットは、ＲＯＭ（Ｒｅａｄ　ｏｎｌｙ　ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶機能を担うユニットは、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶機能を担うユニットは、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。
　画像処理装置１３００の制御機能を担うユニットは、ＣＰＵなどの演算素子で構成される。制御機能を担うユニットは、システムの各構成の動作を制御する。制御機能を担うユニットは、入力部からの測定開始などの各種操作による指示信号を受けて、システムの各構成を制御してもよい。また、制御機能を担うユニットは、コンピュータ１５０に格納されたプログラムコードを読み出し、システムの各構成の作動を制御してもよい。

　表示装置１４００は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。また、表示装置１４００は、画像や装置を操作するためのＧＵＩを表示してもよい。

　入力装置１５００としては、例えば、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールである。また、表示装置１４００をタッチパネルで構成し、表示装置１４００を入力装置１５００として利用してもよい。

　図２は、本実施形態に係る画像処理装置１３００の具体的な構成例を示す。本実施形態に係る画像処理装置１３００は、ＣＰＵ１３１０、ＧＰＵ１３２０、ＲＡＭ１３３０、ＲＯＭ１３４０、外部記憶装置１３５０から構成される。また、画像処理装置１３００には、表示装置１４００としての液晶ディスプレイ１４１０、入力装置１５００としてのマウス１５１０、キーボード１５２０が接続されている。さらに、画像処理装置１３００は、ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）などの記憶装置１２００としての画像サーバ１２１０と接続されている。これにより、画像データを画像サーバ１２１０上に保存したり、画像サーバ１２１０上の画像データを液晶ディスプレイ１４１０に表示したりすることができる。

　次に、本実施形態に係るシステムに含まれる装置の構成例を説明する。図３は、本実施形態に係るシステムに含まれる装置の概略ブロック図である。

　本実施形態に係る光音響装置１１００は、駆動部１３０、信号収集部１４０、コンピュータ１５０、プローブ１８０、及び導入部１９０を有する。プローブ１８０は、光照射部１１０、及び受信部１２０を有する。図４は、本実施形態に係るプローブ１８０の模式図を示す。測定対象は、導入部１９０により造影剤が導入された被検体１００である。駆動部１３０は、光照射部１１０と受信部１２０を駆動し、機械的な走査を行う。光照射部１１０が光を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部１２０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。

　信号収集部１４０は、受信部１２０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号収集部１４０から出力されたデジタル信号を、光音響波に由来する信号データとして記憶する。

　コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、光音響画像を生成する。また、コンピュータ１５０は、得られた光音響画像に対して画像処理を施した後に、光音響画像を表示部１６０に出力する。表示部１６０は、光音響画像に基づいた画像を表示する。表示画像は、ユーザーやコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどの記憶装置１２００に保存される。

　また、コンピュータ１５０は、光音響装置に含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部１７０を用いて測定開始や終了、作成画像の保存指示などを操作することができる。
　以下、本実施形態に係る光音響装置１１００の各構成の詳細を説明する。

　（光照射部１１０）
　光照射部１１０は、光を発する光源１１１と、光源１１１から射出された光を被検体１００へ導く光学系１１２とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。

　光源１１１が発する光のパルス幅としては、熱閉じ込め条件および応力閉じ込め条件を考慮すると、１００ｎｓ以下のパルス幅であることが好ましい。また、光の波長は、４００ｎｍから１６００ｎｍ程度の範囲であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。

　光源１１１は、レーザーや発光ダイオードなどである。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ　Ｐａｒａｍｅｔｒｉｃ　Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源１１１としてフラッシュランプや発光ダイオードを用いてもよい。また、光源１１１としてマイクロウェーブ源を用いてもよい。

　光学系１１２には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体１００とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系１１２の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。
　なお、光照射部１１０が光学系１１２を備えずに、光源１１１から直接被検体１００に光を照射してもよい。

　（受信部１２０）
　受信部１２０は、音響波を受信することにより電気信号を出力するトランスデューサ１２１と、トランスデューサ１２１を支持する支持体１２２とを含む。また、トランスデューサ１２１は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一（共通）のトランスデューサでもよいし、別々の構成であってもよい。

　トランスデューサ１２１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ　Ｍｉｃｒｏ－ｍａｃｈｉｎｅｄ　Ｕｌｔｒａｓｏｎｉｃ　Ｔｒａｎｓｄｕｃｅｒｓ）を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表す。
　光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１２１として、これらの周波数を検出することのできるものを採用してもよい。

　支持体１２２は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体１２２の被検体１００側の表面に、鏡面加工もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体１２２は半球殻形状であり、半球殻上に複数のトランスデューサ１２１を支持できるように構成されている。この場合、支持体１２２に配置されたトランスデューサ１２１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１２１から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１２２はトランスデューサ１２１を支持できる限り、いかなる構成であってもよい。支持体１２２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ１２１が複数の受信手段に相当する。

　また、支持体１２２は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体１２２をトランスデューサ１２１と被検体１００との間に音響マッチング材を配置するための容器としてもよい。

　また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、受信部１２０が後述する信号収集部１４０を備えてもよい。

　受信部１２０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質は、音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料である。例えば、この媒質は、水、超音波ジェルなどである。

　図４は、プローブ１８０の側面図を示す。本実施形態に係るプローブ１８０は、開口を有する半球状の支持体１２２に複数のトランスデューサ１２１が３次元に配置された受信部１２０を有する。また、支持体１２２の底部には、光学系１１２の光射出部が配置されている。

　本実施形態においては、図４に示すように被検体１００は、保持部２００に接触することにより、その形状が保持される。

　受信部１２０と保持部２００の間の空間は、光音響波が伝播することができる媒質で満たされる。この媒質は、光音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料である。例えば、この媒質は、水、超音波ジェルなどである。

　保持手段としての保持部２００は被検体１００の形状を測定中に保持する。保持部２００により被検体１００を保持することによって、被検体１００の動きの抑制および被検体１００の位置を保持部２００内に留めることができる。保持部２００の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。
　保持部２００は、取り付け部２０１に取り付けられている。取り付け部２０１は、被検体の大きさに合わせて複数種類の保持部２００を交換可能に構成されていてもよい。例えば、取り付け部２０１は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。

　（駆動部１３０）
　駆動部１３０は、被検体１００と受信部１２０との相対位置を変更する。駆動部１３０は、駆動力を発生させるステッピングモータなどのモータと、駆動力を伝達させる駆動機構と、受信部１２０の位置情報を検出する位置センサとを含む。駆動機構は、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などである。また、位置センサは、エンコーダー、可変抵抗器、リニアスケール、磁気センサ、赤外線センサ、超音波センサなどを用いたポテンショメータなどである。

　なお、駆動部１３０は被検体１００と受信部１２０との相対位置をＸＹ方向（二次元）に変更させるものに限らず、一次元または三次元に変更させてもよい。
　なお、駆動部１３０は、被検体１００と受信部１２０との相対的な位置を変更できれば、受信部１２０を固定し、被検体１００を移動させてもよい。被検体１００を移動させる場合は、被検体１００を保持する保持部を動かすことで被検体１００を移動させる構成などが考えられる。また、被検体１００と受信部１２０の両方を移動させてもよい。
　駆動部１３０は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部１３０は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。

　また、本実施形態では、駆動部１３０は光照射部１１０と受信部１２０を同時に駆動して走査を行っているが、光照射部１１０だけを駆動したり、受信部１２０だけを駆動したりしてもよい。
　なお、プローブ１８０が、把持部が設けられたハンドヘルドタイプである場合、光音響装置１１００は駆動部１３０を有していなくてもよい。

　（信号収集部１４０）
　信号収集部１４０は、トランスデューサ１２１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号収集部１４０から出力されるデジタル信号は、コンピュータ１５０に記憶される。信号収集部１４０は、Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ　Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、フォトダイオードなどの光検出センサが、光照射部１１０から光射出を検出し、信号収集部１４０がこの検出結果をトリガーに同期して上記処理を開始してもよい。

　（コンピュータ１５０）
　情報処理装置としてのコンピュータ１５０は、画像処理装置１３００と同様のハードウェアで構成されている。すなわち、コンピュータ１５０の演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。

　コンピュータ１５０の記憶機能を担うユニットは、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、コンピュータ１５０の記憶機能を担うユニットは、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。

　コンピュータ１５０の制御機能を担うユニットは、ＣＰＵなどの演算素子で構成される。コンピュータ１５０の制御機能を担うユニットは、光音響装置の各構成の動作を制御する。コンピュータ１５０の制御機能を担うユニットは、入力部１７０からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、コンピュータ１５０の制御機能を担うユニットは、記憶機能を担うユニットに格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。すなわち、コンピュータ１５０は、本実施形態に係るシステムの制御装置として機能することができる。

　なお、コンピュータ１５０と画像処理装置１３００は同じハードウェアで構成されていてもよい。１つのハードウェアがコンピュータ１５０と画像処理装置１３００の両方の機能を担っていてもよい。すなわち、コンピュータ１５０が、画像処理装置１３００の機能を担ってもよい。また、画像処理装置１３００が、情報処理装置としてのコンピュータ１５０の機能を担ってもよい。

　（表示部１６０）
　表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。また、表示部１６０は、画像や装置を操作するためのＧＵＩを表示してもよい。
　なお、表示部１６０と表示装置１４００は同じディスプレイであってもよい。すなわち、１つのディスプレイが表示部１６０と表示装置１４００の両方の機能を担ってもよい。

　（入力部１７０）
　入力部１７０は、例えば、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールである。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０として利用してもよい。
　なお、入力部１７０と入力装置１５００は同じ装置であってもよい。すなわち、１つの装置が入力部１７０と入力装置１５００の両方の機能を担ってもよい。

　（導入部１９０）
　導入部１９０は、被検体１００の外部から被検体１００の内部へ造影剤を導入可能に構成されている。例えば、導入部１９０は造影剤の容器と被検体に刺す注射針とを含むことができる。しかしこれに限られず、導入部１９０は、造影剤を被検体１００に導入することができる限り種々のものであってよい。導入部１９０は、この場合、例えば、公知のインジェクションシステムやインジェクタなどであってもよい。なお、制御装置としてのコンピュータ１５０が、導入部１９０の動作を制御することにより、被検体１００に造影剤を導入してもよい。また、ユーザーが導入部１９０を操作することにより、被検体１００に造影剤を導入してもよい。

　（被検体１００）
　被検体１００はシステムを構成するものではないが、以下に説明する。本実施形態に係るシステムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指または足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、光吸収体の対象は、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などである。また、光吸収体の対象は、頸動脈壁のプラークなどや、皮膚等に含まれるメラニン、コラーゲン、脂質などであってもよい。さらに、被検体１００に導入する造影剤を光吸収体とすることができる。光音響イメージングに用いる造影剤は、インドシアニングリーン（ＩＣＧ）、メチレンブルー（ＭＢ）などの色素、金微粒子、及びそれらの混合物、またはそれらを集積あるいは化学的に修飾した外部から導入した物質などである。また、被検体１００は、生体を模したファントムを被検体１００であってもよい。

　なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。
　なお、本実施形態に係るシステムを構成する各装置は、それぞれが別々のハードウェアで構成されていてもよいし、全ての装置が１つのハードウェアで構成されていてもよい。本実施形態に係るシステムの機能は、いかなるハードウェアで構成されていてもよい。

　次に、図５に示すフローチャートを用いて、本実施形態に係る画像生成方法を説明する。なお、図５に示すフローチャートには、本実施形態に係るシステムの動作を示す工程も、医師等のユーザーの動作を示す工程も含まれている。

　（Ｓ１００：検査に関する情報を取得する工程）
　光音響装置１１００のコンピュータ１５０は、検査に関する情報を取得する。例えばコンピュータ１５０は、ＨＩＳ（Ｈｏｓｐｉｔａｉ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）やＲＩＳ（Ｒａｄｉｏｌｏｇｙ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）などの院内情報システムから送信された検査オーダー情報を取得する。検査オーダー情報には、検査に用いるモダリティの種類や検査に使用する造影剤などの情報が含まれている。モダリティが光音響イメージングである場合、検査オーダー情報には照射される光に関する情報が含まれる。本発明の主たる実施形態は、少なくとも単一の波長の光照射を被検体に照射することで被検体情報を取得し、分光情報を取得する場合は複数の波長のそれぞれの光を被検体に照射することで得られる被検体情報を取得する。光に関する情報には、波長ごとの光のパルス長、繰り返し周波数、強度などを含めることができる。

　複数波長を用いる場合、波長を設定するに当たっては、式（１）にしたがった画像値を持つ分光画像を生成する場合に、分光画像中の血管の領域については実際の酸素飽和度に応じた画像値が算出される一方、分光画像中の造影剤が存在する領域（以下、造影剤の領域とも呼ぶ）については、使用する波長や、造影剤の吸収係数スペクトルによって大きく画像値が変化してしまうことを考慮することが好ましい。すなわち、造影剤の三次元分布の把握を容易にするために、分光画像中の造影剤の領域の画像値が、血管の領域の画像値と識別できるような値となるような波長を用いることが好ましい。具体的には、分光画像として式（１）を用いた画像を生成する場合、動静脈の酸素飽和度が概ねパーセント表示で６０％～１００％に収まることを利用して、分光画像中の造影剤に対応する式（１）の計算値が６０％より小さくなる（例えば負値になる）、または、１００％より大きくなるような２波長を用いることが好ましい。また、コンピュータ１５０が、造影剤に関する情報に基づいて、分光画像中の造影剤に対応する領域の画像値とそれ以外の領域の画像値との符号が逆となるような２波長を決定してもよい。例えば、造影剤としてＩＣＧを用いる場合、７００ｎｍ以上、８２０ｎｍより小さい波長と、８２０ｎｍ以上、１０２０ｎｍ以下の波長の２波長を選択し、式（１）により分光画像を生成することにより、造影剤の領域と血管の領域とを良好に識別することができる。

　またユーザーが、入力部１７０を用いて、検査に用いるモダリティの種類や、モダリティが光音響イメージングの場合の光に関する情報、検査に使用する造影剤の種類や造影剤の濃度を指示してもよい。この場合、コンピュータ１５０は、入力部１７０を介して、検査情報を取得することができる。また、コンピュータ１５０は、あらかじめ複数の造影剤に関する情報を記憶しておき、その中からデフォルトで設定された造影剤に関する情報を取得してもよい。

　図１２は、表示部１６０に表示されるＧＵＩの例を示す。ＧＵＩのアイテム２５００には、患者ＩＤ、検査ＩＤ、撮影日時などの検査オーダー情報が表示されている。アイテム２５００は、ＨＩＳやＲＩＳなどの外部装置から取得した検査オーダー情報を表示する表示機能や、ユーザーが入力部１７０を用いて検査オーダー情報を入力することのできる入力機能を備えていてもよい。ＧＵＩのアイテム２６００には、造影剤の種類、造影剤の濃度などの造影剤に関する情報が表示されている。アイテム２６００は、ＨＩＳやＲＩＳなどの外部装置から取得した造影剤に関する情報を表示する表示機能や、ユーザーが入力部１７０を用いて造影剤に関する情報を入力することのできる入力機能を備えていてもよい。アイテム２６００においては、造影剤の種類や濃度などの造影剤に関する情報を複数の選択肢の中からプルダウンなどの方法で入力できてもよい。なお、表示装置１４００に図１２に示すＧＵＩを表示してもよい。

　なお、画像処理装置１３００が、ユーザーから造影剤に関する情報の入力指示を受信しなかった場合に、複数の造影剤に関する情報の中からデフォルトで設定された造影剤に関する情報を取得してもよい。本実施形態の場合、造影剤の種類としてＩＣＧ、造影剤の濃度として１．０ｍｇ／ｍＬがデフォルトで設定されている場合を説明する。本実施形態では、ＧＵＩのアイテム２６００にはデフォルトで設定されている造影剤の種類と濃度が表示されているが、造影剤に関する情報がデフォルトで設定されていなくてもよい。この場合、初期画面ではＧＵＩのアイテム２６００に造影剤に関する情報が表示されていなくてもよい。

　（Ｓ２００：造影剤を導入する工程）
　導入部１９０は、被検体に対して造影剤を導入する。ユーザーが、導入部１９０を用いて被検体に造影剤を導入したときに、ユーザーが入力部１７０を操作することにより、造影剤が導入されたことを表す信号を入力部１７０から制御装置としてのコンピュータ１５０に送信してもよい。また、導入部１９０が被検体１００に造影剤が導入されたことを表す信号をコンピュータ１５０に送信してもよい。なお、導入部１９０を用いずに造影剤を被検体に投与してもよい。例えば、被検体としての生体が噴霧された造影剤を吸引することにより、造影剤が投与されてもよい。
　造影剤の導入後に被検体１００内の造影対象に造影剤が行き渡るまで時間をおいてから後続の処理を実行してもよい。

　ここで、ＩＣＧを導入した生体に対して光音響装置を用いて撮影することにより得られた分光画像について説明する。図１３～図１５は、濃度を変えてＩＣＧを導入した場合に撮影して得られた分光画像を示す。いずれの撮影においても、手もしくは足の皮下もしくは皮内にＩＣＧを１か所につき０．１ｍＬ導入した。皮下もしくは皮内に導入されたＩＣＧは、リンパ管に選択的に取り込まれるため、リンパ管の内腔が造影される。また、いずれの撮影においても、ＩＣＧの導入から５分～６０分以内に撮影した。また、いずれの分光画像も、７９７ｎｍの波長の光と８３５ｎｍの波長の光とを生体に照射することにより得られた光音響画像から生成された。

　図１３Ａは、ＩＣＧを導入しなかった場合の右前腕伸側の分光画像を示す。一方、図１３Ｂは、２．５ｍｇ／ｍＬの濃度のＩＣＧを導入したときの右前腕伸側の分光画像を示す。図１３Ｂ中の破線および矢印で示した領域にリンパ管が描出されている。
　図１４Ａは、１．０ｍｇ／ｍＬの濃度のＩＣＧを導入したときの左前腕伸側の分光画像を示す。図１４Ｂは、５．０ｍｇ／ｍＬの濃度のＩＣＧを導入したときの左前腕伸側の分光画像を示す。図１４Ｂ中の破線および矢印で示した領域にリンパ管が描出されている。
　図１５Ａは、０．５ｍｇ／ｍＬの濃度のＩＣＧを導入したときの右下腿内側の分光画像を示す。図１５Ｂは、５．０ｍｇ／ｍＬの濃度のＩＣＧを導入したときの左下腿内側の分光画像を示す。図１５Ｂ中の破線および矢印で示した領域にリンパ管が描出されている。

　図１３～図１５に示す分光画像によれば、ＩＣＧの濃度を高くすると、分光画像の中のリンパ管の視認性が向上することが理解される。また、図１３～図１５によれば、ＩＣＧの濃度が２．５ｍｇ／ｍＬ以上の場合にリンパ管が良好に描出できることが理解される。すなわち、ＩＣＧの濃度が２．５ｍｇ／ｍＬ以上である場合に線上のリンパ管を明確に視認することができる。そのため、造影剤としてＩＣＧを採用する場合、その濃度は２．５ｍｇ／ｍＬ以上であってもよい。なお、生体内でのＩＣＧの希釈を考慮すると、ＩＣＧの濃度は５．０ｍｇ／ｍＬより大きくてもよい。ただし、ジアグノグリーンの可溶性を鑑みると、１０．０ｍｇ／ｍＬ以上の濃度で水溶液に溶かすことは困難である。

　以上より、生体に導入するＩＣＧの濃度は、２．５ｍｇ／ｍＬ以上、１０．０ｍｇ／ｍＬ以下がよく、好適には、５．０ｍｇ／ｍＬ以上、１０．０ｍｇ／ｍＬ以下である。

　そこで、コンピュータ１５０は、図１２に示すＧＵＩのアイテム２６００において造影剤の種類としてＩＣＧが入力された場合に、上記数値範囲のＩＣＧの濃度を示すユーザーからの指示を選択的に受け付けてもよい。すなわち、この場合、コンピュータ１５０は、上記数値範囲以外のＩＣＧの濃度を示すユーザーからの指示を受け付けなくてもよい。よって、コンピュータ１５０は、造影剤の種類がＩＣＧであることを示す情報を取得した場合に、２．５ｍｇ／ｍＬより小さい、または、１０．０ｍｇ／ｍＬより大きいＩＣＧの濃度を示すユーザーからの指示を受け付けなくてもよい。また、コンピュータ１５０は、造影剤の種類がＩＣＧであることを示す情報を取得した場合に５．０ｍｇ／ｍＬより小さい、または、１０．０ｍｇ／ｍＬより大きいＩＣＧの濃度を示すユーザーからの指示を受け付けなくてもよい。

　コンピュータ１５０は、ユーザーがＧＵＩ上で上記数値範囲以外のＩＣＧの濃度を指示できないようにＧＵＩを構成してもよい。すなわち、コンピュータ１５０は、ユーザーがＧＵＩ上で上記数値範囲以外のＩＣＧの濃度を指示できないようにＧＵＩを表示させてもよい。例えば、コンピュータ１５０は、ＧＵＩ上で上記数値範囲のＩＣＧの濃度を選択的に指示できるプルダウンを表示させてもよい。コンピュータ１５０は、プルダウンの中の上記数値範囲以外のＩＣＧの濃度をグレーアウトさせて表示し、グレーアウトされた濃度を選択できないようにＧＵＩを構成してもよい。
　また、コンピュータ１５０は、ＧＵＩ上で上記数値範囲以外のＩＣＧの濃度がユーザーから指示された場合にアラートを通知してもよい。通知方法としては、表示部１６０へのアラートの表示や、音やランプの点灯などのあらゆる方法を採用することができる。
　また、コンピュータ１５０は、ＧＵＩ上で造影剤の種類としてＩＣＧが選択された場合に、被検体に導入するＩＣＧの濃度として上記数値範囲を表示部１６０に表示させてもよい。

　なお、被検体に導入する造影剤の濃度は、ここで示した数値範囲に限らず、目的に応じた好適な濃度を採用することができる。また、ここでは造影剤の種類がＩＣＧである場合の例について説明したが、その他の造影剤においても同様に上記構成を適用することができる。

　このようにＧＵＩを構成することにより、被検体に導入する予定の造影剤の種類に応じて、適当な造影剤の濃度をユーザーが被検体に導入するための支援を行うことができる。

　次に、波長の組み合わせを変更したときの分光画像中の造影剤に対応する画像値の変化について説明する。図９Ａ～図９Ｄは、２波長の組み合わせのそれぞれにおける、分光画像中の造影剤に対応する画像値（酸素飽和度値）のシミュレーション結果を示す。図９Ａ～図９Ｄの縦軸と横軸はそれぞれ第１波長と第２波長を表す。図９には、分光画像中の造影剤に対応する画像値の等値線が示されている。図９Ａ～図９Ｄはそれぞれ、ＩＣＧの濃度が５．０４μｇ／ｍＬ、５０．４μｇ／ｍＬ、０．５ｍｇ／ｍＬ、１．０ｍｇ／ｍＬのときの分光画像中の造影剤に対応する画像値を示す。図９Ａ～図９Ｄに示すように、選択する波長の組み合わせによっては、分光画像中の造影剤に対応する画像値が６０％～１００％となってしまう場合がある。前述したように、このような波長の組み合わせを選択してしまうと、分光画像中の血管の領域と造影剤の領域とを識別することが困難となってしまう。そのため、図９Ａ～図９Ｄに示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が６０％より小さくなる、または、１００％より大きくなるような波長の組み合わせを選択することが好ましい。さらには、図９Ａ～図９Ｄに示す波長の組み合わせにおいて、分光画像中の造影剤に対応する画像値が負値となるような波長の組み合わせを選択することが好ましい。

　例えば、ここで第１波長として７９７ｎｍを選択し、第２波長として８３５ｎｍを選択した場合を考える。図１０は、第１波長として７９７ｎｍを選択し、第２波長として８３５ｎｍを選択した場合に、ＩＣＧの濃度と分光画像中の造影剤に対応する画像値（式（１）の値）との関係を示すグラフである。図１０によれば、第１波長として７９７ｎｍを選択し、第２波長として８３５ｎｍを選択した場合、５．０４μｇ／ｍＬ～１．０ｍｇ／ｍＬのいずれの濃度であっても、分光画像中の造影剤に対応する画像値は負値となる。そのため、このような波長の組み合わせにより生成された分光画像によれば、血管の酸素飽和度値は原理上負値をとることはないため、血管の領域と造影剤の領域とを明確に識別することができる。

　なお、これまで造影剤に関する情報に基づいて波長を決定することを説明したが、波長の決定においてヘモグロビンの吸収係数を考慮してもよい。図１１は、オキシヘモグロビンのモラー吸収係数（破線）とデオキシヘモグロビンのモラー吸収係数（実線）のスペクトルを示す。図１１に示す波長レンジにおいては、７９７ｎｍを境にオキシヘモグロビンのモラー吸収係数とデオキシヘモグロビンのモラー吸収係数の大小関係が逆転している。すなわち、７９７ｎｍよりも短い波長においては静脈を把握しやすく、７９７ｎｍよりも長い波長においては動脈を把握しやすい。ところで、リンパ浮腫の治療においては、リンパ管と静脈との間にバイパスを作製するリンパ管細静脈吻合術（ＬＶＡ）による治療が行われている。この術前検査のために、光音響イメージングによって静脈と造影剤が蓄積したリンパ管との両方を画像化することが考えられる。この場合に、複数の波長の少なくとも１つを７９７ｎｍよりも小さくすることにより、静脈をより明確に画像化することができる。また、複数の波長の少なくとも１つを、オキシヘモグロビンのモラー吸収係数よりもデオキシヘモグロビンのモラー吸収係数が大きくなる波長とすることが静脈を画像化するうえで有利である。また、２波長に対応する光音響画像から分光画像を生成する場合、２波長のいずれもオキシヘモグロビンのモラー吸収係数よりもデオキシヘモグロビンのモラー吸収係数が大きい波長とすることが、静脈を画像化するうえで有利である。これらの波長を選択することにより、リンパ管細静脈吻合術の術前検査において、造影剤が導入されたリンパ管と静脈との両方を精度良く画像化することができる。

　ところで、複数の波長のいずれも血液よりも造影剤の吸収係数が大きい波長であると、造影剤由来のアーチファクトにより血液の酸素飽和度精度が低下してしまう。そこで、造影剤由来のアーチファクトを低減するために、複数の波長の少なくとも１つが、血液の吸収係数に対して造影剤の吸収係数が小さくなる波長であってもよい。

　ここでは、式（１）にしたがって分光画像を生成する場合の説明を行ったが、造影剤の条件や照射光の波長によって分光画像中の造影剤に対応する画像値が変化するような分光画像を生成する場合にも適用することができる。

　（Ｓ３００：光を照射する工程）
　光照射部１１０は、Ｓ１００で取得した情報に基づいて決定された波長を光源１１１に設定する。光源１１１は、決定された波長の光を発する。光源１１１から発生した光は、光学系１１２を介してパルス光として被検体１００に照射される。そして、被検体１００の内部でパルス光が吸収され、光音響効果により光音響波が生じる。このとき、導入された造影剤もパルス光を吸収し、光音響波を発生する。光照射部１１０はパルス光の伝送と併せて信号収集部１４０へ同期信号を送信してもよい。また、光照射部１１０は、複数の波長のそれぞれについて、同様に光照射を行う。

　ユーザーが、光照射部１１０の照射条件（照射光の繰り返し周波数や波長など）やプローブ１８０の位置などの制御パラメータを、入力部１７０を用いて指定してもよい。コンピュータ１５０は、ユーザーの指示に基づいて決定された制御パラメータを設定してもよい。また、コンピュータ１５０が、指定された制御パラメータに基づいて、駆動部１３０を制御することによりプローブ１８０を指定の位置へ移動させてもよい。複数位置での撮影が指定された場合には、駆動部１３０は、まずプローブ１８０を最初の指定位置へ移動させる。なお、駆動部１３０は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ１８０を移動させてもよい。

　（Ｓ４００：光音響波を受信する工程）
　信号収集部１４０は、光照射部１１０から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部１４０は、受信部１２０から出力された、光音響波に由来するアナログ電気信号を、増幅・ＡＤ変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ１５０へ出力する。コンピュータ１５０は、信号収集部１４０から送信された信号を保存する。複数の走査位置での撮影を指定された場合には、指定された走査位置において、Ｓ３００およびＳ４００の工程を繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号である受信信号データの生成を繰り返す。なお、コンピュータ１５０は、発光をトリガーとして、発光時の受信部１２０の位置情報を駆動部１３０の位置センサからの出力に基づいて取得し、記憶してもよい。

　なお、本実施形態では、複数の波長の光のそれぞれを時分割に照射する例を説明したが、複数の波長のそれぞれに対応する信号データを取得できる限り、光の照射方法はこれに限らない。例えば、光照射によって符号化を行う場合に、複数の波長の光がほぼ同時に照射されるタイミングが存在してもよい。

　（Ｓ５００：３次元光音響画像を生成する工程）
　３次元光音響画像取得手段としてのコンピュータ１５０は、記憶された信号データに基づいて、光音響画像を生成する。コンピュータ１５０は、生成された光音響画像を記憶装置１２００に出力し、記憶させる。

　信号データを２次元または３次元の空間分布に変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法やフーリエドメインでの逆投影法などの解析的な再構成法やモデルベース法（繰り返し演算法）を採用することができる。例えば、タイムドメインでの逆投影法は、Ｕｎｉｖｅｒｓａｌ　ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ　ｂａｃｋ－ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ－ａｎｄ－Ｓｕｍ）などである。

　コンピュータ１５０は、信号データに対して再構成処理することにより、初期音圧分布情報（複数の位置における発生音圧）を光音響画像として生成する。また、コンピュータ１５０は、被検体１００に照射された光の被検体１００の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を光音響画像として取得してもよい。光フルエンス分布の計算手法については、公知の手法を適用することができる。また、コンピュータ１５０は、複数の波長の光のそれぞれに対応する光音響画像を生成することができる。具体的には、コンピュータ１５０は、第１波長の光照射により得られた信号データに対して再構成処理を行うことにより、第１波長に対応する第１光音響画像を生成することができる。また、コンピュータ１５０は、第２波長の光照射により得られた信号データに対して再構成処理を行うことにより、第２波長に対応する第２光音響画像を生成することができる。このように、コンピュータ１５０は、複数の波長の光に対応する複数の光音響画像を生成することができる。

　本実施形態では、被検体への１回の光照射で得られた光音響信号を用いた画像再構成により１つの３次元の光音響画像（ボリュームデータ）が生成される。さらに、複数回の光照射を行い、光照射ごとに画像再構成を行うことで、時系列の３次元画像データ（時系列のボリュームデータ）が取得される。複数回の光照射の光照射ごとに画像再構成して得られた３次元画像データを総称して、複数回の光照射に対応する３次元画像データと呼ぶ。なお、時系列に複数回の光照射が実行されるため、複数回の光照射に対応する３次元画像データが、時系列の３次元画像データを構成する。

　本実施形態では、コンピュータ１５０は、複数の波長の光のそれぞれに対応する吸収係数分布情報を光音響画像として取得する。第１波長に対応する吸収係数分布情報を第１光音響画像とし、第２波長に対応する吸収係数分布情報を第２光音響画像とする。

　なお、本実施形態では、システムが光音響画像を生成する光音響装置１１００を含む例を説明したが、光音響装置１１００を含まないシステムにも本発明は適用可能である。３次元光音響画像取得手段としての画像処理装置１３００が、光音響画像を取得できる限り、いかなるシステムであっても本発明を適用することができる。例えば、光音響装置１１００を含まず、記憶装置１２００と画像処理装置１３００とを含むシステムであっても本発明を適用することができる。この場合、３次元光音響画像取得手段としての画像処理装置１３００は、記憶装置１２００に予め記憶された光音響画像群の中から指定された光音響画像を読み出すことにより、光音響画像を取得することができる。

　（Ｓ６００：３次元分光画像を生成する工程）
　３次元分光画像取得手段としてのコンピュータ１５０は、複数の波長に対応する複数の光音響画像に基づいて、分光画像を生成する。コンピュータ１５０は、分光画像を記憶装置１２００に出力し、記憶装置１２００に記憶させる。前述したように、コンピュータ１５０は、グルコース濃度、コラーゲン濃度、メラニン濃度、脂肪や水の体積分率など、被検体を構成する物質の濃度に相当する情報を示す分光画像として生成してもよい。また、コンピュータ１５０は、第１波長に対応する第１光音響画像と第２波長に対応する第２光音響画像との比を表す分光画像として生成してもよい。本実施形態では、コンピュータ１５０が、第１光音響画像と第２光音響画像とを用いて、式（１）にしたがった画像値を持つ分光画像を生成する例を説明する。本工程におけるコンピュータ１５０のことを、３次元分光画像取得手段だと考えてもよい。また、Ｓ５００とＳ６００両方において、コンピュータ１５０のことを３次元光音響画像取得手段だと考えてもよい。

　なお、３次元分光画像取得手段としての画像処理装置１３００は、記憶装置１２００に予め記憶された分光画像群の中から指定された分光画像を読み出すことにより、分光画像を取得してもよい。また、３次元光音響画像取得手段としての画像処理装置１３００は、記憶装置１２００に予め記憶された光音響画像群の中から、読み出した分光画像の生成に用いられた複数の光音響画像の少なくとも一つを読み出すことにより、光音響画像を取得してもよい。
　複数回の光照射と、それに引き続く音響波受信と画像再構成が行われることにより、複数回の光照射に対応する時系列の３次元画像データが生成される。３次元画像データとしては光音響画像データや分光画像データが利用できる。ここでの光音響画像データは吸収係数等の分布を示す画像データを指し、分光画像データは複数の波長の光が被検体に照射されたときに、それぞれの波長に対応する光音響画像データに基づいて生成される濃度等を示す画像データを指す。

　（Ｓ７００：３次元画像からリンパ管および血管の情報を取得する工程）
　画像処理装置１３００は、記憶装置１２００から光音響画像または分光画像を読み出し、光音響画像または分光画像に基づいてリンパ管と血管に関する情報を取得する。取得される情報として、ボリュームデータにおけるリンパ管および血管の位置を示す情報がある。なお、上述したように、本ステップの処理は少なくとも一つの波長に由来する光音響画像に基づいて実施することもでき、複数の波長のそれぞれに由来する光音響画像から作成された分光画像を利用することもできる。本工程では、画像処理装置１３００が、３次元血管画像取得手段、および、３次元リンパ画像取得手段として機能して情報処理を担う。

　３次元リンパ画像取得手段が、単一波長に由来する３次元光音響画像に対して画像処理を行ってリンパ領域を抽出し、３次元リンパ画像を取得する方法を説明する。画像処理装置１３００は記憶装置１２００に保存された３次元光音響画像を読み出す。読み出す対象となる時間範囲は任意である。が、一般に、リンパ液の流れは、間欠的に行われ、その周期は数十秒から数分である。そのため、比較的長い時間範囲に取得された光音響波に対応する３次元光音響画像を読み出すことが好ましい。時間範囲は例えば、４０秒間～２分間と設定してもよい。図６Ａは、１枚の３次元光音響画像を示す模式図である。なお、実際のボリュームデータには血管およびリンパ管以外の物質に由来する画像値などが含まれるが、この図では簡易的に、ボリュームデータに血管およびリンパ管のみが表示されている様子を示す。

　続いて画像処理装置１３００は、読み出した時系列の３次元光音響画像のそれぞれからリンパ管の存在する領域を抽出する。抽出方法の一例として、リンパ液の循環がリンパ管の収縮等によって間欠的あるいは周期的に行われることに鑑み、画像処理装置１３００が時系列の３次元光音響画像の間での輝度値の変化を検出し、当該輝度値の変化が大きい部分をリンパ領域だと判断する方法がある。なお、時間範囲やリンパ領域であるかどうかの判断基準は例示であり、被検体内のリンパ管の状況や、造影剤や光照射に関する条件に応じて適宜決定される。例えば、所定の時間範囲を１分間とした場合、１分間のうち５秒間、典型的な血管の輝度値と比較して半分以上の値を持つ領域が観察された場合に、当該領域をリンパ領域だと判断してもよい。図６Ｂは、１枚の３次元光音響画像から取得された３次元リンパ画像を示す模式図である。

　なお、単一の波長に由来する３次元光音響画像の代わりに、３次元分光画像に対して画像処理を行ってリンパ領域を抽出する場合、画像処理装置１３００は、酸素飽和度の値（式（１）の計算値）に基づいて血液に対応する領域と造影剤に対応する領域とを区別することでリンパ領域を抽出してもよい。上述の通り、適切な２波長を選択して利用することにより、式（１）の計算値が、造影剤に対応する領域と血液に対応する領域とで排他的な範囲になるようにできる。

　続いて画像処理装置１３００は、読み出した時系列の３次元光音響画像のそれぞれから血管の存在する領域を抽出する。例えば対象たる血管として静脈を選択する場合、デオキシヘモグロビンの吸収係数が比較的高い領域のパルス光を照射されて発生した光音響波に由来する３次元光音響画像に基づいて抽出を行うとよい。図６Ｃは、１枚の３次元光音響画像から取得された３次元血管画像を示す模式図である。

　なお、３次元光音響画像の代わりに、３次元分光画像に対して画像処理を行って血管領域を抽出する場合、画像処理装置１３００は、酸素飽和度の値に基づいて血液に対応する領域と造影剤に対応する領域とを区別することで血管領域を抽出してもよい。また、酸素飽和度の値に基づいて静脈と動脈を判別してもよい。

　本工程の処理により、時系列の３次元光音響画像データから分離された、時系列の３次元血管画像データおよび時系列の３次元リンパ画像データが取得され、記憶装置に保存される。これらのデータの保存方法は任意である。例えば、３次元血管画像データと３次元リンパ画像データのそれぞれを別の時系列の３次元画像データとして保存してもよい。また、単一の時系列の３次元画像データを保存する場合、ボリュームデータ中の各座標に、その座標が、血管領域であるか、リンパ管領域であるか、何れでもないか、を示すフラグを関連付けて保存してもよい。また、被検体に照射された光の波長に関する情報と関連付けて保存してもよい。何れにせよ、本フローの後続処理において深さ情報を反映した２次元画像を生成できるのであれば、保存方法は問わない。

　（Ｓ８００：３次元のリンパ管および血管の情報から、２次元のリンパ管および血管の情報と深さ情報を生成する工程）
　画像処理装置１３００は、Ｓ７００で取得した３次元のリンパ領域に関する情報および血管領域に関する情報から、２次元のリンパ領域に関する情報および血管領域に関する情報を取得する。本工程では、画像処理装置１３００が、２次元血管画像取得手段、および、２次元リンパ画像取得手段として機能して情報処理を担う。具体的には、２次元血管画像取得手段としての画像処理装置１３００は、あるボリュームデータに由来する３次元血管画像データに基づいて、２次元血管画像データと、それに対応付けられた血管深さ情報を取得する。また、２次元リンパ画像取得手段としての画像処理装置１３００は、あるボリュームデータに由来する３次元リンパ画像データに基づいて、２次元リンパ画像データと、それに対応付けられたリンパ深さ情報を取得する。深さ情報は、ボリュームデータ中の特定領域の３次元位置情報とも言える。血管深さ情報は血管領域の３次元位置情報を示し、リンパ深さ情報はリンパ領域の３次元位置情報を示す。

　画像処理装置１３００は、３次元のボリュームデータに対して任意の視点方向に最大値を投影して、ＭＩＰ（Ｍａｘｉｍｕｍ　Ｉｎｔｅｎｓｉｔｙ　Ｐｒｏｊｅｃｔｉｏｎ）画像データを取得する。最大値の投影方向は任意である。例えば、被検体表面から被検体の奥に向かう方向でもよい。この場合、深さ方向とは被検体表面を起点として被検体の内部に向かうに連れて深度が大きくなる方向である。投影方向はまた、光音響装置の構成による定まる座標軸に応じた方向でもよい。例えば光音響装置が三軸方向を基準とするボリュームデータを生成する場合、深さ方向をＸＹＺ方向のいずれかとしてもよい。光音響イメージングにおける深さ方向として、被検体に光が入射する位置を起点としたときの、被検体表面に対する法線方向を採用してもよい。

　図７Ａの模式図は、３次元血管画像をＹ方向に最大値投影して算出された２次元リンパ画像と、それに関連付けられるリンパ深さ情報を示す。リンパ深さ情報には、ＭＩＰ画像中のリンパ領域が存在する各位置における深度を示す情報が含まれる。また、リンパ深さ情報には、ＭＩＰ画像中のリンパ領域が存在する各位置における深度を示す情報が含まれる。図７Ｂの模式図は、３次元血管画像をＹ方向に最大値投影して算出された２次元血管画像と、それに関連付けられる血管深さ情報を示す模式図である。図７Ａにおいて、リンパ深さ情報は、２次元リンパ画像のＸＺ平面内の座標と当該座標におけるＹ方向の深さ位置を示す座標情報とが対応付けられたマトリクスを示す。Ｙ方向の深さ位置を示す座標情報の代わりに、当該座標情報に対応付けられた輝度、色相、明度、彩度などの情報としてもよい。なお、図７Ｂについても、図７Ａと同様である。なお、３次元画像データから２次元画像データを算出する際に適用される方法は、最大値投影法に限られない。２次元面においてリンパ領域または血管領域の存在する位置情報と、そのリンパ領域または血管領域の、視点方向における深さ情報を取得できれば、どのような方法でもよい。ＭＩＰ以外のレンダリング手法として例えば、ボリュームレンダリング、サーフェイスレンダリングなどのあらゆる方法を採用することができる。何れの方法においても、三次元画像を二次元にレンダリングする際の表示領域や視線方向などの設定条件は、観察対象や装置構成に合わせて任意に指定できる。

　（Ｓ９００：２次元画像と深さ情報を関連付けて保存する工程）
　保存制御手段としての画像処理装置１３００は、Ｓ８００で算出した２次元血管画像データと血管深さ情報を関連付けて記憶装置１２００に保存する。また、２次元リンパ画像データとリンパ深さ情報を関連付けて記憶装置１２００に保存する。保存の方法は任意であり、例えば、２次元血管画像データの画素ごとに血管であるかどうかを示すフラグと深度を対応付けた配列を利用してもよい。２次元リンパ画像データについても同様である。
　このように２次元画像データを保存する場合、３次元画像データに比べてデータ量を圧縮できる。そのため、記憶装置１２００の記憶容量を低減できる。特に時系列のボリュームデータを生成する場合に増加するデータ量を低減する際に、本工程の保存方法は効果を発揮する。

　（Ｓ１０００：深さ情報を反映した２次元画像を表示する工程）
　表示制御手段としての画像処理装置１３００は、２次元リンパ画像データを、リンパ深さ情報が示されるような形式で表示装置１４００に表示させる。また、表示制御手段としての画像処理装置１３００は、２次元血管画像データを、血管深さ情報が示されるような形式で表示装置１４００に表示させる。さらに、表示制御手段としての画像処理装置１３００は、リンパ深さ情報が示された２次元リンパ画像と、血管深さ情報が示された２次元血管画像とを、リンパと血管の対応関係がユーザーに理解しやすいような形式で表示してもよい。例えば、血管画像とリンパ画像を並列表示したり、重畳表示したりできる。特に、リンパと血管が近い深さにあるかどうかをユーザーが理解しやすくすることが好ましい。

　図８Ａは、リンパ深さ情報に基づく明度処理を行った２次元リンパ画像を示す。また図８Ｂは、血管深さ情報に基づく明度処理を行った２次元血管画像を示す。ここでは深度を三段階で示しているが、階調の数はこれに限定されない。画像処理装置１３００が２次元画像に深さ情報を示す際の画像処理方法は、明度表示に限定されない。例えば、血管画像およびリンパ画像の明度、彩度、色相の少なくとも１つを、深さ情報がユーザーに理解できるような形で補正する画像処理を行ってもよい。言い換えると、血管画像およびリンパ画像のそれぞれに対応付けられた深さ情報に対して、明度、彩度、色相の少なくとも１つを割り当てる処理を行ってもよい。例えば画像処理装置１３００は、深度に応じて画像中の色味を変えてもよい。

　ここで、ユーザーがリンパ管と血管の深さ方向における位置関係を知りたい場合がある。例えば上述したリンパ管細静脈吻合術を行うときに適切なリンパ管と血管を選択するために、近接した深さにあるリンパ管と血管のペアを探しているような場合である。そこで画像処理装置１３００は、図８Ａのようなリンパ深さ情報付き２次元リンパ画像と、図８Ｂのような血管深さ情報付き２次元血管画像を、ユーザーが対比しやすい形式で表示装置に表示する。例えば、両者を並列表示してもよい。また、両者をＧＵＩ上のボタンや物理的なスイッチなどで切り替え可能としてもよい。また、図８Ｃのように両者を重畳表示してもよい。ユーザーは、図８Ｃの重畳表示画像を見ることで、近接した深さにあるリンパ管と血管のペアを確認できる（例えば、位置Ａや位置Ｂ）。画像処理装置１３００は、近傍に位置するリンパ管と血管のペアを画像解析等の情報処理によって検出し、マーカーや矢印等を用いてユーザーに提示してもよい。ＧＵＩ上のボタンや物理的なスイッチにより、図８Ａおよび図８Ｂの単独表示あるいは並列表示と、図８Ｃとを切り替えたり、図８Ａ、図８Ｂの単独表示あるいは並列表示に加えて図８Ｃをさらに表示させたりするよう切り替えることを可能にしてもよい。

　このように本実施形態では、３次元画像データと比べてデータ量の少ない２次元画像データに用いた場合でも、ユーザーが必要とする情報を表示装置に表示可能である。
　さらに本実施形態では、Ｓ９００において２次元画像データと深さ情報を関連付けて保存している。画像処理装置１３００は、このデータを用いてボリュームデータを生成して、簡易的な３次元画像を表示装置に表示してもよい。具体的には、画像処理装置１３００は、２次元画像データに関連付けられた深さ情報を用いて２次元画像データ中の画像値を３次元空間に割り当てる。これにより、比較的データ量の少ない２次元画像データを用いた場合でもユーザーに３次元画像を提示可能となる。

　上記フローでは、３次元画像データから血管領域およびリンパ領域を抽出して２次元画像化して保存および表示する方法について説明した。しかし３次元画像データから抽出する特定物質や造影剤はこの２つに限定されない。光音響イメージングによって描画されるものであれば、上記の２次元画像化、保存および表示処理の対象としてよい。特定物質は例えば、ヘモグロビン、ミオグロビン、グルコース、コラーゲン、メラニン、脂肪や水などから選択できる。さらに、ヘモグロビンの中でも酸化ヘモグロビン、還元ヘモグロビンのように、細分化されたものを特定物質としてもよい。また、造影剤の種類もＩＣＧに限定されない。描出される対象を第１物質に対応する第１領域と、第２物質に対応する第２領域としたとき、画像処理装置は、前記３次元画像データから第１物質に対応する第１領域を抽出した第１の３次元画像データを取得する、第１の３次元画像取得手段、前記３次元画像データから第２物質に対応する第２領域を抽出した第２の３次元画像データを取得する第２の３次元画像取得手段、前記第１の３次元画像データから、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データを取得する第１の２次元画像取得手段、前記第２の３次元画像データから、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データを取得する第２の２次元画像取得手段、および、前記第１の２次元画像データと前記第２の２次元画像データとを保存手段に保存する保存制御手段、として機能する。保存制御手段は、第１の２次元画像データと第２の２次元画像データとを関連付けて保存手段に保存してもよい。

　ここまでの例では３次元画像データに含まれる２つの領域をそれぞれ抽出して、２次元画像化する例を説明したが、３次元画像データから３つ以上の領域をそれぞれ抽出してもよい。つまり、第１物質および第２物質に加えて、第３物質あるいはそれ以上の数の物質に関する領域を抽出してもよい。たとえば、式（１）の計算値として表される３次元画像データにおいては、上述したように、血管領域と造影剤領域とで計算値の範囲が異なるために血管とリンパ管とを識別できることを説明した。このうち血管領域では、式（１）の計算値、すなわち酸素飽和度が動脈と静脈とで異なる範囲の値を取るため、動脈と静脈とを分離して抽出することも可能である。そこで、３次元画像データから抽出された動脈、静脈、およびリンパ管のそれぞれについて、上述のように３次元位置情報を取得して、当該３次元位置情報と関連付けた２次元画像データを取得および保存してもよい。また、動脈、静脈、およびリンパ管を３つの特定物質とした場合には、２つの波長の光照射に由来する分光画像を用いたが、特定物質の種類によっては、２よりも多い種類の波長の光照射により得られた光音響データを用いて分離することもできる。つまり、３次元画像データ中から抽出する特定物質の種類の数よりも少ない種類の波長の光でもよいし、抽出する特定物質の数以上の種類の波長の光を用いてもよい。なお、第３物質あるいはそれ以上の数の物質を抽出する場合も、画像処理装置が、第３の３次元画像取得手段、第３の２次元画像取得手段、としての機能を担う。また、画像処理装置は第３の２次元画像を第１の２次元画像データおよび第２の２次元画像データと関連付けて保存手段に保存する保存制御手段としても機能する。

　Ｓ１０００の表示工程では、表示制御手段としての画像処理装置１３００が血管深さ情報付き２次元血管画像とリンパ深さ情報付き２次元リンパ画像を表示装置に表示させた。本実施形態の画像処理装置は、このような深さ情報付きの表示に加えて、または、深さ情報付きの表示とは別に、光音響画像や分光画像を表示してもよい。例えば、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置に表示させてもよい。かかる表示の一例を説明する。

　図１２に示すように、画像処理装置１３００は、分光画像の画像値と表示色との関係を示すカラースケールとしてのカラーバー２４００をＧＵＩに表示させる。画像処理装置１３００は、造影剤に関する情報（例えば、造影剤の種類がＩＣＧであることを示す情報）と、照射光の波長を示す情報とに基づいて、カラースケールに割り当てる画像値の数値範囲を決定してもよい。例えば、画像処理装置１３００は、動脈の酸素飽和度、静脈の酸素飽和度、および造影剤に対応する負値の画像値を含む数値範囲を決定してもよい。画像処理装置１３００は、－１００％～１００％の数値範囲を決定し、青から赤に変化するカラーグラデーションに－１００％～１００％を割り当てたカラーバー２４００を設定してもよい。このような表示方法により、動静脈の識別に加え、負値の造影剤に対応する領域も識別することができる。また、画像処理装置１３００は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、造影剤に対応する画像値の数値範囲を示すインジケータ２４１０を表示させてもよい。ここでは、カラーバー２４００において、ＩＣＧに対応する画像値の数値範囲として負値の領域をインジケータ２４１０で示している。このように造影剤に対応する表示色を識別できるようにカラースケールを表示することにより、分光画像中の造影剤に対応する領域を容易に識別することができる。

　領域決定手段としての画像処理装置１３００は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、分光画像中の造影剤に対応する領域を決定してもよい。例えば、画像処理装置１３００は、分光画像のうち、負値の画像値を有する領域を造影剤に対応する領域として決定してもよい。そして、画像処理装置１３００は、造影剤に対応する領域とそれ以外の領域とを識別できるように分光画像を表示装置１４００に表示させてもよい。画像処理装置１３００は、造影剤に対応する領域とそれ以外の領域との表示色を異ならせる、造影剤に対応する領域を点滅させる、造影剤に対応する領域を示すインジケータ（例えば、枠）を表示させるなどの識別表示を採用することができる。

　なお、図１２に示すＧＵＩに表示されたＩＣＧの表示に対応するアイテム２７３０を指示することにより、ＩＣＧに対応する画像値を選択的に表示させる表示モードに切り替え可能であってもよい。例えば、ユーザーがＩＣＧの表示に対応するアイテム２７３０を選択した場合に、画像処理装置１３００が分光画像から画像値が負値のボクセルを選択し、選択されたボクセルを選択的にレンダリングすることにより、ＩＣＧの領域を選択的に表示してもよい。同様に、ユーザーが動脈の表示に対応するアイテム２７１０や静脈の表示に対応するアイテム２７２０を選択してもよい。ユーザーの指示に基づいて、画像処理装置１３００が、動脈に対応する画像値（例えば、９０％以上１００％以下）や静脈に対応する画像値（例えば、６０％以上９０％未満）を選択的に表示させる表示モードに切り替えてもよい。動脈に対応する画像値や静脈に対応する画像値の数値範囲については、ユーザーの指示に基づいて変更可能であってもよい。

　なお、分光画像の画像値に色相、明度、および彩度の少なくとも一つを割り当て、光音響画像の画像値に色相、明度、および彩度の残りのパラメータを割り当てた画像を分光画像として表示させてもよい。例えば、分光画像の画像値に色相および彩度を割り当て、光音響画像の画像値に明度を割り当てた画像を分光画像として表示させてもよい。このとき、造影剤に対応する光音響画像の画像値が、血管に対応する光音響画像の画像値よりも大きい場合や小さい場合、光音響画像の画像値に明度を割り当てると、血管と造影剤の両方を視認することが困難な場合がある。そこで、分光画像の画像値によって、光音響画像の画像値から明度への変換テーブルを変更してもよい。例えば、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも小さくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を小さくしてもよい。ここで変換テーブルとは、複数の画像値のそれぞれに対応する明度を示すテーブルである。また、分光画像の画像値が造影剤に対応する画像値の数値範囲に含まれる場合、光音響画像の画像値に対応する明度を、血管に対応するそれよりも大きくしてもよい。すなわち、造影剤の領域と血管の領域を比べたときに、光音響画像の画像値が同じであれば、血管の領域よりも造影剤の領域の明度を大きくしてもよい。また、分光画像の画像値によって、光音響画像の画像値を明度に変換しない光音響画像の画像値の数値範囲が異なっていてもよい。

　変換テーブルは、造影剤の種類や濃度、また照射光の波長によって適したものに変更してもよい。そこで、画像処理装置１３００は、造影剤に関する情報と、照射光の波長を示す情報とに基づいて、光音響画像の画像値から明度への変換テーブルを決定してもよい。画像処理装置１３００は、造影剤に対応する光音響画像の画像値が血管に対応するそれよりも大きくなると推定される場合、造影剤に対応する光音響画像の画像値に対応する明度を血管に対応するそれよりも小さくしてもよい。反対に、画像処理装置１３００は、造影剤に対応する光音響画像の画像値が血管に対応するそれよりも小さくなると推定される場合、造影剤に対応する光音響画像の画像値に対応する明度を血管に対応するそれよりも大きくしてもよい。

　図１２に示すＧＵＩは、波長７９７ｎｍに対応する吸収係数画像（第１光音響画像）２１００、波長８３５ｎｍに対応する吸収係数画像（第２光音響画像）２２００、酸素飽和度画像（分光画像）２３００を表示する。それぞれの画像がいずれの波長の光によって生成された画像であるかをＧＵＩに表示してもよい。本実施形態では、光音響画像と分光画像の両方を表示しているが、分光画像だけを表示してもよい。また、画像処理装置１３００は、ユーザーの指示に基づいて、光音響画像の表示と分光画像の表示とを切り替えてもよい。

　なお、表示部１６０は動画像を表示可能であってもよい。例えば、画像処理装置１３００が、第１光音響画像２１００、第２光音響画像２２００および分光画像２３００の少なくともいずれかを時系列に生成し、生成された時系列の画像に基づいて動画像データを生成して表示部１６０に出力する構成としてもよい。なお、リンパの流れる回数が比較的少ないことに鑑みて、ユーザーの判断時間を短縮するために、静止画または時間圧縮された動画像として表示することも好ましい。また、動画像表示において、リンパが流れる様子を繰り返し表示することもできる。動画像の速度は、予め規定された所定の速度やユーザーに指定された所定の速度であってもよい。

　また、動画像を表示可能な表示部１６０において、動画像のフレームレートを可変にすることも好ましい。フレームレートを可変にするために、図１２のＧＵＩに、ユーザーがフレームレートを手動で入力するためのウィンドウや、フレームレートを変更するためのスライドバーなどを追加してもよい。ここで、リンパ液はリンパ管内を間欠的に流れるため、取得された時系列のボリュームデータの中でも、リンパの流れの確認に利用できるのは一部だけである。そのため、リンパの流れの確認する際に実時間表示を行うと効率が低下する場合がある。そこで、表示部１６０に表示される動画像のフレームレートを可変にすることで、表示される動画像の早送り表示が可能になり、ユーザーがリンパ管内の流体の様子を短時間で確認できるようになる。

　また、表示部１６０は、所定の時間範囲内の動画像を繰り返し表示可能であってもよい。その際、繰り返し表示を行う範囲をユーザーが指定可能とするためのウィンドウやスライドバーなどのＧＵＩを、図１２に追加することも好ましい。これにより、例えばリンパ管内を流体が流れる様子をユーザーが把握しやすくなる。

　以上説明したように、画像処理装置１３００および情報処理装置としてのコンピュータ１５０の少なくとも１つは、分光画像取得手段、造影剤情報取得手段、領域決定手段、光音響画像取得手段、および表示制御手段の少なくとも一つを有する装置として機能する。なお、それぞれの手段は、互いに異なるハードウェアで構成されていてもよいし、１つのハードウェアで構成されていてもよい。また、複数の手段が１つのハードウェアで構成されていてもよい。

　本実施形態では、造影剤に対応する画像値が負値となる波長を選択することにより、血管と造影剤とを識別できるようにしたが、造影剤に対応する画像値が血管と造影剤とを識別できる限り、造影剤に対応する画像値がいかなる値であってもよい。例えば、造影剤に対応する分光画像（酸素飽和度画像）の画像値が、６０％より小さくなるまたは１００％より大きくなる場合などにも、本工程で説明した画像処理を適用することができる。
　（その他の実施例）
　また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０１８年８月２４日提出の日本国特許出願特願２０１８－１５７７９４を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

　１１００　光音響装置
　１２００　記憶装置
　１３００　画像処理装置

Claims

　被検体への光照射により前記被検体内から発生した光音響波に基づいて生成された３次元画像データを処理する画像処理装置であって、
　前記３次元画像データから前記被検体内の第１物質に対応する第１領域を抽出した第１の３次元画像データを取得する第１の３次元画像取得手段と、
　前記３次元画像データから前記被検体内の第２物質に対応する第２領域を抽出した第２の３次元画像データを取得する第２の３次元画像取得手段と、
　前記第１の３次元画像データから、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データを取得する第１の２次元画像取得手段と、
　前記第２の３次元画像データから、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データを取得する第２の２次元画像取得手段と、
を有することを特徴とする画像処理装置。
　前記第１の２次元画像データと前記第２の２次元画像データとを保存手段に保存する保存制御手段を有することを特徴とする請求項１に記載の画像処理装置。
　前記保存制御手段が、前記第１の２次元画像データと前記第２の２次元画像データとを関連付けて前記保存手段に保存することを特徴とする請求項２に記載の画像処理装置。
　前記第１領域は血管領域であり、前記第２領域はリンパ領域であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
　前記第１の２次元画像データに基づく第１の２次元画像と、前記第２の２次元画像データに基づく第２の２次元画像を表示装置に表示させる表示制御手段をさらに有する
ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
　前記表示制御手段は、前記第１の２次元画像および前記第２の２次元画像に、前記３次元位置情報に基づく画像処理を行う
ことを特徴とする請求項５に記載の画像処理装置。
　前記表示制御手段は、前記第１の２次元画像および前記第２の２次元画像の明度、彩度および色相の少なくとも１つを、前記３次元位置情報に基づいて補正する画像処理を行う
ことを特徴とする請求項６に記載の画像処理装置。
　前記表示制御手段は、前記第１の２次元画像および前記第２の２次元画像を、前記表示装置に、並列表示、重畳表示、および、切り替え可能な表示のいずれかの方法で表示させる
ことを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
　前記表示制御手段は、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データから生成した３次元画像と、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データから生成された３次元画像を、前記表示装置に表示させる
ことを特徴とする請求項５から８のいずれか１項に記載の画像処理装置。
　前記３次元画像データは、光照射により前記被検体内から発生した光音響波に由来する光音響画像データである
ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
　前記３次元画像データは、第１波長の光照射により発生した光音響波に基づいた第１光音響画像、および、第２波長の光照射により発生した光音響波に基づいた第２光音響画像に基づいて生成された分光画像である
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
　前記３次元画像データは、前記被検体への複数回の光照射により発生した光音響波に基づいて生成された、前記複数回の光照射のそれぞれに対応する画像を含む時系列の３次元画像データである、
ことを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
　前記表示制御手段は、時系列に生成された複数の第１の２次元画像と第２の２次元画像を動画像として表示させる
ことを特徴とする請求項５から９のいずれか１項に記載の画像処理装置。
　前記表示制御手段は、前記動画像を早送り表示可能である
ことを特徴とする請求項１３に記載の画像処理装置。
　前記表示制御手段は、前記動画像を繰り返し表示可能である
ことを特徴とする請求項１３または１４に記載の画像処理装置。
　前記３次元画像データから前記被検体内の第３物質に対応する第３領域を抽出した第３の３次元画像データを取得する、第３の３次元画像取得手段と、
　前記３次元画像データから、前記第３領域の３次元位置情報を関連付けた第３の２次元画像データを取得する第３の２次元画像取得手段と、
を有することを特徴とする請求項１から１５のいずれか１項に記載の画像処理装置。
　被検体への光照射により前記被検体内から発生した光音響波に基づいて生成された３次元画像データを処理する画像処理方法であって、
　前記３次元画像データから前記被検体内の第１物質に対応する第１領域を抽出した第１の３次元画像データを取得するステップと、
　前記３次元画像データから前記被検体内の第２物質に対応する第２領域を抽出した第２の３次元画像データを取得するステップと、
　前記第１の３次元画像データから、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データを取得するステップと、
　前記第２の３次元画像データから、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データを取得するステップと、
を有することを特徴とする画像処理方法。
　前記第１の２次元画像データと前記第２の２次元画像データとを保存手段に保存する保存制御ステップを有することを特徴とする請求項１７に記載の画像処理方法。
　前記保存制御ステップでは、前記第１の２次元画像データと前記第２の２次元画像データとを関連付けて前記保存手段に保存することを特徴とする請求項１８に記載の画像処理方法。
　前記第１領域は血管領域であり、前記第２領域はリンパ領域であることを特徴とする請求項１７から１９のいずれか１項に記載の画像処理方法。
　前記第１の２次元画像データに基づく第１の２次元画像と、前記第２の２次元画像データに基づく第２の２次元画像を表示装置に表示させる表示制御ステップをさらに有する
ことを特徴とする請求項１７から２０のいずれか１項に記載の画像処理方法。
　前記表示制御ステップでは、前記第１の２次元画像および前記第２の２次元画像に、前記３次元位置情報に基づく画像処理を行う
ことを特徴とする請求項２１に記載の画像処理方法。
　前記表示制御ステップでは、前記第１の２次元画像および前記第２の２次元画像の明度、彩度および色相の少なくとも１つを、前記３次元位置情報に基づいて補正する画像処理を行う
ことを特徴とする請求項２２に記載の画像処理方法。
　前記表示制御ステップでは、前記第１の２次元画像および前記第２の２次元画像を、前記表示装置に、並列表示、重畳表示、および、切り替え可能な表示のいずれかの方法で表示させる
ことを特徴とする請求項２１から２３のいずれか１項に記載の画像処理方法。
　前記表示制御ステップでは、前記第１領域の３次元位置情報を関連付けた第１の２次元画像データから生成した３次元画像と、前記第２領域の３次元位置情報を関連付けた第２の２次元画像データから生成された３次元画像を、前記表示装置に表示させる
ことを特徴とする請求項２１から２４のいずれか１項に記載の画像処理方法。
　前記３次元画像データは、光照射により前記被検体内から発生した光音響波に由来する光音響画像データである
ことを特徴とする請求項１７から２５のいずれか１項に記載の画像処理方法。
　前記３次元画像データは、第１波長の光照射により発生した光音響波に基づいた第１光音響画像、および、第２波長の光照射により発生した光音響波に基づいた第２光音響画像に基づいて生成された分光画像である
ことを特徴とする請求項１７から２６のいずれか１項に記載の画像処理方法。
　前記３次元画像データは、前記被検体への複数回の光照射により発生した光音響波に基づいて生成された、前記複数回の光照射のそれぞれに対応する画像を含む時系列の３次元画像データである、
ことを特徴とする請求項１７から２６のいずれか１項に記載の画像処理方法。
　前記表示制御ステップでは、時系列に生成された複数の第１の２次元画像と第２の２次元画像を動画像として表示させる
ことを特徴とする請求項２１から２５のいずれか１項に記載の画像処理方法。
　前記表示制御ステップでは、前記動画像を早送り表示可能である
ことを特徴とする請求項２９に記載の画像処理方法。
　前記表示制御ステップでは、前記動画像を繰り返し表示可能である
ことを特徴とする請求項２９または３０に記載の画像処理方法。
　前記３次元画像データから前記被検体内の第３物質に対応する第３領域を抽出した第３の３次元画像データを取得するステップと、
　前記３次元画像データから、前記第３領域の３次元位置情報を関連付けた第３の２次元画像データを取得するステップと、
を有することを特徴とする請求項１７から３１のいずれか１項に記載の画像処理方法。
　請求項１７から３２のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。