JP7000139B2 - 画像情報処理装置および表示方法 - Google Patents

Description

本発明は、画像情報処理装置および表示方法に関する。

光源から発生したパルス光が被検体に照射されることによって音響波（光音響波）が発生する、光音響効果という現象がある。光音響イメージングは、光音響波を用いて被検体内部を画像化し、被検体の光学特性を反映した光音響画像（例えば血管像）を取得する技術である。

特許文献１に記載の被検体検査装置は、被検体内で発生した音響波を受信して電気信号に変換する複数の変換素子が設けられた、半球状の支持体を備えている。被検体は薄いカップ状の保持部材により保持され、保持部材と変換素子との間には水などの音響マッチング媒体が配置される。光が支持体の下方から照射されると、音響マッチング媒体と保持部材を介して被検体に到達し、光音響波が発生する。支持体に備わる変換素子は、保持部材及び音響マッチング媒体を介して光音響波を受信する。

国際公開第２０１０／０３０８１７号

ここで、ユーザが光音響画像と被検体を見比べるときに、光音響画像と実際の被検体との位置関係を把握しにくい場合がある。例えば大腿部と掌を比べると、前者は後者に比べて広く、体表の特徴が少ない。そのため、光音響画像が実際の大腿部のどこに対応するのかの把握が比較的難しい。

本発明は上記課題に鑑みてなされたものであり、その目的は、光音響画像と被検体の対応の把握を容易にする技術を提供することにある。

本発明は、以下の構成を採用する。すなわち、
被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得部と、
前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得部と、
前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理部と、
を備え、
前記画像処理部は、前記重畳画像または前記光音響画像から、前記マーカーに由来する成分を低減する
ことを特徴とする画像情報処理装置である。
本発明は、また、以下の構成を採用する。すなわち、
被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得部と、
前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得部と、
前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理部と、
を備え、
前記画像処理部は、前記重畳画像または前記光音響画像から、前記マーカーを含む前記被検体の表面に由来する成分を低減する
ことを特徴とする画像情報処理装置である。

本発明は、また、以下の構成を採用する。すなわち、
被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得ステップと、
前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得ステップと、
前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理ステップと、
を有し、
前記画像処理ステップでは、前記重畳画像または前記光音響画像から、前記マーカーに由来する成分を低減する
ことを特徴とする表示方法である。
本発明は、また、以下の構成を採用する。すなわち、
被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得ステップと、
前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得ステップと、
前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理ステップと、
を有し、
前記画像処理ステップでは、前記重畳画像または前記光音響画像から、前記マーカーを含む前記被検体の表面に由来する成分を低減する
ことを特徴とする表示方法である。

本発明によれば、光音響画像と被検体の対応の把握を容易にする技術を提供できる。

実施例１の被検体情報取得装置の概念図 実施例１の処理のフロー図 被検体の対象領域にマーカーを配置した様子を示す図 光学像の一例を示す図 光音響画像の一例を示す図 重畳画像の一例を示す図 実施例２の保持部材にマーカーを配置した様子を示す図 実施例３の重畳画像の一例を示す図 実施例４の被検体情報取得装置の概念図 実施例４の合成画像生成の概念図 実施例４のマーカーの別の例を示す図

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明は、被検体から伝播する音響波を検出し、被検体内部の特性情報（被検体情報）を生成し、取得する技術に関する。よって本発明は、音響波装置またはその制御方法、被検体情報取得装置またはその制御方法として捉えられる。本発明はまた、画像情報処理装置またはその制御方法、または画像処理方法として捉えられる。本発明はまた、被検体情報取得方法や信号処理方法として捉えられる。本発明はまた、これらの方法をＣＰＵやメモリ等のハードウェア資源を備える情報処理装置に実行させるプログラムや、そのプログラムを格納した、コンピュータにより読み取り可能な非一時的な記憶媒体としても捉えられる。

本発明の被検体情報取得装置には、被検体に光（電磁波）を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する光音響効果を利用した光音響装置が含まれる。この場合、特性情報とは、受信された光音響波に由来する信号を用いて生成される、被検体内の複数位置のそれぞれに対応する特性値の情報である。例えば特性情報は、光照射によって生じた音響波の発生源分布、被検体内の初期音圧分布、あるいは初期音圧分布から導かれる光エネルギー吸収密度分布や吸収係数分布、組織を構成する物質の濃度分布を示す。物質の濃度分布とは、酸素飽和度分布、トータルヘモグロビン濃度分布、酸化・脱酸化ヘモグロビン濃度分布などである。

また、複数位置の被検体情報である特性情報を、２次元または３次元の特性分布として取得してもよい。特性分布は被検体内の特性情報を示す画像データとして生成され得る。
画像データは例えば、画像再構成による３次元ボリュームデータとして生成される。

また、血液に特徴的な吸収係数を示す部分を強調することにより、被検体内部での血管構造を画像化することもできる。そのとき、酸素飽和度に基づいて動脈と静脈それぞれの分布を画像化することもできる。

本発明でいう音響波とは、典型的には超音波であり、音波、音響波と呼ばれる弾性波を含む。トランスデューサ等により音響波から変換された信号（例えば電気信号）を音響信号または受信信号とも呼ぶ。ただし、明細書中の超音波または音響波という記載は、弾性波の波長を限定する意図ではない。光音響効果により発生した音響波は、光音響波または光超音波と呼ばれる。光音響波に由来する信号（例えば電気信号）を光音響信号とも呼ぶ。光音響信号から画像再構成等により生成された画像を、光音響画像とも呼ぶ。

ところで、皮弁の採取手術の際に、皮弁採取部位の光音響測定を行って光音響画像（血管像）を取得し、この血管像から血管の位置や走行状態を把握することにより、採取する皮弁の位置と範囲の決定に役立てることが検討されている。このとき術者は、血管像が被検体のどの部分に対応するかを把握する必要がある。しかし通常、皮弁採取には、大腿部などの、比較的広く体表形状に特徴が少ない領域が用いられる。そのため、血管像と実際の被検体との位置関係の特定が難しくなるおそれがある。

そこで以下の各実施例では、光音響画像と被検体の対応関係の把握を容易にするために、光音響画像が被検体のどの場所に位置するのかを術者に分かりやすく提示する。これにより術者は、血管像に基づいて血管（たとえば穿通枝）の実際の被検体における位置を把握し、良好に皮弁を採取できるようになる。

＜実施例１＞
ここでは、基本的な実施の形態について説明する。本実施例では、マーカーが被検体に直接配置される。図１は、本実施例の被検体情報取得装置１の概念図である。

（装置の構成）
被検体２は、保持部２００により保持される。被検体２と保持部材２００の間には、音響波が伝達しやすいように音響マッチング媒体（不図示）を充填してもよい。音響マッチング媒体としては水、ゲル、ジェル等が挙げられる。保持部材としては、音響インピーダンスが人体に近く、光と音響波の透過性が高い材質が好ましい。例えばポリメチルペンテン、ポリエチレンテレフタレート、アクリルなどが好適である。また、音響波の多重反射によるＳ／Ｎ比の低下を防ぐために、メッシュ状の部材を利用してもよい。メッシュ部材の材質として、金属、繊維や樹脂などを利用できる。

また、メッシュ部材と、フィルム部材またはシート部材とを組み合わせた保持部材２００も利用できる。その場合、メッシュ部材の上部（被検体側）または下部（変換素子側）に、樹脂等により形成されたフィルムまたはシート状の部材を配置する。これにより、フィルム部材の厚さを薄くしても被検体を保持できるので、音響波と光の透過性が高まる。また、フィルム部材により被検体側と変換素子側の音響マッチング媒体を分離できるので、清潔さや、音響マッチング媒体の交換容易性が向上する。なお、フィルムを支える骨格部材はメッシュには限定されず、例えば傘の骨のような形状でも良い。

光源１００から照射された光は、光伝送路１２０を経て、支持体下方の照射端１４０から照射される。光伝送路１２０は、光ファイバ、ミラー、プリズム、レンズなどの光学部材で構成される。照射光が、被検体内部や被検体表面上や、保持部材２００上の光吸収体に吸収されると、光音響波が発生する。支持体３００に支持された複数の変換素子３２０
は、光音響波を受信して電気信号（光音響信号）に変換する。

光源１００は、効率的に光音響波を発生させるため、１～１００ナノ秒程度のパルス幅の光を照射する。被検体が生体の場合、光の波長としては６００ｎｍから１１００ｎｍ程度が好ましい。光源１００の種類としては、Ｎｄ：ＹＡＧレーザ、アレクサンドライトレーザ、Ｔｉ－ｓａレーザ、ＯＰＯレーザが利用できる。また、ＬＥＤや半導体レーザなども利用できる。また、波長可変レーザなどの、複数の波長の光を照射可能な光源１００を用いることで、酸素飽和度など被検体内の物質濃度を取得できる。

支持体３００は金属や樹脂などで作られた半球状の部材である。複数の変換素子３２０は、指向軸が集まる高感度領域が形成されるように支持体３００に配置される。なお、保持部材や支持体の構造は上記に限定されない。例えば、被検体を圧迫保持する板状の保持部材を用いてもよい。また、変換素子は単素子でもよいし、リニア状または平面状に配列されていても良い。保持部材と変換素子との間には、音響波が伝搬可能な音響マッチング媒体（不図示）が設けられる。音響マッチング媒体として水、ゲル、ジェル等が挙げられる。

カメラ５００は、被検体に対して変換素子側に配置された光学撮像装置である。カメラ５００は可視光や赤外光などを用いて光音響測定の対象領域を光学的に撮影し、得られた光学像を画像データとして情報処理装置に送る。

駆動部６００は、支持体を被検体に対して相対的に移動させるための、駆動ステージなどで構成された移動機構（不図示）を制御する。駆動部６００が支持体を移動させた複数の位置で光音響測定を行うことで、被検体の広い領域の光音響画像が取得できる。駆動部６００は、被検体の下方の移動面において、支持体３００を、スパイラルスキャンやラスタースキャンなどの方法で移動させる。そして、一定の周期で光照射および光音響波の受信を繰り返す。駆動部はパルス光の、照射位置を再構成部に送信する。

信号取得部４００は、光音響波を受信した変換素子から順次出力される光音響信号を増幅し、デジタル信号に変換して、再構成部８４０に送信する。信号取得部４００は増幅器やＡＤコンバータ等により構成される。

情報処理装置８００は機能ブロックとして、制御部８１０、光学像取得部８２０、再構成部８４０、画像処理部８５０、記憶部８７０を備える。情報処理装置８００としては、プロセッサやメモリ等の演算資源を備え、プログラムの指示に従って動作するコンピュータやワークステーションを利用できる。情報処理装置８００は、必ずしも各機能ブロックに対応する具体的な構成（処理回路など）を備えていなくても良い。各機能ブロックは、それぞれの処理を行うプログラムモジュールとして仮想的に実現されても良い。必ずしも全ての機能ブロックが１つのコンピュータに含まれる必要はなく、情報送受信可能に接続された複数のコンピュータが協働して情報処理装置８００を構成しても良い。

制御部８１０は、被検体情報取得装置１の各構成の動作や、光源１００の光照射タイミング、変換素子３２０による信号取得タイミング、駆動部６００による支持体３００の移動位置や移動速度、カメラ５００による光学撮像のタイミングや撮像方法などを制御する。光学像取得部８２０は、カメラ５００から画像データを受信して、必要に応じて補正等の処理を施した上で記憶部に保存する。

再構成部８４０は、信号取得部４００からの光音響信号と、駆動部６００からの光音響信号取得位置情報を元に画像再構成を行い、被検体の対象領域の特性情報分布を取得する。画像再構成には、整相加算法やフーリエ変換法など任意の手法を利用できる。取得され
た特性情報分布は、画像処理部８５０に送信される。再構成部８４０は、本発明の光音響画像取得部に相当する。画像処理部８５０は、後述する重ね合わせ処理によって表示画像を生成する。

記憶部８７０は、制御部８１０による制御情報、光音響信号、光学像の画像データ、再構成した特性情報分布データ、後述する画像処理部８５０によって処理された画像データなど、被検体情報取得装置１の動作に伴って発生するデータを一時的または恒久的に保存し、必要に応じて出力する。

入力部８８０は、ユーザ（術者など）が指示情報を入力するための手段であり、例えば情報処理装置８００のユーザインタフェース（マウス、キーボード、タッチパネルなど）を利用できる。表示部９００としては、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置を利用できる。

（処理フロー）
図２を用いて、本実施例の処理の流れの概要を説明する。ステップＳ１０１において、ユーザが、所定の場所にマーカー２５０を配置する。マーカー２５０は、光を吸収して音響波を発生する光吸収体である。マーカーの配置場所、種類、材質については後述する。そしてユーザは、装置の動作に関するパラメータを設定する。パラメータには、被検体における画像化の対象領域、駆動部６００による走査の経路や速度、光音響測定時の光照射の強度や間隔、光音響画像や光学像の画質など、重畳画像作成に関する諸元が含まれる。そしてユーザは、被検体を保持部材２００に設置する。

ステップＳ１０２にて、カメラ５００はパラメータに従って光学撮像を行う。続いて、光学像取得部８２０が光学像を取得する。ステップＳ１０３では光音響測定が行われる。具体的には、光源１００が光を照射し、変換素子３２０が光音響波を受信して光音響信号を出力する。光音響信号は記憶部８７０に保存される。

ステップＳ１０４にて、制御部８１０は対象領域の光音響測定が完了したかどうかを判定する。完了の場合（ＹＥＳ）、処理はＳ１０６に進む。未完了（ＮＯ）の場合、ステップＳ１０５に進み、駆動部６００によって支持体３００が走査され、次の位置で光音響測定が行われる。ステップＳ１０６において、再構成部８４０は対象領域の光音響画像を生成して記憶部８７０に保存する。ステップＳ１０７において、画像処理部８５０は重畳画像データを生成し、表示部９００に表示する。

（画像の重ね合わせ）
光音響画像と光学像の重畳表示方法について、工程（１）～（４）の順に説明する。なお本実施例では、光吸収体であるマーカー２５０を、被検体に直接配置する。

（工程１）マーカーを配置
本工程は、ステップＳ１０１に対応する。ユーザは、光音響測定および光学撮像を行う撮像部位であり、重畳画像生成の対象となる対象領域２１０に、図３に示すように複数のマーカーを配置する。

マーカー２５０としては、光音響測定に用いる波長において吸収特性を有する材質を用いる。例えば、黒色のインクが利用できる。その場合ユーザは、黒色インクを用いたペンを使って、被検体に直接マーカーを記載する。ただし、マーカー２５０はこれに限定されず、光音響画像と光学像の両方に描出されるものであればよい。一例として、カーボン等の光吸収体を含有するシールを利用できる。また、カーボン等を接着剤で被検体に貼付しても良い。マーカーから発生する光音響波の強度が、撮像部位から発生する光音響波の強
度と同程度であるか、一桁程度小さいことが望ましい。被検体内で光を吸収する代表的な物質であるヘモグロビンの吸収係数が０．３／ｍｍから０．９／ｍｍであることを考慮すると、マーカーの吸収係数は例えば０．０５／ｍｍ以上１．０／ｍｍ以下の吸収係数であることが好ましい。

マーカー２５０の形状としては、点状の他に、ライン状、マトリックス状、放射状、円状などでも良く、用途や対象領域のサイズに応じて選択できる。

また、ユーザが配置するマーカーの代わりに、あるいはユーザが配置するマーカーとともに、被検体に予め備わっている光吸収度の高い部分をマーカーとして用いてもよい。例えば、ホクロなどの色素が集積している箇所である。

（工程２）光学像取得
本工程は、ステップＳ１０２に対応する。カメラ５００は、対象領域２１０に配置されたマーカー２５０全てが撮像視野に含まれるように調整して、光学撮像を行う。光学像取得部８２０は、画像データを受信して、必要であれば補正処理を行った上で記憶部８７０に保存する。図４は、光学像（対象領域光学像２１３）の概略図である。光学像には、位置合わせが可能な程度にマーカー（マーカー光学像２５３）が明確に写っていることが望まれる。また、対象領域が被検体のどの部位であるかをユーザに把握させるために、輪郭線など構造上の特徴が写っている必要がある。図４のように大腿部の画像の場合、左右の輪郭線が写り込んでいれば、方向や太さに基づいて、容易に対象領域を把握できる。

（工程３）光音響画像取得
本工程は、ステップＳ１０３、Ｓ１０６に対応する。上述したように、光源１００からの光照射によって発生した光音響波には、被検体に由来する成分とともに、マーカー２５０に由来する成分が含まれる。そのため、再構成部８４０により生成された光音響画像（図５の対象領域光音響画像２１５）にも、対象領域の血管に由来する像に加えてマーカーに由来する像（図５のマーカー光音響像２５５）が含まれる。

（工程４）重ね合わせ処理
本工程は、ステップＳ１０７に対応する。画像処理部８５０は、光音響画像と光学像のサイズを合わせたうえで、マーカー光学像２５３とマーカー光音響像２５５に基づいて位置合わせを行い、図６に示すように重畳画像２２０を生成する。なお、光音響画像と光学像の重ね合わせ処理に際して、光音響画像と光学像とにおける被検体の向きあるいは位置が異なる場合には、少なくとも一方の画像に対して回転処理あるいは移動処理を施してもよい。なお、これらの処理には既知の種々の手法が利用できる。

本実施例によれば、マーカーの位置に基づいて光音響画像と光学像を精度良く重ね合わせることができる。その結果、ユーザは、光音響画像に示された血管像が被検体のどの部分に対応するのかを、被検体の輪郭などに基づいて正確に把握できる。

＜実施例２＞
本実施例では、マーカー２５０を被検体ではなく保持部材に配置する。以下、実施例１との相違点を中心に説明を行う。

図７は、本実施例の保持部材２００を示す。図示したように、保持部材２００にマーカー２５０が配置されている。保持部材２００およびマーカー２５０としては、実施例１と同様の材質を利用できる。また保持部材２００にマーカー２５０を配置する際にも、実施例１と同様に、ペンによる記載、シールまたは接着剤による貼付などの任意の手法を利用できる。さらに本実施例の場合、保持部材２００を製造するときに、予めマーカー２５０
を埋め込んでおいても良い。マーカーは、光学像および光音響像のどちらでも確認できるようなものであれば、どのような材料を用いて構成されてもよい。一例としては、カーボンブラックが挙げられる。

光音響測定、光学撮像、および、重畳画像生成については、実施例１と同様である。すなわち、カメラ５００は、マーカー２５０が配置された保持部材２００ごと、被検体を撮像する。また、変換素子３２０が受信する光音響波には、被検体に由来する成分と、保持部材上のマーカー２５０に由来する成分とが含まれている。画像処理部８５０は、光音響画像と光学像を、マーカーを目印として重ね合わせて、重畳画像２２０を生成する。

本実施例においては、被検体にはマーカー２５０は配置されない。そこで、被検体の撮像部位を位置決めするための位置決めマーカーを別途、被検体に設けることが好ましい。位置決め用マーカーとしては、被検体の撮像部位に記載または貼付した目印を用いても良いし、ホクロなどの身体的な特徴を用いても良い。なお、位置決め用マーカーについては光音響波を発生させる必要はない。ユーザは光学撮像前に、位置決め用マーカーを用いて、撮像部位がカメラの視野の所望の位置に来るように調整する。

本実施例によっても、光音響画像に示された血管等が被検体のどの部分に対応するのかを、被検体の輪郭などに基づいて精度良くに把握できるようになる。

＜実施例３＞
上記各実施例で得られた重畳画像２２０には、マーカー２５０が描出されている。かかるマーカーは、位置を把握しやすくなるという利点がある反面、ユーザの視認性が低下するという問題もある。そこで本実施例では、表示画像からマーカーを除外する方法を説明する。以下の各変形例では、再構成部８４０が光音響画像からマーカーに由来する成分を削除または低減する方法を説明する。

一方、光学像処理部８２０は、光学像からマーカーを除外する。または少なくとも、マーカーに由来する成分を低減する。具体的には、光学像処理部８２０は、まず、画素値に基づく画像処理や、ユーザによる入力部８８０を用いた指定により、光学像中のマーカーの範囲を決定する。続いて、決定したマーカー範囲の画素値を周辺からの補間処理によって補正する。なお通常、光学像においては輪郭線などの大まかな構造が把握できれば十分であり、被検体表面の細かな構造物を描出する必要性は低い。そこで、マーカーを含む被検体表面の解像度を下げたり、大腿部全体を一様な色で塗りつぶしたりしても良い。

画像処理部８５０は、マーカーを削除済みの光音響画像と光学像を重ね合わせる。その場合でも、マーカーが画像中のどの位置に存在していたかは把握済みであるため、問題なく重ね合わせ処理を実行できる。画像処理部８５０は、また、マーカーを残したまま光音響画像と光学像を重ね合わせた後に、重畳画像からマーカーを削除しても良い。

（変形例１）表面の情報を削除する
ユーザが被検体内部の血管像を見たい場合、被検体表面部の情報が必要ではないことがありうる。そこで本変形例では、光音響信号や光音響画像から、被検体表面部に対応するデータを削除する。例えば、画像再構成により被検体の対象領域の表面から５ｃｍの深さまでのボリュームデータが得られた場合を考える。この場合、被検体の表面に近い側の２ｍｍ分のボリュームデータを表示対象から除外することで、表示画像にマーカーが表示されないようにできる。当該深さ範囲のボリュームデータを削除してもよいし、当該深さ範囲のデータには、画面上には表示されないように識別子を付すなど、いかなる手法を用いてもよい。なお、実施例２のように保持部材にマーカーを配置した場合は、保持部材の厚み分のデータを表示対象から除外すれば良い。なお、ボリュームデータから表示用の二次
元画像を生成する方法は任意である。例えば、被検体の表面を基準にして一定の深さの画像データを抽出してもよい。また、ＭＩＰ画像を生成しても良い。また、ある深さの断層像を選択してもよい。この場合、必ずしも全てのボリュームデータを生成する必要は無い。

また、ボリュームデータを生成してから表面部分のデータを削除するのではなく、予め、光音響信号からマーカーに由来する成分を削除しておいても良い。記憶部に保存された光音響信号のうちどの部分がマーカーに由来するかは、光の照射タイミング、音響マッチング媒体および被検体の音速に基づいて算出できる。かかる光音響信号を用いて画像再構成を行うことで、マーカーが除外された光音響画像が生成される。

（変形例２）マーカー情報を引き算する
本変形例では、マーカー形状を予め記憶部に記憶させておき、画像処理によって当該マーカーを削除して表示する。また、実施例２のように保持部材にマーカーを配置した場合は、被検体を保持部材に載置しない状態で予めマーカーだけを光音響測定して、マーカーに由来する光音響信号の成分を記憶部に保存しておき、光音響画像から当該保存した成分を減算する。

（変形例３）酸素飽和度の違いを用いる
本変形例では、光音響画像中の酸素飽和度の値から血管像とマーカーとを識別し、マーカーを除外して表示する。本変形例の光源は、第１の波長と第２の波長を含む複数波長の光を照射可能である。再構成部は、各波長の吸収係数分布に基づき、酸化ヘモグロビンと脱酸素化ヘモグロビンの波長ごとの吸収係数の違いを利用して、酸素飽和度分布を示す画像データを生成する。例えば、動脈血の酸素飽和度は通常約９５％であり、静脈血の酸素飽和度は約７５％である。そこで、マーカーとして、照射光の波長において算出される酸素飽和度が静脈血より更に低い、例えば２０％以下となる材料を選定することで、血管像とマーカーを識別できる。

（変形例４）吸収スペクトルの違いを用いる
また、波長可変光源を用いるにあたり、ヘモグロビンとは吸収スペクトルの異なるマーカーを利用する画像処理も可能である。例えば、ヘモグロビンに吸収されやすい波長（第１の波長）の光と、ヘモグロビンに吸収されにくくマーカーには吸収されやすい波長（第２の波長）の光とを照射可能な光源を用いる。つまり、少なくとも２つの波長について、ヘモグロビンとマーカーとで吸収係数の大小が反対になるような波長およびマーカーの材料を選択することにより実現できる。マーカーによる光学像との位置合わせには第２の波長に由来する光音響画像を利用することで、位置合わせの精度が向上する。また、第１の波長に由来する光音響画像からマーカー情報を除外する際にも、第２の波長に由来する光音響画像を利用できる。本変形例によっても、血管像とマーカーを識別してマーカーを表示画像から除外できる。

なお、変形例３および４のように複数波長光源を用いる場合は、一つ目の波長での測定を終えてから次の波長で測定するよりも、複数の波長の光を交互に照射するほうが、体動などによる位置ずれを低減できる。

本実施例によれば、図８のように、マーカー情報が除外されて血管像が見やすくなった重畳画像を提示できるので、ユーザの視認性が向上する。一方で、被検体の輪郭線は残っているため、血管像と被検体の位置関係の把握には問題ない。

＜実施例４＞
本実施例では、光学像の取得に関する変形例を説明する。ここで、図１のような装置構
成の場合、光音響測定中には支持体３００がカメラ５００と被検体の間に入り込むため、光学撮像ができない。そこで本実施例では、光音響測定中にも光学撮像を可能とするために、図９に示すような装置構成にする。図９では、カメラ５００が変換素子３２０とともに支持体３００に配置され、駆動部６００によって移動しながら撮影を行う。

本実施例では、実施例１の構成と比較して光学撮像時のカメラ５００の視野が狭いため、被検体の対象領域全体を一度に撮像できない。そこで本実施例の光学像取得部８２０は、複数の光学像を合成することで、対象領域全体の光学像を作成する。具体的には、まず、カメラ５００が移動しながら複数回の光学撮像を行い、得られた光学像を順次記憶部８７０に保存する。光学像取得部８２０は、駆動部６００から制御部８１０を介して受信した支持体３００の位置情報と、カメラ５００が複数の光学像それぞれを取得したタイミングに基づいて合成処理を行い、一枚の光学像を生成する。

なお、図１０（ａ）～図１０（ｄ）に示すように、複数個の（２以上の）マーカーがカメラの視野に含まれるような間隔で配置しておけば、図１０（ｅ）に示すような合成光学像を容易に生成できる。かかる配置方法は、マーカーを保持部材側に設ける場合にも、被検体側に設ける場合にも適用できる。

図１１は、本実施例のマーカーの一例を示す。図１１の方法であれば、各マーカーの位置が一意に分かるので、合成光学像の生成が容易になる。なお、マーカーの形状や種類は、図１０，図１１のものに限られない。

＜実施例５＞
本実施例では、画像処理部８５０による重畳画像生成の好適な例を説明する。本実施例の画像処理部８５０は、光学像と光音響画像の一方に他方を重ね合わせるときに、少なくともいずれかの画像の透明度を変更する。

ここでは、被検体が大腿部であり、光音響画像として血管像を生成したときに、光学像に光音響画像を重ね合わせる例について説明する。画像処理部８５０は、両画像のサイズが合うようにサイズ変換したのちに、光音響画像の透明度を５０％に変更する。そして、光学像に光音響画像を重ね合わせる。こうすることで、被検体である太腿部における血管走行のイメージを明確に把握可能になる。なお、いずれの画像を上にするか、あるいは各画像の透明度は、用途に応じて任意に設定できる。

＜実施例６＞
本発明は、光音響画像と光学像を重畳表示するための、情報処理装置８００によって実行される表示方法として捉えることができる。その場合、情報処理装置８００は、マーカーに由来する成分と被検体に由来する成分を含む光音響信号（または、光音響信号から生成された光音響画像）を取得し、同じ被検体をカメラで撮影した光学像を取得する。そして、マーカーを基準に両画像を重ね合わせて重畳画像を生成して表示する。

以上のように、本発明によれば、光音響像と被検体の対応関係に関するユーザの理解を助けることができる。その結果、面積が広かったり特徴的な構造が少なかったりしても、術者が被検体における血管構造を容易に把握できるようになる。

画像情報処理装置：８００、光学像取得部：８２０、再構成部：８４０

Claims (23)

1. 被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得部と、
   前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得部と、
   前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理部と、
   を備え、
   前記画像処理部は、前記重畳画像または前記光音響画像から、前記マーカーに由来する成分を低減する
   ことを特徴とする画像情報処理装置。
2. 前記光音響波を受信する変換素子と、前記光学像を撮影するカメラと、を支持する支持体と、
   前記支持体を前記被検体に対して相対的に移動させる駆動部と、をさらに備える
   ことを特徴とする請求項１に記載の画像情報処理装置。
3. 前記光学像取得部は、前記駆動部により前記カメラが移動した複数の位置で撮影された複数の画像を合成して、前記光学像を取得する
   ことを特徴とする請求項２に記載の画像情報処理装置。
4. 複数の前記マーカーが設けられた場合に、前記カメラの視野に２以上の前記マーカーが含まれるようにする
   ことを特徴とする請求項３に記載の画像情報処理装置。
5. 前記マーカーは、前記光の波長において吸収特性を有する物質である
   ことを特徴とする請求項１ないし４のいずれか１項に記載の画像情報処理装置。
6. 前記被検体に設けられたマーカーを前記マーカーとして用いる
   ことを特徴とする請求項１ないし５のいずれか１項に記載の画像情報処理装置。
7. 前記マーカーは、前記被検体において色素が集積している箇所である
   ことを特徴とする請求項６に記載の画像情報処理装置。
8. 前記被検体を保持する保持部材をさらに備え、
   前記マーカーは、前記保持部材に設けられる
   ことを特徴とする請求項１ないし５のいずれか１項に記載の画像情報処理装置。
9. 前記画像処理部は、前記光音響画像と前記光学像のサイズを合わせて前記重畳画像を生成する
   ことを特徴とする請求項１ないし８のいずれか１項に記載の画像情報処理装置。
10. 前記画像処理部は、前記光音響画像から、前記マーカーを含む前記被検体の表面に由来する成分を低減する
    ことを特徴とする請求項１ないし９のいずれか１項に記載の画像情報処理装置。
11. 前記画像処理部は、前記光音響画像から、前記マーカーの形状に基づく画像処理によって、前記マーカーに由来する成分を低減する
    ことを特徴とする請求項１ないし９のいずれか１項に記載の画像情報処理装置。
12. 前記光は、複数の波長の光を含んでおり、
    前記画像処理部は、前記マーカーと前記被検体の、前記複数の波長の光の照射により得られる酸素飽和度の違いに基づいて、前記マーカーに由来する成分を低減する
    ことを特徴とする請求項１ないし９のいずれか１項に記載の画像情報処理装置。
13. 前記光は、複数の波長の光を含んでおり、
    前記画像処理部は、前記マーカーと前記被検体の、前記複数の波長の光それぞれに対する吸収スペクトルの違いに基づいて、前記マーカーに由来する成分を低減する
    ことを特徴とする請求項１ないし９のいずれか１項に記載の画像情報処理装置。
14. 被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得ステップと、
    前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得ステップと、
    前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理ステップと、
    を有し、
    前記画像処理ステップでは、前記重畳画像または前記光音響画像から、前記マーカーに由来する成分を低減する
    ことを特徴とする表示方法。
15. 前記光音響波を受信する変換素子と前記光学像を撮影するカメラとを支持する支持体を、前記被検体に対して相対的に移動させる駆動ステップをさらに有し、
    前記光学像取得ステップでは、前記駆動ステップで前記カメラが移動した複数の位置で撮影された複数の画像を合成して、前記光学像を取得する
    ことを特徴とする請求項１４に記載の表示方法。
16. 前記画像処理ステップでは、前記光音響画像と前記光学像のサイズを合わせて前記重畳
    画像を生成する
    ことを特徴とする請求項１４または１５に記載の表示方法。
17. 前記画像処理ステップでは、前記重畳画像から前記マーカーに由来する成分を低減した画像を生成して前記表示部に表示させる
    ことを特徴とする請求項１４ないし１６のいずれか１項に記載の表示方法。
18. 前記画像処理ステップでは、前記光音響画像から、前記マーカーを含む前記被検体の表面に由来する成分を低減する
    ことを特徴とする請求項１４ないし１７のいずれか１項に記載の表示方法。
19. 前記画像処理ステップでは、前記光音響画像から、前記マーカーの形状に基づく画像処理によって、前記マーカーに由来する成分を低減する
    ことを特徴とする請求項１８に記載の表示方法。
20. 前記光は、複数の波長の光を含んでおり、
    前記画像処理ステップでは、前記マーカーと前記被検体の、前記複数の波長の光の照射により得られる酸素飽和度の違いに基づいて、前記マーカーに由来する成分を低減する
    ことを特徴とする請求項１８に記載の表示方法。
21. 前記光は、複数の波長の光を含んでおり、
    前記画像処理ステップでは、前記マーカーと前記被検体の、前記複数の波長の光それぞれに対する吸収スペクトルの違いに基づいて、前記マーカーに由来する成分を低減する
    ことを特徴とする請求項１８に記載の表示方法。
22. 被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得部と、
    前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得部と、
    前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理部と、
    を備え、
    前記画像処理部は、前記重畳画像または前記光音響画像から、前記マーカーを含む前記被検体の表面に由来する成分を低減する
    ことを特徴とする画像情報処理装置。
23. 被検体およびマーカーに光が照射されて発生した光音響波に基づいて生成された光音響画像を取得する光音響画像取得ステップと、
    前記被検体および前記マーカーを光学的に撮像して生成された光学像を取得する光学像取得ステップと、
    前記光音響画像における前記マーカーに由来する成分と、前記光学像に示される前記マーカーとに基づいて、前記光音響画像および前記光学像を重ね合わせた重畳画像を生成して表示部に表示させる画像処理ステップと、
    を有し、
    前記画像処理ステップでは、前記重畳画像または前記光音響画像から、前記マーカーを含む前記被検体の表面に由来する成分を低減する
    ことを特徴とする表示方法。
    

Images