JP6921782B2 - 表示制御装置、画像表示方法、及びプログラム - Google Patents

Description

本発明は、ボリュームデータに基づいた画像表示方法に関する。

医用画像診断装置（モダリティ）により生成されたボリュームデータに基づいた画像を表示するイメージング技術として、光音響イメージングなどがある。光音響イメージングは、光を照射することで光吸収体から発生した音響波を受信して光吸収体の空間分布を画像化することができるイメージング技術である。光音響イメージングを生体に適用することで、ヘモグロビンを含む血管などの光吸収体を画像化することができる。

特許文献１は、光音響イメージング原理を利用して３次元空間（ＸＹＺ空間）の光音響画像データ（ボリュームデータ）を生成し、ある平面の光音響画像データの断層画像を表示することを開示する。特許文献１は、プローブがＸ軸方向に配列された複数の超音波振動子を有し、プローブをＹ軸方向に走査する場合に、ＸＺ断面の光音響画像データの断層画像を表示することを開示する。

特開２０１３−２３３３８６号公報

しかしながら、ボリュームデータの一断面の画像を表示すると、撮像対象の構造を把握しにくい場合がある。

そこで、上記課題を鑑み、本発明は、ボリュームデータに基づいて、撮像対象の構造を把握しやすい画像表示方法を提供することを目的とする。

本発明に係る画像表示方法は、光音響画像データを取得し、光音響画像データに基づいて、第１の空間領域に対応する第１の光音響画像を生成し、光音響画像データに基づいて、第１の空間領域とはレンダリングの視線方向における厚みが異なり、かつ、第１の空間領域と重複する空間領域を有する第２の空間領域に対応する第２の光音響画像を生成し、第１の光音響画像と第２の光音響画像とを並べた並列画像を生成し、表示させる。

本発明に係る画像表示方法によれば、ボリュームデータに基づいて、撮像対象の構造を把握しやすい画像の表示を行うことができる。

比較例に係る画像表示方法を示す模式図 本発明に係る画像表示方法の一形態を示す模式図 第１の実施形態に係る光音響装置を示すブロック図 第１の実施形態に係るプローブを示す模式図 第１の実施形態に係るコンピュータとその周辺の構成を示すブロック図 第１の実施形態に係る画像表示方法のフロー図 第１の実施形態に係る画像表示方法を示す模式図 第１の実施形態に係る複数の空間領域に対応する並列画像の生成方法を示す概念図 第１の実施形態に係る別の視線方向からの画像表示方法を示す模式図 第１の実施形態に係る並列表示の例を示す模式図 第２の実施形態に係る画像表示方法のフロー図 第２の実施形態に係る画像表示方法を示す模式図 第２の実施形態に係るＧＵＩを示す模式図 第３の実施形態に係る画像表示方法のフロー図 第３の実施形態に係る並列画像の表示例 第３の実施形態に係る並列画像の別の表示例

本発明は、３次元空間の画像データを表すボリュームデータに基づいた画像の表示方法に関する発明である。特に、本発明は、光照射により発生した光音響波に由来するボリュームデータとしての光音響画像データに基づいた画像の表示方法に好適に適用することができる。光音響画像データは、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、及び光吸収係数、被検体を構成する物質の濃度（酸素飽和度など）などの少なくとも１つの被検体情報の３次元空間分布を表すボリュームデータである。

図１（ａ）は、光音響波の受信信号に基づいて生成されたボリュームデータを表す光音響画像データ１０００の模式図を示す。図１（ａ）に示す光音響画像データ１０００には、血管１００１、１００２、１００３、１００５、及び１００６に対応する画像データが含まれている。また、光音響画像データ１０００に含まれる画像データではないが、腫瘍１０１０に対応する模式図を便宜上表示させている。図１（ｂ）は、図１（ａ）に示す光音響画像データ１０００を、Ｚ軸方向を軸として９０°回転させたものである。

図１に示すように、血管１００１、１００５、及び１００６は、腫瘍１０１０に入り込んでいる血管である。また、血管１００２及び血管１００３は、腫瘍１０１０に入り込んでいない血管である。

ここで、比較例として、図１（ｃ）に示す断面１０３０の光音響画像データを画像化する場合を考える。図１（ｄ）は、断面１０３０の光音響画像データの断層画像を示す。図１（ｄ）においても、断面１０３０と交わる腫瘍１０１０の領域を便宜上示している。断層画像には、断面１０３０と交わる血管１００１及び血管１００２の一部が表示されている。ところが、この断層画像を見ただけでは、血管のつながり、すなわち撮像対象の構造を把握することが困難である。そのため、断面の位置を変えて断層画像を確認する場合においても、各断層画像上に表示される血管像が腫瘍１０１０に向かっていくものであるのかどうかを想定しながら観察することが困難である。

一方、別の比較例として、光音響画像データをＹ軸方向に投影して表示する場合を考える。この比較例では、最大値投影（Ｍａｘｉｍｕｍ Ｉｎｔｅｎｓｉｔｙ Ｐｒｏｊｅｃｔｉｏｎ）により投影画像を表示する例を説明する。図１（ｆ）は、図１（ｅ）に示すように光音響画像データを視線方向１０４０（Ｙ軸方向）に投影して生成された投影画像である。すなわち、光音響画像データ１０００を投影面１０５０に最大値投影して得られる画像を図１（ｆ）に示す。図１（ｅ）においても、腫瘍１０１０を便宜上示している。投影画像では、血管１００１と血管１００３の両方が腫瘍１０１０に入り込んでいるように見える。ところが、図１（ａ）及び図１（ｂ）で示したように、血管１００３は腫瘍１０１０に入り込んでいない血管である。このように光音響画像データを投影した投影画像では、奥行き方向（投影方向）の情報が失われてしまう。そのため、実際には腫瘍１０１０に入り込んでいない血管１００３が腫瘍１０１０に入り込んでいるものと、ユーザーは誤認してしまう可能性がある。

上記の理由から比較例で説明した画像表示方法では、撮像対象の構造を把握することが困難である。そこで、当該課題を鑑みて、本発明者は、撮像対象の構造の連続性と、局所的な構造との両方を容易に把握することのできる画像表示方法を見出した。すなわち、本発明者は、第１の空間領域に対応する第１の画像と、第２の空間領域に対応する第２の画像とを並べて表示する画像表示方法を考案した。第１の画像は、第１の空間領域に対応するボリュームデータを表現した画像に相当する。すなわち、第１の画像は、第１の空間領域に対応するボリュームデータをレンダリングすることにより得られた画像に相当する。また、第２の画像は、第２の空間領域に対応するボリュームデータを表現した画像に相当する。すなわち、第２の画像は、第２の空間領域に対応するボリュームデータをレンダリングすることにより得られた画像に相当する。また、本発明者は、当該画像表示方法において、第２の空間領域が第１の空間領域とはレンダリングの視線方向における厚みが異なり、かつ、第１の空間領域と重複する空間領域を有するように設定することを考案した。これにより、ユーザーは、撮像対象の構造の連続性と、局所的な構造との両方を同時に把握することができる。

本発明の一形態としては、図２（ａ）に示す光音響画像データ１０００をＹ軸方向に最大値投影することにより投影画像（第１の光音響画像）を生成する（図２（ｂ））。一方、図２（ａ）に示す断面１０３０の光音響画像データ１０００を表現した断層画像（第２の光音響画像）を生成する（図２（ｃ））。そして、図２（ｂ）に示す投影画像と、図２（ｃ）に示す断層画像とを並べた画像を表示する。なお、図２（ｂ）及び図２（ｃ）においては、断面１０３０に存在する腫瘍１０１０の領域を便宜上表示している。この画像表示方法によれば、断面１０３０に存在する血管が腫瘍に入り込んでいく可能性のある血管であるのかどうかを容易に把握することができる。また、断面１０３０の位置を変えて断層画像を送って表示する場合にも、腫瘍に近づいていく血管であるのかどうかを容易に理解することができる。

次に、光音響画像データ１０００に対する断面を、図２（ａ）に示す断面１０３０から図２（ｄ）に示す断面１０３１に変更した場合を説明する。図２（ｅ）は、図２（ｄ）に示す光音響画像データ１０００をＹ軸方向に最大値投影することにより生成された投影画像を示す。また、図２（ｆ）は、図２（ｄ）に示す断層１０３１の光音響画像データ１０００を表現した断層画像を示す。そして、図２（ｅ）に示す投影画像と図２（ｆ）に示す断層画像とを並べた画像を表示する。

上記方法で投影画像及び断面画像の並列画像を複数生成し、これらの並列画像を切り替えて表示する。このような表示により、ユーザーは、図２（ｂ）または図２（ｅ）に示す投影画像を参照することにより血管１００１の全体構造を把握しつつ、血管１００１が腫瘍１０１０に入り込んでいる血管であることを図２（ｃ）または図２（ｆ）に示す断層画像で確認することができる。

なお、図２に示す画像表示方法では、光音響画像データには存在しない腫瘍の領域を便宜上示して説明した。本発明においては、関心領域を示すボリュームデータを取得し、断面１０３０に対応する関心領域を表現した画像を図２（ｂ）、図２（ｃ）、図２（ｅ）、または図２（ｆ）に重畳して表示してもよい。また、本発明においては、光音響装置以外のモダリティ（超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置など）で得られたボリュームデータについて、断面１０３０の断層画像を図２（ｂ）、図２（ｃ）、図２（ｅ）、または図２（ｆ）に重畳して表示してもよい。これらの情報を重畳して表示することにより、光音響画像データに含まれる血管の全体的な構造と腫瘍等の関心領域との位置関係、及び、断面における血管と腫瘍等の関心領域との位置関係の両方を容易に把握することができる。

また、本発明を適用可能なボリュームデータは、光音響装置、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのモダリティにより得られるあらゆるボリュームデータに本発明を適用することができる。なお、特に光音響装置に対しては本発明を好適に適用することができる。光音響イメージングにおいては、全方位から音響波を受信できない限り、Ｌｉｍｉｔｅｄ−Ｖｉｅｗの影響で撮影対象の構造を完全に再現することができない。そのため、ボリュームデータに含まれる血管などの構造が途切れて再構成されてしまう可能性がある。このような構造の途切れを抑制して表示するために、ボリュームデータの大きな空間領域を投影して表示することが考えられる。ところが、図１（ｅ）を用いて前述したように、この場合、撮影対象の奥行き情報が把握しにくくなってしまう。例えば、撮影対象である血管が腫瘍に入り込んでいるかを確認するときに、大きな空間領域をレンダリングすると血管が腫瘍に入り込んでいないにもかかわらず、血管が腫瘍に入り込んでいると誤認してしまう可能性がある。

一方、このような誤認を減らすために、図１（ｄ）に示すように、より小さな空間領域を画像化して表示することが考えられる。ところが、この場合、ボリュームデータでの構造の再現性が低いと、断面を変えて画像を送ったときに途中で構造が途切れてしまうなどの理由から、連続的な構造であるのか否かが分かりにくい。その結果、撮像対象の構造を誤認してしまう可能性がある。

以上の理由から、本発明の画像表示方法を光音響装置に適用することにより、撮像対象の構造の再現性の高いボリュームデータを得ることが困難である光音響装置であっても、撮像対象の連続的な構造と局所的な構造との両方を容易に把握することができる。

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。

［第１の実施形態］
第１の実施形態は、光音響装置により得られる光音響画像データに基づいた画像を表示する例を説明する。以下、本実施形態の光音響装置の構成及び情報処理方法について説明する。

図３を用いて本実施形態に係る光音響装置の構成を説明する。図３は、光音響装置全体の概略ブロック図である。本実施形態に係る光音響装置は、光照射部１１０及び受信部１２０を含むプローブ１８０、駆動部１３０、信号収集部１４０、コンピュータ１５０、表示部１６０、及び入力部１７０を有する。

図４は、本実施形態に係るプローブ１８０の模式図を示す。測定対象は、被検体１００である。駆動部１３０は、光照射部１１０と受信部１２０を駆動し、機械的な走査を行う。光照射部１１０が光を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部１２０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。

信号収集部１４０は、受信部１２０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号収集部１４０から出力されたデジタル信号を、超音波または光音響波に由来する信号データとして記憶する。

コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体１００に関する情報（被検体情報）の３次元空間分布を表すボリュームデータ（光音響画像データ）を生成する。また、コンピュータ１５０は、得られたボリュームデータに基づいた画像を表示部１６０に表示させる。ユーザーとしての医師は、表示部１６０に表示された画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどに保存される。

また、コンピュータ１５０は、光音響装置に含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部１７０を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。

以下、本実施形態に係る光音響装置の各構成の詳細を説明する。

（光照射部１１０）
光照射部１１０は、光を発する光源１１１と、光源１１１から射出された光を被検体１００へ導く光学系１１２とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。

光源１１１が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。

光源１１１としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源１１１としてフラッシュランプや発光ダイオードを用いてもよい。また、光源１１１としてマイクロウェーブ源を用いてもよい。

光学系１１２には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体１００とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系１１２の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。

なお、光照射部１１０が光学系１１２を備えずに、光源１１１から直接被検体１００に光を照射してもよい。

（受信部１２０）
受信部１２０は、音響波を受信することにより電気信号を出力するトランスデューサ１２１と、トランスデューサ１２１を支持する支持体１２２とを含む。また、トランスデューサ１２１は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一（共通）のトランスデューサでもよいし、別々の構成であってもよい。

トランスデューサ１２１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表したものである。

光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１２１として、これらの周波数を検出することのできるものを採用することができる。

支持体１２２は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体１２２の被検体１００側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体１２２は半球殻形状であり、半球殻上に複数のトランスデューサ１２１を支持できるように構成されている。この場合、支持体１２２に配置されたトランスデューサ１２１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１２１から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１２２はトランスデューサ１２１を支持できる限り、いかなる構成であってもよい。支持体１２２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ１２１が複数の受信手段に相当する。

また、支持体１２２は音響マッチング材２１０を貯留する容器として機能してもよい。すなわち、支持体１２２をトランスデューサ１２１と被検体１００との間に音響マッチング材２１０を配置するための容器としてもよい。

また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、受信部１２０が後述する信号収集部１４０を備えてもよい。

なお、音響波を様々な角度で検出できるようにするために、理想的には被検体１００を全周囲から囲むようにトランスデューサ１２１を配置してもよい。ただし、被検体１００が大きく全周囲を囲むようにトランスデューサを配置できない場合は、半球状の支持体１２２上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。

なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる受信部１２０を採用することができる。

受信部１２０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。

図４（ａ）は、プローブ１８０の側面図を示し、図４（ｂ）は、プローブ１８０の上面図（図４（ａ）の紙面上方向から見た図）を示す。図４に示された本実施形態に係るプローブ１８０は、開口を有する半球状の支持体１２２に複数のトランスデューサ１２１が３次元に配置された受信部１２０を有する。また、図４に示されたプローブ１８０は、支持体１２２の底部に光学系１１２の光射出部が配置されている。

本実施形態においては、図４に示すように被検体１００は、保持部２００に接触することにより、その形状が保持される。本実施形態では、被検体１００が乳房の場合に、伏臥位の被検者を支持する寝台に乳房を挿入するための開口を設けて、開口から鉛直方向に垂らされた乳房を測定する形態を想定している。

受信部１２０と保持部２００の間の空間は、光音響波が伝播することができる媒質（音響マッチング材２１０）で満たされる。この媒質には、光音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。

保持手段としての保持部２００は被検体１００の形状を測定中に保持するために使用される。保持部２００により被検体１００を保持することによって、被検体１００の動きの抑制および被検体１００の位置を保持部２００内に留めることができる。保持部２００の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。

保持部２００は、被検体１００を保持できる硬度を有する材料であることが好ましい。保持部２００は、測定に用いる光を透過する材料であってもよい。保持部２００は、インピーダンスが被検体１００と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体１００とする場合、凹型に成型した保持部２００であってもよい。この場合、保持部２００の凹部分に被検体１００を挿入することができる。

保持部２００は、取り付け部２０１に取り付けられている。取り付け部２０１は、被検体の大きさに合わせて複数種類の保持部２００を交換可能に構成されていてもよい。例えば、取り付け部２０１は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。

また、保持部２００には保持部２００の情報が登録されたタグ２０２が設置されていてもよい。例えば、タグ２０２には、保持部２００の曲率半径、曲率中心、音速、識別ＩＤ等の情報を登録することができる。タグ２０２に登録された情報は、読み取り部２０３により読み出され、コンピュータ１５０に転送される。保持部２００が取り付け部２０１に取り付けられたときに容易にタグ２０２を読み取るために、読み取り部２０３は取り付け部２０１に設置されていてもよい。例えば、タグ２０２はバーコードであり、読み取り部２０３はバーコードリーダである。

（駆動部１３０）
駆動部１３０は、被検体１００と受信部１２０との相対位置を変更する部分である。本実施形態では、駆動部１３０は、支持体１２２をＸＹ方向に移動させる装置であり、ステッピングモーターを搭載した電動のＸＹステージある。駆動部１３０は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部１２０の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、などを用いたポテンショメータなどを用いることができる。

なお、駆動部１３０は被検体１００と受信部１２０との相対位置をＸＹ方向（二次元）に変更させるものに限らず、一次元または三次元に変更させてもよい。移動経路は平面的にスパイラル状やライン＆スペースで走査してもよいし、さらに三次元的に体表に沿うように傾けてもよい。また、被検体１００の表面からの距離を一定に保つようにしてプローブ１８０を移動させてもよい。このとき駆動部１３０は、モーターの回転数をモニターするなどしてプローブの移動量を計測してもよい。

なお、駆動部１３０は、被検体１００と受信部１２０との相対的な位置を変更できれば、受信部１２０を固定し、被検体１００を移動させてもよい。被検体１００を移動させる場合は、被検体１００を保持する保持部を動かすことで被検体１００を移動させる構成などが考えられる。また、被検体１００と受信部１２０の両方を移動させてもよい。

駆動部１３０は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部１３０は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。すなわち、光音響装置は、駆動部１３０を有さずに、ユーザーがプローブ１８０を把持して操作するハンドヘルドタイプであってもよい。

また、本実施形態では、駆動部１３０は光照射部１１０と受信部１２０を同時に駆動して走査を行っているが、光照射部１１０だけを駆動したり、受信部１２０だけを駆動したりしてもよい。

（信号収集部１４０）
信号収集部１４０は、トランスデューサ１２１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号収集部１４０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップなどで構成されてもよい。信号収集部１４０から出力されるデジタル信号は、コンピュータ１５０内の記憶部１５２に記憶される。信号収集部１４０は、Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号収集部１４０は、光照射部１１０の光射出部に取り付けられた光検出センサと接続されており、光が光照射部１１０から射出されたことをトリガーに、同期して処理を開始してもよい。また、信号収集部１４０は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。

（コンピュータ１５０）
表示制御装置としてのコンピュータ１５０は、演算部１５１、記憶部１５２、制御部１５３を含む。各構成の機能については処理フローの説明の際に説明する。

演算部１５１としての演算機能を担うユニットは、ＣＰＵやＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部１５１は、入力部１７０から、被検体音速や保持部の構成などの各種パラメータを受けて、受信信号を処理してもよい。

記憶部１５２は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部１５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部１５２は、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。

記憶部１５２は、後述する方法で演算部１５１により生成される光音響画像を示す画像データを保存することができる。

制御部１５３は、ＣＰＵなどの演算素子で構成される。制御部１５３は、光音響装置の各構成の動作を制御する。制御部１５３は、入力部１７０からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部１５３は、記憶部１５２に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。

コンピュータ１５０は専用に設計されたワークステーションであってもよい。また、コンピュータ１５０の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ１５０の少なくとも一部の構成は単一のハードウェアで構成されてもよい。

図５は、本実施形態に係るコンピュータ１５０の具体的な構成例を示す。本実施形態に係るコンピュータ１５０は、ＣＰＵ１５４、ＧＰＵ１５５、ＲＡＭ１５６、ＲＯＭ１５７、外部記憶装置１５８から構成される。また、コンピュータ１５０には、表示部１６０としての液晶ディスプレイ１６１、入力部１７０としてのマウス１７１、キーボード１７２が接続されている。

また、コンピュータ１５０および複数のトランスデューサ１２１は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。すなわち、コンピュータを構成するハードウェアが一つの筺体に収められていなくてもよい。

（表示部１６０）
表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ＦＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ１５０により得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部１６０は、ボリュームデータに基づいた画像や装置を操作するためのＧＵＩを表示してもよい。なお、被検体情報の表示にあたっては、表示部１６０またはコンピュータ１５０において画像処理（輝度値の調整等）を行った上で表示することもできる。表示部１６０は、光音響装置とは別に提供されていてもよい。コンピュータ１５０は、光音響画像データを有線または無線で表示部１６０へ送信することができる。

（入力部１７０）
入力部１７０としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０として利用してもよい。

入力部１７０は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部１６０に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。

なお、光音響装置の各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、光音響装置の少なくとも一部の構成が一体となった１つの装置として構成されてもよい。

また、光音響装置の各構成間で送受信される情報は、有線または無線でやりとりがなされる。

（被検体１００）
被検体１００は光音響装置を構成するものではないが、以下に説明する。本実施形態に係る光音響装置は、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、メチレンブルー（ＭＢ）、インドシニアングリーン（ＩＣＧ）などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。

次に、本実施形態に係る情報処理を含む画像表示方法を、図６を参照して説明する。なお、各工程は、コンピュータ１５０が光音響装置の構成の動作を制御することにより実行される。

（Ｓ１００：制御パラメータを設定する工程）
ユーザーが、被検体情報の取得のために必要な光照射部１１０の照射条件（繰り返し周波数や波長など）やプローブ１８０の位置などの制御パラメータを、入力部１７０を用いて指定する。コンピュータ１５０は、ユーザーの指示に基づいて決定された制御パラメータを設定する。

（Ｓ２００：プローブを指定位置に移動させる工程）
制御部１５３が、ステップＳ１００で指定された制御パラメータに基づいて、駆動部１３０にプローブ１８０を指定の位置へ移動させる。ステップＳ１００において複数位置での撮像が指定された場合には、駆動部１３０は、まずプローブ１８０を最初の指定位置へ移動させる。なお、駆動部１３０は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ１８０を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ１８０を把持して所望の位置まで移動させてもよい。

（Ｓ３００：光を照射する工程）
光照射部１１０は、Ｓ１００で指定された制御パラメータに基づいて、被検体１００に光を照射する。

光源１１１から発生した光は、光学系１１２を介してパルス光として被検体１００に照射される。そして、被検体１００内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部１１０はパルス光の伝送と併せて信号収集部１４０へ同期信号を送信する。

（Ｓ４００：光音響波を受信する工程）
信号収集部１４０は、光照射部１１０から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部１４０は、受信部１２０から出力された、音響波に由来するアナログ電気信号を、増幅・ＡＤ変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ１５０へ出力する。コンピュータ１５０は、信号収集部１４０から送信された信号を記憶部１５２に保存する。ステップＳ１００で複数の走査位置での撮像を指定した場合には、指定した走査位置において、Ｓ２００−Ｓ４００のステップを繰り返し実行し、パルス光の照射と音響波に由来するデジタル信号の生成を繰り返す。

（Ｓ５００：光音響画像データを生成する工程）
コンピュータ１５０内の演算部１５１は、記憶部１５２に記憶された信号データに基づいて、ボリュームデータとしての光音響画像データを生成し、記憶部１５２に保存する。信号データを３次元空間分布としてのボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法、フーリエドメインでの逆投影法、モデルベース法（繰り返し演算法）などのあらゆる手法を採用することができる。例えば、タイムドメインでの逆投影法として、Ｕｎｉｖｅｒｓａｌ ｂａｃｋ−ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ ｂａｃｋ−ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ−ａｎｄ−Ｓｕｍ）などが挙げられる。例えば、演算部１５１は、光音響画像データとして、音響波の発生音圧（初期音圧）の３次元空間分布を取得する再構成の手法として、式（１）で表されるＵＢＰ法を採用してもよい。

ここで、ｒ_０は再構成する位置（再構成位置、注目位置とも呼ぶ）を示す位置ベクトル、ｐ_０（ｒ_０，ｔ）は再構成する位置での初期音圧、ｃは伝搬経路の音速を示す。また、ΔΩ_ｉは再構成する位置からｉ番目のトランスデューサ１２１を見込む立体角、Ｎは再構成に用いるトランスデューサ１２１の個数を示す。式（１）は、受信信号ｐ（ｒ_ｉ，ｔ）に微分等の処理を行い、それらに立体角の加重をかけて整相加算すること（逆投影）を示している。式（１）のｔは、注目位置とトランスデューサ１２１とを結ぶ音線を光音響波が伝搬する時間（伝搬時間）である。なお、ｂ（ｒ_ｉ、ｔ）の計算においては、他にも演算処理を施してもよい。例えば、周波数フィルタリング（ローパス、ハイパス、バンドパス等）、デコンボリューション、包絡線検波、ウェーブレットフィルタリング、等である。

また、演算部１５１は、被検体１００に照射された光の被検体１００の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。コンピュータ１５０は、光を吸収、散乱する媒質における光エネルギーの挙動を示す輸送方程式や拡散方程式を数値的に解く方法により、被検体１００の内部における光フルエンスの空間分布を算出することができる。数値的に解く方法としては、有限要素法、差分法、モンテカルロ法等を採用することができる。例えば、コンピュータ１５０は、式（２）に示す光拡散方程式を解くことにより、被検体１００の内部における光フルエンスの空間分布を算出してもよい。

ここで、Ｄは拡散係数、μ_ａは吸収係数、Ｓは照射光の入射強度、φは到達する光フルエンス、ｒは位置、ｔは時間を示す。

また、複数の波長の光を用いて、Ｓ３００、Ｓ４００の工程を実行し、演算部１５１は、複数の波長の光のそれぞれに対応する吸収係数分布情報を取得してもよい。そして、演算部１５１は、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて、分光情報として被検体１００を構成する物質の濃度の空間分布情報を、光音響画像データとして取得してもよい。すなわち、演算部１５１は、複数の波長の光に対応する信号データを用いて、分光情報を取得してもよい。

（Ｓ６００：光音響画像データに基づいた並列画像を生成・表示する工程）
表示制御手段としてのコンピュータ１５０は、Ｓ５００で得られた光音響画像データに基づいて画像を生成し、表示部１６０に表示させる。本実施形態では、コンピュータ１５０は、光音響画像データに基づいて、第１の空間領域に対応する第１の光音響画像を生成する。コンピュータ１５０は、第１の空間領域に対応する光音響画像データをレンダリングすることにより、第１の空間領域に対応する光音響画像データを表現した第１の光音響画像を生成する。また、コンピュータ１５０は、光音響画像データに基づいて、第１の空間領域とはレンダリングの視線方向における厚みが異なり、かつ、第１の空間領域と重畳する空間領域を有する第２の空間領域に対応する第２の光音響画像を生成する。コンピュータ１５０は、第２の空間領域に対応する光音響画像データをレンダリングすることにより、第２の空間領域に対応する光音響画像データを表現した第２の光音響画像を生成する。そして、コンピュータ１５０は、第１の光音響画像と第２の光音響画像とを並べた並列画像を生成し、表示部１６０に送信し、表示部１６０に当該並列画像を表示させる。

例えば、コンピュータ１５０は、図７（ａ）に示すように光音響画像データ１０００の全領域を第１の空間領域７１０として設定し、光音響画像データ１０００の一部の領域を第２の空間領域７２０として設定する。

ンピュータ１５０は、図７（ａ）に示す第１の空間領域７１０に対応する光音響画像データ１０００を視線方向７３０（Ｙ軸方向）に最大値投影することによりＭＩＰ画像７４０（第１の光音響画像）を生成する（図７（ｂ））。また、コンピュータ１５０は、第２の空間領域７２０に対応する光音響画像データ１０００を視線方向７３０に最大値投影することによりＭＩＰ画像７５０（第２の光音響画像）を生成する（図７（ｃ））。このようにして得られたＭＩＰ画像は、それぞれ第１の空間領域及び第２の空間領域に対応する光音響画像である。なお、光音響画像データ１０００に含まれる画像データではないが、図７（ｂ）及び図７（ｃ）のいずれにも、第２の空間領域７２０に存在する腫瘍１０１０に対応する模式図を便宜上示している。

コンピュータ１５０は、図７（ｂ）に示すＭＩＰ画像７４０と図７（ｃ）に示すＭＩＰ画像７５０とを並べた画像を生成し、表示部１６０に表示させる。光音響画像データをこのように表示することにより、ＭＩＰ画像７４０で血管の連続的な構造を把握し、ＭＩＰ画像７５０で血管の局所的な構造及び詳細な位置を同時に把握することができる。また、第２の空間領域７２０に存在する腫瘍１０１０に対応する画像をそれぞれのＭＩＰ画像に重畳することにより、連続的な血管構造が表現されたＭＩＰ画像７４０で腫瘍に入り込んだと思われる血管を識別しつつ、局所的な血管構造が表現されたＭＩＰ画像７５０で腫瘍に入り込んでいることを確認することができる。本実施形態では、各画像で同じ血管を表示対象としているため、各画像を同じ手法（最大値投影法）で生成することにより、各画像で共通に表現されている構造を把握しやすくなっている。

なお、図７に示した例では第１の空間領域７１０を光音響画像データ１０００の全領域に設定したが、光音響画像データ１０００の一部の領域を第１の空間領域７１０として設定してもよい。

また、図７に示した例では第２の空間領域７２０は第１の空間領域７１０の一部の空間領域であったが、第２の空間領域７２０は第１の空間領域７１０とはレンダリングの視線方向における厚みが異なり、かつ、重複する空間領域を有していればよい。この場合でも、ＭＩＰ画像７４０とＭＩＰ画像７５０とで同じ構造物を把握することができるため、血管の構造を把握しやすい。なお、第２の空間領域７２０のレンダリングの視線方向における厚みは、第１の空間領域７１０のそれよりも小さいことが好ましい。これにより、撮像対象の全体構造と局所的構造を同時に把握することができる。

また、図７に示した例では画像化したい空間領域の光音響画像データを最大値投影したが、画像化したい空間領域の光音響画像データを表現できる画像を表示する方法であればいかなる手法により画像化（レンダリング）してもよい。例えば、第１の空間領域７１０以外の空間領域の光音響画像データの不透明度を０として、第１の空間領域７１０の光音響画像データに不透明度を与えるレンダリングを行ってもよい。また、第１の空間領域以外の空間領域の光音響画像データをレンダリング対象から外し、第１の空間領域７１０の光音響画像データを選択的にレンダリングしてもよい。なお、レンダリングには、最大値投影法（ＭＩＰ）、最小値投影法（ＭｉｎＩＰ）、Ｒａｙ Ｓｕｍ、平均値投影法、中央値投影法、ボリュームレンダリング、サーフェイスレンダリングなどの公知のあらゆる手法を採用することができる。レンダリング手法を、サーフェイスレンダリングとボリュームレンダリングに大別し、ボリュームレンダリングに最大値投影法（ＭＩＰ）、最小値投影法（ＭｉｎＩＰ）、Ｒａｙ Ｓｕｍ、平均値投影法、中央値投影法が含まれると定義してもよい。

なお、各空間領域を表現する画像化を同種のレンダリングで行ってもよい。レンダリングのアルゴリズムとしては同じであるが、レンダリングのパラメータやレンダリングの際の前処理が異なるものも同種のレンダリングに含まれる。また、各空間領域を表現する画像化を空間領域に応じてレンダリングの例えば、第１の空間領域に対応する画像をボリュームレンダリングで生成して表示し、第２の空間領域に対応する画像をＭＩＰで生成して表示してもよい。なお、本実施形態に係る光音響装置はユーザーが入力部１７０を用いてレンダリング手法を選択できるように構成されていてもよい。また、再構成ボクセルの配列方向と視線方向（投影方向）とが一致していない場合は、再構成ボクセルを分割し、補間されたボリュームデータに対してレンダリング処理を実行してもよい。また、上記では視線方向が１方向である平行投影法の例を説明したが、ある点から放射状に伸びる方向を視線方向（投影方向）に投影する透視投影法で画像を生成し、表示してもよい。

また、第１の空間領域７１０及び第２の空間領域７２０の少なくとも一方の位置や範囲などを変更し、変更された空間領域に対応する並列画像に更新して表示してもよい。なお、空間領域の変更は、ユーザーによる入力部１７０を用いた指示によって行われてもよいし、コンピュータ１５０が所定のパターンで空間領域を変更しながら表示画像を更新してもよい。このように画像化したい空間領域を変更し、変更された空間領域に対応する画像に切り替えて表示させることにより、順次画像を送って表示させることができる。

例えば、ユーザーが入力部１７０としてのマウスのホイールを操作することにより、画像として表現したい空間領域を変更する指示を行い、順次表示画像を切り替える場合を説明する。まず、コンピュータ１５０は、ユーザーからの操作指示情報を受け付け、図７（ａ）に示した第２の空間領域７２０から、図７（ｄ）に示すように光音響画像データ１０００の一部の空間領域へと第２の空間領域７７０の設定を変更する。ここで、ユーザーは第１の空間領域を変更する指示を行わなかったものとして説明する。すなわち、図７（ａ）に示す第１の空間領域７１０と図７（ｄ）に示す第１の空間領域７６０は同じ空間領域であるが、図７（ａ）に示す第２の空間領域７２０と図７（ｄ）に示す第２の空間領域７７０は異なる空間領域である。

コンピュータ１５０は、図７（ｄ）に示す第１の空間領域７６０の光音響画像データ１０００を視線方向７３０（Ｙ軸方向）に最大値投影することによりＭＩＰ画像７８０（第１の光音響画像）を生成する。また、コンピュータ１５０は、第２の空間領域７７０の光音響画像データ１０００を視線方向７３０に最大値投影することによりＭＩＰ画像７９０（第２の光音響画像）を生成する。このようにして得られた各ＭＩＰ画像は、それぞれ再設定された第１の空間領域及び第２の空間領域に対応する光音響画像である。

コンピュータ１５０は、変更された各空間領域に対応するＭＩＰ画像を並べた画像を生成し、表示部１６０に表示させる。このようにして、順次異なる空間領域に対応する並列画像を切り替えて表示することができる。

図８は、上述した複数の空間領域に対応する並列画像の生成を説明するための概念図である。すなわち、図８は、上述したように光音響画像データ８００の全領域を第１の空間領域とする全ＭＩＰ画像と、光音響画像データ８００の一部の領域を第２の空間領域とする部分ＭＩＰ画像（スライス画像）とを並べた並列画像を生成するときの概念図を示す。

コンピュータ１５０は、光音響画像データ８００の全領域を投影対象としてＹ軸方向に最大値投影（全ＭＩＰ）した全ＭＩＰ画像８１０を生成する。また、コンピュータ１５０は、光音響画像データ８００の一部の領域であり、かつ、互いに異なる複数の空間領域のそれぞれを投影対象としてＹ軸方向に最大値投影（部分ＭＩＰ）した部分ＭＩＰ画像８２１、８２２、及び８２３（スライス画像）を生成する。

便宜上、図８では、３つの部分ＭＩＰ画像の生成し、３つの並列画像を生成する例を示したが、４つ以上の部分ＭＩＰ画像及び並列画像を生成してもよい。

なお、これまでは第１の空間領域が固定された例を説明したが、第１の空間領域を変更してもよい。例えば、第１の空間領域が光音響画像データの一部の領域である場合、ユーザーの指示や所定の切り替えパターンに基づいて、第１の空間領域と第２の空間領域とを同期させて位置を変更してもよい。すなわち、手動または自動で、第１の空間領域と第２の空間領域とを同じ移動量だけ移動させてもよい。このように空間領域の位置の変更を行うことにより、表示対象となる各画像の画像化領域の位置関係が維持されるため、表示画像を切り替えたときの違和感が少ない。

また、視線方向７３０が変更可能であってもよい。コンピュータ１５０は、視線方向７３０を変更し、変更された視線方向７３０から見た光音響画像データを表現した画像を表示させてもよい。視線方向７３０の変更は、ユーザーによる入力部１７０を用いた指示によって行われてもよいし、コンピュータ１５０が所定のパターンで視線方向７３０を変更しながら表示画像を更新してもよい。例えば、ユーザーが入力部１７０を用いて、図９（ａ）に示すように視線方向７３０をＺ軸方向に変更するように指示し、コンピュータ１５０が図９（ｂ）に示すように変更指示に応じて並列画像を生成し、表示画像を更新してもよい（切り替えてもよい）。なお、コンピュータ１５０は、複数の視線方向に対応する並列画像を生成し、表示部１６０に並べて表示させてもよい。

また、ユーザーの指示に応じて、本実施形態に係る並列画像の表示と、第１の光音響画像と第２の光音響画像との重畳画像の表示とを切り換えて表示したり、並べて表示したりしてもよい。

また、コンピュータ１５０は、本実施形態で生成された光音響画像に、光音響装置とは別のモダリティで得られたボリュームデータを表現したモダリティ画像を並べて並列画像を生成してもよい。別のモダリティで得られたボリュームデータとしては、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのモダリティにより得られたボリュームデータを採用することができる。例えば、表示部１６０の第１の表示領域に、第１の空間領域に対応する第１の光音響画像を表示する。また、表示部１６０の第１の表示領域とは異なる第２の表示領域に、第２の空間領域に対応する第２の光音響画像を表示する。さらに、表示部１６０の第１の表示領域及ぶ第２の表示領域とは異なる第３の表示領域に、ＭＲＩ装置で得られたボリュームデータを表現したＭＲＩ画像を表示してもよい。

また、図１０に示すように、３つ以上の画像を並べた並列画像を表示してもよい。例えば、表示部１６０の第１の表示領域１６１１に光音響画像データの全ＭＩＰ画像（第１の光音響画像）を表示させる。また、表示部１６０の第２の表示領域１６１２に光音響画像データのスライス画像（第２の光音響画像）と別のモダリティのボリュームデータのスライス画像との重畳画像を表示させる。さらに、表示部１６０の第３の表示領域１６１３に光音響画像データのスライス画像（第２の光音響画像）を表示してもよい。図１０では、第２の空間領域に対応する光音響画像データを表現したスライス画像としての光音響画像と、第２の空間領域に対応する空間領域を表現したスライス画像としてのＭＲＩ画像とを重畳して、表示部１６０の第２の表示領域１６１２に表示している。マルチモダリティによる重畳画像を基準に診断を行う場合、基準となる重畳画像に隣り合うように第１の光音響画像及び第２の光音響画像のそれぞれを単独に表示させることにより、医師は診断の際に参照しやすくなる。なお、コンピュータ１５０は、ＭＲＩ装置で生成されたＭＲＩ画像（スライス画像）をベース画像とし、光音響装置で得られた光音響画像（スライス画像）をＭＲＩ画像の上に重畳することにより、第２の表示領域１６１２に重畳画像を表示してもよい。このように複数のモダリティにより得られた情報を同時に表示することにより、血管の位置や腫瘍の位置などの情報を同時に把握することができるため、総合的な診断を行うことが可能となる。

なお、各モダリティにおける第２の空間領域に対応する空間領域は、第２の空間領域と同一の空間領域であることが望ましい。ところが、データ間でボクセルサイズが異なるなどの理由から同一の空間領域を抽出することが困難である場合がある。そのため、第２の空間領域に対応する空間領域を画像化したときに、第２の空間領域を表現していると視認できる程度であれば、第２の空間領域に対応する空間領域は第２の空間領域とは異なっていてもよい。例えば、光音響画像データのボクセルサイズが１ｍｍで、ＭＲＩ画像データのボクセルサイズが２ｍｍである場合を考える。この場合に、光音響画像について厚み１ｍｍのスラブを第２の空間領域と設定したときに、ＭＲＩ画像についてはこのスラブを含む厚み２ｍｍのスラブを第２の空間領域に対応する空間領域として設定してもよい。

なお、本実施形態では、光音響波に由来するボリュームデータである光音響画像データに基づいた画像表示方法について説明したが、本実施形態に係る画像表示方法は、光音響装置以外のモダリティにより得られたボリュームデータにも適用することができる。本実施形態に係る画像表示方法は、超音波診断装置、ＭＲＩ装置、Ｘ線ＣＴ装置、ＰＥＴ装置などのモダリティにより得られたボリュームデータに適用してもよい。特に、本実施形態に係る画像表示方法は、血管を表す画像データが含まれるボリュームデータに好適に適用することができる。血管は複雑な構造をしており、断層画像では血管がその先でどのように走行しているのかが想定できない。また、大きな空間領域を投影してしまうと、複雑な血管の前後関係を把握することができない。そのため、血管を表す画像データが含まれるボリュームデータに対しては、本実施形態の画像表示方法を好適に適用することができる。例えば、血管を表す画像データが含まれるボリュームデータとしては、光音響画像データ、ＭＲ血管撮影法（ＭＲＡ）画像データ、Ｘ線ＣＴ血管撮影法（ＣＴＡ）画像データ、及びドップラー画像データの少なくとも一つを適用することができる。

コンピュータ１５０は、ボリュームデータを記憶部１５２から受け取り、ボリュームデータに関連づけられた画像種別を示す情報に基づいて、本実施形態に係る画像表示方法を適用するか否かを決定してもよい。コンピュータ１５０は、ボリュームデータに関連づけられた画像種別が、光音響画像データ、ＭＲＡ画像データ、ＣＴＡ画像データ、及びドップラー画像データのいずれかであると判定した場合には、本実施形態に係る並列画像を表示する方法を実行してもよい。

なお、コンピュータ１５０は、光音響画像データに血管抽出処理を行い、血管抽出処理がなされた光音響画像データを本実施形態に係る画像表示方法で表示させてもよい。

本実施形態では、モダリティである光音響装置がボリュームデータを生成し、生成されたボリュームデータに対して本実施形態に係る画像表示方法を実行する例を説明した。ただし、モダリティとは別の装置である表示制御装置が本実施形態に係る画像表示方法を実行してもよい。この場合、表示制御装置が、事前にモダリティで生成されたボリュームデータを、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等の記憶部から読み出すことにより取得し、このボリュームデータに対して本実施形態に係る画像表示方法を適用する。このように、本発明に係る画像表示方法は、事前に生成されたボリュームデータに対しても適用することができる。

［第２の実施形態］
第２の実施形態では、第１の実施形態で説明した光音響画像に加え、光音響装置とは異なるモダリティで得られたボリュームデータに基づいた画像を重畳して表示する形態を説明する。特に、第２の実施形態では、光音響装置とは異なるモダリティとして超音波診断装置を適用した場合の例を説明する。第２の実施形態においても、第１の実施形態で説明した光音響装置と同様の装置を用いる。既に説明した構成には同じ符号を付し、詳細な説明は省略する。

本実施形態において、プローブ１８０のトランスデューサ１２１は、制御部１５３から制御信号に基づいて超音波を送信し、送信された超音波の反射波を受信することにより、電気信号（超音波信号とも呼ぶ）を出力する。なお、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとが、同じトランスデューサで構成されていてもよい。また、超音波を送受信するためのトランスデューサと、光音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送受信するトランスデューサと光音響波を受信するトランスデューサとが、同じトランスデューサで構成されていてもよい。

本実施形態に係る情報処理を含む画像表示方法を、図１１を参照して説明する。なお、各工程は、コンピュータ１５０が光音響装置の構成の動作を制御することにより実行される。また、図６に示す工程と同様の工程については同一の符号を付し、詳細な説明を省略する。

まず、Ｓ１００及びＳ２００を実行し、プローブ１８０を指定位置に位置させる。

（Ｓ７００：超音波を送受信する工程）
プローブ１８０は、被検体１００に対して超音波を送受信することにより、超音波信号を出力する。信号収集部１４０は、超音波信号に対してＡＤ変換処理等を行い、処理後の超音波信号をコンピュータ１５０に送信する。デジタル信号としての超音波信号は、記憶部１５２に記憶される。

なお、後述するＳ８００で３次元の超音波画像データを生成するために、プローブ１８０は、複数の方向に平面波の超音波を送受信することにより超音波信号を収集してもよい。また、３次元の超音波画像データを生成するために、複数の位置での送受信が必要な場合、Ｓ２００及びＳ７００の工程を繰り返し実行することにより、プローブ１８０が複数位置で送受信を繰り返し、超音波信号を収集してもよい。

（Ｓ８００：超音波画像データを生成する工程）
演算部１５１は、超音波信号に対して整相加算（Ｄｅｌａｙ ａｎｄ Ｓｕｍ）等の再構成処理を行うことにより、３次元のボリュームデータである超音波画像データを生成する。超音波画像データを生成したところで、記憶部１５２に保存された超音波信号を削除してもよい。本実施形態では、超音波画像データとしてＢモード画像データを生成する場合を説明する。Ｂモード画像データは、異なる組織の境界で反射した超音波（エコー）に由来する画像データであり、腫瘍等を表す画像データが含まれる。

なお、超音波信号を全て収集した後に本工程を実行してもよいし、超音波の送受信の度に本工程を繰り返し実行してもよい。超音波の送受信により３次元の超音波画像データを生成できる限り、Ｓ７００及びＳ８００ではいかなる方法を採用してもよい。

本実施形態では、Ｓ５００で生成される光音響画像データと同様の空間領域の超音波画像データを生成する。ただし、観察したい空間領域の光音響画像データ及び超音波画像データを生成できる限り、各画像データの生成領域は完全同一でなくてもよい。

続いて、プローブ１８０は光照射及び光音響波の受信を行い（Ｓ３００及びＳ４００）、コンピュータ１５０は、光音響波の受信信号に基づいて、超音波画像データと同じ空間領域の光音響画像データを生成する（Ｓ５００）。複数回の光照射及び光音響波の受信を行う場合、ある光照射と次の光照射との間にＳ７００の超音波の送受信を行ってもよい。また、光音響画像データの生成（Ｓ５００）の後に、超音波画像データの生成（Ｓ８００）を行ってもよい。

（Ｓ９００：超音波画像データ及び光音響画像データに基づいた重畳画像を生成・表示する工程）
表示制御手段としてのコンピュータ１５０は、Ｓ８００で得られた超音波画像データ及びＳ５００で得られた光音響画像データに基づいて画像を生成し、表示部１６０に表示させる。本実施形態では、コンピュータ１５０は、光音響画像データに基づいて、第１の空間領域に対応する第１の光音響画像を生成する。また、コンピュータ１５０は、光音響画像データに基づいて、第１の空間領域とはレンダリングの視線方向における厚みが異なり、かつ、第１の空間領域と重畳する空間領域を有する第２の空間領域に対応する第２の光音響画像を生成する。さらに、コンピュータ１５０は、超音波画像データに基づいて、第２の空間領域に対応する超音波画像（Ｂモード画像）を生成する。この超音波画像は、第２の空間領域に対応する超音波画像データを表現した画像である。

そして、コンピュータ１５０は、第１の光音響画像及び超音波画像を重畳した重畳画像（第１の重畳画像）を生成する。また、コンピュータ１５０は、第２の光音響画像及び超音波画像を重畳した重畳画像（第２の重畳画像）を生成する。コンピュータ１５０は、このようにして生成された２つの重畳画像（第１及び第２の重畳画像）を並べた並列画像を生成し、表示部１６０に表示させる。

例えば、コンピュータ１５０は、図１２（ａ）に示すように光音響画像データ１０００の全領域を第１の空間領域７１０として設定し、光音響画像データ１０００の一部の領域を第２の空間領域７２０として設定する。

た、本実施形態では、コンピュータ１５０は、図１２（ｂ）に示すように、腫瘍１２１０を表す画像データを含む超音波画像データ１２００に対して、第２の空間領域７２０に対応する空間領域１２２０を設定する。なお、第１の実施形態で説明したように、第２の空間領域７２０に対応する空間領域１２２０は、第２の空間領域７２０と完全同一でなくてもよい。すなわち、第２の空間領域に対応する空間領域を画像化したときに、第２の空間領域を表現していると視認できる程度であれば、第２の空間領域に対応する空間領域は、第２の空間領域とは異なっていてもよい。例えば、ビームフォーミングにより超音波画像データを生成する場合、典型的に一断面の画像データは超音波の集束範囲によって決定される。この集束範囲が光音響画像データのボクセルサイズの整数倍と一致しない場合、第２の空間領域７２０と第２の空間領域７２０に対応する空間領域１２２０とを厳密には一致させることが困難である。このような事情から第２の空間領域７２０の超音波画像データを表現していると視認できる程度の空間領域を、第２の空間領域７２０に対応する空間領域１２２０として設定してもよい。

図１２（ｃ）は、第１の光音響画像及び超音波画像（Ｂモード画像）を重畳して生成された重畳画像（第１の重畳画像）である。また、図１２（ｄ）は、第２の光音響画像及び超音波画像（Ｂモード画像）を重畳して生成された重畳画像（第２の重畳画像）である。本実施形態において、第１の光音響画像及び第２の光音響画像は、血管１００１、１００２、及び１００３を含む血管が描出された血管画像である。一方、超音波画像（Ｂモード画像）は、腫瘍１２１０が描出された腫瘍画像である。本実施形態では、超音波画像をベース画像とし、超音波画像の上に第１または第２の光音響画像を重畳している。このようなレイヤー順とすることにより、第１の重畳画像において、超音波画像に存在する腫瘍像に対して、光音響画像に映る血管の全体構造がどのような位置関係となっているのかを容易に視認することができる。さらに、第２の重畳画像において、超音波画像とほぼ同じ断面に対応する第２の光音響画像に映る局所的な血管像が、血管の全体構造のどの位置に位置するものであるのかを容易に視認することができる。このように、ユーザーは、第１の著上画像から得られる情報と第２の重畳画像から得られる情報を互いに参照ながら診断を行うことができる。その結果、第２の光音響画像が超音波画像と略同じ空間領域の情報を有しているため、超音波画像に映る腫瘍像に第２の光音響画像に映る血管像が入り込んでいるか否かを、第１の光音響画像を参照しながら容易に視認することができる。

また、重畳画像を構成する複数の画像を区別して視認できるように、互いの配色を変更することが好ましい。例えば、超音波画像をグレースケールで表示し、第１の光音響画像をカラーで表示し、第２の光音響画像を第１の光音響画像とは異なる色で表示してもよい。すなわち、コンピュータ１５０は、重畳画像における医用画像（超音波画像等）の彩度を、第１または第２の光音響画像の彩度よりも低くして重畳画像を生成してもよい。このような配色で表示させることにより、医師の見慣れた配色（グレースケール）のＢモード画像に、カラーの光音響画像を区別して付加的に表示することができるため、医師にとって違和感が少なく診断を行うことができる。

なお、第１の実施形態と同様に、視線方向の変更や画像化領域の変更を行ってもよい。

本実施形態では、コンピュータ１５０が、腫瘍を表す画像データが含まれる超音波画像データと、血管を表す画像データが含まれる光音響画像データとを記憶部１５２から取得したときの画像表示方法について説明した。なお、本実施形態に係る画像表示方法は、超音波画像データと光音響画像データとに限らず、腫瘍を表す画像データが含まれるボリュームデータと血管を表す画像データが含まれるボリュームデータとを取得した場合に好適に適用することができる。例えば、腫瘍を表す画像データが含まれるボリュームデータとしては、ＭＲＩ画像データ、Ｘ線ＣＴ画像データ、ＰＥＴ画像データ、Ｂモード画像データ、及びエラスト画像データの少なくとも１つを適用することができる。また、血管を表す画像データが含まれるボリュームデータとしては、光音響画像データ、ＭＲ血管撮影法（ＭＲＡ）画像データ、Ｘ線ＣＴ血管撮影法（ＣＴＡ）画像データ、及びドップラー画像データの少なくとも一つを適用することができる。

複数の画像種別の中からユーザーが表示させたい画像種別を選択する場合を考える。この場合、選択された画像種別の組み合わせに応じて、画像表示方法を変更してもよい。すなわち、コンピュータ１５０は、選択された画像種別の組み合わせを示す情報に基づいて、画像表示方法を決定してもよい。具体的には、コンピュータ１５０は、選択された画像種別が腫瘍を表す画像データを含むものであるか、血管を表す画像データを含むものであるのかを判定する。そして、コンピュータ１５０は、判定結果に基づいて、選択された画像種別が腫瘍を表す画像データを含むものである場合、当該画像データを本実施形態における超音波画像データと同様に処理する。一方、コンピュータ１５０は、判定結果に基づいて、選択された画像種別が血管を表す画像データを含むものである場合、当該画像データを本実施形態における光音響画像データと同様に処理する。なお、本実施形態では、コンピュータ１５０は、選択された画像種別が、ＭＲＩ画像データ、Ｘ線ＣＴ画像データ、ＰＥＴ画像データ、Ｂモード画像データ、及びエラスト画像データのいずれかである場合に、腫瘍を表す画像データが含まれたものであると判定する。一方、コンピュータ１５０は、選択された画像種別が、光音響画像データ、ＭＲ血管撮影法（ＭＲＡ）画像データ、Ｘ線ＣＴ血管撮影法（ＣＴＡ）画像データ、及びドップラー画像データのいずれかである場合に、血管を表す画像データが含まれたものであると判定する。

図１３は、表示部１６０に表示されるＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の具体例を示す。

表示領域１３１０は、第１の光音響画像と第２の光音響画像との並列画像が表示される表示領域である。本実施形態では、表示領域１３１０においては、ユーザーが入力部１７０を用いて指示した断面（第２の空間領域に相当）を表現した超音波画像及び光音響画像の重畳画像（第２の重畳画像）が左側に表示される。また、表示領域１３１０において、ユーザーが入力部１７０を用いて指示した断面（第２の空間領域に相当）を表現した超音波画像と、光音響画像データの全領域を表現した第１の光音響画像との重畳画像（第１の重畳画像）が右側に表示される。

表示領域１３２０は、本実施形態に係る画像表示方法で生成された複数の断面を表現した並列画像のサムネイル画像１３２１〜１３２３が表示される領域である。表示領域１３２０に表示されたサムネイル画像の中からユーザーが選択した並列画像が表示領域１３１０に表示される。図１３の場合、サムネイル画像１３２２が選択され、サムネイル画像１３２２に対応する並列画像が表示領域１３１０に表示されている。

なお、表示領域１３２０に表示されているサムネイル画像の中から入力部１７０を用いて画像を選択することにより、選択されたサムネイル画像を表示領域１３１０に拡大して表示させてもよい。例えば、表示部１６０にタッチスクリーンを用いて、サムネイル画像１３２１〜１３２３のいずれかをタッチすることで拡大する画像を選択してもよい。また、サムネイル画像１３２１〜１３２３のいずれかを表示領域１３１０にスワイプやフリックすることで拡大する画像を選択してもよい。

また、ユーザーが画像送りアイコン１３２８を操作することにより、表示領域１３１０に表示される並列画像を順次切り替えることができる。なお、画像送りアイコン１３２８を操作することにより、表示領域１３１０に表示される並列画像と同期して、表示領域１３２０に表示されるサムネイル画像についても順次切り替えられる。画像送りのルールについてはこれに限らず、いかなるルールで画像送りが行われてもよい。画像送りアイコンに対するユーザーの操作指示が切り替え指示に相当する。

表示領域１３３０は、検査対象の情報や表示パラメータの設定を行うための画像が表示される表示領域である。部位表示領域１３３１には、撮影対象部位が表示される。本表示例では、撮影対象部位が腹部であることが示されている。なお、部位表示領域１３３１に表示される撮影対象部位は、検査オーダの情報に基づいて設定されることができる。

種別表示領域１３３２には、表示領域１３１０及び１３２０に表示される超音波画像の画像種別が表示されている。また、種別表示領域１３３２に表示されている複数の画像種別の中からユーザーが入力部１７０を用いて、表示対象とする超音波画像の画像種別を選択することができる。本表示例では、超音波画像として、Ｂモード画像、ドップラー画像、エラストグラフィ画像の中からユーザーが選択することができるように構成されている。本表示例では、Ｂモード画像が選択された場合を想定し、Ｂモード画像が選択されたことが識別できるように表示されている。

種別表示領域１３３３には、表示領域１３１０及び１３２０に表示される光音響画像の画像種別が表示されている。また、種別表示領域１３３３に表示されている複数の画像種別の中からユーザーが入力部１７０を用いて、表示される光音響画像の画像種別を選択することができる。本表示例では、光音響画像として、初期音圧画像、光吸収係数画像、酸素飽和度画像の中からユーザーが選択することができるように構成されている。本表示例では、光吸収係数画像が選択された場合を想定し、光吸収係数画像が選択されたことが識別できるように表示されている。

なお、超音波画像及び光音響画像を互いに異なる配色で表示部１６０に表示してもよい。例えば、超音波画像と光音響画像とを重畳させて表示する場合、光音響画像の配色を超音波画像の補色とするなどして、超音波画像と光音響画像とを区別しやすくする配色を設定してもよい。また、例えば、超音波画像と光音響画像とで同一画素に画像値がある場合、重なる部分については超音波画像及び光音響画像のいずれとも異なる配色で表示してもよい。また、ユーザーが超音波画像または光音響画像の配色を変更するためのアイコンである配色変更部１３３４を、入力部１７０を用いてクリックすることにより配色を変更してもよい。また、表示部１６０に表示された配色変更部１３３４をクリックする以外のユーザーの指示に応じて画像の配色が変更されてもよい。

また、超音波画像と光音響画像との重畳画像について、それぞれの画像の透過率が変更できるように構成されていてもよい。例えば、ユーザーが入力部１７０を用いてスライドバー１３３５を左右に操作することにより、超音波画像または光音響画像の透過率を変更してもよい。本表示例では、スライドバー１３３５の位置に応じて透過率が変更されるように構成されている。

また、超音波画像及び光音響画像の少なくとも一方の画像に、信号フィルタや画像フィルタなどによる強調処理が施された画像の重畳画像を表示させてもよい。例えば、超音波画像にエッジ強調の処理を行い、輪郭が強調された超音波画像を光音響画像と重畳して表示してもよい。また、光音響画像に血管強調の処理を行い、血管が強調された光音響画像を超音波画像に重畳させてもよい。

なお、本表示例では便宜上、各表示領域の境界を実線で表示することにより区別したが、境界を表示させなくてもよい。

例えば、図１３に示すように、表示画像として、超音波画像からＢモード画像が、光音響画像から光吸収係数画像が選択された場合を考える。この場合、コンピュータ１５０は、Ｂモード画像が腫瘍を表す画像データを含むものであると判定し、光吸収係数画像が血管を表す画像データを含むものであるとして判定する。この場合、腫瘍を表す画像データを含むボリュームデータと、血管を表す画像データを含むボリュームデータとの組み合わせとなるので、コンピュータ１５０はユーザーの指示に依らずに本実施形態に係る画像表示方法を適用する。一方、ユーザーが光吸収係数画像のみを選択した場合、コンピュータ１５０は、血管を表す画像データを含むボリュームデータのみが選択されたと判定し、ユーザーの指示に依らずに第１の実施形態に係る画像表示方法を適用する。

［第３の実施形態］
第３の実施形態では、第１の実施形態で説明した光音響画像に加え、関心領域を表現した画像を重畳して表示する形態を説明する。第３の実施形態においても、第１の実施形態で説明した光音響装置と同様の装置を用いる。既に説明した構成には同じ符号を付し、詳細な説明は省略する。

本実施形態に係る情報処理を含む画像表示方法を、図１４を参照して説明する。なお、各工程は、コンピュータ１５０が光音響装置の構成の動作を制御することにより実行される。また、図６及び図１１に示す工程と同様の工程については同一の符号を付し、詳細な説明を省略する。

まず、Ｓ１００及びＳ２００を実行し、プローブ１８０を指定位置に位置させる。

続いて、プローブ１８０は光照射及び光音響波の受信を行い（Ｓ３００及びＳ４００）、コンピュータ１５０は、光音響波の受信信号に基づいて、光音響画像データを生成する（Ｓ５００）。

（Ｓ１１００：関心領域を表すボリュームデータを取得する工程）
続いて、コンピュータ１５０は、腫瘍等の関心領域（ＲＯＩ：Ｒｅｓｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を表す３次元のボリュームデータを取得する。コンピュータ１５０は、記憶部１５２に予め格納された関心領域を表すボリュームデータを読み出すことにより、関心領域を表すボリュームデータを取得してもよい。

また、コンピュータ１５０は、ユーザーの指示に基づいて、関心領域を表すボリュームデータを生成してもよい。

例えば、ユーザーが複数の所定領域の中から任意の領域を選択し、コンピュータ１５０は、選択された領域を関心領域として、関心領域を表すボリュームデータを生成してもよい。

また、表示部１６０に表示された医用画像に対してユーザーが腫瘍領域等を表す任意の３次元の領域を指定し、コンピュータ１５０が指定された領域を関心領域をとして、関心領域を表すボリュームデータを生成してもよい。関心領域の指定に利用される医用画像としては、光音響画像、ＭＲＩ画像、Ｘ線ＣＴ画像、ＰＥＴ画像、及び超音波画像などのあらゆるモダリティにより得られた画像を採用することができる。例えば、コンピュータ１５０が、光音響画像データをレンダリング表示し、ユーザーがレンダリングされた画像に対して入力部１７０を用いて関心領域を設定してもよい。また、光音響装置以外のモダリティで得られた画像データのレンダリング画像に対して、ユーザーが入力部１７０を用いて関心領域を指定してもよい。このとき、ユーザーは、レンダリング画像に対して任意の領域を指示し、その領域を関心領域として設定してもよい。また、ユーザーは、レンダリング画像に対して任意の位置を指示し、その指示された位置を含む所定の範囲を関心領域として設定してもよい。また、ユーザーは、表示部１６０に表示された複数の領域の中から所望な領域を選択し、その領域を関心領域として設定してもよい。選択対象である複数の領域は、レンダリング画像に重畳されていてもよい。

コンピュータ１５０は、関心領域を設定するためのボリュームデータのボクセル値を評価することにより、関心領域を表すボリュームデータを取得してもよい。例えば、コンピュータ１５０は、ボリュームデータのボクセル値が所定の数値範囲内となる領域を関心領域としてもよい。コンピュータ１５０は、ボリュームデータのボクセル値が所定の閾値より大きい領域を関心領域として設定してもよい。

コンピュータ１５０は、複数の関心領域を設定し、複数の関心領域を表すボリュームデータを取得してもよい。また、コンピュータ１５０は、複数の方法で設定された複数の関心領域の重畳領域を最終的な関心領域として更新してもよい。

（Ｓ１２００：関心領域を表すボリュームデータ及び光音響画像データに基づいた重畳画像を生成・表示する工程）
コンピュータ１５０は、Ｓ１１００で取得した関心領域を表すボリュームデータ及びＳ５００で生成された光音響画像データに基づいて、関心画像と光音響画像との重畳画像を生成し、重畳画像を表示部１６０に表示させる。コンピュータ１５０は、光音響画像データに基づいて、第１の空間領域に対応する第１の光音響画像を生成する。また、コンピュータ１５０は、光音響画像データに基づいて、第２の空間領域に対応する第２の光音響画像を生成する。さらに、コンピュータ１５０は、関心領域を表すボリュームデータに基づいて、第２の空間領域に対応する関心領域画像を生成する。

そして、コンピュータ１５０は、第１の光音響画像及び関心領域画像を重畳した重畳画像（第３の重畳画像）を生成する。また、コンピュータ１５０は、第２の光音響画像及び関心領域画像を重畳した重畳画像（第４の重畳画像）を生成する。コンピュータ１５０は、第３の重畳画像及び第４の重畳画像を表示部１６０に並べて表示させる。

コンピュータ１５０は、図１５（ａ）に示すように、第１の光音響画像をベース画像とし、第１の光音響画像の上に関心領域画像を重畳した画像を第３の重畳画像として生成してもよい。また、コンピュータ１５０は、図１５（ｂ）に示すように、関心領域画像をベース画像とし、関心領域画像の上に第２の光音響画像を重畳した画像を第４の重畳画像として生成してもよい。このようなレイヤー順とすることにより、例えば、関心領域が第１の光音響画像に映る血管の全体構造に埋もれることなく、関心領域への血管の入り込みを確認するための第２の光音響画像については関心領域に隠されることなく確認することができる。図１５では、関心領域１５１０の外縁を点線で示している。また、図１５（ｃ）及び図１５（ｄ）は、図１５（ａ）及び図１５（ｂ）とは異なる第２の空間領域の光音響画像データ及び関心領域を表すボリュームデータを表現した場合の画像である。

また、関心領域画像及び光音響画像を互いに異なる配色で表示部１６０に表示してもよい。例えば、コンピュータ１５０は、第１または第２の光音響画像をグレースケールで表示させ、関心領域画像をカラーで表示させてもよい。また、第２の光音響画像を関心領域画像とは異なる色で表示してもよい。また、例えば、関心領域画像と第２の光音響画像とで同一画素に画像値がある場合、重なる部分については関心領域画像及び第２の光音響画像のいずれとも異なる配色で表示してもよい。

また、第２の光音響画像について、関心領域の内外で配色を変更してもよい。すなわち、関心領域１５１０の内部に位置する第２の光音響画像１５０１（血管像）については、関心領域１５１０の外部に位置する第２の光音響画像１５０２、１５０３とは配色を変えてもよい。これにより、関心領域に入り込んだ血管と、そうでない血管とを容易に判別することができる。なお、配色の変更以外の方法で、関心領域の内外で第２の光音響画像の表示態様を変更することにより、関心領域に入り込んだ血管と、そうでない血管とを容易に判別させてもよい。例えば、関心領域内に存在する第２の光音響画像を点滅させる表示態様や、関心領域の内部に存在する画像であることをテキストで通知するような表示態様を採用してもよい。

なお、図１６に示すように、コンピュータ１５０が、関心領域画像を表示させずに、関心領域を表すボリュームデータ及び光音響画像データに基づいて、関心領域の内外で第２の光音響画像の表示態様を変更して表示してもよい。図１６（ａ）及び図１６（ｂ）は、互いに異なる第２の空間領域の光音響画像データを表現した場合の並列画像である。この場合も、配色の変更の他に、点滅やテキスト通知などのあらゆる表示態様の変更を行うことができる。これにより、ユーザーは、第２の光音響画像が関心領域の内部にあるか外部にあるかを容易に判別することができる。

なお、関心領域１５１０と重なる第２の光音響画像と、関心領域１５１０の内部に位置する第２の光音響画像とを同じ表示態様で表示してもよい。すなわち、関心領域１５１０と重なる第２の光音響画像と、関心領域１５１０の外部に位置する第２の光音響画像とを異なる表示態様で表示してもよい。また、関心領域１５１０の内部に位置する第２の光音響画像と、関心領域１５１０と重なる第２の光音響画像と、関心領域１５１０の外部に位置する第２の光音響画像とを互いに異なる表示態様で表示してもよい。

ところで、血管を表す画像データを含むボリュームデータを用いた画像診断としては、腫瘍などの関心領域に血管が入り込む様子を確認して診断することが想定される。そこで、ボリュームデータを読み込んだときにデフォルトで表示される画像として、関心領域に血管が入り込んでいると判定された第２の光音響画像を表示してもよい。

具体的に、まずコンピュータ１５０が、光音響画像データ及び関心領域を表すボリュームデータに基づいて、関心領域の境界でのボクセル値が所定の数値範囲内（例えば、ある閾値以上のボクセル値）となる光音響画像データの位置（例えば、断面）を特定する。コンピュータ１５０は、関心領域の境界でのボクセル値が所定の範囲内となる光音響画像データを含む第２の光音響画像から構成された画像を選択する。そして、コンピュータ１５０は、選択された重畳画像をはじめに表示させる。これにより、医師は、関心領域に血管が入り込む様子を表現した画像を、まず確認することができるため、診断効率が向上する。

また、コンピュータ１５０が自動で並列画像を順次切り換えられて表示させる場合に、血管が関心領域に入り込んでいると判定した画像の前後の並列画像を切り替える時間間隔を長くしてもよい。

具体的には、コンピュータ１５０は、前述した方法で、関心領域の境界でのボクセル値が所定の範囲内となる光音響画像データを含む第２の光音響画像から構成された並列画像を選択する。さらに、コンピュータ１５０は、選択されたヘリ悦画像と空間的に近傍に位置する並列画像群（例えば、前後１０フレームの並列画像）を選択する。そして、コンピュータ１５０は、選択された並列画像群を含む並列画像群を順次切り替えて表示させる。このとき、選択された並列画像群の表示を切り替えるときには、切り換え時間をその他の並列画像群の切り替えよりも長くする。

これにより、医師は、関心領域に血管が入り込む様子を表現した並列画像を比較的長い時間かけて確認でき、一方で関心領域に血管が入り込んでいない冗長な並列画像については素早く切り替えられるため、診断効率が向上する。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１５０ コンピュータ
１６０ 表示部

Claims (21)

1. 光音響画像データを取得し、
   前記光音響画像データに基づいて、第１の空間領域に対応する第１の光音響画像を生成し、
   前記光音響画像データに基づいて、前記第１の空間領域とはレンダリングの視線方向における厚みが異なり、かつ、前記第１の空間領域と重複する空間領域を有する第２の空間領域に対応する第２の光音響画像を生成し、
   前記光音響画像データに対するレンダリングの視線方向が変更可能であり、
   前記第１の光音響画像と前記第２の光音響画像とを並べた並列画像を生成し、表示させることを特徴とする画像表示方法。
2. 前記第２の空間領域の前記視線方向における厚みが、前記第１の空間領域の前記視線方向における厚みよりも小さいことを特徴とする請求項１に記載の画像表示方法。
3. 前記第２の空間領域は、前記第１の空間領域の一部の空間領域であることを特徴とする請求項２に記載の画像表示方法。
4. 前記光音響画像データの全領域を前記第１の空間領域として設定することを特徴とする請求項１から３のいずれか１項に記載の画像表示方法。
5. 光音響装置とは異なるモダリティにより得られた医用画像データを取得し、
   前記医用画像データに基づいて、前記第２の空間領域に対応する領域に対応する医用画像を生成し、
   前記医用画像と前記第１の光音響画像とを重畳した第１の重畳画像を生成し、
   前記医用画像と前記第２の光音響画像とを重畳した第２の重畳画像を生成し、
   前記第１の光音響画像を含む前記第１の重畳画像と、前記第２の光音響画像を含む前記第２の重畳画像とを並べた前記並列画像を生成し、表示させることを特徴とする請求項１から４のいずれか１項に記載の画像表示方法。
6. 前記医用画像の上に前記第１の光音響画像を重畳した前記第１の重畳画像を生成し、
   前記医用画像の上に前記第２の光音響画像を重畳した前記第２の重畳画像を生成することを特徴とする請求項５に記載の画像表示方法。
7. 前記第１の重畳画像における前記医用画像の彩度は、前記第１の光音響画像の彩度よりも低く、
   前記第２の重畳画像における前記医用画像の彩度は、前記第２の光音響画像の彩度よりも低いことを特徴とする請求項５または６に記載の画像表示方法。
8. 前記医用画像データは、被検体へ送信された超音波の反射波に由来する超音波画像データであることを特徴とする請求項５から７のいずれか１項に記載の画像表示方法。
9. 関心領域を表すボリュームデータを取得し、
   前記関心領域を表す前記ボリュームデータに基づいて、前記第２の空間領域に対応する関心領域画像を生成し、
   前記関心領域画像と前記第１の光音響画像とを重畳した第３の重畳画像を生成し、
   前記関心領域画像と前記第２の光音響画像とを重畳した第４の重畳画像を生成し、
   前記第１の光音響画像を含む前記第３の重畳画像と、前記第２の光音響画像を含む前記第４の重畳画像とを並べた前記並列画像を生成し、表示させることを特徴とする請求項１から４のいずれか１項に記載の画像表示方法。
10. 前記第２の空間領域の前記視線方向における厚みが、前記第１の空間領域の前記視線方向における厚みよりも小さく、
    前記第１の光音響画像の上に前記関心領域画像を重畳した前記第３の重畳画像を生成し、
    前記関心領域画像の上に前記第２の光音響画像を重畳した前記第４の重畳画像を生成することを特徴とする請求項９に記載の画像表示方法。
11. 前記関心領域の内外で前記第２の光音響画像の配色を変更することを特徴とする請求項９または１０に記載の画像表示方法。
12. 関心領域を表すボリュームデータを取得し、
    前記関心領域の内外で前記第２の光音響画像の配色を変更することを特徴とする請求項１から４のいずれか１項に記載の画像表示方法。
13. ユーザーの指示に基づいて、前記第１の空間領域及び前記第２の空間領域の位置を同期して変更し、変更された前記第１の空間領域及び前記第２の空間領域を表現した前記第１の光音響画像及び前記第２の光音響画像に更新して前記並列画像を生成することを特徴とする請求項１から１２のいずれか１項に記載の画像表示方法。
14. ユーザーの指示に基づいて前記第２の空間領域の位置を変更し、当該指示に基づいて前記第１の空間領域の位置を変更せず、変更された前記第２の空間領域を表現した前記第２の光音響画像に更新して表示することを特徴とする請求項１から１２のいずれか１項に記載の画像表示方法。
15. 前記第１の空間領域の不透明度を、前記第１の空間領域以外の空間領域の不透明度よりも高くすることにより、前記第１の空間領域に対応する前記第１の光音響画像を生成し、
    前記第２の空間領域の不透明度を、前記第２の空間領域以外の空間領域の不透明度よりも高くすることにより、前記第２の空間領域に対応する前記第２の光音響画像を生成することを特徴とする請求項１から１４のいずれか１項に記載の画像表示方法。
16. 前記第１の空間領域以外の空間領域をレンダリング対象から外して前記光音響画像データをレンダリングすることにより、前記第１の空間領域を表現に対応する前記第１の光音響画像を生成し、
    前記第２の空間領域以外の空間領域をレンダリング対象から外して前記光音響画像データをレンダリングすることにより、前記第２の空間領域に対応する前記第２の光音響画像を生成することを特徴とする請求項１から１５のいずれか１項に記載の画像表示方法。
17. 前記第１の光音響画像と前記第２の光音響画像とを同種のレンダリング手法で生成することを特徴とする請求項１から１６のいずれか１項に記載の画像表示方法。
18. 前記光音響画像データに対するボリュームレンダリングにより前記第１の光音響画像及び前記第２の光音響画像を生成することを特徴とする請求項１７に記載の画像表示方法。
19. 前記光音響画像データを最大値投影することにより、前記第１の光音響画像及び前記第２の光音響画像を生成することを特徴とする請求項１８に記載の画像表示方法。
20. 光音響画像データを取得する画像データ取得手段と、
    前記光音響画像データに基づいて、第１の空間領域に対応する第１の光音響画像を生成し、
    前記光音響画像データに基づいて、前記第１の空間領域とはレンダリングの視線方向における厚みが異なり、かつ、前記第１の空間領域と重複する空間領域を有する第２の空間領域に対応する第２の光音響画像を生成し、
    前記第１の光音響画像と前記第２の光音響画像とを並べて表示手段に表示させる表示制御手段と、
    を有し、前記光音響画像データに対するレンダリングの視線方向が変更可能であることを特徴とする表示制御装置。
21. 前記画像データ取得手段は、記憶手段に格納されている光音響画像データを読み出すことにより、当該光音響画像データを取得することを特徴とする請求項２０に記載の表示制御装置。

Images