WO2018097030A1

WO2018097030A1 - 情報処理装置、情報処理方法、情報処理システム及びプログラム

Info

Publication number: WO2018097030A1
Application number: PCT/JP2017/041317
Authority: WO
Inventors: 拓井上; 一仁岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-11-24
Filing date: 2017-11-16
Publication date: 2018-05-31
Anticipated expiration: 2019-05-24
Also published as: US20190209137A1; JP2018082923A

Abstract

情報処理装置は超音波画像を光音響画像よりも高いフレームレートで取得し、第１の時点の第１光音響画像と、第１の時点より後の第２の時点の第２光音響画像と、第１の時点より後かつ第２の時点より前の期間に含まれる第３の時点の第１超音波画像とを取得し、第１の時点、第２の時点および第３の時点との関係に基づいて、第１超音波画像に対して、第１光音響画像及び第２光音響画像の少なくともいずれかの光音響画像を対応づける。

Description

情報処理装置、情報処理方法、情報処理システム及びプログラム

　本明細書の開示は、情報処理装置、情報処理方法、情報処理システム及びプログラムに関する。

　被検体内部の状態を低侵襲に画像化する撮像装置として、超音波撮像装置や光音響撮像装置が利用されている。特許文献１には、超音波画像を光音響画像より高いフレームレートで取得可能な装置において、超音波画像のフレームと対応する光音響画像のフレームの情報と、超音波画像のフレームと対応する光音響画像のフレームがないことを示す情報とが記載された付帯情報を生成することが開示されている。

特開２０１４‐２１７６５２号公報

　超音波画像のフレームと対応する光音響画像のフレームの情報と、対応する光音響画像のフレームがないことを示す情報とが記載された付帯情報に基づいて、超音波画像と光音響画像とを含む動画像を再生しようとすると、光音響画像が表示される時点と表示されない時点とが混在し、ユーザにとって観察しにくい動画像となるおそれがある。

　本発明の実施形態に係る情報処理装置は、被検体への光の照射により発生する光音響に関する信号である光音響信号であって、第１の時点の第１の光音響信号と、前記第１の時点より後の第２の時点の第２の光音響信号とを取得し、被検体に照射された超音波の反射波に関する信号である超音波信号であって、前記第１の時点と前記第２の時点との間の第３の時点の超音波信号を取得する信号取得手段と、前記超音波信号に基づいて超音波画像を取得し、前記光音響信号に基づいて光音響画像を取得する画像取得手段と、前記第３の時点で取得された超音波信号に基づいて生成される超音波画像に対して、前記第１の光音響信号と前記第２の光音響信号とに基づいて、前記生成された前記光音響画像のいずれかを対応づける処理手段と、を有することを特徴とする。

　超音波画像のそれぞれに対して光音響画像が対応づけられることにより、動画像を再生する際に超音波画像と光音響画像とをともにスムーズに再生することが可能となる。

本発明の実施形態に係る情報処理装置を含むシステムの構成の一例を示す図である。本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。本発明の実施形態に係る情報処理装置により生成されるデータの構造の一例を示す図である。本発明の実施形態に係る情報処理装置により生成される付帯情報の一例を示す図である。本発明の実施形態に係る情報処理装置により外部装置に出力されるオブジェクトの構造の一例を示す図である。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すタイミングチャートである。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。本発明の実施形態に係る情報処理装置により生成されるデータの一例を示す図である。本発明の実施形態に係る情報処理装置により生成される付帯情報の一例を示す図である。本発明の実施形態に係る情報処理装置により外部装置に出力されるオブジェクトの構造の一例を示す図である。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すタイミングチャートである。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。本発明の実施形態に係る情報処理装置により生成される付帯情報の一例を示す図である。本発明の実施形態に係る情報処理装置により生成される付帯情報の一例を示す図である。

　以下、図面を参照して本発明の実施形態を説明する。

　［第１の実施形態］
　本願明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。

　被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響を用いた画像化の手法が利用されている。超音波を用いた画像化の方法は、たとえばトランスデューサから発振された超音波が被検体内部の組織で音響インピーダンスの差に応じて反射され、反射波がトランスデューサに到達するまでの時間や反射波の強度に基づいて画像を生成する方法である。超音波を用いて画像化された画像を以下では超音波画像と称する。ユーザはプローブの角度等を変えながら操作し、様々な断面の超音波画像をリアルタイムに観察することができる。超音波画像には臓器や組織の形状が描出され、腫瘍の発見等に活用されている。また、光音響を用いた画像化の方法は、たとえば光を照射された被検体内部の組織が断熱膨張することにより発生する超音波（光音響波）に基づいて画像を生成する方法である。光音響波を用いて画像化された画像を以下では光音響画像と称する。光音響画像には各組織の光の吸収の度合いといった光学特性に関連した情報が描出される。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られており、腫瘍の悪性度の評価等への活用が検討されている。

　診断の精度を高めるために、被検体の同一部位を、異なる原理に基づいて異なる現象を画像化することにより、様々な情報を収集する場合がある。超音波画像の撮影と光音響画像の撮影と、それぞれの特性を組み合わせた画像を得るための撮像装置が検討されている。特に、超音波画像も光音響画像も被検体からの超音波を利用して画像化されることから、超音波画像の撮像と光音響画像の撮像とを同じ撮像装置で行うことも可能である。より具体的には、被検体に照射した反射波と光音響とを同じトランスデューサで受信する構成とすることができる。これにより、超音波信号と光音響信号とを一つのプローブで取得することができ、ハードウェア構成が複雑にならずに、超音波画像の撮像と光音響画像の撮像とを行う撮像装置を実現できる。

　このように超音波画像と光音響画像とを取得可能な撮像装置で静止画像や動画像を撮影した場合には、ユーザは超音波画像と光音響画像とを比較しながら観察する場合が考えられる。従って、比較すべき超音波画像と光音響画像とを予め対応付けておくことが、ユーザがこれらの画像を観察する際のワークフローの観点で好ましい。しかしながら、光音響信号を取得して光音響画像を生成する処理は、超音波信号を取得して超音波画像を生成する処理に比べて、時間がかかる場合がある。その場合、たとえば超音波画像と光音響画像とからなる動画像を撮影すると光音響画像の方が超音波画像よりもフレームレートが低くなるおそれがある。すると、略同時に取得された超音波信号と光音響信号とに基づく超音波画像と光音響画像とを対応付けるだけでは、フレームレートの高い超音波画像の一部は光音響画像と対応しない。このような動画像をユーザがＶｉｅｗｅｒで再生すると、超音波画像の動画像に対して光音響画像が間欠的に表示され、光音響画像の視認性が低下するおそれがある。第１の実施形態は、Ｖｉｅｗｅｒで動画像を再生する際に、超音波画像と光音響画像とがともにスムーズに再生できるようなデータを出力できるようにすることを目的とする。

　［情報処理装置の構成］
　図１は、第１の実施形態に係る情報処理装置１０７を含む検査システム１０２の構成の一例を示す図である。超音波画像と光音響画像とを生成可能な検査システム１０２は、ネットワーク１１０を介して各種の外部装置と接続されている。検査システム１０２に含まれる各構成及び各種の外部装置は、同じ施設内に設置されている必要はなく、通信可能に接続されていればよい。

　検査システム１０２は、情報処理装置１０７、プローブ１０３、信号収集部１０４、表示部１０９、操作部１０８を含む。情報処理装置１０７は、超音波画像ならびに光音響画像の撮像を含む検査に関する情報をＨＩＳ／ＲＩＳ１１１から取得し、当該検査が行われる際にプローブ１０３や表示部１０９を制御する。情報処理装置１０７は、プローブ１０３及び信号収集部１０４から超音波信号と光音響信号とを取得する。情報処理装置１０７は、超音波信号に基づいて超音波画像を取得し、光音響信号に基づいて光音響画像を取得する。情報処理装置１０７は、さらに超音波画像に光音響画像を重畳した重畳画像を取得してもよい。情報処理装置１０７は、ＨＬ７（Ｈｅａｌｔｈ　ｌｅｖｅｌ　７）及びＤＩＣＯＭ（Ｄｉｇｉｔａｌ　Ｉｍａｇｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　ｉｎ　Ｍｅｄｉｃｉｎｅ）といった規格に準じて、ＨＩＳ／ＲＩＳ１１１やＰＡＣＳ１１２といった外部装置との間で情報の送受信を行う。

　検査システム１０２で超音波画像を撮像される被検体１０１内の領域は、たとえば循環器領域、乳房、肝臓、膵臓、腹部といった領域である。また、検査システム１０２では、たとえば微小気泡を利用した超音波造影剤を投与した被検体の超音波画像を撮像してもよい。

　また、検査システム１０２で光音響画像を撮像される被検体内の領域は、たとえば循環器領域、乳房、径部、腹部、手指および足指を含む四肢といった領域である。特に、被検体内の光吸収に関する特性に応じて、新生血管や血管壁のプラークを含む血管領域を、光音響画像の撮像の対象としてもよい。検査システム１０２では、たとえばメチレンブルー（ｍｅｔｈｙｌｅｎｅ　ｂｌｕｅ）やインドシアニングリーン（ｉｎｄｏｃｙａｎｉｎｅｇｒｅｅｎ）といった色素や、金微粒子、それらを集積あるいは化学的に修飾した物質を造影剤として投与した被検体１０１の光音響画像を撮像してもよい。

　プローブ１０３は、ユーザにより操作され、超音波信号と光音響信号とを信号収集部１０４及び情報処理装置１０７に送信する。プローブ１０３は、送受信部１０５と照射部１０６とを含む。プローブ１０３は、送受信部１０５から超音波を送信し、反射波を送受信部１０５で受信する。また、プローブ１０３は照射部１０６から被検体に光を照射し、光音響を送受信部１０５で受信する。プローブ１０３は、被検体との接触を示す情報を受信したときに、超音波信号を取得するための超音波の送信ならびに光音響信号を取得するための光照射が実行されるように制御されることが好ましい。

　送受信部１０５は、少なくとも１つのトランスデューサ（不図示）と、整合層（不図示）、ダンパー（不図示）、音響レンズ（不図示）を含む。トランスデューサ（不図示）はＰＺＴ（ｌｅａｄ　ｚｉｒｃｏｎａｔｅ　ｔｉｔａｎａｔｅ）やＰＶＤＦ（ｐｏｌｙｖｉｎｙｌｉｄｅｎｅ　ｄｉｆｌｕｏｒｉｄｅ）といった、圧電効果を示す物質からなる。トランスデューサ（不図示）は圧電素子以外のものでもよく、たとえば静電容量型トランスデューサ（ＣＭＵＴ：ｃａｐａｃｉｔｉｖｅ　ｍｉｃｒｏ－ｍａｃｈｉｎｅｄ　ｕｌｔｒａｓｏｎｉｃ　ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサである。典型的には、超音波信号は２～２０ＭＨｚ、光音響信号は０．１～１００ＭＨｚの周波数成分からなり、トランスデューサ（不図示）は、たとえばこれらの周波数を検出できるものが用いられる。トランスデューサ（不図示）により得られる信号は時間分解信号である。受信された信号の振幅は各時刻にトランスデューサで受信される音圧に基づく値を表したものである。送受信部１０５は、電子フォーカスのための回路（不図示）もしくは制御部を含む。トランスデューサ（不図示）の配列形は、たとえばセクタ、リニアアレイ、コンベックス、アニュラアレイ、マトリクスアレイである。プローブ１０３は、超音波信号と光音響信号とを取得する。プローブ１０３は超音波信号と光音響信号とを交互に取得してもよいし、同時に取得してもよいし、予め定められた態様で取得してもよい。

　送受信部１０５は、トランスデューサ（不図示）が受信した時系列のアナログ信号を増幅する増幅器（不図示）を備えていてもよい。トランスデューサ（不図示）は、超音波画像の撮像の目的に応じて、送信用と受信用とに分割されてもよい。また、トランスデューサ（不図示）は、超音波画像の撮像用と、光音響画像の撮像用とに分割されてもよい。

　照射部１０６は、光音響信号を取得するための光源（不図示）と、光源（不図示）から射出されたパルス光を被検体へ導く光学系（不図示）とを含む。光源（不図示）が射出する光のパルス幅は、たとえば１ｎｓ以上、１００ｎｓ以下のパルス幅である。また、光源（不図示）が射出する光の波長は、たとえば４００ｎｍ以上、１６００ｎｍ以下の波長である。被検体の表面近傍の血管を高解像度でイメージングする場合は、４００ｎｍ以上、７００ｎｍ以下の、血管での吸収が大きい波長が好ましい。また、被検体の深部をイメージングする場合には、７００ｎｍ以上、１１００ｎｍ以下の、水や脂肪といった組織で吸収されにくい波長が好ましい。

　光源（不図示）は、たとえばレーザーや発光ダイオードである。照射部１０６は、複数の波長の光を用いて光音響信号を取得するために、波長を変換できる光源を用いてもよい。あるいは、照射部１０６は、互いに異なる波長の光を発生する複数の光源を備え、それぞれの光源から交互に異なる波長の光を照射できる構成であってもよい。レーザーは、たとえば固体レーザー、ガスレーザー、色素レーザー、半導体レーザーである。光源（不図示）として、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーといったパルスレーザーを用いてもよい。また、Ｎｄ：ＹＡＧレーザーの光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（ｏｐｔｉｃａｌ　ｐａｒａｍｅｔｒｉｃ　ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源（不図示）として用いてもよい。また、光源（不図示）として、マイクロウェーブ源を用いてもよい。

　光学系（不図示）には、レンズ、ミラー、光ファイバといった光学素子が用いられる。被検体が乳房である場合には、パルス光のビーム径を広げて照射することが好ましいため、光学系（不図示）は射出される光を拡散させる拡散板を備えていてもよい。あるいは解像度を上げるために、光学系（不図示）はレンズ等を備え、ビームをフォーカスできる構成であってもよい。

　信号収集部１０４は、プローブ１０３で受信した反射波並びに光音響波に関するアナログ信号を、それぞれデジタル信号に変換する。信号収集部１０４は、デジタル信号に変換された超音波信号ならびに光音響信号を情報処理装置１０７に送信する。

　表示部１０９は、情報処理装置１０７からの制御に基づいて、検査システム１０２で撮像された画像や、検査に関する情報を表示する。表示部１０９は、情報処理装置１０７からの制御に基づいて、ユーザの指示を受け付けるためのインタフェースを提供する。表示部１０９は、たとえば液晶ディスプレイである。

　操作部１０８は、ユーザの操作入力に関する情報を情報処理装置１０７に送信する。操作部１０８は、たとえばキーボードやトラックボールや、検査に関する操作入力を行うための各種のボタンである。

　なお、表示部１０９と操作部１０８はタッチパネルディスプレイとして統合されていてもよい。また、情報処理装置１０７と表示部１０９と操作部１０８は別体の装置である必要はなく、これらの構成が統合された操作卓として実現されてもよい。情報処理装置１０７は、複数のプローブを有していてもよい。

　ＨＩＳ／ＲＩＳ１１１は、患者の情報や検査の情報を管理するためのシステムである。ＨＩＳ（Ｈｏｓｐｉｔａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）は、病院の業務を支援するシステムである。ＨＩＳは、電子カルテシステム、オーダリングシステムや医事会計システムを含む。ＲＩＳ（Ｒａｄｉｏｌｏｇｙ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）は、放射線部門における検査情報を管理し、撮像装置でのそれぞれの検査の進捗を管理するシステムである。検査情報は、一意に識別するための検査ＩＤや、当該検査に含まれる撮影手技に関する情報を含む。検査システム１０２にはＲＩＳに代えて、あるいはＲＩＳに加えて、部門ごとに構築されたオーダリングシステムが接続されていてもよい。ＨＩＳ／ＲＩＳ１１１により、検査のオーダ発行から会計までが連携して管理される。ＨＩＳ／ＲＩＳ１１１は、情報処理装置１０７からの問い合わせに応じて、検査システム１０２で行う検査の情報を情報処理装置１０７に送信する。ＨＩＳ／ＲＩＳ１１１は、情報処理装置１０７から検査の進捗に関する情報を受信する。そして、ＨＩＳ／ＲＩＳ１１１は、検査が完了したことを示す情報を情報処理装置１０７から受信すると、会計のための処理を行う。

　ＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍ）１１２は、施設内外の各種の撮像装置で得られた画像を保持するデータベースシステムである。ＰＡＣＳ１１２は、医用画像及びかかる医用画像の撮影条件や、再構成を含む画像処理のパラメータや患者情報といった付帯情報を記憶する記憶部（不図示）と、当該記憶部に記憶される情報を管理するコントローラ（不図示）とを有する。ＰＡＣＳ１１２は、情報処理装置１０７から出力されたオブジェクトである、超音波画像や光音響画像や重畳画像を記憶する。ＰＡＣＳ１１２と情報処理装置１０７との通信や、ＰＡＣＳ１１２に記憶される各種の画像はＨＬ７やＤＩＣＯＭといった規格に則していることが好ましい。情報処理装置１０７から出力される各種の画像は、ＤＩＣＯＭ規格に則って各種のタグに付帯情報が関連付けられ、記憶されている。

　Ｖｉｅｗｅｒ１１３は、画像診断用の端末であり、ＰＡＣＳ１１２等に記憶された画像を読み出し、診断のために表示する。医師は、Ｖｉｅｗｅｒ１１３に画像を表示させて観察し、当該観察の結果得られた情報を画像診断レポートとして記録する。Ｖｉｅｗｅｒ１１３を用いて作成された画像診断レポートは、Ｖｉｅｗｅｒ１１３に記憶されていてもよいし、ＰＡＣＳ１１２やレポートサーバ（不図示）に出力され、記憶されてもよい。

　Ｐｒｉｎｔｅｒ１１４は、ＰＡＣＳ１１２等に記憶された画像を印刷する。Ｐｒｉｎｔｅｒ１１４はたとえばフィルムプリンタであり、ＰＡＣＳ１１２等に記憶された画像をフィルムに印刷することにより出力する。

　図２は、情報処理装置１０７のハードウェア構成の一例を示す図である。情報処理装置１０７は、たとえばコンピュータである。情報処理装置１０７は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、ＵＳＢ２０５、通信回路２０６、プローブコネクタポート２０７、グラフィックスボード２０８を有する。これらはＢＵＳにより通信可能に接続されている。ＢＵＳは接続されたハードウェア間でのデータの送受信や、ＣＰＵ２０１から他のハードウェアへの命令を送信するために使用される。

　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０１は情報処理装置１０７及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ２０１は、表示部１０９を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１０９に対する表示制御を行う。さらにＣＰＵ２０１は、操作部１０８に対する入出力制御を行う。

　ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１による制御の手順を記憶させたプログラムやデータを格納する。ＲＯＭ２０２は、情報処理装置１０７のブートプログラムや各種初期データを記憶する。また、情報処理装置１０７の処理を実現するための各種のプログラムを記憶する。

　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２０３は、ＣＰＵ２０１が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。ＲＡＭ２０３は、スタックとワーク領域とを有する。ＲＡＭ２０３は、情報処理装置１０７及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１が実行する制御プログラムを格納し、ＣＰＵ２０１が各種制御を実行する際の様々なデータを一時的に格納する。

　記憶装置２０４は、超音波画像や光音響画像などの各種のデータを保存する補助記憶装置である。記憶装置２０４は、たとえばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）である。

　ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）２０５は操作部１０８と接続する接続部である。

　通信回路２０６は検査システム１０２を構成する各部や、ネットワーク１１０に接続されている各種の外部装置との通信を行うための回路である。通信回路２０６は、たとえば出力する情報を転送用パケットに格納してＴＣＰ／ＩＰといった通信技術により、ネットワーク１１０を介して外部装置に出力する。情報処理装置１０７は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。

　プローブコネクタポート２０７は、プローブ１０３を情報処理装置１０７に接続するための接続口である。

　グラフィックスボード２０８は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ビデオメモリを含む。ＧＰＵは、たとえば光音響信号から光音響画像を生成するための再構成処理に係る演算を行う。

　ＨＤＭＩ（登録商標）（Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）２０９は、表示部１０９と接続する接続部である。

　ＣＰＵ２０１やＧＰＵはプロセッサの一例である。また、ＲＯＭ２０２やＲＡＭ２０３や記憶装置２０４はメモリの一例である。情報処理装置１０７は複数のプロセッサを有していてもよい。第１の実施形態においては、情報処理装置１０７のプロセッサがメモリに格納されているプログラムを実行することにより、情報処理装置１０７の各部の機能が実現される。

　また、情報処理装置１０７は特定の処理を専用に行うＣＰＵやＧＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を有していても良い。情報処理装置１０７は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を有していてもよい。

　図３は、情報処理装置１０７の機能構成の一例を示す図である。情報処理装置１０７は、検査制御部３０１、撮影制御部３０２、画像処理部３０３、出力制御部３０４、通信部３０５、表示制御部３０６を有する。

　検査制御部３０１は、検査制御部３０１は、ＨＩＳ／ＲＩＳ１１１から検査オーダの情報を取得する。検査オーダには、検査を受ける患者の情報や、撮影手技に関する情報が含まれる。検査制御部３０１は、撮影制御部３０２に検査オーダに関する情報を送信する。また、検査制御部３０１は、表示制御部３０６を介してユーザに検査に関する情報を提示するために表示部１０９に当該検査の情報を表示させる。表示部１０９に表示される検査の情報には、検査を受ける患者の情報や、当該検査に含まれる撮影手技の情報や、既に撮像が完了して生成された画像が含まれる。さらに検査制御部３０１は、通信部３０５を介して当該検査の進捗に関する情報をＨＩＳ／ＲＩＳ１１１に送信する。

　撮影制御部３０２は、検査制御部３０１から受信した撮影手技の情報に基づいてプローブ１０３を制御し、超音波信号と光音響信号とをプローブ１０３及び信号収集部１０４から取得する。撮影制御部３０２は、照射部１０６に対して光の照射を指示する。撮影制御部３０２は、送受信部１０５に対して超音波の送信を指示する。撮影制御部３０２は、照射部１０６への指示と送受信部１０５への指示とをユーザの操作入力や撮影手技の情報に基づいて実行する。また、撮影制御部３０２は送受信部１０５に対して超音波の受信を指示する。撮影制御部３０２は信号収集部１０４に対して信号のサンプリングを指示する。撮影制御部３０２は上述のようにプローブ１０３を制御し、超音波信号と光音響信号とを区別して取得する。また、撮影制御部３０２は超音波信号及び光音響信号の取得したタイミングに関する情報（以下では、タイミング情報と称する。）を取得する。タイミング情報とは、たとえば撮影制御部３０２がプローブ１０３を制御して光の照射や超音波の送信のタイミングを示す情報である。タイミングを示す情報とは、時刻であってもよいし、検査を開始してからの経過時間であってもよい。なお、撮影制御部３０２は、信号収集部１０４から出力されたデジタル信号に変換された超音波信号ならびに光音響信号を取得する。すなわち、撮影制御部３０２は、超音波信号及び光音響信号を取得する信号取得手段の一例である。また撮影制御部３０２は、タイミング情報を取得する情報取得手段の一例である。

　画像処理部３０３は、超音波画像と光音響画像と、超音波画像に対して光音響画像を重畳させた重畳画像とを生成する。また、画像処理部３０３は超音波画像及び光音響画像からなる動画像を生成する。

　具体的には、画像処理部３０３は撮影制御部３０２により取得された光音響信号に基づいて光音響画像を生成する。画像処理部３０３は、光音響信号に基づいて光が照射された時の音響波の分布（以下、初期音圧分布と称する。）を再構成する。画像処理部３０３は、再構成された初期音圧分布を、被検体に照射された光の被検体の光フルエンス分布で除することにより、被検体内における光の吸収係数分布を取得する。また、被検体に照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることを利用して、複数の波長に対する吸収係数分布から被検体内の物質の濃度分布を取得する。たとえば画像処理部３０３は、オキシヘモグロビンとデオキシヘモグロビンの被検体内における物質の濃度分布を取得する。さらに画像処理部３０３は、オキシヘモグロビン濃度のデオキシヘモグロビン濃度に対する割合として酸素飽和度分布を取得する。画像処理部３０３により生成される光音響画像は、たとえば上述した初期音圧分布、光フルエンス分布、吸収係数分布、物質の濃度分布及び酸素飽和度分布の少なくとも一つの情報を示す画像である。

　また、画像処理部３０３は超音波信号の反射波の振幅を輝度に変換した輝線を取得し、超音波ビームの走査に合わせて輝線の表示位置を変えることにより超音波画像（Ｂモード画像）を生成する。プローブ１０３が３次元プローブである場合には、画像処理部３０３は、直交する３断面からなる超音波画像（Ｃモード画像）を生成することができる。画像処理部３０３は、３次元の超音波画像に基づいて任意の断面やレンダリング後の立体画像を生成する。画像処理部３０３は、超音波画像と光音響画像とを取得する画像取得手段の一例である。

　出力制御部３０４は、検査制御部３０１からの制御やユーザの操作入力に応じて、各種の情報をＰＡＣＳ１１２やＶｉｅｗｅｒ１１３といった外部装置に送信するためのオブジェクトを生成する。オブジェクトとは、情報処理装置１０７からＰＡＣＳ１１２やＶｉｅｗｅｒ１１３といった外部装置に送信される対象となる情報である。たとえば出力制御部３０４は、画像処理部３０３で生成された超音波画像や光音響画像、これらの重畳画像をＰＡＣＳ１１２に出力するためのＤＩＣＯＭオブジェクトを生成する。外部装置に出力されるオブジェクトには、ＤＩＣＯＭ規格に則った各種のタグとして付帯された付帯情報が含まれる。付帯情報には、たとえば患者情報や、当該画像を撮像した撮像装置を示す情報や、当該画像を一意に識別するための画像ＩＤや、当該画像を撮像した検査を一意に識別するための検査ＩＤ、プローブ１０３の情報が含まれる。

　また、出力制御部３０４により生成される付帯情報には、検査の中で撮像された超音波画像と光音響画像とを関連付ける情報が含まれる。超音波画像と光音響画像とを含む動画像においてこれらが異なるフレームレートで取得される場合がある。たとえば、超音波画像の方が高いフレームレートで取得されている場合には、必ずしも全ての超音波画像と略同一のタイミングで取得された光音響画像が存在しない。出力制御部３０４は、撮影制御部３０２により取得されたタイミング情報に基づいて、動画像を構成する複数の超音波画像のそれぞれに対して、光音響画像を対応付ける。そして、それぞれの超音波画像に対応する光音響画像を示す情報を付帯情報として生成する。出力制御部３０４は、超音波画像に対していずれかの光音響画像を対応付ける処理手段の一例である。

　通信部３０５は、ネットワーク１１０を介してＨＩＳ／ＲＩＳ１１１やＰＡＣＳ１１２、Ｖｉｅｗｅｒ１１３といった外部装置と情報処理装置１０７との間での、情報の送受信を制御する。送受信制御部１２８は、ＨＩＳ／ＲＩＳ１１１から検査オーダの情報を受信する。送受信制御部１２８は、写損処理制御部１２７で生成されたオブジェクトをＰＡＣＳ１１２やＶｉｅｗｅｒ１１３に送信する。

　表示制御部３０６は、表示部１０９を制御して、表示部１０９に情報を表示させる。表示制御部３０６は、他のモジュールからの入力や、操作部１０８を介したユーザの操作入力に応じて、表示部１０９に情報を表示させる。表示制御部３０６は、表示制御手段の一例である。

　［情報処理装置１０７による一連の処理］
　図４は、情報処理装置１０７が超音波画像と光音響画像とからなる動画像を撮影し、付帯情報を生成し、当該動画像と当該付帯情報とを含むオブジェクトを外部装置に出力する処理の一例を示すフローチャートである。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。また、適宜図５乃至図７を用いて、情報処理装置１０７により取得される情報について説明する。

　ステップＳ４０１において、検査制御部３０１は撮影を開始する指示を受け付ける。まず、検査制御部３０１はＨＩＳ／ＲＩＳ１１１より検査オーダの情報を取得する。表示制御部３０６は表示部１０９に当該検査オーダにより示される検査の情報と、当該検査に対する指示をユーザが入力するためのユーザインタフェースとを表示させる。操作部１０８を介して当該ユーザインタフェースに入力された、撮影開始の指示により、撮影が開始される。ユーザの操作入力に基づいて、あるいは自動的に超音波画像と光音響画像とからなる動画像の撮影が開始される。

　ステップＳ４０２において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、超音波画像の撮像を開始する。ユーザはプローブ１０３を被検体１０１に押し当て、所望の位置の撮像を行う。撮影制御部３０２は、デジタル信号である超音波信号と、当該超音波信号の取得に関するタイミング情報とを取得し、ＲＡＭ２０３に記憶する。画像処理部３０３は、超音波信号に対して整相加算（Ｄｅｌａｙ　ａｎｄ　Ｓｕｍ）等の処理を行うことにより、超音波画像を生成する。なお、超音波画像を生成したところで、ＲＡＭ２０３に保存された超音波信号は削除されてもよい。画像処理部３０３は取得した超音波画像を、表示制御部３０６を介して表示部１０９に表示させる。撮影制御部３０２及び画像処理部３０３はこれらの工程を繰り返し実行し、表示部１０９に表示される超音波画像を更新する。これにより、超音波画像が動画像として表示される。

　ステップＳ４０３において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、光音響画像の撮像を開始する。ユーザはプローブ１０３を被検体１０１に押し当て、所望の位置の撮像を行う。撮影制御部３０２は、デジタル信号である光音響信号と、当該光音響信号の取得に関するタイミング情報とを取得し、ＲＡＭ２０３に記憶する。画像処理部３０３は、光音響信号に対してＵｎｉｖｅｒｓａｌ　Ｂａｃｋ－Ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）等の処理を行うことにより、光音響画像を生成する。なお、光音響画像を生成したところで、ＲＡＭ２０３に保存された光音響信号は削除されてもよい。画像処理部３０３は取得した光音響画像を、表示制御部３０６を介して表示部１０９に表示させる。撮影制御部３０２及び画像処理部３０３はこれらの工程を繰り返し実行し、表示部１０９に表示される光音響画像を更新する。これにより、光音響画像が動画像として表示される。

　ステップＳ４０２とステップＳ４０３との処理は、同時に行われてもよいし、所定の間隔ごとに切り替えられてもよいし、ユーザの操作入力あるいは検査オーダに基づいて切り替えられてもよい。超音波画像の撮像が先に行われる例を示したが、光音響画像の撮像が先に行われてもよい。表示制御部３０６は、ステップＳ４０２において超音波画像と光音響画像とを表示する際に、一方の画像を他方の画像に重畳して表示してもよいし、並べて表示してもよい。また、画像処理部３０３は超音波画像と光音響画像とを重畳した重畳画像を取得し、表示制御部３０６は当該重畳画像を表示部１０９に表示させてもよい。

　ステップＳ４０４において、出力制御部３０４はステップＳ４０２とステップＳ４０３とで取得された超音波画像と光音響画像とを関連付けて、付帯情報とともに記憶装置２０４に記憶する。ステップＳ４０４では、出力制御部３０４はステップＳ４０２とステップＳ４０３とで取得される各フレームの超音波画像及び光音響画像に対して繰り返し処理を行うことにより、超音波画像と光音響画像とを含む動画像のファイルとして保存することができる。

　図５は、ステップＳ４０４で取得されるデータの構成の一例を示す図である。保存データ５０１は、ステップＳ４０４において記憶装置２０４に保存される。保存データ５０１は、付帯情報５０２と画像データ５０３とを含む。たとえば、付帯情報５０２は保存データ５０１のヘッダー部に記録される。

　画像データ５０３は、ステップＳ４０２とステップＳ４０３とで取得された超音波画像５０８～５１１と光音響画像５１２～５１３とを含む。図５に示す例では、超音波画像５０８～５１１には、それぞれを一意に識別するための識別子Ｕ１～Ｕ４が付されている。また、光音響画像５１２～５１３には、それぞれを一意に識別するための識別子Ｐ１～Ｐ２が付されている。

　付帯情報５０２は、被検体１０１の属性を表す被検体情報５０４と、撮像に使用されたプローブ１０３の情報であるプローブ情報５０５とを含む。

　被検体情報５０４は、たとえば、被検体ＩＤ、被検体氏名、年齢、血圧、心拍数、体温、身長、体重、既往症、妊娠週数、及び検査情報といった情報のうちの少なくとも一つの情報を含む。なお、検査システム１０２が心電計（不図示）やパルスオキシメータ（不図示）を含む場合には、心電図や酸素飽和度に関する情報を被検体情報５０４として保存してもよい。

　プローブ情報５０５は、プローブ１０３の種類、撮像時の位置や傾きといったプローブ１０３に関する情報を含む。検査システム１０２はプローブ１０３の位置や傾きを検知する磁気センサ（不図示）を備えていてもよく、撮影制御部３０２は磁気センサ（不図示）からこれらの情報を取得してもよい。

　付帯情報５０２は、ステップＳ４０４で保存される超音波画像５０８～５１１に関する超音波信号と、光音響画像５１２～５１３に関する光音響信号とのタイミング情報５０６を含む。

　タイミング情報５０６は、上述したようにステップＳ４０２及びステップＳ４０３で取得される。タイミング情報は、たとえば、上述したように時刻や検査開始からの経過時間で示される。超音波画像のタイミング情報は、当該超音波画像に用いられた超音波信号が取得されたタイミングに関する情報である。一の超音波画像に複数の超音波信号が用いられる場合のタイミング情報は、任意の超音波信号が取得されたタイミングに関する情報でよく、一の検査で取得されたそれぞれの超音波画像で運用が統一されていればよい。超音波信号が取得されたタイミングは、情報処理装置１０７が超音波信号を受信したタイミングでもよいし、プローブ１０３が被検体１０１に超音波を送信したタイミングでもよいし、プローブ１０３が超音波を受信したタイミングでもよいし、プローブ１０３に対する超音波の送受信の駆動信号が検知されたタイミングでもよいし、信号収集部１０４が超音波信号を受信したタイミングでもよい。光音響画像のタイミング情報は、当該光音響画像に用いられた光音響信号が取得されたタイミングに関する情報である。一の光音響画像に複数の光音響信号が用いられる場合のタイミング情報は、任意の光音響信号が取得されたタイミングに関する情報でよく、一の検査で取得されたそれぞれの光音響画像で運用が統一されていればよい。光音響信号が取得されたタイミングは、情報処理装置１０７が光音響信号を受信したタイミングでもよいし、プローブ１０３が被検体１０１に光を照射したタイミングでもよいし、プローブ１０３が光音響を受信したタイミングでもよいし、光の照射或いは光音響の受信のプローブ１０３に対する駆動信号が検知されたタイミングでもよいし、信号収集部１０４が光音響信号を受信したタイミングでもよい。

　付帯情報５０２は、超音波画像５０８～５１１と光音響画像５１２～５１３とを対応付ける情報である対応情報５０７を含む。対応情報５０７は、光音響画像よりも高いフレームレートで取得された超音波画像のそれぞれに対して対応付けられた光音響画像の情報を含む。

　図６は対応情報５０７の一例を示す図である。行６０１～６０４のそれぞれに記録される（Ｕｍ，Ｐｎ）は、超音波画像のフレームＵｍに、光音響画像のフレームＰｎが対応づけられることを示す。第１の実施形態において、一の検査で取得された超音波画像の各フレームには、当該検査で取得された光音響画像のうち少なくとも一つの光音響画像のフレームが対応づけられる。同一の光音響信号から、初期音圧、光吸収エネルギー密度、光吸収係数といった情報をそれぞれ示す複数の光音響画像が取得される場合には、超音波画像の各フレームに対して、それら複数の光音響画像のフレームが対応づけられるようにしてもよい。その場合、超音波画像のフレームＵｍに、光音響画像のフレームＰｘ、Ｐｙ、Ｐｚを対応づけて（Ｕｍ，Ｐｘ，Ｐｙ，Ｐｚ）といった形式でもよい。

　ステップＳ４０５において、撮影制御部３０２は、撮影を終了する指示を受け付ける。検査中、表示制御部３０６により表示部１０９にはユーザが指示を入力するためのユーザインタフェースが表示される。操作部１０８を介して当該ユーザインタフェースに入力された、撮影終了の指示に基づいて、撮影制御部３０２は撮影を終了する。また、撮影制御部３０２は、ステップＳ４０１で受け付けた撮影開始の指示から所定の時間が経過したところで撮影終了と判定してもよい。撮影が終了すると、検査制御部３０１はＨＩＳ／ＲＩＳ１１１に当該撮影が終了したことを示す情報を、通信部３０５を介して送信する。

　ステップＳ４０６において、撮影制御部３０２はプローブ１０３を制御して超音波画像及び光音響画像の撮像を終了する。

　ステップＳ４０７において、出力制御部３０４は、ステップＳ４０４で開始した超音波画像と光音響画像との保存にかかる処理を終了する。

　ステップＳ４０８において、出力制御部３０４は、ステップＳ４０７までに保存された情報に基づいて、ステップＳ４０２とステップＳ４０３とにおいて取得された超音波画像と光音響画像とを含む動画像を外部装置に出力するためのオブジェクトを生成する。通信部３０５は、オブジェクトをＰＡＣＳ１１２といった外部装置に出力する。

　図７は、ステップＳ４０８で生成されるオブジェクトの一例を示す図である。ＤＩＣＯＭオブジェクト７０１は、付帯情報７０２と、画像データ７０３とを含む。図７においては、付帯情報７０２と画像データ７０３とを簡単のため分離して図示しているが、付帯情報７０２は、たとえば画像データ７０３のヘッダー部に記載されることとしてもよい。

　付帯情報７０２は、被検体情報７０４と、プローブ情報７０５と、対応情報７０６とを含む。被検体情報７０４は、図５に示す被検体情報５０４と対応する。プローブ情報７０５は、図５に示すプローブ情報５０５と対応する。対応情報７０６は、図５に示す対応情報５０７と対応する。付帯情報７０２に含まれるそれぞれの情報は、図５に示した対応するそれぞれの情報と同一の情報を含んでいてもよいし、ＤＩＣＯＭ規格において必須とされる情報のみを含んでいてもよいし、任意に設定される所定の項目のみを含んでいてもよい。たとえば、被検体情報７０４は被検体ＩＤ、年齢、性別、検査ＩＤそれぞれ示す情報のみでもよい。付帯情報７０２は、プローブ情報７０５を含んでいなくてもよい。また、付帯情報７０２は図５に示すタイミング情報５０６と対応するタイミング情報をさらに含んでいてもよい。

　画像データ７０３は、超音波画像７０７～７１０と光音響画像７１１～７１４とを含む。図７に示す例では、超音波画像７０７～７１０のそれぞれに対するオーバーレイ画像として光音響画像７１１～７１４がそれぞれ対応づけられる。光音響画像７１１と光音響画像７１２はともに光音響画像Ｐ１であるが、光音響画像７１２を光音響画像Ｐ１に代えて光音響画像Ｐ１を示す情報のみを含んでいてもよい。すなわち、超音波画像７０８と対応する光音響画像が光音響画像Ｐ１であることを示す情報がＤＩＣＯＭオブジェクト７０１に含まれていればよい。当該情報は、たとえば対応情報７０６である。

　ＤＩＣＯＭオブジェクト７０１の別の例では、光音響画像をＤＩＣＯＭオブジェクト７０１から分離して、ＣＳＰＳ（Ｃｏｌｏｒ　Ｓｏｆｔｃｏｐｙ　Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｓｔａｔｅ）といった別のＤＩＣＯＭオブジェクトとしてもよい。ＣＳＰＳを用いる場合、出力制御部３０４は光音響画像をアノテーションオブジェクトに変換してもよい。また別の例では、超音波画像と光音響画像との重畳画像をＳｅｃｏｎｄａｒｙ　Ｃａｐｔｕｒｅとしてもよい。

　図８は、超音波画像および光音響画像の取得に係る処理のタイミングチャートである。ダイヤグラム８０１～８０６はそれぞれ、紙面右方向に進むと時間が経過することを示す。時刻ｔ１、ｔ２、ｔ３、ｔ４はそれぞれ各タイミングチャートにおける各ダイヤグラムの立ち上がりまたは立ち下がりの時刻を示す。以下、ダイヤグラムの立ち上がりまたは立ち下がりを単に立ち上がりまたは立ち下がりと称する。

　ダイヤグラム８０１は、超音波信号の取得に関するタイミングを表す。立ち上がり部で、プローブ１０３は被検体１０１に超音波の送信を開始し、取得された反射波は適宜超音波信号として情報処理装置１０７に送信される。立ち下がり部で、撮影制御部３０２は超音波信号の受信を終了する。フレームＵ１～Ｕ４は、超音波画像の各フレームと対応する。たとえばフレームＵ１において、時刻ｔ１でプローブ１０３は被検体１０１に超音波を送信し、時刻ｔ２で撮影制御部３０２は超音波信号の受信を終了する。

　ダイヤグラム８０２は、超音波画像の取得に関するタイミングを表す。立ち上がり部で、画像処理部３０３は超音波画像の生成を開始する。立ち下がり部で、画像処理部３０３は超音波画像の生成を完了し、情報処理装置１０７は超音波画像を取得する。たとえばフレームＵ１において、時刻ｔ２で画像処理部３０３は超音波画像の生成を開始し、時刻ｔ３で画像処理部３０３は超音波画像の生成を終了する。

　ダイヤグラム８０３は、超音波画像の表示に関するタイミングを表す。超音波画像の取得が完了した時点で、当該超音波画像を表示することが可能となる。表示制御部３０６は、時刻ｔ４にフレームＵ１の表示を開始して、所定のレートでフレームＵ２、Ｕ３、Ｕ４へ順次フレームを切り替えて表示を行う。図４に示すステップＳ４０２の処理は、ダイヤグラム８０１、８０２、８０３に対応する。

　ダイヤグラム８０４は、光音響信号の取得に関するタイミングを表す。立ち上がり部で、プローブ１０３は被検体１０１に光の照射を開始し、取得された光音響は適宜光音響信号として情報処理装置１０７に送信される。立ち下がり部で撮影制御部３０２は光音響信号の受信を終了する。Ｐ１、Ｐ２は、光音響画像の各フレームと対応する。たとえばフレームＰ１において、時刻ｔ２でプローブ１０３は被検体１０１に光を照射し、時刻ｔ３で撮影制御部３０２は光音響信号の受信を終了する。

　ダイヤグラム８０５は、光音響画像の取得に関するタイミングを表す。立ち上がり部で、画像処理部３０３は光音響画像の生成を開始する。立ち下がり部で、画像処理部３０３は光音響画像の生成を終了し、情報処理装置１０７は光音響画像を取得する。たとえばフレームＰ１において、時刻ｔ３で画像処理部３０３は光音響画像の生成を開始し、時刻ｔ４で画像処理部３０３は光音響画像の生成を終了する。

　ダイヤグラム８０６は、光音響画像の表示に関するタイミングを表す。光音響画像の取得が完了した時点で、当該光音響画像を表示することが可能となる。表示制御部３０６は、時刻ｔ４にフレームＰ１の表示を開始して、所定のレートでフレームＰ２へフレームを切り替えて表示を行う。図４に示すステップＳ４０３の処理は、ダイヤグラム８０４、８０５、８０６に対応する。図８に示す例では、超音波画像は光音響画像の２倍のフレームレートで表示される。

　図９は、検査において取得された超音波画像と光音響画像とを出力制御部３０４が対応付ける処理の一例を示すフローチャートである。すなわち、図４におけるステップＳ４０４において図９に示す処理が実行される。出力制御部３０４は、第１の時点で取得された第１の光音響画像と、第１の時点よりも後の第２の時点で取得された第２の光音響画像のいずれかを、第１の時点と第２の時点との間の期間に位置する第３の時点で取得された超音波画像に対応づける。具体的には、出力制御部３０４は第１の時点と第２の時点と第３の時点との関係に基づいて、当該超音波画像に第１光音響画像と第２光音響画像のいずれかを対応づける。以下では、第１の時点と第２の時点とのうち、第３の時点に近いほうの時点で取得された光音響画像を、当該超音波画像に対応付ける場合を例に説明する。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。

　ステップＳ９０１において、出力制御部３０４は超音波画像のフレームを表す一時変数Ｕを最初の超音波画像のフレームに設定する。出力制御部３０４は、タイミング情報に基づいて最初の超音波画像のフレームを特定する。最初の超音波画像は、たとえば最初に取得された超音波信号に基づいて生成された超音波画像である。以下では、超音波画像の取得時刻を、当該超音波画像の生成に用いられた超音波信号の取得時刻とする。

　ステップＳ９０２において、出力制御部３０４は光音響画像のフレームを表す一時変数Ｐを最初の光音響画像のフレームに設定する。出力制御部３０４は、タイミング情報に基づいて最初の光音響画像のフレームを特定する。最初の光音響画像は、たとえば最初に取得された光音響信号に基づいて生成された光音響画像である。以下では、光音響画像の取得時刻を、当該光音響画像の生成に用いられた光音響信号の取得時刻とする。

　以下のステップＳ９０３乃至ステップＳ９０９において、出力制御部３０４は、超音波画像の各フレームＵについて、Ｕの取得時刻に最も近い取得時刻を持つ光音響画像のフレームＰを求めて、ＵにＰを対応づける。すなわち、第１の実施形態において、超音波画像は取得された時刻が最も近い光音響画像と対応付けられる。

　ステップＳ９０３において、出力制御部３０４は、ステップＳ９０２で設定したフレームＰの取得時刻よりも後の時刻に取得した光音響画像のフレームの情報を取得する。フレームＰの取得時刻よりも後の時刻に取得されたフレームが存在する場合にはステップＳ９０４に進み、存在しない場合にはＳ９０７に進む。フレームＰの取得時刻は第１の時点の一例である。

　ステップＳ９０４において、出力制御部３０４は、光音響画像のフレームを表す一時変数Ｐ’を、フレームＰの直後に取得した光音響画像のフレームに設定する。フレームＰ’の取得時刻は第２の時点の一例である。

　ステップＳ９０５において、出力制御部３０４は、フレームＰ’とフレームＰの取得時刻を比較する。フレームＰ’の取得時刻ｔｐ’がフレームＰの取得時刻ｔｐよりもフレームＵの取得時刻ｔｕに近い場合、すなわち｜ｔｐ’－ｔｕ｜＜｜ｔｐ－ｔｕ｜が成り立つ場合にはステップＳ９０６に進み、成り立たない場合にはステップＳ９０７に進む。

　ステップＳ９０６において、出力制御部３０４は、光音響画像のフレームを表す一時変数Ｐを、ステップＳ９０４でＰ’を設定したフレームに設定し、ステップＳ９０３に進む。

　ステップＳ９０７において、出力制御部３０４は、超音波画像のフレームＵに対して、光音響画像のフレームＰを対応づけて、ステップＳ９０８に進む。

　ステップＳ９０８において、出力制御部３０４は、フレームＵの取得時刻よりも後の時刻に取得した超音波画像のフレームの情報を取得する。フレームＵの取得時刻よりも後の時刻に取得されたフレームが存在する場合にはステップＳ９０９に進み、存在しない場合には図９に示す処理を終了する。

　ステップＳ９０９において、出力制御部３０４は、超音波画像のフレームを表す一時変数Ｕを、ステップＳ９０１又は直前のループのステップＳ９０９でフレームＵに設定した超音波画像の直後に取得された超音波画像のフレームに設定して、Ｓ９０３に進む。

　以上の処理によれば、フレームＵより前に取得された光音響画像が存在しない場合は、当該超音波画像に対して取得時刻が最初の光音響画像が対応付けられることになる。このとき、超音波画像の取得時刻と最初の光音響画像の取得時刻が離れている場合がある。離れた取得時刻の画像同士を対応付けることは、医師が動画像を観察する際に不適切である可能性がある。たとえばステップＳ９０５でＮｏの場合に、出力制御部３０４はｔｐ－ｔｕの値を取得し、所定の閾値より大きい場合はステップＳ９０７においてフレームＰとフレームＵとを対応付けないようにしてもよい。

　以上の処理によれば、フレームＵより後に取得された光音響画像が存在しない場合は、当該超音波画像に対して取得時刻が最後の光音響画像が対応付けられることになる。このとき、超音波画像の取得時刻と最後の光音響画像の取得時刻が離れている場合がある。離れた取得時刻の画像同士を対応づけることは、医師が動画像を観察する際に不適切である可能性がある。たとえばステップＳ９０３でＮｏの場合に、出力制御部３０４はｔｕ－ｔｐの値を取得し、所定の閾値より大きい場合はステップＳ９０７においてフレームＰとフレームＵとを対応付けないようにしてもよい。

　以上の処理によれば、フレームＵの取得時刻の前後に取得された光音響画像が存在する場合は、前後の光音響画像のうちフレームＵの取得時刻に近い時刻に取得された光音響画像が当該超音波画像に対応付けられる。フレームＵの取得時刻は、第１の時点と第２の時点の間の第３の時点の一例である。

　なお、図９では超音波画像の各フレームに一つの光音響画像のフレームを対応づける場合の処理の一例を示したが、出力制御部３０４は超音波画像の各フレームに、複数の種類の光音響画像のフレームを対応づけるよう処理を行ってもよい。Ｖｉｅｗｅｒ１１３は複数の種類の光音響画像のフレームが対応付けられた動画像を、それぞれの種類の光音響画像を重畳して表示させてもよい。

　また、図９では超音波画像フレームＵの取得時刻に最も近い取得時刻を持つ光音響画像のフレームＰを対応づける場合の処理の一例を示したが、出力制御部３０４はフレームＵの取得時刻の直前あるいは直後の取得時刻を持つ光音響画像のフレームを対応づけてもよい。すなわち、超音波画像フレームＵの取得時刻に最も近い取得時刻を持つか否かに関わらず、フレームＵの取得時刻を基準として前後所定時間内の取得時刻を持つ光音響画像のフレームを対応づけてもよい。あるいは、超音波画像フレームＵの取得時刻の前後に取得した複数の光音響画像のフレームから、画像処理部３０３は補間フレームＰを生成して、出力制御部３０４はフレームＵに補間フレームＰを対応づけても良い。画像処理部３０３は２つの光音響画像間の差分が閾値以下の場合にのみ補完フレームＰを生成するようにしてもよい。

　図８に示すタイミングで取得される超音波画像と光音響画像とを、出力制御部３０４が図９のフローに従って処理を行うと、超音波画像Ｕ１、Ｕ２には光音響画像Ｐ１が、超音波画像Ｕ３、Ｕ４には光音響画像Ｐ２が、それぞれ対応づけられる。図４に示すステップＳ４０２及びステップＳ４０３において、表示制御部３０６は光音響画像Ｐ１が超音波画像Ｕ１又は超音波画像Ｕ２に重畳された重畳画像を表示部１０９に表示させる。ステップＳ４０４において、出力制御部３０４は光音響画像フレームＰ１と超音波画像フレームＵ１及び超音波画像フレームＵ２とを対応付け、対応情報５０７に保存する。ステップＳ４０８において、通信部３０５は対応づけられた画像データ７０３を含むＤＩＣＯＭオブジェクト７０１を、ＰＡＣＳ１１２に送信する。

　第１の実施形態の構成によって、超音波画像の各フレームに光音響画像のフレームが対応づけられる。また、超音波画像のフレームレートを光音響画像のフレームレートに合わせるように下げることでも、両画像間の対応を取ることは可能であるが、超音波画像のフレームレートが下がり動画としての質が下がってしまう。しかしながら、本実施形態では、超音波画像のフレームレートを維持しながら、両画像間を対応付けることが可能となる。ユーザは、ＰＡＣＳ１１２に接続したＶｉｅｗｅｒ１１３を用いて、ＤＩＣＯＭオブジェクト７０１を表示させる。その際に、Ｖｉｅｗｅｒ１１３はＤＩＣＯＭオブジェクト７０１に含まれる対応情報７０６に基づいて、超音波画像と光音響画像とを併せて表示することができる。超音波画像のそれぞれに対して、少なくとも一つの光音響画像が対応づけられているため、超音波画像と光音響画像とのフレームレートが異なる場合にも、動画像における表示のちらつきを低減できる。

　［第２の実施形態］
　第２の実施形態では、超音波画像や光音響画像を保存するための指示を受け付ける工程を設け、タイミング情報と当該指示とに基づいて超音波画像と光音響画像とを対応付ける処理について説明する。

　第２の実施形態にかかる情報処理装置１０７を含む検査システム１０２の構成、情報処理装置１０７のハードウェア構成、情報処理装置１０７の機能構成は、それぞれ図１、図２、図３に示す例と同様である。共通する部分については上述した説明を援用することにより、ここでは詳しい説明を省略する。

　第２の実施形態において、出力制御部３０４は操作部１０８を介してユーザが入力した保存の指示に応じて、当該指示のタイミングをタイミング情報に含めて保存し、画像データと付帯情報とを保存する。また、画像処理部３０３が画像データを取得したことに応じて保存の指示を出力制御部３０４に送信し、出力制御部３０４は画像処理部３０３からの指示に応じて上述のタイミング情報を含む付帯情報と画像データとを保存してもよい。

　図１０は、情報処理装置１０７が超音波画像と光音響画像とからなる動画像を撮影し、保存の指示に基づいて付帯情報を生成し、当該動画像と当該付帯情報とを含むオブジェクトを外部装置に出力する処理の一例を示すフローチャートである。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。また、適宜図１１乃至図１３を用いて、情報処理装置１０７により取得される情報について説明する。

　ステップＳ１００１乃至ステップＳ１００３における処理は、図４に示すステップＳ４０１乃至ステップＳ４０３における処理と同様である。

　ステップＳ１００４において、撮影制御部３０２は、撮影を終了する指示を受け付ける。撮影制御部３０２は、図４に示すステップＳ４０５と同様の処理で、当該指示を受けつける。撮影制御部３０２が当該指示を受け付けるとステップＳ１００９に進み、検査制御部３０１はＨＩＳ／ＲＩＳ１１１に当該撮影が終了したことを示す情報を、通信部３０５を介して送信する。撮影終了の指示が無いときにはステップＳ１００５に進む。

　ステップＳ１００５において、出力制御部３０４は、保存を開始の指示を受け付ける。ユーザは、検査中に表示制御部３０６により表示部１０９に表示されるユーザインタフェースを介して当該指示を入力することができる。また、ユーザはプローブ１０３に設けられた、フリーズボタンといった入力部（不図示）を介して保存を開始の指示を出力制御部３０４に入力してもよい。出力制御部３０４が当該指示を受け付けるとステップＳ１００６に進み、当該指示が無いときにはステップＳ１００４に進む。

　ステップＳ１００６において、出力制御部３０４は、ステップＳ１００２とステップＳ１００３とで取得された超音波画像と光音響画像とを関連付けて、付帯情報とともに記憶装置２０４に記憶する。ステップＳ１００６では、出力制御部３０４はステップＳ１００２とステップＳ１００３とで取得される各フレームの超音波画像及び光音響画像のそれぞれに対して処理を行い、超音波画像と光音響画像とを含む動画像のファイルとして保存することができる。ステップＳ１００４以降も、ステップＳ１００２とステップＳ１００３の処理を継続し、ステップＳ１００６において新たに取得された超音波画像と光音響画像に対して上述の処理を繰り返し行ってもよい。

　図１１は、ステップＳ１００６で取得されるデータの構成の一例を示す図である。図５に示した例と同様の構成については同じ符号を付しており、上述した説明を援用することによりここでの詳しい説明を省略する。タイミング情報５０６は、保存の指示が行われたタイミングに関する情報をさらに含む。

　図１２は、図１１の対応情報５０７の一例を示す図である。図６に示した例と同様の構成については同じ符号を付しており、上述した説明を援用することによりここでの詳しい説明を省略する。図１２に示す例においては、保存指示の後のフレームに関する対応情報が記載されている。

　ステップＳ１００７において、出力制御部３０４は、保存を停止する指示を受け付ける。出力制御部３０４が保存停止の指示を受け付けたときにステップＳ１００８に進む。ユーザは、検査中に表示制御部３０６により表示部１０９に表示されるユーザインタフェースを介して当該指示を入力することができる。また、ユーザはプローブ１０３に設けられた、フリーズボタンといった入力部（不図示）を介して入力してもよい。出力制御部３０４が当該指示を受け付けるとステップＳ１００８に進む。

　ステップＳ１００８において、出力制御部３０４は、ステップＳ１００６で開始した超音波画像と光音響画像との保存にかかる処理を終了する。

　ステップＳ１００９において、撮影制御部３０２はプローブ１０３を制御して超音波画像及び光音響画像の撮像を終了する。

　ステップＳ１０１０において、出力制御部３０４は、ステップＳ１００９までに保存された情報に基づいて、ステップＳ１００２とステップＳ１００３とにおいて取得された超音波画像と光音響画像とを含む動画像を外部装置に出力するためのオブジェクトを生成する。通信部３０５は、オブジェクトをＰＡＣＳ１１２といった外部装置に出力する。

　図１３は、ステップＳ１０１０で生成されるオブジェクトの一例を示す図である。図７に示した例と同様の構成については同じ符号を付しており、上述した説明を援用することによりここでの詳しい説明を省略する。付帯情報７０２は、さらに保存の指示があったタイミングに関する情報を含んでいてもよい。

　なお、撮影を開始した後に、保存を開始し、停止する一連の処理が繰り返し指示されてもよい。その場合、保存の指示が入力されるたびにステップＳ１００４乃至ステップＳ１００８の処理が実行される。出力制御部３０４は、ステップＳ１００６の処理が実行される度に異なる保存データ５０１を記憶装置２０４に保存しても良いし、繰り返しを通じて一つの保存データ５０１を保存しても良い。ステップＳ１００６の処理が実行される度に異なる保存データ５０１を保存する場合は、ステップＳ１０１０において出力制御部３０４は、一つの保存データ５０１を一つのＤＩＣＯＭオブジェクト７０１に変換してもよい。あるいは、出力制御部３０４は複数の保存データ５０１を一つのＤＩＣＯＭオブジェクト７０１に変換してもよい。

　図１４は、超音波画像および光音響画像の取得に係る処理のタイミングチャートである。ダイヤグラム１４０１～１４０７はそれぞれ、紙面右方向に進むと時間が経過することを示す。時刻ｔ５、ｔ６、ｔ７、ｔ８はそれぞれ各タイミングチャートにおける立ち上がりまたは立ち下がりの時刻を示す。

　ダイヤグラム１４０１～１４０６はそれぞれ、図８に示すダイヤグラム８０１～８０６と同様の処理に関する。時刻ｔ６でプローブ１０３は被検体１０１に対する超音波の送信を開始し、時刻ｔ７で撮影制御部３０２は超音波信号の受信を終了する。時刻ｔ７でプローブ１０３は被検体１０１に対する光の照射を開始する。

　ダイヤグラム１４０７は、保存の指示に関するタイミングを表す。撮影制御部３０２は、時刻ｔ５でたとえばユーザの操作入力に基づいて保存を開始する指示を受信し、時刻ｔ８で保存を終了する指示を受信する。

　図１５は、検査において取得された超音波画像と光音響画像とを出力制御部３０４が対応付ける処理の一例を示すフローチャートである。すなわち、図１０におけるステップＳ１００６において図１５に示す処理が実行される。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。

　ステップＳ１５０１において、出力制御部３０４は、時刻を表す変数ｔｓ及びｔｅを、保存を開始する指示を受け取った時刻、保存を終了する指示を受け取った時刻にそれぞれ設定する。なお、制御部３０４が、保存を終了する指示を受け取っていない場合には、変数ｔｅの値は設定しないこととしてもよいし、後述のステップＳ１５０４でＹｅｓと判定されるような任意の値に設定することとしてもよい。

　ステップＳ１５０２において、超音波画像のフレームを表す一時変数Ｕを、取得時刻がｔｓ以降の最初の超音波画像のフレームに設定する。出力制御部３０４は、タイミング情報に基づいて取得時刻がｔｓ以降の最初の超音波画像のフレームを特定する。

　ステップＳ１５０３において、光音響画像のフレームを表す一時変数Ｐを、取得時刻がｔｓ以降の最初の光音響画像のフレームに設定する。出力制御部３０４は、タイミング情報に基づいて取得時刻がｔｓ以降の最初の光音響画像のフレームを特定する。

　以下のステップＳ１５０４乃至ステップＳ１５１２において、出力制御部３０４は、時刻ｔｓから時刻ｔｅの間に撮影された超音波画像の各フレームＵについて、Ｕの取得時刻に最も近い取得時刻を持つ、時刻ｔｓから時刻ｔｅの間に撮影された光音響画像のフレームＰを求める。そして、ＵにＰを対応づける。

　ステップＳ１５０４において、出力制御部３０４は、フレームＵとフレームＰの取得時刻に関する情報を取得する。それぞれの取得時刻がｔｅより前である場合はステップＳ１５０５に進み、取得時刻がｔｅより後のものが含まれる場合は図１５に示す処理を終了する。なお、制御部３０４が、保存を終了する指示を受け取っておらず変数ｔｅの値が設定されていない場合には、ステップＳ１５０５に進む。

　ステップＳ１５０５において、出力制御部３０４は、ステップＳ１５０３で設定したフレームＰの取得時刻よりも後の時刻に取得した光音響画像のフレームの情報を取得する。フレームＰの取得時刻よりも後の時刻に取得されたフレームが存在する場合にはステップＳ１５０６に進み、存在しない場合にはＳ１５１０に進む。

　ステップＳ１５０６において、出力制御部３０４は、光音響画像のフレームを表す一時変数Ｐ’を、フレームＰの直後に取得した光音響画像のフレームに設定する。

　ステップＳ１５０７において、出力制御部３０４は、フレームＰ’の取得時刻に関する情報を取得する。フレームＰ’の取得時刻がｔｅより前の場合はステップＳ１５０８に進み、ｔｅより後の場合はステップＳ１５１０に進む。なお、制御部３０４が、保存を終了する指示を受け取っておらず変数ｔｅの値が設定されていない場合には、ステップＳ１５０８に進む。

　ステップＳ１５０８において、出力制御部３０４は、フレームＰ’とフレームＰの取得時刻を比較する。フレームＰ’の取得時刻ｔｐ’がフレームＰの取得時刻ｔｐよりもフレームＵの取得時刻ｔｕに近い場合、すなわち｜ｔｐ’－ｔｕ｜＜｜ｔｐ－ｔｕ｜が成り立つ場合にはステップＳ１５０９に進み、成り立たない場合にはステップＳ１５１０に進む。

　ステップＳ１５０９において、出力制御部３０４は、光音響画像のフレームを表す一時変数Ｐを、ステップＳ１５０６でＰ’に設定したフレームに設定し、ステップＳ１５０５に進む。

　ステップＳ１５１０において、出力制御部３０４は、超音波画像のフレームＵに対して、光音響画像のフレームＰを対応づけて、ステップＳ１５１１に進む。

　ステップＳ１５１１において、出力制御部３０４は、フレームＵの取得時刻よりも後の時刻に取得した超音波画像のフレームの情報を取得する。フレームＵの取得時刻よりも後の時刻に取得されたフレームが存在する場合にはステップＳ１５１２に進み、存在しない場合には図１５に示す処理を終了する。

　ステップＳ１５１２において、出力制御部３０４は、超音波画像のフレームを表す一時変数Ｕを、ステップＳ１５０２又は直前のループのステップＳ１５１２においてフレームＵに設定した超音波画像の直後に取得された超音波画像のフレームに設定して、ステップＳ１５０４に進む。

　図１４に示すタイミングで取得される超音波画像と光音響画像とを、出力制御部３０４が図１５のフローに従って処理を行うと、保存を開始する指示の後に取得された超音波画像Ｕ３と超音波画像Ｕ４のそれぞれに、光音響画像Ｐ２が対応づけられる。図１０に示すステップＳ１００３において、表示制御部３０６は光音響画像Ｐ１が超音波画像Ｕ１又は超音波画像Ｕ２に重畳された重畳画像を表示部１０９に表示させる。また、表示制御部３０６は光音響画像Ｐ２が超音波画像Ｕ３又は超音波画像Ｕ４に重畳された重畳画像を表示部１０９に表示させる。ステップＳ１００６において、出力制御部３０４は保存を開始する指示がなされた時刻ｔｓから、保存を終了する指示がなされた時刻ｔｅの間に撮影された、超音波画像Ｕ３及び超音波画像Ｕ４と光音響画像フレームＰ２とを対応づけ、対応情報５０７に保存する。ステップＳ１０１１において、通信部３０５は対応づけられた画像データ７０３を含むＤＩＣＯＭオブジェクト７０１を、ＰＡＣＳ１１２に送信する。

　第２の実施形態の構成によって、ユーザは超音波画像と光音響画像とを撮像して表示部１０９に表示される重畳画像を観察しながら、保存を指示した期間に取得された超音波画像の各フレームに光音響画像のフレームを対応づけることができる。そして、出力されるＤＩＣＯＭオブジェクト７０１がＶｉｅｗｅｒ１１３において再生される際には、超音波画像と光音響画像とのフレームレートが異なる場合であっても、動画像における表示のちらつきが低減される。

　［第３の実施形態］
　第３の実施形態は、ユーザの操作入力に関する情報に基づいて、一連の超音波画像からなる動画像の一部の区間で光音響画像を含む場合には、当該動画像の再生時に光音響画像を含む区間を速やかに特定できるようにすることを目的とする。

　第３の実施形態に係る情報処理装置１０７を含む検査システム１０２の構成、情報処理装置１０７のハードウェア構成、情報処理装置１０７の機能構成は、それぞれ図１、図２、図３に示す例と同様である。共通する部分については上述した説明を援用することにより、ここでは詳しい説明を省略する。

　第３の実施形態において、撮影制御部３０２は、プローブ１０３からの情報及び操作部１０８を介して入力された情報に基づいて、ユーザの操作入力に関する情報（以下、操作情報と称する。）を取得する。また、第３の実施形態において、出力制御部３０４は操作情報を含む付帯情報を取得する。

　図１６は、情報処理装置１０７が超音波画像と光音響画像とからなる動画像を撮影し、付帯情報を生成し、当該動画像と当該付帯情報とを含むオブジェクトを外部装置に出力する処理の一例を示すフローチャートである。以下では、超音波画像を撮影中にユーザの操作入力に基づいて光音響画像を併せて撮影する場合を例に説明する。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。また、適宜図５、図６、図１７、図１８、図９を用いて、情報処理装置１０７により取得される情報について説明する。

　ステップＳ１６０１において、検査制御部３０１は撮影を開始する指示を受け付ける。まず、検査制御部３０１はＨＩＳ／ＲＩＳ１１１より検査オーダの情報を取得する。表示制御部３０６は表示部１０９に当該検査オーダにより示される検査の情報と、当該検査に対する指示をユーザが入力するためのユーザインタフェースとを表示させる。操作部１０８を介して当該ユーザインタフェースに入力された、撮影開始の指示により、撮影が開始される。ユーザの操作入力に基づいて、あるいは自動的に超音波画像の撮像が開始される。

　ステップＳ１６０２において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、超音波画像の撮像を開始する。ユーザはプローブ１０３を被検体１０１に押し当て、所望の位置の撮像を行う。撮影制御部３０２は、デジタル信号である超音波信号と、当該超音波信号の取得に関するタイミング情報とを取得し、ＲＡＭ２０３に記憶する。画像処理部３０３は、超音波信号に対して整相加算（Ｄｅｌａｙ　ａｎｄ　Ｓｕｍ）等の処理を行うことにより、超音波画像を生成する。なお、超音波画像を生成したところで、ＲＡＭ２０３に保存された超音波信号は削除されてもよい。画像処理部３０３は取得した超音波画像を、表示制御部３０６を介して表示部１０９に表示させる。撮影制御部３０２及び画像処理部３０３はこれらの工程を繰り返し実行し、表示部１０９に表示される超音波画像を更新する。これにより、超音波画像が動画像として表示される。

　ステップＳ１６０３において、出力制御部３０４は、画像処理部３０３で取得された画像データと、付帯情報との保存にかかる処理を開始する。保存開始の指示は、例えば第２の実施形態で説明したように情報処理装置１０７又はプローブ１０３に対する操作入力により行われる。

　ステップＳ１６０４において、撮影制御部３０２は、超音波撮像を終了する指示を受け付ける。検査中、表示制御部３０６は、検査に関する操作入力を行うためのユーザインタフェースを表示部１０９に表示させている。ユーザは当該ユーザインタフェースに対する操作入力により超音波撮像を終了する指示を行うことができる。別の例では、プローブ１０３の入力部（不図示）に対する操作入力により、超音波撮像を終了する指示を行うことができる。終了の指示を受け付けるとステップＳ１６１１に進み、指示がない場合はステップＳ１６０５に進む。

　ステップＳ１６０５において、撮影制御部３０２は、光音響撮像を開始する指示を受け付ける。ユーザは検査に関するユーザインタフェースに対する操作入力又はプローブ１０３に対する操作入力により、光音響撮像を開始する指示を行うことができる。開始の指示を受け付けるとステップＳ１６０６に進み、指示が無い場合はステップＳ１６０７に進む。

　ステップＳ１６０４及びステップＳ１６０５において撮影制御部３０２は、超音波画像及び光音響画像の保存を指示するユーザの操作入力を受け付ける。この観点では、撮影制御部３０２は受付手段の一例である。

　ステップＳ１６０６において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、光音響画像の撮像を開始する。ユーザはプローブ１０３を被検体１０１に押し当て、所望の位置の撮像を行う。撮影制御部３０２は、デジタル信号である光音響信号と、当該光音響信号の取得に関するタイミング情報とを取得し、ＲＡＭ２０３に記憶する。画像処理部３０３は、光音響信号に対してＵｎｉｖｅｒｓａｌ　Ｂａｃｋ－Ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）等の処理を行うことにより、光音響画像を生成する。なお、光音響画像を生成したところで、ＲＡＭ２０３に保存された光音響信号は削除されてもよい。画像処理部３０３は取得した光音響画像を、表示制御部３０６を介して表示部１０９に表示させる。撮影制御部３０２及び画像処理部３０３はこれらの工程を繰り返し実行し、表示部１０９に表示される光音響画像を更新する。これにより、光音響画像が動画像として表示される。なお、ステップＳ１６０６からステップＳ１６０４に移行し、ステップＳ１６０４において撮影制御部３０２が超音波撮像を終了する指示を受け付けた場合には、撮影制御部３０２はプローブ１０３を制御して光音響画像の撮像を終了する。

　ステップＳ１６０７において、撮影制御部３０２は、光音響撮像を終了する指示を受け付ける。ユーザは検査に関するユーザインタフェースに対する操作入力又はプローブ１０３に対する操作入力により、光音響撮像を終了する指示を行うことができる。終了の指示を受け付けるとステップＳ１６０８に進み、指示が無い場合はステップＳ１６０９に進む。

　ステップＳ１６０５及びステップＳ１６０７において、ユーザは光音響画像の撮像に関する操作入力を行っているので、撮影制御部３０２は操作情報を取得する。

　ステップＳ１６０８において、撮影制御部３０２はプローブ１０３を制御して光音響画像の撮像を終了する。

　ステップＳ１６０９において、撮影制御部３０２は、静止画を撮影する指示を受け付ける。ユーザは検査に関するユーザインタフェースに対する操作入力又はプローブ１０３に対する操作入力により、静止画を撮影する指示を行うことができる。ここで、静止画は超音波画像の静止画であってもよいし、光音響画像の静止画であってもよいし、超音波画像に対して光音響画像が重畳された重畳画像の静止画であってもよい。静止画を撮影する指示を受け付けるとステップＳ１６１０に進み、指示が無い場合はステップＳ１６０４に進む。

　ステップＳ１６１０において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、静止画を撮影する処理を実行する。撮影制御部３０２は静止画を撮影するための固有の動作モードやサンプリング周期といった条件でプローブ１０３及び信号収集部１０４を制御する。画像処理部３０３が超音波画像及び光音響画像を取得するための処理は、ステップＳ１６０２及びステップＳ１６０８で説明した処理と同様である。

　ステップＳ１６０４からステップＳ１６１０までの処理において、撮影制御部３０２は超音波画像及び光音響画像のタイミング情報を取得する。超音波画像のタイミング情報は、当該超音波画像に用いられた超音波信号が取得されたタイミングに関する情報である。一の超音波画像に複数の超音波信号が用いられる場合のタイミング情報は、任意の超音波信号が取得されたタイミングに関する情報でよく、一の検査で取得されたそれぞれの超音波画像で運用が統一されていればよい。超音波信号が取得されたタイミングは、情報処理装置１０７が超音波信号を受信したタイミングでもよいし、プローブ１０３が被検体１０１に超音波を送信したタイミングでもよいし、プローブ１０３が超音波を受信したタイミングでもよいし、プローブ１０３に対する超音波の送受信の駆動信号が検知されたタイミングでもよいし、信号収集部１０４が超音波信号を受信したタイミングでもよい。光音響画像のタイミング情報は、当該光音響画像に用いられた光音響信号が取得されたタイミングに関する情報である。一の光音響画像に複数の光音響信号が用いられる場合のタイミング情報は、任意の光音響信号が取得されたタイミングに関する情報でよく、一の検査で取得されたそれぞれの光音響画像で運用が統一されていればよい。光音響信号が取得されたタイミングは、情報処理装置１０７が光音響信号を受信したタイミングでもよいし、プローブ１０３が被検体１０１に光を照射したタイミングでもよいし、プローブ１０３が光音響を受信したタイミングでもよいし、光の照射或いは光音響の受信のプローブ１０３に対する駆動信号が検知されたタイミングでもよいし、信号収集部１０４が光音響信号を受信したタイミングでもよい。

　出力制御部３０４は、第１の実施形態及び第２の実施形態で説明した処理により、超音波画像と光音響画像とをともに撮像している場合には、超音波画像のそれぞれに対して光音響画像を対応付ける処理を行う。

　ステップＳ１６１１において、出力制御部３０４は、ステップＳ１６０３からステップＳ１６１１までの間に取得された情報を保存し、保存に係る処理を終了する。

　図５は、ステップＳ１６０３で開始され、ステップＳ１６１１で終了される保存に係る処理で取得されるデータの構成の一例を示す図である。保存データ５０１は、記憶装置２０４に保存される。保存データ５０１は、付帯情報５０２と画像データ５０３とを含む。たとえば、付帯情報５０２は保存データ５０１のヘッダー部に記録される。

　付帯情報５０２は、被検体１０１の属性を表す被検体情報５０４と、撮像に使用されたプローブ１０３の情報であるプローブ情報５０５と、タイミング情報５０６と、対応情報５０７とを含む。図６は、タイミング情報５０６の一例を示す図である。

　第３の実施形態において、付帯情報５０２はさらに操作情報１７００（図１７）を含む。

　図１７は、操作情報１７００の一例を示す図である。操作情報１７００の各行には、時刻と、その時刻に指示された操作の内容が、時系列順に記録される。例えば行１７０１は、時刻ｔｏ１に光音響撮像を開始する指示が行われたことを表す。また、行１７０２は、時刻ｔｏ２に静止画撮影を開始する指示が行われたことを表す。たとえば、ユーザが操作部１０８を用いて操作入力を行ったタイミングが、指示時刻として記録される。

　図１８は対応情報５０７の一例を示す図である。対応情報５０７の各行には、ユーザからの操作入力、もしくは取得された画像の識別子が、時系列順に記録される。（Ｕｍ，Ｐｎ）は、超音波画像のフレームＵｍと光音響画像のフレームＰｎが第１の実施形態あるいは第２の実施形態に示す処理により対応づけられていることを表す。（Ｕｍ，－）は、あるタイミングで超音波画像のフレームＵｍのみが取得されたことを表す。マーク「＃」で始まる行は、ユーザの操作入力の内容を表す。例えば行１８０１－１８０４は、超音波撮像を開始する指示に続いて、超音波画像のフレームＵ１が取得され、その後に光音響撮像を開始する指示がなされたことを示す。

　対応情報５０７には、ユーザによる操作入力を伴わない仮想的な操作入力を含むことができる。仮想的な操作入力とは、装置により自動的に行われる操作入力であり、ユーザによる操作入力をトリガとして、情報処理装置１０７が一連の処理を実行する場合に、処理の途中経過や完了といった論理的な事象を表す。例えば、行１８０６の「♯静止画撮影の完了」は仮想的な操作入力であり、行１８０５の静止画撮影の開始指示をトリガとして実行される静止画撮影にかかる処理の完了を表す。仮想的な操作入力は、出力制御部３０４によって対応情報５０７に自動的に挿入される。

　ステップＳ１６１２において、撮影制御部３０２はプローブ１０３を制御して超音波画像の撮像と光音響画像の撮像とを終了する。

　ステップＳ１６１３において、出力制御部３０４は、ステップＳ１６１１までに保存された情報に基づいて、外部装置に出力するためのオブジェクトを生成する。通信部３０５は、オブジェクトをＰＡＣＳ１１２といった外部装置に出力する。

　図７は、ステップＳ４１３で生成されるオブジェクトの一例を示す図である。ＤＩＣＯＭオブジェクト７０１は、付帯情報７０２と、画像データ７０３とを含む。付帯情報７０２は、たとえば画像データ７０３のヘッダー部に記載される。

　付帯情報７０２は、被検体情報７０４と、プローブ情報７０５と、対応情報７０６とを含む。被検体情報７０４は、図５に示す被検体情報５０４と対応する。プローブ情報７０５は、図５に示すプローブ情報５０５と対応する。対応情報７０６は、図１８に示す対応情報５０７と対応する。付帯情報７０２に含まれるそれぞれの情報は、図５に示した対応するそれぞれの情報と同一の情報を含んでいてもよいし、ＤＩＣＯＭ規格において必須とされる情報のみを含んでいてもよいし、任意に設定される所定の項目のみを含んでいてもよい。たとえば、被検体情報７０４は被検体ＩＤ、年齢、性別、検査ＩＤそれぞれ示す情報のみでもよい。付帯情報７０２は、プローブ情報７０５を含んでいなくてもよい。また、対応情報７０６には操作情報とタイミング情報とが含まれているので必須ではないが、付帯情報７０２は図５に示すタイミング情報５０６と対応するタイミング情報や、操作情報１７００と対応する操作情報をさらに含んでいてもよい。

　第３の実施形態の構成により、情報処理装置１０７はユーザの操作入力に基づいて、取得される画像を対応付けることができる。これにより、超音波画像と光音響画像とを含む動画像をＶｉｅｗｅｒ１１３により表示する際には、光音響画像のちらつきを低減することができる。また、Ｖｉｅｗｅｒ１１３はＤＩＣＯＭオブジェクト７０１に含まれる対応情報７０６に基づいて、ユーザの操作入力に関連する箇所を効率的に表示させることができる。例えばＶｉｅｗｅｒ１１３は、操作情報１７００を参照することで連続した超音波画像フレーム群の中で、光音響画像データと共に取得されたフレーム区間を容易に特定することができる。これにより、医師は効率的に診断を行うことができる。具体的には、例えば、医師から超音波画像と光音響画像との重畳画像を表示する旨の指示を受け付けた場合、Ｖｉｅｗｅｒ１１３は、操作情報１７００に含まれる時刻ｔｏ１と時刻ｔｏ３とを読み、時刻ｔｏ１から時刻ｔｏ３までの期間の超音波画像および光音響画像を取得・表示する。このような処理により、Ｖｉｅｗｅｒ１１３は医師の意図に沿った画像を確実に表示することが可能になる。

　［変形例］
　上述の実施形態では、超音波画像と光音響画像の両方を保存する例について説明したが、本発明はこれに限らない。たとえば、超音波画像と光音響画像のそれぞれに対して別々に保存の指示を入力できる構成が設けられてもよい。

　上述の実施形態では、出力制御部３０４が超音波画像と光音響画像との対応付けを行う場合を例に説明したが、本発明はこれに限らない。たとえば、表示制御部３０６が画像処理部３０３で取得された超音波画像と光音響画像とを、タイミング情報に基づいて表示してもよい。すなわち、表示制御部３０６が上述の対応付けにかかる処理を行ってもよい。

　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

　本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

　したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

　上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０１６年１１月２４日提出の日本国特許出願特願２０１６－２２８０６５を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims

　被検体に照射された超音波の反射波に関する信号である超音波信号に基づく超音波画像を前記被検体への光の照射により発生する光音響波に関する信号である光音響信号に基づく光音響画像よりも高いフレームレートで取得する情報処理装置であって、
　第１の時点において取得された第１の光音響信号に基づく第１光音響画像と、前記第１の時点より後の第２の時点において取得された第２の光音響信号に基づく第２光音響画像と、前記第１の時点より後かつ前記第２の時点より前の期間に含まれる第３の時点において取得された超音波信号に基づく第１超音波画像とを取得する画像取得手段と、
　前記第１の時点、前記第２の時点および前記第３の時点との関係に基づいて、前記第１超音波画像に対して、前記第１光音響画像及び前記第２光音響画像の少なくともいずれかの光音響画像を対応づける処理手段と、
　を有することを特徴とする情報処理装置。
　前記処理手段は、前記第１の時点および前記第２の時点のうち、前記第３の時点と近い方の時点で取得された前記光音響信号に基づく光音響画像と、前記第１超音波画像とを対応づけることを特徴とする請求項１に記載の情報処理装置。
　前記画像取得手段は、前記第３の時点とは異なり且つ前記第１の時点より後かつ前記第２の時点より前の期間に含まれる第４の時点において取得された第２超音波画像を更に取得し、
　前記処理手段は、前記第１の時点が前記第２の時点よりも前記第３の時点および前記第４の時点と近い場合、前記第１光音響画像を前記第１超音波画像および前記第２超音波画像と対応づけ、前記第２の時点が前記第１の時点よりも前記第３の時点および前記第４の時点と近い場合、前記第２光音響画像を前記第１超音波画像および前記第２超音波画像と対応づけることを特徴とする請求項２に記載の情報処理装置。
　前記対応づけられた前記超音波画像と前記光音響画像に関する情報である対応情報を付帯情報として含むオブジェクトを外部装置に出力する出力手段をさらに有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
　前記第１の時点、前記第２の時点、及び前記第３の時点のそれぞれに関する情報を含むタイミング情報を取得する情報取得手段をさらに有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
　前記タイミング情報は、前記第１の時点及び前記第２の時点のそれぞれに関する情報として、前記光音響信号が取得されたタイミングに関する情報を含むことを特徴とする請求項５に記載の情報処理装置。
　前記タイミング情報は、前記第１の時点及び前記第２の時点のそれぞれに関する情報として、前記被検体に光が照射されたタイミングに関する情報を含むことを特徴とする請求項５に記載の情報処理装置。
　前記タイミング情報は、前記第３の時点に関する情報として、前記超音波信号が取得されたタイミングに関する情報を含むことを特徴とする請求項５乃至請求項７のいずれか１項に記載の情報処理装置。
　前記タイミング情報は、前記第３の時点に関する情報として、前記被検体に超音波が送信されたタイミングに関する情報を含むことを特徴とする請求項５乃至請求項７のいずれか１項に記載の情報処理装置。
　前記画像取得手段により取得された前記超音波画像と前記光音響画像の少なくともいずれかを表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１乃至請求項９のいずれか１項に記載の情報処理装置。
　前記表示制御手段は、前記光音響画像を前記超音波画像に重畳して前記表示部に表示させることを特徴とする請求項１０に記載の情報処理装置。
　前記画像取得手段により取得された前記光音響画像と前記光音響画像とを保存する指示を受け付ける受付手段をさらに有し、
　前記処理手段は、前記指示により示される期間に取得された前記超音波画像のそれぞれに対して、前記期間に取得された前記光音響画像のいずれかを対応付ける事を特徴とする請求項１乃至請求項１１のいずれか１項に記載の情報処理装置。
　被検体への光の照射により発生する光音響波に関する信号である光音響信号に基づいて光音響画像を取得し、被検体に照射された超音波の反射波に関する信号である超音波信号に基づいて超音波画像を取得する画像取得手段と、
　第１の時点で取得された光音響画像と、前記第１の時点より後の第２の時点で取得された光音響画像とのうち、前記第１の時点と前記第２の時点の間の第３の時点に近い方の時点で取得された光音響画像を、前記第３の時点で取得された超音波画像に重畳して表示させる表示制御手段と、
　前記光音響画像及び前記超音波画像を保存するための指示を受け付ける受付手段と、
　前記指示により示される期間に表示部に表示された画像を外部装置で再生するための情報を出力する出力手段と、
　を有することを特徴とする情報処理装置。
　被検体への光の照射により発生する光音響波に関する信号である光音響信号に基づいて光音響画像を取得し、被検体に照射された超音波の反射波に関する信号である超音波信号に基づいて超音波画像を取得する画像取得手段と、
　複数の超音波画像のそれぞれに対して、ユーザの操作入力に関する情報に基づいて複数の光音響画像の少なくともいずれかを対応付ける処理手段と、
　前記複数の超音波画像のそれぞれに対して対応付けられた光音響画像についての情報である対応情報と、前記ユーザの操作入力に関する情報とを含む付帯情報とともに、前記超音波画像と前記光音響画像とを外部装置に出力する出力手段と、
　を有することを特徴とする情報処理装置。
　被検体に照射された超音波の反射波に関する信号である超音波信号に基づく超音波画像を前記被検体への光の照射により発生する光音響波に関する信号である光音響信号に基づく光音響画像よりも高いフレームレートで取得する情報処理装置であって、
　第１の時点において取得された前記光音響信号に基づく第１光音響画像と、少なくとも一方が第１の時点とは異なる時点において取得された複数の超音波信号に基づく複数の超音波画像を取得する取得手段と、
　前記第１光音響画像を、前記複数の超音波画像に対応づける処理手段を備えることを特徴とする情報処理装置。
　被検体に照射された超音波の反射波に関する信号である超音波信号に基づく超音波画像を前記被検体への光の照射により発生する光音響波に関する信号である光音響信号に基づく光音響画像よりも高いフレームレートで取得する情報処理装置であって、
　第１の時点において取得された第１の光音響信号に基づく第１光音響画像と、前記第１の時点より後の第２の時点において取得された第２の光音響信号に基づく第２光音響画像と、前記第１の時点より後かつ前記第２の時点より前の期間に含まれる第３の時点において取得された超音波信号に基づく第１超音波画像とを取得する画像取得手段と、
　前記第１の時点、前記第２の時点および前記第３の時点との関係に基づいて、前記第１超音波画像に対して、前記第１光音響画像及び前記第２光音響画像の少なくともいずれかの光音響画像を対応づける処理手段と、
　を有することを特徴とする情報処理システム。
　前記光音響画像と、前記光音響画像よりも高いフレームレートで取得された前記超音波画像とを含む動画像を表示部に表示させる表示制御手段であって、
　前記超音波画像と、前記処理手段により前記超音波画像と対応付けられた前記光音響画像とを、同時に前記表示部に表示させる表示制御手段をさらに有することを特徴とする請求項１６に記載の情報処理システム。
　前記処理手段は、前記第１の時点および前記第２の時点のうち、前記第３の時点と近い方の時点で取得された前記光音響信号に基づく光音響画像と、前記第１超音波画像とを対応づけることを特徴とする請求項１６又は請求項１７のいずれか１項に記載の情報処理装置。
　被検体に照射された超音波の反射波に関する信号である超音波信号に基づく超音波画像を前記被検体への光の照射により発生する光音響波に関する信号である光音響信号に基づく光音響画像よりも高いフレームレートで取得する情報処理方法であって、
　第１の時点において取得された第１の光音響信号に基づく第１光音響画像と、前記第１の時点より後の第２の時点において取得された第２の光音響信号に基づく第２光音響画像と、前記第１の時点より後かつ前記第２の時点より前の期間に含まれる第３の時点において取得された超音波信号に基づく第１超音波画像とを取得する画像取得工程と、
　前記第１の時点、前記第２の時点および前記第３の時点との関係に基づいて、前記第１超音波画像に対して、前記第１光音響画像及び前記第２光音響画像の少なくともいずれかの光音響画像を対応づける処理工程と、
　を有することを特徴とする情報処理方法。
　請求項１９に記載の情報処理方法をコンピュータに実行させるためのプログラム。