JP7129158B2 - 情報処理装置、情報処理方法、情報処理システムおよびプログラム - Google Patents

Description

本明細書の開示は、情報処理装置、情報処理方法、情報処理システムおよびプログラムに関する。

被検体内部の状態を低侵襲に画像化する撮像装置として、超音波撮像装置や光音響撮像装置が利用されている。これらの装置によれば、超音波画像および光音響画像を動画または静止画として取得することが可能であり、超音波撮像装置により組織の弾性を画像化するエラストグラフィと呼ばれる撮像方法を利用することも可能である。すなわち、さまざまな撮像方法が利用可能である。特許文献１には、超音波画像と光音響画像とを取得可能な装置において、１フレーム内における超音波画像を構成するデータの開始アドレスおよび光音響画像を構成するデータの開始アドレスが記載された付帯情報を生成することが開示されている。

特開２０１４‐２１７６５２号公報

医師が上述した様々な撮像方法により取得された画像のうち所望の撮像方法で得られた画像を参照することで診断を行う場合、１フレーム内の超音波画像または光音響画像を構成するデータのアドレスを付帯情報に含ませることでは、医師が望む撮像方法の画像を迅速に表示できないおそれがある。すなわち、付帯情報に医師が望む撮像方法の画像を迅速に表示できるような情報を含ませる必要がある。

本発明の実施形態に係る情報処理装置は、被検体への光の照射により発生する光音響に関する信号である光音響信号と、被検体に照射された超音波の反射波に関する信号である超音波信号とのいずれかを取得する信号取得手段と、前記光音響信号を取得するための操作に関する情報である操作情報を取得する情報取得手段と、前記操作情報を含むオブジェクトを外部装置に出力する出力手段と、を有することを特徴とする。

本発明の実施形態に係る情報処理装置により、動画を再生する装置は付帯情報から画像を撮像するための操作に関する情報を取得可能となる。これにより、動画の観察にかかるユーザのワークフローを向上することができる。

本発明の実施形態に係る情報処理装置を含むシステムの構成の一例を示す図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 本発明の実施形態に係る情報処理装置により取得される情報の一例を示す図である。 本発明の実施形態に係る情報処理装置により取得される情報の一例を示す図である。 本発明の実施形態に係る情報処理装置により取得される情報の一例を示す図である。 本発明の実施形態に係る情報処理装置により取得される情報の一例を示す図である。 本発明の実施形態に係る情報処理装置により外部装置に出力されるオブジェクトの一例を示す図である。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すタイミングチャートである。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 発明の実施形態に係る情報処理装置により取得される情報の一例を示す図である。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 本発明の実施形態に係る情報処理装置により取得された情報に基づいて、表示される画面の一例である。

以下、図面を参照して本発明の実施形態を説明する。

［第１の実施形態］
本願明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。

被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響を用いた画像化の手法が利用されている。超音波を用いた画像化の方法は、たとえばトランスデューサから発振された超音波が被検体内部の組織で音響インピーダンスの差に応じて反射され、反射波がトランスデューサに到達するまでの時間や反射波の強度に基づいて画像を生成する方法である。超音波を用いて画像化された画像を以下では超音波画像と称する。ユーザはプローブの角度等を変えながら操作し、様々な断面の超音波画像をリアルタイムに観察することができる。超音波画像には臓器や組織の形状が描出され、腫瘍の発見等に活用されている。また、光音響波を用いた画像化の方法は、たとえば光を照射された被検体内部の組織が断熱膨張することにより発生する超音波（光音響）に基づいて画像を生成する方法である。光音響を用いて画像化された画像を以下では光音響画像と称する。光音響画像には各組織の光の吸収の度合いといった光学特性に関連した情報が描出される。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られており、腫瘍の悪性度の評価等への活用が検討されている。

診断の精度を高めるために、被検体の同一部位を、異なる原理に基づいて異なる現象を画像化することにより、様々な情報を収集する場合がある。超音波画像の撮影と光音響画像の撮影と、それぞれの特性を組み合わせた画像を得るための撮像装置が検討されている。特に、超音波画像も光音響画像も被検体からの超音波を利用して画像化されることから、超音波画像の撮像と光音響画像の撮像とを同じ撮像装置で行うことも可能である。より具体的には、被検体に照射した反射波と光音響とを同じトランスデューサで受信する構成とすることができる。これにより、超音波信号と光音響信号とを一つのプローブで取得することができ、ハードウェア構成が複雑にならずに、超音波画像の撮像と光音響画像の撮像とを行う撮像装置を実現できる。

このように超音波画像と光音響画像とを取得可能な撮像装置で動画を撮影する場合には、たとえば超音波画像の動画を表示部に表示させながら、ユーザの所望の位置で光音響画像を併せて取得することが考えられる。第１の実施形態では、一連の超音波画像からなる動画の一部の区間で光音響画像を含む場合には、当該動画の再生時に光音響画像を含む区間を速やかに特定できるようにすることを目的とする。

［情報処理装置の構成］
図１は、第１の実施形態に係る情報処理装置１０７を含む検査システム１０２の構成の一例を示す図である。超音波画像と光音響画像とを生成可能な検査システム１０２は、ネットワーク１１０を介して各種の外部装置と接続されている。検査システム１０２に含まれる各構成および各種の外部装置は、同じ施設内に設置されている必要はなく、通信可能に接続されていればよい。

検査システム１０２は、情報処理装置１０７、プローブ１０３、信号収集部１０４、表示部１０９、操作部１０８を含む。情報処理装置１０７は、超音波画像ならびに光音響画像の撮像を含む検査に関する情報をＨＩＳ／ＲＩＳ１１１から取得し、当該検査が行われる際にプローブ１０３や表示部１０９を制御する。情報処理装置１０７は、プローブ１０３および信号収集部１０４から超音波信号と光音響信号とを取得する。情報処理装置１０７は、超音波信号に基づいて超音波画像を取得し、光音響信号に基づいて光音響画像を取得する。情報処理装置１０７は、さらに超音波画像に光音響画像を重畳した重畳画像を取得してもよい。情報処理装置１０７は、ＨＬ７（Ｈｅａｌｔｈ ｌｅｖｅｌ ７）およびＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓｉｎ Ｍｅｄｉｃｉｎｅ）といった規格に準じて、ＨＩＳ／ＲＩＳ１１１やＰＡＣＳ１１２といった外部装置との間で情報の送受信を行う。

検査システム１０２で超音波画像を撮像される被検体１０１内の領域は、たとえば循環器領域、乳房、肝臓、膵臓、腹部といった領域である。また、検査システム１０２では、たとえば微小気泡を利用した超音波造影剤を投与した被検体の超音波画像を撮像してもよい。

また、検査システム１０２で光音響画像を撮像される被検体内の領域は、たとえば循環器領域、乳房、径部、腹部、手指および足指を含む四肢といった領域である。特に、被検体内の光吸収に関する特性に応じて、新生血管や血管壁のプラークを含む血管領域を、光音響画像の撮像の対象としてもよい。検査システム１０２では、たとえばメチレンブルー（ｍｅｔｈｙｌｅｎｅ ｂｌｕｅ）やインドシアニングリーン（ｉｎｄｏｃｙａｎｉｎｅｇｒｅｅｎ）といった色素や、金微粒子、それらを集積あるいは化学的に修飾した物質を造影剤として投与した被検体１０１の光音響画像を撮像してもよい。

プローブ１０３は、ユーザにより操作され、超音波信号と光音響信号とを信号収集部１０４および情報処理装置１０７に送信する。プローブ１０３は、撮影制御部３０２により制御される。また、ユーザはプローブ１０３に設けられた、フリーズボタンといった入力部（不図示）を介してプローブ１０３を制御することができる。プローブ１０３は、ユーザが行った操作入力の情報を情報処理装置１０７に送信する。プローブ１０３は、送受信部１０５と照射部１０６とを含む。プローブ１０３は、送受信部１０５から超音波を送信し、反射波を送受信部１０５で受信する。また、プローブ１０３は照射部１０６から被検体に光を照射し、光音響を送受信部１０５で受信する。プローブ１０３は、被検体との接触を示す情報を受信したときに、超音波信号を取得するための超音波の送信ならびに光音響信号を取得するための光照射が実行されるように制御されることが好ましい。

送受信部１０５は、少なくとも１つのトランスデューサ（不図示）と、整合層（不図示）、ダンパー（不図示）、音響レンズ（不図示）を含む。トランスデューサ（不図示）はＰＺＴ（ｌｅａｄ ｚｉｒｃｏｎａｔｅ ｔｉｔａｎａｔｅ）やＰＶＤＦ（ｐｏｌｙｖｉｎｙｌｉｄｅｎｅ ｄｉｆｌｕｏｒｉｄｅ）といった、圧電効果を示す物質からなる。トランスデューサ（不図示）は圧電素子以外のものでもよく、たとえば静電容量型トランスデューサ（ＣＭＵＴ：ｃａｐａｃｉｔｉｖｅ ｍｉｃｒｏ－ｍａｃｈｉｎｅｄ ｕｌｔｒａｓｏｎｉｃ ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサである。典型的には、超音波信号は２～２０ＭＨｚ、光音響信号は０．１～１００ＭＨｚの周波数成分からなり、トランスデューサ（不図示）は、たとえばこれらの周波数を検出できるものが用いられる。トランスデューサ（不図示）により得られる信号は時間分解信号である。受信された信号の振幅は各時刻にトランスデューサで受信される音圧に基づく値を表したものである。送受信部１０５は、電子フォーカスのための回路（不図示）もしくは制御部を含む。トランスデューサ（不図示）の配列形は、たとえばセクタ、リニアアレイ、コンベックス、アニュラアレイ、マトリクスアレイである。プローブ１０３は、超音波信号と光音響信号とを取得する。プローブ１０３は超音波信号と光音響信号とを交互に取得してもよいし、同時に取得してもよいし、予め定められた態様で取得してもよい。

送受信部１０５は、トランスデューサ（不図示）が受信した時系列のアナログ信号を増幅する増幅器（不図示）を備えていてもよい。トランスデューサ（不図示）は、超音波画像の撮像の目的に応じて、送信用と受信用とに分割されてもよい。また、トランスデューサ（不図示）は、超音波画像の撮像用と、光音響画像の撮像用とに分割されてもよい。

照射部１０６は、光音響信号を取得するための光源（不図示）と、光源（不図示）から射出されたパルス光を被検体へ導く光学系（不図示）とを含む。光源（不図示）が射出する光のパルス幅は、たとえば１ｎｓ以上、１００ｎｓ以下のパルス幅である。また、光源（不図示）が射出する光の波長は、たとえば４００ｎｍ以上、１６００ｎｍ以下の波長である。被検体の表面近傍の血管を高解像度でイメージングする場合は、４００ｎｍ以上、７００ｎｍ以下の、血管での吸収が大きい波長が好ましい。また、被検体の深部をイメージングする場合には、７００ｎｍ以上、１１００ｎｍ以下の、水や脂肪といった組織で吸収されにくい波長が好ましい。

光源（不図示）は、たとえばレーザーや発光ダイオードである。照射部１０６は、複数の波長の光を用いて光音響信号を取得するために、波長を変換できる光源を用いてもよい。あるいは、照射部１０６は、互いに異なる波長の光を発生する複数の光源を備え、それぞれの光源から交互に異なる波長の光を照射できる構成であってもよい。レーザーは、たとえば固体レーザー、ガスレーザー、色素レーザー、半導体レーザーである。光源（不図示）として、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーといったパルスレーザーを用いてもよい。また、Ｎｄ：ＹＡＧレーザーの光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（ｏｐｔｉｃａｌ ｐａｒａｍｅｔｒｉｃ ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源（不図示）として用いてもよい。また、光源（不図示）として、マイクロウェーブ源を用いてもよい。

光学系（不図示）には、レンズ、ミラー、光ファイバといった光学素子が用いられる。被検体が乳房である場合には、パルス光のビーム径を広げて照射することが好ましいため、光学系（不図示）は射出される光を拡散させる拡散板を備えていてもよい。あるいは解像度を上げるために、光学系（不図示）はレンズ等を備え、ビームをフォーカスできる構成であってもよい。

信号収集部１０４は、プローブ１０３で受信した反射波並びに光音響に関するアナログ信号を、それぞれデジタル信号に変換する。信号収集部１０４は、デジタル信号に変換された超音波信号ならびに光音響信号を情報処理装置１０７に送信する。

表示部１０９は、情報処理装置１０７からの制御に基づいて、検査システム１０２で撮像された画像や、検査に関する情報を表示する。表示部１０９は、情報処理装置１０７からの制御に基づいて、ユーザの指示を受け付けるためのインタフェースを提供する。表示部１０９は、たとえば液晶ディスプレイである。

操作部１０８は、ユーザの操作入力に関する情報を情報処理装置１０７に送信する。操作部１０８は、たとえばキーボードやトラックボールや、検査に関する操作入力を行うための各種のボタンである。

なお、表示部１０９と操作部１０８はタッチパネルディスプレイとして統合されていてもよい。また、情報処理装置１０７と表示部１０９と操作部１０８は別体の装置である必要はなく、これらの構成が統合された操作卓として実現されてもよい。情報処理装置１０７は、複数のプローブを有していてもよい。

ＨＩＳ／ＲＩＳ１１１は、患者の情報や検査の情報を管理するためのシステムである。ＨＩＳ（Ｈｏｓｐｉｔａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）は、病院の業務を支援するシステムである。ＨＩＳは、電子カルテシステム、オーダリングシステムや医事会計システムを含む。ＲＩＳ（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）は、放射線部門における検査情報を管理し、撮像装置でのそれぞれの検査の進捗を管理するシステムである。検査情報は、一意に識別するための検査ＩＤや、当該検査に含まれる撮影手技に関する情報を含む。検査システム１０２にはＲＩＳに代えて、あるいはＲＩＳに加えて、部門ごとに構築されたオーダリングシステムが接続されていてもよい。ＨＩＳ／ＲＩＳ１１１により、検査のオーダ発行から会計までが連携して管理される。ＨＩＳ／ＲＩＳ１１１は、情報処理装置１０７からの問い合わせに応じて、検査システム１０２で行う検査の情報を情報処理装置１０７に送信する。ＨＩＳ／ＲＩＳ１１１は、情報処理装置１０７から検査の進捗に関する情報を受信する。そして、ＨＩＳ／ＲＩＳ１１１は、検査が完了したことを示す情報を情報処理装置１０７から受信すると、会計のための処理を行う。

ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）１１２は、施設内外の各種の撮像装置で得られた画像を保持するデータベースシステムである。ＰＡＣＳ１１２は、医用画像およびかかる医用画像の撮影条件や、再構成を含む画像処理のパラメータや患者情報といった付帯情報を記憶する記憶部（不図示）と、当該記憶部に記憶される情報を管理するコントローラ（不図示）とを有する。ＰＡＣＳ１１２は、情報処理装置１０７から出力されたオブジェクトである、超音波画像や光音響画像や重畳画像を記憶する。ＰＡＣＳ１１２と情報処理装置１０７との通信や、ＰＡＣＳ１１２に記憶される各種の画像はＨＬ７やＤＩＣＯＭといった規格に則していることが好ましい。情報処理装置１０７から出力される各種の画像は、ＤＩＣＯＭ規格に則って各種のタグに付帯情報が関連付けられ、記憶されている。

Ｖｉｅｗｅｒ１１３は、画像診断用の端末であり、ＰＡＣＳ１１２等に記憶された画像を読み出し、診断のために表示する。医師は、Ｖｉｅｗｅｒ１１３に画像を表示させて観察し、当該観察の結果得られた情報を画像診断レポートとして記録する。Ｖｉｅｗｅｒ１１３を用いて作成された画像診断レポートは、Ｖｉｅｗｅｒ１１３に記憶されていてもよいし、ＰＡＣＳ１１２やレポートサーバ（不図示）に出力され、記憶されてもよい。

Ｐｒｉｎｔｅｒ１１４は、ＰＡＣＳ１１２等に記憶された画像を印刷する。Ｐｒｉｎｔｅｒ１１４はたとえばフィルムプリンタであり、ＰＡＣＳ１１２等に記憶された画像をフィルムに印刷することにより出力する。

図２は、情報処理装置１０７のハードウェア構成の一例を示す図である。情報処理装置１０７は、たとえばコンピュータである。情報処理装置１０７は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶装置２０４、ＵＳＢ２０５、通信回路２０６、プローブコネクタポート２０７、グラフィックスボード２０８を有する。これらはＢＵＳにより通信可能に接続されている。ＢＵＳは接続されたハードウェア間でのデータの送受信や、ＣＰＵ２０１から他のハードウェアへの命令を送信するために使用される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１は情報処理装置１０７およびこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ２０１はＲＯＭ２０２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ２０１は、表示部１０９を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１０９に対する表示制御を行う。さらにＣＰＵ２０１は、操作部１０８に対する入出力制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２は、ＣＰＵ２０１による制御の手順を記憶させたプログラムやデータを格納する。ＲＯＭ２０２は、情報処理装置１０７のブートプログラムや各種初期データを記憶する。また、情報処理装置１０７の処理を実現するための各種のプログラムを記憶する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３は、ＣＰＵ２０１が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。ＲＡＭ２０３は、スタックとワーク領域とを有する。ＲＡＭ２０３は、情報処理装置１０７およびこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１が実行する制御プログラムを格納し、ＣＰＵ２０１が各種制御を実行する際の様々なデータを一時的に格納する。

記憶装置２０４は、超音波画像や光音響画像などの各種のデータを保存する補助記憶装置である。記憶装置２０４は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。

ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）２０５は操作部１０８と接続する接続部である。

通信回路２０６は検査システム１０２を構成する各部や、ネットワーク１１０に接続されている各種の外部装置との通信を行うための回路である。通信回路２０６は、たとえば出力する情報を転送用パケットに格納してＴＣＰ／ＩＰといった通信技術により、ネットワーク１１０を介して外部装置に出力する。情報処理装置１０７は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。

プローブコネクタポート２０７は、プローブ１０３を情報処理装置１０７に接続するための接続口である。

グラフィックスボード２０８は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ビデオメモリを含む。ＧＰＵは、たとえば光音響信号から光音響画像を生成するための再構成処理に係る演算を行う。

ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）２０９は、表示部１０９と接続する接続部である。

ＣＰＵ２０１やＧＰＵはプロセッサの一例である。また、ＲＯＭ２０２やＲＡＭ２０３や記憶装置２０４はメモリの一例である。情報処理装置１０７は複数のプロセッサを有していてもよい。第１の実施形態においては、情報処理装置１０７のプロセッサがメモリに格納されているプログラムを実行することにより、情報処理装置１０７の各部の機能が実現される。

また、情報処理装置１０７は特定の処理を専用に行うＣＰＵやＧＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を有していても良い。情報処理装置１０７は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。

図３は、情報処理装置１０７の機能構成の一例を示す図である。情報処理装置１０７は、検査制御部３０１、撮影制御部３０２、画像処理部３０３、出力制御部３０４、通信部３０５、表示制御部３０６を有する。

検査制御部３０１は、検査制御部３０１は、ＨＩＳ／ＲＩＳ１１１から検査オーダの情報を取得する。検査オーダには、検査を受ける患者の情報や、撮影手技に関する情報が含まれる。検査制御部３０１は、撮影制御部３０２に検査オーダに関する情報を送信する。また、検査制御部３０１は、表示制御部３０６を介してユーザに検査に関する情報を提示するために表示部１０９に当該検査の情報を表示させる。表示部１０９に表示される検査の情報には、検査を受ける患者の情報や、当該検査に含まれる撮影手技の情報や、既に撮像が完了して生成された画像が含まれる。さらに検査制御部３０１は、通信部３０５を介して当該検査の進捗に関する情報をＨＩＳ／ＲＩＳ１１１に送信する。

撮影制御部３０２は、検査制御部３０１から受信した撮影手技の情報に基づいてプローブ１０３を制御し、超音波信号と光音響信号とをプローブ１０３および信号収集部１０４から取得する。撮影制御部３０２は、照射部１０６に対して光の照射を指示する。撮影制御部３０２は、送受信部１０５に対して超音波の送信を指示する。撮影制御部３０２は、照射部１０６への指示と送受信部１０５への指示とをユーザの操作入力や撮影手技の情報に基づいて実行する。また、撮影制御部３０２は送受信部１０５に対して超音波の受信を指示する。撮影制御部３０２は信号収集部１０４に対して信号のサンプリングを指示する。撮影制御部３０２は上述のようにプローブ１０３を制御し、超音波信号と光音響信号とを区別して取得する。また撮影制御部３０２は、タイミング情報を取得する情報取得手段の一例である。さらに、撮影制御部３０２は、検査においてユーザが行った操作入力の情報である操作情報を取得する。ユーザは、表示部１０９に表示されるユーザインタフェースを介して、超音波画像と光音響画像の撮像にかかる操作入力を行うことができる。撮影制御部３０２は、情報処理装置１０７に対するユーザの操作情報を取得する。また、プローブ１０３から、プローブ１０３に対するユーザの操作情報を取得する。すなわち、撮影制御部３０２は、操作情報を取得する情報取得手段の一例である。

撮影制御部３０２はさらに、超音波信号および光音響信号の取得したタイミングに関する情報（以下では、タイミング情報と称する。）を取得してもよい。タイミング情報とは、たとえば撮影制御部３０２がプローブ１０３を制御して光の照射や超音波の送信のタイミングを示す情報である。タイミングを示す情報とは、時刻であってもよいし、検査を開始してからの経過時間であってもよい。なお、撮影制御部３０２は、信号収集部１０４から出力されたデジタル信号に変換された超音波信号ならびに光音響信号を取得する。すなわち、撮影制御部３０２は、超音波信号および光音響信号を取得する信号取得手段の一例である。また撮影制御部３０２は、タイミング情報を取得する情報取得手段の一例である。

画像処理部３０３は、超音波画像と光音響画像と、超音波画像に対して光音響画像を重畳させた重畳画像とを生成する。また、画像処理部３０３は超音波画像および光音響画像からなる動画を生成する。

具体的には、画像処理部３０３は撮影制御部３０２により取得された光音響信号に基づいて光音響画像を生成する。画像処理部３０３は、光音響信号に基づいて光が照射された時の音響波の分布（以下、初期音圧分布と称する。）を再構成する。画像処理部３０３は、再構成された初期音圧分布を、被検体に照射された光の被検体の光フルエンス分布で除することにより、被検体内における光の吸収係数分布を取得する。また、被検体に照射する光の波長に応じて、被検体内で光の吸収の度合いが異なることを利用して、複数の波長に対する吸収係数分布から被検体内の物質の濃度分布を取得する。たとえば画像処理部３０３は、オキシヘモグロビンとデオキシヘモグロビンの被検体内における物質の濃度分布を取得する。さらに画像処理部３０３は、オキシヘモグロビン濃度のデオキシヘモグロビン濃度に対する割合として酸素飽和度分布を取得する。画像処理部３０３により生成される光音響画像は、たとえば上述した初期音圧分布、光フルエンス分布、吸収係数分布、物質の濃度分布および酸素飽和度分布の少なくとも一つの情報を示す画像である。

また、画像処理部３０３は超音波信号の反射波の振幅を輝度に変換した輝線を取得し、超音波ビームの走査に合わせて輝線の表示位置を変えることにより超音波画像（Ｂモード画像）を生成する。プローブ１０３が３次元プローブである場合には、画像処理部３０３は、直交する３断面からなる超音波画像（Ｃモード画像）を生成することができる。画像処理部３０３は、３次元の超音波画像に基づいて任意の断面やレンダリング後の立体画像を生成する。画像処理部３０３は、超音波画像と光音響画像の少なくとも一方を取得する画像取得手段の一例である。

出力制御部３０４は、検査制御部３０１からの制御やユーザの操作入力に応じて、各種の情報をＰＡＣＳ１１２やＶｉｅｗｅｒ１１３といった外部装置に送信するためのオブジェクトを生成する。オブジェクトとは、情報処理装置１０７からＰＡＣＳ１１２やＶｉｅｗｅｒ１１３といった外部装置に送信される対象となる情報である。たとえば出力制御部３０４は、画像処理部３０３で生成された超音波画像や光音響画像、これらの重畳画像をＰＡＣＳ１１２に出力するためのＤＩＣＯＭオブジェクトを生成する。外部装置に出力されるオブジェクトには、ＤＩＣＯＭ規格に則った各種のタグとして付帯された付帯情報が含まれる。付帯情報には、たとえば患者情報や、当該画像を撮像した撮像装置を示す情報や、当該画像を一意に識別するための画像ＩＤや、当該画像を撮像した検査を一意に識別するための検査ＩＤ、プローブ１０３の情報が含まれる。

また、出力制御部３０４により生成される付帯情報には、検査の中で行われたユーザの操作入力に関する情報である操作情報が含まれる。

通信部３０５は、ネットワーク１１０を介してＨＩＳ／ＲＩＳ１１１やＰＡＣＳ１１２、Ｖｉｅｗｅｒ１１３といった外部装置と情報処理装置１０７との間での、情報の送受信を制御する。送受信制御部１２８は、ＨＩＳ／ＲＩＳ１１１から検査オーダの情報を受信する。送受信制御部１２８は、写損処理制御部１２７で生成されたオブジェクトをＰＡＣＳ１１２やＶｉｅｗｅｒ１１３に送信する。

表示制御部３０６は、表示部１０９を制御して、表示部１０９に情報を表示させる。表示制御部３０６は、他のモジュールからの入力や、操作部１０８を介したユーザの操作入力に応じて、表示部１０９に情報を表示させる。表示制御部３０６は、表示制御手段の一例である。

［情報処理装置１０７による一連の処理］
図４は、情報処理装置１０７が超音波画像と光音響画像とからなる動画を撮影し、付帯情報を生成し、当該動画と当該付帯情報とを含むオブジェクトを外部装置に出力する処理の一例を示すフローチャートである。以下では、超音波画像を撮影中にユーザの操作入力に基づいて光音響画像を併せて撮影する場合を例に説明する。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。また、適宜図５乃至図９を用いて、情報処理装置１０７により取得される情報について説明する。

ステップＳ４０１において、検査制御部３０１は撮影を開始する指示を受け付ける。まず、検査制御部３０１はＨＩＳ／ＲＩＳ１１１より検査オーダの情報を取得する。表示制御部３０６は表示部１０９に当該検査オーダにより示される検査の情報と、当該検査に対する指示をユーザが入力するためのユーザインタフェースとを表示させる。操作部１０８を介して当該ユーザインタフェースに入力された、撮影開始の指示により、撮影が開始される。ユーザの操作入力に基づいて、あるいは自動的に超音波画像の撮像が開始される。

ステップＳ４０２において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、超音波画像の撮像を開始する。ユーザはプローブ１０３を被検体１０１に押し当て、所望の位置の撮像を行う。撮影制御部３０２は、デジタル信号である超音波信号と、当該超音波信号の取得に関するタイミング情報とを取得し、ＲＡＭ２０３に記憶する。画像処理部３０３は、超音波信号に対して整相加算（Ｄｅｌａｙ ａｎｄ Ｓｕｍ）等の処理を行うことにより、超音波画像を生成する。なお、超音波画像を生成したところで、ＲＡＭ２０３に保存された超音波信号は削除されてもよい。画像処理部３０３は取得した超音波画像を、表示制御部３０６を介して表示部１０９に表示させる。撮影制御部３０２および画像処理部３０３はこれらの工程を繰り返し実行し、表示部１０９に表示される超音波画像を更新する。これにより、超音波画像が動画として表示される。

ステップＳ４０３において、出力制御部３０４は、画像処理部３０３で取得された画像データと、付帯情報との保存にかかる処理を開始する。保存開始の指示は、情報処理装置１０７またはプローブ１０３に対する操作入力により行われる。

ステップＳ４０４において、撮影制御部３０２は、超音波撮像を終了する指示を受け付ける。検査中、表示制御部３０６は、検査に関する操作入力を行うためのユーザインタフェースを表示部１０９に表示させている。ユーザは当該ユーザインタフェースに対する操作入力により超音波撮像を終了する指示を行うことができる。別の例では、プローブ１０３の入力部（不図示）に対する操作入力により、超音波撮像を終了する指示を行うことができる。終了の指示を受け付けるとステップＳ４１１に進み、指示がない場合はステップＳ４０５に進む。

ステップＳ４０５において、撮影制御部３０２は、光音響撮像を開始する指示を受け付ける。ユーザは検査に関するユーザインタフェースに対する操作入力またはプローブ１０３に対する操作入力により、光音響撮像を開始する指示を行うことができる。開始の指示を受け付けるとステップＳ４０６に進み、指示が無い場合はステップＳ４０７に進む。

ステップＳ４０４およびステップＳ４０５において撮影制御部３０２は、撮像方法を指示する前記撮像装置に対する操作および前記操作を行った時刻を示す情報を操作情報として取得する。この観点では、撮影制御部３０２は情報取得手段の一例である。

ステップＳ４０６において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、光音響画像の撮像を開始する。ユーザはプローブ１０３を被検体１０１に押し当て、所望の位置の撮像を行う。撮影制御部３０２は、デジタル信号である光音響信号と、当該光音響信号の取得に関するタイミング情報とを取得し、ＲＡＭ２０３に記憶する。画像処理部３０３は、光音響信号に対してＵｎｉｖｅｒｓａｌ Ｂａｃｋ－Ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）等の処理を行うことにより、光音響画像を生成する。なお、光音響画像を生成したところで、ＲＡＭ２０３に保存された光音響信号は削除されてもよい。画像処理部３０３は取得した光音響画像を、表示制御部３０６を介して表示部１０９に表示させる。撮影制御部３０２および画像処理部３０３はこれらの工程を繰り返し実行し、表示部１０９に表示される光音響画像を更新する。これにより、光音響画像が動画として表示される。なお、ステップＳ４０６からステップＳ４０４に移行し、ステップＳ４０４において撮影制御部３０２が超音波撮像を終了する指示を受け付けた場合には、撮影制御部３０２はプローブ１０３を制御して光音響撮像を終了する。

ステップＳ４０７において、撮影制御部３０２は、光音響撮像を終了する指示を受け付ける。ユーザは検査に関するユーザインタフェースに対する操作入力またはプローブ１０３に対する操作入力により、光音響撮像を終了する指示を行うことができる。終了の指示を受け付けるとステップＳ４０８に進み、指示が無い場合はステップＳ４０９に進む。

ステップＳ４０５およびステップＳ４０７において、ユーザは光音響画像の撮像に関する操作入力を行っているので、撮影制御部３０２は操作情報を取得する。

ステップＳ４０８において、撮影制御部３０２はプローブ１０３を制御して光音響画像の撮像を終了する。

ステップＳ４０９において、撮影制御部３０２は、静止画を撮影する指示を受け付ける。ユーザは検査に関するユーザインタフェースに対する操作入力またはプローブ１０３に対する操作入力により、静止画を撮影する指示を行うことができる。ここで、静止画は超音波画像の静止画であってもよいし、光音響画像の静止画であってもよいし、超音波画像に対して光音響画像が重畳された重畳画像の静止画であってもよい。静止画を撮影する指示を受け付けるとステップＳ４１０に進み、指示が無い場合はステップＳ４０４に進む。

ステップＳ４１０において、撮影制御部３０２はプローブ１０３と信号収集部１０４とを制御して、静止画を撮影する処理を実行する。撮影制御部３０２は静止画を撮影するための固有の動作モードやサンプリング周期といった条件でプローブ１０３および信号収集部１０４を制御する。画像処理部３０３が超音波画像および光音響画像を取得するための処理は、ステップＳ４０２およびステップＳ４０８で説明した処理と同様である。

ステップＳ４０４からステップＳ４１０までの処理において、撮影制御部３０２は超音波画像および光音響画像のタイミング情報を取得する。超音波画像のタイミング情報は、当該超音波画像に用いられた超音波信号が取得されたタイミングに関する情報である。一の超音波画像に複数の超音波信号が用いられる場合のタイミング情報は、任意の超音波信号が取得されたタイミングに関する情報でよく、一の検査で取得されたそれぞれの超音波画像で運用が統一されていればよい。超音波信号が取得されたタイミングは、情報処理装置１０７が超音波信号を受信したタイミングでもよいし、プローブ１０３が被検体１０１に超音波を送信したタイミングでもよいし、プローブ１０３が超音波を受信したタイミングでもよいし、プローブ１０３に対する超音波の送受信の駆動信号が検知されたタイミングでもよいし、信号収集部１０４が超音波信号を受信したタイミングでもよい。光音響画像のタイミング情報は、当該光音響画像に用いられた光音響信号が取得されたタイミングに関する情報である。一の光音響画像に複数の光音響信号が用いられる場合のタイミング情報は、任意の光音響信号が取得されたタイミングに関する情報でよく、一の検査で取得されたそれぞれの光音響画像で運用が統一されていればよい。光音響信号が取得されたタイミングは、情報処理装置１０７が光音響信号を受信したタイミングでもよいし、プローブ１０３が被検体１０１に光を照射したタイミングでもよいし、プローブ１０３が光音響を受信したタイミングでもよいし、光の照射或いは光音響の受信のプローブ１０３に対する駆動信号が検知されたタイミングでもよいし、信号収集部１０４が光音響信号を受信したタイミングでもよい。

すなわち、撮影制御部３０２は超音波画像が取得された時刻および光音響画像が取得された時刻の少なくとも一方をタイミング情報（時刻情報）として取得する。この観点では、撮影制御部３０２は情報取得手段の一例である。

ステップＳ４１１において、出力制御部３０４は、ステップＳ４０３からステップＳ４１１までの間に取得された情報を保存し、保存に係る処理を終了する。

図５は、ステップＳ４０３で開始され、ステップＳ４１１で終了される保存に係る処理で取得されるデータの構成の一例を示す図である。保存データ５０１は、記憶装置２０４に保存される。保存データ５０１は、付帯情報５０２と画像データ５０３とを含む。たとえば、付帯情報５０２は保存データ５０１のヘッダー部に記録される。

画像データ５０３は、ステップＳ４０３からステップＳ４１１までの間に取得された超音波画像５０９～５１５と光音響画像５１６～５１９とを含む。図５に示す例では、超音波画像５０９～５１５には、それぞれを一意に識別するための識別子Ｕ１～Ｕ７が付されている。また、光音響画像５１６～５１９には、それぞれを一意に識別するための識別子Ｐ１～Ｐ４が付されている。

付帯情報５０２は、被検体１０１の属性を表す被検体情報５０４と、撮像に使用されたプローブ１０３の情報であるプローブ情報５０５と、タイミング情報５０６と、操作情報５０７と、対応情報５０８とを含む。

被検体情報５０４は、たとえば、被検体ＩＤ、被検体氏名、年齢、血圧、心拍数、体温、身長、体重、既往症、妊娠週数、および検査情報といった情報のうちの少なくとも一つの情報を含む。なお、検査システム１０２が心電計（不図示）やパルスオキシメータ（不図示）を含む場合には、心電図や酸素飽和度に関する情報を被検体情報５０４として保存してもよい。

プローブ情報５０５は、プローブ１０３の種類、撮像時の位置や傾きといったプローブ１０３に関する情報を含む。検査システム１０２はプローブ１０３の位置や傾きを検知する磁気センサ（不図示）を備えていてもよく、撮影制御部３０２は磁気センサ（不図示）からこれらの情報を取得してもよい。

タイミング情報５０６は、超音波画像５０９～５１５および光音響画像５１６～５１９のそれぞれが取得されたタイミングに関する情報である。

図６は、タイミング情報５０６の一例を示す図である。タイミング情報５０６の各行には、時刻と、その時刻に取得された画像フレームの識別子が、時系列順に記録される。例えば行６０１は、時刻ｔｉ３に超音波画像のフレームＵ３と光音響画像のフレームＰ１とが取得されたことを表す。

操作情報５０７は、超音波画像５０９～５１５および光音響画像５１６～５１９を取得するにあたりユーザが行った操作入力の情報である。

図７は、操作情報５０７の一例を示す図である。操作情報５０７の各行には、時刻と、その時刻に指示された操作の内容が、時系列順に記録される。例えば行７０１は、時刻ｔｏ１に光音響撮像を開始する指示が行われたことを表す。たとえば、ユーザが操作部１０８を用いて操作入力を行ったタイミングが、指示時刻として記録される。

対応情報５０８は、超音波画像５０９～５１５と光音響画像５１６～５１９との取得に関して、それらが取得されたタイミングとユーザの操作入力のタイミングとの対応を示す情報である。

図８は対応情報５０８の一例を示す図である。対応情報５０８の各行には、ユーザからの操作入力、もしくは取得された画像の識別子が、時系列順に記録される。（Ｕｍ，Ｐｎ）は、超音波画像のフレームＵｍと光音響画像のフレームＰｎが略同時に取得されたことを表す。（Ｕｍ，－）は、あるタイミングで超音波画像のフレームＵｍのみが取得されたことを表す。マーク「＃」で始まる行は、ユーザの操作入力の内容を表す。例えば行８０１－８０４は、超音波撮像を開始する指示に続いて、超音波画像のフレームＵ１、Ｕ２が順に取得され、その後に光音響撮像を開始する指示がなされたことを示す。

対応情報５０８には、ユーザによる操作入力を伴わない仮想的な操作入力を含むことができる。仮想的な操作入力とは、装置により自動的に行われる操作入力であり、ユーザによる操作入力をトリガとして、情報処理装置１０７が一連の処理を実行する場合に、処理の途中経過や完了といった論理的な事象を表す。例えば、行８０６の「♯静止画撮影の完了」は仮想的な操作入力であり、行８０５の静止画撮影の開始指示をトリガとして実行される静止画撮影にかかる処理の完了を表す。仮想的な操作入力は、出力制御部３０４によって対応情報５０８に自動的に挿入される。

ステップＳ４１２において、撮影制御部３０２はプローブ１０３を制御して超音波画像の撮像および光音響画像の撮像を終了する。

ステップＳ４１３において、出力制御部３０４は、ステップＳ４１１までに保存された情報に基づいて、外部装置に出力するためのオブジェクトを生成する。通信部３０５は、オブジェクトをＰＡＣＳ１１２といった外部装置に出力する。

図９は、ステップＳ４１３で生成されるオブジェクトの一例を示す図である。ＤＩＣＯＭオブジェクト９０１は、付帯情報９０２と、画像データ９０３とを含む。付帯情報９０２は、たとえば画像データ９０３のヘッダー部に記載される。

付帯情報９０２は、被検体情報９０４と、プローブ情報９０５と、対応情報９０６とを含む。被検体情報９０４は、図５に示す被検体情報５０４と対応する。プローブ情報９０５は、図５に示すプローブ情報５０５と対応する。対応情報９０６は、図５に示す対応情報５０８と対応する。付帯情報９０２に含まれるそれぞれの情報は、図５に示した対応するそれぞれの情報と同一の情報を含んでいてもよいし、ＤＩＣＯＭ規格において必須とされる情報のみを含んでいてもよいし、任意に設定される所定の項目のみを含んでいてもよい。たとえば、被検体情報９０４は被検体ＩＤ、年齢、性別、検査ＩＤそれぞれ示す情報のみでもよい。付帯情報９０２は、プローブ情報９０５を含んでいなくてもよい。また、対応情報９０６には操作情報とタイミング情報とが含まれているので必須ではないが、付帯情報９０２は図５に示すタイミング情報５０６と対応するタイミング情報や、操作情報５０７と対応する操作情報をさらに含んでいてもよい。

画像データ９０３は、超音波画像９０７～９１３と光音響画像９１４～９１７とを含む。図９に示す例では、超音波画像９０９～９１２のそれぞれに対するオーバーレイ画像として光音響画像９１４～９１７がそれぞれ対応づけられる。

ＤＩＣＯＭオブジェクト９０１の別の例では、光音響画像をＤＩＣＯＭオブジェクト９０１から分離して、ＣＳＰＳ（Ｃｏｌｏｒ Ｓｏｆｔｃｏｐｙ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｓｔａｔｅ）といった別のＤＩＣＯＭオブジェクトとしてもよい。ＣＳＰＳを用いる場合、出力制御部３０４は光音響画像をアノテーションオブジェクトに変換してもよい。また別の例では、超音波画像と光音響画像との重畳画像をＳｅｃｏｎｄａｒｙ Ｃａｐｔｕｒｅとしてもよい。

図１０は、超音波画像および光音響画像の取得に係る処理のタイミングチャートである。ダイヤグラム１００１～１００７はそれぞれ、紙面右方向に進むと時間が経過することを示す。時刻ｔｉ１～ｔｉ７および時刻ｔｏ１～ｔｏ３は、それぞれ各ダイヤグラムにおける立ち上がり部または立ち下がり部における時刻を表す。

ダイヤグラム１００１は、超音波信号の取得に関するタイミングを表す。立ち上がり部で、プローブ１０３は被検体１０１に超音波の送信を開始し、取得された反射波は適宜超音波信号として情報処理装置１０７に送信される。立ち下がり部で、撮影制御部３０２は超音波信号の受信を終了する。Ｕ１～Ｕ７は、それぞれの超音波画像に対応する各フレームを表す。フレームＵ１～Ｕ７は、それぞれ時刻ｔｉ１～ｔｉ７に被検体への超音波の送信を開始する。

ダイヤグラム１００２は、超音波画像の取得に関するタイミングを表す。立ち上がり部で、画像処理部３０３は超音波画像の生成を開始する。立ち下がり部で、画像処理部３０３は超音波画像の生成を完了し、情報処理装置１０７は超音波画像を取得する。

ダイヤグラム１００３は、超音波画像の表示に関するタイミングを表す。超音波画像の取得が完了した時点で、当該超音波画像を表示することが可能となる。表示制御部３０６は、フレームＵ１の表示を開始して、所定のレートでフレームＵ２～Ｕ７へ順次フレームを切り替えて表示を行う。

ダイヤグラム１００４は、光音響信号の取得に関するタイミングを表す。立ち上がり部で、プローブ１０３は被検体１０１に光の照射を開始し、取得された光音響は適宜光音響信号として情報処理装置１０７に送信される。立ち下がり部で撮影制御部３０２は光音響信号の受信を終了する。Ｐ１～Ｐ４は、それぞれの光音響画像に対応する各フレームを表す。フレームＰ１～Ｐ４は、それぞれ時刻ｔｉ３～ｔｉ６に被検体への光の照射を開始する。

ダイヤグラム１００５は、光音響画像の取得に関するタイミングを表す。立ち上がり部で、画像処理部３０３は光音響画像の生成を開始する。立ち下がり部で、画像処理部３０３は光音響画像の生成を終了し、情報処理装置１０７は光音響画像を取得する。

ダイヤグラム１００６は、光音響画像の表示に関するタイミングを表す。光音響画像の取得が完了した時点で、当該光音響画像を表示することが可能となる。表示制御部３０６は、フレームＰ１の表示を開始して、所定のレートでフレームＰ２～Ｐ４へフレームを切り替えて表示を行う。

ダイヤグラム１００７は、ユーザによる操作入力のタイミングを表す。時刻ｔｏ１～ｔｏ３に、それぞれ光音響撮像を開始する指示、静止画撮影を行う指示、光音響撮像を終了する指示が入力されている。

超音波撮像を行うＳ４０２の工程は、ダイヤグラム１００１、１００２、１００３のフレームＵ１～Ｕ４およびフレームＵ６～Ｕ７の部分に対応する。静止画撮影を行うＳ４１０の工程は、フレームＵ５の部分に対応する。光音響撮像を行うＳ４０６の工程は、ダイヤグラム１００４、１００５、１００６のフレームＰ１～Ｐ２およびフレームＰ４の部分に対応する。静止画撮影を行うＳ４１０の工程は、フレームＰ３の部分に対応する。

図１１は、出力制御部３０４が対応情報５０８を取得するための一連の処理の一例を示すフローチャートである。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。

ステップＳ１１０１において、出力制御部３０４は画像の取得時刻を表す一時変数ｔｉ、画像フレーム群を表す一時変数Ｆを、タイミング情報５０６の最初の行の時刻と画像フレーム群にそれぞれ設定する。

ステップＳ１１０２において、出力制御部３０４は操作入力の時刻を表す一時変数ｔｏ、操作内容を表す一時変数Ｅを、操作情報５０７の最初の行の時刻と操作内容にそれぞれ設定する。

以下のステップＳ１１０３乃至ステップＳ１１１４において、出力制御部３０４は、タイミング情報５０６に記録された画像が取得されたタイミングと、操作情報５０７に記録されたユーザの操作入力のタイミングの順序に基づいて、対応情報５０８を取得する。

ステップＳ１１０３において、出力制御部３０４は、ｔｍａｘ、ｔｏ、ｔｉに関する情報を取得する。ここで、ｔｍａｘは、タイミング情報５０６あるいは操作情報５０７に記録された時刻の終端を検出するためのフラグ値である。（１）ｔｏがｔｍａｘと異なる、かつ（２）ｔｉがｔｍａｘである、またはｔｏがｔｉよりも前の時刻である、が成り立つ場合にはステップＳ１１４０に進み、成り立たない場合にはステップＳ１１１０に進む。

ステップＳ１１０４において、出力制御部３０４は、一時変数Ｅの内容を対応情報５０８の最終行に追加する。出力制御部３０４は、一時変数Ｅに記憶された操作内容の文言や形式を変換して、対応情報５０８に追加してもよい。例えば、図８に示す対応情報５０８では、操作内容を表す文言の先頭にマーク「＃」を付加して、操作入力に関する情報であることを明示するようにしてもよい。

ステップＳ１１０５において、出力制御部３０４は、一時変数Ｅが表す操作内容に基づいて、Ｅの後に仮想の操作を挿入するか否かを判定する。例えば、Ｅの操作が静止画撮影の開始指示の場合は、Ｅの後に静止画撮影の完了操作を、仮想的な操作として挿入すると判定する。仮想の操作を挿入するべき処理は、事前にユーザが設定しておくことができる。ステップＳ１１０５において、仮想の操作を挿入すると判定される場合にはステップＳ１１０６に進み、判定されない場合にはステップＳ１１０７に進む。

ステップＳ１１０６において、出力制御部３０４は、一時変数Ｅに仮想的な操作内容を設定し、さらに当該仮想的な操作内容に基づいて、当該仮想的な操作時刻を決定してｔｏに設定する。例えば、仮想的な操作が、静止画撮影の完了操作の場合には、一時変数ｔｉに設定されている静止画像の取得時刻を、静止画撮影の完了操作の時刻として用いる。また、仮想的な操作が、ユーザの操作入力Ｅ’から一定時間ｔが経過したことを表す操作の場合には、Ｅ’の時刻にｔを加えた時刻を、仮想的な操作の時刻とする。

ステップＳ１１０７において、出力制御部３０４は、操作情報５０７に基づいて、一時変数ｔｏに設定された時刻よりも後の時刻に行われた操作に関する情報を取得する。ｔｏに設定された時刻よりも後の時刻に行われた操作が存在する場合にはステップＳ１１０８に進み、存在しない場合にはステップＳ１１０９に進む。

ステップＳ１１０８において、出力制御部３０４は、操作情報５０７に基づいて、一時変数ｔｏに設定された時刻の次の行に記載された時刻と操作内容を読み出して、それぞれｔｏと一時変数Ｅに設定する。その後、ステップＳ１１０３に進む。

ステップＳ１１０９において、出力制御部３０４は、一時変数ｔｏの値をｔｍａｘに設定する。ｔｍａｘは、操作情報５０７に記録された時刻の終端を検出するためのフラグ値である。

ステップＳ１１１０において、出力制御部３０４は、ｔｉに設定された値を取得する。ｔｉがｔｍａｘと異なる場合にはステップＳ１１１１に進み、同じ場合には図１１に示す処理を終了する。

ステップＳ１１１１において、出力制御部３０４は、一時変数Ｆが保持する画像フレーム群を、対応情報５０８の最終行に追加する。例えば、一時変数Ｆが、超音波画像のフレームＵｍと光音響画像のフレームＰｎの組を保持している場合には、対応情報５０８の最終行に「（Ｕｍ，Ｐｎ）」を追加する。

ステップＳ１１１２において、出力制御部３０４は、タイミング情報５０６に基づいて、一時変数ｔｉに設定された時刻よりも後の時刻に取得した画像フレームに関する情報を取得する。ｔｉに設定された時刻よりも後に取得された画像フレームが存在する場合にはステップＳ１１１３に進み、存在しない場合にはステップＳ１１１４に進む。

ステップＳ１１１３において、出力制御部３０４は、タイミング情報５０６に基づいて、一時変数ｔｉに設定された時刻の次の行に記載された時刻と画像フレーム群を読み出して、それぞれｔｉと一時変数Ｆに設定する。その後、ステップＳ１１０３に進む。

ステップＳ１１１４において、出力制御部３０４は、一時変数ｔｉの値をｔｍａｘに設定する。ｔｍａｘは、タイミング情報５０６に記録された時刻の終端を検出するためのフラグ値である。その後、ステップＳ１１０３に進む。

超音波画像および光音響画像が取得されたタイミングが、ステップＳ４０３において図６のタイミング情報５０６として保存される。また、操作入力のタイミングすなわち操作情報が、ステップＳ４０３において図７の操作情報５０７として保存される。Ｓ４０３からステップＳ４１１において、タイミング情報５０６および操作情報５０７に基づいて図１１に示すフローに従って処理を行うと、図８に示す対応情報５０８が得られる。そしてステップＳ４１３において、図９に示す対応情報９０６を含むＤＩＣＯＭオブジェクト９０１が、ＰＡＣＳ１１２に送信される。

第１の実施形態の構成によって、撮影時の操作情報が画像データと対応付けられる。ユーザがＶｉｅｗｅｒ１１３を用いて、超音波画像と光音響画像とを含む動画を表示する際には、Ｖｉｅｗｅｒ１１３はＤＩＣＯＭオブジェクト９０１に含まれる対応情報９０６に基づいて、ユーザの操作入力に関連する箇所を効率的に表示させることができる。例えばＶｉｅｗｅｒ１１３は、操作情報を含む対応情報５０８を参照することで連続した超音波画像フレーム群の中で、光音響画像データと共に取得されたフレーム区間を容易に特定することができる。ユーザはＶｉｅｗｅｒ１１３のユーザインタフェースに表示される操作情報に対して操作入力を行い、特定の時点や区間を指定することができる。Ｖｉｅｗｅｒ１１３は指定された特定の時点や区間における超音波画像又は光音響画像をユーザインタフェースに表示させる。これにより、医師は効率的に診断を行うことができる。具体的には、例えば、医師から超音波画像と光音響画像との重畳画像を表示する旨の指示を受け付けた場合、Ｖｉｅｗｅｒ１１３は、対応情報５０８に含まれる時刻ｔｏ１と時刻ｔｏ３とを読み、時刻ｔｏ１から時刻ｔｏ３までの期間の超音波画像および光音響画像を取得・表示する。たとえば、光音響画像の動画の撮影を開始した時刻ｔｏ１と終了した時刻ｔｏ３とが対応情報５０８に含まれていることにより、Ｖｉｅｗｅｒ１１３は光音響画像の動画が開始する光音響画像のフレームと動画が終了する光音響画像のフレームとを特定することができる。特に、一連の検査に置いて光音響画像や超音波画像の静止画の撮影、動画の撮影といった様々な手技が行われた場合には、単に取得されたフレームの情報だけでは、特定の手技に着目して画像の観察を行うことが難しい。また、単にユーザが行った一連の操作と取得された画像データとを一つの動画データとするのみでは、所望の操作が行われたタイミングの画像データをＶｉｅｗｅｒ１１３に表示させるために、ユーザは当該動画データの最初のフレームから確認する必要がある。第１の実施形態の構成により、医師は効率的に診断を行うことができる。第１の実施形態にかかる処理により、Ｖｉｅｗｅｒ１１３は医師の意図に沿った画像を確実に表示することが可能になる。

［第２の実施形態］
第２の実施形態では、タイミング情報と操作情報とに基づいて、複数の操作入力の間の区間と画像が取得されたタイミングとの対応付けを行う例を説明する。

第２の実施形態にかかる情報処理装置１０７を含む検査システム１０２の構成、情報処理装置１０７のハードウェア構成、情報処理装置１０７の機能構成は、それぞれ図１、図２、図３に示す例と同様である。共通する部分については上述した説明を援用することにより、ここでは詳しい説明を省略する。

第２の実施形態において、出力制御部３０４は図４に示すステップＳ４０３において、図５に示す保存データ５０１を記憶装置２０４に保存する。付帯情報５０２に含まれる対応情報５０８は、複数の操作入力の区間と、画像が取得されたタイミングとの対応が記録される。

図１２は、対応情報５０８の一例を示す図である。マーク「＃」で始まる行はそれぞれ、ユーザの操作入力の内容と、当該操作入力により特定の処理が行われる区間（以下では、操作区間と称する。）の開始を表す。対応情報５０８には、それぞれ操作区間が時系列順に記録される。操作区間は、ユーザの操作入力をトリガとして切り替えられる。例えば行１２０１は、超音波撮像と光音響撮像の両方を行う操作区間と対応し、行１２０４は、静止画撮影を行う操作区間と対応する。これは、図７の行７０２に示す静止画撮影を開始するための操作入力をトリガとして、行１２０１が示す操作区間から行１２０４が示す操作区間に切り替えられた例である。操作区間を示す行に続いて、当該操作区間の間に取得された画像の識別子が、時系列に記録される。例えば、行１２０２の（Ｕ３，Ｐ１）は、行１２０１が示す操作区間において、超音波画像のフレームＵ３と光音響画像のフレームＰ１が同時に取得されたことを表す。そして、行１２０３の（Ｕ４，Ｐ２）は、行１２０１の操作区間内の、Ｕ３とＰ１の取得時刻よりも後の時刻に、超音波画像のフレームＵ４と光音響画像のフレームＰ２とが略同時に取得されたことを表す。

図１３は、出力制御部３０４が対応情報５０８を取得するための一連の処理の一例を示すフローチャートである。下記の処理において、特に断りがない場合、各処理を実現する主体は、ＣＰＵ２０１またはＧＰＵである。

ステップＳ１３０１において、出力制御部３０４は、画像の取得時刻を表す一時変数ｔｉ、画像フレーム群を表す一時変数Ｆを、タイミング情報５０６の最初の行の時刻と画像フレーム群にそれぞれ設定する。

ステップＳ１３０２において、出力制御部３０４は、操作指示の時刻を表す一時変数ｔｏ、操作内容を表す一時変数Ｅを、操作情報５０７の最初の行の時刻と操作内容にそれぞれ設定する。

ステップＳ１３０３において、出力制御部３０４は、操作区間を表す一時変数ＳをＮＵＬＬに設定する。ここで操作区間とは、撮像に関する処理の内容が継続して行われる区間である。たとえば、超音波撮像を行う区間である。

以下のステップＳ１３０４乃至ステップＳ１３１４において、出力制御部３０４は、複数の操作入力の間の操作区間と、画像が取得されたタイミングとの順序に基づいて、対応情報５０８を取得する。

ステップＳ１３０４において、出力制御部３０４は、ｔｍａｘ、ｔｏ、ｔｉに関する情報を取得する。ここで、ｔｍａｘは、タイミング情報５０６あるいは操作情報５０７に記録された時刻の終端を検出するためのフラグ値である。（１）ｔｏがｔｍａｘと異なる、かつ（２）ｔｉがｔｍａｘである、またはｔｏがｔｉよりも前の時刻である、が成り立つ場合にはステップＳ１３０５に進み、成り立たない場合にはステップＳ１３１０に進む。

ステップＳ１３０５において、出力制御部３０４は、一時変数Ｅの内容と一時変数Ｓの内容とに基づいて、一時変数Ｓの内容を切り替えるか否かを判定する。例えば、ＳがＮＵＬＬに設定されている場合は、Ｅが操作情報の最初の行の内容に対応する。その場合、出力制御部３０４はＳをＥの内容に切り替えると判定する。Ｅはたとえば超音波撮像を開始する操作と対応し、出力制御部３０４はＳを超音波撮像を行う操作区間に切り替えると判定する。Ｓが超音波撮像を行う操作区間で、Ｅの操作が光音響撮像を開始するための操作入力である場合は、出力制御部３０４は超音波撮像と光音響撮像との両方の処理を行う操作区間に切り替えると判定する。操作区間の切り替えにかかる各種の条件、操作入力の内容との対応関係は、ユーザが予め設定しておくことができる。操作区間を切り替えると判定される場合にはステップＳ１３０６に進み、切り替えないと判定される場合にはステップＳ１３０７に進む。

ステップＳ１３０６において、出力制御部３０４は、一時変数Ｓの値を、新たな操作区間に更新し、Ｓの内容を対応情報５０８の最終行に追加する。

ステップＳ１３０７乃至ステップＳ１３１４における処理は、図１１に示すステップＳ１１０７乃至Ｓ１１１４の処理と同様である。上述した説明を援用することにより、ここでは詳しい説明を省略する。

超音波画像および光音響画像が取得されたタイミングが、ステップＳ４０３において図６のタイミング情報５０６として保存される。また、操作入力のタイミングすなわち操作情報が、ステップＳ４０３において図７の操作情報５０７として保存される。図７は操作情報５０７の抜粋であり、最初の行は超音波撮像を開始する操作、最後の行は超音波撮像を終了する操作である場合を例に説明する。ステップＳ４０３からステップＳ４１１において、タイミング情報５０６および操作情報５０７に基づいて図１３に示すフローに従って処理を行うと、図１２に示す対応情報５０８が得られる。そしてＳ４１３において、図９に示す対応情報９０６を含むＤＩＣＯＭオブジェクト９０１が、ＰＡＣＳ１１２に送信される。

第２の実施形態の構成によって、複数の操作入力のタイミングと画像が取得されたタイミングとが対応付けられる。ユーザがＶｉｅｗｅｒ１１３を用いて、超音波画像と光音響画像とを含む動画を表示する際には、Ｖｉｅｗｅｒ１１３はＤＩＣＯＭオブジェクト９０１に含まれる対応情報９０６に基づいて、ユーザの操作入力に関連する箇所を効率的に表示させることができる。例えばＶｉｅｗｅｒ１１３は、連続した超音波画像フレーム群の中で、光音響画像データと共に取得されたフレーム区間を容易に特定することができる。Ｖｉｅｗｅｒ１１３はユーザインタフェースに、超音波画像フレーム群の中で光音響画像データとともに取得されたフレーム区間を提示する。ユーザは提示された複数のフレーム区間の中から所望のフレーム区間を指定することができる。Ｖｉｅｗｅｒ１１３は、ユーザにより指定されたフレーム区間をユーザインタフェースに表示させる。単にユーザが行った一連の操作と取得された画像データとを一つの動画データとするのみでは、所望の操作が行われたタイミングの画像データをＶｉｅｗｅｒ１１３に表示させるために、ユーザは当該動画データの最初のフレームから確認する必要がある。第２の実施形態の構成により、医師は効率的に診断を行うことができる。

［変形例］
上述の実施形態では、図４においてユーザが画像を保存する指示を入力する例を説明したが、本発明はこれに限らない。たとえば検査において取得された画像を全て保存することとし、ステップＳ４０２およびステップＳ４１１の処理を行わなくてもよい。

上述の実施形態では、一連の検査において超音波画像と光音響画像とを取得し、対応付けを行う例を説明した。情報処理装置１０７は当該対応付けを表示制御部３０６により行ってもよい。また、超音波画像または光音響画像のいずれかを含む静止画および動画を、表示制御部３０６は表示部１０９に表示させる。表示制御部３０６は、対応づけられた超音波画像と光音響画像とを重畳した重畳画像を表示部１０９に表示させてもよい。動画の撮影の途中で撮影された静止画がある場合には、表示制御部３０６は当該動画の再生中に静止画が取得されたフレームを特定して、静止画であることを識別可能に表示部１０９に表示させてもよい。別の例では、表示制御部３０６は静止画に対応するフレームの表示時間をフレームレートよりも長くして表示部１０９に表示させてもよい。

図１４は、本発明の実施形態に係る情報処理装置により取得される情報に基づいて医用画像を表示する表示装置（不図示）により表示される画面の一例である。表示装置（不図示）はたとえばコンピュータであり、情報処理装置１０７と通信可能に接続されている。表示装置（不図示）は検像装置であってもよいし、医師が医用画像の観察に用いるコンピュータであってもよいし、任意の診断支援装置であってもよい。表示装置（不図示）は、情報処理装置１０７からＤＩＣＯＭオブジェクトを取得する。または、表示装置（不図示）は、情報処理装置１０７によりＰＡＣＳ１１２に送信され、保存されたＤＩＣＯＭオブジェクトを、ＰＡＣＳ１１２から取得する。

表示装置（不図示）が図９に例示するＤＩＣＯＭオブジェクト９０１を取得した場合を例に説明する。表示装置（不図示）はＤＩＣＯＭオブジェクト９０１から付帯情報９０２と画像データ９０３とを読み出す。表示装置（不図示）は画像データ９０３を表示させる画面において、付帯情報９０２を参照できるように表示する。

表示装置（不図示）により、医用画像１４０６が表示される。ここでは画像データ９０３が動画で構成されるので、動画のプログレスバーならびに再生に関する操作入力を行うボタン１４１０が表示されている。ボタン１４０１～１４０５は付帯情報９０２に含まれる対応情報９０６と対応する。図８は対応情報９０６の内容であり、ボタン１４０１は行８０１の内容と対応し、ボタン１４０２は行８０４の内容と対応し、ボタン１４０３は行８０５の内容と対応し、ボタン１４０４は行８０７の内容と対応し。ボタン１４０５は行８０８の内容と対応している。

表示装置（不図示）は、対応情報９０６のそれぞれの情報と対応する医用画像を医師（ユーザ）が観察しやすいように、マーカー機能を提供する。ボタン１４０１は動画の開始位置と対応し、ボタン１４０２はマーカー１４０７と対応し、ボタン１４０３はマーカー１４０８と対応し、ボタン１４０４はマーカー１４０９と対応し、ボタン１４０５は動画の終了位置と対応する。ユーザはボタン１４０１～ボタン１４０５のいずれか１つのボタンを押下する操作入力を行うと、表示装置（不図示）に対応する医用画像、すなわち対応する動画の位置の医用画像が表示される。図１４ではボタン１４０３が押下された場合を例示しており、これは超音波動画及び光音響動画を撮影中に静止画を撮影した時刻に対応する。マーカー１４０８の位置に動画の再生がジャンプし、医用画像１４０６として図８に例示するフレームＵ５で示される超音波画像とフレームＰ３で示される光音響画像との重畳画像が表示される。

このように、本発明の実施形態に係る情報処理装置により取得されたＤＩＣＯＭオブジェクトに基づいて、医用画像の撮影者が何らかの操作を行ったタイミングの医用画像を簡易に表示させることが可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

Claims (9)

1. 被検体に超音波を送信する送信部と超音波を受信する受信部とを有する超音波撮像手段により撮像された超音波画像と、前記被検体に光を照射する光源を有し、前記受信部を用いて光音響を受信する光音響撮像手段により撮像された光音響画像を取得する画像取得手段と、
   前記超音波撮像手段を用いて超音波撮像を開始してから終了までの前記超音波画像が取得された第一の時刻情報および、前記光音響撮像手段における前記光源から光を照射して光音響撮像を開始してから終了までの前記光音響画像が取得された第二の時刻情報を取得する情報取得手段と、
   前記超音波画像の画像データと、前記超音波画像が取得された第一の時刻情報を含む第一の付帯情報と、前記光音響画像の画像データと、前記光音響画像が取得された第二の時刻情報を含む第二の付帯情報とを記憶する記憶手段と、
   前記第一の付帯情報における第一の時刻情報と前記第二の付帯情報における第二の時刻情報が含まれる対応情報に基づいて、前記第一の付帯情報に対応づけられた動画が開始する超音波画像の画像データから動画が終了する超音波画像の画像データと、前記第二の付帯情報に対応づけられた動画が開始する光音響画像の画像データから動画が終了する光音響画像の画像データを特定し、前記記憶手段から取得する取得手段と、
   前記記憶手段から取得された前記超音波画像の画像データと前記光音響画像の画像データとを重畳した重畳画像を表示部に表示させる表示制御手段と、を有することを特徴とする情報処理装置。
2. 前記情報取得手段は、撮像方法を指示する前記超音波撮像手段と前記光音響撮像手段に対する操作および前記操作を行った操作情報を取得し、前記操作情報は、前記撮像方法の開始を示す情報と終了を示す情報とを含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記操作情報は、ユーザの前記操作に基づいて自動的に行われた操作および前記自動的に操作が行われた時刻を示す情報を含むことを特徴とする請求項２に記載の情報処理装置。
4. 前記操作情報と前記超音波画像および前記光音響画像に対応付けて外部装置に出力する出力手段を備え、
   前記出力手段は、前記操作を行った時刻と前記超音波画像および前記光音響画像が取得された時刻の順序を識別可能に対応付けた付帯情報を外部装置に出力することを特徴とする請求項２に記載の情報処理装置。
5. 前記画像取得手段は、光音響信号に基づいて光音響画像を取得し、超音波信号に基づいて超音波画像を取得することを特徴とする請求項１に記載の情報処理装置。
6. 前記情報取得手段は、超音波信号および光音響信号を取得したタイミングに関するタイミング情報をさらに取得し、
   前記出力手段は、前記タイミング情報に基づいて得られる、前記超音波画像と前記光音響画像との対応関係を示す対応情報をさらに対応付けて前記外部装置に出力することを特徴とする請求項４に記載の情報処理装置。
7. 前記撮像方法は、動画に含まれる超音波画像または光音響画像の撮像、または、静止画に含まれる超音波画像または光音響画像の撮像、の少なくともいずれかに関わることを特徴とする請求項２に記載の情報処理装置。
8. 被検体に超音波を送信する送信部と超音波を受信する受信部とを有する超音波撮像手段により撮像された超音波画像と前記被検体に光を照射する光源を有し、前記受信部を用いて光音響を受信する光音響撮像手段により撮像された光音響画像を取得する画像取得工程と、
   前記超音波撮像手段を用いて超音波撮像を開始してから終了までの前記超音波画像が取得された第一の時刻情報および、前記光音響撮像手段における前記光源から光を照射して光音響撮像を開始してから終了までの前記光音響画像が取得された第二の時刻情報を取得する情報取得工程と、
   前記超音波画像の画像データと、前記超音波画像が取得された第一の時刻情報を含む第一の付帯情報と、前記光音響画像の画像データと、前記光音響画像が取得された第二の時刻情報を含む第二の付帯情報とを記憶手段に記憶する記憶工程と、
   前記第一の付帯情報における第一の時刻情報と前記第二の付帯情報における第二の時刻情報が含まれる対応情報に基づいて、前記第一の付帯情報に対応づけられた動画が開始する超音波画像の画像データから動画が終了する超音波画像の画像データと、前記第二の付帯情報に対応づけられた動画が開始する光音響画像の画像データから動画が終了する光音響画像の画像データとを特定し、光音響画像の画像データとを記憶手段から取得する取得工程と、
   前記記憶手段から取得された前記超音波画像の画像データと前記光音響画像の画像データとを重畳した重畳画像を表示部に表示させる表示工程と、を有することを特徴とする情報処理方法。
9. 請求項８に記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images