JP5426749B2 - 医用画像処理装置 - Google Patents

Description

本発明は、医用画像を保管し、観察可能とするシステムに使用される医用画像処理装置に関する。

ＩＶＲ（interventional radiology）をはじめとする手技に関連して、医用画像撮影装置、医用画像保管装置、医用画像観察装置、手術所見記録装置からなるシステムがある。このシステムでは、手技中に医用画像撮影装置で撮影された画像を医用画像保管装置にて保管する。そして手術の終了後に、医用画像保管装置により保管されている医用画像を医用画像観察装置で観察しながら、手術所見記録装置で手術所見が作成される。

手術所見の作成は、作成者（手技実施者）がキーボードなどの入力デバイスを用いて、記憶に頼りながら行われる。このため、手技のエッセンスとなる情報の記録が欠落することがあり得る。また手術所見は文章として作成されるが、このような文章に適切に、かつ分かり易く医用画像を関連付けることは困難であり、医用画像が手術所見に十分に活用されないことがある。手技後に、医用画像との関連付けをしながら所見を作成する仕組みが備わっている場合もあるが、その場合でも関連付けは手技後に行わなければならないことから、作成者の記憶に頼って行われることになり、画像と所見とが適切に関連付けられていないことがあるとともに、その関連付けのために多くの時間を費やす必要があった。

特開２００６−１２２３７５号公報

以上のように従来は、手術での手技に関連して得られた医用画像と手術所見との関連付けは、手術の終了後に記録者の記憶に基づいて行われなければならないために、医用画像を適切に関連付けた手術所見に記録することが困難であった。

本発明はこのような事情を考慮してなされたものであり、その目的とするところは、記録された音声を手術所見の作成に際して容易に確認できるようにすることにある。

本発明の一態様による医用画像処理装置は、医用画像撮影装置により撮影された医用画像を医療行為の実施者によりモニタさせるためにモニタ装置にて表示されるモニタ画像と前記実施者が発する音声とが互いに関連付けて記憶された記憶媒体にアクセス可能であるとともに、表示デバイスに任意の画像を表示させることが可能であり、さらに音声再生デバイスに任意の音声を再生させることが可能な医用画像処理装置において、前記記憶媒体に記憶された前記モニタ画像を前記表示デバイスに表示させる表示制御手段と、音声再生が要求されたことに応じて、前記表示デバイスに表示させている前記モニタ画像に関連付けて前記記憶媒体に記憶された前記音声を前記音声再生デバイスに再生させる音声再生制御手段と、前記記憶媒体に記憶された前記音声が表す文章を構成する複数の要素を取り出す手段とを備え、前記表示制御手段は、前記記憶媒体に記憶された前記モニタ画像と、当該モニタ画像に関連付けて前記記憶媒体に記憶された前記音声に関して取り出された複数の前記要素のそれぞれを文字により表した音声確認画像とを前記表示デバイスに表示させることとした。

本発明によれば、記録された音声を手術所見の作成に際して容易に確認できるようになる。

本発明の一実施形態に係る医療情報システムの概略構成を示す図。 図１に示された各部がそれぞれ備える機能とそれらの機能の連携とを表した機能ブロック図。 ＩＶＲ等の手技中にユーザによりモニタされるモニタ画像とユーザが発する音声とを関連付けて保管するための図２中のモニタ画像・音声管理部の処理を示すフローチャート。 ＩＶＲ等の手技中にユーザによりモニタされるモニタ画像とユーザが発する音声とを関連付けて保管するための図２中のモニタ画像・音声管理部の処理を示すフローチャート。 ＩＶＲ等の手技中にユーザによりモニタされるモニタ画像とユーザが発する音声とを関連付けて保管するための図２中のモニタ画像・音声管理部の処理を示すフローチャート。 ＩＶＲ等の手技中にユーザによりモニタされるモニタ画像とユーザが発する音声とを関連付けて保管するための図２中のモニタ画像・音声管理部の処理を示すフローチャート。 ＩＶＲ等の手技後におけるモニタ画像および音声とＤＩＣＯＭ画像とを関連付けるための画像・音声統合管理部における処理を示すフローチャート。 手技結果をユーザに観察させるための図１中の医用画像保管装置での処理を示すフローチャート。 手技結果をユーザに観察させるための図１中の医用画像保管装置での処理を示すフローチャート。 手技結果をユーザに観察させるための図１中の医用画像保管装置での処理を示すフローチャート。 手技結果をユーザに観察させるための図１中の医用画像保管装置での処理を示すフローチャート。 検索画面の一例を示す図。 ビューア画面の一例を示す図。 編集画面の一例を示す図。 図１４の状態からチェックボックスがクリックされた後の設定画面を示す図。 音声情報画面の一例を示す図。 録音操作画面の一例を示す図。

以下、図面を参照して本発明の一実施形態について説明する。

図１は本実施形態に係る医療情報システムの概略構成を示す図である。

この医療情報システムは、医用画像撮影装置１、医用画像保管装置２、医用画像観察装置３、通信ユニット４、モニタ５、マイク６、キーパッド７およびマイク８を含む。

医用画像撮影装置１、医用画像保管装置２、医用画像観察装置３および通信ユニット４は、ＬＡＮ（local area network）などのネットワーク９に接続されている。

医用画像撮影装置１は、被検体を撮影して医用画像を得る。医用画像撮影装置１としては、Ｘ線診断装置、Ｘ線ＣＴ（computed tomography）装置、ＭＲＩ（magnetic resonance imaging）装置、あるいは超音波診断装置などの様々なタイプの装置が利用できる。医用画像撮影装置１は、撮影した医用画像を、ディジタル画像としてＤＩＣＯＭ（digital imaging and communications in medicine）フォーマットで医用画像保管装置２へ送信する。

医用画像保管装置２は、医用画像撮影装置１で撮影されたＤＩＣＯＭデータを保管する。また医用画像保管装置２は、通信ユニット４から後述するように送信されるモニタ画像ファイルや音声ファイルを保管する。

医用画像観察装置３は、医用画像保管装置２により保管されているＤＩＣＯＭデータ、モニタ画像ファイルおよび音声ファイルをユーザＵ１に観察させる。

通信ユニット４には、モニタ５、マイク６およびキーパッド７が接続されている。モニタ５は、医用画像撮影装置１により撮影された医用画像をユーザＵ２にモニタさせるために表示する。従って、モニタ５により表示されている画像をモニタ画像と称することとする。モニタ５は、モニタ画像を通信ユニット４に出力する。モニタ５が表示するモニタ画像をビデオカメラにより撮影して、当該撮影されたモニタ画像を通信ユニット４に出力しても良い。

マイク６は、ユーザＵ２が発した音声を取り込んで、通信ユニット４に出力する。キーパッド７は、ユーザＵ２が患者ＩＤなどの各種の情報を入力したり、録画や録音を指示したりするために使用される。キーパッド７は、入力された情報や指示を通信ユニット４に出力する。そして通信ユニット４は、モニタ５より出力されたモニタ画像、マイク６より出力された音声、ならびにキーパッド７から出力された情報または指示を、予め定められた形式のデータとして医用画像保管装置２へ送信する。

マイク８は、医用画像観察装置３に接続されている。マイク８は、ユーザＵ１が発する音声を取り込んで、医用画像観察装置３に出力する。

なお、ユーザＵ２は、医用画像撮影装置１により撮影された医用画像を見ながらＩＶＲなどの手技を実施する実施者である。ユーザＵ１は、手技の終了後に、手技の際に取得された各種の情報を観察し、手術所見を作成する観察者である。なお、ユーザＵ１およびユーザＵ２は、同一人物である場合もある。

図２は図１に示された各部がそれぞれ備える機能とそれらの機能の連携とを表した機能ブロック図である。

医用画像撮影装置１は、撮影指示部１０１、撮影部１０２、画像表示指示部１０３、画像データ編集部１０４および画像データ送信部１０５を含む。医用画像保管装置２は、モニタ画像取得部２０１、音声取得部２０２、モニタ画像・音声管理部２０３、モニタ画像解析部２０４、モニタ画像・音声登録部２０５、モニタ画像・音声保管部２０６、データベース２０７、画像データ受信部２０８、画像・音声統合管理部２０９、ＤＩＣＯＭデータ編集部２１０、ＤＩＣＯＭデータ登録部２１１、ＤＩＣＯＭデータ保管部２１２、統合データ検索部２１３、統合データ分析部２１４、統合データ編集部２１５、統合データ編集管理部２１６および統合データ表示指示部２１７を含む。医用画像観察装置３は、統合データ検索指示部３０１、統合データ表示再生部３０２、音声取得部３０３および統合データ編集指示部３０４を含む。モニタ５は、モニタ画像表示部５０１として機能する。マイク６は、音声入力部６０１として機能する。キーパッド７は、情報・要求入力部７０１として機能する。マイク８は、音声入力部８０１として機能する。

なお、医用画像保管装置２および医用画像観察装置３は、例えば汎用のサーバ装置やコンピュータ装置を基本ハードウェアとして用いることができる。そしてモニタ画像取得部２０１、音声取得部２０２、モニタ画像・音声管理部２０３、モニタ画像解析部２０４、モニタ画像・音声登録部２０５、画像データ受信部２０８、画像・音声統合管理部２０９、ＤＩＣＯＭデータ編集部２１０、ＤＩＣＯＭデータ登録部２１１、統合データ検索部２１３、統合データ分析部２１４、統合データ編集部２１５、統合データ編集管理部２１６、統合データ表示指示部２１７、統合データ検索指示部３０１、統合データ表示再生部３０２、音声取得部３０３および統合データ編集指示部３０４は、上記のサーバ装置やコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。なお、一部の機能はさらに、上記のプロセッサと通信インタフェースデバイスなどのデバイスとの協働によって実現される。このときに医用画像保管装置２および医用画像観察装置３は、上記のプログラムが上記のサーバ装置やコンピュータ装置に予めインストールされて実現されても良いし、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなどのようなリムーバブルな記録媒体に記録して、あるいはネットワークを介して上記のプログラムを配布し、このプログラムをサーバ装置やコンピュータ装置に適宜インストールして実現されても良い。なお、上記の各部は、その一部または全てをロジック回路などのハードウェアにより実現することも可能である。また上記の各部のそれぞれは、ハードウェアとソフトウェア制御とを組み合わせて実現することも可能である。モニタ画像・音声保管部２０６、データベース２０７およびＤＩＣＯＭデータ保管部２１２は、上記のサーバ装置やコンピュータ装置に内蔵されたメモリやハードディスク装置などの記憶デバイス、上記のサーバ装置やコンピュータ装置に外付けされたメモリやハードディスク装置などの記憶デバイス、さらには磁気ディスク、光磁気ディスク、光ディスクなどのようなリムーバブルな記録媒体などを適宜利用して実現することができる。

撮影指示部１０１は、ユーザＵ２の要求に応じて、撮影部１０２に画像撮影を指示する。撮影部１０２は、指示に従い撮影を行う。画像表示指示部１０３は、撮影部１０２により撮影された医用画像に、患者識別情報（患者ＩＤ）や撮影日時などを表すテキスト画像を合成してモニタ画像を生成し、さらにこのモニタ画像を表した映像信号を生成して、この映像信号をモニタ５に出力する。画像データ編集部１０４は、撮影部１０２により撮影された医用画像を表した画像データに、患者ＩＤ、撮影日時および撮影位置情報などの付帯情報を付加してＤＩＣＯＭフォーマットのＤＩＣＯＭデータに整形する。画像データ送信部１０５は、生成されたＤＩＣＯＭデータを医用画像保管装置２に送信する。

モニタ画像表示部５０１は、画像表示指示部１０３から出力された映像信号に基づいて、モニタ画像を表示する。モニタ画像表示部５０１はまた、映像信号を通信ユニット４を介して医用画像保管装置２に送る。ただし通信ユニット４は、映像信号をディジタル化して得られる映像データ（以下、モニタ画像データと称する）を医用画像保管装置２に送る。

音声入力部６０１は、ユーザＵ２が発した音声を音声信号に換え、この音声信号を通信ユニット４を介して医用画像保管装置２に送る。ただし通信ユニット４は、音声信号をディジタル化して得られる音声データを医用画像保管装置２に送る。

情報・要求入力部７０１は、モニタ画像の記録やユーザＵ２の音声の録音に関してユーザＵ２が指定する情報やユーザＵ２の要求を入力する。情報・要求入力部７０１は、入力した情報や要求を通信ユニット４を介して医用画像保管装置２に送る。

モニタ画像取得部２０１は、上記のモニタ画像データを取得する。音声取得部２０２は、上記の音声データを取得する。モニタ画像・音声管理部２０３は、モニタ画像データおよび音声データをモニタ画像取得部２０１および音声取得部２０２から受け取り、これらの保管を後述するように管理する。モニタ画像・音声管理部２０３は、モニタ画像データをモニタ画像解析部２０４に渡し、それについての解析結果をモニタ画像解析部２０４から受け取る。またモニタ画像・音声管理部２０３は、情報・要求入力部７０１で入力された情報や要求を取得する。モニタ画像解析部２０４は、モニタ画像・音声管理部２０３から渡されたモニタ画像データが表すモニタ画像を解析し、そこに表されている患者ＩＤおよび撮影日時を抽出する。モニタ画像解析部２０４は、抽出した患者ＩＤおよび撮影日時を解析結果としてモニタ画像・音声管理部２０３に返す。撮影日時がモニタ画像に映し出されていない場合は、モニタ画像解析部２０４は、画像・音声統合管理部２０９よりＤＩＣＯＭデータに含まれるＤＩＣＯＭ画像データを受け取り、このＤＩＣＯＭ画像データが表すＤＩＣＯＭ画像とモニタ画像とのの双方に映し出された血管の形態に基づいて当該ＤＩＣＯＭ画像とモニタ画像とが互いに同一日時に撮影されたものであるか否かを解析し、この解析結果を画像・音声統合管理部２０９に返す。またモニタ画像・音声登録部２０５は、モニタ画像・音声管理部２０３から渡されるモニタ画像データおよび音声データをそれぞれモニタ画像ファイル（静止画ファイルまたは動画ファイル）および音声ファイルとしてモニタ画像・音声保管部２０６に記憶させるとともに、これらのデータファイルに関するファイル名や取得日時などの管理用情報をデータベース２０７に登録する。

画像データ受信部２０８は、ＤＩＣＯＭデータの受信処理を行う。画像・音声統合管理部２０９は、モニタ画像・音声保管部２０６に保管されているモニタ画像ファイルおよび音声ファイルとＤＩＣＯＭ画像データとの統合を後述するように管理する。ＤＩＣＯＭデータ編集部２１０は、モニタ画像ファイルおよび音声ファイルと統合するＤＩＣＯＭデータの編集を行う。具体的には、ＤＩＣＯＭデータ内の特定のタグとして、統合するモニタ画像ファイルおよび音声ファイルのファイル名や保管場所などを示す情報を挿入する。ＤＩＣＯＭデータ登録部２１１は、画像・音声統合管理部２０９からの要求に応じて、ＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２へ保管する。またＤＩＣＯＭデータ登録部２１１は、ＤＩＣＯＭデータから医用画像保管装置２での管理または医用画像観察装置３での医用画像表示等に必要なＤＩＣＯＭ付帯情報を抽出し、データベース２０７に記憶させる。

統合データ検索部２１３は、統合データ検索指示部３０１からの指示に従い、モニタ画像・音声保管部２０６、データベース２０７、ならびにＤＩＣＯＭデータ保管部２１２からのデータの検索・収集を行い、検索結果情報を統合データ表示指示部２１７に渡す。統合データ分析部２１４は、統合データ編集管理部２１６からの指示に応じて、音声認識による音声ファイルのテキストへの変換や、当該テキストのセンテンス分割を行う。それと同時に統合データ分析部２１４は、それぞれのセンテンスの元となる音声ファイル内での再生ポイント（開始日時〜終了日時）情報を得る。なお、センテンス分割とは、文章を句点や一定時間の無音部分で区切れる単位に分割することを指す。従って、実際に区分される１単位は、狭義の「センテンス」に限らず任意であって良い。統合データ分析部２１４は、処理結果として、センテンス化されたテキスト情報とそれぞれのセンテンスの再生ポイントを表す再生ポイント情報とを統合データ編集管理部２１６に渡す。統合データ編集部２１５は、統合データ編集管理部２１６からの指示に応じて、データベース２０７にテキスト情報および再生ポイント情報を新たに記憶させたり、データベース２０７に記憶されているテキスト情報および再生ポイント情報を編集する。統合データ編集管理部２１６は、統合データ編集指示部３０４からの編集指示に基づき編集処理を後述するように管理する。統合データ表示指示部２１７は、統合データ検索部２１３から受け取った検索結果情報、または統合データ編集管理部２１６から受け取った編集結果情報を統合データ表示再生部３０２に渡し、それらの表示を指示する。

統合データ検索指示部３０１は、ユーザＵ１の要求に応じて統合データ検索部２１３に検索指示を出す。統合データ表示再生部３０２は、統合データ表示指示部２１７より受け取った情報を表した画面を統合データ検索指示部３０１が備える表示デバイスを利用して表示する。音声取得部３０３は、音声入力部８０１から送られてきた音声データを取得し、統合データ編集指示部３０４に渡す。統合データ編集指示部３０４は、ユーザＵ２の要求に応じて統合データの編集指示を出す。

音声入力部８０１は、ユーザＵ１が発した音声を音声信号に換え、さらにこの音声信号をディジタル化して得られる音声データを医用画像保管装置２に送る。

次に以上のように構成された医療情報システムの動作について説明する。

（手技中におけるモニタ画像と音声との関連付け）
図３乃至図６はＩＶＲ等の手技中にユーザＵ２によりモニタされるモニタ画像とユーザＵ２が発する音声とを関連付けて保管するためのモニタ画像・音声管理部２０３の処理を示すフローチャートである。

医用画像保管装置２においてこの処理が起動されると、モニタ画像・音声管理部２０３がステップＳａ１乃至ステップＳａ３の待ち受け状態となる。この待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の開始のいずれかがユーザＵ２により要求されるのを待ち受ける。

ユーザＵ２がキーパッド７での所定の操作により静止画の記録を要求したとすると、モニタ画像・音声管理部２０３は、ステップＳａ１からステップＳａ４へ進む。ステップＳａ４においてはモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報（患者ＩＤおよび撮影日時）を抽出する。この関連情報は、医用画像撮影装置１で把握している情報をモニタ画像中に文字列によって表されたものである。

ステップＳａ５においてモニタ画像・音声管理部２０３は、ステップＳａ４において抽出した患者ＩＤ（以下、抽出患者ＩＤと称する）と手技開始時に取得した患者ＩＤ（入力患者ＩＤ）とが一致するか否かを確認する。入力患者ＩＤは、手技開始時に医用画像保管装置２に対してユーザＵ２などによって患者ＩＤが入力される。この患者ＩＤの入力は、例えばキーパッド７を用いて行われ、モニタ画像・音声管理部２０３に送られ、モニタ画像・音声管理部２０３にて入力患者ＩＤとして保持される。患者ＩＤの入力は、マイク６を用いて音声により行うこともできる。

抽出患者ＩＤと入力患者ＩＤとが一致する場合、モニタ画像・音声管理部２０３はステップＳａ５からステップＳａ６へ進む。ステップＳａ６においてモニタ画像・音声管理部２０３は、ステップＳａ４で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当するモニタ画像データを静止画ファイルとしてモニタ画像・音声保管部２０６に記憶させる。このように静止画ファイルを記録するときにモニタ画像・音声管理部２０３は、静止画ファイルに付与したファイル名、抽出患者ＩＤ、あるいは記録日時などの情報を含んだ管理データを作成し、この管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データをデータベース２０７に記憶させる。なお記録日時は、静止画ファイルとして記録したモニタ画像に関して抽出された撮影日時である。

こののちにモニタ画像・音声管理部２０３は、ステップＳａ７乃至ステップＳａ９の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、静止画ファイルの記録を行ったのちの動画ファイルおよび音声ファイルの記録を行っていない状態においてステップＳａ７乃至ステップＳａ９の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の開始のいずれかがユーザＵ２により要求されるのを待ち受ける。

この待ち受け状態においてユーザＵ２がキーパッド７での所定の操作などにより静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ７からステップＳａ１０へ進む。ステップＳａ１０においてモニタ画像・音声管理部２０３は、ステップＳａ６にて記録した静止画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ６にて記録した静止画ファイルに関する管理データに、関連音声ファイルが無い旨を示した関連ファイル情報を追加する。こののちにモニタ画像・音声管理部２０３は、ステップＳａ４の処理に戻る。

かくして、間に録音開始が要求されることなく２度連続で静止画の記録が要求された場合には、この２度のうちの先の要求に応じて記録された静止画ファイルには、音声ファイルは関連付けられない。

一方、ステップＳａ７乃至ステップＳａ９の待ち受け状態にあるときに、ユーザＵ２がキーパッド７での所定の操作などにより録音開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ９からステップＳａ１１へ進む。ステップＳａ１１においてモニタ画像・音声管理部２０３は、音声ファイルの記録を開始する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録音開始を指示した上で、それ以降に音声取得部２０２より与えられる音声データをモニタ画像・音声登録部２０５へと順次送る。そうするとモニタ画像・音声登録部２０５は、こののちに録音終了が指示されるまでにモニタ画像・音声管理部２０３から送られてくる音声データを１つの音声ファイルとするようにモニタ画像・音声保管部２０６に記憶させて行く。このように音声ファイルの記録を開始するときにモニタ画像・音声管理部２０３は、音声ファイルに付与したファイル名、抽出患者ＩＤ、あるいは録音開始日時などの情報を含んだ管理データを作成し、この管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データをデータベース２０７に記憶させる。なお録音開始日時は、音声ファイルの記録を開始した日時である。

このように録音しつつモニタ画像・音声管理部２０３は、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、静止画ファイルの記録後に音声ファイルの記録のみを行っている状態においてステップＳａ１２乃至ステップＳａ１４の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の終了のいずれかがユーザＵ２により要求されるのを待ち受ける。

この待ち受け状態においてユーザＵ２がキーパッド７での所定の操作などにより静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ１２からステップＳａ１５へ進む。ステップＳａ１５においてモニタ画像・音声管理部２０３は、ステップＳａ６にて記録した静止画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ６にて記録した静止画ファイルに関する管理データに、関連音声ファイルが無い旨を示した関連ファイル情報を追加する。なお、このステップＳａ１５の処理は初回のみ行い、ステップＳａ１２からステップＳａ１５への移行が２回目以降であるときには、上記の処理を行わずにステップＳａ１６へ進む。こののちにステップＳａ１６においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。

ステップＳａ１７においてモニタ画像・音声管理部２０３は、ステップＳａ１６において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ１８においてモニタ画像・音声管理部２０３は、ステップＳａ１６で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当するモニタ画像データを静止画ファイルとしてモニタ画像・音声保管部２０６に記憶させる。そしてこののちにモニタ画像・音声管理部２０３は、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態に戻る。

一方、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態にあるときにユーザＵ２がキーパッド７での所定の操作などにより録音の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ１４からステップＳａ１９へ進む。ステップＳａ１９においてモニタ画像・音声管理部２０３は、音声ファイルの記録を終了する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録音終了を指示するとともに、音声データの出力を停止する。そうするとモニタ画像・音声登録部２０５は、音声ファイルの記録を終了する。このように音声ファイルの記録を終了するときにモニタ画像・音声管理部２０３は、当該音声ファイルに関して記録の開始時にデータベース２０７に登録した管理データに録音終了日時を含めるようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データに該当する情報を追加する。なお録音終了日時は、音声ファイルの記録を終了した日時である。こののちにステップＳａ２０においてモニタ画像・音声管理部２０３は、このように記録を終了した音声ファイルとこの音声ファイルの記録中に記録された全ての静止画ファイルのそれぞれとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する音声ファイルの管理データに該当する静止画ファイルのファイル名を関連ファイル情報として追加するとともに、該当する静止画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。なおモニタ画像・音声管理部２０３は、後述する別のタイミングでの処理終了時も含めて、ユーザＵ２による手技が行われている期間には図３乃至図６に示す処理を再度自動的に開始しても良いし、ユーザＵ２による再開指示を受けて図３乃至図６に示す処理を再度開始しても良い。

かくして、録音が行われていない状態にて静止画ファイルが記録された後に録音が開始された場合、その録音が行われている期間中に他の静止画の記録の要求および後述するような録画の開始の要求のいずれもがなされなかった場合は、録音された音声ファイルと、この音声ファイルの録音開始前に最も新しく記録された静止画ファイルとが関連付けられる。しかしながら、録音中に静止画が記録された場合には、その録音の開始前に録音が行われていない状態にて記録された静止画ファイルには、音声ファイルは関連付けられない。さらに、録音中に記録された静止画ファイルは、同時に録音されていた音声ファイルに関連付けられる。

さて、ステップＳａ１乃至ステップＳａ３の待ち受け状態にあるときにユーザＵ２がキーパッド７での所定の操作などにより録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ２からステップＳａ２２（図４）へ進む。また、ステップＳａ１２乃至ステップＳａ１４の待ち受け状態にあるときにユーザＵ２が録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ１３からステップＳａ２１（図４）を介してステップＳａ２２へ進む。なおステップＳａ２１においてモニタ画像・音声管理部２０３は、ステップＳａ６にて記録した静止画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ６にて記録した静止画ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。

ステップＳａ２２においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。

ステップＳａ２３においてモニタ画像・音声管理部２０３は、ステップＳａ２２において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ２４においてモニタ画像・音声管理部２０３は、動画ファイルの記録を開始する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録画開始を指示した上で、それ以降にモニタ画像取得部２０１より与えられるモニタ画像データをモニタ画像・音声登録部２０５へと順次送る。そうするとモニタ画像・音声登録部２０５は、こののちに録画終了が指示されるまでにモニタ画像・音声管理部２０３から送られてくるモニタ画像データを１つの動画ファイルとするようにモニタ画像・音声保管部２０６に記憶させて行く。このように動画ファイルの記録を開始するときにモニタ画像・音声管理部２０３は、動画ファイルに付与したファイル名、抽出患者ＩＤ、あるいは録画開始日時などの情報を含んだ管理データを作成し、この管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データをデータベース２０７に記憶させる。なお録画開始日時は、動画ファイルとして最初に記録したモニタ画像の撮影日時である。

このように録画を行いつつモニタ画像・音声管理部２０３は、ステップＳａ２５およびステップＳａ２６の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、動画ファイルの記録のみを行っている状態においてステップＳａ２５乃至ステップＳａ２６の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、録画の終了または録音の開始のいずれかがユーザＵ２により要求されるのを待ち受ける。

この待ち受け状態においてユーザＵ２がキーパッド７での所定の操作などにより録画の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ２５からステップＳａ２７へ進む。ステップＳａ２７においてモニタ画像・音声管理部２０３は、動画ファイルの記録を終了する。すなわちモニタ画像・音声管理部２０３は、モニタ画像・音声登録部２０５に録画終了を指示するとともに、画像データの出力を停止する。そうするとモニタ画像・音声登録部２０５は、動画ファイルの記録を終了する。このように動画ファイルの記録を終了するときにモニタ画像・音声管理部２０３は、当該動画ファイルに関して記録の開始時にデータベース２０７に登録した管理データに録画終了日時を含めるようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する管理データに該当する情報を追加する。なお、録画終了日時は、動画ファイルとして最後に記録したモニタ画像の撮影日時である。こののちにステップＳａ２８においてモニタ画像・音声管理部２０３は、上記の記録を終了した動画ファイルの関連音声ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する動画ファイルに関する管理データに、関連音声ファイルが無い旨を示した関連ファイル情報を追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。

かくして、記録されている期間に録音が行われなかった場合、記録された動画ファイルにはいずれの音声ファイルも関連付けられない。

一方、ステップＳａ２５およびステップＳａ２６の待ち受け状態においてユーザＵ２が録音の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ２６からステップＳａ２９に進む。ステップＳａ２９においてモニタ画像・音声管理部２０３は、音声ファイルの記録を開始する。

このように録音を行いつつモニタ画像・音声管理部２０３は、ステップＳａ３０およびステップＳａ３１の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、動画ファイルおよび音声ファイルのそれぞれの記録を行っている状態でステップＳａ３０およびステップＳａ３１の待ち受け状態となる。そしてこの待ち受け状態においてモニタ画像・音声管理部２０３は、録画の終了または録音の終了のいずれかがユーザＵ２により要求されるのを待ち受ける。

この待ち受け状態においてユーザＵ２が録音の終了を指示したとすると、モニタ画像・音声管理部２０３はステップＳａ３１からステップＳａ３２へ進む。ステップＳａ３２においてモニタ画像・音声管理部２０３は、音声ファイルの記録を終了する。こののちにステップＳａ３３においてモニタ画像・音声管理部２０３は、このように記録を終了した音声ファイルと記録中の動画ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する音声ファイルの管理データに該当する動画ファイルのファイル名を関連ファイル情報として追加するとともに、該当する動画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、ステップＳａ２５およびステップＳａ２６の待ち受け状態に戻る。

一方、ステップＳａ２５およびステップＳａ２６の待ち受け状態においてユーザＵ２が録画の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３０からステップＳａ３４へ進む。ステップＳａ３４においてモニタ画像・音声管理部２０３は、動画ファイルの記録を終了する。こののちにモニタ画像・音声管理部２０３は、このように記録を終了した動画ファイルと記録中の音声ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する動画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加するとともに、該当する音声ファイルの管理データに該当する動画ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、ステップＳａ３５からステップＳａ３７乃至ステップＳａ３９の待ち受け状態（図５）に移行する。

ところで、ステップＳａ１乃至ステップＳａ３の待ち受け状態にあるときにユーザＵ２が録音の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３からステップＳａ３６（図４）を介してステップＳａ３７乃至ステップＳａ３９の待ち受け状態に移行する。なおステップＳａ３６においてモニタ画像・音声管理部２０３は、音声ファイルの記録を開始する。すなわちモニタ画像・音声管理部２０３は音声ファイルの記録のみを行っている状態において、ステップＳａ３７乃至ステップＳａ３９の待ち受け状態となる。このステップＳａ３７乃至ステップＳａ３９の待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の終了のいずれかがユーザＵ２により要求されるのを待ち受ける。

この待ち受け状態においてユーザＵ２が静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３７からステップＳａ４０へ進む。ステップＳａ４０においてモニタ画像・音声管理部２０３は、ステップＳａ４０においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。

ステップＳａ４１においてモニタ画像・音声管理部２０３は、ステップＳａ４０において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ４２においてモニタ画像・音声管理部２０３は、ステップＳａ４０で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録する。こののちにステップＳａ４３においてモニタ画像・音声管理部２０３は、このように記録した静止画ファイルと記録中の音声ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する静止画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加するとともに、該当する音声ファイルの管理データに該当する静止画ファイルのファイル名を関連ファイル情報として追加する。そしてこののちにモニタ画像・音声管理部２０３は、ステップＳａ３７乃至ステップＳａ３９の待ち受け状態に戻る。

かくして、音声ファイルの記録中に静止画ファイルが記録された場合、この静止画ファイルと記録中の音声ファイルとが関連付けられる。

ステップＳａ３７乃至ステップＳａ３９の待ち受け状態においてユーザＵ２が録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３８からステップＳａ４４へ進む。ステップＳａ４４においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。

ステップＳａ４５においてモニタ画像・音声管理部２０３は、ステップＳａ４４において得た抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。そして抽出患者ＩＤと入力患者ＩＤとが一致する場合、ステップＳａ４６においてモニタ画像・音声管理部２０３は、動画ファイルの記録を開始する。こののちにモニタ画像・音声管理部２０３は、ステップＳａ３０およびステップＳａ３１の待ち受け状態に戻る。

かくして、音声ファイルの記録中に動画ファイルの記録が開始された場合、この動画ファイルと記録中の音声ファイルとが関連付けられる。

ステップＳａ３７乃至ステップＳａ３９の待ち受け状態においてユーザＵ２が録音の終了を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ３９からステップＳａ４７へ進む。ステップＳａ４７においてモニタ画像・音声管理部２０３は、音声ファイルの記録を終了する。こののちにモニタ画像・音声管理部２０３は、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態となる。すなわちモニタ画像・音声管理部２０３は、静止画ファイルまたは動画ファイルが関連付けられない状態で音声ファイルの記録を終了した場合にステップＳａ４８乃至ステップＳａ５１の待ち受け状態となる。そしてステップＳａ４８乃至ステップＳａ５１の待ち受け状態においてモニタ画像・音声管理部２０３は、静止画の記録、動画の録画開始、あるいは録音の開始のいずれかがユーザＵ２により要求されるか、ステップＳａ４７にて音声ファイルの記録を終了してから一定時間が経過するのを待ち受ける。

この待ち受け状態においてユーザＵ２が静止画の記録を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ４８からステップＳａ５２へ進む。ステップＳａ５２においてモニタ画像・音声管理部２０３は、その時点においてモニタ画像取得部２０１により取得された１フレーム分のモニタ画像データをモニタ画像取得部２０１より受け取る。そしてモニタ画像・音声管理部２０３は、当該モニタ画像データが表すモニタ画像をモニタ画像解析部２０４にて解析させ、当該モニタ画像の関連情報を抽出する。

ステップＳａ５３においてモニタ画像・音声管理部２０３は、ステップＳａ５２において抽出した抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認する。抽出患者ＩＤと入力患者ＩＤとが一致する場合、モニタ画像・音声管理部２０３はステップＳａ５３からステップＳａ５４へ進む。ステップＳａ４３においてモニタ画像・音声管理部２０３は、ステップＳａ５２で受け取った１フレーム分のモニタ画像データを静止画ファイルとして記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当するモニタ画像データを静止画ファイルとしてモニタ画像・音声保管部２０６に記憶させる。

こののちにステップＳａ５５においてモニタ画像・音声管理部２０３は、このように記録した静止画ファイルとステップＳａ４７にて記録を終了した音声ファイルとを関連付けた管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、該当する静止画ファイルの管理データに該当する音声ファイルのファイル名を関連ファイル情報として追加するとともに、該当する音声ファイルの管理データに該当する静止画ファイルのファイル名を関連ファイル情報として追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。

かくして、音声ファイルの記録がいずれの静止画ファイルおよび動画ファイルにも関連付けられることなく終了し、さらにその後に一定時間が経過する前に静止画ファイルが記録されたならば、この静止画ファイルと上記の既に記録が終了した音声ファイルとが関連付けられる。なお、一定時間は、任意の固定値、あるいはユーザＵ２や医用画像保管装置２の管理者による任意の設定値であって良い。

一方、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態においてユーザＵ２が録画の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ４９からステップＳａ５６へ進む。ステップＳａ５６においてモニタ画像・音声管理部２０３は、ステップＳａ４７で記録を終了した音声ファイルの関連静止画ファイルおよび関連動画ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ４７で記録を終了した音声ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。そしてこの後にモニタ画像・音声管理部２０３は、ステップＳａ２２に戻る。

また、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態においてユーザＵ２が録音の開始を要求したとすると、モニタ画像・音声管理部２０３はステップＳａ５０からステップＳａ５７へ進む。ステップＳａ５７においてモニタ画像・音声管理部２０３は、ステップＳａ４７で記録を終了した音声ファイルの関連静止画ファイルおよび関連動画ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ４７で記録を終了した音声ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。そしてこの後にモニタ画像・音声管理部２０３は、ステップＳａ３６に戻る。

さらに、ステップＳａ４８乃至ステップＳａ５１の待ち受け状態において、静止画の記録、録画の開始、あるいは録音の開始のいずれもが要求されないまま一定時間が経過したとすると、モニタ画像・音声管理部２０３はステップＳａ５１からステップＳａ５８へ進む。ステップＳａ５８においてモニタ画像・音声管理部２０３は、ステップＳａ４７で記録を終了した音声ファイルの関連静止画ファイルおよび関連動画ファイルが無い旨を示した管理データを記録するようにモニタ画像・音声登録部２０５に指示する。この指示に応じてモニタ画像・音声登録部２０５は、ステップＳａ４７で記録を終了した音声ファイルの管理データに、関連するファイルが無い旨を示した関連ファイル情報を追加する。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。

かくして、音声ファイルの記録がいずれの静止画ファイルおよび動画ファイルにも関連付けられることなく終了し、さらにその後に一定時間が経過する前に静止画の記録がなされなければ、上記の既に記録が終了した音声ファイルにはいずれのファイルも関連付けられない。

ところで、ステップＳａ５、ステップＳａ１７、ステップＳａ２３、ステップＳａ４１、ステップＳａ４５、ならびにステップＳａ５３においては抽出患者ＩＤと入力患者ＩＤとが一致するか否かを確認している。ここで抽出患者ＩＤと入力患者ＩＤとが一致しなかった場合、モニタ画像・音声管理部２０３は各ステップからステップＳａ５９（図３）へ進む。ステップＳａ５９においてモニタ画像・音声管理部２０３は、ユーザＵ２または医用画像保管装置２の管理者などに対する警告処理を行う。そしてモニタ画像・音声管理部２０３は、これをもって図３乃至図６に示す処理を終了する。この警告処理は例えば、患者ＩＤが一致しないことを示した警告メッセージを表示または音声出力により提示する処理である。警告メッセージを表示する場合、そのための表示デバイス（図示せず）を用いても良いし、モニタ５や医用画像保管装置２が備える表示デバイス（図示せず）を用いても良い。

（手技後におけるモニタ画像および音声とＤＩＣＯＭ画像との関連付け）
図７はＩＶＲ等の手技後におけるモニタ画像および音声とＤＩＣＯＭ画像とを関連付けるための画像・音声統合管理部２０９における処理を示すフローチャートである。

ステップＳｂ１において画像・音声統合管理部２０９は、画像データ送信部１０５から送信されるＤＩＣＯＭデータの受信を画像データ受信部２０８に行わせ、当該ＤＩＣＯＭデータを画像データ受信部２０８から受け取る。

ステップＳｂ２において画像・音声統合管理部２０９は、受け取ったＤＩＣＯＭデータに含まれた付帯情報から患者ＩＤおよび撮影日時を取得する。

ステップＳｂ３において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連付けるべき静止画ファイル（以下、関連静止画ファイルと称する）を検索する。具体的には画像・音声統合管理部２０９は、静止画ファイルに関する管理データであって、上記の取得した患者ＩＤと同じ抽出患者ＩＤを含むとともに、上記の取得した撮影日時と同じ撮影日時を含み、かつ関連ＤＩＣＯＭ情報を含んでいないものをデータベース２０７から検索し、該当する管理データに対応した静止画ファイルを関連静止画ファイルとする。

ステップＳｂ４において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連静止画ファイルが有ったか否かを確認する。そして関連静止画ファイルが有ったならば、画像・音声統合管理部２０９はステップＳｂ４からステップＳｂ５へ進む。

ステップＳｂ５において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連付けるべき音声ファイル（以下、関連音声ファイルと称する）があるか否かを確認する。これは、関連静止画ファイルの管理データに音声ファイルのファイル名が関連ファイル情報として含まれているか否かを確認することにより行える。そして該当する関連ファイル情報があるならば、それに対応する音声ファイルを関連音声ファイルとする。関連音声ファイルが有るならば、画像・音声統合管理部２０９はステップＳｂ５からステップＳｂ６へ進む。

ステップＳｂ６において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連静止画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報と、関連音声ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報とを含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。

ステップＳｂ７において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報（患者ＩＤ、検査ＩＤ、シリーズＩＤ、画像ＩＤ等々、ＤＩＣＯＭデータの検索や管理に必要な情報）をデータベース２０７に記憶させる。

さらにステップＳｂ８において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連静止画ファイルの管理データおよび関連音声ファイルの管理データを、ステップＳｂ７で登録されたＤＩＣＯＭデータの識別情報またはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報を含むようにそれぞれ変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。

このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている静止画ファイルおよび音声ファイルと関連付けられ、これらのデータが統合される。

さて、関連静止画ファイルが見つかったものの関連音声ファイルは無い場合には、画像・音声統合管理部２０９はステップＳｂ５からステップＳｂ９へ進む。ステップＳｂ９において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連静止画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報を含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。

ステップＳｂ１０において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。

さらにステップＳｂ１１において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連静止画ファイルの管理データを、ステップＳｂ１０で登録されたＤＩＣＯＭデータの識別情報またはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報を含むように変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。

このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている静止画ファイルと関連付けられ、これらのデータが統合される。

一方、関連静止画ファイルが見つからなかった場合、画像・音声統合管理部２０９はステップＳｂ４からステップＳｂ１２へ進む。ステップＳｂ１２において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連付けるべき動画ファイル（以下、関連動画ファイルと称する）を検索する。具体的には画像・音声統合管理部２０９は、動画ファイルに関する管理データであって、上記の取得した患者ＩＤと同じ抽出患者ＩＤを含むとともに、上記の取得した撮影日時を内在する撮影期間を表す録画開始日時および録画終了日時を含み、かつ関連ＤＩＣＯＭ情報を含んでいないものをデータベース２０７から検索し、該当する管理データに対応した動画ファイルを関連動画ファイルとする。

ステップＳｂ１３において画像・音声統合管理部２０９は、ＤＩＣＯＭデータに関連動画ファイルが有ったか否かを確認する。そして関連動画ファイルが有ったならば、画像・音声統合管理部２０９はステップＳｂ１３からステップＳｂ１４へ進む。

ステップＳｂ１４において画像・音声統合管理部２０９は、関連音声ファイルがあるか否かを確認する。これは、関連動画ファイルの管理データに音声ファイルのファイル名が関連ファイル情報として含まれているか否かを確認することにより行える。そして該当する関連ファイル情報があるならば、それに対応する音声ファイルを関連音声ファイルとする。関連音声ファイルが有るならば、画像・音声統合管理部２０９はステップＳｂ１４からステップＳｂ１５へ進む。

ステップＳｂ１５において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連動画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報と、関連音声ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報とを含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。

ステップＳｂ１６において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。

さらにステップＳｂ１７において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連動画ファイルの管理データおよび関連音声ファイルの管理データを、ステップＳｂ１６で登録されたＤＩＣＯＭデータを一意に識別するための情報、このＤＩＣＯＭデータに含まれたＤＩＣＯＭ画像を一意に識別するための情報（ＳＯＰインスタンスＵＩＤなど）、あるいはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報などを含むようにそれぞれ変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。

このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている動画ファイルおよび音声ファイルと関連付けられ、これらのデータが統合される。

さて、関連動画ファイルが見つかったものの関連音声ファイルは無い場合には、画像・音声統合管理部２０９はステップＳｂ１４からステップＳｂ１８へ進む。ステップＳｂ１８において画像・音声統合管理部２０９は、ステップＳｂ１で取得したＤＩＣＯＭデータを、関連動画ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報を含むように編集するようＤＩＣＯＭデータ編集部２１０に指示する。この指示を受けてＤＩＣＯＭデータ編集部２１０は、ＤＩＣＯＭデータを編集し、編集後のＤＩＣＯＭデータを画像・音声統合管理部２０９に返す。

ステップＳｂ１９において画像・音声統合管理部２０９は、編集されたＤＩＣＯＭデータの登録をＤＩＣＯＭデータ登録部２１１に指示する。この指示に応じてＤＩＣＯＭデータ登録部２１１は、編集されたＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。

さらにステップＳｂ２０において画像・音声統合管理部２０９は、データベース２０７に記憶されている関連動画ファイルの管理データを、ステップＳｂ１９で登録されたＤＩＣＯＭデータの識別情報またはＤＩＣＯＭデータ保管部２１２での保管場所を示した関連ＤＩＣＯＭ情報を含むように変更する。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。

このようにして、ＤＩＣＯＭデータが、モニタ画像・音声保管部２０６に保管されている動画ファイルと関連付けられ、これらのデータが統合される。

なお、関連静止画ファイルも関連動画ファイルも見つからなかった場合、画像・音声統合管理部２０９はステップＳｂ１４からステップＳｂ２１へ進む。ステップＳｂ２１において画像・音声統合管理部２０９は、ステップＳｂ１で取得したままの未編集のＤＩＣＯＭデータをＤＩＣＯＭデータ保管部２１２に記憶させるとともに、当該ＤＩＣＯＭデータの関連情報をデータベース２０７に記憶させる。こののち画像・音声統合管理部２０９は、図７に示す処理を終了する。

（手技結果の観察）
図８乃至図１１は手技結果をユーザＵ１に観察させるための医用画像保管装置２での処理を示すフローチャートである。

ユーザＵ１からの要求に応じて医用画像保管装置２は、検索画面を医用画像観察装置３にて表示させる。具体的には、統合データ検索指示部３０１が、統合データ検索部２１３に検索指示を出す。この検索指示を受けると統合データ検索部２１３は、データベース２０７に記憶された管理データおよびＤＩＣＯＭデータ保管部２１２に記憶されたＤＩＣＯＭデータのうちの予め定められた情報を検索する。そして統合データ検索部２１３は、見つかった情報を抽出して、統合データ表示指示部２１７に送る。統合データ表示指示部２１７は、統合データ検索部２１３から送られた情報に基づいて検索画面を作成し、この検索画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、検索画面を表示する。

図１２は検索画面の一例を示す図である。

検索画面は、検査リスト、シリーズリストおよび画像リストを含む。

検査リストは、ＤＩＣＯＭデータ保管部２１２に保管されたＤＩＣＯＭデータが取得された検査のそれぞれに関する情報の一覧を示す。検査リストには、ネットワーク９を介して図示しないＲＩＳ（radiology information system）などの検査管理システムから取得した情報を含んでも良いし、あるいは当該情報のみの一覧としても良い。シリーズリストは、検査リストから選択された検査内のシリーズのそれぞれに関する情報の一覧を示す。画像リストは、シリーズリストから選択されたシリーズ内で取得された画像に関する情報の一覧を示す。画像リストにリストアップされるのは、主としてＤＩＣＯＭ画像に関する情報である。しかし、ＤＩＣＯＭデータが関連付けられていない映像ファイル（静止画ファイルまたは動画ファイル）が存在するならば、それらのファイルに関する情報を含んでも良い。また、用途によっては、モニタ画像・音声保管部２０６に記憶された映像ファイルに関する情報のみを画像リストとしてリストアップしても良い。これらの各リストには、音声ファイルまたは映像ファイルが関連付けられているか否かを黒丸マークの有無により表している。

検査リストを表示させつつステップＳｃ２において統合データ表示再生部３０２は、画像表示が要求されるのを待ち受ける。そしてこの待ち受け状態においてユーザＵ１が画像表示を要求したとすると、統合データ表示再生部３０２はステップＳｃ２からステップＳｃ３へ進む。

ステップＳｃ３において医用画像観察装置２は、指定されたＤＩＣＯＭ画像またはモニタ画像を含んだビューア画面を医用画像観察装置３にて表示させる。具体的には、統合データ検索指示部３０１が、ユーザＵ１が指定したＤＩＣＯＭ画像のＤＩＣＯＭ画像データの検索を統合データ検索部２１３に指示する。この指示に応じて統合データ検索部２１３は、指示されたＤＩＣＯＭ画像データをＤＩＣＯＭデータ保管部２１２から読み出し、統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったＤＩＣＯＭ画像データが表すＤＩＣＯＭ画像を含んだビューア画面を作成し、このビューア画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、ビューア画面を表示する。

図１３はビューア画面の一例を示す図である。

ビューア画面には、ＤＩＣＯＭ画像ＩＭ１のほかに、再生ボタンＢ１、編集ボタンＢ２、内容確認ボタンＢ３および新規追加ボタンＢ４を含む。

ビューア画面を表示させつつステップＳｃ４乃至ステップＳｃ７の待ち受け状態において医用画像観察装置２は、再生、編集開始、音声情報表示、あるいは新規追加のいずれかが要求されるのを待ち受ける。なお、再生ボタンＢ１は、ＤＩＣＯＭ画像ＩＭ１に関連付けられた音声ファイルまたは映像ファイルが有る場合にのみ表示する。また編集ボタンＢ２および内容確認ボタンＢ３は、ＤＩＣＯＭ画像ＩＭ１に関連付けられた音声ファイルが有る場合にのみ表示する。

この待ち受け状態にあるときに、ユーザＵ１が例えば再生ボタンＢ１をクリックするなどして再生を要求したとすると、医用画像観察装置２はステップＳｃ４からステップＳｃ８へ進む。ステップＳｃ８において医用画像観察装置２は、表示中の画像に関連付けられているファイルに基づいて映像や音声を再生する。具体的には、ユーザＵ１が再生を要求したことに応じて、表示中の画像に関連付けられているファイルの検索を統合データ検索指示部３０１が統合データ検索部２１３に指示する。この指示に応じて統合データ検索部２１３は、該当するファイルをモニタ画像・音声保管部２０６から読み出し、統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったファイルを統合データ表示再生部３０２に送り、その表示および再生を指示する。この指示に応じて統合データ表示再生部３０２は、静止画ファイルが与えられたならば、これに基づいて静止画を表示し、動画ファイルが与えられたならば、これに基づいて動画を表示し、音声ファイルが与えられたならば、これに基づいて音声を再生し、ＤＩＣＯＭデータが与えられたならば、これに基づいてＤＩＣＯＭ画像を表示する。そして表示および再生を終えたならば、医用画像観察装置２はステップＳａ３に戻る。

かくして、ユーザＵ１は、ユーザＵ２が手技の際に注目していたモニタ画像とユーザＵ２が発した音声とを観察することができる。

ステップＳｃ４乃至ステップＳｃ７の待ち受け状態にあるときに、ユーザＵ１が例えば編集ボタンＢ２をクリックするなどして編集開始を要求したとすると、医用画像観察装置２はステップＳｃ５からステップＳｃ９（図９）へ進む。ステップＳｃ９において医用画像観察装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声が既に分析済みであるか否かを確認する。具体的には、音声ファイルが分析済みである場合、この音声ファイルには後述するようにテキスト情報が関連付けられてモニタ画像・音声保管部２０６に保管されている。そこで統合データ編集管理部２１６が、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルにテキスト情報が関連付けられているか否かを統合データ検索部２１３に検索させて、その検索結果を受ける。そして該当するテキスト情報が見つからない場合に、分析済みではないと統合データ編集管理部２１６が判定する。そしてこのように分析済みではないと判定した場合には、医用画像保管装置２はステップＳｃ９からステップＳｃ１０へ進む。ステップＳｃ１０において医用画像保管装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声を分析する。具体的には、統合データ編集管理部２１６が統合データ分析部２１４に対して分析の実行を指示する。この指示に応じて統合データ分析部２１４は、分析対象となる音声ファイルをモニタ画像・音声保管部２０６から読み出して、音声認識によりテキスト化し、さらにセンテンス分割する。さらに統合データ分析部２１４は、分割したセンテンスのそれぞれについて、元となる音声ファイル内での対応する音声の開示日時および終了日時を判定し、この開示日時および終了日時を示した再生ポイント情報を生成する。

ステップＳｃ１１においては統合データ分析部２１４が、上記の分析の結果として得られるセンテンスの情報と再生ポイント情報との集合からなるテキスト情報を、分析対象の音声ファイルに関連付けてモニタ画像・音声保管部２０６に保存する。そしてこののちに医用画像保管装置２は、ステップＳｃ１３へ進む。

一方、音声が既に分析済みである場合には、医用画像保管装置２はステップＳｃ９からステップＳｃ１０へ進む。ステップＳｃ１０においては統合データ編集管理部２１６が、音声ファイルに関連付けられているテキスト情報を統合データ検索部２１３を介してモニタ画像・音声保管部２０６から取得する。そしてこののちに医用画像保管装置２は、ステップＳｃ１３へ進む。

ステップＳｃ１３において医用画像保管装置２は、編集画面を医用画像観察装置３にて表示させる。具体的には、統合データ編集管理部２１６が、ステップＳｃ１０での分析で得られたか、またはステップＳｃ１２で取得したテキスト情報を統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったテキスト情報の内容を表す音声編集エリアを含んだ編集画面を作成し、この編集画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、編集画面を表示する。

図１４は編集画面の一例を示す図である。

符号ＡＲ１を付して示されるエリアが音声編集エリアである。編集画面はほかに、再生ボタンＢ１１および保存ボタンＢ１２を含む。

音声編集エリアＡＲ１には、「このじょうたいでがいどわいやーはうまくせんこうしたが えー きゅうげきなまいくろかてーてるのそうさにより がいでぃんぐかてーてるはあおるたにじゃんぷした いこうちゅういをようする」という音声から得られた「この状態でガイドワイヤーはうまく潜行したが」「えー、急激なマイクロカテーテルの操作により」「ガイディングカテーテルはアオルタにジャンプした。」および「以降注意を要する。」という４つのセンテンスが表されている。さらにこれらのセンテンスのそれぞれに対応付けてチェックボックスＣＢ１〜ＣＢ４が表されている。

編集画面が表示された状態で医用画像保管装置２はステップＳｃ１４乃至ステップＳｃ１６において、チェックボックスがクリックされるか、再生が要求されるか、あるいは保存が要求されるのを待ち受ける。

この待ち受け状態において、ユーザＵ１がチェックボックスをクリックしたとすると、医用画像観察装置２はステップＳｃ１４からステップＳｃ１７へ進む。ステップＳｃ１７において医用画像観察装置２は、クリックされたチェックボックスに対応するセンテンスの要否設定を反転する。具体的には、各センテンスの要否設定は、ステップＳｃ１０で分析された直後には、統合データ編集管理部２１６によっていずれも例えば「要」に設定される。そしてチェックボックスがクリックされる毎に、そのチェックボックスに対応するセンテンスの要否設定を統合データ編集管理部２１６が反転させる。また、統合データ編集部２１６は、各センテンスの要否設定を統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、各センテンスの要否設定に応じて、設定画面におけるチェックボックスの表示形態を変更する。こののちに医用画像保管装置２は、ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態に戻る。

例えば、図１４ではチェックボックスＣＢ１〜ＣＢ４はいずれも要否設定が「要」であることを示している。図１５は図１４の状態からチェックボックスＣＢ４がクリックされた後の設定画面を示す図である。図１５でのチェックボックスＣＢ４は、要否設定が「否」であることを示している。

ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態において、ユーザＵ１が例えば再生ボタンＢ１１をクリックするなどして再生を要求したとすると、医用画像保管装置２はステップＳｃ１５からステップＳｃ１８へ進む。ステップＳｃ１８において医用画像保管装置２は、要否設定が「要」であるセンテンスに相当する音声のみを統合データ表示再生部３０２に再生させる。具体的には、統合データ表示指示部２１７が、要否設定が「要」であるセンテンスに相当する音声のそれぞれのデータを統合データ検索部２１３を介してモニタ画像・音声保管部２０６から抽出して、これらのデータをつなぎ合わせて再生用の音声データを生成する。そして統合データ表示指示部２１７は、このように生成した再生用の音声データを統合データ表示再生部３０２へを送り、その再生を指示する。この指示に応じて統合データ表示再生部３０２は、上記の再生用の音声データに基づいて音声を再生する。こののちに医用画像保管装置２は、ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態に戻る。

かくして、ユーザＵ１は現状の要否設定により得られる音声の内容を確認することができる。なお、音声の内容は表示されたテキストから判断が可能であるが、音声認識率の問題でテキストは音声の内容を完全に正しくは表さないことがある。また、テキストからは、ユーザＵ２の発声の微妙なニュアンスなどを知ることはできない。このため、音声の再生により音声の内容を確認できることは有用である。

ステップＳｃ１４乃至ステップＳｃ１６の待ち受け状態において、ユーザＵ１が例えば保存ボタンＢ１２をクリックするなどして保存を要求したとすると、医用画像保管装置２はステップＳｃ１６からステップＳｃ１９へ進む。ステップＳｃ１９において医用画像保管装置２は、各センテンスの要否設定を記録する。具体的には、統合データ編集管理部２１６が統合データ編集部２１５に要否設定の記録を指示する。この指示に応じて統合データ編集部２１５は、要否設定を表す設定情報をデータベース２０７に記憶させる。こののちに医用画像保管装置２は、ステップＳｃ３に戻る。

ステップＳｃ４乃至ステップＳｃ７の待ち受け状態にあるときに、ユーザＵ１が例えば内容確認ボタンＢ３をクリックするなどして音声情報表示を要求したとすると、医用画像観察装置２はステップＳｃ６からステップＳｃ２０（図１０）へ進む。ステップＳｃ２０において医用画像観察装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声が既に分析済みであるか否かを確認する。そして分析済みではないと判定した場合には、医用画像保管装置２はステップＳｃ２０からステップＳｃ２１へ進む。ステップＳｃ２１において医用画像保管装置２は、表示中のＤＩＣＯＭ画像に関連付けられている音声ファイルが表す音声を分析する。ステップＳｃ２２においては統合データ分析部２１４が、上記の分析の結果として得られるテキスト情報を、分析対象の音声ファイルに関連付けてモニタ画像・音声保管部２０６に保存する。そしてこののちに医用画像保管装置２は、ステップＳｃ２４へ進む。

一方、音声が既に分析済みである場合には、医用画像保管装置２はステップＳｃ２０からステップＳｃ２３へ進む。ステップＳｃ２３においては統合データ編集管理部２１６が、音声ファイルに関連付けられているテキスト情報を統合データ検索部２１３を介してモニタ画像・音声保管部２０６から、また当該テキスト情報に関する設定情報を統合データ検索部２１３を介してデータベース２０７からそれぞれ取得する。そしてこののちに医用画像保管装置２は、ステップＳｃ２４へ進む。

ステップＳｃ２４において医用画像保管装置２は、音声情報画面を医用画像観察装置３にて表示させる。具体的には、統合データ編集管理部２１６が、ステップＳｃ２１での分析で得られたテキスト情報および全てのセンテンスの要否設定を「要」とした設定情報か、またはステップＳｃ２３で取得したテキスト情報および設定情報を統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、受け取ったテキスト情報および設定情報に基づく音声情報表示エリアを含んだ音声情報画面を作成し、この音声情報画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、音声情報画面を表示する。

図１６は音声情報画面の一例を示す図である。

符号ＡＲ２を付して示されるエリアが音声情報表示エリアである。音声情報画面はほかに、全文再生ボタンＢ２１を含む。

音声情報表示エリアＡＲ２には、要否設定が「要」となっているセンテンスがそれぞれ表されている。

音声情報画面が表示された状態で医用画像保管装置２はステップＳｃ２５乃至ステップＳｃ２７において、表示されているセンテンスのいずれかが選択されるか、全文再生が要求されるか、あるいは音声情報表示の終了が要求されるのを待ち受ける。

この待ち受け状態において、ユーザＵ１が表示されているセンテンスの表示範囲のいずれかをクリックしたとすると、医用画像観察装置２はステップＳｃ２５からステップＳｃ２８へ進む。ステップＳｃ２８において医用画像観察装置２は、クリックされたセンテンスの先頭に相当する日時を始点として、それ以降の期間に対応し、かつ要否設定が「要」である各センテンスの音声を統合データ表示再生部３０２に再生させる。また、音声情報表示エリアＡＲ２に表示したテキスト情報の抽出元である音声ファイルに静止画ファイルまたは動画ファイルが関連付けられているならば、医用画像保管装置２は当該静止画ファイルまたは動画ファイルに基づいて静止画または動画を統合データ表示再生部３０２に表示させる。なお、動画を表示させる場合には、音声を再生する期間と同じ期間に関する動画を音声と同期させて表示させる。ただし、動画と音声とは、同期していなくても良い場合もあり、この場合には動画と音声とをそれぞれに表示させる。こののちに医用画像保管装置２は、ステップＳｃ２５乃至ステップＳｃ２７の待ち受け状態に戻る。

かくして、ユーザＵ１は音声情報画面における表示や再生される音声により、ユーザＵ２が手技の際に注目していたモニタ画像とユーザＵ２が発した音声とを任意の時点から観察することができる。

ステップＳｃ２５乃至ステップＳｃ２６の待ち受け状態において、ユーザＵ１が例えば全文再生ボタンＢ２１をクリックするなどして全文の再生を要求したとすると、医用画像保管装置２はステップＳｃ２６からステップＳｃ２９へ進む。ステップＳｃ２９において医用画像保管装置２は、要否設定が「要」であるセンテンスに相当する音声の全てを統合データ表示再生部３０２に再生させる。こののちに医用画像保管装置２は、ステップＳｃ２５乃至ステップＳｃ２７の待ち受け状態に戻る。

かくして、ユーザＵ２は現状の要否設定により得られる音声全文の内容を確認することができる。

ステップＳｃ２５乃至ステップＳｃ２７の待ち受け状態において、ユーザＵ１が音声情報表示の終了を要求したとすると、医用画像保管装置２はステップＳｃ２７からステップＳｃ３に戻る。

ところで、図８に示すステップＳｃ４乃至ステップＳｃ７の待ち受け状態において、ユーザＵ１が例えば新規追加ボタンＢ４をクリックするなどして新規追加を要求したとすると、医用画像保管装置２はステップＳｃ７からステップＳｃ３０（図１１）へ進む。ステップＳｃ３０において医用画像保管装置２は、録音操作画面を医用画像観察装置３にて表示させる。具体的には、統合データ表示指示部２１７は、新規追加ボタンＢ４がクリックされた際にビューア画面に含まれていたＤＩＣＯＭ画像を含むとともに、録音ボタン、確認再生ボタンおよび確定ボタンを含んだ画面として録音操作画面を作成し、この録音操作画面の表示を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、録音操作画面を表示する。

図１７は録音操作画面の一例を示す図である。

図１７における符号ＩＭ２、Ｂ３１、Ｂ３２およびＢ３３が、ＤＩＣＯＭ画像、録音ボタン、確認再生ボタンおよび確定ボタンをそれぞれ示す。

録音操作画面を表示させつつステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態において医用画像観察装置２は、録音開始、確認再生および確定のいずれかが要求されるのを待ち受ける。

この待ち受け状態にあるときに、ユーザＵ１が例えば録音ボタンＢ３１をクリックするなどして録音開始を要求したとすると、医用画像観察装置２はステップＳｃ３１からステップＳｃ３４へ進む。ステップＳｃ３４において医用画像観察装置２は、音声ファイルの記録を開始する。具体的には、ユーザＵ１の録音開始の要求は、統合データ編集指示部３０４によって統合データ編集管理部２１６に伝えられる。そして統合データ編集指示部３０４は、それ以降において音声取得部３０３が音声入力部８０１から取得する音声データを統合データ編集管理部２１６に送る。そこで統合データ編集管理部２１６は、この音声データを統合データ編集部２１５に渡す。そうすると統合データ編集部２１５は、この音声データを新たな音声ファイルとしてモニタ画像・音声保管部２０６に記録して行く。

このように音声ファイルを記録しつつ医用画像保管装置２は、ステップＳｃ３５にて録音終了が要求されるのを待ち受ける。そしてユーザＵ１が例えば録音ボタンＢ３１を再度クリックするなどして録音終了を要求したとすると、医用画像保管装置２はステップＳｃ３５からステップＳｃ３６へ進み、音声ファイルの記録を終了する。こののちに医用画像保管装置２は、ステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態に戻る。

ステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態において、ユーザＵ１が例えば確認再生ボタンＢ３２をクリックするなどして確認再生を要求したとすると、医用画像保管装置２はステップＳｃ３２からステップＳｃ３７へ進む。ステップＳｃ３７において医用画像保管装置２は、ステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルに基づく音声の再生を医用画像観察装置３に行わせる。具体的には、確認再生の要求がなされたことが統合データ編集指示部３０４から伝えられると、統合データ編集管理部２１６がステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルの読み出しを統合データ検索部２１３に指示する。この指示に応じて統合データ検索部２１３は、ステップＳｃ３４乃至ステップＳｃ３６において記録された音声ファイルをモニタ画像・音声保管部２０６から読み出し、この音声ファイルを統合データ表示指示部２１７に渡す。統合データ表示指示部２１７は、この音声データに基づく音声の再生を統合データ表示再生部３０２に指示する。この指示に応じて統合データ表示再生部３０２は、当該音声データに基づいて音声を再生する。こののち、医用画像保管装置２はステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態に戻る。

かくして、ユーザＵ１はステップＳｃ３４乃至ステップＳｃ３６において新たに記録した音声の内容を確認することができる。

ステップＳｃ３１乃至ステップＳｃ３３の待ち受け状態において、ユーザＵ１が例えば確定ボタンＢ３３をクリックするなどして確定を要求したとすると、医用画像保管装置２はステップＳｃ３３からステップＳｃ３８へ進む。ステップＳｃ３８において医用画像保管装置２は、ステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルに関する管理データをデータベース２０７に記録することによって、上記音声ファイルの記録を有効化、すなわち音声ファイルを確定する。具体的には、確定の要求がなされたことが統合データ編集指示部３０４から伝えられると、統合データ編集管理部２１６がステップＳｃ３４乃至ステップＳｃ３６において記録した音声ファイルに関する管理データを作成し、この管理データの記録を統合データ編集部２１５に指示する。この指示に応じて統合データ編集部２１５は、該当する管理データをデータベース２０７に記憶させる。

続いて医用画像保管装置２はステップＳｃ３９において、今回記録した音声ファイルの関連付けを行う。具体的には、統合データ編集部２１５が、録音操作画面に含まれたＤＩＣＯＭ画像についてのＤＩＣＯＭ画像データを含んだＤＩＣＯＭデータを、今回記録した音声ファイルのファイル名またはモニタ画像・音声保管部２０６での保管場所を示した付帯情報を含むように編集する。また、このＤＩＣＯＭデータに対して静止画ファイルまたは動画ファイルが関連付けられているならば、そのファイルのファイル名をステップＳｃ３８で記録した管理データに追加するとともに、そのファイルの管理データに今回記録した音声ファイルのファイル名を追加する。こののちに医用画像保管装置２は、ステップＳｃ３に戻る。

以上のように本実施形態によれば、手技中の手技内容を音声によってモニタ画像に関連付けて記録できる。このため、手技後に手技内容を容易に、かつ的確に確認することが可能となり、手術所見の記録におけるユーザの負担を大幅に軽減できる。

また本実施形態によれば、モニタ画像と音声との関連付けのみならず、ＤＩＣＯＭ画像と音声との関連付けも行うので、ＤＩＣＯＭ画像を参照した手術所見の作成も容易となる また本実施形態によれば、記録されている音声の内容をセンテンス分割してテキストで提示するので、ユーザは音声を再生させなくとも音声の内容の概略を把握することが可能となる。

また本実施形態によれば、センテンス毎に音声や動画の再生開始タイミングを選択可能としているから、ユーザは観察したい情報を容易に得ることができる。

この実施形態は、次のような種々の変形実施が可能である。

(1) 音声ファイル、静止画ファイルおよび動画ファイルは、ＤＩＣＯＭデータの特定タグ内に取り込んで、実データレベルでの統合を図っても良い。

(2) 静止画データまたは画像データと音声データとを統合したマルチメディアファイルとして保管しても良い。

(3) ＤＩＣＯＭデータと他のデータファイルとの関連付けを示す付帯情報をＤＩＣＯＭデータに含めずに、それらの関連性を示した管理情報をＤＩＣＯＭデータのそれぞれに関連付けてデータベース２０７に記憶させても良い。

(4) 全てのデータの関連性を一覧として示した管理情報によって各データの関連性を管理しても良い。

(5) 管理情報に検査インスタンスＵＩＤなどの検査を一意に識別するための情報を含めることで、検査に対する各データファイルの関連付けを容易に把握することも可能となる。同様にシリーズを一意に識別するための情報を付加し、シリーズに対する各データファイルの関連付けを保持することとしても良い。

(6) ＤＩＣＯＭの特定タグに関連付けを保持する方法では、関連付けを行った装置とは別の装置にＤＩＣＯＭファイルを転送した場合でも容易に関連付けを把握できるといったメリットが期待できる。また、データベース２０７に関連付けを記述した管理データを保持する方法では、管理対象データが増加しても検索・参照時のレスポンス劣化を低減できるというメリットが期待できる。そこで、装置内ではデータベース２０７内に管理データを保持しておき、転送時にはＤＩＣＯＭの特定タグに関連付けを持たせて転送する、といった手段もとることができる。

(7) 抽出患者ＩＤと入力患者ＩＤとが一致しなかった場合でも、ユーザが許容するならば静止画ファイルまたは動画ファイルの記録を行っても良い。このとき、記録を許容するか否かのユーザ設定は、複数の検査で共通に適用されるものであっても良いし、検査毎に適用されるものであっても良い。

(8) 事前の設定があるものとして、患者ＩＤが異なっておりユーザがそれを許容しない場合、ユーザに対し警告メッセージを出す際に取得画像の処理方法選択を促し、それに応じて処理方法を決めることとしても良い。例えば「許容」「関連付けずに保存」「削除」といった選択ボタンを表示し、「許容」を押したら許容と設定されていた場合の処理に移行し、「関連付けずに保存」では関連付けをせずに取得画像を保存し、「削除」の場合は取得画像を削除する、といった処理のしかたもありうる。

(9) モニタ５によるモニタ画像は、カメラを用いて通信ユニット４に入力することもできる。

(10) モニタ５によるモニタ画像に撮影日時が映し出されていない場合、ＤＩＣＯＭ画像に関連付けるべきモニタ画像を選定するために、両画像を比較しても良い。例えば、画像内の血管の形態を比較することにより、同時期に撮影された画像を見つけ出すことが可能である。

(11) 同一の画像が見つからない場合、同一の画像が判定できなかった場合、またはモニタ画像を特定のＤＩＣＯＭ画像ではなく特定患者や検査に関連付けたい場合がある。この場合、モニタ画像とＤＩＣＯＭ画像とで同一のものがなかった、または判定できない場合は、モニタ画像と特定のＤＩＣＯＭ画像とを関連付けることは止め、モニタ画像は特定の患者、または特定の検査に関連付くデータとして扱うこととしても良い。特定の検査に関連付けるためには、モニタ画像取得時に患者ＩＤのみでなく検査ＩＤも入力しておくこととすれば良い。

(12) 検査にのみ関連付けることを設定ファイルなどで設定しておくことも考えられる。

(13) モニタ５に映し出されたモニタ画像を取得できない場合、以下のような対応も可能である。すなわち、手技中には音声および録音日時と予め入力された患者ＩＤのみを記録しておく。手技後に受信したＤＩＣＯＭ画像との紐付けには、患者ＩＤと撮影日時を用いる。ＤＩＣＯＭ画像の付帯情報にある患者ＩＤをキーに紐付け前の音声情報を取得し、ＤＩＣＯＭ画像の付帯情報にある撮影日時と音声情報録音日時を比較する。録音日時が撮影日時より後で最も近い日時のものを該当のＤＩＣＯＭ画像に統合（関連付け）して保管しても良いし、録音日時が撮影日時の前後一定時間内のものを該当のＤＩＣＯＭ画像に統合（関連付け）して保管しても良い。いずれの手法を取るか、また後者で一定時間とはどのくらいか、については予めユーザが設定しておくこととしても良い。

(14) 音声の分析は、統合データ表示再生部３０２および統合データ編集指示部３０４に再生機能および再生ポイント指定機能を持たせて、ユーザＵ１の補助を得て行っても良い。

(15) 必要に応じ、音声ファイルや動画ファイルを再生ポイント情報に基づき分割して保管しても良い。その場合、管理データやＤＩＣＯＭデータに付加された関連付けを示した付帯情報も更新する。ＤＩＣＯＭデータ内に音声ファイルや動画ファイルを保持している場合は、それを分割処理しても良い。

(16)追加録音により生成された音声データをＤＩＣＯＭデータの特定タグに挿入しても良い。

(17) ユーザＵ１により不要であると指定されたセンテンスに関する情報をテキスト情報から削除したり、当該センテンスに対応する音声データを音声ファイルから削除しても良い。

(18) 統合データ編集管理部２１６は、編集後の音声ファイルや動画ファイルを分割するかどうかは選択可能としている。これは統合データ分析部２１４により再生ポイントの情報を得ていることから、オリジナルのファイルからでも再生ポイントを指定して部分再生が可能なためである。データ保管容量の削減などのため、分割して不要な部分を削除するなどしても良いし、オリジナルのファイル容量が大きいためそのまま部分再生するには時間がかかるなどの理由でファイルを分割することとしても良い。

(19) 図１２乃至図１７は一例であり、音声や映像の識別表示方法、再生方法などはこれに限らない。音声情報と映像情報のそれぞれについて有無を表示しても良い。再生ボタンやメニューを複数用意し、音声のみの再生、映像のみの再生、動画（音声付き映像）の再生を選択できるようにしても良い。映像の再生時には、別ウィンドウが開いて再生することとしても良いし、同一ウィンドウ内の特定エリアなどで再生することとしても良い。

(20) 図１６では、センテンスのそれぞれに対応付けてボタンを用意しておき、クリックされたボタンに対応するセンテンスから再生を開始しても良い。

(21) 表示中のＤＩＣＯＭ画像がダブルクリックされたなどの上記実施形態に例示した以外の操作がなされたことをもって再生要求がなされたものとしても良い。ＤＩＣＯＭ画像ＩＭ１にモニタ画像と音声との双方が関連付けられている場合には、設定によりどちらをダブルクリックされたなどの上記実施形態に例示した以外の操作で再生開始するかを判断しても良い。

(22) ＤＩＣＯＭ画像に関連する音声やモニタ画像の重要度を判断する目安として、一覧画面や画像参照画面で関連する音声やモニタ画像の再生秒数を表示しても良い。長時間の記録には重要な情報が含まれている可能性が高いからである。また、ユーザの操作により特に重要なものにチェックマークをつける機能を付加しても良い。

(23) 一覧画面や各画像の参照画面で、既に参照した音声やモニタ画像と未参照の音声やモニタ画像とを識別可能とする表示も有用である。この場合、その情報をいつ参照したかや、何回参照したかも分かるように表示することで、無駄な参照を減ずることができる。

(24) 各画像の参照画面から、同一患者の過去検査をすぐに参照できるようにし、特に音声やモニタ画像が関連付けられているものをすぐ参照できるようにすることも有用である。

(25) 読影の際など、複数の画像を同時にモニタに並べて参照することもあるが、この場合にも特定の画像を選択し、関連する音声およびモニタ画像を参照するようにすることは有用である。その場合、現在再生中の情報がどの画像に関連するものかを示す工夫も重要である。例えば関連情報を再生中の画像についてはウィンドウ枠やタイトルバーの色を変えたり、画像上のマークや形を変えたるするなどが考えられる。

(26) 聞き漏らし等を防ぐためには、音声およびモニタ画像が複数存在している場合に、それが一覧または各画像の参照画面上で識別できるような表示も有用である。関連付いた音声およびモニタ画像の数、未参照の音声およびモニタ画像の数や存在有無などを表示する例が考えられる。

(27) 追加記録された音声ファイルは、別の音声ファイルが既に関連付けられているファイルやＤＩＣＯＭデータに関連付けても良い。複数の音声ファイルが関連付けられた画像の参照時には、それら複数の音声ファイルに関する全ての情報を表示しスクロールさせても良いし、どの音声等を参照するか選択するリストを表示し、選択したものを次画面で表示するなどしても良い。当該画面上に削除ボタンを付加し、該当する音声等を削除する機能を設けても良い。

(28) 統合データ表示指示部２１７は、各種のデータを統合データ検索部２１３または統合データ編集管理部２１６から受け取るようにしているが、これらからはキーとなる情報のみ受け取り、統合データ表示指示部２１７が直接データベース２０７などにアクセスして情報を収集しても良い。

(29) 統合データ分析部２１４、統合データ編集部２１５、統合データ編集管理部２１６および統合データ表示指示部２１７の機能の一部または全てを医用画像観察装置３に備え、図８乃至図１１の処理を医用画像観察装置３にて行うようにしても良い。

(30) 静止画ファイルおよび動画ファイルと音声ファイルとの関連付けのルールは任意に設定が可能である。例えば、既に記録された音声ファイルに関連付けられなかった静止画の全てを次に記録される音声ファイルに関連付けても良い。また例えば、音声ファイルに対して、それの録音が開始される前の一定期間に記録された静止画ファイルの全てを関連付けても良い。また例えば、録音が行われていないときに記録された静止画ファイルは、それが記録される前または後に記録された音声ファイルが動画ファイルに関連付けられようとも、当該音声ファイルに対して関連付けても良い。また例えば、音声ファイルに対しては、その録音中に記録された複数の静止画ファイルの一部のみを関連付けても良い。

(31) 上記の変形例(30)の一例として示したように１つの音声ファイルに静止画ファイルおよび動画ファイルの双方を関連付ける場合には、これらの音声ファイル、静止画ファイルおよび動画ファイルのそれぞれにＤＩＣＯＭ画像を関連付けても良い。

(32) 音声再生の要求と画像表示の要求とを個別に受け付けるようにし、音声再生が要求された場合には表示されている画像に関連付けられている音声の再生を行い、画像表示が要求された場合には表示されている画像に関連付けられている別の画像を表示しても良い。

(33) ステップＳｃ３においては、互いに関連付けられたＤＩＣＯＭ画像と静止画または動画とを並べて表示しても良い。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。

１…医用画像撮影装置、２…医用画像保管装置、３…医用画像観察装置、４…通信ユニット、５…モニタ、６…マイク、７…キーパッド、８…マイク、９…ネットワーク、１０１…撮影指示部、１０２…撮影部、１０３…画像表示指示部、１０４…画像データ編集部、１０５…画像データ送信部、２０１…モニタ画像取得部、２０２…音声取得部、２０３…モニタ画像・音声管理部、２０４…モニタ画像解析部、２０５…モニタ画像・音声登録部、２０６…モニタ画像・音声保管部、２０７…データベース、２０８…画像データ受信部、２０９…画像・音声統合管理部、２１０…ＤＩＣＯＭデータ編集部、２１１…ＤＩＣＯＭデータ登録部、２１２…ＤＩＣＯＭデータ保管部、２１３…統合データ検索部、２１４…統合データ分析部、２１５…統合データ編集部、２１６…統合データ編集管理部、２１７…統合データ表示指示部、３０１…統合データ検索指示部、３０２…統合データ表示再生部、３０３…音声取得部、３０４…統合データ編集指示部、５０１…モニタ画像表示部、６０１…音声入力部、７０１…情報・要求入力部、８０１…音声入力部。

Claims (4)

1. 医用画像撮影装置により撮影された医用画像および当該医用画像を医療行為の実施者によりモニタさせるためにモニタ装置にて表示されるモニタ画像の少なくともいずれか一方と前記実施者が発する音声とが互いに関連付けて記憶された記憶媒体にアクセス可能であるとともに、表示デバイスに任意の画像を表示させることが可能であり、さらに音声再生デバイスに任意の音声を再生させることが可能な医用画像処理装置において、
   前記記憶媒体に記憶された前記医用画像または前記モニタ画像を前記表示デバイスに表示させる表示制御手段と、
   音声再生が要求されたことに応じて、前記表示デバイスに表示させている前記医用画像または前記モニタ画像に関連付けて前記記憶媒体に記憶された前記音声を前記音声再生デバイスに再生させる音声再生制御手段と、
   前記記憶媒体に記憶された前記音声が表す文章を構成する複数の要素を取り出す手段とを具備し、
   前記表示制御手段は、前記記憶媒体に記憶された前記モニタ画像と、当該モニタ画像に関連付けて前記記憶媒体に記憶された前記音声に関して取り出された複数の前記要素のそれぞれを文字により表した音声確認画像とを前記表示デバイスに表示させることを特徴とする医用画像処理装置。
2. 前記表示デバイスに表示されている前記音声確認画像に表された複数の前記要素のそれぞれについて、前記医用画像処理装置の使用者の指示に応じて表示／非表示を設定する手段をさらに備え、
   前記表示制御手段は、前記非表示として設定された前記要素を表した文字を前記音声確認画像から除外することを特徴とする請求項１に記載の医用画像処理装置。
3. 前記音声確認画像に表された複数の前記要素のうちのいずれかを前記医用画像処理装置の使用者の指示に応じて選択する手段をさらに備え、
   前記音声制御手段は、前記表示デバイスに表示されている前記モニタ画像に関連付けて前記記憶媒体に記憶された前記音声のうちの前記選択された要素に関連する一部分を前記音声再生デバイスに再生させることを特徴とする請求項１または請求項２に記載の医用画像処理装置。
4. 前記医用画像処理装置の使用者が発する音声を取得する手段と、
   前記表示デバイスでの表示対象となっていて前記記憶手段に記憶されている前記医用画像または前記モニタ画像に関連付けて、取得された前記音声を前記記憶媒体に記憶させる音声記憶制御手段とを更に具備したことを特徴とする請求項１に記載の医用画像処理装置。

Images