JP5832742B2

JP5832742B2 - 画像診断装置

Info

Publication number: JP5832742B2
Application number: JP2010272874A
Authority: JP
Inventors: 加藤　徹; 徹加藤; 元吉田; 小林　信夫; 信夫小林
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2015-12-16
Anticipated expiration: 2030-12-07
Also published as: JP2012120643A

Description

本発明の実施形態は、検査により得られた画像データを保存し、その画像データの検索を行うことができる画像診断装置に関する。

Ｘ線診断装置、超音波診断装置、内視鏡装置等の画像診断に用いられる画像診断装置では、検査中に生成された画像データを表示部に表示させて画像データを収集し、収集した画像データを記憶部に保存する。そして、検査中に複数回の収集により得られた画像データが記憶部に保存されている場合、収集毎に得られた画像データを縮小したサムネイルデータを表示部に一覧表示させて、診断や治療に必要な画像データを検索する。

特開２００６−６９１５号公報

しかしながら、画像診断装置を用いた検査では、医師等の操作者は両手が塞がっていることが多く、自ら操作して記憶部に保存した画像データを直ぐに検索して表示することは難しい。このため、他者に頼ることが多く、収集した回数が多い場合や収集した画像データが複数フレームからなる動画像データである場合、短時間で検査に必要な画像データを検索することができない問題がある。

実施形態は、上記問題点を解決するためになされたもので、収集した画像データの検索に要する時間を短縮することができる画像診断装置を提供することを目的とする。

上記問題を解決するために、実施形態の画像診断装置は、被検体の画像を順次生成する画像生成部と、前記画像生成部にて前記画像が順次生成されているときの音声を収集する音声入力部と、前記画像が順次収集されているときに前記音声入力部により収集された第１の音声と、前記順次生成される画像のうち前記第１の音声を収集した時刻に対応する画像と、を時刻で関連付けて記憶する記憶部と、前記音声入力部により収集された第２の音声に基づいて検索を行う検索処理部と、前記検索の結果、前記第２の音声と一致又は類似する音声である前記第１の音声が前記記憶部に存在していた場合、前記第１の音声を収集した時刻に対応する画像又は該画像を縮小したサムネイル画像を表示する表示部とを備えたことを特徴とする。

実施形態に係るＸ線診断装置の構成を示すブロック図。実施形態に係る画像再生時に収集される音声及び画像再生時の時刻の一例を示す図。実施形態に係るＸ線診断装置の動作を示すフローチャート。実施形態に係る検査中に収集される音声及び収集される画像データの一例を示す図。実施形態に係る第２の表示部に第１及び第２のサムネイルデータ並びに第１の文字データが表示された画面の一例を示す図。実施形態に係る第２の表示部に第１の画像データ、第１及び第２のサムネイルデータ並びに検索情報が表示された画面の一例を示す図。実施形態に係る第２の表示部に画像一覧が表示された画面の一例を示す図。

以下、図面を参照して実施形態を説明する。なお、Ｘ線診断装置、超音波診断装置、及び内視鏡装置等の各画像診断装置に適用可能であるが、以下に説明する実施形態では、Ｘ線診断装置の例を説明する。

図１は、実施形態に係るＸ線診断装置の構成を示したブロック図である。このＸ線診断装置１００は、検査を行うために被検体Ｐを撮影する撮影部１０と、撮影部１０の撮影に基づき画像データを生成する画像データ生成部２０と、Ｘ線診断装置１００を用いて被検体Ｐの検査を行う医師等の操作者が発する音声を収集する音声入力部３０と、音声入力部３０により収集された音声と画像データ生成部２０で生成された画像データの内の収集された画像データとを関連付けて保存するデータ記憶部４０とを備えている。

また、Ｘ線診断装置１００は、操作者を識別する操作者情報、被検体Ｐを識別する被検体情報、及び被検体Ｐに照射するＸ線の照射条件等の検査情報の入力、画像データ生成部２０で生成された画像データを収集するための入力等を行う操作入力部５０と、音声入力部３０により収集された音声に基づいてデータ記憶部４０に保存された画像データの検索やその音声を認識してテキスト化を行う情報処理部６０と、画像データ生成部２０で生成された画像データや情報処理部６０で検索された画像データ等を表示する表示部７０と、撮影部１０、画像データ生成部２０、データ記憶部４０、及び情報処理部６０の各ユニットを統括して制御するシステム制御部８０とを備えている。

撮影部１０は、被検体Ｐに照射するＸ線を発生するＸ線管１１と、このＸ線管１１からの照射により被検体Ｐを透過したＸ線を検出して投影データを生成するＸ線検出器１２と、Ｘ線管１１及びＸ線検出器１２を回動可能に支持するアーム１３とを備えている。また、撮影の際に被検体Ｐが載置される天板１４と、アーム１３及び天板１４を駆動する駆動部１５と、Ｘ線を発生させるための高電圧をＸ線管１１に供給する高電圧発生部１６とを備えている。そして、撮影により生成した投影データを画像データ生成部２０へ出力する。

画像データ生成部２０は、撮影部１０で被検体ＰへのＸ線照射によりＸ線検出器１２で生成された投影データに基づいて画像データを生成し、生成した画像データを表示部７０へ出力する。そして、操作入力部５０から画像データを収集するための入力操作である収集操作が行われると、生成した画像データの内、収集操作に応じたタイミングの例えば１フレームからなる静止画再生が可能な画像データ（静止画像データ）や所定の時間間隔で連続する複数フレームからなる動画再生が可能な画像データ（動画像データ）と、この画像データが収集された各フレームの時刻（収集時刻）と、システム制御部８０から供給されるその画像データに関連する検査情報とをデータ記憶部４０に出力する。

音声入力部３０は、この利用者である操作者毎に取り付けられる例えばピンマイクを有し、操作入力部５０からの入力により音声収集が設定されていると、操作入力部５０により検査開始の操作が行われてから検査終了の操作が行われるまでの検査中において、操作者が発する音声を収集する。そして、収集した音声をデータ記憶部４０に出力する。

なお、操作入力部５０から検査中の音声非収集が設定入力されていると、検査中に操作者が発する音声は、データ記憶部４０に保存されない。また、検査中において、画像の再生開始の操作が行われてから再生終了の操作が行われるまでの画像再生時の音声を収集する。そして、収集した画像再生時の音声をデータ記憶部４０に出力する。

また、音声入力部３０は、検査中において、音声検索の開始操作が行われてから音声検索の終了操作が行われるまでの検索入力時に検査中の音声収集を中断し、データ記憶部４０に保存された画像データを検索するために操作者が発する音声を検索入力する。そして、検索入力した音声を情報処理部６０に出力する。

音声入力部３０は、検査開始の操作が行われる前及び検査終了の操作が行われた後の待機中において、操作入力部５０から音声検索の開始操作が行われると、音声検索の終了操作が行われるまでの間、データ記憶部４０に保存された画像データを検索するために操作者が発する音声を検索入力する。そして、検索入力した音声を情報処理部６０に出力する。

また、音声入力部３０はバッファメモリを有し、図２に示すように、操作入力部５０からの入力により収集開始時間ΔＴｐ１及び収集終了時刻ΔＴｐ２が設定されていると、待機中において、データ記憶部４０に保存された画像データを再生させる画像再生開始の操作が行われたときの時刻Ｔｐ１よりも収集開始時間ΔＴｐ１前の開始時刻Ｔｐ３から、画像再生終了の操作が行われたときの時刻Ｔｐ２より収集終了時間ΔＴｐ２経過した終了時刻Ｔｐ４までの画像再生時の音声を収集する。そして、収集した画像再生時の音声をデータ記憶部４０に出力する。

データ記憶部４０は、音声入力部３０により収集された音声と画像データ生成部２０で生成される画像データの内の収集された画像データとを時刻で関連付けて保存する音声記憶部４１及び画像データ記憶部４２を備えている。また、操作入力部５０により検索入力された検索語等を保存する検索語記憶部４３を備えている。

音声記憶部４１は、検査中の検索入力時以外のときに、音声入力部３０により収集された音声を保存すると共に、その音声に関連付けて検査中の時刻を保存する。また、待機中において、画像再生時に収集された音声及び画像再生時の時刻を保存する。

画像データ記憶部４２は、画像データ生成部２０で生成された画像データの内の操作入力部５０からの収集操作により収集された画像データ、この画像データが収集された時刻、及び収集された画像データに関連する検査情報を保存する。また、操作入力部５０からの画像再生開始の操作により再生された画像データの再生時刻を保存する。

検索語記憶部４３は、検査毎に操作入力部５０により検索入力される検索語にその検査の識別情報として被検体情報及び操作者情報を関連付けて保存する。また、操作入力部５０により検索入力された検索語の入力頻度の情報を、その検索語に関連付けて保存する。

なお、Ｘ線診断装置１００が設置される医療機関内にＸ線診断装置１００にネットワークを介して接続される検索記憶装置を設け、検索語記憶部４３に保存する検索語及びこの検索語に関連する情報を検索語装置に保存するように実施してもよい。また、その医療機関内の他の検査部門で使用されるＸ線診断装置等の画像診断装置をネットワークを介して検索語装置と接続し、その画像診断装置に入力される検索語を検索語装置に保存するように実施してもよい。

操作入力部５０は、キーボード、トラックボール、ジョイスティック、マウス、スイッチ等の入力デバイスを備え、検査情報の入力を行う。また、検査開始及び検査終了の操作、画像データの収集操作、画像データの再生を行う画像再生開始の操作等の操作による各種コマンドの入力を行う。また、検査中又は待機中に画像データの検索を行うために入力デバイスを操作する操作者の検索操作により、検索語の入力を行う。

情報処理部６０は、データ記憶部４０の画像データ記憶部４２に保存された画像データを、音声入力部３０により検索入力された音声及び操作入力部５０から入力された検索語に基づいて検索する検索処理部６１と、音声入力部３０から検索入力された音声を認識してテキスト化する音声認識部６２とを備えている。

検索処理部６１は、操作入力部５０からの音声検索の開始操作に応じて、音声入力部３０により検索入力された音声と一致又は類似する音声が収集された時刻（音声収集時刻）を音声記憶部４１から検索する。次いで、検索した音声収集時刻に一致する又は近い時刻に収集された画像データを画像データ記憶部４２から検索し、検索した画像データに音声認識部６２で検索入力された音声に基づいて得られる検索語を付加して画像データ記憶部４２に保存する。また、操作入力部５０からの検索語の入力操作に応じて、検索入力される検索語が付加された画像データを画像データ記憶部４２から検索する。そして、画像データ記憶部４２から検索した画像データが複数フレームである場合、その複数フレームの画像データを縮小してサムネイルデータを生成し、生成したサムネイルデータを表示部７０に出力する。また、検索した画像データが１フレームである場合、その画像データを表示部７０に出力する。

ここで、検索した音声収集時刻に一致する時刻に収集された静止画像データ、又は動画像データの内の１フレームの画像データを検索する。そして、検索した音声収集時刻に一致する時刻に収集された画像データが画像データ記憶部４２に保存されていない場合、検索した音声収集時刻に最も近い時刻に収集された１フレームの画像データを検索する。

そして、検索した音声収集時刻に最も近い時刻に収集された画像データが動画像データであり、且つ、その動画像データが収集された時刻が検索した音声収集時刻よりも早い時刻である場合、その動画像データの内の最も遅い時刻に収集された１フレームの画像データを検索する。また、検索した音声収集時刻に最も近い時刻に収集された動画像データであり、且つ、その動画像データが収集された時刻が検索した音声収集時刻よりも遅い時刻である場合、その動画像データの内の最も早い時刻に収集された１フレームの画像データを検索する。

また、検索処理部６１は、画像データ記憶部４２に保存された画像データを再生させる画像再生開始の操作が操作入力部５０から行われると、各フレームの画像データを画像データ記憶部４２から読み出して表示部７０に再生表示させる。また、再生表示した画像データに再生時刻を付加して画像データ記憶部４２に保存する。

更に、検索処理部６１は、検索語記憶部４３から操作者情報及びこの操作者情報と関連する検索語を読み出して、操作者情報別にこの操作者情報と関連する検索語の一覧を表示部７０に表示させる。また、検索語記憶部４３から入力頻度の高い順に検索語を読み出して、入力頻度の高い順に検索語の一覧を表示部７０に表示させる。また、検索語記憶部４３から被検体情報及びこの被検体情報と関連する検索語を読み出して、被検体情報別に検索語の一覧を表示部７０に表示させる。そして、操作入力部５０から表示部７０に一覧表示される検索語を選択する操作が行われると、選択された検索語が付加された画像データを画像データ記憶部４２から検索して表示部７０に表示させる。

音声認識部６２は、音声入力部３０により検索入力された音声を認識してテキスト化し、テキスト化した文字データを検索処理部６１に出力する。なお、音声入力部３０により検索入力された音声を発した操作者を特定し、特定した操作者が予め限定した操作者である場合に文字データとして判定するように実施してもよい。

表示部７０は、液晶パネルやＣＲＴ等のモニタを備えた第１及び第２の表示部７１，７２により構成される。そして、第１の表示部７１は、被検体Ｐの撮影により画像データ生成部２０で生成された画像データをリアルタイムに表示する。また、操作入力部５０から音声収集が設定入力されていると、検査中に例えば「録音中」等の実施の状態を示す情報を表示し、検査中の音声非収集が設定入力されていると、検査中に例えば「非録音」等の非実施の状態を示す情報を表示する。

第２の表示部７２は、音声入力部３０からの検索入力に応じて、情報処理部６０の検索処理部６１で検索された画像データ又はこの画像データのサムネイルデータを表示すると共に音声認識部６２でテキスト化された文字データを表示する。また、操作入力部５０からの画像再生表示の開始操作に応じて、検索処理部６１によりデータ記憶部４０の画像データ記憶部４２から読み出された画像データを再生表示する。

システム制御部８０は、ＣＰＵ及び記憶回路等を備え、操作入力部５０から入力された入力情報に基づいて、撮影部１０、画像データ生成部２０、データ記憶部４０、及び情報処理部６０の各ユニット及びシステム全体の制御を行う。また、音声入力部３０により入力された音声に基づいて、データ記憶部４０及び情報処理部６０を制御する。

以下、図１乃至図７を参照して、Ｘ線診断装置１００の動作の一例を説明する。
図３は、Ｘ線診断装置１００の動作を示したフローチャートである。操作入力部５０から被検体Ｐの検査を行うための検査情報が入力され、音声収集が設定入力された後、被検体Ｐの検査を行うために検査開始の操作が行われると、Ｘ線診断装置１００は検査の動作を開始する（ステップＳ１）。

システム制御部８０は、撮影部１０、画像データ生成部２０、データ記憶部４０、及び情報処理部６０を制御して、音声の収集及び撮影を開始させる。音声入力部３０は、図４に示すように、検査中の検索入力時以外のときに操作者が発する音声を全て収集し、収集した音声をデータ記憶部４０の音声記憶部４１に出力する。音声記憶部４１は、音声入力部３０から出力された音声を保存すると共に、その音声に関連付けて検査中の時刻を保存する（ステップＳ２）。

撮影部１０のＸ線管１１は天板１４上に載置された被検体ＰにＸ線を照射する。Ｘ線検出器１２は、被検体Ｐを透過したＸ線管１１からのＸ線を検出して投影データを生成し、生成した投影データを画像データ生成部２０に出力する。画像データ生成部２０は、Ｘ線検出器１２から出力された投影データに基づき画像データを生成し、生成した画像データを表示部７０の第１の表示部７１に出力する。第１の表示部７１は、画像データ生成部２０から出力された画像データを表示する。

第１の表示部７１に有用な画像データが表示されたとき、その画像データを観察する操作者により、図４に示すように、例えば病変部位名等の第１の音声を含む第１のコメントが発せられると、音声入力部３０は第１のコメントを収集し、音声記憶部４１は音声入力部３０により収集された第１のコメントを保存する。また、有用な画像データを収集するために１回目の収集操作が操作入力部５０から行われると、画像データ生成部２０は生成した画像データを第１の表示部７１に出力すると共に、その画像データ及びこの画像データの収集時刻をデータ記憶部４０の画像データ記憶部４２に出力する。画像データ記憶部４２は画像データ生成部２０から出力された例えば複数フレームの画像データから成る１回目の動画像データ及びこの動画像データの収集時刻を保存する（ステップＳ３）。

このように、第１の表示部７１に有用な画像データが表示されたとき、操作者が発する第１のコメント及びこの音声収集時刻を音声記憶部４１に保存すると共に、その有用な画像データである１回目の動画像データ及びこの動画像データの収集時刻を画像データ記憶部４２に保存することができる。

１回目の収集操作が行われた後、また第１の表示部７１に有用な画像データが表示されたとき、その画像データを観察する操作者により、図４に示すように、例えば第１及び第２の音声を含む第２のコメントが発せられると、音声入力部３０は第２のコメントを収集し、音声記憶部４１は音声入力部３０により収集された第２のコメントを保存する。また、その操作者により、有用な画像データを収集する２回目の収集操作が操作入力部５０から行われると、画像データ生成部２０は生成した画像データを第１の表示部７１に出力すると共に、その画像データ及びこの画像データの収集時刻を画像データ記憶部４２に出力する。画像データ記憶部４２は画像データ生成部２０から出力された例えば複数フレームの画像データから成る２回目の動画像データ及び収集時刻を保存する。（ステップＳ４）。

このように、第１の表示部７１に有用な画像データが表示されたとき、操作者が発する第２のコメント及びこの音声収集時刻を音声記憶部４１に保存すると共に、その有用な画像データである２回目の動画像データ及びこの動画像データの収集時刻を画像データ記憶部４２に保存することができる。

画像データ記憶部４２に２回目の動画像データが保存された後、操作入力部５０から例えば音声検索の開始操作が行われる。そして、収集した１回目及び２回目の動画像データの中から検査に必要な画像データを検索するため、例えば第１の音声を発すると、音声入力部３０は第１の音声を検索入力し、検索入力した第１の音声を情報処理部６０の検索処理部６１及び音声認識部６２に出力する。音声認識部６２は、音声入力部３０から出力された第１の音声を認識してテキスト化し、このテキスト化した第１の文字データを検索処理部６１に出力する。

検索処理部６１は、音声入力部３０から出力された第１の音声と一致又は類似する音声の収集時刻を音声記憶部４１から検索する。次いで、検索した音声収集時刻に一致する又は近い時刻に収集された画像データを画像データ記憶部４２から検索する（ステップＳ５）。

ここでは、音声記憶部４１に例えば第１の音声と一致する音声が２つ保存されているとする。また、その２つの音声の収集時刻の早い音声収集時刻に一致する時刻Ｔｒ１に収集された１フレームの画像データ（第１の画像データ）が１回目の動画像データに含まれ、遅い音声収集時刻に一致する時刻Ｔｒ２に収集された１フレームの画像データ（第２の画像データ）が２回目の動画像データに含まれているとする。

このように、操作者が第１及び第２のコメントに含まれる第１の音声を発することにより、第１の音声と一致又は類似する音声の収集時刻に一致する時刻に収集された第１及び第２の画像データを画像データ記憶部４２から検索することができる。これにより、検査中に両手が塞がっていても、操作者が自ら検査に必要な画像データを検索することができる。

検索処理部６１は、第１の音声に一致する音声の収集時刻を２つ検索し、検索した２つの音声収集時刻の早い音声収集時刻に一致する第１の画像データ及び遅い音声収集時刻に一致する第２の画像データを画像データ記憶部４２から検索する。そして、第１の画像データを縮小して第１のサムネイルデータを生成し、また第２の画像データを縮小して第２のサムネイルデータを生成する。次いで、生成した第１及び第２のサムネイルデータ並びに音声認識部６２から出力される第１の文字データを第２の表示部７２に出力する。第２の表示部７２は、検索処理部６１から出力された第１及び第２のサムネイルデータ並びに第１の文字データを表示する（ステップＳ６）。

図５は、第２の表示部７２に第１及び第２のサムネイルデータ並びに第１の文字データが表示された画面の一例を示した図である。この画面７３は、サムネイルデータ又は画像データが表示される第１の表示エリア７３１、サムネイルデータが表示される第２の表示エリア７３２、及び音声認識部６２でテキスト化された文字データ等の検索情報が表示される第３の表示エリ７３３により構成される。

そして、第１の表示エリア７３１には、検索処理部６１から出力された第１及び第２のサムネイルデータ７４，７５が表示されている。また、第２の表示エリア７３２は、空白になっている。更に、第３の表示エリア７３３には、検索処理部６１から出力された第１の文字データである例えば「ＡＢＣＤ」が表示されている。

このように、第１の音声を発することにより、画像データ記憶部４２から検索した第１及び第２の画像データの第１及び第２のサムネイルデータ７４，７５と共に、第１の音声を認識してテキスト化した第１の文字データを第２の表示部７２に表示することができる。

ここで、画面７３の第３の表示エリア７３３に表示された第１の文字データが第１の音声と一致する場合、第１の文字データを登録する登録操作が操作入力部５０から行われると、検索処理部６１は、音声認識部６２から出力された第１の文字データを第１の検索語として、検索した第１及び第２の画像データに付加して画像データ記憶部４２に保存する。また、第１の検索語を検索語記憶部４３に出力する。検索語記憶部４３は、検索処理部６１から出力された第１の検索語を保存する。

なお、画面７３の第３の表示エリア７３３に表示された第１の文字データが第１の音声と一致しない場合、操作入力部５０から第１の文字データを第１の音声と一致する第１の検索語に変換する操作を行った後に、登録操作を行うことにより、検索処理部６１は、検索した第１及び第２の画像データに第１の検索語を付加して画像データ記憶部４２に保存し、検索語記憶部４３は、第１の検索語を保存する。

登録操作が行われた後、画面７３の第１の表示エリア７３１に表示された例えば第１のサムネイルデータ７４を選択して拡大させる拡大表示操作が操作入力部５０から行われると、検索処理部６１は、選択された第１のサムネイルデータ７４の縮小前の第１の画像データ並びに第１及び第２のサムネイルデータ７４，７５と、第１の検索語、検査中に収集された１回目及び２回目の動画像データを時系列的に検索し、検索したフレームの総数を示す情報、及び検索したフレームの総数の内の第１の画像データを検索した順番を示す情報から成る検索情報とを第２の表示部７２に出力する。第２の表示部７２は、第１の画像データ、第１及び第２のサムネイルデータ７４，７５、並びに検索情報を表示する（図３のステップＳ７）。

図６は、第２の表示部７２に第１の画像データ、第１及び第２のサムネイルデータ７４，７５並びに検索情報が表示された画面の一例を示した図である。この画面７３ａの第１の表示エリア７３１には、第１の画像データ７４ａが表示されている。また、第２の表示エリア７３２には、第１及び第２のサムネイルデータ７４，７５が表示されている。更に、第３の表示エリア７３３には、第１の検索語である「ＡＢＣＤ」、第１の画像データ７４ａが検索された順番である「２」、及び検索されたフレームの総数である「５２」の検索情報が表示されている。

このように、第１及び第２のサムネイルデータ７４，７５及び検索情報を表示すると共に、第１の画像データ７４ａを第２の表示部７２に表示することができる。

なお、操作入力部５０から予め最も早い時刻に収集された動画像を設定しておくことにより、図３のステップＳ５において、画像データを検索するために音声入力部３０により検索入力された第１の音声に基づいて、音声記憶部４１から検索した音声収集時刻に一致する時刻に収集された画像データの内の最も早い時刻に収集された第１の画像データ７４ａを含む画面７３ａを第２の表示部７２に表示することができる。

操作入力部５０から音声検索の終了操作が行われた後、画面７３ａの第２の表示エリア７３２に表示された第１のサムネイルデータ７４を選択して動画再生の開始操作が行われると、検索処理部６１は、１回目の動画像データにおける各フレームの画像データを画像データ記憶部４２から読み出して時系列順に出力することにより、第２の表示部７２に第１及び第２のサムネイルデータ７４，７５及び第１の検索語を表示すると共に１回目の動画像データを再生表示する。また、読み出した各フレームの画像データに再生時刻を付加して画像データ記憶部４２に保存する。

ここで、例えば第１の画像データ７４ａよりも有用な画像データが第２の表示部７２に表示されたとき、操作入力部５０から画像再生停止操作を行い、引き続き第１の検索語の関連付けを変更する操作が行われると、検索処理部６１は、第１の検索語を第１の画像データ７４ａから消去し、第１の画像データ７４ａよりも有用な画像データに付加して画像データ記憶部４２に保存する。

このように、第１の画像データ７４ａよりもより有用な画像データが第２の表示部７２に再生表示されたとき、第１の画像データ７４ａと第１の検索語の関連付けを止め、その有用な画像データに第１の検索語を付加して画像データ記憶部４２に保存するができる。

なお、操作入力部５０から動画逆再生の操作が行われると、１回目の動画像データにおける各フレームの画像データを時系列とは逆の順に出力することにより、第２の表示部７２に動画像データを逆再生表示する。また、操作入力部５０から静止画再生操作が行われた後、コマ送り再生操作が行われると、１回目の動画像データにおける各フレームの画像データをコマ送り操作毎に時系列順に出力することにより、第２の表示部７２に各フレームの静止画像データを時系列順に再生表示する。また、検査中に操作入力部５０からの画像再生開始及び終了の操作が行われると、操作者が発する画像再生時の音声及び画像再生時の時刻を音声記憶部４１に保存すると共に、再生した各フレームの画像データの再生時刻を画像データ記憶部４２に保存することができる。そして、画像再生の終了操作後に音声入力部３０により音声が検索入力されることにより、その音声と一致又は類似する音声の収集時刻に一致する又は近い時刻に収集された画像データ及び再生された画像データを画像データ記憶部４２から検索することができる。これにより、検査中に両手が塞がっていても、操作者が自ら検査に必要な画像データを検索することができる。

第２の表示部７２に表示された１回目の動画像データの動画再生が終了した後、操作入力部５０から例えば音声検索の開始操作が行われる。そして、収集した１回目及び２回目の動画像データの中から検査に必要な画像データを検索するため、収集操作を行ったときの第２の音声を発すると、音声入力部３０は、その第２の音声を検索入力し、検索入力した第２の音声を検索処理部６１及び音声認識部６２に出力する。音声認識部６２は、音声入力部３０から出力された第２の音声をテキスト化した第２の文字データを検索処理部６１に出力する。検索処理部６１は、音声入力部３０から出力された第２の音声と一致又は類似する音声の収集時刻を音声記憶部４１から検索し、検索した音声収集時刻に一致する又は近い時刻に収集された画像データを画像データ記憶部４２から検索する（図３のステップＳ８）。

このように、操作者が第２の音声を発することにより、第２の音声と一致又は類似する音声の収集時刻に一致する又は近い時刻に収集された画像データを画像データ記憶部４２から検索することができる。これにより、検査中に両手が塞がっている場合でも、操作者が自ら検査に必要な画像データを検索することができる。

ここでは、音声記憶部４１から検索した音声収集時刻が例えば１つであり、その音声収集時刻に一致する時刻Ｔｒ３に収集された１フレームの画像データ（第３の画像データ）が２回目の動画像データに含まれているとする。この場合、検索処理部６１は、第３の画像データ及び音声認識部６２から出力された第２の文字データを第２の表示部７２に出力する。第２の表示部７２は、検索処理部６１から出力された第３の画像データ及び第２の文字データを表示する（図３のステップＳ９）。

ここで、第１の文字データを第１の検索語として登録する場合と同様にして、第２の音声と一致する場合の第２の表示部７２に表示された第２の文字データを第２の検索語として登録する登録操作が操作入力部５０から行われると、検索処理部６１は、検索した第３の画像データに第２の検索語を付加して画像データ記憶部４２に保存する。また、第２の検索語を検索語記憶部４３に出力する。検索語記憶部４３は、検索処理部６１から出力された第２の検索語を保存する。

操作入力部５０から音声検索の終了操作が行われた後、被検体Ｐの検査中に収集した全ての画像データを表示させる画像一覧表示の操作が行われると、検索処理部６１は、検査中に収集された１回目及び２回目の動画像データにおけるフレーム毎の収集時刻、この時刻に収集された画像データ、収集された画像データに付加された第１及び第２の検索語を画像データ記憶部４２から読み出して、フレーム毎にサムネイルデータを生成する。そして、収集時刻、この時刻に収集された画像データのサムネイルデータ、第１及び第２の検索語、及び第１及び第２の検索語を付加している画像データを示すマーカにより構成される画像一覧を作成し、作成した画像一覧を第２の表示部７２に出力する。第２の表示部７２は、検索処理部６１から出力された画像一覧を表示する（図３のステップＳ１０）。

図７は、第２の表示部７２に画像一覧が表示された画面の一例を示した図である。この画面７３ｂは、検査中に収集されたフレーム毎の画像データの収集時刻が表示される「時刻」の欄と、「時刻」の欄に表示された収集時刻に収集された画像データのサムネイルデータが表示される「画像」の欄と、収集された各画像に付加される検索語が表示される「検索語」の欄とにより構成される。

「時刻」の欄には、第１の画像データ７４ａの収集時刻である「Ｔｒ１」、第２の画像データの収集時刻である「Ｔｒ２」、第３の画像データの収集時刻である「Ｔｒ３」等を含む被検体Ｐの検査中に収集された１回目及び２回目の動画像データにおける各フレームの画像データの収集時刻が時系列に表示されている。

「画像」の欄には、「時刻」の欄に表示された各収集時刻の下にこの時刻に収集された画像データのサムネイルデータが表示されている。そして、「時刻」の欄に表示された「Ｔｒ１」の下にこの時刻に収集された第１の画像データ７４ａの第１のサムネイルデータ７４が表示され、「Ｔｒ２」の下にこの時刻に収集された第２の画像データの第２のサムネイルデータ７５が表示されている。また、「Ｔｒ３」の下にこの時刻に収集された第３の画像データの第３のサムネイルデータ７６が表示されている。

「検索語」の欄は、第１の検索語である「ＡＢＣＤ」の欄及び第２の検索語である「ＥＦＧ」の欄により構成される。そして、「ＡＢＣＤ」の欄には、第１の検索語が付加された第１の画像データ７４ａの第１のサムネイルデータ７４及び第２の画像データの第２のサムネイルデータ７５の下にマーカである「○」が表示されている。また、「ＥＦＧ」の欄には、第２の検索語が付加された第３の画像データの第３のサムネイルデータ７６の下に「○」が表示されている。

ここで、第２の表示部７２の画面７３ｂに表示されたマーカを選択して動画再生操作が行われると、検索処理部６１は、そのマーカに対応する検索語が付加された１フレームの画像データを先頭にして各フレームの画像データを時系列順に出力することにより、第２の表示部７２にその動画像データを再生表示する。

検査に有用な画像データの収集及び検査に必要な画像データの検索を終え、操作入力部５０から検査終了の操作が行われると、システム制御部８０が、撮影部１０、画像データ生成部２０、データ記憶部４０、及び情報処理部６０を停止させることにより、Ｘ線診断装置１００は、検査の動作を終了する（図３のステップＳ１１）。

検査終了後の待機中において、操作入力部５０から画像再生開始の操作が行われると、音声入力部３０は、図２に示すように、画像再生時の音声を収集し、収集した画像再生時の音声を音声記憶部４１に出力する。音声記憶部４１は、音声入力部３０から出力された画像再生時の音声及び画像再生時の時刻を保存する。

このように、待機中の操作入力部５０からの画像再生開始の操作に応じて、操作者が発する画像再生時の音声及びこの音声の収集時刻を音声記憶部４１に保存すると共に、再生した各フレームの画像データの再生時刻を画像データ記憶部４２に保存することができる。そして、画像再生終了操作の後に、音声入力部３０により音声が検索入力されることにより、その音声と一致又は類似する音声の収集時刻に一致する又は近い時刻に収集された画像データ及び再生された画像データを画像データ記憶部４２から検索することができる。

また、検査終了後の待機中において、画像データの検索を行うために操作入力部５０から検索操作が行われると、検索処理部６１は、操作入力部５０により検索入力された例えば第１の検索語が付加された画像データを画像データ記憶部４２から検索する。そして、検索した第１の画像データ７４ａ及び第２の画像データを縮小して第１及び第２のサムネイルデータ７４，７５を生成し、生成した第１及び第２のサムネイルデータ７４，７５を表示部７０に出力する。表示部７０は、図５に示した画面７３を表示する。なお、図３に示したステップＳ６の後の検査中に、操作入力部５０から第１の検索語を入力する検索操作が行われた場合でも、検索処理部６１は、待機中と同様に検索して、表示部７０に画面７３を表示する。

以上述べた実施形態によれば、検査中の検索入力時以外のときに操作者が発する音声を収集し、音声記憶部４１に収集した音声を保存すると共にその音声に関連付けて検査中の時刻を保存することができる。そして、検査中において、第１の表示部７１に有用な画像データが表示されたとき、操作者が発する第１及び第２のコメントを音声記憶部４１に保存すると共に、その有用な画像データである１回目及び２回目の動画像データ及びこの動画像データの収集時刻を画像データ記憶部４２に保存することができる。

検査中における第１及び第２のコメントを含む音声が保存された後の検索入力時において、操作者が第１及び第２のコメントに含まれる第１の音声を発することにより、音声入力部３０により検索入力された第１の音声と一致又は類似する音声の収集時刻に一致する又は近い時刻に収集された第１及び第２の画像データを画像データ記憶部４２から検索し、検索した第１及び第２の画像データの第１及び第２のサムネイルデータ７４，７５並びに第１の検索語を第２の表示部７２に表示することができる。また、第１及び第２のサムネイルデータ７４，７５並びに第１の検索語と共に、第１の画像データ７４ａを第２の表示部７２に表示することができる。また、第２のコメントに含まれる第２の音声を発することにより、音声入力部３０により検索入力された第２の音声と一致又は類似する音声の収集時刻に一致する又は近い時刻に収集された第３の画像データを画像データ記憶部４２から検索し、検索した第３の画像データ及び第２の検索語を第２の表示部７２に表示することができる。これにより、検査中に操作者の両手が塞がっていても、操作者が自ら検査に必要な画像データを検索することができる。

また、第１の音声に一致する第１の検索語を第１及び第２の画像データに付加して画像データ記憶部４２に保存し、操作入力部５０から第１の検索語を検索入力することにより、第１及び第２のサムネイルデータ７４，７５を第２の表示部７２に表示することができる。

また、待機中の画像再生時において、操作者が発する画像再生時の音声及び画像再生時の時刻を音声記憶部４１に保存すると共に、再生した各フレームの画像データの再生時刻を画像データ記憶部４２に保存することができる。そして、画像再生終了操作の後に、音声入力部３０により音声が検索入力されることにより、その音声と一致又は類似する音声の収集時刻に一致する又は近い時刻に収集された画像データ及び再生された画像データを画像データ記憶部４２から検索することができる。

また、待機中の検索入力時において、操作入力部５０により検索入力された検索語が付加された画像データを画像データ記憶部４２から検索し、検索した画像データ又はこの画像データのサムネイルデータを表示部７０に出力することができる。

以上により、画像データの検索に要する時間の短縮を図ることができる。

なお、上記実施形態に限定されるものではなく、検査中の検索入力時以外のときに音声入力部３０により収集された音声を音声認識部６２で認識してテキスト化し、テキスト化した文字データを収集された音声に関連付けて音声記憶部４１に保存する。そして、操作入力部５０により検索入力された検索語に一致又は類似する文字データに関連する音声の収集時刻に一致する又は近い時刻に収集された画像データを画像データ記憶部４２から検索し、検索した画像データ又はこの画像データのサムネイルデータを第２の表示部７２に表示するように実施してもよい。これにより、画像データの検索に要する時間の短縮を図ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Ｐ被検体
１０撮影部
２０画像データ生成部
３０音声入力部
４０データ記憶部
４１音声記憶部
４２画像データ記憶部
４３検索語記憶部
５０操作入力部
６０情報処理部
６１検索処理部
６２音声認識部
７０表示部
７１第１の表示部
７２第２の表示部
８０システム制御部
１００Ｘ線診断装置

Claims

被検体の画像を順次生成する画像生成部と、
前記画像生成部にて前記画像が順次生成されているときの音声を収集する音声入力部と、
前記画像が順次収集されているときに前記音声入力部により収集された第１の音声と、前記順次生成される画像のうち前記第１の音声を収集した時刻に対応する画像と、を時刻で関連付けて記憶する記憶部と、
前記音声入力部により収集された第２の音声に基づいて検索を行う検索処理部と、
前記検索の結果、前記第２の音声と一致又は類似する音声である前記第１の音声が前記記憶部に存在していた場合、前記第１の音声を収集した時刻に対応する画像又は該画像を縮小したサムネイル画像を表示する表示部と、
を有することを特徴とする画像診断装置。
前記音声入力部により入力された前記第２の音声を認識してテキスト化する音声認識部を更に有し、
前記表示部は、前記検索処理部により検索された画像又は前記サムネイル画像と共に、前記音声認識部によりテキスト化された文字データを表示することを特徴とする請求項１に記載の画像診断装置。
前記表示部は、前記第１の音声を収集した時刻に対応する画像がない場合、該時刻に最も近い時刻に収集された１フレームの画像を表示することを特徴とする請求項１又は２記載の画像診断装置。
前記表示部は、前記第１の音声を収集した時刻に対応する動画像がある場合、前記動画像の内の１フレームの画像を表示することを特徴とする請求項１乃至３いずれか一項に記載の画像診断装置。
前記表示部は、前記記憶部に記憶された前記第１の音声に基づきテキスト化された検索語を表示することを特徴とする請求項１乃至４いずれか一項に記載の画像診断装置。
音声収集／音声非収集を設定入力するための操作入力部を更に有することを特徴とする請求項１乃至５いずれか一項に記載の画像診断装置。
前記被検体にＸ線を照射するＸ線発生部と、
前記Ｘ線を検出するＸ線検出部と、を更に有し、
前記画像生成部は、前記画像であるＸ線画像を順次生成し、
前記音声入力部は、前記Ｘ線画像が順次生成されている間に操作者の音声を収集することを特徴とする請求項１乃至６いずれか一項に記載の画像診断装置。
前記画像は超音波画像であることを特徴とする請求項１乃至６いずれか一項に記載の画像診断装置。
前記画像は内視鏡画像であることを特徴とする請求項１乃至６いずれか一項に記載の画像診断装置。