JP6744175B2 - 医用画像表示装置及び読影レポート作成支援装置 - Google Patents

Description

本発明の実施形態は、医用画像表示装置及び読影レポート作成支援装置に関する。

画像診断では、診断に有効と考えられる代表的な画像であるキー画像が医用画像の中から選択され、そのキー画像において観察される所見が記載された読影レポートが作成される。近年、医用画像取得装置の高性能化により、短時間で大量の医用画像を容易に取得可能となった。そのため、読影医は、読影レポートの作成において大量の医用画像を観察することになり、読影レポートの作成は、画像診断における大きな負担となっていた。

そこで、読影レポートを作成する読影医等の医師の作業負担の軽減及び効率化のため、音声による入力インタフェースが利用されるようになった。音声入力では、例えば、入力された音声の波形と、ひな形の波形とのパターンマッチングを行う音声認識処理により音声が文字列に変換される。

しかしながら、音声入力を使う場合、音声認識の精度によっては誤入力が発生する。その場合、入力の誤りを確認して修正する手間が生じてしまう。

そこで、従来技術では、音声による入力において、これから入力される入力内容の文字型を予め判定することで、音声認識による入力精度を向上させた医用診断レポートシステムが提供されている。

特開２００４−１１８０９８号公報

本発明が解決しようとする課題は、音声入力により従来技術よりも所見を効率的に作成できる医用画像表示装置及び読影レポート作成支援装置を提供することである。

一実施形態に係る医用画像表示装置は、医用画像の所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、前記キーワードに対応する音声を認識する音声入力部と、前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、を備える。

医用画像の表示方法及び読影レポートの作成方法の一例を説明する図。 第１の実施形態に係る医用画像表示装置の構成例を示すブロック図。 第１の実施形態に係る医用画像表示装置の動作の一例を示すフローチャート。 第１の実施形態におけるキーワードに基づく視覚情報の選択方法を説明する表。 第１の実施形態において表示される視覚情報の第１の表示例。 第１の実施形態において表示される視覚情報の第２の表示例。 第２の実施形態に係る医用画像表示装置の構成例を示すブロック図。 第２の実施形態に係る医用画像表示装置の動作の一例を示すフローチャート。 第２の実施形態における医用画像の表示設定の変更を説明する模式図。 第２の実施形態において記憶される医用画像の表示設定を示す表。 第２の実施形態における入力履歴の表示及び医用画像の表示状態の再現を説明する模式図。 第３の実施形態に係る医用画像表示装置の構成例を示すブロック図。 第３の実施形態に係る医用画像表示装置の動作の一例を示すフローチャート。 第３の実施形態におけるキーワードに基づく所見の生成方法を説明する模式図。

図１を参照して読影レポート作成における問題点及び本発明者らの着眼点を説明した後、本発明の実施形態について説明する。

図１は、医用画像の表示方法及び読影レポートの作成方法の一例を説明する図である。図１の左側は読影レポート作成画面Ｄ１を示し、図１の右側は医用画像表示画面Ｄ２を示している。読影レポート作成画面Ｄ１は、読影レポートを作成するための画面であり、医用画像表示画面Ｄ２は、医用画像を表示するための画面である。

なお、図１は、読影レポート作成画面Ｄ１と医用画像表示画面Ｄ２とが、２つのディスプレイにそれぞれ表示される例を示すが、両画面が同一のディスプレイに表示される構成でもよい。

図１の読影レポート作成画面Ｄ１の例では、上部には患者情報及び検査情報が表示され、下部には、キー画像ＩＭ１１及び所見入力欄Ｒ１が表示される。また、医用画像表示画面Ｄ２の上部には、患者情報及び医用画像の拡大縮小や画像処理を実行するためのグラフィカルユーザインターフェース（ＧＵＩ：Graphical User Interface）が表示される。医用画像表示画面Ｄ２の下部には、読影対象として胸部の体軸断面（アキシャル断面）を示す医用画像ＩＭ２１及びＩＭ２２と、腹胸部の冠状断面（コロナル断面）を示す医用画像ＩＭ２３及びＩＭ２４との４つの医用画像が表示される。

Ｘ線ＣＴ撮像では、１回の撮像において数百枚のスライス画像が取得される場合がある。１回の撮像で取得された医用画像が複数のスライス画像から構成される場合、読影医は、例えば、マウスなどの入力装置のホイールなどを用いて複数のスライス画像を順番に表示して病変箇所を探す。３次元Ｘ線ＣＴ撮像で取得されるボリュームデータに対して、例えば、アキシャル断面やコロナル断面のような任意断面で再構成する画像処理を実行することで、複数のスライス画像を含む複数の医用画像を生成できる。

図１の例では、医用画像ＩＭ２１及びＩＭ２３のペアと、医用画像ＩＭ２２及びＩＭ２４のペアとは、同一の被検体について異なる検査でそれぞれ取得された医用画像のペアである。このように、医用画像の読影は、今回の検査と前回の検査との変化を観察する比較読影と呼ばれる方法で行われる場合がある。比較読影では、今回の検査で取得された医用画像と前回の検査で取得された医用画像とを同期させて表示し、前回の検査と今回の検査との違いを観察する。

このように、読影医は、医用画像表示画面Ｄ２に表示された医用画像から病変を特定する。読影医は、特定された病変に関する所見を読影レポート作成画面Ｄ１の所見入力欄Ｒ１に記入する。例えば、比較読影の場合、読影医は、前回の検査と今回の検査とを比較して病変の大きさや形状がどのように変化したかを観察し、観察された内容を所見として所見入力欄Ｒ１に記入する。

読影医は、医用画像から観察される内容を所見記入欄Ｒ１に記入する場合、医用画像表示画面Ｄ１から視線を外すことになる。また、所見を入力した後、読影を再開する場合、読影医は、読影レポート作成画面Ｄ１から医用画像表示画面へと視線を移動させることになる。したがって、図１の下部に示す両矢印のように、読影医の視線は、読影レポート作成画面Ｄ１と医用画像表示画面Ｄ２とを行き来することとなる。

しかしながら、医用画像表示画面Ｄ２から一度視線を外してしまうと、注視していた箇所をすぐに特定できなくなる場合や、注目していた微細な病変を見失ってしまう場合がある。音声入力を用いれば、所見入力欄Ｒ１に視線を移さずに医用画像を見ながら所見を入力することができる。しかしながら、音声入力では、音声認識処理の精度に依存してユーザが発声した内容とは異なる文字列が所見入力欄Ｒ１に入力される場合がある。

したがって、読影医は、所見入力欄Ｒ１に表示された内容に誤入力がないかを確認することになる。そのため、読影医は、医用画像表示画面Ｄ２から読影レポート作成画面Ｄ１へと視線を移動させる。

また、同一のディスプレイに読影レポート作成画面Ｄ１及び医用画像表示画面Ｄ２を表示させ、表示画面を切り替えながら読影レポートを作成する場合も同様である。この場合、医用画像表示画面Ｄ２を最小化して、読影レポート作成画面Ｄ１をディスプレイに表示し所見を入力することとなり、読影医が医用画像から視線を外す時間は上述の場合と比較して長くなる。

医用画像内で観察される病変が微細である場合、或いは、以前からの変化が軽微である場合、注目していた病変から一旦視線を外すと、再び同じ病変に視線を戻すのに時間がかかることがある。このように、医用画像から視線を外してしまうと、読影が中断し読影を再開するのに時間がかかり、読影の効率を低下させる場合がある。

そこで、本発明者らは上記問題点を解決するため、予め登録されたキーワードに対応する視覚情報を医用画像表示画面Ｄ２上に表示することで、音声入力が成功したことをユーザに通知する構成を捻出した。かかる構成によれば、ユーザは、医用画像表示画面Ｄ２から読影レポート作成画面Ｄ１へと視線を移動することなく所見を入力できる。

以下、医用画像表示装置及び読影レポート作成支援装置の各実施形態を図面を参照して説明する。

［第１の実施形態］
第１の実施形態は、音声入力されたキーワードに対応する視覚情報を医用画像上に表示することで、入力が正しく行われたか否かをユーザに通知可能な医用画像表示装置及び読影レポート作成支援装置に関する。

（１）構成
図２は、第１の実施形態に係る医用画像表示装置の構成例を示すブロック図である。医用画像表示装置１Ａは、ディスプレイ１１ａ、ディスプレイ１１ｂ、処理回路１２ａ、記憶回路１３ａ、入力回路１４、及び音声入力回路１５を備える。

医用画像表示装置１Ａは、不図示の通信制御装置を介して電子ネットワーク経由で画像保管通信システム（ＰＡＣＳ：Picture Archiving and Communication Systems）２に接続される。ＰＡＣＳ２には、例えばＸ線ＣＴ装置や磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置などのモダリティで取得された医用画像や、医用画像表示装置１Ａで作成された読影レポートが保存される。

なお、通信制御装置は、ネットワーク形態に応じた種々の通信プロトコルを実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹ＬＡＮ、無線／有線ＬＡＮやインターネット網、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワーク、及び衛星通信ネットワークなどを含む。

医用画像表示装置１Ａは、読影レポート作成画面Ｄ１を表示するディスプレイ１１ａと、医用画像を表示するディスプレイ１１ｂとを備える。

ディスプレイ１１ａ及びディスプレイ１１ｂは、液晶ディスプレイパネル、プラズマディスプレイパネル、及び有機ＥＬ（Electro Luminescence）パネル等の表示デバイスである。ディスプレイ１１ａ及びディスプレイ１１ｂは、処理回路１２ａの制御に従って、読影レポートや医用画像を表示する。

医用画像表示装置１Ａの処理回路１２ａは、共通信号伝送路としてのシステムバスを介して、医用画像表示装置１Ａを構成する各ハードウェア構成要素に相互接続される。

処理回路１２ａは、専用のハードウェアで構成してもよいし、内蔵のプロセッサによるソフトウェア処理で後述する各種機能を実現するように構成してもよい。ここでは一例として、処理回路１２ａがプロセッサによるソフトウェア処理によって各種機能を実現する場合について説明する。

なお、上記説明におけるプロセッサとは、専用又は汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）などの回路を意味する。上記プログラマブル論理デバイスとしては、例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などが挙げられる。処理回路１２ａは、記憶回路１３ａに記憶されたプログラム又は処理回路１２ａのプロセッサ内に直接組み込まれたプログラムを読み出し実行することで各機能を実現する。

また、処理回路１２ａは、単一のプロセッサによって構成されてもよいし、複数の独立したプロセッサの組合せによって構成されてもよい。後者の場合、複数のプロセッサにそれぞれ対応する複数の記憶回路が設けられると共に、各プロセッサにより実行されるプログラムが当該プロセッサに対応する記憶回路に記憶される構成でもよい。別の例としては、１個の記憶回路が複数のプロセッサの各機能に対応するプログラムを一括的に記憶する構成でもよい。

処理回路１２ａは、レポート作成機能１２１ａ、判定機能１２２ａ、及び表示機能１２３ａを実現する。レポート作成機能１２１ａ、判定機能１２２ａ、及び表示機能１２３ａは、記憶回路１３ａに格納されているプログラムを処理回路１２ａのプロセッサが実行することによって実現される機能である。

レポート作成機能１２１ａは、ユーザである読影医の入力に応じて読影レポートを作成する機能である。読影レポートには、キー画像と、そのキー画像に観察される所見とが記載される。したがって、レポート作成機能１２１ａは、選択されたキー画像と、そのキー画像に関連付けされた所見とが入力された読影レポートを作成する。レポート作成機能１２１ａは、作成された読影レポートを電子ネットワーク経由でＰＡＣＳ２に送信する。

判定機能１２２ａは、音声により入力されたキーワードと予め登録されたキーワードとが一致するか否かを判定する。判定機能１２２ａは、音声により入力されたキーワードを音声認識処理により文字列に変換し、予め登録されたキーワードの中に当該文字列に一致するキーワードがあるか否か判定する。

なお、予め登録されたキーワードは、例えば、所見を構成する文章に頻繁に使用される用語又は所見のひな型などの所見を構成する文章に含まれ得る用語のことである。ここで、「予め」とは、例えば、医用画像表示装置１Ａの据え付け調整時など、医用画像の読影開始前のことである。

また、判定機能１２２ａは、キーワードに対応する視覚情報を特定し、表示機能１２３ａに通知する。判定機能１２２ａにおける視覚情報の特定方法の詳細については後述の図４で説明する。

表示機能１２３ａは、ディスプレイ１１ｂに医用画像を表示させ、キーワードに対応する視覚情報を医用画像上に表示する。視覚情報は、キーワードの意味を直感的に表現する情報である。即ち、視覚情報は、視覚などの人間の感覚によってキーワードの意味を容易に推定させる情報であって、視覚情報を注視せずとも当該視覚情報が表すキーワードの意味が理解できる。また、視覚情報は、ユーザが視覚情報とキーワードとの関連付けを記憶していなくても、キーワードの意味をユーザに想起させることができる情報である。ここで「直感的」とは、例えば、文字情報の表示や音声出力を行うことなく、順次表示される複数の画像間の変化のみによりキーワードの意味を想起させることである。

また、視覚情報は、例えば、キーワードが表す医用画像上の病変の状態変化又は形態変化を視覚的に表現する視覚効果を発揮する情報である。ユーザにより音声入力されたキーワードが医用画像表示装置１Ａにおいて正しく入力されたことを、表示機能１２３ａは、ディスプレイ１１ｂに視覚情報を表示することでユーザに通知する。表示機能１２３ａの詳細については、後述の図５及び図６で説明する。

医用画像表示装置１Ａの記憶回路１３ａは、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ハードディスク、光ディスクなどによって構成される。記憶回路１３ａは、ＵＳＢ（Universal Serial Bus）メモリ及びＤＶＤ（Digital Video Disk）などの可搬型メディアによって構成されてもよい。

記憶回路１３ａは、処理回路１２ａにおいて実行される各種プログラム（アプリケーションプログラムの他、オペレーティングシステム等も含まれる）、プログラムの実行に必要なデータ、及び画像データを記憶する。また、記憶回路１３ａは、オペレーティングシステムを制御するための各種コマンドを記憶してもよい。また、音声入力回路１５から入力された音声を解析するための音声認識プログラムや、入力回路１５からの入力を支援するＧＵＩ（Graphical User Interface）のプログラムを記憶してもよい。

記憶回路１３ａは、第１の記憶領域１３１ａ及び第２の記憶領域１３２ａを有する。なお、第１の記憶領域１３１ａ及び第２の記憶領域１３２ａは、記憶回路１３ａとは別の記憶回路により構成されてもよい。

第１の記憶領域１３１ａは、予め登録されたキーワードである登録キーワードを記憶する。所見に使用される用語は、健康診断の場合や読影チェックリストを用いる場合など、検査の種類に応じてある程度予測できる。また、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語を登録キーワードとして利用することもできる。このように、登録キーワードは、所見を構成する文章に含まれ得る用語のことである。登録キーワードは、ユーザにより予め設定されてもよいし、定期的に更新されてもよい。

第２の記憶領域１３２ａは、視覚情報を記憶する。視覚情報は、図形や当該図形の動作や変換などの組合せをディスプレイ１１ｂ上に表示することで、入力されたキーワードを視覚的に表す視覚効果を発揮させる情報である。視覚情報は、どのような図形を画面上でどのように動作させるかが規定されたデータを視覚情報項目ごとに含む。視覚情報は、例えば、色、明度、又は彩度や、輪郭などの図形そのもののデータ、図形の移動方向などの図形の動作、図形の色の変化、図形の表示位置、又は図形の表示時間を規定したアルゴリズムを含む。或いは、以上のような図形に関するデータ、アニメーション、イラスト、又は画像データなどの電子ファイルであってもよい。

医用画像表示装置１Ａの音声入力回路１５は、不図示のマイク及びアナログ／デジタル（Ａ／Ｄ：Analog-to-digital）変換器を備える。音声入力回路１５のマイクにより検出された音声は、Ａ／Ｄ変換器によりデジタル変換され、デジタル音声信号に変換される。音声入力回路１５は、デジタル音声信号を判定機能１２２ａに出力し、判定機能１２２ａは、入力されたデジタル音声信号を音声認識処理により文字列データに変換する。

入力回路１５は、例えば、キーボード、マウス、ジョイスティック、又はトラックボール等の入力デバイスを有する。入力回路１５は、入力デバイスを介してユーザの入力を受け付けるものである。操作者により入力デバイスが操作されると、入力回路１５は、その操作に応じた入力信号を生成し、この入力信号を処理回路１２ａに出力する。

（２）動作
図３は、第１の実施形態に係る医用画像表示装置１Ａの動作の一例を示すフローチャートである。図３のフローチャートの各ステップにおける処理は、処理回路１２ａが記憶回路１３ａから判定機能１２２ａ及び表示機能１２３ａに対応する所定のプログラムを呼出し、これらのプログラムを実行することにより実現される。以下、図４を適時参照しつつ、図３のフローチャートのステップ番号に従って、第１の実施形態に係る医用画像表示装置１Ａの動作を説明する。

ステップＳＴ１０１において、表示機能１２３ａは、ＰＡＣＳ２から電子ネットワーク経由で取得した医用画像をディスプレイ１１ｂに表示する。

ステップＳＴ１０３において、ユーザは、音声によりキーワードを入力する。ユーザは、ディスプレイ１１ｂに表示された医用画像を観察しつつ、発見した内容に関連するキーワードを発声する。キーワードは所見に含まれる用語であり、発見した内容を文章化する上で中心となる用語である。例えば、比較読影の場合は、前回の検査と今回の検査とで共通して観察される病変がどのように変化したかを表す用語がキーワードとして入力される。

音声入力されたキーワードは、マイクを備える音声入力回路１５を介して医用画像表示装置１Ａに入力される。入力された音声は、Ａ／Ｄ変換器によりデジタル音声信号に変換され、判定機能１２２ａに出力される。判定機能１２２ａの音声認識処理は、デジタル音声信号を文字列データに変換する。

ステップＳＴ１０５において、判定機能１２２ａは、入力されたキーワードと登録キーワードとが一致するか否かを判定する。入力されたキーワードが登録キーワードに一致する場合、ＹＥＳの方向に分岐しステップＳＴ１０７に進む。この場合、判定機能１２２ａは、読影レポート作成画面Ｄ１の所見入力欄Ｒ１に入力されたキーワードを表示するように構成されてもよい。

一方、入力されたキーワードが登録キーワード以外の場合、ＮＯの方向に分岐しステップＳＴ１０３に戻る。ユーザは、音声を入力しても視覚情報が表示されない場合、音声入力に何らかの誤りがあったと判断し、音声入力を再度行う。

なお、入力されたキーワードが登録キーワード以外の場合、キーボードなどの入力装置によりキーワードを入力できるように医用画像表示装置１Ａを構成してもよい。例えば、テキスト入力と音声入力とを選択できるボタンを医用画像表示画面Ｄ２上に表示してもよいし、音声入力が所定の回数失敗した場合、テキスト入力に自動的に切り替わるように医用画像表示装置１Ａを構成してもよい。

ステップＳＴ１０７において、判定機能１２２ａは、入力されたキーワードに対応する視覚情報を選択する。

図４は、第１の実施形態におけるキーワードに基づく視覚情報の選択方法を説明する表である。図４の表は、登録キーワードと視覚情報との対応関係を示している。図４の表の左側の列は、登録キーワードを示し、右側の列は、視覚情報を示している。

図４の表に示すように、登録キーワードには、「膨張」、「増加」、「石灰化」、「狭窄」のように所見に含まれる用語が含まれる。

図４の表では、登録キーワードに対して上から順に視覚情報ＶＩ１〜ＶＩ４がそれぞれ割り当てられている。図４に示した登録キーワード及び視覚情報は、医用画像表示装置１Ａの記憶回路１３ａに予め記憶されている。

なお、登録キーワードと視覚情報との対応付けについては、ユーザが予め設定できるよう医用画像表示装置１Ａを構成してもよい。ここで「予め」とは前述同様である。また、登録キーワードや視覚情報を追加的に登録できるように医用画像表示装置１Ａを構成してもよい。さらに、登録キーワードや視覚情報は、電子ネットワーク経由でダウンロードされてもよい。

判定機能１２２ａは、音声入力されたキーワードに基づいて変換された文字列が、登録キーワードに一致するか否かを判定し、音声入力されたキーワードに対応する視覚情報を選択する。具体的には、ユーザにより「膨張」というキーワードが音声入力された場合、判定機能１２２ａは、図４に示す表の登録キーワードの中から、「膨張」に一致する登録キーワードが存在するか否か判定する。図４の表の左側の１段目が「膨張」であり、判定機能１２２ａは、音声入力されたキーワードが登録キーワードと一致すると判定する。続いて、判定機能１２２ａは、「膨張」に対応する視覚情報を図４の表から選択する。図４の１段目に示すように、「膨張」に対応する視覚情報は、「視覚情報ＶＩ１」である。

なお、登録キーワードは図４の用語には限定されない。例えば、登録キーワードは、上述のような医用画像に観察される病変の形状変化や状態変化を示す他の用語であってもよいし、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語であってもよい。また、検査の種類や検査項目に応じた用語を登録キーワードとして利用してもよい。

このように、ステップＳＴ１０３〜ＳＴ１０７において、判定機能１２２ａは、音声入力されたキーワードが登録キーワードに一致するかを判定すると共に、音声入力されたキーワードに対応する視覚情報を特定する。

図３に戻ってフローチャートの説明を続ける。

ステップＳＴ１０９において、表示機能１２３ａは、視覚情報を医用画像に重ね合わせて表示する。

以上が、第１の実施形態のフローチャートの説明である。以下、図５及び図６を用いて、表示機能１２３ａにより表示される視覚情報について補足的に説明する。

図５は、第１の実施形態において表示される視覚情報の第１の表示例である。図５は、一連の動作を示す時系列的な３画像により、図４のキーワード「膨張」に対応する視覚情報ＶＩ１が表示される例を示す。

図５の左端の初期表示は、視覚情報が表示される前の医用画像が表示された状態を示している。図５の左から２番目から順に示す第１の画像ＩＭ２１ａ、第２の画像ＩＭ２１ｂ、及び第３の画像ＩＭ２１ｃは、視覚情報ＩＶ１を構成する画像の例を示している。第１の画像ＩＭ２１ａは、医用画像の中心にリング状の図形が表示される例を示しており、第２の画像ＩＭ２１ｂ及び第３の画像ＩＭ２ｃは、リング状の図形が医用画像の外側に向かって大きくなる画像を示している。

ユーザは、医用画像ＩＭ２１が初期表示された状態或いはタイミングで、キーワードである「膨張」を音声により入力する。ユーザが発声したキーワードが医用画像表示装置１Ａにおいて正しく認識された場合、判定機能１２２ａにより選択された視覚情報ＶＩ１に対応する第１〜第３の画像が、医用画像に重ね合わせて表示される。

このように、視覚情ＶＩ１を構成する第１の画像ＩＭ２１ａ、第２の画像ＩＭ２１ｂ、及び第３の画像ＩＭ２１ｃの３画像が時系列的に連続して表示されることで、キーワード「膨張」に対応する視覚効果が発揮される。

図５は説明の便宜上、視覚情報ＶＩ１を３つの画像に分けて説明したが、実際はアニメーションであり第１の画像ＩＭ２１ａから第３の画像ＩＭ２１ｃは連続的に表示され、リング状の図形はディスプレイ１１ｂ上で滑らかに動く。例えば、第１の画像ＩＭ２１ａに示したリング状の図形は、医用画像の中心に出現し、医用画像の外側に向かって広がっていくように動く。

なお、図５の右下は、図５の左上の初期表示と同じ表示である。視覚情報は、瞬間的に表示され、図５の右下の初期表示と同じ表示に戻る。ここで「瞬間的に」とは、例えば、１秒、２秒といった短期間、即ち、人間が知覚可能な短期間内を意味する。また、視覚情報の表示時間については、ユーザが予め設定できるように医用画像表示装置１Ａを構成してもよい。

図５に示すように、リング状の図形が大きく広がっていく状態を表示することにより「膨張」というキーワードの意味を視覚的に表現している。このように、視覚情報は、文字情報の表示や音声出力を行うことなく、時系列的に表示される複数の画像間の相対的変化のみにより「膨張」の意味を想起可能な情報である。

なお、図５では、ユーザが読影中の医用画像を予め選択した状態で、読影を開始する場合を示している。例えば、図１に示すように医用画像表示画面Ｄ２は、ディスプレイ１１ｂを複数の領域に分割して、複数の医用画像を表示する場合がある。この場合、視覚情報は、医用画像表示画面Ｄ２であればどこに表示されてもよいし、ユーザが選択した医用画像上に表示されてもよい。

例えば、医用画像表示装置１Ａのディスプレイ１１ｂ上に、ディスプレイ１１ｂの前に座ったユーザの眼球運動を記録するカメラを設け、記録したユーザの眼球運動に基づいて測定されるユーザの視線方向に視覚情報を表示するよう医用画像表示装置１Ａを構成してもよい。また、ユーザがマウスなどの入力装置を介して選択した位置に視覚情報を表示するように医用画像表示装置１Ａを構成してもよい。

図６は、第１の実施形態において表示される視覚情報の第２の表示例である。図６は、キーワード「増加」に対応する視覚情報ＩＶ２の表示例である。図６では、図５と異なり、ユーザが選択した位置に視覚情報が表示される例を示している。ユーザが選択した位置とは、例えば、マウスなどの入力装置で医用画像を操作した座標である。ユーザがキーワードを発話する直前の入力操作に基づいて検出された座標を表示位置として、視覚情報を表示してもよい。

図６では、左端の初期表示に示すように、ユーザがマウスなどの入力装置を操作してカーソルを示す矢印Ａ２１を医用画像の右下の位置に表示した場合を例として説明する。

図６の左から２番目に示した第１の画像ＩＭ２１ｄは、矢印Ａ２１の先端の位置を中心として、２つのリング状の図形が表示される例を示している。図６の左から３番目の第２の画像ＩＭ２１ｅは、第１の画像ＩＭ２１ｄに表示された２つのリング状の図形に加えて、さらに２つのリング状の図形が矢印Ａ２１を中心に表示される。図６の左から４番目の第３の画像ＩＭ２１ｆは、第２の画像ＩＭ２１ｅに表示された４つのリング状の図形に加えて、さらに２つのリング状の図形が矢印Ａ２１を中心に表示される例を示している。

図６も説明の便宜上、視覚情報ＶＩ２を３つの画像に分けて説明したが、視覚情報ＶＩ２は、図５と同様に、第１の画像ＩＭ２１ｄ、第２の画像ＩＭ２１ｅ、第３の画像ＩＭ２１ｆが連続的に表示され、左上の初期表示と同じ表示に戻る。

なお、視覚情報は図５及び図６のように徐々に変化する複数の画像を変化の初期段階から順番に表示する態様には限定されない。例えば、登録キーワードが図４の３段目の「石灰化」の場合、灰色の図形が瞬間的に表示されるように医用画像表示装置１Ａを構成してもよい。また、図４の４段目の「狭窄」の場合、リング状の図形が左右に潰れた画像が瞬間的に表示されてもよい。さらに、ＭＲＩで取得された医用画像では撮像方法に応じて病変部位が高信号に描出される。そこで、「高信号」に対応する視覚情報として白い図形を瞬間的に表示するように構成してもよい。

このように、第１の実施形態に係る医用画像表示装置１Ａは、音声によりキーワードが正しく入力できたか否かを視覚情報の表示によりユーザに通知する。したがって、ユーザは、読影中の医用画像から目を離すことなく所見を構成するキーワードを入力することができる。そのため、医用画像において注視していた箇所を見失うことなく効率的に読影を進めることができる。

なお上述では、医用画像表示装置１Ａが医用画像表示機能とレポート作成機能とを両方備える例を説明したが、両機能は別々の装置で実現されてもよい。例えば、レポート作成機能を備える読影レポート作成支援装置３Ａを別途設け、医用画像表示装置１Ａが医用画像表示機能を有すると共に読影レポート作成支援装置３Ａと通信する構成でもよい。具体的には、図２において一点鎖線の枠内に示すように、ディスプレイ１１ａ、処理回路１２ａ、入力回路１４、及び不図示の記憶回路を備える読影レポート作成支援装置３Ａが上述の医用画像表示装置１Ａと同様に読影レポートを作成する構成でもよい。

［第２の実施形態］
第２の実施形態は、第１の実施形態の構成に加えて、音声入力されたキーワードを入力履歴として保存すると共に、入力履歴から選択されたキーワードが入力されたときの表示状態を再現する医用画像表示装置及び読影レポート作成支援装置に関する。

第２の実施形態は、図２で示した第１の実施形態の医用画像表示装置１Ａとは構成が若干異なる。そこで、図７に示すように、第２の実施形態に係る医用画像表示装置１Ｂについて、第１の実施形態とは異なる部分には、第１の実施形態とは異なる符号を付す。なお、この点は、第３の実施形態に関しても同様である。

（１）構成
図７は、第２の実施形態に係る医用画像表示装置１Ｂの構成例を示すブロック図である。

図７に示すように、医用画像表示装置１Ｂの処理回路１２ｂは、レポート作成機能１２１ａ、判定機能１２２ｂ、及び表示機能１２３ｂを実現する。レポート作成機能１２１ａ、判定機能１２２ｂ、及び表示機能１２３ｂは、記憶回路１３ｂに格納されているプログラムを処理回路１２ｂのプロセッサが実行することによって実現される機能である。

判定機能１２２ｂは、第１の実施形態で説明した判定機能１２２ａに加えて、以下の機能を有する。即ち、ユーザにより入力されたキーワードが登録キーワードに一致する場合、入力されたキーワードを入力履歴として記憶回路１３ｂに保存する。

表示機能１２３ｂは、第１の実施形態で説明した表示機能１２３ａに加えて、医用画像の表示設定を記憶回路１３ｂに保存する機能を有する。表示機能１２３ｂにおける表示設定の保存機能の詳細については後述の図９及び図１０で説明する。

さらに、表示機能１２３ｂは、医用画像表示画面Ｄ２又は読影レポート作成画面Ｄ１に入力履歴を表示する。表示機能１２３ｂにおける入力履歴の表示の詳細については後述の図１１で説明する。

医用画像表示装置１Ｂの記憶回路１３ｂは、第１の実施形態で説明した第１の記憶領域１３１ａ及び第２の記憶領域１３２ａに加えて、第３の記憶領域１３３ｂ及び第４の記憶領域１３４ｂをさらに有する。なお、第３の記憶領域１３３ｂ及び第４の記憶領域１３４ｂは、記憶回路１３ａとは別の記憶回路により構成されてもよい。

第３の記憶領域１３３ｂは、ユーザが音声入力した登録キーワードと一致するキーワードを入力順に記録した入力履歴を記憶する。

第４の記憶領域１３４ｂは、キーワードが入力されたときの医用画像の表示設定を記憶する。

（２）動作
図８は、第２の実施形態に係る医用画像表示装置１Ｂの動作の一例を示すフローチャートである。図８のフローチャートの各ステップにおける処理は、処理回路１２ｂが記憶回路１３ｂから判定機能１２２ｂ及び表示機能１２３ｂに対応する所定のプログラムを呼出し、これらのプログラムを実行することにより実現される。以下、図９及び図１０を適宜参照しつつ、図８のフローチャートのステップ番号に従って、第２の実施形態に係る医用画像表示装置１Ｂの動作を説明する。なお、第１の実施形態における図３の各ステップと同一処理を実行するステップには、同一の符号を付し、重複する説明を省略する。

ステップＳＴ２０１において、ユーザは、読影対象となる医用画像を選択する。

ステップＳＴ２０３において、ユーザは、選択した医用画像の表示設定を変更する。

図９は、第２の実施形態における医用画像の表示設定の変更を説明する模式図である。図９の左側に示した医用画像ＩＭ２１は、初期表示設定で表示された初期表示画像である。初期表示設定は、例えば、医用画像表示装置１Ｂの据え付け調整時に技師により設定された設定内容であってもよいし、医用画像を表示する前にユーザが設定した設定内容であってもよい。図９の右側は、医用画像の表示設定の変更後の表示例を示している。

図９の左側の医用画像ＩＭ２１の表示設定は、図９の医用画像ＩＭ２１の下部に示すように、上から、スライス番号が１２／５０、表示サイズが５１２×５１２、ウィンドウレベル（ＷＬ：Window Level）が３２１、ウィンドウ幅（ＷＷ：Window Width）が５５５、拡大率が１００％、表示位置が（Ｘ１、Ｙ１）、画像処理が画像処理Ａである。

スライス番号１２／５０は、スライス数５０枚のうち１２枚目のスライス番号の画像であることを示す。表示サイズは、例えば、ピクセルで示され、ディスプレイ１１ｂの画面上に表示する際の医用画像の大きさを示している。ＷＷ及びＷＬは、画像のコントラストの調整値である。例えばＣＴ画像では、骨、臓器、又は血管などの観察対象に応じて画像のコントラストを調整することで対象となる部位を観察できる。表示位置は、例えば、ディスプレイ１１ｂ上に表示された医用画像の左上の座標や医用画像の中心座標などにより特定される。画像処理には、例えば、Ｘ線ＣＴ装置で収集した投影データに対して実行される再構成処理、補正処理、及び補間処理、又は再構成画像に対する補正処理や読影の目的に応じた医用画像の加工処理などが含まれる。

図９の右側は、初期表示された医用画像を１．５倍に拡大し、当該医用画像の表示位置を左に移動した例を示している。したがって、図９の右側の医用画像ＩＭ２１ｇの表示設定は、医用画像ＩＭ２１ｇの下部に示すように、初期表示の表示設定に対して拡大率が１５０％、表示位置が（Ｘ２、Ｙ２）に変更されている。なお、表示設定の変更は、例えば、マウスなどの入力装置や、医用画像表示画面Ｄ２の右上に表示されたボタン又はツールバーなどのＧＵＩにより実行される。

以上が、表示設定を変更するステップＳＴ２０３の説明である。図８に戻ってフローチャートの説明を続ける。

ステップＳＴ２０３の後、第１の実施形態と同様のステップＳＴ１０３及びＳＴ１０５において、音声入力されたキーワードに対する判定処理が実行される。ステップＳＴ１０５においてＹＥＳと判定された場合、ステップＳＴ２０５に進み、それ以外の場合、ステップＳＴ２０９に進む。なお、ステップＳＴ２０５においてＮＯと判定された場合、第１の実施形態と同様にステップＳＴ１０３に戻るよう医用画像表示装置１Ｂを構成してもよい。

ステップＳＴ２０５において、表示機能１２３ｂは、キーワードが入力されたときの医用画像の表示設定を記憶する。

図１０は、第２の実施形態において記憶される医用画像の表示設定を示す表である。図１０の上から１段目は、入力履歴、キーワード、画像ＩＤ、及び表示設定などの項目を左から順に示す。表示設定は、ここでは一例として、スライス番号、表示サイズ、コントラスト（ＷＬ、ＷＷ）、拡大率（％）、表示位置、及び画像処理を含む。図１０の表の上から２段目は入力ＩＰ１を示し、３段目は入力ＩＰ２を示し、図１０の表は、２つのキーワードが入力されたときの表示設定がそれぞれ記憶されている例を示している。

入力ＩＰ１のキーワードは「膨張」である。入力ＩＰ１に対応する図１０の２段目の行は、図９の右側に示された医用画像ＩＭ２１ｇが表示された状態で、「膨張」というキーワードが入力されたときの表示設定を示している。即ち、表示機能１２３ｂは、キーワードが入力されたときの表示設定を記憶する。

入力ＩＰ２に対応する図１０の３段目は、２段目と同じ画像ＩＤで異なるスライス番号の医用画像について、「増加」というキーワードが入力されたときの表示設定を示している。図１０の３段目の表示設定は、２段目の表示設定と比較して、表示サイズは同じだが、コントラスト、拡大率、表示位置、及び画像処理が異なる。

以上が、表示設定を保存するステップＳＴ２０５の説明である。図８に戻ってフローチャートの説明を続ける。

ステップＳＴ２０７において、判定機能１２２ｂは、入力されたキーワードを入力履歴として記憶回路１３ｂに保存する。

なお、ステップＳＴ２０５の表示設定の保存処理及びステップＳＴ２０７の入力履歴の保存処理の順番は、図８の順序には限定されない。ステップＳＴ２０５の処理とステップＳＴ２０７の処理とは実行順序が逆でもよいし、同時に実行されてもよい。

ステップＳＴ２０９において、医用画像表示装置１Ｂは、ユーザによる医用画像の読影が終了したか否かを判定する。終了したと判定された場合、ＹＥＳの方向に分岐しステップＳＴ２１１に進む。

なお、読影終了は、例えば、ユーザにより「読影終了」と音声により入力されることで判定されてもよいし、医用画像表示画面Ｄ２に表示された読影終了ボタンが押下されることにより判定されてもよい。一方、ユーザによる医用画像の読影が終了していないと判定された場合、ＮＯの方向に分岐しステップＳＴ２０１に戻る。

ステップＳＴ２１１において、表示機能１２３ｂは、入力履歴を表示する。入力履歴は、読影レポート作成画面Ｄ１又は医用画像表示画面Ｄ２の少なくとも一方に表示される。

ステップＳＴ２１３において、ユーザは、入力履歴の中からキーワードを１つ選択する。

ステップＳＴ２１５において、表示機能１２３ｂは、選択されたキーワードが入力されたときの表示設定で医用画像を表示する。即ち、表示機能１２３ｂは、選択されたキーワードに対応する表示設定を記憶回路１３ｂから読み出し、医用画像に当該表示設定を適用することで、選択されたキーワードが入力されたときの医用画像の表示状態を再現する。

以上が図８のフローチャートの説明である。以下、図１１を参照しつつ、入力履歴から選択されたキーワードの表示設定で医用画像が表示されるステップＳＴ２１３〜ＳＴ２１５の処理について補足する。

図１１は、第２の実施形態における入力履歴の表示及び医用画像の表示状態の再現を説明する模式図である。図１１の左側は、読影終了直後に入力履歴が表示された例を示している。図１１に示すように、入力履歴は、読影対象の医用画像上に表示されてもよいし、読影対象の医用画像の表示領域以外の領域に表示されてもよい。また、読影レポート作成画面Ｄ１の所見入力欄Ｒ１に入力履歴が表示されるように表示機能１２３ｂが構成されてもよい。

図１１の左側は、医用画像ＩＭ２１上に入力履歴Ｈ１が表示される例を示し、図１１の右側の医用画像ＩＭ２１ｈは、入力履歴Ｈ１から選択されたキーワードが入力されたときの表示設定で表示された医用画像の例を示している。

入力履歴Ｈ１は、入力ＩＰ１「膨張」及び入力ＩＰ２「増加」の２つのキーワードを表示している。入力履歴Ｈ１の入力ＩＰ１及び入力ＩＰ２の右側には、それぞれ表示状態再現ボタンＧ１１及びＧ１２が表示される。表示状態再現ボタンが押下されると、表示機能１２３ｂは、表示状態再現ボタンに対応するキーワードが入力されたときに保存された表示設定で医用画像を表示する。即ち、表示機能１２３ｂは、入力履歴Ｈ１から選択されたキーワードが入力されたときの表示状態を再現する。

図１１に示すように、入力ＩＰ１「膨張」の右側に表示された表示状態再現ボタンＧ１１が押下されると、医用画像ＩＭ２１ｈが表示される。医用画像ＩＭ２１ｈは、「膨張」というキーワードが入力されたときに医用画像表示画面Ｄ２に表示されていた図９の医用画像ＩＭ２１ｇと同じ表示設定で表示された画像である。入力ＩＰ１「膨張」は、図９の右側に示した医用画像ＩＭ２１ｇが表示された状態で入力されたキーワードである。当該キーワードが入力されたときの表示設定は、図１０の表に示すように記憶回路１３ｂに記憶されている。

表示機能１２３ｂは、表示状態再現ボタンＧ１１が押下されたタイミングで、記憶回路１３ｂに記憶されている入力ＩＰ１「膨張」に対応する表示設定を読み出し、医用画像に当該表示設定を適用してディスプレイ１１ｂに表示する。

なお、表示設定には、アノテーションの記入位置及びアノテーションの記入内容など、医用画像に対して読影中に付加された情報や、医用画像のソート条件などの医用画像を読影する上で入力される種々の設定情報が含まれてもよい。上述同様に当該設定情報を用いて表示状態を再現するよう医用画像表示装置１Ｂを構成してもよい。

なお、入力履歴Ｈ１は、読影レポート作成画面Ｄ１の所見入力欄Ｒ１に表示されてもよい。この場合、表示状態再現ボタンＧ１１を押下すると、医用画像表示画面Ｄ２上に表示された医用画像の表示設定が、選択されたキーワードが入力されたときの表示設定に変更されるよう医用画像表示装置１Ｂが構成されてもよい。

上記説明では、入力されたキーワードとキーワードが入力されたときの表示設定とを対応付けて保存する例を示したが、表示状態を再現する方法はこの態様には限定されない。キーワードが入力されたときのディスプレイ１１ｂの表示状態を画像として記憶するように医用画像表示装置１Ｂを構成してもよい。

さらに、医用画像表示装置１Ｂは、キーワードが入力されたときのスライス画像をキー画像の候補として読影レポート作成画面Ｄ１に表示するように構成されてもよい。また、ユーザは、医用画像において病変が存在する範囲などに関心領域（ＲＯＩ：Region of Interest）を設定し、病変箇所を示すアノテーションと呼ばれる目印を付与する場合がある。ＲＯＩやアノテーションが付与されたスライス画像は、キー画像の候補となる画像である。このように、ＲＯＩやアノテーションが付与されたスライス画像をキーワードと対応付けて記憶し、読影レポート作成画面Ｄ１にキー画像候補として表示するように医用画像表示装置１Ｂを構成してもよい。キーワードと共にキー画像候補を表示することで読影レポートを効率化に作成できる。

このように第２の実施形態に係る医用画像表示装置１Ｂによれば、第１の実施形態と同様の効果を得ることができる。加えて、第２の実施形態では、読影終了後に入力履歴を表示できるため、ユーザは入力履歴を確認することができる。ユーザは、入力履歴を確認し、キーワードを取捨選択し、或いは、キーワードの入力順序を入れ替えることで、所見を効率的に作成することができる。

さらに、医用画像表示装置１Ｂにおいてキーワードが入力されたときの表示状態を再現できることにより、ユーザは、どのような状況でキーワードを入力したかを確認した上で、所見を入力することができる。また、医用画像表示装置１Ｂにおいてキーワードが入力されたときの表示状態が再現されることで、ユーザは、読影レポートに添付するキー画像を容易に選択することができ、読影レポート作成の効率化に貢献する。

なお、第２の実施形態における入力履歴は、医用画像表示装置１Ｂと別の装置として設けられた読影レポート作成支援装置３Ｂに表示されてもよい。具体的には、図７において一点鎖線の枠内に示すように、読影レポート作成支援装置１Ｂは、ディスプレイ１１ａ、処理回路１２ｂ、入力回路１４、及び不図示の記憶回路を備える。読影レポート作成支援装置３Ｂは、医用画像表示装置１Ｂに記憶された入力履歴を、例えば、電子ネットワーク経由で医用画像表示装置１Ｂから取得してもよい。読影レポート作成支援装置３Ｂは、上述同様に取得した入力履歴をディスプレイ１１ａに表示された読影レポート作成画面Ｄ１の所見入力欄Ｒ１に表示する。また、読影レポート作成支援装置３Ｂの処理回路１２ｂが判定機能１２２ｂを実行し、読影レポート作成支援装置３Ｂの記憶回路に入力履歴を保存する構成でもよい。

［第３の実施形態］
第３の実施形態は、第２の実施形態の構成に加えて、入力履歴から所見を生成する医用画像表示装置及び読影レポート作成支援装置に関する。第３の実施形態では、医用画像表示装置１Ｂの符号を１Ｃとし、読影レポート作成支援装置３Ｂを３Ｃとして、第２の実施形態と異なる部分のみを説明する。

（１）構成
図１２は、第３の実施形態に係る医用画像表示装置１Ｃの構成例を示すブロック図である。図１２の医用画像表示装置１Ｃの処理回路１２ｃは、前述のレポート作成機能１２１ａ及び判定機能１２２ｂに加え、所見用語候補生成機能１２４ｃ及び表示機能１２３ｃを実現する。所見用語候補生成機能１２４ｃ及び表示機能１２３ｃは、記憶回路１３ｃに格納されているプログラムを処理回路１２ｃのプロセッサが実行することによって実現される機能である。

所見用語候補生成機能１２４ｃは、記憶回路１３ｃに記憶されている所見用語候補の中からキーワードに対応する所見用語候補を抽出する。また、ディスプレイに表示された所見用語候補から選択された用語に基づいて文章で構成された所見を生成する。キーワードに基づく所見の生成方法の詳細については後述の図１４で説明する。

表示機能１２３ｃは、第２の実施形態で説明した表示機能１２３ｂに加えて、所見用語候補を読影レポート作成画面Ｄ１又は医用画像表示画面Ｄ２に表示する機能を有する。所見用語候補は、例えばプルダウンメニューなどのＧＵＩによりユーザが選択可能な態様で表示される。ユーザは、プルダウンメニューにより表示された所見用語候補の選択肢の中から、所見を構成する用語を選択する。所見用語候補の表示態様の詳細については後述の図１４で説明する。

図１２の医用画像表示装置１Ｃの記憶回路１３ｃは、前述の第１の記憶領域１３１ａ、第２の記憶領域１３２ａ、第３の記憶領域１３３ｂ、及び第４の記憶領域１３４ｂに加えて、第５の記憶領域１３５ｃをさらに有する。第５の記憶領域１３５ｃは、記憶回路１３ａとは別の記憶回路により構成されてもよい。

第５の記憶領域１３５ｃは、文章で構成される所見の入力候補となる用語を記憶する。所見用語候補は、登録キーワード以外の所見を構成する用語であり、例えば、部位名、病変の種類、及び病変の異常度を示す用語などが含まれる。所見用語候補は、例えば、既に作成済みの読影レポートに含まれる所見内容を解析することによって得られた用語であってもよいし、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語であってもよい。

所見用語候補は、予め医用画像表示装置１Ｃの第５の記憶領域１３５ｃに記憶されている。ここでの「予め」とは、前述同様である。なお、所見用語候補については、電子ネットワーク経由でダウンロードされるように医用画像表示装置１Ｃが構成されもよいし、定期的に更新されるように医用画像表示装置１Ｃが構成されてもよい。

（２）動作
図１３は、第３の実施形態に係る医用画像表示装置１Ｃの動作の一例を示すフローチャートである。図１３のフローチャートの各ステップにおける処理は、処理回路１２ｃが記憶回路１３ｃから所見用語候補生成機能１２４ｃ及び表示機能１２３ｃに対応する所定のプログラムを呼出し、これらのプログラムを実行することにより実現される。また、図１３のフローチャートは、キーワードの入力完了後、即ち、読影終了後からの処理を示す。以下、図１３のフローチャートのステップ番号に従って、第３の実施形態に係る医用画像表示装置１Ｃの動作を説明する。

ステップＳＴ３０１において、表示機能１２３ｃは、入力履歴を表示する。入力履歴は、読影レポート作成画面Ｄ１又は医用画像表示画面Ｄ２のいずれか一方に表示される。

ステップＳＴ３０３において、ユーザは、入力履歴から所見の生成対象となるキーワードを選択する。

ステップＳＴ３０５において、所見用語候補生成機能１２４ｃは、選択されたキーワードに基づいて所見用語候補を記憶回路１３ｃから選択する。所見用語候補は、過去に作成された所見や学会により公開されている所見テンプレートに含まれる用語に基づいて記憶回路１３ｃに記憶されている。表示機能１２３ｃは、所見用語候補を表示し、ユーザは、所見用語候補の中から所見を構成する用語を選択する。

ステップＳＴ３０７において、所見用語候補生成機能１２４ｃは、所見用語候補の中から選択された用語に基づいて所見を生成する。また、選択された所見用語候補に応じて、さらに所見用語候補を表示するように構成してもよい。所見用語候補生成機能１２４ｃは、ユーザにより選択された用語に基づいて文章で構成された所見のテキストデータを生成する。

ステップＳＴ３０９において、表示機能１２３ｃは、生成された所見を表示する。生成された所見のテキストデータは、所見入力欄Ｒ１に表示される。なお、入力履歴が医用画像表示画面Ｄ２に表示された場合は、医用画像表示画面Ｄ２に表示されてもよい。

以上が図１３のフローチャートの説明である。以下、図１４にてステップＳＴ３０５〜ＳＴ３０９の所見生成処理について補足する。

図１４は、第３の実施形態におけるキーワードに基づく所見の生成方法を説明する模式図である。図１４の左端には入力履歴Ｈ２が表示されている。図１４の入力履歴Ｈ２は、入力ＩＰ１「膨張」及び入力ＩＰ２「増加」の２つのキーワードが入力された例を示している。

図１４の入力履歴に示されたキーワードの右側には、所見生成ボタンＧ２１及びＧ２２が示されている。ユーザは選択したキーワードの右側に表示された所見生成ボタンを押下することで、所見を生成することができる。

図１４は、入力履歴Ｈ２の上段に示した入力ＩＰ１「膨張」の右側に表示された所見生成ボタンＧ２１が押下された例を示している。以下、キーワード「膨張」に基づいて所見を生成する方法を具体的に説明する。キーワードは、当該キーワードが入力されたときの医用画像に関連付けされて記憶されている。以下医用画像ＩＭ２１の胸部のアキシャル断面を観察して入力されたキーワードが「膨張」であり、「膨張」を含む所見が解剖学的部位、疾患の種類、及び診断に対する読影医の確信度の各項目からなる例を説明する。

図１４は、３つの所見用語候補選択欄Ｇ２３、Ｇ２４、及びＧ２５を表示するプルダウンメニューが例示されている。所見用語候補を選択するプルダウンメニューは、所見生成ボタンを押下したタイミングですべて表示されるように構成されてもよいし、順番に表示されるように構成されてもよい。即ち、所見用語候補選択欄Ｇ２３が表示され、表示された所見用語候補から用語が選択された後、所見用語候補選択欄Ｇ２４が表示されるように所見用語候補生成機能１２４ｃを構成してもよい。以下、所見用語候補選択欄Ｇ２３〜Ｇ２５が順に表示される例を説明する。

図１４の所見用語候補選択欄Ｇ２３は、所見を構成する解剖学的部位を所見用語候補として表示する。キーワード「膨張」に関連付けされた胸部のアキシャル断面の医用画像ＩＭ２１には、肺、食道、心臓、静脈などの様々な臓器が存在する。医用画像に含まれる解剖学的部位は、例えば、パターンマッチングにより特定される。パターンマッチングとは、臓器の形状、臓器間の相対的な位置関係、血管の配置、又は血管同士の相対的位置関係などを含む標準的な人体モデルのテンプレート画像データに基づいて、医用画像から解剖学的な特徴点をそれぞれ抽出する方法のことである。パターンマッチングにより抽出された特徴点に基づいて医用画像に含まれる解剖学的部位が特定される。

図１４の所見用語候補選択欄Ｇ２３に示すように、所見用語候補生成機能１２４ｃは、キーワードに関連付けされた医用画像から特定された解剖学的部位を所見用語候補として読影レポート作成画面Ｄ１又は医用画像表示画面Ｄ２に表示する。図１４の所見用語候補選択欄Ｇ２３は、胸部のアキシャル断面から抽出された「右肺」、「左肺」、及び「食道」を所見用語候補として表示する例を示している。

図１４の例では、「右肺」、「左肺」、及び「食道」のうち、ユーザが「右肺」を選択した例を示している。図１４では、選択された項目をグレースケールのハッチングを付して非選択の項目と区別して示す。

なお、解剖学的部位は、キーワードに関連付けされた医用画像、医用画像に関連付けされた検査情報又は患者情報などの医療情報に基づいて所見用語候補生成機能１２４ｃにより選択されてもよい。また、第５の記憶領域１３５ｃは、キーワード、検査の種類、又は解剖学的部位に応じて、所見用語候補選択欄Ｇ２３に表示する所見用語候補の組合せを記憶していてもよい。さらに、解剖学的部位は、ＲＯＩやアノテーションが付与された位置に基づいて表示されてもよい。

図１４の所見用語候補選択欄Ｇ２４は、疾患に関連する所見用語候補がプルダウンメニューで表示される例を示している。所見用語候補選択欄Ｇ２４には、「腫瘍」及び「嚢胞」が表示されている。疾患に関連する所見用語候補は、図１４で示した用語には限定されない。疾患に関連する所見用語候補には、例えば、膿瘍、腺腫、及び出血といった他の用語が含まれ、解剖学的部位、検査の種類、又は患者の既往歴などの医療情報に応じた用語が表示される。図１４の例では、「腫瘍」が選択され、グレースケールのハッチングで示されている。

図１４の所見用語候補選択欄Ｇ２５は、読影医の確信度に関連する所見用語候補がプルダウンメニューで表示される例を示している。所見用語候補選択欄Ｇ２５には、「明らか」、「疑い（強）」、及び「疑い（弱）」が表示されている。

「疑い（強）」は、確信度が高いことを示す。「疑い（強）」は、例えば、画像診断では疾患が確認される場合であっても、診断基準に準じて血液検査など他の検査と併せて確定診断とすべき場合などに選択される用語である。

一方、「疑い（弱）」は、画像診断では明確な疾患と判断できないが、正常と断定することもできない場合に選択される用語である。図１４の例では、「明らか」が選択され、グレースケールのハッチングで示されている。

所見用語候補生成機能１２４ｃは、所見用語選択欄Ｇ２３〜Ｇ２５に表示された所見用語候補から選択された「右肺」、「腫瘍」、及び「明らか」と、入力されたキーワード「膨張」に基づいて所見を生成する。図１４の下部の所見Ｒ２に示すように、所見用語候補生成機能１２４ｃは、「右肺部に、腫瘍の明らかな膨張を認めます。」という文章を所見として生成する。第５の記憶領域１３５ｃには、例えば、日本語や英語などの各言語の文章のテンプレートが記憶されている。所見用語候補生成機能１２４ｃは、選択された用語の組合せに応じたテンプレートを第５の記憶領域１３５ｃから読み出し、読み出したテンプレートに基づいて所見の文章データを生成する。また、所見に対応する文章を第５の記憶領域１３５ｃに蓄積すると共に、選択された用語を含む文章を所見用語候補生成機能１２４ｃが検索して所見として表示するように医用画像表示装置１Ｃを構成してもよい。

なお、所見用語候補選択欄の種類は、図１４の表示内容には限定されない。例えば、再発、原発、又は転移などの腫瘍の発生態様を所見用語選択欄に表示してもよい。所見用語候補選択欄は、検査の種類や患者の既往歴などに応じてその組合せが予め規定されていてもよい。なお、ここでの「予め」は、前述同様である。

このように、第３の実施形態に係る医用画像表示装置１Ｃによれば、第２の実施形態と同様の効果を得ることができる。加えて、第３の実施形態では、入力したキーワードに基づいて表示される所見用語候補を選択するだけで所見を自動的に生成できる。したがって、医用画像表示装置１Ｃは、読影レポート作成の効率化を支援することができる。さらに、医用画像表示装置１Ｃは、所見用語候補の中から選択された用語に基づいて所見の文章データを生成する。したがって、所見に使用される用語や表記を統一することができるため、読影レポートの品質の向上に寄与する。

なお、第３の実施形態における所見用語候補は、医用画像表示装置１Ｃとは別に設けられた読影レポート作成支援装置３Ｃによって処理されてもよい。具体的には、図１２において一点鎖線の枠内に示すように、読影レポート作成支援装置３Ｃは、ディスプレイ１１ａ、処理回路１２ｃ、入力回路１４、及び不図示の記憶回路を備える。この構成では、読影レポート作成支援装置３Ｃの処理回路１２ｃが所見用語候補生成機能１２４ｃ及び表示機能１２３ｃを実行する。この場合、読影レポート作成支援装置３Ｃが表示する読影レポート作成画面Ｄ１に所見用語候補が表示され、生成された所見が所見入力欄Ｒ１に表示される。

以上述べた少なくとも一つの実施形態の医用画像表示装置及び読影レポート作成支援装置によれば、音声入力により従来技術よりも所見を効率的に作成することが可能となる。

なお、請求項の用語と、実施形態との対応関係は、例えば以下の通りである。記憶回路１３ａ、１３ｂ、１３ｃは、請求項記載の記憶部の一例である。また、ディスプレイ１１ａ、１１ｂは、請求項記載の表示部の一例である。また、音声入力回路１５は、請求項記載の音声入力部の一例である。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１Ａ、１Ｂ、１Ｃ…医用画像表示装置
１２ａ、１２ｂ、１２ｃ…処理回路
１５…音声入力回路

Claims (8)

1. 医用画像の所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、
   前記キーワードに対応する音声を認識する音声入力部と、
   前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、
   を備え、
   前記視覚情報は、図形、前記図形の動作、色、明度、又は彩度の少なくとも１つにより、前記キーワードが表す前記医用画像の状態変化又は形態変化を視覚的に表す情報である、
   医用画像表示装置。
2. 前記視覚情報は、前記キーワードが発話されたときに瞬間的に表示される、
   請求項１記載の医用画像表示装置。
3. 前記記憶部は、前記キーワードを入力履歴として記憶し、
   前記表示部は、前記入力履歴を一覧で表示する、
   請求項１または請求項２に記載の医用画像表示装置。
4. 前記記憶部は、前記キーワードが入力されたときの前記医用画像の表示設定を記憶し、
   前記表示部は、前記表示設定に基づいて前記入力履歴から選択されたキーワードが入力されたときの前記医用画像の表示状態を再現する、
   請求項３に記載の医用画像表示装置。
5. 前記記憶部は、前記所見の入力候補となる所見用語候補を記憶し、
   前記表示部は、前記キーワードに基づいて前記所見用語候補を表示し、前記所見用語候補から選択された用語に基づいて文章として生成した前記所見を表示する、
   請求項３に記載の医用画像表示装置。
6. 医用画像の所見に含まれるキーワードと、前記キーワードの意味を直感的に表す視覚情報とを記憶する記憶部と、
   前記キーワードに対応する音声を認識する音声入力部と、
   前記キーワードが発話されたときに前記キーワードに対応する前記視覚情報を前記医用画像に重ね合わせて表示する表示部と、
   を備え、
   前記記憶部は、前記キーワードを入力履歴として記憶し、
   前記表示部は、前記入力履歴を一覧で表示する、
   医用画像表示装置。
7. 前記記憶部は、前記キーワードが入力されたときの前記医用画像の表示設定を記憶し、
   前記表示部は、前記表示設定に基づいて前記入力履歴から選択されたキーワードが入力されたときの前記医用画像の表示状態を再現する、
   請求項６に記載の医用画像表示装置。
8. 前記記憶部は、前記所見の入力候補となる所見用語候補を記憶し、
   前記表示部は、前記キーワードに基づいて前記所見用語候補を表示し、前記所見用語候補から選択された用語に基づいて文章として生成した前記所見を表示する、
   請求項６に記載の医用画像表示装置。

Images