JP4583721B2

JP4583721B2 - Interpretation support system and interpretation support program

Info

Publication number: JP4583721B2
Application number: JP2003113691A
Authority: JP
Inventors: 卓是角村
Original assignee: Hitachi Medical Corp
Current assignee: Hitachi Healthcare Manufacturing Ltd
Priority date: 2003-04-18
Filing date: 2003-04-18
Publication date: 2010-11-17
Anticipated expiration: 2023-04-18
Also published as: JP2004313563A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像と音声とをそれぞれ時間データと共に記録し、記録した時間データを基に合成することの可能な読影支援システム、プログラムに関する。
【０００２】
【従来の技術】
Ｘ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）装置、超音波診断装置などの医用画像診断装置においては、撮影された医用画像を医師が診断または読影する際には、撮影された医用画像を医用フィルムに出力したものをシャウカステンに照らして診断または読影を行う。
【０００３】
また、医用画像診断装置で撮影された医用画像をコンピュータに画像データとして取り込んで多値化処理などの種々の画像処理を行い、病巣候補を判別するようにした画像診断支援装置を用いて診断または読影を行う方法もある（例えば、特許文献１参照）。
【０００４】
上記診断または読影の結果は所定記録用紙に記述される等の方法で記録され、医師が患者または受診者に診断または読影の結果を説明する際には、医用フィルムまたはＣＲＴモニタ等の画像表示装置に表示された医用画像を参照しながら口頭で説明し、その結果は書面にて通知している。
【０００５】
【特許文献１】
国際公開第０２／０２００２号公報（第５−６頁、図１）
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の診断または読影の説明または通知方法では、同じ患者や以前の受診者の過去の記録を閲覧する場合、該当の医用フィルムや、対応する所見記録用紙を探すのに時間がかかるという問題があった。また、受診者に読影結果を説明する際に、限られた時間での口頭説明や書面での結果通知では、受診者への理解が浸透しないという問題があった。
【０００７】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、任意の医用画像を表示させ、それに対する読影または診断に関する医師の説明の音声を記録し、その記録した音声と医用画像を患者または受診者に提供することで、医用画像の読影または診断作業にかかる時間を短縮し、読影診断作業の効率を向上すると共に、診断または読影に関する患者、受診者の理解の浸透を向上させることが可能な読影支援システム、プログラムを提供することである。
【０００８】
【課題を解決するための手段】
前述した目的を達成するために、第１の発明は、医用画像の病巣候補を抽出し、その抽出された医用画像の病巣候補を明示し、その明示情報と前記医用画像とを表示する手段と、記録の開始と終了を指示する記録通知手段と、前記記録通知手段により記録の開始が指示されると、終了が指示されるまでの間、前記表示手段に表示中の前記明示情報及び前記医用画像を含む表示画像情報を任意に設定された一定のサンプリング時間毎に取り込み、サンプリング時間情報とともに記録する画像取得手段と、前記記録通知手段により記録の開始が指示されると、終了が指示されるまでの間、診断者により発せられた音声診断情報を取り込み、前記表示画像情報のサンプリング時間情報と対応付けて記録する音声入力手段と、前記画像取得手段によって取り込まれた表示画像情報と、前記音声入力手段によって入力された音声診断情報とを前記サンプリング時間毎に対応付け、一連の音声画像合成情報を生成する音声画像情報合成手段と、この音声画像情報合成手段により生成された音声画像合成情報を記録する音声画像合成情報記録手段と、この音声画像合成情報記録手段により記録された音声画像合成情報を再生する音声画像合成情報再生手段と、を備えることを特徴とする読影支援システムである。
【０００９】
ここで、明示情報とは、医用画像の病巣候補を明示するもので、例えば、癌の病巣候補を医用画像上に丸印等で明示するものである。
診断情報とは診断者である医師等が行う説明等の情報である。
【００１０】
この読影支援システムにおいて、前記画像取得手段の取り込む表示画像情報には、対比させながら表示される複数の画像が含まれるようにしてもよい。
また、前記医用画像上に図形または文字を描画する描画手段を備え、前記画像取得手段により取り込まれる画像情報には、この描画手段による前記サンプリング時間毎の描画経過情報が含まれるようにしてもよい。
【００１１】
更に、音声画像合成情報記録手段は、外部記憶装置に装填可能なメディアに記録することができる。
【００１２】
この読影支援システムでは、表示手段に表示され、必要に応じて図形、文字等を書き込まれた医用画像、明示情報等を含む表示画像情報を、前記記録通知手段により記録の開始が指示されると、終了が指示されるまでの間、任意に設定された一定のサンプリング時間毎に記録する。一方、記録の開始が指示されると、終了が指示されるまでの間、音声入力手段から入力された音声診断情報を取り込み、前記表示画像情報のサンプリング時間情報と対応付けて記録する。音声画像合成手段は、取り込まれた表示画像情報と、入力された音声診断情報とをサンプリング時間毎に対応付け、一連の音声画像合成情報を生成し、記録し、また、音声画像合成情報再生手段は、記録された音声画像合成情報を再生する。
【００１４】
第２の発明は、コンピュータにより読み取り可能なプログラムであって、医用画像の病巣候補を抽出し、その抽出された医用画像の病巣候補を明示し、その明示情報と前記医用画像とを表示するステップと、記録の開始を指示するステップと、記録の開始が指示されると、終了が指示されるまでの間、表示中の前記明示情報及び前記医用画像を含む表示画像情報を任意に設定された一定のサンプリング時間毎に取り込み、サンプリング時間情報とともに記録するステップと、記録の開始が指示されると、終了が指示されるまでの間、診断者により発せられた音声診断情報を取り込み、前記表示画像情報のサンプリング時間情報と対応付けて記録するステップと、前記表示画像情報と前記音声診断情報とを前記サンプリング時間毎に対応付け、一連の音声画像合成情報を生成するステップと、生成された音声画像合成情報を記録するステップと、記録された音声画像合成情報を再生するステップと、を含む処理をコンピュータに実行させるための読影支援プログラムである。
【００１５】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、本発明の１実施の形態にかかる読影支援システム１を示す概略図、図２は、読影支援システム１の動作を説明するフローチャート、図３は、画像１００を示す図、図４は、画像１０６を示す図、図５は、画像情報Ｖｎの記録方法を示す概念図、図６は、音声情報Ｓの記録方法を示す概念図、図７は、画像情報Ｖｎと音声情報Ｓとの合成方法を示す概念図、図８は、合成データ３００を示す図である。
【００１６】
まず、図１を参照しながら、読影支援システム１の構成について説明する。図１に示すように、読影支援システム１は、制御装置３、表示装置１５、外部入力装置１９、音声入力装置２１、ボタン２３、外部記録装置２５等を有しており、必要に応じてネットワーク３３を介してサーバ３５に接続される。
【００１７】
制御装置３は、コンピュータシステムであり、ＣＰＵ５、メモリ７、ハードディスク９、インターフェース１１等を有している。ＣＰＵ５は、制御装置３の動作を制御する基本処理装置である。メモリ７は、制御装置３に内蔵された記録手段であり、画像情報、音声情報等を一時的に格納する。ハードディスク９は、制御装置３に内蔵された記憶装置であり、制御装置３に各種処理動作を行わせるためのプログラム、画像情報、音声情報、時間情報等を保存する。インターフェース１１は、制御装置３と外部との間での情報の入出力を制御する。
【００１８】
表示装置１５、外部入力装置１９、音声入力装置２１、ボタン２３、外部記録装置２５等は、インターフェース１１を介して制御装置３と接続されている。表示装置１５は、例えばＣＲＴモニタ、液晶表示装置等であり、ハードディスク９、外部記録装置２５、または、ネットワーク３３を介してサーバ３５のデータベース（図示せず）などから読み込んだ画像、外部入力装置１９から入力された文字、図形などを含む画像等を表示する。
【００１９】
外部入力装置１９は、例えばキーボード、マウス、タッチペン等であり、制御装置３に処理を指示する命令の入力手段、表示装置１５に表示されている画像への文字、図形の描き込み等を行う描画手段等として機能する。音声入力装置２１は例えばマイクロフォンであり、表示装置１５に表示された画像の説明等の音声を入力する。
【００２０】
ボタン２３は、メモリ７への画像情報、音声情報の記録開始あるいは記録終了の指示を行う記録通知手段である。記録の通知は、ボタン２３を１回押下することにより記録開始し、２度目に押下することにより記録終了するようにしてもよいし、ボタン２３を押下し続けている間、記録を行うようにしてもよい。
【００２１】
押下する毎に記録の開始、終了を通知する場合には、ボタン２３が押下されるとＣＰＵ５に記録開始を通知する制御信号を送信し、次に押下されると、ＣＰＵ５に記録の終了を通知する制御信号の送信を行うという方法が適用できる。ボタン２３を押し続けている間記録を継続する場合には、その間ＣＰＵ５に記録を継続させる制御信号を送信し続けるという方法が適用できる。また、記録通知手段としては、ボタン２３以外に、フットスイッチ、キーボード、マウス等からの入力、あるいは音声入力による方法を用いることもできる。
【００２２】
外部記録装置２５は、ＣＤ（コンパクトディスク）、ＭＯ（光磁気ディスク）、ＤＶＤ（ディジタルビデオディスク）等のメディア３１に情報の書き込みまたは読み取りを行うことが可能な記録装置である。外部記録装置２５は、制御装置３で合成された音声画像合成情報をメディア３１に記録する。また、画像表示装置１５に表示する画像を、外部記録装置２５で読み取るようにしてもよい。
【００２３】
ネットワーク３３は、インターネット、電話回線などの通信回線である。サーバ３５は、例えば医用画像を保持したデータベース（図示せず）を有し、そのデータベースの制御、ネットワークを介した通信の制御等を行うコンピュータシステムである。
【００２４】
次に、図２から図８を参照しながら読影支援システム１の動作を説明する。ここでは、医師が医用画像装置による検査を受けた受診者に検査結果を説明する場合を例にする。図２に示すように、制御装置３のＣＰＵ５は、ハードディスク９、外部記録装置２５、サーバ３５等、画像を保持している記録装置から画像情報を読み取ってメモリ７に展開し、表示装置１５に表示する（ステップ２０１）。
この例では読み取られる画像情報は、Ｘ線ＣＴ装置、ＭＲＩ装置、超音波診断装置等で撮影され、ディジタルデータに変換されて記録装置に保持されている医用画像の画像情報である。
【００２５】
画像表示装置１５に表示された画像の患部や病変等を指摘するために図形または文字などを書き込む必要がある場合には、キーボード、マウス、タッチペン等の描画手段である外部入力装置１９により図形または文字などを描画する（ステップ２０２）。このとき図３に示すように、読み取った画像は、胸部のＸ線ＣＴ装置による画像であるとする。この画像１００には、肺癌の病巣候補を明示する明示情報として丸印１０３が描かれている。また、この画像１００には、図形１０２が描かれカーソル１０４が表示されている。図４に示す例では、画像１０６のように、「肺癌１０ｍｍ」という文字１０８が描画されている。図形１０２、カーソル１０４、文字１０８などは、医師が受診者に検査結果の説明を補足するために、必要に応じて描画され表示された画像である。
【００２６】
医師が受診者への説明の記録を開始する場合には、ボタン２３を押下する。ＣＰＵ５は、インターフェース１１を介してボタン２３からの信号を感知することにより押下されたか否かを判断する（ステップ２０３）。押されていない場合には、ステップ２０１に戻る。このとき、ステップ２０２で図形等を描画する前にボタン２３を押下して記録を開始し、説明を行いながら、表示画面に描画する経過も表示画像として共に記録するようにしてもよい。
【００２７】
ボタン２３が押下されたことが認識されるとＣＰＵ５は、図形１０２、カーソル１０４、文字１０８などを含む表示装置１５に表示されている画像を、画像情報Ｖｎとして時系列に記録する。
【００２８】
図５に示すように画像情報Ｖｎは、一定時間（以下、サンプリング時間という）毎に表示装置１５に表示されている表示画像をディジタルデータに変換した情報である。サンプリング時間は、例えば動画像表示の場合では１／３０秒程度にしてもよいし、静止画像の説明という用途に合わせて、例えば１秒程度としてもよく、任意に設定が可能である。また、画像情報Ｖｎが記録されている間に、外部入力装置１９から図形または文字などが入力された場合は、画像情報Ｖｎとして共に記録される。
【００２９】
このとき、記録が行われた時間ｔを共にメモリ７に一時的に格納する。例えばボタン２３が押下された時刻ｔ０を時間ゼロとした時間ｔを記録するようにしてもよいし、時刻を時間ｔとして記録してもよい。時間ｔは、時間ｔ０と画像情報Ｖ０、…、時間ｔｋと画像情報Ｖｋというように、画像情報Ｖｎと対応して記録される。
【００３０】
また画像情報Ｖｎが記録されている間、同時にＣＰＵ５は、音声入力装置２１から入力された音声を音声情報Ｓとして上記時間ｔと共にメモリ７に一時的に格納する（ステップ２０４）。すなわちこのとき、表示装置１５に表示された画像を見ながら医師が説明した音声が、サンプリング時間毎に記録された画像情報Ｖｎと共に時間ｔに対応づけられた状態でメモリ７に格納されていく。
【００３１】
図６に示すように、例えば時間ｔ０から次のサンプリング時間ｔ１までの音声情報Ｓを時間ｔ０と対応づけて記録し、同様に順次時間ｔと音声情報Ｓを対応づけてメモリ７に格納する。メモリ７に格納される際には、音声情報Ｓはディジタルデータに変換される。
【００３２】
ＣＰＵ５は、ボタン２３が離されたか否かを判断する（ステップ２０５）。離されていない場合、ボタン２３は制御装置３に制御信号を送り続けるため、ステップ２０４に戻って画像情報Ｖｎ、音声情報Ｓ、時間ｔのメモリ７への記録が継続的に行われる。図２の例では、ボタン２３が押下されている間、ボタン２３から制御信号が継続して制御装置３に入力され、記録を継続する方法であるが、１回押下されると記録を開始し、次に１回押下されると記録を終了するようにしてもよい。
【００３３】
ボタン２３が離され、制御信号の供給が停止されて記録が終了するとＣＰＵ５は、メモリ７に格納された画像情報Ｖｎ、音声情報Ｓ、時間ｔをハードディスク９に転送し、保存する（ステップ２０６）。このときも、画像情報Ｖｎ、音声情報Ｓは夫々ディジタルデータに変換されており、それぞれ時間ｔに対応づけられた状態でハードディスク９に保存される。
【００３４】
また、記録が継続されている間、画像情報Ｖｎ、音声情報Ｓ、時間ｔは一時的にメモリ７に格納されるが、記録時間が長くなり情報量が多くなる場合には、記録を継続している間に既に記録された画像情報Ｖｎ、音声情報Ｓ、時間ｔ等を順次ハードディスク９に転送し、記録するようにしてもよい。
【００３５】
ハードディスク９に上記画像情報Ｖｎ、音声情報Ｓ、時間ｔが保存されるとＣＰＵ５は、画像情報Ｖｎ、音声情報Ｓにそれぞれ対応づけられて保存された時間ｔを参照し、同一時間ｔの画像情報Ｖｎと音声情報Ｓとを合成し、合成データ３００を生成する（ステップ２０７）。
【００３６】
図７に示すように、時間ｔ０に画像情報Ｖ０と、時間ｔ０から時間ｔ１までの音声情報Ｓとを対応させることで、合成データ３００を生成する。すなわち図８に示すように、合成データ３００は、時間３０２が例えば時間ｔ０とすると、音声３０４として時間ｔ０から時間ｔ１までの音声情報Ｓを記録し、画像３０６として画像情報Ｖ０を記録する。以下同様に時間３０８、音声３１０、画像３１２、…と、同一時間における音声情報Ｓと画像情報Ｖｎとを対応づけて記録し、合成データ３００とする。このとき、画像情報Ｖｎ、音声情報Ｓはディジタルデータである。
【００３７】
ＣＰＵ５は、合成データ３００をハードディスク９に記録すると共に、外部記録装置２５によりメディア３１に記録する（ステップ２０８）。メディア３１としてはＣＤ、ＭＯ、ＤＶＤ等が利用可能である。このように合成データ３００を記録したので、メディア３１により、医師が説明している音声と、参照した画像が同時に再生することができる。
【００３８】
また、医師が、撮影された医用画像の読影または診断を行う場合には、対象の画像を表示装置１５に表示させ、ボタン２３を押下して、外部入力装置１９により必要な図形、文字などを描画しながら、記録しておきたい所見等を音声入力装置２１により記録させることもできる。このとき、記録装置に保存されている画像ならば、同一患者の過去のデータや他の患者の参考になる画像等、複数の画像を対比させながら表示させて参考にし、所見と共に記録しながら読影または診断を行うことや、一度読影または診断を行った医用画像を再び閲覧することも、資料を保管場所をから探す手間を省くことができるので容易に行える。また、受診者及び患者に対する説明の補充として用いることもできる。
【００３９】
以上詳細に説明したように、本発明の望ましい一実施形態によれば、合成データ３００が記録されたメディア３１が得られる。受診者はこのメディア３１を再生装置で再生することにより、随時繰り返して医師の説明を、画像を確認しながら聞くことができる。これにより、自分に下された診断や、生活上の注意点等についての理解を深めることが可能になる。また、別な医師にセカンドオピニオンを求める際に活用すれば、より正確に初めに診断した医師の診断内容を伝えることができ、別な医師の診断を受けることで重複して同じ検査をする等の無駄を省く効果もある。
【００４０】
以上、添付図面を参照しながら本発明にかかる読影支援システム、読影支援方法、プログラムの好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００４１】
例えば、本実施の形態においては、医用画像を用いた読影支援システムとしたが、表示される画像は医用画像に限定されない。記録装置に記録可能な画像であれば、動画、静止画いずれでもよく、アナログ信号で記録された画像でもよい。
また、本実施の形態においては、音声を音声入力装置から入力したが、逆に、記録装置に記録された音声に合わせ、映像をビデオカメラ等の撮像装置により入力し、合成する方法でもよい。この場合も、記録装置に記録された音声はアナログ信号で記録されていてもよい。
【００４２】
【発明の効果】
以上、詳細に説明したように本発明によれば、画像と所見が時系列的に合成されて表示されるので診断時間の短縮、作業の効率を向上することができる。また、画像と所見が１つの記録媒体に収納されるので、患者及び検診受診者に診断後の説明を行う際に、画像を用いて説明した内容を記録し、患者または受診者に渡せるので、診断内容の理解を深めるという効果も奏する。
【図面の簡単な説明】
【図１】本発明の１実施の形態にかかる読影支援システム１を示す概略図
【図２】読影支援システム１の動作を説明するフローチャート
【図３】画像１００を示す図
【図４】画像１０６を示す図
【図５】画像情報Ｖｎの記録方法を示す概念図
【図６】音声情報Ｓの記録方法を示す概念図
【図７】画像情報Ｖｎと音声情報Ｓとの合成方法を示す概念図
【図８】合成データ３００を示す図
【符号の説明】
１読影支援システム
３制御装置
５ＣＰＵ
７メモリ
９ハードディスク
１１インターフェース
１５表示装置
１９外部入力装置
２１音声入力装置
２３ボタン
２５外部記録装置
３１メディア
３３ネットワーク
３５サーバ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image interpretation support system and program capable of recording an image and a sound together with time data and synthesizing based on the recorded time data.
[0002]
[Prior art]
In a medical image diagnostic apparatus such as an X-ray CT (Computed Tomography) apparatus, an MRI (Magnetic Resonance Imaging) apparatus, or an ultrasonic diagnostic apparatus, when a doctor diagnoses or interprets a captured medical image, Diagnosis or interpretation is performed in the form of an image output on medical film against a shaucusten.
[0003]
In addition, a medical image captured by a medical image diagnostic apparatus is captured as image data in a computer, subjected to various image processing such as multi-value processing, and diagnosed using an image diagnosis support apparatus configured to discriminate lesion candidates. There is also a method of performing interpretation (see, for example, Patent Document 1).
[0004]
The result of the diagnosis or interpretation is recorded by a method such as described on a predetermined recording sheet. When the doctor explains the result of the diagnosis or interpretation to the patient or the examinee, an image display device such as a medical film or a CRT monitor The verbal explanation is made with reference to the medical image displayed on the screen, and the result is notified in writing.
[0005]
[Patent Document 1]
International Publication No. 02/0202 (Page 5-6, FIG. 1)
[0006]
[Problems to be solved by the invention]
However, in the conventional diagnosis or interpretation explanation or notification method described above, when browsing past records of the same patient or previous examinee, it takes time to search for the corresponding medical film or corresponding finding record sheet. There was a problem. Further, when explaining the interpretation result to the examinee, there is a problem that the understanding to the examinee does not penetrate in the oral explanation and the written result notification in a limited time.
[0007]
The present invention has been made in view of such a problem, and an object of the present invention is to display an arbitrary medical image, record a doctor's explanation voice regarding interpretation or diagnosis, and record the recorded voice. And medical images are provided to patients and examinees to shorten the time required for interpretation and diagnosis of medical images, improve the efficiency of interpretation and diagnosis, and promote understanding of patients and examinees regarding diagnosis or interpretation Is to provide an interpretation support system and program capable of improving
[0008]
[Means for Solving the Problems]
In order to achieve the above-described object, the first invention is a means for extracting a lesion candidate of a medical image, specifying a lesion candidate of the extracted medical image, and displaying the explicit information and the medical image. A recording notification means for instructing the start and end of recording, and when the start of recording is instructed by the recording notification means, the explicit information and the medical information displayed on the display means until the end of the recording is instructed An image acquisition unit that captures display image information including an image at every arbitrarily set sampling time and records it together with the sampling time information, and when the recording notification unit instructs the start of recording, the end is instructed until captures audio diagnostic information emitted by the diagnostician, an audio input means for recording in association with the sampling time information of the display image information, depending on the image acquisition unit A captured display image information, the association for each of the sampling time and the audio diagnostic information inputted by said voice input means, voice image information combining means for generating a series of speech image synthesis information, the audio-video information synthesizing Audio image synthesis information recording means for recording the audio image synthesis information generated by the means, and audio image synthesis information reproducing means for reproducing the audio image synthesis information recorded by the audio image synthesis information recording means. It is a characteristic interpretation support system.
[0009]
Here, the explicit information is information that clearly indicates a lesion candidate of a medical image, for example, a cancer lesion candidate that is indicated by a circle or the like on the medical image.
The diagnosis information is information such as explanation given by a doctor who is a diagnostician.
[0010]
In this interpretation support system, the display image information captured by the image acquisition means may include a plurality of images displayed while being compared.
In addition, a drawing unit that draws a graphic or a character on the medical image may be provided, and the image information captured by the image acquisition unit may include drawing progress information for each sampling time by the drawing unit. .
[0011]
Furthermore, the voice image synthesis information recording means can record on a medium that can be loaded into the external storage device .
[0012]
In this image interpretation support system, when the recording notification means instructs the start of recording of display image information including medical images, explicit information, etc., which are displayed on the display means and in which figures, characters, etc. are written as necessary. Until the end is instructed, recording is performed at an arbitrarily set sampling time . On the other hand, when the start of recording is instructed, until the end is instructed, the audio diagnostic information input from the audio input means is captured and recorded in association with the sampling time information of the display image information . Audio image synthesizing means includes a captured display image information, the association and the audio diagnostic information input to each sampling time, to produce a series of sound image synthesis information, record, also voice image synthesis information reproducing The means reproduces the recorded audio image synthesis information.
[0014]
The second invention is a computer-readable program for extracting a lesion candidate of a medical image, specifying a lesion candidate of the extracted medical image, and displaying the explicit information and the medical image When the steps of instructing the start of recording, the start of recording is instructed, completed until instructed, an optionally set the display image information including the explicit information and the medical image in the display Capturing at a certain sampling time and recording together with the sampling time information, and when the start of recording is instructed, until the end is instructed , voice diagnostic information issued by a diagnostician is captured, and the display image and recording in association with the sampling time information of the information, associating a said display image information and the audio diagnostic information for each of the sampling time, Interpretation support for executing the steps of generating a speech image synthesis information of the communication, and recording the audio and image synthesis information generated, a step of reproducing the sound image synthesis information is recorded, the process comprising the computer It is a program.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. FIG. 1 is a schematic diagram showing an interpretation support system 1 according to an embodiment of the present invention, FIG. 2 is a flowchart for explaining the operation of the interpretation support system 1, FIG. 3 is a diagram showing an image 100, and FIG. FIG. 5 is a conceptual diagram illustrating a recording method of the image information Vn, FIG. 6 is a conceptual diagram illustrating a recording method of the audio information S, and FIG. 7 is a schematic diagram of the image information Vn and the audio information S. FIG. 8 is a conceptual diagram showing a synthesis method, and FIG.
[0016]
First, the configuration of the image interpretation support system 1 will be described with reference to FIG. As shown in FIG. 1, the image interpretation support system 1 includes a control device 3, a display device 15, an external input device 19, a voice input device 21, a button 23, an external recording device 25, and the like. It is connected to the server 35 via 33.
[0017]
The control device 3 is a computer system and includes a CPU 5, a memory 7, a hard disk 9, an interface 11, and the like. The CPU 5 is a basic processing device that controls the operation of the control device 3. The memory 7 is a recording unit built in the control device 3 and temporarily stores image information, audio information, and the like. The hard disk 9 is a storage device built in the control device 3 and stores programs, image information, audio information, time information, and the like for causing the control device 3 to perform various processing operations. The interface 11 controls input / output of information between the control device 3 and the outside.
[0018]
The display device 15, the external input device 19, the voice input device 21, the button 23, the external recording device 25, and the like are connected to the control device 3 via the interface 11. The display device 15 is, for example, a CRT monitor, a liquid crystal display device, or the like, an image read from the hard disk 9, the external recording device 25, or a database (not shown) of the server 35 via the network 33, the external input device 19 and the like. An image including characters, figures and the like input from is displayed.
[0019]
The external input device 19 is, for example, a keyboard, a mouse, a touch pen, etc., and is an input means for instructing the control device 3 to perform processing, and a drawing for drawing characters and figures on the image displayed on the display device 15. It functions as a means. The voice input device 21 is, for example, a microphone, and inputs a voice such as an explanation of an image displayed on the display device 15.
[0020]
The button 23 is a recording notification unit that gives an instruction to start or end recording of image information and audio information in the memory 7. The recording notification may be started by pressing the button 23 once, and may end by pressing the button 23 for the second time, or may be performed while the button 23 is kept pressed. May be.
[0021]
When notifying the start and end of recording each time the button is pressed, a control signal for notifying the start of recording is transmitted to the CPU 5 when the button 23 is pressed, and the end of recording is notified to the CPU 5 when pressed next time. A method of transmitting a control signal to be applied can be applied. When recording is continued while the button 23 is kept pressed, a method of continuously transmitting a control signal for continuing recording to the CPU 5 can be applied. In addition to the buttons 23, the recording notification means may be a method using an input from a foot switch, a keyboard, a mouse, or the like, or a voice input.
[0022]
The external recording device 25 is a recording device capable of writing or reading information on a medium 31 such as a CD (compact disc), MO (magneto-optical disc), DVD (digital video disc) or the like. The external recording device 25 records the sound image synthesis information synthesized by the control device 3 on the medium 31. The image displayed on the image display device 15 may be read by the external recording device 25.
[0023]
The network 33 is a communication line such as the Internet or a telephone line. The server 35 is a computer system that has a database (not shown) holding medical images, for example, and performs control of the database, communication via a network, and the like.
[0024]
Next, the operation of the image interpretation support system 1 will be described with reference to FIGS. Here, the case where a doctor explains a test result to a medical examinee who has undergone a test by a medical imaging apparatus is taken as an example. As shown in FIG. 2, the CPU 5 of the control device 3 reads image information from a recording device holding an image, such as the hard disk 9, the external recording device 25, the server 35, etc., expands it in the memory 7, and displays it on the display device 15. Display (step 201).
In this example, the image information to be read is image information of a medical image that is captured by an X-ray CT apparatus, an MRI apparatus, an ultrasonic diagnostic apparatus, etc., converted into digital data, and held in a recording apparatus.
[0025]
When it is necessary to write a figure or a character in order to point out the affected part or lesion of the image displayed on the image display device 15, the external input device 19 which is a drawing means such as a keyboard, a mouse, a touch pen, etc. Characters and the like are drawn (step 202). At this time, as shown in FIG. 3, it is assumed that the read image is an image obtained by an X-ray CT apparatus of the chest. In this image 100, a circle 103 is drawn as explicit information that clearly indicates a lesion candidate for lung cancer. In this image 100, a figure 102 is drawn and a cursor 104 is displayed. In the example illustrated in FIG. 4, the characters 108 “lung cancer 10 mm” are drawn as in the image 106. The figure 102, the cursor 104, the character 108, and the like are images that are drawn and displayed as necessary in order for the doctor to supplement the explanation of the examination result to the examinee.
[0026]
When the doctor starts recording the explanation to the examinee, the button 23 is pressed. The CPU 5 determines whether or not it has been pressed by sensing a signal from the button 23 via the interface 11 (step 203). If not, the process returns to step 201. At this time, before drawing a figure or the like in step 202, recording may be started by pressing the button 23, and the progress of drawing on the display screen may also be recorded as a display image while explaining.
[0027]
When it is recognized that the button 23 has been pressed, the CPU 5 records an image displayed on the display device 15 including the graphic 102, the cursor 104, the character 108, and the like as image information Vn in time series.
[0028]
As shown in FIG. 5, the image information Vn is information obtained by converting the display image displayed on the display device 15 into digital data at regular time intervals (hereinafter referred to as sampling time). For example, in the case of moving image display, the sampling time may be set to about 1/30 seconds, or may be set to, for example, about 1 second in accordance with the use of explaining a still image, and can be arbitrarily set. Further, when a graphic or a character is input from the external input device 19 while the image information Vn is being recorded, it is recorded together as the image information Vn.
[0029]
At this time, the recording time t is both temporarily stored in the memory 7. For example, the time t when the time t0 when the button 23 is pressed may be recorded as time zero, or the time may be recorded as time t. The time t is recorded corresponding to the image information Vn, such as time t0 and image information V0,..., Time tk and image information Vk.
[0030]
While the image information Vn is being recorded, the CPU 5 temporarily stores the voice input from the voice input device 21 as the voice information S in the memory 7 together with the time t (step 204). That is, at this time, the voice explained by the doctor while viewing the image displayed on the display device 15 is stored in the memory 7 in a state associated with the time t together with the image information Vn recorded for each sampling time.
[0031]
As shown in FIG. 6, for example, audio information S from time t0 to the next sampling time t1 is recorded in association with time t0, and similarly, time t and audio information S are sequentially stored in the memory 7. When stored in the memory 7, the audio information S is converted into digital data.
[0032]
The CPU 5 determines whether or not the button 23 has been released (step 205). If not released, the button 23 continues to send a control signal to the control device 3, so that the process returns to step 204 and recording of the image information Vn, audio information S, and time t in the memory 7 is continuously performed. In the example of FIG. 2, while the button 23 is being pressed, a control signal is continuously input from the button 23 to the control device 3 and recording is continued. When the button 23 is pressed once, recording starts. Then, the recording may be ended when the button is pressed once again.
[0033]
When the button 23 is released, the supply of the control signal is stopped and the recording is finished, the CPU 5 transfers the image information Vn, the sound information S, and the time t stored in the memory 7 to the hard disk 9 and stores them (step 206). . Also at this time, the image information Vn and the sound information S are converted into digital data, respectively, and stored in the hard disk 9 in a state corresponding to time t.
[0034]
Further, while the recording is continued, the image information Vn, the audio information S, and the time t are temporarily stored in the memory 7, but when the recording time becomes long and the amount of information increases, the recording is continued. The image information Vn, audio information S, time t, and the like that have already been recorded during the transfer may be sequentially transferred to the hard disk 9 and recorded.
[0035]
When the image information Vn, the sound information S, and the time t are stored in the hard disk 9, the CPU 5 refers to the time t stored in association with the image information Vn and the sound information S, and the image information at the same time t. Vn and voice information S are synthesized to generate synthesized data 300 (step 207).
[0036]
As shown in FIG. 7, the composite data 300 is generated by associating the image information V0 with the audio information S from time t0 to time t1 at time t0. That is, as shown in FIG. 8, when the time 302 is, for example, the time t0, the synthesized data 300 records the audio information S from the time t0 to the time t1 as the audio 304 and the image information V0 as the image 306. Similarly, the time 308, the sound 310, the image 312,..., The sound information S and the image information Vn at the same time are recorded in association with each other, and the resultant data 300 is obtained. At this time, the image information Vn and the sound information S are digital data.
[0037]
The CPU 5 records the composite data 300 on the hard disk 9 and also records it on the medium 31 by the external recording device 25 (step 208). As the medium 31, a CD, MO, DVD or the like can be used. Since the composite data 300 is recorded in this way, the sound explained by the doctor and the referenced image can be reproduced simultaneously by the media 31.
[0038]
When a doctor interprets or diagnoses a captured medical image, the target image is displayed on the display device 15, the button 23 is pressed, and necessary graphics, characters, etc. are displayed by the external input device 19. While drawing, the voice input device 21 can record a finding or the like to be recorded. At this time, if it is an image stored in the recording device, a plurality of images, such as past data of the same patient or an image to be used as a reference for another patient, are displayed for comparison, and are read while being recorded together with the findings. Alternatively, it is easy to make a diagnosis and to browse again a medical image that has been read or diagnosed, since it can save time and labor for searching for a document from a storage location. It can also be used as supplementary explanations for the examinee and patient.
[0039]
As described above in detail, according to a preferred embodiment of the present invention, the medium 31 on which the composite data 300 is recorded is obtained. The patient can listen to the doctor's explanation repeatedly while confirming the image by reproducing the media 31 with the reproduction device. As a result, it is possible to deepen the understanding of the diagnosis given to you and the precautions in your life. In addition, if it is used when requesting a second opinion from another doctor, the diagnosis contents of the first diagnosed doctor can be conveyed more accurately, and the same examination can be repeated by receiving the diagnosis of another doctor. This also has the effect of eliminating waste.
[0040]
The preferred embodiments of the interpretation support system, interpretation support method, and program according to the present invention have been described above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious for those skilled in the art that various modifications or modifications can be conceived within the scope of the technical idea described in the claims, and these are naturally within the technical scope of the present invention. It is understood that it belongs.
[0041]
For example, in this embodiment, an interpretation support system using a medical image is used, but the displayed image is not limited to a medical image. As long as the image can be recorded in the recording device, either a moving image or a still image may be used, or an image recorded with an analog signal may be used.
Further, in the present embodiment, audio is input from the audio input device, but conversely, in accordance with the audio recorded in the recording device, an image may be input by an imaging device such as a video camera and synthesized. Also in this case, the sound recorded in the recording device may be recorded as an analog signal.
[0042]
【The invention's effect】
As described above in detail, according to the present invention, images and findings are synthesized and displayed in time series, so that the diagnosis time can be shortened and the work efficiency can be improved. In addition, since the images and findings are stored in a single recording medium, when explaining to the patient and the examinee after diagnosis, the contents explained using the images can be recorded and passed to the patient or examinee. It also has the effect of deepening the understanding of the diagnosis content.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing an interpretation support system 1 according to an embodiment of the present invention. FIG. 2 is a flowchart for explaining the operation of the interpretation support system 1. FIG. 3 is a diagram showing an image 100. FIG. FIG. 5 is a conceptual diagram showing a recording method of image information Vn. FIG. 6 is a conceptual diagram showing a recording method of audio information S. FIG. 7 is a conceptual diagram showing a synthesis method of image information Vn and audio information S. FIG. 8 is a diagram showing composite data 300 [Explanation of Symbols]
1 Interpretation support system 3 Controller 5 CPU
7 Memory 9 Hard disk 11 Interface 15 Display device 19 External input device 21 Audio input device 23 Button 25 External recording device 31 Media 33 Network 35 Server

Claims

Means for extracting a lesion candidate of a medical image, specifying a lesion candidate of the extracted medical image, and displaying the explicit information and the medical image;
A recording notification means for instructing the start and end of recording;
When the recording by the notification means the start of recording is instructed, completed until instructed, the display means in the display the explicit information and display image information arbitrarily set a constant including the medical image Image acquisition means for capturing at every sampling time and recording together with the sampling time information;
When recording start is instructed by the recording notification means , audio diagnostic information issued by a diagnostician is captured and recorded in association with the sampling time information of the display image information until the end is instructed Input means;
Audio image information synthesizing means for associating display image information captured by the image acquisition means with audio diagnostic information input by the audio input means for each sampling time, and generating a series of audio image synthesis information;
Voice image synthesis information recording means for recording the voice image synthesis information generated by the voice image information synthesis means;
Audio image synthesis information reproducing means for reproducing the audio image synthesis information recorded by the audio image synthesis information recording means;
Interpretation support system characterized by comprising.

The image interpretation support system according to claim 1, wherein the display image information captured by the image acquisition unit includes a plurality of images displayed while being compared.

A drawing means for drawing a figure or a character on the medical image;
The image interpretation support system according to claim 1, wherein the display image information captured by the image acquisition unit includes drawing progress information for each sampling time by the drawing unit.

The image interpretation support system according to claim 1, wherein the voice image synthesis recording unit records on a medium that can be loaded in an external storage device.

A computer-readable program,
Extracting a lesion candidate of a medical image, specifying a lesion candidate of the extracted medical image, and displaying the explicit information and the medical image;
Instructing the start of recording;
When the start of recording is instructed, until the end is instructed, the display image information including the explicit information being displayed and the medical image is fetched at every arbitrarily set sampling time, and sampling time information A step to record with,
When the start of recording is instructed, until the end is instructed, the voice diagnostic information issued by the diagnostician is captured and recorded in association with the sampling time information of the display image information ;
Associating the display image information with the audio diagnostic information for each sampling time, and generating a series of audio image synthesis information;
Recording the generated audio image synthesis information;
Playing back the recorded audio image synthesis information;
Interpretation support program for causing a computer to execute processing including