JPWO2017033516A1 - 読影支援装置及び方法 - Google Patents

Abstract

本発明は、読影者の読影を妨げることなく読影部の見落としを防ぐ読影支援装置及び方法を提供することを目的とする。読影者の視線を検知する視線検知部（３２）と、視線検知部の検知の結果に基づいて、表示部（２４）に表示された読影対象の画像のうちの病変候補部位が読影者により注視されたか否かを判別する注視判別部（３３）と、表示部に表示された読影対象の画像に対する読影者の読影の終了を検知する終了検知部（３５）と、終了検知部により読影の終了が検知され且つ注視判別部で病変候補部位が注視されなかったと判別された場合には、読影対象の画像を表示部に表示し且つ支援情報が非表示である第１の表示状態から、表示部に少なくとも支援情報を表示した第２の表示状態に切り替える表示制御部を備える。

Description

本発明は読影支援装置及び方法に係り、特に読影者の読影を妨げることなく読影者の見落としを防ぐことができる読影支援の技術に関する。

読影医は、一日に大量の医用画像（例えばエックス線画像）を読影することがある。近年、熟練した読影医の不足がおきており、読影医の負担が増える傾向にある。特に、定期検診の医師や遠隔読影専門の医師は、短い時間で読影する必要がある為、病変部位の見落としの危険性が高くなる。そのような病変部位の見落としを防ぐ技術として、画像処理によって読影対象の医用画像中に存在する陰影等の病変候補部位の自動認識を行い、その病変候補部位を示すマーク（支援情報）を医用画像上に表示することによって、読影対象の医用画像中のどの部分を注視すべきかを読影中に読影医に知らせる技術が知られている（特許文献１）。

また、両手がふさがっている医療現場で、音声、視線、あるいはジェスチャにより、何も触れずに指示入力することを可能にした医療機器が提案されている（特許文献２、３）。

特開２０１５−９７１２７号公報 特開２０１５−９３１４７号公報 特開２００７−１９５８９２号公報

しかしながら、読影者の読影を妨げることなく読影者の見落としを防ぐことは困難である。

なぜなら、特許文献１に記載された技術を用いて、病変候補部位を示す支援情報を医用画像の上に表示してしまうと、読影者が無意識のうちの支援情報に頼りすぎて読影者の自律した読影が阻害されるという課題や、支援情報の下に病変部位が隠れて見えなくなり読影者の読影を邪魔してしまうという課題があった。これらの課題を解決するため、病変候補部位に被らないように支援情報を表示する方法や、医師の判断によって支援情報の表示／非表示の切り替え操作を行えるようにする方法が考えられるが、画像の表示領域が狭くなる、切り替え操作の手間が掛かる、といった新たな問題が生じる。そのため、短い時間で確実に読影することが求められるシーンで、読影者の読影を妨げることなく読影者の見落としを防ぐ課題に対して、有効な方法であるとは言い難い。

特許文献２に記載された技術は、音声入力及び視線入力の組み合わせで拡大／縮小等の画像操作を行う構成であって、音声入力が必要なので、他者の声やＢＧＭ（Back Ground Music）等の騒音がある環境では確実な操作を行うことができない。また、何も触れずに指示入力できるにしても、指示入力の手間が掛かることに変わりがない。

特許文献３に記載された技術は、表示されたアイコンに視線位置を移動して所定時間注視することによってアイコンに対応したコマンドを実行する構成であって、アイコンに視線位置を移動させる必要があるので読影者の読影を妨げない効果を期待することができない。また、読影者の見落としを防ぐ効果も期待することができない。

本発明はこのような事情に鑑みてなされたもので、読影者の読影を妨げることなく読影者の見落としを防ぐことができる読影支援装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る読影支援装置は、読影対象の画像を解析して読影対象の画像から病変候補部位を抽出する病変候補部位抽出部と、読影対象の画像と病変候補部位を示す支援情報とを表示可能な表示部と、読影者の視線を検知する視線検知部と、視線検知部の検知の結果に基づいて、表示部に表示された読影対象の画像のうちの病変候補部位が読影者により注視されたか否かを判別する注視判別部と、表示部に表示された読影対象の画像に対する読影者の読影の終了を検知する終了検知部と、終了検知部により読影の終了が検知され且つ注視判別部により病変候補部位が注視されなかったと判別された場合には、読影対象の画像を表示部に表示し且つ支援情報が非表示である第１の表示状態から、表示部に少なくとも支援情報を表示した第２の表示状態に切り替える表示制御部と、を備える読影支援装置である。

表示制御部は、終了検知部により読影の終了が検知され且つ注視判別部により病変候補部位が注視されたと判別された場合には、第１の表示状態を維持するようにしてよい。

表示制御部は、終了検知部により読影の終了が検知され且つ注視判別部により病変候補部位が注視されたと判別された場合、支援情報が非表示であり且つ第１の表示状態とは異なる表示状態に表示部を切替えてもよい。

本態様の「読影の終了が検知され」は、読影者からの読影終了を示す指示入力（例えばマニュアル操作、音声入力、ジェスチャ等）を検知する場合に特に限定されず、読影者からの読影終了を示す明示的な指示入力が無くても、読影者が読影終了を意図していることを検知又は推定する場合（例えば読影者を撮像して得られた読影者画像を画像処理により解析して検知又は推定を行う場合）を含む。

本態様によれば、終了検知部により読影の終了が検知され且つ注視判別部で病変候補部位が注視されたと判別された場合には支援情報の非表示が維持される一方で、終了検知部により読影の終了が検知され且つ注視判別部により病変候補部位が注視されなかったと判別された場合には読影者に対して病変候補部位を示す支援情報が表示されるので、読影者は読影中に支援情報に邪魔されることがなく病変部位の注視に集中力を高めることができ、且つ読影終了時に未注視の病変候補部位がある場合にはそのことを知って読影を再開するようになる。つまり、本態様によれば、読影者の読影を妨げることがなく読影者の見落としを防ぐことができる。

本発明の他の態様に係る読影支援装置では、表示制御部は、読影対象の画像に複数の病変候補部位が存在する場合、第２の表示状態において、複数の病変候補部位のうち読影者により注視済の病変候補部位の支援情報を非表示として、読影者により未注視の病変候補部位の支援情報を表示する。本態様によれば、読影者は複数の病変候補部位のうちの未注視の病変候補部位のみに集中して注視することが可能になるので、読影の効率が向上する。

本発明の他の態様に係る読影支援装置では、表示制御部は、読影対象の画像に複数の病変候補部位が存在する場合、複数の病変候補部位のうち読影者により注視済の病変候補部位の表示態様を変更することで読影者により未注視の病変候補部位と区別して表示する。本態様によれば、読影者は、自身の視線移動に応じて表示態様が変更される注視済の病変候補部位を除いて、表示態様が維持される未注視の病変候補部位のみに集中して注視することが可能になる。つまり、読影者の視線移動に対してインタラクティブに反応する表示制御が行われることにより、読影の効率が向上する。

本発明の他の態様に係る読影支援装置では、読影者の読影による疲労の回復が必要であるか否かを推定する疲労推定部と、疲労推定部により疲労の回復が必要であると推定された場合、警告を出力する警告部と、を備える。本態様によれば、読影者が疲労している場合に読影者の休養が促されることになる。つまり、読影者が集中力を保つことが可能になる。

本発明の他の態様に係る読影支援装置では、疲労推定部は、表示制御部による第１の表示状態から第２の表示状態への切替回数に基づいて、疲労の回復が必要であるか否かを推定する。

本発明の他の態様に係る読影支援装置では、疲労推定部は、読影の時間の累積に基づいて、疲労の回復が必要であるか否かを推定する。

本発明の他の態様に係る読影支援装置では、疲労推定部は、視線検知部により検知された視線の移動速度及び移動量のうちの少なくとも一方に基づいて、疲労の回復が必要であるか否かを推定する。

本発明の他の態様に係る読影支援装置では、読影者の目の瞬きを検知する瞬き検知部を備え、疲労推定部は、目の瞬きの速度に基づいて、疲労の回復が必要であるか否かを推定する。本態様によれば、疲労していないのに個人的な特性に因り疲労していると誤判断する可能性を低減させることになる。つまり、誤判断による警告の出力を低減することができる。

本発明の他の態様に係る読影支援装置では、疲労推定部は、読影者の個人ごとのデータに基づいて、疲労の回復が必要であるか否かを推定する。

本発明の他の態様に係る読影支援装置では、表示制御部は、読影対象の画像のうちの視線が向けられている領域を拡大表示し、視線が外れた場合、又は拡大表示を開始してから一定時間経過後に、拡大表示を止める。

本発明の他の態様に係る読影支援装置では、表示制御部は、読影対象の画像のうちの病変候補部位よりも注視が不要な部分の視認性を低くする。

本発明の他の態様に係る読影支援装置では、視線検知部の視線検知により読影者からの指示入力を受け付ける。

本発明の他の態様に係る読影支援装置では、注視判別部は、表示部に表示された読影対象の画像の病変候補部位に読影者の視線が向けられている場合に、読影者が病変候補部位を注視した注視状態であるか、読影者が病変候補部位に視線を向けているが病変候補部位を注視していない非注視状態であるか、を判別する。

本発明の他の態様に係る読影支援装置では、注視判別部は、病変候補部位への読影者の視線の滞留時間に基づいて、注視状態であるか、非注視状態であるか、を判別する。

本発明の他の態様に係る読影支援装置では、注視判別部は、読影者の瞳の状態に基づいて、注視状態であるか、非注視状態であるか、を判別する。

本発明の他の態様に係る読影支援装置では、読影者の注視の特性を個人ごとに測定する特性測定部と、特性測定部による個人ごとの測定の結果に基づいて、注視状態であるか、非注視状態であるか、の判別の基準を個人ごとに決定する基準決定部と、を備え、注視判別部は、基準決定部により個人ごとに決定された判別の基準に基づいて、読影者が注視状態であるか、非注視状態であるか、を判別する。

本発明の他の態様に係る読影支援装置では、特性測定部は、表示部にテストパターンを表示して画面中で移動させ、テストパターンの移動に対する読影者の視線の追従性を測定し、注視判別部は、特性測定部により測定された読影者の視線の追従性に基づいて、注視状態であるか、非注視状態であるか、の判別の基準を決定する。

本発明の一の態様に係る読影支援装置は、読影対象の画像の拡大操作から読影者の読影が行われたか否かを推定する読影推定部を備え、終了検知部は、読影推定部により読影が行われたと推定された場合のみ読影が終了したことを検知する。

本発明の一の態様に係る読影支援方法は、読影対象の画像を解析して読影対象の画像から病変候補部位を抽出するステップと、読影対象の画像を表示部に表示し且つ病変候補部位を示す支援情報が非表示である第１の表示状態とするステップと、読影者の視線を検知するステップと、視線の検知の結果に基づいて、表示部に表示された読影対象の画像のうちの病変候補部位が読影者により注視されたか否かを判別するステップと、表示部に表示された読影対象の画像に対する読影者の読影の終了を検知するステップと、読影の終了が検知され且つ病変候補部位が注視されなかったと判別された場合には、読影対象の画像を表示部に表示し且つ支援情報が非表示である第１の表示状態から、表示部に少なくとも支援情報を表示した第２の表示状態に切り替えるステップと、を含む。

本発明よれば、読影者の読影を妨げることなく読影者の見落としを防ぐことができる。

本発明に係る読影支援装置を備えた医用システムの一例を示すシステム構成図である。 第１実施形態の読影支援装置の構成例を示すブロック図である。 支援情報の一例の説明に用いる説明図である。 支援情報の他の例の説明に用いる説明図である。 視線検知の一例の説明に用いる説明図である。 第１実施形態の読影支援装置を用いた読影支援方法の一例について処理の流れを示すフローチャートである。 読影対象の医用画像が表示され且つ支援情報が非表示である第１の表示状態から支援情報が表示された第２の表示状態への遷移の説明に用いる説明図である。 注視済の病変候補部位の支援情報を非表示とする場合の説明に用いる説明図である。 注視済の領域の表示態様を変更する場合の説明に用いる説明図である。 第２実施形態の読影支援装置の構成例を示すブロック図である。 第２実施形態の読影支援装置を用いた読影支援方法の一例について処理の流れの一部を示すフローチャートである。 第３実施形態の読影支援装置の構成例を示すブロック図である。 第３実施形態の読影支援装置の他の構成例を示すブロック図である。 第４実施形態の読影支援装置の構成例を示すブロック図である。 本発明に係る読影支援装置を備えた医用システムの他の例を示すシステム構成図である。

以下、添付図面に従って本発明に係る読影支援装置及び読影支援方法の実施の形態について説明する。

＜システム構成例＞
図１は、本発明に係る読影支援装置を備えた医用システムの一例を示すシステム構成図である。

図１に示す医用システムは、モダリティ１０と、読影支援装置１２と、データベース１６とが、ローカルエリアネットワーク１８を介して互いに通信可能な状態で接続されて構成されている。

尚、図１は、説明の便宜上、各装置が１台ずつローカルエリアネットワーク１８に接続された構成を示しているが、ローカルエリアネットワーク１８には、複数かつ多種類のモダリティが接続される。読影支援装置１２についても、読影者の人数に応じて複数台接続される。データベース１６についても、複数台接続して分散化してよい。

モダリティ１０は、被検体（人、動物など）を撮影することにより医用画像のデータを生成し、出力する医用画像撮影装置である。本例のモダリティ１０は、医用画像のデータにＤＩＣＯＭ（digital imaging and communication in medicine）規格で規定された付加情報を付加する。モダリティ１０の具体例としては、Ｘ（エックス）線単純撮影装置、ＣＴ（computed tomography）撮影装置、ＭＲI(magnetic resonance imaging)撮影装置、ＰＥＴ(positron emission tomography)撮影装置、超音波撮影装置などが挙げられる。

読影支援装置１２は、読影者による医用画像の読影を支援する装置である。例えば、コンピュータ装置により構成される。具体例は後述する。

データベース１６は、医用画像のデータ、及び医用画像の読影を支援するためのデータ（後述の支援情報のデータなど）を記憶する。

＜第１実施形態＞
図２は、本発明に係る第１実施形態の読影支援装置１２の構成例を示すブロック図である。

本実施形態の読影支援装置１２は、ローカルエリアネットワーク１８に接続された各装置（例えばデータベース１６）と通信可能である通信部２１と、読影者を撮像して読影者の画像（以下「読影者画像」という）を出力するカメラ２２と、読影者から指示入力を受け付ける指示入力部２３と、読影者に対して表示を行う表示部２４と、読影を支援するためのプログラム及びそのプログラムの実行に必要な情報を記憶する記憶部２８と、記憶部２８に記憶されたプログラムに従って読影支援装置１２の各部を制御するＣＰＵ（central processing unit）２９を備える。

本実施形態のＣＰＵ２９は、通信部２１によりデータベース１６から取得された読影対象の医用画像を解析して、その読影対象の医用画像から病変候補部位を抽出する病変候補部位抽出部３１と、カメラ２２により撮像された読影者画像に基づいて読影者の視線を検知することにより、表示部２４に表示された読影対象の医用画像のうちの読影者が視線を向けている位置（以下「視線位置」という）を算出する視線検知部３２と、視線検知部３２の検知の結果に基づいて、表示部２４に表示された読影対象の医用画像のうちの病変候補部位が読影者により注視されたか否かを判別する注視判別部３３と、表示部２４に表示される読影対象の医用画像に対する読影者の読影の開始を検知する開始検知部３４と、表示部２４に表示される読影対象の医用画像に対する読影者の読影の終了を検知する終了検知部３５と、病変候補部位抽出部３１の抽出結果、視線検知部３２の検知結果、注視判別部３３の判別結果、開始検知部３４の検知結果、及び終了検知部３５の検知結果に基づいて、表示部２４の表示を制御する表示制御部３６と、指示入力部２３に入力された読影者の読影結果などに基づいて読影レポートを作成する読影レポート作成部３７を備える。

表示部２４は、表示制御部３６の表示制御に従って、読影対象の医用画像と病変候補部位を示す支援画像とを必要に応じて表示可能である。

次に、病変候補部位抽出部３１により抽出される支援情報の具体例について説明する。

図３は、表示部２４に表示された医用画像５０に、病変候補部位を示す目印として、各病変候補部位の全部又は一部を囲む閉曲線からなるマーク５２Ａ、５２Ｂを重ねて表示した様子を示す。本例では、閉曲線からなるマーク５２Ａ、５２Ｂが支援情報である。閉曲線として、例えば病変候補部位に外接する図形（例えば円あるいは多角形）の枠を用いる。

図４は、表示部２４に表示された医用画像５０に、病変候補部位を示す目印として、各病変候補部位を指し示す矢印からなるマーク５４Ａ、５４Ｂを重ねて表示した様子を示す。本例では、矢印からなるマーク５４Ａ、５４Ｂが支援情報である。

尚、図３及び図４では医用画像５０の中に病変候補部位が二つ存在する場合を示したが、医用画像５０の中の病変候補部位の数は被検体の状態に応じて異なる。つまり、医用画像５０に付加される支援情報の一例としてのマークの数は、二つに限定されるわけではなく、一つの場合もあれば、三つ以上の場合もあり、ゼロ個の場合もある。

また、本発明における支援情報は、図３、図４に示したマーク（５２Ａ、５４Ａなど）には特に限定されない。読影者の読影を支援可能な情報であればよい。支援情報は、図形に限定されず、色、模様などで表してもよい。テキストのみで支援情報を表してもよいし、図形及びテキストの組み合わせで支援情報を表してもよい。また、視覚情報だけでなく、聴覚情報（例えば音声データ）あるいは触覚情報（例えば振動）を視覚情報と共に出力してもよい。

病変候補部位抽出部３１により医用画像から抽出された支援情報は、本例では、記憶部２８に記憶されるだけでなく、通信部２１を介してデータベース１６に登録される。つまり、データベース１６にアクセスすることにより、支援情報を抽出した読影支援装置１２に限らず、ローカルエリアネットワーク１８に接続された他の読影支援装置１２あるいは他の種類の装置からも、支援情報を利用可能である。

次に、視線検知部３２の視線検知の具体例について説明する。

本例の視線検知部３２は、カメラ２２により読影者を撮像して得られた読影者画像から、目の動かない部分と目の動く部分とを抽出し、目の動かない部分の位置を基準として目の動く部分の位置を検出し、その検出された目の動く部分の位置に基づいて医用画像上の視線位置を算出する。視線検知部３２により、視線位置の移動の軌跡を検知するようにしてもよい。

図５を用いて、カメラ２２として可視光を撮影する撮像装置を用い、目の虹彩の動きを検知することにより視線検知を行う例について説明する。視線検知部３２は、基準点として読影者画像６０から目頭部分６２及び目尻部分６４の少なくとも一つを抽出して基準点座標を算出し、かつ動点として読影者画像６０から虹彩部分６６を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、読影者の視線位置を算出する。

カメラ２２として赤外線を発光して撮影する撮像装置を用い、読影者の目の角膜上の反射位置と瞳孔の位置との関係から視線検知を行ってもよい。視線検知部３２は、基準点として読影者画像６０から角膜反射像を抽出して基準点座標を算出し、かつ動点として読影者画像６０から瞳孔部分（図５の６８）を抽出して動点座標を算出し、基準点座標に対する動点座標の位置関係から、読影者の視線位置を算出する。この赤外線を用いる視線検知では、赤外線の発光及び撮影が可能なデバイスが必要であるが、一般に視線位置の検知精度を上げやすい。

尚、本発明における視線検知は、図５を用いて説明した場合には特に限定されない。読影者の視線を検知可能な方法であれば、他の公知技術を用いて視線検知を行ってよい。もっとも、医用画像のうちの病変候補部位に視線を向けているか否かを判別可能である程度に、視線位置の精度が保証される視線検知技術を用いる。

次に、注視判別部３３の注視判別について詳細に説明する。

本例の注視判別部３３は、表示部２４に表示された読影対象の医用画像の病変候補部位に読影者の視線が向けられている場合に、読影者が病変候補部位を注視した注視状態であるか、読影者が病変候補部位に視線を向けているが病変候補部位を注視していない非注視状態であるか、を判別する。このような注視状態の判別態様は、各種ある。

一例として、病変候補部位への読影者の視線の滞留時間に基づいて、注視状態であるか非注視状態であるかを判別する態様が挙げられる。注視判別部３３は、表示部２４に表示された医用画像の病変候補部位の領域内に視線位置がある場合、その視線位置が同一の病変候補部位の領域内に時間的に連続してとどまる時間（滞留時間）を測定し、その滞留時間が閾値（規定時間）を超えると注視状態であると判定する。尚、視線位置が移動しても同一の病変候補部位の領域内にあれば、「連続して滞留する」として滞留時間をカウントするが、視線位置が規定時間内に異なる病変候補部位の領域内へ移動した場合には非注視状態であると判別され滞留時間がリセットされる。

他の例として、読影者の瞳の状態に基づいて、注視状態であるか非注視状態であるかを判別する態様が挙げられる。例えば、注視判別部３３は、読影者画像から瞳孔部分を抽出し、瞳孔部分の位置の変化、形状の変化、及びサイズの変化の少なくとも一つを検出して、その変化に基づいて判別を行う。この例の視線検知部３２は、視線位置の算出だけでなく、読影者の瞳の状態の検知も併せて行う。

次に、開始検知部３４及び終了検知部３５の具体例について説明する。

本例の開始検知部３４及び終了検知部３５は、指示入力部２３により読影者から読影開始及び読影終了の操作を受け付け、読影開始及び読影終了を検知する。例えば、キーボード、マウス、タッチセンサ等のマニュアル入力（手入力）のデバイスにより、読影者から読影開始及び読影終了の指示入力を受け付ける。音声入力、ジェスチャ入力等の非マニュアル入力のデバイスにより、読影開始及び読影終了の指示入力を受け付けてもよい。

視線検知部３２の視線検知により、読影者からの読影開始及び読影終了の指示入力を受け付けてもよい。読影開始及び読影終了に特に限定されず、他の指示入力も視線検知により行うようにしてよい。

次に、表示制御部３６の表示制御について詳細に説明する。

本例の表示制御部３６は、開始検知部３４で読影者の読影開始を検知した場合、表示部２４に第１の表示状態（読影対象の医用画像を表示し且つ支援情報が非表示である状態）を設定する。また、表示制御部３６は、終了検知部３５で読影者の読影終了が検知され、且つ注視判別部３３で読影開始後に病変候補部位が注視されたと判別された場合、表示部２４に第１の表示状態を維持させる。その一方で、表示制御部３６は、終了検知部３５で読影者の読影終了が検知され、且つ注視判別部３３で読影開始後に病変候補部位が注視されなかったと判別された場合、第１の表示状態から第２の表示状態（少なくとも支援情報を表示した状態）に表示部２４を切り替える。

図６は、第１実施形態の読影支援装置を用いた読影支援方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２９により、記憶部２８に予め記憶されたプログラムに従って、実行される。

まず、通信部２１により、データベース１６から読影対象の医用画像を取得する（ステップＳ２）。

次に、病変候補部位抽出部３１により、読影対象の医用画像を解析して読影対象の医用画像から病変候補部位を抽出する（ステップＳ４）。病変候補部位抽出部３１により、病変候補部位を示す支援情報が作成される。例えば、図３に示したマーク５２Ａ、５２Ｂ（支援情報）あるいは図４に示したマーク５４Ａ、５４Ｂ（支援情報）が、医用画像の解析結果に基づいて作成される。尚、「病変候補部位を抽出」は、本例では、医用画像中の病変部位である可能性が有る部分（病変候補部位である）の像を画像処理により認識し、少なくとも、医用画像における病変候補部位の位置を示す情報を、支援情報として作成する。図３に示した閉曲線からなるマーク５２Ａ、５２Ｂを支援情報として作成する場合には、病変候補部位の代表位置（例えば中心位置）だけでなく、病変候補部位の領域の輪郭（又は病変候補部位に外接する図形を特定する情報）、あるいは病変候補部位のサイズを画像処理により認識し、支援情報を作成する。

次に、開始検知部３４の検知結果に基づいて、読影者が読影対象の医用画像の読影を開始するか否かを判定する（ステップＳ１２）。本例では、指示入力部２３により、読影者から開始指示の入力を受け付ける。つまり、読影者が読影開始を意図していることを検知する。

読影を開始すると判定された場合（ステップＳ１２でＹＥＳの場合）、表示制御部３６により、読影対象の医用画像を表示部２４に表示し、且つ支援情報を表示部２４に非表示とする（ステップＳ１４）。つまり、表示制御部３６により、表示部２４に第１の表示状態を設定する。

次に、視線検知部３２により、読影者の視線を検知する（ステップＳ１６）。

次に、視線検知部３２の検知の結果に基づいて、表示部２４に表示された読影対象の医用画像の病変候補部位に読影者の視線が向けられているか否かを判定する（ステップＳ１８）。読影者の視線が病変候補部位に向けられていると判定された場合（ステップＳ１８でＹＥＳの場合）、注視判別部３３により、読影者が病変候補部位を注視した注視状態であるか、読影者が病変候補部位に視線を向けているが病変候補部位を注視していない非注視状態であるかを判別する（ステップＳ２０）。

次に、終了検知部３５の検知結果に基づいて、読影対象の医用画像の読影終了であるか否かを判定する（ステップＳ２２）。本例では、指示入力部２３により、読影者から終了指示の入力を受け付ける。つまり、読影者が読影終了を意図していることを検知する。

読影終了でないと判定された場合（ステップＳ２２でＮＯの場合）、ステップＳ１６〜ステップＳ２２を繰り返す。

読影終了であると判定された場合（ステップＳ２２でＹＥＳの場合）、読影開始後に病変候補部位が注視されたか否かを判定する（ステップＳ２４）。

終了検知部３５で読影終了が検知され且つ注視判別部３３で読影開始後に病変候補部位が注視されたと判別された場合（ステップＳ２４でＹＥＳの場合）、表示部２４の支援情報の非表示を維持する（ステップＳ２６）。つまり、表示制御部３６により、表示部２４の第１の表示状態を維持する。表示制御部３６は、終了検知部３５で読影の終了が検知され且つ注視判別部３３で病変候補部位が注視されたと判別された場合（ステップＳ２４でＹＥＳの場合）、支援情報が非表示であり且つ第１の表示状態とは異なる表示状態に表示部２４を切替えてもよい。

終了検知部３５で読影終了が検知され且つ注視判別部３３で読影開始後に病変候補部位が注視されなかったと判別された場合（ステップＳ２４でＮＯの場合）、表示部２４に支援情報を表示させる（ステップＳ２８）。つまり、表示制御部３６により、表示部２４を第１の表示状態から第２の表示状態に切り替える。

例えば、図３に示したマーク５２Ａ、５２Ｂが支援情報として作成された場合、図７に示すように、第１の表示状態ではマーク５２Ａ、５２Ｂが非表示であるが、第２の表示状態ではマーク５２Ａ、５２Ｂが表示される。図７では、マーク５２Ａ、５２Ｂと共に、「！見ていません！」というメッセージが表示部２４に表示されている。

第２の表示状態を設定後、ステップＳ１６に戻り、読影者に読影を再開させる。尚、本例では第２の表示状態で読影を再開するが、読影者の指示入力、又は一定時間経過により、表示部２４を第１の表示状態に戻すようにしてもよい。

終了検知部３５で読影終了が検知され且つ注視判別部３３で読影開始後に病変候補部位が注視されたと判別された場合（ステップＳ２４でＹＥＳの場合）、表示部２４の支援情報の非表示が維持されたまま（ステップＳ２６）、指示入力部２３により読影者から読影結果の入力を受け付けて、読影レポートを作成する（ステップＳ３０）。作成された読影レポートは、通信部２１によりデータベース１６に送信され、データベース１６に記憶される。

次に、データベース１６内の読影対象の医用画像のうちに未読影の医用画像が存在するか否かを判定する（ステップＳ３２）。未読影の医用画像が存在すると判定された場合（ステップＳ３２でＹＥＳの場合）、読影者が次の医用画像の読影を行うことが可能となるように、ステップＳ１２に戻る。未読影の医用画像が存在しないと判定された場合（ステップＳ３２でＮＯの場合）、本処理を終了する。

≪表示制御のバリエーション≫
本発明の理解を容易にするため、図７を用いて、読影者が読影終了を意図した時に未注視の病変候補部位が一つでもある場合（図６のステップＳ２４でＮＯの場合）、単純に全ての支援情報を表示する例を説明したが、このような場合に本発明は限定されない。

複数の病変候補部位のうち未注視の病変候補のみを読影者が容易に認識し得る表示制御を行うことが、好ましい。図３に示したように、読影対象の医用画像５０に複数の病変候補部位が存在し、支援情報として複数のマーク５２Ａ、５２Ｂが作成された場合、表示制御部３６は、第２の表示状態において、図８に示すように、複数の病変候補部位のうちの読影者が注視済の病変候補部位を示すマーク（例えばマーク５２Ｂ）を非表示として、読影者が未注視の病変候補部位を示すマーク（例えばマーク５２Ａ）のみを表示部２４に表示させる。

また、読影者の時系列の視線移動に対してインタラクティブに反応する表示制御を行うことにより、視線移動と注視済の領域と未注視の領域との関係を読影者が直感的に把握できるようにすることが、好ましい。図３に示したように、読影対象の医用画像５０に複数の病変候補部位が存在し、支援情報として複数のマーク５２Ａ、５２Ｂが作成された場合、表示制御部３６は、読影者の時系列の視線移動に応じて、複数の病変候補部位のうち読影者が注視済の病変候補部位の表示態様を変更していく。例えば、表示制御部３６は、図９に示すように、読影対象の医用画像のうちの注視済の病変候補部位を含む注視済領域５６の色又は模様を、読影者の時系列の視線移動に合わせて時系列に変更する。例えば、注視済領域５６を、視線移動に合わせて消しゴムで徐々に消していくようなインタラクションで表示制御を行う。もっとも完全に消していくと却って病変部位の認識が困難になる場合、注視済領域５６の表示の明るさを暗くする、ハーフトーンにする等の表示制御を行うことが、好ましい。

つまり、未注視の病変候補部位から注視済の病変候補部位に切り換わるタイミングで、読影者が未注視の病変候補部位と注視済の病変候補部位とを区別して認識できるように、注視済の病変候補部位の表示態様を変更する。尚、「注視済の病変候補部位の表示態様を変更」には、図９を用いて説明したように、読影対象の医用画像のうちの注視済の病変候補部位を含む注視済領域５６の表示態様を変更する場合が含まれる。

また、表示制御部３６により、読影対象の医用画像のうちの視線が向けられている領域を拡大して表示するようにしてよい。つまり、表示制御部３６は、視線検知部３２の視線検知の結果に基づいて、読影対象の医用画像のうちの視線位置に対応した領域（例えば視線位置を中心とした一定の半径の円内の領域）のみを拡大表示する。また、表示制御部３６は、読影対象の医用画像のうちの視線位置から離れた領域（例えば視線位置を中心とした一定の半径の円外の領域）の拡大表示を止める。拡大表示を開始してから一定時間経過した後に拡大表示を止めてもよい。

また、表示制御部３６により、読影対象の医用画像のうち注視が不要な部分の視認性を病変候補部位よりも低くする表示制御を行ってよい。例えば、医用画像のうちの病変候補部位を除いた部分（病変候補以外の部分）は、薄暗くする、あるいはハーフトーンにするという表示制御を表示制御部３６により行う。病変候補部位だけでなく、病変候補部位の周辺部分（例えば病変候補部位から一定距離以内の部分）も視認性を高くして、病変候補部位から離れた領域のみ視認性を相対的に低くしてもよい。

＜第２実施形態＞
図１０は、本発明に係る第２実施形態の読影支援装置１２の構成例を示すブロック図である。尚、図２に示した第１実施形態の読影支援装置１２と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。

図１０において、疲労推定部４１は、読影者の読影による読影者の疲労の回復が必要であるか否かを推定する。警告部４２は、疲労推定部により読影者の疲労の回復が必要であると推定された場合、その読影者に対して警告を出力する。

疲労推定部４１による疲労推定の態様には各種である。本例の疲労推定部４１は、表示制御部３６による第１の表示状態（支援情報を非表示の状態である）から第２の表示状態（支援情報を表示した状態である）への切替回数に基づいて、疲労の回復が必要であるか否かを推定する。他の疲労推定の態様については、後述する。

警告部４２による警告出力は、表示部２４を用いてもよいし、スピーカ２５を用いて行ってもよい。スピーカ２５による警告の出力は、人の音声の出力でもよいし、警告音の出力でもよい。また、警告の出力は、視覚的出力や聴覚的出力に限定されず、触覚的出力（例えば振動の発生）でもよい。

図１１は、第２実施形態の読影支援装置１２を用いた読影支援方法の一例について処理の流れを示すフローチャートである。本処理は、ＣＰＵ２９により、記憶部２８に予め記憶されたプログラムに従って、実行される。尚、図６に示した第１実施形態での処理と同じステップには同じ符号を付してあり、以下では異なる事項のみ説明する。

本実施形態では、終了検知部３５で読影終了が検知され且つ注視判別部３３で読影開始後に病変候補部位が注視されなかったと判別された場合（ステップＳ２４でＮＯの場合）、表示制御部３６の制御により第１の表示状態（支援情報を非表示の状態である）から第２の表示状態（支援情報を表示した状態である）へ表示状態の切替を行った後（ステップＳ２８）、その第１の表示状態から第２の表示状態への切替回数と閾値とを比較する（ステップＳ４２）。ここで、「比較」は、読影対象の医用画像の１ページごとの切替回数をカウントして閾値と比較してもよいが、読影者が連続して読影してきた複数ページの医用画像（複数の被検体にそれぞれ対応する複数の医用画像である）にわたる切替回数をカウントして閾値と比較することが好ましい。一定ページ数ごとの切替回数の総和を閾値と比較する構成としてもよいし、不定ページ数にわたる切替回数の総和を閾値と比較する構成としてもよい。

第１の表示状態から第２の表示状態への切替回数が閾値以下である場合（ステップＳ４２でＮＯの場合）、ステップＳ１６に戻り、読影が再開される。

第１の表示状態から第２の表示状態への切替回数が閾値を超えた場合（ステップＳ４２でＹＥＳの場合）、警告部４２の制御により、本例では表示部２４及びスピーカ２５の少なくとも一つを用いて、警告の出力を行う（ステップＳ４４）。

本例では、警告出力を行った場合、本処理を終了し、読影が中断される。警告出力後、読影者の判断により、読影を再開してもよい。つまり、図１１においてステップＳ１２に戻る。

≪疲労推定のバリエーション≫
図１１を用いて、第１の表示状態から第２の表示状態への切替回数（つまり読影者が読影を終了しようとしたが未注視の病変候補部位が存在すると判別された回数）に基づいて、警告出力を出力するか否かの判定（即ち読影者の疲労の回復が必要であるか否かの推定）を行う態様について説明したが、本発明はこのような場合に限定されない。例えば、次のバリエーション１〜３を行う構成としてもよい。

［疲労推定のバリエーション１］ 読影者の読影時間の累積に基づいて疲労推定を行う。例えば、ＣＰＵ２９に内蔵のタイマ（ＣＰＵ２９の周辺デバイスとして設けたタイマでもよい）を用い、疲労推定部４１により読影開始から読影終了までの時間の累積を算出し、閾値と比較する。ここで、「時間の累積」は、読影者が連続して読影してきた複数ページの医用画像にわたる読影時間の累積値を用いることが好ましい。例えば、連続して読影された不定ページ数にわたる読影時間の累積値を閾値と比較する。

［疲労推定のバリエーション２］ 読影者の視線の移動速度及び移動量のうちの少なくとも一方に基づいて疲労推定を行う。例えば、疲労推定部４１により、視線検知部３２の視線検知の結果に基づいて、読影者の視線の移動速度及び移動量の少なくとも一つを算出し、閾値と比較する。ここで、「移動速度」及び「移動量」は、現在視線を向けている医用画像における算出値でもよいし、読影者が連続して読影してきた複数ページの医用画像にわたる算出値の平均でもよい。例えば、連続して読影されてきた一定ページ数ごとの視線の移動速度の平均値（移動平均）を閾値と比較する。

［疲労推定のバリエーション３］ 読影者の目の瞬きの速度に基づいて疲労推定を行う。例えば、図１２に示すように瞬き検知部３８を追加し、瞬き検知部３８により、カメラ２２で撮像された読影者画像に基づいて読影者の目の瞬きを検知する。疲労推定部４１は、読影者の目の瞬きの速度（スピード）を算出し、閾値と比較し、目の瞬きの速度が閾値未満である場合に読影者の疲労回復が必要であると推定する。この態様では、疲れると瞬きの速度が非疲労時よりも遅くなるという人の特性を利用している。例えば、一回の瞬きの時間的な長さを視線が医用画像のどこにも当たっていない時間から算出し、閾値と比較することにより疲労推定を行う。この場合、瞬き検知部３８は、視線検知部３２の出力に基づいて瞬き検知を行う。

尚、本発明における疲労推定のバリエーションは、上述のバリエーション１〜３には特に限定されない。また、各種のバリエーションを組み合わせることにより、疲労推定の精度を向上させてよい。

＜第３実施形態＞
図１３は、本発明に係る第３実施形態の読影支援装置１２の構成例を示すブロック図である。尚、図１０に示した第２実施形態の読影支援装置１２と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。

図１３において、特性測定部４３は、読影者の注視の特性を個人ごとに測定する。基準決定部４４は、特性測定部４３による個人ごとの測定の結果（読影者の個人ごとのデータである）に基づいて、注視状態であるか非注視状態であるかの判別を行うための基準、及び読影者の疲労回復が必要であるか否かの推定を行うための基準を、個人ごとに決定する。本実施形態の注視判別部３３は、基準決定部４４により個人ごとに決定された判別の基準に基づいて、読影者が注視状態であるか非注視状態であるかを判別する。また、本実施形態の疲労推定部４１は、基準決定部４４により個人ごとに決定された基準に基づいて、読影者の疲労の回復が必要であるか否かを推定する。

特性測定部４３は、例えば、読影支援のためのプログラムの実行を開始した最初の画面で、表示部２４に個人ごとの特性を測定させるためのテストパターンを表示して画面中で移動させ、テストパターンの移動に対する読影者の視線の追従性を測定する。基準決定部４４は、特性測定部４３により測定された読影者の視線の追従性に基づいて、注視状態であるか非注視状態であるかの判別の基準を決定する。また、基準決定部４４は、特性測定部４３により測定された読影者の視線の追従性に基づいて、疲労回復が必要であるか否かの推定の基準を決定する。

特性測定部４３の特性測定の態様は、上述のテストパターンを用いた場合には特に限定されない。テストパターンの表示は行わず、読影中の読影者の視線移動及び目の状態変化の少なくとも一つに基づいて特性測定を行うようにしてもよい。

基準決定部４４の基準決定の対象は、各種ある。基準決定部４４の「基準を個人ごとに決定」は、予め決められた基準値を読影者ごとに自動調整する場合を含む。

＜第４実施形態＞
図１４は、本発明に係る第４実施形態の読影支援装置１２の構成例を示すブロック図である。尚、図１３に示した第３実施形態の読影支援装置１２と同じ構成要素には同じ符号を付してあり、既に説明した内容については以下では説明を省略する。

図１４において、読影推定部３９は、読影対象の医用画像の拡大操作から読影者の読影が行われたか否かを推定する。終了検知部３５は、読影推定部３９により読影が行われたと推定された場合のみ読影が終了したことを検知する。つまり、読影者が読影終了を意図している場合でも、読影を実際に行っていないと推定される場合を除外することにより、読影終了の検知精度を向上させることが可能となる。

＜システム構成のバリエーション＞
本発明に係る読影支援装置１２を複数の装置により構成し、これらの複数の装置で読影支援に必要な処理を分散して行ってもよいことは、言うまでもない。つまり、図１に示した読影支援装置１２を複数の装置により構成してよい。

図１５は、図１に示した読影支援装置１２を医用画像解析装置１３及び読影者端末１４で構成したシステム構成例を示す。

図１５において、医用画像解析装置１３は病変候補部位抽出部３１（図２、図１０、図１２、図１３又は図１４の３１）を含んで構成されている。読影者端末１４は、読影者が操作する端末である。読影者端末１４は、第１実施形態から第４実施形態で説明した読影支援装置１２から病変候補部位抽出部３１を省略した構成の装置としてよい。読影者端末１４の通信部２１は、ローカルエリアネットワーク１８を介して、データベース１６から、読影対象の医用画像と、その医用画像から抽出された病変候補部位を示す支援情報とを、通信により取得する。

本発明は、上述した実施形態には限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…モダリティ、１２…読影支援装置、１３…医用画像解析装置、１４…読影者端末、１６…データベース、１８…ローカルエリアネットワーク、２１…通信部、２２…カメラ、２３…指示入力部、２４…表示部、２５…スピーカ、２８…記憶部、２９…ＣＰＵ、３１…病変候補部位抽出部、３２…視線検知部、３３…注視判別部、３４…開始検知部、３５…終了検知部、３６…表示制御部、３７…読影レポート作成部、３８…瞬き検知部、３９…読影推定部、４１…疲労推定部、４２…警告部、４３…特性測定部、４４…基準決定部

Claims (20)

1. 読影対象の画像を解析して前記読影対象の画像から病変候補部位を抽出する病変候補部位抽出部と、
   前記読影対象の画像と前記病変候補部位を示す支援情報とを表示可能な表示部と、
   読影者の視線を検知する視線検知部と、
   前記視線検知部の検知の結果に基づいて、前記表示部に表示された前記読影対象の画像のうちの前記病変候補部位が前記読影者により注視されたか否かを判別する注視判別部と、
   前記表示部に表示された前記読影対象の画像に対する前記読影者の読影の終了を検知する終了検知部と、
   前記終了検知部により前記読影の終了が検知され且つ前記注視判別部により前記病変候補部位が注視されなかったと判別された場合には、前記読影対象の画像を前記表示部に表示し且つ前記支援情報が非表示である第１の表示状態から、前記表示部に少なくとも前記支援情報を表示した第２の表示状態に切り替える表示制御部と、
   を備える読影支援装置。
2. 前記表示制御部は、前記終了検知部により前記読影の終了が検知され且つ前記注視判別部により前記病変候補部位が注視されたと判別された場合には、前記第１の表示状態を維持する、
   請求項１に記載の読影支援装置。
3. 前記表示制御部は、前記読影対象の画像に複数の病変候補部位が存在する場合、前記第２の表示状態において、前記複数の病変候補部位のうち前記読影者により注視済の病変候補部位の支援情報を非表示として、前記読影者により未注視の病変候補部位の支援情報を表示する、
   請求項１又は２に記載の読影支援装置。
4. 前記表示制御部は、前記読影対象の画像に複数の病変候補部位が存在する場合、前記複数の病変候補部位のうち前記読影者により注視済の病変候補部位の表示態様を変更することで前記読影者により未注視の病変候補部位と区別して表示する、
   請求項１から３のいずれか一項に記載の読影支援装置。
5. 前記読影者の前記読影による疲労の回復が必要であるか否かを推定する疲労推定部と、
   前記疲労推定部により前記疲労の回復が必要であると推定された場合、警告を出力する警告部と、
   を備える請求項１から４のいずれか一項に記載の読影支援装置。
6. 前記疲労推定部は、前記表示制御部による前記第１の表示状態から前記第２の表示状態への切替回数に基づいて、前記疲労の回復が必要であるか否かを推定する請求項５に記載の読影支援装置。
7. 前記疲労推定部は、前記読影の時間の累積に基づいて、前記疲労の回復が必要であるか否かを推定する請求項５に記載の読影支援装置。
8. 前記疲労推定部は、前記視線検知部により検知された前記視線の移動速度及び移動量のうちの少なくとも一方に基づいて、前記疲労の回復が必要であるか否かを推定する請求項５に記載の読影支援装置。
9. 前記読影者の目の瞬きを検知する瞬き検知部を備え、
   前記疲労推定部は、前記目の瞬きの速度に基づいて、前記疲労の回復が必要であるか否かを推定する請求項５に記載の読影支援装置。
10. 前記疲労推定部は、前記読影者の個人ごとのデータに基づいて、前記疲労の回復が必要であるか否かを推定する請求項５から９のいずれか一項に記載の読影支援装置。
11. 前記表示制御部は、前記読影対象の画像のうちの前記視線が向けられている領域を拡大表示し、前記視線が外れた場合、又は拡大表示を開始してから一定時間経過後に、拡大表示を止める、
    請求項１から１０のいずれか一項に記載の読影支援装置。
12. 前記表示制御部は、前記読影対象の画像のうちの前記病変候補部位よりも注視が不要な部分の視認性を低くする、
    請求項１から１１のいずれか一項に記載の読影支援装置。
13. 前記視線検知部の視線検知により前記読影者からの指示入力を受け付ける、
    請求項１から１２のいずれか一項に記載の読影支援装置。
14. 前記注視判別部は、前記表示部に表示された前記読影対象の画像の病変候補部位に前記読影者の視線が向けられている場合に、前記読影者が前記病変候補部位を注視した注視状態であるか、前記読影者が前記病変候補部位に視線を向けているが前記病変候補部位を注視していない非注視状態であるか、を判別する、
    請求項１から１３のいずれか一項に記載の読影支援装置。
15. 前記注視判別部は、前記病変候補部位への前記読影者の視線の滞留時間に基づいて、前記注視状態であるか、前記非注視状態であるか、を判別する請求項１４に記載の読影支援装置。
16. 前記注視判別部は、前記読影者の瞳の状態に基づいて、前記注視状態であるか、前記非注視状態であるか、を判別する請求項１４に記載の読影支援装置。
17. 前記読影者の注視の特性を個人ごとに測定する特性測定部と、
    前記特性測定部による個人ごとの測定の結果に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を個人ごとに決定する基準決定部と、
    を備え、
    前記注視判別部は、前記基準決定部により個人ごとに決定された判別の基準に基づいて、前記読影者が前記注視状態であるか、前記非注視状態であるか、を判別する、
    請求項１４から１６のいずれか一項に記載の読影支援装置。
18. 前記特性測定部は、前記表示部にテストパターンを表示して画面中で移動させ、前記テストパターンの移動に対する前記読影者の視線の追従性を測定し、
    前記注視判別部は、前記特性測定部により測定された前記読影者の視線の追従性に基づいて、前記注視状態であるか、前記非注視状態であるか、の判別の基準を決定する、
    請求項１７に記載の読影支援装置。
19. 前記読影対象の画像の拡大操作から前記読影者の読影が行われたか否かを推定する読影推定部を備え、
    前記終了検知部は、前記読影推定部により読影が行われたと推定された場合のみ読影が終了したことを検知する、
    請求項１から１８のいずれか一項に記載の読影支援装置。
20. 読影対象の画像を解析して前記読影対象の画像から病変候補部位を抽出するステップと、
    前記読影対象の画像を表示部に表示し且つ前記病変候補部位を示す支援情報が非表示である第１の表示状態とするステップと、
    読影者の視線を検知するステップと、
    前記視線の検知の結果に基づいて、前記表示部に表示された前記読影対象の画像のうちの前記病変候補部位が前記読影者により注視されたか否かを判別するステップと、
    前記表示部に表示された前記読影対象の画像に対する前記読影者の読影の終了を検知するステップと、
    前記読影の終了が検知され且つ前記病変候補部位が注視されなかったと判別された場合には、前記読影対象の画像を前記表示部に表示し且つ前記支援情報が非表示である第１の表示状態から、前記表示部に少なくとも前記支援情報を表示した第２の表示状態に切り替えるステップと、
    を含む読影支援方法。