JP6802795B2 - 自動放射線読み取りセッション検出 - Google Patents

自動放射線読み取りセッション検出 Download PDF

Info

Publication number
JP6802795B2
JP6802795B2 JP2017532000A JP2017532000A JP6802795B2 JP 6802795 B2 JP6802795 B2 JP 6802795B2 JP 2017532000 A JP2017532000 A JP 2017532000A JP 2017532000 A JP2017532000 A JP 2017532000A JP 6802795 B2 JP6802795 B2 JP 6802795B2
Authority
JP
Japan
Prior art keywords
image
user
session
user interface
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017532000A
Other languages
English (en)
Other versions
JP2018502631A (ja
Inventor
コンクオ ル
コンクオ ル
ユエチェン チェン
ユエチェン チェン
エリック コーエン‐ソラル
エリック コーエン‐ソラル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2018502631A publication Critical patent/JP2018502631A/ja
Application granted granted Critical
Publication of JP6802795B2 publication Critical patent/JP6802795B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/543—Control of the operation of the MR system, e.g. setting of acquisition parameters prior to or during MR data acquisition, dynamic shimming, use of one or more scout images for scan plane prescription
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

[0001] 身体の内部構造の視覚化に撮像装置が用いられる。例えば、撮像装置は、核磁気共鳴を用いて、体内の原子核を撮像可能である。この技術を用いて集められたデータは、解剖学的画像を生成可能な基礎を与え得る。具体的に、画像には、身体の内部構造の断面軸方向画像が表される場合がある。医師、専門家等のユーザがこの画像を使用して、異常があるかを判定することにより、画像に捕捉された内部構造が健康であるか否か等を判定することができる。
[0002] あるアプリケーションは、画像をユーザに示すように構成される。このアプリケーションは、ユーザが画像と相互作用するユーザインターフェースを提供する。このアプリケーションでは最初に、画像に含まれた身体部分を決定して、ユーザインターフェースに含まれる特徴を決定する。ただし、当業者であれば、臓器、組織等を含む多様な異なる身体部分を画像が対象としており、１つ又は複数の種類のこれら身体部分を含む可能性があることが了解される。例えば、画像が特に胴体領域の人体の軸方向スライスである場合は、複数の臓器が画像に含まれる可能性がある。したがって、このアプリケーションでは、観察中の臓器又は組織をユーザが手動選択し得る一般的なユーザインターフェースを提供することにより、適当な特定のユーザインターフェースが与えられる。すなわち、用いられる最終的なユーザインターフェースは、その一部が画像からの情報に基づくものの、主として、手動ユーザ入力による情報に基づく。
[0003] さらに、ユーザは、単一の画像において、当該画像中に示された様々な身体部分に異なるユーザインターフェースを必要とする場合がある。すなわち、ユーザは、第１の身体部分に第１のインターフェースを必要とし、同じ画像内の第２の身体部分に第２のインターフェースを必要とする場合がある。言い換えると、第１の身体部分に第１のセッションが存在し、第２の身体部分に第２のセッションが存在する場合がある。ユーザは、各入力を手動で与えることにより、各セッションで異なるユーザインターフェースを利用することが求められる。また、ユーザには、元のセッションの一部又は新たなセッションの一部と考えられる別の画像が示される場合がある。別の画像が示される場合、アプリケーションは、リセットによって、一般的なユーザインターフェースが示されるか、又は、同じ特定のユーザインターフェースが保持可能である。ただし、ユーザは、同じユーザインターフェースを必要とする場合又は別のユーザインターフェースを必要とする場合がある。いずれかのシナリオについて、一般的なユーザインターフェースが再度示される場合、ユーザは、手動入力によって、特定のユーザインターフェースを提示する必要がある。先の画像から同じ特定のユーザインターフェースが保持される際に別のユーザインターフェースが必要な場合も、ユーザは、手動入力によって、この別のユーザインターフェースを提示する必要がある。
[0004] したがって、所与の画像に対して提供すべきユーザインターフェースのほか、セッションの継続タイミング又は新たなセッションの開始タイミングを決定するのが望ましい。
[0005] 例示的な実施形態は、ユーザインターフェースを選択するシステム及び方法に関する。視線追跡器を具備する撮像装置が実行する方法は、識別エリアを含む表示対象画像の生成に用いられる捕捉データを受信するステップと、撮像装置のユーザによる画像上の第１の観察箇所を追跡するステップと、第１の観察箇所に基づいて、観察中の画像中の前記識別エリアのうちの１つを決定するステップと、決定した識別エリアに対する第１の相関に基づいて、提供される第１のユーザインターフェースを決定するステップと、ユーザが使用する前記第１のユーザインターフェースを表示するステップと、を含む。
[0006] 例示的な実施形態に係る走査室用のシステムを示した図である。 [0007] 例示的な実施形態に係る撮像装置を示した図である。 [0008] 例示的な実施形態に係る撮像装置により生成された画像を示した図である。 [0008] 例示的な実施形態に係る撮像装置により生成された画像を示した図である。 [0008] 例示的な実施形態に係る撮像装置により生成された画像を示した図である。 [0008] 例示的な実施形態に係る撮像装置により生成された画像を示した図である。 [0009] 例示的な実施形態に係る撮像装置により生成された画像上の表示変更を示した図である。 [0009] 例示的な実施形態に係る撮像装置により生成された画像上の表示変更を示した図である。 [0010] 例示的な実施形態に係る撮像装置により生成された画像上のユーザの表示追跡を示した図である。 [0010] 例示的な実施形態に係る撮像装置により生成された画像上のユーザの表示追跡を示した図である。 [0011] 例示的な実施形態に係るユーザインターフェースを提供する方法を示した図である。
[0012] 例示的な実施形態は、それら例示的な実施形態に関する以下の説明及び関連する添付の図面を参照することによって、さらに理解可能であり、図中、類似の要素には、同じ参照番号を付している。例示的な実施形態は、捕捉装置から情報を受信して画像を生成する撮像装置のユーザに提供されるユーザインターフェースを決定するシステム及び方法に関連する。具体的に、ユーザインターフェースは、ユーザが観察している画像上の箇所の視線検出に少なくとも部分的に基づいて決定される。したがって、ユーザインターフェースを所与のセッションに対して適正に提供可能である。以下、撮像手順とそのための装置、ユーザインターフェース、視線検出、セッション、及び関連する方法について、より詳しく説明する。
[0013] 図１は、例示的な実施形態に係る走査室１００用のシステムを示している。走査室１００は、撮像の実行を必要とする患者に使用される。例えば、患者は、特定の身体部への捕捉手順の実行によって、磁気共鳴撮像（ＭＲＩ）画像の生成を必要とする場合がある。走査室１００には、患者テーブル１１０を有する捕捉装置１０５、制御パネル１１５、及び捕捉装置構成要素１２０のほか、撮像装置１３０を含むオペレータ室１２５を含む。
[0014] 例示的な実施形態によれば、捕捉装置１０５は、捕捉手順の対応するメカニズムからデータが集められ、撮像装置１３０に送信される走査等の捕捉手順を実行する。捕捉手順は、患者を患者テーブル１１０に寝かせて実行され、捕捉装置構成要素１２０を利用して走査を実行する。患者は、制御パネル１１５で受け付けられた入力により、捕捉装置１０５のボア内で移動される。制御パネル１１５により、オペレータは、患者テーブル１１０を移動させて位置合わせを実行することにより、患者テーブル１１０をアイソセンター（中心放射線ビームが通過する空間中の点）に移動可能である。
[0015] 特に、ＭＲＩ装置である捕捉装置１０５を参照して、このＭＲＩ装置は、患者を寝かす格納式の患者テーブル１１０を具備する。患者は、ＭＲＩ装置のボア内で移動される。撮像装置１３０に送信される情報を生成する捕捉手順には、体内のいくつかの原子核の磁化をそろえる大型の強力な磁石を用いた磁界の生成を伴う。無線周波数磁界の印加によって、この磁化の整列が体系的に変化する。これにより、スキャナ又は受信コイル等の構成要素により検出可能な回転磁界を核が生成する。この情報が記録されて撮像装置１３０に送信されることにより、身体の走査エリアの画像が構成される。
[0016] したがって、捕捉装置１０５がＭＲＩ装置である場合、捕捉装置構成要素１２０としては、磁石、傾斜磁界コイル、無線周波数（ＲＦ）コイル、及びセンサ／ＲＦ検出器／受信コイルが挙げられる。磁石は、撮像手順用に撮像されるエリアの周りに強い磁界を生成する。この磁界により、核（例えば、水分子の水素原子核）をその方向とそろえることができる。傾斜磁界コイルは、磁石内に配設されて、様々な方向（例えば、Ｘ、Ｙ、及びＺ）に磁界を傾斜させる。ＲＦコイルは、傾斜磁界コイル内に配設されて、パルス列により選択された様々な角度（例えば、９０°、１８０°等）だけスピンを回転させるのに必要な別の磁界を生成する。これにより、適当な共鳴周波数で印加された振動磁界からのエネルギーを用いて、体内の励起水素原子が発する無線周波数信号が検出される。画像の配向は、傾斜磁界コイルを用いて、磁石により生成された磁界を変化させることにより制御される。組織間のコントラストは、励起核が平衡状態に戻る速度によって決まる。具体的に、ＲＤ検出器は、これらのエネルギー測定結果を受信し、データを撮像装置１３０に提供して処理することにより、最終的に走査の画像を生成する。
[0017] 上記捕捉手順を用いて、撮像装置１３０は、画像を生成可能である。図２は、例示的な実施形態に係る図１の撮像装置１３０を示している。撮像装置１３０は、有線又は無線構成にて、捕捉装置１０５と通信するように構成される。したがって、撮像装置１３０は、対応する通信構成を含み得る受信器２２５及び送信器２３０を具備する。ただし、撮像装置１３０は、複合型の送受信器を具備することにより、受信器２２５及び送信器２３０の機能を提供可能であることに留意するものとする。受信器２２５及び送信器２３０は、（所定の範囲内の捕捉装置１０５との）短距離無線通信用であってもよいし、ネットワーク等との長距離無線通信用であってもよい。
[0018] 撮像装置１３０は、プロセッサ２０５及びメモリ構成２１０を具備する。プロセッサ２０５は、新たなセッションの開始タイミングを決定するセッション検出アプリケーション２３５を実行する。以下により詳しく説明する通り、撮像装置１３０により生成された画像をユーザが観察している間は、第１のセッションを示す第１の身体部分が観察された後、第２のセッションを示す第２の身体部分が観察される。プロセッサ２０５は、特定のセッションを与える適当なユーザインターフェースを決定する設定アプリケーション２４０をさらに実行する。以下により詳しく説明する通り、所与の身体部分は、それと関連付けられた異なる機能を有する。したがって、特定の身体部分と関連するセッションは、適正なユーザインターフェースの選択を伴う。メモリ構成２１０には、設定ライブラリ２４５として、様々なユーザインターフェース及び選択基準が格納される。
[0019] また、撮像装置１３０は、表示装置２１５及び入力装置２２０を具備する。例えば、プロセッサ２０５は、（受信器２２５を介して）捕捉装置１０５から受信したデータを利用して走査の画像を生成する画像生成アプリケーションを実行する。これらの画像は、表示装置２１５に表示される。また、画像は、一度に１つずつ表示されるようになっていてもよいし、複数の画像が同時に表示されるようになっていてもよい。画像生成アプリケーション及び／又はユーザインターフェースは、画像の表示法のほか、複数の画像を表示する場合のレイアウトに関して、ユーザの選択を可能にする。入力装置２２０は、オペレータからの入力を受け付けて、捕捉装置構成要素１２０の動作を制御することにより、生成する画像の走査対象スライスを選択する。以下により詳しく説明する通り、入力装置２２０は、提供されて表示装置２１５に表示されたユーザインターフェースに基づいて、入力をさらに受け付ける。例えば、入力は、表示する画像の数又は表示する画像の選択を示す。さらに、入力は、ユーザインターフェースの選択に用いられる情報に関してもよい。
[0020] 例示的な実施形態は、放射線読み取り及び診断に役立つ知的システムの開発に関する。したがって、例示的な実施形態はさらに、適当な情報を集めて事例処理のユーザの意図を推定又は検出することに関する。ユーザ意図検出プロセスは、多様な異なる段階で開始される。第１の例において、ユーザ意図検出プロセスは、ユーザから受け付けた入力がユーザインターフェース提供の基礎となる事後的特徴を包含する。第２の例において、ユーザ意図検出プロセスは、現在利用可能な情報に基づいてユーザインターフェースが動的に提供される事前的特徴を包含する。
[0021] 図３Ａ〜図３Ｄは、例示的な実施形態に係る撮像装置１３０により生成された画像を示している。図３Ａ〜図３Ｄに示す画像は、例示的な実施形態が示された画像である。図３Ａは、縦隔条件及び軸方向スライスに関する画像３００を示している。当業者であれば、この画像が肺及び骨等の様々な身体部分を含み得ることが了解される。図３Ｂは、肺及び腹部に関し、さらに骨を含む画像３０５を示している。図３Ｃも、異なる断面視を利用した肺及び腹部の画像３１０を示している。図３Ｄはさらに、図３Ｃの画像３１０と共通の断面視における異なるスライスを利用した肺及び腹部の画像３１５を示している。画像３００〜３１５については、例示的な実施形態との関係で、以下により詳しく説明する。
[0022] 事後的手法に関しては、読み取り中にユーザが行う相互作用を追跡することによって、セッションが観測される。例えば、ユーザは、画像の初期表示を観察している間、条件レベルの変更、画像フレームの変更、スライススクロールパターンとしての様々な部分若しくは画像全体の観察、事例読み取りの精査等が可能である。この情報は、撮像装置１３０によって事後的に用いられる。ただし、当業者であれば、事後的手法においても、この情報の制限を前提として、撮像装置１３０が適当な応答を与えない場合があることが了解される。例えば、胸部領域を読み取る場合、ユーザは、同じ条件レベル（例えば、縦隔（軟部組織）条件）を用いることにより、類似する画像フレーム範囲又はスライス範囲内のリンパ節又は脊椎に対して、中央縦隔領域を調べる。すなわち、これらのパラメータは、特定のユーザ事例に応じて決まり得る実際の読み取りフローを表すのに十分でない可能性がある。画像の読み取りに含まれるこれらの態様では、異なるユーザインターフェースを利用するようにしてもよい。この場合、撮像装置１３０は、一方のユーザインターフェースが他方よりも適していることを十分高い確率で決定できない場合がある。
[0023] 事前的手法に関しては、画像読み取り及び初期診断の段階で、セッションを構成し得る観察中の身体部分の正しいユーザインターフェースを提供することにより、画像を解析するプロセスがより効率的となる可能性がある。すなわち、この段階では、読み取りのセッションの検出が決定される。また、読み取りセッションは、多様な要因により規定される。第１の要因において、セッションは、ユーザが画像中の所見を積極的に探索している検出可能な時間に基づいて規定される。第２の要因においては、おおよその身体領域（例えば、頭部、胸部、腹部等）、臓器（例えば、肺、肝臓、腎臓等）、解剖学的構造（例えば、脊椎、骨構造等）といった解剖学的身体部分が含まれる。当業者であれば、別の要因が含まれ得ることが了解される。セッション開始時に当該セッションの検出又は予測が可能な場合、撮像装置１３０は、セッション情報を用いて視覚、診断、情報学的リソース等を割り当てることにより、観察及び関連する処理を容易化する。特定の例においては、ユーザの大きな介入（例えば、ユーザインターフェースの手動選択）なく、適正なユーザインターフェースが提供される。
[0024] 例示的な実施形態は、任意所与のセッションに対する正しいユーザインターフェースの提供に焦点を当てていることに留意するものとする。例えば、設定アプリケーション２４０によって、最も確からしいユーザインターフェースを提供する最小量の情報が示される。このため、必要に応じて、例示的な実施形態の反応的手法が単独で用いられるか、例示的な実施形態の事前的手法が単独で用いられるか、これらの組み合わせが用いられるようになっていてもよい。
[0025] 特に、例示的な実施形態は、ユーザが所望のユーザインターフェースを手動選択する何らかの必要性が生じる前に、事前的手法を利用してユーザインターフェースを提供することに関する。さらに、例示的な実施形態は、正しいユーザインターフェースを提供するのに必要なユーザの多くの手動介入をなくすことを意図している。すなわち、ユーザは、設定アプリケーション２４０がユーザ意図検出プロセスに基づいてユーザインターフェースを選択できる標準的な様態で撮像装置１３０を使用することのみが必要となる可能性がある。したがって、例示的な実施形態では、視線追跡を利用する。
[0026] 視線追跡機能は、視線追跡器１３５によって実行される。視線追跡器１３５は、撮像装置１３０とともに組み込まれた構成要素、表示装置２１５とともに組み込まれた構成要素、撮像装置１３０又は表示装置２１５とモジュール式に結合された構成要素、（例えば、受信器２２５を介して）撮像装置１３０に通信可能に接続された別個の構成要素として構成された構成要素等である。特定の例示的な一実施形態において、視線追跡器１３５は、撮像装置１３０等のワークステーションに対して取り付けられるとともに校正された携帯型システムである。
[0027] 視線追跡器１３５は、十分に正確な注視点の位置又は表示装置２１５に表示中の画像上の位置を有効にする多様な構成要素を具備する。例えば、視線追跡器１３５は、ユーザの目の移動を追跡し、観察中の画像と目との間の既知の距離に基づいて、視線位置を推定する構成要素を有する。視線追跡及び検出視線位置は、単独での使用又は予備的に内在する視覚コンテンツ情報と組み合わせた使用によって、読み取りセッション検出を改善するとともに、ほぼ実時間でのセッション検出を有効にすることができる。より具体的に、このセッション検出は、セッションと関連付けられたユーザインターフェースの選択を可能にする。以下により詳しく説明する通り、読み取りが別個のセッションから成る場合は、視線追跡の使用により、基本的な固定点又は固定クラスタの検出及び画像処理方法を用いた内在コンテンツとの相関によって（例えば、所定の変化閾値を上回る）内在する視覚コンテンツの大幅な変化があるかを検出することにより、観察箇所の変化を検出する。また、視線追跡の使用により、ユーザの観察パターン（例えば、集中的読み取りではなく視覚的調査モードをユーザが実行する２つのセッション間の遷移期間）の検出によって、セッションが既に進行中であれば、セッション又は新たなセッションの開始点を確認する。
[0028] 適当な行為（例えば、ユーザインターフェースの選択）によって成功確率がより高くなることをさらに保証するため、例示的な実施形態は、画像を観察する通常の過程でユーザが実行するような他の相互作用を利用する。例えば、行為の基本となる情報として、条件レベルの変更又はスライススクロール動作も利用可能である。このような行為は、実際の視覚的タスクに対応する隠れたセッションの検出に用いられる。これにより、設定アプリケーション２４０は、ユーザに提示される情報若しくはツールの動的な優先順位付け又はユーザインターフェース等の特定のリソースの必要性の予測が可能である。
[0029] 目の移動を追跡する視線追跡器１３５の使用は、例示に過ぎないことに留意するものとする。当業者であれば、観察箇所を追跡又は検出可能な他の構成要素を例示的な実施形態で利用してもよいことが了解される。例えば、表示装置２１５がタッチスクリーンである場合、ユーザは、意図する観察エリアに指を置く。当業者であれば、視線追跡器１３５によって、ユーザ又は視線追跡器１３５の使用設定に対する校正プロセスを利用可能であることがさらに了解される。例えば、ユーザは、表示装置２１５上の選択位置を観察する際の目の位置をアプリケーションが登録する予備的な校正手順を実行する。これを基本として、視線追跡器１３５は、本明細書に記載の機能を実行する。校正に際しては、所与のユーザ、所与の設定等に対してこれが用いられるか、撮像装置１３０の使用ごとに再校正されるようになっていてもよい。
[0030] 図４Ａ及び図４Ｂは、例示的な実施形態に係る撮像装置１３０により生成された画像上の表示変更を示している。具体的に、図４Ａは、図３Ａの画像３００の表示変更４００を示しており、図４Ｂは、図３Ｄの画像３１５の表示変更４５０を示している。表示変更４００、４５０は、ユーザが調査観察に対し集中観察を実行するタイミングを示す。図４Ａにおいて、ユーザは、画像３００の全体を観察する。その後、画像３００’に示すように、ユーザは、部分４０５（例えば、肺）又は部分４１０（例えば、骨）等、画像中の異なる身体部を集中的に観察する。表示変更４５０においては、実質的に同様の観察が行われるようになっていてもよく、部分４５５又は部分４６０において、調査観察の後、集中観察が行われる。
[0031] 上述の通り、ユーザから入力が与えられる（例えば、スライス変更）だけでは、観察中の身体部分を撮像装置１３０が正しく決定できない場合がある。例えば、表示変更４００において、ユーザは、部分４０５又は部分４１０に焦点を当てる可能性がある。身体部分及びその種類が異なるため、撮像装置１３０は、各身体部分とそれぞれ関連付けられた所定の機能を含まない一般ユーザインターフェースを除いて、正しいユーザインターフェースを提供できない可能性がある。ただし、例示的な実施形態では、視線追跡器１３５を利用して、部分４０５が観察中であるか部分４１０が観察中であるかを判定する。このように、設定アプリケーション２４０は、視線追跡器１３５から観察情報を受け取って、観察中の部分を決定するとともに、設定ライブラリ２４５を参照して、正しいユーザインターフェースを選択する。
[0032] このため、例示的な実施形態では、視線追跡を読み取りセッション検出プロセスに組み込んで、提供されるユーザインターフェースの選択等の適当な行為を決定する。さらに、例示的な実施形態では、画像データと他のユーザ相互作用とを関連付けて、選択されたユーザインターフェースが提供対象となる確率を潜在的に高くする。したがって、例示的な実施形態は、統合、校正、追跡、選択、及び検出等、この組み込みを可能にする多様なステップを含む。
[0033] まず、視線追跡器１３５が撮像装置１３０に組み込まれる。具体的には、視線追跡器１３５と関連付けられたハードウェア及びソフトウェアが撮像装置１３０にインストールされる。上述の通り、視線追跡器１３５のハードウェアは、撮像装置１３０に組み込み、モジュール式に取り付け、又は別個の構成要素として利用が可能である。視線追跡器１３５と関連付けられたソフトウェアには、セッション検出アプリケーション２３５及び設定アプリケーション２４０がインストールされる（例えば、メモリ構成２１０に格納され、プロセッサ２０５により実行される）。ハードウェア及びソフトウェア構成要素は、互いに連動して動作することにより、ユーザ注視点を追跡可能にし、注視点を、表示装置２１５に表示された内在する画像又は非画像コンテンツに相関させる。さらには、各ユーザに関連付けられたユーザプロファイルがデータベースに保持され、メモリ構成２１０に格納される。以下により詳しく説明する通り、ユーザプロファイルは、校正情報を含む。
[0034] 視線追跡器１３５は、使用に先立って、個々のユーザごとに校正される。ユーザごとに目の高さ及び画像からの距離が異なる可能性があるため、視線追跡器１３５は、注視点を追跡する適正な構成のため、ユーザごとに校正が必要となる場合がある。すなわち、表示装置２１５上でユーザが画像を観察する角度は、異なる。第１の例においては、校正が動的に行われる。このモードは、ユーザが最初のユーザである場合、前のユーザに再校正が予定されている場合、設定に再校正が予定されている場合等、多様な場合に適用可能である。このため、読み取りセッションの開始に先立って、例えば上述の通りに校正が行われる。ユーザプロファイルのデータベースが保持されている場合は、このプロセスから生成された校正情報が格納される。第２の例においては、校正が「オフライン」で行われる。具体的には、撮像装置１３０の動作の外側で校正が行われる。校正情報は、ファイル等の形式で格納されるようになっているか、また、当該校正情報と関連付けられたユーザが読み取りセッションを開始する前にロードされるようになっていてもよい。また、動的にロードされるようになっているか、ユーザプロファイルと関連付けられた場合にロードされるようになっていてもよい。例えば、ユーザプロファイルがない場合、ユーザは、過去に格納された校正情報の使用又はロードに先立って、校正の実行が促される。別の例において、ユーザプロファイルがある場合、ユーザは、プロファイルをロードするとともに、過去に格納された校正情報の使用又はオフライン校正情報のロードを行う。
[0035] ユーザに対する統合及び校正の後は、視線追跡器１３５が起動され、バックグラウンド動作としてユーザの視線位置を継続的に追跡する。視線位置は、内在する視覚コンテンツと相関する表示装置２１５に表示されたグラフィック表示と相関する。追跡された注視点は、捕捉装置１０５から受信した情報に基づいて生成された画像上の視線位置の追跡等、後続の処理での使用に先立って処理される。この段階での追跡された注視点の処理によって、平滑化、クラスタ化、固定点検出、及び固定パターン検出に関する情報がもたらされる。当業者であれば、生の注視点が相当なノイズとなり得ることが了解される。したがって、視線追跡器１３５と関連付けられた追跡エンジンが前処理を提供していなければ、ノイズの除去に平滑化処理が必要となる場合がある。また、注視点のクラスタ化によって、表示装置２１５上の位置との有意な関係及び／又は関連がもたらされる可能性がある。例えば、クラスタエリア内の任意の視線位置が全体として一般エリアの観察を示し得るように、注視点のクラスタが決定される。固定点検出は、クラスタ化及び特定の位置における視線滞在時間に基づく視覚焦点の検出に関連する。固定パターン検出は、有意な集中調査位置の検出に関連する。
[0036] 視線追跡器１３５が組み込まれた状態で、特定ユーザの校正が実行されるとともに前処理用の視線追跡も実行され、捕捉装置１０５から受信した情報により生成された画像をユーザがロードする。具体的に、ユーザは、患者の事例を選択して、適正なハンギングプロトコルを適用することにより、生成された画像データをインポートするとともに読み取りセッションを開始する。これが表示装置２１５に表示された第１の画像を表し得るため、セッション検出アプリケーション２３５は、新たなセッションの開始を決定する。プロセッサ２０５は、メモリ構成に格納された関連する検出ライブラリで検出アプリケーションを実行することにより、画像中に存在し得る解剖学的構造を検出するようにさらに構成される。解剖学的構造検出アプリケーション（例えば、アルゴリズム、パッケージ等）が利用可能な場合は、例えば医用デジタル画像・通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）タグに基づいて、現在の画像に存在する身体部分が推定又は検出される。また、解剖学的構造検出アプリケーションは、画像データに画像処理手法を適用して、画像に存在する身体部分及び／又は解剖学的構造を抽出する。
[0037] 上記選択プロセスは、読み取りセッションの開始後に実行できる潜在的な行為の予備的な選択を可能とすることに留意するものとする。例えば、特に図３Ａの画像３００に関して、解剖学的構造検出アプリケーションは、縦隔条件及び軸方向スライスが示されているものと判定する。別の判定として、スライスに含まれる臓器として肺及び骨が考えられることを示していてもよい。この場合、予備的な選択は、肺及び骨に関連していてもよく、この視点の肺及び骨と関連付けられた行為に関して別途規定される。したがって、設定アプリケーション２４０は、提供可能なユーザインターフェースがこのような関連であるものと判定する。
[0038] 読み取りセッションが開始となったら、セッション検出アプリケーション２３５及び設定アプリケーション２４０は、視線追跡器１３５とともに、多様な異なる機能を実行する。例えば、ユーザの行動又は相互作用が追跡される。具体的に、視線追跡器１３５は、注視点クラスタ、固定点、及び固定クラスタ位置を含めて、ユーザの視線位置を追跡する。図５Ａ及び図５Ｂは、例示的な実施形態に係る撮像装置１３０により生成された画像上のユーザの表示追跡を示している。具体的に、図５Ａは、潜在的な軌跡を伴う画像３００を示している。具体的には、軌跡５０５において、視線クラスタ５１０が決定される。したがって、設定アプリケーション２４０は、ユーザが画像３００中の骨を観察しているものと判定する。このため、実行し得る適当な行為によって、画像３００中の識別された骨と関連付けられたユーザインターフェースが提供されることになる。軌跡５１５においては、複数の固定位置５２０が決定される。したがって、設定アプリケーション２４０は、ユーザが画像３００の調査によって任意の異常又は関心点を決定しているものと判定する。その後、ユーザは、画像３００中の骨の観察に際して、視線クラスタ５１０を実行する。図５Ｂは、同じく視線クラスタ５６０を有する軌跡５５５が表示された画像３１０を示している。
[0039] 例示的な実施形態は、上記プロセスのみに基づいて、適当な行為を決定するように構成されることに留意するものとする。すなわち、提供されるユーザインターフェースは、画像中の決定された身体部分及び視線追跡器１３５による視線追跡を含む前処理に基づいている。ただし、以下により詳しく説明する通り、設定アプリケーション２４０は、関連する他の情報を追加で利用する。
[0040] また、上述の通り、設定アプリケーション２４０は、ユーザ相互作用を追跡する。第１の例においては、読み取りセッションの最中に、スライス又は画像の条件レベルが決定される。具体的に、ユーザは、肺の調査の場合に選択し得る肺条件等、条件レベルの手動調整又は所定の異なる条件付きオプションの適用によって、画像読み取りを支援する。条件レベルは、ユーザが焦点を当てたい画像中の特定領域を示す。第２の例においては、読み取りセッションの最中に、軸状、冠状、矢状等の異なる多平面再構成視覚化オプションをユーザが切り替える場合等、画像の配向が決定される。また、配向は、ユーザが焦点を当てたい画像中の特定領域を示す。第３の例においては、読み取りセッションの最中に、ユーザが後方に読み取っているか前方に読み取っているか、スライススクロール速度の検出可能な変化があるか等を示すスライス及びスクロールパターンが決定される。また、これらの各例において、設定アプリケーション２４０は、条件レベル、配向、並びに／又はスライス及びスクロールパターンによるエリアが関心対象であり、その内部の身体部分も関心対象になることが予想されるものと判定する。
[0041] ユーザによる相互作用から集められた情報を組み合わせて、設定アプリケーション２４０は、より高い確実性で実行される適正な行為を決定可能である。上記例において、視線追跡器１３５は、肺を観察中という画像３００上の視線追跡情報（例えば、画像の肺組織に位置付けられた視線クラスタ）を提供する。視線追跡情報は、所定の時間にわたって、このエリアに複数の視線位置が存在したことを示す。また、設定アプリケーション２４０は、条件レベル、配向、並びに／又はスライス及びスクロールパターンに関する相互作用情報を受信し、これらがすべて、肺が関心身体部分であることを示す。したがって、設定アプリケーション２４０は、肺に関するユーザインターフェースの提供等、適正な行為を実行する。
[0042] 例示的な実施形態は、セッション検出アプリケーション２３５によって、セッションの終了したタイミング及び新たなセッションが開始となったかを決定するようにさらに構成される。上述の通り、セッション検出アプリケーション２３５は、画像がロードされて表示装置２１５に表示された場合に、ユーザの新たなセッションの開始タイミングを認識している場合がある。また、セッション検出アプリケーション２３５は、ユーザプロファイルのロード、校正情報のロード、視線追跡器１３５による視野中の人物の存在の検出等、多様な他の条件が存在する場合に、新たなセッションが開始となっているものと判定する。その後、セッション検出アプリケーション２３５は、撮像装置１３０の動作停止等の明確な理由によるセッションの終了タイミングを決定する。ただし、セッション検出アプリケーション２３５は、全期間において、所与のユーザのセッション終了及び新規セッション開始タイミングを決定する。
[0043] 例示的な実施形態は、視線追跡及び／又はユーザ相互作用による誘引に基づいて、セッション検出アプリケーション２３５が新たなセッションの開始タイミングを認識するように構成される。上述の通り、ユーザ相互作用は、現在のセッションの終了及び新たなセッションの開始を示す。明示は別として、セッション検出アプリケーション２３５は、特定のユーザ相互作用も新規セッションの兆候であるものと判定する。第１の例においては、条件レベルの変更又はスライスの変更等のユーザ相互作用が検出され、潜在的に新たな読み取りセッションを示す。第２の例においては、新たな画像のロードというユーザ相互作用が検出され、潜在的に新たな読み取りセッションを示す。ただし、これらのユーザ相互作用が依然として共通セッションに関連し得ることに留意するものとする。具体的に、ユーザは、第１の画像において身体部分を観察し、条件レベルの変更又はスライスの変更によって同じ身体部分をよりよく観察するか、又は、第２の画像をロードして、異なる配向で同じ身体部分を観察する。
[0044] したがって、例示的な実施形態は、視線追跡を利用して、新たなセッションの開始タイミングを決定するように構成されている。まず、セッション検出アプリケーション２３５が視線追跡のほか、ユーザ相互作用も用いて、新たなセッションの開始に関する結論に達し得ることに再び留意する。セッション検出アプリケーション２３５は、多様な要因及びその組み合わせに基づいて、新たなセッションを決定する。
[0045] 第１の例において、セッション検出アプリケーション２３５は、視線追跡結果と関連付けられた内在する視覚コンテンツの解析により検出された解剖学的コンテンツの変化に基づいて、新たなセッションを決定する。この誘引が用いられるより確かなタイミングは、新たな画像のロード時である。ただし、この特徴では、観察中の部分の包含によっても、新たなセッションの開始タイミングを決定する。このため、新たな画像がロードされた場合であっても、両画像において共通する身体部の観察が決定されたら、セッション検出アプリケーション２３５は、同じセッションが継続しているものと判定する。例えば、注視点クラスタ、固定点、及び固定クラスタはすべて、観察中の共通身体部を示す。これに対して、同じ画像又は異なる画像において異なる身体部を観察している場合、セッション検出アプリケーション２３５は、新たなセッションが実際に開始となっているものと判定し、これに応じて前進する（例えば、新たなユーザインターフェースが提供されるように設定アプリケーション２４０に指示する）。
[0046] 第２の例において、セッション検出アプリケーション２３５は、ユーザが焦点を絞らずに（例えば、サッカード（眼球衝動運動）又はジャンプで）画像を観察しているかを示すために確認された観察パターンに基づいて、新たなセッションを決定する。すなわち、視線追跡にジャンプがある場合、セッション検出アプリケーション２３５は、例えば２つの異なる身体部を観察中であるために２つのセッション間の遷移があるものと結論付ける。一方、新たな身体部分において基本的な固定点又は固定クラスタが検出された場合、これは、（例えば、解剖学的構造の知識を利用可能である場合、低強度のピクセルエリアから高強度のピクセルエリアすなわち肺から腹部又は肝臓まで）新たなセッションの開始を示す。また、有用なユーザインターフェースが利用可能である場合は、このような情報を用いて、新たなセッションの開始を確認する。
[0047] 第３の例において、セッション検出アプリケーション２３５は、内在する視覚コンテンツの解析と関連付けられた視線追跡に基づいて、新たなセッションを決定する。これにより、ユーザが異なる解剖学的領域を調査しているか、２つのセッションの遷移中の視覚的探索が検出されたか、新たなセッションが実際に開始しているか等が判定される。さらに、視線駆動データ及び内在する解剖学的構造の解析により、読み取りセッションの解剖学的領域との相関によって、新たなセッションの開始が判定される。
[0048] 新たなセッションの開始の判定にセッション検出アプリケーション２３５が利用する上記例は、例示に過ぎないことに留意するものとする。当業者であれば、例示的な実施形態に従って、視線追跡の使用により新たなセッションの開始タイミングを示し得る他の様々な様態が存在することが了解される。例えば、視線追跡、ユーザ相互作用、及びこれらの結合における上記例の組み合わせを使用可能である。
[0049] 新たなセッションが開始となった場合（それが確認された場合）、設定アプリケーション２４０は、上述のプロセスを実行して、新たなユーザインターフェースの提供等、実行される適当な行為を決定する。すなわち、ユーザ相互作用（利用可能な場合）と関連付けられた画像コンテンツ情報を用いて、設定アプリケーション２４０は、視線追跡により新たなセッションと関連する解剖学的領域（例えば、頭部、胸部、腹部等）を検出する。ただし、解剖学的情報を利用できない場合は、新たなセッションが依然として開始可能であり、解剖学的コンテンツなくマークされる。
[0050] また、解剖学的情報を利用できない場合は、提供されるユーザインターフェースが一般的となり得ることに留意するものとする。このため、上述の方法によって設定アプリケーション２４０により選択された特定のユーザインターフェースを用いた現在のセッションが終了となった場合、セッション検出アプリケーション２３５は、解剖学的情報なく新たなセッションが開始となっているものと判定する。設定アプリケーション２４０は、ユーザが必要に応じて操作する一般ユーザインターフェースを提供するように構成される。
[0051] 例示的な実施形態は、特定のセッションの検出によって、読み取りセッション検出のためのユーザインターフェース要素とともに提示された場合のユーザ行為を捕捉するようにさらに構成される。例えば、読み取りセッションが検出され、これが血管系に関連するとともに、血管のユーザインターフェースツールがユーザに提供されている場合、ユーザは、提供されたユーザインターフェースを利用してもよいし、利用しなくてもよい。この実例は捕捉される。このような実例は、集められた多くの実例をグラウンドトゥルースと考えて、ツールが用いられた実例をツールが用いられなかった実例から分離可能となるように、ある期間にわたって捕捉される。個々のユーザ及びユーザ群について実行可能なグラウンドトゥルースを動的に集めることによって、特定の読み取りセッション型に対する最適なパラメータが何であるかを、観測の学習によってより精密に決定することにより、アルゴリズムを改良する。このように、例示的な実施形態では、別の情報を利用して、ユーザの経験を改善する。
[0052] 図６は、例示的な実施形態に係るユーザインターフェースを提供する方法６００を示している。具体的に、方法６００は、視線追跡情報を用いて実行される適当な行為に関する。以下、図１の捕捉装置１０５及び撮像装置１３０に関して、方法６００を説明する。ただし、医療用途及び捕捉／撮像装置の使用は、例示に過ぎないことに留意するものとする。当業者であれば、特に観察セッションに関する別の情報を決定する基本として視線追跡を利用可能な任意の手順に例示的な実施形態が関連することが了解される。
[0053] この説明を目的として、視線追跡器１３５並びに付随するすべてのハードウェア及びソフトウェアの統合が実行されているものと仮定する。また、現在のユーザに対して視線追跡器１３５の校正が実行されているものと仮定する。すなわち、ユーザプロファイルのロード等、すべての前処理手順が実行済みであるものと仮定する。
[0054] ステップ６０５において、撮像装置１３０は、捕捉装置１０５から捕捉データを受信する。上述の通り、捕捉装置１０５は、画像の再構成に撮像装置１３０が使用する磁気共鳴撮像データを生成するＭＲＩ装置である。このため、撮像装置１３０は、表示装置２１５を介してユーザに示す画像を生成する。ステップ６１０においては、画像を表示する。第１の画像が表示されたら、セッション検出アプリケーション２３５は、セッションが開始したものと判定する。
[0055] また、上述の通り、撮像装置１３０は、解剖学的情報及びライブラリを利用して、画像に含まれる任意の身体部分を決定する。このため、プロセッサ２０５は、画像検出手順の実行及び／又は画像の異なるエリアを相関身体部分と関連付けるために提供可能な解剖学的情報の使用を行う。
[0056] ステップ６１５においては、視線追跡器１３５がユーザの観察を追跡する。ユーザの視線追跡は、ユーザが画像を調査しているか、視線クラスタ化等によって画像の特定部分に焦点を当てているかを示す。設定アプリケーション２４０は、調査が行われているものと判定した場合、所定の時間待ってから、一般ユーザインターフェース等のフォールバックユーザインターフェースを提供する。設定アプリケーション２４０は、画像操作と関連付けられた入力等、ユーザによる入力（例えば、条件、スライス、配向等）を受け付ける。また、この情報は、設定アプリケーション２４０が利用する。この情報に基づいて、ステップ６２０においては、ユーザが観察している部分を設定アプリケーション２４０が決定する。
[0057] ステップ６２５において、設定アプリケーション２４０は、視線追跡及び／又は他のユーザ入力情報（及び、前のステップで利用可能であった任意の解剖学的情報）に基づいて、ユーザが観察している画像に含まれる識別身体部と関連付けられたユーザインターフェースを決定する。画像の特定の部分が観察されているものと設定アプリケーション２４０が判定し、これが特定の身体部に対応している場合は、設定ライブラリ２４５へのアクセスにより、特定のユーザインターフェースが選択される。ただし、設定アプリケーション２４０は、調査が行われているものと判定した場合、所定の時間が経過するのを待ってから、集中が実行されているかの判定又は基本若しくは一般ユーザインターフェースの提供の判定を最初に行う。したがって、ステップ６３０においては、ユーザインターフェースを提供するとともに表示して使用する。
[0058] ステップ６３５において、セッション検出アプリケーション２４０は、新たな画像が選択されたかを判定する。同じ画像が観察されている場合、セッション検出アプリケーション２４０は、方法６００をステップ６４０まで継続して、視線追跡を継続するとともに別の任意のユーザ入力を受け付ける。ステップ６４５において、セッション検出アプリケーション２４０は、新たなセッションが開始となったかを判定する。上述の通り、セッション検出アプリケーション２４０は、視線追跡、ユーザ入力、及びこれらの組み合わせ等の多様な要因に基づいて、新たなセッションが開始となったかを判定する。同じセッションが継続中の場合、セッション検出アプリケーション２４０は、方法６００をステップ６３０に戻す。ただし、新たなセッションが決定された場合、セッション検出アプリケーション２４０は、方法６００をステップ６２０に戻して、新たな解析により、講じられる適当な行為又は提供されるユーザインターフェースを決定する。
[0059] ステップ６３５に戻って、セッション検出アプリケーション２３５は、新たな画像が選択されたものと判定した場合、ステップ６５０へと続く。ステップ６５０においては、新たな画像を表示するとともに、この新たな画像のほか、当該新たな画像に関する任意の入力について、視線追跡を実行する。ステップ６６０において、セッション検出アプリケーション２３５は、新たなセッションが開始となったかを判定する。上述の通り、新たな画像の表示とは無関係に、この新たな画像に同じセッションを継続することができる。この場合も、セッション検出アプリケーションは、視線追跡、ユーザ入力、又はこれらの組み合わせを用いて、この決定を行う。新たなセッションが開始していない場合、セッション検出アプリケーション２３５は、方法６００をステップ６３０に戻す。ただし、新たなセッションが開始している場合、セッション検出アプリケーション２３５は、方法６００をステップ６２０に戻す。
[0060] 方法６００は、上述したステップ等の多様な別のステップを含んでもよいことに留意するものとする。さらに、部分の識別及びセッションの決定には、別の確認ステップを含んでもよい。すなわち、身体部及びセッションの開始／終了が確認されてもよい。この確認は、視線追跡情報、ユーザ入力情報、与えられたマニュアル指示等を用いて、多様に実行されてもよい。
[0061] 例示的な実施形態によれば、これら例示的な実施形態のシステム及び方法は、読み取りセッション用の視線追跡を包含する。視線追跡器の統合及びユーザに対する視線追跡器の校正により、視線追跡を他の情報と併用して、観察中の画像中の位置を決定してもよい。利用可能な解剖学的情報を用いて、決定された身体部に対して調整されたユーザインターフェースの提供等の後続の行為を実行可能となるように、身体部との相関として位置が識別されてもよい。また、現在のセッションの終了及び新たなセッションの開始又は現在のセッションの継続の指標として、視線追跡が用いられてもよい。
[0062] 例示的な実施形態は、頭、頸、胸、及び腹領域等の高レベルの解剖学的領域と関連付けられた読み取りセッションの検出に焦点を当てている。その後、可能な限り詳細にサブセッションが検出され、画像処理によって付加的な情報が必要となる場合がある。視覚コンテンツ並びに検出及び追跡注視点と相関する読み取りパターンの基本的解析は、インポートされた患者画像データに対する画像処理によって提供可能な身体部分又は解剖学的構造の詳細によって決まる。例えば、解剖学的構造、身体部分、又は臓器が既知である場合は、位置の整合の確認によって、注視点／固定点の特定構造との相関が決定されてもよい。解剖学的構造検出の情報が不十分な場合は、基本的な強度又は形状に基づく手法の実行により、視線追跡、固定点追跡、画像データ、及び解剖学的知識を用いて、表示コンテンツを見出してもよい。
[0063] 当業者であれば、任意適当なソフトウェア若しくはハードウェア構成又はこれらの組み合わせにて上述の例示的な実施形態を実装可能であることが了解される。例示的な実施形態を実装する例示的なハードウェアプラットフォームとしては、例えばオペレーティングシステム互換のＩｎｔｅｌ ｘ８６ベースのプラットフォーム、ＭＡＣプラットフォーム及びＭＡＣ ＯＳ、ｉＯＳ、Ａｎｄｒｏｉｄ等のオペレーティングシステムを有するモバイルハードウェアデバイス等が挙げられる。別の例において、上記方法の例示的な実施形態は、コンパイルされた場合にプロセッサ又はマイクロプロセッサ上で実行可能な持続性コンピュータ可読記憶媒体に格納されたコード列を含むプログラムとして具現化されてもよい。
[0064] 当業者には当然のことながら、本発明の主旨又は範囲から逸脱することなく、本発明の種々改良が可能である。このように、本発明は、添付の特許請求の範囲及びその均等物の範囲内となることを前提として、本発明の改良及び変形を網羅することが意図される。

Claims (11)

  1. 画像の解析を支援するための方法であって、前記方法は、
    視線追跡器を具備する撮像装置により、識別エリアを含む表示される画像を生成するために用いられる捕捉データを受信するステップと、
    前記視線追跡器を介して前記撮像装置により、前記撮像装置のユーザによる前記画像上の観察箇所を含む視線追跡情報を収集するステップと、
    前記撮像装置により、前記観察箇所に基づいて、観察中の前記画像中の前記識別エリアのうちの１つを決定するステップと、
    ユーザ相互作用を追跡することにより、読み取りのセッションを検出し、
    前記撮像装置により、決定した前記識別エリア及び前記セッションに基づいて、提供されるユーザインターフェースを決定するステップと、
    前記撮像装置により、前記ユーザが使用する前記ユーザインターフェースを表示するステップと、
    を含む、方法。
  2. 前記ユーザ相互作用の情報は、スライス及びスクロールパターン、条件レベルの変更、画像フレームの変更、画像の配向のグループのうちの少なくとも一つを含む、請求項１に記載の方法。
  3. 前記視線追跡情報は、所定の時間、観察パターン、関心対象の領域の少なくとも一つを含む、請求項１に記載の方法。
  4. 前記撮像装置により、前記画像の操作及び前記ユーザインターフェースへの入力のうちの少なくとも１つに対応する別のユーザ入力情報を受信するステップと、
    前記別のユーザ入力情報にさらに基づいて、前記ユーザインターフェースを調整するステップと、
    をさらに含む、請求項１に記載の方法。
  5. 装置であって、前記装置は、
    捕捉データを受信する受信器と、
    識別エリアを含む画像を生成するプロセッサと、
    前記画像を表示する表示装置と、
    前記装置のユーザによる前記画像上の観察箇所を含む視線追跡情報を収集する視線追跡器と、
    を備え、
    前記プロセッサがさらに、前記観察箇所に基づいて、観察中の前記画像中の前記識別エリアのうちの１つを決定し、ユーザ相互作用を追跡することにより読み取りのセッションを検出し、決定した前記識別エリア及び前記セッションに基づいて、提供されるユーザインターフェースを決定し、前記ユーザが使用する前記ユーザインターフェースを前記表示装置に表示する、装置。
  6. 前記ユーザ相互作用の情報は、スライス及びスクロールパターン、条件レベルの変更、画像フレームの変更、画像の配向のグループのうちの少なくとも一つを含む、請求項５に記載の装置。
  7. 前記視線追跡情報は、所定の時間、観察パターン、関心対象の領域の少なくとも一つを含む、請求項５に記載の装置。
  8. 磁気共鳴情報に基づいて、患者のデータを捕捉する捕捉装置と、
    捕捉データを受信して、識別エリアを含む画像を表示装置上に生成する撮像装置であって、前記撮像装置のユーザによる前記画像上の観察箇所を含む視線追跡情報を収集する視線追跡器を具備する、撮像装置と、
    を備え、
    前記撮像装置がさらに、前記観察箇所に基づいて、観察中の前記画像中の前記識別エリアのうちの１つを決定し、ユーザ相互作用を追跡することにより読み取りのセッションを検出し、決定した前記識別エリア及び検出した前記セッションに基づいて、提供されるユーザインターフェースを決定し、前記ユーザが使用する前記ユーザインターフェースを前記表示装置に表示する、磁気共鳴撮像（ＭＲＩ）装置。
  9. 前記ユーザ相互作用の情報は、スライス及びスクロールパターン、条件レベルの変更、画像フレームの変更、画像の配向のグループのうちの少なくとも一つを含む、請求項８に記載のＭＲＩ装置。
  10. 前記視線追跡情報は、所定の時間、観察パターン、関心対象の領域の少なくとも一つを含む、請求項８に記載のＭＲＩ装置。
  11. 請求項１から４の何れか一項に記載の方法の各ステップをプロセッサに実行させる、プログラム。
JP2017532000A 2014-12-16 2015-11-30 自動放射線読み取りセッション検出 Active JP6802795B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462092411P 2014-12-16 2014-12-16
US62/092,411 2014-12-16
PCT/IB2015/059196 WO2016097909A1 (en) 2014-12-16 2015-11-30 Automatic radiology reading session detection

Publications (2)

Publication Number Publication Date
JP2018502631A JP2018502631A (ja) 2018-02-01
JP6802795B2 true JP6802795B2 (ja) 2020-12-23

Family

ID=54838384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017532000A Active JP6802795B2 (ja) 2014-12-16 2015-11-30 自動放射線読み取りセッション検出

Country Status (5)

Country Link
US (1) US10678328B2 (ja)
EP (1) EP3234734A1 (ja)
JP (1) JP6802795B2 (ja)
CN (1) CN107438407B (ja)
WO (1) WO2016097909A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
CN111695516B (zh) * 2020-06-12 2023-11-07 百度在线网络技术（北京）有限公司 热力图的生成方法、装置及设备

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4380176B2 (ja) 2003-02-28 2009-12-09 コニカミノルタホールディングス株式会社 医用画像処理装置及び異常陰影候補の検出結果の表示方法
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US7501995B2 (en) * 2004-11-24 2009-03-10 General Electric Company System and method for presentation of enterprise, clinical, and decision support information utilizing eye tracking navigation
US7573439B2 (en) * 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US8020993B1 (en) 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
EP2002322B1 (en) 2006-03-23 2009-07-15 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
US8121361B2 (en) * 2006-05-19 2012-02-21 The Queen's Medical Center Motion tracking system for real time adaptive imaging and spectroscopy
US8165368B2 (en) 2008-09-29 2012-04-24 General Electric Company Systems and methods for machine learning based hanging protocols
US9841811B2 (en) * 2008-11-03 2017-12-12 Bruce Reiner Visually directed human-computer interaction for medical applications
CN102292017B (zh) 2009-01-26 2015-08-05 托比股份公司 由光学基准信号辅助的对凝视点的检测
US8290227B2 (en) 2009-03-27 2012-10-16 Carestream Health, Inc. Method and system for diagnostics support
BRPI1004218A2 (pt) 2009-03-31 2016-02-23 Fujifilm Corp dispositivo e método de processamento de imagem, e programa
WO2010118292A1 (en) * 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
JP2013527503A (ja) * 2010-09-20 2013-06-27 ザ ボード オブ リージェンツ オブ ザ ユニバーシティー オブ テキサス システム アドバンストマルチメディア構造化報告
JP6058290B2 (ja) * 2011-07-19 2017-01-11 東芝メディカルシステムズ株式会社 画像処理システム、装置、方法及び医用画像診断装置
EP2830506B1 (en) 2012-03-26 2017-09-13 Koninklijke Philips N.V. Direct control of x-ray focal spot movement
JP6104516B2 (ja) 2012-04-04 2017-03-29 東芝メディカルシステムズ株式会社 医用画像診断装置及び制御プログラム
ITFI20120072A1 (it) * 2012-04-05 2013-10-06 Sr Labs S R L Metodo e sistema per il miglioramento dell'esplorazione visiva di un'immagine durante la ricerca di un target.
US10147232B2 (en) 2012-08-30 2018-12-04 Atheer, Inc. Method and apparatus for selectively presenting content
JP2014064708A (ja) * 2012-09-25 2014-04-17 Toshiba Corp 超音波診断装置、及び、画像処理装置
US9152227B2 (en) 2012-10-10 2015-10-06 At&T Intellectual Property I, Lp Method and apparatus for controlling presentation of media content
JP6274479B2 (ja) 2012-12-26 2018-02-07 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び画像処理プログラム
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
WO2016063167A1 (en) * 2014-10-23 2016-04-28 Koninklijke Philips N.V. Gaze-tracking driven region of interest segmentation

Also Published As

Publication number Publication date
JP2018502631A (ja) 2018-02-01
CN107438407B (zh) 2023-09-15
CN107438407A (zh) 2017-12-05
US10678328B2 (en) 2020-06-09
US20180039326A1 (en) 2018-02-08
EP3234734A1 (en) 2017-10-25
WO2016097909A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US9230334B2 (en) X-ray CT apparatus and image processing method
CN106456082B (zh) 用于脊椎层面的成像系统
KR101840350B1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
CN106880900B (zh) 用于自动确定造影剂注射方案的方法
KR20180017005A (ko) 스파이널 네비게이션 방법, 스파이널 네비게이션 시스템 및 컴퓨터 프로그램 제품
US20130208855A1 (en) Medical image diagnostic apparatus
KR20130109838A (ko) 병변 진단 지원 장치와 방법
EP3193280A1 (en) Medical imaging device and method of operating the same
EP3824475B1 (en) Automatic setting of imaging parameters
JP2007185278A (ja) 手術支援装置
CN110074864B (zh) 颅脑血肿引流的规划系统及方法
JP6802795B2 (ja) 自動放射線読み取りセッション検出
US9636076B2 (en) X-ray CT apparatus and image processing method
CN108348205A (zh) 用于对目标进行成像的设备
CN109350059A (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
KR101811826B1 (ko) 워크 스테이션, 이를 포함하는 의료영상 촬영장치 및 그 제어방법
US11599191B2 (en) Automatic localization of a structure
WO2023179876A1 (en) System configured to aid in training a patient's breathing in preparation for a radiotherapy treatment
US20220005220A1 (en) Positioning of a patient carrier
KR20230013042A (ko) 영상 분석을 통해 병변의 재발을 예측하는 방법
KR102122767B1 (ko) 초음파 검사 지원 장치 및 방법
EP3747387B1 (en) Wrong level surgery prevention
EP4339879A1 (en) Anatomy masking for mri
US20180049648A1 (en) Workstation, medical imaging apparatus, and controlling method thereof
CN115644905A (zh) 图像扫描的触发方法、系统、电子设备及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201127

R150 Certificate of patent or registration of utility model

Ref document number: 6802795

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150