JP6434959B2 - ユーザが画像データを研究するのを可能にすること - Google Patents

ユーザが画像データを研究するのを可能にすること Download PDF

Info

Publication number
JP6434959B2
JP6434959B2 JP2016507101A JP2016507101A JP6434959B2 JP 6434959 B2 JP6434959 B2 JP 6434959B2 JP 2016507101 A JP2016507101 A JP 2016507101A JP 2016507101 A JP2016507101 A JP 2016507101A JP 6434959 B2 JP6434959 B2 JP 6434959B2
Authority
JP
Japan
Prior art keywords
navigation
user
image data
display
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016507101A
Other languages
English (en)
Other versions
JP2016521410A5 (ja
JP2016521410A (ja
Inventor
ユエチェン チエン
ユエチェン チエン
エラン ルーベンス
エラン ルーベンス
Original Assignee
フィリップス メディカル システムズ テクノロジーズ リミテッド
フィリップス メディカル システムズ テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フィリップス メディカル システムズ テクノロジーズ リミテッド, フィリップス メディカル システムズ テクノロジーズ リミテッド filed Critical フィリップス メディカル システムズ テクノロジーズ リミテッド
Publication of JP2016521410A publication Critical patent/JP2016521410A/ja
Publication of JP2016521410A5 publication Critical patent/JP2016521410A5/ja
Application granted granted Critical
Publication of JP6434959B2 publication Critical patent/JP6434959B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Input From Keyboards Or The Like (AREA)

Description

本発明は、画像データの研究を可能にするシステム及び方法に関する。本発明は更に、このシステムを有するワークステーション及び撮像装置に関し、この方法を実行するコンピュータプログラムに関する。
画像分析及び表示の分野において、ユーザが画像データを研究することができるよう、画像データの異なる表示を表示することが一般的である。例えば、医学イメージングにおいて、コンピュータ断層撮影(CT)、磁気共鳴撮像(MRI)又は他のモダリティは、生体構造の3次元(3D)画像データを提供することができる。放射線科医が生体構造を研究することができるよう、3D画像データは、生体構造の異なる2次元(2D)断面図のシーケンスとして、放射線科医に対して表示されることができる。放射線科医は、適切なナビゲーション命令を提供することによりどの2D断面図が表示されるかを決定することができる。
上記の機能を提供するシステムは、例えば画像データの研究をする放射線科医といったユーザを更にサポートするシステム機能を提供することもできる。例えば、システムは、例えば画像注釈機能、画像測定機能、画像分析機能、画像処理機能及びレポーティング機能といったシステム機能を提供することができる。斯かる機能は、例えば、スクリーン上の対応するアイコンをクリックすることにより、ユーザにより選択可能とすることができる。これに応じて、システムは選択されたシステム機能を実行することができる。これにより、例えば、画像データにおける関心領域に注釈が加えられる。
画像表示デバイス上で実行されるユーザ処理をキャプチャすることが知られる。WO2007/050962A2号は、高解像度画像表示デバイスと、画像表示デバイス上で実行される処理をキャプチャする入力デバイスとを持つクライアントワークステーションを含む電子画像ワークフロー方法及びシステムを記載する。ユーザに対して与えられるマルチメディア表示及び処理のシーケンスを規定するワークフローテンプレートが、さまざまなパラメータを用いて作成されることができる。斯かるワークフローテンプレートは、その後、エンドユーザが予めデザインされたワークフローシーケンスに従うことができることを提供する。コンピュータ化された知能エージェントが、エンドユーザにより電子医学記録(EMR)に入力されるデータを補充するため、ワークフローテンプレートに対して追加的なデータを問い合わせ、取得し、及び/又は追加することもできる。斯かるコンピュータ化された知能エージェントは、生体構造、臨床指示、患者プロファイル及び/又は他の基準に基づき、反復性処理又は他のタイプの処理を含むユーザ処理を実行することを学習することもできる。
上記の電子画像ワークフロー方法及びシステムの課題は、それが、ユーザが便利な態様で画像データを研究することができるようにするには十分に適切ではない点にある。
より便利な態様においてユーザが画像データを研究することを可能にするシステム又は方法を持つことは、有利である。
この懸念によりよく対処するため、本発明の第1の側面は、画像データの研究を可能にするシステムを提供する。このシステムは、
i)ユーザからのナビゲーション命令を受信し、ii)上記ユーザが上記画像データを通りナビゲートすることを可能にするため、上記ナビゲーション命令に基づき、上記画像データの異なる表示を表示するユーザインタフェースサブシステムと、
上記画像データの研究において上記ユーザをサポートするため、複数のシステム機能の個別の1つを実行する機能実行サブシステムと、
j)上記画像データを通りナビゲートする間、上記異なる表示のディスプレイシーケンスを表すデータを上記ユーザインタフェースサブシステムから得て、jj)ユーザのナビゲーションパターンを決定するため上記データを分析し、及びjjj)上記ナビゲーションパターンに基づき、上記機能実行サブシステムによる実行に関して上記複数のシステム機能の1つを選択する、パターン分析サブシステムとを有する。
本発明の更なる側面において、上記システムを有するワークステーション及び撮像装置が提供される。
本発明の更なる側面において、画像データの研究を可能にする方法が提供される。この方法は、
ユーザからのナビゲーション命令を受信するステップと、
上記ユーザが上記画像データを通りナビゲートすることを可能にするため、上記ナビゲーション命令に基づき上記画像データの異なる表示を表示するステップと、
上記画像データの研究において上記ユーザをサポートするため、複数のシステム機能の個別の1つを実行するステップと、
上記画像データを通りナビゲートする間、上記異なる表示のディスプレイシーケンスを表すデータを得るステップと、
上記ユーザのナビゲーションパターンを決定するため、上記データを分析するステップと、
上記ナビゲーションパターンに基づき、実行のため上記複数のシステム機能の1つを選択するステップとを有する。
本発明の更なる側面において、プロセッサシステムに上記方法を実行させる命令を有するコンピュータプログラムが提供される。
上記システム及び方法は、ユーザが以下の態様で画像データを研究することを可能にする。ユーザから受信されるナビゲーション命令に基づき、画像データの異なる表示を表示するユーザインタフェースサブシステムが、提供される。異なる表示は、画像データの異なるパーツ及び/又は透視画を示す。適切なナビゲーション命令をシステムに提供することにより、ユーザは、画像データを通りナビゲートすることができる。即ち、画像データの異なるパーツ及び/又は透視画の表示を得ることができる。例えば、画像データがボリュメトリック画像データである場合、システムは、ユーザがボリュメトリック画像データを通り自由にナビゲートすることを可能にするため、例えばマルチプラナ再フォーマッティング(MPR)といった技術を用いて、ボリュメトリック画像データの異なる表示を算出することができる。別の例は、画像データが画像スライスのスタックにより構成されるとき、システムが前方及び/又は後方ナビゲーション命令に基づき、異なる画像スライスを表示することができるものである。これにより、画像スライスのスタックを通りユーザは前方及び/又は後方にスクロールすることができる。
画像データの研究においてユーザをサポートするため、複数のシステム機能を実行することができる機能実行サブシステムが、提供される。機能実行サブシステムによる実行に応じて、画像データの研究においてユーザの役に立つシステムの1つ又は複数の処理を呼び出すという点で、システム機能は、ユーザをサポートする。こうして、システムは、斯かるシステム機能を実行することの一部として、1つ又は複数の処理を実行する。
更に、ユーザによる画像データを通るナビゲートの間、異なる表示のディスプレイシーケンスを示すデータをユーザインタフェースサブシステムから得るパターン分析サブシステムが、提供される。従って、どの表示がどの順序で表示されるかをパターン分析サブシステムが決定することを、データは可能にする。例えば、パターン分析サブシステムは、どの表示がどの順序で表示されるか決定することを可能にするデータをナビゲーション命令の形で得ることができる。別の非限定的な例は、パターン分析サブシステムが、ユーザインタフェースサブシステムから表示される表示の時系列リストを直接得ることができるものである。パターン分析サブシステムは、データを分析して、ユーザが画像データを通りナビゲートするとき、どのナビゲーションパターンが存在するかを決定する。ここで、ナビゲーションパターンという用語は、ユーザのナビゲーション挙動における構造を指す。ナビゲーションパターンを決定すると、パターン分析サブシステムは、ナビゲーションパターンに基づき複数のシステム機能の1つを選択する。こうして、ナビゲーションパターンは、複数のシステム機能のどの1つが選択されるかを決定する。このため、パターン分析サブシステムは、特定のナビゲーションパターンを特定のシステム機能に関連付ける所定の規則、推理エンジン又は他の任意の適切な技術を利用することができる。これに応じて、機能実行サブシステムは、上記選択されたシステム機能を直接実行し、選択されたシステム機能を実行のためユーザに提案する等を行うことができる。例えば、ユーザインタフェースサブシステムは、選択されたシステム機能をユーザに視覚的に示すことができる。ここで、機能実行サブシステムは、ユーザからのリクエスト後選択されたシステム機能だけを実行する。
本発明は、ユーザのナビゲーション挙動における構造が、画像データを研究するユーザの次のステップを示す、特に、ユーザがリクエストするつもりであるのがどのシステム機能又はどのタイプのシステム機能であるかを示すという理解に部分的に基づかれる。例えば、ユーザが表示の小さいサブセットを通り例えば、ジグザクの態様で反復的にスクロールするとき、これは、ユーザが表示の小さいサブセットに含まれる対象を更に分析するつもりであることを示す。従って、ユーザは、画像分析に関連するシステム機能をリクエストするつもりであろう。本発明は、システムが、ユーザのナビゲーションパターンに基づき、実行に関するシステム機能を自動的に選択するという効果を持つ。システムは、ユーザのナビゲーションパターンを決定することを可能にされる。なぜなら、どの表示がナビゲーションの間どの順序で表示されるかをシステムが決定することを可能にするデータがシステムに対して利用可能だからである。そのようなものとして、システムは、構造がユーザのナビゲーション挙動、即ち、ナビゲーションパターンにおいて存在するかを決定することができる。このナビゲーション挙動に基づき、システムは、実行に関する適切なシステム機能を選択する。
従って、ユーザがシステム機能を手動で選択する必要はないという点で、ユーザは、画像データの研究において自動的にサポートされる。有利には、画像データを研究するユーザにとって、それはより便利である。有利には、ユーザは、システム機能を手動で選択しなければならないことで、画像データの研究から気を散らされるということはない。
オプションで、上記パターン分析サブシステムは、上記複数のシステム機能の1つを選択した後、i)上記機能実行サブシステムに上記システム機能を実行するよう指示する、又はii)上記ユーザが、上記システム機能の実行をリクエストすることを可能にするため、上記ユーザに対して上記システム機能を視覚的に示すよう、上記ユーザインタフェースサブシステムに指示するよう構成される。こうしてシステムは、選択されたシステム機能を直接実行することができるか、又は、ユーザのリクエストに応じてシステム機能を実行する前に、最初にシステム機能をユーザに提案することができる。例えば、後者の場合、ユーザインタフェースサブシステムは、選択されたシステム機能をデフォルト選択として、例えば、ツールバー又はメニューにおいて確立し、簡単な選択のためカーソルの隣に上記システム機能のグラフィカル表現を配置する等をすることができる。
オプションで、上記パターン分析サブシステムが、上記ナビゲーションパターンに基づき、上記複数のシステム機能の1つを選択するため、マッピングデータを使用するよう構成され、上記マッピングデータは、上記ナビゲーションパターンと上記複数のシステム機能の1つとの間の関連付けを示す。パターン分析サブシステムはこうして、マッピングデータを利用して、ナビゲーションパターンと複数のシステム機能の1つとの間の関連を提案する。これにより、パターン分析サブシステムは、上記システム機能を選択することができる。例えば、マッピングデータは、特定のシステム機能に対して特定のナビゲーションパターンを関連付けるルックアップテーブルにより構成されることができる。有利には、マッピングデータは、事前計算されることができる。これにより、選択のときに利用できない情報が考慮されることができる。
オプションで、上記ユーザインタフェースサブシステムが、上記複数のシステム機能の上記個別の1つの実行を上記ユーザがリクエストすることを可能にするよう構成され、上記マッピングデータは、上記ユーザのリクエスト及び関連付けられるナビゲーションパターンの履歴を含む。こうしては、ユーザは、実行に関する複数のシステム機能の個別の1つを手動で選択する、即ち、リクエストすることを可能にされる。パターン分析サブシステムは、斯かるリクエスト及び関連付けられるナビゲーションパターンの履歴、即ち、複数のシステム機能の1つの選択において、上記リクエストを行うときのナビゲーションパターンを使用する。リクエスト及び関連付けられるナビゲーションパターンの履歴は、パターン分析サブシステムが、ユーザの過去のナビゲーションパターンとユーザの過去のリクエストとを相関させることを可能にする。これは、次に、パターン分析サブシステムが、ユーザの現在のナビゲーションパターンに基づき、ユーザの意図されたリクエストを推定することを可能にする。有利には、システム機能の自動選択は、ユーザの意図に好適にマッチする。
オプションで、上記パターン分析サブシステムが、上記ユーザの推定されたリクエストに基づき、上記複数のシステム機能の1つを上記ユーザが選択することを可能にするため、上記リクエスト及び関連付けられるナビゲーションパターンの履歴に対して機械学習を適用するよう構成される。機械学習は、ユーザの現在のナビゲーションパターンに基づき、ユーザの意図されたリクエストを好適に推定することを可能にするため、ユーザの過去のナビゲーションパターンとユーザの過去のリクエストとを相関させるのに非常に適している。
オプションで、上記データに基づき、上記異なる表示の各々に関してディスプレイパラメータを決定することであって、上記ディスプレイパラメータの各々が、上記ナビゲーションの間、上記異なる表示の個別の1つの上記ディスプレイを特徴付ける、ディスプレイパラメータを決定することにより、及び上記ナビゲーションパターンを決定するため、上記ディスプレイパラメータを分析することにより、上記パターン分析サブシステムが、上記ナビゲーションパターンを決定するよう構成される。パターン分析サブシステムは、ナビゲーションの間、各表示された表示に関して最初にディスプレイパラメータを決定し、次にディスプレイパラメータを分析することにより、ユーザのナビゲーション挙動を決定する。各ディスプレイパラメータは、それが、例えば、どれくらい長く又はどれくらい頻繁に各表示が表示されるかといったナビゲーションの間の個別の表示を表示することの特定の側面を表すという点で、ナビゲーションの間の異なる表示の個別の1つのディスプレイを特徴付ける。画像データを通りナビゲートする間、ユーザのナビゲーション挙動を特徴付けるのに、斯かるディスプレイパラメータが非常に適していることが分かった。
オプションで、上記ディスプレイパラメータが、ディスプレイ期間、ディスプレイ周波数、ディスプレイのときのナビゲーション速度及びディスプレイのときのナビゲーション方向のグループのいずれかである。ここで、「ディスプレイ期間」という用語は、例えば、相対的又は絶対的な期間において、ナビゲーションの間、個別の表示がどれくらい長く表示されるかの尺度を指す。「ディスプレイ周波数」という用語は、ナビゲーションの間、個別の表示がどれくらい頻繁に表示されるかの尺度を指す。「ナビゲーション速度」という用語は、個別の表示を表示するときのナビゲートの速度を指す。「ナビゲーション方向」という用語は、個別の表示を表示するときのナビゲートの方向を指す。上記のディスプレイパラメータは、画像データを通りナビゲートする間、ユーザのナビゲーション挙動を特徴付けるのに非常に適していることが分かった。
オプションで、上記ナビゲーションパターンが、静止したナビゲーションパターン、速度閾値より下のナビゲーション速度を持つ連続的なナビゲーションパターン、上記速度閾値以上のナビゲーション速度を持つ連続的なナビゲーションパターン及びジグザクのナビゲーションパターンのグループのいずれかである。ここで、「静止したナビゲーションパターン」という用語は、ユーザが、主に又は排他的に1つ又は少数の表示を見るパターンを指す。「連続的なナビゲーションパターン」という用語は、速度閾値の上又は下のいずれかであるナビゲーション速度で、ユーザが異なる表示を通り連続してナビゲートするパターンを指す。「ジグザクのナビゲーションパターン」という用語は、少数から中間数の表示を通りユーザが前後にナビゲートするパターンを指す。上記のナビゲーションパターンが、画像データを研究するユーザの次のステップ及び従ってユーザの意図されたリクエストを表すことが分かった。
オプションで、上記パターン分析サブシステムが、i)上記画像データの上記研究のコンテキスト情報を得る、及びii)上記コンテキスト情報に基づき、上記複数のシステム機能の1つを選択するよう構成される。こうして、ナビゲーションパターン及びコンテキスト情報は一緒に、複数のシステム機能のどの1つが選択されるかを決定する。本発明のこの側面は、画像データの研究のコンテキスト情報が、選択を更に改善するために用いられることができるという洞察に基づかれる。例えば、複数の異なるシステム機能が、現在のナビゲーションパターンに基づき実行に適していると考えられる場合、コンテキスト情報は上記システム機能の間の選択に使用されることができる。有利には、システム機能の自動選択は、ユーザの意図されたリクエストに好適にマッチする。
オプションで、上記パターン分析サブシステムが、上記画像データのメタデータ、上記研究の現在のフェーズを示すワークフロー情報及び上記研究に関する理由を示す研究情報のグループの少なくとも1つから上記コンテキスト情報を得るよう構成される。上記のコンテキスト情報が、システム機能の選択を改善するのによく適していることが分かった。例えば、医学画像データのDICOM属性といったメタデータが、医学画像データのタイプに関連するシステム機能を選択するのに用いられることができる。別の例は、研究がプレ読出フェーズ、解釈フェーズ又はレポーティングフェーズにあるかをワークフロー情報が示すことである。これにより、研究の現在のフェーズに関連するシステム機能を選択することが可能にされる。別の例は、研究の理由が、どのタイプのシステム機能が画像データの研究に関連するかを示すことができるということである。
オプションで、このシステムは、上記画像データの上記研究の上記コンテキスト情報を確立するため、上記画像データのコンテンツを分析する画像分析サブシステムを更に有する。画像データのコンテンツは、画像データの研究に関するコンテキストを提供するのに適している。なぜなら、コンテンツが概して、研究の対象だからである。画像分析サブシステムを提供することにより、システムは、画像データのコンテンツを分析して、システム機能を好適に選択するためにその結果を使用することを可能にされる。
オプションで、上記画像データが、医学画像データであり、上記画像分析サブシステムは、上記医学画像データにおける生体構造及び/又は病変をセグメント化することに基づき、上記医学画像データの上記コンテンツを分析するよう構成される。
オプションで、複数のシステム機能は、画像注釈機能、画像測定機能、画像分析機能、画像処理機能及びレポーティング機能のグループの少なくとも1つを有する。
オプションで、ユーザインタフェースサブシステムは、頻繁に表示された表示へとユーザがナビゲートすることを可能にするため、ディスプレイパラメータに基づき、ナビゲーション補助を表示するよう構成される。ユーザインタフェースサブシステムは、複数のディスプレイパラメータを用いて、頻繁に表示された表示へとどのようにナビゲートするかをユーザに示すナビゲーション補助を、ユーザに表示する。例えば、ユーザインタフェースサブシステムは、頻繁に表示された表示の位置に対する、画像データにおける現在の表示の位置のグラフィカル表現の形で、ナビゲーション補助を表示することができる。有利には、ユーザは頻繁に表示された表示へ戻るよう容易にナビゲートすることができる。これにより、画像データを研究しているとき、ユーザに関する利便性が更に増加される。
本発明の上述の実施形態、実現及び/又は側面の2つ又はこれ以上が有益と思われる任意の態様で結合されることができる点を当業者であれば理解されるであろう。
システムに関する上述の修正及び変更に対応する、撮像装置、ワークステーション、方法及び/又はコンピュータプログラムの修正及び変更が、本明細書に基づき当業者により実施されることができる。
当業者であれば、本方法が、様々な撮像モダリティにより撮像される、例えば2次元(2D)、3次元(3D)又は4次元(4D)画像といった多次元画像データに適用されることができる点を理解されるであろう。斯かるモダリティは、以下に限定されるものではないが、例えば、標準的なX線イメージング、コンピュータ断層撮影法(CT)、磁気共鳴イメージング(MRI)、超音波(US)、陽電子放出断層撮影(PET)、単光子放出断層撮影(SPECT)及び核医学(NM)を含む。
本発明は、独立請求項により規定される。有利な実施形態が、従属項において規定される。
ユーザが画像データを研究することを可能にするシステムを示す図である。 ユーザが画像データを研究することを可能にする方法を示す図である。 上記方法を実行するコンピュータプログラムを示す図である。 画像データの異なる表示を例示的に示す図である。 実行するシステム機能をユーザが手動で選択することを示し、システム機能の出力が、画像データの現在の表示に表示されることを示す図である。 ナビゲーション命令に基づきシステムにより決定されるものとして、異なる表示のどれがユーザにより見られるか、及びその順序を概略的に示す図である。 異なる表示の各々のディスプレイ周波数を示す図である。 異なる表示の各々の累積されたディスプレイ時間を示す図である。 システムによって決定されるジグザクのナビゲーションパターンを示す図である。
本発明のこれら及び他の側面が、以下に説明される実施形態から明らかとなり、これらの実施形態を参照して説明されることになる。
図1は、ユーザが画像データを研究することを可能にするシステム100を示す。システム100は、ユーザからナビゲーション命令022を受信するユーザインタフェースサブシステム120を有する。このため、ユーザインタフェースサブシステム120は、例えばコンピュータマウスといったユーザ入力デバイス020に接続されるユーザインタフェース入力部115を有することが示される。ユーザインタフェースサブシステム120は、ユーザが画像データ042を通りナビゲートすることができるようにするため、ナビゲーション命令022に基づき、画像データ042の異なる表示400を表示する表示出力プロセッサ110を有することが更に示される。このため、表示出力プロセッサ110は、ユーザインタフェース入力部115からナビゲーション命令022を、及び内蔵ストレージデバイス040から画像データ042を受信することが示される。内蔵ストレージデバイス040から受信する代わりに、画像データ042は、システム100の外部のストレージデバイスから受信されることもできる点に留意されたい。更に、表示出力プロセッサ110は、ディスプレイ010に異なる表示400を提供することが示される。
システム100は、画像データの研究においてユーザをサポートするため、複数のシステム機能500の個別の1つを実行する機能実行サブシステム160を更に有する。システム機能の出力部162の表示を可能にするため、機能実行サブシステム160は、ディスプレイ出力プロセッサ110に接続されることが示される。
システム100は、画像データを通りナビゲートする間、異なる表示のディスプレイシーケンスを示すデータをユーザインタフェースサブシステム120から得るパターン分析サブシステム140を更に有する。図1に示されるシステム100において、どの表示が表示され、それがどの順序で表示されるかを示すデータが、ナビゲーション命令022の形で得られる。しかしながら、データが他の任意の適切な形を取ることもできる点を理解されたい。例えば、パターン分析サブシステム140は、ユーザインタフェースサブシステム120から表示された表示の時系列リストを得ることもできる。ナビゲーション命令の分析に対する任意の将来の参照は、従って、前述されたデータの分析の非限定的な例として理解されたい。パターン分析サブシステム140は、画像データ042を通りナビゲートするときユーザのナビゲーションパターンを決定するため、データ、即ち、ナビゲーション命令022を分析するよう構成される。パターン分析サブシステム140は、ナビゲーションパターンに基づき、機能実行サブシステム160により実行される複数のシステム機能の1つを選択するよう更に構成される。このため、パターン分析サブシステム140は、機能実行サブシステム160に対して選択データ142を提供することが示される。このデータは、機能実行サブシステム160がシステム機能を実行することをもたらす。
システム100の動作は、以下のように簡単に説明されることができる。ユーザインタフェースサブシステム120は、ユーザからナビゲーション命令022を受信する。これに応じて、ユーザインタフェースサブシステム120は、画像データ042の異なる表示400を表示する。そのようなものとして、ユーザは、画像データ042を通りナビゲートすることを可能にされる。同時に、又は、その後、画像データ042を通りナビゲートするときユーザのナビゲーションパターンを決定するために、パターン分析サブシステム140は、データ、例えば、ナビゲーション命令022を分析する。ナビゲーションパターンに基づき、パターン分析サブシステム140は、実行される複数のシステム機能500の1つを選択する。これに応じて、機能実行サブシステム160は、複数のシステム機能500の選択された1つを直接実行することができる。代替的に、機能実行サブシステム160は、最初に、例えば、オンスクリーンメッセージ、目立つようにされたシステム機能のオンスクリーン表現などを介して、システム機能の実行をユーザに提案し、ユーザからの確認を受信した後にだけシステム機能を実行することができる。
図2は、ユーザが画像データを研究することを可能にする方法200を示す。方法200は、システム100の動作に対応することができる。しかしながら、方法200は、例えば、異なるシステム又はデバイスを用いて、システム100とは別に実行されることもできる。方法200は、「RECEIVING NAVIGATION COMMANDS」というタイトルのステップにおいて、ユーザからのナビゲーション命令を受信するステップ210を有する。方法200は、「DISPLAYING VIEWS OF IMAGE DATA」というタイトルのステップにおいて、ユーザが画像データを通してナビゲートすることを可能にするナビゲーション命令に基づき、画像データの異なる表示を表示するステップ220を更に有する。方法200は、「EXECUTING SYSTEM FUNCTION」というタイトルのステップにおいて、画像データの研究においてユーザをサポートするため、複数のシステム機能の個別の1つを実行するステップ230を更に有する。方法200は、「OBTAINING DATA INDICATIVE OF DISPLAY SEQUENCE」というタイトルのステップにおいて、画像データを通りナビゲートする間、異なる表示のディスプレイシーケンスを示すデータを得るステップ240を更に有する。方法200は、「ANALYZING DATA TO DETERMINE NAVIGATION PATTERN」というタイトルのステップにおいて、ユーザのナビゲーションパターンを決定するためこのデータを分析するステップ250を更に有する。方法200は、「SELECTING SYSTEM FUNCTION FOR EXECUTION」というタイトルのステップにおいて、ナビゲーションパターンに基づき、実行ステップ230に関する複数のシステム機能の1つを選択するステップ260を更に有する。
得るステップ240、分析するステップ250及び選択するステップ260は、受信するステップ210及び表示するステップ220と同時に実行されることができる点を理解されたい。代替的に、得るステップ240、分析するステップ250及び選択するステップ260は、受信するステップ210及び表示するステップ220を実行した後実行されることができる。一般に、上記ステップは、他の任意の適切な順において実行されることもできる点に留意されたい。
図3は、プロセッサシステムに上述した方法200を実行させる命令を有するコンピュータプログラム270を示す。コンピュータプログラム270は、コンピュータ可読媒体280上に、一連の機械読み出し可能な物理マークとして、及び/又は例えば異なる電気、磁気若しくは光学特性又は値を持つ一連の要素としての形で含まれることができる。
システム100及び方法200が、以下に更に詳細に説明されることができる。ここで、図4〜図6dと同様に、引き続き図1が参照される。
図4は、ユーザが画像データ042を通りナビゲートする間に表示される異なる表示400を例示的に示す。ここで、異なる表示400の第1の1つ410、即ち、第1の表示410が、画像データ042の一部の表現を形成する画像のスタックのトップの画像として示される。図4は、第1の表示410の後に、異なる表示400の第2の表示220及び第3の表示230、即ち、第2の表示420及び第3の表示430も部分的に示す。システム100は、実際には上述したスタックの形で異なる表示400を表示することができない。例えば、一度に一つの表示、即ち、現在の表示410だけを示すことが望ましい。これは、ユーザが特定の表示にフォーカスすることを可能にすることができる。更に、他の形式のディスプレイが同様に可能である。複数の異なる表示400が変化することもできる。例えば、画像データ042が画像スライスのスタックにより構成される場合、画像データ042の複数の異なる表示400はスタックにおける複数の画像スライスに対応することができる。これは限定でないが、例えば、マルチプラナ再フォーマッティングが画像スライスのスタックの斜視図を生成するのに用いられる場合、複数の異なる表示400が複数の画像スライスより大きくてもよい。
図4は、ディスプレイ010上でユーザに表示される第1の表示410を示す。現在の表示410としても参照される第1の表示410は、対象412を有することが示される。対象412は、ユーザにとって関心のあるものとすることができ、即ち、関心対象又は領域を構成することができる。従って、対象412は、画像データ042の研究において重要である場合がある。図5は、実行のためシステム100により提供される複数のシステム機能500を表すアイコンを有するツールバーを示す。複数のシステム機能500は、複数の画像測定機能及び画像注釈機能を有することが示される。これは限定でないが、複数のシステム機能500が、画像データ042の研究においてユーザをサポートするのに適している1つ又は複数の画像分析機能、画像処理機能、レポーティング機能又は他のシステム機能に等しく含まれることができる。図5の例において、ユーザインタフェースサブシステム120は、例えば、ツールバーのアイコンの個別の1つにおいてカーソル012でクリックすることにより、複数のシステム機能500の個別の1つの実行をユーザがリクエストすることを可能にするよう構成される。図5は、ユーザが画像測定機能を選択した結果、特にルーラーを有するアイコンにより表される距離測定機能をユーザが選択した結果を更に示す。結果として、ユーザは、距離、例えば、対象412の高さを測定するオンスクリーン測定ツールを具備することができる。距離測定機能の出力は、例えば、「0.2cm」という測定された距離が表示される形で、第1の表示410と一緒に、又は、この一部として、システム100により表示されることができる。
本発明は、上述したタイプのシステム機能といったシステム機能、即ち、ユーザにより手動で選択可能であるシステム機能が、システム100による実行のため自動的に選択されることを可能にする。しかしながら、本発明は、ユーザにより手動で選択可能であるシステム機能の選択に限定されるものではない点に留意されたい。むしろ、1つ又は複数のシステム機能は、手動選択に関して利用可能ではない場合がある。
機能実行サブシステム160による実行に関して複数のシステム機能500の1つを自動的に選択することを可能にするため、パターン分析サブシステム140は、ナビゲーション命令022を分析し、画像データ042を通りナビゲートするとき、ユーザのナビゲーションパターンを決定する。図6aは、分析の第1のステップの例を概略的に示す。このステップにおいて、パターン分析サブシステム140は、異なる表示400のどれがユーザにより見られ、それがどの順序であるかを決定することができる。従って、パターン分析サブシステム140は、画像データ042を通りユーザがどのようにナビゲートするか、即ちどの表示がどの順序で表示されるかを決定することができる。図6aにおいて、水平軸605は、時間に対応し、垂直軸600は、表示インデックスに対応する。従って、ライン601は、時間の関数として、どの表示が表示されるかを示す。ユーザは、まず最初に連続して異なる表示400を通りスクロールして、その後異なる表示400のいくつかを通り前後に反復してスクロールすることが分かる。この点で、「スクロール」という用語は、必ずしもそうではないが、概してコンピュータマウスのスクロールホイールを用いて実行されるナビゲートの形式を参照するものとして理解される点に留意されたい。
ナビゲーションパターンを決定するため、パターン分析サブシステム140は、異なる表示400の各々に関して最初にディスプレイパラメータを決定することができる。各々の上記ディスプレイパラメータは、ナビゲーションの間、異なる表示の個別の1つのディスプレイを特徴付ける。図6bは、各々の異なる表示のディスプレイ周波数611の形で、ディスプレイパラメータの例を示す。ここで、垂直軸610は、表示インデックスに対応し、水平軸615は、異なる表示の各々のディスプレイ周波数に対応する。即ち、各表示がどのくらいの頻度で表示されるかを示す。図6bの例においてディスプレイ周波数611が、図6aにおいて使用されたのより長いナビゲーション期間にわたり決定される点に留意されたい。即ち両方の図は、ナビゲーションの異なる部分を示す。図6bから、選択された数の表示がナビゲーションの間、しばしば表示され、一方、他の表示は、あまり表示されない又は全く表示されないことが分かる。
図6cは、各々の異なる表示の累積されたディスプレイ時間621の形で、ディスプレイパラメータの別の例を示す。ここで、垂直軸620は、表示インデックスに対応し、水平軸625は、異なる表示の各々の累積されたディスプレイ時間621に対応する。即ち、異なる表示の各々がナビゲーションの間トータルでどのくらいの長さ表示されるかを示す。累積されたディスプレイ時間621は、バーのグレイスケール符号化の形で表示される。より濃い灰色は、より長いディスプレイ時間を示し、より明るい灰色は、より短いディスプレイ時間を示す。図6cから、選択された数の表示が、ナビゲーションの間、長期にわたる時間に関して表示され、一方、他の表示は、短い時間表示される又は全く表示されないことが分かる。
以前の図には示されていないが、パターン分析サブシステム140は、追加的に、又は、代替的に、ディスプレイパラメータを決定することができる。このパラメータは例えば、ディスプレイのときにおけるナビゲーション速度、ディスプレイのときにおけるナビゲーション方向等である。
パターン分析サブシステム140は、ナビゲーションパターンを決定するため、ディスプレイパラメータ611、621を分析するよう構成されることができる。斯かるナビゲーションパターンの例は、静止したナビゲーションパターン、速度閾値の下のナビゲーション速度を持つ連続的なナビゲーションパターン、速度閾値の上のナビゲーション速度を持つ連続的なナビゲーションパターン、及びジグザクのナビゲーションパターンを含む。システム100により検出される後者の例が、図6dに示される。ここで、水平軸635は時間に対応し、垂直軸は表示インデックス630に対応する。図6dは、ジグザクのナビゲーションパターン631が決定されることを更に示す。ここで、ジグザクのナビゲーションパターン631はそれぞれ、短い水平線により接続される垂直線により示され、これは、ナビゲーション方向の反転、即ち、ジグザグを示す。図6dを右から左に読むとき、ユーザが最初に長い垂直線により示される異なる表示の広い範囲を通りナビゲートすることが分かる。その後、ユーザは、長期にわたる期間にわたりナビゲーションを休止させる。その後、ユーザは、より狭い範囲を通り前後に反復的にナビゲートする。これは図6dにおいて、垂直軸630の近くの密接に隣接する垂直線により示される。
一般に、静止したナビゲーションパターンは、長いディスプレイ時間を持つ隣接する表示の1つ又は少数に基づき決定されることができる。連続的なナビゲーションパターンは、ユーザが一連の表示を通り実質的に線形にナビゲートすることに基づき決定されることができる。即ち、ナビゲーション方向における実質的な変化はなく、各々の表示が、類似するディスプレイ時間を持つ。ジグザクのナビゲーションパターンは、ユーザが少数又は中間数の表示にわたり前後にナビゲートすることに基づき決定されることができる。後者の例は、以下にあげられる。ここで、ユーザインタフェースサブシステム120からのデータとして、表示される表示の時間順リストが得られる。各ラインは、<時間、表示番号>示す。
<1,0>
<2,0>
<3,0>
<4,1>
<5,2>
<6,4>
<7,6>
<8,9>
<9,9>
<10,9>
<11,10>
<12,11>
<13,14>
<14,14>
<15,9>
<16,14>
上記のナビゲーション命令022が与えられるとすると、パターン分析サブシステム140は、表示0のトータル表示時間は3であり、表示9のトータル表示時間は4であると決定することができる。更に、表示0の相対的な表示期間は3/16であり、表示9のそれは4/16である。ディスプレイ周波数に関して、表示9は、2つの別々の訪問の間表示され、一方、残りの表示は、1つの訪問の間にのみ表示される。ジグザクのナビゲーションパターンの存在を決定するため、パターン分析サブシステム140は、タイムスタンプの各々でのナビゲーション速度を計算することができる。例えば、タイムスタンプ13では、ナビゲーション速度は、タイムスタンプ当たり3表示である。タイムスタンプ14では、速度は0である。タイムスタンプ15では、速度は、タイムスタンプ当たり―5表示である。パターン分析サブシステム15は、ナビゲーションの方向が、タイムスタンプ15で、タイムスタンプ16で再度変化することを検出することができる。ナビゲーション方向の変更の連続的なシーケンスは、ジグザクのナビゲーションパターンと考えられることができる。結果的に、パターン分析サブシステム140は、ジグザクのナビゲーションパターンがタイムスタンプ15及び16で発生していることを検出することができる。
ナビゲーションパターンを決定すると、パターン分析サブシステム140は、機能実行サブシステム160による実行に関する複数のシステム機能の1つを選択する。このため、パターン分析サブシステム140は、ナビゲーションパターン及び複数のシステム機能の1つの間の関連付けを示すマッピングデータ024を利用することができる。そのようなものとして、パターン分析サブシステム140は、ナビゲーションパターンに基づき複数のシステム機能500の1つを選択するのに、マッピングデータ024を使用するよう構成されることができる。マッピングデータ024は、特定のナビゲーションパターンを特定のシステム機能に関連付けるルックアップテーブル、所定の規則又は他のタイプのデータにより構成されることができる。マッピングデータ024は、手動で生成されることができる。従って、パターン分析140は、実行に関するシステム機能を選択することができる。ここで、「実行に関する選択」という用語は、実行されるために、システムが選択することを指す。結果的に、機能実行サブシステム160は、選択されたシステム機能を直接実行することができる。即ち、実行にあたり、ユーザとの更なる相互作用が必要とされない、又は、むしろ、最初にシステム機能の実行をユーザに提案した後ユーザによる確認の後にのみ実行される。
ナビゲーションパターンに基づかれるシステム機能の選択の例は、以下に記載される。これ及び他の例は医学コンテキストからのものであるが、本発明は、他のコンテキストにおいても同様に適用されることができる点に留意されたい。即ち、斯かる医学コンテキストに限定されるものではない。この例において、パターン分析サブシステム140は、高いナビゲーション速度で連続してナビゲートしているユーザと低ナビゲーション速度で連続してナビゲートしているユーザとを区別するよう構成される。前者の挙動は、高速スクロールとも呼ばれ、一方後者は、低速スクロールとも呼ばれる。短い期間において多数の表示を見るユーザに関する高速スクロールは概して、放射線科医が画像スタックを調べるとき発生する。斯かる調査は通常、画像解釈ワークフローの始めに、即ち、概してプレ読出フェーズ及び解釈フェーズの間に起こる画像解釈ワークフローの調査フェーズの間に起こる。斯かる高速スクロールを検出することにより、システム100は、画像注釈機能といった画像の調査に関連付けられるシステム機能をユーザに提案することが可能にされる。高速スクロールは、放射線科医が脊髄構造を試験するときにも起こる。例えば、CT胸部腹部及び骨盤研究の場合、放射線科医は、ウィンドウレベル/幅設定を骨ウィンドウに切り替え、表示を通り高速にスクロールすることができる。斯かる高速スクロールを検出するとき、システム100は、ウィンドウレベル/幅設定と組み合わせて、骨分析に関連付けられるシステム機能を提案することができる。
上述した低速スクロール、即ち、低ナビゲーション速度での連続したナビゲートは大部分は、放射線科医が特異的発見分析、即ち表示、測定及び比較を行っているときに起こる。斯かる低速スクロールを検出することにより、システム100は、例えば距離測定ツールといった特異的発見分析に特有なシステム機能を提案することができる。更に、画像における器官の生体構造情報及びウィンドウレベル/幅設定と組合せて、特定の撮像処理機能が、システム100により促進され、視覚化され、優先付けされ、又は、自動的に実行されることができる。
高速スクロール及び低速スクロールの決定は、さまざまな態様において実行されることができる。例えば、パターン分析サブシステム140は、タイムスタンプされたナビゲーション命令022から、ナビゲーションの間のナビゲーション速度を決定することができる。従って、パターン分析サブシステム140は、1つ又は複数の速度閾値に対してナビゲーション速度を比較することにより、高速スクロール及び低速スクロールの間を区別することができる。斯かる速度閾値は、システムにより予め設定されることができるか、又は例えば、学習フェーズの間学習されることができる。
ナビゲーション命令022に加えて、パターン分析サブシステム140は、ナビゲーションパターンを決定するため更なる入力を使用することができる。例えば、高速スクロール及び低速スクロールの場合、画像データ020を通りゆっくりナビゲートするためユーザがユーザ入力デバイス020のスクロールホイールを使用するとき、一旦それがスクロールホイールの後部位置に到達すれば、スクロールし続けるために、ユーザの指は、スクロールホイールの前方位置に戻る必要がある場合があることが分かった。ユーザがゆっくりスクロールさせるとき、ユーザの指の運動は、高速運動でもよい。更に、ユーザが高速でスクロールさせるとき、ユーザの指の運動は、低速運動でもよい。この情報は、高速又は低速スクロールの誤検出を回避するため、システム100により測定及び使用されることができる。
一般に、マッピングデータ024は、ユーザのリクエスト履歴及び関連付けられるナビゲーションパターンにより構成されることができる。従って、マッピングデータ024は、ユーザの1つ又は複数の過去のリクエスト及びその過去のリクエストのときに決定されたナビゲーションパターンを有する、又は示すことができる。例えば、マッピングデータ024は、画像測定機能をリクエストするときに、ユーザが静止したナビゲーションパターンを使用したとみなされたことを示すことができる。同様に、マッピングデータ024は、画像分析法機能をリクエストするときに、ユーザがジグザクのナビゲーションパターンを使用したとみなされたことを示すことができる。マッピングデータ024は、ユーザが連続的なスクロールパターンを使用したとみなされるときに、どのシステム機能もリクエストされなかったことを示すこともできる。従って、現在のナビゲーションパターンがジグザクのナビゲーションパターンであると考えられるとき、パターン分析サブシステム140は、マッピングデータ024を使用して、ユーザが、画像分析機能をリクエストし、実行のため上記機能を選択しようとしていることを決定することができる。
パターン分析サブシステム140は、ユーザの推定されたリクエストに基づき複数のシステム機能500の1つを選択することを可能にするため、ユーザのリクエストの履歴及び関連付けられるナビゲーションパターンに対して機械学習を適用するよう構成されることができる。従って、マッピングデータは、機械学習を用いて自動的に生成されるルックアップテーブル、所定の規則又は他のタイプのデータにより構成されることができる。
パターン分析サブシステム140は、ナビゲーションパターンに基づき、実行に関する複数のシステム機能500の1つを選択するため、他のタイプの技術を利用することもできる。例えば、パターン分析140は、推理エンジン及び推論エンジンの分野からそれ自体が知られる推理の技術を利用することができる。
実行に関するパターン分析サブシステム140により選択されることができるシステム機能の例は、以下を含む。パターン分析サブシステム140は、例えば、静止したナビゲーションパターンを決定することにより、選択された数の表示にユーザがフォーカスすることを決定することができる。これに応じて、パターン分析サブシステム140は、例えば、器官セグメント化機能又は病変検出機能といった画像処理機能を自動的に選択することができる。更に、パターン分析サブシステム140は、以下の処理の1つ又は複数を実行するシステム機能を選択することができる。
1.画像処理に関するツールボックスが、カーソルに対してより近くに移動されることができる。従って、ユーザは、ツールボックスにアクセスするために、あまりカーソル移動させなくて済む。
2.カーソルモデルが、選択モードから測定モードへと変更されることができる。測定モードは、例えば、例えば距離測定、角度測定、関心領域表面測定、フリーハンド表面測定等の複数の異なる画像測定機能に関連付けられることができる。パターン分析サブシステム140は、画像測定機能の1つのプリセット、リストにおける最初の1つ、最後に使用された1つ、最も頻繁に使用された1つ等を選択をすることができる。
3.カーソルモデルが、注釈モデルに変更される。
4.画像処理機能は、ウィンドウレベル及び幅を変える、関心領域にズームする等に使用されることができる。
5.ユーザが画像データと現在の研究又は過去の研究の他の画像データとを位置合わせすること、病変検出/セグメント化アルゴリズムを適用すること、生体構造セグメント化アルゴリズムを適用すること、代替的な表示を生成すること、複数の画像シリーズを位置合わせ/関連付けること、キー画像として現在画像を保存すること等を望むかを、ユーザに促すメッセージが生成されることができる。
6.システムがデータベースにおいて類似する研究をサーチする、又は例えば、医学百科事典若しくはガイドラインデータベースにおいて追加的な情報を探すかどうかを、ユーザに促す別のメッセージが生成されることができる。
7.ユーザがレポートにおいてレポート断片を含むことを望むかを、ユーザに促す別のメッセージが生成されることができる。レポート断片の例は、以下のようにすることができる。"シリーズ1肺における、スライス4〜6。そこには、〜が存在する。"ここで、""は、放射線科医といったユーザが、自身の観察を提供することができるプレースホールダを構成する。
8.画像データのより頻繁に訪問された表示を示す、スクロールバー状のナビゲーション補助が表示される。ユーザは、より頻繁に訪問された表示に直接ナビゲートするため、ナビゲーション補助上でクリックすることができる。ユーザは、キー画像として表示を保存することもできる。
パターン分析サブシステム140は、画像データの研究のコンテキスト情報を得て、コンテキスト情報に更に基づき、複数のシステム機能500の1つを選択するよう構成されることもできる。図1に戻りこれを参照すると、画像データ042のメタデータ182を受信するパターン分析サブシステム140が示される。画像データ042がどのコンテンツを含むか、画像モダリティ、スライス厚、スライス数等をパターン分析サブシステム140が決定することを、メタデータ182は可能にすることができる。図1は、画像データ042のコンテンツを分析する画像分析サブシステム180を有するシステム100を更に示す。画像分析サブシステム180は、画像データ042の研究のコンテキスト情報を提供するため、上記分析の結果184をパターン分析サブシステム140に提供することが示される。画像分析サブシステム180は、医学画像データ042における生体構造及び/又は病変をセグメント化するよう構成されることができる。図1に示されていないが、パターン分析サブシステム140は、例えば、研究の現在のフェーズを示すワークフロー情報及び研究に関する理由を示す研究情報といった他のタイプのコンテキスト情報を得るよう構成されることができる。
斯かるコンテキスト情報の使用の例は、以下に挙げられる。研究は、CT胸部及び骨盤研究とすることができる。システム100は、画像データ042のDICOMヘッダから、現在のモダリティがCTであり、現在の体部位が患者の腹部であると決定することができる。画像分析サブシステム180は、画像データ042において肺を検出するため、画像データ042において生体構造をセグメント化することができる。ユーザが肺を見ているとき、及びナビゲーションパターンがジグザグ又は静止したナビゲーションパターンであると決定されたとき、システム100は、現在の表示のウィンドウレベル及び幅を自動的に変化させることができ、画像データ042における肺根粒を検出することができる。
一般に、表示という用語は、画像データ042の少なくとも一部を表すものとして参照される点に留意されたい。画像データ042は、3D画像データとすることができる。画像データ042の部分の表現は、2D画像又は3D画像の形とすることができる。後者は、3Dディスプレイ上の表示とすることができる。各表示は、例えばマルチプラナ再フォーマット(MPR)技術又は最大強度投影(MIP)といった画像データ視覚化の技術分野からの任意の適切な技術により確立されることができる。
ユーザインタフェースサブシステム120は、画像データの異なる表示において、例えば、アクシャル、サジタル及びコロナルビューポートにおいて、ユーザが同時にナビゲートすることを可能にすることができる。パターン分析サブシステム140は、各ビューポートに関するナビゲーションパターンを別々に決定し、その後それらを結合されたナビゲーションパターンへと結合するよう構成されることができる。代替的に、パターン分析サブシステム140は、結合されたナビゲーションパターンを直接決定することができる。結合されたナビゲーションパターンは、機能実行サブシステム160による実行のため複数のシステム機能の1つを選択するのに使用されることができる。
ディスプレイ出力プロセッサ110は、異なる表示400を生成することができる。代替的に、ディスプレイ出力プロセッサ110は、別のサブシステム又はシステムから異なる表示400をリクエストすることができる。更に、ユーザインタフェースサブシステム120は、ユーザインタフェース入力部115及びディスプレイ出力プロセッサ110に含まれる代わりに、他の任意の適切な形を取ることができる。例えば、ユーザインタフェースサブシステム120は、異なる表示400を表示するため、外部ディスプレイ出力プロセッサに指示するよう構成されることができる。
本発明は、本発明を実行するよう構成されるコンピュータプログラムに、特に担体上又は内のコンピュータプログラムに延在することを理解されたい。このプログラムは、ソースコード、オブジェクトコード、部分的にコンパイルされた中間ソースコード及び中間オブジェクトコードの形式、又は本発明による方法を実現するための使用に適した任意の他の形式とすることができる。斯かるプログラムが、多くの異なる設計上のデザインを持つことができる点も理解されたい。例えば、本発明による方法又はシステムの機能を実現するプログラムコードは、1つ又は複数のサブルーチンに分割されることができる。これらのサブルーチンにおける機能を分散させる多くの異なる態様が当業者には明らかであろう。このサブルーチンは、自己完結的なプログラムを形成するため、1つの実行可能ファイルに一緒に格納されることができる。斯かる実行可能ファイルは、コンピュータ実行可能な命令、例えばプロセッサ命令及び/又はインタプリタ命令(例えばJavaインタプリタ命令)を有することができる。代替的に、1つ又は複数又は全てのサブルーチンが、少なくとも1つの外部ライブラリファイルに格納されることができ、及び例えば実行時にメインプログラムに静的に又は動的にリンクされることができる。メインプログラムは、少なくとも1つのサブルーチンへの少なくとも1つの呼び出しを含む。サブルーチンは、互いに対する関数呼び出しを有することもできる。コンピュータプログラムに関する実施形態は、記載される方法の少なくとも1つにおける処理ステップの各々に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに再分割されることができ、及び/又は静的に若しくは動的にリンクされることができる1つ又は複数のファイルに格納されることができる。コンピュータプログラムに関する別の実施形態は、本書に記載されるシステム及び/又は製品のうちの少なくとも1つにおける各手段に対応するコンピュータ実行可能な命令を有する。これらの命令は、サブルーチンに再分割されることができ、及び/又は静的に若しくは動的にリンクされることができる1つ又は複数のファイルに格納されることができる。
コンピュータプログラムの担体は、プログラムを実行することができる任意のエンティティ又はデバイスとすることができる。例えば、担体は、CD−ROM若しくは半導体ROMといったROMのようなストレージ媒体、又は例えばハードディスクといった磁気記録媒体を含むことができる。更に、担体は、例えば電気又は光学信号といった通信可能担体とすることができる。これは、電気若しくは光学ケーブルを介して、又は無線又は他の手段により搬送されることができる。プログラムが斯かる信号において実現されるとき、担体は、斯かるケーブル又は他のデバイス又は手段により構成されることができる。代替的に、担体は、プログラムが埋め込まれる集積回路とすることができる。この集積回路は、関連する方法を実行するよう構成されるか、又は関連する方法の実行に使用されるよう構成される。
上述された実施形態は本発明を限定するものではなく、説明するものであり、当業者であれば、添付された請求項の範囲から逸脱することなく、多くの代替的な実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。動詞「有する」及びその共役の使用は、請求項において述べられる要素又はステップ以外の要素又はステップの存在を排除するものではない。ある要素に先行する「a」又は「an」という語は、斯かる要素が複数存在することを除外するものではない。本発明は、複数の個別の要素を有するハードウェアを用いて、及び適切にプログラムされたコンピュータを用いて実現されることができる。複数の手段を列挙するデバイスクレームにおいて、これらの手段の複数が1つの同じハードウェアアイテムにより実現されることができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。

Claims (15)

  1. 画像データの研究を可能にするシステムであって、
    ユーザ入力デバイスに接続されたユーザインタフェース入力部と表示出力プロセッサとを有するユーザインタフェースサブシステムであって、i)ユーザからのナビゲーション命令を受信し、ii)前記ユーザが前記画像データを通してナビゲートすることを可能にするため、前記ナビゲーション命令に基づき、前記画像データの異なるビューを表示するユーザインタフェースサブシステムと、
    機能実行サブシステム及びパターン分析サブシステムを有するプロセッサと、を有し、
    前記機能実行サブシステムが、前記画像データの研究において前記ユーザをサポートするため、複数のシステム機能のそれぞれを実行し、
    前記パターン分析サブシステムが、前記画像データを通したナビゲーションの間前記異なるビュー表示順序を表すデータを前記ユーザインタフェースサブシステムから得て、静止したナビゲーションパターン、連続的なナビゲーションパターン及びジグザクのナビゲーションパターンのグループのいずれかであるユーザのナビゲーションパターンを決定するため、前記データを分析し、及び前記ナビゲーションパターンに基づき、前記機能実行サブシステムによる実行に関して前記複数のシステム機能の1つを選択する、システム。
  2. 前記パターン分析サブシステムは、前記複数のシステム機能の1つを選択した後、i)前記機能実行サブシステムに前記システム機能を実行するよう指示する、又はii)前記ユーザが、前記システム機能の実行をリクエストすることを可能にするため、前記ユーザに対して前記システム機能を視覚的に示すよう、前記ユーザインタフェースサブシステムに指示するよう構成される、請求項1に記載のシステム。
  3. 前記パターン分析サブシステムが、前記ナビゲーションパターンに基づき、前記複数のシステム機能の1つを選択するため、マッピングデータを使用するよう構成され、前記マッピングデータは、前記ナビゲーションパターンと前記複数のシステム機能の1つとの間の関連付けを示す、請求項1に記載のシステム。
  4. 前記ユーザインタフェースサブシステムが、前記複数のシステム機能のそれぞれの実行を前記ユーザがリクエストすることを可能にするよう構成され、前記マッピングデータは、前記ユーザのリクエストの履歴及び関連付けられるナビゲーションパターンを含む、請求項3に記載のシステム。
  5. 前記パターン分析サブシステムが、前記ユーザの推定されたリクエストに基づき、前記複数のシステム機能の1つを前記ユーザが選択することを可能にするため、前記ユーザのリクエストの履歴及び関連付けられるナビゲーションパターンに対して機械学習を適用するよう構成される、請求項4に記載のシステム。
  6. 前記データに基づき、前記異なるビューの各々に関してディスプレイパラメータを決定することであって、前記ディスプレイパラメータの各々が、前記ナビゲーションの間前記異なるビューそれぞれ表示を特徴付ける、ディスプレイパラメータを決定すること、及び
    前記ナビゲーションパターンを決定するため、前記ディスプレイパラメータを分析することにより、前記パターン分析サブシステムが、前記ナビゲーションパターンを決定するよう構成される、請求項1に記載のシステム。
  7. 前記ディスプレイパラメータが、表示期間、表示頻度表示のときのナビゲーション速度及び表示のときのナビゲーション方向のグループのいずれかである、請求項6に記載のシステム。
  8. 前記連続的なナビゲーションパターンが、速度閾値より下のナビゲーション速度を持つか、速度閾値以上のナビゲーション速度を持つ、請求項1に記載のシステム。
  9. 前記パターン分析サブシステムが、i)前記画像データの研究のコンテキスト情報を得る、及びii)前記コンテキスト情報に基づき、前記複数のシステム機能の1つを選択するよう構成される、請求項1に記載のシステム。
  10. 前記パターン分析サブシステムが、前記画像データのメタデータ、前記研究の現在のフェーズを示すワークフロー情報及び前記研究に関する理由を示す研究情報のグループの少なくとも1つから前記コンテキスト情報を得るよう構成される、請求項9に記載のシステム。
  11. 前記画像データの研究の前記コンテキスト情報を確立するため、前記画像データのコンテンツを分析する画像分析サブシステムを更に有する、請求項9に記載のシステム。
  12. 前記画像データが、医学画像データであり、前記画像分析サブシステムは、前記医学画像データにおける生体構造及び/又は病変をセグメント化することに基づき、前記医学画像データの前記コンテンツを分析するよう構成される、請求項11に記載のシステム。
  13. 画像データの研究を可能にするワークステーション又は撮像システムであって、
    ユーザからのナビゲーション命令を受信するためのユーザ入力デバイスに接続されたユーザインタフェース入力部と、
    前記ユーザが前記画像データを通してナビゲートすることを可能にするため、前記ナビゲーション命令に基づき、前記画像データの異なるビューを表示するための表示出力プロセッサと、
    機能実行サブシステム及びパターン分析サブシステムを有するプロセッサと、を有し、
    前記機能実行サブシステムが、前記画像データの研究において前記ユーザをサポートするため、複数のシステム機能のそれぞれを実行し、
    前記パターン分析サブシステムが、前記画像データを通したナビゲーションの間、前記異なるビュー表示順序を表すデータを得て、
    静止したナビゲーションパターン、連続的なナビゲーションパターン及びジグザクのナビゲーションパターンのグループのいずれかであるユーザのナビゲーションパターンを決定するため、前記データを分析し、
    前記ナビゲーションパターンに基づき、前記機能実行サブシステムによる実行に関して前記複数のシステム機能の1つを選択する、ワークステーション又は撮像システム。
  14. 画像データの研究を可能にするためにコンピュータを制御する方法において、
    ユーザ入力デバイスに接続されたユーザインタフェース入力部から、ユーザからのナビゲーション命令を受信するステップと、
    表示出力プロセッサにより、前記ユーザが前記画像データを通してナビゲートすることを可能にするため、前記ナビゲーション命令に基づき前記画像データの異なるビューを表示するステップと、
    プロセッサにより、前記画像データの研究において前記ユーザをサポートするため、複数のシステム機能の個別の1つを実行するステップと、
    プロセッサにより、前記画像データを通してナビゲートする間前記異なるビュー表示順序を示すデータを得るステップと、
    プロセッサにより、静止したナビゲーションパターン、連続的なナビゲーションパターン及びジグザクのナビゲーションパターンのグループのいずれかである前記ユーザのナビゲーションパターンを決定するため、前記データを分析するステップと、
    前記ナビゲーションパターンに基づき、プロセッサにより、前記実行のため前記複数のシステム機能の1つを選択するステップとを有する、方法。
  15. プロセッサシステムに請求項14に記載の方法を実行させる命令を有するコンピュータプログラム。
JP2016507101A 2013-04-11 2014-04-11 ユーザが画像データを研究するのを可能にすること Active JP6434959B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361810752P 2013-04-11 2013-04-11
US61/810,752 2013-04-11
PCT/IB2014/060646 WO2014167536A2 (en) 2013-04-11 2014-04-11 Enabling a user to study image data

Publications (3)

Publication Number Publication Date
JP2016521410A JP2016521410A (ja) 2016-07-21
JP2016521410A5 JP2016521410A5 (ja) 2018-08-02
JP6434959B2 true JP6434959B2 (ja) 2018-12-05

Family

ID=50771529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507101A Active JP6434959B2 (ja) 2013-04-11 2014-04-11 ユーザが画像データを研究するのを可能にすること

Country Status (6)

Country Link
US (1) US10088992B2 (ja)
EP (1) EP2984594A2 (ja)
JP (1) JP6434959B2 (ja)
CN (1) CN106062753B (ja)
CA (1) CA2909036A1 (ja)
WO (1) WO2014167536A2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
JP6385210B2 (ja) * 2014-09-05 2018-09-05 キヤノン株式会社 画像診断支援装置および制御方法、プログラム
US11301991B2 (en) 2015-06-12 2022-04-12 International Business Machines Corporation Methods and systems for performing image analytics using graphical reporting associated with clinical images
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US11042784B2 (en) * 2017-09-15 2021-06-22 M37 Inc. Machine learning system and method for determining or inferring user action and intent based on screen image analysis
US10832808B2 (en) * 2017-12-13 2020-11-10 International Business Machines Corporation Automated selection, arrangement, and processing of key images
EP3762933A1 (en) * 2018-03-06 2021-01-13 Ventana Medical Systems, Inc. Digital pathology scanning interface and workflow
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8442280B2 (en) * 2004-01-21 2013-05-14 Edda Technology, Inc. Method and system for intelligent qualitative and quantitative analysis of digital radiography softcopy reading
JP3954596B2 (ja) * 2004-06-03 2007-08-08 ザイオソフト株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8870779B2 (en) * 2005-04-26 2014-10-28 Biosense Webster, Inc. Display of two-dimensional ultrasound fan
US20060241445A1 (en) * 2005-04-26 2006-10-26 Altmann Andres C Three-dimensional cardial imaging using ultrasound contour reconstruction
US20060253024A1 (en) * 2005-04-26 2006-11-09 Altmann Andres C Software product for three-dimensional cardiac imaging using ultrasound contour reconstruction
US10143398B2 (en) * 2005-04-26 2018-12-04 Biosense Webster, Inc. Registration of ultrasound data with pre-acquired image
US7604601B2 (en) * 2005-04-26 2009-10-20 Biosense Webster, Inc. Display of catheter tip with beam direction for ultrasound system
US8165908B2 (en) * 2005-07-29 2012-04-24 Siemens Aktiengesellschaft Tool tip with additional information and task-sensitive direct access help for a user
US9014438B2 (en) * 2005-08-17 2015-04-21 Koninklijke Philips N.V. Method and apparatus featuring simple click style interactions according to a clinical task workflow
WO2007050962A2 (en) 2005-10-26 2007-05-03 Bruce Reiner Method for capturing user actions within electronic template
US20070127793A1 (en) * 2005-11-23 2007-06-07 Beckett Bob L Real-time interactive data analysis management tool
ES2748925T3 (es) * 2006-12-12 2020-03-18 Dune Medical Devices Ltd Interfaces de usuario gráficas (IUG), procedimientos y aparato para la presentación de datos
US20090037840A1 (en) * 2007-08-03 2009-02-05 Siemens Medical Solutions Usa, Inc. Location Determination For Z-Direction Increments While Viewing Medical Images
US20090178004A1 (en) * 2008-01-03 2009-07-09 General Electric Company Methods and systems for workflow management in clinical information systems
JP5096194B2 (ja) * 2008-03-17 2012-12-12 株式会社リコー データ処理装置、プログラムおよびデータ処理方法
US8370293B2 (en) * 2008-08-21 2013-02-05 Terarecon Inc. Workflow template management for medical image data processing
US9111223B2 (en) * 2009-01-22 2015-08-18 Koninklijke Philips N.V. Predicting user interactions during image processing
CN102361594B (zh) 2009-03-26 2014-10-29 皇家飞利浦电子股份有限公司 由临床指南导航器支持的基于pet/ct的治疗监测系统
US9020235B2 (en) * 2010-05-21 2015-04-28 Siemens Medical Solutions Usa, Inc. Systems and methods for viewing and analyzing anatomical structures
EP2630634A1 (en) * 2010-10-19 2013-08-28 Koninklijke Philips Electronics N.V. Medical image system
US9262444B2 (en) 2010-11-24 2016-02-16 General Electric Company Systems and methods for applying series level operations and comparing images using a thumbnail navigator

Also Published As

Publication number Publication date
US10088992B2 (en) 2018-10-02
EP2984594A2 (en) 2016-02-17
CN106062753B (zh) 2019-07-26
WO2014167536A2 (en) 2014-10-16
CA2909036A1 (en) 2014-10-16
CN106062753A (zh) 2016-10-26
WO2014167536A3 (en) 2015-01-29
JP2016521410A (ja) 2016-07-21
US20160041733A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
JP6434959B2 (ja) ユーザが画像データを研究するのを可能にすること
RU2595628C2 (ru) Система медицинской визуализации
EP2904589B1 (en) Medical image navigation
US20090063118A1 (en) Systems and methods for interactive navigation and visualization of medical images
JP5838215B2 (ja) 画像及び注釈表示
CA2892069C (en) Generating a key-image from a medical image
JP6292726B2 (ja) 診断プロセスにおいてユーザを支援する支援装置
US20150035753A1 (en) System and method for processing a pointer movement
CN108604462B (zh) 用于优化临床工作流程的预测模型
JP2019536505A (ja) コンテキスト依存拡大鏡
US20130332868A1 (en) Facilitating user-interactive navigation of medical image data
EP3028261B1 (en) Three-dimensional image data analysis and navigation

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180619

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180619

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181109

R150 Certificate of patent or registration of utility model

Ref document number: 6434959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250