JP6433983B2 - 可視化コンピューティングシステム及び可視化方法 - Google Patents

可視化コンピューティングシステム及び可視化方法 Download PDF

Info

Publication number
JP6433983B2
JP6433983B2 JP2016509585A JP2016509585A JP6433983B2 JP 6433983 B2 JP6433983 B2 JP 6433983B2 JP 2016509585 A JP2016509585 A JP 2016509585A JP 2016509585 A JP2016509585 A JP 2016509585A JP 6433983 B2 JP6433983 B2 JP 6433983B2
Authority
JP
Japan
Prior art keywords
visualization
computing system
advanced
vendor
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016509585A
Other languages
English (en)
Other versions
JP2016522705A (ja
Inventor
ゴットマン，シュロモ
リューベンス，エラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2016522705A publication Critical patent/JP2016522705A/ja
Application granted granted Critical
Publication of JP6433983B2 publication Critical patent/JP6433983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/106—Display of layout of documents; Previewing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/186—Templates
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Debugging And Monitoring (AREA)

Description

以下は、概して、コンピュータ断層撮影(CT)画像、X線画像、磁気共鳴(MR)画像、ポジトロン放出断層撮影(PET)画像、単光子放出コンピュータ断層撮影(SPECT)画像及び/又はその他の画像のような画像を可視化することに関連する。
CT、X線、MR、PET、SPECT及び/又はその他の画像診断システムのようなシステムによる電子フォーマットで生成される画像は、コンピュータのようなコンピューティングシステムで動作する可視化ソフトウェアにより眺められる。例えば、そのような画像は、画像保管通信システム(Picture Archiving and Communication System：PACS)等により表示される。そのようなシステムは、基本的な共通する表示能力とともに様々なベンダにより提供され、システム間で類似する表示を可能にする。特定のベンダが、自身のソフトウェアをともなう高度な可視化ツール及び/又は画像におけるカスタマイズされた情報を有する場合、そのようなツール及び/又は情報は、他のベンダのアプリケーションソフトウェアによっては利用可能でない及び/又はアクセス可能でないかもしれない。
高度な可視化ツール及び/又はカスタマイズされた情報についての利用可能でないこと及び/又はアクセス困難性を緩和するアプローチは、そのベンダのために、他のベンダのシステムで動作するように他のベンダに対する増設アプリケーション(add-on application)等を提供することである。しかしながら、これは、何らの情報も共有することなく、同じソフトウェア環境で2つの異なるベンダによる2つの異なるアプリケーションを走らせることを要する。従って、ユーザは、画像診断データを、各々のアプリケーション/システムについて1つずつ合計2回選択してロードし、おそらくは画像診断データを表示及び/又は操作するためにアプリーション間を行きつ戻りつしなければならず、このことは画像の可視化及び/又は操作を面倒にし、臨床担当者の時間を費やしてしまう。
CCOW(Clinical Context Object Workgroup)のコンテキスト共有規格は上記の問題に対する限定的な解決手段を提供する。健康情報に関し、CCOW規格は、HL7規格プロトコルであり、ベンダ独自の異なるアプリケーションが、リアルタイムにユーザインタフェースのレベルで同期し、デスクトップ及び/又はポータルのレベルで統一形式で情報を提示することを可能にする。この規格は、双方のベンダのアプリケーションが同じ規格を支持することを要求する。不都合なことに、CCOW規格は、多くのベンダによっては実装されていない。更に、この状況は、特にベンダ間の競合する事業目標に起因して、将来的に変わりそうにない。
本願で説明される実施形態は上記及びその他の問題に対処する。
以下は、異なるベンダパッケージによる異なるソフトウェアアプリケーションを統合することなく、ソフトウェアの統合にも規格の遵守にもよらず、ベンダの視覚化アプリケーション間で画像表示コンテキストを共有することを促すシステム及び/又は方法を説明している。しかしながら、異なるベンダによる異なるソフトウエアアプリケーションの全部又は一部の統合も本願で想定されている。
一形態において、可視化コンピューティングシステムはコンピュータ読み取り可能な命令を実行するプロセッサを含み、前記命令は、ベンダコンピューティングシステムで動作するベーシック可視化アプリケーションにより表示されるイメージングスタディの視覚的コンテキストを捕捉し、捕捉した視覚的コンテキストに基づいて前記のスタディを識別し、前記可視化コンピューティングシステムに前記のスタディをロードし、及び、アドバンスト可視化アプリケーションを起動し、前記アドバンスト可視化アプリケーションは、前記ベーシック可視化アプリケーションによっては利用可能でないアドバンスト可視化ツールを利用して、ロードされたスタディの表示及び操作を可能にする。
別の形態における方法は、第1のコンピューティングシステムで動作するベーシック可視化アプリケーションに関連してロードされるスタディのスクリーンレイアウトを捕捉するステップと、捕捉されたスクリーンレイアウトに基づいて、ロードされるスタディの身元を識別するステップと、識別されたスタディを、第2の異なるコンピューティングシステムのアドバンスト可視化アプリケーションに関連してロードするステップであって、前記アドバンスト可視化アプリケーションは前記ベーシック可視化アプリケーションに追加的な可視化ツールを含む、ステップとを有する。
別の形態におけるコンピュータ読み取り可能な記憶媒体は、1つ以上のコンピュータ実行可能な命令とともにエンコードされ、前記命令は、コンピュータシステムのプロセッサにより実行される場合に：第1のコンピューティングシステムで動作するベーシック可視化アプリケーションにロードされるスタディの身元を、ロードされるスタディのスクリーン捕捉と前記ベーシック可視化アプリケーションのレイアウトテンプレートとに基づいて確認するステップと、識別されたスタディを、第2の異なるコンピューティングシステムのアドバンスト可視化アプリケーションに関連してロードするステップであって、前記アドバンスト可視化アプリケーションは前記ベーシック可視化アプリケーションに追加的な可視化ツールを含む、ステップとを前記プロセッサに実行させる。
本発明は、様々なコンポーネント、コンポーネントの集まり、様々なステップ、及び、ステップの集まりによる形態を採用してもよい。図面は、好ましい実施形態を説明する目的でしか示されておらず、本発明を限定するように解釈されるべきでない。
アドバンスト可視化アプリケーション及びコンテキスト識別部を含む例示的な可視化コンピューティングシステムを概略的に示す。 コンテキスト識別部の具体例を示す。 ベンダコンピューティングシステムで動作するベーシック可視化アプリケーションのGUIで表示されるデータの具体例を示す。 外部画像診断デバイスと接続される可視化コンピューティングシステムの具体例を示す。 例示的な画面レイアウトテンプレート生成部を示す。 アドバンスト可視化ツールを有する可視化コンピューティングシステムとともにベンダコンピューティングシステムの可視化コンテキストを識別及び利用するための方法例を示す。 画面レイアウトテンプレートを生成するための方法例を示す。 第1文字情報とオブジェクトの画像とを有する第1スクリーンショットに関する文字情報を示す。 第1文字情報とは異なる第2文字情報とオブジェクトの画像とを有する第2スクリーンショットに関する文字情報を示す。 図8及び図9の画面レイアウトを減算することにより生成される差分画像を示す。
先ず図1を参照すると、可視化コンピューティングシステム102が、ベンダコンピューティングシステム104、イメージングシステム106、108、110及び112、並びに、データリポジトリ114と接続されるように概略的に示されている。この例では、ベンダコンピューティングシステム104はベーシック可視化ツールを含むが、可視化コンピューティングシステム102はベーシック可視化ツールとベンダカスタムツールのようなアドバンスト可視化ツールとを含む。
可視化コンピューティングシステム102は、マイクロプロセッサ、中央処理ユニット、コントローラ等のようなプロセッサ116を含む。可視化コンピューティングシステム102は入力/出力(I/O)118を更に含み、I/O118は、表示モニタや上映機などのような出力デバイスとの通信、マウスやキーボードなどのような入力デバイスとの通信、ネットワーク124等との通信を促す。
可視化コンピューティングシステム102は、物理メモリ又は他の非一時的なメモリを含むコンピュータ読み取り可能な記憶媒体126を更に含む。プロセッサ116は、コンピュータ読み取り可能な記憶媒体126内にエンコードされる又は組み込まれるコンピュータ読み取り可能な命令128を実行する。プロセッサ116は、信号、搬送波及びその他の一時的な媒体(コンピュータ読み取り可能な記憶媒体以外の媒体)により搬送されるコンピュータ読み取り可能な命令を実行することも可能である。
図示の具体例では、命令128はベーシック可視化アプリケーション130を含み、ベーシック可視化アプリケーション130は、例えば、多くのベンダコンピューティングシステムに共通するような基本的な可視化機能のための命令を含む。図示されるベンダコンピューティングシステム104は、ベーシック可視化アプリケーション130に加えて、プロセッサ、コンピュータ読み取り可能な記憶媒体、I/O(入力及び出力)デバイスを含むが、これらは簡明化及び便宜的な観点から図示されていない。
命令128はアドバンスト可視化アプリケーション132を更に含み、アドバンスト可視化アプリケーション132は、例えば、ベンダコンピューティングシステム104にとって一般的でない及び/又はベーシック可視化アプリケーション130の一部分ではない画像表示及び/又は操作の機能のための追加的な命令を含む。命令128は更にコンテキスト識別部134を更に含む。以下において詳細に説明されるように、コンテキスト識別部134は、ベンダコンピューティングシステム104の可視化コンテキスト(又は画面レイアウト)を識別し、可視化コンピューティングシステム102とともにそのコンテキストを利用して、アドバンスト可視化アプリケーション132に関連した同じスタディ(study)を提示する。
一例において、これは、ベンダコンピューティングシステム104によっては利用可能でないアドバンスト可視化ツールを使用することをユーザが希望する場合に、ベンダのコンピューティングシステム104から可視化コンピューティングシステム102への円滑な移行をユーザに許容する。円滑な(又はシームレスに)とは、ベンダコンピューティングシステム104により提示されるのと同じスタディ及び同じ画像が、可視化コンピューティングシステム102により、自動的に、確認され、ロードされそして提示されることを意味する。一例において、これは、異なるベンダの可視化アプリケーションを統合する必要性及び/又は複数の異なるベンダにより使用される標準的なスクリーンレイアウトに従う必要性を緩和する。
図示される可視化コンピューティングシステム102及び/又はベンダコンピューティングシステム104は、イメージングシステム106、108、110及び112、データリポジトリ114、及び/又は、その他のデバイス及び/又はストレージのうちの1つ以上から画像診断データ(又はイメージングデータ)を取得する。イメージングシステムは、CTイメージングシステム106、MRイメージングシステム108、SPECTイメージングシステム110、及び、PETイメージングシステム112を含む。他のイメージングシステムも本願では想定されている。データリポジトリ114は、放射線医学情報システム(RIS)、病院情報システム(HIS)、電子カルテ(EMR)、サーバー、データベース等のうちの1つ以上を含んでもよい。
例えば、アドバンスト可視化アプリケーション132を使用することを要するとユーザが判断した場合に、そのようにするためにユーザが可視化コンピューティングシステム102をアクティブ化(又は活性化)したことに応答して、可視化コンピューティングシステム102は、ベンダコンピューティングシステム104の可視化のコンテキストを確認するようにアクティブ化されることが可能である。別の例において、可視化コンピューティングシステム102は、ベーシック可視化アプリケーションが使用される場合にコンテキストを確認し、コンテキスト情報を保存し、及び/又は、可視化コンピューティングシステム102にスタディを事前にロードする。
ベンダコンピューティングシステム104及び/又は可視化コンピューティングシステム102は、PACS及び/又はその他のコンピューティングシステムとすることが可能である。
図2を参照すると、コンテキスト識別部134の具体例が示されている。
スクリーン捕捉コンポーネント202は、ベンダコンピューティングシステム104により、表示モニタ等で表示される現在のコンテキスト又は内容(コンテンツ)を取得する。そのようなコンテンツの具体例は、表示領域304とともにモニタ302を示す図3に示されており、表示領域304の中で、基本アプリケーション105に対応するベーシック可視化グラフィックユーザインタフェース(GUI)306が表示される。図3では、スタディが既にロードされており、GUI306で視覚的に提示される。ロードされるデータは、スキャンされる対象(オブジェクト)についての2次元軸スライスの画像と、患者、スキャン、軸スライス等に対応する様々な情報とを含む。この例では、スクリーン捕捉コンポーネント202は、GUI306を視覚的に捕捉している。
一例において、スクリーン捕捉コンポーネント202は、ベンダコンピューティングシステム104に運ばれて実行されるソフトウェアモジュールを含む。実行するソフトウェアモジュールは、電子データフォーマットでスクリーンを捕捉し、その電子データを可視化コンピューティングシステム102に運ぶ。別の例において、ソフトウェアモジュールは、それ以外に、例えばサーバを介するネットワーク124により、携帯可能なメモリ(例えば、CD/DVD等)等から、ベンダコンピューティングシステム104に運ばれて実行される。更に別の例では、スクリーン捕捉コンポーネント202は、カメラやビデオレコーダ等のように、光センサのような外部イメージングデバイスと関連して使用される。これは図4に示されており、図4では外部イメージングデバイス402が含まれている。この場合、GUI306についてのピクチャ又はビデオが可視化コンピューティングシステム102に送られる。
図2に関し、領域識別部204は、テンプレートバンク208の中の所定のスクリーンレイアウトのテンプレートを利用して、捕捉されたスクリーンショット内の1つ以上の領域を特定する。特定のテンプレート206は、捕捉されたスクリーンショット内の情報のレイアウトに対応し、例えば、ベンダコンピューティングシステム104のベンダの名前及び/又は固有の識別子、ベンダコンピューティングシステム104のベーシック可視化ソフトウェアの名前、ユーザが選択したテンプレート、画像が表示される表示施設の識別子、及び/又は、その他の情報に基づいて、複数の様々なテンプレート206の中から特定されることが可能である。図3におけるこの例では、テンプレート206は、例えばスクリーン座標又はそれ以外のものにより、領域310、312、314及び316を特定する。テンプレート206は、1つ以上の領域の各々において如何なる情報が表示されるかについても特定する。
図2に関し、情報抽出部210は、捕捉されたスクリーンショットの特定された1つ以上の領域から情報を取り出す。例えば図3の具体例では、テンプレート206は、スタディの固有の識別子に対応する文字列及び/又は値を表示するような領域310(「スタディID」)と、連続番号に対応する文字列及び/又は値を表示するような領域312(「シリーズ＃」)と、画像スライス番号に対応する文字列及び/又は値を表示するような領域314(「画像＃」)と、スライス位置に対応する文字列及び/又は値を表示するような領域316(「スライス位置」)とを特定する。情報抽出部210は、「スタディID」、「シリーズ＃」、「画像＃」及び「スライス位置」を取り出すように、これらの情報を抽出する。
キャラクタ認識部212は、抽出された情報の意味を判定するために、抽出された情報を解釈する。例えば、図3において、キャラクタ認識部212は、「シリーズ＃」312に対応する抽出された情報を「＃2」として解釈し、「画像＃」を「＃107」として解釈し、等々を行う。スタディ抽出部214は、例えば、スタディの固有の識別子に対応する抽出され解釈された情報に基づいて、スタディを抽出する。スタディは、CTイメージングシステム106、MRイメージングシステム108、SPECTイメージングシステム110、PETイメージングシステム112及び/又はその他のイメージングシステム、データリポジトリ114、及び/又は、その他の装置から取り出されることが可能である。
アドバンスト可視化アプリケーションランチャー216は、アドバンスト可視化アプリケーション132を起動する。起動される特定のアプリケーションは、抽出され解釈された情報に基づいて、特定(又は識別)されることが可能である。例えば、抽出され解釈された情報が、例えば、心臓スキャンのような特定のスキャンプロトコルを示す情報を含む場合、アドバンスト可視化アプリケーションランチャー216は、アドバンスト可視化アプリケーション132(図1)から、アドバンスト心臓アプリケーションを選択することができる。別の例において、ユーザは、利用可能なアドバンストアプリケーションのメニューの中から、例えばGUIにより、関心のあるアドバンスト可視化アプリケーション132を選択してもよい。メニューは、ベンダコンピューティングシステム104又は可視化コンピューティングシステム102のうちの何れか又は双方に提示されてもよい。更に別の例では、デフォルトのアドバンストアプリケーションが選択される。デフォルトのアプリケーションは、デフォルトのファイルにより特定されることが可能である。
図5は、少なくとも1つのテンプレート206を生成する例示的なテンプレート生成部502を示す。
テンプレート生成部502は、(例えば、異なる「スタディID」、「シリーズ＃」、「画像＃」、「スライス位置」及び/又はその他の表示情報)のような異なってはいるが既知の文字情報を伴う、同じオブジェクト(例えば、キャリブレーション又は較正用の人体模型(calibration phantom))の画像についての少なくとも2つのスクリーンショットを取得する(例えば、取り出す、受信する等)。スクリーンショットは、スクリーン捕捉コンポーネント202及び/又は他の手段により取得されることが可能である。これは、2つのスタディをロードすること、スクリーンレイアウトを捕捉すること、及び/又は、スクリーンレイアウトを受信することを含んでもよい。
画像差分生成部504は、少なくとも2つのスクリーンショットの差をとり、差分画像を生成する。少なくとも2つのスクリーンショット内でオブジェクトは同じであるので、その中のオブジェクトはキャンセルされる。しかしながら、文字情報中の情報は相違しているので、差分画像は、差分情報を伴う領域を含むことになる。これは図8、図9及び図10に示される。図8は第1のスクリーンショットに関する文字情報を示し、図9は第2のスクリーンショットに関する別の文字情報を示し、図10は図8及び図9の文字情報間の差分を示す。
領域特定部506はこれらの領域に対する座標を記録する。例えば、検査識別子に対応する第1領域1002、シリーズ識別子に対応する第2領域1004、及び、画像識別子に対応する第3領域1006とうい3つの領域が特定される。この例では、3つの領域が互いに隣接している。他の例では、例えば、310、312、314及び316に関連して図3に示されるような画像の様々な領域において、領域が特定されてもよい。他の例では、より多い又はより少ない領域が特定される。
文字列照合部508は、座標情報を利用して、オリジナルの少なくとも2つの画像における文字情報の所定の意味を照合し、文字情報を特定する。例えば、図10に関し、文字列照合部508は、1002に対応する位置と検査識別子に対応する文字列とを照合し、1004に対応する位置とシリーズ識別子に対応する文字列とを照合し、1006に対応する位置と画像識別子に対応する文字列とを照合する。
マッパー510は、特定された文字列を、対応する位置にマッピングし、関心のある文字情報を含む、スクリーンレイアウト内の関心のある領域を特定するスクリーンレイアウトのテンプレートを生成する。複数の異なるベンダ各々のスクリーンレイアウトについてスクリーンレイアウトのテンプレートが生成されるように、複数の様々なベンダについて上記の処理が反復されることが可能である。別の例において、ベンダは各自のスクリーンレイアウトに関するスクリーンレイアウトのテンプレートを提供する。テンプレートは、可視化コンピューティングシステム102の内部又は例えばサーバのような外部に保存されることが可能である。
図6及び図7は本説明による方法を示す。
本方法の処理の順序は限定ではないことが、認められるべきである。従って、他の順序も本願では想定されている。更に、1つ以上の処理は省略されてもよいし、及び/又は、1つ以上の追加的な処理が含められてもよい。
図6は可視化コンピューティングシステム102を使用する方法例を示す。
602において、ベンダコンピューティングシステムで動作しているベーシック可視化アプリケーションに、スタディがロードされる。
604において、ベンダコンピューティングシステムにより表示される画像が取得される。
606において、テンプレートから特定される関心領域内の文字情報が、取得された画像から抽出される。
608において、抽出された文字情報は、ベーシック可視化アプリケーションにロードされたスタディを特定するために解釈される。
610において、特定されたスタディが取り出される。
612において、ベンダコンピューティングシステムとは異なる可視化コンピューティングシステムにおいて、アドバンスト可視化アプリケーションが起動される。
614において、特定されたスタディが、アドバンスト可視化アプリケーションにロードされる。
616において、可視化コンピューティングシステムのオペレータが、アドバンスト可視化アプリケーションにより、ロードされたスタディを眺める及び/又は操作する。
図7はテンプレートを生成する方法例を示す。
702において、異なってはいるが既知の文字情報を有する、同一オブジェクトの少なくとも2つのスクリーンショットが、ベンダコンピューティングシステムで動作しているベーシック可視化アプリケーションに関して取得される。これは、それらのスタディを一緒にロードし、スクリーンキャプチャを実行することによって、或いは、既にキャプチャされたスクリーンレイアウトを受信することにより達成されることが可能である。
704において、少なくとも2つのスクリーンショットの差がとられ、差分画像を生成する。
706において、異なる既知の文字情報を有する異なる画像の領域が特定される。一般に、同一情報を有する少なくとも2つの画像中の領域は相殺され、文字情報を伴う差分画像の領域のみが、差分文字情報を含む領域となる。
708において、特定された領域内の文字情報が抽出される。
710において、抽出された文字情報が、既知の意味と結び付けられる(照合される)。
712において、抽出された文字情報の意味と対応する場所がマッピングされ(対応付けられ又は関連付けられ)、ベンダコンピューティングシステムで動作するベーシック可視化アプリケーションのスクリーンレイアウトに関するスクリーンレイアウトのテンプレートを生成する。
714において、マッピングが保存される。
716において、ベンダコンピューティングシステムで動作するベーシック可視化アプリケーションで提示されるのと同じ視覚的コンテキストにおいて、可視化コンピューティングシステム102で動作するアドバンスト可視化アプリケーションにより、ベンダコンピューティングシステムで動作するベーシック可視化アプリケーションにロードされたスタディを提示するために、マッピングが、可視化コンピューティングシステム102により使用される。
上記の方法は、コンピュータ読み取り可能な記憶媒体にエンコードされ又は組み込まれるコンピュータ読み取り可能な命令により実現されてもよく、その命令は、コンピュータプロセッサにより実行される場合に、説明された処理をプロセッサに実行させる。追加的又は代替的に、少なくとも1つのコンピュータ読み取り可能な命令は、信号、搬送波又はその他の一時的な媒体により搬送される。
変形例において、コンテキストの確認は、マイクロソフト(登録商標)、アップル(登録商標)等のオペレーティングシステムのアクセス可能なアプリケーションプログラミングインタフェース(API)を利用することにより実行される。アクセス可能なAPIは、非侵入的に他のアプリケーションのユーザインタフェースを利用することを外部アプリケーションに許容する。これらのAPIは、スクリーンリーダのようなアクセス可能なツールが、任意のアプリケーションとともに機能できるように意図されている。
更に、スクリーンコンテキスト認識(SCR)プロファイルが、アプリケーションのユーザインタフェース(UI)階層構造に基づいて作成され、様々なUI要素からの情報を抽出するために使用されることが可能である。プロファイルの生成は、既知のデータを有する画像が表示される場合と非常に類似する技術に従って行うことが可能である。従って、UIを「探索」し、既知のマーカーを探し、合致するUI要素を特定することが可能である。
SCRシステムは、ターゲット環境(PC)に配備される必要があり、非常に軽量化することが可能である。これは、コンテキストを継続的に捕捉及び抽出する常駐エージェントを包含する必要があるかもしれない。
コンテキスト情報を利用する専用アプリケーションの統合を更に容易化するために(これは、しばしば、PACSワークステーションでは複雑である)、SCRシステムはコンテキストの取得及び変更をサーバと通信することが可能である。このサーバは、コンテキストの変更に適切に反応することが可能なウェブベースのゼロフットプリントアプリケーション又はインテリスペース(IntelliSpace)ポータルクライアントのようなシンクライアントアプリケーションにより使用される。
本発明は好ましい実施形態に関連して説明されてきた。変形及び代替は、上記の詳細な説明を参照及び理解した者にとって明らかであろう。それらが添付の特許請求の範囲及びその均等物に属する限り、本発明はそのような変形及び代替の全てを包含するように意図される。

Claims (15)

  1. コンピュータ読み取り可能な命令を実行するプロセッサを有する可視化コンピューティングシステムであって、
    前記命令は、ベンダコンピューティングシステムで動作するベーシック可視化アプリケーションにより表示されるイメージングスタディの視覚的コンテキストを捕捉し、捕捉した視覚的コンテキストに基づいて前記イメージングスタディを識別し、前記可視化コンピューティングシステムに前記イメージングスタディをロードし、及び、アドバンスト可視化アプリケーションを起動し、
    前記ベンダコンピューティングシステムは、前記ベーシック可視化アプリケーションを実行するが、前記アドバンスト可視化アプリケーションを実行せず、前記可視化コンピューティングシステムは、前記ベーシック可視化アプリケーション及び前記アドバンスト可視化アプリケーションを実行することが可能であり、
    前記ベーシック可視化アプリケーションは不特定のベンダに共通に利用可能であり、前記アドバンスト可視化アプリケーションは、特定のベンダにしか利用可能でないアドバンスト可視化ツールを利用して、ロードされたイメージングスタディの表示及び操作を可能にする、可視化コンピューティングシステム。
  2. 前記イメージングスタディは、前記ベンダコンピューティングシステムの特定のベンダに対応するスクリーンレイアウトのテンプレートに基づいて識別される、請求項１に記載の可視化コンピューティングシステム。
  3. 前記テンプレートは、捕捉された視覚的コンテキストにおける前記イメージングスタディをスクリーン座標により識別する文字情報の場所を識別する、請求項２に記載の可視化コンピューティングシステム。
  4. 前記コンピュータ読み取り可能な命令を実行することは、更に、捕捉された視覚的コンテキストにおいて識別される場所から前記文字情報を抽出する、請求項３に記載の可視化コンピューティングシステム。
  5. 前記コンピュータ読み取り可能な命令を実行することは、抽出された文字情報を解釈するキャラクタ認識アルゴリズムを利用する、請求項４に記載の可視化コンピューティングシステム。
  6. 前記コンピュータ読み取り可能な命令を実行することは、捕捉された視覚的コンテキストに基づいてスキャンのタイプを示し、同じタイプのスキャンに対応する前記アドバンスト可視化アプリケーションを起動するスタディプロトコルを識別する、請求項１ないし５のうちの何れか１項に記載の可視化コンピューティングシステム。
  7. 前記コンピュータ読み取り可能な命令を実行することは、前記特定のベンダの少なくとも２つの較正画像からテンプレートを生成し、前記較正画像は異なる文字情報を含む、請求項１ないし６のうちの何れか１項に記載の可視化コンピューティングシステム。
  8. 前記コンピュータ読み取り可能な命令を実行することは、前記少なくとも２つの較正画像の差をとり、異なる文字の場所を示す差分画像を生成する、請求項７に記載の可視化コンピューティングシステム。
  9. 前記コンピュータ読み取り可能な命令を実行することは、前記場所を前記場所におけるデータのタイプにマッピングすることにより、前記テンプレートを作成する、請求項８に記載の可視化コンピューティングシステム。
  10. 前記ベンダコンピューティングシステム及び前記可視化コンピューティングシステムは、分離した別個のコンピュータシステムである、請求項１ないし９のうちの何れか１項に記載の可視化コンピューティングシステム。
  11. 可視化コンピューティングシステムを作動させるための方法であって、
    第１のコンピューティングシステムで動作するベーシック可視化アプリケーションに関連してロードされるイメージングスタディのスクリーンレイアウトを捕捉するステップと、
    捕捉されたスクリーンレイアウトに基づいて、ロードされるイメージングスタディの身元を識別するステップと、
    識別されたイメージングスタディを、第２の異なるコンピューティングシステムのアドバンスト可視化アプリケーションに関連してロードするステップと、
    を有し、前記第１のコンピューティングシステムは、前記ベーシック可視化アプリケーションを実行するが、前記アドバンスト可視化アプリケーションを実行せず、前記第２の異なるコンピューティングシステムは、前記ベーシック可視化アプリケーション及び前記アドバンスト可視化アプリケーションを実行することが可能であり、
    前記ベーシック可視化アプリケーションは不特定のベンダに共通に利用可能であり、前記アドバンスト可視化アプリケーションは、特定のベンダにしか利用可能でない追加的な可視化ツールを含む、方法。
  12. 前記第１のコンピューティングシステムのベンダに対応するスクリーンレイアウトのテンプレートに基づいて、ロードされたイメージングスタディの身元を識別するステップを更に有する請求項１１に記載の方法。
  13. 前記テンプレートは、前記イメージングスタディを識別する、捕捉された視覚的コンテキストにおける文字情報の場所を識別する、請求項１２に記載の方法。
  14. 前記捕捉された視覚的コンテキストにおいて識別される前記場所から前記文字情報を抽出するステップと、
    抽出された文字情報を解釈するステップと、
    捕捉された視覚的コンテキストに基づいてスキャンのタイプを示すスタディプロトコルを識別するステップと、
    を有する請求項１３に記載の方法。
  15. 同じタイプのスキャンに対応する前記アドバンスト可視化アプリケーションを起動するステップを更に有する請求項１４に記載の方法。
JP2016509585A 2013-04-24 2014-04-23 可視化コンピューティングシステム及び可視化方法 Active JP6433983B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361815341P 2013-04-24 2013-04-24
US61/815,341 2013-04-24
PCT/IB2014/060940 WO2014174461A2 (en) 2013-04-24 2014-04-23 Image visualization

Publications (2)

Publication Number Publication Date
JP2016522705A JP2016522705A (ja) 2016-08-04
JP6433983B2 true JP6433983B2 (ja) 2018-12-05

Family

ID=50771531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016509585A Active JP6433983B2 (ja) 2013-04-24 2014-04-23 可視化コンピューティングシステム及び可視化方法

Country Status (5)

Country Link
US (1) US11830605B2 (ja)
EP (1) EP2989575B1 (ja)
JP (1) JP6433983B2 (ja)
CN (2) CN105144175A (ja)
WO (1) WO2014174461A2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217242B1 (en) * 2015-05-28 2019-02-26 Certainteed Corporation System for visualization of a building material
US10163028B2 (en) 2016-01-25 2018-12-25 Koninklijke Philips N.V. Image data pre-processing
KR102496618B1 (ko) * 2016-03-16 2023-02-06 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
US11195324B1 (en) 2018-08-14 2021-12-07 Certainteed Llc Systems and methods for visualization of building structures
US10684762B2 (en) * 2018-08-27 2020-06-16 Sap Se Analytics design system
US10818013B2 (en) * 2019-02-03 2020-10-27 Nec Corporation Of America Systems and methods for processing data extracted from frames captured from video signals
US11759110B2 (en) * 2019-11-18 2023-09-19 Koninklijke Philips N.V. Camera view and screen scraping for information extraction from imaging scanner consoles
US20220044803A1 (en) * 2020-08-06 2022-02-10 Koninklijke Philips N.V. System and method to intelligently adapt the arrangement of content displays according to workflow context

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL91220A (en) * 1989-08-04 1995-03-30 Ibm Israel Compression of information
US5191525A (en) * 1990-01-16 1993-03-02 Digital Image Systems, Corporation System and method for extraction of data from documents for subsequent processing
US5241472A (en) 1990-10-15 1993-08-31 University Of Pittsburgh Of The Commonwealth System Of Higher Education Method of identifying and archiving medical images
DE69131681T2 (de) * 1990-11-22 2000-06-08 Toshiba Kawasaki Kk Rechnergestütztes System zur Diagnose für medizinischen Gebrauch
US5258855A (en) * 1991-03-20 1993-11-02 System X, L. P. Information processing methodology
JP2918064B2 (ja) * 1993-11-16 1999-07-12 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン テンプレート除去のため画像を位置合せするための方法および装置
US6507662B1 (en) * 1998-09-11 2003-01-14 Quid Technologies Llc Method and system for biometric recognition based on electric and/or magnetic properties
US7424679B1 (en) * 1999-12-29 2008-09-09 General Electric Company Patient data information system
US20050065424A1 (en) * 2003-06-06 2005-03-24 Ge Medical Systems Information Technologies, Inc. Method and system for volumemetric navigation supporting radiological reading in medical imaging systems
US7489810B2 (en) * 2003-06-06 2009-02-10 Ge Medical Systems Information Technologies, Inc. Method and system for linking location information between software applications for viewing diagnostic medical images
US7292710B2 (en) * 2004-02-26 2007-11-06 Xerox Corporation System for recording image data from a set of sheets having similar graphic elements
EP1839237A4 (en) 2004-12-21 2010-08-25 Dart Chart Systems Llc METHOD, DEVICE AND COMPUTER SYSTEM FOR DOCUMENTATION AND COLLECTION OF MULTIMEDIA AND MULTICULTURAL DATA
EP1710715A1 (fr) * 2005-04-06 2006-10-11 Amadeus s.a.s Méthode dynamique de rendu visuel de fenetres d'affichage et de saisie de données sur un écran d'ordinateur
US20060231108A1 (en) 2005-04-18 2006-10-19 General Electric Company Method and apparatus for managing multi-patient contexts on a picture archiving and communication system
JP5139289B2 (ja) * 2005-08-03 2013-02-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数の検査結果を生成する方法及び装置
JP2007179192A (ja) 2005-12-27 2007-07-12 Konica Minolta Medical & Graphic Inc 医用情報処理装置
EP1977315A2 (en) 2005-12-30 2008-10-08 Edda Technology, Inc. Methods and system for process sharing among independent systems/applications via data encapsulation in medical imaging
CN100498839C (zh) 2006-03-08 2009-06-10 杭州电子科技大学 一种多模态医学体数据三维可视化方法
US20070286360A1 (en) 2006-03-27 2007-12-13 Frank Chu System and Method for Providing Screen-Context Assisted Information Retrieval
JP2008059071A (ja) 2006-08-29 2008-03-13 Toshiba Corp 医用画像処理装置
US20080086700A1 (en) * 2006-10-06 2008-04-10 Rodriguez Robert A Systems and Methods for Isolating On-Screen Textual Data
US20080195958A1 (en) * 2007-02-09 2008-08-14 Detiege Patrick J Visual recognition of user interface objects on computer
US7778953B2 (en) * 2007-02-19 2010-08-17 Kabushiki Kaisha Toshiba Document management apparatus and document management method
US8620689B2 (en) * 2008-06-12 2013-12-31 Seimens Medical Solutions Usa, Inc. System and method for patient synchronization between independent applications in a distributed environment
DE102008028581B4 (de) * 2008-06-12 2011-03-10 Datango Ag Verfahren und Vorrichtung zur automatischen Ermittlung von Steuerelementen in Computeranwendungen
US8370293B2 (en) * 2008-08-21 2013-02-05 Terarecon Inc. Workflow template management for medical image data processing
US20100131873A1 (en) * 2008-11-25 2010-05-27 General Electric Company Clinical focus tool systems and methods of use
US8918739B2 (en) * 2009-08-24 2014-12-23 Kryon Systems Ltd. Display-independent recognition of graphical user interface control
RU2012126119A (ru) 2009-11-24 2013-12-27 Конинклейке Филипс Электроникс Н.В. Процедура получения изображений, руководимая протоколом
US20130024208A1 (en) * 2009-11-25 2013-01-24 The Board Of Regents Of The University Of Texas System Advanced Multimedia Structured Reporting
US9535651B2 (en) * 2009-12-18 2017-01-03 Oracle International Corporation Co-browsing systems and methods
US9251508B2 (en) * 2010-12-09 2016-02-02 At&T Intellectual Property I, L.P. Intelligent message processing
US8943071B2 (en) * 2011-08-23 2015-01-27 At&T Intellectual Property I, L.P. Automatic sort and propagation associated with electronic documents
WO2013072795A2 (en) * 2011-11-14 2013-05-23 Koninklijke Philips Electronics N.V. Processing a report
US10395420B2 (en) * 2012-02-28 2019-08-27 Brainlab Ag Calculation of a medical image using templates
JP2014056319A (ja) * 2012-09-11 2014-03-27 Canon Inc 情報処理装置およびプログラム、制御方法
US9495534B2 (en) * 2013-03-26 2016-11-15 International Business Machines Corporation OCR-based single sign-on
CN104461474A (zh) * 2013-09-12 2015-03-25 北京三星通信技术研究有限公司 用于移动终端的截屏方法和截屏装置以及移动终端
US10169006B2 (en) * 2015-09-02 2019-01-01 International Business Machines Corporation Computer-vision based execution of graphical user interface (GUI) application actions
WO2018072459A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种屏幕截图和读取的方法及终端
US20180157386A1 (en) * 2016-12-05 2018-06-07 Jiawen Su System and Method for detection, exploration, and interaction of graphic application interface
US10838699B2 (en) * 2017-01-18 2020-11-17 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
US10769427B1 (en) * 2018-04-19 2020-09-08 Automation Anywhere, Inc. Detection and definition of virtual objects in remote screens
US10936351B2 (en) * 2019-07-19 2021-03-02 UiPath, Inc. Multi-anchor based extraction, recognition, and machine learning of user interface (UI)
US10990876B1 (en) * 2019-10-08 2021-04-27 UiPath, Inc. Detecting user interface elements in robotic process automation using convolutional neural networks

Also Published As

Publication number Publication date
EP2989575B1 (en) 2021-12-08
JP2016522705A (ja) 2016-08-04
US11830605B2 (en) 2023-11-28
WO2014174461A2 (en) 2014-10-30
CN113096777A (zh) 2021-07-09
WO2014174461A3 (en) 2015-03-12
EP2989575A2 (en) 2016-03-02
US20160062956A1 (en) 2016-03-03
CN105144175A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
JP6433983B2 (ja) 可視化コンピューティングシステム及び可視化方法
US8836703B2 (en) Systems and methods for accurate measurement with a mobile device
US20140006926A1 (en) Systems and methods for natural language processing to provide smart links in radiology reports
US8948473B2 (en) Image processing apparatus and image processing method
CN105167793A (zh) 图像显示装置、显示控制装置及显示控制方法
JP6796060B2 (ja) 画像レポート注釈同定
US11810659B2 (en) Medical image processing apparatus, program installable into medical image processing apparatus, and medical image processing method
JP2017191461A (ja) 医用レポート作成装置及びその制御方法、医用画像閲覧装置及びその制御方法、並びに、プログラム
US20100177941A1 (en) Medical image diagnosis support system and image processing method
CN105190633B (zh) 图像可视化
US20230320679A1 (en) Medical image display apparatus, method, and program
JP7216660B2 (ja) 下流のニーズを総合することにより読み取り環境を決定するためのデバイス、システム、及び方法
JP6797525B2 (ja) 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
US20210210196A1 (en) Medical image display device, method, and program
US11557039B2 (en) Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium
US20230420096A1 (en) Document creation apparatus, document creation method, and document creation program
US20240029252A1 (en) Medical image apparatus, medical image method, and medical image program
EP4371079A2 (en) Thumbnail animation for medical imaging
JP6726936B2 (ja) 医用画像診断システム、サーバー装置及び医用画像表示装置
CN116759051A (zh) 多模态的神经影像文件的管理方法及相关设备
JP2016206758A (ja) 医用画像管理システム、医用画像管理システムの制御方法、およびプログラム
WO2009007909A1 (en) Grouping of measurements for clinical reporting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181107

R150 Certificate of patent or registration of utility model

Ref document number: 6433983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250