JP6949909B2 - 画像ビューア - Google Patents

画像ビューア Download PDF

Info

Publication number
JP6949909B2
JP6949909B2 JP2019149282A JP2019149282A JP6949909B2 JP 6949909 B2 JP6949909 B2 JP 6949909B2 JP 2019149282 A JP2019149282 A JP 2019149282A JP 2019149282 A JP2019149282 A JP 2019149282A JP 6949909 B2 JP6949909 B2 JP 6949909B2
Authority
JP
Japan
Prior art keywords
image
pixel data
image pixel
display
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019149282A
Other languages
English (en)
Other versions
JP2020064610A (ja
Inventor
ヴィンセント ブリギル
ヴィンセント ブリギル
龍夫 川中
龍夫 川中
ケイイチ モリタ
ケイイチ モリタ
プラバカラン プラジェーシュ
プラバカラン プラジェーシュ
チランガトゥ マニーシュ
チランガトゥ マニーシュ
Original Assignee
フジフィルム メディカル システムズ ユーエスエイ インコーポレイテッド
フジフィルム メディカル システムズ ユーエスエイ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フジフィルム メディカル システムズ ユーエスエイ インコーポレイテッド, フジフィルム メディカル システムズ ユーエスエイ インコーポレイテッド filed Critical フジフィルム メディカル システムズ ユーエスエイ インコーポレイテッド
Publication of JP2020064610A publication Critical patent/JP2020064610A/ja
Application granted granted Critical
Publication of JP6949909B2 publication Critical patent/JP6949909B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Transfer Between Computers (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本発明の実施形態は医療イメージング分析の分野に関し、特には、本発明の実施形態は低速ネットワーク環境においてキャッシュされた圧縮画素データを使用して医療画像をローカルでレンダリングし、表示することに関する。
現在の医療イメージング技術は数ある中でも、X線、マンモグラム、コンピュータ断層撮影(CT)スキャン、磁気共鳴画像(MRI)、陽電子放出断層撮影(PET)スキャンおよび超音波画像のような医療画像の使用を含む。これらの画像は医療イメージングモダリティにより生成される。
医療施設は医療画像を表示するための電子ディスプレイをより容易に導入している。イメージングモダリティが医療画像を入手した後しばしば、これらの画像は画像アーカイブおよび通信システム(PACS)に送られる研究(study)に含まれる。PACSは複数の場所から画像へのアクセスを可能にする医療イメージング技術である。医師および/または他の医療専門家らはPACSに格納された研究を取得し、彼らの患者に関する臨床情報を取得するために研究内の画像をレビューするかまたは読み取る。患者が緊急の処置を必要とする深刻な医療状態である場合は、医師はしばしば研究内の画像をレビューすることにより決定をすることができる。
医師および/または他の医療専門家らはしばしば、ディスプレイを有するワークステーション上の画像を観察する。ワークステーション上の研究からの画像を観察するために離れて設置されたサーバで画像がレンダリングされ、次にレンダリングされた画像はワークステーションに表示するためにネットワークを通じてダウンロードされる。特定の画像のレンダリングは画像を観察するというリクエストに応答してリアルタイムに生じる。レンダリングされた画像はその性能がネットワーク速度に大きく依存するワークステーションにネットワークを通じてダウンロードされる。したがって、ネットワーク速度が遅い場合、次にレンダリングされた画像の受け取りが遅延する。このような遅延は、特に医師および/または医療専門家が直ちに画像をレビューすることが必要であるケースにおいては回避することが望ましい。
医療画像管理システムにおいて同じものを使用する画像ビューアおよび方法が説明される。一実施形態では、システムは画像画素データを受け取るためのネットワーク通信インタフェース、圧縮DICOM画像画素データおよびレンダリングされた画像をキャッシュするための画像キャッシュメモリ、レビューのためにヘルスケア研究の開始に応答して画像レンダリングを実行するために、ネットワーク接続インタフェースおよびメモリに結合され、画像レンダリングパイプラインを実装するように構成された一または二以上のプロセッサおよびビューアを用いて表示可能な画像を表示するための一または二以上のプロセッサに結合されたディスプレイを備え、ここで画像レンダリングは表示するために選択された画像に関連付けられた圧縮画像画素データが画像キャッシュメモリ内にあるかどうかを決定することを含み、圧縮画像画素データが画像キャッシュメモリ内にある場合は、次に画像キャッシュからの圧縮画像画素データをフェッチすることであって、画像画素データがヘルスケア研究内のシリーズからの画像のプレレンダリングされたバージョンを表す、フェッチすること、画像画素データを取得するための圧縮画像画素データを解凍すること、画像画素データに一または二以上の画像処理動作を実行すること、画像処理が施された画像画素データから表示可能な画像を生成すること、およびディスプレイ上のビューアを用いて表示するために表示可能な画像をレンダリングすることを含み、圧縮画像画素データが画像キャッシュメモリ内にない場合は、次にビューアを用いて表示するために表示可能な画像のバージョンを離れた場所からダウンロードすることを含む。
本発明は以下で与えられる詳細な説明および本発明の様々な実施形態の添付図面からより完全に理解されるであろう。しかしながらこれらは本発明を固有の実施形態に限定するものではなく例示および理解のみを目的とするものであると解釈されるべきである。
本発明の実施形態が実装される例示的な医療情報コンピューティングシステム環境を例示する。 グラフィックユーザインタフェース(GUI)にシリーズ画像を表示するためのコンピューティングシステムアーキテクチャの一実施形態を示すプロックダイアグラムである。 医療画像管理システムを用いて実行されている画像レンダリングのためのプロセスの一実施形態のデータフローダイアグラムである。 医療画像管理システムの一実施形態の画像リクエストおよびレンダリングのための動作リストである。 グラフィックユーザインタフェース(GUI)にシリーズ画像を表示するためのプロセスの一実施形態のフローダイアグラムである。 システムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストし、その圧縮画像画素データを画像キャッシュにダウンロードするためのプロセスの一実施形態のフローダイアグラムである。 ヘルスケア研究からの画像を生成およびレンダリングする医療イメージングおよび情報管理システムの論理的に表現した例示的な実施形態を例示する。
以下の説明において、本発明のより完全な説明を提供するための多数の詳細が述べられる。しかしながら、当業者には、本発明はこれらの固有の詳細を用いることなく実施され得ることが明らかになるであろう。他の例では、本発明を不明瞭にすることを回避するために、周知の構造およびデバイスは詳細を示すのではなく、ブロックダイアグラムの形態で示される。
本発明の実施形態は特に低速ネットワーク環境において医療またはヘルスケア画像をレンダリングおよび表示するためのシステム、方法、およびGUIに関する。本発明のシステム、方法、およびGUIは低速ネットワークによりこのような画像の生成および表示が不必要に遅延する可能性がある場合、圧縮画像画素データ(例えば、DICOM画像画素データ)をキャッシュし、画像のサーバ側でのレンダリングに依存する代わりにローカルでレンダリングする能力を有するだけではない。本発明の概要を簡潔に説明した後、図1−7を参照して本発明の実施形態を論じる。
本発明の実施形態の主題は、法定の要件に適合するように本明細書において具体的に説明される。しかしながら、本説明自体によりこの特許の範囲が限定されることを意図するものではない。むしろ、本発明者らは他の現在または将来の技術と共に異なるステップまたはこの文書で説明される一のステップと類似するステップの組合せを含み、他の方法でも具現化され得るように熟慮してきた。
本発明の実施形態を簡潔に説明した後、本発明の実施形態の実装において使用するのに好適な、例示的な動作環境を以下で説明する。
一般に図面を、特に図1を最初に参照すると、本発明の実施形態が実装され得る医療情報コンピューティングシステム環境が例示されており、概して参照番号120として表されている。例示されている医療情報コンピューティングシステム環境120は一つの好適なコンピューティング環境の単なる例であり、本発明の使用または機能の範囲に関して任意の限定を示唆することを意図するものではないことが当業者においては理解され、認識されるであろう。医療情報コンピューティングシステム環境120は示される任意の単一のコンポーネントまたはコンポーネントの組合せに関するあらゆる依存や要件を有すると解釈されるべきではない。
本発明の実施形態は多数の汎用または特殊目的のコンピューティングシステム環境または構成を用いて動作可能であり得る。本発明を用いて使用するのに好適であり得る周知のコンピューティングシステム、環境、および/または構成の例は、例としてのみ、パーソナルコンピュータ、サーバコンピュータ、手持ち式またはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、プログラマブル民生用電子機器、ネットワークPC、ミニコンピュータ、メインフレームコンピュータ、上述のシステムまたはデバイスのいずれかを含む分散型コンピューティング環境等を含む。
本発明の実施形態はコンピュータにより実行されるプログラムモジュールのようなコンピュータ実行可能命令の一般的な文脈において説明され得る。一般的に、プログラムモジュールはルーチン、プログラム、オブジェクト、コンポーネント、および特定のタスクを実行するかまたは特定の抽象データ型を実装するデータ構造を含むが、これらに限定されない。本発明はまた通信ネットワークを通じてリンクされているリモートプロセッシングデバイスによりタスクが実行される分散型コンピューティング環境において実施することもできる。分散型コンピューティング環境において、プログラムモジュールは例としてのみメモリストレージデバイスを含む、ローカルおよび/またはリモートコンピュータストレージ媒体に関連付けて設置され得る。
引き続き図1を参照すると、例示的な医療情報コンピューティングシステム環境120はコントロールサーバ122の形態の汎用コンピューティングデバイスを含む。コントロールサーバ122のコンポーネントはプロセッシングユニット、内部システムメモリ、およびデータベースクラスタ124を含む様々なシステムコンポーネントとコントロールサーバ122とを結合するのに好適なシステムバスを含み得るが、これらに限定されない。システムバスは様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺機器用バス、およびローカルバスを含む、バス構造のいくつかのタイプのいずれかであり得る。このようなアーキテクチャは、例としてIndustry Standard Architecture(ISA)バス、Micro Channel Architecture(MCA)バス、Enhanced ISA(EISA)バス、Video Electronics Standards Association(VESA)ローカルバス、およびMezzanineバスとしても知られるPeripheral Component Interconnect(PCI)バスを含むが、これらに限定されない。
コントロールサーバ122は典型的に様々なコンピュータ可読媒体、例えば、データベースクラスタ124をその中に含むか、またはそれへのアクセスを有する。コンピュータ可読媒体はサーバ122によりアクセスされ得る任意の利用可能な媒体とすることができ、揮発性および不揮発性媒体ならびに取出し可能および取出し不可能な媒体を含む。コンピュータ可読媒体は例としてコンピュータストレージ媒体を含み得るが、これに限定されない。コンピュータストレージ媒体はコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータのような情報ストレージのための任意の方法または技術で実装される揮発性および不揮発性媒体ならびに取出し可能および取出し不可能な媒体を含み得るが、これらに限定されない。この点について、コンピュータストレージ媒体はRAM、ROM、EEPROM、フラッシュメモリまたは他のメモリ技術、CD−ROM、デジタルバーサタイルディスク(DVD)または他の光学ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、または所望の情報を格納するために使用されることができ、コントロールサーバ122によりアクセスされ得る任意の他の媒体を含み得るが、これらに限定されない。通信媒体は例として有線ネットワークまたは直接有線接続、ならびに音響、RF、赤外線、および他の無線媒体のような無線媒体を含むが、これらに限定されない。上記のいずれかの組合せはまたコンピュータ可読媒体の範囲に含まれ得る。
上記で論じられ図1に例示されるデータベースクラスタ124を含むコンピュータストレージ媒体はコンピュータ可読命令、データ構造、プログラムモジュール、およびコントロールサーバ122に対する他のデータのストレージを提供する。コントロールサーバ122は一または二以上のリモートコンピュータ128への論理接続を使用してコンピュータネットワーク126において動作し得る。リモートコンピュータ128は医療または研究環境、例えば以下に限定されないが、臨床実験室(例えば、分子診断実験室)、病院および他の入院施設、獣医環境、通院施設、医療費請求およびフィナンシャルオフィス、病院管理施設、ホームヘルスケア環境、および臨床医のオフィスにおける様々な場所に配置され得る。臨床医は治療医または内科医、集中治療専門医、外科医、放射線医、心臓専門医、およびがん専門医のような専門医、救急医療技術者、外科助手、ナースプラクティショナー、看護師、看護助手、薬剤師、栄養士、微生物学者、実験室エキスパート、実験室の技術者、遺伝カウンセラー、研究者、獣医、学生等を含み得るが、これらに限定されない。リモートコンピュータ128はまた従来とは異なる医療環境に物理的に設置することができ、それによりヘルスケアコミュニティ全体がネットワーク上に統合され得る。リモートコンピュータ128はパーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ピアデバイス、他の共通ネットワークノード等であってもよく、コントロールサーバ122に関連付けて上記で説明された要素のいくつかまたは全てを含み得る。デバイスはパーソナルデジタルアシスタントまたは他の同様なデバイスとすることができる。
例示的なコンピュータネットワーク126はローカルエリアネットワーク(LAN)および/または広域ネットワーク(WAN)を含み得るが、これらに限定されない。このようなネットワーク環境はオフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットにおいてありふれたものである。WANネットワーク環境で活用される場合、コントロールサーバ122はモデムまたはインターネットのようなWANを介した通信を構築するための他の手段を含み得る。ネットワーク接続された環境では、プログラムモジュールまたはそれらの一部分はコントロールサーバ122、データベースクラスタ124、またはリモートコンピュータ128のうちのいずれかに関連付けて格納され得る。例えば、様々なアプリケーションプログラムはリモートコンピュータ128のうち任意の一または二以上に関連付けられたメモリに存在し得る。当業者においては示されているネットワーク接続は例示的なものでありコンピュータ間(例えば、コントロールサーバ122とリモートコンピュータ128との間)の通信リンクを構築する他の手段か活用され得ることを理解されたい。
動作中、臨床医は命令および情報をコントロールサーバ122に入力することができ、またはキーボード、(一般にマウスと呼ぶ)ポインティングデバイス、トラックボール、もしくはタッチパッドのような入力デバイスを通じてリモートコンピュータ128のうち一または二以上を介して命令および情報をコントロールサーバ122に伝搬することができる。他の入力デバイスはマイクロフォン、スキャナ等を含み得るが、これらに限定されない。命令および情報はまたリモートヘルスケアデバイスからコントロールサーバ122に直接送られ得る。モニタに加え、コントロールサーバ122および/またはリモートコンピュータ128はスピーカーおよびプリンタのような他の周辺出力デバイスを含み得る。
コントロールサーバ122およびリモートコンピュータ128の多くの他の内部コンポーネントは示されていないが、当業者においてはこのようなコンポーネントおよびそれらの相互接続が周知のものであることを理解されたい。したがって、コントロールサーバ122の内部構造とリモートコンピュータ128とを接続するさらなる詳細が本明細書においてさらに開示されることはない。
図2を参照すると、ローカルでレンダリングされる圧縮画像画素データを使用してローカルで画像をレンダリングすることにより低速ネットワーク環境において医療画像(例えば、DICOM画像)のシームレスな観察のための例示的なコンピューティングシステムアーキテクチャを示すブロックダイアグラムが例示されている。図2に示されているコンピューティングシステムアーキテクチャは、一つの好適なコンピューティングシステムの単なる例であり、任意の単一のモジュール/コンポーネントまたはモジュール/コンポーネントの組合せに関連付けられたあらゆる依存や要件を有することを意図するものではないことを理解されたい。
コンピューティングシステムは画像ビューア210および複数のヘルスケア研究の画像シリーズからの医療画像を格納し、維持する一または二以上のデータベース230を含む。例示的な医療画像はECHO画像、および他のヘルスケア画像のような放射線画像、実験室の画像、写真、心臓の画像を含む。当業者においては、データベースは別々に維持してもよく、または統合してもよいことを理解されたい。データベース230は画像が電子カルテから選択され、また画像ビューア210を介してビューア内で起動され、表示され得るように、患者のEMRにリンクされている画像を含み得る。本明細書で活用されるように、頭字語「EMR」は限定を意味するものではなく、デジタル形式でレンダリングされる患者の医療記録のいずれかまたは全ての態様を広く指し得る。一般に、EMRはコンピューティングデバイスの助けを用いて個々の記録の格納および検索を調整するように構成されたシステムによりサポートされる。そのため、様々なタイプのヘルスケア関連情報がこのようにして格納およびアクセスされる。例として、EMRは以下のタイプの情報のうち一または二以上を格納し得る:患者の人口統計、医療履歴(例えば、検査ならびに健康および病気の経過報告)、薬およびアレルギーリスト/予防接種状況、実験室テスト結果、放射線画像(例えば、X線、CT、MRI等)、他の画像、固有の医療状態に対する証拠に基づく提案、予約の記録および内科医のメモ、請求記録、および関連する医療デバイスから受け取ったデータ。したがって、EMRを用いるシステムにより医療ミスが低減し、内科医の効率が増加し、コストが低減し、そしてヘルスケアの標準化が促進される。表示コンポーネント220はモニタ、コンピュータスクリーン、投影デバイスまたはグラフィックユーザインタフェースを表示することのできる出力を表示するための他のハードウェアデバイスであり得るグラフィックディスプレイデバイスを含む。
画像ビューア210は一よりも多くのソースまたはデータベースから取得された画像を受け取り、表示する。したがって、単一のストレージリポジトリまたは単一のPACSシステムは必要とされない。画像ビューア210は例えば図1を参照して上記で説明されたコントロールサーバ122のような一または二以上のコンピューティングデバイスに存在し得る。コントロールサーバ122は例としてコンピュータプロセッサを含み、またサーバ、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、手持ち式デバイス、モバイルデバイス、民生用電子デバイス等であり得る。
画像ビューア210は選択コンポーネント212、ビューアコンポーネント214、画像プロセッシングおよびレンダリングコンポーネント216、サブスクリプションコンポーネント218、および表示コンポーネント220を備える。様々な実施形態において、画像ビューア210は履歴コンポーネント222、情報コンポーネント224、および操作コンポーネント226を含む。画像ビューア210はデータベース230に格納される現在の研究からヘルスケア画像を受け取るように描写されている一方で、画像ビューア210は複数の施設および/または複数の場所に散在するデータベースを含む複数のソースからヘルスケア画像を受け取り得ることを理解されたい。画像ビューア210は患者のEMR内のリンクを介して上記で説明されたソースからヘルスケア画像を受け取り得ることも理解されたい。
選択コンポーネント212はヘルスケア研究の選択を受け取る。ヘルスケア研究は一または二以上のシリーズを備える。各シリーズは様々な角度からの画像の主題を描写する一または二以上の画像を備える。マルチメディアマネージャー内のリスト各々は利用可能な研究、画像、および他の媒体のリストを提供する。臨床医はビューアで起動させるために所望の項目を選択することができる。一実施形態では、所望の項目の選択はEMR内で作られ得る。
選択コンポーネント212が臨床医の選択を受け取ると、ビューアコンポーネント214は選択された研究に対してビューアを起動させる。画像プロセッシングおよびレンダリングコンポーネント216は、ローカルストレージ(例えば、ローカル画像キャッシュ)から示すために選択された少なくとも一つの画像に関連付けられた圧縮画像画素データにアクセスし、画像画素データを解凍し、(それが望ましいかまたは必要な場合は)一または二以上の画像処理動作を実行し、画像をレンダリングする。
圧縮画像画素データが利用可能でない場合、サブスクリプションコンポーネント218は離れた場所(例えば、離れて設置されたサーバ)からの圧縮画像画素データのリクエストを制御し、データを受け取り、それをローカルに格納する。一実施形態では、サブスクリプションコンポーネント218は優先度の高いサブスクリプション順に基づいて圧縮画像画素データを取得する。その後、画像プロセッシングおよびレンダリングコンポーネント216は圧縮画像画素データから表示可能な画像を生成およびレンダリングする。
表示コンポーネント220はビューアに現在の研究の一または二以上の画像を表示する。
一実施形態では、履歴コンポーネント222は異なる研究および一よりも多くのヘルスケア画像に関連付けられた臨床画像の履歴を表示する。履歴コンポーネント222によりさらに履歴からの一または二以上の画像の選択が表示コンポーネント220によりビューアに表示されることが可能になる。例えば、選択コンポーネント212は特定の研究の臨床医からの選択を受け取った可能性がある。しかしながら、表示コンポーネント220がその選択された研究を備える画像を表示すると、履歴コンポーネント222は他の研究および特定の臨床医にとって興味深い臨床画像を表示し得る。臨床医は次にビューア内で起動させるために履歴から追加する項目を選択し得る。
一実施形態では、情報コンポーネント224は一よりも多くのヘルスケア画像、履歴、またはそれらの組合せに関連付けられた追加情報を表示する。追加情報は患者識別情報、画像関連情報、研究関連情報、またはそれらの組合せを備える。このような追加情報はまた時間関連情報も含み得る。
一実施形態では、操作コンポーネント226により臨床医がヘルスケア画像のディスプレイを操作することが可能になる。例えば、臨床医はビューア内でレンダリングされる画像が所望のレベルの詳細を見るためには十分に大きくないことを決定し得る。臨床医はズームインまたはズームアウトすることができ、したがって操作コンポーネント226は画像の表示を操作する。同様に、臨床医は画像をパンすることを所望することができ、したがって操作コンポーネント226は画像の表示を操作する。
図3は医療画像管理システムを用いて実行されている画像レンダリングのためのプロセスの一実施形態のデータフローダイアグラムである。医療画像管理システムは、現在の研究の一つの画像シリーズからの少なくとも一つの画像を用いてGUI内のレイアウトを作成するために画像レンダリングおよび観察を実行する。一実施形態では、医療画像管理システムはシステム内の圧縮画像画素データをキャッシュすること、およびローカルで画像をレンダリングすることにより低速ネットワーク環境において医療画像(例えば、DICOM画像)のシームレスな観察を提供する。一実施形態では、システムは図2のビューアのうち一つ、または図7のシステムを用いて実装される。
一実施形態では、医療画像管理システムは圧縮画像画素データを受け取るためのネットワーク通信インタフェース、圧縮DICOM画像画素データおよびレンダリングされた画像をキャッシュするための画像キャッシュメモリ、ネットワーク接続インタフェースに結合された一または二以上のプロセッサおよびビューアを用いて表示可能な画像を表示するために一または二以上のプロセッサに結合されたディスプレイ(例えば、医療画像管理システムのディスプレイに表示されているブラウザのウィンドウ)を備え、メモリはレビューのためのヘルスケア画像の開始に応答して画像レンダリングを実行するために画像レンダリングパイプラインを実装するように構成される。一実施形態では、医療画像管理システムはワークステーションを備える。
一実施形態では、画像レンダリングは表示するために選択された画像に関連付けられた圧縮画像画素データが画像キャッシュメモリ内にあるかどうかを決定することを含み、圧縮画像画素データが画像キャッシュメモリ内にある場合は、次に画像キャッシュからの圧縮画像画素データをフェッチすることであって、画像画素データがヘルスケア研究内のシリーズからの画像のプレレンダリングされたバージョンを表す、フェッチすること、画像画素データを取得するために圧縮画像画素データを解凍すること、画像画素データに一または二以上の画像処理動作を実行すること、画像処理が施された画像画素データから表示可能な画像を生成すること、およびディスプレイ上のビューアを用いて表示するために表示可能な画像をレンダリングすることを含む。
表示するために選択された画像に関連付けられた圧縮画像画素データが画像キャッシュメモリ内に無い場合は、次にビューアを用いて表示するために表示可能な画像のレンダリングされたバージョンを離れた場所からダウンロードする。すなわち、サーバ側でのレンダリングは画像が画像キャッシュにおいて利用可能でない場合にのみ活用される。一実施形態では、プロセッサはネットワーク接続を介したシステムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストし、圧縮画像画素データを画像キャッシュにダウンロードする。
したがって、プロセッサはネットワーク速度が閾値を下回る低速ネットワーク環境を補うために、好ましくはサーバから離れて設置されたサーバからの圧縮画像画素データのリクエストを介して画像キャッシュからの圧縮画像画素データをリクエストする。換言すると、ネットワーク速度に応じて、観察されているシリーズ/研究内の画像に関連付けられた他の圧縮画像データは、それらがローカルでレンダリングされ得るようにキャッシュにダウンロードされ、格納される。
一実施形態では、最初に研究が開始し、研究からの第一の画像が表示するために選択されると、観察される画像はその画像が既にキャッシュされたか否かに応じてサーバまたはクライアントからレンダリングすることができる。
図3を参照すると、一実施形態では、医療画像管理システムを用いて実行されている画像レンダリングのためのプロセスは二つの論理パートを有する。
(1)サブスクリプション:システム内の圧縮された医療画像画素データをキャッシュする。
(2)レンダリング:医療画像画素データを解凍し、表示可能な画像をレンダリングする。
パートに関連付けられた動作の一つの実施形態は図4に描写される。
図3および図4の両方を参照すると、画像ビューア301(例えば、ブラウザのウィンドウ)における新しい研究が開始するかまたはスケジュールされたワークリストからユーザがサブスクリプションを始動させると、プロセスのサブスクリプションパートが始動する。一実施形態では、サブスクリプションは研究が開始され、システムがローカルに格納された圧縮画像画素データを既に有していない場合にのみ始動する。デバイスがローカルで利用可能である場合、システムはローカルデータを用いて画像をレンダリングする。
一実施形態では、ワークリストはレビューのために個々に送られ、離れて設置されたストレージからシステムにダウンロードするために指定されたいくつかの研究を含み得る。
サブスクリプションを始動させる際に圧縮DICOM画像画素データをワークステーションキャッシュにダウンロードすることができるように、画像ビューア301はプレレンダリングされ、最適化されおよび圧縮されたDICOM画像画素データを離れて設置されたサーバ上で稼働しているイメージングサービス312で受け取るためのリクエストを生成する。一実施形態では、以下の最適化が実行される。第一に、画像のプレレンダリングが実行される。一実施形態では、プレレンダリングはDICOM画像を構文解析することを含み、メタデータからディスプレイ属性を選択する。第二に、一実施形態では、画像がヒストグラムに基づく非線形変換を要求する場合、これはこの処理がクライアントサイドで実行されることを回避するためにプレレンダリングの一部として行われることになる。第三に、一実施形態では、プレレンダリングはまた画素データをメタデータから分離することおよび画素を要求されたディスプレイ特性と組み合わせることも含む。第四に、一実施形態では、圧縮はそのダウンロード時間を低減するための方法のような効率的なやり方で、またその解凍時間を低減することにより適用される。これは低速ネットワークにおけるより高速のダウンロードを助ける。一実施形態では、ワークステーションキャッシュは、メモリキャッシュ309が構成された限定に到達すると、キャッシュがワークステーションディスクキャッシュ310に延びるような方法でメモリキャッシュ309とディスクキャッシュ310との組合せを備える。
画像ビューア301はサブスクリプションリクエストキュー307内のリクエストをキューに入れるリクエストハンドラ302にリクエストを送る。一実施形態では、リクエストは優先度に基づいてキューに入れられる。すなわち、サブスクリプションダウンロードの順序は優先度に基づく。一実施形態では、画像ビューア301内で表示するために選択されたシリーズのDICOM画像は常により高い優先度を得て、それらは研究内の他のシリーズの画像に関連付けられた画像データと最初に比較されてキャッシュされることになる。
一実施形態では、ユーザはリーディングプロトコルおよびディスプレイレイアウトを変更することができ、ビューアに関連付けられたツールバーコンポーネントはユーザがディスプレイレイアウトをいつでも変更することができるように表示されている研究に適用可能な複数のリーディングプロトコルおよびレイアウトを表示する。一実施形態では、リーディングプロトコルまたはディスプレイレイアウトまたはスイッチングシリーズを変更すると、サブスクリプションの優先度の変更が動的に発生することになる。より具体的には、サブスクリプションの使用は研究内のシリーズを表す各サブスクリプションリクエストを用いてシリーズレベルで扱われる。一実施形態では、例えば第一の4個のシリーズがリーディングプロトコルに基づいて表示されなければならない10個のシリーズを有する研究のサブスクリプションを実行すると、10個のサブスクリプションリクエストはリクエストの残りと比較してより高い優先度を有する第一の4個のリクエストを用いて生成される。ユーザがサブスクリプションの間にリーディングプロトコルを変更すると、既存のサブスクリプションリストにおける優先度は表示されるべきシリーズがより高い優先度を得て、それらの画像が最初にキャッシュされるような方法でリーディングプロトコル/ディスプレイレイアウトにおける変更を反映するために更新される。同様に、ユーザが固有の無作為のシリーズをシリーズピッカからビューポートにドラッグアンドドロップする場合、そのシリーズに対応するサブスクリプションリクエストの優先度はより高くなる。
ローダ308はサブスクリプションリクエスト307から各リクエストを入手し、ネットワーク311(例えば、インターネット)を介したシステムのネットワークインタフェースを通じてそれを送る。一実施形態では、ローダ308はDICOMオブジェクトへのウェブアクセス(WADO)リクエストとしてそのリクエストを送る。離れて設置されたサーバにあるイメージングサーバ312はネットワーク311からリクエストを受け取り、DICOM画像ストレージ313からのDICOM画像画素データをフェッチする。
DICOM画像画素データをフェッチした後、イメージングサーバ312はプレレンダリングを実行し、画像画素データを最適化し、画像画素データに圧縮を適用する。一実施形態では、プレレンダリングはDICOM画像ファイル内のいくつかのメタデータから画像画素データを分離することを含む。メタデータのうちいくつかが除去される一方、ウィンドウィング、スロープ/インターセプト、画像幅および高さ、SUVタイプ、SUVウィンドウィング、補間、シャッタ、マスク、ソフトコピーVOI LUT、ディスプレイされたエリア、画素間隔、空間変換、光量解釈等に関連付けられた他のもの(メタデータ)は画像画素データと共に保持される。この残りのメタデータは画像をローカルでレンダリングするために使用されることになる。一実施形態では、低速ネットワークにおいてより高速のダウンロードを促進することによりダウンロード時間を低減し、それに続く解凍時間を低減するために適用される圧縮は米国特許第7,183,950号で説明される圧縮である。別の実施形態では、適用される圧縮は米国特許第7,773,820号で説明される圧縮であり、これらはいずれも参照により本明細書に組み入れられる。当業者に周知の他の圧縮技術が使用され得ることに留意されたい。
プレレンダリング、任意の最適化、および圧縮を実行した後、イメージングサービス312はネットワーク311を介して管理システムに圧縮DICOM画像画素データを送り返し、圧縮DICOM画像画素データは管理システムのネットワークインタフェースにより受け取られ、画像キャッシュに格納される。この時点で、圧縮されたDICOM画像画素データを解凍することができ、DICOM画像画素データから画像がレンダリングされる。
一実施形態では、システムは画像がサブスクリプションの経過を示す画像が表示されるビューポート内のプログレスインジケータ(例えば、ステータスバー)を表示する。データが完全にダウンロードされ、シリーズに対するキャッシュが完了するとプログレスバーは消える。
リクエストがシリーズ内の第一の画像に対するものである場合、イメージングサービス312は観察のために選択された画像の完全にレンダリングされたバージョンを提供し得る一方、シリーズ内の他の画像に対しては圧縮されたDICOM画像画素データを提供することに留意されたい。これにより、ユーザがシリーズからの画像の観察においていくつかのさらなる遅延を回避することが可能になる。
画像レンダリングの間、画像ビューア301はキャッシュ309からの圧縮されたDICOM画像をフェッチし、DICOM画像画素データにデコンプレッサ305を使用して画像を解凍し、画像プロセッサ306を使用して解凍されたDICOM画像画素データに画像処理を実行し、画像ビューア301に表示されることになる最終的な表示可能な画像を生成する。
ハイブリッドな手法の一部として、画像が未だキャッシュされていない場合、画像ビューア301はレンダリングされた表示可能なDICOM画像を検索するためにWADO(DICOMオブジェクトへのウェブアクセス)リクエストをイメージングサービス312に送ることにより、画像を表示するためのサーバ側でのレンダリングに依存することになる。このようなケースでは、ユーザは画像ビューアにおけるインタラクティブな動作を進行させるためにワークステーションキャッシュに格納されるべき全ての画像を待機することを要求しない。一実施形態では、このようなリクエストはキューに入れられず、リクエストハンドラ302およびローダ308を介して直ちにイメージングサービス312に送られる。また、一実施形態では、リクエストは圧縮画像画素データではなく完全にレンダリングされた画像(複数可)がリクエストされることを示す。
一実施形態では、レンダリングプロセスは、画像ビューア301がそれに応答して認識し、動作を開始するインタラクティブな動作をユーザが画像ビューア301を用いて実行することにより開始する。インタラクティブな動作の例にはズーム、パン、ウィンドウィング、回転、フリップ、様々なタイプの画像スクロール、シネ、マスク、シャッタ、画像の拡大、カラーテーブル動作等を含む。このようにして、システムは(イメージングサービス312によりプレレンダリングされた)当初のDICOM画像画素データに動作を実行することができる。
画像ビューア301は、インタラクティブな動作に応答してリクエストが格納されているリクエストハンドラ302を介してレンダリングリクエストをレンダリングリクエストキュー303に納める。レンダラー304はキューからリクエストを取り出し、画像キャッシュ309から圧縮されプレレンダリングされ最適化された画像画素データを取得し、デコンプレッサ305を使用してプレレンダリングされ最適化されたDICOM画像データに解凍を実行し、画像プロセッサ306を使用してDICOMデータを処理し、レンダラー304により処理された画像データを表示可能な画像に変換する。レンダラー304は表示可能な画像を画像ビューア301に移動させ、画像ビューア301はシステムのディスプレイに表示可能なDICOM画像を描写する。デコンプレッサ305により実行される解凍はイメージングサービス312により実行される圧縮314とは逆にすることである。画像プロセッサ305により実行される画像処理動作は画像ビューア301に対する可能性のあるインタラクティブな動作を実装することであることに留意されたい。
図5はグラフィックユーザインタフェース(GUI)におけるシリーズ画像を表示するためのプロセスの一実施形態のフローダイアグラムである。一実施形態では、プロセスはハードウェア(回路、専用論理部等)、ソフトウェア(例えば、チップ上で稼働するソフトウェア)、ファームウェア、またはその三つの組合せを備え得る処理論理部により実行される。一実施形態では、プロセスは画像プロセッサ、画像レンダラー、およびディスプレイを有する医療画像管理システムにより実行される。
図5を参照すると、表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にあるかどうかを決定する処理論理部によりプロセスが開始される(処理ブロック501)。画像キャッシュメモリ内にある場合、次にプロセスは処理論理部が画像キャッシュからの圧縮画像画素データをフェッチする処理ブロック502に移る。一実施形態では、上記で説明されたように、画像画素データはヘルスケア研究内のシリーズからの画像のプレレンダリングされたバージョンを表している。
圧縮画像画素データをフェッチした後、処理論理部は画像画素データを取得するために圧縮画像画素データを解凍し、画像画素データに一または二以上の画像処理動作を実行し、画像処理が施された画像画素データから表示可能な画像を生成し、ディスプレイ上のビューアを用いて表示するために表示可能な画像をレンダリングする。一実施形態では、一または二以上の動作はウィンドウィング、シネ、ズーム、パン、ウィンドウレベリング、および彼らのレビュー中に医療画像に実行される周知の画像処理動作を含む。
表示するために選択された画像に関連付けられた圧縮画像画素データが画像キャッシュメモリ内にない場合、次にプロセスは処理論理部が離れた場所(例えば、離れて設置されたサーバ)からビューアを用いて表示するための表示可能な画像をレンダリングされたバージョンをダウンロードする処理ブロック503に移る。
その後、処理論理部は医療画像管理システムのビューアを用いて表示可能な画像を表示する(処理ブロック504)。
図6はネットワーク接続を介してシステムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストし、圧縮画像画素データを画像キャッシュにダウンロードするためのプロセスの一実施形態のフローダイアグラムである。一実施形態では、プロセッサはハードウェア(回路、専用論理部等)、ソフトウェア(例えば、チップ上で稼働するソフトウェア)、ファームウェア、またはその三つの組合せを備え得る処理論理部により実行される。一実施形態では、プロセスは画像ローダおよび画像キャッシュを有する医療画像管理システムにより実行される。
図6を参照すると、プロセスはヘルスケア研究の開始に応答して圧縮画像画素データに対するリクエストを生成する処理論理部により開始される(処理ブロック601)。一実施形態では、圧縮画像画素データに対するリクエストを納めるための処理論理部は医療画像管理システムのリクエストハンドラの一部である。
リクエストを生成した後、処理論理部は医療画像管理システムのリクエストキュー内の圧縮画像画素データに対するリクエストをキューに入れる(処理ブロック602)。このキューに入れられるいくつかのリクエストがあり得ることに留意されたい。これらのリクエストはそれらがキュー内に格納される順に扱われる。別の実施形態では、リクエストは優先度に基づいて扱われる。一実施形態では、優先度は医療画像管理システムのサブスクリプション論理部により制御される。
続いて、処理論理部はリクエストキューからリクエストを取り出す(処理ブロック603)。一実施形態では、圧縮画像画素データに対するリクエストをキューから取り出すための処理論理部は医療画像管理システムのローダの一部である。
処理論理部は医療画像管理システムのネットワークインタフェースを使用し、離れて設置されたサーバにネットワークを介してキューから取り出されたリクエストを送る(処理ブロック604)。一実施形態では、リクエストはレンダリングされるべき画像へのアクセスを有するリモートサーバにインターネットを介して送られる。
サーバの処理論理部はリクエストを受け取り(処理ブロック605)、ストレージ(例えば、離れて設置されたストレージ)からの画像データ(例えば、DICOM画像のための画像データ)をフェッチし(処理ブロック606)、フェッチされた画像画素データを圧縮し(処理ブロック607)、そしてネットワークを介して離れて設置されたサーバから医療画像管理システムに圧縮画像データを送る(処理ブロック608)。
医療画像管理システムの処理論理部は圧縮画像画素データを受け取り、それを医療画像管理システムの画像キャッシュ内に格納する(処理ブロック609)。一実施形態では、医療画像管理システムのローダはネットワーク接続を使用して圧縮画像画素データを受け取り、格納する。
[例示的な医療画像管理システム]
図7は上記で論じられた画像比較レイアウトを生成およびレンダリングする医療イメージングおよび情報管理システム700を論理的に表現した例示的な実施形態を例示する。システムは画像の類似性に基づいて画像シリーズのマッチングを実行し、現在の研究および一または二以上の過去の(以前に作成された)研究のシリーズ画像を用いて自動的にレイアウトを作成する。一実施形態では、システム700は上記で詳細に説明されたような医療画像システムの一部である。
医療イメージングおよび情報管理システム700は第一の伝送媒体720を介して通信インタフェース論理部710に結合される一または二以上のプロセッサ701を含む。通信インタフェース論理部710により他の電子デバイスへの通信が可能になり、特には医師、看護師および/または医療技術者、ヘルスケア研究を格納するリモートデータベース(例えば、PACS)、および研究を生成して送るヘルスケアモダリティのようなリモートユーザとの通信が可能になる。本開示の一実施形態によると、通信インタフェース論理部710は有線接続のための一または二以上のポートを含む物理的なインタフェースとして実装され得る。加えて、またはこれに代えて、通信インタフェース論理部710は他の電子デバイスとの無線通信をサポートするための一または二以上の無線ユニットを用いて実装され得る。
プロセッサ(複数可)701は伝送媒体725を介して永続ストレージ730にさらに結合される。本開示の一実施形態によると、永続ストレージ730は(a)ユーザインタフェース論理部741、(b)画像プロセッシングおよびレンダリング論理部742、(c)通知および割当て論理部743、(d)サブスクリプション論理部731、(e)インポート論理部732、(f)スナップショット生成論理部733、(g)ディスプレイ制御論理部734、(h)画像データベース735、(i)メモデータベース736および(j)記録データベース737を含み得る。
ユーザインタフェース論理部741はスクリーンに表示されているユーザと表示エリアとの間の相互作用を可能にするための論理部を含み得る。
画像処理およびレンダリング論理部742は上記で説明されたようにレンダリングされるべき画像をリクエストし、圧縮画像画素データから画像をレンダリングするための論理部を含む。一実施形態では、画像処理およびレンダリング論理部742は例えば上記で説明されたように画像データに一または二以上の画像処理動作を実行する。
サブスクリプション論理部731は医療イメージングおよび情報管理システム700が圧縮画像画素データ(例えば、DICOM画像からのDICOM画像画素データ)をキャッシュするための論理部を含む。一実施形態では、サブスクリプション論理部731は医療イメージングおよび情報管理システム700の画像ビューアにおける新しい研究の開始に応答して始動する。一実施形態では、サブスクリプション論理部731はスケジュールされたワークリストからも始動される。一実施形態では、サブスクリプション論理部731は優先度の高いサブスクリプション順に基づいて圧縮画像画素データを取得する。一実施形態では、医療イメージングおよび情報管理システム700のビューア内に表示するために選択されたシリーズの画像がより高い優先度を得て研究内の他のシリーズと比較して最初にキャッシュされるように、サブスクリプションの順序が優先度に基づく。一実施形態では、リーディングプロトコル、ディスプレイレイアウトまたはシリーズスイッチの変化に応答し、サブスクリプションの優先度を動的に変更する。一実施形態では、サブスクリプション論理部731はサブスクリプションダウンロードプロセスの経過を示す、ビューアに表示するためのプログレスインジケータを生成する。
通知および割当て論理部743は研究レビューのための通知および/または割当てを発行して送るための論理部を含む。
インポート論理部732はストレージデバイスから情報の一または二以上の部分を検索し、情報の一または二以上の部分の各々をビューアまたはビューアテンプレートの別々の表示エリアにインポートするための論理部を含み得る。例えば、情報の一部は(i)X線、マンモグラム、コンピュータ断層撮影(CT)スキャン、磁気共鳴画像法(MRI)、陽電子放出断層撮影(PET)スキャンおよび/または超音波画像法(イメージング)を含む医療画像、(ii)医療画像のうち一または二以上に関する内科医のメモ、および/または(iii)一または二以上の医療画像のサブジェクトのうち一または二以上に対応する医療記録を含み得るが、これらに限定または制限されない。
スナップショット生成論理部733はレイアウトテンプレートの少なくとも第一の状態を保存するための論理部を含む。第一の状態を保存することは少なくとも(i)一または二以上の情報の部分、および(ii)非一過性なコンピュータ可読媒体内の情報の一または二以上の部分の各々の特性の観察を格納することを含み得る。レイアウトテンプレートは現在の研究からの一または二以上の画像を描写している比較レイアウトおよび一または二以上の以前に作成された研究と類似であるように決定される一または二以上の画像を描写し得る。
ディスプレイ制御論理部734は圧縮画像画素データからローカルでレンダリングされたかまたはサーバ側でレンダリングされサーバから表示可能な形態で送られた画像を表示するための論理部を含む。一実施形態では、ディスプレイ制御論理部734は画像が表示されるブラウザを表示するための論理部を含む。
画像データベース735、メモデータベース736および記録データベース737は単一の非一過性コンピュータ可読媒体ストレージデバイスを備えてもよく、または各々が別々の非一過性コンピュータ可読媒体ストレージデバイスであってもよい。画像データベース735はユーザがビューアまたは他のGUIの表示エリアにインポートし得る医療画像を格納する。メモデータベース736はユーザがレイアウトテンプレートの表示エリアにインポートし得る、医師、看護師、医療技術者等により記録されるメモを格納する。最後に、記録データベース737はユーザがレイアウトテンプレートの表示エリアにインポートし得る医療記録を格納する。
本明細書に記載されるいくつかの例示的な実施形態が存在する。
例1は、圧縮画像画素データを受け取るためのネットワーク通信インタフェース、圧縮されたDICOM画像画素データおよびレンダリングされた画像をキャッシュするための画像キャッシュメモリ、レビューのためにヘルスケア研究の開始に応答して画像レンダリングを実行するためのネットワーク接続インタフェースおよびメモリに結合し、画像レンダリングパイプラインを実装するように構成された一または二以上のプロセッサ、およびビューアを用いて表示可能な画像を表示するために一または二以上のプロセッサに結合されたディスプレイを備えるシステムであり、ここで画像レンダリングは表示するために選択された画像に関連付けられた圧縮画像画素データが画像キャッシュメモリ内にあるかどうかを決定することを含み、圧縮画像画素データが画像キャッシュメモリ内にある場合は、次に画像キャッシュからの圧縮画像画素データをフェッチすることであって、画像画素データがヘルスケア研究内のシリーズからの画像のプレレンダリングされたバージョンを表す、フェッチすること、画像画素データを取得するために圧縮画像画素データを解凍すること、画像画素データに一または二以上の画像処理動作を実行すること、画像処理が施された画像画素データから表示可能な画像を生成すること、およびディスプレイ上のビューアを用いて表示可能な画像をレンダリングすることを含み、圧縮画像画素データが画像キャッシュメモリ内に無い場合は、次にビューアを用いて表示するための表示可能な画像のバージョンを離れた場所からダウンロードすることを含む。
例2は、プロセッサが、ネットワーク接続を介してシステムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストし、圧縮画像画素データを画像キャッシュにダウンロードするように動作可能であることを任意選択的に含み得る例1のシステムである。
例3は、プロセッサが、開始されているヘルスケア研究に応答してリクエストを生成してキューに入れ、ローダを使用してリクエストを離れて設置されたサーバに送り、離れて設置されたサーバから圧縮画像画素データを受け取り、離れて設置されたサーバから受け取った圧縮画像画素データを画像キャッシュ内に格納するようにさらに動作可能であることを任意選択的に含み得る例2のシステムである。
例4は、プロセッサが、圧縮画像画素データが画像キャッシュに格納されていないという決定に応答してサーバからの圧縮画像画素データをリクエストすることを任意選択的に含み得る例3のシステムである。
例5は、圧縮画像画素データが優先度に基づいてプロセッサによりリクエストされることを任意選択的に含み得る例4のシステムである。
例6は、ディスプレイに表示するために選択されたシリーズの一部である画像に関連付けられた圧縮画像画素データがより高い優先度を有すること、およびディスプレイに表示するために選択されたシリーズの一部でない画像に関連付けられた圧縮画像画素データの前にリクエストされることを任意選択的に含み得る例5のシステムである。
例7は、プロセッサが、ネットワーク速度が閾値を下回る低速ネットワーク環境を補うために、サーバから離れて設置されたサーバからの圧縮画像画素データをリクエストすることにより画像キャッシュからの圧縮画像画素データをリクエストするように動作可能であることを任意選択的に含み得る例1のシステムである。
例8は、画像がDICOM画像を備えることを任意選択的に含み得る例1のシステムである。
例9は、プロセッサが、レビューのために研究が開始される前にバックグラウンドプロセスとして圧縮画像データを画像キャッシュにダウンロードするように動作可能であることを任意選択的に含み得る例1のシステムである。
例10は、ビューアがブラウザの一部であることを任意選択的に含み得る例1のシステムである。
例11は、グラフィックユーザインタフェース(GUI)にヘルスケア研究からの画像を表示するための方法であって、方法は表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にあるかどうかを決定することを含み、表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システム内の画像キャッシュメモリ内にある場合は、次に画像キャッシュからの圧縮画像画素データをフェッチすることであって、画像画素データがヘルスケア研究内のシリーズからの画像のプレレンダリングされたバージョンを表す、フェッチすること、画像画素データを取得するために圧縮画像画素データを解凍すること、画像画素データに一または二以上の画像処理動作を実行すること、画像処理が施された画像画素データから表示可能な画像を生成すること、およびディスプレイ上のビューアを用いて表示するために表示可能な画像をレンダリングすることを含み、表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内に無い場合は、次にビューアを用いて表示するために表示可能な画像のバージョンを離れた場所からダウンロードすること、およびビューアを用いて表示可能な画像を表示することを含む。
例12は、ネットワーク接続を介してシステムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストすること、および圧縮画像画素データを画像キャッシュにダウンロードすることを任意選択的に含み得る例11の方法である。
例13は、ビューアを用いて表示するための表示可能な画像のレンダリングされたバージョンを離れた場所からダウンロードすることが、研究が開始されていることに応答して医療画像管理システムにおいてリクエストを生成してキューに入れること、医療画像管理システムのローダによりリクエストを離れて設置されたサーバに送ること、医療画像管理システムにより離れて設置されたサーバから圧縮画像画素データを受け取り、離れて設置されたサーバから受け取った圧縮画像画素データを画像キャッシュ内に格納することを任意選択的に含み得る例11の方法である。
例14は、圧縮画像画素データが優先度に基づいてフェッチされ得ることを任意選択的に含み得る例11の方法である。
例15は、ディスプレイに表示するために選択されたシリーズの一部である画像に関連付けられた圧縮画像画素データがより高い優先度を有すること、およびディスプレイで表示するために選択されたシリーズの一部でない画像に関連付けられた圧縮画像画素データの前にリクエストされることを任意選択的に含み得る例14の方法である。
例16は、画像がDICOM画像を備えることを任意選択的に含み得る例11の方法である。
例17は、ビューアがブラウザの一部であることを任意選択的に含み得る例11の方法である。
例18は、その中に少なくとも一つのプロセッサおよび一つのメモリを有するシステムにより実行されるとグラフィックユーザインタフェース(GUI)内のヘルスケア研究からの画像を表示するための方法をシステムに実行させる、そこに格納された命令を有する非一過性コンピュータ可読ストレージ媒体であり、ここで方法は表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にあるかどうかを決定することを含み、表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にある場合は、次に画像キャッシュからの圧縮画像画素データをフェッチすることであって、画像画素データがヘルスケア研究内のシリーズからの画像のプレレンダリングされたバージョンを表す、フェッチすること、画像画素データを取得するために圧縮画像画素データを解凍すること、画像画素データに一または二以上の画像処理動作を実行すること、画像処理が施された画像画素データから表示可能な画像を生成すること、およびディスプレイ上のビューアを用いて表示するための表示可能な画像をレンダリングすることを含み、表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内に無い場合は、次にビューアを用いて表示するための表示可能な画像のバージョンを離れた場所からダウンロードすること、およびビューアを用いて表示可能な画像を表示することを含む。
例19は、方法がネットワーク接続を介してシステムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストすること、および圧縮画像画素データを画像キャッシュにダウンロードすることを任意選択的にさらに含み得る例18のコンピュータ可読ストレージ媒体である。
例20は、ビューアを用いて表示するために表示可能な画像のレンダリングされたバージョンを離れた場所からダウンロードすることが、開始されている研究に応答して医療画像管理システムにおいてリクエストを生成してキューに入れること、医療画像管理システムのローダにより離れて設置されたサーバにリクエストを送ること、医療画像管理システムにより離れて設置されたサーバから圧縮画像画素データを受け取り、離れて設置されたサーバから受け取った圧縮画像画素データを画像キャッシュ内に格納することを任意選択的に含み得る例19のコンピュータ可読ストレージ媒体である。
上記の詳細な説明のいくつかの部分は、コンピュータメモリ内部のデータビット上の動作のアルゴリズムおよび記号表現に関して示される。これらのアルゴリズムによる記述および表現はデータ処理分野の当業者の仕事の内容を、彼らが当該技術分野の他の当業者に最も効果的に伝えるために使用される手段である。ここで、および一般に、アルゴリズムは所望の結果へ導くステップの一貫性のあるシーケンスであるべきだと考えられる。これらのステップは物理量の物理的な操作を要求するものである。必ずしもそうではないが、通常これらの量は格納され、伝送され、組み合わせられ、比較され、および他の操作をされることのできる電気または磁気信号の形態を取る。主に一般的な使用の理由から、ビット、値、要素、記号、文字、用語、数字等のようなこれらの信号に言及する際に都合がよいことがわかっている。
しかしながら、これらの全ておよび類似の用語は適切な物理量に関連付けられるべきであり、単にこれらの量に適用される便利なラベルであることを念頭に置くべきである。特に断りの無い限り以下の議論から明らかであるように、詳細な説明全体を通じて、「処理する(processing)」または「算出する(computing)」または「計算する(calculating)」または「決定する(determining)」または「表示する(displaying)」等のような用語を活用する議論は、コンピュータシステムのレジスタおよびメモリ内部の物理(電子)量として表現されるデータをコンピュータシステムメモリまたはレジスタまたは他のこのような情報ストレージ、伝送または表示デバイス内部の物理量として同様に表現される他のデータに操作および変換するコンピュータシステム、または類似の電子コンピューティングデバイスの動作およびプロセスを指すことを理解されたい。
本発明はまた本明細書の動作を実行するための装置にも言及している。この装置は要求される目的のために特別に構築してもよく、またはコンピュータに格納されたコンピュータプログラムにより選択的に起動または再構成される汎用コンピュータを備えてもよい。このようなコンピュータプログラムはフロッピーディスク(登録商標)、光学ディスク、CD−ROM、および磁気光学ディスクを含む任意のタイプのディスク、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気もしくは光学カード、または電子命令を格納するのに好適であり、各々がコンピュータシステムバスに結合する任意のタイプの媒体のようなコンピュータ可読ストレージ媒体に格納され得るが、これらに限定されない。
本明細書で示されるアルゴリズムおよびディスプレイは任意の特定のコンピュータまたは他の装置に本質的に関連しない。様々な汎用システムは本明細書の教示に即したプログラムを用いて使用されてもよく、または要求された方法のステップを実行するための専門的な装置を構築するために都合がよいことが判明する可能性がある。様々なこれらのシステムに適した要求される構造は以下の説明から明らかになるであろう。加えて、本発明は任意の特定のプログラミング言語を参照して説明されない。本明細書に記載されるように様々なプログラミング言語が本発明の教示を実装するために使用され得ることを理解されたい。
機械可読媒体は機械(例えば、コンピュータ)により読取り可能な形態の情報を格納または伝送するためのメカニズムを含む。例えば、機械可読媒体は読取り専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスクストレージ媒体、光学ストレージ媒体、フラッシュメモリデバイス、電気、光学、音響または他の形態の伝搬信号(例えば、搬送波、赤外線信号、デジタル信号等)等を含む。
本発明の多くの変更および修正が明らかであることは以上の詳細な説明を読まれた当業者においては疑いの無いことであるが、例示の目的で示され、説明された任意の特定の実施形態は限定するものとみなされることを意図したものでは全くないことを理解されるべきである。したがって、様々な実施形態の詳細への言及は本発明に不可欠であるとみなされるこれらの特徴のみを列挙する特許請求の範囲を限定することを意図するものではない。

Claims (20)

  1. システムであって、
    圧縮画像画素データを受け取るためのネットワーク通信インタフェースと、
    圧縮DICOM画像画素データおよびレンダリングされた画像をキャッシュするための画像キャッシュメモリと、
    レビューのためにヘルスケア研究の開始に応答して画像レンダリングを実行するための、ネットワーク接続インタフェースおよびメモリに結合し画像レンダリングパイプラインを実装するように構成された一または二以上のプロセッサと、
    ビューアを用いて表示可能な画像を表示するために前記一または二以上のプロセッサに結合されたディスプレイと、
    を備え、
    前記画像レンダリングは
    表示するために選択された画像に関連付けられた圧縮画像画素データが画像キャッシュメモリ内にあるかどうかを決定すること
    を含み、
    圧縮画像画素データが画像キャッシュメモリ内にある場合、
    画像キャッシュから前記圧縮画像画素データを取得することであって、画像画素データが前記ヘルスケア研究内の互いに関連付けられた一群の画像の中の画像のプレレンダリングされた画像を表す、取得することと、
    前記画像画素データを取得するために前記圧縮画像画素データを解凍することと、
    前記画像画素データに一または二以上の画像処理動作を実行することと、
    画像処理が施された前記画像画素データから表示可能な画像を生成することと、
    前記ディスプレイ上のビューアを用いて表示するための前記表示可能な画像をレンダリングすることと、
    を含み、
    圧縮画像画素データが画像キャッシュメモリ内にない場合、
    前記ビューアを用いて表示するための前記表示可能な画像の圧縮画像画素データを離れた場所からダウンロードすること
    を含む、システム。
  2. 前記プロセッサが、ネットワーク接続を介して前記システムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストし、前記圧縮画像画素データを前記画像キャッシュにダウンロードするようにさらに動作可能である、請求項1に記載のシステム。
  3. 前記プロセッサが、
    開始されている前記ヘルスケア研究に応答して前記リクエストを生成してキューに入れ、
    ローダを使用して前記リクエストを前記離れて設置されたサーバに送り、
    離れて設置されたサーバから圧縮画像画素データを受け取り、当該離れて設置されたサーバから受け取った前記圧縮画像画素データを画像キャッシュ内に格納する
    ようにさらに動作可能である、請求項2に記載のシステム。
  4. 前記プロセッサが、前記圧縮画像画素データが前記画像キャッシュ内に格納されていないという決定に応答して前記サーバからの前記圧縮画像画素データをリクエストする、請求項3に記載のシステム。
  5. 前記圧縮画像画素データが優先度に基づいて前記プロセッサによりリクエストされる、請求項4に記載のシステム。
  6. 前記ディスプレイに表示するために選択された互いに関連付けられた一群の画像の一部である画像に関連付けられた圧縮画像画素データがより高い優先度を有し、前記ディスプレイに表示するために選択された前記互いに関連付けられた一群の画像の一部でない画像に関連付けられた圧縮画像画素データの前にリクエストされる、請求項5に記載のシステム。
  7. 前記プロセッサが、ネットワーク速度が閾値を下回る低速ネットワーク環境を補うために、サーバから離れて設置されたサーバからの前記圧縮画像画素データをリクエストすることにより画像キャッシュからの圧縮画像画素データをリクエストするように動作可能である、請求項1に記載のシステム。
  8. 前記画像がDICOM画像を備える、請求項1に記載のシステム。
  9. 前記プロセッサが、レビューのために研究が開始される前にバックグラウンドプロセスとして圧縮画像データを前記画像キャッシュにダウンロードするように動作可能である、請求項1に記載のシステム。
  10. 前記ビューアがブラウザの一部である、請求項1に記載のシステム。
  11. グラフィックユーザインタフェース(GUI)にヘルスケア研究からの画像を表示するための方法であって、方法が
    表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にあるかどうかを決定すること
    を含み、
    表示するために選択されたヘルスケア研究の画像に関連付けられた前記圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にある場合、次に
    画像キャッシュから前記圧縮画像画素データを取得することであって、画像画素データが前記ヘルスケア研究内の互いに関連付けられた一群の画像の中の画像のプレレンダリングされた画像を表す、取得することと、
    前記画像画素データを取得するために前記圧縮画像画素データを解凍することと、
    前記画像画素データに一または二以上の画像処理動作を実行することと、
    画像処理が施された前記画像画素データから表示可能な画像を生成することと、
    ディスプレイ上のビューアを用いて表示するための前記表示可能な画像をレンダリングすることと、
    を含み、
    表示するために選択されたヘルスケア研究の画像に関連付けられた前記圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内に無い場合、次に
    前記ビューアを用いて表示するための前記表示可能な画像の圧縮画像画素データを離れた場所からダウンロードすることと、
    ビューアを用いて前記表示可能な画像を表示することと、
    を含む、方法。
  12. ネットワーク接続を介してシステムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストすることと、前記圧縮画像画素データを前記画像キャッシュにダウンロードすることと、をさらに含む、請求項11に記載の方法。
  13. 前記ビューアを用いて表示するための前記表示可能な画像のレンダリングされた圧縮画像画素データを離れた場所からダウンロードすることが、
    開始されている研究に応答して前記医療画像管理システムにおいて前記リクエストを生成してキューに入れることと、
    前記医療画像管理システムのローダにより前記リクエストを前記離れて設置されたサーバに送ることと、
    前記医療画像管理システムにより離れて設置されたサーバから圧縮画像画素データを受け取り、当該離れて設置されたサーバから受け取った前記圧縮画像画素データを画像キャッシュ内に格納することと、
    を含む、請求項12に記載の方法。
  14. 前記圧縮画像画素データが優先度に基づいて取得される、請求項11に記載の方法。
  15. 前記ディスプレイに表示するために選択された互いに関連付けられた一群の画像の一部である画像に関連付けられた圧縮画像画素データがより高い優先度を有し、前記ディスプレイに表示するために選択された前記互いに関連付けられた一群の画像の一部でない画像に関連付けられた圧縮画像画素データの前にリクエストされる、請求項14に記載の方法。
  16. 前記画像がDICOM画像を備える、請求項11に記載の方法。
  17. 前記ビューアがブラウザの一部である、請求項11に記載の方法。
  18. その中に少なくとも一つのプロセッサおよび一つのメモリを有するシステムにより実行されるとグラフィックユーザインタフェース(GUI)内のヘルスケア研究からの画像を表示するための方法を前記システムに実行させる、そこに格納された命令を有する非一過性コンピュータ可読ストレージ媒体であり、前記方法が、
    表示するために選択されたヘルスケア研究の画像に関連付けられた圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にあるかどうかを決定すること、
    を含み、
    表示するために選択されたヘルスケア研究の画像に関連付けられた前記圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内にある場合、次に
    画像キャッシュから前記圧縮画像画素データを取得することであって、画像画素データが前記ヘルスケア研究内の互いに関連付けられた一群の画像の中の画像のプレレンダリングされた画像を表す、取得することと、
    前記画像画素データを取得するために前記圧縮画像画素データを解凍することと、
    前記画像画素データに一または二以上の画像処理動作を実行することと、
    画像処理が施された前記画像画素データから表示可能な画像を生成することと、
    ディスプレイ上のビューアを用いて表示するための前記表示可能な画像をレンダリングすることと、
    を含み、
    表示するために選択されたヘルスケア研究の画像に関連付けられた前記圧縮画像画素データが医療画像管理システムの画像キャッシュメモリ内に無い場合、次に
    前記ビューアを用いて表示するための前記表示可能な画像の圧縮画像画素データを離れた場所からダウンロードすることと、
    ビューアを用いて前記表示可能な画像を表示することと、
    を含む、非一過性コンピュータ可読ストレージ媒体。
  19. 前記方法が、ネットワーク接続を介して前記システムに対して離れて設置されたサーバからの圧縮画像画素データをリクエストすることと、前記圧縮画像画素データを前記画像キャッシュにダウンロードすることと、をさらに含む、請求項18に記載の非一過性コンピュータ可読ストレージ媒体。
  20. 前記ビューアを用いて表示するための前記表示可能な画像のレンダリングされた圧縮画像画素データを離れた場所からダウンロードすることが、
    開始されている研究に応答して前記医療画像管理システムにおいてリクエストを生成してキューに入れることと、
    前記医療画像管理システムのローダにより前記リクエストを離れて設置されたサーバに送ることと、
    前記医療画像管理システムにより離れて設置されたサーバから圧縮画像画素データを受け取り、当該離れて設置されたサーバから受け取った前記圧縮画像画素データを画像キャッシュ内に格納することと、
    を含む、請求項19に記載の非一過性コンピュータ可読ストレージ媒体。
JP2019149282A 2018-08-17 2019-08-16 画像ビューア Active JP6949909B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/999,158 US10643746B2 (en) 2018-08-17 2018-08-17 Image viewer
US15/999,158 2018-08-17

Publications (2)

Publication Number Publication Date
JP2020064610A JP2020064610A (ja) 2020-04-23
JP6949909B2 true JP6949909B2 (ja) 2021-10-13

Family

ID=68099434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019149282A Active JP6949909B2 (ja) 2018-08-17 2019-08-16 画像ビューア

Country Status (6)

Country Link
US (2) US10643746B2 (ja)
JP (1) JP6949909B2 (ja)
AU (1) AU2019216655B2 (ja)
CA (1) CA3051767C (ja)
ES (1) ES2772923R1 (ja)
GB (1) GB2578504B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605454B2 (en) * 2020-08-12 2023-03-14 GE Precision Healthcare LLC Method and system for caching medical images based on examination priority
US20220092225A1 (en) * 2020-09-24 2022-03-24 Nuvolo Technologies Corporation Floorplan image tiles
US11403820B1 (en) 2021-03-11 2022-08-02 International Business Machines Corporation Predictive rendering of an image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6876759B2 (en) * 2001-02-01 2005-04-05 Fuji Photo Film Co., Ltd. Image transmitting system, image transmitting method and storage medium
JP4642697B2 (ja) * 2006-05-24 2011-03-02 Necディスプレイソリューションズ株式会社 画像キャッシュメモリを有する画像表示装置
DE102007043657B4 (de) * 2007-09-13 2009-06-18 Siemens Ag Satellitenübergreifende Speicherorganisation für medizinische Bilddaten
US8712120B1 (en) * 2009-09-28 2014-04-29 Dr Systems, Inc. Rules-based approach to transferring and/or viewing medical images
EP2564352A1 (en) * 2010-04-30 2013-03-06 Vucomp, Inc. Microcalcification detection and classification in radiographic images

Also Published As

Publication number Publication date
GB201911779D0 (en) 2019-10-02
US10643746B2 (en) 2020-05-05
AU2019216655B2 (en) 2021-11-25
AU2019216655A1 (en) 2020-03-05
GB2578504A (en) 2020-05-13
GB2578504B (en) 2022-06-22
US20200203005A1 (en) 2020-06-25
US11404158B2 (en) 2022-08-02
JP2020064610A (ja) 2020-04-23
ES2772923A2 (es) 2020-07-08
CA3051767C (en) 2022-12-06
US20200058388A1 (en) 2020-02-20
CA3051767A1 (en) 2020-02-17
ES2772923R1 (es) 2020-12-10

Similar Documents

Publication Publication Date Title
US10607341B2 (en) Rules-based processing and presentation of medical images based on image plane
US10129553B2 (en) Dynamic digital image compression based on digital image characteristics
US10134126B2 (en) Intelligent dynamic preloading and processing
US8457990B1 (en) Smart placement rules
US20140006926A1 (en) Systems and methods for natural language processing to provide smart links in radiology reports
US10977796B2 (en) Platform for evaluating medical information and method for using the same
JP6949909B2 (ja) 画像ビューア
US11900266B2 (en) Database systems and interactive user interfaces for dynamic conversational interactions
US20110222746A1 (en) Displaying radiological images
US20120159324A1 (en) Systems and methods for software state capture and playback
US11094062B2 (en) Auto comparison layout based on image similarity
US20130108126A1 (en) Multi-image viewer for multi-sourced images
US11170889B2 (en) Smooth image scrolling
US20220181005A1 (en) Utilizing multi-layer caching systems for storing and delivering images
US20200118659A1 (en) Method and apparatus for displaying values of current and previous studies simultaneously

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210922

R150 Certificate of patent or registration of utility model

Ref document number: 6949909

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150