JP6261894B2 - 医用画像表示装置及び方法 - Google Patents

医用画像表示装置及び方法 Download PDF

Info

Publication number
JP6261894B2
JP6261894B2 JP2013139159A JP2013139159A JP6261894B2 JP 6261894 B2 JP6261894 B2 JP 6261894B2 JP 2013139159 A JP2013139159 A JP 2013139159A JP 2013139159 A JP2013139159 A JP 2013139159A JP 6261894 B2 JP6261894 B2 JP 6261894B2
Authority
JP
Japan
Prior art keywords
display
image
medical
medical image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013139159A
Other languages
English (en)
Other versions
JP2014014679A (ja
Inventor
チリン シャオ
チリン シャオ
ヤン ソン
ヤン ソン
ザンズ ジャン
ザンズ ジャン
ジリャン ジャン
ジリャン ジャン
ユフェイ リ
ユフェイ リ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Medical Systems Corp filed Critical Toshiba Medical Systems Corp
Publication of JP2014014679A publication Critical patent/JP2014014679A/ja
Application granted granted Critical
Publication of JP6261894B2 publication Critical patent/JP6261894B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明の実施形態は、コンピュータ視覚分野に関し、具体的には、医用画像表示装置及び方法に関する。
近年、医学分野において、画像合成が広く用いられている。画像合成とは、二つ、或いは二つ以上の異なる情報種類の画像を一つの画像に合成(fusion)し、より豊富な情報量を取得するための技術である。医用画像の合成においては、観察目的によって、医用画像の組み合わせパターンも様々である。例えば、異なるイメージング装置から取得される画像(異なるモダリティの画像とも呼ばれる)或いは同一イメージング装置の異なる撮影シーケンス(sequence)によって取得された画像を合成させる。撮影シーケンスとは、イメージング装置が基本的に同一時刻にイメージング対象の異なる位置で取得した、相互に平行する複数の画像であり、各位置に対応する画像はスライス(slice)とも呼ばれる。そのため、合成装置において、各種の医用画像を効率的に管理することは重要である。
従来の合成装置においては、合成に使用する各入力画像及び合成された合成画像がそれぞれスクリーンにある一つのウィンドウを占有する。複数の入力画像がある場合や、複数の合成画像がある場合には、表示ウィンドウ資源の不足をもたらす。
他の合成装置においては、複数の入力画像がサムネイルの方式で配置され、一度に一つの画像しか操作できないこともある。入力画像を変更した後には、前回の入力画像での操作は維持できない。
特開2007−282656号公報 特開2009−095671号公報 特開2007−144175号公報 特開2000−105279号公報 特開2006−053102号公報
本発明が解決しようとする課題は、複数の医用画像から合成画像を作成する上で、参照性及び操作性の良いGUIを提供することができる医用画像表示装置及び方法を提供することである。
実施形態の医用画像表示装置は、表示制御部と、検出部と、生成部とを備える。表示制御部は、被験者の略同一部位が撮像された複数の医用画像を、互いに一部の画像領域を重畳させて表示部の第1表示領域に表示する。検出部は、前記複数の医用画像それぞれを指定する旨の指定操作を検出する。生成部は、前記指定操作によって指定されたそれぞれの医用画像を合成した合成画像を生成する。表示制御部は、前記表示部のうち前記第1表示領域とは異なる第2表示領域に前記合成画像を表示する。
図1は、本発明の実施形態に基づく医用画像表示装置を示すブロック図である。 図2は、本発明の実施形態に基づく医用画像合成方法を示すフロー図である。 図3Aは、本発明の実施形態に基づく合成ウィンドウを示す図である。 図3Bは、本発明の実施形態に基づく合成ウィンドウを示す図である。 図3Cは、本発明の実施形態に基づく合成ウィンドウを示す図である。 図4は、本発明の実施形態に基づく合成の解除操作を示す図である。 図5は、本発明の実施形態に基づく層間隔変更操作を示す図である。 図6は、本発明の実施形態に基づく順序変更操作を示す図である。 図7は、本発明の実施形態に基づく層回転操作を示す図である。 図8は、本発明の実施形態に基づく配列方向回転操作を示す図である。 図9は、本発明の実施形態に基づく画像を非表示或いは表示する操作を示す図である。 図10は、本発明の実施形態に基づく画面全体の画面切替操作を示す図である。 図11は、本発明の実施形態に基づく移転操作を示す図である。 図12は、本発明の実施形態に基づく方法/装置を実施できるコンピュータ構成を示す図である。
以下に本発明に関する概要を提出し、本発明についての一側面の基本的な理解を提供する。理解すべきことに、該概要は本発明に関する網羅的な概要ではない。それは本発明の鍵となる部分或いは重要な部分を決定するために意図されておらず、また本発明の範囲を制限する意図ではなく、簡単化である形式である概念をあげることによって、後にもっと詳しく述べる内容の前書きとすることである。
本発明の一つの側面においては、医用画像表示装置を提供する。医用画像表示装置は、複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向が違う表示ユニットと、前記複数の医用画像に合成する医用画像を選択する操作を検出するための操作検出ユニットと、選択の操作によって合成する医用画像の合成画像を生成する合成画像生成ユニットとを備え、また、前記表示ユニットが合成画像をウィンドウにある所定領域に表示する。
本発明の他の側面においては、医用画像表示方法を提供する。医用画像表示方法は、複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向が違うことと、前記複数の医用画像に合成する医用画像を選択する操作を検出することと、前記選択の操作によって合成する医用画像の合成画像を生成する合成画像と、前記合成画像を前記ウィンドウにある所定領域に表示させることとを含む。
また、本発明の他の側面では、さらに、前記方法を実現するコンピュータプログラムを提供する。
その他、本発明の他の側面では、さらに、少なくともコンピュータ読み取り可能な媒体の形式であるコンピュータプログラム製品を提供し、その上に前記方法を実現するためのコンピュータプログラムコードが記録される。
本発明は、下記の図面にある説明と組み合わせてよく理解するようになり、全ての図面に同一或いは類似の図面の符号によって、同一或いは類似の部分を表す。前記図面は、以下の詳細な説明とともに本明細書に含んで本明細書の一部分になり、例を挙げてさらに本発明の好適な実施形態を説明し、また本発明の原理と効果を説明する。
以下、本実施形態について図面を参照しながら説明する。本発明の一つの図面或いは一実施形態に表す要素と特徴は一つ或いは複数の他の図面或いは実施形態にある要素と特徴と組み合わせても良い。注意すべきことは、明瞭化するために、図面及び説明には本発明と関係ない、或いは当業者に周知の要素及び処理について表示と説明を省略する。
図1は、本発明の実施形態に基づく医用画像表示装置を示すブロック図である。図1に示すように、医用画像表示装置100は操作検出ユニット110、合成画像生成ユニット120及び表示ユニット130を備える。表示ユニット130は複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向(或いは医用画像の階層的な方向)は各医用画像の平面の延伸方向が異なる。前記スクリーンは、各種の適当な表示装置であるスクリーンであり、例えば、ディスプレイ、タッチスクリーンなどのスクリーンである。操作検出ユニット110は、前記複数の医用画像から合成される医用画像を選択する選択操作をスクリーン上で検出する。合成画像生成ユニット120は、操作検出ユニット110が検出した選択操作によって合成される医用画像の合成画像を生成する。表示ユニット130は、生成した合成画像を前記ウィンドウにある所定領域に表示させる。
理解すべきことは、表示ユニットが表示する複数の医用画像は登録した医用画像である。医用画像表示装置100に入力する前に複数の医用画像に登録する。或いは、医用画像表示装置100に複数の医用画像を登録するための登録ユニットを含むことが出来る。ここでは、本発明を必要以上に曖昧することを避けるために、医用画像の登録を詳しく説明しない。
図1に操作検出ユニット110と表示ユニット130の間の点線接続は本発明の他の実施形態に表示し、表示ユニット130は操作検出ユニット110が検出された操作に基づいて、相応の医用画像或いは合成画像の表示を変更/表示/非表示する。この接続関係は選択可能で必須ではなく、後で説明する。
理解を促すために、図3A−3Cは、本発明の実施形態に基づく合成ウィンドウを示す図である。
図3Aにおいて、ウィンドウの下側の四つの画像は、階層的に表示された四つの医用画像の図である。図3Aにおいて、医用画像の配列方向(例えば、中空の矢印に示すように)は、各医用画像の平面の延伸方向とは基本的には垂直である。該図において、合成画像は、ウィンドウの最上段に表示され、医用画像の最上層より上の層に位置する。該合成画像は、四つの医用画像から選択された二つの医用画像(例えば、実線の矢印で示すように)が合成されることにより形成される。
図3Bにおいて、ウィンドウの下側の四つの画像は、階層的に表示された四つの医用画像の図である。医用画像の配列方向(例えば中空の矢印に示すように)は、各医用画像の平面の延伸方向とは異なり、概ね各医用画像の平面の延伸方向と垂直である。該図において、合成画像がウィンドウの最上段に表示され、医用画像の最上層より上の層に位置する。合成画像は、四つの医用画像の中から選択された二つの医用画像(例えば実線の矢印に示すように)が合成されることにより形成される。
図3Cにおいて、ウィンドウの左上側にある四つの画像は、階層的に表示された四つの医用画像の図である。医用画像の配列方向(例えば、中空の矢印に示すように)は、各医用画像の平面の延伸方向とは異なる。本実施形態においては、各医用画像の配列方向は、各医用画像の平面と交差する。合成画像はウィンドウの右下側に表示され、最右側の医用画像の外側にあり、さらに四つの医用画像から選択された二つの医用画像(例えば実線の矢印に示すように)が合成されることにより形成される。
合成ウィンドウの例として、図3A−図3Cに示した医用画像及び合成画像の表示は、一例であり、これに限定するものではなく、スクリーン上のウインドウに複数の医用画像が階層的に表示されても良いし、複数の医用画像の配列方向が各医用画像の平面の延伸方向と異なっていて良いし、合成画像がウィンドウの所定領域に表示されても良い。以上の説明と図面において、当業者は本発明の発想に基づく医用画像及び合成画像の表示を複数思い出さられ、例えば、複数の医用画像に一部分の医用画像は重なることがあるとか、或いは合成画像がウィンドウの他の位置に表示するとか、ここで一々列挙しないことにする。
本発明の一つの実施形態に、図3Cに示すように、表示ユニット130は複数の医用画像と合成画像を二次元の画像を表示できる。例えば、表示ユニット130は医用画像がウィンドウにある位置を設置することで、階層的な医用画像を表示でき、さらに合成画像を所定領域に設置することで、所定領域に合成画像を表示する。二次元画像の表示が占めるシステム資源が比較的に少ない。
他の実施形態としては、図3A及び図3Bに示すように、表示ユニット130は、複数の医用画像と合成画像を三次元画像として表示しても良い。例えば、表示ユニット130は、従来の適切な方法で複数の医用画像に対して三次元レンダリングを行って三次元ボリュームデータを形成し、さらに該三次元ボリュームデータをウィンドウに表示し、また従来の適切な方法で合成画像に対して三次元レンダリングして、さらに三次元レンリングした合成画像をウィンドウにある所定位置に表示し、好適に複数の医用画像の三次元ボリュームデータとして表示する。医用画像と合成画像を三次元画像として表示することによって、ユーザーは各画像を直感的に観察でき、特に入力した各医用画像の間に空間の関係があるときは、この効果が顕著である。ここで、図3A及び図3Bを三次元レンリングの例とする。しかしながら、図3Cが示すのは二次元表示でもいいし、図3Cに基づいて三次元レンダリングしても良いことは、明らかである。
理想的には、図3Aに示すように、各層の医用画像は重畳することなく、各画像を完全に表示することができる。しかし、図3B及び図3Cに示すように、膨大な数の医用画像の入力があれば、隣接の層の医用画像は少なくとも部分的に重畳することができ、さらに医用画像が占めるウィンドウの領域を節約し、それによって、一つのウィンドウに複数の医用画像を表示しても良い。各層の医用画像は、互いに平行に配置しても良い。さらに、合成画像も各層の医用画像と平行に配置しても良い。
観察と操作のために、図3A−図3Cに示すように、合成画像を表示するための所定領域が、複数の医用画像の最外層の医用画像の外側に設けることができる。理解すべきは、所定領域は、ウィンドウの中において使用者が簡単に観察できる他の任意の位置に設けることができる。
合成に用いる複数の医用画像は、異なるモダリティ及び/又は異なる撮影シーケンス(sequence)の医用画像を含めることができる。観察を促すために、本発明の一つの好適な実施形態において、表示ユニット130は、ウィンドウにおいて、第一の標識により異なるモダリティの医用画像を際立たせ(区別を可能にする)、第二の標識により異なる撮影シーケンスの医用画像を際立たせる。更に、表示ユニット130は、合成された医用画像の標識の組み合わせにより合成画像を標識できる。
例としてこれに制限されるものではなく、異なるモダリティの医用画像は異なる枠の色で互いに識別され、同一のモダリティにある異なる撮影シーケンスの医用画像はシリアルナンバーにより互いに識別される。例えば、図3A−図3Cにおいては、実線(水平線又は垂線)で表示する医用画像は同じモダリティで異なる撮影シーケンスの医用画像に属し、それは同じ枠の色(図示せず)及び異なるシリアルナンバー1と2がある。点線(左斜線)で表示する医用画像と点線(右斜線)で表示する医用画像はそれぞれ実線で画像を表示する医用画像とは、異なるモダリティに属する医用画像であって、実線で画像を表示する医用画像と異なる枠の色を有する(図示せず)。その他、図3A−図3Cに、合成画像の枠の色は合成に関与する医用画像の枠の色の混合色でもよく(図示せず)、合成画像のシリアルナンバーは合成に関与する医用画像のシリアルナンバーの組合せでもかまわない。以上の説明に基づいて、本分野の当業者であれば、容易に思いつく他の標識により異なるモダリティと異なる撮影シーケンスの医用画像を標識する方法も含めることができるが、ここで一々挙げないことにする。
以下に図3A−図3Cを組み合わせて、図4−図11は操作検出ユニット110が検出した各種の操作及びそれらの操作に対応する処理を説明する。
予め決められた選択操作は、複数の医用画像から合成する医用画像を選択するために用いられ、合成する医用画像をウィンドウの所定領域と関連付ける。図3A−図3Cに示すように、選択操作の例として、合成する医用画像(或いはそのコピー)を所定領域にドラッグアンドドロップする。選択操作の他の例として、まずは合成する医用画像に所定回数のクリック(例えばダブルクリック)をしてから所定領域をクリックして、両者を関連付けさせ、合成する医用画像(或いはそのコピー)を所定領域に配置することを示す。前記選択操作は、例えば、マウスでスクリーンの上のカーソルを動かしたり、タッチスクリーン上を指でタッチしたりすることで実現できる。操作検出ユニット110は、従来のいずれの適切な技術によりスクリーンの上の選択操作を検出できるが、ここでは詳しく説明しないことにする。
合成画像生成ユニット120は、操作検出ユニット110が検出した選択操作に基づいて、選択した医用画像を合成させ、合成画像を生成する。合成画像生成ユニット120は、従来のいずれの適切な合成方法により医用画像の合成できるが、ここでは詳しく説明しない。
その他、ある合成方法について、合成に関与する画像を重ねる順序は、合成の結果に影響する。例えば、合成計算方法によっては、時には後に追加した医用画像のピクセルは、先に追加した医用画像のピクセルにオーバーラップする可能性があり、時には逆にオーバーラップしないこともある。したがって、本発明の一つの実施形態において、合成画像生成ユニット120は、選択操作の選択順序によって、合成する医用画像を重ね、合成画像を生成する。例えば、先に選択した医用画像は先に合成に加え、後で選択した医用画像は後で合成に加え、或いはそれと反する順序で行う。
(合成画像の表示の解除)
合成を解除する場合、操作検出ユニット110は、合成の解除操作を検出でき、表示ユニット130は、合成の解除操作によって合成画像の表示を解除(キャンセル)できる。図4に示すように、合成の解除操作の一つの例として、合成画像を所定領域の外側に移動させる。合成の解除操作のもう一つの例として、所定回数のクリックをして(例えばダブルクリック)画像を合成する。マウスでスクリーンの上のカーソルを動かしたり、タッチスクリーン上を指でタッチしたりすることで実現できる。操作検出ユニット110は、従来のいずれの適切な技術によりスクリーンの上の合成キャンセル操作を検出できるが、ここでは詳しく説明しない。
前記枠の色により異なるモダリティの医用画像を識別してシリアルナンバーにより異なる撮影シーケンスの医用画像を識別する例において、医用画像と合成画像に対する操作も対応する画像のシリアルナンバーの操作で実現できる。例えば、選択操作は、医用画像のシリアルナンバーをドラッグアンドドロップ或いはクリックすることなどの合成する医用画像のシリアルナンバーの操作で、合成する医用画像を所定領域と関連付けさせる。同様に、合成の解除操作も、合成画像のシリアルナンバーをドラッグアンドドロップして合成画像を所定領域の外側に移動させるなどの合成画像のシリアルナンバーの操作で実現される。
(層間隔の変更)
操作検出ユニット110は、層の間隔を変更する層間隔変更操作を検出でき、表示ユニット130は層間隔変更操作によって、ウィンドウに二層或いは多層の間の間隔で変更後の各層の画像を表示する。図5は本発明の実施形態に基づく層間隔変更操作を示す図である。図5に、左側にウィンドウに下から数えて第2−3層の画像に層間隔変更操作を行い、右側にウィンドウに表示する各層の画像に、下から数えて第2−3層の画像の層間隔が変更する。層間隔変更操作の一つの例として、上に或いは下に画像をドラッグアンドドロップして該層の画像が隣層の画像との間隔を変更する。層間隔変更操作のもう一つの例として、二層画像の間の位置に予定の回数をクリックして(例えばダブルクリック)二層画像の間隔を予定の程度を変更する。層間隔変更操作を利用し、ユーザーはもっとはっきり画像の中の興味ある区域(ROI)をチェックでき、特に画像の中の興味ある区域が隣層画像で遮断する場合である。層間隔変更操作は一回きりで隣同士の二層画像の距離だけをかえることもできるが、一回きりで多層画像の間の距離を変えるようにしてもよい。例えば、複数の画像を同時に選択でき、例えば、ブロックを用いてある縁あるいはある角などの多層画像の対応区域を囲んで、或いはブロックを用いて多層画像が対応するシリアルナンバーを囲んで、該ブロックを拡大することによって、多層画像を同時に相互の距離の増大を実現することができる。
(層順序の変更)
操作検出ユニット110は、層の順序を変更する順序変更操作を検出でき、表示ユニット130は、順序変更操作によってウィンドウに層の順序を変更後の複数の医用画像を表示する。図6は、本発明の実施形態に基づく順序変更操作を示す図である。図6の左側に示すように、ウィンドウの下から数えて1番目と4番目の画像の層の順序を変更する順序変更操作が行われると(矢印で示すように)、右側のウィンドウに表示された各層の画像のように、下から数えて1番目と4番目の画像の順序が変更される。順序変更操作の一つの例として、層の順序を変更する医用画像のシリアルナンバーなどの配列標識を所望の層の位置にドラッグアンドドロップする。順序変更操作を利用して、ユーザーは画像における関心領域をさらに明確に検出できる。順序変更操作と同様に、同時に二層の画像の順序が変えられ、同時に多層の画像の順序も変えられる。例えば、順序変更操作の方式と同様に多層の画像を選択した後、順序変更操作をし、それによって、全体的に順序の逆転などの多層の画像の順序を変更することを実現できる。
複数の層の画像の選択は、上記の層の間隔の変更操作と層の順序の変更操作の両方に言及する。この場合、一度に多数の層の画像が選択され、選択した多数の層の画像に対して(例えば前記選択ブロックに対して)右ボタンをクリックし、右クリックメニューから「順序反転」「距離延長」「距離短縮」などの操作を選択する。層の回転操作、画像非表示或いは表示操作、表示パラメーターの変更操作、表示内容の変更操作などに関する同様の処理が実行できる。
(層の回転)
操作検出ユニット110は、層を回転させる旨の層回転操作を検出でき、表示ユニット130は層回転操作によってウィンドウに回転した各層の画像を表示できる。図7は、本発明の実施形態に基づく層回転操作を示す図である。図7に示すように、図の左側において、各層の画像は、その各層の画像の配列方法Aを反時計回りに約90度を回転させ、図の右側において、ウィンドウに90度回転させた各層の画像を表示する。層回転操作の一つの例として、医用画像の配列方向を回して回転的なドラッグアンドドロップ(図7の曲がった矢印に示すように)をし、或いは医用画像の外側にある合成画像の任意の角をドラッグアンドドロップして、各層の画像をドラッグアンドドロップの幅と相応する角度を回転させる。層回転操作のもう一つの例として、所定のホットキー「Ctrl+L」を入力して層回転操作を動作させ、各層の画像を所定の角度回転させる。例えば、毎回のホットキー操作は、各層の画像の配列方向を回って時計回り或いは反時計回りで90度を回転させる。層回転操作を利用して、ユーザーは画像のそれぞれの部分を検出でき、特に画像に興味ある領域がカバーされる時、画像にその部分をさらに明確に検出できる。
(配列方向の回転)
操作検出ユニット110は、配列方向を回転させる配列方向回転操作を検出でき、表示ユニット130は、配列方向回転操作によってウィンドウに配列方向が回転された各層の画像を表示する。図8は、本発明の実施形態に基づく配列方向の回転操作を示す図である。図8に示すように、図の左側において、ウィンドウにある垂直に配列する各層の画像の配列方向Aを左に約90度を回転させ、図の右側において、ウィンドウに配列方向が回転して水平配列になった各層の画像を表示する。配列方向回転操作の一つの例として、各層の画像以外の位置に各層の画像の配列方向を他の方向にドラッグアンドドロップして(図8の曲がった矢印に示すように)、各層の画像の配列方向を他の方向に回転させる。配列方向回転操作のもう一つの例として、所定のホットキー「Ctrl+L」を入力して配列方向回転操作を動作させ、配列方向を所定の角度を回転させる。例えば、毎回のホットキー操作は、各層の画像の配列方向を時計回り或いは反時計回りに90度回転させる。配列方向回転操作を利用して、ユーザーは、画像のそれぞれの部分をチェックし、画像に興味ある領域をよりはっきりとチェックすることができる。例えば、図3Bに示す配列方向から図3Cに示す位置に変えられる。この過程に、配列方向は任意の中間状態で留められる。
(表示/非表示の切替)
操作検出ユニット110は、画像の非表示或いは表示操作を検出でき、表示ユニット130は、画像の非表示或いは表示操作によってウィンドウに複数の医用画像にある一部の医用画像を非表示あるいは表示させる。ここで、一部の医用画像とは、例えば、合成に関与しない医用画像、或いは合成に関与する医用画像、或いは任意の他の基準に基づいて識別される異なる画像の部分集合などである。図9は、本発明の実施形態に基づく画像の非表示或いは表示操作を示す図である。例えば、左側において、ウィンドウに画像の非表示操作をし、右側において、ウィンドウに合成に関与していない医用画像を非表示する(下から数えて第2−3層の画像)。逆に、右側において、ウィンドウに画像表示操作をしたら、左側において、ウィンドウに合成に関与しない医用画像を表示する(下から数えて第2−3層の画像)。画像非表示或いは表示操作の一つの例として、ウィンドウの所定の位置に所定の回数をクリックして(例えばダブルクリック)画像の非表示と表示にスイッチする。画像非表示或いは表示操作のもう一つの例として、所定のホットキー例えば「Ctrl+H」を入力して画像の非表示操作を動作させ、「Ctrl+H」を入力して画像の表示操作を動作させ、或いは同じホットキーで画像の非表示と表示にスイッチする。画像の非表示或いは表示操作を利用して、入力した医用画像が多くある場合に、合成に関与しない画像を非表示でき、表示スペースを節約できるようになる。
(画面の切替)
操作検出ユニット110は、画面(ウィンドウ)全体を切り替える画面切替操作を検出でき、表示ユニット130は、画面切替操作によって、複数の医用画像と合成画像の表示と、合成画像或いは選択された医用画像の画面全体表示との間で、画面の表示を切り替える。図10は、本発明の実施形態に基づく画面全体の画面切替操作を示す図である。図10に示すように、画面全体の画面切替操作によって、画面の表示は、図の左側にある複数の医用画像と合成画像の表示が、図の右側にある合成画像或いは選択された医用画像の画面全体表示(該例に画面全体が合成画像を表示した)との間で切り替える。画面全体の画面切替操作の一つの例として、所定の回数をクリックして(例えばダブルクリック)合成画像或いは任意の医用画像は画面全体表示が該合成画像或いは該任意の医用画像を表示することに切り替え、或いは画面全体が表示する場合に元の表示状態に切り替える(画面に合成画像と複数の医用画像を表示する)。画面全体表示操作を利用して、合成画像或いは選ばれた医用画像をもっと完全に、はっきりとチェックすることができる。
(表示パラメーターの変更)
操作検出ユニット110は、選択された合成する医用画像の表示パラメーターを変更するための表示パラメーター変更操作を検出でき、合成画像生成ユニット120は、表示パラメーターが変更された選択された医用画像を用いて、合成画像を再生成し、それに表示ユニット130は表示パラメーター変更操作によって、ウィンドウに表示パラメーターを変更後の医用画像及び再生成した合成画像を表示する。例えば、合成する医用画像の明るさ、コントラスト、透明度、表示区域の大きさなどの表示パラメーターを変えて、医用画像の表示効果を変更する。医用画像で合成する医用画像の表示効果も相応的に変更する。表示パラメーターの変更操作の一つの例として、選択して得られた画像をウィンドウに表示するウィンドウレベルの値を調節して医用画像の明るさを変え、ウィンドウに表示するウィンドウの幅の値を調節して医用画像のコントラストを変え、選択された画像の透明度範囲(例えばバーで示す)の指示器をドラッグアンドドロップして(例えばカーソルで示す)画像の透明度を変え、スケール操作で画像の表示領域の大きさを変更する。画像の表示領域は画像の枠が限定する領域である。画像の表示領域の大きさが変更される時に、画像の拡大率も相応的に変えて、それによって、画像の大きさがその表示領域の大きさに適応する。選択された表示パラメーターを変更する画像の縁或いはシリアルナンバーなどの配列標識はハイライト表示にされ、ユーザーに該画像の表示パラメーターを変えていることを提示する。表示パラメーターの変更操作はただ単層の医用画像に対してだけではなく、多層の医用画像に対して行われても良い。或いは、単層の医用画像に表示パラメーターの変更操作をする時に、該操作は同時に他の層の医用画像及び/又は合成画像に適用することを設定する。
操作検出ユニット110は、選ばれた合成する医用画像の表示内容を変更するための表示内容の変更操作を検出でき、合成画像生成ユニット120は、表示内容を変更後の選択された医用画像で合成画像を再生成することに用いられ、それに表示ユニット130は、表示内容の変更操作によってウィンドウに表示内容を変更後の医用画像及び再生成した合成画像を表示する。ズーム(zoom)操作で医用画像の拡大率を変え、表示ユニット130は、医用画像の表示領域が変わらない場合に、拡大或いは縮小した医用画像を表示する。それによって、大きさが変わらない表示領域に医用画像に関心のある領域を強調して表示する。また、パン操作で医用画像の観察位置を変え、表示ユニット130は、医用画像の表示領域が変わらない場合に、観察位置が移動した医用画像を表示する。例えば、ズーム操作で医用画像の拡大率を高めるときに、該医用画像が拡大された大きさはその表示領域の大きさを越えたため、該医用画像の表示領域に医用画像の一部分を表示する。この場合、パン操作で大きさが変わらない表示領域に拡大された医用画像のそれぞれの部分をチェックできる。また、ブラウズ操作で医用画像のスライス位置を変えられる。理解すべきことは、表示の一層の医用画像は、ある撮影シーケンスの医用画像でもかまわない。ブラウズ操作を通して(たとえば、マウスのホイールを転がす)、該層の表示領域に該撮影シーケンスの各医用画像をそれぞれ表示する。同じ撮影シーケンスである各医用画像が異なるスライス位置にある。スライス位置の変更操作を利用して、異なるスライスの画像をチェックできる。表示内容の変更操作は単層の医用画像に対してだけではなく、多層の医用画像に対して同時に行われる。或いは、単層の医用画像に表示内容の変更操作をする時に、該操作は同時に他の層の医用画像及び/又は合成画像に施すことを配置する。
操作検出ユニット110は、同期的に有効にするか解除する操作を検出できる。表示ユニット130は、同期的に有効にするか解除する操作によって、少なくとも二層の医用画像の間の表示を同期的に有効にするか解除し、表示パラメーター変更の同期と表示内容変更の同期を含む。特に、本発明が画像の合成に用いる目的で、その中の一層の医用画像のスライス位置を変更する時に、他層の医用画像最も合成に関与した医用画像のスライス位置が必ず同期でなければならない。しかし、各層医用画像は異なるモダリティ或いは異なる撮影シーケンスに属するため、同期に変更後の各層医用画像のスライス位置が精確的に対応しない可能性があり、その時に、同期を禁止し、各層の医用画像のスライス位置を一々(或いは一回で複数の)細かく調整する。
操作検出ユニット110は、スクリーンに生成した合成画像を他のウィンドウにポジショニングするための移転操作を検出でき、表示ユニット130は、移転操作によって、スクリーンに一つの或いは複数の他のウィンドウに一つの或いは複数の生成した合成画像を表示する。図11は、本発明の実施形態に基づく移転操作を示す図である。図11に示すように、移転操作によって、右上、左下と左上のウィンドウに生成した合成画像をそれぞれに表示する。移転操作の一つの例として、表示合成画像と複数の医用画像のウィンドウにある合成画像を他のウィンドウにドラッグアンドドロップして、他のウィンドウに前記合成画像を表示する。移転操作を利用して、複数のウィンドウに異なる合成画像を同時に表示できることによって、異なる合成画像の比較を行う。その他、他のウィンドウにおいて合成画像に様々な操作は、元のウィンドウに該合成画像を形成するための医用画像に影響させずに、実行可能である。さらに、移転操作は、合成に参加する医用画像を合成した合成画像とともに他のウィンドウにコピーできる。同様に、操作検出ユニット110は、他のウィンドウに対する第二ウィンドウ全体スイッチ操作を検出でき、表示ユニット130は、第二ウィンドウ全体スイッチ操作によって生成した合成画像のウィンドウ全体の表示が生成した合成画像の合成に関与する医用画像と生成した合成画像の表示との間で、前記他のウィンドウにある表示をスイッチする。それぞれの適切な方式で今操作するウィンドウを選択できる。理解すべきことは、他のウィンドウに適用する層の順序の変更操作、層の間隔の変更操作、層の回転操作、配列方向の回転操作、表示パラメーターの変更操作、表示内容の変更操作などを設定して、操作検出ユニット110は、他のウィンドウに対して前記任意の操作を検出し、それに表示ユニット130は、検出した操作によって前記他のウィンドウの表示を相応的に変更する。他のウィンドウに対する前記操作の検出と画像表示の相応の変更は前記元のウィンドウに対する相応の操作は大体同じで、ここでは重複しないことにする。
同様に、前記層の順序の変更操作、層の間隔の変更操作、層の回転操作、配列方向の回転操作、画像の非表示或いは表示操作、ウィンドウ全体のスイッチ操作、表示パラメーターの変更操作、表示内容の変更操作などは、マウスでスクリーンの上のカーソルを動かしたり、タッチスクリーン上を指でタッチしたりすることで実現できる。操作検出ユニット110は、従来の任意の適切な技術でスクリーンの上の或いは物理キーボードで入力した前記操作を検出し、ここでは詳しく説明しないことにする。その他、ホットキーで前記部分或いは全部操作を触発する時に、操作検出ユニット110は従来の任意の適切な技術でキーボード(例えば物理キーボード或いはスクリーンの上のソフトキーボード)で入力したホットキーを検出でき、ここでは詳しく説明しないことにする。
以上の説明によって、本分野の技術スタッフはもっと他の操作をデザインすることによって、ウィンドウに表示する医用画像或いは合成画像にもっと他の適切な処理を行い、ここで一々説明しないことにする。
図2は、本発明の実施形態に基づく医用画像合成方法を示すフロー図である。図2に示すように、ステップS210においては、複数の医用画像を階層的にスクリーンにあるウィンドウに表示し、前記複数の医用画像の配列方向は、各の医用画像の平面の延長方向とは異なる。ステップS220においては、前記複数の医用画像に合成する医用画像を選択するための選択画像を検出する。ステップS230においては、前記選択操作によって合成する医用画像の選択操作を生成する。ステップS240においては、合成画像をウィンドウにある所定領域に表示させる。ステップS210とステップS240は本発明の実施形態の医用画像表示装置110にある表示ユニット130によって行われ、ステップS220は操作検出ユニット110によって行われ、ステップS230は合成画像生成ユニット120によって行われる。前記医用画像合成方法の各ステップのもっと細かいところについて、以上に本発明の実施形態に基づく医用画像表示装置に各処理部の説明を参考でき、ここでは繰り返し説明しないことにする。
本発明の実施形態に基づく医用画像表示装置と方法によれば、複数の医用画像及び合成画像が一つのウィンドウに同時に表示し、ウィンドウの資源を節約した。複数の医用画像の階層的な表示は複数の医用画像に同時に操作できる。
一つの例として、前記医用画像合成方法の各のステップ及び前記医用画像表示装置の各の組成モジュール及び/又はユニットは医療診断装置(X線診断装置、超音波診断装置、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置或いはPET(Positron Emission Tomography)装置など)のソフトウェア、ファームウェア、ハードウェア或いはその組み合わせに実施し、さらに該医療診断装置の一部分とする。一つの例として、従来の医療診断装置に本発明の前記方法及び/又は装置に基づいて、従来の医療診断装置の各の部分にある程度の修正をすればいい。もう一つの例として、前記方法の各のステップ及び前記装置の各の組成モジュール及び/又はユニットは前記医療診断装置に独立する装置に実施する。前記医用画像表示装置にある各の組成モジュール、ユニットはソフトウェア、ファームウェア、ハードウェア或いはその組み合わせの方式で配置する時に使われる具体的な手段或いは方式が当業者に周知であり、ここでは繰り返し説明しないことにする。
一つの例として、前記方法の各のステップ及び前記装置の各の組成モジュール、ユニットはソフトウェア、ファームウェア、ハードウェア或いはその組み合わせに実施する。ソフトウェア或いはファームウェアを通して実現する場合、ストレージ・メディア或いはインタネットから専用のハードウェア構成を持つコンピュータ(例えば図12に示す共用コンピュータ1200)に前記方法を実施するためのソフトウェアのプログラムを取り付け、該コンピュータに各種のプログラムが取り付けられるときに、様々な機能を行われるなどである。
図12に、計算処理ユニット(即ちCPU(Central Processing Unit))1201は読み取り専用メモリ(ROM(Read Only Memory))1202に記憶したプログラム或いは記憶部1208がランダムアクセスメモリ(RAM(Random Access Memory))1203に読み込んだプログラムに基づいて各の処理を執行する。RAM1203に、必要によってCPU1201が各の処理などを執行する時に必要なデータを記憶する。CPU1201、ROM1202及びRAM1203はバス1204を通してリンクする。入力/出力インタフェース1205もバス1204にリンクする。
以下の部品入力部分1206(キーボード、マウスなどを含む)、出力部分1207(ブラウン管(CRT(Cathode Ray Tube))、液晶ディスプレイ(LCD(Liquid Crystal Display))など、スピーカーなどのディスプレイなど)、記憶部1208(ハードウェアなどを含む)、通信部分1209(LAN(Local Area Network)カード、モデムなどのネットワーク・インタフェース・カードを含む)は入力/出力インタフェース1205にリンクする。通信部分1209はインタネットなどのネットを経て通信処理を執行する。要求によって、ドライブ1210も入力/出力インタフェース1205にリンクする。ディスク、CD(Compact Disc)、光磁気ディスク、半導体メモリなどのリムーバブルメディア1211が要求によってドライブ1201に取り付けられ、それで読み取ったコンピュータプログラムが要求によって記憶部1208に取り付けられる。
ソフトウェアを通して前記一列の処理を実現する場合、インタネットなどのネッ及び/又はリムーバブルメディア1211などのストレージ・メディアからソフトウェアを構成するプログラムを取り付ける。
本分野の技術スタッフに理解すべきことは、このストレージ・メディアは図12に示すプログラムが記憶され、装置に分離して配布してユーザーにプログラムを提供するリムーバブルメディア1211に限らない。リムーバブルメディア1211の例はディスク(フロッピーディスク(登録商標)を含む)、ディスク(読み取り専用メモリ(CD−ROM)、コンパクトディスク、デジタルバーサタイルディスク(DVD(Digital Versatile Disc))を含む)、光磁気ディスク(ミニディスク(MD(Mini Disc))(登録商標)を含む)、及び半導体メモリを含む。或いは、ストレージ・メディアは、ROM1202、記憶部1208に格納されているハードディスクでもよく、プログラムが記憶され、その装置を含んでユーザーに配布される。
本発明は、機械が読み取れる指令コードを記憶するプログラム製品を提出する。前記指令コードは機械で読み取って執行する時に、前記本発明の実施形態に基づく方法を執行できる。
相応的に、機械が読み取れる指令コードを記憶するプログラム製品を受けるストレージ・メディアも本発明に含む。前記ストレージ・メディアはフロッピーディスク(登録商標)、CD−ROM、光磁気ディスク、メモリカード、メモリスティックなどを含むがそれに限らない。
以上の本発明の具体的な実施形態に対する説明において、一つの実施形態に対する説明及び/又は示される特徴は同じ或いは類似の方式で一つの或いは複数の他の実施形態に適用でき、他の実施形態にある特徴と組み合わせて、或いは他の実施形態にある特徴と代替可能である。
強調すべきは、術語の「備える/含む」は本文には特徴、要素、ステップ或いは部品の存在を示すが、一つの或いは複数の他の特徴、要素、ステップ或いは部品の存在や付加を排除できない。
前記実施形態と例に、数字でできた付図標識を採用して各ステップ及び/又はユニットを表示する。本分野の普通の技術スタッフは理解すべきことは、この付図標識はただ説明や製図のために、その順序あるは他のいずれの限定を表示することではない。
その他、本発明の方法は説明書に書かれた時間の順序に行うことに限らず、他の時間順序に従って並行的に或いは独立的に行われる。それによって、本説明書が書かれた方法の執行順序は本発明の技術範囲に制限しない。
以上はもう本発明の具体的な実施形態に対する説明で本発明を披露したが、理解すべきのは、前記実施形態と例示の全てが例示的で、非制限的ではない。本分野の技術スタッフは付いた請求項の精神や範囲内に本発明の様々な修正、改進あるいは相当物をデザインできる。これらの修正、改進或いは相当物は本発明の保護範囲内に含むべきと思われる。
以下、(1)〜(19)を開示する。
(1)複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向と異なる表示ユニットと、前記複数の医用画像から合成される医用画像を選択する選択操作を検出する操作検出ユニットと、前記選択操作によって合成される医用画像の合成画像を生成する合成画像生成ユニットとを備え、前記表示ユニットは、生成した合成画像を前記ウィンドウにある所定領域に表示させることを特徴とする医用画像表示装置。
(2)前記所定領域は、前記複数の医用画像の最外層の医用画像の外側に設置されることを特徴とする上記(1)に記載の医用画像表示装置。
(3)前記選択操作は、合成する医用画像を前記所定領域と関連付けることを特徴とする上記(1)に記載の医用画像表示装置。
(4)前記選択操作は、合成する医用画像を前記所定領域にドラッグアンドドロップすることを含むことを特徴とする上記(3)に記載の医用画像表示装置。
(5)前記複数の医用画像は、異なるモダリティ及び/又は異なる撮影シーケンスの医用画像であって、前記表示ユニットは、前記ウィンドウにおいて、第一の標識により異なるモダリティの医用画像を際立たせ、第二の標識により異なる撮影シーケンスの医用画像を際立たせることを特徴とする上記(1)に記載の医用画像表示装置。
(6)前記表示ユニットは、合成する医用画像の標識の組み合わせに基づいて、前記合成画像を識別することを特徴とする上記(5)に記載の医用画像表示装置。
(7)前記異なるモダリティの医用画像は、異なる枠の色で互いに識別され、同一のモダリティの異なる撮影シーケンスの医用画像は、シリアルナンバーにより互いに識別されることを特徴とする上記(5)に記載の医用画像表示装置。
(8)前記選択操作は、合成する医用画像のシリアルナンバーに対する操作により、前記合成する医用画像を前記所定領域と関連付けることを含むことを特徴とする上記(7)に記載の医用画像表示装置。
(9)前記合成画像生成ユニットは、前記選択操作の選択順序に基づいて前記合成する医用画像を重ね合わせ、前記合成画像を生成することを特徴とする上記(1)に記載の医用画像表示装置。
(10)前記操作検出ユニットは、順序変更操作、層間隔変更操作、層回転操作、配列方向回転操作、表示切替操作、画面切替操作及び合成の解除操作のうち少なくとも一つの操作を検出し、前記表示ユニットは、前記操作検出ユニットにより検出された前記順序変更操作に基づいて、層の順序を変更後の前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記層間隔変更操作に基づいて、層の間隔を変更後の前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記層回転操作に基づいて、層が回転された前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記配列方向回転操作に基づいて、配列方向が回転された前記複数の医用画像を前記ウィンドウに表示し、前記操作検出ユニットにより検出された前記表示切替操作に基づいて、前記複数の医用画像のうち合成に関与しない医用画像を前記ウィンドウに表示或いは非表示とし、前記操作検出ユニットにより検出された前記画面切替操作に基づいて、前記複数の医用画像及び前記合成画像を表示する画面と、前記合成画像を全画面に表示する画面と、選択した医用画像を全画面に表示する画面との間で表示を切り替え、前記操作検出ユニットにより検出された前記解除操作に基づいて、前記合成画像の表示を解除することを特徴とする上記(1)に記載の医用画像表示装置。
(11)前記解除操作は、前記合成画像を前記所定領域の外に移動させることを含むことを特徴とする上記(10)に記載の医用画像表示装置。
(12)前記操作検出ユニットは、選択した合成する医用画像の表示パラメーターを変更する表示パラメーター変更操作を検出し、前記合成画像生成ユニットは、前記表示パラメーターが変更された選択された医用画像を用いて、前記合成画像を再生成し、前記表示ユニットは、前記表示パラメーター変更操作によって、前記ウィンドウに表示パラメーターを変更後の医用画像及び再生成した合成画像を表示することを特徴とする上記(1)に記載の医用画像表示装置。
(13)前記操作検出ユニットは、選択した合成する医用画像の表示内容を変更するための表示内容の変更操作を検出し、前記合成画像生成ユニットは、表示内容変更後の選択した医用画像を用いて合成画像を再生成し、前記表示ユニットは、前記表示内容の変更操作によって前記ウィンドウに前記表示内容変更後の医用画像及び再生成された前記合成画像を表示することを特徴とする上記(1)に記載の医用画像表示装置。
(14)前記操作検出ユニットは、同期的に有効にするか解除する操作を検出し、前記表示ユニットは、同期的に有効にするか解除する操作によって、少なくとも二層の医用画像の間の表示を同期的に有効にするか解除キャンセルすることを特徴とする上記(12)又は(13)に記載の医用画像表示装置。
(15)前記表示ユニットは、前記複数の医用画像と前記合成画像とを三次元画像として表示させることを特徴とする上記(1)に記載の医用画像表示装置。
(16)前記操作検出ユニットは、前記スクリーンに生成した合成画像を他のウィンドウにポジショニングするための移転操作を検出し、前記表示ユニットは、前記移転操作に基づいて、前記スクリーンに一つの或いは複数の他のウィンドウに一つの或いは複数の生成した合成画像を表示することを特徴とする上記(1)に記載の医用画像表示装置。
(17)前記移転操作は、前記生成した合成画像の合成に関与する医用画像を前記他のウィンドウにコピーすることに用いられ、前記操作検出ユニットは、第二ウィンドウ全体のスイッチ操作を検出することに用いられ、前記表示ユニットは、第二ウィンドウ全体のスイッチ操作によって前記生成した合成画像のウィンドウ全体への表示、前記生成した合成画像の合成に関与した医用画像の表示および前記生成した合成画像の表示との間を切り換えて前記他のウィンドウに表示することに用いられることを特徴とする上記(16)に記載の医用画像表示装置。
(18)隣接する層の前記医用画像は、互いに、少なくとも一部分が重なり合うことを特徴とする上記(1)に記載の医用画像表示装置。
(19)コンピュータが、複数の医用画像をスクリーンの一つのウィンドウに階層的に表示し、前記複数の医用画像の配列方向は各医用画像の平面の延伸方向と異なる表示ステップと、前記複数の医用画像から合成される医用画像を選択する選択操作を検出する操作検出ステップと、前記選択操作によって合成される医用画像の合成画像を生成する合成画像生成ステップとを含み、前記表示ステップは、生成した合成画像を前記ウィンドウにある所定領域に表示させることを特徴とする医用画像表示方法。
100 医用画像表示装置
110 操作検出ユニット
120 合成画像生成ユニット
130 表示ユニット

Claims (15)

  1. 被験者の略同一部位が撮像された複数の医用画像を、互いに一部の画像領域を重畳させて表示部の第1表示領域に表示する表示制御部と、
    前記複数の医用画像それぞれを指定する旨の指定操作を検出する検出部と、
    前記指定操作によって指定されたそれぞれの医用画像を合成した合成画像を生成する生成部とを備え、
    前記表示制御部は、前記表示部のうち前記第1表示領域とは異なる第2表示領域に前記合成画像を表示することを特徴とする医用画像表示装置。
  2. 前記表示制御部は、更に、前記合成画像を、前記複数の医用画像の少なくとも一つと互いに一部の画像領域を重畳させて前記第1表示領域に表示することを特徴とする請求項1に記載の医用画像表示装置。
  3. 前記表示制御部は、更に、前記合成画像を前記第1表示領域において最前面に表示することを特徴とする請求項2に記載の医用画像表示装置。
  4. 前記表示制御部は、更に、前記合成画像と、当該合成画像の元となった医用画像とに対して、同一の識別情報を付与して表示することを特徴とする請求項1〜3のいずれか一つに記載の医用画像表示装置。
  5. 前記検出部は、前記第2表示領域に表示された合成画像の表示を解除する旨の解除操作を検出し、
    前記表示制御部は、前記解除操作が検出されると、前記解除操作が検出された合成画像の表示を解除することを特徴とする請求項1〜4のいずれか一つに記載の医用画像表示装置。
  6. 前記検出部は、前記第2表示領域に表示された合成画像を当該第2表示領域の外に移動させる旨のドラッグアンドドロップ操作を、前記解除操作として検出することを特徴とする請求項5に記載の医用画像表示装置。
  7. 前記検出部は、前記第1表示領域に表示された複数の医用画像の層の間隔を変更する旨の層間隔変更操作を検出し、
    前記表示制御部は、前記層間隔変更操作が検出されると、当該層間隔変更操作によって変更後の間隔で前記複数の医用画像を前記第1表示領域に表示することを特徴とする請求項1〜6のいずれか一つに記載の医用画像表示装置。
  8. 前記検出部は、前記第1表示領域に表示された複数の医用画像の順序を変更する旨の順序変更操作を検出し、
    前記表示制御部は、前記順序変更操作が検出されると、当該順序変更操作によって変更された順序で前記複数の医用画像を前記第1表示領域に表示することを特徴とする請求項1〜7のいずれか一つに記載の医用画像表示装置。
  9. 前記検出部は、前記第1表示領域に表示された複数の医用画像の層を回転させる旨の層回転操作を検出し、
    前記表示制御部は、前記層回転操作が検出されると、当該層回転操作によって回転された複数の医用画像を前記第1表示領域に表示することを特徴とする請求項1〜8のいずれか一つに記載の医用画像表示装置。
  10. 前記検出部は、前記第1表示領域に表示された複数の医用画像の配列方向を回転させる旨の配列方向回転操作を検出し、
    前記表示制御部は、前記配列方向回転操作が検出されると、当該配列方向回転操作によって配列方向が回転された複数の医用画像を前記第1表示領域に表示することを特徴とする請求項1〜9のいずれか一つに記載の医用画像表示装置。
  11. 前記検出部は、前記第1表示領域に表示された複数の医用画像のうち、一部の医用画像の表示/非表示を切り替える旨の表示切替操作を検出し、
    前記表示制御部は、前記表示切替操作が検出されると、前記一部の医用画像が前記第1表示領域に表示されている場合には、当該一部の医用画像を非表示とし、前記一部の医用画像が前記第1表示領域に表示されていない場合には、当該一部の医用画像を当該第1表示領域に表示することを特徴とする請求項1〜10のいずれか一つに記載の医用画像表示装置。
  12. 前記検出部は、前記表示部の全画面に前記第1表示領域を表示させる旨の第1表示指示と、前記全画面に前記第2表示領域を表示させる旨の第2表示指示と、前記全画面に前記第1表示領域及び前記第2表示領域を表示させる旨の第3表示指示とをそれぞれ検出し、
    前記表示制御部は、前記第1表示指示が検出されると、前記全画面に前記第1表示領域を表示させ、前記第2表示指示が検出されると、前記全画面に前記第2表示領域を表示させ、前記第3表示指示が検出されると、前記全画面に前記第1表示領域及び前記第2表示領域を表示させることを特徴とする請求項1〜11のいずれか一つに記載の医用画像表示装置。
  13. 前記検出部は、前記複数の医用画像の表示パラメーターを変更する旨の表示パラメーター変更操作を検出し、
    前記生成部は、前記表示パラメーター変更操作が検出されると、当該表示パラメーターが変更された医用画像を用いて、前記合成画像を再生成することを特徴とする請求項1〜12のいずれか一つに記載の医用画像表示装置。
  14. 前記検出部は、少なくとも2つのそれぞれ異なる前記合成画像を生成するための指定操作をそれぞれ検出し、
    前記生成部は、少なくとも2つのそれぞれ異なる前記合成画像を生成し、
    前記表示制御部は、それぞれ異なる複数の前記第2表示領域に前記合成画像をそれぞれ表示することを特徴とする請求項1〜13のいずれか一つに記載の医用画像表示装置。
  15. 医用画像表示装置が、
    被験者の略同一部位が撮像された複数の医用画像を、互いに一部の画像領域を重畳させて表示部の第1表示領域に表示する表示制御ステップと、
    前記複数の医用画像それぞれを指定する旨の指定操作を検出する検出ステップと、
    前記指定操作によって指定されたそれぞれの医用画像を合成した合成画像を生成する生成ステップとを含み、
    前記表示制御ステップは、前記表示部のうち前記第1表示領域とは異なる第2表示領域に前記合成画像を表示することを特徴とする医用画像表示方法。
JP2013139159A 2012-07-11 2013-07-02 医用画像表示装置及び方法 Active JP6261894B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210240590.6 2012-07-11
CN201210240590.6A CN103544688B (zh) 2012-07-11 2012-07-11 医用图像融合装置和方法

Publications (2)

Publication Number Publication Date
JP2014014679A JP2014014679A (ja) 2014-01-30
JP6261894B2 true JP6261894B2 (ja) 2018-01-17

Family

ID=49913621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013139159A Active JP6261894B2 (ja) 2012-07-11 2013-07-02 医用画像表示装置及び方法

Country Status (3)

Country Link
US (1) US9788725B2 (ja)
JP (1) JP6261894B2 (ja)
CN (1) CN103544688B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514274B2 (en) * 2014-11-29 2016-12-06 Infinitt Healthcare Co., Ltd. Layered medical image forming, receiving, and transmitting methods
JP6382174B2 (ja) * 2015-11-13 2018-08-29 日本光電工業株式会社 生体情報モニタ、生体情報測定システム、及びプログラム
CN106023123A (zh) * 2016-05-01 2016-10-12 中国人民解放军空军航空大学 一种新型的多窗口同视的图像融合框架
US11416997B2 (en) * 2016-05-12 2022-08-16 Life Technologies Corporation Systems, methods, and apparatuses for image capture and display
JP6753736B2 (ja) * 2016-08-31 2020-09-09 株式会社ジェイマックシステム 医用画像ファイル管理装置、医用画像ファイル管理方法および医用画像ファイル管理プログラム
US20190130561A1 (en) * 2017-10-27 2019-05-02 Konica Minolta Laboratory U.S.A., Inc. Medical image processing apparatus
US11857151B2 (en) 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
JP7278764B2 (ja) * 2018-12-20 2023-05-22 キヤノン株式会社 撮像装置、電子機器、撮像装置の制御方法およびプログラム
JP6945676B2 (ja) * 2018-12-26 2021-10-06 富士フイルム株式会社 放射線画像撮影装置および放射線画像撮影システム
WO2020183791A1 (ja) * 2019-03-11 2020-09-17 キヤノン株式会社 画像処理装置および画像処理方法
JP7209599B2 (ja) 2019-07-29 2023-01-20 富士フイルム株式会社 画像処理装置、方法およびプログラム
US11031118B2 (en) * 2019-08-12 2021-06-08 Biosense Webster (Israel) Ltd. Mixed electroanatomical map coloring tool having draggable geodesic overlay
JP7203705B2 (ja) 2019-09-17 2023-01-13 富士フイルム株式会社 画像処理装置、方法およびプログラム、並びに画像表示装置、方法およびプログラム
CN111603194B (zh) * 2020-06-02 2023-09-19 上海联影医疗科技股份有限公司 乳腺断层图像显示的方法、系统和计算机可读存储介质
CN114078102A (zh) * 2020-08-11 2022-02-22 北京芯海视界三维科技有限公司 图像处理装置和虚拟现实设备
US12068061B2 (en) * 2021-01-15 2024-08-20 Minnetronix Neuro, Inc. Systems and methods for managing, monitoring, and treating patient conditions
CN114140367A (zh) * 2021-11-10 2022-03-04 广东核电合营有限公司 射线探伤图片的处理方法、装置、计算机设备和存储介质

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04292151A (ja) * 1991-03-20 1992-10-16 Hitachi Ltd 医用画像表示装置
US5810007A (en) * 1995-07-26 1998-09-22 Associates Of The Joint Center For Radiation Therapy, Inc. Ultrasound localization and image fusion for the treatment of prostate cancer
JP2000105279A (ja) 1998-09-30 2000-04-11 Sumitomo Heavy Ind Ltd 放射線治療領域設定方法、治療装置、治療計画作成装置、及び治療用データベースシステム
US6466224B1 (en) * 1999-01-19 2002-10-15 Matsushita Electric Industrial Co., Ltd. Image data composition and display apparatus
KR20040028945A (ko) * 1999-05-17 2004-04-03 삼성전자주식회사 컬러 영상 처리 방법 및 그 방법을 실현시키기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2001076078A (ja) * 1999-09-07 2001-03-23 Yasuo Kumagai 医療情報閲覧システム、医療情報閲覧方法、および医療情報保管方法
WO2001082593A1 (en) * 2000-04-24 2001-11-01 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Apparatus and method for color image fusion
US20030154201A1 (en) * 2002-02-13 2003-08-14 Canon Kabushiki Kaisha Data storage format for topography data
JP3932482B2 (ja) * 2002-10-18 2007-06-20 株式会社日立メディコ 超音波診断装置
JP4493323B2 (ja) * 2003-11-28 2010-06-30 株式会社日立メディコ 医用画像表示装置
JP2006053102A (ja) 2004-08-13 2006-02-23 Daiichi Radioisotope Labs Ltd 脳画像データ処理プログラム、記録媒体および脳画像データ処理方法
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
DE102005048853A1 (de) * 2005-10-12 2007-04-26 Siemens Ag Bildgebende medizinische Modalität
US20070127793A1 (en) 2005-11-23 2007-06-07 Beckett Bob L Real-time interactive data analysis management tool
JP4820680B2 (ja) 2006-04-12 2011-11-24 株式会社東芝 医用画像表示装置
US10387612B2 (en) * 2006-06-14 2019-08-20 Koninklijke Philips N.V. Multi-modality medical image layout editor
EP1923838A1 (en) * 2006-11-20 2008-05-21 Agfa HealthCare NV Method of fusing digital images
US20110001052A1 (en) * 2006-12-04 2011-01-06 Luc Struye Computed radiography system
US20120093383A1 (en) * 2007-03-30 2012-04-19 General Electric Company Sequential image acquisition method
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US8687056B2 (en) * 2007-07-18 2014-04-01 Elbit Systems Ltd. Aircraft landing assistance
US8090168B2 (en) 2007-10-15 2012-01-03 General Electric Company Method and system for visualizing registered images
US8824833B2 (en) * 2008-02-01 2014-09-02 Omnivision Technologies, Inc. Image data fusion systems and methods
CN101567010A (zh) * 2008-04-22 2009-10-28 恩斯I&S株式会社 一种内容提供方法及系统
EP2120208A1 (en) * 2008-05-13 2009-11-18 IBBT vzw Method and system for lesion segmentation
US9883833B2 (en) * 2008-05-13 2018-02-06 Spectral Image, Inc. Systems and methods for hyperspectral medical imaging using real-time projection of spectral information
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
EP2144199B1 (en) * 2008-07-11 2018-12-26 Agfa HealthCare NV Method and apparatus for multimodal visualization of volume data sets
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
JP4737264B2 (ja) * 2008-10-16 2011-07-27 富士ゼロックス株式会社 表示制御装置、処理実行装置及びプログラム
US8386015B2 (en) * 2008-10-27 2013-02-26 Siemens Aktiengesellschaft Integration of micro and macro information for biomedical imaging
CN102292747B (zh) * 2009-01-22 2015-01-28 皇家飞利浦电子股份有限公司 针对pet/ct图像的像素特征混合融合
US8179393B2 (en) * 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
JP5649794B2 (ja) * 2009-03-31 2015-01-07 株式会社日立メディコ 画像表示装置及び画像表示システム
CN101893980B (zh) * 2009-05-20 2012-04-25 龙旗科技(上海)有限公司 一种带滑动动画效果的多图像查看界面的显示方法
US20120184642A1 (en) * 2009-07-07 2012-07-19 Soenke Bartling Multimodal visible polymer embolization material
US20110007954A1 (en) * 2009-07-07 2011-01-13 Siemens Corporation Method and System for Database-Guided Lesion Detection and Assessment
US8675996B2 (en) * 2009-07-29 2014-03-18 Siemens Aktiengesellschaft Catheter RF ablation using segmentation-based 2D-3D registration
US8654119B2 (en) * 2009-08-17 2014-02-18 Mistretta Medical, Llc System and method for four dimensional angiography and fluoroscopy
JP5593655B2 (ja) * 2009-08-31 2014-09-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US20110081296A1 (en) * 2009-09-24 2011-04-07 Rutgers, The State University Of New Jersey Systems and methods for identification of ciliopathy therapeutics
US9014780B2 (en) * 2009-11-20 2015-04-21 Koninklijke Philips N.V. Image-based biopsy guidance method
WO2011072170A2 (en) * 2009-12-10 2011-06-16 Fulcrum Medical, Inc. Transfer of digital medical images and data
US20130093781A1 (en) * 2010-03-31 2013-04-18 Hitachi Medical Corporation Examination information display device and method
US8867801B2 (en) * 2010-07-13 2014-10-21 Siemens Aktiengesellschaft Method for determining properties of a vessel in a medical image
US9370332B2 (en) * 2010-11-10 2016-06-21 Siemens Medical Solutions Usa, Inc. Robotic navigated nuclear probe imaging
WO2012094445A1 (en) * 2011-01-06 2012-07-12 Edda Technology, Inc. System and method for treatment planning of organ disease at the functional and anatomical levels
US8831708B2 (en) * 2011-03-15 2014-09-09 Siemens Aktiengesellschaft Multi-modal medical imaging
US20120256920A1 (en) * 2011-04-05 2012-10-11 Julian Marshall System and Method for Fusing Computer Assisted Detection in a Multi-Modality, Multi-Dimensional Breast Imaging Environment
US20120308115A1 (en) * 2011-06-02 2012-12-06 Himax Media Solutions, Inc. Method for Adjusting 3-D Images by Using Human Visual Model
CN102361494A (zh) * 2011-09-28 2012-02-22 深圳市华曦达科技股份有限公司 Epg显示的方法、装置及电视机
EP2763591A4 (en) * 2011-10-09 2015-05-06 Clear Guide Medical Llc GUIDING INTERVENTIONAL IN SITU IMAGES BY FUSIONING AN ULTRASONIC VIDEO
US10105115B2 (en) * 2011-11-25 2018-10-23 Mirada Medical Limited Method and system for processing medical image datasets
US20140354642A1 (en) * 2011-12-07 2014-12-04 Koninklijke Philips N.V. Visualization of 3D Medical Perfusion Images
AU2012362187A1 (en) * 2011-12-30 2014-07-10 Philip D. GOLE Image-overlay medical evaluation devices and techniques
US9064332B2 (en) * 2012-01-12 2015-06-23 Siemens Medical Solutions Usa, Inc. Fused-image visualization for surgery evaluation
BR112014019364A8 (pt) * 2012-02-10 2017-07-11 Koninklijke Philips Nv Sistema de geração de imagem clínica, método de geração de imagem clínica, e meio não transitório executável por computador com software que controla um ou mais processadores
US10758209B2 (en) * 2012-03-09 2020-09-01 The Johns Hopkins University Photoacoustic tracking and registration in interventional ultrasound
KR20140131083A (ko) * 2013-05-03 2014-11-12 삼성전자주식회사 의료 영상 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US9788725B2 (en) 2017-10-17
CN103544688A (zh) 2014-01-29
US20140015856A1 (en) 2014-01-16
CN103544688B (zh) 2018-06-29
JP2014014679A (ja) 2014-01-30

Similar Documents

Publication Publication Date Title
JP6261894B2 (ja) 医用画像表示装置及び方法
US10269449B2 (en) Automated report generation
JP5362307B2 (ja) ドラッグアンドドロップ制御装置、方法、及びプログラム、並びにコンピュータ端末
CN110515513B (zh) 显示设备和使用所述显示设备的图像显示方法
US20210210194A1 (en) Apparatus for displaying data
US8640053B2 (en) Method and computerized user interface for presentation of multiple image data sets
US20170039321A1 (en) Database systems and interactive user interfaces for dynamic interaction with, and sorting of, digital medical image data
US11169693B2 (en) Image navigation
US20070242069A1 (en) Medical image display apparatus
US9317194B2 (en) Status-indicator for sub-volumes of multi-dimensional images in guis used in image processing
WO2011149720A1 (en) Image browsing and navigating user interface
EP3657512B1 (en) Integrated medical image visualization and exploration
JP5582755B2 (ja) 医用画像管理装置、及び医用画像表示装置
US20160240170A1 (en) Simultaneously displaying video data of multiple video sources
US20160334964A1 (en) User interface system and method for enabling mark-based interaction for images
CN106445435A (zh) 医用图像显示装置、系统和方法
US10324582B2 (en) Medical image display apparatus, method for controlling the same
JP7102121B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020171545A (ja) 表示制御装置、表示制御装置の作動方法、及び表示制御装置の作動プログラム
JP2010128971A (ja) 読影レポート作成支援端末
US20110169862A1 (en) Method and system for displaying digital medical images
JP2010200936A (ja) 医用画像表示装置、医用画像表示方法、及びプログラム
JP2008090101A (ja) 情報処理装置、その画像表示制御方法、及びその画像表示制御プログラム
US20190196664A1 (en) Medical image display system and medical image display apparatus

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20151102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160701

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20160929

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171213

R150 Certificate of patent or registration of utility model

Ref document number: 6261894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350