JP6827739B2 - 画像表示装置、画像表示方法及びプログラム - Google Patents

画像表示装置、画像表示方法及びプログラム Download PDF

Info

Publication number
JP6827739B2
JP6827739B2 JP2016169608A JP2016169608A JP6827739B2 JP 6827739 B2 JP6827739 B2 JP 6827739B2 JP 2016169608 A JP2016169608 A JP 2016169608A JP 2016169608 A JP2016169608 A JP 2016169608A JP 6827739 B2 JP6827739 B2 JP 6827739B2
Authority
JP
Japan
Prior art keywords
image
tomographic
display
tomographic image
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016169608A
Other languages
English (en)
Other versions
JP2018033698A (ja
Inventor
義夫 飯塚
義夫 飯塚
岳人 青山
岳人 青山
亮 石川
亮 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016169608A priority Critical patent/JP6827739B2/ja
Priority to US15/681,807 priority patent/US10499859B2/en
Publication of JP2018033698A publication Critical patent/JP2018033698A/ja
Application granted granted Critical
Publication of JP6827739B2 publication Critical patent/JP6827739B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • A61B6/035Mechanical aspects of CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0073Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by tomography, i.e. reconstruction of 3D images from 2D projections
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means

Description

本発明は、画像表示装置、画像表示方法及びプログラムに関する。
医療分野において、医師は、X線CT装置やMRI装置などの種々の医用画像撮像装置(モダリティ)によって撮影された医用画像を観察して診断を行う。同じ患者を複数の異なる時点で撮影した場合、異なる時点で撮影された複数の画像を並べて表示し、画像間の違いを観察する(比較読影する)ことが行われている。比較読影により、医師は、患者の各部位や病変部の経時変化を捉えることが容易になるため、効率的で質の高い診断が可能となる。
2つの画像間の比較を容易にするため、画像間で解剖学的に対応する位置を合わせることが有用である。そのための技術として、アフィン変換などの線形位置合わせ技術やFFD(Free Form Deformation)などの非線形位置合わせ技術が知られている。これらの画像間位置合わせ技術を用いて2つの画像間の位置合わせを行った後に、対応する画素間で画素値の差分を計算することで、差分画像を作成できる。こうして作成された差分画像は、概ね経時変化がある部分だけが強調された画像となるため、医師は病変部などの経時変化を容易に発見できる。
従来の画像表示装置では、過去に撮影された画像(過去画像)、今回撮影された画像(現在画像)及び過去画像と現在画像から作成された差分画像の3つの画像を並べて表示する。あるいは、差分画像の各画素値に応じて色を付けたカラー差分画像を作成し、現在画像上にカラー差分画像を重畳表示する。特許文献1には、階調処理を施した時系列画像(原画像)に対して時系列処理画像(差分画像)を加算し、加算画像を表示させる技術が記載されている。この技術によれば、被写体の経時変化を見やすく表示することができると述べている。
過去画像と現在画像がいずれも複数の断層画像から成る3次元画像の場合、画像表示装置はユーザが指定した断層位置の断層画像を表示する。ところが、患者の撮影範囲は撮影毎に異なるため、撮影された画像には患者の同一部位が写っているとは限らない。すなわち、過去画像と現在画像の間で対応する断層画像が存在しないことがある。つまり、断層位置によっては現在画像または過去画像のいずれか一方の断層画像だけが存在する(もう一方は存在しない)ため、そうした断層位置では差分画像を作成できない。こうした断層位置にある現在画像(または過去画像)の断層画像を画面に表示した場合、対応する差分画像の断層画像が存在しないため、差分画像を表示すべき画面の表示エリアには何も表示されないことになる。あるいは、画像表示装置によっては、現在画像(または過去画像)の断層位置に最も近い位置にある差分画像の断層画像を表示していた。
特開平8−77329号公報
しかしながら、画面の差分画像表示エリアに何も表示されない場合、ユーザは差分画像の断層画像が存在しないことに気付かず、差分画像の断層画像の全画素値が0である、つまり経時変化が全く存在しないと勘違いする恐れがある。現在画像上にカラー差分画像を重畳表示している場合、ユーザはカラーの画素値が重畳表示されないことは、経時変化が全く存在しないことだと勘違いする恐れが高い。また、現在画像と差分画像を並列表示している場合でも、差分画像の断層画像が存在しない場合と、全画素値が0である差分画像の断層画像が存在する場合とで表示方法が変わらなければ、やはりユーザは経時変化が全く存在しないと勘違いする恐れが高い。こうした断層位置に病変部の出現などの経時変化があった場合、ユーザが差分画像表示を参考にして経時変化がないものと勘違いしてしまい、病変部の出現などを見落とす恐れがある。
あるいは、現在画像の断層位置に最も近い位置にある差分画像の断層画像を表示した場合は、別の問題が生じる。つまり、現在画像の断層位置では経時変化が存在しないにも関わらず、最も近い位置にある差分画像の断層画像に0以外の画素値が存在した場合、あたかも経時変化が存在するかのような誤解をユーザに与える恐れがある。
従って、現在画像の断層画像に対応する断層位置に差分画像の断層画像が存在しない場合に、ユーザが経時変化の有無を誤解することがないような表示上の工夫が必要とされているという課題がある。
本発明は上記課題に鑑みてなされたものであり、ある3次元画像の断層画像に対応する断層位置に3次元差分画像の断層画像が存在しない場合に、存在しないことをユーザに明示できる画像表示装置及び方法を提供することを目的とする。なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の1つとして位置付けることができる。
本画像表示装置は、複数の断層画像から成る第1の3次元画像から第1の断層画像を取得する第1取得手段と、前記第1の3次元画像と第2の3次元画像とを画像処理することで得られる処理済画像から前記第1の断層画像に対応する断層位置にある第2の断層画像を取得する第2取得手段と、前記第2取得手段が前記第2の断層画像を取得できないことまたは前記第1の断層画像と前記第2の断層画像との対応関係が所定の条件を満たさないことを通知するための通知画像を取得する第3取得手段と、前記第2取得手段が前記第2の断層画像を取得できた場合または前記第の断層画像と前記第2の断層画像との対応関係が所定の条件を満たす場合には前記第2の断層画像を表示画像として選択し、それ以外の場合には前記通知画像を表示画像として選択する選択手段と、前記第1の断層画像と前記選択手段で選択した表示画像を並列にまたは重畳して表示する表示手段とを備える。
本発明によれば、第1の3次元画像の断層画像に対応する断層位置に処理済画像(3次元差分画像など)の断層画像が存在しない場合に、存在しないことをユーザに通知(明示)できる。
本発明の第1の実施形態に係る画像表示装置を含む画像表示システムの全体構成図 本発明の第1の実施形態の処理手順を示すフローチャート 複数の3次元画像の断層画像間の対応関係の第一の例を示す図 複数の3次元画像の断層画像間の対応関係の第二の例を示す図 複数の3次元画像の断層画像間の対応関係の第三の例を示す図 断層画像1、表示画像及びこれらの重畳画像の第一の画面表示例 断層画像1、表示画像及びこれらの重畳画像の第二の画面表示例 本発明の第2の実施形態の処理手順を示すフローチャート
以下に、図面を参照しながら、本発明に係る画像表示装置の実施形態について説明する。ただし、発明の範囲は図示例に限定されるものではない。
[第1実施形態]
第1の実施形態に係る画像表示装置は、第1の3次元画像の断層画像と処理済3次元画像の断層画像を並列にまたは重畳して表示する際に、処理済3次元画像の断層画像の有無が容易に理解できる形態で表示する装置である。
以下では、第1の3次元画像の例としてある患者の現在画像を、第2の3次元画像の例として同じ患者の過去画像を扱うものとする。ただし、第1及び第2の3次元画像はこれらに限定されるものではない。例えば、異なる時点に撮影された任意の3次元画像や、統計学的な意味で標準となるモデル(標準モデル)として作成した3次元画像であってもよい。また例えば、異なる患者の3次元画像、異なるモダリティで撮影した3次元画像、一つの3次元画像を左右反転して得られた3次元画像などであってもよい。つまり、本発明は任意の3次元画像に適用可能である。
以下では、第1の3次元画像と第2の3次元画像とを画像処理することで得られる処理済画像の例として、差分画像を扱うものとする。差分画像は、例えば、第1の3次元画像と第2の3次元画像との間で公知の非線形位置合わせ技術を用いて位置合わせを行った後に、対応する画素同士で差分値を計算することによって作成される。ただし、画像処理はこれらに限定されるものではない。例えば、画像全体に平滑化処理やエッジ強調処理などを行うフィルタリング処理、異常陰影領域や特定臓器領域などの注目領域を領域抽出する領域抽出処理、画像特徴量を抽出する特徴量抽出処理などであってもよい。つまり、本発明は任意の画像処理によって得られた処理済画像に適用可能である。
以下に示す実施例は、いずれも画像表示装置の処理方法を説明するための一例に過ぎない。
図1は、本発明の第1の実施形態に係る画像表示装置を含む画像表示システムの全体構成図である。
画像表示システムは、画像表示装置10とデータベース22を含んでおり、これらの装置は、通信手段21を介して互いに通信可能に接続されている。本実施形態においては、通信手段21はLAN(Local Area Network)で構成されるものとする。
データベース22は、医用画像などのデータを記憶及び管理する。画像表示装置10は、データベース22で管理されている医用画像を、通信手段(LAN)21を介して取得する。
画像表示装置10は、その機能的な構成として、通信IF(Interface)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33、記憶部34、操作部35、表示部36及び制御部37を備える。
通信IF31は、LANカード等で実現され、外部装置(例えば、データベース22)と画像表示装置10との間の通信を司る。ROM32は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM33は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部34は、HDD(Hard Disk Drive)等で実現され、各種情報を記憶する。操作部35は、キーボードやマウス等で実現され、ユーザからの指示を装置に入力する。表示部36は、ディスプレイ等で実現され、各種情報をユーザに表示する。制御部37は、CPU(Central Processing Unit)等で実現され、画像表示装置10における処理を統括制御する。
制御部37は、その機能的な構成として、画像読出部41、画像処理部42、断層画像1取得部43、断層画像2取得部44、通知画像取得部45、表示画像選択部46、表示制御部47を備える。制御部37内の各部の機能については、図2のフローチャートの説明と併せて説明する。
図2は画像表示装置10の制御部37によって制御される、本発明の第1の実施形態の処理手順を示すフローチャートである。
図2のステップS100において、制御部37は、操作部35から入力されたユーザ入力の種類に応じて、次に実行する処理を決定する。ユーザ入力が差分画像作成の指示であった場合はステップS101に進む。ユーザ入力が断層画像表示の指示であった場合はステップS111に進む。ユーザ入力が処理終了の指示であった場合は、本実施例の処理を終了する。ユーザ入力には他にも多くの種類があるが、理解を容易とするため、ここでは説明を省略する。
以下に、ユーザが差分画像作成の指示を入力した場合の処理を説明する。
ステップS101において、制御部37は、差分画像を作成するために必要な情報として、第1の3次元画像を指定する情報と第2の3次元画像を指定する情報を操作部35から入力する。以下では、第1の3次元画像が現在画像であり、第2の3次元画像が過去画像である場合の例について説明する。
ステップS102において、画像読出部41は、ステップS101で入力した情報に基づき、通信IF31とLAN21を介してデータベース22から現在画像データと過去画像データを読み出し、記憶部34に記憶する。
ステップS103において、画像処理部42は、記憶部34に記憶された現在画像データと過去画像データを読み出し、公知の変形位置合わせ技術を用いて画像間の位置合わせを行ってから、差分画像を作成する。さらに、作成した差分画像を記憶部34に記憶してから、ステップS100に戻る。
上述の画像間の変形位置合わせは、一方の画像(通常は現在画像)に対して他方の画像(通常は過去画像)だけを変形することにより位置合わせを行う。そして、一方の画像の各画素値から変形後の他方の画像の各画素値を引くことにより、差分画像を作成する。
なお、撮影毎に患者の撮影範囲(身体部位)を変更することや患者の姿勢が変わることがあるため、また画像の変形によって画素配置が変更されるため、一般に、現在画像と過去画像間で対応しない画素が複数存在する。差分画像は現在画像と過去画像との間で対応する画素がある場合、つまり撮影範囲が重なっている部分についてのみ作成可能なので、通常、現在画像や過去画像と比べて差分画像を構成する断層画像の数は少なくなる。例えば、現在画像が500枚の断層画像から成り、過去画像が400枚の断層画像から成る場合に、現在画像と過去画像間で対応する断層画像が250枚しかなければ、差分画像の断層画像は250枚となる。つまり、現在画像または過去画像のある断層画像に対応する断層位置に、差分画像の断層画像が存在しないことがある。
ここで、図3を用いて、複数の3次元画像の断層画像間の対応関係の第一の例を示す。同図において、P1からP9は現在画像の断層位置を基準とした断層位置を示す。現在画像の断層画像がP1からP7まであり、過去画像の断層画像がP4からP9まである場合、過去画像と現在画像が重複する断層位置でしか画像間位置合わせはできないので、変形後の過去画像も差分画像もP4からP7までしか作成できない。なお、過去画像の断層位置をP4からP9までと書いたのは理解を容易とするためであって、過去画像と現在画像の断層位置や断層間隔は揃っている必要はない。また、過去画像の断面画像の法線方向と現在画像の断面画像の法線方向は、患者の身体に対して同じ向きを向いているとは限らない。それゆえ、画像間の変形位置合わせをするのである。変形位置合わせ後の過去画像の断層画像は、現在画像の断層位置を基準とした断層位置に揃うように作成されるので、差分画像の断層画像もまた同じ断層位置に揃うように作成される。
以下に、ユーザが断層画像表示の指示を入力した場合の処理を説明する。
ステップS111において、制御部37は、現在画像の断層画像の中から表示部36に表示したい断層画像を選択するための情報(断層位置指定情報)を、操作部35から入力する。なお、すでに表示部36に断層画像を表示済の場合は、ユーザは次または前の断層位置にある断層画像を表示するための指示を出すことができる。そして、次または前の断層位置の断層画像を表示するための指示は、断層画像表示の指示と断層位置指定情報の両方を含むため、ユーザは1つの指示を出すだけでよい。つまり、前記1つの指示によって、ステップS100における断層画像表示の指示とステップS111における断層位置指定情報が同時に入力されたことになる。
ステップS112において、断層画像1取得部43は、画像読出部41によって読み出されて記憶部34に記憶された現在画像の断層画像(断層画像1)を取得し、RAM33に一時記憶する。この際、断層画像1として、前記ステップS111で取得した断層位置にある断層画像を取得する。この断層画像1は後述のステップS116で利用される。
ステップS113において、断層画像2取得部44は、画像処理部42によって作成され記憶部34に記憶された差分画像の断層画像(断層画像2)を取得し、RAM33に一時記憶する。この際、断層画像2として、前記ステップS111で取得した断層位置にある断層画像を取得する。ただし、断層位置によっては差分画像の断層画像が存在しないため、断層画像2を取得できない(RAM33に一時記憶できない)ことがある。例えば、図3の例では、断層位置P1からP3においては、断層画像1は取得できるが断層画像2は取得できない。一方、断層位置P4からP7においては、断層画像1と断層画像2の両方とも取得できる。この断層画像2は後述のステップS115で利用される。
ステップS114において、通知画像取得部45は通知画像を取得する。通知画像の例については後述する。通知画像として常に同じ画像を利用する場合は、記憶部34に予め通知画像を記憶しておき、ステップS114の実行時に通知画像を記憶部34から読み出し、RAM33に一時記憶すればよい。一方、通知画像を後述する所定の方法で変更する場合は、ステップS114の実行時に通知画像を作成または変更し、RAMに一時記憶する。なお、本ステップの処理は、ステップS113において断層画像2が取得された場合には実施しない構成であってもよい。
ステップS115において、表示画像選択部46は、前記ステップS113において断層画像2が取得された場合には断層画像2を、取得されなかった場合には通知画像を表示画像として選択する。なお、通知画像も断層画像2も取得されている場合には夫々の画像がRAM33に一時記憶されているので、表示画像選択部46は通知画像または断層画像2のいずれか一方が一時記憶されたRAM33の記憶場所を選択することで、表示画像を選択する。
ステップS116において、表示制御部47は、前記ステップS112において取得されRAM33に一時記憶された断層画像1と前記ステップS115において選択された表示画像を、表示部36に並列にまたは重畳して表示する。またこの際、表示制御部47は、表示部36に断層画像1の断層位置に対応する過去画像の断層画像(断層画像3)を一緒に表示してもよい。この際、断層画像1、2、3をすべて並列表示してもよいし、断層画像1と3を並列表示するとともに断層画像1の上に2を重畳表示してもよい。その他の表示方法であってもよい。
なお、差分画像の各画素値は正値または負値のいずれかであるため、表示制御部47は、差分画像の断層画像を表示部36に表示する際に、全画素値に所定の値を加算することによりすべて正値としてから表示する。または、全画素値の絶対値を取得することによりすべて正値としてから表示してもよい。あるいは、各画素値の範囲に応じて予め決めておいた色を割り当てて、カラー表示してもよい。差分画像の表示には公知のいずれの方法を用いてもよい。
上記の実施例では、現在画像の断層画像を断層画像1として説明したが、過去画像の断層画像を断層画像1とすることもできる。この場合、過去画像の断層位置を基準とするので、過去画像に対して現在画像を変形位置合わせしてから差分画像を作成することになる。
以下では、図4及び図5を用いて、複数の3次元画像の断層画像間の対応関係の第二及び第三の例を示す。
図4は、現在画像に対して過去画像を変形位置合わせしてから差分画像を作成した場合の、各3次元画像の断層画像の断層位置を示す例である。現在画像の断層画像が断層位置P1からP7に存在し、差分画像の断層画像が断層位置P4からP7において作成された場合、通知画像は断層位置P1からP3において出力される。その結果、表示画像として、断層位置P1からP3においては通知画像が選択され、断層位置P4からP7においては差分画像の断層画像が選択される。
図5は、過去画像に対して現在画像を変形位置合わせしてから差分画像を作成した場合の各3次元画像の断層画像の断層位置を示す例である。過去画像の断層画像が断層位置P4’からP9’に存在し、差分画像の断層画像が断層位置P4’からP7’において作成された場合、通知画像は断層位置P8’からP9’において出力される。その結果、表示画像として、断層位置P4’からP7’においては差分画像の断層画像が選択され、断層位置P8’からP9’においては通知画像が選択される。
以下では、図6及び図7を用いて、2つの断層位置における断層画像1、表示画像及び断層画像1上に表示画像を重畳した重畳画像の画面表示例を示す。
図6に、図4の断層位置P2における各断層画像の画面表示例を示す。図6(a)は断層画像1の画面表示例であり、画像表示エリア200に、被写体(患者の身体部位の一部)211を含んだ断層位置P2における断層画像1が表示されている。図6(b)は表示画像(通知画像)の画面表示例であり、画像表示エリア201に表示画像として、差分画像がないことを示す情報212を含む通知画像が表示されている。本図の例では、通知画像は画像表示エリア201の四隅に表示されている×印を含む画像であり、×印以外の部分(画素位置)ではすべて透明な画素値を持っている。図6(c)は、(a)の断層画像1上に(b)の表示画像(通知画像)を重畳した重畳画像の画面表示例である。なお、断層画像1と表示画像とを並列表示する場合は、表示部36に画像表示エリア200と画像表示エリア201を並べて表示すればよい。なお、断層画像1と表示画像とを並列表示する場合の通知画像は、×印以外の部分(画素位置)では予め決めた画素値(例えば値0)を持っている。
図7に、図4の断層位置P5における各断層画像の画面表示例を示す。図7(a)は断層画像1の画面表示例であり、画像表示エリア200に、被写体211を含んだ断層位置P5における断層画像1が表示されている。図7(b)は表示画像(断層画像2)の画面表示例であり、画像表示エリア201に表示画像として、経時変化部分213を含んだ断層位置P5における断層画像2が表示されている。本図の例では、断層画像2の中央よりやや右側には経時変化部分(差分値が0以外の部分)があり、その他の部分ではすべて差分値が0となっている。図7(c)は、(a)の断層画像1上に(b)の表示画像(断層画像2)を重畳した重畳画像の画面表示例である。
図6(c)と図7(c)を見比べるとわかるように、差分画像が作成されなかった断層位置では、差分画像の断層画像がないことを示す通知画像が表示されるため、ユーザはそのことに直ちに気付くことができる。従って、ユーザである医師が差分画像を参照しながら画像診断する際に、経時変化は存在するが差分画像が作成されなかった断層位置において、経時変化がないと誤解して病変部の出現を見逃すなどの恐れがなくなる。またその反対に、差分画像が存在していて経時変化がない断層位置において、通知画像が表示されないことにより、経時変化がないという情報を正しく認識することができる。
図6の例では、通知画像の例として画像の四隅に×印を描画した画像を示したが、通知画像はユーザにわかり易ければどのような画像であってもよい。例えば、「差分画像なし」などの文字列を埋め込んだ画像であってもよいし、予め決めた色(半透明色)で予め決めた領域または画像全体を塗りつぶした画像であってもよい。また例えば、現在画像に対する通知画像のデザイン(文字列、マーク、図形、色、透明度)と、過去画像に対する通知画像のデザインを、それぞれ異なるデザインとしてもよい。また例えば、ステップS114における通知画像取得部45の処理を以下のように変更することで、通知画像のデザインを、断層位置に応じて段階的または連続的に変更してもよい。その具体例としては、断層画像1の断層位置と、該断層位置に最も近い差分画像の断層画像の断層位置との差(断層位置間の距離)に応じて、通知画像を変更してもよい。例えば、通知画像上に描画する文字列、マーク、図形のサイズを該距離に応じて所定の比率で変化させたり、それらの色や透明度を所定の比率で変化させたりしてもよい。あるいは、当該距離の値と、上述した通知画像のデザインとの対応関係を定義したテーブルを予め記憶部34に記憶しておき、このテーブルを参照することで通知画像のデザインを変更してもよい。これによると、差分画像が存在する断層画像までの距離をユーザが容易に把握できる。なお、断層画像2(差分画像の断層画像)をカラー表示する場合は、断層画像2と通知画像が一目で区別できるように、断層画像2に用いる色と通知画像に用いる色を明確に分けておくとよい。
以上の第1実施形態または各変形例の処理に関し、制御部37が具備する各部の少なくとも一部を独立した装置として実現してもよい。また、各部の機能を実現するソフトウェアとして実現してもよい。またさらに、制御部37によって実現される機能の少なくとも一部をクラウドコンピューティングによって実現してもよい。すなわち、画像表示装置10とは異なる場所にある演算装置とLAN21を介して接続し、データの送受信を行うことで、前記演算装置に上述の処理を実行させてもよい。
以上説明したように、本実施例に係る画像表示装置によれば、第1の3次元画像の断層画像に対応する断層位置に処理済画像(3次元差分画像など)の断層画像が存在しない場合に、存在しないことをユーザに通知(明示)できるという効果がある。これにより、ユーザである医師は、過去画像と現在画像間に経時変化が存在しないものと誤解して誤診につながるような恐れがなくなるという効果がある。
[第2実施形態]
本実施形態では、図1に示した装置構成と全く同じ装置構成を備えるため、装置構成の説明は省略する。
本実施形態に係る処理手順を図8に示す。図8に示した処理手順の多くは、図2に示した処理手順と同じであり、図2と図8で同じステップについては同じステップ番号を付している。以下では、図2とは異なるステップ213及びステップS215について説明する。図2と同じその他のステップについては説明を省略する。
差分画像の作成方法によっては、現在画像と差分画像の断層位置及び断層間隔が必ずしも一致しない場合がある。例えば、現在画像と過去画像の断層位置及び断層間隔がずれていた場合に、差分画像の断層位置及び断層間隔を過去画像に合わせて作成した場合は、現在画像と差分画像の断層位置及び断層間隔は一致しない。例えば、ステップS111において取得した断層位置をある基準位置から所定の距離(例えば10mm)の位置にあるものとする。この時、ステップS112では、10mmの断層位置にある現在画像の断層画像(断層画像1)を取得できる。しかし、ステップS113では、10mmの断層位置には差分画像の断層画像(断層画像2)が存在せず、少しずれた断層位置(例えば12.5mm)に対応する断層画像が存在する場合がある。
以下では、ステップS112で取得された断層画像1の断層位置をPaとし、ステップ113で取得された断層画像2の断層位置をPbとした場合に、(Pa−Pb)の絶対値を断層画像1と断層画像2との間の距離と称する。
ステップS213において、断層画像2取得部44は、画像処理部42によって作成され記憶部34に記憶された差分画像の断層画像(断層画像2)を取得し、RAM33に一時記憶する。この際、断層画像2として、前記ステップS111で取得した断層位置に最も近い位置にある断層画像を取得する。この際、最も近い断層位置にある断層画像2を取得するので、図3の例に示した断層位置P1からP3においても、断層位置P4にある差分画像の断層画像を断層画像2として取得できる。
ステップS215において、表示画像選択部46は、断層画像1と断層画像2との対応関係が所定の条件を満たす場合には断層画像2を表示画像として選択する。一方、所定の条件を満たさない場合には通知画像を表示画像として選択する。ここで、本実施例における所定の条件は、断層画像1と断層画像2との間の距離が予め決めた閾値以下であるか否かである。すなわち、表示画像選択部46は、断層画像1と断層画像2との間の距離が予め決めた閾値以下の場合には断層画像2を、閾値を超えた場合には通知画像を表示画像として選択する。
上述の処理により、断層画像1と断層画像2の断層位置がずれている場合に、断層画像1と断層画像2との間の距離が予め決めた閾値より大きくずれている場合は、通知画像を表示することができる。これにより、断層画像間のずれが大きい場合は、ユーザにずれが大きいことを通知できる。なお、条件を満たさない場合の表示画像として、断層画像2と通知画像の合成画像を選択してもよい。ここで、合成画像としては、例えば、断層画像2に通知画像を重畳表示した画像を用いることができる。
<変形例1>
断層画像1と断層画像2との間の距離の閾値として、第1の閾値と第2の閾値の2つの閾値を設け、それらに応じて表示画像を選択してもよい。ただし、第1の閾値よりも第2の閾値の方が大きい値である。
例えば、上述のステップS215において、表示画像選択部46は、断層画像1と断層画像2との間の距離が第1の閾値以下の場合(条件1)には、断層画像2を表示画像として選択する。一方、該距離が第1の閾値を超えているが第2の閾値以下の場合(条件2)には、断層画像2と通知画像の合成画像(例えば重畳画像)を表示画像として選択する。また、該距離が第2の閾値を超えた場合(条件3)には、通知画像を表示画像として選択する。
なお、条件2の場合に、断層画像2と通知画像との合成画像を生成する際の合成比率を、断層画像1と断層画像2との間の距離に応じて変更するようにしてもよい。すなわち、該距離が大きくなるほど通知画像の比率が大きくなるような合成を行ってもよい。また、断層画像1と断層画像2との間の距離が大きくなるほど通知画像の比率が大きくなるような合成比率を用いて、断層画像2と通知画像を合成した合成画像を常に表示画像とする構成であってもよい。すなわち、合成比率は断層画像1と断層画像2との間のずれに基づいて設定される。
上述の処理により、断層画像1と断層画像2との間の距離が少しずれている場合は、差分画像を表示するとともに差分画像の断層位置が少しずれていることを警告する通知画像を重畳表示することができる。また、断層画像1と断層画像2との間の距離が大きくずれている場合は、大きくずれていることを警告する通知画像を表示することができる。これにより、断層位置がある程度ずれているものの差分画像を参照する意味がある断層位置の場合には、差分画像と通知画像を同時に表示することができる。
<変形例2>
ステップS215において表示画像選択部46が表示画像を選択するために用いる所定の条件は、断層画像1と断層画像2との断層位置の距離以外に基づく条件であってもよい。
上述のステップS213において、断層画像2取得部44はさらに、取得した断層画像2の画素値の統計量を計算する。統計量の例として、絶対値の合計値、絶対値の平均値、分散値、絶対値の最大値、などが挙げられる。
上述のステップS215において、表示画像選択部46はさらに、断層画像2取得部44から上記断層画像2の画素値の統計量を受け取り、統計量が所定の範囲に入っているかどうかを判定する。例えば、統計量として画素値の絶対値の平均値を受け取った場合、受け取った平均値が予め決めた閾値より大きいかどうかを判定する。断層画像2の画素値の統計量が大きいほど、断層画像2の画素値の絶対値が大きい画素が多いことを意味するので、所定の範囲を超える統計量が計算された場合は変形位置合わせに失敗した可能性が高い。この場合、表示画像選択部46は断層画像2が表示に適さない画像であると判断し、表示に適さない断層画像2であることを示す通知画像(または、断層画像2と通知画像の合成画像)を表示画像として選択する。一方、統計量が所定の範囲に入っている場合、表示画像選択部46は上述の実施形態で述べた方法により、表示画像を選択する。つまり、断層画像2、断層画像1の断層位置と断層画像2の断層位置との間の距離が大きいことを示す通知画像、または断層画像2と通知画像の合成画像、のいずれかを表示画像として選択する。
上述の処理により、断層画像1と断層画像2との間の距離が大きい場合だけでなく、断層画像2の統計量が所定の範囲を超えた場合(変形位置合わせが失敗した可能性が高い場合)にも通知画像を表示できる。これにより、ユーザが意図しないままに不適切な差分画像を参照して現在画像を診断することを抑制できる。
<その他の実施形態>
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
10 画像表示装置
21 通信手段(LAN)
22 データベース
31 通信IF
32 ROM
33 RAM
34 記憶部
35 操作部
36 表示部
41 画像読出部
42 画像処理部
43 断層画像1取得部
44 断層画像2取得部
45 通知画像取得部
46 表示画像選択部
47 表示制御部

Claims (8)

  1. 複数の断層画像から成る第1の3次元画像から第1の断層画像を取得する第1取得手段と、
    前記第1の3次元画像と第2の3次元画像とを画像処理することで得られる処理済画像から前記第1の断層画像に対応する断層位置にある第2の断層画像を取得する第2取得手段と、
    前記第2取得手段が前記第2の断層画像を取得できないことまたは前記第1の断層画像と前記第2の断層画像との対応関係が所定の条件を満たさないことを通知するための通知画像を取得する第3取得手段と、
    前記第2取得手段が前記第2の断層画像を取得できた場合または前記第の断層画像と前記第2の断層画像との対応関係が所定の条件を満たす場合には前記第2の断層画像を表示画像として選択し、それ以外の場合には前記通知画像を表示画像として選択する選択手段と、
    前記第1の断層画像と前記選択手段で選択した表示画像を並列にまたは重畳して表示する表示手段とを備えることを特徴とする画像表示装置。
  2. 前記所定の条件は、前記第1の断層画像と前記第2の断層画像との間の断層位置のずれが閾値以下であることであり、前記選択手段は、前記所定の条件を満たす場合には前記第2の断層画像を表示画像として選択し、それ以外の場合には前記通知画像を表示画像として選択することを特徴とする請求項1に記載の画像表示装置。
  3. 前記所定の条件は、前記第1の断層画像と前記第2の断層画像との間の断層位置のずれが閾値以下であることであり、前記選択手段は、前記所定の条件を満たす場合には前記第2の断層画像を表示画像として選択し、それ以外の場合には前記第2の断層画像と前記通知画像の合成画像を表示画像として選択することを特徴とする請求項1に記載の画像表示装置。
  4. 前記選択手段は、前記合成画像を生成する際の前記第2の断層画像と前記通知画像との合成比率を前記ずれに基づいて設定することを特徴とする請求項3に記載の画像表示装置。
  5. 前記処理済画像は、前記第1の3次元画像と前記第2の3次元画像とを位置合わせした後に互いの差分値を計算することによって作成した差分画像であることを特徴とする請求項1ないし4のいずれか1項に記載の画像表示装置。
  6. 複数の断層画像から成る第1の3次元画像から第1の断層画像を取得する第1取得工程と、
    前記第1の3次元画像と第2の3次元画像とを画像処理することで得られる処理済画像から前記第1の断層画像に対応する断層位置にある第2の断層画像を取得する第2取得工程と、
    前記第2取得工程が前記第2の断層画像を取得できないことまたは前記第1の断層画像と前記第2の断層画像との対応関係が所定の条件を満たさないことを通知するための通知画像を取得する第3取得工程と、
    前記第2取得工程が前記第2の断層画像を取得できた場合または前記第1の断層画像と前記第2の断層画像との対応関係が所定の条件を満たす場合には前記第2の断層画像を表示画像として選択し、それ以外の場合には前記通知画像を表示画像として選択する選択工程と、
    前記第1の断層画像と前記選択工程で選択した表示画像を並列にまたは重畳して表示する表示工程とを備えることを特徴とする画像表示方法。
  7. 前記処理済画像は、前記第1の3次元画像と前記第2の3次元画像とを位置合わせした後に互いの差分値を計算することによって作成した差分画像であることを特徴とする請求項6に記載の画像表示方法。
  8. 請求項6または請求項7記載の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2016169608A 2016-08-31 2016-08-31 画像表示装置、画像表示方法及びプログラム Active JP6827739B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016169608A JP6827739B2 (ja) 2016-08-31 2016-08-31 画像表示装置、画像表示方法及びプログラム
US15/681,807 US10499859B2 (en) 2016-08-31 2017-08-21 Image display apparatus, image display method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016169608A JP6827739B2 (ja) 2016-08-31 2016-08-31 画像表示装置、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018033698A JP2018033698A (ja) 2018-03-08
JP6827739B2 true JP6827739B2 (ja) 2021-02-10

Family

ID=61241032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016169608A Active JP6827739B2 (ja) 2016-08-31 2016-08-31 画像表示装置、画像表示方法及びプログラム

Country Status (2)

Country Link
US (1) US10499859B2 (ja)
JP (1) JP6827739B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7227740B2 (ja) * 2018-11-09 2023-02-22 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム
JP2020096773A (ja) * 2018-12-19 2020-06-25 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
JP2021078824A (ja) * 2019-11-20 2021-05-27 キヤノンメディカルシステムズ株式会社 X線診断装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0877329A (ja) 1994-09-02 1996-03-22 Konica Corp 時系列処理画像の表示装置
JP3639030B2 (ja) * 1995-02-28 2005-04-13 株式会社東芝 画像表示システム及びそのシステムを用いた画像表示方法
JP4104054B2 (ja) * 2001-08-27 2008-06-18 富士フイルム株式会社 画像の位置合わせ装置および画像処理装置
JP2008000536A (ja) * 2006-06-26 2008-01-10 Fujifilm Corp 画像表示装置
JP4818846B2 (ja) * 2006-08-16 2011-11-16 富士フイルム株式会社 医用画像処理装置及び医用画像処理プログラム
JP5653142B2 (ja) * 2010-09-02 2015-01-14 株式会社東芝 医用画像処理サーバおよび医用画像処理システム
JP5822554B2 (ja) * 2011-06-17 2015-11-24 キヤノン株式会社 画像処理装置、画像処理方法、撮影システム及びプログラム
ES2641456T3 (es) * 2012-02-13 2017-11-10 Hologic, Inc. Sistema y método para navegar por una pila de tomosíntesis usando datos de imágenes sintetizadas
JP6425906B2 (ja) * 2014-03-19 2018-11-21 キヤノンメディカルシステムズ株式会社 医用画像診断装置及び医用画像処理装置
JP6383189B2 (ja) * 2014-06-16 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20160306936A1 (en) * 2015-04-15 2016-10-20 Canon Kabushiki Kaisha Diagnosis support system, information processing method, and program

Also Published As

Publication number Publication date
US10499859B2 (en) 2019-12-10
JP2018033698A (ja) 2018-03-08
US20180055461A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
US8165368B2 (en) Systems and methods for machine learning based hanging protocols
JP6318739B2 (ja) 画像処理装置、およびプログラム
US20140258918A1 (en) Medical information displaying apparatus
JP6688560B2 (ja) 医用画像処理装置及び医用画像処理方法
US20080166070A1 (en) Method for providing adaptive hanging protocols for image reading
JP6827739B2 (ja) 画像表示装置、画像表示方法及びプログラム
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
KR102149369B1 (ko) 의료 영상을 시각화하는 방법 및 이를 이용한 장치
JP2016214323A (ja) 医療診断支援装置、情報処理方法及びプログラム
WO2014148242A1 (ja) 画像表示装置および方法
JP2007151645A (ja) 医用画像診断支援システム
JP2015016067A (ja) 画像表示方法および装置並びにプログラム
JP6397277B2 (ja) 読影レポート作成のための支援装置およびその制御方法
JP6158690B2 (ja) 画像表示装置
WO2019146358A1 (ja) 学習システム、方法及びプログラム
US10324582B2 (en) Medical image display apparatus, method for controlling the same
JP6440386B2 (ja) 情報処理装置及びプログラム
JP2020062215A (ja) 医用画像閲覧装置、医用画像処理装置、及び、医用画像診断装置
JP2019046057A (ja) 画像処理装置、画像処理方法およびプログラム
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
CN110738639A (zh) 医学图像检测结果的展示方法、装置、设备及存储介质
US10074198B2 (en) Methods and apparatuses for image processing and display
US20070286525A1 (en) Generation of imaging filters based on image analysis
JP6572370B2 (ja) 医用画像表示装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210120

R151 Written notification of patent or utility model registration

Ref document number: 6827739

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151