JP6525903B2 - 画像表示装置、方法およびプログラム - Google Patents

画像表示装置、方法およびプログラム Download PDF

Info

Publication number
JP6525903B2
JP6525903B2 JP2016045137A JP2016045137A JP6525903B2 JP 6525903 B2 JP6525903 B2 JP 6525903B2 JP 2016045137 A JP2016045137 A JP 2016045137A JP 2016045137 A JP2016045137 A JP 2016045137A JP 6525903 B2 JP6525903 B2 JP 6525903B2
Authority
JP
Japan
Prior art keywords
common
image
images
medical images
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016045137A
Other languages
English (en)
Other versions
JP2017158757A (ja
Inventor
元中 李
元中 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016045137A priority Critical patent/JP6525903B2/ja
Priority to PCT/JP2017/007502 priority patent/WO2017154640A1/ja
Publication of JP2017158757A publication Critical patent/JP2017158757A/ja
Priority to US16/046,264 priority patent/US10307124B2/en
Application granted granted Critical
Publication of JP6525903B2 publication Critical patent/JP6525903B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、複数の画像を比較のために表示する画像表示装置、方法およびプログラムに関するものである。
近年、医用画像の分野においては、Ｘ線撮影装置の他、Ｘ線ＣＴ（Computed Tomography）装置、超音波（ＵＳ）診断装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、およびＳＰＥＴ（Single-Photon Emission Tomography）装置等の様々な技術を用いたモダリティが利用されている。このようなモダリティの高速化およびマルチスライス対応といった高性能化に伴い、１つの撮影シリーズにおいて被検体の複数の部位の撮影を行い、数百から数千の高精細な断層画像を取得することが可能になってきている。
また、複数の医用画像を液晶ディスプレイ等の表示装置に表示させて、画像を比較しながら読影をする比較読影が従来から行われている。例えば、被検体の現在および過去の医用画像を表示させて比較読影することにより、病変の進行度合いの確認、あるいは異常を早期に発見することができる。また、このような比較読影を行いやすいように、医用画像を表示装置に表示させる技術が提案されている。例えば、特許文献１には、比較読影するための２つの医用画像について、共通する撮影部位のサイズが等しくなる拡大率を設定し、設定された拡大率により２つの医用画像を拡大縮小して表示する手法が提案されている。また、比較するための複数のＣＴ画像について、ピクセルサイズに基づいて各ＣＴ画像のサイズを揃えて表示する手法（特許文献２参照）、および比較するための２つの医用画像について、一方の医用画像を拡大したら他方の医用画像も追随して拡大する手法（特許文献３，４参照）も提案されている。
特開２００３−２６５４１６号公報 特開平８−２９４４８５号公報 特開２０１２−３５１２４号公報 特開２０１５−１７１４３７号公報
上述した比較読影を行うための医用画像を取得する際には、比較読影の対象となる部位が含まれるように被検体の撮影を行う。しかしながら、常に撮影範囲が完全に一致するように撮影を行うことは困難である。例えば、頸椎を被写体とするアキシャル断面のＣＴ画像を用いて比較読影を行う場合、常に頸椎が画像の中央に位置するものではなく、画像の中央からずれた位置に頸椎が含まれる場合がある。また、撮影条件によっては、画像に含まれる頸椎の領域のサイズが画像間で異なるものとなる場合もある。また、撮影時の体位によっては、ＣＴ画像中に被検体の肩が含まれたり含まれなかったりする場合がある。このように、撮影範囲が一致していない医用画像、または対象となる部位以外の部位が含まれたり含まれなかったりする医用画像を用いて比較読影を行う際に、特許文献１に記載のように対象部位のサイズを一致させても、複数の医用画像間において対象部位の位置が異なったり、不要な部位が含まれたり含まれなかったりするため、比較読影を効率よく行うことが困難となる。
この場合、複数の医用画像を観察しながら複数の医用画像から共通する部位のみを手動で抽出し、抽出した部位のサイズを一致させることが考えられる。しかしながら、そのような作業は、非常に煩わしく、ユーザの負担が大きい。
本発明は上記事情に鑑みなされたものであり、比較読影の対象となる複数の医用画像を効果的に見やすくすることができるようにすることを目的とする。
本発明による画像表示装置は、複数の医用画像を取得する画像取得手段と、
複数の医用画像間に共通に存在する共通領域を決定する共通領域決定手段と、
複数の医用画像についての複数の共通領域を同一のサイズで表示するための拡大率を、複数の医用画像のそれぞれについて決定する拡大率決定手段と、
複数の共通領域に決定された拡大率を適用し、拡大率適用後の複数の共通領域の画像を表示手段に表示する表示制御手段とを備えたことを特徴とするものである。
複数の医用画像について決定された拡大率について、一の医用画像の拡大率が１の場合、他の医用画像の共通領域をそれぞれについて決定された拡大率により拡大縮小すれば、一の医用画像は拡大縮小しなくても、全ての医用画像の共通領域が同一サイズとなる。「拡大率を適用する」とは、拡大率が１となった場合のように、医用画像の共通領域を拡大縮小しないことを含む。
なお、本発明による画像表示装置においては、共通領域決定手段は、複数の医用画像から特徴点を抽出し、複数の医用画像間において、特徴点を用いたマッチングを行うことにより、共通領域を決定するものであってもよい。
また、本発明による画像表示装置においては、共通領域決定手段は、複数の医用画像から、複数の医用画像に共通する解剖学的領域を抽出し、抽出した解剖学的領域に基づいて、共通領域を決定するものであってもよい。
「解剖学的領域」とは、医用画像に含まれる被写体の特定の臓器、特定の骨、および皮膚の表面を表す輪郭等の、人体の部分的な領域を意味する。
また、本発明による画像表示装置においては、共通領域決定手段は、複数の医用画像のそれぞれに複数の解剖学的領域が存在する場合、複数の医用画像のそれぞれから一の解剖学的領域を抽出し、複数の医用画像のうちの一の医用画像における抽出された一の解剖学的領域と、一の解剖学的領域以外の他の解剖学的領域との位置関係とに基づいて、一の医用画像以外の他の医用画像における他の解剖学的領域を決定し、複数の医用画像における抽出された一の解剖学的領域と他の解剖学的領域とに基づいて、共通領域を決定するものであってもよい。
また、本発明による画像表示装置においては、共通領域決定手段は、複数の医用画像のそれぞれから被写体領域の少なくとも一部の領域を抽出し、複数の医用画像間において、被写体領域の少なくとも一部の領域の位置合わせを行うことにより、共通領域を決定するものであってもよい。
また、本発明による画像表示装置においては、共通領域決定手段は、複数の医用画像のそれぞれを二値化して位置合わせを行うものであってもよい。
「被写体領域」とは、医用画像において撮影の対象となる被写体が存在する領域である。
また、本発明による画像表示装置においては、共通領域決定手段は、複数の医用画像の実サイズを一致させて共通領域を決定するものであってもよい。
この場合、共通領域決定手段は、複数の医用画像のそれぞれに付与された、隣接する画素の中心間の距離の情報に基づいて、実サイズを一致させるものであってもよい。
「実サイズを一致させる」とは、複数の医用画像のそれぞれにおいて、同一の長さ（同一画素数）の線分が、実際に同一の長さとなるように、医用画像を拡大縮小することを意味する。具体的には、隣接する画素の中心間の距離に基づいて、実サイズを一致すればよい。
また、本発明による画像表示装置においては、表示制御手段は、共通領域を含む矩形領域の画像を表示手段に表示するものであってもよい。
「共通領域を含む矩形領域の画像」とは、共通領域をその内部に含む矩形の領域の画像を意味する。なお、共通領域を完全に内部に含んでいる必要はなく、観察に影響のない範囲で、共通領域の一部を含まない画像であってもよい。また、共通領域を内部に含んでいれば、共通領域に外接する画像であってもよく、共通領域に外接する矩形領域をあらかじめ定められたマージンを持って拡大または縮小した画像であってもよい。
また、本発明による画像表示装置においては、表示制御手段は、拡大率適用後の複数の共通領域の画像を並べて表示するものであってもよい。
また、本発明による画像表示装置においては、表示制御手段は、拡大率適用後の複数の共通領域の画像を切り替え表示するものであってもよい。
切り替え表示は、外部からの指示により複数の共通領域を切り替えるものであってもよく、一定の時間間隔で複数の共通領域の画像を切り替えるものであってもよい。
また、本発明による画像表示装置においては、複数の共通領域の画像に対して画質を一致させる画像処理を行う画像処理手段をさらに備えるものであってもよい。
本発明による画像表示方法は、複数の医用画像を取得し、
複数の医用画像間に共通に存在する共通領域を決定し、
複数の医用画像についての複数の共通領域を同一のサイズで表示するための拡大率を、複数の医用画像のそれぞれについて決定し、
複数の共通領域に決定された拡大率を適用し、拡大率適用後の複数の共通領域の画像を表示手段に表示することを特徴とするものである。
なお、本発明による画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、複数の医用画像間に共通に存在する共通領域が決定され、複数の医用画像についての複数の共通領域を同一のサイズで表示するための拡大率が複数の医用画像のそれぞれについて決定され、複数の共通領域に決定された拡大率が適用され、拡大率適用後の複数の共通領域が表示手段に表示される。このため、ユーザは何ら処理を行わなくても、表示手段には、複数の医用画像についての同一サイズの共通領域が表示される。したがって、比較読影の対象となる複数の医用画像を効果的に見やすくすることができる。
本発明の第１の実施形態による画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図 第１の実施形態による画像表示装置の構成を示す概略ブロック図 特徴点の検出およびマッチングの結果を示す図 第１の実施形態における最近傍縁部の決定を説明するための図 断層画像に設定された仮の上下左右の縁部を示す図 第１の実施形態において決定された共通領域を示す図 第１の実施形態においてディスプレイに表示された共通領域の画像を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態における断層画像からの解剖学的領域の抽出を説明するための図 第２の実施形態における最近傍縁部の決定を説明するための図 第２の実施形態において決定された共通領域を示す図 第２の実施形態においてディスプレイに表示された共通領域の画像を示す図 第２の実施形態において行われる処理を示すフローチャート 第４の実施形態において二値化処理が行われた断層画像を示す図 第５の実施形態による画像表示装置の構成を示す概略ブロック図
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の第１の実施形態による画像表示装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による画像表示装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。そして、診断支援システムにおいては、被検体の診断対象となる部位についての比較診断のために、現在の３次元画像および過去の３次元画像を画像表示装置１において表示するものである。
３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ装置等である。この３次元画像撮影装置２により生成された３次元画像Ｖ０は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、被検体の診断対象部位は頸椎であり、３次元画像撮影装置２はＣＴ装置であり、被検体の頸椎についての複数のアキシャル断面の断層画像からなる３次元画像が生成されるものとする。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、同一被検体についての撮影時期が異なる頸椎の３次元画像が、画像保管サーバ３に保管されているものとする。
画像表示装置１は、１台のコンピュータに、本発明の画像表示プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像表示プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図２は、コンピュータに画像表示プログラムをインストールすることにより実現される画像表示装置の概略構成を示す図である。図２に示すように、画像表示装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、画像表示装置１には、ディスプレイ１４と、マウス等の入力部１５とが接続されている。なお、ディスプレイ１４が表示手段に対応する。
ストレージ１３には、ネットワーク４を経由して画像保管サーバ３から取得した、同一被検体についての現在および過去の３次元画像、並びに処理に必要な情報を含む各種情報が記憶されている。なお、本実施形態においては、同一被検体についての最新の３次元画像（以下、現在の３次元画像Ｖ１とする）、および過去に取得した撮影時期が異なる３次元画像Ｖ２、Ｖ３が記憶されているものとする。また、３次元画像を総称して３次元画像Ｖ０と称する場合があるものとする。
また、メモリ１２には、画像表示プログラムが記憶されている。画像表示プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像撮影装置２が取得した、比較読影の診断対象となる頸椎を含む３次元画像Ｖ１〜Ｖ３における、診断対象となる対応するアキシャル断層面の断層画像Ｔ１〜Ｔ３を取得する画像取得処理、断層画像Ｔ１〜Ｔ３間に共通に存在する共通領域を決定する共通領域決定処理、断層画像Ｔ１〜Ｔ３についての複数の共通領域を同一のサイズで表示するための拡大率を、断層画像Ｔ１〜Ｔ３のそれぞれについて決定する拡大率決定処理、および複数の共通領域に決定された拡大率を適用し、拡大率適用後の複数の共通領域の画像をディスプレイ１４に表示する表示制御処理を規定する。
そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、共通領域決定部２２、拡大率決定部２３、および表示制御部２４として機能する。なお、画像表示装置１は、画像取得処理、共通領域決定処理、拡大率決定処理および表示制御処理をそれぞれ行う複数のプロセッサを備えるものであってもよい。なお、断層画像Ｔ１〜Ｔ３が医用画像に対応する。
画像取得部２１は、３次元画像Ｖ１〜Ｖ３における、診断対象となる対応するアキシャル断層面の断層画像Ｔ１〜Ｔ３を画像保管サーバ３から取得する。なお、画像取得部２１は、画像保管サーバ３から３次元画像Ｖ１〜Ｖ３を取得し、３次元画像Ｖ１〜Ｖ３から断層画像Ｔ１〜Ｔ３を取得するようにしてもよい。なお、３次元画像Ｖ１〜Ｖ３が既にストレージ１３に記憶されている場合には、ストレージ１３から断層画像Ｔ１〜Ｔ３を取得するようにしてもよい。
共通領域決定部２２は、断層画像Ｔ１〜Ｔ３に共通に存在する共通領域を決定する。本実施形態においては、共通領域決定部２２は、断層画像Ｔ１〜Ｔ３のそれぞれから特徴点を抽出し、抽出した特徴点のマッチングを行うことにより、共通領域を決定する。まず、特徴点の抽出およびマッチングについて説明する。
特徴点の抽出およびマッチングは、公知の任意の手法を用いることができる。例えば、一の断層画像において、特徴点および特徴点を中心とした、例えば９×９画素の領域をテンプレートとして抽出し、抽出したテンプレートを用いて断層画像間において対応する特徴点を探索するテンプレートマッチングの手法を用いることができる。また、ＳＩＦＴ(Scale-Invariant Feature Transform)あるいはＳＵＲＦ(Speeded Up Robust Features)等のアルゴリズムを用いて、断層画像Ｔ１〜Ｔ３に含まれる、エッジ、エッジの交点およびエッジの角部等の特徴点を検出し、検出した特徴点をマッチングさせる手法を用いてもよい。
ここで、ＳＩＦＴとは、特徴点において画像の回転およびスケール変化に対して不変な特徴量を記述し、記述した特徴量に基づいて、複数の画像の位置合わせを行う手法である。ＳＵＲＦとは、ＳＩＦＴにおいて行われる処理を近似処理に置き換えることにより、より高速に位置合わせを行う手法である。
また、「Distinctive Image Features from Scale-Invariant Keypoints, David G. Lowe, International Journal of Computer Vision, 2004」（参考文献１）に記載された、スケール変化に対して不変な特徴点を検出する手法を用いることができる。また、「ORB: an efficient alternative to SIFT or SURF. Proc. IEEE International Conference on Computer Vision, pp. 2564-2571, 2011」（参考文献２）に記載された、ＳＩＦＴおよびＳＵＲＦの手法をさらに高速にした手法を用いることができる。
図３は特徴点の検出およびマッチングの結果を示す図である。図３に示すように、３つの断層画像Ｔ１〜Ｔ３には、頸椎領域Ａ１および肩領域Ａ２，Ａ３がそれぞれ含まれるが、各断層画像Ｔ１〜Ｔ３において、頸椎領域Ａ１および肩領域Ａ２，Ａ３の含まれる位置およびサイズが異なる。
共通領域決定部２２は、断層画像Ｔ１において、頸椎領域Ａ１内の特徴点Ｐ１−１、肩領域Ａ２内の特徴点Ｐ２−１、および肩領域Ａ３内の特徴点Ｐ３−１を検出し、断層画像Ｔ１〜Ｔ３間において特徴点のマッチングを行う。これにより、断層画像Ｔ１〜Ｔ３のそれぞれにおける頸椎領域Ａ１内の特徴点Ｐ１−１，Ｐ１−２，Ｐ１−３、肩領域Ａ２内の特徴点Ｐ２−１，Ｐ２−２，Ｐ２−３、および肩領域Ａ３内の特徴点Ｐ３−１，Ｐ３−２，Ｐ３−３がマッチングされる。図３においては、特徴点Ｐ１−１，Ｐ１−２，Ｐ１−３がマッチングされたことを実線で、特徴点Ｐ２−１，Ｐ２−２，Ｐ２−３がマッチングされたことを破線で、特徴点Ｐ３−１，Ｐ３−２，Ｐ３−３がマッチングされたことを一点鎖線で示している。なお、図３においては、各断層画像Ｔ１〜Ｔ３に３つの特徴点のみが検出されているが、実際には多数の特徴点が検出され、マッチングされる。
共通領域決定部２２は、特徴点のマッチングの結果に基づいて、断層画像Ｔ１〜Ｔ３におけるマッチングされた特徴点に最も近い上下左右の縁部を決定する。以下、断層画像Ｔ１〜Ｔ３におけるマッチングされた特徴点に最も近い上下左右の縁部を、最近傍上縁部、最近傍下縁部、最近傍左縁部および最近傍右縁部と称する。図４は最近傍縁部の決定を説明するための図である。まず、最近傍上縁部を決定するために、共通領域決定部２２は、断層画像Ｔ１〜Ｔ３のそれぞれにおいて、全ての特徴点と上縁部との距離を算出する。そして、算出した距離が最も小さい特徴点を含む断層画像の上縁部を、最近傍上縁部に決定する。本実施形態においては、図４に示すように、断層画像Ｔ３における特徴点Ｐ１−３と断層画像Ｔ３の上縁部との距離が最も小さくなるため、共通領域決定部２２は、断層画像Ｔ３の上縁部を最近傍上縁部３０Ｕに決定する。
次に最近傍下縁部を決定するために、共通領域決定部２２は、断層画像Ｔ１〜Ｔ３のそれぞれにおいて、全ての特徴点と下縁部との距離を算出する。そして、算出した距離が最も小さい特徴点を含む断層画像の下縁部を最近傍下縁部に決定する。本実施形態においては、図４に示すように、断層画像Ｔ２における特徴点Ｐ３−２と断層画像Ｔ２の下縁部との距離が最も小さくなるため、共通領域決定部２２は、断層画像Ｔ２の下縁部を最近傍下縁部３０Ｄに決定する。
同様にして共通領域決定部２２は、最近傍左縁部および最近傍右縁部を決定する。本実施形態においては、断層画像Ｔ２における特徴点Ｐ３−２と断層画像Ｔ２の左縁部との距離が最も小さくなるため、共通領域決定部２２は、断層画像Ｔ２の左縁部を最近傍左縁部３０Ｌに決定する。また、断層画像Ｔ３における特徴点Ｐ２−３と断層画像Ｔ３の右縁部との距離が最も小さくなるため、共通領域決定部２２は、断層画像Ｔ３の右縁部を最近傍右縁部３０Ｒに決定する。なお、図４においては、決定された上下左右の最近傍縁部を太線にて示している。
共通領域決定部２２は、決定された上下左右の最近傍縁部に基づいて、断層画像Ｔ１〜Ｔ３における共通領域を決定する。なお、本実施形態においては、共通領域は矩形であるものとする。まず、共通領域の上縁部の決定について説明する。本実施形態においては、断層画像Ｔ３の上縁部が最近傍上縁部３０Ｕに決定されているため、共通領域決定部２２は、断層画像Ｔ３における特徴点Ｐ１−３から最近傍上縁部３０Ｕまでの距離Ｌ１を算出し、断層画像Ｔ１，Ｔ２に対して、特徴点Ｐ１−１，Ｐ１−２から距離Ｌ１離れた位置に仮の上縁部を設定する。この際、各断層画像Ｔ１〜Ｔ３に含まれる撮影の対象となる被写体の領域（以下、被写体領域とする）のサイズが、各断層画像Ｔ１〜Ｔ３において異なるため、距離Ｌ１を正規化して仮の上縁部を設定する。例えば、断層画像Ｔ３における特徴点Ｐ１−３と特徴点Ｐ３−３との距離に対する、断層画像Ｔ１における特徴点Ｐ１−１と特徴点Ｐ３−１との距離の比率を算出し、算出した比率を距離Ｌ１に乗算した上で、断層画像Ｔ１に対して仮の上縁部を設定する。同様に、断層画像Ｔ３における特徴点Ｐ１−３と特徴点Ｐ３−３との距離に対する、断層画像Ｔ２における特徴点Ｐ１−２と特徴点Ｐ３−２との距離の比率を算出し、算出した比率を距離Ｌ１に乗算した上で、断層画像Ｔ２に対して仮の上縁部を設定する。
また、共通領域の下縁部に関して、本実施形態においては、断層画像Ｔ２の下縁部が最近傍下縁部３０Ｄに決定されているため、共通領域決定部２２は、断層画像Ｔ２における特徴点Ｐ３−２から最近傍下縁部３０Ｄまでの距離Ｌ２を算出し、断層画像Ｔ２，Ｔ３に対して、特徴点Ｐ３−１，Ｐ３−２から距離Ｌ２離れた位置に仮の下縁部を設定する。この際、各断層画像Ｔ１〜Ｔ３において、含まれる被写体領域のサイズが異なるため、上記仮の上縁部の設定時と同様に距離Ｌ２を正規化して、仮の下縁部を設定する。
また、共通領域の左縁部に関して、本実施形態においては、断層画像Ｔ２の左縁部が最近傍左縁部３０Ｌに決定されているため、共通領域決定部２２は、断層画像Ｔ２における特徴点Ｐ３−２から最近傍左縁部３０Ｌまでの距離Ｌ３を算出し、断層画像Ｔ２，Ｔ３に対して、特徴点Ｐ３−１，Ｐ３−２から距離Ｌ３離れた位置に仮の左縁部を設定する。この際、仮の上縁部の設定時と同様に距離Ｌ３を正規化して、仮の左縁部を設定する。
さらに、共通領域の右縁部に関して、本実施形態においては、断層画像Ｔ３の右縁部が最近傍右縁部３０Ｒに決定されているため、共通領域決定部２２は、断層画像Ｔ３における特徴点Ｐ２−３から最近傍右縁部３０Ｒまでの距離Ｌ４を算出し、断層画像Ｔ１，Ｔ２に対して、特徴点Ｐ２−１，Ｐ２−２から距離Ｌ４離れた位置に仮の右縁部を設定する。この際、仮の上縁部の設定時と同様に距離Ｌ４を正規化して、仮の右縁部を設定する。断層画像Ｔ１〜Ｔ３に設定された仮の上下左右の縁部を図５に破線で示す。
上下左右の仮の縁部が決定されると、共通領域決定部２２は、各断層画像Ｔ１〜Ｔ３において、上下左右の仮の縁部および各断層画像の上下左右の最近傍縁部により規定される領域の枠を設定する。そして、枠により囲まれる領域のアスペクト比が、表示する画像と同一となるように、上下左右の仮の縁部および各断層画像の上下左右の最近傍縁部の位置を調整して、共通領域を決定する。図６は決定された共通領域を示す図である。図６に示すように、断層画像Ｔ１〜Ｔ３には決定された共通領域Ｃ１〜Ｃ３が示されている。なお、断層画像Ｔ２に設定された共通領域Ｃ２においては、下縁部が最近傍下縁部３０Ｄよりも若干上側に位置している。また、断層画像Ｔ３に設定された共通領域Ｃ３においては、上縁部が最近傍上縁部３０Ｕよりも若干下側に位置している。
拡大率決定部２３は、共通領域Ｃ１〜Ｃ３を同一のサイズで表示するための拡大率を、断層画像Ｔ１〜Ｔ３のそれぞれについて決定する。本実施形態においては、共通領域Ｃ１〜Ｃ３を表示する画像のサイズと一致させるように、共通領域Ｃ１〜Ｃ３を拡大縮小するための拡大率Ｒ１〜Ｒ３を、断層画像Ｔ１〜Ｔ３のそれぞれについて決定する。なお、共通領域のサイズが表示する画像のサイズと同一であれば、その共通領域についての拡大率は１となり、実質的に拡大も縮小もしないこととなる。
表示制御部２４は、決定された拡大率Ｒ１〜Ｒ３を共通領域Ｃ１〜Ｃ３にそれぞれ適用し、拡大率を適用した後の共通領域Ｃ１〜Ｃ３の画像をディスプレイ１４に表示する。すなわち共通領域Ｃ１〜Ｃ３をそれぞれ拡大率Ｒ１〜Ｒ３により拡大または縮小して、拡大または縮小された共通領域の画像Ｇ１〜Ｇ３をディスプレイ１４に表示する。図７はディスプレイ１４に表示された共通領域の画像Ｇ１〜Ｇ３を示す図である。図７に示すように、同一サイズの共通領域の画像Ｇ１〜Ｇ３が並んで表示される。表示された共通領域の画像Ｇ１〜Ｇ３においては、頸椎領域Ａ１および肩領域Ａ２，Ａ３が、ほぼ同一の位置にほぼ同一のサイズで含まれている。
なお、共通領域の画像Ｇ１〜Ｇ３を表示する際、共通領域Ｃ１〜Ｃ３内における被写体領域の配置、または枠により被写体領域が途切れる位置等を考慮して、共通領域Ｃ１〜Ｃ３の枠の位置に対してある程度マージンを持たせて共通領域の画像Ｇ１〜Ｇ３を表示してもよい。また、共通領域の画像Ｇ１〜Ｇ３の表示前に、共通領域Ｃ１〜Ｃ３が設定された断層画像Ｔ１〜Ｔ３を表示して、ユーザによる修正の指示を受け付けることにより、共通領域Ｃ１〜Ｃ３の位置およびサイズを修正した上で、共通領域の画像Ｇ１〜Ｇ３を表示してもよい。
次いで、第１の実施形態において行われる処理について説明する。図８は第１の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、断層画像Ｔ１〜Ｔ３を取得し（ステップＳＴ１）、共通領域決定部２２が、断層画像Ｔ１〜Ｔ３からの特徴点の抽出およびマッチングを行い（ステップＳＴ２）、特徴点の抽出およびマッチングの結果に基づいて、断層画像Ｔ１〜Ｔ３に共通に存在する共通領域Ｃ１〜Ｃ３を決定する（ステップＳＴ３）。次いで、拡大率決定部２３が、共通領域Ｃ１〜Ｃ３を同一のサイズで表示するための拡大率を、断層画像Ｔ１〜Ｔ３のそれぞれについて決定する（ステップＳＴ４）。そして、表示制御部２４が、共通領域Ｃ１〜Ｃ３に決定された拡大率Ｒ１〜Ｒ３をそれぞれ適用し、拡大率を適用した後の共通領域Ｃ１〜Ｃ３の画像Ｇ１〜Ｇ３をディスプレイ１４に表示し（ステップＳＴ５）、処理を終了する。
このように、第１の実施形態においては、複数の断層画像Ｔ１〜Ｔ３間に共通に存在する共通領域Ｃ１〜Ｃ３を決定し、共通領域Ｃ１〜Ｃ３を同一のサイズで表示するための拡大率Ｒ１〜Ｒ３を複数の断層画像Ｔ１〜Ｔ３のそれぞれについて決定し、複数の共通領域Ｃ１〜Ｃ３に決定された拡大率Ｒ１〜Ｒ３を適用して、共通領域の画像Ｇ１〜Ｇ３を表示するようにしたものである。このため、ユーザは何ら処理を行わなくても、ディスプレイ１４には、断層画像Ｔ１〜Ｔ３についての同一のサイズの共通領域の画像Ｇ１〜Ｇ３が表示される。したがって、比較読影の対象となる複数の断層画像Ｔ１〜Ｔ３に含まれる診断対象となる部位を効果的に見やすくすることができる。
なお、第１の実施形態においては、取得される断層画像Ｔ１〜Ｔ３は、それぞれ３次元画像Ｖ１〜Ｖ３における１つの断層面の画像であるため、表示された画像Ｇ１〜Ｇ３の断層面の位置を変更することにより、異なる断層面の断層画像が表示される。その際、異なる断層面の断層画像においては、共通領域と同一の領域、すなわち断層画像Ｔ１〜Ｔ３に設定した共通領域と同一の位置および同一サイズの領域を切り出して、表示する画像のサイズに拡大縮小して表示すればよい。なお、３次元画像Ｖ１〜Ｖ３に含まれる全ての断層画像について、対応する断層面の断層画像間において上記と同様に共通領域を決定し、断層面を切り替えた際に切り替えられた断層面の断層画像についての共通領域の画像を表示してもよい。また、最初に表示する断層画像についてのみ共通領域の画像を表示し、断層面を切り替えた場合にはその断層面の断層画像をそのまま表示するようにしてもよい。
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像表示装置の構成は、図２に示す第１の実施形態による画像表示装置の構成と同一であり、共通領域決定部２２が行う処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第２の実施形態においては、複数の３次元画像のそれぞれに含まれる断層画像から、断層画像間において共通する解剖学的領域を抽出し、抽出した解剖学的領域に基づいて共通領域を決定するようにした点が第１の実施形態と異なる。
このため、第２の実施形態においては、共通領域決定部２２は断層画像から解剖学的領域を抽出する。図９は第２の実施形態における断層画像からの解剖学的領域の抽出を説明するための図である。なお、第２の実施形態においては、胸部の３次元画像に含まれるアキシャル断面の断層画像Ｔ１１，Ｔ１２を使用するものとする。共通領域決定部２２は、断層画像Ｔ１１，Ｔ１２から心臓領域および肺領域を解剖学的領域として抽出する。
心臓を抽出する処理としては、例えば特開平２００８−２５９６８２号公報に記載されたように、心臓認識を行い、認識結果に基づいて心臓を抽出する手法を用いることができる。特開平２００８−２５９６８２号公報に記載された手法は、入力された断層画像を正規化し、正規化された断層画像から多数の特徴量を算出し、正規化した断層画像毎に算出された特徴量を、AdaBoost手法によって得られた判別器に入力して、部位らしさを表す部位毎のスコアを算出し、算出された部位スコアを入力として、動的計画法を用いて、人体の体部の並び順が保たれるように断層画像に表された部位（すなわち心臓）を決定する手法である。また、テンプレートマッチングによる方法（例えば特開２００２−２５３５３９号公報参照）および、各部位（すなわち心臓）の固有画像を用いた方法（例えば特開２００３−１０１６６号公報参照）等を用いることもできる。
また、肺を抽出する処理としては、断層画像における画素毎の信号値をヒストグラム化し、肺をしきい値処理することにより抽出する方法、肺を表すシード点に基づく領域拡張法(Region Growing)等、任意の手法を用いることができる。なお、第２の実施形態においては、右肺のみを抽出の対象とする。
また、「Marginal space learning for efficient detection of 2D/3D anatomical structures in medical images. Proc. Information Processing in Medical Imaging, 2009」（参考文献３）に記載された、マージナルスペースラーニングの手法を用いて、心臓および肺を抽出することもできる。
共通領域決定部２２は、断層画像Ｔ１１，Ｔ１２において抽出された心臓および肺を含む矩形の領域をそれぞれ心臓領域Ａ１１−１，Ａ１１−２、および肺領域Ａ１２−１，Ａ１２−２として抽出する。なお、図９においては、心臓領域Ａ１１−１，Ａ１１−２を実線で、肺領域Ａ１２−１，Ａ１２−２を破線で示している。また、心臓領域Ａ１１−１，Ａ１１−２、および肺領域Ａ１２−１，Ａ１２−２が解剖学的領域に対応する。
共通領域決定部２２は、心臓領域および肺領域の抽出結果に基づいて、断層画像Ｔ１１，Ｔ１２における、抽出された心臓領域および肺領域に最も近い上下左右の縁部、すなわち最近傍縁部を決定する。第２の実施形態においては、断層画像Ｔ１２において、心臓領域Ａ１１−２および肺領域Ａ１２−２の双方が、断層画像Ｔ１１の心臓領域Ａ１１−１および肺領域Ａ１２−１よりも、断層画像Ｔ１２の上縁部、下縁部、左縁部および右縁部までの距離が小さい。このため、共通領域決定部２２は、図１０に示すように、断層画像Ｔ１２の上縁部、下縁部、左縁部および右縁部を、それぞれ最近傍上縁部３１Ｕ、最近傍下縁部３１Ｄ、最近傍左縁部３１Ｌおよび最近傍右縁部３１Ｒに決定する。
共通領域決定部２２は、決定された上下左右の最近傍縁部に基づいて、断層画像Ｔ１１，Ｔ１２に共通に存在する共通領域を決定する。第２の実施形態においては、断層画像Ｔ１２の上下左右の縁部が、最近傍上縁部３１Ｕ、最近傍下縁部３１Ｄ、最近傍左縁部３１Ｌおよび最近傍右縁部３１Ｒに決定されているため、断層画像Ｔ１２の全領域が共通領域Ｃ１２となる。このため、共通領域決定部２２は、断層画像Ｔ１１に対してのみ共通領域Ｃ１１の枠を設定する。具体的には、断層画像Ｔ１２において、心臓領域Ａ１１−２の上縁部から断層画像Ｔ１２の上縁部までの距離Ｌ１１を算出する。ここで、断層画像Ｔ１１，Ｔ１２において、心臓領域および肺領域の大きさが異なるため、断層画像Ｔ１１における心臓領域Ａ１１−１と断層画像Ｔ１２における心臓領域Ａ１１−２とのサイズの比率を算出し、算出した比率により距離Ｌ１１を正規化し、断層画像Ｔ１１における心臓領域Ａ１１−１の上縁部から正規化した距離Ｌ１１離れた位置に仮の上縁部を設定する。
また、共通領域の下縁部に関して、断層画像Ｔ１２において、肺領域Ａ１２−２の下縁部から断層画像Ｔ１２の下縁部までの距離Ｌ１２を算出する。この際、仮の上縁部を設定する場合と同様に距離Ｌ１２を正規化し、断層画像Ｔ１１における肺領域Ａ１２−１の下縁部から正規化した距離Ｌ１２離れた位置に仮の下縁部を設定する。
また、共通領域の左縁部に関して、断層画像Ｔ１２において、心臓領域Ａ１１−２の左縁部から断層画像Ｔ１２の左縁部までの距離Ｌ１３を算出する。この際、仮の上縁部を設定する場合と同様に距離Ｌ１３を正規化し、断層画像Ｔ１１における心臓領域Ａ１１−１の左縁部から正規化した距離Ｌ１３離れた位置に仮の左縁部を設定する。
また、共通領域の右縁部に関して、断層画像Ｔ１２において、肺領域Ａ１２−２の右縁部から断層画像Ｔ１２の右縁部までの距離Ｌ１４を算出する。この際、仮の上縁部を設定する場合と同様に距離Ｌ１４を正規化し、断層画像Ｔ１１における肺領域Ａ１２−１の右縁部から正規化した距離Ｌ１４離れた位置に仮の右縁部を設定する。
上下左右の仮の縁部が決定されると、共通領域決定部２２は、各断層画像Ｔ１１，Ｔ１２において、上下左右の仮の縁部および各断層画像の上下左右の最近傍縁部により規定される領域の枠を設定する。そして、枠により囲まれる領域のアスペクト比が、表示する画像と同一となるように、上下左右の仮の縁部および各断層画像の上下左右の最近傍縁部の位置を調整して、共通領域を決定する。図１１は決定された共通領域を示す図である。図１１に示すように、断層画像Ｔ１１，Ｔ１２には決定された共通領域Ｃ１１，Ｃ１２が示されている。なお、断層画像Ｔ１２については全領域が共通領域Ｃ１２となる。
そして、拡大率決定部２３が、共通領域Ｃ１１，Ｃ１２を同一のサイズで表示するための拡大率を断層画像Ｔ１１，Ｔ１２のそれぞれについて決定する。さらに、表示制御部２４が、決定された拡大率を共通領域Ｃ１１，Ｃ１２にそれぞれ適用し、拡大率を適用した後の共通領域Ｃ１１，Ｃ１２の画像をディスプレイ１４に表示する。
図１２は第２の実施形態においてディスプレイ１４に表示された共通領域の画像を示す図である。図１２に示すように、共通領域の画像Ｇ１１，Ｇ１２が並んで表示される。表示された共通領域の画像Ｇ１１，Ｇ１２においては、心臓領域および肺領域が、ほぼ同一の位置にほぼ同一のサイズで含まれている。
また、第２の実施形態においても、第１の実施形態と同様に、共通領域の画像Ｇ１１，Ｇ１２を表示する際、共通領域Ｃ１１，Ｃ１２内における被写体領域の配置、または枠により被写体領域が途切れる位置等を考慮して、枠の各辺の位置に対してある程度マージンを持たせて共通領域Ｃ１１，Ｃ１２の画像Ｇ１１，Ｇ１２を表示してもよい。また、共通領域の画像Ｇ１１，Ｇ１２の表示前に、共通領域Ｃ１１，Ｃ１２が設定された断層画像Ｔ１１，Ｔ１２を表示して、ユーザによる修正の指示を受け付けることにより、共通領域Ｃ１１，Ｃ１２の位置およびサイズを修正した上で、共通領域の画像Ｇ１１，Ｇ１２を表示してもよい。
次いで、第２の実施形態において行われる処理について説明する。図１３は第２の実施形態において行われる処理を示すフローチャートである。まず、画像取得部２１が、断層画像Ｔ１１，Ｔ１２を取得し（ステップＳＴ１１）、共通領域決定部２２が、断層画像Ｔ１１，Ｔ１２からの解剖学的領域の抽出を行い（ステップＳＴ１２）、解剖学的領域の抽出結果に基づいて、断層画像Ｔ１１，Ｔ１２に共通に存在する共通領域Ｃ１１，Ｃ１２を決定する（ステップＳＴ１３）。次いで、拡大率決定部２３が、共通領域Ｃ１１，Ｃ１２を同一のサイズで表示するための拡大率を、断層画像Ｔ１１，Ｔ１２のそれぞれについて決定する（ステップＳＴ１４）。そして、表示制御部２４が、共通領域Ｃ１１，Ｃ１２に決定された拡大率をそれぞれ適用し、拡大率を適用した後の共通領域Ｃ１１，Ｃ１２の画像をディスプレイ１４に表示し（ステップＳＴ１５）、処理を終了する。
なお、上記第２の実施形態においては、断層画像Ｔ１１，Ｔ１２からそれぞれ心臓領域および肺領域を抽出しているが、心臓領域および肺領域のいずれか一方のみ、例えば心臓領域のみを抽出するようにしてもよい。以下、これを第３の実施形態として説明する。
ここで、同一の被検体においては、心臓および肺の位置関係は、３次元画像の撮影時期に拘わらずほぼ一定である。このため、各断層画像Ｔ１１，Ｔ１２において、心臓領域および肺領域の解剖学的な位置関係は既知となる。したがって、一方の断層画像Ｔ１１において、抽出された心臓領域Ａ１１−１に対する肺領域の位置が分かれば、他方の断層画像Ｔ１２における心臓領域Ａ１１−２の位置から肺領域の位置が分かる。
このため、第３の実施形態においては、共通領域決定部２２は、断層画像Ｔ１１においてのみ、心臓領域Ａ１１−１および肺領域Ａ１２−１を抽出し、断層画像Ｔ１１における心臓領域Ａ１１−１に対する肺領域Ａ１２−１の位置に基づいて、他の断層画像Ｔ１２における心臓領域Ａ１１−２に対する肺領域の位置を特定する。これにより、断層画像Ｔ１２において肺領域を抽出しなくても、断層画像Ｔ１１における心臓領域Ａ１１−１と肺領域Ａ１２−１との位置関係から、断層画像Ｔ１２における肺領域の位置を決定することができる。したがって、断層画像Ｔ１１，Ｔ１２における心臓領域および肺領域から、上記と同様に共通領域Ｃ１１，Ｃ１２を決定することができる。
次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態による画像表示装置の構成は、図２に示す第１の実施形態による画像表示装置の構成と同一であり、共通領域決定部２２が行う処理のみが異なるため、ここでは装置についての詳細な説明は省略する。第４の実施形態においては、複数の３次元画像のそれぞれに含まれる被写体領域の少なくとも一部の領域を抽出し、断層画像間において抽出した被写体領域の少なくとも一部の領域の位置合わせを行うことにより共通領域を決定するようにした点が第１の実施形態と異なる。なお、被写体領域とは、断層画像における撮影の対象となる被写体が存在する領域である。
第４の実施形態においては、共通領域決定部２２は、断層画像に含まれる被写体領域の少なくとも一部の領域を抽出する。本実施形態においては、被写体領域の全部の領域を抽出するものとする。具体的には、断層画像をヒストグラム解析して被写体領域を抽出する手法、または断層画像に含まれる輪郭を抽出することにより被写体領域を抽出する手法等を用いることができる。さらに、共通領域決定部２２は、断層画像に対して二値化処理を行うことにより、断層画像を被写体領域とそれ以外の領域とに分離する。図１４は二値化処理が行われた断層画像を示す図である。なお、図１４は第１の実施形態における断層画像Ｔ１〜Ｔ３から被写体領域を抽出し、二値化処理した結果を示している。図１４に示すように、断層画像Ｔ１〜Ｔ３のそれぞれから被写体領域Ａ２１，Ａ２２，Ａ２３がそれ以外の背景領域と分離されている。
共通領域決定部２２は、二値化された被写体領域Ａ２１，Ａ２２，Ａ２３を平行移動、回転移動および拡大縮小して、被写体領域Ａ２１，Ａ２２，Ａ２３の位置合わせを行う。共通領域決定部２２は、位置合わせの結果に基づいて、断層画像Ｔ１〜Ｔ３における位置合わせされた被写体領域に最も近い上下左右の縁部を決定する。なお、上下左右の最近傍縁部の決定は上記第１の実施形態と同様であるため、ここでは詳細な説明は省略する。なお、第４の実施形態においては、特徴点に代えて、断層画像Ｔ１〜Ｔ３における被写体領域Ａ２１，Ａ２２，Ａ２３の最も上側にある画素位置、最も下側にある画素位置、最も左側にある画素位置および最も右側にある画素位置を基準として、最近傍上縁部、最近傍下縁部、最近傍左縁部および最近傍右縁部を決定する。さらに、共通領域決定部２２は、第１の実施形態と同様に仮の上下左右の縁部を決定し、共通領域を決定する。
なお、上記第４の実施形態においては、断層画像における被写体領域の一部の領域のみを抽出して共通領域を設定してもよい。例えば、断層画像Ｔ１〜Ｔ３における頸椎の領域のみを抽出し、頸椎の領域のみを含む共通領域を設定するようにしてもよい。
また、上記第４の実施形態においては、二値化処理を行うことなく、抽出した被写体領域を用いて位置合わせを行うようにしてもよい。
次いで、本発明の第５の実施形態について説明する。図１５は、本発明の第５の実施形態による画像表示装置の構成を示す概略ブロック図である。なお、図１５において図１と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。第５の実施形態による画像表示装置１Ａは、共通領域の画像に対して画質を一致させるための画像処理を施す画像処理部２５を備えた点が第１の実施形態と異なる。
画像処理部２５は、具体的には、共通領域の画像の濃度およびコントラスト等を一致させるための画像処理を複数の共通領域のうちの少なくとも１つに対して施す。濃度については、複数の共通領域の画像の平均濃度を算出し、いずれか１つの共通領域の画像の平均濃度に一致するように他の共通領域の画像の濃度を変更すればよい。コントラストについては、複数の共通領域の画像のそれぞれについての最高濃度と最低濃度との差分値を算出し、いずれか１つの共通領域の画像の上記差分値に一致するように他の共通領域の画像の差分値を変更するようにコントラストを変更すればよい。
このように、共通領域の画像の画質を一致させることにより、共通領域の画像を見やすくすることができるため、診断をより容易に行うことができる。
なお、上記各実施形態においては、断層画像の実サイズを一致させた後に共通領域を決定するようにしてもよい。とくに、断層画像のピクセルスペーシング情報、すなわち隣接する画素の中心間の距離の情報が３次元画像に付与されている場合、ピクセルスペーシング情報を用いて、断層画像の実サイズを一致させればよい。例えば、第２の実施形態において、断層画像Ｔ１１のピクセルスペーシング情報が１ｍｍ、断層画像Ｔ１２のピクセルスペーシング情報が２ｍｍであった場合、断層画像Ｔ１２の縦横のサイズをそれぞれ１／２に縮小することにより、断層画像Ｔ１１と断層画像Ｔ１２との実サイズを一致させることができる。このように断層画像の実サイズを一致させることにより、効率よく共通領域を決定することができる。
また、上記各実施形態においては、複数の断層画像についての共通領域の画像を並べて表示しているが、複数の共通領域の画像を切り替えて表示してもよい。この場合、入力部１５からの指示により共通領域の画像を切り替えてもよく、一定時間経過する毎に自動で共通領域の画像を切り替えるようにしてもよい。また、複数の共通領域の画像の並べての表示と切り替え表示とを切り替えることができるようにしてもよい。
また、上記各実施形態においては、表示の対象を断層画像としているが、これに限定されるものではなく、超音波診断装置、ＭＲＩ装置、ＰＥＴ装置およびＸ線撮影装置等により取得された医用画像を表示の対象とする場合も本発明を適用できる。
また、上記各実施形態においては、比較読影の診断対象となる全ての医用画像を表示しているが、比較読影の診断対象となる全ての医用画像のうちの選択された複数の医用画像のみを表示するようにしてもよい。この場合、選択された複数の医用画像に対してのみ、共通領域の決定、拡大率の決定および共通領域の画像の表示を行うようにすればよい。例えば、上記第１の実施形態において、断層画像Ｔ１〜Ｔ３のうち、断層画像Ｔ１，Ｔ２が選択された場合、断層画像Ｔ１，Ｔ２に対してのみ、共通領域の決定、拡大率の決定および共通領域の画像の表示を行うようにすればよい。また、全ての医用画像に対して共通領域の決定および拡大率の決定を行い、選択された複数の医用画像のみ、共通領域の画像の表示を行うようにしてもよい。
以下、本実施形態の作用効果について説明する。
複数の医用画像から特徴点を抽出し、複数の医用画像間において、特徴点のマッチングを行うことによって共通領域を決定することにより、効率よく共通領域を決定することができる。
複数の医用画像から、複数の医用画像に共通する解剖学的領域を抽出し、抽出した解剖学的領域に基づいて共通領域を決定することにより、効率よく共通領域を決定することができる。
複数の医用画像のそれぞれに複数の解剖学的領域が存在する場合、複数の医用画像のそれぞれから一の解剖学的領域を抽出し、複数の医用画像のうちの一の医用画像における抽出された一の解剖学的領域と、一の解剖学的領域以外の他の解剖学的領域との位置関係とに基づいて、一の医用画像以外の他の医用画像における他の解剖学的領域を決定し、複数の医用画像における抽出された一の解剖学的領域と他の解剖学的領域とに基づいて、共通領域を決定することにより、１つの医用画像に対して領域を指定するのみで、指定された領域を複数の医用画像における共通領域に決定して表示手段に表示することができる。
複数の医用画像のそれぞれから被写体領域の少なくとも一部の領域を抽出し、複数の医用画像間において、被写体領域の少なくとも一部の領域の位置合わせを行うことによって共通領域を決定することにより、効率よく共通領域を決定することができる。
１，１Ａ 画像表示装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ ディスプレイ
１５ 入力部
２１ 画像取得部
２２ 共通領域決定部
２３ 拡大率決定部
２４ 表示制御部
２５ 画像処理部

Claims (9)

  1. 複数の医用画像を取得する画像取得手段と、
    前記複数の医用画像から、該複数の医用画像に共通する解剖学的領域を抽出し、該抽出した解剖学的領域に基づいて、前記複数の医用画像間に共通に存在する共通領域を決定する共通領域決定手段であって、前記複数の医用画像のそれぞれに複数の解剖学的領域が存在する場合、前記複数の医用画像のそれぞれから一の解剖学的領域を抽出し、前記複数の医用画像のうちの一の医用画像における前記抽出された一の解剖学的領域と、該一の解剖学的領域以外の他の解剖学的領域との位置関係とに基づいて、前記一の医用画像以外の他の医用画像における前記他の解剖学的領域を決定し、前記複数の医用画像における前記抽出された一の解剖学的領域と前記他の解剖学的領域とに基づいて、前記共通領域を決定する共通領域決定手段と、
    前記複数の医用画像についての複数の前記共通領域を同一のサイズで表示するための拡大率を、前記複数の医用画像のそれぞれについて決定する拡大率決定手段と、
    前記複数の共通領域に前記決定された拡大率を適用し、該拡大率適用後の前記複数の共通領域の画像を表示手段に表示する表示制御手段とを備えたことを特徴とする画像表示装置。
  2. 前記共通領域決定手段は、前記複数の医用画像の実サイズを一致させて前記共通領域を決定する請求項１記載の画像表示装置。
  3. 前記共通領域決定手段は、前記複数の医用画像のそれぞれに付与された、隣接する画素の中心間の距離の情報に基づいて、前記実サイズを一致させる請求項２記載の画像表示装置。
  4. 前記表示制御手段は、前記共通領域を含む矩形領域の画像を前記表示手段に表示する請求項１から３のいずれか１項記載の画像表示装置。
  5. 前記表示制御手段は、前記拡大率適用後の前記複数の共通領域の画像を並べて表示する請求項１から４のいずれか１項記載の画像表示装置。
  6. 前記表示制御手段は、前記拡大率適用後の前記複数の共通領域の画像を切り替え表示する請求項１から４のいずれか１項記載の画像表示装置。
  7. 前記複数の共通領域の画像に対して画質を一致させる画像処理を行う画像処理手段をさらに備えた請求項１から６のいずれか１項記載の画像表示装置。
  8. 複数の医用画像を取得し、
    前記複数の医用画像から、該複数の医用画像に共通する解剖学的領域を抽出し、該抽出した解剖学的領域に基づいて、前記複数の医用画像間に共通に存在する共通領域を決定するに際し、前記複数の医用画像のそれぞれに複数の解剖学的領域が存在する場合、前記複数の医用画像のそれぞれから一の解剖学的領域を抽出し、前記複数の医用画像のうちの一の医用画像における前記抽出された一の解剖学的領域と、該一の解剖学的領域以外の他の解剖学的領域との位置関係とに基づいて、前記一の医用画像以外の他の医用画像における前記他の解剖学的領域を決定し、前記複数の医用画像における前記抽出された一の解剖学的領域と前記他の解剖学的領域とに基づいて、前記共通領域を決定し、
    前記複数の医用画像についての複数の前記共通領域を同一のサイズで表示するための拡大率を、前記複数の医用画像のそれぞれについて決定し、
    前記複数の共通領域に前記決定された拡大率を適用し、該拡大率適用後の前記複数の共通領域の画像を表示手段に表示することを特徴とする画像表示方法。
  9. 複数の医用画像を取得する手順と、
    前記複数の医用画像から、該複数の医用画像に共通する解剖学的領域を抽出し、該抽出した解剖学的領域に基づいて、前記複数の医用画像間に共通に存在する共通領域を決定するに際し、前記複数の医用画像のそれぞれに複数の解剖学的領域が存在する場合、前記複数の医用画像のそれぞれから一の解剖学的領域を抽出し、前記複数の医用画像のうちの一の医用画像における前記抽出された一の解剖学的領域と、該一の解剖学的領域以外の他の解剖学的領域との位置関係とに基づいて、前記一の医用画像以外の他の医用画像における前記他の解剖学的領域を決定し、前記複数の医用画像における前記抽出された一の解剖学的領域と前記他の解剖学的領域とに基づいて、前記共通領域を決定する手順と、
    前記複数の医用画像についての複数の前記共通領域を同一のサイズで表示するための拡大率を、前記複数の医用画像のそれぞれについて決定する手順と、
    前記複数の共通領域に前記決定された拡大率を適用し、該拡大率適用後の前記複数の共通領域の画像を表示手段に表示する手順とをコンピュータに実行させることを特徴とする画像表示プログラム。
JP2016045137A 2016-03-09 2016-03-09 画像表示装置、方法およびプログラム Active JP6525903B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016045137A JP6525903B2 (ja) 2016-03-09 2016-03-09 画像表示装置、方法およびプログラム
PCT/JP2017/007502 WO2017154640A1 (ja) 2016-03-09 2017-02-27 画像表示装置、方法およびプログラム
US16/046,264 US10307124B2 (en) 2016-03-09 2018-07-26 Image display device, method, and program for determining common regions in images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016045137A JP6525903B2 (ja) 2016-03-09 2016-03-09 画像表示装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2017158757A JP2017158757A (ja) 2017-09-14
JP6525903B2 true JP6525903B2 (ja) 2019-06-05

Family

ID=59790432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016045137A Active JP6525903B2 (ja) 2016-03-09 2016-03-09 画像表示装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US10307124B2 (ja)
JP (1) JP6525903B2 (ja)
WO (1) WO2017154640A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US11367254B2 (en) * 2020-04-21 2022-06-21 Electronic Arts Inc. Systems and methods for generating a model of a character from one or more images

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6244224A (ja) * 1985-08-23 1987-02-26 富士写真フイルム株式会社 画像処理方法および装置
JP3639030B2 (ja) 1995-02-28 2005-04-13 株式会社東芝 画像表示システム及びそのシステムを用いた画像表示方法
JP4731704B2 (ja) * 2001-02-27 2011-07-27 キヤノン株式会社 医療用撮影システム及び撮影表示方法
JP4675509B2 (ja) * 2001-07-04 2011-04-27 株式会社日立メディコ 臓器の特定領域抽出表示装置及び方法
JP2003265416A (ja) 2002-03-12 2003-09-24 Konica Corp 医療画像処理装置
JP2008188177A (ja) * 2007-02-02 2008-08-21 Hitachi Medical Corp 画像処理装置
JP4997341B2 (ja) 2011-11-21 2012-08-08 株式会社東芝 医用画像表示装置
JP5738229B2 (ja) * 2012-03-27 2015-06-17 株式会社日立製作所 内臓脂肪シミュレーション装置及びプログラム
KR20130111780A (ko) * 2012-04-02 2013-10-11 삼성전자주식회사 Ｅｍｉ 차폐부를 갖는 반도체 장치
US20140021201A1 (en) * 2012-06-14 2014-01-23 RG Innovations, LLC System and method for modular and interchangable human interface solutions for portable electronic devices
KR102114415B1 (ko) * 2013-01-29 2020-05-22 삼성전자주식회사 의료 영상 정합 방법 및 장치
JP6053012B2 (ja) * 2013-03-28 2016-12-27 富士フイルム株式会社 画像表示装置および方法
US9289772B2 (en) * 2013-08-01 2016-03-22 Storm Technologies, Inc. System for improving airflow characteristics within a coal pulverizer
JP6419441B2 (ja) 2014-03-11 2018-11-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
CN104997528B (zh) * 2014-04-21 2018-03-27 东芝医疗系统株式会社 X 射线计算机断层拍摄装置以及拍摄条件设定辅助装置
JP2016006635A (ja) * 2014-05-29 2016-01-14 パナソニック株式会社 制御方法及びプログラム
US10599810B2 (en) 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system

Also Published As

Publication number Publication date
US10307124B2 (en) 2019-06-04
JP2017158757A (ja) 2017-09-14
US20180325478A1 (en) 2018-11-15
WO2017154640A1 (ja) 2017-09-14

Similar Documents

Publication Publication Date Title
JP5138431B2 (ja) 画像解析装置および方法並びにプログラム
Yao et al. Automated spinal column extraction and partitioning
JP5486197B2 (ja) 椎骨中心検出装置および方法並びにプログラム
US8417009B2 (en) Apparatus, method, and computer readable medium for assisting medical image diagnosis using 3-D images representing internal structure
JP4744883B2 (ja) 画像位置合わせ方法及び医用画像データ処理装置
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
CN104641397B (zh) 用于自动化脊柱加标签的方法、装置和系统
US8374410B2 (en) Medical image display device and image displaying method
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP6363575B2 (ja) 画像位置合わせ装置および方法並びにプログラム
JP4545807B2 (ja) 骨番号認識装置およびそのプログラム
JP5364290B2 (ja) 画像表示装置並びに画像表示制御方法およびプログラム
JP2009207709A (ja) 画像処理システム、画像保管装置、および、画像処理装置、並びに、画像処理方法、プログラム
JP2018061771A (ja) 画像処理装置、及び画像処理方法
CN112116004B (zh) 病灶分类方法及装置、病灶分类模型的训练方法
TWI684994B (zh) 脊椎影像註冊方法
Forsberg Atlas-based registration for accurate segmentation of thoracic and lumbar vertebrae in CT data
JP5626202B2 (ja) 正中線決定装置およびプログラム
JP6981940B2 (ja) 画像診断支援装置、方法及びプログラム
JP2009207727A (ja) 椎体位置決定装置および方法並びにプログラム
Lenga et al. Deep learning based rib centerline extraction and labeling
JP4964191B2 (ja) 画像処理装置および方法ならびにプログラム
JP6525903B2 (ja) 画像表示装置、方法およびプログラム
Alvén et al. Überatlas: fast and robust registration for multi-atlas segmentation
CN110916695A (zh) 确定脊柱扫描视野的方法、装置及图像处理设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190507

R150 Certificate of patent or registration of utility model

Ref document number: 6525903

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250