JP6869086B2 - 位置合せ装置および位置合せ方法並びに位置合せプログラム - Google Patents

位置合せ装置および位置合せ方法並びに位置合せプログラム Download PDF

Info

Publication number
JP6869086B2
JP6869086B2 JP2017083403A JP2017083403A JP6869086B2 JP 6869086 B2 JP6869086 B2 JP 6869086B2 JP 2017083403 A JP2017083403 A JP 2017083403A JP 2017083403 A JP2017083403 A JP 2017083403A JP 6869086 B2 JP6869086 B2 JP 6869086B2
Authority
JP
Japan
Prior art keywords
cross
sectional image
inspection
sectional
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017083403A
Other languages
English (en)
Other versions
JP2018175695A (ja
Inventor
赤堀　貞登
貞登 赤堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017083403A priority Critical patent/JP6869086B2/ja
Priority to US15/954,764 priority patent/US10699426B2/en
Publication of JP2018175695A publication Critical patent/JP2018175695A/ja
Application granted granted Critical
Publication of JP6869086B2 publication Critical patent/JP6869086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988—Graph matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、人体または動物を撮影した断面画像を位置合わせするための位置合せ装置および位置合わせ方法並びに位置合せプログラムに関するものである。
ＣＴ（Computed Tomography）またはＭＲＩ（magnetic resonance imaging）といった画像撮影装置（モダリティ）の高速化やマルチスライス対応といった高性能化に伴い、１つの撮影シリーズで被検者の複数の部位を撮影したボリュームデータを取得することが可能になってきた。これにより、被検者は部位毎に何度も撮影を受ける必要がなくなるとともに、撮影時間も全体としては短縮されるため、患者の負担は軽減されている。
このようなＣＴまたはＭＲＩなどのボリュームデータを読影ビューア上で読影する場合には、１つのウィンドウ上で２次元の断面を順に切り替えて表示しながら観察する。また、読影の際には、複数のボリュームデータを見比べることも多い。この場合、それぞれのボリュームデータに対して表示する断面を指示しなければならず、観察する位置を変える度に何度も指定するのは手間である。また、前回検査で見つかっていた病変の経時変化を確認したい場合、病変が見つかっていた場所に対応する断面を今回のボリュームデータの中から探す必要があり、このような作業に要する時間や労力が大きく読影者の負担となる。
このような問題を解決するために、ボリュームデータを解析して自動で位置を合わせる方法が種々提案されている。例えば、特許文献１には解剖学的なランドマークを見つけて断面画像間の位置合せを行う手法が提案されている。また、特許文献２には、過去画像と現在画像から肺野領域、心臓領域、および下降大動脈領域をそれぞれ抽出した上で、断面画像間のマッチング値を用いて対応する断面を見つける手法が開示されている。さらに、特許文献３には、各断面画像の部位を判別器を用いて判定し、判定した部位が体の部位の並びに沿っていることと、判定した部位の体軸方向の長さが標準的な範囲内にあるかを参考にして位置合せを行う手法が開示されている。
米国特許第７５９９５３９号公報 特開２００１−１３７２３０号公報 特開２００９−２３２９８１号公報
しかしながら、解剖学的なランドマークを見つけて断面画像間の位置合せを行う場合には、ランドマークがあらわれていない画面上では対処できない。また、２次元の断面画像を比較する手法では複数枚まとめて比較するので、呼吸などの影響で臓器の形状が変わり部分的な変形があると間違いが起こり易いという問題がある。
特許文献２では、肺野領域、心臓領域、および下降大動領域のように特定の領域に分けて断面画像間でマッチング値を用いて対応する位置を見つけているため、胸部の位置合せを行うか腹部の位置合せ行うかで、別の領域を特定しなければならない。さらに、特許文献３では判別器を用いて部位の判別を行っているため、予め解剖学的な構造に応じた判別器を用意しなければならない。
そこで、本発明では、上述のような問題を解決するために、精度よく、かつ、安定して動作する位置合わせを提供するための位置合せ装置および位置合せ方法並びに位置合せプログラムを提供することを目的とする。
本発明の位置合せ装置は、複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、検査ボリュームデータと参照ボリュームデータとの間で、検査断面画像と参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、２つの組合せにおいて、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の前後関係と、第１の組合せ含まれる参照断面画像と第２の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段と、検査断面画像と参照断面画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値との総和に基づいて、検査断面画像と参照断面画像を対応付ける対応付け手段を備えたものである。
また、本発明の位置合せ方法は、複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と類似度取得手段と調整値取得手段と対応付け手段とを備えた位置合わせ装置において、類似度取得手段が、検査ボリュームデータと参照ボリュームデータとの間で、検査断面画像と参照断面画像の組合せのそれぞれの類似度を取得する類似度取得ステップと、調整値取得手段が、２つの組合せにおいて、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の前後関係と、第１の組合せ含まれる参照断面画像と第２の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて類似度の調整値を取得する調整値取得ステップと、対応付け手段が、検査断面画像と参照断面画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値との総和に基づいて、検査断面画像と参照断面画像を対応付ける対応付けステップとを備えるものである。
また、本発明の位置合せプログラムは、コンピュータを、複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、検査ボリュームデータと参照ボリュームデータとの間で、検査断面画像と参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、２つの組合せにおいて、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の前後関係と、第１の組合せ含まれる参照断面画像と第２の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段と、検査断面画像と参照断面画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値との総和に基づいて、検査断面画像と参照断面画像を対応付ける対応付け手段として機能させるためのものである。
また、組合せは、検査断面画像に対応付けられる参照断面画像が１以下であり、かつ、参照断面画像に対応付けられる検査断面画像が１以下であるという条件を満たすように、検査断面画像と参照断面画像を対応付け、対応付けられた検査断面画像と参照断面画像を組合せたものが望ましい。
また、類似度取得手段が、検査断面画像と参照断面画像のヒストグラムに基づいて類似度を取得するものが望ましい。
また、調整値取得手段が、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の順番と第１の組合せに含まれる参照断面画像と第２の組合せに含まれる参照断面画像の断面位置の順番が一致する場合には、調整値は断面位置の順番が一致しない場合より類似度を高くする値とするのが望ましい。
また、対応付け手段が、グラフマッチングの手法により参照断面画像に対応付ける検査断面画像を決定するものであってもよい。
本発明によれば、検査ボリュームデータと参照ボリュームデータの断面画像間で類似度を算出し、さらに、断面位置の前後関係とに基づいて類似度の調整値を取得して、類似度と調整値との総和から、検査ボリュームデータと参照ボリュームデータとの間の断面画像間の類似度が最も高くなるように、参照断面画像に対応する検査断面画像を対応付けるので、２つのボリュームデータ間で正確に断面が対応付けられるので読影を行う際の作業効率を向上させることが可能になる。
本発明の実施形態における位置合せ装置が導入された医療情報システムの概略構成を示す図 本発明の位置合せ装置の機能ブロック図 参照ボリュームデータと検査ボリュームデータの対応付けを行う処理のフローチャート 参照ボリュームデータを構成する参照断面画像と検査ボリュームデータを構成する検査断面画像の一例を示す図 参照断面画像と検査断面画像の一例を示す図 ヒストグラムインターセクションから類似度を求める方法を説明するための図 画面の構図を反映させた類似度を求める方法を説明するための図 調整値を求める方法を説明するための図 参照ボリュームデータと検査ボリュームデータの対応付けを説明するための図 位置合せ装置の動作を説明するためのフローチャート
図１に、本発明の実施形態における位置合せ装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影、および、依頼元の診療科の医師による読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、および、画像データベース６を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
モダリティ２には、被検体の検査対象部位を撮影することにより、その部位を表すボリュームデータを生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲI装置などが挙げられる。
読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求や、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。
画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムを組み込んだものである。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。
画像データベース６には、複数の患者をモダリティ２で撮影した検査画像（複数の検査画像から成るボリュームデータを含む）と付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断面画像を取得したときのシリーズ番号などの情報が含まれる。
また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。
ネットワーク９は病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど医用画像の高速転送を実現できるものとすることが好ましい。
上述の読影医用ワークステーション３は、画像診断医等のユーザによって読影および観察対象画像の閲覧を要求する操作が行われると、画像管理サーバ５に対して閲覧要求を送信し、必要な画像を取得する。そして、その画像をディスプレイに表示する。本発明の位置合せ装置の機能は、読影医用ワークステーション３に実装されており、この処理は、インストールされたアプリケーションプログラムを実行することによって実現される。
図２は、読影医用ワークステーション３に実装された本発明の実施形態となる位置合せ装置の構成とデータの流れを模式的に示したブロック図である。なお、本発明の位置合せ装置は読影医用ワークステーション３の位置合せ処理部として以下説明する。図２に示したように、本発明の位置合せ処理部３０は、受付手段３１、対応付け手段３２、記憶手段３３、および、表示手段３４から構成される。また、表示手段３４には、１台または複数台のディスプレイ３５が接続される。
受付手段３１は、読影医用ワークステーション３で、読影医などのユーザによって検査対象の患者ＩＤが入力されると、読影医用ワークステーション３から画像管理サーバ５に診断対象の患者ＩＤと画像の送信要求が送信され、画像データベース６から検索された検査ボリュームデータＱと参照ボリュームデータＰを受信する。受信した検査ボリュームデータＱと参照ボリュームデータＰは、記憶手段３３に一旦記憶される。
検査ボリュームデータＱおよび参照ボリュームデータＰは、ＣＴ撮影装置またはＭＲＩ撮影装置で撮影された複数枚の断面画像で構成される。また、検査ボリュームデータＱと参照ボリュームデータＰは同じモダリティ２で撮影された画像であり、かつ、断面方向は一致しているものとして以下説明する。
対応付け手段３２は、類似度取得手段３６と、調整値取得手段３７とを備え、参照ボリュームデータＰを構成する参照断面画像ｐに類似する検査断面画像ｑを検査ボリュームデータＱの中から選んで対応付ける。参照断面画像ｐと検査断面画像ｑを対応付ける際には、１つの参照断面画像ｐに対して２つ以上の検査断面画像ｑが対応付けられないようにする。なお、検査ボリュームデータＱに含まれる検査断面画像ｑの数が参照ボリュームデータＰに含まれる参照断面画像ｐの数より少ない場合には、参照断面画像ｐに対応付けられる検査断面画像ｑが存在しないこともある。また、２つ以上の参照断面画像ｐに同じ検査断面画像ｑが対応付けられないようにもする。つまり、参照断面画像ｐに対応付けられる検査断面画像ｑは１つ以下になり、かつ、検査データに含まれる検査断面画像ｑに対応付けられる参照断面画像ｐも１つ以下になるように対応付ける。
類似度取得手段３６は、参照ボリュームデータＰに含まれる参照断面画像ｐの１つと検査ボリュームデータに含まれる検査断面画像ｑの１つの組合せのそれぞれについて類似度を算出する。類似度は、参照断面画像ｐと検査断面画像ｑのピクセルデータ間の類似度を求める。具体的には、類似度は相互相関やヒストグラムインターセクションなどを用いて取得することができる。なお、ピクセルデータは、画像を構成する画素（ピクセル）の集まりをいい、ピクセルデータは、ＤＩＣＯＭタグ、ファイル名、または、撮影日時などの画像の付帯情報とは区別して以下説明する。
調整値取得手段３７は、上述の参照断面画像ｐと検査断面画像ｑ組合せの２つの組み合わせにおいて、第１の組合せａに含まれる参照断面画像ｐと第２の組合せｂに含まれる参照断面画像ｐの関係と、第１の組合せａに含まれる検査断面画像ｑと第２の組合せｂに含まれる検査断面画像ｑの関係とに基づいて類似度の調整値を求める。
参照断面画像ｐと検査断面画像ｑの間では断面位置が逆になっていても、類似する可能性がある。そこで、組合せａおよびｂに含まれる２つの参照断面画像ｐの断面位置の前後関係と、組合せａおよびｂにそれぞれ含まれる２つの検査断面画像ｑの断面位置の前後関係が一致する場合には、調整値を断面位置の前後関係が一致しない場合より類似度が高くなるような値にする。
例えば、アキシャル画像であるときは、組合せａおよびｂに含まれる２つの参照断面画像ｐの断面位置の体軸方向（Ｚ軸方向）の位置の前後関係と、組合せａおよびｂに含まれる２つの検査断面画像ｑのＺ軸方向の断面位置の前後関係が一致する場合には、調整値を断面位置の前後関係が一致しない場合より類似度が高くなるような値にする。
図３のフローチャートに従って、類似度と調整値を用いて参照断面画像ｐと検査断面画像ｑの対応付けを行う処理について具体的に説明する。図４に参照ボリュームデータＰと検査ボリュームデータＱの一例を示す。図４に示すように、Ｚ軸方向に沿って参照ボリュームデータＰを構成する参照断面画像ｐ１〜ｐ５と検査ボリュームデータＱを構成する検査断面画像ｑ１〜ｑ７が並んでいる。図５に参照断面画像ｐ１〜ｐ５と、検査断面画像ｑ１〜ｑ７の一例を示す。
類似度取得手段３６は、参照ボリュームデータＰに含まれる参照断面画像ｐと検査ボリュームデータＱに含まれる検査断面画像ｑの類似度θａを、ヒストグラムインターセクションを用いて求める。ヒストグラムインターセクションは、図６に示すように参照断面画像ｐｉのヒストグラムｈ１と検査断面画像ｑｊのヒストグラムｈ２の共通部分の割合を指し、類似度θａは０〜１．０までの値となる。画面のおおまかな構図を反映させるために、例えば、参照断面画像ｐｉと検査断面画像ｑｊを縦と横をそれぞれ３つに等分し（図７参照）、３×３区画（＝９区画）に区分したそれぞれの区画でヒストグラムインターセクションを求め、その平均値を類似度θａとするようにしてもよい（Ｓ１）。
図５に示すように、類似度θａは、参照断面画像ｐ１〜ｐ５と検査断面画像ｑ１〜ｑ７の全ての組合せに対して求める。つまり、ｐ１に対して、ｑ１、ｑ２、ｑ３・・・ｑ７との類似度θａを求め、ｐ２に対してｑ１、ｑ２、ｑ３・・・ｑ７との類似度θａを求める。同様にして、ｐ３〜ｐ５のそれぞれに対してｑ１、ｑ２、ｑ３・・・ｑ７との類似度θａを求める。このように全てのｐｉとｑｊの組合せが終了するまで類似度θａの計算を繰り返す（Ｓ２）。
次に、調整値取得手段３７で、参照ボリュームデータＰと検査ボリュームデータＱを対応付ける時の類似度の調整値θａｂを求める。上述の通り、参照断面画像ｐｉと検査断面画像ｑｊを対応付けるときは、参照断面画像ｐｉに対応付けられる検査断面画像ｑｊは１つ以下になり、かつ、検査データに含まれる検査断面画像ｑｊに対応付けられる参照断面画像ｐｉも１つ以下になるように対応付け、このような対応付けの条件を満足するように対応付けをした時の、全ての対応付けパターンのうちいずれの対応付けが最適であるかを、参照断面画像ｐｉと検査断面画像ｑｊのピクセルデータ間の類似度θａだけでなく断面位置の前後関係に基づいた調整値を用いて調整する。
参照ボリュームデータＰと検査ボリュームデータＱにおいて、参照断面画像ｐｉに検査断面画像ｑｊを対応付け、かつ、参照断面画像ｐｋに検査断面画像ｑｌを対応付けたときは、参照断面画像ｐｉと検査断面画像ｑｊの組合せａと参照断面画像ｐｋと検査断面画像ｑｌの組合せｂから調整値θａｂを算出する。参照断面画像ｐｉの断面位置z（ｐｉ）と
参照断面画像ｐｋの断面位置z（ｐｋ）の差分Ｄａ＝z（ｐｋ）−z（ｐｉ）の符号と、検
査断面画像ｑｊの断面位置z（ｑｊ）と検査断面画像ｑｌの断面位置z（ｑｌ）の差分Ｄｂ＝z（ｑｌ）−z（ｑｊ）の符号が一致している場合には（Ｓ３−Ｙｅｓ）、調整値θａｂを１とし（Ｓ４）、差分Ｄａと時間の差分Ｄｂの符号が一致していない場合には（Ｓ３−Ｎｏ）、調整値θａｂを‐１にする（Ｓ５）。これを各対応付けパターンにおける全ての２つの組合せａおよびｂに対して繰り返して、調整値θａｂを求める（Ｓ６）。
図８を用いて、調整値の求め方について詳細に説明する。検査ボリュームデータＱの検査断面画像ｑがＺ軸方向にｑ１−＞ｑ２−＞ｑ３−＞ｑ４・・・の順で並び、参照ボリュームデータＰの参照断面画像ｐがＺ軸方向にｐ１−＞ｐ２−＞ｐ３・・・の順で並んでいる場合に、ｐ１とｑ２、ｐ２とｑ４、ｐ３とｑ３・・・を対応付けたときを例に説明する。ｐ１とｑ２の組合せ１とｐ２とｑ４の組合せ２では（図８（Ａ））、ｐ１とｐ２の断面位置の差分と、ｑ2とｑ４の断面位置の差分が一致しているので、調整値θａｂを１とする。ｐ２とｑ４の組合せ２とｐ３とｑ３の組合せ３では（図８（Ｂ））、ｐ２とｐ３の断面位置の差分と、ｑ４とｑ３の断面位置の差分が一致していないので、調整値θａｂを‐１にする。さらに、ｐ１とｑ２の組合せ１とｐ３とｑ３の組合せ３では（図８（Ｃ））、ｐ１とｐ３の断面位置の差分と、ｑ２とｑ３の断面位置の差分が一致しているので、調整値θａｂを１とする。このようにして、全ての２つの組合せａおよびｂに対して、調整値θａｂを求める。
図９に示すように、参照ボリュームデータＰと検査ボリュームデータＱの間の参照断面画像ｐｉと検査断面画像ｑｊの対応付けを、０と１のバイナリデータｘを要素とするＰ×Ｑの対応付行列ｍで表す。対応付行列ｍは、行が参照断面画像ｐｉを表し、列が検査断面画像ｑｊを表す。ｉ行ｊ列の要素ｘｉｊは参照断面画像ｐｉと検査断面画像ｑｊを対応づけるか否かを表す。参照断面画像ｐｉと検査断面画像ｑｊが対応付けられないときは０とし、参照断面画像ｐｉと検査断面画像ｑｊが対応付けられるときは１とする。このとき、参照断面画像ｐｉに対応付けられる検査断面画像ｑｊは高々１つ、かつ、検査断面画像ｑｊに対応付けられる参照断面画像ｐｉも高々１つという条件を満足するように、参照断面画像ｐｉと検査断面画像ｑｊを対応付けた全ての対応付けのパターンを作成する。
なお、対応付行列ｍで表される対応付けパターンの集合Ｍは次の式（１）のように表現することができる。
Figure 0006869086
集合Ｍに含まれる参照断面画像ｐｉと検査断面画像ｑｊを対応付ける全てのパターンにおいて、参照ボリュームデータＰの参照断面画像ｐｉと検査ボリュームデータＱの検査断面画像ｑｊ間の類似度を求め、類似度が最も高くなるパターンで参照断面画像ｐｉと検査断面画像ｑｊを対応付ける（Ｓ７）。これは、類似度取得手段３６で求めた類似度θａと、調整値取得手段３７で求めた調整値θａｂを重みづけ加算した下式（２）を最大化する問題に置き換えることができる。例えば、文献「L. Torresani, V. Kolmogorov, and C. Rother: “Feature correspondence via graph matching: Models and global optimization”, ECCV2008.」に記載されているグラフマッチングの手法を用いて解くことができる。
なお、下式（２）の第１項は、ｘｉｊ＝１となる参照断面画像ｐｉと検査断面画像ｑｊの組合せの類似度θａの全てを加算することを意味し、第２項は、図９の対応付行列ｍにおいて、ｘｉｊ＝１となる参照断面画像ｐｉと検査断面画像ｑｊの組合せの２つ（組合せａ、および、組合せｂ）の関係から得られた調整値θａｂの全てを重みづけ加算することを意味する。また、係数Ｋは経験的に最適な値を与えればよい。
Figure 0006869086
 ここで、
Ａは、参照断面画像ｐｉと検査断面画像ｑｊの組み合わせの集合
Ｎは、参照断面画像ｐｉと検査断面画像ｑｊの組合せａ、および、参照断面画像ｐｋと検査断面画像ｑｌの組合せｂの集合
ｋは、類似度と調整値の荷重を決める係数
ｘａは、バイナリデータｘのうち、組合せａ（ｐｉ、ｑｊ）に対応する要素ｘｉｊの値
ｘｂは、バイナリデータｘのうち、組合せｂ（ｐｋ、ｑｌ）に対応する要素ｘｋｌの値
表示手段３４は、対応付け手段３２で、対応付けられた参照断面画像ｐｉと検査断面画像ｑｊを比較可能な状態で表示する。例えば、画面上に対応付けられた参照断面画像ｐｉと検査断面画像ｑｊをディスプレイ３５の画面を２分割して左右に並べて表示する。
次に、図１０のフローチャートを用いて、本実施形態の位置合せ装置の動作について説明する。なお、検査ボリュームデータＱは、特定の患者の現在診断対象となっている画像であり、参照ボリュームデータＰは、同じ患者を過去に撮影した画像である場合について以下説明する。
読影医によって読影医用ワークステーション３で読影のための操作が行われると（Ｓ１０）、位置合せ処理部３０が起動される。
続いて、読影医が診断対象の患者ＩＤを入力すると（Ｓ１１）、読影医用ワークステーション３の受付手段３１は、画像管理サーバ５に患者ＩＤと検査ボリュームデータＱと参照ボリュームデータＰの送信要求を送信する。画像管理サーバ５は、患者ＩＤが割り振られている最新のボリュームデータと過去に撮影されたボリュームデータを画像データベース６から検索して読影医用ワークステーション３に送信する。受付手段３１は受信した最新のボリュームデータを検査ボリュームデータＱとし、過去のボリュームデータを参照ボリュームデータＰとして記憶手段３３に記憶する（Ｓ１２）。
上述で詳細に説明した対応付け手段３２を用いて、参照ボリュームデータＰの参照断面画像ｐと検査ボリュームデータＱの検査断面画像ｑの類似度が最も高くなるように対応付ける（Ｓ１３）。
表示手段３４は、対応付け手段３２で対応付けられた参照断面画像ｐと検査断面画像ｑを断面位置が一致する断面画像を比較することができるように画面上に配置して表示する（Ｓ１４）。
上述の通り、参照断面画像の位置関係と検査断面画像の位置関係について矛盾することがないように参照ボリュームデータと検査ボリュームデータ間の対応付けを行うことができる。
上述では、読影医用ワークステーション３に本発明の位置合せ装置が設けられる場合について説明したが、各診療科に置かれる診療科用ワークステーション４に設けて、各診療科の医師が患者への説明などを行うために、本発明の位置合せ装置が利用されてもよい。
１、１ａ〜１ｄ 医療情報システム
２ モダリティ
３ 読影医用ワークステーション
４ 診療科用ワークステーション
５ 画像管理サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ アーカイブシステム
１１ 大容量記憶装置
３０ 位置合せ処理部
３１ 受付手段
３２ 対応付け手段
３３ 記憶手段
３４ 表示手段
３５ ディスプレイ
３６ 類似度取得手段
３７ 調整値取得手段

Claims (7)

  1. 複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、
    前記検査ボリュームデータと前記参照ボリュームデータとの間で、前記検査断面画像と前記参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、
    ２つの前記組合せにおいて、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の前後関係と、前記第１の組合せ含まれる参照断面画像と前記第２の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段と、
    前記検査断面画像と前記参照断面画像の前記組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値との総和に基づいて、前記検査断面画像と前記参照断面画像を対応付ける対応付け手段を備えた位置合せ装置。
  2. 前記組合せは、前記検査断面画像に対応付けられる前記参照断面画像が１以下であり、かつ、前記参照断面画像に対応付けられる前記検査断面画像が１以下であるという条件を満たすように、前記検査断面画像と前記参照断面画像を対応付け、対応付けられた前記検査断面画像と前記参照断面画像を組合せたものである請求項１記載の位置合せ装置。
  3. 前記類似度取得手段が、前記検査断面画像と前記参照断面画像のヒストグラムに基づいて前記類似度を取得する請求項１または２記載の位置合せ装置。
  4. 前記調整値取得手段が、前記第１の組合せに含まれる検査断面画像と前記第２の組合せに含まれる検査断面画像の断面位置の順番と前記第１の組合せに含まれる参照断面画像と前記第２の組合せに含まれる参照断面画像の断面位置の順番が一致する場合には、前記調整値は断面位置の順番が一致しない場合より類似度を高くする値とする請求項１から３いずれか１項記載の位置合せ装置。
  5. 前記対応付け手段が、グラフマッチングの手法により前記参照断面画像に対応付ける前記検査断面画像を決定する請求項１〜４のいずれか１項記載の位置合せ装置。
  6. 複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と類似度取得手段と調整値取得手段と対応付け手段とを備えた位置合わせ装置において、
    前記類似度取得手段が、前記検査ボリュームデータと前記参照ボリュームデータとの間で、前記検査断面画像と前記参照断面画像の組合せのそれぞれの類似度を取得する類似度取得ステップと、
    前記調整値取得手段が、２つの前記組合せにおいて、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の前後関係と、前記第１の組合せ含まれる参照断面画像と前記第２の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得ステップと、
    前記対応付け手段が、前記検査断面画像と前記参照断面画像の前記組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値との総和に基づいて、前記検査断面画像と前記参照断面画像を対応付ける対応付けステップとを備える位置合せ方法。
  7. コンピュータを、
    複数の検査断面画像を含む検査ボリュームデータと複数の参照断面画像を含む参照ボリュームデータとを記憶する記憶手段と、
    前記検査ボリュームデータと前記参照ボリュームデータとの間で、前記検査断面画像と前記参照断面画像の組合せのそれぞれの類似度を取得する類似度取得手段と、
    ２つの前記組合せにおいて、第１の組合せに含まれる検査断面画像と第２の組合せに含まれる検査断面画像の断面位置の前後関係と、前記第１の組合せ含まれる参照断面画像と前記第２の組合せに含まれる参照断面画像の断面位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段と、
    前記検査断面画像と前記参照断面画像の前記組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値との総和に基づいて、前記検査断面画像と前記参照断面画像を対応付ける対応付け手段として機能させるための位置合せプログラム。
JP2017083403A 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム Active JP6869086B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017083403A JP6869086B2 (ja) 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム
US15/954,764 US10699426B2 (en) 2017-04-20 2018-04-17 Registration apparatus, registration method, and registration program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017083403A JP6869086B2 (ja) 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム

Publications (2)

Publication Number Publication Date
JP2018175695A JP2018175695A (ja) 2018-11-15
JP6869086B2 true JP6869086B2 (ja) 2021-05-12

Family

ID=63854568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017083403A Active JP6869086B2 (ja) 2017-04-20 2017-04-20 位置合せ装置および位置合せ方法並びに位置合せプログラム

Country Status (2)

Country Link
US (1) US10699426B2 (ja)
JP (1) JP6869086B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3639030B2 (ja) * 1995-02-28 2005-04-13 株式会社東芝 画像表示システム及びそのシステムを用いた画像表示方法
JP4702971B2 (ja) * 1999-11-10 2011-06-15 株式会社東芝 コンピュータ支援診断システム
JP2005013363A (ja) * 2003-06-24 2005-01-20 Masakazu Yagi 画像解析装置
US7599539B2 (en) 2006-07-28 2009-10-06 Varian Medical Systems International Ag Anatomic orientation in medical images
JP2008253292A (ja) * 2007-03-30 2008-10-23 Fujifilm Corp 症例画像検索装置及びシステム
JP5229960B2 (ja) * 2008-02-28 2013-07-03 富士フイルム株式会社 画像転送システム、サーバ、方法並びにプログラム
JP5138431B2 (ja) * 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP5283411B2 (ja) 2008-03-26 2013-09-04 富士フイルム株式会社 画像表示装置および画像表示装置の作動方法並びに画像表示プログラム
JP5572440B2 (ja) * 2009-09-15 2014-08-13 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP5538861B2 (ja) * 2009-12-18 2014-07-02 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム、及びプログラム
US9275452B2 (en) * 2011-03-15 2016-03-01 The Trustees Of Columbia University In The City Of New York Method and system for automatically determining compliance of cross sectional imaging scans with a predetermined protocol
JP5693388B2 (ja) * 2011-06-10 2015-04-01 三菱電機株式会社 画像照合装置、患者位置決め装置及び画像照合方法
KR102094502B1 (ko) * 2013-02-21 2020-03-30 삼성전자주식회사 의료 영상들의 정합 방법 및 장치

Also Published As

Publication number Publication date
US10699426B2 (en) 2020-06-30
JP2018175695A (ja) 2018-11-15
US20180308244A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
EP2888686B1 (en) Automatic detection and retrieval of prior annotations relevant for an imaging study for efficient viewing and reporting
US7747050B2 (en) System and method for linking current and previous images based on anatomy
JP6885896B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
US8194959B2 (en) Medical image part recognition apparatus and medical image part recognition program
US20060239573A1 (en) Method and system for rule-based comparison study matching to customize a hanging protocol
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
EP1955237A2 (en) System and method for anatomy labeling on a pacs
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
US10803986B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
JP2013123528A (ja) 画像診断支援装置、画像診断支援方法
JP2008200373A (ja) 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP2016162059A (ja) 計測値管理装置とその作動方法および作動プログラム、並びに計測値管理システム
JP2019008349A (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US10860894B2 (en) Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program
CN111226287A (zh) 用于分析医学成像数据集的方法、用于分析医学成像数据集的系统、计算机程序产品以及计算机可读介质
CA3034814C (en) System and method for using imaging quality metric ranking
JP6869086B2 (ja) 位置合せ装置および位置合せ方法並びに位置合せプログラム
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2008217426A (ja) 症例登録システム
JP2005087470A (ja) 異常陰影候補検出装置およびプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210413

R150 Certificate of patent or registration of utility model

Ref document number: 6869086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250