JP7098835B2 - マッチング装置、方法およびプログラム - Google Patents

マッチング装置、方法およびプログラム Download PDF

Info

Publication number
JP7098835B2
JP7098835B2 JP2021522650A JP2021522650A JP7098835B2 JP 7098835 B2 JP7098835 B2 JP 7098835B2 JP 2021522650 A JP2021522650 A JP 2021522650A JP 2021522650 A JP2021522650 A JP 2021522650A JP 7098835 B2 JP7098835 B2 JP 7098835B2
Authority
JP
Japan
Prior art keywords
image
position information
abnormal
matching
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021522650A
Other languages
English (en)
Other versions
JPWO2020240995A1 (ja
JPWO2020240995A5 (ja
Inventor
テックチュアン ベー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2020240995A1 publication Critical patent/JPWO2020240995A1/ja
Publication of JPWO2020240995A5 publication Critical patent/JPWO2020240995A5/ja
Application granted granted Critical
Publication of JP7098835B2 publication Critical patent/JP7098835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01TMEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16Measuring radiation intensity
    • G01T1/161Applications in the field of nuclear medicine, e.g. in vivo counting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • G06T2207/30012Spine; Backbone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30056Liver; Hepatic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Description

本開示は、同一被写体について取得した撮影時期が異なる画像に含まれる異常部位を、画像間でマッチングさせるマッチング装置、方法およびプログラムに関する。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、質の高い高解像度の3次元画像が画像診断に用いられるようになってきている。また、CAD(Computer-Aided Diagnosis)により画像を解析して、腫瘍等の異常部位を抽出し、異常部位の大きさおよび種類等を解析結果として取得することも行われている。このような解析結果を用いることにより、医用画像を読影する読影医の負担を軽減することができる。
一方、病気の治癒状況あるいは進行状況の診断を行うために、同一患者についての過去の医用画像を用いて経時比較観察を行う場合がある。例えば、肝臓の腫瘍の経過観察を行う場合、撮影時期が異なる腹部の3次元画像を並べて表示し、表示された2つの3次元画像を見て、腫瘍の経時による変化を確認する作業が行われる。
このように経時比較観察を行う場合には、画像に含まれる腫瘍等の異常部位の位置を対応づける、すなわちマッチングさせる必要がある。マッチングのためには、撮影時期が異なる3次元画像同士を位置合わせする必要がある。位置合わせの手法としては、剛体位置合わせまたは非剛体位置合わせ等の手法が用いられる。また、画像の位置合わせを行う手法として、例えば特許文献1に記載された手法も提案されている。特許文献1に記載された手法は、2つの3次元画像それぞれにおいて複数個抽出された特徴点の中から、画像間で対応づけられる特徴点の組を複数選択し、選択された複数の特徴点の組ごとの位置情報を用いて、2つの3次元画像における対応する断面を特定する手法である。
特開2009-160045号公報
しかしながら、剛体位置合わせおよび非剛体位置合わせ、さらには上記特許文献1に記載された手法は演算量が多いため、処理に長時間を要する。また、これらの手法では、CT装置で撮影された医用画像およびMRI装置により撮影された医用画像のように、異なる撮影方法により取得された医用画像間においては、位置合わせの精度が低下する可能性がある。このため、これらの手法では、画像間での異常部位のマッチングを精度よく行うことができない可能性がある。
本開示は上記事情に鑑みなされ、撮影時期が異なる画像間において、画像に含まれる異常部位のマッチングを、少ない演算量により精度よく行うことができるようにすることを目的とする。
本開示によるマッチング装置は、同一被写体についての撮影時期が異なる第1の画像および第2の画像のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出する基準部位抽出部と、
第1の画像における少なくとも1つの基準部位に対する、第1の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出する第1の位置情報導出部と、
第2の画像における少なくとも1つの基準部位に対する、第2の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出する第2の位置情報導出部と、
第1の位置情報および第2の位置情報との相違に基づいて、第1の画像および第2の画像のそれぞれに含まれる異常部位を対応づけるマッチング部とを備える。
「基準部位」とは、経時により位置、サイズおよび形状等が変化しない部位を意味する。基準部位としては、例えば骨を用いることができる。
なお、本開示によるマッチング装置においては、第1の位置情報導出部は、基準部位から異常部位へ向かうベクトルを第1の位置情報として導出し、
第2の位置情報導出部は、基準部位から異常部位へ向かうベクトルを第2の位置情報として導出してもよい。
また、本開示によるマッチング装置においては、マッチング部は、第1の位置情報および第2の位置情報に基づいて、第1の画像に含まれる異常部位と第2の画像に含まれる異常部位との距離を、相違として導出してもよい。
また、本開示によるマッチング装置においては、マッチング部は、距離の相違が、予め定められたしきい値未満となる異常部位同士を対応づけてもよい。
また、本開示によるマッチング装置においては、基準部位抽出部は、複数の基準部位を抽出してもよい。
また、本開示によるマッチング装置においては、基準部位は骨であってもよく、とくに椎骨であってもよい。
また、本開示によるマッチング装置においては、第1の画像および第2の画像のそれぞれから、少なくとも1つの異常部位を抽出する異常部位抽出部をさらに備えてもよい。
また、本開示によるマッチング装置においては、第1の画像に含まれる基準部位と第2の画像に含まれる基準部位とのサイズが異なる場合、第1の画像に含まれる基準部位と第2の画像に含まれる基準部位とのサイズを一致させるサイズ変更部をさらに備えてもよい。
また、本開示によるマッチング装置においては、対応づけられた異常部位を強調して、第1の画像および第2の画像を表示部に表示する表示制御部をさらに備えてもよい。
本開示によるマッチング方法は、同一被写体についての撮影時期が異なる第1の画像および第2の画像のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出し、
第1の画像における少なくとも1つの基準部位に対する、第1の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出し、
第2の画像における少なくとも1つの基準部位に対する、第2の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出し、
第1の位置情報および第2の位置情報との相違に基づいて、第1の画像および第2の画像のそれぞれに含まれる異常部位を対応づける。
なお、本開示によるマッチング方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他のマッチング装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
同一被写体についての撮影時期が異なる第1の画像および第2の画像のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出し、
第1の画像における少なくとも1つの基準部位に対する、第1の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出し、
第2の画像における少なくとも1つの基準部位に対する、第2の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出し、
第1の位置情報および第2の位置情報との相違に基づいて、第1の画像および第2の画像のそれぞれに含まれる異常部位を対応づける処理を実行する。
本開示によれば、撮影時期が異なる画像間において、画像に含まれる異常部位のマッチングを少ない演算量により精度よく行うことができる。
本開示の実施形態によるマッチング装置を適用した、診断支援システムの概要を示すハードウェア構成図 コンピュータにマッチングプログラムをインストールすることにより実現される、本実施形態によるマッチング装置の概略構成を示す図 異常部位が抽出された第1および第2の3次元画像を示す図 基準部位である椎骨の特定を説明するための図 基準部位および異常部位の重心位置の導出を説明するための図 第1および第2の位置情報の導出を説明するための図 第1の3次元画像に含まれる異常部位と第2の3次元画像に含まれる異常部位との距離の導出を説明するための図 表示部に表示された第1の3次元画像および第2の3次元画像の表示画面を示す図 本実施形態において行われる処理を示すフローチャート 他の実施形態によるマッチング装置の概略構成を示す図
以下、図面を参照して本開示の実施形態について説明する。図1は、本開示の実施形態によるマッチング装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図1に示すように、このシステムでは、本実施形態によるマッチング装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。
3次元画像撮影装置2は、被写体の診断の対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography )装置等である。3次元画像撮影装置2により生成された3次元画像は画像保管サーバ3に送信され、保管される。なお、本実施形態においては、被写体の診断対象部位は肝臓であり、3次元画像撮影装置2はCT装置であり、3次元画像は被写体の腹部のCT画像とする。
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された3次元画像等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and Communication in Medicine)等のプロトコルに基づいている。また、3次元画像にはDICOM規格に基づくタグが付与される。タグには、患者名、撮影装置を表す情報、撮影日時、および撮影部位等の情報が含まれる。
マッチング装置1は、1台のコンピュータに、本開示のマッチングプログラムをインストールすることにより構成される。コンピュータは、診断を行う医師が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。マッチングプログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)あるいはCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
図2は、コンピュータにマッチングプログラムをインストールすることにより実現されたマッチング装置の概略構成を示す図である。図2に示すように、マッチング装置1は、標準的なワークステーションの構成として、CPU11、メモリ12およびストレージ13を備えている。また、マッチング装置1には、液晶ディスプレイ等の表示部14と、マウスおよびキーボード等の入力部15とが接続されている。なお、表示部14と入力部15とを兼ねた、タッチパネルを用いてもよい。
ストレージ13には、ネットワーク4を経由して画像保管サーバ3から取得した3次元画像およびマッチング装置1での処理によって生成された画像を含む各種情報が記憶されている。
また、メモリ12には、マッチングプログラムが記憶されている。マッチングプログラムは、CPU11に実行させる処理として、同一被写体についての撮影時期が異なる第1の3次元画像S1および第2の3次元画像S2を取得する画像取得処理、第1の3次元画像S1および第2の3次元画像S2のそれぞれから少なくとも1つの異常部位を抽出する異常部位抽出処理、第1の3次元画像S1および第2の3次元画像S2のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出する基準部位抽出処理、第1の3次元画像S1における少なくとも1つの基準部位に対する、第1の3次元画像S1において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出する第1の位置情報導出処理、第2の3次元画像S2における少なくとも1つの基準部位に対する、第2の3次元画像S2において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出する第2の位置情報導出処理、第1の位置情報および第2の位置情報との相違に基づいて、第1の3次元画像S1および第2の3次元画像S2のそれぞれに含まれる異常部位を対応づけるマッチング処理、並びに対応づけられた異常部位を強調して、第1の3次元画像S1および第2の3次元画像S2を表示部14に表示する表示制御処理を規定する。なお、第1の3次元画像S1が第1の画像の一例であり、第2の3次元画像S2が第2の画像一例である。
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、異常部位抽出部22、基準部位抽出部23、第1の位置情報導出部24、第2の位置情報導出部25、マッチング部26および表示制御部27として機能する。
画像取得部21は、ネットワークに接続されたインターフェース(不図示)を介して、画像保管サーバ3から、同一被写体についての撮影時期が異なる第1の3次元画像S1および第2の3次元画像S2を取得する。本実施形態においては、第1の3次元画像S1は、最新の検査により取得された3次元画像であり、第2の3次元画像S2は、前回の検査により取得された3次元画像とするが、これに限定されない。なお、画像取得部21は、第1および第2の3次元画像S1およびS2が既にストレージ13に記憶されている場合には、ストレージ13から第1および第2の3次元画像S1およびS2を取得するようにしてもよい。
異常部位抽出部22は、第1の3次元画像S1および第2の3次元画像S2のそれぞれから少なくとも1つの異常部位を抽出する。本実施形態においては、診断対象部位を肝臓とする。このため、異常部位抽出部22は、第1および第2の3次元画像S1およびS2のそれぞれから、まず肝臓領域を抽出する。肝臓領域を抽出する手法としては、例えば、特開2002-345807号に記載された3次元画像の画素値のヒストグラムを用いる手法、および第1および第2の3次元画像S1およびS2における肝臓が存在するCT値の範囲を推定し、その値を用いてしきい値処理を行い、これにより抽出された領域に、モフォロジーフィルタを適用する手法等、任意の手法を用いることができる。また、異常部位抽出部22を、肝臓領域を抽出するように機械学習がなされた学習済みモデルを有し、学習済みモデルにより肝臓領域を抽出してもよい。なお、肝臓領域を抽出する手法は、これらの手法に限定されず、任意の手法を用いることができる。
また、異常部位抽出部22は、抽出した肝臓領域に含まれる腫瘤等の異常部位を抽出する。本実施形態においては、異常部位抽出部22は、肝臓に含まれる腫瘤等の異常部位を抽出するように機械学習がなされた学習済みモデルを備える。異常部位抽出部22は、このように機械学習がなされた学習済みモデルを用いて、肝臓領域から異常部位を抽出する。図3は異常部位が抽出された第1および第2の3次元画像を示す図である。なお、図3においては、図示および説明を容易にするために、第1および第2の3次元画像S1およびS2における、対応する1つの断層面の断層画像を示している。図3に示すように,第1の3次元画像S1の肝臓領域33からは2つの異常部位A11およびA12が抽出され、第2の3次元画像S2の肝臓領域34からは2つの異常部位A21およびA22が抽出されている。
なお、異常部位抽出部22における異常部位の抽出は、学習済みモデルを備える構成には限定されない。異常部位抽出部22をCADにより画像を解析して異常部位を抽出してもよい。
基準部位抽出部23は、第1および第2の3次元画像S1およびS2のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出する。ここで、基準部位は経時により位置、サイズおよび形状等が変化しない部位である。本実施形態においては、第1および第2の3次元画像S1およびS2は同一被写体の腹部のCT画像である。腹部には脊椎が含まれる。このため、本実施形態においては、脊椎のうちの少なくとも1つの椎骨を基準部位として抽出する。
ここで、CT画像において骨と臓器等の軟部組織とではCT値が異なる。このため、本実施形態においては、CT値をしきい値処理することにより、第1および第2の3次元画像S1およびS2のそれぞれから骨の領域を抽出する。さらに、抽出した骨の領域に対して、例えば椎骨の形状を有するテンプレートを用いたテンプレートマッチングを行うことにより、椎骨を抽出する。なお、3次元画像S1およびS2には複数の椎骨が含まれるため、基準部位抽出部23は複数の椎骨のすべてを抽出する。また、椎骨を抽出するように学習がなされた学習済みモデルを用いることにより、椎骨を抽出するようにしてもよい。
基準部位抽出部23は、第1および第2の3次元画像S1およびS2に含まれる複数の椎骨のうち、肝臓付近にある2つの椎骨を基準部位として抽出する。図4は基準部位である椎骨の特定を説明するための図である。なお、図4は第1および第2の3次元画像S1およびS2をコロナル方向から見た図である。図4に示すように、第1および第2の3次元画像S1およびS2からは、それぞれ複数の椎骨が抽出されている。基準部位抽出部23は、上述した異常部位抽出部22が抽出した肝臓領域33および34の重心位置LG1およびLG2を導出し、導出した重心位置LG1およびLG2に近い位置にある2つの椎骨を基準部位31A,31B,32Aおよび32Bとして抽出する。
第1の位置情報導出部24は、第1の3次元画像S1における基準部位31Aおよび31Bに対する、第1の3次元画像S1において特定された異常部位A11およびA12の相対的な位置を表す第1の位置情報を導出する。このために、第1の位置情報導出部24は、図5に示すように基準部位31Aおよび31Bである椎骨の重心位置BG11およびBG12を導出する。また、第1の3次元画像S1において抽出された異常部位A11およびA12の重心位置AG11およびAG12も導出する。
そして、第1の位置情報導出部24は、図6に示すように、重心位置BG11から異常部位A11の重心位置AG11へ向かうベクトルV11、重心位置BG11から異常部位A12の重心位置AG12へ向かうベクトルV12、重心位置BG12から異常部位A11の重心位置AG11へ向かうベクトルV13、および重心位置BG12から異常部位A12の重心位置AG12へ向かうベクトルV14を、第1の位置情報として導出する。
第2の位置情報導出部25は、第2の3次元画像S2における基準部位32Aおよび32Bに対する、第2の3次元画像S2において特定された異常部位A21およびA22の相対的な位置を表す第2の位置情報を導出する。このために、第2の位置情報導出部25は、図5に示すように、基準部位32Aおよび32Bである椎骨の重心位置BG21およびBG22を導出する。また、第2の3次元画像S2において抽出された異常部位A21およびA22の重心位置AG21およびAG22も導出する。
そして、第2の位置情報導出部25は、図6に示すように、重心位置BG21から異常部位A21の重心位置AG21へ向かうベクトルV21、重心位置BG21から異常部位A22の重心位置AG22へ向かうベクトルV22、重心位置BG22から異常部位A21の重心位置AG21へ向かうベクトルV23、および重心位置BG22から異常部位A22の重心位置AG22へ向かうベクトルV24を、第2の位置情報として導出する。
マッチング部26は、第1の位置情報および第2の位置情報との相違に基づいて、第1の3次元画像S1および第2の3次元画像S2のそれぞれに含まれる異常部位を対応づけるマッチング処理を行う。このために、マッチング部26は、第1の位置情報および第2の位置情報を用いて、第1の3次元画像S1に含まれる異常部位と第2の3次元画像S2に含まれる異常部位との距離を導出する。すなわち、マッチング部26は、第1の3次元画像S1に含まれる異常部位と第2の3次元画像S2に含まれる異常部位との距離を、第1の位置情報および第2の位置情報との相違として導出する。図7は、第1の3次元画像S1に含まれる異常部位と第2の3次元画像S2に含まれる異常部位との距離の導出を説明するための図である。
ここで、上述したように、第1の3次元画像S1において導出したベクトルV11~V14と、第2の3次元画像S2において導出したベクトルV21~V24とは、同一の座標系にあると見なすことができる。このため、マッチング部26は、第1の3次元画像S1に含まれる異常部位A11に関して、ベクトルV11とベクトルV21およびV22とに基づいて、異常部位A11の重心位置AG11と第2の3次元画像S2に含まれる異常部位A21およびA22の重心位置AG21およびAG22との距離L11およびL12を、下記の式(1)および(2)により導出する。また、ベクトルV13とベクトルV23およびV24とに基づいて、異常部位A11の重心位置AG11と第2の3次元画像S2に含まれる異常部位A21およびA22の重心位置AG21およびAG22との距離L13およびL14を、下記の式(3)および(4)により導出する。なお、式(1)~(4)において、(x11,y11,z11)はベクトルV11、(x21,y21,z21)はベクトルV21、(x22,y22,z22)はベクトルV22、(x13,y13,z13)はベクトルV13、(x23,y23,z23)はベクトルV23、(x24,y24,z24)はベクトルV24である。
L11=√{(x11-x21)2+(y11-y21)2+(z11-z21)2} (1)
L12=√{(x11-x22)2+(y11-y22)2+(z11-z22)2} (2)
L13=√{(x13-x23)2+(y13-y23)2+(z13-z23)2} (3)
L14=√{(x13-x24)2+(y13-y24)2+(z13-z24)2} (4)
次いで、マッチング部26は、距離L11,L12,L13およびL14を予め定められたしきい値Th1と比較する。しきい値Th1としては、例えば3次元画像S1およびS2における10画素程度の値とすればよいが、これに限定されない。なお、しきい値Th1としては画素に代えて、mm等の値を用いてもよい。そして、距離がしきい値Th1未満となる異常部位同士を対応づける。異常部位A11に関しては、距離L11およびL13がしきい値Th1未満となる。このため、マッチング部26は、第1の3次元画像S1に含まれる異常部位A11と、第2の3次元画像S2に含まれる異常部位A21とを対応づける。一方、距離がしきい値Th1未満となる異常部位が複数ある場合には、最も距離が近い異常部位同士を対応づければよい。
一方、第1の3次元画像S1に含まれる異常部位A12に関して、図示は省略するが、ベクトルV12とベクトルV21およびV22とに基づいて、異常部位A12の重心位置AG12と第2の3次元画像S2に含まれる異常部位A21およびA22の重心位置AG21およびAG22との距離L21およびL22を、下記の式(5)および(6)により導出する。また、ベクトルV14とベクトルV23およびV24とに基づいて、異常部位A12の重心位置AG12と第2の3次元画像S2に含まれる異常部位A21およびA22の重心位置AG21およびAG22との距離L23およびL24を、下記の式(7)および(8)により導出する。
L21=√{(x12-x21)2+(y12-y21)2+(z12-z21)2} (5)
L22=√{(x12-x22)2+(y12-y22)2+(z12-z22)2} (6)
L23=√{(x14-x23)2+(y14-y23)2+(z14-z23)2} (7)
L24=√{(x14-x24)2+(y14-y24)2+(z14-z24)2} (8)
次いで、マッチング部26は、距離L21,L22,L23およびL24を予め定められたしきい値Th1と比較する。そして、距離がしきい値Th1未満となる異常部位同士を対応づける。異常部位A12に関しては、距離L22およびL24がしきい値Th1未満となる。このため、マッチング部26は、第1の3次元画像S1に含まれる異常部位A12と、第2の3次元画像S2に含まれる異常部位A22とを対応づける。
表示制御部27は、対応づけられた異常部位を強調して、第1の3次元画像S1と第2の3次元画像S2とを表示部14に表示する。図8は表示部14に表示された第1の3次元画像S1および第2の3次元画像S2の表示画面を示す図である。図8に示すように、表示画面40には第1の3次元画像S1と第2の3次元画像S2との対応する断層面の断層画像が表示されている。また、図8においては、第1の3次元画像S1に含まれる異常部位A11と第2の3次元画像S2に含まれる異常部位A21とが対応づけられていることが、異常部位A11およびA21に実線の枠41を付与することにより強調されている。また、第1の3次元画像S1に含まれる異常部位A12と第2の3次元画像S2に含まれる異常部位A22とが対応づけられていることが、異常部位A12およびA12に破線の枠42を付与することにより強調されている。
次いで、本実施形態において行われる処理について説明する。図9は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、画像保管サーバ3から診断対象である第1および第2の3次元画像S1およびS2を取得する(ステップST1)。次いで、異常部位抽出部22が、第1の3次元画像S1および第2の3次元画像S2のそれぞれから少なくとも1つの異常部位を抽出する(ステップST2)。さらに、基準部位抽出部23が、第1の3次元画像S1および第2の3次元画像S2のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出する(ステップST3)。なお、ステップST3の処理をステップST2の処理より先に行ってもよく、ステップST2の処理とステップST3の処理とを並列に行ってもよい。
次いで、第1の位置情報導出部24が、第1の3次元画像S1における少なくとも1つの基準部位に対する、第1の3次元画像S1において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出する(ステップST4)。また、第2の3次元画像S2における少なくとも1つの基準部位に対する、第2の3次元画像S2において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出する(ステップST5)。そして、マッチング部26が、第1の位置情報および第2の位置情報との相違に基づいて、第1の3次元画像S1および第2の3次元画像S2のそれぞれに含まれる異常部位を対応づける(マッチング処理;ステップST6)。さらに、表示制御部27が、対応づけられた異常部位を強調して、第1の3次元画像S1および第2の3次元画像S2を表示部14に表示し(ステップST7)、処理を終了する。
このように、本実施形態においては、第1の位置情報および第2の位置情報との相違に基づいて、第1の3次元画像S1および第2の3次元画像S2のそれぞれに含まれる異常部位を対応づけるようにした。このため、異常部位をマッチングさせるための演算量を少なくすることができる。また、第1の3次元画像S1がCT装置により取得され、第2の3次元画像S2がMRI装置により取得された場合のように、第1の3次元画像S1と第2の3次元画像S2とが、それぞれ異なる撮影方法により取得された場合であっても、第1の位置情報と第2の位置情報との相違に基づいて異常部位を対応づけているため、従来の手法と比較して対応づけの際の精度が低下することもない。したがって、本実施形態によれば、撮影時期が異なる画像間において、画像に含まれる異常部位のマッチングを、少ない演算量により精度よく行うことができる。
なお、上記実施形態において、撮影方法が異なったり、撮影倍率が異なったりすることにより、第1の3次元画像S1と第2の3次元画像S2とに含まれる椎骨、すなわち基準部位のサイズが異なる場合がある。このような場合、マッチング部26において第1の位置情報と第2の位置情報との相違を精度よく導出することができない。このため、図10に示すように、第1の3次元画像S1と第2の3次元画像S2とに含まれる基準部位のサイズを一致させるためのサイズ変更部28をさらに備えてもよい。この場合、基準部位抽出部23が第1の3次元画像S1および第2の3次元画像S2からそれぞれ抽出した椎骨のサイズを比較し、サイズが異なる場合に、第1の3次元画像S1から抽出した基準部位のサイズを、第2の3次元画像S2から抽出した基準部位のサイズに一致させるように、サイズ変更部28が、第1の3次元画像S1のサイズを変更すればよい。なお、第2の3次元画像S2から抽出した基準部位のサイズを、第1の3次元画像S1から抽出した基準部位のサイズに一致させるように、第2の3次元画像S2のサイズを変更してもよい。
この場合、サイズ変更後の第1の3次元画像S1および第2の3次元画像S2に基づいて、第1の位置情報および第2の位置情報を導出することにより、マッチング部26において、第1の位置情報と第2の位置情報との相違を精度よく導出することができることとなる。したがって、第1の3次元画像S1および第2の3次元画像S2に含まれる異常部位のマッチングをより精度よく行うことができる。
また、上記実施形態においては、異常部位抽出部22を備えるとしているが、これに限定されない。本実施形態によるマッチング装置1以外の外部の装置において、異常部位を抽出する処理を行うようにしてもよい。この場合、抽出された異常部位を表す情報が、画像取得部21により第1および第2の3次元画像S1およびS2とともに取得されることとなる。
また、上記実施形態においては、診断対象部位を肝臓としているが、これに限定されない。人体の胸部および腹部における、心臓、血管、肺および気管支等の肝臓以外の部位を診断対象部位とすることが可能である。また、脳を診断対象部位としてもよい。この場合、3次元画像は被写体の頭部の画像とされる。この場合、基準部位は頭蓋骨を用いることができる。
また、上記実施形態においては、基準部位として脊椎を構成する椎骨を抽出しているが、これに限定されない。椎骨以外の肋骨等の骨の他、経時により位置、サイズおよび形状が変化しない部位を基準部位として用いることができる。
また、上記実施形態においては、複数の基準部位を抽出しているが、これに限定されない。基準部位は1つのみであってもよい。
また、上記実施形態においては、第1の位置情報および第2の位置情報に基づいて、第1の3次元画像S1に含まれる異常部位と第2の3次元画像S2に含まれる異常部位との距離を相違として導出しているが、これに限定されない。第1の位置情報および第2の位置情報であるベクトルの差分の絶対値等を相違として導出してもよい。
また、上記実施形態において、例えば、画像取得部21、異常部位抽出部22、基準部位抽出部23、第1の位置情報導出部24、第2の位置情報導出部25、マッチング部26、表示制御部27およびサイズ変更部28といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 マッチング装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 異常部位抽出部
23 基準部位抽出部
24 第1の位置情報導出部
25 第2の位置情報導出部
26 マッチング部
27 表示制御部
28 サイズ変更部
31A,31B,32A,32B 基準部位
33,34 肝臓領域
40 表示画面
41 実線の枠
42 破線の枠
A11,A12,A21,A22 異常部位
AG11,AG12,AG21,AG22 異常部位の重心
BG11,BG12,BG21,BG22 基準部位の重心
LG1,LG2 肝臓領域の重心
S1 第1の3次元画像
S2 第2の3次元画像
V11~V14、V21~V24 ベクトル

Claims (11)

  1. 同一被写体についての撮影時期が異なる第1の画像および第2の画像のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出する基準部位抽出部と、
    前記第1の画像における前記少なくとも1つの基準部位に対する、前記第1の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出する第1の位置情報導出部と、
    前記第2の画像における前記少なくとも1つの基準部位に対する、前記第2の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出する第2の位置情報導出部と、
    前記第1の位置情報および前記第2の位置情報に基づいて、前記第1の画像に含まれる異常部位と前記第2の画像に含まれる異常部位との距離を、前記第1の位置情報および前記第2の位置情報との相違として導出し、前記相違に基づいて、前記第1の画像および前記第2の画像のそれぞれに含まれる前記異常部位を対応づけるマッチング部とを備えたマッチング装置。
  2. 前記第1の位置情報導出部は、前記基準部位から前記異常部位へ向かうベクトルを前記第1の位置情報として導出し、
    前記第2の位置情報導出部は、前記基準部位から前記異常部位へ向かうベクトルを前記第2の位置情報として導出する請求項1に記載のマッチング装置。
  3. 前記マッチング部は、前記距離の相違が、予め定められたしきい値未満となる前記異常部位同士を対応づける請求項1または2に記載のマッチング装置。
  4. 前記基準部位抽出部は、複数の前記基準部位を抽出する請求項1からのいずれか1項に記載のマッチング装置。
  5. 前記基準部位は骨である請求項1からのいずれか1項に記載のマッチング装置。
  6. 前記骨は椎骨である請求項に記載のマッチング装置。
  7. 前記第1の画像および前記第2の画像のそれぞれから、前記少なくとも1つの異常部位を抽出する異常部位抽出部をさらに備えた請求項1からのいずれか1項に記載のマッチング装置。
  8. 前記第1の画像に含まれる基準部位と前記第2の画像に含まれる基準部位とのサイズが異なる場合、前記第1の画像に含まれる基準部位と前記第2の画像に含まれる基準部位とのサイズを一致させるサイズ変更部をさらに備えた請求項1からのいずれか1項に記載のマッチング装置。
  9. 前記対応づけられた異常部位を強調して、前記第1の画像および前記第2の画像を表示部に表示する表示制御部をさらに備えた請求項1からのいずれか1項に記載のマッチング装置。
  10. 同一被写体についての撮影時期が異なる第1の画像および第2の画像のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出し、
    前記第1の画像における前記少なくとも1つの基準部位に対する、前記第1の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出し、
    前記第2の画像における前記少なくとも1つの基準部位に対する、前記第2の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出し、
    前記第1の位置情報および前記第2の位置情報に基づいて、前記第1の画像に含まれる異常部位と前記第2の画像に含まれる異常部位との距離を、前記第1の位置情報および前記第2の位置情報との相違として導出し、前記相違に基づいて、前記第1の画像および前記第2の画像のそれぞれに含まれる前記異常部位を対応づけるマッチング方法。
  11. 同一被写体についての撮影時期が異なる第1の画像および第2の画像のそれぞれから、互いに共通する少なくとも1つの基準部位を抽出する手順と、
    前記第1の画像における前記少なくとも1つの基準部位に対する、前記第1の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第1の位置情報を導出する手順と、
    前記第2の画像における前記少なくとも1つの基準部位に対する、前記第2の画像において特定された少なくとも1つの異常部位の相対的な位置を表す第2の位置情報を導出する手順と、
    前記第1の位置情報および前記第2の位置情報に基づいて、前記第1の画像に含まれる異常部位と前記第2の画像に含まれる異常部位との距離を、前記第1の位置情報および前記第2の位置情報との相違として導出し、前記相違に基づいて、前記第1の画像および前記第2の画像のそれぞれに含まれる前記異常部位を対応づける手順とをコンピュータに実行させるマッチングプログラム。
JP2021522650A 2019-05-28 2020-03-17 マッチング装置、方法およびプログラム Active JP7098835B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019099177 2019-05-28
JP2019099177 2019-05-28
PCT/JP2020/011576 WO2020240995A1 (ja) 2019-05-28 2020-03-17 マッチング装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2020240995A1 JPWO2020240995A1 (ja) 2020-12-03
JPWO2020240995A5 JPWO2020240995A5 (ja) 2022-02-03
JP7098835B2 true JP7098835B2 (ja) 2022-07-11

Family

ID=73552889

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021522650A Active JP7098835B2 (ja) 2019-05-28 2020-03-17 マッチング装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20220044052A1 (ja)
JP (1) JP7098835B2 (ja)
WO (1) WO2020240995A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177494A (ja) 2010-02-04 2011-09-15 Toshiba Corp 画像処理装置、超音波診断装置、及び画像処理方法
JP2013123528A (ja) 2011-12-14 2013-06-24 Hitachi Ltd 画像診断支援装置、画像診断支援方法
JP2014113364A (ja) 2012-12-11 2014-06-26 Panasonic Corp 診断支援装置および診断支援方法
JP2019013724A (ja) 2017-07-03 2019-01-31 株式会社リコー 診断支援システム、診断支援方法及び診断支援プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194947B2 (en) * 2006-11-21 2012-06-05 Hologic, Inc. Facilitating comparison of medical images
CN113855059A (zh) * 2012-11-06 2021-12-31 皇家飞利浦有限公司 增强超声图像
JP6382036B2 (ja) * 2013-09-30 2018-08-29 キヤノンメディカルシステムズ株式会社 超音波診断装置及び画像処理装置
JP6346445B2 (ja) * 2014-01-10 2018-06-20 キヤノン株式会社 処理装置、処理装置の制御方法、およびプログラム
DE102015208929B3 (de) * 2015-05-13 2016-06-09 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm
US20190000318A1 (en) * 2015-12-28 2019-01-03 Metritrack, Inc. System and method for the coregistration of medical image data
JP2018175227A (ja) * 2017-04-10 2018-11-15 富士フイルム株式会社 医用画像表示装置、方法およびプログラム
JP6821036B2 (ja) * 2017-08-28 2021-01-27 富士フイルム株式会社 医用画像処理装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011177494A (ja) 2010-02-04 2011-09-15 Toshiba Corp 画像処理装置、超音波診断装置、及び画像処理方法
JP2013123528A (ja) 2011-12-14 2013-06-24 Hitachi Ltd 画像診断支援装置、画像診断支援方法
JP2014113364A (ja) 2012-12-11 2014-06-26 Panasonic Corp 診断支援装置および診断支援方法
JP2019013724A (ja) 2017-07-03 2019-01-31 株式会社リコー 診断支援システム、診断支援方法及び診断支援プログラム

Also Published As

Publication number Publication date
US20220044052A1 (en) 2022-02-10
JPWO2020240995A1 (ja) 2020-12-03
WO2020240995A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
EP3444777A1 (en) Automatic change detection in medical images
EP3123443B1 (en) Method and device for generating one or more computer tomography images based on magnetic resonance images with the help of tissue class separation
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
US8897514B2 (en) Imaging method for motion analysis
EP3164075B1 (en) Unified coordinate system for multiple ct scans of patient lungs
EP2189942A2 (en) Method and system for registering a medical image
JPH08131403A (ja) 医用画像処理装置
US8527244B2 (en) Generating model data representing a biological body section
WO2012158585A2 (en) Surgical assistance planning method using lung motion analysis
EP3550515A1 (en) Cross-modality image synthesis
Zhang et al. 3-D reconstruction of the spine from biplanar radiographs based on contour matching using the hough transform
Alam et al. Medical image registration: Classification, applications and issues
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
Alam et al. Evaluation of medical image registration techniques based on nature and domain of the transformation
CN114943714A (zh) 医学图像处理系统、装置、电子设备及存储介质
JP6821036B2 (ja) 医用画像処理装置、方法およびプログラム
EP2821968B1 (en) Processing model data representing a biological body section having a defect portion
US20030210820A1 (en) Method and device for localizing a structure in a measured data set
US20190236783A1 (en) Image processing apparatus, image processing method, and program
KR20160057024A (ko) 마커리스 3차원 객체추적 장치 및 그 방법
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
JP7098835B2 (ja) マッチング装置、方法およびプログラム
US8265361B2 (en) Automatic transfer of outlined objects from one data set into another data set
US10580136B2 (en) Mapping image generation device, method, and program
JP2020006150A (ja) 基準系の妥当性

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R150 Certificate of patent or registration of utility model

Ref document number: 7098835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150