JP6967983B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP6967983B2
JP6967983B2 JP2018011753A JP2018011753A JP6967983B2 JP 6967983 B2 JP6967983 B2 JP 6967983B2 JP 2018011753 A JP2018011753 A JP 2018011753A JP 2018011753 A JP2018011753 A JP 2018011753A JP 6967983 B2 JP6967983 B2 JP 6967983B2
Authority
JP
Japan
Prior art keywords
medical image
image
landmark
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018011753A
Other languages
English (en)
Other versions
JP2019126654A (ja
JP2019126654A5 (ja
Inventor
晶路 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018011753A priority Critical patent/JP6967983B2/ja
Priority to US16/248,087 priority patent/US20190236783A1/en
Publication of JP2019126654A publication Critical patent/JP2019126654A/ja
Publication of JP2019126654A5 publication Critical patent/JP2019126654A5/ja
Application granted granted Critical
Publication of JP6967983B2 publication Critical patent/JP6967983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Description

本発明は画像処理装置、画像処理方法、及びプログラムに係り、特に医用画像の位置合わせに関する。
医用画像診断の分野では、複数の医用画像に共通して含まれる特徴領域の比較等の解析が行われる。複数の医用画像の一例として、同一の対象について同一のモダリティを用いた撮像時点が異なる複数の医用画像が挙げられる。
特許文献１は、過去に撮像された第１の医用画像に含まれる病変領域の画像と、最も直近に撮像された第２の医用画像に含まれる病変領域の画像との間で非剛体レジストレーションを行う医用画像計測装置が記載されている。同文献に記載の医用画像計測装置は、非剛体レジストレーションの結果として得られた画像変化量を用いて、第３の計測パラメータを取得している。
複数の医用画像の比較等の解析を行う際に、複数の医用画像の位置合わせを高精度に行うことが重要である。複数の医用画像の位置合わせを行う際に、位置合わせの基準となるランドマークが用いられる。
特許文献２は、複数の骨から構成される被検体を異なる時点で撮像した２つの画像の位置合わせを行う画像位置合わせ装置が記載されている。同文献に記載の画像位置合わせ装置は、骨の部位ごとに少なくとも３つのランドマークを設定し、少なくとも３つのランドマークを用いて位置合わせ処理を行う。
特許文献３は、第１の医用画像データと第２の医用画像データとの間の剛体領域に対して剛体位置合わせを行い、非剛体領域に対して非剛体位置合わせを行う医用画像処理装置が記載されている。
特許文献４は、手術の対象部位を含む術中画像と、対象部位の手術に関する関連画像との位置合わせを行う画像位置合わせ装置が記載されている。同文献に記載の画像位置合わせ装置は、関連画像と位置合わせ済みの術中画像と、新たに取得された術中画像から互いに対応する複数の特徴点を抽出する。
同文献に記載の画像位置合わせ装置は、優先度が設定された複数の特徴点に基づいて、関連画像と位置合わせ済みの術中画像と、新たに取得された術中画像との相対的な相違を表す位置情報に基づいて、関連画像と新たに取得された術中画像との位置合わせをする。優先度は、位置合わせを行う際に適した位置にある画素ほど、大きくなるように付与されている。
特許文献５は、超音波画像と同一断層面のＭＲＩ画像を取得する際に、体内のランドマークとなる複数の特徴部位を予め定めておき、特徴部位を基準にして検査体内での撮像面を相対的に決める方法が記載されている。同文献には、特徴部位として、呼吸、及び蠕動運動による影響が少ない骨格、及び臓器の輪郭を用いることができると記載されている。なお、ＭＲＩは、magnetic resonance imagingの省略語である。
特開２０１６−１６２０５号公報 特開２０１７−６３９３６号公報 特開２０１６−１０４１２１号公報 特開２０１７−１６４０７５号公報 特許第４７５０４２９号
しかしながら、特許文献１には、第１の医用画像と第２の医用画像との位置合わせに関する記載はない。
特許文献２に記載の発明は、過去に撮像された３次元画像と今回撮像された３次元画像との間において椎骨領域の位置を合わせる際に、椎骨領域にランドマークを設定している。位置合わせの対象領域にランドマークが含まれる場合、被検体の姿勢等の違いに起因して、位置合わせの対象とされる複数の医用画像の間に傾き等の変化が生じた場合に、正確な位置合わせが困難である。
特許文献３、及び特許文献４には複数の医用画像の位置合わせの基準とされるランドマーク領域に関する記載はなく、特許文献３に記載の発明、及び特許文献４に記載の発明は、ランドマーク領域を用いた複数の医用画像の位置合わせに関するものではない。
特許文献５に記載の発明は、超音波画像の評価結果に基づいて、超音波撮像装置以外の撮像装置を用いて撮像した画像を変形させ、２次元画像、又は３次元画像として表示するものであり、複数の医用画像の位置合わせを行うものではない。
また、特許文献５に記載の発明におけるランドマークは、検査体内での撮像面を相対的に決めるものであって、複数の医用画像の位置合わせの基準ではない。
本発明はこのような事情に鑑みてなされたもので、複数の医用画像について高精度の位置合わせを可能とする、画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第１態様に係る画像処理装置は、比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得部と、第１医用画像、及び第２医用画像のそれぞれから、注目領域を含む複数の領域を抽出する抽出部と、第１医用画像の複数の領域、及び第２医用画像の複数の領域のうち、第１医用画像と第２医用画像とに共通する領域であり、注目領域と異なる特定の領域を、第１医用画像と第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択部と、ランドマーク領域を位置合わせの基準として、第１医用画像と第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、第１医用画像と第２医用画像とを重ね合わせた結果画像を生成する位置合わせ部と、を備えた画像処理装置である。
第１態様によれば、注目領域と異なる特定の領域がランドマーク領域として選択される。ランドマーク領域を基準として第１医用画像と第２医用画像との剛体レジストレーション、又は線形レジストレーションが行われる。これにより、第１医用画像と第２医用画像と高精度の位置合わせが可能である。
注目領域は、第１医用画像、及び第２医用画像に含まれる領域であり、例えば、第１医用画像、及び第２医用画像における観察、及び計測等の解析対象の領域である。注目領域の例として臓器、及び組織等が挙げられる。組織の例として、骨、関節、腱、筋、腫瘍、及び瘤等が挙げられる。
医用画像の一例として、モダリティを用いて被検体を撮像して得られたデジタル形式の医用画像が挙げられる。医用画像は２次元画像を適用してもよいし、３次元画像を適用してもよい。
ランドマーク領域選択部は、１つのランドマーク領域を選択してもよいし、複数のランドマーク領域を選択してもよい。
第１態様に係る画像処理装置は、１つ以上のプロセッサと、１つ以上のメモリを備えた画像処理装置であって、プロセッサは、比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を取得し、第１医用画像、及び第２医用画像のそれぞれから、注目領域を含む複数の領域を抽出し、第１医用画像の複数の領域、及び第２医用画像の複数の領域のうち、第１医用画像と第２医用画像とに共通する領域であり、注目領域と異なる特定の領域を、第１医用画像と第２医用画像との位置合わせの基準となるランドマーク領域として選択し、ランドマーク領域を位置合わせの基準として、第１医用画像と第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、第１医用画像と第２医用画像とを重ね合わせた結果画像を生成し、メモリは、各処理におけるデータを記憶する画像処理装置として構成し得る。
第２態様は、第１態様の画像処理装置において、第１医用画像の複数の領域、及び第２医用画像の複数の領域から、１以上の注目領域を選択する注目領域選択部を備えた構成としてもよい。
第２態様によれば、第１医用画像、及び第２医用画像から抽出された領域から、１以上の任意の注目領域の選択が可能である。
第３態様は、第２態様の画像処理装置において、位置合わせ部は、注目領域選択部を用いて選択された注目領域を重ね合わせた結果画像を生成する構成としてもよい。
第３態様によれば、第１医用画像と第２医用画像との比較等の解析が可能である。
結果画像は注目領域を表示し、注目領域以外の領域を非表示としてもよい。
第４態様は、第１態様から第３態様のいずれか一態様の画像処理装置において、抽出部は、医用画像と領域の抽出結果との組、又は医用画像とランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、領域の抽出を行う構成としてもよい。
第４態様によれば、正解データを用いて学習した学習結果を反映させた高精度の領域抽出が可能である。
第５態様は、第１態様から第４態様のいずれか一態様の画像処理装置において、抽出部は、医用画像と領域ごとの抽出結果との組、又は医用画像とランドマーク領域の選択結果との組を正解データとして、領域ごとに学習した学習結果を用いて、領域の抽出を行う構成としてもよい。
第５態様によれば、領域ごとの個別の正解データを用いた学習結果を反映させた高精度領域の抽出が可能である。
第６態様は、第１態様から第５態様のいずれか一態様の画像処理装置において、第１医用画像、及び第２医用画像について、ランドマーク領域の候補とされるランドマーク候補領域を設定するランドマーク候補領域設定部を備えた構成としてもよい。
第６態様によれば、第１医用画像、及び第２医用画像に適用したランドマーク候補領域の設定が可能である。
第６態様において、ランドマーク候補領域の設定情報を入力する入力装置を備える態様も可能である。
第７態様は、第６態様の画像処理装置において、ランドマーク候補領域設定部は、第１医用画像、及び第２医用画像の少なくともいずれか一方を構成する領域のうち、ランドマーク領域となり得る全ての領域をランドマーク候補領域として設定する構成としてもよい。
第７態様によれば、ランドマーク領域となり得る全ての領域をランドマーク候補領域として設定することが可能である。
第８態様は、第６態様又は第７態様の画像処理装置において、ランドマーク領域選択部は、ランドマーク候補領域のうち、第１医用画像、及び第２医用画像から抽出された領域の中から、ランドマーク領域を選択する構成としてもよい。
第８態様によれば、ランドマーク候補領域の中からランドマーク領域の選択が可能である。
第８態様において、ランドマーク領域の選択情報を入力する入力装置を備える態様も可能である。
第９態様は、第６態様から第８態様のいずれか一態様の画像処理装置において、ランドマーク候補領域に優先度を設定する優先度設定部を備えた構成としてもよい。
第９態様によれば、ランドマーク候補領域に設定された優先度に基づいてランドマーク領域を設定し得る。
第１０態様は、第９態様の画像処理装置において、ランドマーク領域選択部は、２つ以上のランドマーク候補領域が設定された場合に、それぞれのランドマーク候補領域の優先度が高い順に、１つ以上のランドマーク領域を選択する構成としてもよい。
第１０態様によれば、ランドマーク候補領域に設定された優先度の高い順にランドマーク領域を設定し得る。
第１０態様において、優先度の設定情報を入力する入力装置を備える態様も可能である。
第１１態様は、第１態様から第１０態様のいずれか一態様の画像処理装置において、ランドマーク領域選択部は、複数のランドマーク領域を選択し、位置合わせ部は、ランドマーク領域選択部を用いて選択された複数のランドマーク領域を用いて結果画像を生成する際に、ランドマーク領域の誤差が最小となる第１医用画像と第２医用画像と位置合わせを行う構成としてもよい。
第１１態様によれば、複数のランドマークを用いた、第１医用画像と第２医用画像との高精度の位置合わせが可能である。
第１２態様は、第１態様から第１１態様のいずれか一態様の画像処理装置において、画像取得部は、同一の種類のモダリティを用いて生成された第１医用画像、及び第２医用画像を取得する構成としてもよい。
第１２態様によれば、同一の種類のモダリティを用いて生成された第１医用画像と第２医用画像との位置合わせをした結果画像を生成し得る。
第１３態様は、第１態様から第１２態様のいずれか一態様の画像処理装置において、第１医用画像、及び第２医用画像は、同一の患者における同一の被検体について、異なる時期に生成された医用画像が適用される構成としてもよい。
第１３態様によれば、同一の患者における同一の被検体について、経時変化等の解析が可能である。
第１４態様は、第１態様から第１３態様のいずれか一態様の画像処理装置において、結果画像を表す結果画像信号を表示装置へ送信する画像信号送信部を備えた構成としてもよい。
第１４態様によれば、表示装置を用いて結果画像を表示し得る。
第１５態様は、第１４態様の画像処理装置において、表示装置へ結果画像の全体を表示させるか、又は表示装置へ結果画像の注目領域のみ表示させるかを選択する表示選択部を備えた構成としてもよい。
第１５態様によれば、結果画像の全体を表示させるか、又は結果画像の注目領域のみを表示させるかの選択が可能である。
第１６態様に係る画像処理方法は、比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得工程と、第１医用画像、及び第２医用画像のそれぞれから、注目領域を含む複数の領域を抽出する抽出工程と、第１医用画像の複数の領域、及び第２医用画像の複数の領域のうち、第１医用画像と第２医用画像とに共通する領域であり、注目領域と異なる特定の領域を、第１医用画像と第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択工程と、ランドマーク領域を位置合わせの基準として、第１医用画像と第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、第１医用画像と第２医用画像とを重ね合わせた結果画像を生成する位置合わせ工程と、を含む画像処理方法である。
第１６態様によれば、第１態様と同様の効果を得ることができる。
第１６態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理方法の構成要素として把握することができる。
第１７態様に係るプログラムは、コンピュータに、比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得機能、第１医用画像、及び第２医用画像のそれぞれから、注目領域を含む複数の領域を抽出する抽出機能、第１医用画像の複数の領域、及び第２医用画像の複数の領域のうち、第１医用画像と第２医用画像とに共通する領域であり、注目領域と異なる特定の領域を、第１医用画像と第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択機能、及びランドマーク領域を位置合わせの基準として、第１医用画像と第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、第１医用画像と第２医用画像とを重ね合わせた結果画像を生成する位置合わせ機能を実現させるプログラムである。
第１７態様によれば、第１態様と同様の効果を得ることができる。
第１７態様において、第２態様から第１５態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
本発明によれば、注目領域と異なる特定の領域がランドマーク領域として選択される。ランドマーク領域を基準として第１医用画像と第２医用画像との剛体レジストレーション、又は線形レジストレーションが行われる。これにより、第１医用画像と第２医用画像と高精度の位置合わせが可能である。
図１は実施形態に係る医療情報システムの構成例を示すブロック図である。 図２は画像処理装置のハードウェアの構成例を示すブロック図である。 図３は画像処理装置の機能を示す機能ブロック図である。 図４は第１実施形態に係る画像処理部の機能を示す機能ブロック図である。 図５は第１実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図６は胸部Ｘ線画像の位置合わせの一例を示す模式図である。 図７は胸部Ｘ線画像の位置合わせの他の例を示す模式図である。 図８は表示選択画面の構成例を示す説明図である。 図９は頭部ＣＴ画像の位置合わせの他の例を示す模式図である。 図１０は頭部ＣＴ画像の位置合わせの他の例を示す模式図であり、ランドマーク領域として頭蓋骨、及び眼球を選択した例の模式図である。 図１１は頭部ＣＴ画像の位置合わせの他の例を示す模式図であり、ランドマーク領域として頭蓋骨、及び頬骨を選択した例の模式図である。 図１２は処理対象画像選択画面の構成例を示す説明図である。 図１３は第２実施形態に係る画像処理部の機能を示すブロック図である。 図１４は優先度設定画面の構成例を示す説明図である。 図１５は第２実施形態に係る画像処理方法の手順の流れを示すフローチャートである。 図１６はネットワークシステムが適用される情報処理システムの構成例を示すブロック図である。
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
［医療情報システムの全体構成］
図１は実施形態に係る医療情報システムの構成例を示すブロック図である。医療情報システム１０は、画像処理装置１２、モダリティ１４、及び画像データベース１６を備える。画像処理装置１２、モダリティ１４、及び画像データベース１６は、ネットワーク１８を介して通信可能に接続される。医療情報システム１０の例として、ＰＡＣＳ（Picture Archiving and Communication System）が挙げられる。
画像処理装置１２は、医療機関に備えられるコンピュータを適用可能である。画像処理装置１２は、入力装置としてマウス２０、及びキーボード２２が接続される。また、画像処理装置１２は、表示装置２４が接続される。
モダリティ１４は、被写体の検査対象部位を撮像し、医用画像を生成する撮像装置である。モダリティの例として、Ｘ線撮像装置、ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ装置が挙げられる。
ＣＴはコンピュータ断層撮影を表すComputed Tomographyの省略語である。ＰＥＴ装置は陽電子放射断層撮影を表すPositron Emission Tomographyの省略語である。平面Ｘ線検出器はＦＰＤ(flat panel detector)と呼ばれることがある。ＣＲはコンピュータＸ線撮影装置を表すComputed Radiographyの省略語である。
医用画像のフォーマットは、ＤＩＣＯＭ規格を適用可能である。医用画像は、ＤＩＣＯＭ規格において規定された付帯情報が付加されてもよい。なお、ＤＩＣＯＭはDigital Imaging and Communications in Medicineの省略語である。
画像データベース１６は、大容量ストレージ装置を備えるコンピュータを適用可能である。コンピュータはデータベース管理システムの機能を提供するソフトウェアが組み込まれる。データベース管理システムは、ＤＢＭＳ（Data Base Management System）と呼ばれることがある。
ネットワーク１８は、ＬＡＮ（Local Area Network）を適用可能である。ネットワーク１８はＷＡＮ（Wide Area Network）を適用してもよい。ネットワーク１８の通信プロトコルは、ＤＩＣＯＭ規格を適用可能である。なお、ネットワーク１８は公衆回線網に接続可能に構成されてもよいし、専用回線網に接続可能に構成されてもよい。ネットワーク１８は、有線でもよいし、無線でもよい。
［画像処理装置の構成］
〔ハードウェア構成〕
図２は画像処理装置のハードウェアの構成例を示すブロック図である。画像処理装置１２は、制御部３０、メモリ３２、ハードディスク装置３４、通信インターフェース３６、入力コントローラ３８、及びディスプレイコントローラ３９を備える。
〈制御部〉
制御部３０は、画像処理装置１２の全体制御部、各種演算部、及び記憶制御部として機能する。制御部３０は、メモリ３２に具備されるＲＯＭ（read only memory）に記憶されているプログラムを実行する。制御部３０は、通信インターフェース３６を介して、外部の記憶装置からプログラムをダウンロードし、ダウンロードしたプログラムを実行してもよい。外部の記憶装置は、ネットワーク１８を介して画像処理装置１２と通信可能に接続されていてもよい。
制御部３０は、メモリ３２に具備されるＲＡＭ（random access memory）を演算領域とし、各種プログラムと協働して、各種処理を実行する。これにより、画像処理装置１２の各種機能が実現される。
制御部３０は、ハードディスク装置３４からのデータの読み出し、及びハードディスク装置３４へのデータの書き込みを制御する。制御部３０は、１つ又は２つ以上のプロセッサ（processor）が含まれてもよい。
プロセッサの一例として、ＦＰＧＡ（Field Programmable Gate Array）、及びＰＬＤ（Programmable Logic Device）等が挙げられる。ＦＰＧＡ、及びＰＬＤは、製造後に回路構成の変更を可能とする。
プロセッサの他の例として、ＡＳＩＣ（Application Specific Integrated Circuit）が挙げられる。ＡＳＩＣは、特定の処理を実行させるために専用に設計された回路構成を備える。
制御部３０は、同じ種類の２以上のプロセッサを適用可能である。例えば、制御部３０は２つ以上のＦＰＧＡを用いてもよいし、２つのＰＬＤを用いてもよい。制御部３０は、異なる種類の２つ以上プロセッサを適用してもよい。例えば、制御部３０は１つ以上のＦＰＧＡと１つ以上のＡＳＩＣとを適用してもよい。
複数の制御部を備える場合、複数の制御部は１つのプロセッサを用いて構成してもよい。複数の制御部を１つのプロセッサで構成する一例として、１つ以上のＣＰＵ（Central Processing Unit）とソフトウェアとの組合せを用いて１つのプロセッサを構成し、このプロセッサが複数の制御部として機能する形態がある。ＣＰＵに代わり、又はＣＰＵと併用して、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）を適用してもよい。なお、ここでいうソフトウェアはプログラムと同義である。複数の制御部が１つのプロセッサを用いて構成される代表例として、クライアント装置、及びサーバ装置等のコンピュータが挙げられる。
複数の制御部を１つのプロセッサで構成する他の例として、複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態が挙げられる。複数の制御部を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサの代表例として、ＳｏＣ（System On Chip）が挙げられる。なお、ＩＣは、Integrated Circuitの省略語である。
このように、制御部３０は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。
〈メモリ〉
メモリ３２は、図示しないＲＯＭ、及び図示しないＲＡＭを備える。ＲＯＭは、画像処理装置１２において実行される各種プログラムを記憶する。ＲＯＭは、各種プログラムの実行に用いられるパラメータ、及びファイル等を記憶する。ＲＡＭは、データの一時記憶領域、及び制御部３０のワーク領域等として機能する。
〈ハードディスク装置〉
ハードディスク装置３４は、各種データを非一時的に記憶する。具体的には、ハードディスク装置３４は医用画像等を記憶する。ハードディスク装置３４は、画像処理装置１２の外部に外付けされてもよい。ハードディスク装置３４に代わり、又はこれと併用して、大容量の半導体メモリ装置を適用してもよい。
〈通信インターフェース〉
通信インターフェース３６は、図１に示したモダリティ１４、及び画像データベース１６などの外部の装置との間のデータ通信を行う。図２に示したＩＦは、interfaceの省略後である。
〈入力コントローラ〉
入力コントローラ３８は、マウス２０、及びキーボード２２等の入力装置２６から送信される信号を受信し、画像処理装置１２に適用される形式の信号に変換するインターフェースである。
〈ディスプレイコントローラ〉
ディスプレイコントローラ３９は、画像処理装置１２において生成された画像を表す信号を、表示装置２４を用いて表示させる映像信号に変換するインターフェースである。ディスプレイコントローラ３９は、画像を表す映像信号を表示装置２４へ送信する。
なお、図２に示した画像処理装置１２のハードウェア構成は一例であり、適宜、追加、削除、及び変更が可能である。
〔画像処理装置の機能〕
図３は画像処理装置の機能を示す機能ブロック図である。図３に示した画像処理装置１２は、全体制御部４０、画像取得部４１、画像処理部４２、表示制御部４４、画面生成部４５、入力制御部４６、及び記憶部４７を備える。
全体制御部４０、画像取得部４１、画像処理部４２、表示制御部４４、画面生成部４５、入力制御部４６、及び記憶部４７は、通信信号線６０を介して相互に通信可能に接続される。以下、各部について詳細に説明する。
〈全体制御部〉
全体制御部４０は、画像処理装置１２の制御プログラムの実行に基づき、画像取得部４１、画像処理部４２、表示制御部４４、画面生成部４５、入力制御部４６、及び記憶部４７を統括的に制御する。
〈画像取得部〉
画像取得部４１は、図１に示した画像データベース１６に記憶される医用画像を取得する。画像データベース１６は、モダリティ１４を用いて撮像され医用画像が記憶される。本実施形態では、Ｘ線撮像装置を用いて撮像された胸部Ｘ線画像、及びＣＴ装置を用いて撮像された頭部ＣＴ画像を医用画像として例示する。
画像取得部４１は、同一の注目領域が含まれる第１医用画像５０、及び第２医用画像５１を取得する。第１医用画像５０の例として、任意の被検者の医用画像であり、過去に撮像された医用画像が挙げられる。第２医用画像５１の例として、第１医用画像５０と同一の被検者における現在の医用画像が挙げられる。
なお、第１医用画像５０は、複数でもよい。すなわち、画像取得部４１は、同一の注目領域が含まれる３つ以上の医用画像を取得してもよい。３つ以上の医用画像の一例として、２つ以上の過去画像、及び現在画像を含む例が挙げられる。また、第１医用画像５０、及び第２医用画像５１を撮像時期が異なる過去の医用画像としてもよい。
〈画像処理部〉
画像処理部４２は、深層学習アルゴリズム４３に基づく深層学習を用いて、画像取得部４１を用いて取得した医用画像の解析処理を実行する。医用画像の解析処理の詳細は後述する。
深層学習アルゴリズム４３は、公知のコンボリューションニューラルネットワークの手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれることがある。
コンボリューションニューラルネットワークは、畳み込み層、及びプーリング層の繰り返し処理である。コンボリューションニューラルネットワークは、畳み込みニューラルネットワークと呼ばれる場合がある。なお、深層学習を用いた画像解析処理は公知技術であるので、具体的な説明は省略する。コンボリューションニューラルネットワークはＣＮＮと表されることがある。ＣＮＮは、Convolutional Neural Networkの省略語である。
〈表示制御部〉
表示制御部４４は、表示装置２４を用いて医用画像を再生する際に、画像表示を制御するディスプレイドライバーとして機能する。表示制御部４４は、表示装置２４を用いて、医用画像に各種情報を重畳表示させてもよい。医用画像の表示の詳細は後述する。
表示制御部４４は、表示装置２４を用いて、各種選択画面、及び各種設定画像等の各種画面を表示させる。各種画面の表示の詳細は後述する。
〈画面生成部〉
画面生成部４５は、表示装置２４に表示させる各種操作画面を生成する。画面生成部４５は表示制御部４４を介して各種操作画面を表示装置２４に表示させる。操作画面とは、複数の選択肢の中から１つ以上の選択を行う選択画面、及び１つ以上の処理パラメータを設定する設定画面等が挙げられる。
選択画面の例として、結果画像の表示形態を選択する表示選択画面が挙げられる。表示選択画面は、図８に符号１４０を付して図示する。設定画面の例として、ランドマーク領域の優先度を設定する優先度設定画面が挙げられる。優先度設定画面は、図１４に符号２６０を付して図示する。
〈入力制御部〉
入力制御部４６は、入力装置２６から入力された信号を、画像処理装置１２に適用される形式の信号に変換し、変換後の信号を全体制御部４０へ送信する。全体制御部４０は、入力装置２６から入力された情報に基づいて、画像処理装置１２の各部を制御する。
〈記憶部〉
記憶部４７は、画像記憶部４８、及びプログラム記憶部４９を備える。画像記憶部４８は、画像取得部４１を用いて取得した医用画像を記憶する。画像記憶部４８に記憶された画像は、全体制御部４０の制御の下、画像処理部４２へ読み出される。画像記憶部４８は、画像処理部４２を用いた処理結果である結果画像を記憶する。
プログラム記憶部４９は、画像処理装置１２を動作させる各種プログラムを記憶する。プログラム記憶部４９に記憶された各種プログラムは、全体制御部４０の制御の下、各部へ読み出される。
〔第１実施形態に係る画像処理部の構成例〕
図４は第１実施形態に係る画像処理部の機能を示す機能ブロック図である。画像処理部４２は、抽出部５２、注目領域選択部５４、ランドマーク候補領域設定部５５、ランドマーク領域選択部５６、位置合わせ部５８、及び表示選択部５９を備える。以下に、画像処理部４２を構成する各部を詳細に説明する。
〈抽出部〉
抽出部５２は、図３に示した画像取得部４１を用いて取得した第１医用画像５０、及び第２医用画像５１のそれぞれから臓器領域、及び組織領域を抽出する。組織とは、骨、関節、腱、筋、腫瘍、及び瘤等の、臓器に属さない人体の構造を含む概念を表す。抽出はセグメンテーションと同義である。
抽出部５２は、臓器領域の特徴量、及び組織領域の特徴量を学習した機械学習器５３が適用される。すなわち、抽出部５２は、機械学習器５３の学習結果に基づく抽出規則を用いて、医用画像から臓器領域、及び組織領域を抽出する。ここでいう医用画像は、第１医用画像５０、及び第２医用画像５１の総称である。
本実施形態には、医用画像と臓器領域との対応関係、及び医用画像と組織領域との対応関係の少なくともいずれかが含まれる正解データ５３Ａを用いて機械学習を行う機械学習器５３を例示する。機械学習器５３は、領域のごとに機械学習を実行してもよい。例えば、胸部Ｘ画像において、心臓ごと、及び鎖骨ごとなど、臓器ごと、及び組織ごとの学習を実行してもよい。機械学習器５３は、医用画像とランドマーク領域の選択結果との対応関係を正解データとして学習してもよい。なお、ランドマーク領域の選択については後述する。
〈注目領域選択部〉
注目領域選択部５４は、第１医用画像５０、及び第２医用画像５１から、抽出部５２を用いて抽出された臓器領域、及び組織領域の中から１以上の注目領域を選択する。注目領域は位置合わせの対象領域である。
例えば、注目領域として、胸部Ｘ線画像における心臓領域を設定した場合、第１医用画像５０と第２医用画像５１との位置を合わせて重ね合わせることで、第１医用画像５０の心臓領域と第２医用画像の心臓領域との比較等の解析が可能となる。注目領域選択部５４を用いた注目領域の選択情報は、図３に示した記憶部４７に記憶される。注目領域選択部５４は、入力装置２６を用いて入力された注目領域選択情報を表す信号に基づいて、注目領域を設定することが可能である。
〈ランドマーク候補領域設定部〉
ランドマーク候補領域設定部５５は、予めランドマーク候補領域を規定する。ランドマーク候補領域は、図示しないランドマーク候補領域記憶部を用いて記憶される。ランドマーク候補領域記憶部は、図３に示した記憶部４７に具備されてもよい。
ランドマーク候補領域設定部５５は、第１医用画像５０、及び第２医用画像５１を構成する全ての領域のうち、ランドマーク領域となり得る全ての領域をランドマーク候補領域として設定し得る。
ランドマーク候補領域設定部５５は、被検体ごと、及び医用画像を生成するモダリティごとに、ランドマーク候補領域を規定してもよい。すなわち、ランドマーク候補領域設定部５５は、医用画像の種類ごとに、ランドマーク候補領域を規定してもよい。
ランドマーク候補領域とは、複数の医用画像の位置合わせを行う際の基準とされるランドマーク領域として使用可能な臓器、及び組織である。ランドマーク候補領域設定部５５は、入力装置２６を用いて入力されたランドマーク候補領域設定情報を表す信号に基づいて、ランドマーク候補領域を設定することが可能である。
ランドマーク候補領域は、解剖学的特徴の変化が許容範囲内であるものが適用される。変化の許容範囲は、医用画像の種類、及びランドマーク候補領域の種類等の条件等に応じて適宜規定し得る。ランドマーク候補領域は、解剖学的特徴が変化しないものが好ましい。ここでいう変化しないものとは、実際には変化するものであるが、変化が無視できる程度の実質的に変化しないものが含まれてもよい。解剖学的特徴の変化の例として、経時変化が挙げられる。
また、ランドマーク候補領域は、位置の移動が許容範囲内であるものが適用される。位置の移動の許容範囲内は、医用画像の種類、及びランドマーク候補領域の種類等の条件等に応じて適宜規定し得る。
〈ランドマーク領域選択部〉
ランドマーク領域選択部５６は、ランドマーク候補領域設定部５５を用いて設定されたランドマーク候補領域の中から、第１医用画像５０、及び第２医用画像５１の両者から抽出された領域であり、注目領域以外の領域をランドマーク領域として選択する。ランドマーク領域選択部５６は、複数のランドマーク領域を選択してもよい。ランドマーク領域選択部５６は、入力装置２６を用いて入力されたランドマーク領域選択情報を表す信号に基づいて、ランドマーク領域を選択することが可能である。
ランドマーク領域選択部５６を用いたランドマーク領域の選択情報は、図示しないランドマーク領域選択情報記憶部を用いて記憶される。ランドマーク領域選択情報記憶部は、図３に示した記憶部４７に具備されてもよい。
〈位置合わせ部〉
位置合わせ部５８は、注目領域の選択情報、及びランドマーク領域の選択情報を用いて、第１医用画像５０と第２医用画像５１との位置合わせを行う。位置合わせ部５８は、第１医用画像５０のランドマーク領域と、第２医用画像５１のランドマーク領域との位置を合わせる。第１医用画像５０と第２医用画像５１との位置合わせは、平行移動、及び回転の少なくともいずれか一方を行う剛体位置合わせが適用される。平行移動、及び回転は、第１医用画像５０、及び第２医用画像５１の少なくともいずれか一方について行われる。
剛体位置合わせは、公知の手法を適用可能である。なお、剛体位置合わせは剛体レジストレーションと同義である。第１医用画像５０と第２医用画像５１とが変形を伴わない拡大、又は縮小の関係を有する場合、第１医用画像５０と第２医用画像５１との位置合わせは、アフィン変換等の公知の線形レジストレーションを適用可能である。
位置合わせ部５８は、第１医用画像と第２画像との誤差を算出する誤差算出部５８Ａを備える。複数のランドマーク領域が用いられる場合、それぞれのランドマーク領域の位置が一致しないことがあり得る。
複数のランドマーク領域が用いられる場合、位置合わせ部５８は、第１医用画像５０と第２画像との誤差が最小となる、第１医用画像５０と第２医用画像５１との位置合わせを行う。第１医用画像５０と第２画像との誤差は、各ランドマーク領域の誤差の統計値を適用し得る。統計値は、合計値、及び算術平均値等を適用可能である。
位置合わせ部５８は、第１医用画像５０と第２医用画像５１とを重ね合わせた結果画像を生成する。結果画像は、記憶部４７を用いて記憶される。位置合わせ部５８は、結果画像を表す結果画像信号を表示制御部４４へ送信する。位置合わせ部５８は、構成要素として、結果画像信号を表示制御部４４へ送信する画像信号送信部を備えてもよい。結果画像を表す結果画像信号を受信した表示制御部４４は、表示装置２４を用いて結果画像を表示する。
〈表示選択部〉
表示選択部５９は、結果画像の全体を表示させるか、又は結果画像の注目領域のみを表示させるかを表す選択信号を位置合わせ部５８へ送信する。位置合わせ部５８は、表示選択部５９から送信された選択信号に基づいて、結果画像の全体を表す結果画像信号、又は結果画像の注目領域のみを表す結果画像信号のいずれかを表示制御部４４へ送信する。
表示制御部４４は、位置合わせ部５８から送信された結果画像信号に基づいて、結果画像の全体、又は結果画像の注目領域のみを、表示装置２４を用いて表示する。
表示選択部５９は、入力装置２６を用いて入力された表示選択情報を表す信号に基づいて、結果画像の表示形態を選択することが可能である。
〔画像処理方法の手順〕
図５は第１実施形態に係る画像処理方法の手順の流れを示すフローチャートである。医用画像取得工程Ｓ１０では、図３に示した画像取得部４１は、第１医用画像５０、及び第２医用画像５１を取得する。医用画像取得工程Ｓ１０の後に、抽出工程Ｓ１２へ進む。
抽出工程Ｓ１２では、図４に示した抽出部５２は、第１医用画像５０、及び第２医用画像５１の両方に含まれる領域を抽出する。抽出工程Ｓ１２の後に、注目領域選択工程Ｓ１４へ進む。
注目領域選択工程Ｓ１４では、注目領域選択部５４は、抽出工程Ｓ１２において抽出された領域から注目領域を選択する。注目領域選択工程Ｓ１４の後に、ランドマーク領域設定工程Ｓ１６へ進む。
ランドマーク領域選択工程Ｓ１６では、ランドマーク領域選択部５６は、予め設定されているランドマーク候補領域のうち、抽出工程Ｓ１２において抽出された領域の中から１つ以上のランドマーク領域を選択する。ランドマーク領域選択工程Ｓ１６の後に、位置合わせ工程Ｓ１８へ進む。
医用画像取得工程Ｓ１０の後に、取得した医用画像からランドマーク候補領域を設定するランドマーク候補領域設定工程を実行してもよい。また、ランドマーク領域選択工程Ｓ１６の前に予め設定されているランドマーク候補領域を取得するランドマーク候補領域取得工程を実行してもよい。
位置合わせ工程Ｓ１８では、位置合わせ部５８は、ランドマーク領域選択工程Ｓ１６において選択されたランドマーク領域を基準として、第１医用画像５０の注目領域と、第２医用画像５１の注目領域との位置合わせを行い、結果画像を生成する。位置合わせ工程Ｓ１８の後に、画像信号送信工程Ｓ２０へ進む。位置合わせ工程Ｓ１８の後に、位置合わせ工程Ｓ１８において生成された結果画像を記憶する結果画像記憶工程を実行してもよい。
画像信号送信工程Ｓ２０では、位置合わせ部５８は、結果画像を表す結果画像信号を表示制御部４４へ送信する。表示制御部４４は結果画像信号に基づき、表示装置２４を用いて結果画像を表示する。画像信号送信工程Ｓ２０の後に、機械学習器更新判定工程Ｓ２２へ進む。画像信号送信工程Ｓ２０の後に、結果画像の全体を表示させるか、又は結果画像の注目領域のみを表示させるかを選択する表示形態選択工程が実行されてもよい。
機械学習器更新判定工程Ｓ２２では、機械学習器５３は、抽出部５２の抽出結果を用いた機械学習を行うか否かを判定する。機械学習器更新判定工程Ｓ２２において機械学習を行う場合はＹＥＳ判定となる。Ｙｅｓ判定の場合は機械学習器更新工程Ｓ２４へ進む。一方、機械学習器更新判定工程Ｓ２２において機械学習を行わない場合はＮｏ判定となる。Ｎｏ判定の場合は終了判定工程Ｓ２６へ進む。
機械学習器更新工程Ｓ２４では、機械学習器５３は、抽出部５２の抽出処理対象の医用画像と抽出結果との組を正解データとして、機械学習を行う。機械学習の結果は抽出部５２の抽出規則に適用される。機械学習器更新工程Ｓ２４の後に、終了判定工程Ｓ２６へ進む。
終了判定工程Ｓ２６では、画像処理部４２は、画像処理方法を終了するか否かを判断する。終了判定工程Ｓ２６において画像処理方法を継続する場合はＮｏ判定となる。Ｎｏ判定の場合は、医用画像取得工程Ｓ１０へ進む。一方、終了判定工程Ｓ２６において画像処理方法を終了する場合はＹｅｓ判定となる。Ｙｅｓ判定の場合は、画像処理部４２は画像処理方法を終了する。
図５には、機械学習器更新判定工程Ｓ２２、及び機械学習器更新工程Ｓ２４が含まれる画像処理方法を例示したが、医用画像取得工程Ｓ１０から画像信号送信工程Ｓ２０までの工程とは別に、機械学習器更新判定工程Ｓ２２、及び機械学習器更新工程Ｓ２４を実行してもよい。すなわち、本実施形態に係る画像処理方法は、機械学習器更新判定工程Ｓ２２、及び機械学習器更新工程Ｓ２４を省略可能である。
［医用画像の位置合わせの具体例］
次に、上述した画像処理装置、及び画像処理方法を用いた医用画像の位置合わせの具体例について説明する。以下の説明では、同一人物の過去の医用画像と現在の医用画像との位置合わせを例示する。また、同一の種類のモダリティを用いて撮像された過去の医用画像と現在の医用画像とを例示する。
〈胸部Ｘ線画像の位置合わせの例〉
図６は胸部Ｘ線画像の位置合わせを模式的に示す模式図である。図６には過去の胸部Ｘ線画像１００と、現在の胸部Ｘ線画像１０２とに対して剛体位置合わせを施して生成された結果画像１０４を示す。
図６に示した過去の胸部Ｘ線画像１００は、図３に図示した第１医用画像５０の一例である。図６に示した現在の胸部Ｘ線画像１０２は、図３に図示した第２医用画像５１の一例である。
過去の胸部Ｘ線画像１００、及び現在の胸部Ｘ線画像１０２は、ランドマーク候補領域として鎖骨、胸郭、寛骨、脊椎、及び肺野が予め設定されている。ここに列挙した胸部Ｘ線画像におけるランドマーク候補領域は一例であり、ランドマーク領域の条件を満たす他の領域を追加してもよいし、上記したランドマーク領域の一部を削除してもよい。
図６に示した過去の胸部Ｘ線画像１００、及び現在の胸部Ｘ線画像１０２は、寛骨を除く鎖骨、胸郭、脊椎、及び肺野が抽出されている。なお、図６では、図示の都合上、脊椎、及び肺野の図示を省略する。図７も同様である。
過去の胸部Ｘ線画像１００に付した符号１１０、及び現在の胸部Ｘ線画像１０２に付した符号１２０は鎖骨を表す。過去の胸部Ｘ線画像１００に付した符号１１２、及び現在の胸部Ｘ線画像１０２に付した符号１２２は胸郭を表す。
図６に示した過去の胸部Ｘ線画像１００の鎖骨１１０、及び胸郭１１２と、現在の胸部Ｘ線画像１０２の鎖骨１２０、及び胸郭１２２は、ランドマーク領域として選択される。過去の胸部Ｘ線画像１００と現在の胸部Ｘ線画像１０２とは、選択されたランドマーク領域を基準として位置合わせが行われる。
図６に示した過去の胸部Ｘ線画像１００は注目領域として心臓１１４が選択される。また、現在の胸部Ｘ線画像１０２は注目領域として心臓１２４が選択される。結果画像１０４は、過去の胸部Ｘ線画像１００と現在の胸部Ｘ線画像１０２とを重ね合わせて生成される。結果画像１０４は、過去の胸部Ｘ線画像１００における心臓１１４と、現在の胸部Ｘ線画像１０２における心臓１２４との比較等の解析が可能である。
図６には、複数のランドマーク領域を用いて位置合わせを行う場合を例示した。かかる場合は、過去の胸部Ｘ線画像１００の鎖骨１１０と、現在の胸部Ｘ線画像１０２の鎖骨１２０との位置が一致しないことがあり得る。過去の胸部Ｘ線画像１００の胸郭１１２と、現在の胸部Ｘ線画像１０２の胸郭１２２との位置も同様である。
そこで、本実施形態に示した画像処理では、過去の胸部Ｘ線画像１００と現在の胸部Ｘ線画像１０２との誤差が最小となる位置合わせが行われる。誤差が最小となる位置合わせは既述のとおりであり、ここでの説明は省略する。
〈胸部Ｘ線画像の位置合わせの他の例〉
図７は胸部Ｘ線画像の位置合わせの他の例を示す模式図である。図７に示した結果画像１０４Ａは注目領域の位置合わせ結果が表示される一方、ランドマーク領域等の注目領域以外の領域が非表示とされる。
図７では、結果画像１０４Ａにおいて表示させる心臓１１４は実線を用いて図示し、心臓１２４は点線を用いて図示する。また、二点鎖線を用いて非表示の領域を図示する。結果画像１０４Ａにおける非表示の領域は、過去の胸部Ｘ線画像１００における鎖骨１１０、及び胸郭１１２、並びに現在の胸部Ｘ線画像１０２における鎖骨１２０、及び胸郭１２２である。
図８は表示選択画面の構成例を示す説明図である。図８に示した表示選択画面１４０は、図３に示した表示装置２４に表示される。図３に示した入力装置２６を操作者が操作して、図８に示した表示選択画面１４０に表示された第１選択ボタン１４２、又は第２選択ボタン１４４を選択し、オーケーボタン１４６を押す。
図４に示した位置合わせ部５８は、表示形態の選択情報を受信する。位置合わせ部５８は、表示形態の選択情報に応じて、結果画像１０４の全体を表示させる結果画像信号を表示制御部４４へ送信するか、又は注目領域のみを表示させる結果画像信号を表示制御部４４へ送信する。
本実施形態に示した表示装置２４、及び入力装置２６は、結果画像１０４の表示形態の選択を行うＧＵＩ（Graphical User Interface）として機能する。また、表示装置２４、及び入力装置２６は、表示選択部５９の構成要素の一例に相当する。
〈頭部ＣＴ画像の位置合わせの例〉
次に、医用画像の位置合わせの具体例として、頭部ＣＴ画像の位置合わせの例を説明する。図９は頭部ＣＴ画像の位置合わせの他の例を示す模式図である。図９には、過去の第１頭部ＣＴ画像２００、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４から成る３つの医用画像の位置合わせを行い、結果画像２０６を生成する例を示す。結果画像２０６を用いて、注目領域として選択された脳の経時変化の比較等の解析が可能である。符号２１０、符号２２０、及び符号２３０は、いずれも脳を示す。
図９に示した過去の第１頭部ＣＴ画像２００、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４は同一のスライス位置が適用される。ここでいう同一は、完全な同一に限定されず、同一とみなし得る実質的な同一であってもよい。図１０、及び図１１に示した頭部ＣＴ画像も同様である。
頭部ＣＴ画像の位置合わせでは、ランドマーク候補領域として、頭蓋骨、眼球、頬骨、頚椎、及び脳槽領域が予め設定されている。なお、ここに列挙した頭部ＣＴ画像におけるランドマーク候補領域は例示であって、顎骨等のランドマーク領域の条件を満たす他の領域を追加してもよい。また、上記したランドマーク候補領域の一部を削除してもよい。
図９に示した過去の第１頭部ＣＴ画像２００、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４は、上記したランドマーク候補領域のうち頭蓋骨が抽出され、頭蓋骨がランドマーク領域として選択される。符号２１２、符号２２２、及び符号２３２はいずれも頭蓋骨を示す。
図９に示した頭部ＣＴ画像の位置合わせの例は、上記した複数のランドマーク候補領域の中から１つのランドマーク候補領域が抽出され、抽出されたランドマーク候補領域をランドマーク領域として選択する例である。なお、図９に示した頭部ＣＴ画像とは、図９に示した過去の第１頭部ＣＴ画像２００、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４の総称である。図１０に示した頭部ＣＴ画像、及び図１１に示した頭部ＣＴ画像も同様である。
図１０は頭部ＣＴ画像の位置合わせの他の例を示す模式図であり、上記した複数のランドマーク候補領域の中から２つのランドマーク候補領域が抽出され、抽出されたランドマーク候補領域をランドマーク領域として選択する例である。
すなわち、過去の第１頭部ＣＴ画像２００Ａ、過去の第２頭部ＣＴ画像２０２Ａ、及び現在の頭部ＣＴ画像２０４Ａから頭蓋骨、及び眼球が抽出され、頭蓋骨、及び眼球をランドマーク領域として選択される。図１０に示した符号２１４、符号２２４、及び符号２３４はいずれも眼球を示す。
図１０に示した過去の第１頭部ＣＴ画像２００Ａは、図９に示した過去の第１頭部ＣＴ画像２００と比較して、スライス位置が顎の側となっている。図１０に示した過去の第２頭部ＣＴ画像２０２Ａ、及び現在の頭部ＣＴ画像２０４Ａも同様である。
図１０に示した過去の第１頭部ＣＴ画像２００Ａ、過去の第２頭部ＣＴ画像２０２Ａ、及び現在の頭部ＣＴ画像２０４Ａの位置合わせの結果、結果画像２０６Ａが生成される。
図１１は頭部ＣＴ画像の位置合わせの他の例を示す模式図であり、ランドマーク領域として頭蓋骨、及び頬骨を選択した例の模式図である。図１１には左右の頬骨をランドマーク領域として選択する例を示したが、左の頬骨、又は右の頬骨のいずれかをランドマーク領域として選択してもよい。図７に示した鎖骨、及び胸郭、並びに図９に示した眼球も同様である。
図１１に示した過去の第１頭部ＣＴ画像２００Ｂは、図１０に示した過去の第１頭部ＣＴ画像２００Ａと比較して、スライス位置が顎の側となっている。図１１に示した過去の第２頭部ＣＴ画像２０２Ｂ、及び現在の頭部ＣＴ画像２０４Ｂも同様である。
図１１に示した過去の第１頭部ＣＴ画像２００Ｂ、過去の第２頭部ＣＴ画像２０２Ｂ、及び現在の頭部ＣＴ画像２０４Ｂの剛体位置合わせの結果、結果画像２０６Ｂが生成される。図１１に示した符号２１６、符号２２６、及び符号２３６はいずれも眼球を示す。
図１０、及び図１１に示した頭部ＣＴ画像の位置合わせの例は、複数のランドマーク候補領域の中から複数のランドマーク領域を選択する例である。図１０、及び図１１には複数のランドマーク領域を選択する例として２つのランドマーク領域を選択する例を示したが、ランドマーク領域の数は３つ以上でもよい。
結果画像の表示形態は、胸部Ｘ画像の例と同様に、結果画像の全体を表示してもよいし、注目領域のみを表示してもよい。結果画像の表示形態の選択は、図８に示した表示選択画面１４０と同様の選択画面を用いて選択することが可能である。なお、結果画像は、図９に示した結果画像２０６、図１０に示した結果画像２０６Ａ、及び図１１に示した結果画像２０６Ｂの総称である。
図１２は処理対象画像選択画面の構成例を示す説明図である。図１２に示した処理対象画像選択画面２４０は、過去の第１頭部ＣＴ画像２００、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４のうち、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４が位置合わせの処理対象として選択された場合を示す。オーケーボタン２４２を押下すると、処理対象の選択が確定する。
すなわち、図１２に示した例では、現在の頭部ＣＴ画像２０４と、過去の頭部ＣＴ画像のうち最新の過去の第２頭部ＣＴ画像２０２とが位置合わせの処理対象として選択される。図１２に示した処理対象画像選択画面２４０は、過去の第１頭部ＣＴ画像２００、過去の第２頭部ＣＴ画像２０２、及び現在の頭部ＣＴ画像２０４の下側には、それぞれの撮像日が表示されている。このように、処理対象画像選択画面２４０は、各医用画像の付帯情報を表示してもよい。なお、図１２に図示した日付は任意の日付である。
図１２に示した処理対象画像選択画面２４０において、過去の第１頭部ＣＴ画像２００、と現在の頭部ＣＴ画像２０４との選択、及び過去の第１頭部ＣＴ画像２００と、過去の第２頭部ＣＴ画像２０２と、現在の頭部ＣＴ画像２０４との選択も可能である。
本実施形態では、胸部Ｘ線画像、及び頭部ＣＴ画像等の二次元の医用画像の位置合わせを例示したが、本実施形態に係る画像処理は３次元の医用画像にも適用可能である。
［第１実施形態に係る画像処理装置、及び方法の作用効果］
第１実施形態に係る画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
〔１〕
位置合わせ対象の医用画像について、複数のランドマーク候補領域が予め規定される。位置合わせ対象の複数の医用画像から注目領域を含む複数の領域が抽出される。複数のランドマーク候補領域のうち、位置合わせ対象の複数の医用画像の全てにおいて抽出された領域であり、注目領域以外の領域の中から１つ以上のランドマーク領域が選択される。選択されたランドマーク領域を位置合わせの基準として、位置合わせ対象の複数の医用画像の位置合わせを行う。これにより、位置合わせ対象の複数の医用画像についての高精度の位置合わせが可能である。
〔２〕
位置合わせ対象の複数の医用画像から抽出された領域の中から、注目領域が選択される。これにより、複数の医用画像から抽出された領域の中から、１つ以上の任意の領域を注目領域とすることが可能である。
〔３〕
複数の医用画像を重ね合わせた結果画像２０６を生成する。これにより、複数の医用画像の比較等の解析が可能となる。
〔４〕
機械学習の結果を用いて、医用画像から領域抽出が行われる。これにより、高精度の領域抽出が可能である。また、領域ごとの抽出結果を用いて機械学習が行われる。これにより、高精度の領域抽出が可能である。
〔５〕
ランドマーク領域の候補とされるランドマーク候補領域が予め設定される。ランドマーク候補領域のうち、複数の医用画像から抽出された領域の中からランドマーク領域が選択される。これにより、複数の医用画像に応じたランドマーク候補領域の設定が可能である。また、ランドマーク候補領域からランドマーク領域の選択が可能である。
〔６〕
複数のランドマークを用いて、誤差が最小となる位置合わせが行われる。これにより、複数の医用画像の高精度の位置合わせが可能である。
〔７〕
複数の医用画像は、同一の患者における、同一の被検体について、異なる時期に生成された医用画像が適用される。これにより、同一の患者における、同一の被検体について、経時変化観察等の解析が可能である。
〔８〕
位置合わせ部５８は、結果画像２０６を表す結果画像信号を表示制御部４４へ送信する。これにより、表示装置２４を用いて結果画像２０６を表示し得る。画像処理部４２は、結果画像２０６の全体を表示させるか、又は注目領域のみを表示させるかを選択する表示選択部５９を備える。これにより、結果画像２０６の全体表示、又は注目領域のみの表示の選択が可能である。
［第２実施形態に係る画像処理装置、及び方法］
次に、第２実施形態に係る画像処理装置、及び方法について説明する。
〔画像処理装置の構成例〕
図１３は第２実施形態に係る画像処理部の機能を示すブロック図である。第２実施形態に係る画像処理装置は、図１３に示した画像処理部４２Ａを備える、画像処理部４２Ａは、優先度設定部２５０を備える。
優先度設定部２５０は、ランドマーク候補領域に優先度を設定する。ランドマーク領域選択部５６は、ランドマーク候補領域に設定された優先度に基づいて、ランドマーク領域を選択する。
図６に示した過去の胸部Ｘ線画像１００、及び現在の胸部Ｘ線画像１０２は、ランドマーク候補領域として鎖骨、胸郭、寛骨、脊椎、及び肺野が設定される。これらのランドマーク候補領域の優先度の設定例として、最も高い優先度が鎖骨に設定され、最も低い優先度が肺野に設定され、かつ鎖骨、胸郭、寛骨、脊椎、及び肺野の順に優先度が低くなる設定例が挙げられる。
図６に示した過去の胸部Ｘ線画像１００、及び現在の胸部Ｘ線画像１０２は、寛骨以外のランドマーク候補領域が抽出される。過去の胸部Ｘ線画像１００、及び現在の胸部Ｘ線画像１０２から抽出されたランドマーク候補領域のうち、優先度が高い鎖骨、及び胸郭がランドマークとして選択される。
図９から図１１に示した頭部ＣＴ画像は、頭蓋骨、眼球、頬骨、頚椎、及び脳槽領域がランドマーク候補領域として設定される。これらのランドマーク候補領域の優先度の設定例として、最も高い優先度が頭蓋骨に設定され、最も低い優先度が脳槽領域に設定され、かつ頭蓋骨、眼球、頬骨、頚椎、及び脳槽領域の順に優先度が低くなる設定例が挙げられる。
図１０に示した例では、優先順位が最も高い頭蓋骨、及び優先順位が二番目に高い眼球がランドマークとして選択される。変化が相対的に少ないランドマーク候補領域は優先度が相対的に高く設定される。一方、変化が相対的に多いランドマーク候補領域は優先度が相対的に低く設定される。
図１３に示した優先度設定部２５０は、入力装置２６を用いて入力された優先度設定情報を表す信号に基づいて、複数のランドマーク候補領域に対して優先度を設定することが可能である。
図１４は優先度設定画面の構成例を示す説明図である。図１４に示した優先度設定画面２６０は、最も優先度が高い領域を指定する第１設定タブ２６２、二番目に優先度が高い領域を指定する第２設定タブ２６４、三番目に優先度が高い領域を指定する第３設定タブ２６６、四番目に優先度が高い領域を指定する第４設定タブ２６８、及び最も優先度が低い領域を指定する第５設定タブ２７０が表示される。
第１設定タブ２６２は、文字入力を適用してもよいし、プルダウンメニューを適用してもよい。第２設定タブ２６４、第３設定タブ２６６、第４設定タブ２６８、及び第５設定タブ２７０も同様である。
第１設定タブ２６２から第５設定タブ２７０に領域名を入力し、オーケーボタン２７２を押下すると優先度の設定が確定する。なお、第２設定タブ２６４から第５設定タブ２７０までのいずれかを未入力としてもよい。
図１４には５つの優先度設定タブを備える優先度設定画面２６０を図示したが、優先度設定タブの数は医用画像の種類、注目領域等に応じて適宜変更してもよい。
〔第２実施形態に係る画像処理方法の手順〕
図１５は第２実施形態に係る画像処理方法の手順の流れを示すフローチャートである。図１５に示したフローチャートは、図５に示したフローチャートの注目領域選択工程Ｓ１４と、ランドマーク領域選択工程Ｓ１６との間に、優先度設定工程Ｓ１５が追加される。
優先度設定工程Ｓ１５では、図１３に示した優先度設定部２５０は、予め設定されているランドマーク候補領域に対して優先度を設定する。優先度設定工程Ｓ１５の後に、ランドマーク領域選択工程Ｓ１６へ進む。
ランドマーク領域選択工程Ｓ１６では、図１３に示したランドマーク領域選択部５６は、優先度設定工程Ｓ１５において、ランドマーク候補領域に対して設定された優先度の高い順にランドマーク領域を選択する。他の工程は、図５に示した各工程と同一であり、ここでの説明を省略する。
［第２実施形態に係る画像処理装置、及び方法の作用効果］
第２実施形態に係る画像処理装置、及び方法によれば、以下の作用効果を得ることが可能である。
〔１〕
ランドマーク候補領域に対して優先度を設定する優先度設定部２５０を備える。これにより、優先度に基づくランドマーク領域の選択が可能である。
〔２〕
表示装置２４に優先度設定画面２６０を表示させる。優先度設定画面２６０は入力装置を用いて領域の情報を入力可能な設定タブが表示される。これにより、入力装置を用いて、ランドマーク候補領域に対して優先度を設定することが可能である。
［ネットワークシステムへの適用例］
図１６はネットワークシステムが適用される情報処理システムの構成例を示すブロック図である。図１６に示した情報処理システム３００は、サーバ装置３０２、及び医療機関３０４に具備される端末装置３０６を備える。サーバ装置３０２と端末装置３０６とはネットワーク３０８を介して通信可能に接続される。
医療機関３０４は、図１６に図示した第１医療機関３０４Ａ、第２医療機関３０４Ｂ、及び第３医療機関３０４Ｃの総称である。また、端末装置３０６は、図１６に図示した第１医療機関３０４Ａに具備される端末装置３０６Ａ、第２医療機関３０４Ｂに具備される端末装置３０６Ｂ、及び第３医療機関３０４Ｃに具備される端末装置３０６Ｃの総称である。
端末装置３０６は、図１から図４を用いて説明した画像処理装置１２と同様の構成、及び機能を有している。ここでは、端末装置３０６の構成、及び機能等の説明は省略する。端末装置３０６は、医療機関３０４が備えるモダリティと通信可能に接続されてもよい。図１６ではモダリティの図示を省略する。モダリティは図１に符号１４を付して図示する。
サーバ装置３０２は、図１に示した画像データベース１６等の医用画像データベース３１０を備える。サーバ装置３０２は、端末装置３０６との間で医用画像を高速で送受信可能に構成される。図１６に示したＤＢはData Baseの省略語である。
医用画像データベース３１０は、ネットワーク３０８に接続されるＮＡＳ（Network Attached Storage）を適用し得る。医用画像データベース３１０は、ＳＡＮ（Storage Area Network）に接続されたディスク装置を適用し得る。
サーバ装置３０２は第２機械学習器３１２を備える。第２機械学習器３１２は、図４に示した機械学習器５３と同様に、コンボリューションニューラルネットワークを適用可能である。
第２機械学習器３１２は、図４、及び図１３に示した機械学習器５３の機能を備えることが可能である。サーバ装置３０２に具備される第２機械学習器３１２は、機械学習器５３を更新する機械学習器更新部として機能し得る。
すなわち、第２機械学習器３１２は、図４、及び図１３に示した抽出部５２の抽出結果を用いた機械学習を行い、抽出部５２に適用される抽出規則を更新して、機械学習器５３を更新してもよい。
ネットワーク３０８は、公衆回線網を適用してもよいし、専用回線網を適用してもよい。ネットワーク３０８は、光ファイバー等の高速通信ケーブルが適用される。ネットワーク３０８はＤＩＣＯＭ規格に準拠した通信プロトコルを適用可能である。
［コンピュータを画像処理装置として機能させるプログラムへの適用例］
上述した画像処理方法は、コンピュータを用いて、画像処理装置における各部に対応する機能、及び画像処理方法における各工程に対応する機能を実現させるプログラムとして構成可能である。
例えば、第１医用画像、及び第２医用画像を取得する画像取得機能、第１医用画像、及び第２医用画像のそれぞれから、注目領域を含む複数の領域を抽出する抽出機能、第１医用画像の複数の領域、及び第２医用画像の複数の領域のうち、第１医用画像と第２医用画像とに共通する領域であり、注目領域と異なる特定の領域を、第１医用画像と第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択機能、及びランドマーク領域を位置合わせの基準として、第１医用画像と第２医用画像との位置合わせを行い、第１医用画像と第２医用画像とを重ね合わせた結果画像を生成する位置合わせ機能を実現させるプログラムを構成し得る。
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、ネットワークを介してプログラム信号を提供する態様も可能である。
［実施形態及び変形例等の組み合わせについて］
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
１０ 医療情報システム
１２ 画像処理装置
１４ モダリティ
１６ 画像データベース
１８ ネットワーク
２０ マウス
２２ キーボード
２４ 表示装置
２６ 入力装置
３０ 制御部
３２ メモリ
３４ ハードディスク装置
３６ 通信インターフェース
３８ 入力コントローラ
３９ ディスプレイコントローラ
４０ 全体制御部
４１ 画像取得部
４２ 画像処理部
４２Ａ 画像処理部
４３ 深層学習アルゴリズム
４４ 表示制御部
４５ 画面生成部
４６ 入力制御部
４７ 記憶部
４８ 画像記憶部
４９ プログラム記憶部
５０ 第１医用画像
５１ 第２医用画像
５２ 抽出部
５３ 機械学習器
５３Ａ 正解データ
５４ 注目領域選択部
５５ ランドマーク候補領域設定部
５６ ランドマーク領域選択部
５８ 位置合わせ部
５８Ａ 誤差算出部
５９ 表示選択部
６０ 通信信号線
１００ 過去の胸部Ｘ線画像
１０２ 現在の胸部Ｘ線画像
１０４ 結果画像
１０４Ａ 結果画像
１１０ 鎖骨
１１２ 胸郭
１１４ 心臓
１２０ 鎖骨
１２２ 胸郭
１２４ 心臓
１４０ 表示選択画面
１４２ 第１選択ボタン
１４４ 第２選択ボタン
１４６ オーケーボタン
２００ 過去の第１頭部ＣＴ画像
２００Ａ 過去の第１頭部ＣＴ画像
２００Ｂ 過去の第１頭部ＣＴ画像
２０２ 過去の第２頭部ＣＴ画像
２０２Ａ 過去の第２頭部ＣＴ画像
２０２Ｂ 過去の第２頭部ＣＴ画像
２０４ 現在の頭部ＣＴ画像
２０４Ａ 現在の頭部ＣＴ画像
２０４Ｂ 現在の頭部ＣＴ画像
２０６ 結果画像
２０６Ａ 結果画像
２０６Ｂ 結果画像
２１０ 脳
２１２ 頭蓋骨
２１４ 眼球
２１６ 頬骨
２２０ 脳
２２２ 頭蓋骨
２２４ 眼球
２２６ 頬骨
２３０ 脳
２３２ 頭蓋骨
２３４ 眼球
２３６ 頬骨
２４０ 処理対象画像選択画面
２４２ オーケーボタン
２５０ 優先度設定部
２６０ 優先度設定画面
２６２ 第１設定タブ
２６４ 第２設定タブ
２６６ 第３設定タブ
２６８ 第４設定タブ
２７０ 第５設定タブ
２７２ オーケーボタン
３００ 情報処理システム
３０２ サーバ装置
３０４ 医療機関
３０４Ａ 第１医療機関
３０４Ｂ 第２医療機関
３０４Ｃ 第３医療機関
３０６ 端末装置
３０６Ａ 端末装置
３０６Ｂ 端末装置
３０６Ｃ 端末装置
３０８ ネットワーク
３１０ 医用画像データベース
３１２ 第２機械学習器
Ｓ１０からＳ２６ 画像処理方法の各工程

Claims (27)

  1. 比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得部と、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出部と、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と臓器又は組織が異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択部と、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ部と、
    を備え、
    前記抽出部は、前記医用画像と前記領域の抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行う画像処理装置。
  2. 前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域から、１以上の前記注目領域を選択する注目領域選択部を備えた請求項１に記載の画像処理装置。
  3. 前記位置合わせ部は、前記注目領域選択部を用いて選択された前記注目領域を重ね合わせた結果画像を生成する請求項２に記載の画像処理装置。
  4. 前記抽出部は、前記医用画像と前記領域の抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして、前記領域ごとに学習した学習結果を用いて、前記領域の抽出を行う請求項１から３のいずれか一項に記載の画像処理装置。
  5. 比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得部と、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出部と、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と臓器又は組織が異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択部と、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ部と、
    を備え、
    前記抽出部は、前記医用画像と前記領域ごとの抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして、前記領域ごとに学習した学習結果を用いて、前記領域の抽出を行う画像処理装置。
  6. 前記抽出部は、前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行う請求項１から５のいずれか一項に記載の画像処理装置。
  7. 前記第１医用画像、及び前記第２医用画像について、前記ランドマーク領域の候補とされるランドマーク候補領域を設定するランドマーク候補領域設定部を備えた請求項１から６のいずれか一項に記載の画像処理装置。
  8. 前記ランドマーク候補領域設定部は、前記第１医用画像、及び前記第２医用画像を構成する全ての領域のうち、前記ランドマーク領域となり得る全ての領域を前記ランドマーク候補領域として設定する請求項７に記載の画像処理装置。
  9. 前記ランドマーク領域選択部は、前記ランドマーク候補領域のうち、前記第１医用画像、及び前記第２医用画像から抽出された領域の中から、前記ランドマーク領域を選択する請求項７又は８に記載の画像処理装置。
  10. 前記ランドマーク候補領域に優先度を設定する優先度設定部を備えた請求項７から９のいずれか一項に記載の画像処理装置。
  11. 比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得部と、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出部と、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択部と、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ部と、
    前記第１医用画像、及び前記第２医用画像について、前記ランドマーク領域の候補とされるランドマーク候補領域を設定するランドマーク候補領域設定部と、
    前記ランドマーク候補領域に優先度を設定する優先度設定部と、
    を備えた画像処理装置。
  12. 前記ランドマーク領域選択部は、２つ以上の前記ランドマーク候補領域が設定された場合に、それぞれの前記ランドマーク候補領域の前記優先度が高い順に、１つ以上の前記ランドマーク領域を選択する請求項１０又は１１に記載の画像処理装置。
  13. 前記ランドマーク領域選択部は、複数の前記ランドマーク領域を選択し、
    前記位置合わせ部は、前記ランドマーク領域選択部を用いて選択された前記複数のランドマーク領域を用いて前記結果画像を生成する際に、前記ランドマーク領域の誤差が最小となる前記第１医用画像と前記第２医用画像と位置合わせを行う請求項１から１２のいずれか一項に記載の画像処理装置。
  14. 前記画像取得部は、同一の種類のモダリティを用いて生成された前記第１医用画像、及び前記第２医用画像を取得する請求項１から１３のいずれか一項に記載の画像処理装置。
  15. 前記第１医用画像、及び前記第２医用画像は、同一の患者における同一の被検体について、異なる時期に生成された医用画像が適用される請求項１から１４のいずれか一項に記載の画像処理装置。
  16. 前記結果画像を表す結果画像信号を表示装置へ送信する画像信号送信部を備えた請求項１から１５のいずれか一項に記載の画像処理装置。
  17. 前記表示装置へ前記結果画像の全体を表示させるか、又は前記表示装置へ前記結果画像の前記注目領域のみ表示させるかを選択する表示選択部を備えた請求項１６に記載の画像処理装置。
  18. 比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得工程と、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出工程と、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と臓器又は組織が異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択工程と、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ工程と、
    を含み、
    前記抽出工程は、前記医用画像と前記領域の抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行う画像処理方法。
  19. 比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得工程と、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出工程と、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と臓器又は組織が異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択工程と、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ工程と、
    を含み、
    前記抽出工程は、前記医用画像と前記領域ごとの抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして、前記領域ごとに学習した学習結果を用いて、前記領域の抽出を行う画像処理方法。
  20. 前記抽出工程は、
    前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行う請求項１８又は１９に記載の画像処理方法。
  21. 比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得工程と、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出工程と、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択工程と、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ工程と、
    前記第１医用画像、及び前記第２医用画像について、前記ランドマーク領域の候補とされるランドマーク候補領域を設定するランドマーク候補領域設定工程と、
    前記ランドマーク候補領域に優先度を設定する優先度設定工程と、
    を含む画像処理方法。
  22. 前記ランドマーク領域選択工程は、２つ以上の前記ランドマーク候補領域が設定された場合に、それぞれの前記ランドマーク候補領域の前記優先度が高い順に、１つ以上の前記ランドマーク領域を選択する請求項２１に記載の画像処理方法。
  23. コンピュータに、
    比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得機能、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出機能、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と臓器又は組織が異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択機能、及び
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ機能を実現させるプログラムであり、
    前記抽出機能は、前記医用画像と前記領域の抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行うプログラム。
  24. コンピュータに、
    比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得機能、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出機能、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と臓器又は組織が異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択機能、及び
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ機能を実現させるプログラムであり、
    前記抽出機能は、前記医用画像と前記領域ごとの抽出結果との組、又は前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして、前記領域ごとに学習した学習結果を用いて、前記領域の抽出を行うプログラム。
  25. 前記抽出機能は、
    前記医用画像と前記ランドマーク領域の選択結果との組を正解データとして学習した学習結果を用いて、前記領域の抽出を行う請求項２３又は２４に記載のプログラム。
  26. コンピュータに、
    比較する注目領域をそれぞれに含む第１医用画像、及び第２医用画像を含む複数の医用画像を取得する画像取得機能、
    前記第１医用画像、及び前記第２医用画像のそれぞれから、前記注目領域を含む複数の領域を抽出する抽出機能、
    前記第１医用画像の前記複数の領域、及び前記第２医用画像の前記複数の領域のうち、前記第１医用画像と前記第２医用画像とに共通する領域であり、前記注目領域と異なる特定の領域を、前記第１医用画像と前記第２医用画像との位置合わせの基準となるランドマーク領域として選択するランドマーク領域選択機能、
    前記ランドマーク領域を位置合わせの基準として、前記第１医用画像と前記第２医用画像との剛体レジストレーション、又は線形レジストレーションを行い、前記第１医用画像と前記第２医用画像とを重ね合わせた結果画像を生成する位置合わせ機能、
    前記第１医用画像、及び前記第２医用画像について、前記ランドマーク領域の候補とされるランドマーク候補領域を設定するランドマーク候補領域設定機能、及び
    前記ランドマーク候補領域に優先度を設定する優先度設定機能を実現させるプログラム。
  27. 前記ランドマーク領域選択機能は、２つ以上の前記ランドマーク候補領域が設定された場合に、それぞれの前記ランドマーク候補領域の前記優先度が高い順に、１つ以上の前記ランドマーク領域を選択する請求項２６に記載のプログラム。
JP2018011753A 2018-01-26 2018-01-26 画像処理装置、画像処理方法、及びプログラム Active JP6967983B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018011753A JP6967983B2 (ja) 2018-01-26 2018-01-26 画像処理装置、画像処理方法、及びプログラム
US16/248,087 US20190236783A1 (en) 2018-01-26 2019-01-15 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018011753A JP6967983B2 (ja) 2018-01-26 2018-01-26 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2019126654A JP2019126654A (ja) 2019-08-01
JP2019126654A5 JP2019126654A5 (ja) 2020-05-07
JP6967983B2 true JP6967983B2 (ja) 2021-11-17

Family

ID=67392217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018011753A Active JP6967983B2 (ja) 2018-01-26 2018-01-26 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US20190236783A1 (ja)
JP (1) JP6967983B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10957038B2 (en) * 2019-02-04 2021-03-23 International Business Machines Corporation Machine learning to determine clinical change from prior images
KR102601970B1 (ko) * 2019-11-25 2023-11-15 주식회사 뷰노 의료 영상 내 병변 영역 및 분비선 영역 검출 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5812645A (ja) * 1981-07-15 1983-01-24 株式会社日立メデイコ Ｘ線テレビジヨン撮像装置
JP3928978B1 (ja) * 2006-09-22 2007-06-13 国立大学法人岐阜大学 医用画像処理装置、医用画像処理方法及びプログラム
JP5551960B2 (ja) * 2009-09-30 2014-07-16 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP5363962B2 (ja) * 2009-12-14 2013-12-11 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP5011426B2 (ja) * 2010-08-11 2012-08-29 富士フイルム株式会社 画像診断支援装置、方法及びプログラム
US8908941B2 (en) * 2011-09-16 2014-12-09 The Invention Science Fund I, Llc Guidance information indicating an operational proximity of a body-insertable device to a region of interest
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102449871B1 (ko) * 2014-11-21 2022-10-04 삼성전자주식회사 의료 영상 처리 장치 및 그에 따른 의료 영상 처리 방법
WO2016080813A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for processing medical image

Also Published As

Publication number Publication date
US20190236783A1 (en) 2019-08-01
JP2019126654A (ja) 2019-08-01

Similar Documents

Publication Publication Date Title
JP7051307B2 (ja) 医用画像診断装置
JP2020110661A (ja) 診断支援装置、診断支援システム、情報処理方法、及びプログラム
US7466849B2 (en) Method and apparatus for acquisition and evaluation of image data of an examination subject
CN107847274B (zh) 用于在机器人外科手术期间提供更新后的患者图像的方法和装置
JP2016043211A (ja) 画像位置合せ装置、方法およびプログラム
KR102062539B1 (ko) 딥러닝 기반의 요추 질환 보조 진단 방법
JPH08131403A (ja) 医用画像処理装置
JP7027046B2 (ja) 医用画像撮像装置及び方法
JP2011125568A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP2006341092A (ja) 医用画像データセットの取得、解析および表示方法
CN107752979B (zh) 人工投影的自动生成方法、介质和投影图像确定装置
JP2018532454A (ja) 再置換術計画に用いる医療移植片を有する患者の医療画像のためのシステムと方法
JP6493885B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム
JP6967983B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2005185405A (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
CN109350059A (zh) 用于肘部自动对准的组合的转向引擎和界标引擎
JP5100041B2 (ja) 画像処理装置及び画像処理プログラム
JP6734111B2 (ja) 所見情報作成装置及びシステム
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
JP7409624B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP7144129B2 (ja) 医用画像診断装置及び医用情報管理装置
JP7404857B2 (ja) 画像判定装置、画像判定方法及びプログラム
JP6956514B2 (ja) Ｘ線ｃｔ装置及び医用情報管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6967983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150