JP5364009B2

JP5364009B2 - 画像生成装置、画像生成方法、及びそのプログラム

Info

Publication number: JP5364009B2
Application number: JP2010029412A
Authority: JP
Inventors: 努井上; 嘉郎北村
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-02-12
Filing date: 2010-02-12
Publication date: 2013-12-11
Anticipated expiration: 2030-02-12
Also published as: JP2011161104A

Description

本発明は、画像を複数生成する画像生成装置、画像生成方法、及びそのプログラムに関する。

特許文献１には、３次元（空間）画像の集まりであり、３次元画像の各々は既知の時間的関係を伴い動きサイクル（例えば患者の呼吸サイクル、心周期、動脈拍動などの間）における異なる時点で撮られたデータである４次元のＣＴデータを用いて放射線治療計画を作成することが記載されている。

特開２００８−８０１３１号公報

しかしながら、特許文献１に記載の技術のように、４次元的にＣＴ画像を撮像すると、被曝する量が多大になり、健康面上でもよくない。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、所望する画像を擬似的に複数生成することができる画像生成装置、画像生成方法、及びそのプログラムを提供することを目的とする。

上記目的を達成するために、本発明は、画像生成装置であって、被写体を時系列に順次撮像して得られた複数の第１画像を取得する第１画像取得部と、前記被写体を撮像して得られた第１画像とは異なるモダリティで得られた時系列情報を持たない第２画像を取得する第２画像取得部と、前記複数の第１画像と前記第２画像との一致度を算出し、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上又は一致度が最も高い前記第１画像を選択する画像選択部と、前記画像選択部が選択した前記第１画像を基準として、前記複数の第１画像間の画像変化量を算出する変化量算出部と、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成する画像生成部と、を備えることを特徴とする。

前記第１画像は、前記第２画像とは、空間解像度が異なる画像であってもよい。

前記変化量算出部は、前記画像選択部が選択した前記第１画像と、選択した該第１画像以外の各前記第１画像との前記画像変化量を算出し、前記画像生成部は、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成してもよい。

画像変化量算出部は、前記画像選択部が選択した前記第１画像を基準として、時系列順に前後する第１画像間の画像変化量を算出し、前記画像生成部は、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成してもよい。

取得された前記複数の第１画像に含まれる前記被写体をそれぞれ検出する第１検出部と、取得された前記第２画像に含まれる前記被写体を検出する第２検出部と、をさらに備えてよく、前記画像選択部は、前記第１検出部によって検出された前記複数の第１画像にそれぞれ含まる前記被写体の画像と、前記第２検出部によって検出された前記第２画像に含まれる前記被写体の画像との一致度を算出し、前記第１画像の中から、前記第２画像に含まれる前記被写体との一致度が閾値以上又は一致度が最も高い前記被写体の画像を含む第１画像を選択し、前記変化量算出部は、前記画像選択部が選択した第１画像の前記被写体の画像を基準として、前記複数の第１画像間の前記被写体の画像変化量を算出し、前記画像生成部は、前記複数の第１画像間の前記被写体の画像変化量に応じて、前記第２画像の前記被写体の画像を変化させることで、時系列の前記被写体の画像を生成してもよい。

前記画像選択部は、前記複数の第１画像と、前記第２画像との画像間変化量を算出し、前記複数の第１画像の中から、前記第２画像との前記画像間変化量が閾値以下で、又は最も低い前記第１画像を選択してもよい。

前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上であり、且つ、ユーザによって指示された第１画像を選択してもよい。

前記画像選択部は、前記第１画像のタグ情報を用いて選択してもよい。

前記被写体は、心臓及び冠動脈であってもよい。

上記目的を達成するために、本発明は、コンピュータが、複数の画像を生成する画像生成方法であって、被写体を時系列に順次撮像して得られた複数の第１画像を取得する第１画像取得工程と、前記被写体を撮像して得られた第１画像とは異なるモダリティで得られた時系列情報を持たない第２画像を取得する第２画像取得工程と、前記複数の第１画像と前記第２画像との一致度を算出し、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上又は一致度が最も高い前記第１画像を選択する画像選択工程と、選択された前記第１画像を基準として、前記複数の第１画像間の画像変化量を算出する変化量算出工程と、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成する画像生成工程と、を備えることを特徴とする。

上記目的を達成するために、本発明は、プログラムであって、コンピュータを、被写体を時系列に順次撮像して得られた複数の第１画像を取得する第１画像取得手段、前記被写体を撮像して得られた第１画像とは異なるモダリティで得られた時系列情報を持たない第２画像を取得する第２画像取得手段、前記複数の第１画像と前記第２画像との一致度を算出し、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上又は一致度が最も高い前記第１画像を選択する画像選択手段、前記画像選択手段が選択した前記第１画像を基準として、前記複数の第１画像間の画像変化量を算出する変化量算出手段、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成する画像生成手段、として機能させることを特徴とする。

本発明によれば、被写体を時系列に順次撮像して得られた複数の第１画像のうち、該被写体を撮像して得られた第２画像に閾値以上で一致する前記第１画像を選択し、該選択した前記第１画像を基準として、前記複数の第１画像間の前記被写体の画像変化量を算出し、算出した複数の第１画像間の前記被写体の画像変化量に応じて、前記第２画像を変化させることで、時系列前記被写体の画像を生成するようにしたので、第２画像から、時系列の被写体の画像を生成することができる。また、被写体は心臓及び冠動脈なので、時系列の心臓及び冠動脈の複数の画像を得ることができる。

また、時系列でない第２画像から時系列の画像を生成するので、総被曝量を抑えることが可能である。つまり、画像を撮影するのに被曝量が多くなる画像を第２画像とし、画像を撮影するのに被曝量が少ない又は無い画像を第１画像とすることで、総被曝量を抑えることができるとともに、被曝量が多くなる画像の時系列情報を得ることができる。

実施の形態における画像生成装置の電気的な概略ブロック図である。画像生成装置の動作を示すフローチャートである。検出される心臓領域及び冠動脈領域の一例を示す図である。画像変化量の算出及び画像の生成を説明するための図である。画像変化量の算出及び画像の生成を説明するための図である。第２検出部のブロック図である。第２検出部の動作を示すフローチャートである。ガウシアンピラミッド構造を説明するための概念図である。線状構造からなる対象候補組織の主軸方向を算出することを説明するための概念図である。正規化処理前と処理後の一例を示す概念図である。

本発明に係る画像生成装置について、好適な実施の形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。

図１は、実施の形態における画像生成装置１０の電気的な概略ブロック図である。画像生成装置１０は、第１画像取得部１２、第２画像取得部１４、第１検出部１６、第２検出部１８、画像選択部２０、変化量算出部２２、画像生成部２４、及び出力部２６を備える。情報処理装置（コンピュータ）に所定のプログラムを読み込ませることによって、情報処理装置が画像生成装置１０として機能する。

第１画像取得部１２は、被写体を時系列に順次撮像して得られた複数の第１画像（第１画像データ）を取得する。本実施の形態では、被写体は、心臓及び冠動脈であり、第１画像は、図示しないＭＲ装置により撮像されたＭＲ画像である。なお、第１画像は、超音波装置により撮像された超音波画像であってもよく、Ｘ線画像であってもよい。また、第１画像は、３次元画像であってもよく、２次元画像であってもよい。要は、複数の第１画像は、第２画像を時系列で撮像する場合に比べ、被曝量が小さくなる医用撮影装置で撮影されたものであればよい。

第２画像取得部１４は、第１画像を撮像したモダリティとは異なるモダリティで得られた時系列情報を持たない第２画像（第２画像データ）を取得する。本実施の形態では、第２画像は、図示しないＸ線ＣＴ装置により撮像されたＣＴ画像である。また、第２画像の画像は、３次元画像であってもよく、２次元画像であってもよい。但し、第２画像取得部１４は、第１画像取得部１２が取得した第１画像と同じ次元の第２画像を取得する。例えば、第１画像取得部１２が取得した第１画像が２次元画像である場合は、第２画像取得部１４は、２次元の第２画像を取得する。

第１検出部１６は、ＭＲ画像または超音波画像である複数の第１画像に含まれる被写体をそれぞれ検出する。本実施の形態では、被写体は、心臓（第１被写体）及び冠動脈（第２被写体）である。第１検出部１６は、文献"An unsupervised approach for measuring myocardial perfusion in MR image sequences", SPIE 5916(2005) に記載された手法によって、心臓領域を検出してもよい。この文献には、全シーケンス上で心臓のために関心のある領域を自動的に検出し、最大限の心筋対比によって参照フレームを選び、左心室、右心室、及び心臓コンポーネントに、心臓の二心室のパーティションを算出することが記載されている。また、文献"Effective Visualization of Complex Vascular Structure Using a Non-Parametric Vessel Detection Method", IEEE Transactions on Visualization and Computer Graphics, Vol.14, No.6,2008 に記載された手法によって、血管領域を検出してもよい。この文献には、ｖｅｓｓｅｌｎｅｓｓ係数を使うことによって、脈管構造を検出することが記載されている。また、第１検出部１６は、テンプレートマッチング手法や、画定手法によって心臓領域及び冠動脈領域を検出してもよいし、統合学習機械を作る手法であるＡｄａｂｏｏｓｔに基づいたラーニング手法によって心臓領域及び冠動脈領域を検出してもよい。また、第１検出部１６は、米国特許第７３４６２０９号明細書に記載された手法によって検出してもよい。簡単に説明すると、三次元画像から互いに直交する三つの断面画像を生成し、三つの断面画像から抽出した特徴量に基づいて対象組織の検出処理を行う手法が記載されている。この際、三つの直交する軸をランダムに変更することで断面画像を設定し、複数回の検出処理を施すことにより、計算に用いる全体の情報量を低下させながら、対象組織を検出するというものである。また、文献"Coronary vessel tree from 3D imagery : A topological approach" Medical Image Analysis 2006 に記載された手法によって検出してもよい。簡単に説明すると、候補点（ノード）間の距離が近いものほど、重みを小さく設定し、最小全域木手法により木構造を再構成するものである。例えば、血管に対して本手法を適用した場合、各候補点であるノードと、ノードを接続する重みに相当するエッジ情報が与えられているとき、全てのノードを最小のコストで接続するエッジの組み合わせが得られる。例えば、画像上に複数の候補点を設定し、最小全域木手法により候補点間を接続し、木構造を再構築することにより、血管を検出する。

第２検出部１８は、ＣＴ画像である第２画像に含まれる被写体を検出する。本実施の形態では、被写体は、心臓（第１被写体）及び冠動脈（第２被写体）である。第２検出部１８は、第１検出部１６と同様の手法によって心臓領域及び冠動脈領域を検出してもよい。また、第１画像取得部１２、及び第２画像取得部１４が３次元の画像を取得する場合は、第２検出部１８は、後述する手法によって心臓領域及び冠動脈領域を検出してもよい。

画像選択部２０は、複数の第１画像のうち、第２画像に閾値以上で一致する第１画像を選択する。また、複数の第１画像のうち、第２検出部１８が検出した被写体である心臓領域及び冠動脈領域の画像と閾値以上で一致する心臓領域及び冠動脈領域の画像を有する第１画像を選択してもよい。ここで、画像選択部２０は、複数の第１画像と第２画像との一致度を算出し、複数の第１画像の中から、第２画像との一致度が閾値以上又は一致度が最も高い第１画像を選択する。

変化量算出部２２は、画像選択部２０が選択した第１画像を基準として、複数の第１画像間の画像変化量を算出する。詳しくは、画像選択部２０が選択した第１画像に含まれる被写体である心臓及び冠動脈の画像を基準として、複数の第１画像間の心臓及び冠動脈の画像変化量を算出する。変化量算出部２２は、文献"Atlas-based segmentation and tracking of 3D cardiac MR image using non-rigid registration" Medical Image Computing and Computer-Assisted Intervention (MICCAI'02). 2002, Lecture Notes in Computer Science, pp.642-650, Springer-Verlag.に記載の手法によって、変化量を算出してもよい。この文献には、画像間の非剛体レジストレーションの手法が記述されており、３次元を非剛体としてレジストレーションすることで画像間の変化量を算出することが記載されている。なお、変化量算出部２２は、画像変化量を算出する際に、画像全体で変化量を求める必要がなく心臓領域や対象の血管領域の変化量を重視して算出してもよい。これにより、変化量の算出精度が上がる。

画像生成部２４は、変化量算出部２２が算出した第１画像間の画像変化量に応じて、第２画像を変化させることで、時系列の被写体である心臓及び冠動脈の画像を生成する。詳しくは、第１画像間の心臓領域及び冠動脈領域の画像変化量に応じて、第２画像の心臓領域及び冠動脈領域の画像を変化させることで、時系列の心臓及び冠動脈の画像を生成する。

画像生成部２４は、文献"Automatic construction of 3D statistical deformation models using non-rigid registration" Medical Image Computing and Computer-Assisted Intervention (MICCAI'01). 2001, Lecture Notes in Computer Science, pp.77-84, Springer-Verlag.に記載の手法によって、画像を生成してもよい。この文献には、１つの主題のマップ解剖機能に、別の主題に対応した機能に必要な変形の統計分析を実行して変形モデル（ＳＤＭｓ）を構築することが記載されている。

出力部２６は、生成された複数の画像を外部に出力する。出力部２６が、例えば、表示装置に生成された複数の画像を出力する場合は、該表示装置は、出力された複数の画像を表示させる。また、出力部２６が、例えば、記録装置に生成された複数の画像を出力する場合は、該記録装置は、出力された複数の画像を記録する。

次に、画像生成装置１０の動作を図２のフローチャートにしたがって説明する。まず、第１画像取得部１２は、外部機器からＭＲ画像または超音波画像またはＸＡ画像である複数の第１画像を取得する（ステップＳ１）。第１画像取得部１２は、２次元又は３次元の第１画像を取得する。

次いで、第２画像取得部１４は、外部機器からＣＴ画像である第２画像を取得する（ステップＳ２）。第２画像取得部１４は、２次元又は３次元の第２画像を取得する。

次いで、第１検出部１６は、ステップＳ１で取得した複数の第１画像に含まれる心臓及び冠動脈をそれぞれ検出する（ステップＳ３）。

次いで、第２検出部１８は、ステップＳ２で取得した第２画像に含まれる心臓及び冠動脈を検出する（ステップＳ４）。

図３は、検出される心臓及び冠動脈の一例を示す図である。符号１００は、心臓を示し、符号１０２は、冠動脈を示している。

次いで、画像選択部２０は、複数の第１画像のうち、第２検出部１８が検出した第２画像の心臓及び冠動脈の画像と閾値以上で一致する心臓及び冠動脈の画像を有する１枚の第１画像を選択する（ステップＳ５）。つまり、第２検出部１８が検出した心臓及び冠動脈と閾値以上で一致する心臓及び冠動脈が写っている１枚の第１画像を選択する。

画像選択部２０は、複数の第１画像と第２画像との画像間変化量をそれぞれ算出し、複数の第１画像の中から、第２画像との画像変化量が閾値以下で、又は最も低い第１画像を選択するようにしてもよい。画像変化量が低ければ低いほど一致度は高くなる。また、画像変化量が低ければ低いほど類似度は高くなる。また、画像選択部２０は、第２画像に閾値以上で一致し、且つ、最も一致する第１画像を選択してもよいし、第２画像に閾値以上で一致し、且つ、ユーザによって指示された第１画像を選択してもよい。また、画像選択部２０は、第１画像のタグ情報に基づいて、第２画像のタグ情報の中にある撮影日時と閾値以上で一致する日時又は撮影日時にもっとも近い日時に撮影された第１画像を選択してもよい。また、画像選択部２０は、第２画像に最も一致する画像としてユーザによって指示された第１画像を単に選択してもよい。

次いで、変化量算出部２２は、画像選択部２０が選択した第１画像の心臓及び冠動脈の画像を基準として、第１画像間の心臓及び冠動脈の画像変化量を算出する（ステップＳ６）。

次いで、ステップＳ６で算出された第１画像間の画像変化量に応じて、第２画像の心臓及び冠動脈の画像を変化させることで、時系列の心臓及び冠動脈の画像を生成する（ステップＳ７）。

図４及び図５は、画像変化量の算出及び画像の生成を説明するための図である。画像Ａｎ（ｎ＝１，２，３，・・・，ｎ）は、時系列順の第１画像の心臓及び冠動脈の画像を示す。つまり、画像Ａ₁は、最初に撮像された第１画像の心臓領域及び冠動脈領域の画像であり、画像Ａ₂は、次に撮像された第１画像の心臓領域及び冠動脈領域の画像というように、Ａｎの「ｎ」が撮像された順番を示している。また、画像Ｂは、第２画像の心臓領域及び冠動脈領域の画像を示す。

ここで、画像Ａ₃は、画像Ｂと閾値以上で一致する画像であることから、画像Ａ₃を有する第１画像が選択された画像となる。したがって、変化量算出部２２が、画像Ａ₃を基準として、第１画像間の心臓及び冠動脈の画像変化量Ｔを算出することになる。

図４では、選択した画像Ａｎとそれ以外の各画像Ａとの画像変化量Ｔ_l、_mを算出する場合を例にしている。ｌは、選択された画像Ａｎの「ｎ」を表し、ｍは、ｌ以外の「ｎ」を表している。本実施の形態では、画像Ａ₃が選択されたので、ｌは３となる。ここで、画像変化量Ｔ_3,mは、画像Ａ₃と画像Ａｍとの画像変化量を示している。例えば、画像変化量Ｔ_3,4は、画像Ａ₃と画像Ａ₄との画像変化量を示しており、画像変化量Ｔ_3,5は、画像Ａ₃と画像Ａ₅との画像変化量を示している。また、この画像変化量Ｔ_3,mは、画像Ａ₃から画像Ａｍへの画像変化量を表している。つまり、画像Ａ₃が、画像Ａｍに変化する場合の画像変化量を表している。

そして、画像生成部２４は、選択した第１画像の画像Ａ₃と、画像Ａ₃以外の画像Ａｍとの画像変化量Ｔ_l,mに応じて、第２画像の心臓領域及び冠動脈領域の画像Ｂを変化させることで、時系列の心臓及び冠動脈の画像を生成する。具体的には、画像Ｂを、画像変化量Ｔ_3,4で変化させて画像Ｂ₄を生成することができ、画像変化量Ｔ_3,5で変化させて画像Ｂ₅を生成することができる。画像Ｂを画像変化量Ｔ_3,2で変化させて画像Ｂ₂を生成することができ、画像変化量Ｔ_3,1で変化させて画像Ｂ₁を生成することできる。

また、図５では、選択した画像Ａｎを基準にして時系列順に画像Ａｎ間の画像変化量Ｔ_j,kを算出する場合を例にしている。つまり、選択した画像Ａｎを基準にして時系列順に前後する画像Ａｎ間の画像変化量をそれぞれ算出する場合を示している。ｊは、ｎを表しており、ｋは、ｊに前後するｎを表している。本実施の形態では、選択した画像は画像Ａ₃なので、画像Ａ₃を基準として、画像Ａ₃と画像Ａ₄間の画像変化量Ｔ_3,4、画像Ａ₄と画像Ａ₅間の画像変化量Ｔ_4,5、画像Ａ₃と画像Ａ₂間の画像変化量Ｔ_3,2、画像Ａ₂と画像Ａ₁間の画像変化量Ｔ_2,1という具合に、画像変化量_j,kを算出する。ここで、画像変化量_j,kは、画像Ａｊから画像Ａｋへの画像変化量を表している。例えば、画像変化量Ｔ_3,2は、画像Ａ₃から画像Ａ₂への画像変化量を表しており、画像変化量Ｔ_2,1は、画像Ａ₂から画像Ａ₁への画像変化量を表している。

そして、画像生成部２４は、画像Ａ₃を基準として生成された時系列順に前後する画像Ａｎ間の画像変化量Ｔ_j,kに応じて、心臓及び冠動脈の画像Ｂから、時系列の心臓及び冠動脈の画像を生成する。具体的には、画像Ｂを、画像変化量Ｔ_3,4で変化させて画像Ｂ₄を生成することができ、画像変化量Ｔ_3,2で変化させて画像Ｂ₂を生成することできる。また、生成された画像Ｂ₄を、画像変化量Ｔ_4,5で変化させることで、画像Ｂ₅を生成することできる。また、生成された画像Ｂ₂を、画像変化量Ｔ_2,1で変化させることで、画像Ｂ₁を生成することができる。

このように、心臓及び冠動脈を時系列に順次撮像して得られた複数の第１画像の画像変化量Ｔを求めることで、撮像された１枚の第２画像から、時系列の心臓及び冠動脈の画像を複数生成することができる。また、第１画像は、ＭＲ画像または超音波画像であり、第２画像は、ＣＴ画像であることから、１枚のＣＴ画像から、時系列に順次ＣＴ撮像された画像と略同等のＣＴ画像を複数得ることができるとともに、被写体の被曝量を大幅に抑制することができる。

なお、第１画像は、ＣＴ装置により得られた画像以外の画像としたが、Ｘ線を用いないで撮像された画像であってもよい。また、第２画像は、ＣＴ装置により得られた画像としたが、Ｘ線装置を用いて撮像された画像であってもよい。また、第１画像は、第２画像と空間解像度が異なる画像であってもよく、第２画像と空間解像度が同じ画像であってもよい。

次に、第２画像取得部１４が３次元の画像を取得する場合における第２検出部１８による心臓領域及び冠動脈領域の検出について説明する。図６は、第２検出部１８のブロック図である。第２検出部１８は、検出領域設定部５０、主軸方向算出部５２、正規化処理部５４、及び判別部５６を備える。なお、第１検出部１６も第２検出部１８と同様の構成を有していてもよい。

検出領域設定部５０は、第２画像取得部１４が取得した３次元の画像中の検出領域を設定するものである。検出領域とは、線状構造から対象候補組織を検出するための領域のことをいう。本実施の形態では、対象候補組織は冠動脈なので、検出領域は、心臓領域とする。つまり、心臓領域を検出することができれば、心臓領域内に冠動脈領域があるからである。したがって、検出領域設定部５０は、第１被写体である心臓領域を検出し、該心臓領域を検出領域として設定する。

主軸方向算出部５２は、検出領域における線状構造からなる対象候補組織（本実施の形態では、冠動脈）の主軸方向を算出するものである。例えば、設定された検出領域内において、線状構造から対象候補組織の主軸方向を算出するものであって、検出領域に対してヘッセ行列を算出し、算出したヘッセ行列の固有値を解析することにより、対象候補組織の主軸方向を算出し、さらに算出した固有値が所定の閾値条件を満たすものであるか否かにより、対象候補組織が線状構造であるか否かを判定する。これにより、線状構造であるか否かを粗く判定することが可能となる。

正規化処理部５４は、主軸方向算出部５２が算出した主軸方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施すものである。

判別部５６は、対象組織と同種の対象組織を含む予め用意された３次元の画像に対して、同種の対象組織の主軸方向に基づいて正規化処理が施されたデータを教師データとして備え、教師データを用いて、マシンラーニング手法を利用して算出された特徴量の解析を行うことで、対象候補領域に対象組織が含まれるか否かを判別するものである。冠動脈を判別する判別器の学習においては、正の教師データとして冠動脈の直線部の他、湾曲部、分岐部、狭窄、石灰及びステント留置部などの病変部を表すデータを含めることができる。これらを教師データに含めて学習することで、冠動脈のバリエーションに対応し、病変部等も血管として高精度に判別することが可能となる。負の教師データには冠動脈以外の部位をランダムに用意することができる。

具体的には、対象組織の検出方法として、統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたマシンラーニング手法を利用するものであることが考えられる。判別部５６は、上記の対象組織の検出手法に用いることができる。対象組織は、特徴点検出等の公知の手法や学習データに対してリサンプリングの際に重みを逐次的に更新し、できた機械を最後に学習機械に対する重みをつけることで、統合学習機械をつくる手法であるＡｄａｂｏｏｓｔに基づいたラーニング手法を用いる。学習サンプル画像において、対象組織の中心座標とその主軸方向また線状構造の場合はその半径を指定し、中心座標を基準としてその主軸方向に回転させた立方体を関心領域とする。立方体のスケールは半径で規格化する。

次に、正と負との学習サンプル画像に対して、ランダムに選択されたｎ組の画素ペアの値の組み合わせを特徴量とし、Ａｄａｂｏｏｓｔに基づいたマシンラーニング手法により、正と負とのパターンを見分ける判別器を作成する。対象組織を検出する際、３次元画像を走査し、注目画素を中心とした様々なサイズの立方体領域を切り出し、特徴量を算出する。それを学習段階で得られた判別器に入力して、判別値を求め、判別値が所定の閾値を超えた場合は、対象組織であると判別する。

判別のための特徴量はＣＴ画像におけるＣＴ値のＸ、Ｙ、Ｚ方向それぞれの１次微分値とする。その他、ＣＴ値の絶対値、ＣＴ値のヒストグラム、２次微分値などを用いてもよい。また、対象組織を検出する方法として、他の様々な統計解析法や機械学習法、例えば、線形判別法やニューラルネットワーク、サポートベクターマシン等を用いることができる。判別部５６は、上述した方法により、３次元画像から対象組織の位置を複数検出する。

次に、第２検出部１８の動作を図７のフローチャートにしたがって説明する。

まず、検出領域設定部５０は、第２画像取得部１４が取得した３次元の画像の中に含まれる心臓領域を検出し、該検出した心臓領域を検出領域として設定する（ステップＳ１１）。

また、検出領域設定部５０は、検出領域における線状構造から対象候補組織を検出すべく、予め３次元画像を多重解像度変換することにより、図８に示すガウシアンピラミッドを生成して、生成したガウシアンピラミッドごとに異なるサイズの線状構造からなる対象候補組織である冠動脈を検出する。検出領域設定部５０は、ガウシアンピラミッド構造である検出領域１１０に対してスキャニングを行い、順次、検出領域１１２、検出領域１１４をスキャンして検出処理を実行する座標を設定する。検出領域設定部５０は、多重解像度画像を順次走査することで、異なるサイズの対象候補組織である冠動脈を検出することができる。

次いで、主軸方向算出部５２は、検出座標を中心とする局所領域において線状構造から対象候補組織である冠動脈の主軸方向を算出する（ステップＳ１２）。主軸方向算出部５２は、対象候補組織を含む領域内にて、ヘッセ行列の固有値解析を行い、主軸方向を算出する。ヘッセ行列は、２階の偏微分係数を要素とする行列であり、３次元画像に対しては、数１のように３×３行列となる。

ガウシアンカーネル（ｆ）関数を用いた場合、ヘッセ行列を得るためのフィルタ係数は、数２によって求められる。σは、検出したサイズの線状構造に対応させる。

このヘッセ行列を固有値分解して固有値と固有ベクトルとを得たとき、０に最も近い固有値に対応する固有ベクトルが主軸方向である。

線状構造は、図９に示すように、３つのうち２つの固有値の値が大きく、１つが０に近い特徴を持つことが知られている。そこで、固有値から線状構造らしさを判定し、残った候補についてより詳細な判定を行うようにすると効果的である。

数１の固有値は、例えば、線状構造からなる対象候補組織に対して、数３のような関係を持つ。

正規化処理部５４は、主軸方向算出部５２が算出した主軸方向に基づいて、対象候補組織を含む対象候補領域に対して正規化処理を施す（ステップＳ１３）。正規化処理部５４は、図１０に示すように、算出された主軸方向に沿って正規化した画像を切り出し、正規化処理後の対象候補組織の３次元画像は、回転不変な特徴を持ったものとなる。但し、正規化処理は必ずしも行う必要はなく、判別部５６が、正規化した場合と同じ条件で判別のための特徴量を取得してマシンラーニング手法を利用してもよい。

次に、判別部５６は、正規化処理部５４により正規化処理が施された対象候補領域の特徴量を算出し、算出した特徴量を用いて対象候補領域に対象組織が含まれるか否かを判別する（ステップＳ１４）。判別部５６は、正規化処理部により正規化処理が施された対象候補領域から上述のマシンラーニング手法により、特徴量を取り出し、判別を行う。これにより湾曲、分岐又は病変による外観の変化を伴った線状構造からなる対象組織であっても安定的に冠動脈を検出することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０…画像生成装置１２…第１画像取得部
１４…第２画像取得部１６…第１検出部
１８…第２検出部２０…画像選択部
２２…変化量算出部２４…画像生成部
２６…出力部５０…検出領域決定部
５２…主軸方向算出部５４…正規化処理部
５６…判別部

Claims

被写体を時系列に順次撮像して得られた複数の第１画像を取得する第１画像取得部と、
前記被写体を撮像して得られた第１画像とは異なるモダリティで得られた時系列情報を持たない第２画像を取得する第２画像取得部と、
前記複数の第１画像と前記第２画像との一致度を算出し、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上又は一致度が最も高い前記第１画像を選択する画像選択部と、
前記画像選択部が選択した前記第１画像を基準として、前記複数の第１画像間の画像変化量を算出する変化量算出部と、
前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成する画像生成部と、
を備えることを特徴とする画像生成装置。
請求項１に記載の画像生成装置であって、
前記第１画像は、前記第２画像とは、空間解像度が異なる画像であることを特徴とする画像生成装置。
請求項１又は２のいずれか１項に記載の画像生成装置であって、
前記変化量算出部は、前記画像選択部が選択した前記第１画像と、選択した該第１画像以外の各前記第１画像との前記画像変化量を算出し、
前記画像生成部は、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成することを特徴とする画像生成装置。
請求項１又は２のいずれか１項に記載の画像生成装置であって、
画像変化量算出部は、前記画像選択部が選択した前記第１画像を基準として、時系列順に前後する第１画像間の画像変化量を算出し、
前記画像生成部は、前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成することを特徴とする画像生成装置。
請求項１〜４のいずれか１項に記載の画像生成装置であって、
取得された前記複数の第１画像に含まれる前記被写体をそれぞれ検出する第１検出部と、
取得された前記第２画像に含まれる前記被写体を検出する第２検出部と、
をさらに備え、
前記画像選択部は、前記第１検出部によって検出された前記複数の第１画像にそれぞれ含まれる前記被写体の画像と、前記第２検出部によって検出された前記第２画像に含まれる前記被写体の画像との一致度を算出し、前記第１画像の中から、前記第２画像に含まれる前記被写体との一致度が閾値以上又は一致度が最も高い前記被写体の画像を含む第１画像を選択し、
前記変化量算出部は、前記画像選択部が選択した第１画像の前記被写体の画像を基準として、前記複数の第１画像間の前記被写体の画像変化量を算出し、
前記画像生成部は、前記複数の第１画像間の前記被写体の画像変化量に応じて、前記第２画像の前記被写体の画像を変化させることで、時系列の前記被写体の画像を生成することを特徴とする画像生成装置。
請求項１〜５のいずれか１項に記載の画像生成装置であって、
前記画像選択部は、前記複数の第１画像と、前記第２画像との画像間変化量を算出し、前記複数の第１画像の中から、前記第２画像との前記画像間変化量が閾値以下で、又は最も低い前記第１画像を選択することを特徴とする画像生成装置。
請求項１〜５のいずれか１項に記載の画像生成装置であって、
前記画像選択部は、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上であり、且つ、ユーザによって指示された第１画像を選択することを特徴とする画像生成装置。
請求項１〜５のいずれか１項に記載の画像生成装置であって、
前記画像選択部は、前記第１画像のタグ情報を用いて選択することを特徴とする画像生成装置。
請求項１〜８のいずれか１項に記載の画像生成装置であって、
前記被写体は、心臓及び冠動脈であることを特徴とする画像生成装置。
コンピュータが、複数の画像を生成する画像生成方法であって、
被写体を時系列に順次撮像して得られた複数の第１画像を取得する第１画像取得工程と、
前記被写体を撮像して得られた第１画像とは異なるモダリティで得られた時系列情報を持たない第２画像を取得する第２画像取得工程と、
前記複数の第１画像と前記第２画像との一致度を算出し、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上又は一致度が最も高い前記第１画像を選択する画像選択工程と、
選択された前記第１画像を基準として、前記複数の第１画像間の画像変化量を算出する変化量算出工程と、
前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成する画像生成工程と、
を備えることを特徴とする画像生成方法。
コンピュータを、
被写体を時系列に順次撮像して得られた複数の第１画像を取得する第１画像取得手段、
前記被写体を撮像して得られた第１画像とは異なるモダリティで得られた時系列情報を持たない第２画像を取得する第２画像取得手段、
前記複数の第１画像と前記第２画像との一致度を算出し、前記複数の第１画像の中から、前記第２画像との前記一致度が閾値以上又は一致度が最も高い前記第１画像を選択する画像選択手段、
前記画像選択手段が選択した前記第１画像を基準として、前記複数の第１画像間の画像変化量を算出する変化量算出手段、
前記画像変化量に応じて、前記第２画像を変化させることで、時系列の前記被写体の画像を生成する画像生成手段、
として機能させることを特徴とするプログラム。