JP6768415B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP6768415B2
JP6768415B2 JP2016167285A JP2016167285A JP6768415B2 JP 6768415 B2 JP6768415 B2 JP 6768415B2 JP 2016167285 A JP2016167285 A JP 2016167285A JP 2016167285 A JP2016167285 A JP 2016167285A JP 6768415 B2 JP6768415 B2 JP 6768415B2
Authority
JP
Japan
Prior art keywords
image
processing
series
priority
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016167285A
Other languages
English (en)
Other versions
JP2018033545A (ja
Inventor
岳也 添田
岳也 添田
佐藤 清秀
清秀 佐藤
遠藤 隆明
隆明 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016167285A priority Critical patent/JP6768415B2/ja
Publication of JP2018033545A publication Critical patent/JP2018033545A/ja
Application granted granted Critical
Publication of JP6768415B2 publication Critical patent/JP6768415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、核磁気共鳴映像装置(MRI)やコンピュータ断層撮影装置(CT)など、種々の撮像装置(モダリティ)で撮像した3次元画像を処理する画像処理装置、画像処理方法およびプログラムに関する。
被検体内部の情報を表す3次元断層画像(3次元画像)を用いた画像診断のために、同一のモダリティを用いて、略同一形状の被検体を異なる撮像条件で複数回撮像することで、特徴の異なる複数の画像が取得される。例えば、MRIでは、異なるパルスシーケンスを用いて複数の画像を撮像する。また、CTやMRIでは、造影前や造影後の複数の時相で画像を撮像する。また、このように撮像された複数の画像の差分画像(サブトラクション画像)を生成することもある。また、陽電子放射断層撮像装置(PET)−CT装置や光音響トモグラフィ(PAT)−超音波エコー装置(US)のように、略同一形状の被検体を、複数の撮像原理で1回の検査で撮像するハイブリッドなモダリティも存在する。本明細書では、上記のように略同一形状の被検体から1回の検査で撮像・生成される一連の画像群を、「画像シリーズ」と呼ぶ。
一般的な画像診断において、医師は、複数のモダリティや異なる体位、異なる日時に撮像・生成した複数の画像シリーズを対比して診断を行う。しかし、画像シリーズ間で被検体の形状が異なるため、病変部の同定や対比を行うことが困難である。そこで、画像シリーズ間の変形位置合わせ(変形推定)を行うことが試みられている。これにより、一方の画像シリーズに変形を施して他方と同一にした画像シリーズを生成することが可能となる。その結果、医師は、複数の画像シリーズ間における病変部の同定や対比を容易に行うことができる。
画像シリーズ間の変形位置合わせを行う際には、位置合わせの各処理工程に合わせて、それぞれの画像シリーズから、情報源として適切な画像を選択する必要がある。このとき、画像処理装置は、選択した画像から必要な情報を自動または手動で取得し、取得した情報に基づいて変形パラメータを算出し、変形対象の画像を変形させる。特許文献1では、位置合わせの対象とする二つの画像シリーズのそれぞれから1つの画像を選択し、当該画像間の位置合わせを行うことで画像シリーズ間の位置合わせを行っている。
特開2014−183974号公報
しかしながら、各処理工程に合わせて適切な画像を選択するためには、各種画像の特性の把握や、特性による変形推定精度への影響などの判断が要求される。各処理工程に最適な画像のシーケンスなどを事前に定義することで操作者による画像選択を不要にする方法も考えられるが、理想的な画像が常に揃えられていることは通常期待できない。そのため、個々の患者の事情により可能な範囲で用意された画像の中から、各処理工程に用いる画像を操作者が選択していかなければならない。このように、画像シリーズ間の変形位置合わせでは、各処理工程に適切な画像を選択することが容易ではない。
本発明は、上記の課題に鑑みてなされたものであり、画像シリーズ間の位置合わせにおいて、各処理工程において適切な画像の選択を可能とし、操作者が画像を選択する負荷を軽減することが可能な画像処理技術を提供することを目的とする。
本発明の一態様に係る画像処理装置は、以下の構成を備える。すなわち、異なる撮像シーケンスで被検体を撮像した複数種類の画像を含む画像シリーズ間で位置合わせを行う画像処理装置は、位置合わせの対象である前記画像シリーズについて、当該画像シリーズの画像を撮像した撮像装置の種別と、前記位置合わせを行うための複数の処理工程のうち実行対象となる処理工程との組合せに対応した判断基準を選択する基準選択手段と、前記複数種類の画像に対する前記判断基準の評価結果に基づいて、前記画像シリーズから画像を選択する優先順位判断手段と、前記選択された画像を用いて前記処理工程の処理を実行する位置合わせ手段と、を備える。
本発明によれば、画像シリーズ間の位置合わせにおいて、各処理工程において適切な画像の選択を可能とし、操作者が画像を選択する負荷を軽減することが可能になる。
第1の実施形態に係る画像処理装置の機器構成を示す図。 第1の実施形態における全体の処理手順を示すフロー図。 第1の実施形態における画像選択部の処理手順を示すフロー図。 位置合わせの対象である画像シリーズの一例を示す図。 優先順位判断基準の一例を示す図。 複数の評価属性を用いた優先順位判断基準の一例を示す図。 第2の実施形態における画像選択部の処理手順を示すフロー図。 作業状態に応じた画像選択の一例を示す図。 作業状況に応じた優先順位判断基準の一例を示す図。 第3の実施形態における画像選択部の処理手順を示すフロー図。 処理方法に応じた優先順位判断基準の一例を示す図。
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
<第1の実施形態(画像シリーズから、適切な1画像を選択)>
本実施形態に係る画像処理装置は、第1の画像シリーズと第2の画像シリーズの変形位置合わせを、体表形状や血管分岐などの画像特徴に基づいて行う。このとき、画像処理装置は、変形位置合わせの処理工程ごとに、処理に用いる適切な画像をそれぞれの画像シリーズから選択する。ここで、変形位置合わせとは、第1の画像シリーズ中の被検体像と第2の画像シリーズ中の被検体像との間の変形を推定することを意味する。また、推定した変形に基づき、画像中における被検体の位置や形状が画像シリーズ間で一致するように、一方の画像シリーズの画像を他方の画像シリーズに合わせて変形させた変形画像を生成することを意味する。
本実施形態に係る画像処理装置は、変形位置合わせの対象としているモダリティのそれぞれに関して、変形位置合わせのそれぞれの処理工程ごとに対応した優先順位判断基準を保持している。画像処理装置は、まず、変形位置合わせの処理工程を特定する。そして、変形位置合わせの対象とする二つの画像シリーズのそれぞれについて、モダリティの種別と特定した処理工程との組合せに対応した優先順位判断基準を取得する。次に、画像処理装置は、各画像シリーズに含まれる各画像に関して、画像の優先順位を決定するために必要な画像の属性を取得する。そして、画像処理装置は、取得した画像の属性と、優先順位判断基準とに基づいて、画像シリーズに含まれる各画像の優先順位を判断する。最後に、画像処理装置は、判断の結果に基づいて、評価(優先順位)の高い画像(優先順位が最上位の画像)を、該処理工程で用いる画像として、それぞれの画像シリーズから自動選択する。以上の処理によって、処理工程ごとに適切な画像の選択を自動化する。
以下、図1乃至6を用いて、本実施形態の構成及び処理を説明する。図1は、本実施形態に係る画像処理システムの構成を示す。本実施形態における画像処理システムは、画像処理装置100、データサーバ110、操作部120、および表示部130によって構成される。画像処理装置100は、データサーバ110、操作部120、および表示部130と接続されている。
データサーバ110は、被検体を撮像した第1の画像シリーズと第2の画像シリーズを保持している。夫々の画像シリーズは、1回の検査によって略同一形状の被検体を撮像・生成した一連の画像群を有する。本実施形態では、第1の画像シリーズは、核磁気共鳴映像装置(MRI)で撮像した画像シリーズであって、異なる複数の撮像シーケンスで被検体を撮像した画像群からなる。例えば、画像種別として、T1強調画像、T2強調画像、ダイナミックシーケンス画像(Pre(非造影),第1相,第2相,第3相,第4相)を含む事ができる。また、非造影と造影のサブトラクション画像など、撮像画像等を元に生成した画像群を含むこともできる。
また、第2の画像シリーズは、光音響トモグラフィ(PAT)−超音波エコー装置(US)(以下、「PAT−US」と呼ぶ)で撮像した画像シリーズである。PAT−USの画像シリーズは、例えば、画像種別として、各位置で発生する光音響波の強度を画像化したPAT音圧画像、各位置における光吸収係数を画像化したPAT吸収係数画像、3次元の超音波Bモード画像、ドプラ画像などを含むことができる。ただし、症例によっては、何らかの原因で、含みうる全種別の画像を必ずしも含まない症例もある。なお、それぞれの画像シリーズは、上記以外のモダリティで取得したものであってもよい。例えば、X線CT装置、3次元超音波撮影装置、PET−CT装置、OCT装置などであってもよい。また、第1の画像シリーズと第2の画像シリーズは、同一のモダリティで異なる日時に取得した画像シリーズであってもよい。
データサーバ110は、夫々の画像シリーズに関する付随情報を保持している。画像シリーズの付随情報には、例えば、該画像シリーズを撮像したモダリティの種別(例えば、「MRI」「CT」「PAT」「PAT−US」「PET−CT」など)、患者ID(識別情報)、撮影日時、及び、該画像シリーズに含まれる各画像の付随情報が含まれる。また、各画像の付随情報には、画像種別(例えば、「T1強調」「T2強調」「PAT音圧」「PAT吸収係数」「Bモード(US)」など)や、スライス厚、画像サイズ、解像度、等の情報が含まれる。なお、以下の説明では、「画像種別」「スライス厚」等の画像の属性の名称を属性名と呼ぶ。また、これらの属性の値(「T1強調」「1.0mm」など)を属性値と呼ぶ。ここで、画像の属性とは、画像を分類・選別するための様々な情報を含みうるものであり、上述した画像の付随情報だけでなく、画像の内容を解析して得られる情報(以下、画像解析値と呼ぶ)を含むものとする。
操作部120はキーボード、マウス、タッチパネル等であり、操作者の操作内容を画像処理装置100に入力する。表示部130は液晶モニタ等であり、画像処理装置100が生成する表示画像等の各種情報を表示する。
本実施形態の画像処理装置は、異なる撮像シーケンスで被検体を撮像した複数種類の画像を含む画像シリーズ間で位置合わせを行うことが可能である。画像処理装置100は、操作者が位置合わせの対象として指定した第1の画像シリーズと第2の画像シリーズの変形位置合わせを行う。画像処理装置100は、変形位置合わせの処理工程を判断する工程判断部101と、各処理工程に適した画像を各画像シリーズから選択する画像選択部102と、選択した画像を用いて各処理工程の処理を行う位置合わせ部103と、を有する。
画像選択部102はさらに、画像シリーズ情報取得部121、基準選択部122、および優先順位判断部123を有する。画像シリーズ情報取得部121は、データサーバ110より、変形位置合わせの対象とする画像シリーズの付随情報(モダリティ種別や各画像の付随情報)を取得する。また、画像シリーズ情報取得部121は、必要に応じて、画像シリーズに含まれる各画像を解析してその画像解析値を取得する。
基準選択部122は、位置合わせの対象である画像シリーズについて、当該画像シリーズの画像を撮像した撮像装置の種別と、位置合わせを行うための複数の処理工程のうち実行対象となる処理工程(以下、現在の処理工程ともいう)との組合せに対応した優先順位判断基準を選択する。基準選択部122は、画像シリーズを撮像した撮像装置(モダリティ)の種別と実行対象となる処理工程(現在の処理工程)の組み合わせに応じて、優先順位判断基準を選択する。ここで、画像シリーズ情報取得部121は、データサーバ110より、画像シリーズの画像を撮像した撮像装置(モダリティ)の種別の情報を取得し、また、工程判断部101は、複数の処理工程のうち、実行対象となる処理工程を、設定された実行順序に基づいて判断することが可能である。尚、処理工程の実行順序は固定的に設定されたものであっても、任意に設定された実行順序に基づくものであってもよい。基準選択部122は、画像シリーズ情報取得部121により取得された撮像装置の種別と、工程判断部101により判断された処理工程との組合せに対応した優先順位判断基準を選択する。基準選択部122は、撮像装置の種別と位置合わせにおけるそれぞれの処理工程との組合せに対応した複数の判断基準の中から、上記の組合せに対応した優先順位判断基準を選択する。
優先順位判断部123は、画像シリーズに含まれる各画像の属性(付随情報や画像解析値)と優先順位判断基準に基づき、画像シリーズに含まれる各画像の優先順位を判断する。また、優先順位判断部123は、画像シリーズの複数種類の画像に対する優先順位判断基準の評価結果に基づいて、画像シリーズから画像を選択することが可能である。そして、優先順位判断部123は、優先順位が最上位の画像を、該処理工程で採用する画像として位置合わせ部103に指定する。位置合わせ部103は、選択された画像を用いて実行対象となる処理工程(現在の処理工程)の処理を実行する。
次に、図2のフローチャートを用いて、画像処理装置100の各部が行う動作と全体の処理手順を説明する。
(S201:画像シリーズの指定)
ステップS201において、位置合わせ部103は、変形位置合わせの対象とする第1の画像シリーズ及び第2の画像シリーズの指定を、操作部120を介して操作者より受け付ける。そして、操作者が指定した2つの画像シリーズを、変形位置合わせの対象である第1の画像シリーズ及び第2の画像シリーズとする。位置合わせ部103は、第1の画像シリーズ及び第2の画像シリーズの情報をデータサーバ110から取得する。そして、それぞれの画像シリーズを同定する情報を、画像選択部102へと送信する。
図4に、二つの画像シリーズの一例を示す。図4の画像シリーズ410はMRIの画像シリーズ(第1の画像シリーズ)であり、画像シリーズ420はPAT−USの画像シリーズ(第2の画像シリーズ)である。また、MRIの画像シリーズ410は5種類の画像411〜415を含み、PAT−USの画像シリーズ420は、2種類の画像421、422を含む。それぞれの画像は3次元のボリュームデータを表すが、画像シリーズ410、420は、紙面が2次元である都合上、ボリュームデータからx−y平面に平行に切り出された断面画像の形式で示されている。操作者が、MRIの画像シリーズ410のいずれかの画像(例えば、第2相の画像413)の画像ファイルを指定すると、位置合わせ部103は、第1の画像シリーズとして、画像413を含むMRIの画像シリーズ410を選択する。同様に、操作者がPAT−USの画像シリーズ420のいずれかの画像(例えば、PAT吸収係数の画像422)の画像ファイルを指定すると、位置合わせ部103は、第2の画像シリーズとして、画像422を含む画像シリーズ420を選択する。
(S202:処理工程の設定)
ステップS202において、工程判断部101は、位置合わせ部103で最初に行う処理工程を「体表抽出」に設定する。
(S203:処理工程の分岐)
ステップS203において、工程判断部101は、次に実施する処理工程に応じて、処理の分岐を行う。すなわち、次の処理工程が「体表抽出」の場合はステップS211に処理を進める。また、次の処理工程が「対応点取得」の場合はステップS221に処理を進める。また、次の処理工程が「変形」の場合はステップS231に処理を進める。
ステップS202の後にステップS203の処理が行われた場合には、ステップS211〜S214の体表抽出工程に処理が進められる。
(体表抽出工程)
(S211,S212:画像の選択)
ステップS211において、画像選択部102は、第1の画像シリーズに含まれる画像の中から、現在の処理工程(すなわち、「体表抽出」)に適した画像を選択する。そして、選択した画像を特定する情報を、位置合わせ部103に送信する。同様に、ステップS212において、画像選択部102は、第2の画像シリーズに関してステップS211と同様の処理を行い、体表抽出工程に用いる画像を選択する。すなわち、画像選択部102は、第2の画像シリーズに含まれる画像の中から、現在の処理工程(すなわち、「体表抽出」)に適した画像を選択し、選択した画像を特定する情報を、位置合わせ部103に送信する。これらのステップの処理の詳細は、図3のフローチャートを用いて後に詳しく説明する。
(S213:体表の抽出)
ステップS213において、位置合わせ部103は、ステップS211及びステップS212で選択された各画像を処理対象として、夫々の画像から被検体の体表(被検体の輪郭形状)を自動抽出する処理を実行する。位置合わせ部103は、処理工程(体表の抽出工程)の実行において、優先順位判断部123により選択された画像を表示部130に表示させる。なお、3次元画像からの物体輪郭抽出技術は公知であるため、詳細な説明は省略する。体表抽出処理手法や処理のパラメータは、選択した画像の種別に応じて予め定めたアルゴリズムを用いる(切り替える)ことが可能である。
(S214:処理工程の設定)
ステップS214において、工程判断部101は、位置合わせ部103が次に行う処理工程を「対応点取得」に設定する。そして、ステップS203に処理を戻す。ステップS214の後にステップS203の処理が行われた場合には、ステップS221〜S224の対応点取得工程に処理が進められる。
(対応点取得工程)
(S221,S222:画像の選択)
ステップS221において、画像選択部102は、現在の処理工程を「対応点取得」として、第1の画像シリーズに関してステップS211と同様の処理を行い、対応点取得工程に用いる画像を選択する。同様に、ステップS222において、画像選択部102は、第2の画像シリーズに関してステップS212と同様の処理を行い、対応点取得工程に用いる画像を選択する。
(S223:対応点の取得)
ステップS223において、位置合わせ部103は、ステップS221及びステップS222で選択された二つの画像を処理対象として、二つの画像間(すなわち、第1と第2の画像シリーズ間)における対応点の取得処理工程を実行する。すなわち、二つの画像中に共通して描出されている被検体の解剖学的な特徴部位(例えば、血管分岐部等)を操作者が目視で同定し、その画像座標の対を対応点の情報として取得する処理を、被検体の複数の特徴部位に関して行う。位置合わせ部103は、処理工程(対応点の取得工程)の実行において、優先順位判断部123により選択された画像を表示部130に表示させる。ここで、画像間の対応点の取得は、例えば、それぞれの画像(ステップS221及びステップS222で選択された画像)の断面画像を並べて表示部130にスライス表示して、操作者によるマウス操作の入力を受けて取得するようにできる。
(S224:処理工程の設定)
ステップS224において、工程判断部101は、位置合わせ部103が次に行う処理工程を「変形」に設定する。そして、ステップS203に処理を戻す。ステップS224の後にステップS203の処理が行われた場合には、ステップS231〜S232の変形工程に処理が進められる。
(変形工程)
(S231:変形推定)
ステップS231において、位置合わせ部103は、これまでの工程で得た情報(すなわち、体表の情報と対応点の情報)を利用して、第2の画像に対する第1の画像の変形推定を行う。なお、対応点や形状情報を用いた3次元画像間の変形推定技術は公知であるので、ここでは詳細な説明を省略する。例えば、形状中の点の対応付けを行うICP(Iterative Closest Point)法や、対応点に基づき変形を推定するFFD(Free−Formed Deformation)法などの技術の組み合わせで実施できる。
(S232:変形画像の生成)
ステップS232において、位置合わせ部103は、ステップS231の変形推定結果に基づき、第1の画像シリーズに含まれるそれぞれの画像に変形処理を施し、それぞれの変形画像を生成する。そして、位置合わせ部103は、生成した変形画像をデータサーバ110に保存する。また、位置合わせ部103は、必要に応じて、生成した変形画像を表示部130に表示する制御を行う。なお、変形画像の生成は、第1の画像シリーズに含まれる全画像を対象として行ってもよいし、予め操作者が指定した画像のみを対象として行ってもよい。このとき、ステップS201で操作者が指定した画像を変形の対象としてもよい。なお、第1の画像シリーズと第2の画像シリーズが同一モダリティの場合には、第1の画像シリーズと第2の画像シリーズの間における同一画像種別の画像対を対象として、当該画像間の差分画像を生成してもよい。すなわち、ステップS231で得た変形推定結果に基づいて当該画像間の対応ボクセルを同定し、対応ボクセル間のボクセル値の差分をとった差分画像を生成してもよい。以上によって、画像処理装置100による変形位置合わせの処理が実行される。
(画像選択処理の詳細)
次に、図3のフローチャートを用いて、図2のフローチャートのステップS211、S212、S221、S222において、画像選択部102が行う画像選択処理の詳細について説明する。
(S300:画像シリーズの付随情報の取得)
ステップS300において、画像シリーズ情報取得部121は、データサーバ110より、処理対象となる画像シリーズ(S211、S221では第1の画像シリーズ、S212、S222では第2の画像シリーズ)の付随情報を取得する。
(S301:モダリティ種別と処理工程の取得)
ステップS301において、基準選択部122は、工程判断部101より、現在の処理工程の情報を取得する。また、基準選択部122は、画像シリーズ情報取得部121より、処理対象となる画像シリーズのモダリティ種別を取得する。
(S302:優先順位判断基準の選択)
ステップS302において、基準選択部122は、処理対象となる画像シリーズのモダリティ種別と現在の処理工程に対応した優先順位判断基準を選択する。そして、基準選択部122は、選択した優先順位判断基準を、優先順位判断部123へと送信する。基準選択部122は、不図示の記憶部に、画像シリーズのモダリティ種別と処理工程の組合せ毎に予め用意されている優先順位判断基準を保持している。優先順位判断基準の夫々には、優先順位付けに用いる画像の属性(以下、評価属性)を特定する情報(すなわち、属性名)と、その評価属性の値(すなわち、属性値)に基づいて画像の優先順位を定めるための基準が記載されている。
図5は、モダリティ種別が「MRI」あるいは「PAT−US」である場合の、各処理工程における優先順位判断基準の一例を示す図である。図5の501はモダリティ種別が「MRI」で処理工程が「体表抽出」の場合の優先順位判断基準を示し、502はモダリティ種別が「MRI」で処理工程が「対応点取得」の場合の優先順位判断基準を示している。優先順位判断基準501および502において、画像の優先順位付けに用いる評価属性名は「画像種別」である。例えば、優先順位判断基準501では、体表抽出のために輪郭が出やすい画像種別が順に定義されており、輪郭が出にくい画像種別は選択対象外としている。一方、優先順位判断基準502では、主に被検体の血管分岐に対して対応点を指定することを想定して、血管が最も強調されるサブトラクション画像(差分1〜4)を最優先とするように優先順位判断基準が設定されている。また、造影剤で血管を造影しているダイナミックシーケンス画像(第1〜4相)を次に優先するよう定義している。
同様に、503はモダリティ種別が「PAT−US」で処理工程が「体表抽出」の場合の優先順位判断基準を示し、504はモダリティ種別が「PAT−US」で処理工程が「対応点取得」の場合の優先順位判断基準を示している。図5の例では、優先順位判断基準503および504における評価属性名も「画像種別」である。
例として、図4の画像シリーズ410が第1の画像シリーズ、画像シリーズ420が第2の画像シリーズとして選択されている場合を考える。このとき、基準選択部122は、体表抽出を行うステップS211のステップS302において、優先順位判断基準501(MRI:体表抽出)を選択する。同様に、基準選択部122は、ステップS212において、優先順位判断基準503(PAT−US:体表抽出)を選択する。また、基準選択部122は、対応点取得を行うステップS221において、優先順位判断基準502(MRI:対応点取得)を選択し、ステップS222において、優先順位判断基準504(PAT−US:対応点取得)を選択する。
(S303:評価属性の値の取得)
ステップS303において、優先順位判断部123は、画像シリーズ情報取得部121より、処理対象となる画像シリーズに含まれるそれぞれの画像に関して、優先順位判断基準で指定された評価属性の値(例えば、画像種別、スライス厚、画像サイズ、解像度、等の情報を含む付随情報や、画像の内容を解析して得られる画像解析値)を取得する。画像を選択するための評価属性として、画像解析値が優先順位判断基準に定められている場合、画像シリーズ情報取得部121は、画像シリーズに含まれるそれぞれの画像に対して画像解析処理を施すことにより画像解析値を取得する。例えば、指定された評価属性が画像の付随情報ではなく、画像解析値の場合には、画像シリーズ情報取得部121は、画像シリーズに含まれるそれぞれの画像に所定の画像解析処理を施して、当該画像解析値を取得する。そして、画像シリーズ情報取得部121は、取得した画像解析値を評価属性の値として優先順位判断部123に通知する。
本実施形態の図5の例では、モダリティ種別が「MRI」の場合には、優先順位判断基準501、502に記載された評価属性名が「画像種別」であるため、優先順位判断部123は各画像の「画像種別」の値を取得する。モダリティ種別が「PAT−US」の場合も同様である。
(S304:画像の選択)
ステップS304において、優先順位判断部123は、ステップS302で得た優先順位判断基準と、ステップS303で得たそれぞれの画像の評価属性の値に基づいて、処理対象となる画像シリーズの中から最も優先順位の高い画像を選択する。画像を選択するための評価属性として、画像種別が判断基準に指定されている場合、優先順位判断部123は、画像種別の指定順に基づいて、画像シリーズに含まれるそれぞれの画像の優先順位を定め、優先順位に従って画像シリーズから画像を選択する。判断基準において最も優先順位の高い画像種別に対応する画像が画像シリーズに含まれていない場合、優先順位判断部123は、画像シリーズに含まれている画像の中で優先順位の高い画像を選択する。また、評価属性が画像解析値の場合には、優先順位判断部123は、画像シリーズに含まれている画像の中から、画像解析値が判断基準を満たす画像を選択する。
例として、図4の画像シリーズ410が第1の画像シリーズ、画像シリーズ420が第2の画像シリーズとして選択されている場合を考える。このとき、優先順位判断部123は、ステップS211のステップS304において、優先順位判断基準501を元に、画像シリーズ410の各画像の優先順位を判断する。この例では、画像シリーズ410には、優先順位判断基準501において最も優先順位が高い「第2相」に該当する画像413が含まれている。したがって、優先順位判断部123は、第1の画像シリーズの体表抽出工程に用いる画像として、「第2相」に該当する画像413を選択する。同様に、優先順位判断部123は、ステップS212のステップS304において、優先順位判断基準503を元に、画像シリーズ420の各画像の優先順位を判断する。この例では、画像シリーズ420は、優先順位判断基準503において最も優先順位が高い「Bモード(US)」の画像を有していないが、2番目に優先順位が高い「PAT音圧」の画像421を有している。したがって、優先順位判断部123は、第2の画像シリーズの体表抽出工程に用いる画像として、「PAT音圧」の画像421を選択する。なお、ステップS221やS222で優先順位判断部123が行う処理も同様である。
(S305:画像選択されたか否かを判定)
ステップS305において、画像選択部102は、ステップS304で画像選択が行われたか否かを判定する。そして、画像が選択されている場合はステップS307に処理を進め、いずれか一方の画像が選択されなかった場合、または、いずれの画像も選択されなかった場合は、ステップS306へと処理を進める。
(S306:操作者による画像選択)
ステップS306において、画像選択部102は、現在の処理工程に適切な画像が自動選択できない旨を操作者に通知し、操作者による画像の選択を催促する選択画面を表示部130に表示する。例えば、処理対象となる画像シリーズの夫々の画像をスライス表示し、操作者による画像選択の指示を取得する。
(S307:選択画像の通知)
ステップS307において、画像選択部102は、ステップS304またはステップS306で選択した画像を特定する情報を、位置合わせ部103へ通知する。以上によって、画像選択部102による画像選択処理が実行される。上記の例では、体表抽出工程において、第1の画像シリーズ410からは、体表抽出に最も好適な第2相の画像413が選択される。同様に、第2の画像シリーズ420からは、体表抽出に最も好適なBモード画像が取得されていない症例であっても、体表が比較的明瞭に描写されている音圧画像421が選択される。
また、対応点取得工程において、第1の画像シリーズ410からは、対応点抽出に最も好適な差分2の画像が取得されない場合であっても、血管の描出に優れたサブトラクション画像の1つである「差分1」の画像414が選択される。同様に、第2の画像シリーズ420からは、深部まで血管が明瞭に描出されるPAT吸収係数画像422が選択される。
以上のように、本実施形態に係る画像処理装置100によれば、画像変形位置合わせの各工程に良好な画像を自動的に選択することで、操作者の手間を低減することができる。
(変形例1−1:処理工程のバリエーション)
本実施形態では、「体表抽出」「対応点取得」「変形」の3つの処理工程による画像変形位置合わせを行う場合を例として説明した。しかし、「体表抽出」や「対応点取得」の何れかを省略し、それらの情報を用いずに位置合わせを行う構成であってもよい。また、処理工程の種類はこれに限定されるものではなく、画像変形位置合わせに関する様々な処理工程を含むようにしてもよい。例えば、夫々の画像シリーズから被検体中の解剖学的なランドマーク(例えば、乳腺画像中の乳頭位置や眼底画像中の視神経乳頭位置など)を抽出する処理(「ランドマーク抽出」)を行い、ランドマークの位置情報を用いた変形推定を行うことができる。この場合、画像処理装置100は、「体表抽出」「ランドマーク抽出」「対応点取得」「変形」の4つの処理工程で位置合わせを行う。このとき、上記と同様にランドマーク抽出工程のための優先順位判断基準をモダリティ種別毎に定義しておくことで、適切な画像選択を行うことができる。
また、本実施形態では、ステップS202、S214、S224にて処理工程の順序(実行順序)を固定的に確定していたが、この順序(実行順序)は設定ファイル等で定義してもよい。その場合、工程判断部101は、設定ファイルの内容に沿って位置合わせ部103および基準選択部122に処理工程の順序(実行順序)を指示する。これにより、処理工程の省略・入れ替え・新たな処理工程の追加などが実施可能となる。工程判断部101は、複数の処理工程のうち、実行対象となる処理工程を、設定された実行順序に基づいて判断することが可能である。
また、変形工程に関しても、モダリティ種別ごとに優先順位判断基準を予め定義しておいて、画像選択部102が画像の自動選択を行い、選択された1つ、または、複数の画像のみの変形画像を生成するようにしてもよい。
(変形例1−2:複数の画像を選択)
第1の実施形態では、優先順位判断部123は、ステップS304における画像の選択で最も優先順位の高い画像1つを選択したが、優先順位順に複数の画像を選択してもよい。優先順位判断部123は、優先順位に基づいて複数の画像を選択することが可能である。例えば、体表抽出工程や対応点取得工程のそれぞれにおいて、優先順位第N位(Nは例えば2や3)までの画像を選択して、位置合わせ部103に通知する構成にしてもよい。また、選択する画像の数を限定せずに、基準を満たす全ての画像に優先順位付けをして、位置合わせ部103に通知する構成であってもよい。あるいは、基準を満たす画像への絞り込みのみを行い、優先順位付けは行わずに位置合わせ部103に通知する構成にしてもよい。
体表抽出工程のように処理工程が自動処理の場合、位置合わせ部103は、ステップS213の処理において、選択された画像群を1ボクセルにN個の画素値を持つ画像と見立て、この画像に対して体表抽出処理を行うようにできる。あるいは、候補画像群を操作者に提示し、体表抽出処理を行う1つの画像を操作者に選択させるようにしてもよい。一方、対応点取得工程のような操作者による処理の場合、位置合わせ部103は、ステップS223の処理において、選択された画像群から対応点を指定する画像を操作者にインタラクティブに選択させて、選択した画像を用いた処理を実施するようにできる。この選択は、例えば、表示部130にプルダウンメニューとして表示した画像群から表示画像を選択するなどして行うことができる。
例えば、画像シリーズ410に対して対応点取得工程を行う場合を考える。優先順位第N位(N=3)とすると、画像シリーズ410の各画像411〜415の画像種別「Pre」「第1相」「第2相」「差分1」「T1強調」を元に、優先順位順に、「差分1」「第2相」「第1相」に対応する画像414、413、412が選択される。第1の画像シリーズ410には、対応点抽出に最も好適な差分2の画像や、差分3、差分4に対応する画像が含まれていないため、優先順位順に上位から「差分1」「第2相」「第1相」に対応する画像414、413、412が選択される。位置合わせ部103では、操作者に第1の画像シリーズの選択肢として414、413、412を(この順番で)提示し、操作者の判断によって表示する画像をインタラクティブに切り替えながら対応点の取得処理が実行される。
本変形例によると、変形位置合わせの各処理工程に良好な画像を自動的に絞り込み、操作者による最終的な選択作業を容易にすることができる。
(変形例1−3:複数の基準から画像を選択)
第1の実施形態では、優先順位判断部123は、ステップS303およびS304において単一の評価属性に基づいて画像を選択していたが、複数の評価属性に基づいて画像を選択してもよい。図6の優先順位判断基準601、602は、MRI画像シリーズの二つの処理工程における、複数の評価属性を用いた優先順位判断基準の一例を示す図である。図6の優先順位判断基準を本実施形態に適応した場合、体表抽出工程であれば、優先順位判断基準601により、夫々の画像の「面構造強調フィルタ結果(自動的に体表面の抽出を試みた場合の評価値)」(第1の評価属性)と「画像種別」(第2の評価属性)の値に基づいて優先順位を判断する。画像を選択するための評価属性として、画像解析値(面構造強調フィルタ結果)および画像種別が判断基準に指定されている場合、優先順位判断部123は、画像解析値が判断基準を満たす画像のうち、画像種別の指定順に基づいて、画像シリーズに含まれるそれぞれの画像の優先順位を定め、優先順位に従って画像シリーズから画像を選択する。
図3のステップS303における評価属性の値の取得において、優先順位判断部123は、処理対象となる画像シリーズに含まれるそれぞれの画像に関して、優先順位判断基準で指定された複数の評価属性の値を取得する。図6の例では、各画像の「面構造強調フィルタ結果」と「画像種別」の値を取得する。ここで、「面構造強調フィルタ結果」の値の取得は、例えば以下のように行うことができる。第1の評価属性として指定された評価属性が画像解析値であるため、画像シリーズ情報取得部121は、まず、画像シリーズに含まれる各画像に対し面構造強調フィルタ処理を施し、それぞれの面構造強調画像を生成する。そして、画像シリーズ情報取得部121は、元画像が面構造を含む度合いを定量化した値をそれぞれの生成画像から算出する。例えば、面構造強調画像中のボクセル値(すなわち、面構造らしさの値)が所定の値を超えるボクセルの数をカウントする。そして、該値が所定の閾値以上か否かの情報を、第1の評価属性である「面構造強調フィルタ結果」の値(画像解析値)として優先順位判断部123に通知する。
そして、ステップS304の画像の選択において、優先順位判断部123は、複数の評価属性に基づく画像の選択を行う。ここで、図4の例において、第1の評価属性値が「閾値以上」となった画像が、第1相画像412とT1強調画像415であった場合を考える。このとき、優先順位判断部123は、第2の評価属性に従い、第1相画像412を選択する。すなわち、優先順位判断部123は、第1の評価属性値が「閾値以上」となった、第1相画像412およびT1強調画像415のうち、第2の評価属性の優先順位が高い、第1相画像412を選択する。
一方、第1の評価属性値が「閾値以上」となった画像がPre画像411と差分1画像414であった場合、Pre画像411および差分1画像414について、第2の評価属性値が含まれていないため、第2の評価属性によって全てが選択対象から外される。この場合、優先順位判断部123は、第1の評価属性値が「上記以外」(閾値未満)となった第1相画像412、第2相画像413、T1強調画像415に対して第2の評価属性を評価し、最終的に最も評価の高い第2相画像413を選択する。
同様に、対応点取得工程においても、複数の評価属性に基づく優先順位判断基準を用いることができる。図6の優先順位判断基準602では、第1の評価属性として、血管強調フィルタ結果を用いることで、血管が見つけやすい画像を優先している。なお、各優先順位判断基準を定める評価属性の数は2つに限らず、いくつであってもよい。また、評価属性として画像解像度を用いるなど、様々な優先順位判断基準を定義してもよい。
本変形例によれば、複数の評価属性を用いて精度よく画像を選択することができる。
<第2の実施形態(見ている場所に応じて、最適な画像を選択)>
第1の実施形態では、処理工程ごとに採用する画像を選択していた。しかし、同一の処理工程の中でも、操作者の作業状況に合わせて複数の画像を自動的に切り替えるようにしてもよい。本実施形態に係る画像処理装置は、処理工程だけでなく、各処理工程のより詳細な作業状況に合わせて適切な画像を選択する。例えば、対応点取得工程の場合に、本実施形態に係る画像処理装置は、現在画面に表示されているスライス断面が体表付近か深部かを特定する。そして、画像処理装置は、体表付近のスライス断面を表示している場合は体表付近の血管が明瞭な画像に表示画像を自動的に切り替え、深部のスライスを表示している場合は深部の血管が強調された画像に表示画像を自動的に切り替える。これにより、操作者は、表示スライスを切り替えるだけで、常に表示対象スライスに好適な画像上で操作を続けることができる。以下、本実施形態に係る画像処理装置について、第1の実施形態との相違部分についてのみ説明する。
本実施形態に係る画像処理装置100の構成は第1の実施形態と同様である。しかし、位置合わせ部103、基準選択部122、優先順位判断部123は、第1の実施形態と一部の機能が異なるため、以下でその機能の差異を説明する。その他の構成については第1の実施形態と機能が同じであるため、同じ機能に関しては説明を省略する。
位置合わせ部103は、位置合わせの処理の実行に加えて、現在の処理工程における作業状況を表す情報を基準選択部122に通知する。位置合わせ部103は、処理工程における操作者の作業状況を示す情報として、表示部130に表示されている被検者の部位を特定する特定情報を基準選択部122に通知する。例えば、処理工程が対応点取得の場合に、位置合わせ部103は、作業状況を表す情報として、位置合わせ部103での表示スライス断面情報などの画像表示状態の情報(被検者の部位を特定する特定情報)を基準選択部122に通知する。
基準選択部122は、処理工程だけでなく作業状況が変更される度に、処理工程と作業状況に応じた優先順位判断基準を選択する。すなわち、基準選択部122は、撮像装置(モダリティ)の種別と実行対象となる処理工程と特定情報との組合せに対応した優先順位判断基準を選択する。そして、優先順位判断部123は、選択された優先順位判断基準の評価結果に基づいて、画像シリーズから画像を選択する。画像表示状態の情報(被検者の部位を特定する特定情報)が変更された場合、基準選択部122は、撮像装置(モダリティ)の種別と実行対象となる処理工程と変更された特定情報とに基づいて、優先順位判断基準を選択する。優先順位判断部123は、選択された優先順位判断基準の評価結果に基づいて、画像シリーズから画像を選択する。すなわち、優先順位判断部123は、処理工程だけでなく作業状況が変更される度に更新される優先順位判断基準に応じて画像の選択を行い、選択した画像を位置合わせ部103に通知する。画像表示状態の情報(被検者の部位を特定する特定情報)の変更により、優先順位判断部123が選択画像を変更した場合、位置合わせ部103は、選択画像の変更に基づいて、表示部130の画像表示を切り替える。そして、位置合わせ部103は、処理工程だけでなく作業状況が変更される度に更新される選択画像を用いて、位置合わせの処理を実行する。
本実施形態に係る画像処理装置100の各部が行う動作と全体の処理手順は、図2で示した第1実施形態における画像処理装置100の処理手順と概ね同様である。ただし、対応点取得工程におけるステップS221、S222、およびS223の処理のみが、第1の実施形態とは異なっている。
(S221,S222:画像の選択)
ステップS221において、画像選択部102は、第1の実施形態と同様に、第1の画像シリーズの画像から対応点取得工程に用いる画像を選択する。このとき、画像シリーズと処理工程だけでなく、該処理工程における作業状況にも応じた画像の選択を行う点が、第1の実施形態とは異なっている。第2の画像シリーズに対するステップS222の処理も同様である。これらのステップの処理の詳細は、図7のフローチャートを用いて後に詳しく説明する。
(S223:対応点の取得)
ステップS223において、位置合わせ部103は、第1の実施形態と同様に、ステップS221及びステップS222で選択された二つの画像を処理対象として、選択された二つの画像間における対応点取得工程の処理を実行する。ただし、該処理工程の作業状況の変化に応じて、画像選択部102が、ステップS211やS212と同様の処理を実行することで、作業状況に応じた画像の再選択を行い、位置合わせ部103が処理に用いる画像を動的に変化させる点が、第1の実施形態とは異なっている。
例として、それぞれの画像の断面画像を表示部130にスライス表示して、操作者によるマウス操作の入力を受けて対応点の座標を取得する作業を考える。このとき、作業状況が変化する度に、作業状況に対して適切な画像の選択を行い、選択された画像を表示して対応点を入力する作業を行うようにする。例えば、「体表付近の対応点の入力」と、「深部の対応点の入力」という二つの作業状況を設定することができる。ここで、作業状況の変化は、例えば、スライス表示している断面の位置が体表付近か深部かという画像表示状態によって判定する。
次に、図7のフローチャートを用いて、ステップS221、S222、及びステップS223の処理の一部として画像選択部102が行う画像選択処理の詳細を説明する。但し、本フローチャートにおいて、ステップS300、S301、およびS303〜S307の処理は図3と同じであるため説明は省略する。
(S715:現在の作業状況の取得)
ステップS715において、基準選択部122は、位置合わせ部103より、現在の処理工程における現在の作業状況を表す情報(例えば、前述の画像表示状態)を取得する。
図8は、対応点取得工程の作業状況としてのMRI画像の表示状態と、それに応じて動的に選択される表示画像の一例を示す図である。図8の画像形状810は、該処理工程で表示しているMRI画像の形状である。MRIの3次元画像を表示部130上で確認するため、位置合わせ部103では、MRI画像の任意断面を2次元画像(スライス画像)として切り出して表示する。スライス画像を切り出す断面は操作者の指示によって切り替えられる。例えば、体表付近の血管分岐を見つける場合は断面811からスライス画像を生成し、深部の血管分岐を見つける場合は断面812からスライス画像を生成する。基準選択部122は、作業状況を表す情報として、位置合わせ部103より得られた画面表示状態より、現在表示されているスライスの断面が「体表付近」あるいは「深部」の何れであるかを判定する。
(S720:作業状況に合わせた優先順位判断基準の選択)
ステップS720において、基準選択部122は、処理対象となる画像シリーズのモダリティ種別、現在の処理工程、および、該処理工程の中で動的に変更される現在の作業状況に対応した優先順位判断基準を選択する。そして、選択した優先順位判断基準を、優先順位判断部123へと送信する。
図9は、対応点取得工程におけるMRI画像シリーズの優先順位判断基準の一例を示す図である。図9に示すように、本実施形態では、モダリティ種別や処理工程が同じであっても、作業状況によって、異なる優先順位判断基準が設定されている。すなわち、被検体の体表付近を表示する際の優先順位判断基準901と、被検体の深部を表示する際の優先順位判断基準902とで、別々の基準が設定されている。例えば、優先順位判断基準901では血管造影画像が優先され、優先順位判断基準902では深部の血管が比較的明瞭に表示されるサブトラクション画像が優先される。これにより、夫々の作業工程に好適な画像が選択できるようになる。
本実施形態において表示画像を選択した結果を図8に示す。位置合わせ部103でMRI画像の体表付近の断面811におけるスライス画像を表示する際、優先順位判断部123は、優先順位判断基準901に沿って画像シリーズ410から「第2相」の画像413を選択し、位置合わせ部103に通知する。一方、MRI画像の深部の断面812におけるスライス画像を表示する際に、優先順位判断部123は、優先順位判断基準902に沿って画像シリーズ410から「差分1」の画像414を選択し、位置合わせ部103に通知する。ここで、図4に示すように、第1の画像シリーズ410には、画像種別として差分2の画像が含まれていないが、差分1の画像が含まれている。優先順位判断部123は、第1の画像シリーズ410から、対応点抽出に最も好適な差分2の画像を取得できない場合であっても、血管の描出に優れたサブトラクション画像の1つである「差分1」の画像414を選択し、位置合わせ部103に通知する。
現在画面に表示されているスライス画像として、図8に示すような体表付近の断面811におけるスライス画像が表示されている場合、優先順位判断部123による画像選択の結果により、画像シリーズ410から選択されたMRI第2相の画像413が表示される。また、深部付近の断面812におけるスライス画像が表示されている場合、画像シリーズ410から選択されたMRI差分1(第1相−Pre)の画像414が表示される。この処理は、操作者が表示断面の位置を変更するたびに行われ、自動的に表示に採用する画像が切り替わる。以上によって、本実施形態の画像処理装置100の処理が実施される。
本実施形態によれば、同一の処理工程内においても、表示断面などの表示状態を元に画像を選択することで、処理工程内で様々に切り替えられる表示断面に合わせた好適な画像を自動的に選択し、表示させることが可能になる。
<第3の実施形態(処理工程の処理方法(自動処理または手動処理)に応じて判断)>
第1、第2の実施形態では、それぞれの処理工程毎に処理方法が固定されていた。例えば、体表抽出工程は画像処理に基づく方法に固定されており、対応点取得工程は操作者による手作業での座標入力に基づく方法に固定されていた。本実施形態に係る画像処理装置は、どのような処理方法でそれぞれの処理工程を実行するかを操作者が選択可能とする。例えば、体表抽出工程において手作業に基づく処理方法を選択することや、対応点取得工程において画像処理に基づく処理方法を選択することができる。このとき、同じモダリティ種別の同じ処理工程であっても、選択した処理方法に応じて適切な優先順位判断基準を用いて画像選択を行う点が、上記の第1、第2の実施形態とは異なっている。以下、本実施形態に係る画像処理装置について、第1の実施形態との相違部分についてのみ説明する。
本実施形態に係る画像処理装置100の構成は第1の実施形態と同様である。しかし、位置合わせ部103と基準選択部122は第1の実施形態と一部の機能が異なるため、以下でその機能の差異を説明する。その他の構成については第1の実施形態と機能が同じであるため、同じ機能に関しては説明を省略する。また、本実施形態において、処理方法には、操作部120からの入力情報に基づいて、位置合わせ部103が処理工程の処理を実行する手動モードと、操作部120からの入力情報を介さずに、位置合わせ部103が処理工程の処理を実行する自動モードと、が含まれる。尚、処理方法の例は例示的なものであり、任意に設定し、追加することが可能である。
本実施形態に係る位置合わせ部103は、画像の変形位置合わせの各処理工程を、操作者の手作業による情報の入力に基づいて行う「手動モード」と、操作者の操作を介さずに画像処理に基づいて行う「自動モード」との2種類の処理方法の双方で行うことができる。操作者は、それぞれの処理工程を何れの処理方法で行うかを任意に選択可能であり、位置合わせ部103は操作者が選択した処理方法で各処理工程を実施する。ここで、体表抽出工程は画像シリーズ毎に行う処理であるので、処理方法は画像シリーズ毎に選択可能である。位置合わせ部103は、位置合わせの処理の実行に加えて、現在の処理工程における処理方法の情報を基準選択部122に通知する。基準選択部122は、現在の処理工程とモダリティ種別と現在の処理工程における処理方法の情報とに合わせた優先順位判断基準を選択する。
本実施形態に係る画像処理装置100の各部が行う動作と全体の処理手順は、図2で示した第1実施形態における画像処理装置100の処理手順と概ね同様である。ただし、ステップS211、S212、S221、およびS222で画像選択部102が行う処理が、第1の実施形態とは異なっている。また、ステップS213及びS223で位置合わせ部103が行う処理が、第1の実施形態とは異なっている。
(S211、S212、S221、S222:画像の選択)
ステップS211、S212、S221、S222のそれぞれにおいて、画像選択部102は、第1の実施形態と同様に、処理対象となる画像シリーズの画像から現在の処理工程に用いる画像を選択する。このとき、画像シリーズのモダリティ種別と現在の処理工程と該処理工程における処理方法の情報(「手動モード」または「自動モード」)とに応じた画像の選択を行う点が、第1の実施形態とは異なっている。これらのステップの処理の詳細は、図10のフローチャートを用いて後に詳しく説明する。
(S213:体表の抽出)
ステップS213において、位置合わせ部103は、ステップS211及びステップS212で選択された各画像を処理対象として、操作者が事前に選択した処理方法によって、夫々の画像から被検体の体表を抽出する処理を実行する。すなわち、処理方法が「自動モード」の場合には、第1の実施形態におけるステップS213と同様の処理を行う。一方、処理方法が「手動モード」の場合には、位置合わせ部103は、操作者の入力に基づく体表形状の取得を行う。例えば、位置合わせ部103は、選択画像をスライス表示した画像上で操作者が指定した体表上の複数の点の座標を取得し、これらの点を補間することによって形状を取得する。
(S223:対応点の取得)
ステップS223において、位置合わせ部103は、ステップS221及びステップS222で選択された各画像を処理対象として、操作者が事前に選択した処理方法によって、画像間の対応点を取得する処理を実行する。すなわち、処理方法が「手動モード」の場合には、第1の実施形態におけるステップS223と同様の処理を行う。一方、処理方法が「自動モード」の場合には、位置合わせ部103は、画像処理に基づく対応点の取得を行う。例えば、位置合わせ部103は、選択画像の夫々からインタレストオペレータを用いて血管分岐等の特徴点を自動抽出し、画像類似度等に基づいて画像間でのこれらの特徴点の対応付けを行う。この処理には、画像間での特徴点の対応付けを行う公知の手法を用いることができる。
次に、図10のフローチャートを用いて、ステップS211、S212、S221、およびS222において画像選択部102が行う画像選択処理の詳細を説明する。但し、本フローチャートにおいて、ステップS300、S301、およびS303〜S307の処理は図3と同じであるため説明は省略する。
(S1015:処理方法の取得)
ステップS1015において、基準選択部122は、実行対象となる処理工程に関して指定された処理方法の情報を取得する。基準選択部122は、位置合わせ部103から、実行対象となる処理工程(現在の処理工程)に関して、作業者が予め指定した「処理方法」の情報(「手動モード」または「自動モード」)を取得する。
(S1020:処理方法に合わせた優先順位判断基準の選択)
ステップS1020において、基準選択部122は、撮像装置(モダリティ)の種別と実行対象となる処理工程と処理方法の情報との組合せに対応した優先順位判断基準を選択する。すなわち、基準選択部122は、処理対象となる画像シリーズのモダリティ種別、実行対象となる処理工程(現在の処理工程)、および、ステップS1015で指定された処理方法の組合せに対応した優先順位判断基準を選択する。そして、基準選択部122は、選択した優先順位判断基準を、優先順位判断部123へと送信する。
図11は、対応点取得工程におけるMRI画像シリーズの、処理方法ごとの優先順位判断基準を示す図である。図11に示すように、本実施形態では、モダリティ種別や処理工程が同じであっても、処理方法が自動モードであるか手動モードであるかに応じて異なる優先順位判断基準が設定されている。「手動モード」用の優先順位判断基準1101は、第1の実施形態で示した図5の優先順位判断基準502と同様であり、操作者が血管を見つけやすい画像を優先するように優先順位判断基準が設定されている。一方、「自動モード」用の優先順位判断基準1102では、解像度不足での誤認識を避けるためにサブトラクション処理による画像のボケを避け、更に解像度の高い画像を優先するように優先順位判断基準が設定されている。
本実施形態において、「モダリティ種別」がMRI、処理方法が「自動モード」である場合に、対応点取得工程を処理すると、優先順位判断部123は、優先順位判断基準1102の第1の評価属性に基づいて、画像種別が差分画像以外である、Pre画像411、第1相画像412、第2相画像413、T1強調画像415を、画像シリーズ410から選択する。そして、第1の評価属性に基づいて選択された複数の画像の中から、優先順位判断部123は、第2の評価属性に基づいて、スライス厚が0.5mm以下のT1強調画像415を選択する。同様に、他の処理工程でも「自動モード」用の優先順位判断基準を定義することで、「自動モード」での画像変形位置合わせの全工程にて、画像選択が自動的に行われる。尚、基準選択部122は、処理方法の設定が変更された場合、撮像装置(モダリティ)の種別と実行対象となる処理工程と変更された処理方法の設定とに基づいて、優先順位判断基準を選択し、優先順位判断部123は、選択された優先順位判断基準の評価結果により、画像シリーズから画像を選択することが可能である。以上によって、画像処理装置100の処理が実施される。
本実施形態によれば、各処理工程の処理方法に応じた適切な画像の選択を行うことができる。これにより、全自動で推定変形を行う場合にも、推定変形を行うための好適な画像を処理工程ごとに自動的に採用して処理を行うことが可能になる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:画像処理装置、101:工程判断部、102:画像選択部、103:位置合わせ部、110:データサーバ、120:操作部、121:画像シリーズ情報取部、122:基準選択部、123:優先順位判断部、130:表示部、501〜504:優先順位判断基準

Claims (17)

  1. 異なる撮像シーケンスで被検体を撮像した複数種類の画像を含む画像シリーズ間で位置合わせを行う画像処理装置であって、
    位置合わせの対象である前記画像シリーズについて、当該画像シリーズの画像を撮像した撮像装置の種別と、前記位置合わせを行うための複数の処理工程のうち実行対象となる処理工程との組合せに対応した判断基準を選択する基準選択手段と、
    前記複数種類の画像に対する前記判断基準の評価結果に基づいて、前記画像シリーズから画像を選択する優先順位判断手段と、
    前記選択された画像を用いて前記処理工程の処理を実行する位置合わせ手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記複数の処理工程のうち、実行対象となる処理工程を、設定された実行順序に基づいて判断する工程判断手段と、
    前記画像シリーズの画像を撮像した撮像装置の種別の情報を取得する取得手段と、を更に備え、
    前記基準選択手段は、
    前記取得手段により取得された前記撮像装置の種別と、前記工程判断手段により判断された処理工程との組合せに対応した前記判断基準を選択することを特徴とする請求項1に記載の画像処理装置。
  3. 前記基準選択手段は、撮像装置の種別と前記位置合わせにおけるそれぞれの処理工程との組合せに対応した複数の判断基準の中から、前記組合せに対応した判断基準を選択することを特徴とする請求項2に記載の画像処理装置。
  4. 前記画像を選択するための評価属性として、画像種別が前記判断基準に指定されている場合、
    前記優先順位判断手段は、前記画像種別の指定順に基づいて、前記画像シリーズに含まれるそれぞれの画像の優先順位を定め、前記優先順位に従って前記画像シリーズから画像を選択することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記判断基準において最も優先順位の高い画像種別に対応する画像が前記画像シリーズに含まれていない場合、前記優先順位判断手段は、前記画像シリーズに含まれている画像の中で前記優先順位の高い画像を選択することを特徴とする請求項4に記載の画像処理装置。
  6. 前記優先順位判断手段は、前記優先順位に基づいて複数の画像を選択することを特徴とする請求項4または5に記載の画像処理装置。
  7. 前記画像を選択するための評価属性として、画像解析値が前記判断基準に定められている場合、
    前記取得手段は、前記画像シリーズに含まれるそれぞれの画像に対して画像解析処理を施すことにより画像解析値を取得し、
    前記優先順位判断手段は、前記画像シリーズに含まれている画像の中から、前記画像解析値が前記判断基準を満たす画像を選択することを特徴とする請求項2に記載の画像処理装置。
  8. 前記画像を選択するための評価属性として、画像解析値および画像種別が前記判断基準に定められている場合、
    前記優先順位判断手段は、前記画像解析値が前記判断基準を満たす画像のうち、前記画像種別の指定順に基づいて、前記画像シリーズに含まれるそれぞれの画像の優先順位を定め、前記優先順位に従って前記画像シリーズから画像を選択することを特徴とする請求項7に記載の画像処理装置。
  9. 前記位置合わせ手段は、前記処理工程の実行において、前記優先順位判断手段により選択された画像を表示手段に表示させることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記位置合わせ手段は、前記処理工程における操作者の作業状況を示す情報として、表示手段に表示されている被検者の部位を特定する特定情報を前記基準選択手段に通知し、
    前記基準選択手段は、前記撮像装置の種別と前記処理工程と前記特定情報との組合せに対応した判断基準を選択し、
    前記優先順位判断手段は、前記選択された判断基準の評価結果に基づいて、前記画像シリーズから画像を選択する
    ことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記特定情報が変更された場合、前記基準選択手段は、前記撮像装置の種別と前記処理工程と前記変更された特定情報とに基づいて、前記判断基準を選択し、
    前記優先順位判断手段は、前記選択された判断基準の評価結果に基づいて、前記画像シリーズから画像を選択することを特徴とする請求項10に記載の画像処理装置。
  12. 前記特定情報の変更により、前記優先順位判断手段が選択画像を変更した場合、前記位置合わせ手段は、前記選択画像の変更に基づいて、表示手段の画像表示を切り替えることを特徴とする請求項11に記載の画像処理装置。
  13. 前記基準選択手段は、
    前記実行対象となる処理工程に関して指定された処理方法の情報を取得し、
    前記撮像装置の種別と前記実行対象となる処理工程と前記処理方法の情報との組合せに対応した判断基準を選択することを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
  14. 前記処理方法には、操作手段からの入力情報に基づいて、前記位置合わせ手段が前記処理工程の処理を実行する手動モードと、前記操作手段からの入力情報を介さずに、前記位置合わせ手段が前記処理工程の処理を実行する自動モードと、が含まれることを特徴とする請求項13に記載の画像処理装置。
  15. 前記基準選択手段は、前記処理方法の設定が変更された場合、前記撮像装置の種別と前記処理工程と前記変更された処理方法の設定とに基づいて、前記判断基準を選択し、
    前記優先順位判断手段は、前記選択された判断基準の評価結果により、前記画像シリーズから画像を選択することを特徴とする請求項13または14に記載の画像処理装置。
  16. 異なる撮像シーケンスで被検体を撮像した複数種類の画像を含む画像シリーズ間で位置合わせを行う画像処理装置における画像処理方法であって、
    基準選択手段が、位置合わせの対象である前記画像シリーズについて、当該画像シリーズの画像を撮像した撮像装置の種別と、前記位置合わせを行うための複数の処理工程のうち実行対象となる処理工程との組合せに対応した判断基準を選択する工程と、
    優先順位判断手段が、前記複数種類の画像に対する前記判断基準の評価結果に基づいて、前記画像シリーズから画像を選択する工程と、
    位置合わせ手段が、前記選択された画像を用いて前記処理工程の処理を実行する工程と、
    を有することを特徴とする画像処理方法。
  17. コンピュータに、請求項16に記載の画像処理方法の各工程を実行させるためのプログラム。
JP2016167285A 2016-08-29 2016-08-29 画像処理装置、画像処理方法およびプログラム Active JP6768415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016167285A JP6768415B2 (ja) 2016-08-29 2016-08-29 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016167285A JP6768415B2 (ja) 2016-08-29 2016-08-29 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2018033545A JP2018033545A (ja) 2018-03-08
JP6768415B2 true JP6768415B2 (ja) 2020-10-14

Family

ID=61566472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016167285A Active JP6768415B2 (ja) 2016-08-29 2016-08-29 画像処理装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6768415B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237454B2 (ja) 2018-04-12 2023-03-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5380185B2 (ja) * 2009-07-09 2014-01-08 株式会社東芝 画像処理装置
JP5700964B2 (ja) * 2010-07-08 2015-04-15 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
WO2015044817A1 (en) * 2013-09-27 2015-04-02 Koninklijke Philips N.V. Image data z-axis coverage extension for tissue dose estimation
JP6476125B2 (ja) * 2013-10-08 2019-02-27 国立大学法人 東京大学 画像処理装置、及び手術顕微鏡システム

Also Published As

Publication number Publication date
JP2018033545A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
US10417517B2 (en) Medical image correlation apparatus, method and storage medium
JP5737858B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10008048B2 (en) Information processing apparatus and information processing method
US20190057504A1 (en) Image Processor, Image Processing Method, And Image Processing Program
US8705690B2 (en) Imaging method with improved display of a tissue region, imaging device, and computer program product
CN107169919B (zh) 用于3d医学体积的加速读取的方法和系统
US10692198B2 (en) Image processing apparatus, image processing method, image processing system, and non-transitory computer-readable storage medium for presenting three-dimensional images
US8150121B2 (en) Information collection for segmentation of an anatomical object of interest
JP6290780B2 (ja) 標本をスライスするスライシングスキームを生成するシステム、画像取得装置、ワークステーション、方法及びコンピュータプログラム
EP2930695B1 (en) Three dimensional orientation configuration apparatus, method and program
US20170360396A1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
EP2601637B1 (en) System and method for multi-modality segmentation of internal tissue with live feedback
JP6772123B2 (ja) 画像処理装置、画像処理方法、画像処理システムおよびプログラム
JP5422117B2 (ja) 医用画像処理装置、及び医用画像撮影装置
JP7122918B2 (ja) 画像処理装置および画像処理方法
WO2017216318A1 (en) A method and apparatus for mapping at least part of a structure in an image of at least part of a body of a subject
US20080101672A1 (en) Image processing method
JP6768415B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2006263282A (ja) 子宮の蠕動運動を可視化するための画像処理装置、画像処理方法および画像診断支援システム、ならびにそのためのコンピュータプログラムおよびそれを記録した記録媒体
JP6461743B2 (ja) 医用画像処理装置および医用画像処理方法
US20170018079A1 (en) Image processing device, method, and recording medium having stored therein program
JP6898047B2 (ja) 時変データの定量的評価
JP2004135867A (ja) 異常陰影候補検出方法及び異常陰影候補検出装置
JP2012147901A (ja) 画像表示装置、その制御方法及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R151 Written notification of patent or utility model registration

Ref document number: 6768415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151