JP5946153B2

JP5946153B2 - 画像処理装置、その作動方法およびプログラム

Info

Publication number: JP5946153B2
Application number: JP2015026070A
Authority: JP
Inventors: 嘉郎北村; 努井上
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2014-03-12
Filing date: 2015-02-13
Publication date: 2016-07-05
Anticipated expiration: 2035-02-13
Also published as: EP2919192A3; JP2015187836A; US10068148B2; EP2919192B1; EP2919192A2; US20150262026A1

Description

本発明は、画像から所定の対象領域を抽出するための画像処理装置、その作動方法およびプログラムに関するものである。

従来、画像のセグメンテーションをエネルギ最小化問題として定式化し、それをグラフカットアルゴリズムを用いて解く方法が知られている。たとえば、画像のセグメンテーションを、画像の各画素に対応する変数ｘ１，ｘ２，・・・，ｘｎにそれぞれ対象領域に属するかその他の領域に属するかを表す０，１の値（ラベル）を割り当てる問題として考え、その割り当て（すなわち、ラベル付け）が望ましいほどエネルギが小さくなる、下記の式（１）で表されるような２次のエネルギ関数Ｅを定義し、それを最小化する解を求める。

そして、非特許文献１には、このような最小化問題を解く方法として、エネルギがサブモジュラである場合は、最小切断アルゴリズムを用いて大域的に解を求め、エネルギが非サブモジュラである場合は、ＱＰＢＯ（Quadratic pseudo-boolean optimization）アルゴリズムを用いて最適解または近似解を求める方法が提案されている。

また、非特許文献２には、３次以上の高次のエネルギ関数の最小化問題を同値な２次のエネルギ関数の最小化問題に変換して解く方法が提案されており、非特許文献３には、高次のサブモジュラなエネルギを定義する際に、高次項の値が、その全ての変数に同じラベルが割り当てられた場合に最小値となり、異なるラベルが付与された変数の増加に伴い徐々にエネルギが高くなるようにすることで、画像のセグメンテーションにロバスト性を持たせた方法が提案されている。

Carsten Rother, Vladimir Kolmogorov, Victor Lempitsky, Martin Szummer,「Optimizing Binary MRFs via Extended Roof Duality」, CVPR, 2007. Carsten Rother, Pushmeet Kohli, Wei Feng, Jiaya Jia,「Minimizing Sparse Higher Order Energy Functions of Discrete Variables, CVPR」, 2009. Pushmeet Kohli,・L’ubor Ladicky,・Philip H.S. Torr,「Robust Higher Order Potentials for Enforcing Label Consistency」, 82(3), pp 302-324, International Journal of Computer Vision archive, 2009

ところで、画像処理の分野では、たとえば医用画像から臓器領域、腫瘍領域等の具体的な形状がある程度想定可能な対象領域を抽出する場合などにおいて、その抽出性能を向上させるために、対象領域の形状的特徴に基づいた高次のエネルギの効果的な使用が望まれているものの、非特許文献１乃至３のいずれにも、想定可能な形状を有する対象領域の抽出に適した高次のエネルギの利用方法は示されていない。

そこで、本発明では、想定可能な形状を有する対象領域をより正確かつロバストに抽出することができる画像処理装置、その作動方法およびプログラムを提供することを目的とする。

本発明の画像処理装置は、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理装置であって、対象領域の想定形状を設定する形状設定部と、画像において、設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、Ｎ次項の値が、選択された画素群の各画素に付与されたラベルの組合せが設定された対象領域の想定形状に合致するパターンである場合に最小値となり、パターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、設定されたエネルギ関数を最小化することによってラベル付けを行うラベリング部とを備えたことを特徴とする。

本発明の画像処理装置において、エネルギ関数設定部は、２値のラベルをそれぞれ１つ以上含むパターンを用いてエネルギ関数の設定を行うものであってもよい。

また、エネルギ関数設定部は、対象領域に属することを表すラベルのみからなるパターンを用いてエネルギ関数の設定を行うものであってもよい。この場合、エネルギ関数設定部は、画像において、選択された画素群の全画素が対象領域に属する場合にその他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含むエネルギ関数であって、Ｍ次項の値が、第２の画素群の各画素に付与されたラベルが全てその他の領域に属することを表すラベルである場合に第２の最小値となり、対象領域に属することを表すラベルが付与された画素の増加に伴い第２の最小値から段階的に増加するエネルギ関数を設定するものであってもよい。

また、本発明の画像処理装置において、エネルギ関数設定部は、選択された画素群の画素のうち、画素群の各画素に付与されたラベルの組合せがパターンである場合に想定される対象領域の輪郭からの距離が遠い画素ほど、その画素にパターンとは異なるラベルが付与されたことによるＮ次項の値の増加幅が大きくなるエネルギ関数を設定するものであってもよい。

また、本発明の画像処理装置において、形状設定部は、対象領域の想定形状として、複数の異なる形状を設定するものであり、エネルギ関数設定部は、設定されたそれぞれの形状に対応して、その形状を表す位置関係にあるＮ個の画素からなる画素群を選択し、各選択された画素群に対応して、その画素群の各画素のラベルを変数とするＮ次項を求め、それらのＮ次項の和を含むエネルギ関数を設定するものであって、各Ｎ次項の値が、そのＮ次項に対応する画素群の各画素に付与されたラベルの組合せがその画素群に対応する形状に合致するパターンである場合を最小値となり、そのパターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するエネルギ関数を設定するものであってもよい。

また、本発明の画像処理装置において、対象領域が腫瘍領域である場合、形状設定部は、対象領域の想定形状として、円形度の異なる複数の楕円を設定するものであってもよい。また、対象領域が筋肉領域である場合、形状設定部は、対象領域の想定形状として、曲率が変化する度合いが異なる複数の緩和曲線を設定するものであってもよい。また、対象領域が血管領域である場合、形状設定部は、対象領域の想定形状として、大きさと位置の両方、またはいずれか一方が異なる複数の円または球を設定するものであってもよい。また、対象領域が臓器領域である場合、形状設定部が、対象領域の想定形状として、主成分分析によって得られる主成分パラメータが異なる複数の臓器形状を設定するものであってもよい。

本発明の画像処理方法は、形状設定部と、エネルギ関数設定部と、ラベリング部とを備えた画像処理装置によって実行される、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理方法であって、形状設定部が、対象領域の想定形状を設定し、エネルギ関数設定部が、画像において、設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、Ｎ次項の値が、選択された画素群の各画素に付与されたラベルの組合せが設定された対象領域の想定形状に合致するパターンである場合に最小値となり、パターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するエネルギ関数を設定し、ラベリング部が、設定されたエネルギ関数を最小化することによってラベル付けを行うことを特徴とする。

本発明の画像処理プログラムは、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行うための画像処理プログラムであって、コンピュータを、対象領域の想定形状を設定する形状設定部と、画像において、設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、Ｎ次項の値が、選択された画素群の各画素に付与されたラベルの組合せが設定された対象領域の想定形状に合致するパターンである場合に最小値となり、パターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、設定されたエネルギ関数を最小化することによってラベル付けを行うラベリング部として機能させるためのものである。

また、上記画像処理プログラムは、通常、複数のプログラムモジュールからなり、上記各部の機能は、それぞれ、一または複数のプログラムモジュールにより実現される。これらのプログラムモジュール群は、ＣＤ−ＲＯＭ，ＤＶＤなどの記録メディアに記録され、またはサーバコンピュータに付属するストレージやネットワークストレージにダウンロード可能な状態で記録されて、ユーザに提供される。

本発明の画像処理装置、その作動方法、およびプログラムによれば、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う際に、対象領域の想定形状を設定し、画像において、設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、Ｎ次項の値が、選択された画素群の各画素に付与されたラベルの組合せが設定された対象領域の想定形状に合致するパターンである場合に最小値となり、そのパターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するようにしているので、対象領域の形状により適合したラベル付けの結果を得ることができるとともに、対象領域の実際の形状が想定形状から多少逸脱する場合にも柔軟に対応することができる。その結果、想定可能な形状を有する対象領域をより正確かつロバストに抽出することができる。

画像処理装置の概略構成を示す図画像処理装置に実装された機能を示すブロック図腫瘍領域の想定形状を設定する方法を説明するための図筋肉領域の想定形状を設定する方法を説明するための図臓器領域の想定形状を設定する方法を説明するための図非サブモジュラを説明するための図サブモジュラを説明するための図追加のサブモジュラを説明するための図サブモジュラなＮ次項のエネルギを表すグラフ非サブモジュラなＮ次項のエネルギを表すグラフ重み係数を想定形状の輪郭からの距離に応じて段階的に設定した例を示す図重み係数の段階的な設定により得られる効果を説明するための図重み係数の段階的な設定により得られる効果を説明するための図複数の形状にそれぞれ対応可能なエネルギ関数の設定を説明するための図画像生成装置により行われる処理の流れを示すフローチャート

以下、本発明の実施形態について図面を参照して説明する。本発明に係る画像処理装置１は、画像処理プログラムがコンピュータにロードされて実行されることにより実現する。図１に示すように、画像処理装置１は、ＣＰＵ（Central Processing Unit）２およびメモリ３を備え、さらに、ＨＤＤ（Hard Disk Drive）等のストレージ４を備えている。また、画像処理装置１には、ディスプレイ等の表示装置５と、マウス、キーボード等の入力装置６が接続されている。

画像処理プログラムとそのプログラムが参照するデータは、ストレージ４に記憶され、起動時にメモリにロードされる。画像処理プログラムは、ＣＰＵに実行させる処理として、画像データ入力処理と、形状設定処理と、エネルギ関数設定処理と、ラベリング処理と、表示制御処理とを規定している。そして、プログラムの規定にしたがって、ＣＰＵが上記各処理を実行することにより、コンピュータは、図２に示すような、画像データ入力部４１と、形状設定部４２と、エネルギ関数設定部４３と、ラベリング部４４と、表示制御部４５として機能する。ここで、図２は、画像処理装置１に実装された機能をブロック化して模式的に表したものである。

画像データ入力部４１は、抽出すべき対象領域を含む画像処理対象の画像Ｐ（２次元あるいは３次元の画像データ）の入力を受け付け、ストレージ４に記憶するものである。このとき、対象領域は、たとえば臓器領域、腫瘍領域等の具体的な形状がある程度想定可能な領域であるとする。

形状設定部４２が、対象領域の想定形状を設定するものである。対象領域の想定形状は、手動または自動で設定することができる。自動の場合、たとえば、抽出処理の対象となり得る領域の種類ごとに想定される形状を予め登録しておき、その中からこれから抽出すべき対象領域の想定形状を取得し設定することができる。手動の場合、対象領域の想定される形状を指定するユーザによる入力を受け付け、その指定された形状を想定形状として設定することができる。

形状設定部４２は、対象領域の想定形状として、１つの形状を設定するものであってもよいし、複数の異なる形状を設定するものであってもよい。たとえば対象領域が長径が特定可能な楕円（真円を含む）状の腫瘍領域である場合、対象領域の想定形状として、図３に示すような長径ｄを共有する円形度の異なる複数の楕円Ｓｋ（ｋ＝１,２,・・・）を設定することができる。

また、ＣＴ画像から大腰筋を抽出する場合など、対象領域が筋肉の両端点を特定可能な筋肉領域である場合は、対象領域の想定形状として、図４に示すような、両端点Ｃ１,Ｃ２を共有する曲率が変化する度合いが異なる複数の緩和曲線Ｓｋ（ｋ＝１,２,・・・）を設定することができる。このとき、緩和曲線は多項式で表現され、その多項式のパラメータを変えることで曲率が変化する度合いが異なる複数の緩和曲線を生成することができる。

また、対象領域が血管領域である場合は、対象領域の想定形状として、大きさや位置が異なる複数の円または球を設定することができる。また、対象領域が臓器領域である場合は、たとえばＡＳＭ(Active Shape Model)のように、臓器領域の形状を主成分分析や独立成分分析等を行って平均形状Ｓ１と平均形状を変形するためのベクトルを求め、図５に示すように、その各ベクトルのパラメータを変えることで得られる複数の臓器形状Ｓｋ（ｋ＝１,２,・・・）を、対象領域の想定形状として設定することができる。なお、図５において、ｕ１は第１主成分であり、ｕ２は第２主成分である。

また、形状設定部４２は、上述の方法により対象領域の想定形状を設定する機能に加えて、または代えて、画像データ入力部４１において入力を受け付けた画像処理対象の画像Ｐを解析し、その解析結果に基づいて対象領域の想定形状を設定する機能を有することができる。たとえば、画像処理対象の画像Ｐから任意の方法により対象領域の輪郭を仮抽出し、その仮抽出された輪郭に対して主成分分析を行って１以上の主成分パラメータを求め、求められた主成分パラメータを変えることで得られる複数の形状を対象領域の想定形状として設定することができる。たとえば、画像処理対象の画像Ｐが腹部のアキシャル断面画像であり、対象領域が腹腔である場合、画像Ｐ中の骨および肺野（空気）の領域に関する情報に基づいて腹腔の輪郭を粗抽出し、その抽出された輪郭に対して主成分分析を行って１以上の主成分パラメータ等を求め、求められた主成分パラメータを変えることで得られる複数の形状を対象領域の想定形状として設定する。

エネルギ関数設定部４３は、画像の各画素に対応する変数ｘ_１，ｘ_２，・・・，ｘ_ｎのそれぞれに対象領域に属するかその他の領域に属するかを表す０，１の値（ラベル）を割り当てる各場合に対してエネルギ値を与える関数であって、その割り当て（すなわち、ラベル付け）が表す領域分割が望ましいほどエネルギ値が小さくなるようなエネルギ関数Ｅを設定するものである。たとえば、下記式（２）に示すようなエネルギ関数Ｅを設定する。

上記式（２）において、第１項のエネルギΣＥⁱ(ｘ_ｉ)は、個々の画素に割り当てられるラベルを変数とする１次項であり、第２項のエネルギΣＥ^ｉｊ(ｘ_ｉ,ｘ_ｊ)は、隣接する２画素の組のラベルを変数とする２次項である。

また、第３項のエネルギΣＥ^ｃ（Ｘ_ｃ）は、対象領域の想定形状を表す位置関係にあるものとして選択された、４以上の自然数であるＮ個の画素からなる画素群のラベルを変数とするＮ次項であり、その値が、画素群の各画素に付与されたラベルの組合せが対象領域の想定形状に合致するパターンである場合に最小値となり、そのパターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するように設定されたものである。なお、ここでは、形状設定部４２により設定された想定形状が１つである場合についてまず説明をし、複数の異なる形状である場合については後述する。

ここで、対象領域の想定形状を表す位置関係にあるＮ個の画素というのは、想定形状（前述した円、楕円、緩和曲線などの抽出したい形状）のたとえば輪郭に沿って分布する画素群など、その配置およびラベルの組合せにより、対象領域全体の大まかな形状を描出可能とする画素群を意味する。

また、対象領域の想定形状を表す位置関係にあるＮ個の画素の選択は、前記第３項のエネルギΣＥｃ（Ｘｃ）におけるエネルギの設定の仕方がサブモジュラと非サブモジュラの２通りのうちのどちらであるかによって異なってくる。非サブモジュラでは、図６に示すように、図中円領域で示す対象領域内の画素に対象領域を表すラベル１が割り当てられ、かつ、その他の領域内の画素に対象領域ではないその他の領域であることを表すラベル０が割り当てられているときにエネルギ値が小さくなるように設定されるので、前記Ｎ個の画素としては、想定形状の内外でそれぞれ１以上の画素を選択する。

また、サブモジュラでは、図７に示すように対象領域内の画素に対象領域を表すラベル１が割り当てられているときにエネルギ値が小さくなるように設定されるので、前記Ｎ個の画素全てを想定形状の内側で選択する。このサブモジュラの場合は、さらに、図８に示すようにその他の領域内の画素にその他の領域であることを表すラベル０が割り当てられているときエネルギ値が小さくなるエネルギを足し加えるようにしてもよい。

この足し加えられるエネルギーとしては、想定形状の外側に位置する、４以上の自然数であるＭ個の画素からなる第２の画素群のラベルを変数とするＭ次項であって、その値が、第２の画素群の各画素に付与されたラベルが全てその他の領域に属することを表すラベル０である場合に第２の最小値となり、対象領域に属することを表すラベル１が付与された画素の増加に伴い第２の最小値から段階的に増加するように設定することができる。

下記式（３）は、サブモジュラの場合に前記第３項のエネルギΣＥ^ｃ（Ｘ_ｃ）として採用可能なエネルギ関数の一例を示すものである。下記式（３）において、α_i（ｉ＝１,２,・・・ｎ）はそれぞれの変数ｘ_i∈｛１，０｝に割り当てられた重み係数であり、γは打ち切り係数であり、ｚ∈｛１，０｝は補助変数である。下記式（３）では、エネルギΣＥ^ｃ（Ｘ_ｃ）は、変数ｘ_iの全てに１の値（ラベル）が付与された場合に最小値となり、Σα_iｘ_iがγ以下の範囲内において、０の値（ラベル）が付与された変数の増加に伴い徐々に増加し、Σα_iｘ_iがγを超える範囲では、一定な最大値０をとることとなる。

また、図９は、上記式（３）をグラフで表現したものであり、グラフの頂点をSink点を含む頂点群とSource点を含む頂点群に２分するために必要なカットのうち最小なものの大きさが上記式（３）のエネルギ関数により与えられるエネルギ値の最小値と一致する。

また、下記式（４）は、非サブモジュラの場合に前記第３項のエネルギΣＥｃ（Ｘｃ）として採用可能なエネルギ関数の一例を示すものである。下記式（４）において、αi（ｉ＝１,２,・・・ｎ）はそれぞれの変数ｘi∈｛１，０｝に割り当てられた重み係数であり、ｚ０，ｚ１∈｛１，０｝は補助変数である。また、Ｓ０（Ｘ０）は、ラベル付けＸ０において０のラベルが付与された変数の集合であり、Ｓ０（Ｘ１）は、ラベル付けＸ０において１のラベルが付与された変数の集合である。また、θ（＞０）は実数である。また、図１０は、下記式（４）をグラフで表現したものである。

上記式（４）は、前記Ｎ個の画素からなる画素群の各画素に付与されたラベルの組合せが対象領域の想定形状に合致するパターンである場合に最小値０を与え、かつ、その他の場合はθ（＞０）の値を与える多項式のエネルギ関数（擬ブール式）を求め、その求められた高次のエネルギ関数の最小化問題を、補助変数ｚ_０，ｚ_１を用いて、下記式（５）に示すような２次のエネルギ関数の最小化問題に変換し（Ｔｙｐｅ−Ｉ変換：非特許文献２参照）、さらに、それぞれの変数ｘ_iに割り当てられる重み係数α_iを付加したものである。

これにより、上記式（４）では、エネルギΣＥ^ｃ（Ｘ_ｃ）は、前記Ｎ個の画素からなる画素群の各画素に付与されたラベルの組合せが対象領域の想定形状に合致するパターンである場合に最小値をとり、そのパターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加することとなる。

また、上記式（３）または式（４）により規定される前記第３項のエネルギΣＥ^ｃ（Ｘ_ｃ）において、それぞれの変数ｘ_iに割り当てられる重み係数α_iには、全て同じ値となるように決定してもよいが、その変数が表す画素が前記想定形状の輪郭からの距離が遠い画素であるほど、大きくなるように決定することもできる。特に、重み係数α_iを想定形状の輪郭からの距離に応じて異なる値となるように決定した場合は、想定形状の輪郭からの距離が遠い画素ほど、その画素に対象領域の想定形状に合致するパターンとは異なるラベルが付与されたことによるエネルギ値（Ｎ次項の値）の増加幅が大きくなり、重み係数α_iが全て同じ値となるように決定した場合よりも、対象領域の形状により適合したラベル付けの結果を得ることができる。

たとえば図１１に示すように、対象領域の想定形状の輪郭Ｓから内側１ピクセル内の各画素の重みとして１の値を、そのさらに内側1ピクセル内の各画素の重みとして２の値を、そのさらに内側1ピクセル内の各画素の重みとして３の値をそれぞれ割り当てておくと、図１２や図１３に示すような、想定形状との面積の差異がいずれも同じである２つの領域ＡとＢが考えられる場合において、前記面積の差異は対象領域の想定形状に合致するパターンとは異なるラベル付けがなされた領域に相当するところ、想定形状と相似形ではない領域Ｂでは、前記面積の差異を形成する部分において、想定形状と相似形である領域Ａよりも、想定形状の輪郭からの距離が遠い画素を多く含んでいることから、領域Ａの場合が領域Ｂの場合よりもエネルギが小さくなり、より望ましいラベル付けと判断されることとなる。

また、エネルギ関数設定部４３は、形状設定部４２により設定された想定形状が複数の異なる形状である場合には、それぞれの形状に対応して、上記式（２）の第３項のようなＮ次項のエネルギを設け、上記式（２）に全て足し加えてなるエネルギ関数Ｅを設定する。この場合、たとえば図１４に示すように、複数の形状にそれぞれ対応して設けられたエネルギＥｍ(ｍ＝１,２,・・・）が足し合わせられた状態となり、各エネルギにおいて最小値を与える条件、すなわちラベル付けの結果がそのエネルギに対応する形状に合致することが、全体のエネルギ関数Ｅにおいても極小値を与える条件となり、その結果、それらの複数の形状にそれぞれ対応可能なエネルギ関数Ｅを提供することができる。

ラベリング部４４は、エネルギ関数設定部４３により設定されたエネルギ関数Ｅを最小化することによって、画像Ｐの各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行うものである。ラベリング部４４は、基本的には、エネルギ関数Ｅがサブモジュラである場合は、最小切断アルゴリズムを用いて大域的に解を求め、エネルギが非サブモジュラである場合は、ＱＰＢＯ（Quadratic pseudo-boolean optimization）アルゴリズムを用いて最適解または近似解を求める（非特許文献１参照）。エネルギ関数Ｅが３次以上の高次のエネルギ関数である場合は、その最小化問題を上述した式（３）または式（４）によって同値な２次のエネルギ関数の最小化問題に変換して解くことにより、最適解を求める。

表示制御部４５は、ラベリング部４４によるラベル付けの結果として、対象領域の範囲が枠線等で表された画像Ｐを表示装置上に表示するものである。

次に、画像処理装置１により行われる処理の流れを、図１５に示すフローチャートを参照して説明する。まず、画像データ入力部４１が、抽出すべき対象領域を含む画像処理対象の画像Ｐの入力を受け付け、ストレージ４に記憶する（Ｓ１）。次に、形状設定部４２が、抽出すべき対象領域の想定形状を設定する（Ｓ２）。そして、エネルギ関数設定部４３が、画像の各画素に対応する変数のそれぞれに対象領域に属するかその他の領域に属するかを表す２値のラベルを割り当てる各場合に対してエネルギ値を与える関数であって、その割り当てが表す領域分割が望ましいほどエネルギ値が小さくなるようなエネルギ関数Ｅを設定する（Ｓ３）。このとき、エネルギ関数Ｅとしては、ステップＳ２において設定された想定形状を表す位置関係にある、Ｎ個（Ｎは４以上の自然数）の画素からなる画素群の各画素のラベルを変数とするＮ次項を含み、そのＮ次項の値が、前記画素群の各画素に付与されたラベルの組合せが対象領域の想定形状に合致するパターンである場合に最小値となり、そのパターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するものとする。また、このとき、エネルギ関数設定部４３は、抽出処理の対象となり得る領域の種類ごとにエネルギ関数を予め登録しておき、その中からこれから抽出すべき対象領域に対応するエネルギ関数を取得し設定することができる。

次に、ラベリング部４４が、ステップＳ３において設定されたエネルギ関数Ｅを最小化することによって、画像Ｐの各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う（Ｓ４）。このとき、ラベリング部４４は、たとえば画像の各画素にラベルを割り当てる各場合に与えられるエネルギ算出し、エネルギが最小になるラベルの割り当てを最終結果として出力することができる。そして、表示制御部４５が、対象領域に属することを表すラベルが割り当てられた範囲が枠線等で表された画像Ｐを表示装置１に表示させ（Ｓ５）、処理を終了する。

以上の構成により、本実施形態の画像処理装置１によれば、画像Ｐの各画素に抽出すべき対象領域に属するかその他の領域に属するかの２値のラベルづけを行う際に、形状設定部４２が、対象領域の想定形状を設定し、エネルギ関数設定部４３が、画像Ｐにおいて、設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数Ｅであって、Ｎ次項の値が、選択された画素群の各画素に付与されたラベルの組合せが設定された対象領域の想定形状に合致するパターンである場合に最小値となり、そのパターンとは異なるラベルが付与された画素の増加に伴い最小値から段階的に増加するように設定し、ラベリング部４４が、その設定されたエネルギ関数Ｅを最小化することによってラベル付けを行っているので、対象領域の形状により適合したラベル付けの結果を得ることができるとともに、対象領域の実際の形状が想定形状から多少逸脱する場合にも柔軟に対応することができる。その結果、想定可能な形状を有する対象領域をより正確かつロバストに抽出することができる。

さらに、上記実施形態において、Ｎ次項中の重み係数α_iを、対応する変数が表す画素が想定形状の輪郭からの距離が遠い画素であるほど、大きくなるように決定することにより、想定形状の輪郭からの距離が遠い画素ほど、その画素に対象領域の想定形状に合致するパターンとは異なるラベルが付与されたことによるエネルギ値（Ｎ次項の値）の増加幅が大きくなるようにエネルギ関数Ｅを設定するようにした場合には、重み係数α_iが全て同じ値となるように決定した場合よりも、対象領域の形状により適合したラベル付けの結果を得ることができる。

さらに、本手法は、対象領域と対象領域外の２値のラベリングを行う場合に限らず、３値以上の多値のラベリングを行う問題にも適用することができる。例えばラベルｘ_ｉが１，２，…のl通りある場合には、所定の方法で、例えばｘ_ｉ＜ｋの場合は０、ｘ_ｉ＝ｋまたはｘ_ｉ＞ｋの場合は１と２値に符号化してから、本手法を適用しても良い。多値を２値に符号化する手法については、S. Ramalingam, P. Kohli, K. Alahari, P.H.S. Torr,: Exact inference in multi-label CRFs with higher order cliques, Proc. CVPR, (2008)の記載を参照することができる。

１画像処理装置
２ＣＰＵ
３ストレージ
４メモリ
５表示装置
６入力装置

Claims

画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理装置であって、
前記対象領域の想定形状を設定する形状設定部と、
前記画像において、前記設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、
前記設定されたエネルギ関数を最小化することによって前記ラベル付けを行うラベリング部とを備え、
前記エネルギ関数設定部が、前記２値のラベルをそれぞれ１つ以上含む前記パターンを用いて前記エネルギ関数の設定を行うものであり、かつ、
前記エネルギ関数設定部が、さらに、前記画像において、前記選択された画素群の全画素が前記対象領域に属する場合に前記その他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、該選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含む前記エネルギ関数であって、前記Ｍ次項の値が、前記第２の画素群の各画素に付与されたラベルが全て前記その他の領域に属することを表すラベルである場合に第２の最小値となり、前記対象領域に属することを表すラベルが付与された画素の増加に伴い前記第２の最小値から段階的に増加する前記エネルギ関数を設定するものである画像処理装置。
画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理装置であって、
前記対象領域の想定形状を設定する形状設定部と、
前記画像において、前記設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、
前記設定されたエネルギ関数を最小化することによって前記ラベル付けを行うラベリング部とを備え、
前記エネルギ関数設定部が、前記対象領域に属することを表すラベルのみからなる前記パターンを用いて前記エネルギ関数の設定を行うものであり、かつ、
前記エネルギ関数設定部が、さらに、前記画像において、前記選択された画素群の全画素が前記対象領域に属する場合に前記その他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、該選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含む前記エネルギ関数であって、前記Ｍ次項の値が、前記第２の画素群の各画素に付与されたラベルが全て前記その他の領域に属することを表すラベルである場合に第２の最小値となり、前記対象領域に属することを表すラベルが付与された画素の増加に伴い前記第２の最小値から段階的に増加する前記エネルギ関数を設定するものである画像処理装置。
前記エネルギ関数設定部が、前記画素群の画素のうち、前記想定形状の輪郭からの距離が遠い画素ほど、その画素に前記パターンとは異なるラベルが付与されたことによる前記Ｎ次項の値の増加幅が大きくなる前記エネルギ関数を設定するものである請求項１または
２記載の画像処理装置。
画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理装置であって、
前記対象領域の想定形状を設定する形状設定部と、
前記画像において、前記設定された想定形状を表す位置関係にある、４以上の自然数であるＮ個の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、
前記設定されたエネルギ関数を最小化することによって前記ラベル付けを行うラベリング部とを備え、
前記形状設定部が、前記対象領域の想定形状として、複数の異なる形状を設定するものであり、
前記エネルギ関数設定部が、前記設定されたそれぞれの形状に対応して、その形状を表す位置関係にあるＮ個の画素からなる画素群を選択し、該各選択された画素群に対応して、その画素群の各画素のラベルを変数とするＮ次項を求め、それらのＮ次項の和を含む前記エネルギ関数を設定するものであって、前記各Ｎ次項の値が、該Ｎ次項に対応する画素群の各画素に付与されたラベルの組合せがその画素群に対応する前記形状に合致するパターンである場合を最小値となり、該パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するものである画像処理装置。
前記対象領域が腫瘍領域であり、
前記形状設定部が、前記複数の形状として、円形度の異なる複数の楕円を設定するものである請求項４記載の画像処理装置。
前記対象領域が筋肉領域であり、
前記形状設定部が、前記複数の形状として、曲率が変化する度合いが異なる複数の緩和曲線を設定するものである請求項４記載の画像処理装置。
前記対象領域が血管領域であり、
前記形状設定部が、前記複数の形状として、大きさと位置の両方、またはいずれか一方が異なる複数の円または球を設定するものである請求項４記載の画像処理装置。
前記対象領域が臓器領域であり、
前記形状設定部が、前記複数の形状として、主成分分析によって得られる主成分パラメータが異なる複数の臓器形状を設定するものである請求項４記載の画像処理装置。
前記形状設定部が、前記画像を解析し、該解析の結果に基づいて前記対象領域の想定形状を設定するものであることを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
前記形状設定部が、前記画像から前記対象領域の輪郭を仮抽出し、該仮抽出された輪郭に対して主成分分析を行って１以上の主成分パラメータを求め、該求められた主成分パラメータを変えることで得られる複数の形状を前記対象領域の想定形状として設定するものであることを特徴とする請求項９記載の画像処理装置。
形状設定部と、エネルギ関数設定部と、ラベリング部とを備えた、画像処理装置において、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理方法であって、
前記形状設定部が、前記対象領域の想定形状を設定するステップと、
前記エネルギ関数設定部が、前記画像において、前記設定された対象領域の想定形状を表す位置関係にあるＮ個（ただし、Ｎは４以上の自然数である）の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するステップと、
前記ラベリング部が、前記設定されたエネルギ関数を最小化することによって、前記ラベル付けを行うステップとを含み、
前記エネルギ関数を設定するステップが、前記２値のラベルをそれぞれ１つ以上含む前記パターンを用いて前記エネルギ関数の設定を行うものであり、かつ、
前記エネルギ関数を設定するステップが、さらに、前記画像において、前記選択された画素群の全画素が前記対象領域に属する場合に前記その他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、該選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含む前記エネルギ関数であって、前記Ｍ次項の値が、前記第２の画素群の各画素に付与されたラベルが全て前記その他の領域に属することを表すラベルである場合に第２の最小値となり、前記対象領域に属することを表すラベルが付与された画素の増加に伴い前記第２の最小値から段階的に増加する前記エネルギ関数を設定するものである画像処理方法。
形状設定部と、エネルギ関数設定部と、ラベリング部とを備えた、画像処理装置において、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理方法であって、
前記形状設定部が、前記対象領域の想定形状を設定するステップと、
前記エネルギ関数設定部が、前記画像において、前記設定された対象領域の想定形状を表す位置関係にあるＮ個（ただし、Ｎは４以上の自然数である）の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するステップと、
前記ラベリング部が、前記設定されたエネルギ関数を最小化することによって、前記ラベル付けを行うステップとを含み、
前記エネルギ関数を設定するステップが、前記対象領域に属することを表すラベルのみからなる前記パターンを用いて前記エネルギ関数の設定を行うものであり、かつ、
前記エネルギ関数を設定するステップが、さらに、前記画像において、前記選択された画素群の全画素が前記対象領域に属する場合に前記その他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、該選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含む前記エネルギ関数であって、前記Ｍ次項の値が、前記第２の画素群の各画素に付与されたラベルが全て前記その他の領域に属することを表すラベルである場合に第２の最小値となり、前記対象領域に属することを表すラベルが付与された画素の増加に伴い前記第２の最小値から段階的に増加する前記エネルギ関数を設定するものである画像処理方法。
形状設定部と、エネルギ関数設定部と、ラベリング部とを備えた、画像処理装置において、画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行う画像処理方法であって、
前記形状設定部が、前記対象領域の想定形状を設定するステップと、
前記エネルギ関数設定部が、前記画像において、前記設定された対象領域の想定形状を表す位置関係にあるＮ個（ただし、Ｎは４以上の自然数である）の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するステップと、
前記ラベリング部が、前記設定されたエネルギ関数を最小化することによって、前記ラベル付けを行うステップとを含み、
前記想定形状を設定するステップが、前記対象領域の想定形状として、複数の異なる形状を設定するものであり、
前記エネルギ関数を設定するステップが、前記設定されたそれぞれの形状に対応して、その形状を表す位置関係にあるＮ個の画素からなる画素群を選択し、該各選択された画素群に対応して、その画素群の各画素のラベルを変数とするＮ次項を求め、それらのＮ次項の和を含む前記エネルギ関数を設定するものであって、前記各Ｎ次項の値が、該Ｎ次項に対応する画素群の各画素に付与されたラベルの組合せがその画素群に対応する前記形状に合致するパターンである場合を最小値となり、該パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するものである画像処理方法。
画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行うための画像処理プログラムであって、
コンピュータを、
前記対象領域の想定形状を設定する形状設定部と、
前記画像において、前記設定された対象領域の想定形状を表す位置関係にあるＮ個（ただし、Ｎは４以上の自然数である）の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、
前記設定されたエネルギ関数を最小化することによって、前記ラベル付けを行うラベリング部として機能させ、
前記エネルギ関数設定部が、前記２値のラベルをそれぞれ１つ以上含む前記パターンを用いて前記エネルギ関数の設定を行い、かつ、
前記エネルギ関数設定部が、さらに、前記画像において、前記選択された画素群の全画素が前記対象領域に属する場合に前記その他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、該選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含む前記エネルギ関数であって、前記Ｍ次項の値が、前記第２の画素群の各画素に付与されたラベルが全て前記その他の領域に属することを表すラベルである場合に第２の最小値となり、前記対象領域に属することを表すラベルが付与された画素の増加に伴い前記第２の最小値から段階的に増加する前記エネルギ関数を設定するための画像処理プログラム。
画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行うための画像処理プログラムであって、
コンピュータを、
前記対象領域の想定形状を設定する形状設定部と、
前記画像において、前記設定された対象領域の想定形状を表す位置関係にあるＮ個（ただし、Ｎは４以上の自然数である）の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、
前記設定されたエネルギ関数を最小化することによって、前記ラベル付けを行うラベリング部として機能させ、
前記エネルギ関数設定部が、前記対象領域に属することを表すラベルのみからなる前記パターンを用いて前記エネルギ関数の設定を行い、かつ、
前記エネルギ関数設定部が、さらに、前記画像において、前記選択された画素群の全画素が前記対象領域に属する場合に前記その他の領域に属するであろう位置にある、４以上の自然数であるＭ個の画素からなる第２の画素群をさらに選択し、該選択された第２の画素群の各画素のラベルを変数とするＭ次項をさらに含む前記エネルギ関数であって、前記Ｍ次項の値が、前記第２の画素群の各画素に付与されたラベルが全て前記その他の領域に属することを表すラベルである場合に第２の最小値となり、前記対象領域に属することを表すラベルが付与された画素の増加に伴い前記第２の最小値から段階的に増加する前記エネルギ関数を設定するための画像処理プログラム。
画像の各画素に対象領域に属するかその他の領域に属するかの２値のラベルづけを行うための画像処理プログラムであって、
コンピュータを、
前記対象領域の想定形状を設定する形状設定部と、
前記画像において、前記設定された対象領域の想定形状を表す位置関係にあるＮ個（ただし、Ｎは４以上の自然数である）の画素からなる画素群を選択し、該選択された画素群の各画素のラベルを変数とするＮ次項を含むエネルギ関数であって、前記Ｎ次項の値が、前記画素群の各画素に付与されたラベルの組合せが前記設定された対象領域の想定形状に合致するパターンである場合に最小値となり、前記パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するエネルギ関数設定部と、
前記設定されたエネルギ関数を最小化することによって、前記ラベル付けを行うラベリング部として機能させ、
前記形状設定部が、前記対象領域の想定形状として、複数の異なる形状を設定し、
前記エネルギ関数設定部が、前記設定されたそれぞれの形状に対応して、その形状を表す位置関係にあるＮ個の画素からなる画素群を選択し、該各選択された画素群に対応して、その画素群の各画素のラベルを変数とするＮ次項を求め、それらのＮ次項の和を含む前記エネルギ関数を設定するものであって、前記各Ｎ次項の値が、該Ｎ次項に対応する画素群の各画素に付与されたラベルの組合せがその画素群に対応する前記形状に合致するパターンである場合を最小値となり、該パターンとは異なるラベルが付与された画素の増加に伴い前記最小値から段階的に増加するエネルギ関数を設定するための画像処理プログラム。