JP6183038B2 - 領域抽出装置、領域抽出方法およびプログラム - Google Patents

Description

本発明は、領域抽出装置、領域抽出方法およびプログラムに関する。

従来、プロダクションプリンティング（商用印刷市場や企業内印刷市場向け高速複写機による印刷）において、印刷された画像に対し、クリアトナー（透明トナー）を用いた光沢度変更や、金属色、蛍光色等の特色等により特殊効果を与えるための版データを作成する技術が知られている。

さらに、特殊効果を与える領域を特定する方法としては、ユーザが特殊効果を与えたい領域を少数指定し、システムが局所特徴量を用いた類似領域検索により、自動的に指定された領域に類似する領域を抽出し、輪郭抽出処理（グラフカット等）によって、領域の輪郭を自動的に抽出するものが既に知られている。

さらに、特許文献１には、オブジェクトの背景の変化に左右されずに高精度な画像検索を実現する目的で、クエリ画像のオブジェクトと背景領域とを分離する輪郭線を指定し、クエリ画像の複数の局所特徴量を抽出し、オブジェクト領域のみの局所特徴量を用いてデータベースを検索し、複数の候補画像を取得し、その後、クエリ画像について、要素特徴量を部分領域ごとに計算し、クエリ画像に対し、輪郭線を含む各部分領域の要素特徴量を、部分領域の周辺の部分領域の要素特徴量を用いて再計算し、更に、オブジェクト領域のみについて、再計算されたクエリ画像の各部分領域の要素特徴量と各候補画像のデータベースに登録されている要素特徴量とを比較してクエリ画像に対する各候補画像の類似度を算出し、その類似度の高い画像を検索結果として選択し出力する方法が開示されている。

しかしながら、例えば、葉の上の水滴の画像など自動抽出が難しい画像に対しては、上述のように、特殊効果を与える領域を少数指定し類似領域検索等を行う技術や、特許文献１の技術では、特徴点が少数しか検出されず、十分な数の類似領域を得ることができない。また、検出数を増やすために閾値を下げた場合には、ノイズ的な検出が増加し、水滴の輪郭ではなく、ハイライト部分が誤検出されてしまうといった問題があった。

本発明は、上記に鑑みてなされたものであって、精度良く画像中の所定の領域を抽出することのできる領域抽出装置、領域抽出方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像データから所定の領域を抽出する領域抽出装置であって、処理対象の画像データの各画素の輝度値に対し閾値処理を施し、前記画像データから、周辺領域に比べて輝度の高い高輝度領域と、周辺領域に比べて輝度の低い低輝度領域を抽出する領域抽出部と、前記領域抽出部により抽出された前記高輝度領域と前記低輝度領域の配置位置に基づいて、抽出対象となる１つの抽出対象領域に対応する１つの高輝度領域と１つの低輝度領域の組み合わせを特定する組み合わせ特定部と、前記組み合わせ特定部により特定された前記組み合わせの前記高輝度領域および前記低輝度領域の配置位置およびサイズに基づいて、前記組み合わせの前記高輝度領域および前記低輝度領域の外枠の配置位置およびサイズを決定する外枠決定部と、前記外枠決定部により決定された外枠内の画像データに基づいて、前記抽出対象領域の輪郭を抽出する輪郭抽出部とを備えることを特徴とする。

本発明によれば、精度良く画像中の所定の領域を抽出することができるという効果を奏する。

図１は、画像処理装置の構成を示すブロック図である。 図２−１は、葉の上についた水滴を含む画像を示す図である。 図２−２は、図２−１に示す画像のうち水滴部分を拡大したものを示す図である。 図３は、画像処理装置の処理を示すフローチャートである。 図４は、高輝度領域の抽出処理の手順を示すフローチャートである。 図５は、低輝度領域の抽出処理の手順を示すフローチャートである。 図６は、低輝度領域抽出処理でのＮステップ目の画像の例を示す図である。 図７は、低輝度領域抽出処理でのＮ＋１ステップ目の画像の例を示す図である。 図８は、ＮステップとＮ＋１ステップにおける画像０番、画像１番、画像２番、画像３番の各画像の例を示す図である。 図９は、高輝度領域および低輝度領域を示す図である。 図１０は、図２−２に示す画像データに対する領域抽出結果を示す図である。 図１１は、組み合わせの特定処理の手順を示すフローチャートである。 図１２は、組み合わせ特定処理を説明するための図である。 図１３は、図２−２に示す画像データに対する外枠決定結果を示す図である。 図１４−１は、輝度変更処理を説明するための図である。 図１４−２は、輝度変更処理を説明するための図である。 図１５−１は、輝度変更処理前の処理対象の画像データを示す図である。 図１５−２は、輝度変更処理後の処理対象の画像データを示す図である。 図１６は、表示部に表示される、輪郭の抽出結果の一例を示す図である。 図１７は、抽出対象の一例を示す図である。 図１８は、抽出対象の一例を示す図である。

以下に添付図面を参照して、領域抽出装置、領域抽出方法およびプログラムの実施の形態を詳細に説明する。

図１は、実施の形態にかかる領域抽出装置を含む画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、処理対象となる画像データから所定の領域を抽出する。

画像処理装置１００は、データ入力部１０１と、表示部１０２と、記憶部１０３と、処理部１１０とを備えている。処理対象となる画像データは、データ入力部１０１を介して入力され、記憶部１０３に記憶される。表示部１０２は、画像データや、領域の抽出結果等を表示する。記憶部１０３は、各種情報を記憶する。記憶部１０３は、例えば、処理部１１０により利用される情報として、画像データ中の高輝度領域、低輝度領域を示すデータ、高輝度領域と低輝度領域の組み合わせを示す組み合わせデータ、組み合わせの外枠を示す外枠データ、抽出対象領域の輪郭を示す輪郭データなどの情報を記憶する。

処理部１１０は、領域抽出部１１１と、組み合わせ特定部１１２と、外枠決定部１１３と、輝度変更部１１４と、輪郭抽出部１１５とを備えている。

領域抽出部１１１は、処理対象の画像データを取得する。そして、領域抽出部１１１は、処理対象の画像データの各画素の輝度値を所定の閾値と比較する閾値処理により、高輝度領域および低輝度領域を抽出する。

ここで、高輝度領域および低輝度領域について説明する。図２−１および図２−２は、画像処理装置１００の処理対象となる画像データの一例を示す図である。図２−１は、葉の上についた水滴を含む画像であり、図２−２は、図２−１に示す画像のうち、抽出対象となる水滴部分を拡大したものである。以下、画像処理装置１００が図２−２に示す水滴部分を抽出対象とする場合を例に適宜説明する。

図２−２に示す水滴２００のように、表面の曲率の高い反射物体の撮影画像においては、その一部がハイライト部分２０１となり、水滴２００の他の領域に比べて高い輝度を示す。一方で、水滴２００の影の部分２０２は、水滴２００の領域に比べて低く、かつ背景の画像に比べても低い輝度を示す。本実施の形態の画像処理装置１００は、このように表面の曲率の高い反射物体の画像を抽出対象とする場合に、ハイライト部分が高輝度となり影の部分が低輝度となるという特徴を用いて、抽出対象領域となる水滴部分を抽出する。

領域抽出部１１１は、抽出対象領域を抽出する際に用いるハイライト部分２０１と影の部分２０２を抽出すべく、これらに相当する、高輝度領域および低輝度領域を抽出するものである。

なお、領域抽出部１１１は、具体的には、各画素の輝度値を複数の閾値と比較し、閾値の変化に伴う高輝度領域と低輝度領域の境界位置の変化量など、比較結果を総合的に判断することにより、１つの閾値に対する一律な２値化を行うのではなく、局所的な閾値処理を施す。これにより、図２−２に示すように、画像の右側ほど背景画像の輝度が高くなっているような画像においても、背景画像の輝度値によらず、各抽出対象領域の輝度値を基準とした、高輝度領域および低輝度領域を抽出することができる。すなわち、高輝度領域は、当該領域近傍の周辺領域に比べて輝度の高い高輝度領域であり、低輝度領域は、当該領域近傍の周辺領域に比べて輝度の低い低輝度領域である。

組み合わせ特定部１１２は、領域抽出部１１１により抽出された高輝度領域と低輝度領域の配置位置に基づいて、１つの高輝度領域と１つの低輝度領域の組み合わせを特定する。領域抽出部１１１により抽出された高輝度領域および低輝度領域はいずれも複数存在する。組み合わせ特定部１１２は、これらの位置関係に基づいて、１つの抽出対象領域のハイライト部分と影の部分とに対応する高輝度領域と低輝度領域の組み合わせを特定する。

外枠決定部１１３は、組み合わせ特定部１１２により特定された組み合わせの高輝度領域と低輝度領域それぞれの配置位置とサイズとに基づいて、抽出対象領域を含む領域の外枠の位置およびサイズを決定する。外枠決定部１１３は、さらに抽出対象領域の外側の背景画像が外枠内に含まれるようにマージンを設けて外枠の位置およびサイズを決定する。

輝度変更部１１４は、外枠決定部１１３により決定された外枠内の画像データのうち、高輝度領域の輝度を、この高輝度領域の周辺領域の輝度値に変更する。ここで、周辺領域とは、高輝度領域に隣接する領域であって、輝度値変化が一定値以下の領域である。すなわち、周辺領域はエッジ部分など輝度変化の大きい部分を含まない、一様の輝度を示す領域である。

輪郭抽出部１１５は、輝度値変更後の外枠内の画像データに基づいて、抽出対象領域の輪郭を抽出する。輪郭抽出部１１５は、例えば、グラフカットアルゴリズムにより、輪郭を抽出する。ここで、グラフカットアルゴリズムは、領域分割をエネルギー最小化問題として定義し、グラフ構造の最大フロー問題を解くことにより、領域分割を行う手法である。グラフカットアルゴリズムについては、C. Rother, V. Kolmogorv, A. Blake, ""GrabCut"：Interactive Foreground Extraction Using Iterated Graph Cuts,"ACM Trans. Graphics (SIGGRAPH '04), vol.23, no.3, pp.309-314, 2004.を参照することができる。

図３は、画像処理装置１００の処理を示すフローチャートである。ここでは、図２−２に示す、葉の上の水滴を含む画像データから、水滴の画像領域を抽出する処理を例に説明する。画像処理装置１００のデータ入力部１０１は、まず画像データを読み込み、記憶部１０３に記憶する（ステップＳ１００）。なお、画像データは、表示部１０２に表示される。

次に、処理部１１０の領域抽出部１１１は、画像データから高輝度領域と低輝度領域を抽出し、これらのデータを記憶部１０３に記憶する（ステップＳ１０１）。ここで、ステップＳ１０１の領域抽出処理の詳細について説明する。

まず、高輝度領域の抽出について説明する。図４は、高輝度領域の抽出処理の手順を示すフローチャートである。ここで、高輝度用初期閾値、高輝度輪郭長最小値、高輝度輪郭長最大値、高輝度用閾値変化幅のそれぞれは、予めユーザにより入力されて設定されているものとする。

まず、領域抽出部１１１は、上記画像データから、輝度が高輝度用初期閾値以上の領域を抽出する（ステップＳ２０１）。そして、領域抽出部１１１は、抽出された領域の輪郭を抽出する（ステップＳ２０２）。次に、領域抽出部１１１は、輪郭の長さが高輝度輪郭長最小値より小さい領域を削除し（ステップＳ２０３）、さらに、輪郭の長さが高輝度用輪郭長最大値より大きい領域を削除する（ステップＳ２０４）。そして、領域抽出部１１１は、これにより残った領域を、ＲＡＭ上の所定の領域である画像０番に２値画像として輪郭内部を塗りつぶして描画する（ステップＳ２０５）。

次に、領域抽出部１１１は、閾値を高輝度用閾値変化幅だけ増加させる（ステップＳ２０６）。そして、領域抽出部１１１は、閾値が輝度の最大値以上になったか否かを判断する（ステップＳ２０７）。

そして、閾値が輝度の最大値以上になった場合には（ステップＳ２０７：Ｙｅｓ）、領域抽出部１１１は、画像データから輝度が閾値以上の領域を抽出し（ステップＳ２０８）、抽出された領域の輪郭を抽出する（ステップＳ２０９）。

次に、領域抽出部１１１は、輪郭の長さが高輝度輪郭長最小値より小さい領域を削除し（ステップＳ２１０）、さらに、輪郭の長さが高輝度用輪郭長最大値より大きい領域を削除する（ステップＳ２１１）。そして、領域抽出部１１１は、これにより残った領域を、ＲＡＭ上の所定の領域である画像１番に２値画像として輪郭内部を塗りつぶして描画する（ステップＳ２１２）。

次に、領域抽出部１１１は、画像０番の画像と画像１番の画像との論理積を求め、その結果としての論理積を、ＲＡＭ上の所定の領域である画像２番に入れる（ステップＳ２１３）。次いで、領域抽出部１１１は、画像２番の画像とＲＡＭ上の所定の領域である画像３番の画像との論理積を求め、その結果としての論理積を、画像３番に入れる（ステップＳ２１４）。そして、領域抽出部１１１は、画像１番の画像を画像０番にコピーする（ステップＳ２１５）。そして、ステップＳ２０６に戻り、ステップＳ２１５までの処理を繰り返し実行する。

ステップＳ２０７において、閾値が輝度の最大値以上になっていない場合には（ステップＳ２０７：Ｎｏ）、ステップＳ２１６へ進み、領域抽出部１１１は、画像３番の画像を、高輝度領域として抽出し（ステップＳ２１６）、処理を終了する。これにより、画像データから高輝度領域が抽出される。

まず、低輝度領域の抽出について説明する。図５は、低輝度領域の抽出処理の手順を示すフローチャートである。ここで、低輝度用初期閾値、低輝度輪郭長最小値、低輝度輪郭長最大値、低輝度用閾値変化幅のそれぞれは、予めユーザにより入力されて設定されているものとする。

また、図６は、低輝度領域抽出処理でのＮステップ目の画像の例を示す図である。図７は、低輝度領域抽出処理でのＮ＋１ステップ目の画像の例を示す図である。図８は、ＮステップとＮ＋１ステップにおける画像０番、画像１番、画像２番、画像３番の各画像の例を示す図である。

まず、領域抽出部１１１は、上記画像データから、輝度が低輝度用初期閾値以下の領域を抽出する（ステップＳ３０１）。そして、領域抽出部１１１は、抽出された領域の輪郭を抽出する（ステップＳ３０２）。次に、領域抽出部１１１は、輪郭の長さが低輝度輪郭長最小値より小さい領域を削除し（ステップＳ３０３）、さらに、輪郭の長さが低輝度輪郭長最大値より大きい領域を削除する（ステップＳ３０４）。そして、領域抽出部１１１は、これにより残った領域を、ＲＡＭ上の所定の領域である画像０番に２値画像として輪郭内部を塗りつぶして描画する（ステップＳ３０５）。

次に、領域抽出部１１１は、閾値を低輝度用閾値変化幅だけ減少させる（ステップＳ３０６）。そして、領域抽出部１１１は、閾値が輝度の最小値以下になったか否かを判断する（ステップＳ３０７）。

そして、閾値が輝度の最小値以下になった場合には（ステップＳ３０７：Ｙｅｓ）、領域抽出部１１１は、画像データから輝度が閾値以下の領域を抽出し（ステップＳ３０８）、抽出された領域の輪郭を抽出する（ステップＳ３０９）。

次に、領域抽出部１１１は、輪郭の長さが低輝度輪郭長最小値より小さい領域を削除し（ステップＳ３１０）、さらに、輪郭の長さが低輝度輪郭長最大値より大きい領域を削除する（ステップＳ３１１）。そして、領域抽出部１１１は、これにより残った領域を、ＲＡＭ上の所定の領域である画像１番に２値画像として輪郭内部を塗りつぶして描画する（ステップＳ３１２）。

次に、領域抽出部１１１は、画像０番の画像と画像１番の画像との論理積を求め、その結果としての論理積を、ＲＡＭ上の所定の領域である画像２番に入れる（ステップＳ３１３）。次いで、領域抽出部１１１は、画像２番の画像とＲＡＭ上の所定の領域である画像３番の画像との論理積を求め、その結果としての論理積を、画像３番に入れる（ステップＳ３１４）。そして、領域抽出部１１１は、画像１番の画像を画像０番にコピーする（ステップＳ３１５）。そして、ステップＳ３０６に戻り、ステップＳ３１５までの処理を繰り返し実行する。

ステップＳ３０７において、閾値が輝度の最小値になっていない場合には（ステップＳ３０７：Ｎｏ）、ステップＳ３１６へ進み、領域抽出部１１１は、画像３番の画像を、低輝度領域として抽出し（ステップＳ３１６）、処理を終了する。これにより、画像データから低輝度領域が抽出される。

領域抽出部１１１により、上述の図４および図５の処理において、画像データから、抽出したい高輝度領域や低輝度領域の大きさが適度なもののみを抽出することにより、適切に高輝度領域や低輝度領域を抽出するようになっている。

例えば、図６に示す「Ｎステップ目の閾値以下の領域」の画像のように、左側が全体的に暗いような場合でも、輪郭長が大きすぎるものを除外することにより低輝度領域を抽出できるようになっている。また、単なるノイズのような領域は、輪郭長が小さすぎるものを除くことにより排除している。

領域抽出処理においては、図９に示すように、水滴のハイライト部分が高輝度領域２１１として抽出され、水滴の陰の部分が低輝度領域２１２として抽出される。図１０は、図２−２に示す画像データに対する領域抽出結果を示す図である。このように、画像データから、複数の高輝度領域２３１ａ，２３１ｂ…と、複数の低輝度領域２３２ａ，２３２ｂ…とが抽出される。

図３に戻り、組み合わせ特定部１１２は、領域抽出部１１１により抽出された高輝度領域と低輝度領域の中から、高輝度領域と低輝度領域の位置関係に基づいて、１つの抽出対象領域に対応する１つの高輝度領域と低輝度領域の組み合わせを特定する（ステップＳ１０２）。例えば、図２−２に示す画像データにおいては、光が画像の右上方向から照射されているため、所定の高輝度領域と、この高輝度領域の斜め左下方向に配置されている低輝度領域とが１つの抽出対象領域に対する組み合わせである可能性が高く、組み合わせ特定部１１２は、この位置関係の条件に基づいて、高輝度領域と低輝度領域の組み合わせを抽出する。なお、組み合わせ特定部１１２が組み合わせを特定するための条件は、処理対象となる画像データごとに異なり、画像データに基づいて、適宜設定されることとする。また、光が照射されている方向はユーザが手動で与えてもよい。

ここで、ステップＳ１０２の組み合わせの特定処理の詳細について説明する。図１１は、組み合わせの特定処理の手順を示すフローチャートである。図１２は、組み合わせ特定処理を説明するための図である。

まず、組み合わせ特定部１１２は、ステップＳ１０１で画像データから抽出された高輝度領域の最小外接矩形を求める（ステップＳ４０１）。次いで、組み合わせ特定部１１２は、ステップＳ１０１で画像データから抽出された低輝度領域の最小外接矩形を求める（ステップＳ４０２）。

次に、組み合わせ特定部１１２は、ステップＳ４０２で求めた低輝度領域の最小外接矩形１２０２の情報から、低輝度領域と組にする高輝度領域を探索する方向と長さを算出する（ステップＳ４０３）。

ここで、図１２に示す例では、探索方向は、低輝度領域の最小外接矩形の短辺方向かつ上方向としている。これは、水滴の影が三日月型であり、かつ、光がかかる方向から来ることを仮定しているためである。なお、探索方向は、この例に限定されるものではない。また、探索方向に広げる長さや探索方向は、ユーザが設定するように構成してもよい。

次に、組み合わせ特定部１１２は、低輝度領域の最小外接矩形を探索方向に拡張する（ステップＳ４０４）。そして、組み合わせ特定部１１２は、拡張した低輝度領域の最小外接矩形１２０１と重なりのある高輝度領域の最小外接矩形１２０３をリストアップする（ステップＳ４０５）。次いで、組み合わせ特定部１１２は、リストアップされた高輝度領域の最小外接矩形の中で、最も近いものを組み合わせ相手として特定する（ステップＳ４０５）。これにより、１つの抽出対象領域に対応する１つの高輝度領域と低輝度領域の組み合わせが特定される。

次に、外枠決定部１１３は、組み合わせ特定部１１２により特定された各組み合わせの外枠を決定する（ステップＳ１０３）。図１３は、図２−２に示す画像データに対する外枠決定結果を示す図である。図１３において、例えば高輝度領域２３１と低輝度領域２３２の組み合わせに対し、外枠２３０が決定されている。このように、外枠決定部１１３は、組み合わせに含まれる高輝度領域および低輝度領域のそれぞれが含まれ、かつ所定のマージンを含む矩形を外枠として決定する。

次に、輝度変更部１１４は、外枠決定部１１３により決定された各外枠内の画像データ中の高輝度領域の輝度値を、高輝度領域の周辺領域の画素の輝度値に変更する（ステップＳ１０４）。すなわち、輝度変更部１１４は、高輝度領域に対しインペイント処理を施す。

図１４−１および図１４−２は、輝度変更処理を説明するための図である。図１４−１に示すように、高輝度領域２４０は、抽出対象領域２４１（本例においては、水滴）の一部である。すなわち、高輝度領域２４０の周囲には、抽出対象領域２４１が存在する。そこで、高輝度領域２４０に対してインペイント処理を施すことにより、高輝度領域２４０を含む抽出対象領域２４１の輝度値を、周囲と同程度の変化量にすることができる。

ここで、輝度変更部１１４によるインペイント処理は、公知の手法を用いて行われる。すなわち、本実施の形態では、例えば、インペイント処理はオープンソフトウェアの画像処理ライブラリＯｐｅｎＣＶのｉｎｐａｉｎｔ（）関数を呼び出すことにより実現することができる。

ここで、ｉｎｐａｉｎｔ（）関数は、選択された画像領域を、その領域境界付近の画素を利用して消すものであり、例えば、Ｎａｖｉｅｒ−Ｓｔｏｋｅｓベースの手法を選択した場合は、領域境界付近の画素値を境界条件とし、輝度勾配の連続性を保ちながら平滑化を繰り返すという処理を行う。詳細については、技術文献「M. Bertalmio, A. L. Bertozzi, G. Sapiro, ”Navier-Stokes, Fluid Dynamics, and Image and Video Inpainting”, Proceedings of the International Conference on Computer Vision and Pattern Recognition , IEEE, Dec. 2001, Kauai, HI, volume I, pp. I-355-I362 A. Telea, “An image inpainting technique based on the fast marching method,” Journal of Graphics Tools, Vol. 9, No. 1, pp. 25−36, 2004.」に詳述されている。

そして、輝度変更部１１４は、特定された周辺領域の輝度平均を算出する。輝度変更部１１４は、高輝度領域の輝度値を、算出した輝度平均に変更する。なお、他の例としては、輝度変更部１１４は、輝度平均に変えて、周辺領域の輝度の標準偏差を算出し、高輝度領域の輝度値を、算出した標準偏差の値に変更してもよい。

以上の処理により、図１４−１に示す高輝度領域２４０は、図１４−２に示すように、周辺領域としての抽出対象領域２４１と連続した領域に変換される。

図１５−１および図１５−２は、輝度変更処理前後の処理対象の画像データを示す図である。このように、各高輝度領域はいずれもインペイント処理により、周辺領域、すなわち抽出対象領域と連続した領域に変換される。

このように、輝度変化の大きい高輝度領域をインペイント処理により、周辺色に塗りつぶすことにより、ハイライト部分のように輪郭ではない部分が、輝度変化が大きいことに起因して、誤って輪郭として抽出されるのを防ぐことができる。

図３に戻り、輝度変更後、輪郭抽出部１１５は、抽出対象領域の輪郭を抽出する（ステップＳ１０５）。その後、抽出結果が表示部１０２に表示され（ステップＳ１０６）、処理が完了する。ステップＳ１０５において、輪郭抽出部１１５は、輝度変更がなされた後、各外枠内の画像データに対し、グラフカット処理を行い、輪郭を自動抽出する。

図１６は、表示部１０２に表示される、輪郭の抽出結果の一例を示す図である。図１６に示すように、表示される画像データにおいては、ハイライト部分（高輝度領域）が元の画像データ通りに表示されるが、輪郭抽出部１１５が処理対象とする画像データは、図１５−２に示すように、高輝度領域がインペイントされた状態のものである。

以上のように、本実施の形態にかかる画像処理装置１００は、葉の上の水滴のように自動抽出の難しい画像を抽出対象とする場合において、抽出対象の画像内の高輝度領域と、抽出対象の画像に隣接する低輝度領域とを抽出し、これらの情報に基づいて、抽出対象の画像輪郭を抽出するので、精度よく領域抽出を行うことができる。

さらに、画像処理装置１００は、葉の上の水滴の画像のハイライト部分のように、輝度変化の大きいことに起因して、抽出対象領域と誤って判断されるような領域に対しインペイントを施すことにより、誤判断を防ぐことができる。さらに、画像処理装置１００は、高輝度領域と低輝度領域に基づいて設定した外枠内の画像データを用いてグラフカット処理を行うことにより、精度よく領域を抽出することができる。

なお、上記の説明では、画像処理装置１００が水滴部分を抽出対象とする場合を例に説明したが、本実施の形態の画像処理装置１００における抽出対象は水滴に限定されるものではない。本実施の形態の画像処理装置１００における抽出対象は、高輝度領域と低輝度領域の輝度差が大きく、且つ高輝度領域と低輝度領域の位置関係を規定できる対象であれば、どのようなものにでも適用可能である。

高輝度領域と低輝度領域の輝度差が大きい、とは、これらの領域の輝度差が、予め定めた閾値以上であることを表す。この閾値は、抽出対象に応じて、予め設定すればよい。

例えば、図１７に例示するように、金属球６００やガラス球６１０は、光沢度の高い材質からなるため、高輝度領域と低輝度領域の輝度差が大きい。なお、図１７には、光線方向Ｌからの光により金属球６００及びガラス球６１０に生じた低輝度領域６００Ｂ、６１０Ｂと、高輝度領域６００Ａ、６１０Ａと、の一例を示している。また、金属球６００やガラス球６１０は、球形から高輝度領域と低輝度領域の位置関係が規定できるので、上記と同様にして領域抽出を行うことができ、本発明を適用可能である。

また、別の例としては、図１８に例示するように、人間の頭部７００のような球状のものでも、楕円体として近似できるので高輝度領域７００Ａと低輝度領域７００Ｂの位置関係が規定できる。そして、光線（図１８中、光線方向Ｌ参照）が強く高輝度領域と低輝度領域の輝度差が大きい場合には、本発明を適用可能であり、上記と同様にして領域抽出を行うことができる。

また、本実施の形態の画像処理装置１００における抽出対象は、その他、車、建物、動物、樹木等を含めて高輝度領域と低輝度領域の位置関係が規定できる対象であれば、本発明を適用可能であり、上記と同様にして領域抽出を行うことができる。

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

本実施の形態の画像処理装置１００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の画像処理装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の画像処理装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の画像処理装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施の形態の画像処理装置１００で実行されるプログラムは、上述した各部（領域抽出部、組み合わせ特定部、外枠決定部、輝度変更部、輪郭抽出部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。

なお、上記実施の形態では、領域抽出装置を画像処理装置に適用した例を挙げて説明したが、これに替えて、コピー機能、プリンタ機能、スキャナ機能およびファクシミリ機能のうち少なくとも２つの機能を有する複合機、複写機、プリンタ、スキャナ装置、ファクシミリ装置等の画像形成装置に適用してもよい。

１００ 画像処理装置
１０１ データ入力部
１０２ 表示部
１０３ 記憶部
１１０ 処理部
１１１ 領域抽出部
１１２ 組み合わせ特定部
１１３ 外枠決定部
１１４ 輝度変更部
１１５ 輪郭抽出部

特開２０１１−００２９６５号公報

Claims (4)

1. 画像データから所定の領域を抽出する領域抽出装置であって、
   処理対象の画像データの各画素の輝度値に対し閾値処理を施し、前記画像データから、周辺領域に比べて輝度の高い高輝度領域と、周辺領域に比べて輝度の低い低輝度領域を抽出する領域抽出部と、
   前記領域抽出部により抽出された前記高輝度領域と前記低輝度領域の配置位置に基づいて、抽出対象となる１つの抽出対象領域に対応する１つの高輝度領域と１つの低輝度領域の組み合わせを特定する組み合わせ特定部と、
   前記組み合わせ特定部により特定された前記組み合わせの前記高輝度領域および前記低輝度領域の配置位置およびサイズに基づいて、前記組み合わせの前記高輝度領域および前記低輝度領域の外枠の配置位置およびサイズを決定する外枠決定部と、
   前記外枠決定部により決定された外枠内の画像データに基づいて、前記抽出対象領域の輪郭を抽出する輪郭抽出部と
   を備えることを特徴とする領域抽出装置。
2. 前記外枠内の前記画像データのうち、前記高輝度領域内の輝度値を、当該高輝度領域に隣接し、輝度値変化が一定値以下の領域である周辺領域の輝度値に変更する輝度値変更部をさらに備え、
   前記輪郭抽出部は、前記輝度値変更部による輝度値変更後の前記外枠内の前記画像データに基づいて、前記抽出対象領域の輪郭を抽出することを特徴とする請求項１に記載の領域抽出装置。
3. 画像データから所定の領域を抽出する領域抽出方法であって、
   処理対象の画像データの各画素の輝度値に対し閾値処理を施し、前記画像データから、周辺領域に比べて輝度の高い高輝度領域と、周辺領域に比べて輝度の低い低輝度領域を抽出する領域抽出工程と、
   前記領域抽出工程において抽出された前記高輝度領域と前記低輝度領域の配置位置に基づいて、抽出対象となる１つの抽出対象領域に対応する１つの高輝度領域と１つの低輝度領域の組み合わせを特定する組み合わせ特定工程と、
   前記組み合わせ特定工程において特定された前記組み合わせの前記高輝度領域および前記低輝度領域の配置位置およびサイズに基づいて、前記組み合わせの前記高輝度領域および前記低輝度領域の外枠の配置位置およびサイズを決定する外枠決定工程と、
   前記外枠決定工程において決定された外枠内の画像データに基づいて、前記抽出対象領域の輪郭を抽出する輪郭抽出工程と
   を含むことを特徴とする領域抽出方法。
4. コンピュータを、
   処理対象の画像データの各画素の輝度値に対し閾値処理を施し、前記画像データから、周辺領域に比べて輝度の高い高輝度領域と、周辺領域に比べて輝度の低い低輝度領域を抽出する領域抽出部と、
   前記領域抽出部により抽出された前記高輝度領域と前記低輝度領域の配置位置に基づいて、抽出対象となる１つの抽出対象領域に対応する１つの高輝度領域と１つの低輝度領域の組み合わせを特定する組み合わせ特定部と、
   前記組み合わせ特定部により特定された前記組み合わせの前記高輝度領域および前記低輝度領域の配置位置およびサイズに基づいて、前記組み合わせの前記高輝度領域および前記低輝度領域の外枠の配置位置およびサイズを決定する外枠決定部と、
   前記外枠決定部により決定された外枠内の画像データに基づいて、前記抽出対象領域の輪郭を抽出する輪郭抽出部
   として機能させるためのプログラム。