JPWO2017203705A1 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

画像処理装置は、処理対象の画像である対象画像を取得する画像取得手段と、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出手段と、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段と、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出手段と、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段と、を備える。

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来より、画像から所定のオブジェクトを抽出する技術がある。例えば、Ｇｒａｂｃｕｔという技術では、複数の色からなるオブジェクトを画像から抽出することができる（例えば、非特許文献１参照）。

GrabCut - Interactive Foreground Extraction using Iterated Graph Cuts、SIGGRAPH '04 ACM SIGGRAPH 2004 Papers、Pages 309-314、[online]、［２０１６年４月２０日検索］、インターネット<http://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf>

上記した従来の技術では、抽出対象のオブジェクトが大部分を占めるような領域を予め指定する必要があった。従って、この領域の指定のための手間がかかっていた。

そこで本発明は、抽出対象のオブジェクトが大部分を占めるような領域を自動的に画像から抽出することを目的とする。

上記課題を解決するために、本発明の一形態に係る画像処理装置は、処理対象の画像である対象画像を取得する画像取得手段と、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出手段と、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段と、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出手段と、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段と、を備える。

本発明の一形態に係る画像処理方法は、画像処理装置における画像処理方法であって、処理対象の画像である対象画像を取得する画像取得ステップと、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出ステップと、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成ステップと、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出ステップと、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力ステップと、を有する。

本発明の一形態に係る画像処理プログラムは、コンピュータを、処理対象の画像である対象画像を取得する画像取得手段、画素値の所定の色類似性に基づくクラスタリングにより、対象画像から複数の部分領域を抽出する抽出手段、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、組み合わせ画像のそれぞれに対して算出する算出手段、及び、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段、として機能させる。

上記の形態によれば、画素値の色類似性に基づくクラスタリングにより、抽出対象のオブジェクトの一部を構成する可能性がある部分領域が対象画像から抽出され、１以上の部分領域を組み合わせることにより、オブジェクトの大部分の領域を形成する可能性がある組み合わせ画像が複数生成される。そして、各組み合わせ画像に含まれる部分領域により形成される形状の、当該オブジェクトの形状としての尤もらしさが算出され、算出された尤もらしさが最も高い組み合わせ画像をオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報が出力される。従って、オブジェクトの大部分を占める領域に関する情報を、自動的に取得することが可能となる。例えば、このように得られる処理対象領域情報に基づいてＧｒａｂｃｕｔを実施することにより、対象画像から所望のオブジェクトを高精度に抽出することができる。

別の形態に係る画像処理装置では、生成手段は、対象画像における外縁部に位置する部分領域を組み合わせ画像の生成に用いないこととしてもよい。

抽出対象のオブジェクトが対象画像の外縁部に表されている可能性が低いことに鑑みて、上記の形態によれば、対象画像の外縁部に位置する部分領域が組み合わせ画像の生成に用いられないので、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像が生成されない。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。

別の形態に係る画像処理装置では、生成手段は、所定範囲の画素値の画素を含む部分領域を組み合わせ画像の生成に用いないこととしてもよい。

上記形態によれば、抽出対象のオブジェクトに含まれる可能性が低い画素値を有する画素を含む部分領域が組み合わせ画像の生成に用いられないので、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像が生成されない。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。

別の形態に係る画像処理装置では、所定範囲の画素値は、人の肌の色を表す画素値であることとしてもよい。

上記形態によれば、人の肌の色を表す画素値を有する画素を含む部分領域が組み合わせ画像の生成に用いられないので、人又は人の一部が表された部分領域を含む組み合わせ画像が生成されない。例えば、衣服等のアイテムを身につけた人が表されている対象画像から、そのアイテムを抽出対象のオブジェクトとする場合において、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像の生成を防止できる。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。

さらに別の形態に係る画像処理装置では、算出手段は、組み合わせ画像を構成する複数の部分領域の位置が所定の程度以上互いに離間している場合には、該組み合わせ画像のスコアを算出しないこととしてもよい。

対象画像において、抽出対象のオブジェクトが互いに離間した複数の領域により表されている可能性が低いことに鑑みて、上記形態によれば、組み合わせ画像を構成する複数の部分領域の位置が互いに所定の程度以上離間している場合には、当該組み合わせ画像に関するオブジェクトの形状としての尤もらしさを算出する処理が実施されない。従って、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。

さらに別の形態に係る画像処理装置では、処理対象領域情報に基づいて、対象画像からオブジェクトを抽出するオブジェクト抽出手段をさらに有することとしてもよい。

上記形態によれば、オブジェクトの大部分を占める領域に関する情報を含む処理対象領域情報に基づいてオブジェクトの抽出を実施できるので、対象画像から所望のオブジェクトを高精度に抽出することができる。

上記形態において、画像処理装置では、オブジェクト抽出手段は、Ｇｒａｂｃｕｔ法によりオブジェクトを抽出することとしてもよい。

上記形態によれば、オブジェクトの大部分を占める領域に関する情報を含む処理対象領域情報に基づいて、Ｇｒａｂｃｕｔによるオブジェクトの抽出を実施できるので、対象画像から所望のオブジェクトの高精度な抽出が実現される。

さらに別の形態に係る画像処理装置では、算出手段は、予め記憶しているオブジェクトの形状に対する、部分領域により形成される形状の一致の度合いに基づいて、スコアを算出することとしてもよい。

上記形態によれば、部分領域により形成される形状と予め記憶しているオブジェクトの形状との一致の度合いに基づいてスコアの算出が実施されるので、オブジェクトの形状としての尤もらしさが適切に表されたスコアが算出される。

別の形態に係る画像処理装置では、出力手段は、算出手段により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値以上である場合に、処理対象領域情報を出力し、算出手段により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値未満である場合に、対象画像に抽出対象のオブジェクトが表されていないと判断し、処理対象領域情報を出力しないこととしてもよい。

上記形態によれば、所定値以上のスコアを有する組み合わせ画像が生成されていない場合に、対象画像にオブジェクトが表されていないと判断し、処理対象領域情報が出力されない。これにより、例えば、所望のオブジェクトが表されていない可能性が高い対象画像に対して、オブジェクトを抽出する処理が実施されることが防止される。一方、所定値以上のスコアを有する組み合わせ画像に関する処理対象領域情報が出力されることとなるので、オブジェクトを抽出する処理が適切に実施される。

上記形態において、出力手段は、対象画像に抽出対象のオブジェクトが表されていないことを通知する情報を出力してもよい。

上記形態によれば、対象画像に抽出対象のオブジェクトが表されていないことをユーザに認識させることができる。

本発明の一側面によれば、抽出対象のオブジェクトが大部分を占めるような領域を自動的に画像から抽出することが可能となる。

画像処理装置の機能構成を示すブロック図である。 画像処理装置のハードウェア構成を示す図である。 対象画像の例を示す図である。 対象画像から抽出された部分領域を示す図である。 生成部により生成された組み合わせ画像の例を示す図である。 対象画像の外縁部に位置する部分領域を組み合わせ画像の生成に用いない場合の例を示す図である。 組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かを判定する処理の例を説明する図である。 組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かの判定の結果の例を示す図である。 オブジェクト形状情報記憶部に記憶されている、オブジェクトの形状を表すテンプレートの例を示す図である。 テンプレートの他の例を示す図である。 Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法によるスコア算出を概略的に説明する図である。 処理対象領域情報の例を示す図である。 画像処理装置において実施される画像処理方法の処理内容を示すフローチャートである。 画像処理プログラムの構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、本実施形態に係る画像処理装置１の機能的構成を示すブロック図である。画像処理装置１は、画像から所望のオブジェクトを抽出する装置であって、特に、オブジェクトの抽出に先立って、抽出対象のオブジェクトが大部分を占めるような領域を、自動的に画像から抽出する。

オブジェクトの抽出に供する画像は、所望のオブジェクトが表された画像であれば限定されないが、本実施形態では、抽出対象のオブジェクトを衣服として、衣服が表された画像を処理対象の画像とする。処理対象の画像は、衣服を身につけた人物が表されている画像であってもよい。

処理対象の画像には、予めカテゴリ情報が関連付けられている。カテゴリ情報は、抽出対象のオブジェクトが属するカテゴリに関する情報であって、例えば、衣服の一種である「シャツ」等であってもよい。本実施形態の画像処理装置１は、カテゴリ情報に基づいて、処理対象の画像から、抽出対象のオブジェクトが表されている領域を特定して、特定した領域に関する処理対象領域情報を出力する。処理対象領域情報に基づいて、処理対象の画像から、例えばＧｒａｂｃｕｔという方法により、オブジェクトが抽出される。本実施形態では、オブジェクトが表されている領域に関する情報である処理対象領域情報を用いることにより、オブジェクトを高精度に抽出できる。そして、例えば、抽出されたオブジェクトのカテゴリをさらに細分化する処理を実施できる。抽出されたオブジェクトが例えばシャツである場合には、色、柄、形等のカテゴリを細分化できる。

図１に示すように、画像処理装置１は、機能的には、画像取得部１１（画像取得手段）、抽出部１２（抽出手段）、生成部１３（生成手段）、算出部１４（算出手段）、出力部１５（出力手段）及びオブジェクト抽出部１６（オブジェクト抽出手段）を備える。

また画像処理装置１は、オブジェクト形状情報記憶部２１といった記憶手段にアクセス可能である。オブジェクト形状情報記憶部２１は、画像処理装置１に備えられることとしてもよいし、画像処理装置１からのアクセスが可能に設けられた外部の記憶手段として構成されてもよい。

図２は、画像処理装置１のハードウェア構成図である。画像処理装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、通信制御装置１０４などを含むコンピュータシステムとして構成されている。画像処理装置１は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置１０５及びディスプレイ等の出力装置１０６をさらに含むこととしてもよい。

図１に示した各機能は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４等を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。

続いて、画像処理装置１の各機能部を説明する。画像取得部１１は、処理対象の画像である対象画像を取得する。図３は、対象画像の例を示す図である。図３に示すように、対象画像ＴＰには、抽出対象のオブジェクトである衣服を身につけた人物が表されている。図３に示されるシャツは、均一な色を有するが、光の当たり方に依存して異なる色により表された部分を含む。また、背景の壁も、光の当たり方により、異なる色により表された部分を含む。

抽出部１２は、対象画像から複数の部分領域を抽出する。具体的には、抽出部１２は、画素値の所定の色類似性に基づくクラスタリングにより、複数の部分領域を抽出する。抽出部１２は、例えば、Ｋ−ｍｅａｎｓ法によりクラスタリングを行う。Ｋ−ｍｅａｎｓ法は、同様の色を有する領域をクラスタリングする技術であって、本実施形態の技術分野において周知の技術である。

図４は、対象画像ＴＰから抽出された部分領域ＰＡ１〜ＰＡ５を示す図である。部分領域ＰＡ１〜ＰＡ３はそれぞれ、抽出対象のオブジェクトであるシャツの一部に該当するが、異なる色を有する別の領域として抽出されている。部分領域ＰＡ４は、シャツを身につけた人物の髪の部分に相当する。部分領域ＰＡ５は、背景の一部に相当する。なお、抽出部１２は、図４に示すように、抽出した各部分領域ＰＡ１〜ＰＡ５を二値化処理してもよい。これにより、以後の処理負荷が軽減される。

生成部１３は、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する。図５は、生成部１３により生成された組み合わせ画像の例を示す図である。例えば、生成部１３は、図４に示した部分領域ＰＡ１〜ＰＡ５のうちの１以上の部分領域を組み合わせて、図５に示すような組み合わせ画像ＣＰ１〜ＣＰ１５を生成する。例えば、生成部１３は、部分領域ＰＡ２と部分領域ＰＡ５とを組み合わせて、組み合わせ画像ＣＰ１を生成する。

生成部１３は、抽出部１２により抽出された全ての部分領域を用いた組み合わせの全てのケースに基づいて、組み合わせ画像を生成できる。従って、生成可能な組み合わせ画像の数が非常に大きくなり、算出部１４等における処理負荷の増大を招く可能性がある。そこで、例えば、対象画像において、抽出対象のオブジェクトが画像の中央付近に表されていることが予め判明している場合等には、抽出対象のオブジェクトが対象画像の外縁部に表されている可能性が低いことに鑑みて、生成部１３は、対象画像における外縁部に位置する部分領域を組み合わせ画像の生成に用いないこととしてもよい。

図６は、対象画像の外縁部に位置する部分領域を組み合わせ画像の生成に用いない場合の例を示す図である。図６に示すように、生成部１３は、部分領域ＰＡ１〜ＰＡ５のうち、対象画像の外縁部に位置する部分領域ＰＡ５を抽出し、部分領域ＰＡ５を組み合わせ画像の生成に用いないことを判断する。生成部１３は、例えば、部分領域と対象画像の外縁と接する部分の長さが、所定の長さ以上である場合、又は、外縁の全周の長さに対する割合が所定以上である場合に、当該部分領域が対象画像の外縁部に位置すると判定してもよい。

生成部１３が部分領域ＰＡ５を組み合わせ画像の生成に用いないと判断することにより、組み合わせ画像ＣＰ１〜ＣＰ３，ＣＰ７〜ＣＰ９，ＣＰ１３〜ＣＰ１５が生成されないこととなる。このように、対象画像の外縁部に位置する部分領域が組み合わせ画像の生成に用いられないことにより、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像の生成を抑止できる。従って、算出部１４により行われる、組み合わせ画像に含まれる部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷が軽減される。

また、大量の組み合わせ画像が生成されることを防止するために、生成部１３は、所定範囲の画素値の画素を含む部分領域を組み合わせ画像の生成に用いないこととしてもよい。即ち、抽出対象のオブジェクトの色に関する情報が予め判明している場合には、抽出対象のオブジェクトに含まれる可能性が低い画素値を有する画素を含む部分領域を組み合わせ画像の生成に用いないことにより、オブジェクトが表されていない可能性が高い部分領域を含む組み合わせ画像の生成を防止できる。

本実施形態では、抽出対象のオブジェクトはシャツ（衣服）であるので、生成部１３は、所定範囲の画素値を人の肌の色を表す画素値とすることにより、人の肌が表された部分領域を組み合わせ画像の生成に用いないようにすることができる。従って、算出部１４により行われる、組み合わせ画像に含まれる部分領域により形成される形状の、オブジェクトの形状としての尤もらしさを算出する処理に関する処理負荷を軽減することが可能となる。

算出部１４は、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを、組み合わせ画像のそれぞれに対して算出する。具体的には、算出部１４は、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを算出する。

なお、スコア算出の処理にかかる処理負荷は大きいので、スコア算出の対象となる組み合わせ画像の数を抑制するために、対象画像において抽出対象のオブジェクトが互いに離間した複数の領域により表されている可能性が低いことに鑑みて、算出部１４は、組み合わせ画像を構成する複数の部分領域の位置が所定の程度以上互いに離間している場合には、当該組み合わせ画像のスコアを算出しないこととしてもよい。スコアの算出処理の説明に先立って、スコア算出対象としない組み合わせ画像の抽出に関する処理を説明する。

図７は、組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かを判定する処理の例を説明する図である。図７では、組み合わせ画像ＣＰ５に対する判定処理を示す。まず、算出部１４は、組み合わせ画像ＣＰ５に含まれる部分領域ＰＡ５１，ＰＡ５２を抽出し、それぞれの部分領域ＰＡ５１，ＰＡ５２に外接するバウンダリーボックスＢ１１，Ｂ２１を設定する。続いて、算出部１４は、バウンダリーボックスＢ１１，Ｂ２１のそれぞれを所定の程度拡大（例えば１．１倍）して、拡大バウンダリーボックスＢ１２，Ｂ２２を生成する。

そして、算出部１４は、拡大バウンダリーボックスＢ１２，Ｂ２２が互いに重なる場合には、組み合わせ画像に含まれる複数の部分領域が互いに離間していないと判定し、拡大バウンダリーボックスＢ１２，Ｂ２２が互いに重ならない場合には、組み合わせ画像に含まれる複数の部分領域が互いに離間していると判定する。図７に示す組み合わせ画像ＣＰ５の例では、拡大バウンダリーボックスＢ１２，Ｂ２２が互いに重ならないので、算出部１４は、組み合わせ画像ＣＰ５に含まれる複数の部分領域が互いに離間していると判定し、組み合わせ画像ＣＰ５のスコアを算出しないこととする。

図８は、組み合わせ画像に含まれる複数の部分領域が互いに離間しているか否かの判定の結果の例を示す図である。図８に示す例では、部分領域ＰＡ１〜ＰＡ４に基づいて生成された組み合わせ画像ＣＰ４，ＣＰ５，ＣＰ６，ＣＰ１０，ＣＰ１１，ＣＰ１２が示されている。算出部１４は、図７を参照して説明した判定方法により、組み合わせ画像ＣＰ４，ＣＰ５，ＣＰ６，ＣＰ１０，ＣＰ１１，ＣＰ１２のうち、組み合わせ画像ＣＰ５，ＣＰ６，ＣＰ１１，ＣＰ１２のそれぞれに含まれる複数の部分領域が互いに離間していると判定する。そして、算出部１４は、組み合わせ画像ＣＰ５，ＣＰ６，ＣＰ１１，ＣＰ１２のスコアを算出しないこととする。

このように、組み合わせ画像を構成する複数の部分領域の位置が互いに所定の程度以上離間している場合には、当該組み合わせ画像に関する、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを算出する処理が実施されないので、スコア算出に係る組み合わせ画像の数が抑制され、スコア算出処理に関する処理負荷が軽減される。

続いて、算出部１４による、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアの算出を説明する。算出部１４は、抽出対象のオブジェクトの形状に対する、部分領域により形成される形状の一致の度合いに基づいて、組み合わせ画像のスコアを算出する。本実施形態では、算出部１４は、例えば、Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法により、スコアを算出する。

Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法は、あるサイズのウィンドウを設定し、設定したウィンドウ内の領域に対して所定の画像処理を行うものであって、処理対象の画像の全面に亘るウィンドウの走査を、ウィンドウの大きさを徐々に変更しながら繰り返し行う技術である。本実施形態では、算出部１４は、組み合わせ画像において設定するウィンドウ内の領域に含まれる部分領域の形状と、抽出対象のオブジェクトの形状との一致の度合いを算出する処理を行う。算出部１４は、この算出処理を、ウィンドウの大きさを徐々に変更しながら組み合わせ画像の全面に亘るウィンドウの走査を行って実施する。

抽出対象のオブジェクトの形状は、図１に示すオブジェクト形状情報記憶部２１に予め記憶されている。図９は、オブジェクト形状情報記憶部２１に記憶されている、オブジェクトの形状を表すテンプレートの例を示す図である。本実施形態では、対象画像からシャツを抽出対象のオブジェクトとして抽出するので、オブジェクト形状情報記憶部２１は、図９に示すようなシャツの形状を表すテンプレートＴＷ１を記憶している。

図１０は、テンプレートの他の例を示す図である。オブジェクト形状情報記憶部２１は、図１０に示すようなテンプレートＴＷ２１，ＴＷ２２，ＴＷ３１，ＴＷ３２を記憶していてもよい。テンプレートＴＷ２１，ＴＷ２２は、抽出対象のオブジェクトがスカートである場合に用いられるテンプレートの例である。また、テンプレートＴＷ３１，ＴＷ３２は、抽出対象のオブジェクトがパンツである場合に用いられるテンプレートの例である。

図１１は、Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ法によるスコア算出を概略的に説明する図である。図１１に示す例では、算出部１４は、組み合わせ画像ＣＰ１０のスコアを算出する。算出部１４は、ウィンドウに相当するテンプレートＴＷ１を組み合わせ画像ＣＰ１０の全面に亘って走査させながら、テンプレートＴＷ１に表されたオブジェクトの形状と部分領域の形状との一致の度合いを示すスコアを算出する。

例えば、算出部１４は、テンプレートＴＷ１が組み合わせ画像ＣＰ１０中のある位置に設定された状態において、テンプレートＴＷ１に含まれる全画素数に対する部分領域の画素数の割合を、スコアとして算出する。あるサイズに設定されたテンプレートＴＷ１による組み合わせ画像ＣＰ１０の全面に亘る走査を行いながらのスコアの算出が終了すると、算出部１４は、テンプレートＴＷ１のサイズを変更して再び走査を行う。算出部１４は、このように算出されたスコアのうち、最も高いスコアを組み合わせ画像ＣＰ１０のスコアとして決定する。そして、算出部１４は、生成された組み合わせ画像または処理対象の組み合わせ画像の全てについてのスコアを決定する。

なお、本実施形態で実施されるＳｌｉｄｉｎｇ Ｗｉｎｄｏｗ法では、あるサイズ及び位置に設定されたウィンドウにおけるスコア算出にかかる処理負荷が高い。従って、スコア算出に先立って、算出部１４は、設定されたウィンドウ内における抽出対象のオブジェクトを表している可能性がある部分領域の画素（有効画素）の数を算出し、有効画素の画素数が当該ウィンドウ全体の画素に対して所定の割合未満である場合に、当該ウィンドウにおけるスコア算出を実施しないこととしてもよい。有効画素の算出には、例えば、Ｉｎｔｅｇｒａｌ Ｉｍａｇｅという技術を用いてもよい。Ｉｎｔｅｇｒａｌ Ｉｍａｇｅは、ある領域内における所定の条件を満たす画素の数を効率良くカウントする技術であって、当業者に知られた技術である。

出力部１５は、スコアが最も高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する。具体的には、出力部１５は、算出部１４により決定された各組み合わせ画像のスコアのうち、最も高いスコアを有する組み合わせ画像を、オブジェクト領域として特定する処理対象領域情報を出力する。図１２は、処理対象領域情報の例を示す図である。図１２に示すように、出力部１５は、算出部１４により算出されたスコアが最も高い組み合わせ画像ＣＰ１０を、抽出対象のシャツが表されているオブジェクト領域ＦＡとして特定する処理対象領域情報ＴＡを出力する。

なお、出力部１５は、算出部１４により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値以上である場合に、処理対象領域情報を出力し、算出部１４により算出された各組み合わせ画像のスコアのうち最も高いスコアが所定値未満である場合に、対象画像に抽出対象のオブジェクトが表されていないと判断し、処理対象領域情報を出力しないこととしてもよい。これにより、所望のオブジェクトが表されていない可能性が高い対象画像に対して、オブジェクトを抽出する処理が実施されることが防止される。また、このような場合に、出力部１５は、対象画像に抽出対象のオブジェクトが表されていないことを通知する情報を出力してもよい。これにより、対象画像に抽出対象のオブジェクトが表されていないことをユーザに認識させることができる。一方、所定値以上のスコアを有する組み合わせ画像に関する処理対象領域情報が出力されることとなるので、オブジェクトを抽出する処理が適切に実施される。

オブジェクト抽出部１６は、処理対象領域情報に基づいて、対象画像からオブジェクトを抽出する。具体的には、オブジェクト抽出部１６は、図１２に示した処理対象領域情報ＴＡに基づいて、図３に示した対象画像ＴＰから、シャツのオブジェクトを抽出する。オブジェクト抽出部１６は、例えば、Ｇｒａｂｃｕｔ法によりオブジェクトを抽出してもよい。Ｇｒａｂｃｕｔ法は、画像からオブジェクトを抽出する技術であって、当業者に知られた技術である。

次に、図１３を参照して、本実施形態の画像処理装置１の動作について説明する。図１３は、画像処理装置１において実施される画像処理方法の処理内容を示すフローチャートである。

まず、画像取得部１１は、処理対象の画像である対象画像ＴＰを取得する（Ｓ１）。次に、抽出部１２は、色に関する画素値の所定の類似性に基づくクラスタリングにより、対象画像ＴＰから複数の部分領域を抽出する（Ｓ２）。

続いて、生成部１３は、複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を生成する（Ｓ３）。次に、算出部１４は、組み合わせ画像を構成する部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを、組み合わせ画像のそれぞれに対して算出する（Ｓ４）。

続いて、出力部１５は、最も尤もらしさが高い組み合わせ画像を、対象画像におけるオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する（Ｓ５）。

そして、オブジェクト抽出部１６は、ステップＳ５において出力された処理対象領域情報に基づいて、対象画像ＴＰからオブジェクトを抽出する（Ｓ６）。

次に、図１４を参照して、コンピュータを画像処理装置１として機能させるための画像処理プログラムを説明する。画像処理プログラムｐ１は、メインモジュールｍ１０、画像取得モジュールｍ１１、抽出モジュールｍ１２、生成モジュールｍ１３、算出モジュールｍ１４、出力モジュールｍ１５及びオブジェクト抽出モジュールｍ１６を備える。

メインモジュールｍ１０は、画像処理を統括的に制御する部分である。画像取得モジュールｍ１１、抽出モジュールｍ１２、生成モジュールｍ１３、算出モジュールｍ１４、出力モジュールｍ１５及びオブジェクト抽出モジュールｍ１６を実行することにより実現される機能はそれぞれ、図１に示される画像処理装置１の画像取得部１１、抽出部１２、生成部１３、算出部１４、出力部１５及びオブジェクト抽出部１６の機能と同様である。

画像処理プログラムｐ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の非一時的な記憶媒体ｄ１によって提供される。また、画像処理プログラムｐ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

以上説明した本実施形態の画像処理装置１、画像処理方法及び画像処理プログラムｐ１によれば、画素値の色類似性に基づくクラスタリングにより、抽出対象のオブジェクトの一部を構成する可能性がある部分領域が対象画像から抽出され、１以上の部分領域を組み合わせることにより、オブジェクトの大部分の領域を形成する可能性がある組み合わせ画像が複数生成される。そして、各組み合わせ画像に含まれる部分領域により形成される形状の、当該オブジェクトの形状としての尤もらしさが算出され、算出された尤もらしさが最も高い組み合わせ画像をオブジェクトが表されているオブジェクト領域として特定する処理対象領域情報が出力される。従って、オブジェクトの大部分を占める領域に関する情報を、自動的に取得することが可能となる。例えば、このように得られる処理対象領域情報に基づいてＧｒａｂｃｕｔを実施することにより、対象画像から所望のオブジェクトを高精度に抽出することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１…画像処理装置、１１…画像取得部、１２…抽出部、１３…生成部、１４…算出部、１５…出力部、１６…オブジェクト抽出部、２１…オブジェクト形状情報記憶部、ｄ１…記憶媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…抽出モジュール、ｍ１３…生成モジュール、ｍ１４…算出モジュール、ｍ１５…出力モジュール、ｍ１６…オブジェクト抽出モジュール、ｐ１…画像処理プログラム。

Claims (12)

1. 処理対象の画像である対象画像を取得する画像取得手段と、
   画素値の所定の色類似性に基づくクラスタリングにより、前記対象画像から複数の部分領域を抽出する抽出手段と、
   前記複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段と、
   前記組み合わせ画像を構成する前記部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、前記組み合わせ画像のそれぞれに対して算出する算出手段と、
   前記スコアが最も高い組み合わせ画像を、前記対象画像における前記オブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段と、
   を備える画像処理装置。
2. 前記生成手段は、前記対象画像における外縁部に位置する部分領域を前記組み合わせ画像の生成に用いない、
   請求項１に記載の画像処理装置。
3. 前記生成手段は、所定範囲の画素値の画素を含む部分領域を前記組み合わせ画像の生成に用いない、
   請求項１または２に記載の画像処理装置。
4. 前記所定範囲の画素値は、人の肌の色を表す画素値である、請求項３に記載の画像処理装置。
5. 前記算出手段は、前記組み合わせ画像を構成する複数の部分領域の位置が所定の程度以上互いに離間している場合には、該組み合わせ画像の前記スコアを算出しない、
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記処理対象領域情報に基づいて、前記対象画像から前記オブジェクトを抽出するオブジェクト抽出手段をさらに有する、
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記オブジェクト抽出手段は、Ｇｒａｂｃｕｔ法により前記オブジェクトを抽出する、
   請求項６に記載の画像処理装置。
8. 前記算出手段は、予め記憶している前記オブジェクトの形状に対する、前記部分領域により形成される形状の一致の度合いに基づいて、前記スコアを算出する、
   請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記出力手段は、
   前記算出手段により算出された各組み合わせ画像の前記スコアのうち最も高いスコアが所定値以上である場合に、前記処理対象領域情報を出力し、
   前記算出手段により算出された各組み合わせ画像の前記スコアのうち最も高いスコアが所定値未満である場合に、前記対象画像に抽出対象のオブジェクトが表されていないと判断し、前記処理対象領域情報を出力しない、
   請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記出力手段は、前記対象画像に抽出対象のオブジェクトが表されていないことを通知する情報を出力する、請求項９に記載の画像処理装置。
11. 画像処理装置における画像処理方法であって、
    処理対象の画像である対象画像を取得する画像取得ステップと、
    画素値の所定の色類似性に基づくクラスタリングにより、前記対象画像から複数の部分領域を抽出する抽出ステップと、
    前記複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成ステップと、
    前記組み合わせ画像を構成する前記部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、前記組み合わせ画像のそれぞれに対して算出する算出ステップと、
    前記スコアが最も高い組み合わせ画像を、前記対象画像における前記オブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力ステップと、
    を有する画像処理方法。
12. コンピュータを、
    処理対象の画像である対象画像を取得する画像取得手段、
    画素値の所定の色類似性に基づくクラスタリングにより、前記対象画像から複数の部分領域を抽出する抽出手段、
    前記複数の部分領域のうちの１以上の部分領域の組み合わせからなる組み合わせ画像を複数生成する生成手段、
    前記組み合わせ画像を構成する前記部分領域により形成される形状の、抽出対象のオブジェクトの形状としての尤もらしさを示すスコアを、前記組み合わせ画像のそれぞれに対して算出する算出手段、及び、
    前記スコアが最も高い組み合わせ画像を、前記対象画像における前記オブジェクトが表されているオブジェクト領域として特定する処理対象領域情報を出力する出力手段、
    として機能させる画像処理プログラム。
    
    

Images