JP5210318B2 - 画像処理装置、方法、および記憶媒体 - Google Patents

Description

本発明は、画像中から対象物体を抽出するための技術に関するものである。

近年、デジタルスチルカメラやデジタルビデオカメラ等に代表される、撮像機能を有する小型の電子機器が普及するとともに、これらの撮像機能の高機能化が進んでいる。

例えば、これらの撮像装置は、通常、ＬＣＤ等のディスプレイを備えており、ユーザは記録される映像をディスプレイで確認しながら、被写体を撮影することが可能である。

また、デジタルスチルカメラにおいて、シャッターを半押しにした状態にすることで、ディスプレイの中央座標を中心に、決まったサイズの矩形を、対象物の領域と設定し、設定した領域から対象物の特徴を抽出し、最初に抽出した特徴と、その抽出がされた入力画像よりも後の入力画像とのマッチングを行い、対象物の追跡を行い、自動合焦機能（AF（Auto Focus））や自動露光機能（AE（Auto Exposure））等を調整することができる撮像装置も存在する。

従来の技術としては、ユーザがマウスやタッチペンなどを用い、対象物体を完全に包含する矩形や楕円の領域をマニュアル操作によって設定し、設定した領域から背景色の成分を推定し、設定された領域内から背景色の成分を除くことにより対象物の色成分を特定し、対象物体の抽出を行う（例えば、特許文献１参照）。図１９は、前記特許文献１に記載された従来技術のブロック図である。なお、従来の対象物追跡装置１６００（図１９）は、機能部１６１１、機能部１６１２、機能部１６０１〜機能部１６０６の各機能部を備える。図１９の各機能部のそれぞれに付される文字は、その機能部で行われる処理を示す。

特開２００４−２５２７４８号公報

しかしながら、前記従来技術では、ユーザが指定する領域内から対象物体の抽出を行うため、ユーザが、対象物を完全に包含する領域を指定することができていない場合は、対象物全体を正しく抽出することができなかった。

また、デジタルスチルカメラやデジタルビデオカメラ等の従来のユーザインターフェースでは、対象物の領域を指定する操作が困難であった。

本発明は、前記従来の課題を解決するもので、ユーザが簡易な操作をするだけで、例えば対象物体の領域の一部を指定するだけなどで、対象物全体を正しく抽出することができる画像処理装置および画像処理方法並びに記憶媒体を提供することを目的とする。

前記従来の課題を解決するために、次の構成を採った。

本発明の画像処理装置は、画像中の対象物体を抽出する画像処理装置であって、前記入力された画像上の位置を指定する指定手段と、前記指定された位置を基準に、第１の対象領域候補と第１の背景領域候補とからなる第１の組み合わせと、第１の組み合わせとは異なる第２の対象領域候補と第２の背景領域候補とからなる第２の組み合わせとを設定する設定手段と、前記第１の対象領域候補の正規化色ヒストグラムと、前記第２の対象領域候補の正規化色ヒストグラムと、前記第１の背景領域候補の正規化色ヒストグラムと、前記第２の背景領域候補の正規化色ヒストグラムとを作成するヒストグラム作成手段と、前記作成された第１の対象領域候補の正規化色ヒストグラムと、前記作成した第１の背景領域候補の正規化色ヒストグラムとから、前記第１の組み合わせの類似度を算出し、前記作成された第２の対象領域候補の正規化色ヒストグラムと、前記作成した第２の背景領域候補の正規化色ヒストグラムとから、前記第２の組み合わせの類似度を算出する類似度算出手段と、前記第１の組み合わせの類似度と前記第２の組み合わせの類似度とから、類似度が小さい組み合わせを選択する選択手段とを備えた画像処理装置である。

本発明によれば、ユーザが指定した位置を基準に、対象領域候補と背景領域候補の組み合わせを複数設定し、各組み合わせに対して対象領域候補の色ヒストグラムと、背景領域候補の色ヒストグラムとから類似度を算出することで、対象物体を抽出することができる。また、対象領域候補の色ヒストグラムと、背景領域候補の色ヒストグラムとから、背景色成分を特定し、対象領域候補と背景領域候補とから対象物の領域を抽出して、抽出した対象物の領域を統合することで、対象物を包含する、対象物の外接領域を正しく検出することができる。

図１は、本発明の実施の形態１における画像処理装置のブロック図である。 図２は、本発明の実施の形態１における画像処理装置のフローチャートである。 図３は、本発明の実施の形態１，２における位置設定の例を示す図（固定座標を設定）である。 図４は、本発明の実施の形態１，２における位置設定の例を示す図（タッチパネル）である。 図５は、本発明の実施の形態１における対象領域候補設定の例を示す図である。 図６は、本発明の実施の形態１における背景領域候補設定の例を示す図である。 図７は、本発明の実施の形態１における領域設定の例を示す図である。 図８は、本発明の実施の形態１における領域設定の例を示す図である。 図９は、本発明の実施の形態１における領域設定の例を示す図である。 図１０は、本発明の実施の形態１，２における使用する色空間の例を示す図である。 図１１は、色ヒストグラムの例を示す図である。 図１２は、本発明の実施の形態１，２における対象物・背景の色成分を抽出する例を示す図である。 図１３は、本発明の実施の形態２における画像処理装置のブロック図である。 図１４は、本発明の実施の形態２における画像処理装置のフローチャートである。 図１５は、本発明の実施の形態２における対象領域候補設定の例を示す図である。 図１６は、本発明の実施の形態２における背景領域候補設定の例を示す図である。 図１７は、本発明の実施の形態における記録媒体のブロック図である。 図１８は、画像処理装置が高精度枠を特定する処理を説明する図である。 図１９は、従来技術のブロック図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置１００のブロック図である。

図１において、対象物抽出を行う画像処理装置１００は、指示部１０１と設定部１０２とヒストグラム作成部１０３と類似度算出部１０４と選択部１０５と枠処理部１０６と表示部１０７とを備える。

なお、これら指示部１０１等の機能ブロックは、それぞれ、例えば、図１７に示されるＣＰＵ１５０１が予め定められたプログラムを実行することで実現される機能であってもよい。例えば、画像処理装置１００は、図１７に示されるシステム１５００である。なお、指示部１０１等の機能ブロックは、その機能ブロックが、所謂オブジェクト指向のプログラムにより実現される場合、例えば、１つまたは複数のオブジェクトによる機能の機能ブロックであると解されてもよい。

画像処理装置１００は、Ｉ個の対象領域候補Ｏ＿ｉ（１≦ｉ≦Ｉ、図５）などに基づいて、対象物ｏｂｊの輪郭に合った対象物領域（高精度対象物領域）を特定する。ここで、高精度対象物領域は、例えば、後で詳しく説明されるように、Ｉ個の対象領域候補Ｏ＿ｉのうちで比較的適切な領域である。そして、画像処理装置１００は、例えば、デジタルビデオカメラなどの、対象物ｏｂｊが含まれる静止画や動画（入力画像１００Ｉ参照）を撮像する撮像装置または、そのような撮像装置に設けられる部品である。そして、画像処理装置１００は、例えば、特定される対象物領域に基づいて、対象物領域の特定結果から画像処理装置１００等が特定する焦点距離で、画像処理装置１００に撮像を行わせる。特定される対象物領域は、例えばこのような自動合焦機能の処理などの、各種の対象物領域を利用する処理に用いられる。

図２は、本発明の実施の形態１に係る、画像処理装置１００のフローチャートである。

まず、画像処理装置１００により、入力画像１００Ｉ（図１）が当該画像処理装置１００に入力される（ステップＳ２００）。

図３は、画像処理装置１００により表示される入力画像１００Ｉを示す図である。

入力画像１００Ｉを入力後、表示部１０７は、入力された入力画像１００Ｉを表示する（ステップＳ２０１）。

次に、指示部１０１は、ユーザの指示に基づいて、座標（対象物箇所座標）を指定する（ステップＳ２０２）。具体的には、ユーザは、対象物ｏｂｊに含まれる部分の座標を指定する。なお、この指定の処理については、後で、より詳しく説明される。

図５は、対象領域候補５０１（対象領域候補Ｏ＿ｉ）を示す図である。

図６は、背景領域候補６０１（背景領域候補Ｂ＿ｉ）を示す図である。

設定部１０２は、指示部１０１の処理により指定された座標を基準に、対象領域候補Ｏ＿ｉと背景領域候補Ｂ＿ｉとの組み合わせをＩ個設定する（ステップＳ２０３、１≦ｉ≦Ｉ）。ここでは、説明の便宜上、組み合わせの個数が２である（Ｉ＝２、ｉ＝１，２）ものとして説明するが、組み合わせの数は２組に限らない。

ヒストグラム作成部１０３は、設定された対象領域候補Ｏ＿ｉと背景領域候補Ｂ＿ｉとの画像データから、色ヒストグラムをそれぞれ算出する（ステップＳ２０４）。つまり、ヒストグラム作成部１０３は、入力画像１００Ｉのうちで、対象領域候補Ｏ＿ｉの部分の画像の画像データから、対象領域候補Ｏ＿ｉの色ヒストグラムを算出する。また、ヒストグラム作成部１０３は、入力画像１００Ｉのうちで、背景領域候補Ｂ＿ｉの部分の画像の画像データから、対象領域候補Ｏ＿ｉの色ヒストグラムを算出する。

類似度算出部１０４は、対象領域候補Ｏ＿ｉの色ヒストグラムと背景領域候補Ｂ＿ｉの色ヒストグラムとから、対象領域候補Ｏ＿ｉと背景領域候補Ｂ＿ｉとの間の類似度Ｌ＿ｉを算出する。類似度算出部１０４は、各組み合わせに対してそれぞれ、その組み合わせを構成する対象領域候補Ｏ＿ｉと背景領域候補Ｂ＿ｉとの各色ヒストグラムの間の類似度を算出し、Ｉ個の類似度を算出する（ステップＳ２０５）。

選択部１０５は、算出されたＩ個の類似度を比較して、類似度が最も低い組み合わせを１つ選択する（ステップＳ２０６）。つまり、選択部１０５は、組み合わせの類似度を、他の組み合わせの類似度と比較する。そして、選択部１０５は、設定部１０２により特定された各組み合わせのうちで、その組み合わせ以外の他の何れの組み合わせよりも類似度が大きくない組み合わせ（選択組み合わせ）を選択する。

枠処理部１０６は、選択された組み合わせの対象領域候補Ｏ＿ｓの色ヒストグラムと、背景領域候補Ｂ＿ｓの色ヒストグラム（１≦ｓ≦Ｉ）とから、背景色の色成分と、対象物ｏｂｊ（図５等）の色成分とを特定する。つまり、枠処理部１０６は、背景色に含まれる、１以上の色の種類を特定する。特定される１以上の種類は、背景を構成する色の色成分である。こうして、背景色の各色成分を特定することは、背景色を特定することと呼ばれる。また、枠処理部１０６は、対象物ｏｂｊを構成する、１以上の色の種類を特定する。なお、色ヒストグラムについては、後で、より詳しく説明される。

また、枠処理部１０６は、入力画像１００Ｉから、対象物ｏｂｊの色成分の画素を抽出し、抽出された画素を１つの対象物領域（高精度対象物領域）として統合する（ステップＳ２０７）。つまり、枠処理部１０６は、例えば、入力画像１００Ｉのうちの、予め定められた和領域に含まれる各画素のうちで、対象物ｏｂｊの色成分である各画素を特定する。ここで、この和領域は、例えば、選択組み合わせの対象領域候補Ｏ＿ｓおよび背景領域候補Ｂ＿ｉの２つの領域の少なくとも一方に含まれる各箇所が集まってなる領域である。そして、枠処理部１０６は、この特定された各画素の全体よりなる領域を、対象物領域（高精度対象物領域）として特定する。

最後に、表示部１０７は、統合された対象物領域の枠を表示する(ステップＳ２０８)。

以下、各ステップの詳細を説明する。

まず、ステップＳ２０１では、入力画像１００Ｉが表示される。

ステップＳ２０２では、画像処理装置１００のユーザは、表示された入力画像１００Ｉを確認しながら、入力画像１００Ｉ中の対象物ｏｂｊ上の座標を指示する。指示する座標は、図３に示すように、例えば、画像処理装置１００の操作ボタンが押されるタイミングにおける、表示画像（入力画像１００Ｉ）の固定の座標としてもよい。

要するに、指示部１０１は、画像処理装置１００に入力される複数の入力画像１００Ｉのうちから１つの入力画像１００Ｉを特定してもよい。そして、指示部１０１は、特定される入力画像１００Ｉにおける、上記固定の座標（予め定められた座標）を、対象物ｏｂｊに含まれる箇所の座標として特定するものであってもよい。

図４は、ユーザの指４０１ｂによるタッチにより座標が指定される際の入力画像４０１ａを示す図である。

また、例えば、表示部１０７の上部にタッチパネル装置を取り付け、図４に示すように、ユーザがパネルに接触することにより、座標を指示してもよい。なお、座標の指示にはマウス、タッチペン等の入力デバイスを用いてもよい。

なお、要するに、指示部１０１は、対象物ｏｂｊに含まれる箇所の座標としてユーザが当該画像処理装置１００に対して指定する座標（対象物箇所座標）を特定する。

次に、ステップＳ２０３では、図５に示す通り、ユーザが指定した座標を基準に、Ｍｉピクセル×Ｎｉピクセルの対象領域候補Ｏ＿ｉ（１≦ｉ≦Ｉ）が設定部１０２により設定される。また、図６に示す通り、ユーザが指定した座標を基準に、Ｏｉピクセル×Ｐｉピクセルの背景領域候補Ｂ＿ｉ（１≦ｉ≦Ｉ）が設定部１０２により設定される。このとき、Ｍｉ＜Ｏｉ、Ｎｉ＜Ｐｉである。なお、これら、対象領域候補５０１および背景領域候補６０１は、例えば、中心が、指示部１０１により特定された座標である領域であってもよい。また、背景領域候補６０１は、例えば、対応する対象領域候補５０１を包含する領域であってもよい。

図７は、円領域７０１を示す図である。

図８は、楕円領域７０２を示す図である。

図９は、互いに離れた２個以上の領域が集まってなる集合領域７０３を示す図である。

なお、対象領域候補５０１と背景領域候補６０１の形は、矩形に限らない。例えば、対象領域候補５０１と背景領域候補６０１とのうちの一方または両方は、図７に示す通り、半径Ｒｉの円領域７０１であってもよいし、長軸Ｓｉ、短軸Ｔｉの楕円領域７０２であってもよい。また、設定部１０２が設定するこれらの領域の一方または両方は、２個以上の領域に分割された集合領域７０３であってもよい。

そして、ステップＳ２０４では、まず、ステップＳ２０３で設定した各領域（対象領域候補Ｏ＿ｉおよび背景領域候補Ｂ＿ｉ、１≦ｉ≦Ｉ）の色ヒストグラムが、ヒストグラム作成部１０３により算出される。

図１１は、色ヒストグラム９００を示す図である。

色ヒストグラム９００は、予め定められた複数の色の種類のうちの、それぞれの色の種類に対応する度数（数値）を特定するデータである。特定される数値は、その色ヒストグラム９００の画像に含まれる各画素のうちで、その数値の種類の色の画素の個数である。なお、例えば、上記色の種類の予め定められた個数は、例えば、後述されるＱ（＝１６）個である。なお、色ヒストグラム９００については、後で、さらに詳しく説明される。図１１の色ヒストグラム９００では、横軸が、１６個の色の種類を示し、縦軸が、その種類の色の画素の個数を示す。

図１０は、ＨＳＶの色空間における色相（Ｈ）の色成分軸８０１を示す図である。

色ヒストグラムの計算では、予め定められた色空間における各色成分軸をＱ分割したＬ次元ヒストグラムがヒストグラム作成部１０３により作成される。つまり、作成される色ヒストグラムは、例えば、画素の個数を特定する色の種類の個数がＱ個である。そして、それぞれの種類の色は、上記色空間をＱ分割した各部分空間のうちの１つである。そして、例えば、それらの部分空間は、色空間における各色成分軸のうちで予め定められた１つの色成分軸（例えば色相の色成分軸、Ｌ＝１）をＱ分割した際の各部分の色である。

ここでは、一例として、図１０に示す通り、Ｑ＝１６、Ｌ＝１として、また、色空間をＨＳＶ空間とする。そして、上記１つの色成分軸は、Ｈ（色相）の色成分軸であるとする。このＨ（色相）の色成分軸に基づいて、この、色相の色成分軸を、１６個に分割した１次元ヒストグラム（図１１の色ヒストグラム９００）を、ヒストグラム作成部１０３は作成するものとする。

そして、ヒストグラム作成部１０３は、対象領域候補５０１内の各画素について、色空間内の１６個に分割された要素（色成分）のうちのどの要素に含まれる色の画素か判定する。分割された各要素に含まれる色を有する画素の画素数をヒストグラム作成部１０３は数えて、対象領域候補５０１の色ヒストグラムを算出する。背景領域候補６０１についても同様に色ヒストグラムをヒストグラム作成部１０３は算出する。

図１１に色ヒストグラムの一例を示す。横軸は、各要素（色成分）を示す番号ｑ（ｑ＝０，１，２，・・・，１５）である。縦軸は、色ヒストグラムの度数、すなわち、その色成分の色を有する画素の個数である。

１６個に分割した各要素のうちのｑ番目の要素（０≦Ｑ≦Ｑ−１）の度数（画素の個数）をＤ_ｑ個とすると、色ヒストグラム９００の総画素数は式（１）で求められる。

次に、色ヒストグラム９００の各要素の度数のそれぞれを、領域の総画素数で割って得られる正規化ヒストグラムＮＤ_ｑを算出する。

正規化ヒストグラムは、各要素の総和が１となるように正規化されている。

すなわち、正規化ヒストグラムは、色ヒストグラムの画像の各画素の総数に占める、各色成分のそれぞれの画素の個数の割合を特定するデータである。

次に、ステップＳ２０５では、対象領域候補５０１と背景領域候補６０１の組み合わせの類似度が算出される。ここでは、類似度の尺度として、式（３）に示すヒストグラムインターセクションＳｏｂを用いる。このような類似度が、各組み合わせに対してそれぞれ類似度算出部１０４により算出される。

図１２は、対象領域候補５０１の正規化ヒストグラム１００１と、背景領域候補６０１の正規化ヒストグラム１００２とを示す図である。なお、図１２に示される、減算結果ヒストグラム１００３とについては、後で詳しく説明される。

ここで、図１２に示されるＯ_ｑは、対象領域候補５０１の正規化ヒストグラム１００１の各要素の度数であり、Ｂ_ｑは、背景領域候補６０１の正規化ヒストグラム１００２の各要素の度数である。対象領域候補５０１の正規化ヒストグラム１００１と背景領域候補６０１の正規化ヒストグラム１００２とは、どちらも、総和が１となるように正規化されている。したがって、ヒストグラムインターセクションＳｏｂは０から１までの値となる。

つまり、ヒストグラムインターセクションＳｏｂは、対象領域候補５０１の正規化ヒストグラム１００１の形（図１２）に対して、他方の正規化ヒストグラム１００２の形（図１２）が重ね合わせられた際に、それら２つの形が重なる重複領域の面積に対応する。

そして、先述のように、設定部１０２は、対象領域候補５０１と背景領域候補６０１との組み合わせをＩ個、設定する。そして、ヒストグラム作成部１０３は、それらＩ個の組み合わせのそれぞれについて、その組み合わせ（ｉ番目の組み合わせ）の対象領域候補５０１（対象領域候補ｏ＿ｉ）と背景領域候補６０１（背景領域候補Ｂ＿ｉ）の２つの領域の色ヒストグラム９００（正規化色ヒストグラム）を算出する。そして、類似度算出部１０４も、それらＩ個の組み合わせのそれぞれについて、類似度を算出する。

ステップＳ２０６では、類似度を算出したＩ個の組み合わせの中から、最も算出された類似度が低い組み合わせが、最も適切な、対象領域候補Ｏ＿ｉと背景領域候補Ｂ＿ｉとの組み合わせとして選択部１０５により選択される。

図１２の右図では、減算結果ヒストグラム１００３が示される。

次に、ステップＳ２０７では、まず、式（４）に示すように、背景領域候補Ｂ＿ｉの正規化ヒストグラム１００２の各要素の度数から、対象領域候補Ｏ＿ｉの正規化ヒストグラム１００１の各要素の度数を枠処理部１０６が減算して、それらの度数の間の大小を枠処理部１０６が判定する。つまり、枠処理部１０６は、各色成分について、それぞれ、正規化ヒストグラム１００１における、その色成分の個数Ｂ_ｑから、正規化ヒストグラム１００２におけるその色成分の個数Ｏ_ｑを減算する。これにより、枠処理部１０６は、各色成分の度数が、それぞれ、その色成分についてのこの減算の減算結果Ｅ_ｑである減算結果ヒストグラム１００３を算出する。

減算結果Ｅ_ｑが正であれば、その減算がされた要素（色成分）を、背景の色成分として、枠処理部１０６は決定する。他方で、減算結果Ｅ_ｑが負であれば、その色成分を、対象物ｏｂｊの色成分として枠処理部１０６は決定する。図１２に一例を示す。

なお、減算結果Ｅ_ｑに基づいて対象物ｏｂｊの色成分か否かを決定するのではなく、次のように決定してもよい。選択組み合わせの背景領域候補６０１の正規化ヒストグラム１００２の中での度数が高い順番に、ｕ個の色成分、つまり、最も度数が高い色成分から、ｕ番目に高い色成分までの各色成分を、背景の色成分として、枠処理部１０６は特定する。対象領域候補５０１の正規化ヒストグラム１００１の各色成分から、特定されたｕ個の色成分を除去し、残った各色成分を対象物の色成分として枠処理部１０６は決定する。

次に、決定した対象物ｏｂｊの色成分（例えば、上記演算結果ヒストグラムにおいて画素の個数が予め定められた閾値（例えば０）以上の各色成分）の画素を、選択組み合わせの対象領域候補５０１と背景領域候補６０１となどの、適切な対象領域候補５０１および背景領域候補６０１から、枠処理部１０６は抽出する。そして、対象領域候補５０１と背景領域候補６０１とから抽出した、対象物ｏｂｊの各画素が含まれるように、矩形を、枠処理部１０６は設定する。つまり、例えば、枠処理部１０６は、抽出された各画素が何れも含まれる最小の矩形を、対象物領域（高精度対象物領域）として特定する。また、抽出した、対象物ｏｂｊの各画素に対して、楕円フィッティングを行った結果を対象物領域として枠処理部１０６は用いてもよい。また、ステップＳ２０６で選択された領域の組み合わせ（選択組み合わせ）の対象領域候補５０１を、そのまま対象物領域として枠処理部１０６は設定してもよい。

最後に、ステップＳ２０８で、ステップＳ２０７で設定した矩形枠または楕円枠を表示部１０７に画像処理装置１００は出力する。この出力がされることで、表示部１０７は、設定された対象物領域（高精度対象物領域）を表示する。

（実施の形態２）
図１３は、本発明の実施の形態２における画像処理装置１１００のブロック図である。

図１３において、対象物抽出を行う画像処理装置１１００は、指示部１１０１と設定部１１０２とヒストグラム作成部１１０３と類似度算出部１１０４と判定部１１０５と枠処理部１１０６と表示部１１０７とを備える。

図１４は、本発明の実施の形態２に係る、画像処理装置１１００のフローチャートである。

入力画像１００Ｉを画像処理装置１１００が当該画像処理装置１１００に入力した後、表示部１１０７は、入力された入力画像１００Ｉを表示する（ステップＳ１２０１）。

指示部１１０１は、画像処理装置１１００のユーザの指示に基づいて座標を指定する（ステップＳ１２０２）。

設定部１１０２は、指定された座標を基準に、Ｍピクセル×Ｍピクセルの対象領域候補Ｏ＿１（対象領域候補Ｏ＿ｔ、ｔ≧１）と、Ｎピクセル×Ｎピクセルの背景領域候補Ｂ＿１（背景領域候補Ｂ＿ｔ、ｔ≧１）を設定する（ステップＳ１２０３、Ｓ１２０４）。

ヒストグラム作成部１１０３は、設定された対象領域候補Ｏ＿１（対象領域候補Ｏ＿ｔ）と背景領域候補Ｂ＿１（背景領域候補Ｂ＿ｔ）の画像データから、それら各領域の色ヒストグラムをそれぞれ算出する（ステップＳ１２０５）。

類似度算出部１１０４は、対象領域候補Ｏ＿１（対象領域候補Ｏ＿ｔ）の色ヒストグラムと、背景領域候補Ｂ＿１（背景領域候補Ｂ＿ｔ）の色ヒストグラムとから、対象領域候補Ｏ＿１（対象領域候補Ｏ＿ｔ）と背景領域候補Ｂ＿１（背景領域候補Ｂ＿ｔ）の類似度を算出する（ステップＳ１２０６）。

判定部１１０５は、類似度の判定を行う（ステップＳ１２０７）。

枠処理部１１０６は、類似度の判定で予め定められた判定がされた場合に、その判定がされた対象領域候補Ｏ＿ｔの色ヒストグラムと背景領域候補Ｂ＿ｔの色ヒストグラムとから、背景色の色成分を特定し、対象物となる背景色の色成分の各画素を抽出し、抽出された各画素を１つの対象物として統合を行う（ステップＳ１２０８）。

最後に表示部１１０７で、枠処理部１１０６が統合を行った結果の枠を表示する（ステップＳ１２０９）。

以下、各ステップの詳細を説明する。

まず、ステップＳ１２０１とステップＳ１２０２は、それぞれ、実施の形態１のステップＳ２０１とステップＳ２０２と同様である。

図１５は、対象領域候補Ｏ＿ｔ（対象領域候補１３０１）を示す図である。

図１６は、背景領域候補Ｂ＿ｔを示す図である。

次に、ステップＳ１２０３では、図１５に示す通り、ユーザに指示された座標を含むＭピクセル×Ｍピクセルの領域が、対象領域候補Ｏ＿１として設定部１１０２により設定される（ｔ＝１）。同様に、ステップＳ１２０４では、図１６に示す通り、ユーザに指示された座標を含むＮピクセル×Ｎピクセルの領域を、背景領域候補Ｂ＿ｔとして設定部１１０２が設定する（ｔ≧１）。このとき、例えば、背景領域候補Ｂ＿ｔは対象領域候補Ｏ＿ｔよりも広い領域である（Ｍ＜Ｎ）。なお、後述されるように、例えば、設定される対象領域候補Ｏ＿ｔは、対象領域候補Ｏ＿ｔの「ｔ」に関わらず、同じ領域（対象領域候補１３０１）である。

そして、ステップＳ１２０５では、ステップＳ１２０３で設定した対象領域候補Ｏ＿ｔの色ヒストグラムと、ステップＳ１２０４で設定した背景領域候補Ｂ＿ｔの色ヒストグラムとがヒストグラム作成部１１０３により算出される。そして、それぞれの各色ヒストグラムを正規化した正規化ヒストグラムがヒストグラム作成部１１０３により算出される。色ヒストグラム、正規化色ヒストグラムの作成は、実施の形態１と同様である。

次に、ステップＳ１２０６で、対象領域候補Ｏ＿ｔと背景領域候補Ｂ＿ｔとの類似度を類似度算出部１１０４が算出する。類似度の尺度としては、例えば、ヒストグラムインターセクションＳｏｂ（先述）を用いる。

ステップＳ１２０７で、類似度と、予め設定した閾値ＴＨを判定部１１０５は比較する。類似度が閾値ＴＨよりも高いと判定されれば、背景領域候補Ｂ＿ｔが背景色を十分に含んでいないと判定部１１０５は判定し、背景領域候補Ｂ＿ｔのサイズを設定部１１０２が拡大して（Ｎを増加して）、画像処理装置１１００の処理はステップＳ１２０４に戻る。

なお、戻った後のステップＳ１２０４〜ステップＳ１２０７の処理におけるｔの値は、戻る前の現在のｔの値に対して１が加算された値（ｔ＋１）である。そして、設定部１１０２は、戻った後において、背景領域候補Ｂ＿（ｔ＋１）として、上述の拡大がされた領域を設定する。背景領域候補Ｂ＿（ｔ＋１）は、例えば、背景領域候補Ｂ＿ｔを包含する領域である。

背景領域候補Ｂ＿ｔのサイズを、ｔの内容が大きくなるにつれて、徐々に拡大していくと、背景領域候補Ｂ＿ｔがほぼ対象物ｏｂｊを包含してしまうまでは、背景領域候補Ｂ＿ｔに占める対象物ｏｂｊの色成分は増加する。このとき、対象領域候補Ｏ＿ｔと、拡大した背景領域候補Ｂ＿（ｔ＋１）との類似度が、対象領域候補Ｏ＿ｔと、背景領域候補Ｂ＿ｔとの類似度よりも大きくなり、算出される類似度が増加する。対象物ｏｂｊを包含した後、さらに背景領域候補６０１のサイズを拡大すると、背景領域候補６０１に占める背景成分の割合が増加する。このとき、対象領域候補５０１と拡大した背景領域候補６０１との間の類似度は低下する。

つまり、背景領域候補６０１のサイズの変化に応じて、例えば、類似度は次のように変化する。背景領域候補Ｂ＿（ｔ＋１）には含まれて、かつ、背景領域候補Ｂ＿ｔには含まれない新入画素は、背景領域候補Ｂ＿ｔが対象物ｏｂｊを包含する場合には、対象物ｏｂｊの画素以外の他の画素である。このため、背景領域候補Ｂ＿（ｔ＋１）による類似度は、背景領域候補Ｂ＿ｔによる類似度よりも小さい。つまり、背景領域候補Ｂ＿（ｔ＋１）の類似度は、背景領域候補Ｂ＿ｔの類似度に対して、低下する。他方で、背景領域候補Ｂ＿ｔが、対象物ｏｂｊの一部のみを包含する場合には、対象物ｏｂｊの画素である新入画素が背景領域候補Ｂ＿（ｔ＋１）に含まれる。これにより、背景領域候補６０１の類似度は増加する。なお、類似度が極大となるｔの値における背景領域候補６０１は、背景領域候補Ｂ＿１、背景領域候補Ｂ＿２、…のうちで、対象物ｏｂｊの形に近い形（例えば、最も近い形）を有する領域である。

このように、類似度が閾値ＴＨよりも低くなるまで、ステップＳ１２０４からステップＳ１２０７までの処理が繰り返される。なお、繰り返す過程では、ステップＳ１２０５の対象領域候補１３０１の色ヒストグラムと正規化色ヒストグラムの作成の処理は、必ずしも繰り返す必要はない。

類似度が閾値ＴＨよりも低ければ、背景領域候補Ｂ＿（ｔ＋１）が背景色を十分に包含していると判定部１１０５が判定して、ステップＳ１２０８へ進む。

ステップＳ１２０１とステップＳ１２０２とは、それぞれ、実施の形態１のステップＳ２０１とステップＳ２０２と同様である。

ステップＳ１２０８とステップＳ１２０９とは、それぞれ、実施の形態１のステップＳ２０７とステップＳ２０８と同様である。

（実施の形態３）
実施の形態１あるいは実施の形態２における物体抽出装置（画像処理装置１００、画像処理装置１１００）の各構成要素の機能をプログラムにより構築し、そのプログラムをコンピュータにインストールする。そして、そのコンピュータまたはそのコンピュータを備えた装置を、物体抽出装置として利用する。このプログラムをインストールしたコンピュータ等には、指示部１０１、設定部１０２、ヒストグラム作成部１０３、類似度算出部１０４、選択部１０５、枠処理部１０６（指示部１１０１等）が、プロセス、またはプログラムモジュールとして実装される。

図１７は、システム１５００を示す図である。

図１７に示すように、このプログラムは、典型的には、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体１５０９に格納され、ドライブ１５１０、Ｉ／Ｏ１５１１を介してＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１５０７等の記憶装置にインストールされる。そして、ＣＰＵ１５０１が、ＲＯＭ１５１２、ＲＡＭ１５０６、ＨＤＤ１５０７等をアクセスしながら、このプログラムを実行することにより、上記実施の形態に係る、対象物抽出装置（物体抽出装置）が実現される。

なお、入力画像１００Ｉと、出力画像の一方または両方を、ネットワークを介して流通させることも可能である。

以上説明されたシステム１５００（画像処理装置１００、画像処理装置１１００）は、画像中の対象物体を抽出する画像処理装置であって、入力された画像を表示する表示部１０７（表示部１１０７）と、ユーザの指示により対象物の初期位置を設定する領域指示処理部（指示部１０１、指示部１１０１）と、前記設定した初期位置を基準に少なくとも２組以上の対象領域と背景領域の組み合わせを設定する設定部１０２（設定部１１０２）と、前記設定した複数の領域対群の色ヒストグラムをそれぞれの領域で算出するヒストグラム作成部１０３（ヒストグラム作成部１１０３）と、前記算出した対象領域と背景領域の正規化色ヒストグラムから類似度を算出する類似度算出部１０４（類似度算出部１１０４）と、前記類似度が一番小さい、対象領域と背景領域の組み合わせを選択する選択部１０５（判定部１１０５）と、前記選択された領域の組から対象物体領域に枠表示を行う枠処理部（枠処理部１０６、表示部１０７等）とを備え、対象物の抽出を行う。

これにより、ユーザが指定する初期領域内に対象物が完全に含まれない場合でも、対象物全体を正しく抽出することができる。

なお、ヒストグラム作成部１０３（ヒストグラム作成部１１０３）は、例えば、背景領域候補６０１の色ヒストグラムとして、背景領域候補６０１から、この背景領域候補６０１に包含される対象領域候補５０１を除いたドーナツ状の領域の色ヒストグラムを作成してもよい。そして、類似度算出部１０４等は、ドーナツ状の領域の色ヒストグラムに対応する類似度を算出するなどとしてもよい。

図１８は、画像処理装置１００（システム１５００）が高精度枠を特定する処理を説明する図である。

画像処理装置１００は、選択組み合わせを特定した後に、次の処理をしてもよい。

設定部１０２は、選択組み合わせの対象領域候補５０１を特定した後、その対象領域候補５０１の位置の近傍の予め定められた複数の位置の探索領域５０１ｙ（図１８の中央の上図および下図参照）を特定する。

ヒストグラム作成部１０３および類似度算出部１０４は、特定された複数の探索領域５０１ｙについて、それぞれ、その探索領域５０１ｙの類似度を算出する。ここで、算出される類似度は、例えば、選択組み合わせの背景領域候補６０１と、その探索領域５０１ｙの間の類似度であってもよい。なお、選択組み合わせの背景領域候補６０１は、例えば、何れの探索領域５０１ｙをも包含するものであってもよい。

枠処理部１０６は、算出された、複数の探索領域５０１ｙの類似度のうちで、予め定められた第１の閾値より大きな類似度の個数を特定する。そして、枠処理部１０６は、特定された個数が、予め定められた第２の閾値よりも大きいか否かを判定する。

図１８の上段の右図により、第１の閾値よりも大きいと特定された類似度の個数が、第２の閾値よりも大きいと判定された際における画像処理装置１００の処理が示される。

大きな対象物ｏｂｊ１は、別の、小さい対象物ｏｂｊｘよりも大きい対象物である。そして、大きな対象物ｏｂｊ１は、何れの探索領域５０１ｙについても、その探索領域５０１ｙに含まれる部分が、小さな対象物ｏｂｊｘがその探索領域５０１ｙに含まれる部分よりも大きい。このため、大きな対象物ｏｂｊ１は、第２の閾値よりも多い探索領域５０１ｙの類似度が、第１の閾値よりも大きいと判定される。他方で、小さな対象物ｏｂｊｘは、大きな対象物ｏｂｊ１よりも小さく、第２の閾値よりも少ない探索領域５０１ｙの類似度のみが、第１の閾値よりも大きいと特定される。

枠処理部１０６は、大きな類似度が第２の閾値よりも多いと判定されれば、表示部１０７に表示させる枠として、選択組み合わせの対象領域候補５０１ｘよりも大きな枠５０１ａを特定する。これにより、表示部１０７は、特定される大きな枠５０１ａ（高精度対象物領域）を表示する。大きな枠５０１ａは、例えば、中心の位置が、選択組み合わせの対象領域候補５０１の中心の位置と同じであり、かつ、選択組み合わせの対象領域候補５０１よりも大きな枠であってもよい。なお、枠処理部１０６は、大きな類似度の個数が少ないと判定されれば、例えば、選択組み合わせの対象領域候補５０１ｘを表示させるものとしてもよい。これにより、対象物が大きな対象物ｏｂｊ１である場合には、その大きな対象物ｏｂｊ１の大きさに近い枠が表示部１０７により表示できる。

また、枠処理部１０６は、図２のステップＳ２０５で算出された類似度が、予め定められた第３の閾値よりも小さいか否かを判定する。

図１８の下段の右図により、対象領域候補５０１ｘの類似度が小さいと判定された場合の画像処理装置１００の処理が示される。

小さな対象物ｏｂｊ２は、対象物ｏｂｊｘよりも小さい、比較的小さな対象物である。そして、小さな対象物ｏｂｊ２は、選択組み合わせの対象領域候補５０１ｚに含まれる部分が、対象物ｏｂｊｘがその対象領域候補５０１ｚに含まれる部分よりも小さい。このため、小さな対象物ｏｂｊ２は、ステップＳ２０５で算出される類似度が第３の閾値よりも小さいと判定される対象物である。

枠処理部１０６は、ステップＳ２０５で算出された類似度が小さいとのこの判定がされた場合には、表示部１０７に表示させる枠として、選択組み合わせの対象領域候補５０１ｚよりも小さな枠５０１ｂ（図１８下段の右図）を特定する。なお、小さな枠５０１ｂは、例えば、中心の位置が、選択組み合わせの対象領域候補５０１ｘの中心の位置と同じであり、かつ、選択組み合わせの対象領域候補５０１ｘの領域より小さい枠である。枠処理部１０６は、逆に、ステップＳ２０５で算出された類似度が大きいと判定された場合には、例えば、選択組み合わせの対象領域候補５０１ｘ（選択組み合わせの対象領域候補５０１ｚ）を表示させる。これにより、対象物が小さいときに、その大きさに近い枠が表示部１０７により表示できる。

以上説明されたように、指示部１０１は、ユーザにより指定された、前記画像における前記対象物体の位置を特定する。また、設定部１０２は、前記第１の対象領域候補（例えば、対象領域候補ｏ＿ｔ）、前記第２の対象領域候補（対象領域候補ｏ＿（ｔ＋１））として、それぞれ、指示部１０１により特定される前記位置が含まれた領域を設定する。また、ヒストグラム作成部１０３は、２つの前記対象領域候補と２つの前記背景領域候補との４つの領域のそれぞれについて、予め定められた複数の色成分（Ｑ個の色成分）の画素が、その領域の各画素のうちで占める割合を示すデータ（正規化ヒストグラム、色ヒストグラム９００）を算出する。また、類似度算出部１０４は、前記類似度として、前記複数の色成分のそれぞれの色成分について、一方の正規化ヒストグラムのその色成分の度数が、他方の正規化ヒストグラムのその色成分の度数に近いほど類似性が高いことを示す類似度を算出する。そして、選択部１０５は、２つの前記組み合わせのうちから、前記対象物が含まれる位置が含まれる各対象領域候補に基づいて算出された前記類似度が小さい方の組み合わせを選択する。

これにより、対象物ｏｂｊと、背景とをより的確に切り分けた方の組み合わせが選択できる。

本発明に係る画像処理装置はユーザが座標点で対象物を指定することで、対象物体に対して対象物の外接領域を抽出する場合に有用である。

１００、１１００ 画像処理装置
１００Ｉ、３０１ａ、４０１ａ 入力画像
１０１、１１０１ 指示部
１０２、１１０２ 設定部
１０３、１１０３ ヒストグラム作成部
１０４、１１０４ 類似度算出部
１０５ 選択部
１０６、１１０６ 枠処理部
１０７、１１０７ 表示部
３０１ 座標表示
３０１ｂ、４０１ｃ、ｏｂｊ 対象物
５０１、１３０１ 対象領域候補
６０１ 背景領域候補
７０１ 円領域
７０２ 楕円領域
７０３ 集合領域
１００１、１００２ 正規化ヒストグラム
１００３ 減算結果ヒストグラム
１１０５ 判定部
１５００ システム
１５０１ ＣＰＵ
１５０６ ＲＡＭ
１５０７ ＨＤＤ
１５０９ 記憶媒体
１５１０ ドライブ
１５１１ Ｉ／Ｏ
１５１２ ＲＯＭ

Claims (9)

1. 画像中の対象物体を抽出する画像処理装置であって、
   入力された前記画像上の位置を指定する指定手段と、
   前記指定された位置を基準に、第１の対象領域候補と第１の背景領域候補とからなる第１の組み合わせと、第１の組み合わせとは異なる、第２の対象領域候補と第２の背景領域候補とからなる第２の組み合わせとを設定する設定手段と、
   前記第１の対象領域候補の正規化色ヒストグラムと、前記第２の対象領域候補の正規化色ヒストグラムと、前記第１の背景領域候補の正規化色ヒストグラムと、前記第２の背景領域候補の正規化色ヒストグラムとを作成するヒストグラム作成手段と、
   前記作成された第１の対象領域候補の正規化色ヒストグラムと、前記作成した第１の背景領域候補の正規化色ヒストグラムとから、前記第１の組み合わせの類似度を算出し、前記作成された第２の対象領域候補の正規化色ヒストグラムと、前記作成した第２の背景領域候補の正規化色ヒストグラムとから、前記第２の組み合わせの類似度を算出する類似度算出手段と、
   前記第１の組み合わせの類似度と前記第２の組み合わせの類似度とから、類似度が小さい組み合わせを選択する選択手段と
   を備えた画像処理装置。
2. 前記設定手段は、
   前記第２の対象領域候補と同じ領域を、前記第１の対象領域候補として設定し、かつ、何れも前記第１の対象領域候補を包含して、サイズが互いに異なる２つの領域を各々前記第１の背景領域候補および前記第２の背景領域候補として設定する
   請求項１に記載の画像処理装置。
3. 入力された画像を表示する表示手段と、
   前記選択された組み合わせの対象領域候補に基づいて、入力画像の中の対象物体領域に枠を表示する枠処理手段とを備える
   請求項１に記載の画像処理装置。
4. 前記第１の対象領域候補と、前記第１の対象領域候補と、前記第１の背景領域候補と、前記第２の背景領域候補とのうちの少なくとも１つの領域が、２つ以上の領域に分割されている
   請求項１に記載の画像処理装置。
5. 前記選択された選択組み合わせの対象領域候補を示す枠を、前記対象物体の領域として表示する枠処理手段を備える
   請求項１に記載の画像処理装置。
6. 前記枠処理手段は、
   前記選択された選択組み合わせの対象領域候補の色ヒストグラムと、当該選択組み合わせの背景領域候補の色ヒストグラムとから、前記対象物体の色成分を推定する対象色推定部と、
   前記選択組み合わせの対象領域候補と背景領域候補とから、前記推定された色成分の画素を抽出する対象色抽出部と、
   前記抽出された画素を１つの対象物として統合し、前記対象物体の領域を決定する対象物統合部とを備える
   請求項３に記載の画像処理装置。
7. 前記指定手段は、ユーザにより指定された、前記画像における前記対象物体の位置を特定し、
   前記設定手段は、前記第１の対象領域候補および前記第２の対象領域候補として、それぞれ、特定される前記位置が含まれた領域を設定し、
   前記ヒストグラム作成手段は、２つの前記対象領域候補と２つの前記背景領域候補との４つの領域のそれぞれについて、予め定められた複数の色成分の画素が、その領域の各画素のうちで占める割合を示すデータを算出し、
   前記類似度算出手段は、前記類似度として、前記複数の色成分のそれぞれの色成分について、一方の正規化ヒストグラムのその色成分の度数が、他方の正規化ヒストグラムのその色成分の度数に近いほど類似性が高いことを示す類似度を算出し、
   前記選択手段は、２つの前記組み合わせのうちから、算出される前記類似度が小さい方の組み合わせを選択する
   請求項１に記載の画像処理装置。
8. 画像中の対象物体を抽出する画像処理する方法であって、
   前記入力された画像上の位置を指定する指定ステップと、
   前記指定された位置を基準に、第１の対象領域候補と第１の背景領域候補とからなる第１の組み合わせと、第１の組み合わせとは異なる、第２の対象領域候補と第２の背景領域候補とからなる第２の組み合わせとを設定する設定ステップと、
   前記第１の対象領域候補の正規化色ヒストグラムと、前記第２の対象領域候補の正規化色ヒストグラムと、前記第１の背景領域候補の正規化色ヒストグラムと、前記第２の背景領域候補の正規化色ヒストグラムとを作成するヒストグラム作成ステップと、
   前記作成された第１の対象領域候補の正規化色ヒストグラムと、前記作成した第１の背景領域候補の正規化色ヒストグラムとから、前記第１の組み合わせの類似度を算出し、前記作成された第２の対象領域候補の正規化色ヒストグラムと、前記作成した第２の背景領域候補の正規化色ヒストグラムとから、前記第２の組み合わせの類似度を算出する類似度算出ステップと、
   前記第１の組み合わせの類似度と前記第２の組み合わせの類似度とから類似度が小さい組み合わせを選択する選択ステップと、
   を備えた画像処理方法。
9. 画像中の対象物体を抽出する画像処理するプログラムをコンピュータ読み取り可能に記憶した記憶媒体であって、前記プログラムは、
   前記入力された画像上の位置を指定する指定ステップと、
   前記指定された位置を基準に、第１の対象領域候補と第１の背景領域候補とからなる第１の組み合わせと、第１の組み合わせとは異なる、第２の対象領域候補と第２の背景領域候補とからなる第２の組み合わせとを設定する設定ステップと、
   前記第１の対象領域候補の正規化色ヒストグラムと、前記第２の対象領域候補の正規化色ヒストグラムと、前記第１の背景領域候補の正規化色ヒストグラムと、前記第２の背景領域候補の正規化色ヒストグラムとを作成するヒストグラム作成ステップと、
   前記作成された第１の対象領域候補の正規化色ヒストグラムと前記作成した第１の背景領域候補の正規化色ヒストグラムとから、前記第１の組み合わせの類似度を算出し、前記作成された第２の対象領域候補の正規化色ヒストグラムと、前記作成した第２の背景領域候補の正規化色ヒストグラムとから、前記第２の組み合わせの類似度を算出する類似度算出ステップと、
   前記第１の組み合わせの類似度と前記第２の組み合わせの類似度とから類似度が小さい組み合わせを選択する選択ステップと
   を備える記憶媒体。

Images