JPH1079028A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 衣服を着せた人物を単一色の背景の前に配置
し、その画像を画像入力装置１２が取り込むと、ＣＰＵ
１４は背景画像の複数の画素をサンプルする。次にＣＰ
Ｕ１４は、その画素の色相および明度を検出し、それぞ
れの最大値および最小値を求める。その後、この最大値
および最小値に基づいて複数の物体抽出条件を設定し、
取り込んだ画像に含まれる画素のうちこの条件に合致す
るものを塗り潰す。さらに、塗り残しをなくすためにメ
ディアンフィルタ処理も行う。これらの処理を通して物
体を抽出する。 【解決手段】 背景の色データをサンプルし、サンプル
した色データに基づいて抽出条件を設定するようにした
ため、試着する衣服の変更に伴って背景の色を変えた場
合でも、オペレータは逐次塗り潰す色データを設定し直
す手間を省くことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は画像処理方法に関
し、特にたとえば画像編集装置に用いられ、背景の前に
物体が配置された画像からその物体を抽出する、画像処
理方法に関する。

【０００２】

【従来の技術】従来の画像処理方法としては、ブルー１
色の背景の前で抽出したい物体を撮影し、撮影した画像
からブルーの部分を抽出して廃棄するクロマキー処理が
よく知られている。このクロマキー処理では、オペレー
タが当初に抽出する色をブルーに設定しておけば、これ
と異なる色の物体を適切に抽出することができる。

【０００３】

【発明が解決しようとする課題】しかしたとえば、様々
な色の衣服を着せた人物の画像をこのクロマキー処理を
用いて抽出しようとする場合、衣服を変える毎にその衣
服の色と異なる色の背景を準備するだけでなく、オペレ
ータが抽出する色を逐次設定し直さなければならず、処
理に手間がかかるという問題点があった。

【０００４】それゆえに、この発明の主たる目的は、オ
ペレータが抽出する色の設定を変える手間を省くことが
できる、画像処理方法を提供することである。この発明
の他の目的は、対象となる物体を背景から分離すること
ができる、画像処理方法を提供することである。

【０００５】

【課題を解決するための手段】この発明は、背景の前に
物体が配置された画像から物体を抽出する画像処理方法
であって、(a) 背景の色データをサンプルし、(b) サン
プルした色データに基づいて物体抽出条件を設定し、そ
して(c) 物体抽出条件に従って物体を抽出する、画像処
理方法である。

【０００６】更に本発明は、背景の前に物体が配置され
た画像から物体を抽出する画像処理方法であって、(h)
前記背景の色データをサンプルし、(i) サンプルした色
データに基づいて物体抽出条件を設定し、(j) 所定領域
を前記物体抽出条件に従って前記物体を抽出し、(k) 前
記所定領域から前記物体のエッジを検出し、(l) 前記ス
テップ (j)〜(k)を繰り返すことにより物体の輪郭線を
抽出する、画像処理方法である。

【０００７】［作用］たとえば衣服を着せた人物を背景
の前に配置し、その画像を画像入力装置が取り込むと、
たとえばＣＰＵは背景画像の複数の画素をサンプルす
る。次に、その画素の色相および明度を算出し、それぞ
れの最大値および最小値を求める。その後、最大値およ
び最小値に基づいてたとえば複数の物体抽出条件を設定
し、たとえば取り込んだ画像に含まれる画素のうち物体
抽出条件のいずれかに合致するものを塗り潰す。これに
よって背景を含む画像から物体が抽出される。

【０００８】また、たとえば前述した方法と同様にして
物体抽出条件を設定した後、たとえば取り込んだ画像に
含まれる所定領域内に物体抽出条件を適用する。この結
果を利用して、所定領域内から背景と人物の境界に位置
するエッジ（境界画素）を検出する。この所定領域を順
次移動させ、境界画素を検出する処理を繰り返すことに
より物体の輪郭線を検出することができる。

【０００９】

【発明の実施の形態】

［実施例１］図１を参照して、この実施例の画像処理装
置１０は画像入力装置１２を含み、これによって図２に
示すように単一色の背景の前に配置した人物の画像が背
景とともに取り込まれる。取り込まれた画像はＣＰＵ１
４を介して画像メモリ１８に書き込まれ、ＣＰＵ１４が
ワークメモリ２２を用いてこの画像を処理する。処理さ
れた画像は画像出力装置１６から出力される。

【００１０】ＣＰＵ１４は図３〜図７に示すフローに従
って図２に示す画像を処理する。すなわち、まずステッ
プＳ１で図２に示す入力画像の四隅にそれぞれ縦横２０
画素からなる４００画素のサンプル領域を指定し、この
領域に含まれる画素のＲＧＢデータを求める。次にステ
ップＳ３でこのＲＧＢデータを数１に従って明度（Ｖ）
および色相（Ｈ）のデータに変換する。

【００１１】［数１］ Ｖ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ Ｈ＝ tan−１｛（Ｒ−Ｖ）／（Ｂ−Ｖ）｝ 続いて、ステップＳ４で明度データおよび色相データの
それぞれを昇順にソートし、ステップＳ５およびＳ６の
それぞれで明度の最大値ＶＭＡＸ および最小値ＶＭＩ
Ｎ と色相の最大値ＨＭＡＸ および最小値ＨＭＩＮ
とを求める。

【００１２】ただし、ここでは明度データおよび色相デ
ータの分布状態に従って明度データおよび色相データを
いくつかのグループに分割し、その後各グループの中で
の最大値ＶＭＡＸ および最小値ＶＭＩＮ あるいは最
大値ＨＭＡＸ および最小値ＨＭＩＮ を求める。その
後、これらの最大値ＶＭＡＸ およびＨＭＡＸ と最小
値ＶＭＩＮ およびＨＭＩＮ とに基づいて数２〜数４
の抽出条件を生成する。

【００１３】［数２］ ＨＭＩＮ ＜Ｈ＜ＨＭＡＸ ＶＭＩＮ −ａ＜Ｖ＜ＶＭＡＸ ＋ｂ

【００１４】［数３］ ＨＭＩＮ ＋ｃ＜Ｈ＜ＨＭＡＸ −ｄ ＶＭＩＮ −ｅ＜Ｖ＜ＶＭＡＸ ＋ｆ

【００１５】［数４］ ＨＭＩＮ −ｇ＜Ｈ＜ＨＭＡＸ ＋ｈ ＶＭＩＮ −ｉ＜Ｖ＜ＶＭＡＸ −ｊ このうち数２は、色相の抽出範囲の下限を最小値ＨＭＩ
Ｎ に設定し上限を最大値ＨＭＡＸ に設定するととも
に、明度の抽出範囲の下限を最小値ＶＭＩＮからａだけ
減らし上限を最大値ＶＭＡＸ からｂだけ増やすように
したものである。

【００１６】画像に含まれる人物は背景の前に位置し、
全体的に明度が高いため、明度の抽出範囲をむやみに広
げると人物画像のうち色相の抽出範囲に含まれる部分が
誤って塗り潰されてしまうため、ａおよびｂは最大値Ｖ
ＭＡＸ および最小値ＶＭＩＮ の１割程度の値に設定
する必要がある。このため、ａおよびｂの値はたとえば
０．４×（ＶＭＡＸ −ＶＭＩＮ ）によって求められ
る。

【００１７】これによって背景の明度が照明の当て方に
よって微妙に変化する場合でも背景をうまく塗り潰すこ
とができる。

【００１８】数３は、色相の抽出範囲の下限を最小値Ｈ
ＭＩＮ からｃだけ増やし最大値ＨＭＡＸ からｄだけ
減らすとともに、明度の抽出範囲の下限を最小値ＶＭＩ
Ｎからｅ（＞ａ）だけ減らし上限を最大値ＶＭＡＸ か
らｆ（＞ｂ）だけ増やしたものである。この明度範囲は
数２の明度範囲に含まれない範囲を含む。したがって、
最小値ＶＭＩＮ よりもかなり明度の低い領域およびＶ
ＭＡＸ よりもかなり明度の高い領域も抽出範囲に含ま
れることとなり、特に人物の影が背景に現れている場合
でもこれを適切に抽出することができる。

【００１９】ただし、明度の範囲を拡大することによっ
て数２で述べたような影響が出ないように、色相の抽出
範囲が狭く設定される。なお、ｃおよびｄは、ａおよび
ｂと同様にたとえば０．４×（ＨＭＡＸ −ＨＭＩＮ
）によって求められる。

【００２０】数４は、色相の抽出範囲の下限を最小値Ｈ
ＭＩＮ からｇだけ減らし上限を最大値ＨＭＡＸ から
ｈだけ増やすとともに、明度の抽出範囲の下限を最小値
ＶＭＩＮ からｉだけ減らし上限を最大値ＶＭＡＸ か
らｊだけ減らしたものである。明度の低い画素の方が雑
音の影響を受けやすいため、色相の抽出範囲を広くした
上で明度の抽出範囲を低い方にシフトさせている。

【００２１】これによって人物の影などの影響で明度が
極度に低くなっている背景も塗り潰すことができる。な
お、色相の抽出範囲を広くする一方で明度の抽出範囲を
低く設定したため、数２および数３で述べたような影響
は生じにくい。ｇ〜ｈはたとえば０．４×（ＨＭＡＸ
−ＨＭＩＮ ）によって求められ、ｉおよびｊはたとえ
ば０．４×（ＶＭＡＸ −ＶＭＩＮ ）によって求めら
れる。

【００２２】このようにして抽出条件が生成されると、
次にステップＳ９で数２〜数４のいずれかの条件を満た
す画素を塗り潰す。その後、ステップＳ１１でこの画像
にメディアンフィルタ処理をかけ、処理を終了する。ス
テップＳ５は、具体的には図４に示すフローに従って処
理される。すなわち、ＣＰＵ１４はまずステップＳ４３
で第１グループカウンタ２４のカウント値ｎｕｍ，第２
グループカウンタ２６のカウント値ｐｏｓｉおよびデー
タカウンタ２８のカウント値ｎを初期化する。

【００２３】ここで、カウント値ｎは、図８に示すよう
に値の小さな明度データから順に対応する。ステップＳ
４５ではカウント値ｎ＜データ総数ｓｕｍであるかどう
か判断し、“ＹＥＳ”であればステップＳ４７でカウン
ト値ｎ＋１に対応する明度データからカウント値ｎに対
応する明度データを引いた値が５以上であるかどうか判
断する。

【００２４】そして“ＮＯ”であればステップＳ５３で
カウント値ｎをインクリメントしてステップＳ４５に戻
るが、“ＹＥＳ”であれば、ステップＳ４９でカウント
値ｐｏｓｉをインクリメントするとともに、ステップＳ
５１でカウント値ｎ＋１をメモリエリア３０のＬｉｎｋ
［ｐｏｓｉ］に書き込みステップＳ５３に移行する。こ
こでメモリエリア３０とは、グループ化された明度デー
タの最小値ＶＭＩＮに対応するカウント値を書き込んだ
エリアである。

【００２５】したがって、ステップＳ４５〜Ｓ５３を処
理することによって、隣合う明度データの値が“５”以
上であるところを境としてグループが形成され、そのグ
ループの最小値ＶＭＩＮ に対応するデータカウンタ２
８のカウント値がそのグループ番号に対応してメモリエ
リア３０に書き込まれる。

【００２６】ステップＳ４５で“ＮＯ”であれば、ステ
ップＳ５５でカウント値ｐｏｓｉに“１”加算した値を
グループ総数とし、ステップＳ５７でカウント値ｎ＝０
に対応する明度データをグループ０（ｎｕｍ＝０）にお
ける最小値ＶＭＩＮ とする。続いてステップＳ５９で
カウント値ｐｏｓｉを初期化し、ステップＳ６１でカウ
ント値ｐｏｓｉ＜グループ総数であるかどうか判断す
る。

【００２７】ここで“ＹＥＳ”であれば、ステップＳ６
３でメモリエリア３０のＬｉｎｋ［ｐｏｓｉ］に書き込
まれたカウント値から“１”減算したカウント値に対応
する明度データをカウント値ｎｕｍに対応するグループ
の最大値ＶＭＡＸ とする。

【００２８】その後、ステップＳ６５でカウント値ｎｕ
ｍをインクリメントし、ステップＳ６７でメモリエリア
３０のＬｉｎｋ［ｐｏｓｉ］に書き込まれたカウント値
に対応する明度データをカウント値ｎｕｍに対応するグ
ループの最小値ＶＭＩＮ とする。そして、ステップＳ
６９でカウント値ｐｏｓｉをインクリメントしステップ
Ｓ６１に戻る。ステップＳ６１で“ＮＯ”であればステ
ップＳ７０でデータ総数ｓｕｍから“１”減算した値に
対応する明度データをカウント値ｎｕｍに対応するグル
ープの最大値ＶＭＡＸ とし、リターンする。

【００２９】このようにステップＳ５５〜Ｓ７０を処理
することによって、図８に示す各グループの最大値ＶＭ
ＡＸ および最小値ＶＭＩＮ が求められる。

【００３０】ステップＳ６は具体的には、図５に示すフ
ローに従って処理されるが、これはデータカウンタ２８
を色相データのカウントに用いる点およびそのカウント
値をメモリエリア３２に書き込む点を除き、図４に示す
フローと同様であるため、重複した説明を省略する。ス
テップＳ９は具体的には、図６に示すフローに従って処
理される。

【００３１】すなわち、ＣＰＵ１４はまずステップＳ１
３でスタートアドレスを設定し、次にステップＳ１５で
全ての画素について処理が終了したかどうか判断する。
ここで“ＹＥＳ”であればリターンするが、“ＮＯ”で
あれば、ステップＳ１７でそのアドレスについての画素
データを読み出し、ステップＳ１９でカウンタ２０のカ
ウント値Ｎを初期化する。カウンタ２０のカウント値
“０”〜“２”に数２〜数４が対応する。

【００３２】なお、ステップＳ５とステップＳ６とで最
大値ＶＭＡＸ および最小値ＶＭＩＮ と最大値ＨＭＡ
Ｘ および最小値ＨＭＩＮ が複数求められると、これ
に応じて抽出条件も増えるが、その場合でもカウント値
“０”〜“２”に数２〜数４が対応する。ステップＳ２
１では、このカウント値Ｎに対応する抽出条件にステッ
プＳ１７で読み出した画素データが合致するかどうか判
断する。

【００３３】そして、条件を満たせばステップＳ２３で
これを塗り潰しステップＳ２９に移行するが、条件を満
たさなければ、ステップＳ２５でカウント値Ｎ＜２であ
るかどうか判断する。そして、“ＹＥＳ”であればステ
ップＳ２７でカウント値Ｎをインクリメントしてステッ
プＳ２１に戻るが、“ＮＯ”であればステップＳ２９で
次のアドレスを設定してステップＳ１５に戻る。

【００３４】このようにして数２〜数４の条件と読み出
した画素データとが比較され、いずれかの抽出条件が合
致すればその画素データが塗り潰される。

【００３５】ステップＳ１１は具体的には図７に示すフ
ローに従って処理される。すなわち、ＣＰＵ１４はまず
ステップＳ３１でスタートアドレスを設定し、次にステ
ップＳ３３で全ての画素について処理が終了したかどう
か判断する。ここで“ＹＥＳ”であればリターンする
が、“ＮＯ”であれば、ステップＳ３５で設定アドレス
周辺のＸ×Ｙ画素の画素データを読み出し、ステップＳ
３７でこの画素データをソートする。

【００３６】続いて、ステップＳ３９で中間値の画素デ
ータを設定アドレスの画素データと置換する。その後、
ステップＳ４１で次のアドレスを設定し、ステップＳ３
３に戻る。

【００３７】このように、画像入力装置１２が図２に示
す画像を取り込むと、ＣＰＵ１４が背景画像の四隅の画
素をサンプルし、その画素の色相および明度のデータを
図８のようにグループ化し、そしてそれぞれのグループ
の最大値ＨＭＡＸ およびＶＭＡＸ と最小値ＨＭＩＮ
およびＶＭＩＮ とを求める。その後、この最大値お
よび最小値に基づいて数２〜数４に示す抽出条件を設定
し、この条件に合致する画素を塗り潰す。

【００３８】また、塗り残し領域をなくすためメディア
ンフィルタ処理がなされる。これによって、画像出力装
置１６からは人物のみの画像が出力される。

【００３９】この実施例によれば、背景の色データをサ
ンプルし、サンプルした色データに基づいて設定した抽
出条件に合致する画素を塗り潰すようにしたため、人物
が試着する衣服を変える際に背景の色を変えたときで
も、オペレータが逐次塗り潰す背景の色を設定し直す必
要がなくなる。また、抽出条件を複数設定するようにし
たため、照明の当て方や人物の影によって背景の色相が
変化したときでも背景を的確に塗り潰すことができる。

【００４０】他の実施例の画像処理装置は図３のステッ
プＳ１に先立って図９に示すフロー図が処理される点を
除き、図１〜図８に示す実施例と同様であるため、重複
した説明を省略する。ただし、説明の便宜上、必要に応
じて図１〜図８を用いることとする。画像入力装置１２
が図１０に示すような画像を取り込んだ場合、ＣＰＵ１
４はまず図９のステップＳ７３で、図１１に示す左下の
位置を、塗り潰し処理の開始アドレスとして設定し、次
にステップＳ７５でそのアドレスの色が人物の肌の色で
あるかどうか判断する。

【００４１】具体的には、このアドレスに対応するＲＧ
Ｂデータから色相を算出し、その色相が１３０≦色相≦
１６０の条件に合致するかどうか判断する。そして“Ｎ
Ｏ”であれば、アドレスを１画素分右側に変更する。な
お、或るラインにおいて１番右側の画素が処理される
と、アドレスは１ライン上の１番左側に変更される。

【００４２】続いて、ステップＳ７９で全画素について
処理したかどうか判断し、“ＹＥＳ”であれば図３のス
テップＳ１に移行するが、“ＮＯ”であればステップＳ
７５に戻る。ステップＳ７５で“ＹＥＳ”と判断される
と、ステップＳ８１でそのアドレスより下の全ての画素
を白くペイントし、図３のステップＳ１に移行する。

【００４３】したがって、図１１に示す画像については
胸元の部分で肌の色が検出されるため、それより下の全
ての画素が白く塗り潰される。

【００４４】この実施例によれば、処理に不要な領域を
手作業で塗り潰す必要がなく、またデータのサンプル領
域を固定にすることができるため、簡単な操作で所望の
画像を抽出することができる。なお、この実施例ではス
テップＳ８１で所定領域を白色で塗り潰すようにした
が、図３のステップＳ５およびＳ６で明度データおよび
色相データがグループ化されることから、ステップＳ８
１で塗り潰す色と背景の色とは同じ色でなくてもよい。
ただし、ステップＳ８１で塗り潰す色と図６のステップ
Ｓ２３で塗り潰す色とは同じ色であるべきである。

【００４５】［実施例２］図１２を参照して、この実施
例の画像処理装置４０を説明するが、図１と同じ数字の
機能ブロックは同じ機能である。また、１８、３４、３
６は同じ機能を有し、２０、３５、３７は同じ機能を有
する。画像処理装置４０は画像入力装置１２を含み、こ
れによって図２に示すように単一色の背景の前に配置し
た人物の画像が背景とともに取り込まれる。

【００４６】取り込まれた画像はＣＰＵ１４を介して第
１画像メモリ１８、第２画像メモリ３４、第３画像メモ
リ３６に書き込まれ、ＣＰＵ１４がワークメモリ２２を
用いてこの画像を処理する。処理された画像は画像出力
装置１６から出力される。

【００４７】ＣＰＵ１４は図１３〜図１４、図１６〜図
１９および２２図に示すフローに従って図２に示す画像
を処理する。図１３のステップＳ１００〜ステップＳ１
０７およびステップＳ１０９は順に、実施例１で説明し
たステップＳ１〜ステップＳ７と同じ動作であるため重
複した説明を省略する。以下では、ステップＳ１０８お
よびステップＳ１１０の処理について詳細に説明する。

【００４８】ステップＳ１０８では、第１画像メモリ１
８のサンプル領域から検出した色相データの平均値（Ａ
Ｈ）と明度データの平均値（ＡＶ）を計算する。ステッ
プＳ１１０は、具体的には図１４に示すフローに従って
処理される。すなわちＣＰＵ１４は、まずステップＳ１
４１で図１５に示すような処理開始領域を直線で指定す
るが、この直線は背景領域と人物領域の双方を含むもの
である。

【００４９】指定に利用するデバイスはマウス、ペン、
キーボード等の入力装置であれば何でもよい。図１９に
拡大した指定の状態を示すが、黒の太線が指定された直
線である。

【００５０】ステップＳ１４３の第１領域分割処理で
は、ステップＳ１０９で求めた第１抽出条件（数２〜数
４）により、指定した直線領域を含む処理領域内の全て
の画素を背景領域と人物領域に分割する。直線領域を指
定した場合の処理領域は、図１９に示すように縦横それ
ぞれ２画素づつ広げた領域である。後述するステップＳ
１４７において、直線領域に対して５×５のメディアン
フィルタ処理を行うために、この領域が必要となる。第
１領域分割処理は、具体的には図１６に示すフローに従
って処理される。

【００５１】ステップＳ１５５では、ステップＳ１６３
およびステップＳ１６５で用いる変数の初期化を行う。
ステップＳ１５７で、処理領域内の画素を順次指定する
が、処理の開始時には例えば、処理領域内の左上端の画
素を指定する。ステップＳ１５９では、第１画像メモリ
内の指定された画素に関する色相（Ｈ）および明度
（Ｖ）を計算し、ステップＳ１６１においてこれらの値
が、第１抽出条件に合致するかどうか判断する。

【００５２】”ＹＥＳ”であればステップＳ１６３で、
それぞれの値を、背景領域に含まれる色相の合計変数
（ＢＨ）と明度の合計変数（ＢＶ）に加算する。”Ｎ
Ｏ”であればステップＳ１６５で、それぞれの値を、物
体領域に含まれる色相の合計変数（ＦＨ）と明度の合計
変数（ＦＶ）に加算する。ステップＳ１６７では、処理
領域内の全ての画素に対して処理が終了したかどうかを
判断する。

【００５３】”ＹＥＳ”であればステップＳ１６９にお
いて、ステップＳ１６３で計算したＢＨ、ＢＶの平均値
であるＡＢＨ、ＡＢＶと、ステップＳ１６５で計算した
ＦＨ、ＦＶの平均値であるＡＦＨ、ＡＦＶとを計算す
る。”ＮＯ”であれば、ステップＳ１５７へ戻り次の処
理画素を指定する。

【００５４】以上で説明した第１領域分割処理は、処理
領域内の領域分割状態の概略を把握するために行い、こ
の結果を次の領域分割処理である第２領域分割処理へ利
用する。第２領域分割処理は、具体的には図１７に示す
フローに従って処理される。

【００５５】まずステップＳ１７１では、色相差（ＤＨ
１）を計算する。色相差は、第１領域分割処理において
計算した、背景領域と人物領域それぞれの色相平均同志
の差（ＤＨ１＝ＡＢＨ−ＡＦＨ）である。ステップＳ１
７３では、第１条件として数５を満たすかを判断す
る。”ＹＥＳ”であれば、ステップＳ１８５の第３領域
分割処理を行う。”ＮＯ”であればステップＳ１８３の
第４領域分割処理を行う。

【００５６】数５の左式は色相差（ＤＨ１）の絶対値が
大きくなるほど、小さくなる関数である。つまり、数５
の左式が大きいほど、処理領域内において背景領域と人
物領域の分離が精度よく行われていることを示す。

【００５７】［数５］ ｐ×ＥＸＰ（―（ＤＨ１の絶対値）／ｑ））≧ｒ

【００５８】第３領域分割処理は、具体的には図１８に
示すフローに従って処理される。ステップＳ１８７で
は、ステップＳ１０８で計算した背景サンプル領域の色
相平均（ＡＨ）とステップＳ１６９で計算した背景領域
の色相平均（ＡＢＨ）との差（ＤＨ２＝ＡＨ−ＡＢＨ）
を計算する。ステップＳ１８９では、第２条件として数
６を満たすかを判断し、”ＹＥＳ”であれば第２抽出条
件を含む、ステップＳ１９１以降の一連の分割処理を行
い、”ＮＯ”であれば第３抽出条件を含む、ステップＳ
２０３以降の一連の分割処理を行う。

【００５９】数６の左式は色相差（ＤＨ２）の絶対値が
大きくなるほど、小さくなる関数である。つまり、数６
の左式が小さいほど、処理領域内に含まれる背景が背景
領域として精度よく抽出されていることを示す。

【００６０】［数６］ ｐ×ＥＸＰ（―（ＤＨ２の絶対値）／ｑ））≧ｒ

【００６１】ここで、第２抽出条件を含む一連の分割処
理について説明する。ここで処理される処理領域は次の
特徴を有する。処理領域内において、背景領域と人物領
域の分離が十分でないが、処理領域内に含まれる背景が
背景領域として精度よく抽出されている。そこで、抽出
範囲を大幅に狭くするような抽出条件を設定することに
より、処理領域内での背景領域と人物領域の分離を十分
に行う必要がある。抽出範囲の設定方法を以下に示す。

【００６２】ステップＳ１９１で処理対象の画素を指定
し、ステップＳ１９３で色相と明度を計算する。ステッ
プＳ１９５において、この色相と明度が第２抽出条件
（数７、数８）に合致するかどうか判断する。”ＹＥ
Ｓ”であればステップＳ１９９で、ステップＳ１９１に
おいて指定された画素と同じアドレスに対応する、第２
画像メモリ内の画素に所定の色を上書きした後、ステッ
プＳ２０１へ移行する。”ＮＯ”であれば直ちにステッ
プＳ２０１へ移行する。

【００６３】ステップＳ２０１では、処理領域内の全て
の画素に対する処理が終了したかどうかを判断する。”
ＹＥＳ”であればリターンし、”ＮＯ”であれば、ステ
ップＳ１９１に戻り次の処理対象の画素を指定する。数
８における係数ｃ１およびｄ１は定数にしてもよいし、
あるいは数１１に示すように決める。この係数は処理領
域に対して決定され、処理領域が異なれば係数ｃ１およ
びｄ１は変化するため、可変的に抽出範囲を設定するこ
とができる。

【００６４】また、第２抽出条件として、抽出条件を厳
しくしたい場合には、数８の条件は使わなくてもよい。

【００６５】次に、第３抽出条件を含む一連の分割処理
であるが、ステップＳ２０３〜ステップＳ２１１の処理
とステップＳ１９１〜ステップＳ２０１の処理との違い
は、第２抽出条件（数７、数８）と第３抽出条件（数
９、数１０）の違いだけなので詳細な説明は省略する。
ここで処理される処理領域は次の特徴を有する。処理領
域内において、背景領域と人物領域の分離が十分でな
く、処理領域内に含まれる背景以外が背景領域として抽
出されてる。

【００６６】背景以外が背景領域として抽出されている
とは、第１抽出条件の抽出範囲がかなり広いために、背
景サンプルデータの色相に近い人物領域が誤って背景領
域と判断されてしまったことを意味する。従って、第２
抽出条件と同様に抽出範囲を狭くする必要がある。しか
し、ここで処理される領域に対して、第１抽出条件は背
景と人物を分離できる境界あたりに設定されているた
め、極端に抽出範囲を狭くすることはできない。この点
を考慮し、抽出範囲の設定方法を以下に示す。

【００６７】第３抽出条件でも第２抽出条件と同様に抽
出範囲を狭くする必要があるが、ｃ１＞ｃ２、ｄ１＞ｄ
２とすることにより、第３抽出条件の抽出範囲を第２抽
出条件の抽出範囲より広くする。さらに、第２抽出条件
で述べたように数１２により係数ｃ２およびｄ２を決め
てもよい。これにより、上述した内容と同じ効果があ
る。

【００６８】［数７］ ＨＭＩＮ ＜Ｈ＜ＨＭＡＸ ＶＭＩＮ −ａ＜Ｖ＜ＶＭＡＸ ＋ｂ

【００６９】［数８］ ＨＭＩＮ ＋ｃ１＜Ｈ＜ＨＭＡＸ −ｄ１ ＶＭＩＮ −ｅ＜Ｖ＜ＶＭＡＸ ＋ｆ

【００７０】［数９］ ＨＭＩＮ ＜Ｈ＜ＨＭＡＸ ＶＭＩＮ −ａ＜Ｖ＜ＶＭＡＸ ＋ｂ

【００７１】［数１０］ ＨＭＩＮ ＋ｃ２＜Ｈ＜ＨＭＡＸ −ｄ２ ＶＭＩＮ −ｅ＜Ｖ＜ＶＭＡＸ ＋ｆ

【００７２】［数１１］ ｃ１＝（（ＤＨ１の絶対値）＋（ＤＨ２の絶対値））／
２ ｄ１＝（（ＤＨ１の絶対値）＋（ＤＨ２の絶対値））／
２

【００７３】［数１２］ ｃ２＝（（ＤＨ１の絶対値）＋（ＤＨ２の絶対値））／
２ ｄ２＝（（ＤＨ１の絶対値）＋（ＤＨ２の絶対値））／
２

【００７４】第４領域分割処理は、具体的には図１９の
フローに従って処理される。第３領域分割処理を示す図
１８のフローとの違いは、ステップＳ３０８とステップ
Ｓ３１８の抽出条件であるので、この点について詳細に
述べると共に、重複する説明は省略する。ステップＳ３
０４〜ステップＳ３１２で処理される処理領域は次の特
徴を有する。

【００７５】処理領域内において、背景領域と人物領域
の分離が十分であり、かつ、処理領域内に含まれる背景
が背景領域として精度よく抽出されている。つまり、図
１６のフローで説明した第１領域分割処理により処理領
域内の分割が十分であることを意味する。そこで、ステ
ップＳ３０８の第４抽出条件では数２〜数４の条件を適
用する。

【００７６】ステップＳ３１４〜ステップＳ３２２で処
理される処理領域は次の特徴を有する。処理領域内にお
いて、背景領域と人物領域の分離が十分であるが、処理
領域内に含まれる背景以外が背景領域として抽出されて
いる。背景以外が背景領域として抽出されているとは、
第３抽出条件で述べた内容と同じである。このため、数
９〜数１０の条件を利用すればよい。あるいは、処理領
域内の分離が十分なので、第５抽出条件として数２〜数
４を適用してもよい。

【００７７】ステップＳ１４５が終了すると、第２画像
メモリにおける処理領域内で、背景領域と判断された画
素が所定の色で塗り潰されている。しかしノイズの影響
で、本来背景領域であるはずの画素が塗り残されない場
合がある。そこで、塗り残し画素をなくすためメディア
ンフィルタ処理がなされる。

【００７８】この処理は、図２０で示した黒の太枠内の
全ての画素に対して行われ、メディアンフィルタのサイ
ズは処理対象の画素を中心として５×５である。具体的
には、図７のフローに従って処理される。メディアンフ
ィルタ処理の後、ステップＳ１４９において輪郭線の一
部を形成する境界画素の決定処理が行われる。

【００７９】ステップＳ１４９は、具体的には図２２の
フローに従って処理される。ステップＳ２１３で境界画
素の探索領域として３×３処理領域を指定し、ステップ
Ｓ２１５では処理領域内の処理画素を指定する。指定順
序は図２３のように、左上の画素から時計回りである。
ステップＳ２１７で、処理画素が境界条件に適合するか
どうか判断する。本実施例で利用する境界条件は、 （１）背景領域である （２）過去に境界画素となっていない （３）背景領域と物体領域の位置関係が妥当である の論理積である。この判断が”ＹＥＳ”であればステッ
プＳ２１９で、処理画素と同じアドレスに対応する、第
３画像メモリ内の画素に所定の色を上書きしてリターン
する。”ＮＯ”であればステップＳ２１５へ戻り、次の
処理画素を指定する。

【００８０】３つの条件のうち、（１）および（２）は
自明であるので、（３）について図２４を参照して説明
する。図２４(a)は、位置”２”が”０”であるか、位
置”８”が”１”である場合には、位置”１”は境界画
素としないことを意味する。これは、境界画素と確定し
ている中心から位置”１”へ境界画素が続く場合には、
時計回りに見て右側に人物領域が存在し、左側に背景領
域が存在しなければならないからである。

【００８１】図２４(b)は位置”２”に関するが、(a)と
同じ理由により境界画素でない場合を示している。つま
り、位置”１”が”１”であるか、位置”８”が”１”
であるか、位置”３”が”０”であるか、位置”４”
が”０”である場合には、位置”２”は境界画素とはし
ない。図示しない他の位置に関しても、同様な考え方で
境界条件を設定すればよい。

【００８２】ステップＳ１５１で輪郭線抽出処理が終了
したかどうか判断し、”ＹＥＳ”であればリターンして
全ての処理を終了する。”ＮＯ”であればステップＳ１
５３で、ステップＳ１４９において抽出された境界画素
を中心とする７×７の処理領域を指定して、ステップＳ
１４３へ戻る。その後、ステップＳ１４３以降の処理を
繰り返す。

【００８３】初回の輪郭線抽出処理と２回目以降の輪郭
線抽出処理との違いを、図２０と図２１で説明する。２
回目以降の輪郭線抽出処理において、図１６〜図１９の
処理では図２１に示す７×７領域内の全ての画素を処理
対象とし、図７のメディアンフィルタ処理および図２２
の境界画素決定処理では、黒の太枠内の３×３領域内の
全ての画素を処理対象とする。

【００８４】この実施例によれば、背景の色データをサ
ンプルし、サンプルした色データに基づいて抽出条件を
設定し、順次所定領域に適用する。この領域内で抽出条
件に合致する画素を塗り潰すことにより、背景と人物を
分離した後、境界画素を検出するという処理を繰り返す
ことにより人物の輪郭線を検出することができる。

【００８５】このように、人物が試着する衣服を変える
際に背景の色を変えたときでも、オペレータが逐次塗り
潰す背景の色を設定し直す必要がなくなる。また、所定
領域内の色分布により複数組の抽出条件を使い分けるこ
とにより、精度よく背景と人物の分離ができるため、人
物の輪郭線検出の精度も向上する。

【００８６】なお、これらの実施例では、数２〜数４に
おいて、ａ〜ｊを加算または減算して抽出条件を設定す
るようにしたが、数１３〜数１５に示すように、それぞ
れの最大値および最小値に対して定数値を掛けるように
してもよい。掛ける値としては、元の値を小さくしたい
ときは０＜定数＜１（たとえばａ′＝０．９）とし、元
の値を大きくしたい場合には変数＞１（たとえばｂ′＝
１．１）とする。

【００８７】［数１３］ ＨＭＩＮ ＜Ｈ＜ＨＭＡＸ ａ′ＶＭＩＮ ＜Ｖ＜ｂ′ＶＭＡＸ

【００８８】［数１４］ ｃ′ＨＭＩＮ ＜Ｈ＜ｄ′ＨＭＡＸ ｅ′ＶＭＩＮ ＜Ｖ＜ｆ′ＶＭＡＸ

【００８９】［数１５］ ｇ′ＨＭＩＮ ＜Ｈ＜ｈ′ＨＭＡＸ ｉ′ＶＭＩＮ ＜Ｖ＜ｊ′ＶＭＡＸ なお、数２〜数４で用いられるａ〜ｊは互いに異なる値
でもよく、また、数１３〜数１５で用いられるａ′〜
ｊ′も同様に互いに異なる値でもよい。

【００９０】また、これらの実施例では色相および明度
を用いて抽出条件を設定したが、Ｌ＊ ａ＊ ｂ＊ ，
ＹＩＱ，ＸＹＺおよびＵＶＷなどの色表現を用いてもよ
い。さらに、これらの実施例ではサンプル領域の位置お
よび画素数を固定にしたが、オペレータがマウスなどで
指定するようにしてもよい。さらにまた、これらの実施
例では図３のステップＳ４で明度データおよび色相デー
タを昇順にソートするようにしたが、この発明は降順に
ソートする場合でも適用できることはもちろんである。

【００９１】さらに、これらの実施例においてメディア
ンフィルタを利用したが、このフィルタの代わりに平均
値フィルタを利用してもよい。

【００９２】さらに、これらの実施例において物体抽出
条件を満足する画素位置を所定の色でペイントしたが、
背景と物体が区別できる記憶領域を確保することにより
対応してもよい。

【００９３】さらに、図４のステップＳ４７およびこれ
に相当する図５のステップで閾値を“５”に設定した
が、閾値は最初の撮影時に適切な値に設定するようにし
てもよい。また、明度に利用する閾値と色相に利用する
閾値とは同じ値でなくてもよい。

【００９４】さらに、人物の肌の色であるかどうか判断
する場合、ＲＧＢデータから色相を算出し、その色相が
１３０≦色相≦１６０の条件に合致するかどうかで判断
したが、色相の計算方法によりこの条件は変化するの
で、色相の範囲は人物の肌の色を含む範囲であれば任意
でよい。

【００９５】さらに、図１６の第１領域分割処理は、一
つの抽出条件のみを利用したが、複数組の抽出条件で図
１６のフローと同様な処理を行った後、最も良好な抽出
条件を選択するようにしてもよい。

【００９６】さらに、ステップＳ１４７で利用するメデ
ィアンフィルタは５×５サイズに限ることはなく任意の
サイズでよい。この際、利用するメディアンフィルタの
ザイズに従って、図２０および図２１の処理領域を適切
に変更すればよい。

【００９７】さらに、ステップＳ１７３およびステップ
Ｓ１８９では、条件に固定値を用いたが、オペレータが
撮影時に適切な値に設定するようにしてもよい。

【００９８】

【発明の効果】この発明によれば、サンプルした背景画
像の色データに基づいて設定した物体抽出条件に従って
物体の画像を抽出するようにしたため、オペレータが背
景の色データを逐次設定し直す手間を省くことができ
る。この発明の上述の目的，その他の目的，特徴および
利点は、図面を参照して行う以下の実施例の詳細な説明
から一層明らかとなろう。

【図面の簡単な説明】

【図１】この発明の一実施例を示すブロック図である。

【図２】ＣＰＵに取り込む画像を示す図解図である。

【図３】図１実施例の動作の一部を示すフロー図であ
る。

【図４】図１実施例の動作の一部を示すフロー図であ
る。

【図５】図１実施例の動作の一部を示すフロー図であ
る。

【図６】図１実施例の動作の一部を示すフロー図であ
る。

【図７】図１実施例の動作の一部を示すフロー図であ
る。

【図８】図１実施例の動作の一部を示す図解図である。

【図９】この発明の他の実施例の動作の一部を示すフロ
ー図である。

【図１０】図９実施例の動作の一部を示す図解図であ
る。

【図１１】図９実施例の動作の一部を示す図解図であ
る。

【図１２】この発明の一実施例を示すブロック図であ
る。

【図１３】図１２実施例の動作の一部を示すフロー図で
ある。

【図１４】図１２実施例の動作の一部を示すフロー図で
ある。

【図１５】図１２実施例の動作の一部を示す図解図であ
る。

【図１６】図１２実施例の動作の一部を示すフロー図で
ある。

【図１７】図１２実施例の動作の一部を示すフロー図で
ある。

【図１８】図１２実施例の動作の一部を示すフロー図で
ある。

【図１９】図１２実施例の動作の一部を示すフロー図で
ある。

【図２０】図１２実施例の動作の一部を示す図解図であ
る。

【図２１】図１２実施例の動作の一部を示す図解図であ
る。

【図２２】図１２実施例の動作の一部を示すフロー図で
ある。

【図２３】図１２実施例の動作の一部を示す図解図であ
る。

【図２４】図１２実施例の動作の一部を示す図解図であ
る。

【符号の説明】

１０ …画像処理装置、 １２ …画像入力装置、 １４ …ＣＰＵ、 １６ …画像出力装置、 ４０ …画像処理装置。

Claims (17)

【特許請求の範囲】
1. 【請求項１】 背景の前に物体が配置された画像から前
   記物体を抽出する画像処理方法であって、 (a) 前記背景の色データをサンプルし、 (b) サンプルした色データに基づいて物体抽出条件を設
   定し、そして (c) 前記物体抽出条件に従って前記物体を抽出する、画
   像処理方法。
2. 【請求項２】 前記ステップ(a) は、前記画像の四角に
   おいて前記背景の色データをサンプルする、請求項１記
   載の画像処理方法。
3. 【請求項３】 前記色データは色相データを含み、前記
   ステップ(b) は、(b-1) 前記色相データの第１最大値お
   よび第１最小値を検出し、(b-2) 前記第１最大値および
   前記第１最小値に基づいて前記物体抽出条件を設定す
   る、請求項１または２記載の画像処理方法。
4. 【請求項４】 前記ステップ(b-1) は、(b-3) 前記色相
   データをグループ化し、(b-4) それぞれのグループ毎に
   前記第１最大値および前記第１最小値を検出する、請求
   項３記載の画像処理方法。
5. 【請求項５】 前記ステップ(b-2) は、前記第１最大値
   に相関する複数の値のそれぞれを上限値とし前記第１最
   小値に相関する複数の値のそれぞれを下限値とする範囲
   で複数の前記物体抽出条件を設定する、請求項３または
   ４記載の画像処理方法。
6. 【請求項６】 前記色データは明度データを含み、前記
   ステップ(b) は、(b-5) 前記明度データの第２最大値お
   よび第２最小値を検出し、(b-6) 前記第２最大値および
   前記第２最小値に基づいて前記物体抽出条件を設定す
   る、請求項１ないし５のいずれかに記載の画像処理方
   法。
7. 【請求項７】 前記ステップ(b-5) は、(b-7) 前記明度
   データをグループ化し、(b-8) それぞれのグループ毎に
   前記第２最大値および前記第２最小値を検出する、請求
   項６記載の画像処理方法。
8. 【請求項８】 前記ステップ(b-6) は、前記第２最大値
   に相関する複数の値のそれぞれを上限値とし前記第２最
   小値に相関する複数の値のそれぞれを下限値とする範囲
   で複数の前記物体抽出条件を設定する、請求項６または
   ７記載の画像処理方法。
9. 【請求項９】 (d) 前記ステップ(c) の処理をした画像
   をメディアンフィルタ処理する、請求項１ないし８のい
   ずれかに記載の画像処理方法。
10. 【請求項１０】 前記ステップ(a) に先立って、(e) 前
    記画像に含まれる画素データを所定順序で検出し、(f)
    検出した画素データを所定条件と比較し、(g) 前記所定
    条件に合致する画素データが得られたときその画素を基
    準とする所定領域を塗り潰す、請求項１ないし９のいず
    れかに記載の画像処理方法。
11. 【請求項１１】 前記所定領域は前記画素を含むライン
    よりも検出が終了した画素側の領域である、請求項１０
    記載の画像処理方法。
12. 【請求項１２】 背景の前に物体が配置された画像から
    前記物体を抽出する画像処理方法であって、 (h) 前記背景の色データをサンプルし、 (i) サンプルした色データに基づいて物体抽出条件を設
    定し、 (j) 所定領域を前記物体抽出条件に従って前記物体を抽
    出し、 (k) 前記所定領域から前記物体のエッジを検出し、 (l) 前記ステップ (j)〜(k)を繰り返すことにより物体
    の輪郭線を抽出する、画像処理方法。
13. 【請求項１３】 前記ステップ(j)は、(m) 第１抽出ス
    テップと(n) 第２抽出ステップを含み、第１抽出ステッ
    プの結果により第２抽出ステップで利用する物体抽出条
    件を選択することを特徴とする、請求項１記載の画像処
    理方法。
14. 【請求項１４】 前記ステップ(m) は、物体抽出条件に
    合致する領域と合致しない領域それぞれの色データ分布
    の相関関係を検出する請求項１３記載の画像処理方法。
15. 【請求項１５】 前記ステップ(m) は、前記色データの
    分布と前記サンプルした色データの分布との相関関係を
    検出する請求項１３記載の画像処理方法。
16. 【請求項１６】 前記色データ分布の相関関係は、色デ
    ータの平均値の差であることを特徴とする請求項１４ま
    たは１５記載の画像処理方法。
17. 【請求項１７】 前記ステップ(j) の処理を施した前記
    所定領域に対して、メディアンフィルタ処理する、請求
    項１２ないし１７のいずれかに記載の画像処理方法。