JP3480408B2 - 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 - Google Patents
物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体Info
- Publication number
- JP3480408B2 JP3480408B2 JP2000017072A JP2000017072A JP3480408B2 JP 3480408 B2 JP3480408 B2 JP 3480408B2 JP 2000017072 A JP2000017072 A JP 2000017072A JP 2000017072 A JP2000017072 A JP 2000017072A JP 3480408 B2 JP3480408 B2 JP 3480408B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground object
- pixels
- mask
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理技術に関
し、特に、画像信号から、背景と背景上に落ちた物体の
影を除去するシステム及び方法並びに物体抽出用プログ
ラムを記録した記憶媒体に関する。
し、特に、画像信号から、背景と背景上に落ちた物体の
影を除去するシステム及び方法並びに物体抽出用プログ
ラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】動画像中の前景物体を抽出するための従
来の手法として、保存されている背景画像と入力された
画像との画素値の差分を二値化し、前景物体のマスク画
像を生成する手法が知られている。
来の手法として、保存されている背景画像と入力された
画像との画素値の差分を二値化し、前景物体のマスク画
像を生成する手法が知られている。
【０００３】しかしながら、この手法では、背景上に、
前景物体の影が落ちていた場合、影により、背景の画素
値が変化するため、得られたマスク画像には、前景物体
以外に、前景物体の影も含まれてしまう。
前景物体の影が落ちていた場合、影により、背景の画素
値が変化するため、得られたマスク画像には、前景物体
以外に、前景物体の影も含まれてしまう。
【０００４】この問題に対して、影などによる明るさの
変化に影響されない特徴を用いて前景物体と影とを分離
する手法が知られている。例えば特開平５−１１１００
７号公報には、物体の影や反射光の影響等によって静止
領域においても映像信号の変化が生じ、処理画にフリッ
カやちらつき等が現れるという問題の解決を図る装置及
び方法として、画素ブロックにおける映像信号の変化が
画素ブロックが動領域に属しているために生じたもので
あるか、あるいは、画素ブロックは静止領域に属してい
ながら物体の影等の影響によって生じたものであるかを
判定し、注目する画素ブロックを動領域と判定した場合
に画素ブロックにおける信号レベルを記憶更新し、静止
領域と判定した場合には信号レベルを記憶更新しない
で、静止領域におけるフレーム間差分をなくするように
した装置及び方法が開示されており、色信号から選び出
した任意の２種類の信号レベルの比が画素値変化の前後
で保存されている画素を影と判定し、マスク画像から除
いている。
変化に影響されない特徴を用いて前景物体と影とを分離
する手法が知られている。例えば特開平５−１１１００
７号公報には、物体の影や反射光の影響等によって静止
領域においても映像信号の変化が生じ、処理画にフリッ
カやちらつき等が現れるという問題の解決を図る装置及
び方法として、画素ブロックにおける映像信号の変化が
画素ブロックが動領域に属しているために生じたもので
あるか、あるいは、画素ブロックは静止領域に属してい
ながら物体の影等の影響によって生じたものであるかを
判定し、注目する画素ブロックを動領域と判定した場合
に画素ブロックにおける信号レベルを記憶更新し、静止
領域と判定した場合には信号レベルを記憶更新しない
で、静止領域におけるフレーム間差分をなくするように
した装置及び方法が開示されており、色信号から選び出
した任意の２種類の信号レベルの比が画素値変化の前後
で保存されている画素を影と判定し、マスク画像から除
いている。
【０００５】また、例えば特開平８−３１７３７３号公
報や、特開平９−３７２５９号公報等には、影及び物体
を分離して検出を行う方法、あるいは背景、動き物体、
影を精度良く分離する装置及び方法として、入力画像と
背景画像の局所的な輝度値分布の類似度を求め、類似度
が高い画素を影と判定してマスク画像から除くようにし
た方法、装置構成が開示されている。
報や、特開平９−３７２５９号公報等には、影及び物体
を分離して検出を行う方法、あるいは背景、動き物体、
影を精度良く分離する装置及び方法として、入力画像と
背景画像の局所的な輝度値分布の類似度を求め、類似度
が高い画素を影と判定してマスク画像から除くようにし
た方法、装置構成が開示されている。
【０００６】
【発明が解決しようとする課題】しかしながら、上記し
た従来の技術は、前景物体内に背景と類似した色や輝度
値分布をもつ部分が存在する場合、それが影と誤認識さ
れ、前景物体画像から除外されてしまう、という問題点
を有している。その理由は、局所的な類似度しか考慮し
ていない、ためである。
た従来の技術は、前景物体内に背景と類似した色や輝度
値分布をもつ部分が存在する場合、それが影と誤認識さ
れ、前景物体画像から除外されてしまう、という問題点
を有している。その理由は、局所的な類似度しか考慮し
ていない、ためである。
【０００７】したがって本発明は、上記問題点に鑑みて
なされたものであって、その目的は、入力画像−背景画
像間の類似度が高い画素が実際に影に属する画素である
のか、偶然に背景と類似した前景物体中の画素であるの
かを判定し、マスク画像から真の影のみを除去する、装
置、方法並びに記録媒体を提供することにある。
なされたものであって、その目的は、入力画像−背景画
像間の類似度が高い画素が実際に影に属する画素である
のか、偶然に背景と類似した前景物体中の画素であるの
かを判定し、マスク画像から真の影のみを除去する、装
置、方法並びに記録媒体を提供することにある。
【０００８】
【課題を解決するための手段】前記目的を達成する本発
明は、入力画像−背景画像間で画素値が変化した画素の
マスクを生成する差分マスク生成手段（図１の１０１）
と、前記マスク中の画素で、入力画像−背景画像間の類
似度が高いものを影候補画素、それ以外を前景物体画素
と判定する影候補抽出手段（図１の１０２）と、前景物
体の輪郭を抽出する輪郭抽出手段（図１の１０３）と、
影候補画素のうち、前景物体の輪郭および前景物体画素
から成る画素集合の外側に位置するものを影として前記
マスクから除去する影除去手段（図１の１０４）と、入
力画像を前記マスクでマスキングして前景物体画像を生
成する前景物体画像生成手段（図１の１０５）と、を有
する。
明は、入力画像−背景画像間で画素値が変化した画素の
マスクを生成する差分マスク生成手段（図１の１０１）
と、前記マスク中の画素で、入力画像−背景画像間の類
似度が高いものを影候補画素、それ以外を前景物体画素
と判定する影候補抽出手段（図１の１０２）と、前景物
体の輪郭を抽出する輪郭抽出手段（図１の１０３）と、
影候補画素のうち、前景物体の輪郭および前景物体画素
から成る画素集合の外側に位置するものを影として前記
マスクから除去する影除去手段（図１の１０４）と、入
力画像を前記マスクでマスキングして前景物体画像を生
成する前景物体画像生成手段（図１の１０５）と、を有
する。
【０００９】本発明においては、入力画像−背景画像間
で類似度の高い画素を影の候補とし、実際に影であるか
どうかの判定を、後段のより高次な判断基準により行う
ことにより、マスク画像から真の影のみを除去するよう
にしたものである。
で類似度の高い画素を影の候補とし、実際に影であるか
どうかの判定を、後段のより高次な判断基準により行う
ことにより、マスク画像から真の影のみを除去するよう
にしたものである。
【００１０】
【発明の実施の形態】本発明の実施の形態について説明
する。本発明の装置は、その好ましい一実施の形態にお
いて、図１を参照すると、画像入力手段（画像入力装
置）１１０と、プログラム制御により動作するコンピュ
ータ（中央処理装置；プロセッサ；データ処理装置）１
００と、画像出力手段（画像出力装置）１２０と、を備
えている。
する。本発明の装置は、その好ましい一実施の形態にお
いて、図１を参照すると、画像入力手段（画像入力装
置）１１０と、プログラム制御により動作するコンピュ
ータ（中央処理装置；プロセッサ；データ処理装置）１
００と、画像出力手段（画像出力装置）１２０と、を備
えている。
【００１１】コンピュータ１００は、差分マスク生成手
段１０１と、影候補抽出手段１０２と、輪郭抽出手段１
０３と、影除去手段１０４と、前景物体画像生成手段１
０５とを含む。これらの手段は、それぞれ概略つぎのよ
うに動作する。
段１０１と、影候補抽出手段１０２と、輪郭抽出手段１
０３と、影除去手段１０４と、前景物体画像生成手段１
０５とを含む。これらの手段は、それぞれ概略つぎのよ
うに動作する。
【００１２】差分マスク生成手段１０１は、画像入力手
段１１０によって入力された画像と背景画像から差分マ
スクを生成する。
段１１０によって入力された画像と背景画像から差分マ
スクを生成する。
【００１３】影候補抽出手段１０２は、差分マスク生成
手段１０１によって生成された差分マスク中の画素を、
影である可能性がある画素（影候補画素）と前景物体に
属することが明らかな画素（前景物体画素）とに分類す
る。
手段１０１によって生成された差分マスク中の画素を、
影である可能性がある画素（影候補画素）と前景物体に
属することが明らかな画素（前景物体画素）とに分類す
る。
【００１４】輪郭抽出手段１０３は、画像入力手段１１
０によって入力された画像と背景画像から前景物体の輪
郭を抽出する。
０によって入力された画像と背景画像から前景物体の輪
郭を抽出する。
【００１５】影除去手段１０４は、影候補抽出手段１０
２で抽出された影候補画素に対して、影候補抽出手段１
０２で抽出された前景物体画素および輪郭抽出手段１０
３で抽出された前景物体輪郭との位置関係より影である
かの判定を行う。影と判定された画素は差分マスク生成
手段１０１によって生成された差分マスクから削除され
る。
２で抽出された影候補画素に対して、影候補抽出手段１
０２で抽出された前景物体画素および輪郭抽出手段１０
３で抽出された前景物体輪郭との位置関係より影である
かの判定を行う。影と判定された画素は差分マスク生成
手段１０１によって生成された差分マスクから削除され
る。
【００１６】前景物体画像生成手段１０５は、影除去手
段１０４で影を除去された差分マスクを用いて、画像入
力手段１１０によって入力された入力画像にマスク処理
を行い、画像出力手段１２０に出力する。
段１０４で影を除去された差分マスクを用いて、画像入
力手段１１０によって入力された入力画像にマスク処理
を行い、画像出力手段１２０に出力する。
【００１７】次に、本発明の別の実施の形態について説
明する。本発明は、その好ましい実施の形態において、
物体抽出プログラムを記録した記録媒体４３０を備え
る。この記録媒体４３０は磁気ディスク、半導体メモ
リ、磁気テープ、ＣＤ(compact disk)−ＲＯＭ、ＤＶＤ
（digital versatile disk）その他の記録媒体であっ
てもよい。
明する。本発明は、その好ましい実施の形態において、
物体抽出プログラムを記録した記録媒体４３０を備え
る。この記録媒体４３０は磁気ディスク、半導体メモ
リ、磁気テープ、ＣＤ(compact disk)−ＲＯＭ、ＤＶＤ
（digital versatile disk）その他の記録媒体であっ
てもよい。
【００１８】物体抽出プログラムは記録媒体４３０から
コンピュータ（中央処理装置；プロセッサ；データ処理
装置）４００に読み込まれ、あるいは、不図示のサーバ
等から通信媒体を介してダウンロードしてコンピュータ
（中央処理装置；プロセッサ；データ処理装置）４００
に読み込まれ、コンピュータ４００の主記憶にロードし
て実行することで、コンピュータ４００の動作を制御
し、本発明を実施することができる。物体抽出プログラ
ムは、前記第１の実施の形態における差分マスク生成手
段１０１と、影候補抽出手段１０２と、輪郭抽出手段１
０３と、影除去手段１０４と、前景物体画像生成手段１
０５の処理を、コンピュータ４００で実行するためのプ
ログラムからなる。
コンピュータ（中央処理装置；プロセッサ；データ処理
装置）４００に読み込まれ、あるいは、不図示のサーバ
等から通信媒体を介してダウンロードしてコンピュータ
（中央処理装置；プロセッサ；データ処理装置）４００
に読み込まれ、コンピュータ４００の主記憶にロードし
て実行することで、コンピュータ４００の動作を制御
し、本発明を実施することができる。物体抽出プログラ
ムは、前記第１の実施の形態における差分マスク生成手
段１０１と、影候補抽出手段１０２と、輪郭抽出手段１
０３と、影除去手段１０４と、前景物体画像生成手段１
０５の処理を、コンピュータ４００で実行するためのプ
ログラムからなる。
【００１９】
【実施例】上記した本発明の実施の形態についてさらに
詳細に説明すべく、本発明の実施例について図面を参照
して以下に説明する。図１は、本発明の一実施例の構成
を示す図である。図１を参照すると、本発明の一実施例
は、画像入力手段１００、および画像出力手段１２０と
して、ＮＴＳＣ信号が入出力できるビデオキャプチャボ
ードおよびモニタディスプレイを、コンピュータ１００
として、画像処理プロセッサを搭載した画像処理ボード
を用いる。ビデオキャプチャボードおよび画像処理ボー
ドは、汎用のパーソナルコンピュータによって制御され
る。
詳細に説明すべく、本発明の実施例について図面を参照
して以下に説明する。図１は、本発明の一実施例の構成
を示す図である。図１を参照すると、本発明の一実施例
は、画像入力手段１００、および画像出力手段１２０と
して、ＮＴＳＣ信号が入出力できるビデオキャプチャボ
ードおよびモニタディスプレイを、コンピュータ１００
として、画像処理プロセッサを搭載した画像処理ボード
を用いる。ビデオキャプチャボードおよび画像処理ボー
ドは、汎用のパーソナルコンピュータによって制御され
る。
【００２０】ビデオキャプチャボードに入力されたビデ
オ信号は、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）信号に変
換され、画像処理ボード（コンピュータ１００）に送ら
れる。また、画像処理ボードの処理結果が転送される
と、それをビデオ信号に変換して、接続された画像出力
手段１２０をなすモニタディスプレイに表示する。
オ信号は、ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）信号に変
換され、画像処理ボード（コンピュータ１００）に送ら
れる。また、画像処理ボードの処理結果が転送される
と、それをビデオ信号に変換して、接続された画像出力
手段１２０をなすモニタディスプレイに表示する。
【００２１】画像処理プロセッサを搭載した画像処理ボ
ードには、差分マスク生成手段１０１と、影候補抽出手
段１０２と、輪郭抽出手段１０３と、影除去手段１０４
と、前景物体画像生成手段１０５との各機能手段が具備
される。これらの各機能手段は、画像処理プロセッサで
実行されるプログラム制御によりその処理が実現され
る。
ードには、差分マスク生成手段１０１と、影候補抽出手
段１０２と、輪郭抽出手段１０３と、影除去手段１０４
と、前景物体画像生成手段１０５との各機能手段が具備
される。これらの各機能手段は、画像処理プロセッサで
実行されるプログラム制御によりその処理が実現され
る。
【００２２】はじめに、画像処理ボードは、ビデオキャ
プチャボード（画像入力手段１１０）から送られてきた
入力画像Ｒ、Ｇ、Ｂに対する平滑化画像と、縦エッジ画
像、横エッジ画像を生成する。
プチャボード（画像入力手段１１０）から送られてきた
入力画像Ｒ、Ｇ、Ｂに対する平滑化画像と、縦エッジ画
像、横エッジ画像を生成する。
【００２３】入力画像が初期フレームである場合、Ｒ、
Ｇ、Ｂそれぞれの平滑化画像は背景画像として、縦エッ
ジ画像、横エッジ画像は背景エッジ画像として保存され
る。ここで、平滑化画像は、入力されたＲ、Ｇ、Ｂ画像
それぞれに対して次式（１）の３×３のマトリクスより
なる平滑化オペレータを施すことで生成される。
Ｇ、Ｂそれぞれの平滑化画像は背景画像として、縦エッ
ジ画像、横エッジ画像は背景エッジ画像として保存され
る。ここで、平滑化画像は、入力されたＲ、Ｇ、Ｂ画像
それぞれに対して次式（１）の３×３のマトリクスより
なる平滑化オペレータを施すことで生成される。
【００２４】
…(1)
【００２５】また、現在の入力に対する縦エッジ画像Ｉ
Xと横エッジ画像Ｉyを生成する手段のブロック図を、図
５に示す。
Xと横エッジ画像Ｉyを生成する手段のブロック図を、図
５に示す。
【００２６】フィルタリング部５０１では、Ｒ、Ｇ、Ｂ
画像それぞれに対して、それぞれ次式（２）のSobel
（ソーベル）オペレータ（一階差分の線形フィルタ：式
（２）の左側の３×３のマトリクスは縦エッジ用Sobel
オペレータ、右側の３×３のマトリクスは横エッジ用So
belオペレータ）を施す。
画像それぞれに対して、それぞれ次式（２）のSobel
（ソーベル）オペレータ（一階差分の線形フィルタ：式
（２）の左側の３×３のマトリクスは縦エッジ用Sobel
オペレータ、右側の３×３のマトリクスは横エッジ用So
belオペレータ）を施す。
【００２７】
…(2)
【００２８】この結果、各画素において３組の縦／横方
向エッジ値 Rx(x,y)，Ry(x,y) Gx(x,y)，Gy(x,y) Bx(x,y)，By(x,y) が得られる。
向エッジ値 Rx(x,y)，Ry(x,y) Gx(x,y)，Gy(x,y) Bx(x,y)，By(x,y) が得られる。
【００２９】エッジ強度計算部５０２では、各画素にお
いて、Ｒ、Ｇ、Ｂ成分それぞれのエッジ強度を計算す
る。
いて、Ｒ、Ｇ、Ｂ成分それぞれのエッジ強度を計算す
る。
【００３０】Ｒ、Ｇ、Ｂ成分のエッジ強度をそれぞれma
gR(x,y)、magG(x,y)、magB(x,y)とすると、それぞれ次
式（３）で与えられる。
gR(x,y)、magG(x,y)、magB(x,y)とすると、それぞれ次
式（３）で与えられる。
【００３１】
…(3)
【００３２】エッジ値選択部５０３では、Ｒ、Ｇ、Ｂ成
分のうち、エッジ強度が最大となる成分を選択し、その
成分の縦／横エッジ値を、その画素における縦／横エッ
ジ値Ix(x,y)、Iy(x,y)として採用する。
分のうち、エッジ強度が最大となる成分を選択し、その
成分の縦／横エッジ値を、その画素における縦／横エッ
ジ値Ix(x,y)、Iy(x,y)として採用する。
【００３３】すなわち、
・magR(x,y)が最大のとき、
【００３４】・magG(x,y)が最大のとき、
【００３５】・magB(x,y)が最大のとき、
【００３６】以上の処理を全画素で行う。これにより、
縦エッジ画像Ｉxと、横エッジ画像Iyとを得る。
縦エッジ画像Ｉxと、横エッジ画像Iyとを得る。
【００３７】次に、平滑化された入力画像と、保存され
ている背景画像との間で色信号の差分を計算し、規定値
で二値化する。ある画素(x,y)における入力画像中の画
素値を、R1(x,y)、G1(x,y)、B1(x,y)、背景画像中の画
素値をR0(x,y)、G0(x,y)、B0(x,y)とすると、差分値は
次式（４）で与えられる。
ている背景画像との間で色信号の差分を計算し、規定値
で二値化する。ある画素(x,y)における入力画像中の画
素値を、R1(x,y)、G1(x,y)、B1(x,y)、背景画像中の画
素値をR0(x,y)、G0(x,y)、B0(x,y)とすると、差分値は
次式（４）で与えられる。
【００３８】
…(4)
【００３９】差分マスク生成手段１０１では、得られた
二値画像に対して穴埋め処理を行い、差分マスクを生成
する。
二値画像に対して穴埋め処理を行い、差分マスクを生成
する。
【００４０】生成された差分マスク中の画素を、影候補
抽出手段１０２で、影である可能性があるもの（影候補
画素）と、前景物体に属することが明らかな画素（前景
物体画素）とに分類する。
抽出手段１０２で、影である可能性があるもの（影候補
画素）と、前景物体に属することが明らかな画素（前景
物体画素）とに分類する。
【００４１】前景物体の影により色が変化した画素で
は、入力画像−背景画像間でＲ、Ｇ、Ｂ値の比を保存し
たまま各成分の値が減少する。差分マスク中の画素でこ
のような変化が見られるものを影候補画素とし、それ以
外の画素を前景物体画素として抽出する。
は、入力画像−背景画像間でＲ、Ｇ、Ｂ値の比を保存し
たまま各成分の値が減少する。差分マスク中の画素でこ
のような変化が見られるものを影候補画素とし、それ以
外の画素を前景物体画素として抽出する。
【００４２】次に、輪郭抽出手段１０３において、前景
物体の輪郭を抽出する。入力画像のエッジ画像と、保存
されている背景エッジ画像との差分を二値化し、前景物
体の輪郭のマスク３０４を生成する。
物体の輪郭を抽出する。入力画像のエッジ画像と、保存
されている背景エッジ画像との差分を二値化し、前景物
体の輪郭のマスク３０４を生成する。
【００４３】本実施例では、次式（５）で与えられる入
力画像と背景画像それぞれのエッジベクトルの距離を差
分値とした。
力画像と背景画像それぞれのエッジベクトルの距離を差
分値とした。
【００４４】
…(5)
【００４５】上式（５）において、Ｉ1x、Ｉ1yはそれぞ
れ入力画像の縦、横エッジ画像、Ｉ 0x、Ｉ0yは、それぞ
れ背景画像の縦、横エッジ画像である。
れ入力画像の縦、横エッジ画像、Ｉ 0x、Ｉ0yは、それぞ
れ背景画像の縦、横エッジ画像である。
【００４６】二値化に用いるしきい値は、前景物体の影
の境界部で得られる差分値と同じか、またはそれよりも
高い値に設定しておくとよい。前景物体の影によるエッ
ジを除去できるためである。
の境界部で得られる差分値と同じか、またはそれよりも
高い値に設定しておくとよい。前景物体の影によるエッ
ジを除去できるためである。
【００４７】さらに、生成された輪郭マスク３０４中の
画素を外側から順に１層ずつ削り取り、輪郭マスクを細
線化する。輪郭マスク中の画素で、次の条件、のい
ずれかを満たすものは輪郭マスクに残され、いずれも満
たさないものは、輪郭マスクより削除される。
画素を外側から順に１層ずつ削り取り、輪郭マスクを細
線化する。輪郭マスク中の画素で、次の条件、のい
ずれかを満たすものは輪郭マスクに残され、いずれも満
たさないものは、輪郭マスクより削除される。
【００４８】エッジ強度がその画素を中心とする８近
傍領域内の極大値である。
傍領域内の極大値である。
【００４９】その画素を削除すると、輪郭マスクの連
結性が変化する（連結成分が分断される）。
結性が変化する（連結成分が分断される）。
【００５０】中心画素を削除した場合に連結性が変化す
る８近傍パターンを図６に示す。図６において、「＃」
は中心画素位置を表し、「１」は輪郭に属する画素、
「０」が輪郭に属さない画素、「・」は任意の画素
（「０」または「１」）を表す。
る８近傍パターンを図６に示す。図６において、「＃」
は中心画素位置を表し、「１」は輪郭に属する画素、
「０」が輪郭に属さない画素、「・」は任意の画素
（「０」または「１」）を表す。
【００５１】これ以上削除できる画素がなくなった時点
で、細線化処理を終了し、細線化された輪郭線を得る。
で、細線化処理を終了し、細線化された輪郭線を得る。
【００５２】以上の処理により得られた影候補画素、前
景物体画素と前景物体の輪郭線を用いて影を、影除去手
段１０４で除去する。より詳細には、影除去手段１０４
は、影候補画素を外側にあるものから順に、前景物体の
輪郭線および前景物体画素の近傍まで削る。前景物体画
素と、削除されずに残った影候補画素とから成る集合が
前景物体マスクとなる。
景物体画素と前景物体の輪郭線を用いて影を、影除去手
段１０４で除去する。より詳細には、影除去手段１０４
は、影候補画素を外側にあるものから順に、前景物体の
輪郭線および前景物体画素の近傍まで削る。前景物体画
素と、削除されずに残った影候補画素とから成る集合が
前景物体マスクとなる。
【００５３】最後に、前景物体画像生成手段１０５は、
前景物体マスクで、平滑化前の入力画像をマスキングし
て、前景物体画像を生成し、画像出力手段１２０を構成
するビデオキャプチャボードに転送する。
前景物体マスクで、平滑化前の入力画像をマスキングし
て、前景物体画像を生成し、画像出力手段１２０を構成
するビデオキャプチャボードに転送する。
【００５４】ビデオキャプチャボードでは、それをＮＴ
ＳＣ信号に変換し、画像をモニタに出力する。次の画像
が入力されるのを待ち、以後同じ処理を繰り返す。
ＳＣ信号に変換し、画像をモニタに出力する。次の画像
が入力されるのを待ち、以後同じ処理を繰り返す。
【００５５】次に、本発明の第２の実施例を説明する。
本発明の第２の実施例は、前記第１の実施例とその基本
構成は同様とされているが、ビデオキャプチャボードか
ら画像処理ボードに入力される信号が、モノクロの輝度
値画像である点で、前記第１の実施例と相違している。
本発明の第２の実施例は、前記第１の実施例とその基本
構成は同様とされているが、ビデオキャプチャボードか
ら画像処理ボードに入力される信号が、モノクロの輝度
値画像である点で、前記第１の実施例と相違している。
【００５６】はじめに、入力画像に対する平滑化画像と
縦、横エッジ画像を計算する。
縦、横エッジ画像を計算する。
【００５７】平滑化画像は入力画像に対して、上式
（１）のオペレータを施すことにより生成される。ま
た、縦、横エッジ画像は入力画像に対して、上式（２）
のSobelオペレータを施すことにより生成される。
（１）のオペレータを施すことにより生成される。ま
た、縦、横エッジ画像は入力画像に対して、上式（２）
のSobelオペレータを施すことにより生成される。
【００５８】差分マスク生成手段１０１は、あらかじめ
記憶されている平滑化済み背景画像との差分を既定値で
二値化し、差分マスクを生成する。差分マスク中の各画
素において、入力画像−背景画像間の類似度を計算す
る。
記憶されている平滑化済み背景画像との差分を既定値で
二値化し、差分マスクを生成する。差分マスク中の各画
素において、入力画像−背景画像間の類似度を計算す
る。
【００５９】ある画素(x,y)を中心とする局所領域内に
おける輝度値分布の類似度が高い場合、次式（６）で与
えられる値は小さくなる。
おける輝度値分布の類似度が高い場合、次式（６）で与
えられる値は小さくなる。
【００６０】
…(6)
【００６１】上式（６）において、I1(i,j)、I0(i,j)
は、それぞれ前景画像、背景画像中における画素(i,j)
の輝度値を表している。Nxyは、画素(x,y)を中心とする
局所領域を表している。
は、それぞれ前景画像、背景画像中における画素(i,j)
の輝度値を表している。Nxyは、画素(x,y)を中心とする
局所領域を表している。
【００６２】
は、それぞれ、入力画像、背景画像に対する局所領域N
xy内の平均輝度値である。
xy内の平均輝度値である。
【００６３】影候補抽出手段１０２では、差分マスク中
の画素で、上式（６）の値が小さい、つまり入力画像−
背景画像間の類似度が高い画素を、影候補画素として、
それ以外の画素を前景物体画素として抽出する。
の画素で、上式（６）の値が小さい、つまり入力画像−
背景画像間の類似度が高い画素を、影候補画素として、
それ以外の画素を前景物体画素として抽出する。
【００６４】次に、前景物体の輪郭を、前記第１の実施
例と同様にして、入力画像の縦、横エッジ画像と、あら
かじめ記憶されている背景画像の縦、横エッジ画像との
差分を二値化することで抽出する。また、前記第１の実
施例と同様にして、輪郭抽出手段１０３で、前景物体の
輪郭を細線化する。
例と同様にして、入力画像の縦、横エッジ画像と、あら
かじめ記憶されている背景画像の縦、横エッジ画像との
差分を二値化することで抽出する。また、前記第１の実
施例と同様にして、輪郭抽出手段１０３で、前景物体の
輪郭を細線化する。
【００６５】以上の処理で、影候補画素、前景物体画素
および前景物体の輪郭を得る。以後、前記第１の実施例
と同様にして、影除去手段１０４で影を除去し、前景物
体画像生成手段１０５で前景物体画像を得る。
および前景物体の輪郭を得る。以後、前記第１の実施例
と同様にして、影除去手段１０４で影を除去し、前景物
体画像生成手段１０５で前景物体画像を得る。
【００６６】
【発明の効果】以上説明したように、本発明によれば、
背景と類似した前景物体中の画素が影と誤認識されるこ
とを防ぎ、画像中の真の影のみを除去できる、という効
果を奏する。
背景と類似した前景物体中の画素が影と誤認識されるこ
とを防ぎ、画像中の真の影のみを除去できる、という効
果を奏する。
【００６７】その理由は、本発明においては、局所的な
類似度だけで影の判定を行うのではなく、前景物体画素
および前景物体の輪郭との位置関係も考慮して影の判定
を行う、構成としている、ためである。
類似度だけで影の判定を行うのではなく、前景物体画素
および前景物体の輪郭との位置関係も考慮して影の判定
を行う、構成としている、ためである。
【図１】本発明の一実施例の構成を示す図である。
【図２】本発明の一実施例の動作を示す流れ図である。
【図３】本発明の一実施例の動作の具体例を示す図であ
る。
る。
【図４】本発明の他の実施例の構成を示す図である。
【図５】本発明の一実施例を説明するための図である。
【図６】本発明の一実施例を説明するための図である。
１００ コンピュータ（中央処理装置；プロセッサ；デ
ータ処理装置） １０１ 差分マスク生成手段 １０２ 影候補抽出手段 １０３ 輪郭抽出手段 １０４ 影除去手段 １０５ 前景物体画像生成手段 １１０ 画像入力手段（装置） １２０ 画像出力手段（装置） ３０１ 入力画像 ３０２ 背景画像 ３０３ 差分マスク ３０４ 前景物体輪郭 ３０５ 影領域 ３０６ 前景物体マスク ４００ コンピュータ（中央処理装置；プロセッサ；デ
ータ処理装置） ４１０ 画像入力手段（装置） ４２０ 画像出力手段（装置） ４３０ 記録媒体
ータ処理装置） １０１ 差分マスク生成手段 １０２ 影候補抽出手段 １０３ 輪郭抽出手段 １０４ 影除去手段 １０５ 前景物体画像生成手段 １１０ 画像入力手段（装置） １２０ 画像出力手段（装置） ３０１ 入力画像 ３０２ 背景画像 ３０３ 差分マスク ３０４ 前景物体輪郭 ３０５ 影領域 ３０６ 前景物体マスク ４００ コンピュータ（中央処理装置；プロセッサ；デ
ータ処理装置） ４１０ 画像入力手段（装置） ４２０ 画像出力手段（装置） ４３０ 記録媒体
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G06T 1/00
G08B 19/00 - 21/24
H04N 7/18
Claims (7)
- 【請求項１】入力画像と背景画像間で画素値が変化した
画素のマスクを生成する差分マスク生成手段と、 前記マスク中の画素で前記入力画像と前記背景画像間の
類似度が高いものを影候補画素とし、それ以外の画素を
前景物体画素と判定する影候補抽出手段と、 前記前景物体の輪郭を抽出する輪郭抽出手段と、 前記影候補画素のうち、前記前景物体の輪郭、および前
記前景物体画素から成る画素集合の外側に位置するもの
を影として、前記マスクから除去する影除去手段と、 前記入力画像を前記マスクでマスキングして前記前景物
体画像を生成する前景物体画像生成手段と、 を備えたことを特徴とする物体抽出システム。 - 【請求項２】入力画像と背景画像間で画素値が変化した
画素のマスクを生成するステップと、 前記マスク中の画素で前記入力画像と前記背景画像間の
類似度が高いものを影候補画素とし、それ以外の画素を
前景物体画素と判定するステップと、 前記前景物体の輪郭を抽出するステップと、 前記影候補画素のうち、前記前景物体の輪郭、および前
記前景物体画素から成る画素集合の外側に位置するもの
を影として、前記マスクから除去するステップと、 前記入力画像を前記マスクでマスキングして前記前景物
体画像を生成するステップと、 を含むことを特徴とする物体抽出方法。 - 【請求項３】（ａ）入力画像と背景画像間で画素値が変
化した画素のマスクを生成する差分マスク生成処理と、 （ｂ）前記マスク中の画素で前記入力画像と前記背景画
像間の類似度が高いものを影候補画素とし、それ以外の
画素を前景物体画素と判定する影候補抽出処理と、 （ｃ）前記前景物体の輪郭を抽出する輪郭抽出処理と、 （ｄ）前記影候補画素のうち、前記前景物体の輪郭、お
よび前記前景物体画素から成る画素集合の外側に位置す
るものを影として、前記マスクから除去する影除去処理
と、 （ｅ）前記入力画像を前記マスクでマスキングして前記
前景物体画像を生成する前景物体画像生成処理と、 の前記（ａ）乃至（ｅ）の各処理をコンピュータに実行
させるためのプログラムを記録した記録媒体。 - 【請求項４】画像入力手段から入力された色信号（Ｒ、
Ｇ、Ｂ）よりなる入力画像に対して平滑化画像を得る手
段と、前記入力画像に対して縦エッジ画像及び横エッジ
画像を求める手段とを備え、 初期フレームの平滑化画像を背景画像、縦エッジ画像及
び横エッジ画像を背景エッジ画像として記憶装置に保存
し、 前記入力画像と、前記保存された平滑化済みの背景画像
との間で色信号の差分を求めて二値化し、得られた二値
画像に対して差分マスクを生成する差分マスク生成手段
と、 前記生成された差分マスクにおいて、入力画像と背景画
像間で、色信号（Ｒ、Ｇ、Ｂ）の比を保ったまま各成分
の値が減少するという変化が見られるものを影候補画素
とし、それ以外の画素を前景物体画素として判定する影
候補抽出手段と、 前記入力画像のエッジ画像と、前記保存されている背景
エッジ画像との差分を二値化して前景物体の輪郭マスク
を生成し、生成された輪郭マスクを細線化処理して輪郭
線を得る輪郭抽出手段と、 前記影候補画素のうち、影候補画素を外側にあるものか
ら順に、前記前景物体の輪郭線および前記前景物体画素
の近傍まで削り、前記前景物体画素と、削除されずに残
った前記影候補画素とから成る集合を前景物体マスクと
する影除去手段と、 前記前景物体マスクで平滑化前の前記入力画像をマスキ
ングして前景物体画像を生成し画像出力手段に転送する
前景物体画像生成手段と、 を備えたことを特徴とする物体抽出装置。 - 【請求項５】画像入力手段から入力された入力画像の輝
度信号に対して平滑化画像と、縦エッジ画像及び横エッ
ジ画像を求める手段を備え、 初期フレームの平滑化画像を背景画像、縦エッジ画像及
び横エッジ画像を背景エッジ画像として記憶装置に保存
し、 前記入力画像と、前記保存され平滑化済みの背景画像と
の間で輝度値の差分を求めて二値化し、得られた二値画
像に対して差分マスクを生成する差分マスク生成手段
と、 前記生成された差分マスクにおいて、入力画像と背景画
像間の輝度値の類似度を導出し、ある画素を中心とする
局所的な領域内における輝度値分布の類似度が相対的に
高い画素を影候補画素とし、それ以外の画素を前景物体
画素として判定する影候補抽出手段と、 前記入力画像のエッジ画像と保存されている背景エッジ
画像との差分を二値化して前景物体の輪郭マスクを生成
し、生成された輪郭マスクを細線化処理して輪郭線を得
る輪郭抽出手段と、 前記影候補画素のうち、影候補画素を外側にあるものか
ら順に、前記前景物体の輪郭線および前記前景物体画素
の近傍まで削り、前記前景物体画素と、削除されずに残
った前記影候補画素とから成る集合を前景物体マスクと
する影除去手段と、 前記前景物体マスクで平滑化前の前記入力画像をマスキ
ングして前景物体画像を生成し画像出力手段に転送する
前景物体画像生成手段と、 を備えたことを特徴とする物体抽出装置。 - 【請求項６】前記影候補抽出手段において、 Ｉ１（ｉ，ｊ）、Ｉ０（ｉ，ｊ）を、それぞれ前景画
像、背景画像中における画素（ｉ，ｊ）の輝度値とし、 Ｎｘｙを、画素（ｘ，ｙ）を中心とする局所領域とし、 ￣Ｉ１（ｘ，ｙ）、￣Ｉ０（ｘ，ｙ）を、それぞれ入力
画像、背景画像に対する局所領域Ｎｘｙ内の平均輝度値
とし、 Ｉ１（ｉ，ｊ）／￣Ｉ１（ｘ，ｙ）から、Ｉ０（ｉ，
ｊ）／￣Ｉ０（ｘ，ｙ）を差し引いた値の絶対値の、画
素（ｉ，ｊ）に関する局所領域Ｎｘｙ内での総和を導出
し、 前記総和が予め定められた所定値よりも小さい、すなわ
ち前記入力画像と前記背景画像間の類似度が高い、画素
を影候補画素として、それ以外の画素を前景物体画素と
して抽出する、ことを特徴とする請求項５記載の物体抽
出装置。 - 【請求項７】前記入力画像に対して縦エッジ画像及び横
エッジ画像を求める手段が、 Ｒ、Ｇ、Ｂ画像それぞれに対して、縦エッジ用線形フィ
ルタ、横エッジ用線形フィルタ処理を施し、各画素にお
いて、Ｒ、Ｇ、Ｂ成分の縦／横エッジ値を得るフィルタ
リング部と、 各画素において、Ｒ、Ｇ、Ｂ成分それぞれのエッジ強度
を計算するエッジ強度計算部と、 Ｒ、Ｇ、Ｂ成分のうち、エッジ強度が最大となる成分を
選択し、その成分の縦／横エッジ値を、該画素における
縦／横エッジ値Ix(x,y)、Iy(x,y)とするエッジ値選択部
と、を備え、 前記入力画像の全画素について、縦／横エッジ値Ix(x,
y)、Iy(x,y)を求めることで、縦エッジ画像Ｉxと、横エ
ッジ画像Iyとを得る、ことを特徴とする請求項４記載の
物体抽出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000017072A JP3480408B2 (ja) | 2000-01-26 | 2000-01-26 | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000017072A JP3480408B2 (ja) | 2000-01-26 | 2000-01-26 | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001209808A JP2001209808A (ja) | 2001-08-03 |
| JP3480408B2 true JP3480408B2 (ja) | 2003-12-22 |
Family
ID=18544110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000017072A Expired - Fee Related JP3480408B2 (ja) | 2000-01-26 | 2000-01-26 | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3480408B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359552B2 (en) * | 2004-12-15 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Foreground detection using intrinsic images |
| JP4674179B2 (ja) * | 2006-03-30 | 2011-04-20 | 株式会社デンソーアイティーラボラトリ | 影認識方法及び影境界抽出方法 |
| KR101079826B1 (ko) * | 2009-07-13 | 2011-11-03 | 부산대학교 산학협력단 | 영상 감시에서 이동 물체 영역을 추출하기 위한 방법 |
| CN101763635B (zh) * | 2009-07-28 | 2011-10-05 | 北京智安邦科技有限公司 | 一种判定视频图像帧序列中背景光照变化区域的方法及装置 |
| KR101297396B1 (ko) * | 2011-12-28 | 2013-08-14 | 충북대학교 산학협력단 | 상대적인 상관도 기반의 그림자 제거 방법 |
| JP7094702B2 (ja) * | 2018-01-12 | 2022-07-04 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
| JP6846365B2 (ja) * | 2018-01-18 | 2021-03-24 | Kddi株式会社 | 前景背景分離に好適な方法および装置 |
| JP7473186B2 (ja) | 2020-07-06 | 2024-04-23 | Ｎｅｃソリューションイノベータ株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2000
- 2000-01-26 JP JP2000017072A patent/JP3480408B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001209808A (ja) | 2001-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3679512B2 (ja) | 画像抽出装置および方法 | |
| JP4746050B2 (ja) | ビデオデータを処理するための方法及びシステム | |
| KR100480781B1 (ko) | 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치 | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| JP3862140B2 (ja) | ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス | |
| JP4489120B2 (ja) | デジタル映像のアーティファクト削減 | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| EP1800260B1 (en) | Correction of blotches in component images | |
| EP1600889A1 (en) | Apparatus and method for extracting character(s) from image | |
| US20050196044A1 (en) | Method of extracting candidate human region within image, system for extracting candidate human region, program for extracting candidate human region, method of discerning top and bottom of human image, system for discerning top and bottom, and program for discerning top and bottom | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| JP2002503894A (ja) | 新しいエッジ検出に基づくノイズ除去アルゴリズム | |
| JP3793258B2 (ja) | 動画像処理装置および方法 | |
| JP2016505186A (ja) | エッジ保存・ノイズ抑制機能を有するイメージプロセッサ | |
| JP2000132688A (ja) | 顔パーツ検出方法及びその装置 | |
| JP2007034733A (ja) | 対象物領域検出装置、方法およびプログラム | |
| JP3480408B2 (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JP2000207489A (ja) | 文字抽出方法、装置および記録媒体 | |
| JP3814353B2 (ja) | 画像分割方法および画像分割装置 | |
| JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
| JP2000348173A (ja) | 唇抽出方法 | |
| JPH1196361A (ja) | 物体抽出装置、物体抽出方法、物体抽出プログラムを記録した媒体および物体検出プログラムを記録した媒体 | |
| JP2002117400A (ja) | 画像補正方法および装置ならびに画像補正プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JPH09186935A (ja) | 画像抽出装置 | |
| JPH04220885A (ja) | 背景除去方法及びその実施装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030909 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3480408 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071010 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081010 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091010 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091010 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101010 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111010 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121010 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131010 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |