JPH04373085A - 背景画像置換装置 - Google Patents
背景画像置換装置Info
- Publication number
- JPH04373085A JPH04373085A JP3151230A JP15123091A JPH04373085A JP H04373085 A JPH04373085 A JP H04373085A JP 3151230 A JP3151230 A JP 3151230A JP 15123091 A JP15123091 A JP 15123091A JP H04373085 A JPH04373085 A JP H04373085A
- Authority
- JP
- Japan
- Prior art keywords
- image
- time
- coordinates
- background
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 abstract description 17
- 238000000034 method Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000008602 contraction Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、与えられた静止画像か
ら対象以外の背景画像をあらかじめ用意した別の画像で
置換した背景置換画像を得る背景画像置換装置に関する
ものである。
ら対象以外の背景画像をあらかじめ用意した別の画像で
置換した背景置換画像を得る背景画像置換装置に関する
ものである。
【０００２】
【従来の技術】画像中から特定の対象領域（例えば人物
）を抽出し背景画像を置換する方法として、２画像間の
差分情報を利用する方法が提案されている。この方法で
はあらかじめ対象の写っていない背景画像を撮影し保存
しておき、この画像と対象の写っている画像との差分を
とることで対象を抽出し背景画像を置換するのが一般的
である。
）を抽出し背景画像を置換する方法として、２画像間の
差分情報を利用する方法が提案されている。この方法で
はあらかじめ対象の写っていない背景画像を撮影し保存
しておき、この画像と対象の写っている画像との差分を
とることで対象を抽出し背景画像を置換するのが一般的
である。
【０００３】
【発明が解決しようとする課題】しかし、背景をあらか
じめ撮影しておく方法では照明条件が変化した場合やカ
メラ位置が変化した場合には差分情報を対象抽出に利用
できなくなるという問題があった。
じめ撮影しておく方法では照明条件が変化した場合やカ
メラ位置が変化した場合には差分情報を対象抽出に利用
できなくなるという問題があった。
【０００４】本発明は、あらかじめ対象の写っていない
背景画像を撮影し保存しておく必要がないようにするこ
とを目的としている。
背景画像を撮影し保存しておく必要がないようにするこ
とを目的としている。
【０００５】
【課題を解決するための手段】次々と入力される静止画
信号に対し、時刻（ｔ−１）の静止画像（ｔ−１）と時
刻ｔの静止画像ｔとの間の減算を実行し減算結果の絶対
値をとることにより前記２静止画信号間で動きのある領
域を抽出した差分画像を得る。前記差分画像をしきい値
処理により二値化した二値化差分画像を得る。前記二値
化差分画像に対し収縮・膨張等の画像処理を施しノイズ
除去・エッジ切れの補正を行った補正二値化差分画像を
得る。前記補正二値化差分画像から時刻ｔでの対象のＹ
座標に関する頂点座標情報および対象が左右どちらの方
向に移動したかの移動情報を得る。前記移動情報から対
象が左から右に移動したと判定した場合には対象の前記
頂点座標を起点とする右半分のエッジ座標としては前記
補正二値化差分画像の前記頂点座標を起点とする右半分
のエッジ座標を用い、対象の前記頂点座標を起点とする
左半分のエッジ座標としては時刻ｔの静止画像において
時刻ｔでの対象の前記頂点座標を開始点としてたどった
対象の左半分のエッジ座標を用いる。前記移動情報から
対象が右から左に移動したと判定した場合には対象の前
記頂点座標を起点とする左半分のエッジ座標としては前
記補正二値化差分画像の前記頂点座標を起点とする左半
分のエッジ座標を用い、対象の前記頂点座標を起点とす
る右半分のエッジ座標としては時刻ｔの静止画像におい
て時刻ｔでの対象の前記頂点座標を開始点としてたどっ
た対象の右半分のエッジ座標を用いる。上記により求め
た時刻ｔの対象のエッジ座標情報を基に時刻ｔでの対象
以外の背景画像を別の画像で置換した背景置換画像を得
ることを主要な特徴とする。
信号に対し、時刻（ｔ−１）の静止画像（ｔ−１）と時
刻ｔの静止画像ｔとの間の減算を実行し減算結果の絶対
値をとることにより前記２静止画信号間で動きのある領
域を抽出した差分画像を得る。前記差分画像をしきい値
処理により二値化した二値化差分画像を得る。前記二値
化差分画像に対し収縮・膨張等の画像処理を施しノイズ
除去・エッジ切れの補正を行った補正二値化差分画像を
得る。前記補正二値化差分画像から時刻ｔでの対象のＹ
座標に関する頂点座標情報および対象が左右どちらの方
向に移動したかの移動情報を得る。前記移動情報から対
象が左から右に移動したと判定した場合には対象の前記
頂点座標を起点とする右半分のエッジ座標としては前記
補正二値化差分画像の前記頂点座標を起点とする右半分
のエッジ座標を用い、対象の前記頂点座標を起点とする
左半分のエッジ座標としては時刻ｔの静止画像において
時刻ｔでの対象の前記頂点座標を開始点としてたどった
対象の左半分のエッジ座標を用いる。前記移動情報から
対象が右から左に移動したと判定した場合には対象の前
記頂点座標を起点とする左半分のエッジ座標としては前
記補正二値化差分画像の前記頂点座標を起点とする左半
分のエッジ座標を用い、対象の前記頂点座標を起点とす
る右半分のエッジ座標としては時刻ｔの静止画像におい
て時刻ｔでの対象の前記頂点座標を開始点としてたどっ
た対象の右半分のエッジ座標を用いる。上記により求め
た時刻ｔの対象のエッジ座標情報を基に時刻ｔでの対象
以外の背景画像を別の画像で置換した背景置換画像を得
ることを主要な特徴とする。
【０００６】
【作用】本発明は上記手段により、時間的に連続する２
画像間の差分情報と対象の動き情報を利用し対象以外の
背景画像をあらかじめ用意した別の画像で置換した背景
置換画像を得ることを可能としている。そして時刻ｔの
静止画像において対象以外の背景画像を別の画像で置換
した静止画像を得ている。
画像間の差分情報と対象の動き情報を利用し対象以外の
背景画像をあらかじめ用意した別の画像で置換した背景
置換画像を得ることを可能としている。そして時刻ｔの
静止画像において対象以外の背景画像を別の画像で置換
した静止画像を得ている。
【０００７】
【実施例】以下、本発明の一実施例により詳細に説明す
る。図１は本発明の一実施例のブロック図である。図に
おいて、１は背景画像置換装置の全体図であり、２は差
分画像取得部、２１，２２はそれぞれ差分画像取得部を
構成する画像間減算実行部、差分画像二値化部、３は動
き判定部、４は対象領域抽出部、４１，４２，４３，４
４はそれぞれ画像補正部、動き情報抽出部、差分画像エ
ッジ抽出部、対象画像エッジ抽出部、５は背景画像置換
部、６は画像蓄積部、６１，６２，６３はそれぞれ入力
画像蓄積部、背景画像蓄積部、背景置換画像蓄積部であ
り、これら各部から構成される。
る。図１は本発明の一実施例のブロック図である。図に
おいて、１は背景画像置換装置の全体図であり、２は差
分画像取得部、２１，２２はそれぞれ差分画像取得部を
構成する画像間減算実行部、差分画像二値化部、３は動
き判定部、４は対象領域抽出部、４１，４２，４３，４
４はそれぞれ画像補正部、動き情報抽出部、差分画像エ
ッジ抽出部、対象画像エッジ抽出部、５は背景画像置換
部、６は画像蓄積部、６１，６２，６３はそれぞれ入力
画像蓄積部、背景画像蓄積部、背景置換画像蓄積部であ
り、これら各部から構成される。
【０００８】以下、実施例の動作について説明する。時
刻ｔでの静止画像ｔが背景画像置換装置１に入力される
と、先ず、差分画像取得部２内の画像間減算実行部２１
において画像蓄積部６内の入力画像蓄積部６１に蓄積さ
れている時刻（ｔ−１）での静止画像（ｔ−１）と前記
静止画像ｔとの２静止画間での減算を実行し、その減算
結果の絶対値をとることにより差分画像を得る。これに
より２静止画間で動きのある領域が抽出できる。
刻ｔでの静止画像ｔが背景画像置換装置１に入力される
と、先ず、差分画像取得部２内の画像間減算実行部２１
において画像蓄積部６内の入力画像蓄積部６１に蓄積さ
れている時刻（ｔ−１）での静止画像（ｔ−１）と前記
静止画像ｔとの２静止画間での減算を実行し、その減算
結果の絶対値をとることにより差分画像を得る。これに
より２静止画間で動きのある領域が抽出できる。
【０００９】次に差分画像取得部２内の差分画像二値化
部２２において前記差分画像をしきい値処理により二値
化した二値化差分画像を得る。しきい値の決定はしきい
値処理対象の前記二値化差分画像について「５」刻み毎
に階調値の頻度の和を集計した濃度ヒストグラム上にお
いて、ＭＡＸの階調値から隣接する階調値との頻度差を
調べ頻度差が最大となる直前の階調値をしきい値とする
方法をとる。
部２２において前記差分画像をしきい値処理により二値
化した二値化差分画像を得る。しきい値の決定はしきい
値処理対象の前記二値化差分画像について「５」刻み毎
に階調値の頻度の和を集計した濃度ヒストグラム上にお
いて、ＭＡＸの階調値から隣接する階調値との頻度差を
調べ頻度差が最大となる直前の階調値をしきい値とする
方法をとる。
【００１０】次に動き判定部３において前記二値化差分
画像で階調値が「１」の画素数を調べ画素数があらかじ
め規定した数以下の場合には２静止画間で対象の動きが
少ないと判定し背景置換画像として直前に得た背景置換
画像をそのまま利用し次の静止画信号（ｔ＋１）の処理
へと移る。階調値が「１」の画素数があらかじめ規定し
た数以上の場合には２静止画間で対象の動きが大きいと
判定し以降の処理を行う。
画像で階調値が「１」の画素数を調べ画素数があらかじ
め規定した数以下の場合には２静止画間で対象の動きが
少ないと判定し背景置換画像として直前に得た背景置換
画像をそのまま利用し次の静止画信号（ｔ＋１）の処理
へと移る。階調値が「１」の画素数があらかじめ規定し
た数以上の場合には２静止画間で対象の動きが大きいと
判定し以降の処理を行う。
【００１１】前記二値化差分画像が対象領域抽出部４に
入力されると、先ず、画像補正部４１において二値化差
分画像に収縮・膨張等の画像処理を施し二値化差分画像
のノイズ除去、エッジ切れの補正を行った補正二値化差
分画像を得る。
入力されると、先ず、画像補正部４１において二値化差
分画像に収縮・膨張等の画像処理を施し二値化差分画像
のノイズ除去、エッジ切れの補正を行った補正二値化差
分画像を得る。
【００１２】次に動き情報抽出部４２において時刻ｔで
の対象の頂点座標情報および対象が左右どちらの方向に
移動したかの移動情報を得る。時刻ｔにおける対象の頂
点座標の抽出は前記時刻ｔでの静止画像から前記時刻（
ｔ−１）での静止画像を減算し，その減算結果が正であ
る画素のみからなる画像を求め収縮処理によりノイズを
除去した後，左隅（Ｘ座標＝０，Ｙ座標＝０）から右隅
に向けて階調値が「１」の画素があるかを検査し，最初
に検出した階調値が「１」の画素の座標を時刻ｔにおけ
る対象の頭頂座標とする。移動情報については時刻ｔに
おける対象の頂点座標と時刻（ｔ−１）における対象の
頂点座標とを比較することにより，対象が左から右に移
動したか，あるいは右から左に移動したかを判定する。
の対象の頂点座標情報および対象が左右どちらの方向に
移動したかの移動情報を得る。時刻ｔにおける対象の頂
点座標の抽出は前記時刻ｔでの静止画像から前記時刻（
ｔ−１）での静止画像を減算し，その減算結果が正であ
る画素のみからなる画像を求め収縮処理によりノイズを
除去した後，左隅（Ｘ座標＝０，Ｙ座標＝０）から右隅
に向けて階調値が「１」の画素があるかを検査し，最初
に検出した階調値が「１」の画素の座標を時刻ｔにおけ
る対象の頭頂座標とする。移動情報については時刻ｔに
おける対象の頂点座標と時刻（ｔ−１）における対象の
頂点座標とを比較することにより，対象が左から右に移
動したか，あるいは右から左に移動したかを判定する。
【００１３】前記移動情報から対象が左から右に移動し
たと判定した場合には差分画像エッジ抽出部４３におい
て前記補正二値化差分画像の前記頂点座標を起点とする
右半分のエッジ座標を対象の前記頂点座標を起点とする
右半分のエッジ座標として抽出し、対象画像エッジ抽出
部４４において時刻ｔでの対象の前記頂点座標を開始点
として対象の左半分のエッジをたどることにより対象の
前記頂点座標を起点とする左半分のエッジ座標を抽出す
る。図２に対象が人物である場合の移動後の頭頂座標か
らの人物の左半分のエッジの追跡例を示す。
たと判定した場合には差分画像エッジ抽出部４３におい
て前記補正二値化差分画像の前記頂点座標を起点とする
右半分のエッジ座標を対象の前記頂点座標を起点とする
右半分のエッジ座標として抽出し、対象画像エッジ抽出
部４４において時刻ｔでの対象の前記頂点座標を開始点
として対象の左半分のエッジをたどることにより対象の
前記頂点座標を起点とする左半分のエッジ座標を抽出す
る。図２に対象が人物である場合の移動後の頭頂座標か
らの人物の左半分のエッジの追跡例を示す。
【００１４】前記移動情報から対象が右から左に移動し
たと判定した場合には差分画像エッジ抽出部４３におい
て前記補正二値化差分画像の前記頂点座標を起点とする
左半分のエッジ座標を対象の前記頂点座標を起点とする
左半分のエッジ座標として抽出し、対象画像エッジ抽出
部４４において時刻ｔでの対象の前記頂点座標を開始点
として対象の右半分のエッジをたどることにより対象の
前記頂点座標を起点とする右半分のエッジ座標を抽出す
る。
たと判定した場合には差分画像エッジ抽出部４３におい
て前記補正二値化差分画像の前記頂点座標を起点とする
左半分のエッジ座標を対象の前記頂点座標を起点とする
左半分のエッジ座標として抽出し、対象画像エッジ抽出
部４４において時刻ｔでの対象の前記頂点座標を開始点
として対象の右半分のエッジをたどることにより対象の
前記頂点座標を起点とする右半分のエッジ座標を抽出す
る。
【００１５】次に背景画像置換部５において前記により
求めた時刻ｔでの対象のエッジ座標情報を基に時刻ｔで
の対象以外の背景画像を画像蓄積部６内の背景画像蓄積
部６２に蓄積した画像で置換し背景置換画像を得る。こ
の背景置換画像を背景画像置換装置１から出力するとと
もに画像蓄積部６内の背景置換画像蓄積部６３に蓄積す
る。
求めた時刻ｔでの対象のエッジ座標情報を基に時刻ｔで
の対象以外の背景画像を画像蓄積部６内の背景画像蓄積
部６２に蓄積した画像で置換し背景置換画像を得る。こ
の背景置換画像を背景画像置換装置１から出力するとと
もに画像蓄積部６内の背景置換画像蓄積部６３に蓄積す
る。
【００１６】
【発明の効果】以上説明したように、本発明によれば、
時間的に連続する２静止画像間の差分情報と対象の動き
情報を利用するので、あらかじめ対象の写っていない背
景画像を撮影し保存しておく必要がなく照明条件の変化
やカメラ位置の変化による影響を受けることなく対象以
外の背景画像を別の画像で置換した背景置換画像を高速
に得ることが可能となる。従って本発明を適用すれば、
例えば、静止画ＴＶ電話を用いて通信を行う場合に人物
以外の背景を相手に見せたくないという利用者の要求に
対して背景として別の画像を送るという付加サービスを
実施することが可能となりＴＶ電話等による画像通信サ
ービスの利用の普及を促進するという効果がある。
時間的に連続する２静止画像間の差分情報と対象の動き
情報を利用するので、あらかじめ対象の写っていない背
景画像を撮影し保存しておく必要がなく照明条件の変化
やカメラ位置の変化による影響を受けることなく対象以
外の背景画像を別の画像で置換した背景置換画像を高速
に得ることが可能となる。従って本発明を適用すれば、
例えば、静止画ＴＶ電話を用いて通信を行う場合に人物
以外の背景を相手に見せたくないという利用者の要求に
対して背景として別の画像を送るという付加サービスを
実施することが可能となりＴＶ電話等による画像通信サ
ービスの利用の普及を促進するという効果がある。
【図１】本発明の一実施例を示すブロック図である。
【図２】対象のエッジ座標をたどる方法を示す図である
。
。
１ 背景画像置換装置
２ 差分画像取得部
２１ 画像間減算実行部
２２ 差分画像二値化部
３ 動き判定部
４ 対象領域抽出部
４１ 画像補正部
４２ 動き情報抽出部
４３ 差分画像エッジ抽出部
４４ 対象画像エッジ抽出部
５ 背景画像置換部
６ 画像蓄積部
６１ 入力画像蓄積部
６２ 背景画像蓄積部
６３ 背景置換画像蓄積部
Claims (1)
- 【請求項１】 次々と入力される静止画像に対し、時
刻（ｔ−１）の静止画像（ｔ−１）と時刻ｔの静止画像
ｔ間の減算を実行し減算結果の絶対値をとることにより
前記２静止画像間で動きのある領域を抽出した差分画像
を得る手段と、前記差分画像をしきい値処理により二値
化した二値化差分画像を得る手段と、補正二値化差分画
像から時刻ｔでの対象のＹ座標に関する頂点座標情報お
よび対象が左右どちらの方向に移動したかの移動情報を
得る手段と、前記移動情報から対象が左から右に移動し
たと判定した場合には対象の前記頂点座標を起点とする
右半分のエッジ座標としては前記補正二値化差分画像の
前記頂点座標を起点とする右半分のエッジ座標を用い、
対象の前記頂点座標を起点とする左半分のエッジ座標と
しては時刻ｔの静止画像において時刻ｔでの対象の前記
頂点座標を開始点としてたどった対象の左半分のエッジ
座標を用い、前記移動情報から対象が右から左に移動し
たと判定した場合には対象の前記頂点座標を起点とする
左半分のエッジ座標としては前記補正二値化差分画像の
前記頂点座標を起点とする左半分のエッジ座標を用い、
対象の前記頂点座標を起点とする右半分のエッジ座標と
しては時刻ｔの静止画像において時刻ｔでの対象の前記
頂点座標を開始点としてたどった対象の右半分のエッジ
座標を用いる手段と、上記により求めた時刻ｔの対象の
エッジ座標情報を基に時刻ｔでの対象以外の背景画像を
あらかじめ用意してある別の画像で置換した背景置換画
像を得る手段を具備することを特徴とする背景画像置換
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3151230A JPH04373085A (ja) | 1991-06-24 | 1991-06-24 | 背景画像置換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3151230A JPH04373085A (ja) | 1991-06-24 | 1991-06-24 | 背景画像置換装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04373085A true JPH04373085A (ja) | 1992-12-25 |
Family
ID=15514092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3151230A Pending JPH04373085A (ja) | 1991-06-24 | 1991-06-24 | 背景画像置換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04373085A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998015117A1 (en) * | 1996-10-04 | 1998-04-09 | Nippon Telegraph And Telephone Corporation | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method |
| US8830413B2 (en) | 2003-01-15 | 2014-09-09 | Semiconductor Energy Laboratory Co., Ltd. | Peeling method and method for manufacturing display device using the peeling method |
-
1991
- 1991-06-24 JP JP3151230A patent/JPH04373085A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998015117A1 (en) * | 1996-10-04 | 1998-04-09 | Nippon Telegraph And Telephone Corporation | Method for temporally and spatially integrating and managing a plurality of videos, device used for the same, and recording medium storing program of the method |
| US8830413B2 (en) | 2003-01-15 | 2014-09-09 | Semiconductor Energy Laboratory Co., Ltd. | Peeling method and method for manufacturing display device using the peeling method |
| US9013650B2 (en) | 2003-01-15 | 2015-04-21 | Semiconductor Energy Laboratory Co., Ltd. | Peeling method and method for manufacturing display device using the peeling method |
| US9299879B2 (en) | 2003-01-15 | 2016-03-29 | Semiconductor Energy Laboratory Co., Ltd. | Peeling method and method for manufacturing display device using the peeling method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3862140B2 (ja) | ピクセル化されたイメージをセグメント化する方法および装置、並びに記録媒体、プログラム、イメージキャプチャデバイス | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| JP4597391B2 (ja) | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 | |
| WO2020029518A1 (zh) | 一种监控视频处理方法、装置及计算机可读介质 | |
| JP2003058894A (ja) | ピクセル化された画像をセグメント化するための方法および装置 | |
| JPH07168932A (ja) | ビデオ画像中の人間を探索する方法 | |
| CN108154491B (zh) | 一种图像反光消除方法 | |
| JP3490910B2 (ja) | 顔領域検出装置 | |
| JPH03274983A (ja) | 画像認識装置 | |
| KR101552600B1 (ko) | 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법 | |
| CN113627306B (zh) | 关键点处理方法及装置、可读存储介质、终端 | |
| JPH10162118A (ja) | 画像処理装置及び方法 | |
| WO2023019793A1 (zh) | 一种确定方法、清洁机器人和计算机存储介质 | |
| KR20220047749A (ko) | 슬랩/핑거 전경(foreground) 마스크를 생성하기 위한 방법 | |
| JPH04373085A (ja) | 背景画像置換装置 | |
| JP4140402B2 (ja) | 画像処理装置 | |
| JP3230509B2 (ja) | 動画像処理装置 | |
| CN108717684B (zh) | 基于阵列相机的高速水平运动物体图像序列拼接方法及系统 | |
| JP3417635B2 (ja) | 侵入物体認識方法 | |
| JP2621806B2 (ja) | 背景特徴マスク生成装置および移動物体特徴抽出装置 | |
| JP2000078564A (ja) | テレビカメラモニタ人物追跡方式 | |
| JPH0589243A (ja) | 背景画像置換装置 | |
| JP2001094976A (ja) | 画像抽出装置 | |
| JPH07320035A (ja) | 動体像抽出方法 | |
| JP2002259968A (ja) | 色抽出方法及び色抽出装置 |