JPH11353486A - 動画像の動領域抽出方法及び装置 - Google Patents

動画像の動領域抽出方法及び装置

Info

Publication number
JPH11353486A
JPH11353486A JP10161676A JP16167698A JPH11353486A JP H11353486 A JPH11353486 A JP H11353486A JP 10161676 A JP10161676 A JP 10161676A JP 16167698 A JP16167698 A JP 16167698A JP H11353486 A JPH11353486 A JP H11353486A
Authority
JP
Japan
Prior art keywords
image
moving
area
background
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10161676A
Other languages
English (en)
Inventor
Hisami Shinsenji
久美 秦泉寺
Yutaka Watanabe
裕 渡辺
Naoki Kobayashi
小林  直樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP10161676A priority Critical patent/JPH11353486A/ja
Publication of JPH11353486A publication Critical patent/JPH11353486A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 背景画像の用意されていない動画像におい
て、動領域の切れめのない閉輪郭を生成する。この閉輪
郭を用いて動領域と背景領域を分離する。背景画像の用
意されていない動画像において、良好な動領域を抽出す
る。 【解決手段】 動画像の着目フレームとその他の複数フ
レームの差分を累積し、該累積値を所定のしきい値で2
値化して閉領域を形成し、この閉領域の所望の外側の点
から背景領域を拡張し、前記閉領域の2値画像をマスク
にして背景領域を抽出し、この背景領域の輪郭の途切れ
た部分を接続してマスク画像を作成し、このマスク画像
の背景部分の孤立点を除去して新たなマスク画像を作成
し、この作成された新たなマスク画像と原画像から動画
像の動領域を抜き出す動画像の動領域抽出方法である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像の各々フレ
ームにおいて、動領域(前景)と背景領域に分離する技
術に関し、特に、背景画像の用意されていない動画像に
おいて、良好な動領域画像の抽出が可能な技術に関する
ものである。
【0002】
【従来の技術】従来技術には、動画像における各々のフ
レームにおいて、動領域に当たる領域が閉曲線で囲まれ
ている場合、閉領域の内側を動領域、外側を背景領域と
するものがある。例えば、動画像における各々のフレー
ムにおいて、人物の抽出処理を行う場合、2フレーム間
の輝度信号を差分処理して、切れ目のない領域輪郭を形
成した後、3×3の画素サイズのウインドウ内において
領域塗りつぶし処理とウインドウ移動位置の探索を行
う。そして、ウインドウは4方向に移動可能な折り畳み
の走査経路に沿って移動させ、効率的な領域抽出を行う
(文献1:酒井、滝田、中村、“動領域抽出に関する一
方法、”テレビジョン学会技術報告Vol.16、No.32、p
p19〜23、June 1992.参考)。この技術はあらかじめ
動領域のない背景画像が用意されていて、その差分画像
を閉領域として利用する場合には有効であった。
【0003】また、前記人物の抽出処理を行う場合にお
いて、人物輪郭に切れめがないかぎり良好な人物画像の
抽出が可能な技術が提案されている(文献2:酒井、志
和、“背景差分による人物抽出方式の検討”画像電子学
会研会予稿集、pp25〜30、1993年1月5日.参
考)。
【0004】
【発明が解決しようとする課題】しかしながら、前記の
従来技術では、背景画像の用意されていない動画像にお
いては、例えば、TV電話等に適用する目的で、動画像
のフレーム間差分を用いて閉曲線を形成し、動画像であ
る人物輪郭に切れめがないようにすることが困難であ
り、あらかじめ動領域の無い背景画像が用意されていな
い場合は適用できないという問題があった。
【0005】本発明の目的は、背景画像の用意されてい
ない動画像において、動領域の切れめのない閉輪郭を生
成し、この閉輪郭を用いて動領域と背景領域を分離する
ことが可能な技術を提供することにある。
【0006】本発明の他の目的は、背景画像の用意され
ていない動画像において、良好な動領域画像の抽出が可
能な技術を提供することにある。
【0007】本発明の前記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。
【0008】
【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。
【0009】(1)動画像の着目フレームとその他の複
数フレームの差分を累積し、該累積値を所定のしきい値
で2値化して閉領域を形成し、この閉領域の所望の外側
の点から背景領域を拡張し、前記閉領域の2値画像をマ
スクにして背景領域を抽出し、この背景領域の輪郭の途
切れた部分を接続してマスク画像を作成し、このマスク
画像の背景部分の孤立点を除去して新たなマスク画像を
作成し、この作成された新たなマスク画像と原画像から
動画像の動領域を抜き出す動画像の動領域抽出方法であ
る。
【0010】(2)動画像の着目フレームとその他の複
数フレームの差分の累積値を求めるフレーム間差分累積
手段と、該累積値を所定しきい値で2値化して閉領域を
形成する手段と、前記閉領域の所望の外側の点から背景
領域を拡張し、前記閉領域の2値画像をマスクにして背
景領域を抽出する背景領域抽出手段と、前記抽出された
背景領域の輪郭の途切れた部分を接続してマスク画像を
作成するマスク画像作成手段と、このマスク画像の背景
部分の孤立点を除去した新たなマスク画像を作成する孤
立点除去手段と、原画像と新たなマスク画像から動領域
を抜き出す動領域切り出し手段を有する動画像の動領域
抽出装置である。
【0011】すなわち、本発明は、動画像における着目
フレームとその他の全てのフレームとの差分を累積した
画像を算出するフレーム間差分累積手段と、閉領域の外
側をうめる背景領域抽出手段と、輪郭の切れ目をつなげ
る輪郭接続手段と、背景領域の孤立点を除去する孤立点
除去手段を有するものであり、本発明の最も主要な特徴
は、前記フレーム間差分累積手段を設けた点である。
【0012】
【発明の実施の形態】以下、本発明の実施形態(実施
例)を図面を用いて詳細に説明する。
【0013】図1は本発明の実施形態の動画像の動領域
抽出装置の概略要成を示すブロック構成図であり、1は
フレーム間差分累積手段、2は背景領域抽出手段、3は
輪郭接続手段、4は孤立点除去手段、5は動領域切り出
し手段である。
【0014】本実施形態の動画像の動領域抽出装置は、
図1に示すように、動画像の着目フレームとその他の複
数フレームの差分の累積値を求めるフレーム間差分累積
手段1と、このフレーム間差分累積手段1によって得ら
れた累積値を所定しきい値で2値化して閉領域を形成
し、この形成された閉領域の外側の任意の点から背景領
域を拡張していき、前記閉領域の2値画像をマスクにし
て背景領域を抽出する背景領域抽出手段2と、この背景
領域抽出手段2により抽出された背景領域の輪郭の途切
れた部分を接続してマスク画像を作成する輪郭接続手段
(マスク画像作成手段)3と、このマスク画像の背景部
分の孤立点を除去した新たなマスク画像を作成する孤立
点除去手段4と、原画像と前記新たなマスク画像から動
領域を抜き出す動領域切り出し手段5とから成る。
【0015】前記フレーム間差分累積手段1は、図2に
示すように、着目フレームF0とその他のフレームF
1,F2,F3,・・・・Fnの(N−1)個(N=
1,2,3,・・・n)とのそれぞれの差分を全部加算
(累積)する。着目フレームF0と各フレームF1,F
2,F3,・・・Fnの差分の画像f1,f2,f3,
・・・・fnは、図2の下部に示すように、それぞれ途
切れた輪郭Q1,Q2,Q3・・・・Qnとなる。これ
らの所定枚数のフレーム分を累積すると、途切れのない
輪郭Qを生成することができる。各々の画素(座標)に
おける算出させた値は最大値を255以下の任意の値と
して正規化され、階調画像の形でフレーム間差分累積画
像fとして出力される。
【0016】前記背景領域抽出手段2において、前記フ
レーム間差分累積画像fは、図3に示すように、所定の
しきい値(TH)で2値化され、閉輪郭Qを形成する。
この形成された閉輪郭画像Qの外側の任意の点Pから領
域を拡張していき、図3に示すように、動領域(前景領
域)10と背景領域20に分離する。ここで算出された
背景領域20を初期背景マスクと呼ぶ。初期背景マスク
の画像は、背景領域20の部分を“0”、動領域(前景
領域)10の部分を“1”で表している。以後、マスク
は2値で表された画像を指す。前記背景領域抽出手段2
は公知のものを用いる。
【0017】前記輪郭接続手段3は、初期背景マスクの
画像で表される動領域(前景領域)10において、途切
れた輪郭を接続して輪郭接続背景マスク画像を出力す
る。この処理の具体例としては、“morphological clos
ing”処理がある。この“morphological closing”処理
は、閉領域輪郭の不連続点の補正に利用可能な公知の従
来技術の一例であり、当該分野ではよく用いられる方法
である。この方法では、例えば、3×3の矩形窓を構成
要素として処理することがある。
【0018】前記接続された輪郭に対して背景領域抽出
手段2で再び閉輪郭の外側の任意の点から領域を拡張し
ていき、動領域(前景領域)10と背景領域20に分離
する。出力は更新背景マスク画像である。
【0019】前記孤立点除去手段4は、前記更新背景マ
スク画像から背景中に存在する孤立点を除去して孤立点
除去背景マスク画像(あらたなマスク画像)を出力す
る。具体例としては、動領域(前景領域)に対して“mo
rphological opening”処理を行うことがある。その場
合、構成要素は先に用いた“morphological closing”
処理と同じものを用いる。前記“morphological openin
g”処理は、背景領域内の孤立点の補正において利用可
能な公知の従来技術の一例であり、当該分野ではよく用
いられる方法である。この方法では、例えば、3×3の
矩形窓を構成要素として処理することがある。
【0020】最後に、前記孤立点除去背景マスク画像の
動領域の部分に原画像を適用し、背景の部分は適当な値
を埋めて動領域切出し画像を出力する。こうして動領域
が背景から分離される。
【0021】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。
【0022】
【発明の効果】以上説明したように、本発明によれば、
動画像における着目フレームとその他の全てのフレーム
との差分を累積した画像を算出するフレーム間差分累積
手段を設けることにより、動領域の切れめのない閉輪郭
を生成することができる。
【0023】また、背景画像の用意されていない動画像
において、動領域の切れめのない閉輪郭を生成し、動領
域と背景領域を分離することができる。これにより、背
景画像の用意されていない動画像において、良好な動領
域の抽出ができる。
【図面の簡単な説明】
【図1】本発明の実施形態の動画像の動領域抽出装置の
概略要成を示すブロック構成図である。
【図2】本実施形態のフレーム間差分累積手段を説明す
るための模式図である。
【図3】本実施形態の背景領域抽出手段を説明するため
の模式図である。
【符号の説明】 1…フレーム間差分累積手段、2…背景領域抽出手段、
3…輪郭接続手段、4…孤立点除去手段、5…動領域切
り出し手段、10…動領域(前景領域)、20…背景領
域。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 動画像の着目フレームとその他の複数フ
    レームの差分を累積し、該累積値を所定のしきい値で2
    値化して閉領域を形成し、この閉領域の外側の任意の点
    から背景領域を拡張していき、前記閉領域の2値画像を
    マスクにして背景領域を抽出し、この背景領域の輪郭の
    途切れた部分を接続してマスク画像を作成し、このマス
    ク画像の背景部分の孤立点を除去して新たなマスク画像
    を作成し、この作成された新たなマスク画像と原画像か
    ら動画像の動領域を抜き出すことを特徴とする動画像の
    動領域抽出方法。
  2. 【請求項2】 動画像の着目フレームとその他の複数フ
    レームの差分の累積値を求めるフレーム間差分累積手段
    と、該累積値を所定しきい値で2値化して閉領域を形成
    する手段と、前記閉領域の外側の任意の点から背景領域
    を拡張していき、前記閉領域の2値画像をマスクにして
    背景領域を抽出する背景領域抽出手段と、前記抽出され
    た背景領域の輪郭の途切れた部分を接続してマスク画像
    を作成するマスク画像作成手段と、このマスク画像の背
    景部分の孤立点を除去した新たなマスク画像を作成する
    孤立点除去手段と、原画像と前記新たなマスク画像から
    動領域を抜き出す動領域切り出し手段を有することを特
    徴とする動画像の動領域抽出装置。
JP10161676A 1998-06-10 1998-06-10 動画像の動領域抽出方法及び装置 Pending JPH11353486A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10161676A JPH11353486A (ja) 1998-06-10 1998-06-10 動画像の動領域抽出方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10161676A JPH11353486A (ja) 1998-06-10 1998-06-10 動画像の動領域抽出方法及び装置

Publications (1)

Publication Number Publication Date
JPH11353486A true JPH11353486A (ja) 1999-12-24

Family

ID=15739731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10161676A Pending JPH11353486A (ja) 1998-06-10 1998-06-10 動画像の動領域抽出方法及び装置

Country Status (1)

Country Link
JP (1) JPH11353486A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008173492A (ja) * 2008-02-14 2008-07-31 Daiman:Kk パチンコ機
KR100981003B1 (ko) 2007-08-30 2010-09-07 가시오게산키 가부시키가이샤 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
JP2015008412A (ja) * 2013-06-25 2015-01-15 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置
JP2016516180A (ja) * 2013-02-21 2016-06-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated モバイルデバイスの測位

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100981003B1 (ko) 2007-08-30 2010-09-07 가시오게산키 가부시키가이샤 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
JP2008173492A (ja) * 2008-02-14 2008-07-31 Daiman:Kk パチンコ機
JP2016516180A (ja) * 2013-02-21 2016-06-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated モバイルデバイスの測位
JP2015008412A (ja) * 2013-06-25 2015-01-15 グローリー株式会社 動体画像抽出方法及び動体画像抽出装置

Similar Documents

Publication Publication Date Title
Xu et al. Cast shadow detection in video segmentation
WO2005048191A3 (en) Object detection in images
KR102142567B1 (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
EP1225518A3 (en) Apparatus and method for generating object-labelled images in a video sequence
JP2012517647A (ja) 前景−背景制約伝播に基づくビデオマッティング
JP3793258B2 (ja) 動画像処理装置および方法
JPH11353486A (ja) 動画像の動領域抽出方法及び装置
Russell et al. Vehicle detection based on color analysis
JPH09284702A (ja) シーン変化フレーム検出方法および装置
JPH1125222A (ja) 文字切り出し方法及び文字切り出し装置
JP4054125B2 (ja) 動画像オブジェクト抽出装置
JP2001209808A (ja) 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体
Su et al. Rule-based multiple object tracking for traffic surveillance using collaborative background extraction
JP2001127999A5 (ja)
JP3062394B2 (ja) 動体像抽出方法
JPH10105689A (ja) 移動体挙動検知装置
JPH0869535A (ja) 背景特徴マスク生成装置および移動物体特徴抽出装置
JPH10111944A (ja) 背景画更新方法および装置
JP2014199560A (ja) 自由視点映像生成装置
Neri et al. Video sequence segmentation for object-based coders using higher order statistics
JP2001521229A (ja) モホロジカル画像分割のための時空間結合マーカ抽出方法
JPH0589242A (ja) 画像の物体領域切り出し装置
JP2000194851A (ja) 文字領域抽出方法および装置およびこの方法を記録した記録媒体
Kim et al. Restoration of regions occluded by a caption in TV scene
JPH06251151A (ja) 背景更新をともなう領域の抽出装置