JPH06203161A - 動画像からの動物体抽出方法,及び、動物体抽出装置 - Google Patents

動画像からの動物体抽出方法,及び、動物体抽出装置

Info

Publication number
JPH06203161A
JPH06203161A JP5000137A JP13793A JPH06203161A JP H06203161 A JPH06203161 A JP H06203161A JP 5000137 A JP5000137 A JP 5000137A JP 13793 A JP13793 A JP 13793A JP H06203161 A JPH06203161 A JP H06203161A
Authority
JP
Japan
Prior art keywords
pixel
moving
optical flow
calculated
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP5000137A
Other languages
English (en)
Inventor
Takashi Torio
隆 鳥生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP5000137A priority Critical patent/JPH06203161A/ja
Publication of JPH06203161A publication Critical patent/JPH06203161A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 本発明は、動画像から動物体を抽出する方法
に関し、動いている背景画像中の動物体を抽出する。 【構成】 背景画像の動きが固定されているか、又
は、その動きの変化が所定値以下である動画像から、
各画素の2つの時刻(t,t+1) におけるオプティカルフロ
ーを算出し、上記算出した2つの時刻(t,t+1) におけ
るオプティカルフローの画素毎の差を算出し、その算
出結果が所定の閾値以上である画素を抽出し、抽出され
画素群を動物体とする。上記において、2つの時刻
(t,t+1) におけるオプティカルフローの画素毎の差の
算出結果が閾値以下である画素について、上記閾値以上
の画素に囲まれている画素群を統合して動物体とす
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像から動物体を抽
出する方法に関する。最近のロボット工学の進歩と、セ
ンサ技術の進歩に伴い、各企業での工場の自動化が進め
られている。
【0002】かかる工場の自動化においては、例えば、
無人搬送車があるが、無人搬送車の安全性を確保する為
には、その無人搬送車の前を横切る人間等の動物体を、
その無人搬送車に備えられている監視装置において、的
確に捕捉する必要がある。
【0003】この場合、該無人搬送車の動きに応じて、
背景も動いており、その背景が動いている中の、上記人
間といった動物体を識別する必要がある。又、ベルトコ
ンベヤの分野では、ベルトコンベヤに搭載されて運ばれ
てくる物体に対して、他のロボットが、ある操作を施し
たこと、即ち、その物体が動いたことを、的確に検知し
て、そのロボットに対して次の指令を与えるとか、自分
が行うべき操作を認識する必要がある。
【0004】この場合も、背景画像となるベルトコンベ
アも動いており、動いている背景画像中の動物体、例え
ば、製品を識別する必要がある。
【0005】
【従来の技術】図5は、従来の動物体を抽出する方法を
説明する図であり、図5(a1),(a2) は、時刻t,t+1
での動画像を示し、図5(b) は、従来の抽出方法を示
し、図5(c) は、抽出結果を示し、図5(d) は、動作フ
ローを示している。
【0006】動画像から動物体を抽出する方法とし
ては、従来、時間的に連続する二枚の画像 (即ち、動画
像) の画素毎の差分を算出する方法があった。その原
理を図5(a1),(a2),(b),(c) に示しており、その処理フ
ローの概要を図5(d) に示している。
【0007】図5(a1),(a2) に示したような時刻tの画
像と、時刻t+1の画像の二枚の画像が与えられたと
き、背景部分が静止しているとすると,背景部分で
は二枚の画像の差はゼロになる。
【0008】一方、動いている部分は、画素の値(明
るさ)が時間的に変化するので、二枚の画素の差は一般
にはゼロでない。従って、図5(d) に示すフローに従っ
て、図5(b) に示したように、二枚の画像の画素毎の差
を算出し、ゼロでない部分を抽出すれば、図5(c) に示
したように、動いている部分を抽出できる。{図5
(d) の処理ステップ 100,101,102,103参照}
【0009】
【発明が解決しようとする課題】然し、この従来の動物
体の抽出方法には次のような限界がある。即ち、動いて
いる物体をカメラで追跡しながら撮影している場合を
考える。このとき、カメラの動きに伴って背景画像も
動くので、背景部分でも、二枚の画像の差はゼロには
ならず、前記の抽出方法では、動いている物体を抽出
できないという問題があった。
【0010】本発明は上記従来の欠点に鑑み、動画像
から動物体を抽出する際、動いている背景画像中の
動物体を抽出する方法を提供することを目的とするも
のである。
【0011】
【課題を解決するための手段】図1,図2は、本発明の
原理説明図であり、図1(a1),(a2) は動画像の動きを
示し、図1(b),(c1),(c2) は、背景画像が停止している
場合の動物体の抽出方法を示し、図2(a1),(a2) は、
背景画像が一定の速度で動いている場合の動物体の抽
出方法を示し、図2(b) は動作フローを示している。上
記の問題点は下記の如くに構成された動画像からの動物
体抽出方法,及び、動物体抽出装置によって解決され
る。
【0012】(1) 背景画像の動きが固定されている
か、又は、その動きの変化が所定値以下である動画像
から、各画素の2つの時刻(t,t+1) におけるオプティカ
ルフローを算出 200,201し、上記算出した2つの時刻
(t,t+1) におけるオプティカルフローの画素毎の差を
算出 202し、その算出結果が所定の閾値以上である画素
を抽出 203し、抽出され画素群を動物体とする。
【0013】(2) 動物体抽出装置を、背景画像の動き
が固定されているか、又は、その動きの変化が所定値以
下である動画像から、各画素の2つの時刻(t,t+1) に
おけるオプティカルフローを算出する手段 30,31,4
と、上記算出した2つの時刻(t,t+1) におけるオプティ
カルフローの画素毎の差を算出する手段 50,51,6と、
その算出結果が所定の閾値以上である画素を抽出する手
段 7,8と、から構成する。
【0014】(3) 背景画像の動きが固定されている
か、又は、その動きの変化が所定値以下である動画像
から、各画素の2つの時刻(t,t+1) におけるオプティカ
ルフローを算出 200,201し、上記算出した2つの時刻
(t,t+1) におけるオプティカルフローの画素毎の差を
算出 202し、その算出結果が閾値以上である画素を抽出
203し、その算出結果が所定の閾値以下であるが、その
算出結果が上記抽出されている閾値以上である画素に囲
まれている画素群を、上記閾値以上である画素の領域に
統合 203し、該統合された画素群を動物体とする。
【0015】(4) 動物体抽出装置を、背景画像の動き
が固定されているか、又は、その動きの変化が所定値以
下である動画像から、各画素の2つの時刻(t,t+1) に
おけるオプティカルフローを算出する手段 30,31,4
と、上記算出した2つの時刻(t,t+1) におけるオプティ
カルフローの画素毎の差を算出する手段 50,51,6と、
その算出結果が閾値以上である画素を抽出する手段 7,8
と、その算出結果が閾値以下であるが、上記抽出手段
7,8で抽出した閾値以上である画素に囲まれた領域の画
素を、上記閾値以上である領域に統合する手段 9と、か
ら構成する。
【0016】
【作用】即ち、本発明は、カメラが静止している場合は
勿論、物体を追跡しながらカメラが動いている場合に
も、動画像から動物体を抽出するのに、画像の各点
の動きベクトルを表すオプティカルフローを利用す
る。
【0017】動画像からオプティカルフローを算出
する方法は数多く提案されているが、その例としては、
例えば、電子情報通信学会論文誌,D-▼2▲,VOL.J74-
D-▼2▲,No 12,PP1678-1685(1991)がある。
【0018】上記オプティカルフローは、図1(c1),
(c2),図2(a1),(a2) に示されているように、画像の動
きを同じ画素について見たときの、画素数/フレーム間
隔で表す方向ベクトルである。
【0019】静止したカメラで動いている物体を撮影し
たときの、時刻tにおけるオプティカルフローと、時
刻t+1におけるオプティカルフローの例を図1(c
1),(c2) に示す。
【0020】時刻tと、時刻t+1との動画像が、図
1(a1),(a2) に示したものであるとすると、この動画像
の背景部分は静止しているのでオプティカルフロー
はゼロになり、2枚の画像のオプティカルフローの
差をとってもやはりゼロである。
【0021】一方、動いている物体の部分ではオプティ
カルフローはゼロでなく、しかも、一般には、オプテ
ィカルフローの時間的な変化もゼロでない。従って、
2つの時刻におけるオプティカルフローの差を画素毎
に算出し、その結果がゼロでない部分を抽出すれば動い
ている物体を抽出できる。
【0022】図2(a1),(a2) は、物体をカメラで追跡
している場合のオプティカルフローを示す。この場合
は、背景部分でもオプティカルフローはゼロではな
いが、背景部分の動きかたは、カメラを一定速度で動
かしているときは時間的に変化しない。
【0023】従って、2枚の画像でオプティカルフロー
の差をとれば、その結果は背景部分ではゼロにな
る。従って、この場合でも、2枚の画像のオプティカル
フローの差をとり、その結果がゼロでない部分を抽出
することで動いている物体を抽出できる。
【0024】本発明によって、動物体を抽出するとき動
作フローの概要を図2(b) に示す。最初に動画像から時
刻 t,t+1のオプティカルフローを算出(処理ステップ 2
00,201参照) し、次に、時間的に連続する2つのオプテ
ィカルフローの差を画素毎に算出 (処理ステップ 202
参照) する。最後に、その結果が、予め、決めておいた
閾値以上である部分を抽出する。 (処理ステップ 203参
照)閾値以上の動きをしているオプティカルフローを
抽出することにより、カメラの操作者の手のぶれによっ
て生ずるオプティカルフローの動きを吸収し、真に動
いている動物体のオプティカルフローのみを抽出す
ることができる。
【0025】本発明によって、一様に動いているカメラ
から撮影して得られる動画像からでも動物体を抽出
することが可能になる。
【0026】
【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図1,図2は、本発明の原理説明図であり、
図3は、本発明の一実施例を示した図であり、図4は、
本発明の他の実施例を示した図である。
【0027】本発明においては、動画像から動物体
を抽出する方法,及び、装置において、背景画像の動
きが固定されているか、又は、その動きの変化が所定値
以下である動画像から、各画素の2つの時刻(t,t+1)
におけるオプティカルフローを算出 30,31,4し、上記
算出した2つの時刻(t,t+1) におけるオプティカルフロ
ーの画素毎の差を算出 50,51,6し、その算出結果が所
定の閾値以上である画素を抽出 7し、抽出され画素群を
動物体とする手段、或いは、2つの時刻(t,t+1) にお
けるオプティカルフローの画素毎の差の算出結果が閾
値以下である画素について、上記閾値以上の画素に囲ま
れている画素群を統合して動物体とする手段 9が、本
発明を実施するのに必要な手段である。尚、全図を通し
て同じ符号は同じ対象物を示している。
【0028】以下、図1,図2を参照しながら、図3,
図4によって、本発明の動画像から動物体を抽出す
る装置の構成、抽出方法を説明する。図3に一実施例の
構成例を示す。
【0029】TVカメラ 1で撮影された動画像信号は、
AD変換部 2でデジタル画像の時系列に変換される。画
像メモリA 30 には、時刻tにおける画像が、画像メモ
リB 31 には、時刻t+1における画像が格納される。
【0030】オプティカルフロー算出部 4では、これら
2枚の画像を基に、オプティカルフローを算出する。
画像メモリC 50 には、時刻tにおけるオプティカルフ
ローが、画像メモリDには、時刻t+1におけるオプ
ティカルフローが格納される。
【0031】画素毎の差算出部 6では、時刻tにおける
オプティカルフローと、時刻t+1におけるオプティ
カルフローの画素毎の差が算出される。閾値処理部 7
では、上記画素毎の差算出部 6の出力において、その結
果が所定の閾値以上である画素には“1”を、そうでな
い画素には“0”を当てはめ、その結果を画像メモリE
8に格納する。画素値が“1”である領域が動物体が
占める領域である。表示部 10 は動物体の抽出結果を
表示する。
【0032】図4は、本発明の他の実施例の構成を示
す。前記の実施例において、オプティカルフローが時
間的に変化する部分が抽出されるが、物体の明るさが一
様である場合には、動物体の内部において、オプティ
カルフローが小さくなることが多い。その理由は、オ
プティカルフローは明るさの時間的な変化をもとにし
て算出されるが、物体の明るさが一様であるときは、そ
れが動いても、ある画像上の一定場所における画素値
(即ち、明るさ) があまり変化しないからである。然
し、物体の輪郭の部分は、明るさの変化があるので、動
いているよう見える。この実施例は、この点に着目し
て、上記の動いている画像上の一定場所における画素値
があまり変化しない部分について対処しようとするもの
である。
【0033】前記実施例の閾値処理部 7の結果におい
て、上記に述べたような場合では、動く物体であると判
断された領域の内部に、動いていないと判断された領域
が含まれることがある。
【0034】そこで、本発明においては、上記閾値処理
部 7の結果が格納されている画像メモリE 8を読み出
し、穴領域充填部 9では、画素毎のオプティカルフロー
の差が閾値以下ではあるが、閾値以上である画素に囲
まれている領域を、上記閾値以上である領域に統合する
為、そのような領域にも画素値“1”を割り当てる。
【0035】このように処理することにより、物体の明
るさが一様であって、動物体の内部において、オプテ
ィカルフローが小さくなる画素に対しても、上記動物
体に含ませることができるようになる。
【0036】このように、本発明における動物体抽出方
法では、背景画像の動きが固定されているか、又は、
その動きの変化が所定値以下である動画像から、各画
素の2つの時刻(t,t+1) におけるオプティカルフロー
を算出し、上記算出した2つの時刻(t,t+1) におけるオ
プティカルフローの画素毎の差を算出し、その算出結
果が所定の閾値以上である画素を抽出し、抽出され画素
群を動物体とする。又、2つの時刻(t,t+1) における
オプティカルフローの画素毎の差の算出結果が閾値以
下である画素について、上記閾値以上の画素に囲まれて
いる画素群を統合して動物体とするようにしたところ
に特徴がある。
【0037】
【発明の効果】以上、詳細に説明したように、本発明に
よる動物体の抽出方法によれば、背景画像が停止して
いても、或いは、動いているときでも、正確に、該背景
画像中の動物体を抽出することができる効果があ
る。
【図面の簡単な説明】
【図1】本発明の原理説明図(その1)
【図2】本発明の原理説明図(その2)
【図3】本発明の一実施例を示した図
【図4】本発明の他の実施例を示した図
【図5】従来の動物体を抽出する方法を説明する図
【符号の説明】
1 TVカメラ 2 AD変換部 30 画像メモリA 31 画像メモリ
B 4 オプティカルフロー算出部 50 画像メモリC 51 画像メモリ
D 6 画素毎の差算出部 7 閾値処理部 8 画像メモリE 9 穴領域充填
部 10 表示部 動画像 背景画像,
背景部分 オプティカルフロー 動物体,動
いている部分 100 〜103,201 〜203 処理ステップ

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】背景画像 () の動きが固定されている
    か、又は、その動きの変化が所定値以下である動画像
    () から、各画素の2つの時刻(t,t+1) におけるオプ
    ティカルフロー () を算出(200,201) し、上記算出し
    た2つの時刻(t,t+1) におけるオプティカルフロー
    () の画素毎の差を算出(202) し、その算出結果が所
    定の閾値以上である画素を抽出(203) し、抽出され画素
    群を動物体 () とすることを特徴とする動画像からの
    動物体抽出方法。
  2. 【請求項2】背景画像 () の動きが固定されている
    か、又は、その動きの変化が所定値以下である動画像
    () から、各画素の2つの時刻(t,t+1) におけるオプ
    ティカルフロー () を算出する手段(30,31,4) と、 上記算出した2つの時刻(t,t+1) におけるオプティカル
    フロー () の画素毎の差を算出する手段(50,51,6)
    と、 その算出結果が所定の閾値以上である画素を抽出する手
    段(7,8) と、からなる動物体抽出装置。
  3. 【請求項3】背景画像 () の動きが固定されている
    か、又は、その動きの変化が所定値以下である動画像
    () から、各画素の2つの時刻(t,t+1) におけるオプ
    ティカルフロー () を算出(200,201) し、上記算出し
    た2つの時刻(t,t+1) におけるオプティカルフロー
    () の画素毎の差を算出(202) し、その算出結果が閾
    値以上である画素を抽出(203) し、その算出結果が所定
    の閾値以下であるが、その算出結果が上記抽出されてい
    る閾値以上である画素に囲まれている画素群を、上記閾
    値以上である画素の領域に統合(203) し、該統合された
    画素群を動物体()とすることを特徴とする動画像か
    らの動物体抽出方法。
  4. 【請求項4】背景画像 () の動きが固定されている
    か、又は、その動きの変化が所定値以下である動画像
    () から、各画素の2つの時刻(t,t+1) におけるオプ
    ティカルフロー () を算出する手段(30,31,4) と、 上記算出した2つの時刻(t,t+1) におけるオプティカル
    フロー () の画素毎の差を算出する手段(50,51,6)
    と、 その算出結果が閾値以上である画素を抽出する手段(7,
    8) と、 その算出結果が閾値以下であるが、上記抽出手段(7,8)
    で抽出した閾値以上である画素に囲まれた領域の画素
    を、上記閾値以上である領域に統合する手段(9)と、 からなる動物体抽出装置。
JP5000137A 1993-01-05 1993-01-05 動画像からの動物体抽出方法,及び、動物体抽出装置 Withdrawn JPH06203161A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5000137A JPH06203161A (ja) 1993-01-05 1993-01-05 動画像からの動物体抽出方法,及び、動物体抽出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5000137A JPH06203161A (ja) 1993-01-05 1993-01-05 動画像からの動物体抽出方法,及び、動物体抽出装置

Publications (1)

Publication Number Publication Date
JPH06203161A true JPH06203161A (ja) 1994-07-22

Family

ID=11465647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5000137A Withdrawn JPH06203161A (ja) 1993-01-05 1993-01-05 動画像からの動物体抽出方法,及び、動物体抽出装置

Country Status (1)

Country Link
JP (1) JPH06203161A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194867A (ja) * 1998-12-21 2000-07-14 Xerox Corp ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2009086748A (ja) * 2007-09-27 2009-04-23 Saxa Inc 監視装置及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000194867A (ja) * 1998-12-21 2000-07-14 Xerox Corp ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法
JP4514264B2 (ja) * 1998-12-21 2010-07-28 ゼロックス コーポレイション ビデオデータ信号から取得された静止画像内でのモーション表示方法
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2009086748A (ja) * 2007-09-27 2009-04-23 Saxa Inc 監視装置及びプログラム

Similar Documents

Publication Publication Date Title
EP0878965A3 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
JPH0738796A (ja) 自動合焦装置
US20070274402A1 (en) Application of short term and long term background scene dynamics in motion detection
KR100885418B1 (ko) 오버헤드 카메라 영상에서 사람을 감지하고 추적하는시스템 및 그 방법
JP3386025B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
JPH06203161A (ja) 動画像からの動物体抽出方法,及び、動物体抽出装置
JP2001043383A (ja) 画像監視システム
JP2002150295A (ja) 物体検出方法及び物体検出装置
EP3730256A1 (en) Servo control method and system for controlling movement of a robot
JP4124861B2 (ja) 移動量検出装置及びその方法
KR100541618B1 (ko) 감시용 카메라의 제어장치 및 방법
JPH0360311A (ja) 架空線点検用画像処理装置
Branca et al. Cast shadow removing in foreground segmentation
JPH0652311A (ja) 画像処理方法
US20200128183A1 (en) Prominent region detection in scenes from sequence of image frames
JPH04120682A (ja) 移動体の計数装置
JP5247419B2 (ja) 撮像装置および被写体追跡方法
JPH1032746A (ja) カメラ自動追従方法およびその装置
JP2000175101A (ja) 自動追尾装置
JPH0514897A (ja) 画像監視装置
JPH065909B2 (ja) カメラにおける自動追尾装置
JPH08202847A (ja) 移動体計数装置
JP2968827B2 (ja) 画像の動き検出装置及び検出方法
KR0143220B1 (ko) 이동 벡터 추출 회로 및 방법

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20000307