JP3569992B2 - 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム - Google Patents
移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム Download PDFInfo
- Publication number
- JP3569992B2 JP3569992B2 JP02909995A JP2909995A JP3569992B2 JP 3569992 B2 JP3569992 B2 JP 3569992B2 JP 02909995 A JP02909995 A JP 02909995A JP 2909995 A JP2909995 A JP 2909995A JP 3569992 B2 JP3569992 B2 JP 3569992B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- image
- moving object
- region
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2226—Homing guidance systems comparing the observed data with stored target data, e.g. target configuration data
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G7/00—Direction control systems for self-propelled missiles
- F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
- F41G7/22—Homing guidance systems
- F41G7/2273—Homing guidance systems characterised by the type of waves
- F41G7/2293—Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
- G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Combustion & Propulsion (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Emergency Alarm Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、道路における交通流の計測や、線路・踏切における異常検知、銀行やコンビニエンスストアにおける犯罪防止など、カメラにより入力された映像監視のための、移動体検出・抽出装置及び方法に関する。
【０００２】
【従来の技術】
現在、道路や踏切、銀行のサービスフロア等のいたる場所でカメラ映像による監視が行われている。これらは、特定の場所を移動する物体（以下では、移動体または移動物体という）を監視することによって、交通集中を解消したり、事故や犯罪を未然に防止することを目的としている。例えば、街頭でときどき行われている交通流調査では、自動車やバイク、自転車、人が、監視区域を何台通過したか計測したり、様々なカテゴリに分類したりして、交通流に関する統計的情報を収集することができる。また、道路上での渋滞監視や踏切事故の監視、銀行やコンビニエンス・ストアのサービスフロア等に対する監視では、渋滞やエンストといった車両の停止、或いは落下物、あやしげな挙動を示す顧客などの異常を検知することにより、事故や犯罪を未然に防ぐことがでいる。このように、移動体に対する映像監視のニーズはきわめて高い。ところが、現在の映像監視は技術的な問題から人手に頼らざるを得ない状況にある。このため、コストが非常に高く、また、人的ミスが入り込みやすい等の問題が生じている。こうした背景から、コンピュータ等による監視処理の自動化が求められており、モデルやテンプレート等を用いた様々な手法が提案されている。
【０００３】
ところが、実際の映像監視のケースでは屋内よりも屋外であることが多い。このため、対象や背景などは降雨や積雪などの気象条件や日照や街灯といった照明条件の影響を強く受ける。例えば、降雨が原因となる周囲の写り込みや光の反射などによって、見かけ上の形状が大きく変化する。また、照明が日光から水銀灯などへの変化により、監視対象と背景との明るさや色彩上の対比関係の変化する。同一箇所の映像であっても、季節や時刻によって、画像としての性質は大きく変化する。このため、ある条件下では有効な特徴量を抽出できても、他の条件下では抽出できなくなる場合が頻繁に生じる。このように、複雑な背景下では、認識アルゴリズムに用いる特徴量の種類によってはその信頼性が非常に低くなるため、実用化が困難であった。
【０００４】
こうした複雑背景の問題の内、漸近的な照明変化を解決するものとして、背景差分を用いた移動体検出手法がある。背景差分とは、固定カメラで撮影された映像では背景がほとんど変化しないことを利用して、背景だけが映っている背景画像と移動体を含むフレーム画像との差分をとることにより、移動体だけを分離・抽出する手法である。背景画像を自動的に取得するには、画素毎にその濃度について時間方向のメディアンやモードを求め、これを使う方法を用いる。図２４に背景差分を用いた移動体検出手法の原理を簡単に示す。監視対象となるシーン１１０について、背景画像１００があらかじめ与えられていれば、背景画像１００とシーン１１０との差分画像１２０から、移動体１１１をシーン変化１２１として分離・抽出できる。この手法の特長は、どんな監視場所に対してもロバストな点である。カメラの動きがないものと仮定すれば、どんな複雑な背景であっても、電柱１０１の様に差分操作で消えてしまうためである。こうした背景差分による移動体検出法の従来技術として、（１）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ， Ｎｏ．６， ｐｐ．８５５−８６５，１９８９、（２）情報処理学会コンピュータビジョン研究会報告７５−５，１９９１、（３）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ， Ｎｏ．９， ｐｐ．１７１６−１７２６，１９９４などがある。
【０００５】
【発明が解決しようとする課題】
しかし、これらの従来技術では背景の構造的変化に弱いという問題点があった。図２５に従来技術の問題点を簡単に示す。例えば、背景画像１００のシーン中に、駐停車した車両１３１が現れて、シーン１３０の様に背景の構造変化が生じたとする。従来技術では、背景画像１００とシーン１３０との差分画像１４０に示されるように、駐停車した車両１３１が変化分１４１として抽出される。ところが、この変化分１４１が移動体によるものなのか、背景の構造変化によるものなのかを区別できないため、背景の構造変化の発生以降のシーン１５０では、移動体１５１が通過しても構造変化と移動体がシーン１６０中の領域１６１の様にくっついて分離できなくなってしまう。実際の映像監視では、こうした背景の構造変化が数多く生じる。例えば、上記のように、道路を通過していた自動車が路肩のパーキングメータに駐停車し、その自動車が新しい背景の一部となる場合がある。逆に、駐停車していた車両が移動して、その車両によって隠されていた領域が新しい背景の一部となることもある。また、通過した車両が道路上に物を落としていった場合も、落下物が新しい背景の一部となる。さらに、雪上を車両が通過することによってできる轍などもある。
【０００６】
このように、従来の背景差分を用いた手法では、背景の構造的な変化に対応できない。これは、背景構造の変化した部分が、移動体であるか、新たな背景部分であるかを区別できないためである。区別を行うために、移動体の運動解析を行うことが考えられるが、オプティカルフローなどの運動解析アルゴリズムでは、移動体の数を前もって知る必要があるため、いったん移動体数を誤認識するとそれ以降の処理では、背景変化領域の分離はおろか、背景変化の有無すら判定が困難となる。
【０００７】
さらに、移動体の分離・抽出が不安定であるということが挙げられる。これは、仮に背景変化の有無を判定できたとしても、上記の理由から背景変化部分と移動体領域をいつでも正確に判別できるとはかぎらないためである。例えば、移動する車両から荷物が落ちて路上に残った場合、この落下物による新たな背景の変化を検出し背景を更新すると、移動体領域も一緒に背景として更新され、背景更新時に移動体が存在していた領域にゴミが混入する。このように、背景の構造変化が生じた後では、移動体を背景から正しく分離・抽出することができなくなり、結果的に監視処理を継続することが困難になっていた。
【０００８】
以上の問題点を解決するため、本発明では次の三つの目的を挙げる。
第一の目的は、着目した画素領域が背景か移動体かの判定を行い、背景の変化があればその種類を判定することである。
第二の目的は、背景変化部分と移動体領域とを分離・判別して、移動体のみを抽出することである。
第三の目的として、抽出した移動体の運動方向や速度を簡単に算出することである。
【０００９】
【課題を解決するための手段】
まず、本発明を構成する基本的な手段として、映像を入力する手段と、移動体を抽出・検出する手段と、処理結果を映像として出力する手段を有する。
【００１０】
次に、第一の目的である、特定の画素領域について移動体と背景の構造変化の有無の判定を実現するために以下の手段を提供する。
映像中から背景判定を行う画素領域を取得する手段と、ある時刻における画素領域とフレーム毎の画素領域との相関を算出する手段と、算出された相関値を時系列として保持すると、保持されている相関値の時系列から、移動体が存在せず背景と予測される時間区間を判定する手段と、判定された背景と予測される時間区間から、移動体が存在する時間区間を決定する手段を有する。また、移動体が存在する時間区間を決定する手段には、判定された背景と予測される時間区間から背景の変化の有無を判定する手段と、判定された背景の変化を照度変化と構造変化に分別する手段と、判定された背景と予測される時間区間から移動体が存在する時間区間を決定する手段を備える。
【００１１】
第二の目的である、背景変化部分と移動体領域とを分離・判別して、移動体のみの抽出を実現するために以下の手段を提供する。
移動体が存在する時間区間をもとに、移動体を含むフレーム画像と、移動体が存在する時間区間の前後に位置する、二つの背景のみが写っている画像（移動体が存在する時間区間より過去の背景画像と未来の背景画像）、映像中から取得する手段と、フレーム画像と過去の背景画像と未来の背景画像から、過去背景差分画像と未来背景差分画像を作成する手段と、過去背景差分画像と未来背景差分画像から、論理積により統合領域を求める手段と、フレーム画像と統合領域から、移動体画像を切り出す手段を有する。
【００１２】
第三の目的である、抽出した移動体の運動方向や速度を簡単に算出するために以下の手段を提供する。
移動体が存在する時間区間の時空間画像を切り出す手段と、移動体が存在する時間区間の前後に位置する二つの背景のみのスリット画像（移動体が存在する時間区間より、過去の背景スリット画像と未来の背景スリット画像）と、時空間画像から移動体領域候補を分離する手段と、伸張収縮処理及び穴埋め処理により移動体領域候補を補正する手段と、補正された二つ背景差分画像から共通する統合領域を求める手段と、得られた統合領域の傾きを算出し、移動体の方向・速度を推定する手段を有する。
【００１３】
その他の特徴的な移動体検出・抽出装置及び方法は、明細書中の記載から自と明らかになるであろう。
【００１４】
【作用】
本発明では、映像入力手段により入力された映像をもとに、以下の手順で移動体の検出・抽出処理が行われる。
【００１５】
まず最初に、特定の画素領域について移動体と背景の構造変化の判定が行われる。映像中から背景判定を行う画素領域を取得し、フレーム毎に画素領域が取得され、ある時刻における画素領域との相関が算出される。算出された相関値は時系列として扱うことができるようになる。次に、この相関値の時系列に対し、移動体が存在せず背景と予測される時間区間を判定する。この背景と予測される時間区間に背景の変化が生じたどうかを判定し、判定された背景の変化を照度変化と構造変化に分別する。最後に、背景と予測される時間区間から移動体が存在する時間区間を決定する。
【００１６】
次に、背景変化部分と移動体領域とを分離・判別して、移動体のみを抽出する。まず、移動体が存在する時間区間をもとに、移動体を含むフレーム画像を取得する。次に、移動体が存在する時間区間の前後に位置する、過去の背景画像と未来の背景画像を、映像中から取得する。次いで、フレーム画像と過去の背景画像と未来の背景画像から、過去背景差分画像と未来背景差分画像を作成する。過去背景差分画像と未来背景差分画像から論理積により統合領域を求め、最後に、フレーム画像と統合領域から移動体画像を切り出す。
【００１７】
第三に、抽出した移動体の運動方向や速度を簡単に算出する。まず、移動体が存在する時間区間の時空間画像を切り出す。次いで、背景スリット画像と時空間画像から移動体領域候補を分離する。伸張収縮及び穴埋め処理によって、移動体領域候補を補正する。補正された過去背景差分画像と未来背景差分画像の論理積から統合領域を求め、最後に、統合領域の傾きを算出し、移動体の方向・速度を推定する。
【００１８】
最後に、上記処理結果を結果出力をする手段によりディスプレイ上に表示する。
【００１９】
【実施例】
以下、本発明の一実施例を詳細に説明する。
図２に、本発明を実現するハードウエア構成の一例である。ＴＶカメラ２００は監視対象となるシーンを撮影し、これを映像信号２０１に変換して、コンピュータ４００に送る。伝送の際、映像信号２０１はフレーム毎にデジタル化されて、コンピュータ４００内のメモリに格納される。コンピュータ４００は、そのメモリ内容を読みとり、メモリ内の別のアドレスに格納された処理プログラムに従って、フレーム画像上の画素が背景であるか移動体であるかの判定と、移動物体の切り出し、運動方向・速度の推定を行う。抽出された移動物体の画像とそれに付随する他の処理結果等はディスプレイ３００に伝送される。ディスプレイ３００は、コンピュータ４００で処理された結果である、背景画像や移動体の画像、運動方向・速度を画面上に出力する。また、これらの情報は、ネットワーク２１０を通じて、安全制御装置や監視センタのディスプレイなどに送られる。
【００２０】
図１は、コンピュータ４００内部に実現されたシステム構成の一例である。コンピュータ４００は、映像入力手段５００、結果出力手段６００、背景判定手段７００、運動解析手段８００、移動体抽出手段９００、の大きく五つから構成される。これらの各手段は、実際はコンピュータ４００内にて、記憶手段に格納されたプログラムがロードされ、ＣＰＵにて実行される。勿論、ソフトウエアによる処理ではなく、適宜ハードウエアによって実現してもよい。
【００２１】
映像入力手段５００は、映像信号２０１をフレーム毎にデジタル画像データ１０００に変換して、背景判定手段７００、運動解析手段８００、移動体抽出手段９００に伝送する。結果出力手段６００は、背景判定手段７００、運動解析手段８００、移動体抽出手段９００での処理結果である、背景画像１００２や運動方向・速度１００３、移動体の画像１００４をディスプレイ上にユーザが見やすい形態で表示するものである。
背景判定手段７００は、デジタル画像データ１０００上の画素毎に背景であるか、移動体であるか、背景構造の変化であるかを判定し、移動体存在区間情報１００１を運動解析手段８００、移動体抽出手段９００に伝送する。移動体存在区間情報１００１とは、画素毎の、移動体が存在すると判定された区間（時間）情報をまとめたものである。このほか、背景判定手段７００は背景と判定された画素を集積した背景画像１００２を結果出力手段６００に伝送する。背景判定方法の詳細については、図３〜図１２で説明する。
運動解析手段８００は、デジタル画像データ１０００と移動体存在区間情報１００１から移動体の運動方向・速度１００３を算出し、結果出力手段６００に伝送する。移動体の運動方向・速度１００３の算出方法の詳細については、図１３〜図１９で説明する。移動体抽出手段９００は、デジタル画像データ１０００と移動体存在区間情報１００１から移動体画像１００４を抽出し、結果出力手段６００に伝送する。移動体画像１００４の抽出装置の詳細については、図２０〜図２２で説明する。
【００２２】
まず、図３〜図５で、移動物体と背景の構造変化の有無を判定する方法の概要を説明する。次に図６〜図１２でこれを実現する背景判定手段について説明する。
【００２３】
図３は、映像とスリット画像、時空間画像の関係を示したものである。映像（動画像）は毎秒２５〜３０枚のフレーム画像と呼ばれる静止画像のシーケンスから構成されている。これを模擬的に表したものが、映像１０１０である。この場合、映像１０１０は時刻Ｔ０から時刻Ｔｎまでのフレーム画像を並べたものである。スリット画像１０４０は、フレーム画像１０２０中からスリット１０３０と呼ばれる線分に含まれる画素を集めた画像である。このスリット画像１０４０をフレーム毎に時間順に並べたものを時空間画像１０５０と呼ぶ。これは、時空間画像１０５０が時間方向と空間方向の両方の情報を含む画像だからである。
固定カメラの時空間画像１０５０では、時間的に濃度変化のない画素は図３の１０５１のように時間方向に水平に流れる線となる。このように時間的に濃度変化のない画素は、背景と考えることができる。一方、背景であっても水平線がとぎれることがある。これは、日照条件など照度の変化や、背景を構成している物体の移動などによって、背景であっても画素の濃度が変化するからである。
これに対し、フレーム画像中を移動する物体は、図３の１０５２のようにその画像が現れて通常は水平線にはならない。移動体が水平線になるのは、スリット上で静止したような場合か、移動方向と水平にスリットが置かれた場合だけである。これは先に述べた背景を構成している物体が変化した場合に含めることができる。
このように、時空間画像１０５０では、背景は水平な線１０５１に、背景以外は１０５２のように変化する。さらに、この変化１０５２の原因は移動物体か背景変化であると考えられる。本発明では、この時空間画像１０５０の性質をもとに背景かどうかの判定を行い、移動体を検出・抽出する。
【００２４】
図４は、背景区間のスリット画像と各時刻における対象スリットとの距離の関係を示したものである。まず、時空間画像１０５０の、移動体や背景の変化のない時間区間から、スリット画像１０４０を取り出し、これを背景スリットβ１０４１とする。次に、これ以外の時刻から、スリット画像１０４０を取り出し、これを対象スリットτ１０４２とする。ここで、スリット画像１０４０を構成する各画素の濃度をベクトル要素とする、スリットベクトルを考え、式１０６０で与えられるふたつのスリット・ベクトルの距離δを考える。時空間画像１０５０に対して、各時刻の対象スリットτ１０４２毎に距離δを求めると、これを時刻順に並べた距離時系列１０７０で与えられるグラフが得られる。
距離時系列１０７０と図３で説明した時空間画像１０５０の性質から次のことがわかる。距離時系列１０７０の内、一定以上の長さを持つ平坦な部分は、背景であり移動体の存在しないと予測される。また、これ以外の変化の大きい部分には、移動物体の通過や背景の変化が起こったと考えられる。以降の説明でこれらを区別するために、距離時系列１０７０の内、一定以上の長さを持つ平坦な部分を背景候補区間１０７１とし、これ以外を移動体存在区間１０７２と定義する。
【００２５】
図５に、背景の構造変化が発生した場合の時空間画像１０５０と距離時系列１０７０を示す。ここでは、図５（ａ）の映像１０１０に示すように、移動物体１１００が落下物１２００をスリット１０３０上に落とした場合を考える。この場合、落下物１２００によって背景の構造が変化するため、その時空間画像１０５０は図５（ｂ）のようになる。すなわち、移動体１１００の時空間画像上の像１１０１のすぐ後に、落下物１２００の像１２０１が現れる。途中から背景の一部となるため、その像１２０１は、図５（ｂ）に示されるような水平線となる。
こうした時空間画像１０５０に対して、背景スリットβ１０４１を用いて距離時系列１０７０を求めると図５（ｃ）のようになる。この距離時系列１０７０の内、背景候補区間１０７３も背景候補区間１０７４も、距離時系列１０７０の内の一定以上の長さを持つ平坦な部分であるから、ともに背景候補区間１０７１である。ところが、背景スリットβ１０４１と同一スリットの区間では、背景候補区間１０７３のように、その平均値がほとんどゼロになるのに対し、落下物の像１２０１のために背景スリットβ１０４１とスリットが異なる場合、背景候補区間１０７４のように、その平均値が一定以上の値になる。これは、落下物の像１２０１を背景スリットβ１０４１との差として検出するためである。このように同じ背景候補区間１０７１であっても、背景スリットβ１０４１と同一のスリット画像であるかどうかで、距離時系列１０７０の平均値は異なる。そこで、以降の説明では両者を区別するために、それぞれの背景候補区間１０７１を真の背景候補区間１０７３、偽の背景候補区間１０７４と定義する。
偽の背景候補区間１０７４が生じる原因として、背景の構造変化の他に、急激な照度変化が考えられる。いずれにせよ、偽の背景候補区間１０７４が生じた場合は、背景が変化したことを意味している。背景か移動体かの判定を継続するには、偽の背景候補区間１０７４からスリットτ１０４２を新たな背景として更新し、距離時系列１０７０による判定処理を繰り返せばよい。
以上の性質を基に、本発明では、距離時系列１０７０における一定長の平坦区間を背景候補区間１０７１と見なし、これ以外を移動体存在区間１０７２として、背景と移動物体との時間区間を分離する。さらに、背景候補区間１０７１のうち、その平均値が０に近いものを真の背景候補区間１０７３とし、それ以外のものを偽の背景候補区間１０７４と分類する。偽の背景候補区間１０７４の場合は、照度変化や構造変化等の理由により、背景が変化したと見なして、偽の背景候補区間１０７４のスリット画像τ１０４２を新たな背景として更新し、以上の判定処理を繰り返す。こうした処理により、常に移動物体と背景、背景の構造変化の三つを判別し、移動物体と背景の構造変化の有無を判定する方法を実現する。
【００２６】
図６は、上記方法を実現する背景判定手段７００の構成（データフロー）を説明するものである。背景判定手段７００は、スリット画像作成手段７０１、背景スリット保持手段７０２、距離算出手段７０３、距離時系列保持手段７０４、距離時系列平滑化手段７１０、平滑化時系列保持手段７０５、背景候補区間判定手段７２０、背景候補真偽判定手段７３０、移動体存在区間取得手段７４０、背景構造変化判定手段７５０を有する。スリット画像作成手段７０１は、入力されたデジタル画像データ１０００をもとに判定対象となる対象スリット１０４２を作成し、距離算出手段７０３に伝送する。
背景スリット保持手段７０２は、背景候補真偽判定手段７３０や背景構造変化判定手段７５０で判定された背景スリット１０４１を保持しておき、距離算出手段７０２からの要求に応じてこれを伝送する。
距離算出手段７０２は、対象スリット１０４２と背景スリット１０４１をベクトルとみて、式１０６０に従って距離δを計算する。算出された距離δは距離時系列保持手段７０４に伝送される。
【００２７】
距離時系列保持手段７０４は、算出された距離δを過去一定時間に渡って保持し、時系列として扱えるようにする。距離時系列１０７０は新たに距離が伝送される度に、最も過去の値を捨て最新の値を含むように更新される。距離時系列平滑化手段７１０からの要求に応じて、距離時系列１０７０を伝送する。
距離時系列平滑化手段７１０は、距離時系列保持手段７０４に格納されている距離時系列１０７０を移動平均によって平滑化する。これは、ジッター等の影響によって、距離時系列が細かい振動がしばしば発生するためである。平滑化された距離時系列１０７０は、平滑化時系列保持手段７０５に伝送される。
平滑化時系列保持手段７０５は、平滑化された最新の距離時系列を保持する。背景候補区間判定手段７２０、背景候補真偽判定手段７３０、移動体存在区間取得手段７４０、からの要求に応じてこれを伝送する。
背景候補区間判定手段７２０は、平滑化された最新の距離時系列１０７０から背景候補区間１０７１を探し、その結果を区間情報として、背景候補真偽判定手段７３０と移動体存在区間取得手段７４０にそれぞれ伝送する。背景候補区間１０７１の探索は、図４で述べたように、平滑化された距離時系列１０７０の平坦部分を判定することによって実現される。探索アルゴリズムの詳細については図７で説明する。
背景候補真偽判定手段７３０は、背景候補区間１０７１と平滑化距離時系列１０７０を基に、真の背景候補区間１０７３か偽の背景候補区間１０７４かを判定する。その後、判定結果に応じて対象スリット画像１０４２を背景スリット保持手段７０２や背景構造変化判定手段７５０に伝送する。真の背景候補区間１０７３の場合には、現在の対象スリット画像１０４２をあらたな背景スリット１０４１として背景スリット保持手段７０２に送る。偽の背景候補区間１０７４の場合には、背景構造変化判定手段７５０に送って背景の構造変化を抽出する。真偽判定を行うアルゴリズムの詳細については図８〜図１１で説明する。
移動体存在区間取得手段７４０は、移動体が存在する区間情報と平滑化された距離時系列１０７０を基に極大値を求めて、移動体が存在すると予測される区間の実際の移動体の数と、極大値部分の時刻を移動体存在区間として返す。
背景構造変化判定手段７５０は、背景スリット保持手段７０２に格納されている背景スリット１０４１と、背景候補真偽判定手段７３０から送られた対象スリット画像１０４２から、背景の変化が構造変化によるものか照度変化によるものかを判定し、対象スリット画像１０４２を新たな背景として更新する。判定アルゴリズムの詳細については図１２で説明する。
【００２８】
図７に、背景候補区間判定手段のフローチャートを示す。まず、平滑化時系列保持手段７０５から、最新の値から一定時間区間（例えば、最新４５フレーム）の平滑化された時系列１０７０を取得する（ステップ２００１）。次に、平滑化時系列１０７０からその区間での最大値・最小値を取得する（ステップ２００２）。最大値と最小値の差が、あらかじめ決めておいた閾値より大きい場合には、背景候補区間１０７１ではないと判定し、処理を終了する。小さい場合には、背景候補区間１０７１と判定し、ステップ２００４に進む（ステップ２００３）。最後に、区間の先頭と最後の時刻を区間情報として返す（ステップ２００４）。
【００２９】
図８は、スリット画像に対する照度変化の影響を示したものである。まず、図８（ａ）のように各画素の明るさがＰ１．．．．Ｐｎで与えられるスリット１０４０を考える。次に、横軸を画素の位置、縦軸を画素の明るさとするグラフを考えると、図８（ｂ）１０４６のようになる。
ここで、急激な照度変化が生じ、スリット画像１０４０全体が暗くなったとすると、スリット画像１０４０中の各画素Ｐ１．．．．Ｐｎの明るさは図８（ｃ）のように相対的な関係を保ったまま、１０４６から１０４７のように一様に小さくなる。この照度変化をスリット画像をベクトルに見立てて考えると次の図９のようになる。
【００３０】
図９（ａ）のように、スリット画像１０４０は各画素の明るさを要素とするベクトルｖ１０４８と考えることができる。各画素Ｐ１．．．．Ｐｎ毎の基底ベクトルをｂ１，ｂ２，ｂ３，．．．．，ｂｎとすると、ベクトルｖ１０４８は、図９（ｂ）のようなｎ次元のベクトル空間上の一点と表すことができる。次に、このベクトルｖ１０４８に対し、急激な照度変化が生じてスリットベクトルが変化し、図９（ｃ）のスリットベクトルｖ’１０４９のようになったとする。このとき、図８の考察から、変化したスリットベクトルｖ’１０４９は、ベクトルｖ１０４８とほとんど同一直線上に存在し、ベクトルｖ１０４８のスカラー倍になっていると考えることができる。
このように、もとのスリットベクトル１０４８と照度によって変化したスリットベクトル１０４９は、ベクトル空間上での座標位置は大きく異なっても、その向きはほとんど同一であることが分かる。これに対し、構造変化の生じたスリットベクトルでは、座標位置だけでなく、その向きも大きく異なると予想される。従って、スリット１０４０の照度変化と構造変化を区別するには、向きを考慮すればよい。
【００３１】
図１０は、通常のスリットベクトル１０４８と照度変化の影響を受けたスリットベクトル１０４９の単位球上へ射影である。図１０に示されるように、ベクトルｖ１０４８の単位球上への射影ベクトルＰ１０４８’と、ベクトルｖ１０４９の単位球上への射影ベクトルＱ１０４９’との距離ＰＱは、元の距離ｖｖ’に比べて非常に近づく。二つの異なるスリット画像の関係が、単なる照度差の違いか構造変化の違いかは、単位球上でのベクトル距離が非常に小さいかどうかで判定できるということである。以降、この正規化されたベクトル間の距離を、式１０６０で定義される距離と区別するために、正規化距離と呼ぶこととする。
本発明では、この正規化距離を利用して、背景の変化が構造変化によるものか照度変化によるものかを判別する。
【００３２】
図１１に、背景候補真偽判定手段７３０のフローチャートを示す。まず、背景候補区間判定手段７２０から背景候補区間１０７１を取得する（ステップ２１０１）。次に、背景候補区間１０７１の平滑化時系列から平均値を取得する（ステップ２１０２）。平均値があらかじめ決めておいた閾値よりも小さい場合には、与えられた背景候補区間１０７１を真の背景候補区間１０７３と判定し、ステップ２１０４に進む。大きい場合には、偽の背景候補区間１０７４と判定し、ステップ２１０５に進む（ステップ２１０３）。ステップ２１０４の場合、背景候補区間１０７１は真の背景候補区間１０７３であり、最新スリットを新しい背景スリット１０４１として、背景スリット保持手段７０２に格納し、処理を終了する（ステップ２１０５）。ステップ２１０５の場合、背景候補区間１０７１は偽の背景候補区間１０７４であり、背景構造判定手段７０５で照度変化によるものか構造変化によるものかを判定し、処理を終了する（ステップ２１０５）。
【００３３】
図１２に、背景構造変化判定手段７５０のフローチャートを示す。まず、偽の背景候補区間１０７４と判定された原因が、照度変化によるものかどうかを判定するため、背景スリット１０４１と、平滑化時系列内の最新の対象スリット１０４２との正規化距離を求める（ステップ２２０１）。正規化距離があらかじめ決めておいた閾値よりも小さい場合には、照度変化と判定してステップ２２０３に進む。大きい場合には、構造変化と判定してステップ２２０４に進む。（ステップ２２０２）。
ステップ２２０３の場合、背景候補区間１０７１は照度変化に起因する、偽の背景候補区間１０７４である。平滑化時系列内の値をゼロにし、対象スリット１０４２を新しい背景スリット１０４１として、背景スリット保持手段７０２に格納し、処理を終了する。ステップ２２０４の場合、背景候補区間１０７１は構造変化に起因する偽の背景候補区間１０７４である。この場合、最新の対象スリット１０４２を新しい背景スリット１０４１として背景スリット保持手段７０２に格納し、平滑化時系列の全ての値をゼロにして処理を終了する。
【００３４】
次に、移動物体のみを抽出する方法とその運動方向や速度を算出する方法について説明する。図１３は、時空間画像から背景変化部分と移動物体領域を分離・判別して、移動物体のみを抽出する方法の概要を説明するものである。図１４，図１５は、その運動方向や速度を算出する方法の概要を説明するものである。図１５〜図１９はこれらを実現する運動解析手段を説明するものである。
【００３５】
図１３は、時空間画像１０５０から背景変化部分と移動物体領域を分離・判別して、移動物体のみを抽出する方法の概要を示したものである。
まず、移動体区間情報１００１を元に、時空間画像１０５０から、移動体が存在すると考えられる区間の時空間画像１０５３を切り出すと共に、過去の背景スリット１０４１、未来の背景スリット１０４１’を取得する。次に、過去背景スリット１０４１と時空間画像１０５３から過去背景差分画像１０５４を、未来背景スリット１０４１’と時空間画像１０５３から未来背景差分画像１０５５を作成する。この背景差分画像では、移動体領域１１０２の他に、背景スリット１０４１と背景構造変化との差分領域１２０２などが含まれる。
最後に、過去背景差分画像１０５４と未来背景差分画像１０５５の論理積を求めて、移動体領域１１０２を抽出する。これにより、背景構造変化との差分領域１２０２がキャンセルされて、共通の領域である移動体領域１１０２のみを抽出できる。
【００３６】
図１４は、映像中の移動物体の運動を解析するためのスリット設定法と、これによって得られる時空間画像１０５０から抽出した移動体１１０１の運動方向・速度１００３を算出する方式の概要を示したものである。
一般に、移動体の運動方向に対して、直角または平行ではない斜め方向にスリット１０３０を設定すると、これから得られる時空間画像１０５０では図１４のように移動物体１１０１が前方または後方に傾く。これは、スリット１０３０に対して、移動物体１１０１の上方あるいは下方の辺が、反対側の辺よりも先にスリット１０３０に到達するためである。これにより、一本のスリットだけでも、傾き１２１０の正負から、移動物体が左右どちらから移動してきたかを決定できる。さらに、傾き１２１０の大きさから、スリット１０３０を横切る際の平均的な速度を算出できる。
本発明では、これを利用して、移動体１１０１の運動方向・速度１００３を算出する。運動解析手段８００では、斜め方向に設定したスリット１０３０より得られる時空間画像１０５０から、移動体領域１２０１を抽出したのち、その傾き１２１０を領域のモーメントより算出して、移動方向と速度１００３を推定する。
【００３７】
図１５は、スリット１０３０の傾きと移動体１１０１の傾き１２１０から、抽出した移動体１１０１の運動方向・速度１００３を算出する原理を説明したものである。
まず、映像１０１０上に設定したスリット１０３０の水平方向からの傾きをαとする。このスリット１０３０に対して、水平方向の速度がｖである移動体１１００が右から通過したとする。移動体１１００の高さをｈとし、移動体１１００の上方部分がスリットを通過してから、下方部分がスリットを通過するまでに、画面上をｗ移動したとすると、水平方向の移動速度ｖは式１６１０で表される。次に、時空間画像１０５０中での、この移動物体の像の１１０１の傾きがθとする。一秒あたりのフレーム画像枚数がｆである時、フレーム画像中でｗ移動するのにかかったフレーム数ｓは式１６２０で記述される。式１６１０， １６２０から、ｖについて整理すると、式１６３０が得られる。ｖの正負が方向を表し、絶対値は水平方向の速度成分の大きさを表す。
本発明では、以上の原理により、スリット１０３０の傾きと時空間画像１０５０中での移動体１１００の像の１１０１の傾きとから、運動方向・速度１００３を算出する。
【００３８】
図１６は、上記方法を実現する運動解析手段８００の構成（データフロー）を示したものである。運動解析手段８００は、時空間画像作成手段８０１、背景スリット取得手段８０２、背景差分作成手段８１０、背景差分統合手段８０３、統合背景差分傾き判定手段８２０を有する。
【００３９】
時空間画像作成手段８０１、背景スリット取得手段８０２、背景差分作成手段８１０、背景差分統合手段８０３は、図１３で説明した、時空間画像１０５０から背景変化部分１２０２と移動物体領域１１０２を分離・判別して、移動物体１１０１のみを抽出する方法を実現する。
時空間画像作成手段８０１は、デジタル画像データ１０００と移動体区間情報１００１から、スリット画像を取得し、これをフレーム順に並べて、移動体１１０１が存在する区間の時空間画像１０５３を作成する。背景差分作成手段８１０、８１０’からの要求に応じて、時空間画像１０５０を伝送する。
背景スリット取得手段８０２は、デジタル画像データ１０００と移動体区間情報１００１により、移動体１１０１が存在する区間の前後から、過去背景スリット１０４１と未来背景スリット１０４１’を取得する。
背景差分作成手段８１０、８１０’は、時空間画像１０５３と過去背景スリット１０４１・未来背景スリット１０４１から、過去背景差分１０５４・未来背景差分１０５５を作成する。背景差分作成アルゴリズムの詳細については、図１７で詳細に説明する。
背景差分統合手段８０３は、作成された過去背景差分１０５４と未来背景差分１０５５の論理積から統合背景差分１０５６を作成する。以上の処理によって、移動体１１０１のみが抽出される。
【００４０】
統合背景差分傾き判定手段８２０は、図１３，図１４で説明したスリット１０３０の傾きと移動体の傾き１２１０から、抽出した移動体の運動方向・速度１００３を算出する方式を実現する。
【００４１】
図１７は、過去背景・未来背景を用いて背景差分を作成する手段８１０の構成（データフロー）を示したものである。背景差分作成手段８１０は、移動体領域分離手段８１１、移動体領域伸張収縮手段８１２、ノイズ領域除去手段８１３、閉領域補充手段８１４を有する。
移動体領域分離手段８１１は、背景スリット画像１０４１と対象スリット画像１０４２、または背景フレーム画像と対象フレーム画像から、移動体領域１２０１のみを二値化して分離・抽出する。分離・抽出アルゴリズムの詳細については、図１８，図１９で説明する。
次に、移動体が一定以上の大きさを持つ一つの閉領域であるという仮定に基づいて、移動体領域伸張収縮手段８１２、ノイズ領域除去手段８１３、閉領域補充手段８１４は、移動体領域分離手段９１１で生じた移動体領域の破れや分断を修正する。
移動体領域伸張収縮手段８１２は、破れや分断の生じた移動体領域１２０１を、伸張収縮を行うことによって接続する。伸張収縮の回数は３回程度である。ノイズ領域除去手段８１３は、伸張収縮を行った移動体領域１２０１から独立した微小領域をノイズとみなして取り除く。閉領域補充手段８１４は、上記移動体領域１２０１に含まれる空孔を探し、これを塗りつぶす。
以上の処理によって、移動体１２００を移動体領域１２０１として切り出し、背景差分画像を作成する。背景構造の変化を切り出す場合には、対象画像の代わりに、変化後の背景画像を用いて、上記の処理を行うことによって、これを切り出すことができる。
【００４２】
図１８は、移動体領域分離手段８１０の概要を説明するものである。まず、背景スリット１０４１と、移動体領域を切り出そうとする対象スリット１０４２を取得する。次に、背景スリット１０４１と対象スリット１０４２を一画素づつ比較しながら、背景か移動体かを判定していく。比較の方法としては、該当する画素の明るさではなく、該当画素を含むｗ個の画素から成る局所スリットを作成して、局所スリット間の正規化距離を求めることにより、判定する。
例えば、判定対象画素Ｐｎ１０４５が、背景か移動体かを判定する場合、対象画素Ｐｎ１０４５を含む局所スリットτ１：１０４４とこれに対応する背景局所スリットβ１：１０４３を作成して、両者の正規化距離を求める。正規化距離を用いているので、背景の一部分が移動する物体の影やライトによって照度変化が生じていても、正しく背景と判定してこれを取り除くことができる。
但し、背景局所スリット１０４３の各画素値の分散が小さい場合には、通常のベクトル距離を用いる。これは、真っ暗な背景上を真っ白い物体が移動する場合でも、正規化距離はゼロになり、背景と間違えることがあるからである。
【００４３】
図１９は、移動体領域分離手段８１０のフローチャートを示したものである。まず、判定を行う対象スリット１０４２を映像１０１０から取得する（ステップ２３０１）。次に、判定処理が全スリット画素で行われたかどうかチェックし、未処理の画素があれば、ステップ２３０３に進み、なければ、処理を終了する（ステップ２３０２）。背景スリット１０４１及び対象スリット１０４２から、上から順に２つの局所スリット１０４３，１０４４を取得する（ステップ２３０３、ステップ２３０４）。背景局所スリット１０４３の分散を求め、あらかじめ決めておいた閾値ＴＶと比較する。小さい場合にはステップ２３０６に進み、大き場合にはステップ２３０７に進む（ステップ２３０５）。ここでは、二つの局所スリット１０４３，１０４４間の距離として、正規化距離を求める（ステップ２３０６）。ここでは、二つの局所スリット１０４３，１０４４間の距離として、ベクトル距離を求める（ステップ２３０７）。こうして求めた二つの局所スリットの距離を、あらかじめ決めておいた閾値ＴＤと比較する。小さい場合にはステップ２３０９に進み、大き場合にはステップ２３１０に進む（ステップ２３０８）。小さいと判定された場合、判定対象となる画素は背景であり（ステップ２３０９）、大きいと判定された場合、判定対象となる画素は非背景である（ステップ２３１０）。以上の処理をステップ２３０２に戻って繰り返す。
【００４４】
図２０，図２１はフレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、移動物体と背景変化を抽出する方法を説明するものである。
【００４５】
図２０に、フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、移動物体のみを抽出する方法の概要を示す。
まず、過去の背景画像１８０１と未来の背景画像１８０３及び現在のフレーム画像１８０２を取得する。ここで、現在のフレーム画像１８０２には移動体１８０４と落下物１８０５が映っており、未来の背景画像１８０３には落下物１８０５に加えて別の落下物１８０６が映っていたものとする。
次に、過去の背景画像１８０１と現在のフレーム画像１８０２の過去背景差分１８０７と、未来の背景画像１８０３と現在のフレーム画像１８０２の未来背景差分１８０８を作成する。過去背景差分１８０７には、移動体領域１８０９と落下物による背景変化領域１８１０が現れる。また、未来背景差分１８０８には、移動体領域１８０９と落下物１８０６による背景変化領域１８１１が現れる。
過去背景差分１８０７と未来背景差分１８０８の統合差分１８１２を論理積によって求めると、背景変化領域１８１０，１８１１は打ち消され、移動体領域１８０９のみが残る。
最後に、統合差分１８１２をマスク画像としてフレーム画像１８０２から、切り出しを行うと移動体１８０４のみを含む移動体画像１８１３を得ることができる。
【００４６】
図２１は、フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、背景変化のみを抽出する方法の概要を示す。
まず、過去の背景画像１８０１と未来の背景画像１８０３を取得する。ここで、未来の背景画像１８０３に，落下物１８０５と落下物１８０６が映っていたものとする。次に、過去の背景画像１８０１と未来の背景画像１８０３の背景間差分１９０１を作成する。背景間差分１９０１には、落下物１８０５による背景変化領域１８１０と落下物１８０６による背景変化領域１８１１が現れる。最後に、統合差分１９０１をマスク画像として未来の背景画像１８０３から、切り出しを行うと落下物１８０５と落下物１８０６のみを含む背景構造変化画像１９０２を得ることができる。
【００４７】
図２２は、上記方法を実現する移動体抽出手段９００の構成（データフロー）を示したものである。移動体抽出手段９００は、フレーム画像取得手段９０１、背景画像作成手段９０２、背景差分作成手段９１０・９１０’、背景差分統合手段９０３、移動体切り出し手段９０４を有する。これらの手段は図１９で説明した、背景変化部分と移動物体領域とを分離・判別して、移動物体のみを抽出する方法を実現する。
フレーム画像取得手段９０１は、移動体区間情報１００１とデジタル画像データ１０００から、移動体１１００が存在すると思われる時間区間のフレーム画像１８０２を取得し、これを背景差分作成手段９１０・９１０’に伝送する。背景画像作成手段９０２は、移動体区間情報１００１とデジタル画像データ１０００から、背景と判定された時間区間のフレーム画像を取得し、過去背景画像１８０１と未来背景画像１８０３として、背景差分作成手段９１０・９１０’に伝送する。背景差分作成手段９１０・９１０’は、フレーム画像上の全面に対して、図１５で説明した背景差分作成手段８１０、８１０’の処理を繰り返し行い、フレーム画像の過去背景差分１８０７と未来背景差分１８０８を作成する。背景差分統合手段９０３は、フレーム画像の過去背景差分１８０７と未来背景差分１８０８の論理積から統合背景差分１８１２を作成し、移動体切り出し手段９０４に伝送する。
移動体切り出し手段９０４は、フレーム画像１８０２から統合背景差分１８１２をマスク画像として切り出しを行い、移動体画像１８０４を抽出する。
【００４８】
図２３は、結果出力手段６００によりディスプレイ３００上に出力された結果表示画面２０００の例を示したものである。結果表示画面例２０００は、入力映像表示領域２０１０、背景変化代表画面表示領域２０２０、移動物体代表画面表示領域２０３０、相関値時系列表示領域２０４０の４つの表示領域から構成される。
【００４９】
この表示結果例では、図２３のように、スリット１０３０を映像１０１０中の真ん中に縦置きにし、これを通過した移動物体の代表画面２０３２と背景に生じた変化の代表画面２０２２、２０３３を背景変化代表画面表示領域２０２０、移動物体代表画面表示領域２０３０にそれぞれ表示する。また、スリットの相関値の時系列（距離時系列１０７０）を相関値時系列表示領域２０４０に表示し、移動物体の存在と背景変化を判定する根拠をユーザに示す。
入力映像表示領域２０１０は、ＴＶカメラ２００から入力される現在の映像１０１０を表示する部分である。
【００５０】
背景変化代表画面表示領域２０２０は、映像１０１０中に生じた背景の構造変化を検出し、変化前の背景代表画面２０２２と変化後の背景代表画面２０２３を表示する部分である。検出された背景構造の変化は、その違いをユーザが判断できるように、背景変化表示ウインドウ２０２１中に変化前の背景代表画面２０２２と変化後の背景代表画面２０２３を上下組として表示する。この画面例では、背景変化として乗用車の駐車、トラックによる落下物などがあったことを示している。背景変化表示ウインドウ２０２１には、スクロールバーがついており、今までに検出された背景構造の変化を見ることができるようになっている。また、このとき、最新の代表画面の組がどれかがすぐ分かるように、マーカー２０２４がつけられる。
【００５１】
移動物体代表画面表示領域２０３０は、映像１０１０中の移動物体を検出し、移動物体の映った代表画面２０３２を表示する部分である。検出された移動物体は、ユーザが判断できるように、移動物体代表画面表示ウインドウ２０３１中に表示される。この画面例では、移動物体として、バイク、黒い乗用車、白い乗用車、灰色の乗用車、トラックなどがあったことを示している。移動物体代表画面表示ウインドウ２０３１には、スクロールバーがついており、今までに検出された移動物体の代表画面を見ることができるようになっている。また、このとき、最新の移動物体がどれかがすぐ分かるように、マーカー２０３３がつけられる。
【００５２】
相関値時系列表示領域２０４０は、スリット１０３０から得られた時空間画像１０５０と、対応する時刻の相関値（距離）の時系列１０７０を同時に表示する部分である。時空間画像１０５０、距離時系列１０７０の最新時刻の画素、グラフ値が相関値時系列表示ウインドウ２０４１の右端に常に表示されるようになっている。また、このほかに移動物体検出時の時空間画像上の位置を示す移動物体検出マーカー２０４２や、背景変化検出時の時空間画像上の位置を表す背景変化検出マーカー２０４３が同時に表示され、ユーザに検出の根拠が一目で分かるようになっている。
【００５３】
本実施例では、映像１０１０上の着目領域の一例としてスリット１０３０を用いた。しかし、背景判定手段７００や移動体抽出手段９００での処理については、スリット１０３０と別の形状であっても、複数個の隣接した画素の集合体であれば、本質的に同じ動作を行う。
【００５４】
本発明の別の実施例として、着目領域の形状が矩形状であったり、円形状であったり、同心円などが考えられる。例えば、家庭やオフィスの玄関にとりつけたＴＶカメラから得た十数時間分の映像に対し、フレーム画像全体の相関値時系列で判定を行い、訪問者や配達された荷物の代表画像を一覧として取り出すことが考えられる。
【００５５】
本発明は、道路における交通流の計測や、線路・踏切における異常検知、銀行や小売店における犯罪防止にための監視、家庭やオフィスにおける監視や認証などへの適用を考慮してきた。しかし、適用分野としてこれに限られるものではなく、各種の検査装置の他、広く適用が可能である。
【００５６】
【発明の効果】
本発明によれば、照明条件の変化や構造的変化が生じるような複雑背景下であっても、背景と移動体を判別し、移動体のみを検出・抽出できる。抽出される移動体については、その形状や色彩、運動方向や速度になんら制限を持たない。また、運動の方向や速度についても算出できる。
背景の変化が生じた場合には、その変化が構造変化であるか照明条件変化であるかを判定する事ができる。
加えて、従来の移動物体抽出方式に比べて、処理対象が映像中の数％の画素で済むため、十倍以上高速に処理することができる。結果として、メモリの使用量についても同様に数％に低減することが可能である。このため、パーソナルコンピュータなどの安価なコンピュータでも実時間処理が可能である。
【図面の簡単な説明】
【図１】本発明を実現するハードウエア構成を示すものである。
【図２】本発明を実現するシステム構成を示すものである。
【図３】映像とスリット画像、時空間画像の関係を示したものである。
【図４】背景スリット１０４１と各時刻における対象スリット１０４２との距離の関係を示したものである。
【図５】背景の構造変化が発生した場合の時空間画像１０５０と距離時系列を示したものである。
【図６】背景判定手段７００のデータフローを説明するものである。
【図７】背景候補区間判定手段７２０のフローチャートを示すものである。
【図８】スリット画像１０４０に対する照度変化の影響を示したものである。
【図９】スリット画像１０４０をベクトルと見なした場合の、スリットベクトルに対する照度変化の影響を示したものである。
【図１０】通常のスリットベクトルと照度変化の影響を受けたスリットベクトルとの単位球上へ射影を示すものである。
【図１１】背景候補真偽判定手段７３０のフローチャートを示したものである。
【図１２】背景構造変化判定手段７５０のフローチャートを示したものである。
【図１３】時空間画像１０５０から背景変化部分と移動物体領域を分離・判別して、移動物体１１００のみを抽出する方法の概要を示したものである。
【図１４】映像１０１０中の移動物体１１００の運動を解析するためのスリット設定法と、これによって得られる時空間画像１０５０を示したものである。
【図１５】スリット１０３０の傾きと移動体の傾き１２１０から、抽出した移動体の運動方向・速度１００３を算出する方式の概要を説明である。
【図１６】上記方法を実現する運動解析手段８００のデータフローを示したものである。
【図１７】過去背景差分・未来背景差分を作成する手段８１０のデータフローを示したものである。
【図１８】移動体領域分離手段８１１の概要を示したものである。
【図１９】移動体領域分離手段のフローチャートを示したものである。
【図２０】フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、移動物体のみを抽出する方法の概要を示すものである。
【図２１】フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、背景変化のみを抽出する方法の概要を示すものである。
【図２２】上記方法を実現する移動体抽出手段９００のデータフローを示したものである。
【図２３】結果出力手段６００によりディスプレイ３００上に出力された結果表示画面の例を示したものである。
【図２４】従来の背景差分を用いた手法による移動体検出・抽出の原理を示す。
【図２５】従来の背景差分を用いた手法による移動体検出・抽出の問題点を示す。
【符号の説明】
２００…ＴＶカメラ，３００…ディスプレイ，４００…コンピュータ，２０１…映像信号，２０２…Ａ／Ｄ変換器，２０３…ＣＰＵ，２０４…メモリ，２０５…補助記憶装置，２０６…ネットワーク装置，，５００…映像入力手段，６００…結果出力手段，７００…背景判定手段，８００…運動解析手段，９００…移動体抽出手段，７０１…スリット画像作成手段，７０２…背景スリット保持手段，７０３…距離算出手段，７０４…距離時系列保持手段，７１０…距離時系列平滑化手段，７０５…平滑化時系列保持手段，７２０…背景候補区間判定手段，７３０…背景候補真偽判定手段，７４０…移動体存在区間取得手段，７０６…背景構造変化判定手段，８０１…時空間画像作成手段，８０２…背景スリット取得手段，８１０…背景差分作成手段，８０３…背景差分統合手段，８２０…統合背景差分傾き判定手段，９０１…フレーム画像取得手段，９０２…背景画像作成手段，９０３…背景差分統合手段，９０４…移動体画像切り出し手段，９１０…背景差分作成手段。
【産業上の利用分野】
本発明は、道路における交通流の計測や、線路・踏切における異常検知、銀行やコンビニエンスストアにおける犯罪防止など、カメラにより入力された映像監視のための、移動体検出・抽出装置及び方法に関する。
【０００２】
【従来の技術】
現在、道路や踏切、銀行のサービスフロア等のいたる場所でカメラ映像による監視が行われている。これらは、特定の場所を移動する物体（以下では、移動体または移動物体という）を監視することによって、交通集中を解消したり、事故や犯罪を未然に防止することを目的としている。例えば、街頭でときどき行われている交通流調査では、自動車やバイク、自転車、人が、監視区域を何台通過したか計測したり、様々なカテゴリに分類したりして、交通流に関する統計的情報を収集することができる。また、道路上での渋滞監視や踏切事故の監視、銀行やコンビニエンス・ストアのサービスフロア等に対する監視では、渋滞やエンストといった車両の停止、或いは落下物、あやしげな挙動を示す顧客などの異常を検知することにより、事故や犯罪を未然に防ぐことがでいる。このように、移動体に対する映像監視のニーズはきわめて高い。ところが、現在の映像監視は技術的な問題から人手に頼らざるを得ない状況にある。このため、コストが非常に高く、また、人的ミスが入り込みやすい等の問題が生じている。こうした背景から、コンピュータ等による監視処理の自動化が求められており、モデルやテンプレート等を用いた様々な手法が提案されている。
【０００３】
ところが、実際の映像監視のケースでは屋内よりも屋外であることが多い。このため、対象や背景などは降雨や積雪などの気象条件や日照や街灯といった照明条件の影響を強く受ける。例えば、降雨が原因となる周囲の写り込みや光の反射などによって、見かけ上の形状が大きく変化する。また、照明が日光から水銀灯などへの変化により、監視対象と背景との明るさや色彩上の対比関係の変化する。同一箇所の映像であっても、季節や時刻によって、画像としての性質は大きく変化する。このため、ある条件下では有効な特徴量を抽出できても、他の条件下では抽出できなくなる場合が頻繁に生じる。このように、複雑な背景下では、認識アルゴリズムに用いる特徴量の種類によってはその信頼性が非常に低くなるため、実用化が困難であった。
【０００４】
こうした複雑背景の問題の内、漸近的な照明変化を解決するものとして、背景差分を用いた移動体検出手法がある。背景差分とは、固定カメラで撮影された映像では背景がほとんど変化しないことを利用して、背景だけが映っている背景画像と移動体を含むフレーム画像との差分をとることにより、移動体だけを分離・抽出する手法である。背景画像を自動的に取得するには、画素毎にその濃度について時間方向のメディアンやモードを求め、これを使う方法を用いる。図２４に背景差分を用いた移動体検出手法の原理を簡単に示す。監視対象となるシーン１１０について、背景画像１００があらかじめ与えられていれば、背景画像１００とシーン１１０との差分画像１２０から、移動体１１１をシーン変化１２１として分離・抽出できる。この手法の特長は、どんな監視場所に対してもロバストな点である。カメラの動きがないものと仮定すれば、どんな複雑な背景であっても、電柱１０１の様に差分操作で消えてしまうためである。こうした背景差分による移動体検出法の従来技術として、（１）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７２−Ｄ−ＩＩ， Ｎｏ．６， ｐｐ．８５５−８６５，１９８９、（２）情報処理学会コンピュータビジョン研究会報告７５−５，１９９１、（３）電子情報通信学会論文 Ｄ−ＩＩ Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ， Ｎｏ．９， ｐｐ．１７１６−１７２６，１９９４などがある。
【０００５】
【発明が解決しようとする課題】
しかし、これらの従来技術では背景の構造的変化に弱いという問題点があった。図２５に従来技術の問題点を簡単に示す。例えば、背景画像１００のシーン中に、駐停車した車両１３１が現れて、シーン１３０の様に背景の構造変化が生じたとする。従来技術では、背景画像１００とシーン１３０との差分画像１４０に示されるように、駐停車した車両１３１が変化分１４１として抽出される。ところが、この変化分１４１が移動体によるものなのか、背景の構造変化によるものなのかを区別できないため、背景の構造変化の発生以降のシーン１５０では、移動体１５１が通過しても構造変化と移動体がシーン１６０中の領域１６１の様にくっついて分離できなくなってしまう。実際の映像監視では、こうした背景の構造変化が数多く生じる。例えば、上記のように、道路を通過していた自動車が路肩のパーキングメータに駐停車し、その自動車が新しい背景の一部となる場合がある。逆に、駐停車していた車両が移動して、その車両によって隠されていた領域が新しい背景の一部となることもある。また、通過した車両が道路上に物を落としていった場合も、落下物が新しい背景の一部となる。さらに、雪上を車両が通過することによってできる轍などもある。
【０００６】
このように、従来の背景差分を用いた手法では、背景の構造的な変化に対応できない。これは、背景構造の変化した部分が、移動体であるか、新たな背景部分であるかを区別できないためである。区別を行うために、移動体の運動解析を行うことが考えられるが、オプティカルフローなどの運動解析アルゴリズムでは、移動体の数を前もって知る必要があるため、いったん移動体数を誤認識するとそれ以降の処理では、背景変化領域の分離はおろか、背景変化の有無すら判定が困難となる。
【０００７】
さらに、移動体の分離・抽出が不安定であるということが挙げられる。これは、仮に背景変化の有無を判定できたとしても、上記の理由から背景変化部分と移動体領域をいつでも正確に判別できるとはかぎらないためである。例えば、移動する車両から荷物が落ちて路上に残った場合、この落下物による新たな背景の変化を検出し背景を更新すると、移動体領域も一緒に背景として更新され、背景更新時に移動体が存在していた領域にゴミが混入する。このように、背景の構造変化が生じた後では、移動体を背景から正しく分離・抽出することができなくなり、結果的に監視処理を継続することが困難になっていた。
【０００８】
以上の問題点を解決するため、本発明では次の三つの目的を挙げる。
第一の目的は、着目した画素領域が背景か移動体かの判定を行い、背景の変化があればその種類を判定することである。
第二の目的は、背景変化部分と移動体領域とを分離・判別して、移動体のみを抽出することである。
第三の目的として、抽出した移動体の運動方向や速度を簡単に算出することである。
【０００９】
【課題を解決するための手段】
まず、本発明を構成する基本的な手段として、映像を入力する手段と、移動体を抽出・検出する手段と、処理結果を映像として出力する手段を有する。
【００１０】
次に、第一の目的である、特定の画素領域について移動体と背景の構造変化の有無の判定を実現するために以下の手段を提供する。
映像中から背景判定を行う画素領域を取得する手段と、ある時刻における画素領域とフレーム毎の画素領域との相関を算出する手段と、算出された相関値を時系列として保持すると、保持されている相関値の時系列から、移動体が存在せず背景と予測される時間区間を判定する手段と、判定された背景と予測される時間区間から、移動体が存在する時間区間を決定する手段を有する。また、移動体が存在する時間区間を決定する手段には、判定された背景と予測される時間区間から背景の変化の有無を判定する手段と、判定された背景の変化を照度変化と構造変化に分別する手段と、判定された背景と予測される時間区間から移動体が存在する時間区間を決定する手段を備える。
【００１１】
第二の目的である、背景変化部分と移動体領域とを分離・判別して、移動体のみの抽出を実現するために以下の手段を提供する。
移動体が存在する時間区間をもとに、移動体を含むフレーム画像と、移動体が存在する時間区間の前後に位置する、二つの背景のみが写っている画像（移動体が存在する時間区間より過去の背景画像と未来の背景画像）、映像中から取得する手段と、フレーム画像と過去の背景画像と未来の背景画像から、過去背景差分画像と未来背景差分画像を作成する手段と、過去背景差分画像と未来背景差分画像から、論理積により統合領域を求める手段と、フレーム画像と統合領域から、移動体画像を切り出す手段を有する。
【００１２】
第三の目的である、抽出した移動体の運動方向や速度を簡単に算出するために以下の手段を提供する。
移動体が存在する時間区間の時空間画像を切り出す手段と、移動体が存在する時間区間の前後に位置する二つの背景のみのスリット画像（移動体が存在する時間区間より、過去の背景スリット画像と未来の背景スリット画像）と、時空間画像から移動体領域候補を分離する手段と、伸張収縮処理及び穴埋め処理により移動体領域候補を補正する手段と、補正された二つ背景差分画像から共通する統合領域を求める手段と、得られた統合領域の傾きを算出し、移動体の方向・速度を推定する手段を有する。
【００１３】
その他の特徴的な移動体検出・抽出装置及び方法は、明細書中の記載から自と明らかになるであろう。
【００１４】
【作用】
本発明では、映像入力手段により入力された映像をもとに、以下の手順で移動体の検出・抽出処理が行われる。
【００１５】
まず最初に、特定の画素領域について移動体と背景の構造変化の判定が行われる。映像中から背景判定を行う画素領域を取得し、フレーム毎に画素領域が取得され、ある時刻における画素領域との相関が算出される。算出された相関値は時系列として扱うことができるようになる。次に、この相関値の時系列に対し、移動体が存在せず背景と予測される時間区間を判定する。この背景と予測される時間区間に背景の変化が生じたどうかを判定し、判定された背景の変化を照度変化と構造変化に分別する。最後に、背景と予測される時間区間から移動体が存在する時間区間を決定する。
【００１６】
次に、背景変化部分と移動体領域とを分離・判別して、移動体のみを抽出する。まず、移動体が存在する時間区間をもとに、移動体を含むフレーム画像を取得する。次に、移動体が存在する時間区間の前後に位置する、過去の背景画像と未来の背景画像を、映像中から取得する。次いで、フレーム画像と過去の背景画像と未来の背景画像から、過去背景差分画像と未来背景差分画像を作成する。過去背景差分画像と未来背景差分画像から論理積により統合領域を求め、最後に、フレーム画像と統合領域から移動体画像を切り出す。
【００１７】
第三に、抽出した移動体の運動方向や速度を簡単に算出する。まず、移動体が存在する時間区間の時空間画像を切り出す。次いで、背景スリット画像と時空間画像から移動体領域候補を分離する。伸張収縮及び穴埋め処理によって、移動体領域候補を補正する。補正された過去背景差分画像と未来背景差分画像の論理積から統合領域を求め、最後に、統合領域の傾きを算出し、移動体の方向・速度を推定する。
【００１８】
最後に、上記処理結果を結果出力をする手段によりディスプレイ上に表示する。
【００１９】
【実施例】
以下、本発明の一実施例を詳細に説明する。
図２に、本発明を実現するハードウエア構成の一例である。ＴＶカメラ２００は監視対象となるシーンを撮影し、これを映像信号２０１に変換して、コンピュータ４００に送る。伝送の際、映像信号２０１はフレーム毎にデジタル化されて、コンピュータ４００内のメモリに格納される。コンピュータ４００は、そのメモリ内容を読みとり、メモリ内の別のアドレスに格納された処理プログラムに従って、フレーム画像上の画素が背景であるか移動体であるかの判定と、移動物体の切り出し、運動方向・速度の推定を行う。抽出された移動物体の画像とそれに付随する他の処理結果等はディスプレイ３００に伝送される。ディスプレイ３００は、コンピュータ４００で処理された結果である、背景画像や移動体の画像、運動方向・速度を画面上に出力する。また、これらの情報は、ネットワーク２１０を通じて、安全制御装置や監視センタのディスプレイなどに送られる。
【００２０】
図１は、コンピュータ４００内部に実現されたシステム構成の一例である。コンピュータ４００は、映像入力手段５００、結果出力手段６００、背景判定手段７００、運動解析手段８００、移動体抽出手段９００、の大きく五つから構成される。これらの各手段は、実際はコンピュータ４００内にて、記憶手段に格納されたプログラムがロードされ、ＣＰＵにて実行される。勿論、ソフトウエアによる処理ではなく、適宜ハードウエアによって実現してもよい。
【００２１】
映像入力手段５００は、映像信号２０１をフレーム毎にデジタル画像データ１０００に変換して、背景判定手段７００、運動解析手段８００、移動体抽出手段９００に伝送する。結果出力手段６００は、背景判定手段７００、運動解析手段８００、移動体抽出手段９００での処理結果である、背景画像１００２や運動方向・速度１００３、移動体の画像１００４をディスプレイ上にユーザが見やすい形態で表示するものである。
背景判定手段７００は、デジタル画像データ１０００上の画素毎に背景であるか、移動体であるか、背景構造の変化であるかを判定し、移動体存在区間情報１００１を運動解析手段８００、移動体抽出手段９００に伝送する。移動体存在区間情報１００１とは、画素毎の、移動体が存在すると判定された区間（時間）情報をまとめたものである。このほか、背景判定手段７００は背景と判定された画素を集積した背景画像１００２を結果出力手段６００に伝送する。背景判定方法の詳細については、図３〜図１２で説明する。
運動解析手段８００は、デジタル画像データ１０００と移動体存在区間情報１００１から移動体の運動方向・速度１００３を算出し、結果出力手段６００に伝送する。移動体の運動方向・速度１００３の算出方法の詳細については、図１３〜図１９で説明する。移動体抽出手段９００は、デジタル画像データ１０００と移動体存在区間情報１００１から移動体画像１００４を抽出し、結果出力手段６００に伝送する。移動体画像１００４の抽出装置の詳細については、図２０〜図２２で説明する。
【００２２】
まず、図３〜図５で、移動物体と背景の構造変化の有無を判定する方法の概要を説明する。次に図６〜図１２でこれを実現する背景判定手段について説明する。
【００２３】
図３は、映像とスリット画像、時空間画像の関係を示したものである。映像（動画像）は毎秒２５〜３０枚のフレーム画像と呼ばれる静止画像のシーケンスから構成されている。これを模擬的に表したものが、映像１０１０である。この場合、映像１０１０は時刻Ｔ０から時刻Ｔｎまでのフレーム画像を並べたものである。スリット画像１０４０は、フレーム画像１０２０中からスリット１０３０と呼ばれる線分に含まれる画素を集めた画像である。このスリット画像１０４０をフレーム毎に時間順に並べたものを時空間画像１０５０と呼ぶ。これは、時空間画像１０５０が時間方向と空間方向の両方の情報を含む画像だからである。
固定カメラの時空間画像１０５０では、時間的に濃度変化のない画素は図３の１０５１のように時間方向に水平に流れる線となる。このように時間的に濃度変化のない画素は、背景と考えることができる。一方、背景であっても水平線がとぎれることがある。これは、日照条件など照度の変化や、背景を構成している物体の移動などによって、背景であっても画素の濃度が変化するからである。
これに対し、フレーム画像中を移動する物体は、図３の１０５２のようにその画像が現れて通常は水平線にはならない。移動体が水平線になるのは、スリット上で静止したような場合か、移動方向と水平にスリットが置かれた場合だけである。これは先に述べた背景を構成している物体が変化した場合に含めることができる。
このように、時空間画像１０５０では、背景は水平な線１０５１に、背景以外は１０５２のように変化する。さらに、この変化１０５２の原因は移動物体か背景変化であると考えられる。本発明では、この時空間画像１０５０の性質をもとに背景かどうかの判定を行い、移動体を検出・抽出する。
【００２４】
図４は、背景区間のスリット画像と各時刻における対象スリットとの距離の関係を示したものである。まず、時空間画像１０５０の、移動体や背景の変化のない時間区間から、スリット画像１０４０を取り出し、これを背景スリットβ１０４１とする。次に、これ以外の時刻から、スリット画像１０４０を取り出し、これを対象スリットτ１０４２とする。ここで、スリット画像１０４０を構成する各画素の濃度をベクトル要素とする、スリットベクトルを考え、式１０６０で与えられるふたつのスリット・ベクトルの距離δを考える。時空間画像１０５０に対して、各時刻の対象スリットτ１０４２毎に距離δを求めると、これを時刻順に並べた距離時系列１０７０で与えられるグラフが得られる。
距離時系列１０７０と図３で説明した時空間画像１０５０の性質から次のことがわかる。距離時系列１０７０の内、一定以上の長さを持つ平坦な部分は、背景であり移動体の存在しないと予測される。また、これ以外の変化の大きい部分には、移動物体の通過や背景の変化が起こったと考えられる。以降の説明でこれらを区別するために、距離時系列１０７０の内、一定以上の長さを持つ平坦な部分を背景候補区間１０７１とし、これ以外を移動体存在区間１０７２と定義する。
【００２５】
図５に、背景の構造変化が発生した場合の時空間画像１０５０と距離時系列１０７０を示す。ここでは、図５（ａ）の映像１０１０に示すように、移動物体１１００が落下物１２００をスリット１０３０上に落とした場合を考える。この場合、落下物１２００によって背景の構造が変化するため、その時空間画像１０５０は図５（ｂ）のようになる。すなわち、移動体１１００の時空間画像上の像１１０１のすぐ後に、落下物１２００の像１２０１が現れる。途中から背景の一部となるため、その像１２０１は、図５（ｂ）に示されるような水平線となる。
こうした時空間画像１０５０に対して、背景スリットβ１０４１を用いて距離時系列１０７０を求めると図５（ｃ）のようになる。この距離時系列１０７０の内、背景候補区間１０７３も背景候補区間１０７４も、距離時系列１０７０の内の一定以上の長さを持つ平坦な部分であるから、ともに背景候補区間１０７１である。ところが、背景スリットβ１０４１と同一スリットの区間では、背景候補区間１０７３のように、その平均値がほとんどゼロになるのに対し、落下物の像１２０１のために背景スリットβ１０４１とスリットが異なる場合、背景候補区間１０７４のように、その平均値が一定以上の値になる。これは、落下物の像１２０１を背景スリットβ１０４１との差として検出するためである。このように同じ背景候補区間１０７１であっても、背景スリットβ１０４１と同一のスリット画像であるかどうかで、距離時系列１０７０の平均値は異なる。そこで、以降の説明では両者を区別するために、それぞれの背景候補区間１０７１を真の背景候補区間１０７３、偽の背景候補区間１０７４と定義する。
偽の背景候補区間１０７４が生じる原因として、背景の構造変化の他に、急激な照度変化が考えられる。いずれにせよ、偽の背景候補区間１０７４が生じた場合は、背景が変化したことを意味している。背景か移動体かの判定を継続するには、偽の背景候補区間１０７４からスリットτ１０４２を新たな背景として更新し、距離時系列１０７０による判定処理を繰り返せばよい。
以上の性質を基に、本発明では、距離時系列１０７０における一定長の平坦区間を背景候補区間１０７１と見なし、これ以外を移動体存在区間１０７２として、背景と移動物体との時間区間を分離する。さらに、背景候補区間１０７１のうち、その平均値が０に近いものを真の背景候補区間１０７３とし、それ以外のものを偽の背景候補区間１０７４と分類する。偽の背景候補区間１０７４の場合は、照度変化や構造変化等の理由により、背景が変化したと見なして、偽の背景候補区間１０７４のスリット画像τ１０４２を新たな背景として更新し、以上の判定処理を繰り返す。こうした処理により、常に移動物体と背景、背景の構造変化の三つを判別し、移動物体と背景の構造変化の有無を判定する方法を実現する。
【００２６】
図６は、上記方法を実現する背景判定手段７００の構成（データフロー）を説明するものである。背景判定手段７００は、スリット画像作成手段７０１、背景スリット保持手段７０２、距離算出手段７０３、距離時系列保持手段７０４、距離時系列平滑化手段７１０、平滑化時系列保持手段７０５、背景候補区間判定手段７２０、背景候補真偽判定手段７３０、移動体存在区間取得手段７４０、背景構造変化判定手段７５０を有する。スリット画像作成手段７０１は、入力されたデジタル画像データ１０００をもとに判定対象となる対象スリット１０４２を作成し、距離算出手段７０３に伝送する。
背景スリット保持手段７０２は、背景候補真偽判定手段７３０や背景構造変化判定手段７５０で判定された背景スリット１０４１を保持しておき、距離算出手段７０２からの要求に応じてこれを伝送する。
距離算出手段７０２は、対象スリット１０４２と背景スリット１０４１をベクトルとみて、式１０６０に従って距離δを計算する。算出された距離δは距離時系列保持手段７０４に伝送される。
【００２７】
距離時系列保持手段７０４は、算出された距離δを過去一定時間に渡って保持し、時系列として扱えるようにする。距離時系列１０７０は新たに距離が伝送される度に、最も過去の値を捨て最新の値を含むように更新される。距離時系列平滑化手段７１０からの要求に応じて、距離時系列１０７０を伝送する。
距離時系列平滑化手段７１０は、距離時系列保持手段７０４に格納されている距離時系列１０７０を移動平均によって平滑化する。これは、ジッター等の影響によって、距離時系列が細かい振動がしばしば発生するためである。平滑化された距離時系列１０７０は、平滑化時系列保持手段７０５に伝送される。
平滑化時系列保持手段７０５は、平滑化された最新の距離時系列を保持する。背景候補区間判定手段７２０、背景候補真偽判定手段７３０、移動体存在区間取得手段７４０、からの要求に応じてこれを伝送する。
背景候補区間判定手段７２０は、平滑化された最新の距離時系列１０７０から背景候補区間１０７１を探し、その結果を区間情報として、背景候補真偽判定手段７３０と移動体存在区間取得手段７４０にそれぞれ伝送する。背景候補区間１０７１の探索は、図４で述べたように、平滑化された距離時系列１０７０の平坦部分を判定することによって実現される。探索アルゴリズムの詳細については図７で説明する。
背景候補真偽判定手段７３０は、背景候補区間１０７１と平滑化距離時系列１０７０を基に、真の背景候補区間１０７３か偽の背景候補区間１０７４かを判定する。その後、判定結果に応じて対象スリット画像１０４２を背景スリット保持手段７０２や背景構造変化判定手段７５０に伝送する。真の背景候補区間１０７３の場合には、現在の対象スリット画像１０４２をあらたな背景スリット１０４１として背景スリット保持手段７０２に送る。偽の背景候補区間１０７４の場合には、背景構造変化判定手段７５０に送って背景の構造変化を抽出する。真偽判定を行うアルゴリズムの詳細については図８〜図１１で説明する。
移動体存在区間取得手段７４０は、移動体が存在する区間情報と平滑化された距離時系列１０７０を基に極大値を求めて、移動体が存在すると予測される区間の実際の移動体の数と、極大値部分の時刻を移動体存在区間として返す。
背景構造変化判定手段７５０は、背景スリット保持手段７０２に格納されている背景スリット１０４１と、背景候補真偽判定手段７３０から送られた対象スリット画像１０４２から、背景の変化が構造変化によるものか照度変化によるものかを判定し、対象スリット画像１０４２を新たな背景として更新する。判定アルゴリズムの詳細については図１２で説明する。
【００２８】
図７に、背景候補区間判定手段のフローチャートを示す。まず、平滑化時系列保持手段７０５から、最新の値から一定時間区間（例えば、最新４５フレーム）の平滑化された時系列１０７０を取得する（ステップ２００１）。次に、平滑化時系列１０７０からその区間での最大値・最小値を取得する（ステップ２００２）。最大値と最小値の差が、あらかじめ決めておいた閾値より大きい場合には、背景候補区間１０７１ではないと判定し、処理を終了する。小さい場合には、背景候補区間１０７１と判定し、ステップ２００４に進む（ステップ２００３）。最後に、区間の先頭と最後の時刻を区間情報として返す（ステップ２００４）。
【００２９】
図８は、スリット画像に対する照度変化の影響を示したものである。まず、図８（ａ）のように各画素の明るさがＰ１．．．．Ｐｎで与えられるスリット１０４０を考える。次に、横軸を画素の位置、縦軸を画素の明るさとするグラフを考えると、図８（ｂ）１０４６のようになる。
ここで、急激な照度変化が生じ、スリット画像１０４０全体が暗くなったとすると、スリット画像１０４０中の各画素Ｐ１．．．．Ｐｎの明るさは図８（ｃ）のように相対的な関係を保ったまま、１０４６から１０４７のように一様に小さくなる。この照度変化をスリット画像をベクトルに見立てて考えると次の図９のようになる。
【００３０】
図９（ａ）のように、スリット画像１０４０は各画素の明るさを要素とするベクトルｖ１０４８と考えることができる。各画素Ｐ１．．．．Ｐｎ毎の基底ベクトルをｂ１，ｂ２，ｂ３，．．．．，ｂｎとすると、ベクトルｖ１０４８は、図９（ｂ）のようなｎ次元のベクトル空間上の一点と表すことができる。次に、このベクトルｖ１０４８に対し、急激な照度変化が生じてスリットベクトルが変化し、図９（ｃ）のスリットベクトルｖ’１０４９のようになったとする。このとき、図８の考察から、変化したスリットベクトルｖ’１０４９は、ベクトルｖ１０４８とほとんど同一直線上に存在し、ベクトルｖ１０４８のスカラー倍になっていると考えることができる。
このように、もとのスリットベクトル１０４８と照度によって変化したスリットベクトル１０４９は、ベクトル空間上での座標位置は大きく異なっても、その向きはほとんど同一であることが分かる。これに対し、構造変化の生じたスリットベクトルでは、座標位置だけでなく、その向きも大きく異なると予想される。従って、スリット１０４０の照度変化と構造変化を区別するには、向きを考慮すればよい。
【００３１】
図１０は、通常のスリットベクトル１０４８と照度変化の影響を受けたスリットベクトル１０４９の単位球上へ射影である。図１０に示されるように、ベクトルｖ１０４８の単位球上への射影ベクトルＰ１０４８’と、ベクトルｖ１０４９の単位球上への射影ベクトルＱ１０４９’との距離ＰＱは、元の距離ｖｖ’に比べて非常に近づく。二つの異なるスリット画像の関係が、単なる照度差の違いか構造変化の違いかは、単位球上でのベクトル距離が非常に小さいかどうかで判定できるということである。以降、この正規化されたベクトル間の距離を、式１０６０で定義される距離と区別するために、正規化距離と呼ぶこととする。
本発明では、この正規化距離を利用して、背景の変化が構造変化によるものか照度変化によるものかを判別する。
【００３２】
図１１に、背景候補真偽判定手段７３０のフローチャートを示す。まず、背景候補区間判定手段７２０から背景候補区間１０７１を取得する（ステップ２１０１）。次に、背景候補区間１０７１の平滑化時系列から平均値を取得する（ステップ２１０２）。平均値があらかじめ決めておいた閾値よりも小さい場合には、与えられた背景候補区間１０７１を真の背景候補区間１０７３と判定し、ステップ２１０４に進む。大きい場合には、偽の背景候補区間１０７４と判定し、ステップ２１０５に進む（ステップ２１０３）。ステップ２１０４の場合、背景候補区間１０７１は真の背景候補区間１０７３であり、最新スリットを新しい背景スリット１０４１として、背景スリット保持手段７０２に格納し、処理を終了する（ステップ２１０５）。ステップ２１０５の場合、背景候補区間１０７１は偽の背景候補区間１０７４であり、背景構造判定手段７０５で照度変化によるものか構造変化によるものかを判定し、処理を終了する（ステップ２１０５）。
【００３３】
図１２に、背景構造変化判定手段７５０のフローチャートを示す。まず、偽の背景候補区間１０７４と判定された原因が、照度変化によるものかどうかを判定するため、背景スリット１０４１と、平滑化時系列内の最新の対象スリット１０４２との正規化距離を求める（ステップ２２０１）。正規化距離があらかじめ決めておいた閾値よりも小さい場合には、照度変化と判定してステップ２２０３に進む。大きい場合には、構造変化と判定してステップ２２０４に進む。（ステップ２２０２）。
ステップ２２０３の場合、背景候補区間１０７１は照度変化に起因する、偽の背景候補区間１０７４である。平滑化時系列内の値をゼロにし、対象スリット１０４２を新しい背景スリット１０４１として、背景スリット保持手段７０２に格納し、処理を終了する。ステップ２２０４の場合、背景候補区間１０７１は構造変化に起因する偽の背景候補区間１０７４である。この場合、最新の対象スリット１０４２を新しい背景スリット１０４１として背景スリット保持手段７０２に格納し、平滑化時系列の全ての値をゼロにして処理を終了する。
【００３４】
次に、移動物体のみを抽出する方法とその運動方向や速度を算出する方法について説明する。図１３は、時空間画像から背景変化部分と移動物体領域を分離・判別して、移動物体のみを抽出する方法の概要を説明するものである。図１４，図１５は、その運動方向や速度を算出する方法の概要を説明するものである。図１５〜図１９はこれらを実現する運動解析手段を説明するものである。
【００３５】
図１３は、時空間画像１０５０から背景変化部分と移動物体領域を分離・判別して、移動物体のみを抽出する方法の概要を示したものである。
まず、移動体区間情報１００１を元に、時空間画像１０５０から、移動体が存在すると考えられる区間の時空間画像１０５３を切り出すと共に、過去の背景スリット１０４１、未来の背景スリット１０４１’を取得する。次に、過去背景スリット１０４１と時空間画像１０５３から過去背景差分画像１０５４を、未来背景スリット１０４１’と時空間画像１０５３から未来背景差分画像１０５５を作成する。この背景差分画像では、移動体領域１１０２の他に、背景スリット１０４１と背景構造変化との差分領域１２０２などが含まれる。
最後に、過去背景差分画像１０５４と未来背景差分画像１０５５の論理積を求めて、移動体領域１１０２を抽出する。これにより、背景構造変化との差分領域１２０２がキャンセルされて、共通の領域である移動体領域１１０２のみを抽出できる。
【００３６】
図１４は、映像中の移動物体の運動を解析するためのスリット設定法と、これによって得られる時空間画像１０５０から抽出した移動体１１０１の運動方向・速度１００３を算出する方式の概要を示したものである。
一般に、移動体の運動方向に対して、直角または平行ではない斜め方向にスリット１０３０を設定すると、これから得られる時空間画像１０５０では図１４のように移動物体１１０１が前方または後方に傾く。これは、スリット１０３０に対して、移動物体１１０１の上方あるいは下方の辺が、反対側の辺よりも先にスリット１０３０に到達するためである。これにより、一本のスリットだけでも、傾き１２１０の正負から、移動物体が左右どちらから移動してきたかを決定できる。さらに、傾き１２１０の大きさから、スリット１０３０を横切る際の平均的な速度を算出できる。
本発明では、これを利用して、移動体１１０１の運動方向・速度１００３を算出する。運動解析手段８００では、斜め方向に設定したスリット１０３０より得られる時空間画像１０５０から、移動体領域１２０１を抽出したのち、その傾き１２１０を領域のモーメントより算出して、移動方向と速度１００３を推定する。
【００３７】
図１５は、スリット１０３０の傾きと移動体１１０１の傾き１２１０から、抽出した移動体１１０１の運動方向・速度１００３を算出する原理を説明したものである。
まず、映像１０１０上に設定したスリット１０３０の水平方向からの傾きをαとする。このスリット１０３０に対して、水平方向の速度がｖである移動体１１００が右から通過したとする。移動体１１００の高さをｈとし、移動体１１００の上方部分がスリットを通過してから、下方部分がスリットを通過するまでに、画面上をｗ移動したとすると、水平方向の移動速度ｖは式１６１０で表される。次に、時空間画像１０５０中での、この移動物体の像の１１０１の傾きがθとする。一秒あたりのフレーム画像枚数がｆである時、フレーム画像中でｗ移動するのにかかったフレーム数ｓは式１６２０で記述される。式１６１０， １６２０から、ｖについて整理すると、式１６３０が得られる。ｖの正負が方向を表し、絶対値は水平方向の速度成分の大きさを表す。
本発明では、以上の原理により、スリット１０３０の傾きと時空間画像１０５０中での移動体１１００の像の１１０１の傾きとから、運動方向・速度１００３を算出する。
【００３８】
図１６は、上記方法を実現する運動解析手段８００の構成（データフロー）を示したものである。運動解析手段８００は、時空間画像作成手段８０１、背景スリット取得手段８０２、背景差分作成手段８１０、背景差分統合手段８０３、統合背景差分傾き判定手段８２０を有する。
【００３９】
時空間画像作成手段８０１、背景スリット取得手段８０２、背景差分作成手段８１０、背景差分統合手段８０３は、図１３で説明した、時空間画像１０５０から背景変化部分１２０２と移動物体領域１１０２を分離・判別して、移動物体１１０１のみを抽出する方法を実現する。
時空間画像作成手段８０１は、デジタル画像データ１０００と移動体区間情報１００１から、スリット画像を取得し、これをフレーム順に並べて、移動体１１０１が存在する区間の時空間画像１０５３を作成する。背景差分作成手段８１０、８１０’からの要求に応じて、時空間画像１０５０を伝送する。
背景スリット取得手段８０２は、デジタル画像データ１０００と移動体区間情報１００１により、移動体１１０１が存在する区間の前後から、過去背景スリット１０４１と未来背景スリット１０４１’を取得する。
背景差分作成手段８１０、８１０’は、時空間画像１０５３と過去背景スリット１０４１・未来背景スリット１０４１から、過去背景差分１０５４・未来背景差分１０５５を作成する。背景差分作成アルゴリズムの詳細については、図１７で詳細に説明する。
背景差分統合手段８０３は、作成された過去背景差分１０５４と未来背景差分１０５５の論理積から統合背景差分１０５６を作成する。以上の処理によって、移動体１１０１のみが抽出される。
【００４０】
統合背景差分傾き判定手段８２０は、図１３，図１４で説明したスリット１０３０の傾きと移動体の傾き１２１０から、抽出した移動体の運動方向・速度１００３を算出する方式を実現する。
【００４１】
図１７は、過去背景・未来背景を用いて背景差分を作成する手段８１０の構成（データフロー）を示したものである。背景差分作成手段８１０は、移動体領域分離手段８１１、移動体領域伸張収縮手段８１２、ノイズ領域除去手段８１３、閉領域補充手段８１４を有する。
移動体領域分離手段８１１は、背景スリット画像１０４１と対象スリット画像１０４２、または背景フレーム画像と対象フレーム画像から、移動体領域１２０１のみを二値化して分離・抽出する。分離・抽出アルゴリズムの詳細については、図１８，図１９で説明する。
次に、移動体が一定以上の大きさを持つ一つの閉領域であるという仮定に基づいて、移動体領域伸張収縮手段８１２、ノイズ領域除去手段８１３、閉領域補充手段８１４は、移動体領域分離手段９１１で生じた移動体領域の破れや分断を修正する。
移動体領域伸張収縮手段８１２は、破れや分断の生じた移動体領域１２０１を、伸張収縮を行うことによって接続する。伸張収縮の回数は３回程度である。ノイズ領域除去手段８１３は、伸張収縮を行った移動体領域１２０１から独立した微小領域をノイズとみなして取り除く。閉領域補充手段８１４は、上記移動体領域１２０１に含まれる空孔を探し、これを塗りつぶす。
以上の処理によって、移動体１２００を移動体領域１２０１として切り出し、背景差分画像を作成する。背景構造の変化を切り出す場合には、対象画像の代わりに、変化後の背景画像を用いて、上記の処理を行うことによって、これを切り出すことができる。
【００４２】
図１８は、移動体領域分離手段８１０の概要を説明するものである。まず、背景スリット１０４１と、移動体領域を切り出そうとする対象スリット１０４２を取得する。次に、背景スリット１０４１と対象スリット１０４２を一画素づつ比較しながら、背景か移動体かを判定していく。比較の方法としては、該当する画素の明るさではなく、該当画素を含むｗ個の画素から成る局所スリットを作成して、局所スリット間の正規化距離を求めることにより、判定する。
例えば、判定対象画素Ｐｎ１０４５が、背景か移動体かを判定する場合、対象画素Ｐｎ１０４５を含む局所スリットτ１：１０４４とこれに対応する背景局所スリットβ１：１０４３を作成して、両者の正規化距離を求める。正規化距離を用いているので、背景の一部分が移動する物体の影やライトによって照度変化が生じていても、正しく背景と判定してこれを取り除くことができる。
但し、背景局所スリット１０４３の各画素値の分散が小さい場合には、通常のベクトル距離を用いる。これは、真っ暗な背景上を真っ白い物体が移動する場合でも、正規化距離はゼロになり、背景と間違えることがあるからである。
【００４３】
図１９は、移動体領域分離手段８１０のフローチャートを示したものである。まず、判定を行う対象スリット１０４２を映像１０１０から取得する（ステップ２３０１）。次に、判定処理が全スリット画素で行われたかどうかチェックし、未処理の画素があれば、ステップ２３０３に進み、なければ、処理を終了する（ステップ２３０２）。背景スリット１０４１及び対象スリット１０４２から、上から順に２つの局所スリット１０４３，１０４４を取得する（ステップ２３０３、ステップ２３０４）。背景局所スリット１０４３の分散を求め、あらかじめ決めておいた閾値ＴＶと比較する。小さい場合にはステップ２３０６に進み、大き場合にはステップ２３０７に進む（ステップ２３０５）。ここでは、二つの局所スリット１０４３，１０４４間の距離として、正規化距離を求める（ステップ２３０６）。ここでは、二つの局所スリット１０４３，１０４４間の距離として、ベクトル距離を求める（ステップ２３０７）。こうして求めた二つの局所スリットの距離を、あらかじめ決めておいた閾値ＴＤと比較する。小さい場合にはステップ２３０９に進み、大き場合にはステップ２３１０に進む（ステップ２３０８）。小さいと判定された場合、判定対象となる画素は背景であり（ステップ２３０９）、大きいと判定された場合、判定対象となる画素は非背景である（ステップ２３１０）。以上の処理をステップ２３０２に戻って繰り返す。
【００４４】
図２０，図２１はフレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、移動物体と背景変化を抽出する方法を説明するものである。
【００４５】
図２０に、フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、移動物体のみを抽出する方法の概要を示す。
まず、過去の背景画像１８０１と未来の背景画像１８０３及び現在のフレーム画像１８０２を取得する。ここで、現在のフレーム画像１８０２には移動体１８０４と落下物１８０５が映っており、未来の背景画像１８０３には落下物１８０５に加えて別の落下物１８０６が映っていたものとする。
次に、過去の背景画像１８０１と現在のフレーム画像１８０２の過去背景差分１８０７と、未来の背景画像１８０３と現在のフレーム画像１８０２の未来背景差分１８０８を作成する。過去背景差分１８０７には、移動体領域１８０９と落下物による背景変化領域１８１０が現れる。また、未来背景差分１８０８には、移動体領域１８０９と落下物１８０６による背景変化領域１８１１が現れる。
過去背景差分１８０７と未来背景差分１８０８の統合差分１８１２を論理積によって求めると、背景変化領域１８１０，１８１１は打ち消され、移動体領域１８０９のみが残る。
最後に、統合差分１８１２をマスク画像としてフレーム画像１８０２から、切り出しを行うと移動体１８０４のみを含む移動体画像１８１３を得ることができる。
【００４６】
図２１は、フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、背景変化のみを抽出する方法の概要を示す。
まず、過去の背景画像１８０１と未来の背景画像１８０３を取得する。ここで、未来の背景画像１８０３に，落下物１８０５と落下物１８０６が映っていたものとする。次に、過去の背景画像１８０１と未来の背景画像１８０３の背景間差分１９０１を作成する。背景間差分１９０１には、落下物１８０５による背景変化領域１８１０と落下物１８０６による背景変化領域１８１１が現れる。最後に、統合差分１９０１をマスク画像として未来の背景画像１８０３から、切り出しを行うと落下物１８０５と落下物１８０６のみを含む背景構造変化画像１９０２を得ることができる。
【００４７】
図２２は、上記方法を実現する移動体抽出手段９００の構成（データフロー）を示したものである。移動体抽出手段９００は、フレーム画像取得手段９０１、背景画像作成手段９０２、背景差分作成手段９１０・９１０’、背景差分統合手段９０３、移動体切り出し手段９０４を有する。これらの手段は図１９で説明した、背景変化部分と移動物体領域とを分離・判別して、移動物体のみを抽出する方法を実現する。
フレーム画像取得手段９０１は、移動体区間情報１００１とデジタル画像データ１０００から、移動体１１００が存在すると思われる時間区間のフレーム画像１８０２を取得し、これを背景差分作成手段９１０・９１０’に伝送する。背景画像作成手段９０２は、移動体区間情報１００１とデジタル画像データ１０００から、背景と判定された時間区間のフレーム画像を取得し、過去背景画像１８０１と未来背景画像１８０３として、背景差分作成手段９１０・９１０’に伝送する。背景差分作成手段９１０・９１０’は、フレーム画像上の全面に対して、図１５で説明した背景差分作成手段８１０、８１０’の処理を繰り返し行い、フレーム画像の過去背景差分１８０７と未来背景差分１８０８を作成する。背景差分統合手段９０３は、フレーム画像の過去背景差分１８０７と未来背景差分１８０８の論理積から統合背景差分１８１２を作成し、移動体切り出し手段９０４に伝送する。
移動体切り出し手段９０４は、フレーム画像１８０２から統合背景差分１８１２をマスク画像として切り出しを行い、移動体画像１８０４を抽出する。
【００４８】
図２３は、結果出力手段６００によりディスプレイ３００上に出力された結果表示画面２０００の例を示したものである。結果表示画面例２０００は、入力映像表示領域２０１０、背景変化代表画面表示領域２０２０、移動物体代表画面表示領域２０３０、相関値時系列表示領域２０４０の４つの表示領域から構成される。
【００４９】
この表示結果例では、図２３のように、スリット１０３０を映像１０１０中の真ん中に縦置きにし、これを通過した移動物体の代表画面２０３２と背景に生じた変化の代表画面２０２２、２０３３を背景変化代表画面表示領域２０２０、移動物体代表画面表示領域２０３０にそれぞれ表示する。また、スリットの相関値の時系列（距離時系列１０７０）を相関値時系列表示領域２０４０に表示し、移動物体の存在と背景変化を判定する根拠をユーザに示す。
入力映像表示領域２０１０は、ＴＶカメラ２００から入力される現在の映像１０１０を表示する部分である。
【００５０】
背景変化代表画面表示領域２０２０は、映像１０１０中に生じた背景の構造変化を検出し、変化前の背景代表画面２０２２と変化後の背景代表画面２０２３を表示する部分である。検出された背景構造の変化は、その違いをユーザが判断できるように、背景変化表示ウインドウ２０２１中に変化前の背景代表画面２０２２と変化後の背景代表画面２０２３を上下組として表示する。この画面例では、背景変化として乗用車の駐車、トラックによる落下物などがあったことを示している。背景変化表示ウインドウ２０２１には、スクロールバーがついており、今までに検出された背景構造の変化を見ることができるようになっている。また、このとき、最新の代表画面の組がどれかがすぐ分かるように、マーカー２０２４がつけられる。
【００５１】
移動物体代表画面表示領域２０３０は、映像１０１０中の移動物体を検出し、移動物体の映った代表画面２０３２を表示する部分である。検出された移動物体は、ユーザが判断できるように、移動物体代表画面表示ウインドウ２０３１中に表示される。この画面例では、移動物体として、バイク、黒い乗用車、白い乗用車、灰色の乗用車、トラックなどがあったことを示している。移動物体代表画面表示ウインドウ２０３１には、スクロールバーがついており、今までに検出された移動物体の代表画面を見ることができるようになっている。また、このとき、最新の移動物体がどれかがすぐ分かるように、マーカー２０３３がつけられる。
【００５２】
相関値時系列表示領域２０４０は、スリット１０３０から得られた時空間画像１０５０と、対応する時刻の相関値（距離）の時系列１０７０を同時に表示する部分である。時空間画像１０５０、距離時系列１０７０の最新時刻の画素、グラフ値が相関値時系列表示ウインドウ２０４１の右端に常に表示されるようになっている。また、このほかに移動物体検出時の時空間画像上の位置を示す移動物体検出マーカー２０４２や、背景変化検出時の時空間画像上の位置を表す背景変化検出マーカー２０４３が同時に表示され、ユーザに検出の根拠が一目で分かるようになっている。
【００５３】
本実施例では、映像１０１０上の着目領域の一例としてスリット１０３０を用いた。しかし、背景判定手段７００や移動体抽出手段９００での処理については、スリット１０３０と別の形状であっても、複数個の隣接した画素の集合体であれば、本質的に同じ動作を行う。
【００５４】
本発明の別の実施例として、着目領域の形状が矩形状であったり、円形状であったり、同心円などが考えられる。例えば、家庭やオフィスの玄関にとりつけたＴＶカメラから得た十数時間分の映像に対し、フレーム画像全体の相関値時系列で判定を行い、訪問者や配達された荷物の代表画像を一覧として取り出すことが考えられる。
【００５５】
本発明は、道路における交通流の計測や、線路・踏切における異常検知、銀行や小売店における犯罪防止にための監視、家庭やオフィスにおける監視や認証などへの適用を考慮してきた。しかし、適用分野としてこれに限られるものではなく、各種の検査装置の他、広く適用が可能である。
【００５６】
【発明の効果】
本発明によれば、照明条件の変化や構造的変化が生じるような複雑背景下であっても、背景と移動体を判別し、移動体のみを検出・抽出できる。抽出される移動体については、その形状や色彩、運動方向や速度になんら制限を持たない。また、運動の方向や速度についても算出できる。
背景の変化が生じた場合には、その変化が構造変化であるか照明条件変化であるかを判定する事ができる。
加えて、従来の移動物体抽出方式に比べて、処理対象が映像中の数％の画素で済むため、十倍以上高速に処理することができる。結果として、メモリの使用量についても同様に数％に低減することが可能である。このため、パーソナルコンピュータなどの安価なコンピュータでも実時間処理が可能である。
【図面の簡単な説明】
【図１】本発明を実現するハードウエア構成を示すものである。
【図２】本発明を実現するシステム構成を示すものである。
【図３】映像とスリット画像、時空間画像の関係を示したものである。
【図４】背景スリット１０４１と各時刻における対象スリット１０４２との距離の関係を示したものである。
【図５】背景の構造変化が発生した場合の時空間画像１０５０と距離時系列を示したものである。
【図６】背景判定手段７００のデータフローを説明するものである。
【図７】背景候補区間判定手段７２０のフローチャートを示すものである。
【図８】スリット画像１０４０に対する照度変化の影響を示したものである。
【図９】スリット画像１０４０をベクトルと見なした場合の、スリットベクトルに対する照度変化の影響を示したものである。
【図１０】通常のスリットベクトルと照度変化の影響を受けたスリットベクトルとの単位球上へ射影を示すものである。
【図１１】背景候補真偽判定手段７３０のフローチャートを示したものである。
【図１２】背景構造変化判定手段７５０のフローチャートを示したものである。
【図１３】時空間画像１０５０から背景変化部分と移動物体領域を分離・判別して、移動物体１１００のみを抽出する方法の概要を示したものである。
【図１４】映像１０１０中の移動物体１１００の運動を解析するためのスリット設定法と、これによって得られる時空間画像１０５０を示したものである。
【図１５】スリット１０３０の傾きと移動体の傾き１２１０から、抽出した移動体の運動方向・速度１００３を算出する方式の概要を説明である。
【図１６】上記方法を実現する運動解析手段８００のデータフローを示したものである。
【図１７】過去背景差分・未来背景差分を作成する手段８１０のデータフローを示したものである。
【図１８】移動体領域分離手段８１１の概要を示したものである。
【図１９】移動体領域分離手段のフローチャートを示したものである。
【図２０】フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、移動物体のみを抽出する方法の概要を示すものである。
【図２１】フレーム画像に対し、背景変化部分と移動物体領域とを分離・判別して、背景変化のみを抽出する方法の概要を示すものである。
【図２２】上記方法を実現する移動体抽出手段９００のデータフローを示したものである。
【図２３】結果出力手段６００によりディスプレイ３００上に出力された結果表示画面の例を示したものである。
【図２４】従来の背景差分を用いた手法による移動体検出・抽出の原理を示す。
【図２５】従来の背景差分を用いた手法による移動体検出・抽出の問題点を示す。
【符号の説明】
２００…ＴＶカメラ，３００…ディスプレイ，４００…コンピュータ，２０１…映像信号，２０２…Ａ／Ｄ変換器，２０３…ＣＰＵ，２０４…メモリ，２０５…補助記憶装置，２０６…ネットワーク装置，，５００…映像入力手段，６００…結果出力手段，７００…背景判定手段，８００…運動解析手段，９００…移動体抽出手段，７０１…スリット画像作成手段，７０２…背景スリット保持手段，７０３…距離算出手段，７０４…距離時系列保持手段，７１０…距離時系列平滑化手段，７０５…平滑化時系列保持手段，７２０…背景候補区間判定手段，７３０…背景候補真偽判定手段，７４０…移動体存在区間取得手段，７０６…背景構造変化判定手段，８０１…時空間画像作成手段，８０２…背景スリット取得手段，８１０…背景差分作成手段，８０３…背景差分統合手段，８２０…統合背景差分傾き判定手段，９０１…フレーム画像取得手段，９０２…背景画像作成手段，９０３…背景差分統合手段，９０４…移動体画像切り出し手段，９１０…背景差分作成手段。
Claims (14)
- 映像を入力する手段と、入力された映像から移動体を検出・抽出する手段と、検出・抽出された結果を出力する手段とを有する移動体検出・抽出装置において、
前記移動体を検出・抽出する手段は、入力された映像に対して背景判定を行うための着目領域を設定する手段と、特定のフレームにおける着目領域のデータと各フレームにおける着目領域のデータとの相関を算出する手段と、算出された相関のパターンから背景と予測される時間区間を判別する手段と、前記判別された背景と予測される時間区間から移動体が存在する時間区間を判定する手段とを有することを特徴とする移動体検出・抽出装置。 - 前記移動体を検出・抽出する手段は、さらに前記判別された背景と予測される時間区間が照度変化か背景変化かを判定する手段を有することを特徴とする請求項１記載の移動体検出・抽出装置。
- 前記背景と予測される時間区間を判別する手段は、背景と予測される時間区間を判別する相関のパターンとして、一定時間相関値が変化しないパターンを用いることを特徴とする請求項１又は２に記載の移動体検出・抽出装置。
- 前記相関を算出する手段は、相関値として、着目領域のデータをベクトルと見立てて、距離、内積、またはベクトル間のなす角度を用いることを特徴とする請求項１乃至３記載の移動体検出・抽出装置。
- 背景判定を行う前記着目領域の形状が、直線または線分状であることを特徴とする請求項１記載の移動体検出・抽出装置。
- 背景判定を行う前記着目領域の形状が、矩形状であることを特徴とする請求項１記載の移動体検出・抽出装置。
- 前記移動体を検出・抽出する手段は、移動体の運動を解析する手段として、移動体が存在する時間区間から移動体を含むフレーム画像を取得し、移動体が存在する時間区間の前後に位置する背景と予測される時間区間から、それぞれ２つの背景画像を取得する手段と、フレーム画像と背景画像とから２つの背景差分画像を作成する手段と、２つの背景差分画像から統合領域を求める手段とを有し、フレーム画像と統合領域とから移動体画像を抽出することを特徴とする請求項１記載の移動体検出・抽出装置。
- 前記記移動体を検出・抽出する手段は、移動体を抽出する手段として、移動体が存在する時間区間の時空間画像を切り出す手段と、移動体が存在する時間区間の前後に位置する、２つの背景のみの画像領域と、時空間画像から移動体領域候補を分離する手段と、得られた移動体領域候補に対し伸張収縮処理及び穴埋め処理により補正する手段と、補正された背景差分画像から得られる、２つの移動体領域候補を統合した領域を求める手段と、得られた統合領域の傾きを算出し、移動体の方向・速度を推定する手段を有することを特徴とする請求項１記載の移動体検出・抽出装置。
- 前記検出・抽出された結果を出力する手段は、入力された映像と、検出された移動体の代表画面、または、検出された背景変化の代表画面を表示することを特徴とする請求項１乃至８記載の移動体検出・抽出装置。
- 入力された映像に対して背景判定を行う着目領域を設定し、
ある特定のフレームにおける着目領域のデータと各フレームでの着目領域のデータとの相関を算出し、
算出された少なくとも一つの相関値のパターンから、移動体が存在せず背景と予測される時間区間を判別し、
判別された背景と予測される時間区間から、移動体が存在する時間区間を決定することを特徴とする移動体検出・抽出方法。 - 移動体が存在する時間区間をもとに、移動体を含むフレーム画像を取得し、移動体が存在する時間区間の前後に位置する、背景と予測される時間区間から、それぞれ二つの背景画像を取得し、
フレーム画像とこの時間の前後に位置する背景画像から、二つの背景差分画像を作成し、
２つの背景差分画像から統合領域を求め、
フレーム画像と統合領域から、移動体画像を切り出し、移動体画像を抽出することを特徴とする請求項１０記載の移動体検出・抽出方法。 - 移動体が存在する時間区間の時空間画像を切り出し、
移動体が存在する時間区間の前後に位置する、二つの背景のみの画像領域と、時空間画像から移動体領域候補を分離し、
得られた移動体領域候補に対し伸張収縮処理及び穴埋め処理により補正し、
補正された背景差分画像から得られる、二つの移動体領域候補を統合した領域を求め、
得られた統合領域の傾きを算出し、移動体の方向・速度を推定することを特徴とする請求項１１記載の移動体検出・抽出方法。 - フレーム毎の画像を得るＴＶカメラ部と、前記画像を監視するコンピュータ部と、監視結果を表示するディスプレイ部とを備え、
前記コンピュータは、ある特定のフレームにおける着目領域のデータと各フレームでの着目領域のデータとの相関を算出し、算出された相関のパターンから、移動体が存在せず背景と予測される時間区間を判別し、判別された背景と予測される時間区間から、移動体が存在する時間区間を決定し、
前記ディスプレイ部は、前記移動体の代表画面を表示することを特徴とする移動体監視システム。 - フレーム毎の画像を得るＴＶカメラ部と、前記画像を監視するコンピュータ部と、監視結果を表示するディスプレイ部とを備え、
前記コンピュータは、ある特定のフレームにおける画素領域のデータとその後のフレームでの画素領域のデータとの相関を算出し、算出された相関のパターンから、画像中に生じた変化を判断し、
前記ディスプレイ部は、前記画像中に生じた変化の代表画面を表示することを特徴とする移動体監視システム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02909995A JP3569992B2 (ja) | 1995-02-17 | 1995-02-17 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
| US08/601,951 US5721692A (en) | 1995-02-17 | 1996-02-15 | Moving object detection apparatus |
| US09/023,467 US5862508A (en) | 1995-02-17 | 1998-02-13 | Moving object detection apparatus |
| US09/946,528 US20020030739A1 (en) | 1995-02-17 | 2001-09-06 | Moving object detection apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02909995A JP3569992B2 (ja) | 1995-02-17 | 1995-02-17 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08221577A JPH08221577A (ja) | 1996-08-30 |
| JP3569992B2 true JP3569992B2 (ja) | 2004-09-29 |
Family
ID=12266908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02909995A Expired - Fee Related JP3569992B2 (ja) | 1995-02-17 | 1995-02-17 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
Country Status (2)
| Country | Link |
|---|---|
| US (3) | US5721692A (ja) |
| JP (1) | JP3569992B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7995102B2 (en) | 2008-02-13 | 2011-08-09 | Casio Computer Co., Ltd. | Imaging apparatus for generating stroboscopic image |
Families Citing this family (92)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8948442B2 (en) * | 1982-06-18 | 2015-02-03 | Intelligent Technologies International, Inc. | Optical monitoring of vehicle interiors |
| JP3569992B2 (ja) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
| US5969755A (en) * | 1996-02-05 | 1999-10-19 | Texas Instruments Incorporated | Motion based event detection system and method |
| WO2004089486A1 (ja) | 1996-06-21 | 2004-10-21 | Kyota Tanaka | 3次元ゲーム装置及び情報記憶媒体 |
| CN1480903A (zh) * | 1996-08-29 | 2004-03-10 | ������������ʽ���� | 特征信息赋予、物体抽取和立体模型生成方法及其装置 |
| DE69738287T2 (de) * | 1996-09-20 | 2008-06-12 | Hitachi, Ltd. | Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür |
| DE69827232T2 (de) * | 1997-01-30 | 2005-10-20 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Mosaikbildverarbeitungssystem |
| US5936639A (en) * | 1997-02-27 | 1999-08-10 | Mitsubishi Electric Information Technology Center America, Inc. | System for determining motion control of particles |
| US6130707A (en) * | 1997-04-14 | 2000-10-10 | Philips Electronics N.A. Corp. | Video motion detector with global insensitivity |
| US5903271A (en) * | 1997-05-23 | 1999-05-11 | International Business Machines Corporation | Facilitating viewer interaction with three-dimensional objects and two-dimensional images in virtual three-dimensional workspace by drag and drop technique |
| JP3444160B2 (ja) * | 1997-10-09 | 2003-09-08 | 松下電器産業株式会社 | 動物体検出方法 |
| KR100246626B1 (ko) * | 1997-10-16 | 2000-03-15 | 정선종 | 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법 |
| JP3567066B2 (ja) * | 1997-10-31 | 2004-09-15 | 株式会社日立製作所 | 移動体組合せ検出装置および方法 |
| US6177944B1 (en) * | 1998-09-18 | 2001-01-23 | International Business Machines Corporation | Two phase rendering for computer graphics |
| US6278460B1 (en) | 1998-12-15 | 2001-08-21 | Point Cloud, Inc. | Creating a three-dimensional model from two-dimensional images |
| JP3721867B2 (ja) * | 1999-07-07 | 2005-11-30 | 日本電気株式会社 | 映像表示装置及び表示方法 |
| JP2001078017A (ja) * | 1999-09-07 | 2001-03-23 | Dainippon Printing Co Ltd | 画像処理システム |
| US6424370B1 (en) * | 1999-10-08 | 2002-07-23 | Texas Instruments Incorporated | Motion based event detection system and method |
| JP3601392B2 (ja) * | 1999-12-27 | 2004-12-15 | 住友電気工業株式会社 | 画像処理装置、画像処理方法及び車両監視システム |
| JP3828349B2 (ja) * | 2000-09-27 | 2006-10-04 | 株式会社日立製作所 | 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体 |
| US7215795B2 (en) * | 2000-09-28 | 2007-05-08 | Hitachi Kokusai Electric Inc. | Intruding object detecting method and intruding object monitoring apparatus employing the method |
| DE10050083A1 (de) * | 2000-10-10 | 2002-04-18 | Sick Ag | Vorrichtung und Verfahren zur Erfassung von Objekten |
| US8711217B2 (en) * | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
| US20050162515A1 (en) * | 2000-10-24 | 2005-07-28 | Objectvideo, Inc. | Video surveillance system |
| US9892606B2 (en) | 2001-11-15 | 2018-02-13 | Avigilon Fortress Corporation | Video surveillance system employing video primitives |
| US8564661B2 (en) * | 2000-10-24 | 2013-10-22 | Objectvideo, Inc. | Video analytic rule detection system and method |
| US7200246B2 (en) * | 2000-11-17 | 2007-04-03 | Honeywell International Inc. | Object detection |
| US6711279B1 (en) * | 2000-11-17 | 2004-03-23 | Honeywell International Inc. | Object detection |
| US6466158B2 (en) | 2000-12-08 | 2002-10-15 | Lockheed Martin Corp. | Identifying closely clustered moving targets |
| KR100355382B1 (ko) * | 2001-01-20 | 2002-10-12 | 삼성전자 주식회사 | 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법 |
| KR100450793B1 (ko) * | 2001-01-20 | 2004-10-01 | 삼성전자주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
| US7508485B2 (en) * | 2001-01-23 | 2009-03-24 | Kenneth Martin Jacobs | System and method for controlling 3D viewing spectacles |
| US7522257B2 (en) * | 2001-01-23 | 2009-04-21 | Kenneth Jacobs | System and method for a 3-D phenomenoscope |
| US8750382B2 (en) | 2001-01-23 | 2014-06-10 | Kenneth Martin Jacobs | System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file |
| US9781408B1 (en) | 2001-01-23 | 2017-10-03 | Visual Effect Innovations, Llc | Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials |
| US7604348B2 (en) | 2001-01-23 | 2009-10-20 | Kenneth Martin Jacobs | Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means |
| US10742965B2 (en) | 2001-01-23 | 2020-08-11 | Visual Effect Innovations, Llc | Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials |
| US7405801B2 (en) * | 2001-01-23 | 2008-07-29 | Kenneth Jacobs | System and method for Pulfrich Filter Spectacles |
| US7850304B2 (en) * | 2001-01-23 | 2010-12-14 | Kenneth Martin Jacobs | Continuous adjustable 3Deeps filter spectacles for optimized 3Deeps stereoscopic viewing and its control method and means |
| US6891570B2 (en) * | 2001-01-31 | 2005-05-10 | Itt Manufacturing Enterprises Inc. | Method and adaptively deriving exposure time and frame rate from image motion |
| US6778705B2 (en) * | 2001-02-27 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Classification of objects through model ensembles |
| US7424175B2 (en) | 2001-03-23 | 2008-09-09 | Objectvideo, Inc. | Video segmentation using statistical pixel modeling |
| EP1395664A4 (en) * | 2001-05-15 | 2004-11-03 | Psychogenics Inc | SYSTEMS AND METHODS FOR INFORMATICS OF BEHAVIOR MONITORING |
| US7162101B2 (en) * | 2001-11-15 | 2007-01-09 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US6697010B1 (en) * | 2002-04-23 | 2004-02-24 | Lockheed Martin Corporation | System and method for moving target detection |
| MXPA02005732A (es) * | 2002-06-10 | 2004-12-13 | Valencia Reuther Herman | Tarjeta inteligente medidora de tiempo. |
| EP1537550A2 (en) * | 2002-07-15 | 2005-06-08 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
| CN100334598C (zh) * | 2002-11-26 | 2007-08-29 | 东芝照明技术株式会社 | 卖场计划支持系统 |
| JP3947973B2 (ja) * | 2003-02-14 | 2007-07-25 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
| PL359194A1 (en) * | 2003-03-17 | 2004-09-20 | Adam Mazurek | Method and system for analysis and identification of moving objects |
| US7280753B2 (en) | 2003-09-03 | 2007-10-09 | Canon Kabushiki Kaisha | Display apparatus, image processing apparatus, and image processing system |
| US7280673B2 (en) * | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
| US7664292B2 (en) * | 2003-12-03 | 2010-02-16 | Safehouse International, Inc. | Monitoring an output from a camera |
| US7428318B1 (en) * | 2003-12-11 | 2008-09-23 | Motion Reality, Inc. | Method for capturing, measuring and analyzing motion |
| DE102004018410A1 (de) * | 2004-04-16 | 2005-11-03 | Robert Bosch Gmbh | Sicherheitssystem und Verfahren zu dessen Betrieb |
| JP4506308B2 (ja) * | 2004-07-02 | 2010-07-21 | 三菱電機株式会社 | 画像処理装置及び該画像処理装置を用いた画像監視システム |
| US7529429B2 (en) | 2004-11-12 | 2009-05-05 | Carsten Rother | Auto collage |
| US7653261B2 (en) * | 2004-11-12 | 2010-01-26 | Microsoft Corporation | Image tapestry |
| US7532771B2 (en) * | 2004-11-12 | 2009-05-12 | Microsoft Corporation | Image processing system for digital collage |
| JP2006165935A (ja) * | 2004-12-07 | 2006-06-22 | Nec Corp | 制御情報の変換装置及び制御情報の変換方法 |
| US8031226B2 (en) * | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
| US10019877B2 (en) * | 2005-04-03 | 2018-07-10 | Qognify Ltd. | Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site |
| US9077882B2 (en) | 2005-04-05 | 2015-07-07 | Honeywell International Inc. | Relevant image detection in a camera, recorder, or video streaming device |
| JP4610005B2 (ja) * | 2005-07-08 | 2011-01-12 | 財団法人電力中央研究所 | 画像処理による侵入物体検出装置および方法およびプログラム |
| KR101392294B1 (ko) * | 2006-04-17 | 2014-05-27 | 오브젝트비디오 인코퍼레이티드 | 통계적인 픽셀 모델링을 이용한 비디오 분할 |
| JP4866159B2 (ja) * | 2006-06-27 | 2012-02-01 | 株式会社日立製作所 | 移動体検出装置 |
| US20080122926A1 (en) * | 2006-08-14 | 2008-05-29 | Fuji Xerox Co., Ltd. | System and method for process segmentation using motion detection |
| US8264544B1 (en) * | 2006-11-03 | 2012-09-11 | Keystream Corporation | Automated content insertion into video scene |
| US8045783B2 (en) * | 2006-11-09 | 2011-10-25 | Drvision Technologies Llc | Method for moving cell detection from temporal image sequence model estimation |
| US8243805B2 (en) * | 2006-11-14 | 2012-08-14 | Microsoft Corporation | Video completion by motion field transfer |
| JP4821642B2 (ja) * | 2007-02-15 | 2011-11-24 | 株式会社ニコン | 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム |
| TWI355615B (en) * | 2007-05-11 | 2012-01-01 | Ind Tech Res Inst | Moving object detection apparatus and method by us |
| US20080310677A1 (en) * | 2007-06-18 | 2008-12-18 | Weismuller Thomas P | Object detection system and method incorporating background clutter removal |
| JP4972491B2 (ja) * | 2007-08-20 | 2012-07-11 | 株式会社構造計画研究所 | 顧客動作判定システム |
| JP4807354B2 (ja) * | 2007-12-25 | 2011-11-02 | 住友電気工業株式会社 | 車両検出装置、車両検出システム及び車両検出方法 |
| JP2009194595A (ja) * | 2008-02-14 | 2009-08-27 | Sony Corp | 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体 |
| JP2010011016A (ja) * | 2008-06-26 | 2010-01-14 | Sony Corp | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| JP5272890B2 (ja) * | 2009-05-21 | 2013-08-28 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US8218818B2 (en) * | 2009-09-01 | 2012-07-10 | Behavioral Recognition Systems, Inc. | Foreground object tracking |
| JP2012053708A (ja) | 2010-09-01 | 2012-03-15 | Toshiba Tec Corp | 店舗システム、売上登録装置及びプログラム |
| JP6024229B2 (ja) * | 2012-06-14 | 2016-11-09 | 富士通株式会社 | 監視装置、監視方法、及びプログラム |
| US10115431B2 (en) * | 2013-03-26 | 2018-10-30 | Sony Corporation | Image processing device and image processing method |
| FR3007878B1 (fr) * | 2013-06-27 | 2016-10-21 | Rizze | Dispositif permettant a un systeme de video surveillance routier d'enregistrer le contexte d'un evenement en fonction de la presence d'un vehicule dans le champ de vision de la camera |
| JP6157242B2 (ja) * | 2013-06-28 | 2017-07-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| FR3010220A1 (fr) * | 2013-09-03 | 2015-03-06 | Rizze | Systeme de recensement des vehicules par le cloud |
| WO2015193988A1 (ja) * | 2014-06-18 | 2015-12-23 | 株式会社日立製作所 | 計算機システム |
| US10372977B2 (en) * | 2015-07-09 | 2019-08-06 | Analog Devices Gloval Unlimited Company | Video processing for human occupancy detection |
| US20170164267A1 (en) * | 2015-12-03 | 2017-06-08 | The Trustees Of Columbia University In The City Of New York | Apparatus to inhibit misuse of an electrically powered device |
| WO2017120196A1 (en) | 2016-01-04 | 2017-07-13 | The Trustees Of Columbia University In The City Of New York | Apparatus to effect an optical barrier to pests |
| KR102153607B1 (ko) * | 2016-01-22 | 2020-09-08 | 삼성전자주식회사 | 영상에서의 전경 검출 장치 및 방법 |
| US10410371B2 (en) | 2017-12-21 | 2019-09-10 | The Boeing Company | Cluttered background removal from imagery for object detection |
| US11436839B2 (en) | 2018-11-02 | 2022-09-06 | Toyota Research Institute, Inc. | Systems and methods of detecting moving obstacles |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5134472A (en) * | 1989-02-08 | 1992-07-28 | Kabushiki Kaisha Toshiba | Moving object detection apparatus and method |
| JP2953712B2 (ja) * | 1989-09-27 | 1999-09-27 | 株式会社東芝 | 移動物体検知装置 |
| US5099322A (en) * | 1990-02-27 | 1992-03-24 | Texas Instruments Incorporated | Scene change detection system and method |
| JP2754867B2 (ja) * | 1990-05-23 | 1998-05-20 | 松下電器産業株式会社 | 画像の動き検出装置 |
| JP3011748B2 (ja) * | 1990-09-12 | 2000-02-21 | 日本電信電話株式会社 | 移動体の計数装置 |
| US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
| JPH0554276A (ja) * | 1991-08-23 | 1993-03-05 | Matsushita Electric Ind Co Ltd | 障害物検出装置 |
| JPH0554085A (ja) * | 1991-08-28 | 1993-03-05 | Fuji Xerox Co Ltd | 動画像検索支援装置 |
| GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
| JPH0589242A (ja) * | 1991-09-26 | 1993-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 画像の物体領域切り出し装置 |
| US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
| WO1994027408A1 (en) * | 1993-05-14 | 1994-11-24 | Rct Systems, Inc. | Video traffic monitor for retail establishments and the like |
| DE69433074D1 (de) * | 1993-07-02 | 2003-10-02 | Siemens Corp Res Inc | Hintergrundrückgewinnung in monokularer Bildverarbeitung |
| JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
| US5802361A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Method and system for searching graphic images and videos |
| JP3468877B2 (ja) * | 1994-10-27 | 2003-11-17 | 矢崎総業株式会社 | 植物の自動診断方法及び装置 |
| US5805733A (en) * | 1994-12-12 | 1998-09-08 | Apple Computer, Inc. | Method and system for detecting scenes and summarizing video sequences |
| JP3569992B2 (ja) * | 1995-02-17 | 2004-09-29 | 株式会社日立製作所 | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム |
| JP3454396B2 (ja) * | 1995-10-11 | 2003-10-06 | 株式会社日立製作所 | 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム |
| DE69738287T2 (de) * | 1996-09-20 | 2008-06-12 | Hitachi, Ltd. | Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür |
-
1995
- 1995-02-17 JP JP02909995A patent/JP3569992B2/ja not_active Expired - Fee Related
-
1996
- 1996-02-15 US US08/601,951 patent/US5721692A/en not_active Expired - Lifetime
-
1998
- 1998-02-13 US US09/023,467 patent/US5862508A/en not_active Expired - Lifetime
-
2001
- 2001-09-06 US US09/946,528 patent/US20020030739A1/en not_active Abandoned
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7995102B2 (en) | 2008-02-13 | 2011-08-09 | Casio Computer Co., Ltd. | Imaging apparatus for generating stroboscopic image |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08221577A (ja) | 1996-08-30 |
| US20020030739A1 (en) | 2002-03-14 |
| US5862508A (en) | 1999-01-19 |
| US5721692A (en) | 1998-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3569992B2 (ja) | 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム | |
| EP0567059B1 (en) | Object recognition system using image processing | |
| Zhu et al. | VISATRAM: A real-time vision system for automatic traffic monitoring | |
| KR100459476B1 (ko) | 차량의 대기 길이 측정 장치 및 방법 | |
| Omer et al. | An automatic image recognition system for winter road surface condition classification | |
| US9154741B2 (en) | Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects | |
| Sina et al. | Vehicle counting and speed measurement using headlight detection | |
| JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| US20060274917A1 (en) | Image processing techniques for a video based traffic monitoring system and methods therefor | |
| WO2004042673A2 (en) | Automatic, real time and complete identification of vehicles | |
| KR20220032681A (ko) | 노상 주차장의 주차 관리 방법 | |
| JPH09297849A (ja) | 車両検出装置 | |
| Malinovskiy et al. | Model‐free video detection and tracking of pedestrians and bicyclists | |
| Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
| Munajat et al. | Vehicle detection and tracking based on corner and lines adjacent detection features | |
| JP2002197588A (ja) | 走行車両のタイヤ種別判別方法，車種判別方法及び車種判別装置 | |
| JP4150218B2 (ja) | 地形認識装置および地形認識方法 | |
| JP4082144B2 (ja) | 混雑度調査装置 | |
| KR102492290B1 (ko) | 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템 | |
| JP4697761B2 (ja) | 待ち行列検出方法及び待ち行列検出装置 | |
| Oh et al. | Development of an integrated system based vehicle tracking algorithm with shadow removal and occlusion handling methods | |
| Branca et al. | Cast shadow removing in foreground segmentation | |
| Foresti et al. | Vehicle detection and tracking for traffic monitoring | |
| JPH0954891A (ja) | 画像処理による車種判別方法と装置 | |
| JP7438547B2 (ja) | 車両管理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040614 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080702 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090702 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100702 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110702 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120702 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |