JPH11328365A - 画像監視装置及びその方法 - Google Patents
画像監視装置及びその方法Info
- Publication number
- JPH11328365A JPH11328365A JP10132191A JP13219198A JPH11328365A JP H11328365 A JPH11328365 A JP H11328365A JP 10132191 A JP10132191 A JP 10132191A JP 13219198 A JP13219198 A JP 13219198A JP H11328365 A JPH11328365 A JP H11328365A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- comparison
- image input
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 監視対象の影やヘッドライト等の照射により
生じる路面の明るさの変動領域を誤って検出することの
ない、計算コストの低い画像監視装置10を提供する。 【解決手段】 TVカメラT1.2から入力した画像を
蓄積する画像メモリR1.2と、画像メモリR1.2に
蓄積された画像を変換する変換部12と、変換部12に
より得られた画像と画像メモリRに蓄積された画像を比
較する比較部14と、比較部14により得られた画像中
の領域内において動いている物体の領域を抽出する動領
域抽出部16と、動領域抽出部16により得られた結果
を出力する出力部18とを備える。
生じる路面の明るさの変動領域を誤って検出することの
ない、計算コストの低い画像監視装置10を提供する。 【解決手段】 TVカメラT1.2から入力した画像を
蓄積する画像メモリR1.2と、画像メモリR1.2に
蓄積された画像を変換する変換部12と、変換部12に
より得られた画像と画像メモリRに蓄積された画像を比
較する比較部14と、比較部14により得られた画像中
の領域内において動いている物体の領域を抽出する動領
域抽出部16と、動領域抽出部16により得られた結果
を出力する出力部18とを備える。
Description
【0001】
【発明の属する技術の分野】本発明は、例えば、車道、
歩道、横断歩道またはその周辺等の平面領域において人
や車両の有無または流れ等を検出する画像監視装置とそ
の方法及び記録媒体に関するものである。
歩道、横断歩道またはその周辺等の平面領域において人
や車両の有無または流れ等を検出する画像監視装置とそ
の方法及び記録媒体に関するものである。
【0002】
【従来の技術】車両の流量計測や信号待ちの車両の検知
等に用いられる超音波センサは、超音波を良く反射する
硬い物体しか検知できず、人間等の検知には不向きであ
る。また、計測範囲が狭いため、広い領域を監視するた
めには多数のセンサを設置する必要があり、例えば、横
断歩道周辺で赤信号のために待機している人の有無や人
数、及び青信号で横断中の歩行者の流れ等を広範囲に検
出する場合にはセンサの設置が困難な場合が生じ、適用
が難しい。
等に用いられる超音波センサは、超音波を良く反射する
硬い物体しか検知できず、人間等の検知には不向きであ
る。また、計測範囲が狭いため、広い領域を監視するた
めには多数のセンサを設置する必要があり、例えば、横
断歩道周辺で赤信号のために待機している人の有無や人
数、及び青信号で横断中の歩行者の流れ等を広範囲に検
出する場合にはセンサの設置が困難な場合が生じ、適用
が難しい。
【0003】このため、広い視野領域の情報を一度に獲
得できるTVカメラの画像を用い、歩行者や車両の監視
を行う手法が従来から提案されている。
得できるTVカメラの画像を用い、歩行者や車両の監視
を行う手法が従来から提案されている。
【0004】画像を用いた歩行者や車両の監視手法とし
ては、異なる2時点で入力した画像間の差を取り、動い
ている領域を歩行者や車両として検出する時間差分法、
予め用意しておいた背景画像と入力画像との間の差を取
り、背景画像と明るさが異なる領域を歩行者や車両とし
て検出する背景差分法、及び画像中の各点の動き情報
(オプティカルフロー)から、一定方向に等速直線運動
する領域を歩行者や車両として検出する手法等がある。
ては、異なる2時点で入力した画像間の差を取り、動い
ている領域を歩行者や車両として検出する時間差分法、
予め用意しておいた背景画像と入力画像との間の差を取
り、背景画像と明るさが異なる領域を歩行者や車両とし
て検出する背景差分法、及び画像中の各点の動き情報
(オプティカルフロー)から、一定方向に等速直線運動
する領域を歩行者や車両として検出する手法等がある。
【0005】
【発明が解決しようとする課題】しかしながら、前述し
た手法には以下のような問題点がある。
た手法には以下のような問題点がある。
【0006】監視領域が屋外の場合、車両や歩行者の移
動に伴い、それらの影領域も移動するため、抽出された
移動体領域に影領域も含まれてしまう。また、車のヘッ
ドライト等が照射されることにより生じる道路上の明る
さの変動領域も移動体領域に含まれてしまう。
動に伴い、それらの影領域も移動するため、抽出された
移動体領域に影領域も含まれてしまう。また、車のヘッ
ドライト等が照射されることにより生じる道路上の明る
さの変動領域も移動体領域に含まれてしまう。
【0007】このため、抽出領域の面積等を用いて人数
や車両台数を求める場合の誤差が非常に大きくなる。ま
た、画像中で抽出領域の最下端部分が道路と移動体との
接地部分であるとの仮定を用い、移動体までの距離をカ
メラと道路との間の関係から求める際には、抽出領域の
最下端部分が影領域やヘッドライトの照射領域の場合、
距離が正しく得られないという問題が生じる。
や車両台数を求める場合の誤差が非常に大きくなる。ま
た、画像中で抽出領域の最下端部分が道路と移動体との
接地部分であるとの仮定を用い、移動体までの距離をカ
メラと道路との間の関係から求める際には、抽出領域の
最下端部分が影領域やヘッドライトの照射領域の場合、
距離が正しく得られないという問題が生じる。
【0008】さらに、動き情報を用いる手法はオプティ
カルフロー抽出に多大な計算コストを必要とする。
カルフロー抽出に多大な計算コストを必要とする。
【0009】影や照度変動領域は領域内に含まれる各画
素の輝度値が全て一様に変動するため、着目した領域内
の各画素値を基底ベクトルとした空間での照度変化前と
後の着目領域画像のベクトル間の正規化距離を求め、こ
の距離が小さい領域を影か照度変動領域として除去する
手法も提案されているが、道路面等比較的テクスチャー
が少ない領域が背景となる場合には、単一輝度の服を着
た歩行者や単色の車等も影や照度変動領域として判断さ
れてしまう。
素の輝度値が全て一様に変動するため、着目した領域内
の各画素値を基底ベクトルとした空間での照度変化前と
後の着目領域画像のベクトル間の正規化距離を求め、こ
の距離が小さい領域を影か照度変動領域として除去する
手法も提案されているが、道路面等比較的テクスチャー
が少ない領域が背景となる場合には、単一輝度の服を着
た歩行者や単色の車等も影や照度変動領域として判断さ
れてしまう。
【0010】本発明は、上記問題に鑑みてなされたもの
で、その目的とするところは、歩行者の影やヘッドライ
ト等の照射により生じる路面の明るさの変動領域を誤っ
て検出せず、計算コストの少ない画像監視装置、画像監
視方法及び記録媒体を提供することにある。
で、その目的とするところは、歩行者の影やヘッドライ
ト等の照射により生じる路面の明るさの変動領域を誤っ
て検出せず、計算コストの少ない画像監視装置、画像監
視方法及び記録媒体を提供することにある。
【0011】
【数1】
【0012】
【課題を解決するための手段】請求項1の発明は、画像
を入力する複数の画像入力手段と、これら画像入力手段
から入力した画像を蓄積する画像蓄積手段と、前記画像
蓄積手段に蓄積された少なくとも一の画像入力手段の画
像を所定の変換画像へ変換する変換手段と、前記変換手
段により得られた変換画像と、前記画像蓄積手段に蓄積
された前記一の画像入力手段以外の他の画像入力手段の
画像を比較して比較画像を作成する比較手段と、前記比
較手段により作成された比較画像中の領域内において動
いている物体の領域を抽出する動領域抽出手段と、から
なる画像監視装置である。
を入力する複数の画像入力手段と、これら画像入力手段
から入力した画像を蓄積する画像蓄積手段と、前記画像
蓄積手段に蓄積された少なくとも一の画像入力手段の画
像を所定の変換画像へ変換する変換手段と、前記変換手
段により得られた変換画像と、前記画像蓄積手段に蓄積
された前記一の画像入力手段以外の他の画像入力手段の
画像を比較して比較画像を作成する比較手段と、前記比
較手段により作成された比較画像中の領域内において動
いている物体の領域を抽出する動領域抽出手段と、から
なる画像監視装置である。
【0013】請求項2の発明は、前記変換手段が、前記
複数の画像入力手段の中から予め定めておいた2台の画
像入力手段の画像中において、予め設定しておいた平面
上に前記画像中の全ての点が存在すると仮定して、一方
の画像入力手段の画像を他方の画像入力手段の画像の見
え方に変換して変換画像を求めることを特徴とする請求
項1記載の画像監視装置である。
複数の画像入力手段の中から予め定めておいた2台の画
像入力手段の画像中において、予め設定しておいた平面
上に前記画像中の全ての点が存在すると仮定して、一方
の画像入力手段の画像を他方の画像入力手段の画像の見
え方に変換して変換画像を求めることを特徴とする請求
項1記載の画像監視装置である。
【0014】請求項3の発明は、予め設定しておく平面
が、前記2台の画像入力手段の共通視野内にある道路
面、通路面あるいは広場等の平坦領域であることを特徴
とする請求項2記載の画像監視装置である。
が、前記2台の画像入力手段の共通視野内にある道路
面、通路面あるいは広場等の平坦領域であることを特徴
とする請求項2記載の画像監視装置である。
【0015】請求項4の発明は、前記変換手段は、前記
画像蓄積手段に蓄積された画像を変換して変換画像を求
めるために用いる変換パラメータを、前記2台の画像入
力手段の画像の間で予め設定しておいた平面上に存在す
る複数個の点同士の対応付けを行なうことにより演算す
ることを特徴とする請求項2記載の画像監視装置であ
る。
画像蓄積手段に蓄積された画像を変換して変換画像を求
めるために用いる変換パラメータを、前記2台の画像入
力手段の画像の間で予め設定しておいた平面上に存在す
る複数個の点同士の対応付けを行なうことにより演算す
ることを特徴とする請求項2記載の画像監視装置であ
る。
【0016】請求項5の発明は、前記比較手段は、前記
変換手段により得られた前記一の画像入力手段の変換画
像と、前記画像蓄積手段に蓄積されている前記他の画像
入力手段の画像との間で対応する画像位置の点同士の輝
度値を比較し、この輝度値が類似していない点のみを抽
出したマスク画像を比較画像として生成することを特徴
とする請求項1記載の画像監視装置である。
変換手段により得られた前記一の画像入力手段の変換画
像と、前記画像蓄積手段に蓄積されている前記他の画像
入力手段の画像との間で対応する画像位置の点同士の輝
度値を比較し、この輝度値が類似していない点のみを抽
出したマスク画像を比較画像として生成することを特徴
とする請求項1記載の画像監視装置である。
【0017】請求項6の発明は、前記比較手段は、前記
変換手段により得られた前記一の画像入力手段の変換画
像と、前記画像蓄積手段に蓄積されている前記他の画像
入力手段の画像との間で対応する画像位置の点同士の相
関値を比較し、この相関値が小さい点のみを抽出したマ
スク画像を比較画像として生成することを特徴とする請
求項1記載の画像監視装置である。
変換手段により得られた前記一の画像入力手段の変換画
像と、前記画像蓄積手段に蓄積されている前記他の画像
入力手段の画像との間で対応する画像位置の点同士の相
関値を比較し、この相関値が小さい点のみを抽出したマ
スク画像を比較画像として生成することを特徴とする請
求項1記載の画像監視装置である。
【0018】請求項7の発明は、前記動領域抽出手段
は、前記比較手段により生成された比較画像中のマスク
領域内において、動物体が存在しない場合の背景データ
との比較により、動物体の存在領域を抽出することを特
徴とする請求項1記載の画像監視装置である。
は、前記比較手段により生成された比較画像中のマスク
領域内において、動物体が存在しない場合の背景データ
との比較により、動物体の存在領域を抽出することを特
徴とする請求項1記載の画像監視装置である。
【0019】請求項8の発明は、前記動領域抽出手段
は、時刻t及びt+△tにおいて、前記比較手段より生
成された比較画像Mt及びMt+△t の和画像Mt UM
t+△t を求め、Mt UMt+△t 中のマスク領域内におい
て時刻t及び時刻t+△tで撮像し、前記画像蓄積手段
に蓄積されている画像間の時間差分をとることにより動
物体の存在領域を抽出する請求項1記載の画像監視装置
である。
は、時刻t及びt+△tにおいて、前記比較手段より生
成された比較画像Mt及びMt+△t の和画像Mt UM
t+△t を求め、Mt UMt+△t 中のマスク領域内におい
て時刻t及び時刻t+△tで撮像し、前記画像蓄積手段
に蓄積されている画像間の時間差分をとることにより動
物体の存在領域を抽出する請求項1記載の画像監視装置
である。
【0020】請求項9の発明は、前記複数の画像入力手
段の撮影範囲を予め重なるように配置し、前記複数の画
像入力手段の中から予め定めておいた2台の画像入力手
段の組合せを複数組用いることにより、前記複数の画像
入力手段が個々に撮影する範囲より広い範囲を監視する
ことを特徴とする請求項1記載の画像監視装置である。
段の撮影範囲を予め重なるように配置し、前記複数の画
像入力手段の中から予め定めておいた2台の画像入力手
段の組合せを複数組用いることにより、前記複数の画像
入力手段が個々に撮影する範囲より広い範囲を監視する
ことを特徴とする請求項1記載の画像監視装置である。
【0021】請求項10の発明は、複数の画像入力手段
から入力した画像を蓄積する画像蓄積ステップと、前記
画像蓄積ステップに蓄積された少なくとも一の画像入力
手段の画像を所定の変換画像へ変換する変換ステップ
と、前記変換ステップにより得られた変換画像と、前記
画像蓄積ステップに蓄積された前記一の画像入力手段以
外の他の画像入力手段の画像を比較して比較画像を作成
する比較ステップと、前記比較ステップにより作成され
た比較画像中の領域内において動いている物体の領域を
抽出する動領域抽出ステップと、からなる画像監視方法
である。
から入力した画像を蓄積する画像蓄積ステップと、前記
画像蓄積ステップに蓄積された少なくとも一の画像入力
手段の画像を所定の変換画像へ変換する変換ステップ
と、前記変換ステップにより得られた変換画像と、前記
画像蓄積ステップに蓄積された前記一の画像入力手段以
外の他の画像入力手段の画像を比較して比較画像を作成
する比較ステップと、前記比較ステップにより作成され
た比較画像中の領域内において動いている物体の領域を
抽出する動領域抽出ステップと、からなる画像監視方法
である。
【0022】請求項11の発明は、複数の画像入力手段
から入力した画像を蓄積する画像蓄積機能と、前記画像
蓄積機能に蓄積された少なくとも一の画像入力手段の画
像を所定の変換画像へ変換する変換機能と、前記変換機
能により得られた変換画像と、前記画像蓄積機能に蓄積
された前記一の画像入力手段以外の他の画像入力手段の
画像を比較して比較画像を作成する比較機能と、前記比
較機能により作成された比較画像中の領域内において動
いている物体の領域を抽出する動領域抽出機能と、を実
現するためのプログラムを記録した記録媒体であること
を特徴とする画像監視方法を記録した記録媒体である。
から入力した画像を蓄積する画像蓄積機能と、前記画像
蓄積機能に蓄積された少なくとも一の画像入力手段の画
像を所定の変換画像へ変換する変換機能と、前記変換機
能により得られた変換画像と、前記画像蓄積機能に蓄積
された前記一の画像入力手段以外の他の画像入力手段の
画像を比較して比較画像を作成する比較機能と、前記比
較機能により作成された比較画像中の領域内において動
いている物体の領域を抽出する動領域抽出機能と、を実
現するためのプログラムを記録した記録媒体であること
を特徴とする画像監視方法を記録した記録媒体である。
【0023】ここで、本発明の望ましい実施態様として
は次ぎのものが挙げられる。
は次ぎのものが挙げられる。
【0024】(1) 変換手段が、複数台のTVカメラの中
から予め定めておいた2台づつの組合わせT1、T2に
おいて、予め設定しておいた平面上に画像中の全ての点
が存在すると仮定して、一方のTVカメラT1の画像を
他方のTVカメラT2の画像の見え方に変換すること。
から予め定めておいた2台づつの組合わせT1、T2に
おいて、予め設定しておいた平面上に画像中の全ての点
が存在すると仮定して、一方のTVカメラT1の画像を
他方のTVカメラT2の画像の見え方に変換すること。
【0025】(2) 変換手段において、予め設定しておく
平面が、TVカメラT1及びTVカメラT2の共通視野
内にある道路面、通路面あるいは広場等の平坦領域であ
ること。
平面が、TVカメラT1及びTVカメラT2の共通視野
内にある道路面、通路面あるいは広場等の平坦領域であ
ること。
【0026】(3) 変換手段において、画像を変換するた
めに用いる変換パラメータを、TVカメラT1の画像と
TVカメラT2の画像との間で、予め設定しておいた平
面上に存在する複数個の点同士の対応付けを行なうこと
により求めること。
めに用いる変換パラメータを、TVカメラT1の画像と
TVカメラT2の画像との間で、予め設定しておいた平
面上に存在する複数個の点同士の対応付けを行なうこと
により求めること。
【0027】(4) 比較手段が、変換手段により得られた
TVカメラT1の変換画像と画像メモリに蓄積されてい
るTVカメラT2の画像との間で対応する画像位置の点
同士の輝度値を比較し、輝度値が類似していない点のみ
を抽出したマスク画像を生成すること。
TVカメラT1の変換画像と画像メモリに蓄積されてい
るTVカメラT2の画像との間で対応する画像位置の点
同士の輝度値を比較し、輝度値が類似していない点のみ
を抽出したマスク画像を生成すること。
【0028】(5) 比較手段が、変換手段により得られた
TVカメラT1の変換画像と画像メモリに蓄積されてい
るTVカメラT2の画像との間で対応する画像位置の点
同士の相関値を比較し、相関が小さい点のみを抽出した
マスク画像を生成すること。
TVカメラT1の変換画像と画像メモリに蓄積されてい
るTVカメラT2の画像との間で対応する画像位置の点
同士の相関値を比較し、相関が小さい点のみを抽出した
マスク画像を生成すること。
【0029】(6) 動領域抽出手段が、比較手段により生
成されたマスク画像中のマスク領域内において、動物体
が存在しない場合の背景データとの比較により、動物体
の存在領域を抽出すること。
成されたマスク画像中のマスク領域内において、動物体
が存在しない場合の背景データとの比較により、動物体
の存在領域を抽出すること。
【0030】(7) 動領域抽出手段が、時刻t及びt+△
tにおいて比較部より生成されたマスク画像Mt及びM
t+△t の和画像Mt UMt+△t を求めMt UMt+△t 中
のマスク領域内において時刻t及び時刻t+△tで撮像
し画像メモリに蓄積されている画像間の時間差分をとる
ことにより動物体の存在領域を抽出すること。
tにおいて比較部より生成されたマスク画像Mt及びM
t+△t の和画像Mt UMt+△t を求めMt UMt+△t 中
のマスク領域内において時刻t及び時刻t+△tで撮像
し画像メモリに蓄積されている画像間の時間差分をとる
ことにより動物体の存在領域を抽出すること。
【0031】このような構成とすることにより、監視対
象の影やヘッドライト等の照射により生じる路面の明る
さの変動領域を誤って検出することがなく、歩行者や動
いている車両等の移動体領域のみを効率良く検出するこ
とができる。
象の影やヘッドライト等の照射により生じる路面の明る
さの変動領域を誤って検出することがなく、歩行者や動
いている車両等の移動体領域のみを効率良く検出するこ
とができる。
【0032】
【発明の実施の形態】以下で、本発明の一実施例を図1
から図4に従い説明する。
から図4に従い説明する。
【0033】図1は本実施例における画像監視装置10
の概略構成を示すもので、2台のTVカメラを用いた例
である。
の概略構成を示すもので、2台のTVカメラを用いた例
である。
【0034】TVカメラTi(1≦i≦2)、画像メモ
リRi(1≦i≦2)、変換部12、比較部14、動領
域抽出部16、出力部18から構成されている。
リRi(1≦i≦2)、変換部12、比較部14、動領
域抽出部16、出力部18から構成されている。
【0035】図2に処理の流れを示す。画像入力、画像
メモリR1の画像の変換、変換画像と画像メモリR2の
画像を比較することによるマスク画像の生成、マスク画
像内での動領域抽出の順で処理を行なう。
メモリR1の画像の変換、変換画像と画像メモリR2の
画像を比較することによるマスク画像の生成、マスク画
像内での動領域抽出の順で処理を行なう。
【0036】(TVカメラTi)TVカメラTi(1≦
i≦2)より入力された画像は画像メモリRi(1≦i
≦2)に蓄積される。
i≦2)より入力された画像は画像メモリRi(1≦i
≦2)に蓄積される。
【0037】(変換部12)変換部12は、画像メモリ
R1に蓄積されている画像を予め設定しておいた平面へ
逆投影し、逆投影された平面領域をTVカメラT2で撮
像した際の画像に変換する。
R1に蓄積されている画像を予め設定しておいた平面へ
逆投影し、逆投影された平面領域をTVカメラT2で撮
像した際の画像に変換する。
【0038】本実施例では、道路平面に画像を逆投影す
ること考える。図3を用いてこの変換手法を説明する。
ること考える。図3を用いてこの変換手法を説明する。
【0039】TVカメラT1のカメラT座標系をO−X
YZとし、TVカメラT2のカメラT座標系をO’−
X’Y’Z’とし、両TVカメラT1.2の焦点距離は
共にfとする。
YZとし、TVカメラT2のカメラT座標系をO’−
X’Y’Z’とし、両TVカメラT1.2の焦点距離は
共にfとする。
【0040】TVカメラT1の画像座標(x,y) の点を設
定平面上への逆投影した点がPであり、PをTVカメラ
T2の画像面へ投影した点の画像座標が(x’, y ’) で
あるとする。このとき、(x,y) と(x’, y ’) の間には
以下の関係式12が成り立つ。
定平面上への逆投影した点がPであり、PをTVカメラ
T2の画像面へ投影した点の画像座標が(x’, y ’) で
あるとする。このとき、(x,y) と(x’, y ’) の間には
以下の関係式12が成り立つ。
【0041】
【数2】 ここで、Mij(1≦i≦3,1≦j≦3)は変換パラメ
ータであり、TVカメラT1、2の各画像面において、
設定平面上に存在する点の対応する画像座標(x,y) ,
(x’, y ’) の組を5個以上与えれば、最小自乗法によ
り求めることができる。
ータであり、TVカメラT1、2の各画像面において、
設定平面上に存在する点の対応する画像座標(x,y) ,
(x’, y ’) の組を5個以上与えれば、最小自乗法によ
り求めることができる。
【0042】このため、TVカメラT1、2を設置した
後、例えば道路平面上の特徴点(横断歩道やセンターラ
イン等の輪郭に含まれる角点等を通常用いる)を5点以
上対話的に選び、それぞれの特徴点をTVカメラT1と
2の画像上で対応付け、変換パラメータMijを求めてお
く。カメラTは固定されているため、変換パラメータM
ijは装置を動作する前に一度だけ求めれば良い。
後、例えば道路平面上の特徴点(横断歩道やセンターラ
イン等の輪郭に含まれる角点等を通常用いる)を5点以
上対話的に選び、それぞれの特徴点をTVカメラT1と
2の画像上で対応付け、変換パラメータMijを求めてお
く。カメラTは固定されているため、変換パラメータM
ijは装置を動作する前に一度だけ求めれば良い。
【0043】求めた変換パラメータMijと既知である焦
点距離fを用い、TVカメラT1の画像の各点(x,y) の
変換後の画像座標(x’, y ’) を式12より求め、TV
カメラT1の画像の変換画像IM (x,y) を作成する。式
12により得られる変換後のx’またはy’の値が、T
VカメラT2の画像座標の範囲内(例えば、640×4
80画素の画像の場合、0≦x’<640,0≦y’<
480の範囲)に含まれるTVカメラT1の画像座標
(x,y) のみを用いて変換画像IM (x,y) は作成される。
点距離fを用い、TVカメラT1の画像の各点(x,y) の
変換後の画像座標(x’, y ’) を式12より求め、TV
カメラT1の画像の変換画像IM (x,y) を作成する。式
12により得られる変換後のx’またはy’の値が、T
VカメラT2の画像座標の範囲内(例えば、640×4
80画素の画像の場合、0≦x’<640,0≦y’<
480の範囲)に含まれるTVカメラT1の画像座標
(x,y) のみを用いて変換画像IM (x,y) は作成される。
【0044】図4(a)に横断歩道を歩いている人を撮
影したTVカメラT1の画像の模式図を示し、図4
(b)にその際に入力されたTVカメラT2の画像の模
式図を示す。
影したTVカメラT1の画像の模式図を示し、図4
(b)にその際に入力されたTVカメラT2の画像の模
式図を示す。
【0045】変換部12により、図4(a)の画像は図
4(c)に示すように、道路面上に描かれた横断歩道及
び歩行者の影が図4(b)と同じ位置となるような画像
に変換される。また、道路面とは高さが異なる歩行者は
倒れ込み引き延ばされた様な形状に変換され、画像中の
変換位置も図4(b)と図4(c)に示すように異なっ
てくる。
4(c)に示すように、道路面上に描かれた横断歩道及
び歩行者の影が図4(b)と同じ位置となるような画像
に変換される。また、道路面とは高さが異なる歩行者は
倒れ込み引き延ばされた様な形状に変換され、画像中の
変換位置も図4(b)と図4(c)に示すように異なっ
てくる。
【0046】(比較部14)比較部14では、変換部1
2により作成された変換画像IM (x,y) と、変換に用い
た画像と同時刻に入力された画像メモリR2上の画像I
2 (x,y) との間で、対応する各点の類似度を算出する。
2により作成された変換画像IM (x,y) と、変換に用い
た画像と同時刻に入力された画像メモリR2上の画像I
2 (x,y) との間で、対応する各点の類似度を算出する。
【0047】類似度としては、例えば以下の相関値C1
を用いる。
を用いる。
【0048】
【数3】 IM (x,y) とI2 (x,y) の各点の類似度C1 を求め、そ
の値が予め設定しておいた閾値Thrより大きい領域の
みを取り出した画像をマスク画像として作成する。例え
ば、C1 >Thrの点なら255、C1 ≦Thrの点な
ら0とした画像をマスク画像として作成する。
の値が予め設定しておいた閾値Thrより大きい領域の
みを取り出した画像をマスク画像として作成する。例え
ば、C1 >Thrの点なら255、C1 ≦Thrの点な
ら0とした画像をマスク画像として作成する。
【0049】マスク画像は設定した平面とは高さの異な
る対象物が存在する点のみ255の値を持つ画像となる
ため、図4(d)に示すようにI2 中の歩行者領域とI
M 中の歩行者の変換領域の和領域がマスク画像として得
られる。
る対象物が存在する点のみ255の値を持つ画像となる
ため、図4(d)に示すようにI2 中の歩行者領域とI
M 中の歩行者の変換領域の和領域がマスク画像として得
られる。
【0050】道路面上の歩行者の影等は、IM とI2 に
おいて同位置に存在するため、類似度C1 が小さくな
り、マスク画像の255輝度領域には含まれず、このた
め、歩行者の影領域を除去することが可能となる。
おいて同位置に存在するため、類似度C1 が小さくな
り、マスク画像の255輝度領域には含まれず、このた
め、歩行者の影領域を除去することが可能となる。
【0051】比較部14の類似度C1 の替わりに以下の
C2 あるいはC3 あるいはC4 を用いても良い。
C2 あるいはC3 あるいはC4 を用いても良い。
【0052】
【数4】 I' M ,I' 2 は類似度を算出するために設定した領域
内におけるIM 、I2の平均値である。
内におけるIM 、I2の平均値である。
【0053】(動領域抽出部16)動領域抽出部16で
は、比較部14で作成したマスク画像内の255の値を
持つ領域(以後、マスク領域と呼ぶ)内で動いている領
域を抽出する。
は、比較部14で作成したマスク画像内の255の値を
持つ領域(以後、マスク領域と呼ぶ)内で動いている領
域を抽出する。
【0054】予め、歩行者や車が存在していない場合の
TVカメラT2の画像を背景画像として用意しておき、
マスク領域内のみで背景差分を求め、差分値の大きい領
域を動領域として抽出する。
TVカメラT2の画像を背景画像として用意しておき、
マスク領域内のみで背景差分を求め、差分値の大きい領
域を動領域として抽出する。
【0055】背景画像は、TVカメラT2の画像を一定
時間蓄積した画像系列から、各点の平均値、最頻値、あ
るいは中間値等を求め作成、及び逐次更新する。
時間蓄積した画像系列から、各点の平均値、最頻値、あ
るいは中間値等を求め作成、及び逐次更新する。
【0056】背景差分の代わりに、各画素において輝度
の出現頻度(確率)を背景データとして用意しておき、
この背景データと大きく異なる輝度が出現した場合、動
領域として抽出する手法を用いることもできる。
の出現頻度(確率)を背景データとして用意しておき、
この背景データと大きく異なる輝度が出現した場合、動
領域として抽出する手法を用いることもできる。
【0057】また、時刻t及びt+△tにおいて、比較
部14よりそれぞれ生成されたマスク画像Mt及びM
t+△t の和画像Mt UMt+△t を求め、Mt UMt+△t
中のマスク領域内において時刻t及び時刻t+△tに入
力されたI2 (t) 及びI2 (t+△t)間の時間差分を
とることにより動領域を抽出しても良い。
部14よりそれぞれ生成されたマスク画像Mt及びM
t+△t の和画像Mt UMt+△t を求め、Mt UMt+△t
中のマスク領域内において時刻t及び時刻t+△tに入
力されたI2 (t) 及びI2 (t+△t)間の時間差分を
とることにより動領域を抽出しても良い。
【0058】動領域抽出部16において、マスク領域内
の動領域を抽出することでマスク領域に含まれる停車車
両や中央分離体のような道路面と高さの異なる静止対象
物が除去でき、歩行者の様な移動対象物のみを獲得する
ことが可能となる。
の動領域を抽出することでマスク領域に含まれる停車車
両や中央分離体のような道路面と高さの異なる静止対象
物が除去でき、歩行者の様な移動対象物のみを獲得する
ことが可能となる。
【0059】動領域抽出部16では、オプティカルフロ
ーによる動領域抽出等、画像中で動き領域が抽出できる
手法なら何を用いても構わない。
ーによる動領域抽出等、画像中で動き領域が抽出できる
手法なら何を用いても構わない。
【0060】(出力部18)出力部18では、動領域抽
出部16によって得られた歩行者や通行車両等の動領域
から、面積、画像中での最下端位置、移動方向等を求
め、人数・台数、距離、進行方向等各種処理に必要なデ
ータを出力する変 更 例 本実施例では、TVカメラT1の画像をTVカメラT2
の見え方に変換し、TVカメラT2の画像を基に動領域
を抽出しているが、TVカメラT2の画像をTVカメラ
T1の見え方に変換し、TVカメラT1の画像を基に動
領域を抽出しても良い。
出部16によって得られた歩行者や通行車両等の動領域
から、面積、画像中での最下端位置、移動方向等を求
め、人数・台数、距離、進行方向等各種処理に必要なデ
ータを出力する変 更 例 本実施例では、TVカメラT1の画像をTVカメラT2
の見え方に変換し、TVカメラT2の画像を基に動領域
を抽出しているが、TVカメラT2の画像をTVカメラ
T1の見え方に変換し、TVカメラT1の画像を基に動
領域を抽出しても良い。
【0061】また、TVカメラT1の画像をTVカメラ
T2の見え方に変換し作成したマスク画像を、再度TV
カメラT1の画像の見え方に逆変換し、TVカメラT1
の画像を基に動領域を抽出しても良い。
T2の見え方に変換し作成したマスク画像を、再度TV
カメラT1の画像の見え方に逆変換し、TVカメラT1
の画像を基に動領域を抽出しても良い。
【0062】また、上記実施例では、2台のTVカメラ
を使用したが、次の方法であってもよい。
を使用したが、次の方法であってもよい。
【0063】2台以上の複数のTVカメラの撮影範囲を
予め重なるように配置し、これら複数のTVカメラの中
から予め定めておいた2台のTVカメラの組合せを複数
組用いることにより、上記実施例で説明した処理を行
う。これにより、前記複数のTVカメラが個々に撮影す
る範囲より広い範囲を監視することができる。
予め重なるように配置し、これら複数のTVカメラの中
から予め定めておいた2台のTVカメラの組合せを複数
組用いることにより、上記実施例で説明した処理を行
う。これにより、前記複数のTVカメラが個々に撮影す
る範囲より広い範囲を監視することができる。
【0064】本実施例の画像監視装置10は、具体的に
2台のTVカメラと、画像メモリを有するパソコンとよ
り実現でき、変換部12、比較部14、動領域抽出部1
6の機能を実現するプログラムをFD.CD−ROM.
DVDなどの記録媒体に記憶させておく。なお、出力部
18としては、CRT、プリンターが考えられる。
2台のTVカメラと、画像メモリを有するパソコンとよ
り実現でき、変換部12、比較部14、動領域抽出部1
6の機能を実現するプログラムをFD.CD−ROM.
DVDなどの記録媒体に記憶させておく。なお、出力部
18としては、CRT、プリンターが考えられる。
【0065】
【発明の効果】本発明によれば、複数のTVカメラを用
い、設定した平面に対して高さが異なる対象物を検出し
歩行者や車両の位置を求めるため、歩行者の影やヘッド
ライト等の照射により生じる路面上の明るさ変動領域を
誤って検出することがない。また、中心となる処理が画
像の変換と差分であるため、計算コストが少ない。
い、設定した平面に対して高さが異なる対象物を検出し
歩行者や車両の位置を求めるため、歩行者の影やヘッド
ライト等の照射により生じる路面上の明るさ変動領域を
誤って検出することがない。また、中心となる処理が画
像の変換と差分であるため、計算コストが少ない。
【図1】本発明の一実施例の画像監視装置10の構成図
である。
である。
【図2】画像監視装置10の処理フローである。
【図3】画像の変換手法を説明する図である。
【図4】変換画像及びマスク画像を説明する図である。
10 画像監視装置 12 変換部 14 比較部 16 動領域抽出部 18 出力部 T TVカメラ R 画像メモリ
Claims (11)
- 【請求項1】画像を入力する複数の画像入力手段と、 これら画像入力手段から入力した画像を蓄積する画像蓄
積手段と、 前記画像蓄積手段に蓄積された少なくとも一の画像入力
手段の画像を所定の変換画像へ変換する変換手段と、 前記変換手段により得られた変換画像と、前記画像蓄積
手段に蓄積された前記一の画像入力手段以外の他の画像
入力手段の画像を比較して比較画像を作成する比較手段
と、 前記比較手段により作成された比較画像中の領域内にお
いて動いている物体の領域を抽出する動領域抽出手段
と、からなることを特徴とする画像監視装置。 - 【請求項2】前記変換手段が、 前記複数の画像入力手段の中から予め定めておいた2台
の画像入力手段の画像中において、予め設定しておいた
平面上に前記画像中の全ての点が存在すると仮定して、
一方の画像入力手段の画像を他方の画像入力手段の画像
の見え方に変換して変換画像を求めることを特徴とする
請求項1記載の画像監視装置。 - 【請求項3】予め設定しておく平面が、 前記2台の画像入力手段の共通視野内にある道路面、通
路面あるいは広場等の平坦領域であることを特徴とする
請求項2記載の画像監視装置。 - 【請求項4】前記変換手段は、 前記画像蓄積手段に蓄積された画像を変換して変換画像
を求めるために用いる変換パラメータを、 前記2台の画像入力手段の画像の間で予め設定しておい
た平面上に存在する複数個の点同士の対応付けを行なう
ことにより演算することを特徴とする請求項2記載の画
像監視装置。 - 【請求項5】前記比較手段は、 前記変換手段により得られた前記一の画像入力手段の変
換画像と、前記画像蓄積手段に蓄積されている前記他の
画像入力手段の画像との間で対応する画像位置の点同士
の輝度値を比較し、 この輝度値が類似していない点のみを抽出したマスク画
像を比較画像として生成することを特徴とする請求項1
記載の画像監視装置。 - 【請求項6】前記比較手段は、 前記変換手段により得られた前記一の画像入力手段の変
換画像と、前記画像蓄積手段に蓄積されている前記他の
画像入力手段の画像との間で対応する画像位置の点同士
の相関値を比較し、 この相関値が小さい点のみを抽出したマスク画像を比較
画像として生成することを特徴とする請求項1記載の画
像監視装置。 - 【請求項7】前記動領域抽出手段は、 前記比較手段により生成された比較画像中のマスク領域
内において、動物体が存在しない場合の背景データとの
比較により、動物体の存在領域を抽出することを特徴と
する請求項1記載の画像監視装置。 - 【請求項8】前記動領域抽出手段は、 時刻t及びt+△tにおいて、前記比較手段より生成さ
れた比較画像Mt及びMt+△t の和画像Mt UMt+△t
を求め、 Mt UMt+△t 中のマスク領域内において時刻t及び時
刻t+△tで撮像し、 前記画像蓄積手段に蓄積されている画像間の時間差分を
とることにより動物体の存在領域を抽出することを特徴
とする請求項1記載の画像監視装置。 - 【請求項9】前記複数の画像入力手段の撮影範囲を予め
重なるように配置し、 前記複数の画像入力手段の中から予め定めておいた2台
の画像入力手段の組合せを複数組用いることにより、前
記複数の画像入力手段が個々に撮影する範囲より広い範
囲を監視することを特徴とする請求項1記載の画像監視
装置。 - 【請求項10】複数の画像入力手段から入力した画像を
蓄積する画像蓄積ステップと、 前記画像蓄積ステップに蓄積された少なくとも一の画像
入力手段の画像を所定の変換画像へ変換する変換ステッ
プと、 前記変換ステップにより得られた変換画像と、前記画像
蓄積ステップに蓄積された前記一の画像入力手段以外の
他の画像入力手段の画像を比較して比較画像を作成する
比較ステップと、 前記比較ステップにより作成された比較画像中の領域内
において動いている物体の領域を抽出する動領域抽出ス
テップと、からなることを特徴とする画像監視方法。 - 【請求項11】複数の画像入力手段から入力した画像を
蓄積する画像蓄積機能と、 前記画像蓄積機能に蓄積された少なくとも一の画像入力
手段の画像を所定の変換画像へ変換する変換機能と、 前記変換機能により得られた変換画像と、前記画像蓄積
機能に蓄積された前記一の画像入力手段以外の他の画像
入力手段の画像を比較して比較画像を作成する比較機能
と、 前記比較機能により作成された比較画像中の領域内にお
いて動いている物体の領域を抽出する動領域抽出機能
と、を実現するためのプログラムを記録した記録媒体で
あることを特徴とする画像監視方法を記録した記録媒
体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10132191A JPH11328365A (ja) | 1998-05-14 | 1998-05-14 | 画像監視装置及びその方法 |
US09/161,428 US6205242B1 (en) | 1997-09-29 | 1998-09-24 | Image monitor apparatus and a method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10132191A JPH11328365A (ja) | 1998-05-14 | 1998-05-14 | 画像監視装置及びその方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11328365A true JPH11328365A (ja) | 1999-11-30 |
Family
ID=15075533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10132191A Abandoned JPH11328365A (ja) | 1997-09-29 | 1998-05-14 | 画像監視装置及びその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11328365A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002312795A (ja) * | 2001-04-13 | 2002-10-25 | Sony Corp | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
US7123746B2 (en) * | 1999-12-21 | 2006-10-17 | Poseidon | Method and system for detecting an object in relation to a surface |
US7313265B2 (en) | 2003-03-13 | 2007-12-25 | Kabushiki Kaisha Toshiba | Stereo calibration apparatus and stereo image monitoring apparatus using the same |
JP2012248004A (ja) * | 2011-05-27 | 2012-12-13 | Toshiba Corp | 画像処理装置、画像認識装置及び方法 |
KR20210001318A (ko) * | 2019-06-27 | 2021-01-07 | 한국건설기술연구원 | 지능형 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
JP2021108193A (ja) * | 2016-09-28 | 2021-07-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US11657514B2 (en) | 2016-09-26 | 2023-05-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0396451A (ja) * | 1989-09-11 | 1991-04-22 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
JPH03273315A (ja) * | 1990-03-23 | 1991-12-04 | Mazda Motor Corp | 移動車の画像処理装置 |
JPH03282709A (ja) * | 1990-03-30 | 1991-12-12 | Mazda Motor Corp | 移動車の環境認識装置 |
JPH0545136A (ja) * | 1991-08-19 | 1993-02-23 | Mitsubishi Heavy Ind Ltd | 視覚システム |
JPH06180749A (ja) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
JPH0721388A (ja) * | 1993-06-23 | 1995-01-24 | Toshiba Corp | 画像認識装置 |
JPH0728975A (ja) * | 1993-06-25 | 1995-01-31 | Fujitsu Ltd | 道路環境認識装置 |
JPH07250319A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
JPH09224237A (ja) * | 1996-02-16 | 1997-08-26 | Hitachi Ltd | 画像監視システム |
JPH09293141A (ja) * | 1996-04-24 | 1997-11-11 | Hitachi Ltd | 移動物体検出装置 |
-
1998
- 1998-05-14 JP JP10132191A patent/JPH11328365A/ja not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0396451A (ja) * | 1989-09-11 | 1991-04-22 | Nissan Motor Co Ltd | 車両用障害物検出装置 |
JPH03273315A (ja) * | 1990-03-23 | 1991-12-04 | Mazda Motor Corp | 移動車の画像処理装置 |
JPH03282709A (ja) * | 1990-03-30 | 1991-12-12 | Mazda Motor Corp | 移動車の環境認識装置 |
JPH0545136A (ja) * | 1991-08-19 | 1993-02-23 | Mitsubishi Heavy Ind Ltd | 視覚システム |
JPH06180749A (ja) * | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
JPH0721388A (ja) * | 1993-06-23 | 1995-01-24 | Toshiba Corp | 画像認識装置 |
JPH0728975A (ja) * | 1993-06-25 | 1995-01-31 | Fujitsu Ltd | 道路環境認識装置 |
JPH07250319A (ja) * | 1994-03-14 | 1995-09-26 | Yazaki Corp | 車両周辺監視装置 |
JPH09224237A (ja) * | 1996-02-16 | 1997-08-26 | Hitachi Ltd | 画像監視システム |
JPH09293141A (ja) * | 1996-04-24 | 1997-11-11 | Hitachi Ltd | 移動物体検出装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7123746B2 (en) * | 1999-12-21 | 2006-10-17 | Poseidon | Method and system for detecting an object in relation to a surface |
JP2002312795A (ja) * | 2001-04-13 | 2002-10-25 | Sony Corp | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
JP4631199B2 (ja) * | 2001-04-13 | 2011-02-16 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びにプログラム |
US7313265B2 (en) | 2003-03-13 | 2007-12-25 | Kabushiki Kaisha Toshiba | Stereo calibration apparatus and stereo image monitoring apparatus using the same |
JP2012248004A (ja) * | 2011-05-27 | 2012-12-13 | Toshiba Corp | 画像処理装置、画像認識装置及び方法 |
US11657514B2 (en) | 2016-09-26 | 2023-05-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2021108193A (ja) * | 2016-09-28 | 2021-07-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR20210001318A (ko) * | 2019-06-27 | 2021-01-07 | 한국건설기술연구원 | 지능형 감시 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9646212B2 (en) | Methods, devices and systems for detecting objects in a video | |
US9210336B2 (en) | Automatic extraction of secondary video streams | |
US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
US9275472B2 (en) | Real-time player detection from a single calibrated camera | |
WO2016199244A1 (ja) | 物体認識装置及び物体認識システム | |
US20090041297A1 (en) | Human detection and tracking for security applications | |
JP5106302B2 (ja) | 移動物体追跡装置 | |
JP5271227B2 (ja) | 群衆監視装置および方法ならびにプログラム | |
JP2002074368A (ja) | 移動物体認識追跡装置 | |
US20110069155A1 (en) | Apparatus and method for detecting motion | |
JP6789421B2 (ja) | 情報処理装置、追跡方法、及び追跡プログラム | |
JP5371040B2 (ja) | 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム | |
JP5101429B2 (ja) | 画像監視装置 | |
JPWO2008035411A1 (ja) | 移動体情報検出装置、移動体情報検出方法および移動体情報検出プログラム | |
JP3577875B2 (ja) | 移動物体抽出装置 | |
JP2005503731A (ja) | 協働的な分散されたビジョンを通じたインテリジェントな4画面同時表示 | |
JP2008035301A (ja) | 移動体追跡装置 | |
JP2002342762A (ja) | 物体追跡方法 | |
JPH11328365A (ja) | 画像監視装置及びその方法 | |
JP2004094518A (ja) | 人物追跡装置、人物追跡方法及びプログラム | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
JP2005250692A (ja) | 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体 | |
KR101154350B1 (ko) | 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법 | |
JP4743601B2 (ja) | 動画像処理装置 | |
JP2001012946A (ja) | 動画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20071120 |