JPH1093957A - 移動物体検出方法、装置、システム、および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】撮影環境に変動（例えば撮影対象の明るさや、
カメラの揺れなど）があっても、精度よく移動物体を検
出する。 【解決手段】第１の画像とその直前に入力された第２の
画像とのプロファイルマッチングにより揺れ量を求める
揺れ推定部１０００と、入力された画像の濃度を対数変
換と線形変換とを組み合わせて変換する濃度変換部１２
００と、揺れ量を用いて濃度変換後の第１の画像を補正
する揺れ補正部１５００と、補正後の第１及び２の画像
の差分データを作成する差分画像作成部２０００と、差
分データを用いて移動物体を検出する移動物体検出部２
１００とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視対象領域を撮
影した画像を順次取込み、該画像を解析することで、監
視対象領域内の移動物体を検出する方法と、該方法を用
いた移動物体検出装置ならびにシステムと、該方法を実
現するプログラムを保持する記憶媒体とに関する。

【０００２】

【従来の技術】監視対象領域内の移動物体を検出する方
法としては、ＩＶＴ（工業用テレビジョン）カメラによ
り得られた画像により、対象領域を監視員が直接監視す
る方法がある。しかし、この方法では、監視員が常時モ
ニタを注視しなければならず、長時間の監視作業の疲労
による見落としが発生しがちであった。

【０００３】そこで、特開平８−１０６５３４号公報で
は、ＩＶＴカメラにより得られた画像を解析し、移動物
体を検出、識別する移動物体検出装置が提案されてい
る。この装置は、時間的に隣接する画像間の差分データ
を基に、入力画像から移動物体を抽出し、その形状など
からその移動物体を識別するものであり、監視対象領域
内の移動物体を、精度よく検出できる。

【０００４】

【発明が解決しようとする課題】しかし、例えば屋外を
監視対象とする場合などには、カメラの設置環境によ
り、カメラ本体が揺ることがある。また、海上に停泊中
の船舶などでは監視シーン自身が揺れてしまう。そこ
で、検出精度をより向上させるためには、このような画
像の揺れを相殺する揺れ補正を行う必要がある。

【０００５】従来より、カメラを用いた撮影に際して、
手ぶれ防止のため、カメラの視野範囲内の所定の小ブロ
ックに対し、該ブロックがどこにあるか１画素ずつシフ
トしてサーチし、最大類似のブロックの位置を検出して
手ぶれ防止を行う方法があった。この場合、手ぶれの揺
れは比較的小さいため、ぶれ防止用のブロックは小さく
て足り、また、サーチ領域も狭い範囲でよい。しかし、
この方法を移動物体検出装置に適用すると、小さいブロ
ックでは該ブロックに外乱や移動物体が進入すると類似
のブロックの位置が手ぶれの方向ではなくなってしまう
という問題がある。そこで、サーチ領域を広くすると、
処理に時間がかかってしまう。

【０００６】また、上述の移動物体検出装置では、入力
画像の濃度（各画素の輝度）を対数変換することによ
り、ノイズを低減している。この方法では、入力画像の
濃度を対数変換すると、低濃度部の範囲は変換前より変
換後の濃度差が大きくなり、高濃度部の範囲では変換前
より変換後の濃度差が少なくなるため、高濃度部のノイ
ズを削減することができる。しかし、この方法では、低
濃度部の移動物体を検出する場合、濃度差が大きくなり
過ぎるため、低濃度部のノイズを移動物体として検出し
てしまうといった問題があった。

【０００７】そこで本発明は、環境に変動（カメラなど
の揺れや、撮影対象の明るさの変化）があっても、精度
よく移動物体を検出することのできる移動物体検出方法
等を提供するを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、監視対象領域を撮影した画像の入力を
順次受け付けて、該監視対象領域内の移動物体を検出す
る移動物体検出方法において、入力された画像の濃度を
変換するステップと、処理対象である第１の画像と、そ
の直前に入力された第２の画像との、濃度変換後の画像
の差分である差分画像データを作成するステップと、差
分画像データを用いて移動物体を検出するステップとを
備える第１の移動物体検出方法が提供される。

【０００９】ここで、濃度の変換は、各画素ごとに、濃
度変換前の該画素の濃度を対数変換した値に、第１の係
数を乗じて得られる値と、濃度変換前の該画素の濃度を
線形変換した値に、第２の係数を乗じて得られる値と
を、合計して、該画素の変換後の濃度を得ることにより
行われ、第１の係数および第２の係数の合計は１であ
る。

【００１０】この方法によれば、対数変換と線形変換と
が組み合わされた変換方法により濃度が変換されるた
め、低濃度部のノイズが極端に増幅されてしまうことを
回避できる。

【００１１】なお、第１の係数または第２の係数は、濃
度変換前の上記第１の画像における最小濃度値に応じて
定めることが望ましい。ここで、最小濃度値が大きけれ
ば第１の変換係数を小さくするようにすれば、低濃度の
部分のノイズの増幅を回避できる。従って、この第１の
移動物体変換方法によれば、昼夜のいずれにおいても、
精度よく処理することができる。

【００１２】さらに、本発明では、監視対象領域を撮影
した画像の入力を順次受け付けて、該監視対象領域内の
移動物体を検出する移動物体検出方法において、第１の
画像とその直前に入力された第２の画像とのプロファイ
ルまたはパターンのマッチングにより揺れ量を求めるス
テップと、該揺れ量を用いて第１の画像を補正するステ
ップと、補正後の第１の画像と第２の画像との差分画像
データを作成するステップと、差分画像データを用いて
移動物体を検出するステップとを備える、第２の移動物
体検出方法が提供される。

【００１３】この方法によれば、カメラの揺れ（ぶれ）
などの移動物体以外に起因する画像の変動が、補正によ
り相殺されるため、屋外などの揺れの生じやすい環境で
あっても、精度よく移動物体を検出することができる。

【００１４】ここで、揺れ量を求めるステップは、例え
ば、第１の画像における、揺れ検出のための基準領域を
設定する第１のステップと、基準領域毎に、領域内の濃
度プロファイルまたはテンプレートパターンが該領域に
一致または類似する、第２の画像における領域である一
致領域を検出する第２のステップと、基準領域と一致領
域との位置の差から、各プロファイル領域の移動ベクト
ルを求める第３のステップと、移動ベクトルを基に揺れ
量を求める第４のステップとを備える。なお、第４のス
テップは、移動ベクトルの頻度を求め、頻度２以上の移
動ベクトルの平均を、揺れ量とするようにしてもよい。

【００１５】さらに、本発明では、監視対象領域を撮影
した画像の入力を順次受け付けて、該監視対象領域内の
移動物体を検出する移動物体検出方法において、入力さ
れた第１の画像における、揺れ検出のための基準領域を
設定する第１のステップと、基準領域毎に、領域内の濃
度プロファイルまたはテンプレートパターンが該基準領
域に一致または類似する領域である一致領域を、第１の
画像の直前に入力された第２の画像内で検出する第２の
ステップと、基準領域と上記一致領域との位置の差か
ら、各基準領域の移動ベクトルを求める第３のステップ
と、基準領域毎に、移動ベクトルを揺れ量として揺れ補
正を行い、補正後の上記基準領域の画像と一致領域の画
像との差分画像データを作成する第４のステップと、基
準領域毎の差分画像データを用いて移動物体を検出する
第５のステップとを備える、第３の移動物体検出方法が
提供される。

【００１６】この方法によれば、画像内に設けられた複
数の基準領域ごとに、その揺れ（ぶれ）が相殺されるた
め、例えば、監視対象領域内に、海上に浮かぶ船（波に
より常時揺れている）などの、移動物体以外の位置変動
物が存在しているために、画像内で揺れ方向が異なって
いるシーンであっても、精度よく移動物体を検出するこ
とができる。

【００１７】なお、上述した第２または第３の移動物体
検出方法に、さらに、入力された画像の濃度を変換する
ステップを設けてもよい。この場合、濃度変換ステップ
は、遅くとも、差分画像データを作成するステップの前
に設ける。

【００１８】本発明の移動物体検出方法は、検出した移
動物体の重心位置の履歴を記憶し、２以上の入力画像に
おける該移動物体の重心位置を、表示画面に表示するス
テップを、さらに備えることが望ましい。このようにす
れば、使用者は、移動物体の移動方向、移動速度などを
容易に識別することができる。

【００１９】さらに、本発明では、上述の第１〜３の移
動物体検出方法を実行するプログラムを保持する記憶媒
体が提供される。また、本発明では、上述の第１〜３の
移動物体検出方法を用いた移動物体検出装置と、該装置
および該装置に画像データを入力する撮像装置を備える
移動物体検出システムが提供される。

【００２０】本発明の移動物体検出方法は、例えば、埠
頭、立ち入り禁止区域、店舗、金融機関、倉庫、ビル、
工場、プラント、駐車場等において、昼夜、外乱が存在
する環境下での移動物体の監視に特に適している。

【００２１】

【発明の実施の形態】以下、本発明の一実施例を図面を
用いて説明する。 ＜システム構成＞本実施例の移動物体検出システムは、
図１に示すように、撮像装置５０００と移動物体検出装
置４０００とを備える。なお、図１では、制御の流れを
実線の矢印で、データの流れを点線の矢印で、それぞれ
図示した。

【００２２】撮像装置５０００は、ＩＴＶ（工業用テレ
ビジョン）カメラ１００と画像累積部２００とを備え、
ＩＴＶカメラ１００により撮影された画像を、画像累積
部２００が時間積分して累積して出力する。

【００２３】移動物体検出装置４０００は、入力された
画像から移動物体を検出する装置であり、画像を表示す
る表示装置３２００と、入力された画像データを保持す
るための入力画像記憶部１１００と、入力された画像の
濃度を変換する濃度変換部１２００と、濃度変換部１２
００の変換した画像データを保持するための濃度変換画
像記憶部１３００と、画像データの揺れを推定する揺れ
推定部１０００と、推定結果を保持するための揺れ量記
憶部１４００と、揺れ量を基に画像データを補正する揺
れ補正部１５００と、揺れ補正後の画像データの直前の
画像データからの差分データを作成する差分画像作成部
２０００と、移動物体検出部２１００と、データ格納部
３０００ａを有し、データ格納部３０００ａに保持され
たデータを基に、表示装置３２００に画像を表示する表
示制御部３０００とを備える。

【００２４】移動物体検出部２１００は、差分データか
ら移動物体を抽出する移動物体抽出処理部２２００と、
移動の履歴を保持するための移動履歴記憶部１６００
と、抽出した物体を識別する抽出物体識別処理部２４０
０と、識別した物体から検出対象物を抽出し、その移動
物体に関するデータをデータ格納部３０００ａに格納す
る移動物体検知部２６００とを備える。

【００２５】移動物体検出装置４００のハードウエア構
成図を図６に示す。移動物体検出装置４００は、入力装
置４１００と、表示装置３２００と、ＣＰＵ（中央演算
処理装置）４２００と、外部記憶装置４３００と、主記
憶装置４４００とを備える。本実施例では、表示装置３
２００として液晶表示装置を用いるが、ＣＲＴ（陰極線
管）表示装置など、他の画像表示装置を用いてもよい。
また、外部記憶装置４３００として、本実施例ではＲＯ
Ｍ（Read Only Memory）装置を用いるが、光ディスク装
置、磁気ディスク装置、磁気テープ装置など、他の大容
量記憶媒体を用いてもよい。

【００２６】入力画像記憶部１１００と、濃度変換画像
記憶部１３００と、揺れ量記憶部１４００と、移動履歴
記憶部１６００と、データ格納部３０００ａとは、主記
憶装置４０００または外部記憶装置４３００に確保され
た記憶領域である。入力画像記憶部１１００と、濃度変
換画像記憶部１３００とは、それぞれ２画面分の記憶領
域（フレームメモリ）（１１００ａおよびｂ、１３００
ａおよびｂ）を有する。データ格納部３０００ａは、３
入力画面分の移動物体に関するデータを保持するための
記憶領域を有する。揺れ量記憶部１４００は、Ｘ方向移
動量格納領域とＹ方向移動量格納領域とを有する。移動
履歴記憶部１６００は、移動物体ごとに、その重心位置
および移動量を、時系列に従って保持するための記憶領
域である。

【００２７】また、濃度変換部１２００と、濃度変換画
像記憶部１３００と、揺れ推定部１０００と、揺れ補正
部１５００と、差分画像作成部２０００と、移動物体検
出部２１００と、表示制御部３０００とは、外部記憶装
置４３００にあらかじめ保持され主記憶装置４００に読
み込まれたインストラクション（プログラム）をＣＰＵ
４２００が実行することにより実現される。外部記憶装
置は、これらの各部を実現するためのインストラクショ
ン（プログラム）をあらかじめ保持する記憶媒体であ
る。このように、これらの各部は本実施例ではソフトウ
エアにより実現されるが、専用回路などを用いてハード
ウエアにより実現してもよい。

【００２８】なお、画像累積部２００と揺れ推定部１０
００との間の信号の授受を通信回線により行うように
し、撮像装置５０００を移動物体検出装置４０００の遠
隔地に設けるようにしてもよい。また、表示制御部３０
００と表示装置３２００との間の信号の授受を通信回線
により行い、表示装置３２００を遠隔地に設けるように
してもよい。信号の授受は、例えば、ＲＳ−２３２Ｃ等
の通信規約により行うことができる。通信回線は、有線
であると無線であるとを問わない。

【００２９】＜撮像装置＞撮像装置５０００は、ＩＴＶ
カメラ１００により撮影された画像信号のデータを、画
像累積部２００により時間積分して累積して出力する装
置である。本実施例では、ＩＴＶカメラ１００として非
蓄積型ＣＣＤ（電荷結合素子）カメラを用いた。

【００３０】画像累積部２００は、図２に示すように、
累積画像信号の記憶領域を初期化した後（ステップ２０
１）、非蓄積型ＣＣＤカメラが逐次的に出力する画像信
号を受信し、受信した信号を累積画像信号記憶領域の保
持する値に加えて累積画像信号記憶領域に格納する処理
（ステップ２０２）を、加算して得られた画像信号にお
ける対象物と拝啓との濃度差（輝度差）があらかじめ定
められた値（目視で識別できる程度）より大きくなるま
で繰返し（ステップ２０３）、最後に、累積画像信号記
憶領域に保持された画像信号を出力して（ステップ２０
４）、処理をステップ２０１に戻す。なお、図２では、
データの授受を点線の矢印により示した。

【００３１】本実施例では、加算処理（ステップ２０
１）を所定の濃度差が得られるまで繰り返すが、撮像対
象の照度が十分であれば、このような累積処理を行わな
くてもよく、また、一定時間内または一定数の画像信号
を累積するようにしてもよい。さらに、撮像対象の照度
を測定し、その照度に応じて累積時間または累積回数を
決定するようにしてもよい。なお、ＩＴＶカメラ１００
として蓄積型ＣＣＤカメラを用いれば、カメラから累積
された画像信号が出力されるため、画像累積部２００は
不要である。

【００３２】本実施例では、画像累積部２００は、ＣＰ
Ｕと主記憶装置とを備える情報処理装置であり、主記憶
装置にあらかじめ保持されたプログラムをＣＰＵが実行
することにより、図２に示した処理が実行されるが、本
発明はこれに限られず、例えば加算回路を用いるなどし
て、ハードウエアにより同様の機能を実現するようにし
てもよい。また、画像累積部２００を移動物体検出装置
４０００に設けてもよい。

【００３３】＜移動物体検出装置＞ Ａ．揺れ推定部 図３に示すように、カメラ１００本体または監視シーン
自身が揺れると、カメラの撮影範囲（視野）が相対的に
変化する。図３（ａ）に示した画像データ１０が出力さ
れたのち、カメラの視野が左上５０にシフトして、図３
（ｂ）に示した画像データ２０が出力された場合を考え
ると、建物３０は、その絶対的位置が変化していないに
もかかわらず、視野１０，４０内での相対的位置は変化
している。

【００３４】そこで、画像４０に含まれる対象物の座標
をこの視野のシフト分だけ移動させて、画像１０と画像
４０とにおける相対的位置を一致させた後、共通領域２
０（図３ではハッチングを付して図示）について画像デ
ータの差分を取ると、画像データに変化のない（すなわ
ち、絶対的座標に変化のない）建物３０の画像データ
は、差分データ８０中では相殺されて消去される。一
方、移動中の人物６０は、画像４０では左側７０に絶対
的位置が異なるため、共通領域２０の差分データ８０で
も消去されずに残る。従って、この差分処理により、移
動していない建物３０のデータに拘りなく、移動物体の
存在を検知することができる。

【００３５】そこで本実施例では、揺れ推定部１０００
が、入力画像記憶部１１００に保持された２画像データ
のうち、古い方（以下、基準画像データと呼ぶ）の中の
領域（領域Ａとする）についてプロファイルを求め、新
しい方の画像データ（以下、処理画像データと呼ぶ）中
から、それに一致するプロファイルを有する領域（領域
Ｂとする）を求めて、領域Ａの位置と領域Ｂの位置との
差から、プロファイル領域の移動ベクトルを求め、この
移動ベクトルから揺れ量を求めて、揺れ量記憶部１４０
０に格納する。

【００３６】この揺れ推定部１０００は、図４に示すよ
うに、入力された画像データを入力画像記憶部１０００
に格納する入力受付部３００と、プロファイルを作成す
るプロファイル作成部４００と、作成したプロファイル
を保持するためのプロファイル格納部４８０と、プロフ
ァイルの比較を行うプロファイルマッチング部６００
と、比較結果をもとに揺れ量を算出する揺れ算出部８０
０とを備える。なお、図４では、画像データの流れを点
線の矢印により図示した。

【００３７】本実施例では画像の比較にプロファイルを
用いるが、代わりにテンプレートパターンを用いても同
様に処理することができ、また、プロファイルとテンプ
レートパターンとを両方用いて処理してもよい。

【００３８】つぎに、各部の機能を図５を用いて説明す
る。なお、図５は、揺れ推定部１０００における処理の
流れを示す流れ図である。

【００３９】（１）入力受付部 画像信号として画像データが入力されると（ステップ５
０１）、まず、入力受付部３００は、画像データの入力
がシステム起動後初めてであるか否か検査し（ステップ
５０２）、初めてなければ、入力された画像データを、
入力画像記憶部１１００の古いデータが保持されている
方の記憶領域（図１および図４では領域１１００ａとし
て図示）に格納して（ステップ５０３）、プロファイル
作成部４００に制御を渡す。これにより、入力画像記憶
部１１００には、常に最新の画像データと、その直前の
画像データとが保持されることになる。

【００４０】画像データの入力が初めてであれば、入力
受付部３００は、入力画像記憶部１１００を初期化した
後（ステップ５０４）、一方の記憶領域１１００ａに入
力された画像データを格納し（ステップ５０５）、プロ
ファイルを求める画像領域（以下、プロファイル領域と
呼ぶ）の候補を決定してプロファイル格納部４８０に格
納して（ステップ５０６）、処理を終了する。

【００４１】ステップ５０６において、入力受付部３０
０は、まず、入力を受け付けた画像データを表示装置３
２００に表示した上で、入力装置４１００の入力手段
（マウス等）により画像内の２点の座標入力を受け付
け、入力された２座標を対角線上の２頂点とする矩形領
域をプロファイル領域候補として、プロファイル格納部
４８０に領域を確保し、該領域に格納する処理を、終了
指示が入力されるまで繰り返す。これにより、一以上の
プロファイル領域候補が設定される。

【００４２】なお、プロファイル領域候補をあらかじめ
定めておき、ステップ５０６を省略してもよい。また、
入力された画像データを基に、濃度分散閾値が所定の値
以上の矩形領域を求め、これをプロファイル領域候補と
してもよく、また、濃度分散閾値が所定の値以上の矩形
領域を表示装置３２００に表示し、その選択を入力装置
４１００を介して受け付けるようにしてもよい。プロフ
ァイル領域は、多角形や円等でもよく、任意の形状とし
てもよい。さらに、撮影対象のシーンに特徴的な対象物
の形状に応じて、プロファイル領域の形をあらかじめ定
めておいてもよい。

【００４３】プロファイル格納部４８０は、プロファイ
ル領域候補ごとに、該領域の定義の格納領域と、該領域
のプロファイルの格納領域と、該領域の移動ベクトルの
格納領域とを備える、主記憶装置４４００に確保された
記憶領域である。

【００４４】（２）プロファイル作成部 プロファイル作成部４００は、プロファイル格納部４８
０に保持されたプロファイル領域候補ごとに（ステップ
５０７）、基準画像データにおける該領域内のＸプロフ
ァイル（Ｘ軸方向の投影分布）およびＹプロファイル
（Ｙ軸方向の投影分布）を作成し（ステップ５０８）、
その濃度分散値を求め（ステップ５０９）、その濃度分
散閾値が所定の基準値以上であれば（ステップ５１
０）、その候補をプロファイル領域として、該領域に対
応するプロファイル格納部４８０のプロファイル格納領
域に、該プロファイル領域のＸプロファイルおよびＹプ
ロファイルを格納する処理を（ステップ５１１）、すべ
ての候補が処理されるまで繰り返した後（ステップ５１
２）、プロファイルマッチング部６００に制御を渡す。

【００４５】なお、プロファイル格納部４８０に保持さ
れたプロファイル領域の候補のうち、ステップ５１１に
おいてプロファイルが格納されたものが、プロファイル
領域として用いられる。

【００４６】ステップ５１０で用いる濃度分散閾値の基
準値は、撮影対象シーンやその照度、揺れの大きさなど
に応じてあらかじめ定めておく。例えば、蓄積型ＣＣＤ
カメラで高感度自動モードで撮影した夜間の屋外映像の
場合、濃度分散閾値が約０.８〜０.９の領域を用いるこ
とが望ましい。プロファイル領域の設定には、２値画像
を用いてプロファイル領域を設定してもよい。２値画像
を用いる場合、基準画像を所定の閾値で２値化した２値
画像を用いてもよく、基準画像のエッジを所定の閾値に
より求めて２値化した２値画像でもよい。また、本実施
例では、ＸプロファイルおよびＹプロファイルの両方を
用いるが、いずれか一方のみを用いてもよい。

【００４７】（３）プロファイルマッチング部 プロファイルマッチング部６００は、プロファイル領域
ごとに（ステップ５１３）、該プロファイル領域のプロ
ファイルと一致／類似するプロファイルを有する処理画
像内の領域（プロファイル一致／類似領域と呼ぶ）を求
め、それらの位置の差から移動ベクトルを求めて、プロ
ファイル格納部４８０の移動ベクトル格納領域に格納す
る処理を（ステップ５１４）、すべてのプロファイル領
域が処理されるまで繰り返し（ステップ５１５）、揺れ
算出部８００に制御を渡す。

【００４８】プロファイル格納部４８０に保持されたプ
ロファイル領域の候補のうち、プロファイルが保持され
ており、さらに、ステップ５１４において移動ベクトル
が格納されたものが、揺れ算出部８００による揺れの算
出に用いられる。

【００４９】つぎに、ステップ５１４における処理を、
図８を用いて説明する。まず、はじめに、図７（ａ）を
用い、Ｙプロファイルのマッチングを例にとって説明す
る。ここで、ＸプロファイルまたはＹプロファイルと
は、濃淡画像（又は２値画像）の濃度値（２値画像の場
合は画素数）を、それぞれＸ方向またはＹ方向に累積し
て得られるＸ投影分布またはＹ投影分布である。

【００５０】プロファイルマッチング部６００は、ま
ず、ステップ５１３で決定したプロファイル領域４２７
に対応するプロファイル格納部４８０のプロファイル格
納領域から、ステップ５０８において算出した該領域４
２７のＹプロファイル６０５を読み出す（ステップ７１
０）。つぎに、プロファイルマッチング部６００は、処
理画像内の検索対象領域６１５を決定し、該領域のＹプ
ロファイル６２０を算出する（ステップ７２０）。検索
対象領域６１５は、プロファイル領域４２７を包含す
る、あらかじめ定められた大きさの領域６１５である。
該領域６１５の幅（Ｘ方向長さ）６２５は、プロファイ
ル領域４２７の幅６１０と同じであり、高さ（Ｙ方向長
さ）は、あらかじめ定められている（カメラの縦方向の
揺れ量の程度に対応して決定いておくことが望まし
い）。

【００５１】つぎに、プロファイルマッチング部６００
は、検索対象領域６１５内に、プロファイル領域４２７
と同じサイズの領域６３５を設定し、該領域６３５をＹ
方向に１画素ずつシフトて、該領域６３５内のＹプロフ
ァイル６２０のパターンが基準画像のＹプロファイル６
０５のパターンに一致する（一致するものがなければ最
も類似する）領域６８５をサーチする（ステップ７３
０）。なお、２値画像のプロファイルマッチングを行う
場合、２値画像は、基準画像および処理画像を所定の閾
値で２値化した２値画像でもよく、エッジを求めて所定
の閾値で２値化した２値画像でもよい。

【００５２】パターンが一致または類似する領域が検出
されれば（ステップ７４０）、プロファイルマッチング
部６００は、その領域６３５をプロファイル一致／類似
領域とし、基準画像におけるプロファイル領域４２７
と、処理画像におけるプロファイル一致／類似領域６８
５とのＹ座標の差をＹ方向ずれ（揺れ）量６４０として
求める（ステップ７５０）。

【００５３】Ｙ方向ずれ量６４０を格納した後、プロフ
ァイルマッチング部６００は、まだＸプロファイルにつ
いての処理が済んでいなければ（ステップ７６０）、図
７（ｂ）に示すように、ステップ７１０と同様にして基
準画像のプロファイル領域４２７のＸプロファイル６５
５を読み出し（ステップ７７０）、処理をステップ７１
０に戻して、Ｘプロファイルについてプロファイル一致
／類似領域６８５を検出し、Ｘ方向ずれ量６９０を算出
する（ステップ７２０〜７６０）。ただし、Ｘプロファ
イル６７０の算出対象である検索対象領域６６５の高さ
（Ｙ方向長さ）６７５は、プロファイル領域４２７の高
さ６６０と同じにする。また、検索対象領域６６５の幅
（Ｘ方向長さ）は、カメラの横方向の揺れ量の程度に対
応して設定することが望ましい。

【００５４】なお、検索対象領域６１５内で所定の閾値
以上の類似度を有するパターンがまったく検出されなか
った場合（ステップ７４５）、プロファイルマッチング
部６００は、ベクトルの算出を行わずに、そのまま処理
をステップ７６０に進める。

【００５５】ステップ７６０において、すでにＸプロフ
ァイルについての処理が済んでいれば、プロファイルマ
ッチング部６００は、算出したＸ方向ずれ量およびＹ方
向ずれ量をもとに、各プロファイル領域４２７の移動ベ
クトルを求め、プロファイル格納部４８０の移動ベクト
ル格納領域に格納する（ステップ７８０）。

【００５６】本実施例では、プロファイル領域４２７の
移動ベクトルを、始点座標と終点座標とにより定義す
る。すなわち、図９に示すように、基準画像のプロファ
イル領域４２７の代表位置（本実施例では矩形の右上頂
点）７１５を始点とし、処理画像のプロファイル一致／
類似領域６８５における該位置に相当する代表位置（本
実施例では矩形の右上頂点）７２５を終点として、始点
と終点を結ぶベクトル７３５を移動ベクトルとする。

【００５７】本実施例では、プロファイル領域４２７が
（Ｓ_m×Ｓ_n）画素の矩形の場合、Ｘプロファイルの検索
対象領域の高さを（Ｓ_m＋α）画素とし、Ｙプロファイ
ルの検索対象領域の幅を（Ｓ_n＋β）画素とすると、サ
ーチのためのシフトの回数は、（Ｓ_m＋α）＋（Ｓ_n＋
β）回で済む。従って、本実施例のシステムでは、領域
が大きくなるほど処理時間短縮効果が大きい。なお、本
実施例では、Ｘプロファイル及びＹプロファイルとして
濃度値からの算出した値をそのまま用いたが、正規化し
た値を用いてもよい。

【００５８】（４）揺れ算出部 カメラの揺れは、撮影された画像９００全体に対して一
律な移動をもたらす。しかし、図９に示すように、歩行
中の人物などの移動物体３２８０が存在するプロファイ
ル領域の移動ベクトル７７５は、このカメラの揺れに起
因する移動ベクトル７６５とは合致しない。そこで、本
実施例の揺れ算出部８００は、移動ベクトルの頻度を算
出し、頻度の多いベクトルのみを用いて、揺れ量（Ｘ方
向移動量およびＹ方向移動量）を求め、揺れ量記憶部１
４００に格納する。これにより、移動ベクトルの方向精
度を向上させることができる。つぎに、この揺れ算出部
８００における処理の詳細を、図５を用いて説明する。

【００５９】まず、揺れ算出部８００は、主記憶装置４
４００に一時的記憶領域として、移動頻度分布テーブル
８１０の領域を確保し、プロファイル格納部４８０に保
持されている移動ベクトルをすべて複写する（ステップ
５１６）。移動頻度分布テーブル８１０は、図１０に示
すように、移動ベクトル毎に、該移動ベクトルの始点座
標格納領域８１１および終点座標格納領域８１２と、該
移動ベクトルのＸ方向移動量格納領域８１３およびＹ方
向移動量格納領域８１４と、該移動ベクトルの出現頻度
の格納領域８１５とを備えるテーブルである。ステップ
５１６では、始点座標格納領域８１１および終点座標格
納領域８１２に値が格納される。また、出現頻度格納領
域８１５には、初期値として１が格納される。

【００６０】つぎに、揺れ算出部８００は、始点座標と
終点座標との差分を求めることにより、各移動ベクトル
のＸ方向移動量およびＹ方向移動量を算出し、それぞ
れ、Ｘ方向移動量格納領域８１３およびＹ方向移動量格
納領域８１４に格納する（ステップ５１７）。

【００６１】ここで、テーブル８１０に移動ベクトルが
保持された行が１行しかなければ（ステップ５１８）、
揺れ算出部８００は、その行のＸ方向移動量格納領域８
１３およびＹ方向移動量格納領域８１４に保持された値
を、揺れ量記憶部のＸ方向移動量格納領域およびＹ方向
移動量格納領域に格納して（ステップ５２３）、処理を
終了する。

【００６２】移動ベクトルが複数であれば（ステップ５
１８）、揺れ算出部８００は、同一移動量の行数を数え
て、その移動量を保持する最初の行の出現頻度格納領域
８１５に格納する（ステップ５１９）。すなわち、揺れ
算出部８００は、移動頻度分布テーブル８１０の各行に
ついて、その行（行Ａとする）より下の行について、該
行（行Ｂとする）が行Ａと同じ移動量を保持していれ
ば、行Ａの出現頻度格納領域８１５の保持する値を１増
加させて、その行Ｂを削除するという処理を、最下行を
処理するまで順次実行する。なお、このステップ５１９
における同一か否かの判定において、若干の相違があっ
ても同一であると判断するようにしてもよい。例えば、
各方向の移動量の差が、それぞれ±２画素以下であれば
同一であると判定するようにしてもよい。

【００６３】以上により移動頻度分布テーブル８１０が
完成するので、つぎに揺れ算出部８００は、同一移動量
の移動ベクトルがあったか否か検査する（ステップ５２
０）。

【００６４】同一移動量の移動ベクトルがない（すなわ
ち、テーブル８１０のすべての行の出現頻度格納領域８
１５に「１」が保持されている）場合、揺れ算出部８０
０は、揺れ量記憶部のＸ方向移動量格納領域およびＹ方
向移動量格納領域に、いずれも０を格納して（ステップ
５２１）、処理を終了する。

【００６５】また、頻度が２以上の移動量がひとつの場
合（すなわち、テーブル８１０の出現頻度格納領域８１
５に２以上の値が保持されている行が１行の場合）、揺
れ算出部８００は、その行のＸ方向移動量格納領域８１
３およびＹ方向移動量格納領域８１４に保持された値
を、揺れ量記憶部のＸ方向移動量格納領域およびＹ方向
移動量格納領域に格納して（ステップ５２３）、処理を
終了する。

【００６６】さらに、頻度が２以上の移動量が複数ある
場合（すなわち、テーブル８１０の出現頻度格納領域８
１５に２以上の値が保持されている行が２行以上の場
合）、揺れ算出部８００は、出現頻度格納領域８１５に
２以上の値が保持されているすべての行のＸ方向移動量
格納領域８１３およびＹ方向移動量格納領域８１４をそ
れぞれ平均し、得られた値を、揺れ量記憶部のＸ方向移
動量格納領域およびＹ方向移動量格納領域に格納して
（ステップ５２４）、処理を終了する。

【００６７】以上の処理により、基準画像と処理画像の
カメラの揺れ量が推定され、揺れ量記憶部１４００に格
納されたので、つぎに濃度変換部１２００が起動され
る。

【００６８】なお、本実施例では、ステップ５１９に先
立って各ベクトルの移動量を求め（ステップ５１７）、
この移動量を用いて同一か否かの判定（ステップ５１
９）を行ったが、各ベクトルの距離および傾き（始点か
ら終点まで線分の長さおよび傾き）を用いて同一か否か
を判定してもよい。このようにする場合は、ステップ５
１７を削除し、代わりに、ステップ５２３および５２４
において移動量を求めるようにする。また、実際の距離
および傾きを用いる代わりに、同一か否か判定する２つ
の移動ベクトルの始点どうしの距離と終点どうしの距離
とが一致し、かつ、ベクトルの傾きが一致することを判
定基準としてもよい。

【００６９】本実施例では、この揺れ算出部８００によ
って移動頻度を用いた揺れの推定を行うため、揺れ量を
正確に推定することができる。しかし、この揺れ算出部
８００を省略し、プロファイルマッチング部６００の求
めた移動ベクトルを揺れ量として用いることもできる。

【００７０】例えば、撮影対象領域内に、物理的な位置
が変動しないことが保証されているものがある場合など
には、プロファイル領域を、それを含む１ヶ所とし、そ
の領域の移動ベクトルをそのまま揺れ量として用いるこ
ともできる。

【００７１】また、プロファイル領域毎に、その移動ベ
クトルをそれぞれ揺れ量として用い、領域毎に揺れ補正
するようにしてもよい。このようにすれば、撮影対象領
域内の一部に揺れがある場合にも、その揺れを補正し
て、移動物体を捕捉することができる。例えば、波によ
って揺れている船の上を人物が歩行している場合にも、
船の揺れを相殺し、歩行中の人物のみを移動物体として
認識することができる。

【００７２】なお、移動ベクトルをそのまま揺れ量とし
て用いる倍には、揺れの正確な把握のため、プロファイ
ル領域の大きさを、予想される移動物体よりも十分大き
くすることが望ましい。

【００７３】Ｂ．濃度変換部 揺れ推定部１０００の処理が終了すると、つぎに、濃度
変換部１２００が起動される。濃度変換部１２００は、
入力された（すなわち最新の）画像データを入力画像記
憶部１１００から読み込み、該画像における最も小さい
濃度値（f_minとする）に応じた変換係数により、画像の
濃度を変換し、揺れ補正部１５００に通知する。本実施
例では、この濃度変換処理により、撮影対象の照度に応
じて、暗い部分の濃度を強調するとともに、明るい部分
のノイズを低減することができる。

【００７４】本実施例の濃度変換部１２００は、つぎの
数式（数１）を用いて、各画素の濃度を変換する。

【００７５】

【数１】

【００７６】ここで、Ｈ（ｘ）は変換後の濃度であり、
Ｆ（ｘ）は変換対象画素（入力画像の画素）の濃度であ
り、Ａは処理対象画像中で最も小さい濃度値（ｆ_min）
に応じてあらかじめ定められた変換係数であり、０〜１
の値をとる。また、ｍは濃度のとりうる最大値であり、
２５５階調の入力画像を処理する場合、ｍ＝２５５であ
る。

【００７７】この式からわかるように、本実施例では、
実際の濃度（Ｆ（ｘ））から最小濃度値（ｆ_min）を引
いた値をもとに、濃度変換をおこなう。これにより、ノ
イズを削減することができる。ただし、（Ｆ（Ｘ）−ｆ
_min）の代わりにＦ（Ｘ）を用いてもよい。

【００７８】濃度変換部１２００の処理前の濃度（最小
濃度値との差）と処理後の濃度との関係は、図１１に示
すように、濃度変換を行わない場合（すなわち、数式
（数１）においてβで示した部分）、直線１２３０によ
って表され、濃度を対数変換した後正規化する場合（す
なわち、数式（数１）においてαで示した部分による変
換をした場合）、曲線１２２０によって表される。

【００７９】図１１からわかるように、対数変換によ
り、画像中の濃度の小さい部分（すなわち暗い部分）の
濃度が大きくなる一方、画像中の濃度の大きい部分（す
なわち明るい部分）の濃度はあまり変化しない。従っ
て、対数変換をすることにより、暗い部分の濃度を強調
するとともに、明るい部分のノイズを低減することがで
きる。

【００８０】変換係数Ａは、変換前と変換後との濃度の
関係を示す変換曲線の曲率を定める係数である。本実施
例における最小濃度値（ｆ_min）とＡとの関係を、月明
かり程度の照度での夜間撮影画像を処理する場合を例に
とって、表１に示す。

【００８１】

【表１】

【００８２】なお、一回の撮影で得られる画像における
最も小さい濃度値（０を除く）は通常１である。従っ
て、蓄積画像における最小濃度値（ｆ_min）は、通常、
蓄積回数に一致する。このため、最小濃度値は、明るい
昼間には蓄積回数が少ないため小さく、暗い夜間には蓄
積回数が多いため大きくなる。

【００８３】ゆえに、最小濃度値が大きいということ
は、撮影対象の照度が低いことを示しているので、暗い
部分の濃度増加が大きい、対数変換の変換曲線１２２０
に近い曲率の変換曲線１２４０になるように変換するこ
とが好ましい。そこで、最小濃度値が大きい場合は、変
換係数Ａとして大きな値を設定する。

【００８４】また、最小濃度値が小さいということは、
撮影対象の照度が高いことを示しているので、暗い部分
の濃度をあまり大きくする必要がなく、直線１２３０に
近い曲率の変換曲線１２５０になるように変換すること
が好ましい。そこで、最小濃度値が大きい場合は、変換
係数Ａとして小さな値を設定する。このようにすれば、
濃度の小さい部分のノイズが増幅されてしまうことを回
避できる。

【００８５】Ｃ．揺れ補正部 揺れ補正部１５００は、濃度変換部１２００から通知さ
れた補正後の入力画像に対して、揺れ量記憶部１４００
に保持された揺れ量を用いて揺れ補正を行う。これによ
り、入力画像と、その直前に入力された画像との位置合
わせが行われたことになる。

【００８６】本実施例における揺れ補正部１５００の処
理の流れを、図１２に示す。揺れ補正部１５００は、通
知された画像データが最初に入力されたものであれば
（ステップ１３０１）、そのまま変換画像記憶部１３０
０の記憶領域１３００ａに格納し（ステップ１３０
２）、処理を終了して、制御を差分画像作成部２０００
へ移す。

【００８７】２回目以降の入力であれば、揺れ補正部１
５００は、まず、各画素のｘ座標に揺れ量記憶部１４０
０のｘ方向移動量格納領域の保持する値を加算し（ステ
ップ１３０３）、つぎに、各画素のｙ座標に揺れ量記憶
部１４００のｙ方向移動量格納領域の保持する値を加算
する（ステップ１３０４）。これにより、画像の揺れが
補正されたので、揺れ補正部１５００は、この補正後の
画像データを変換画像記憶部１３００の、古いデータを
保持する記憶領域（図１では１３００ａとして図示）に
格納し（ステップ１３０５）、処理を終了して制御を差
分画像作成部２０００へ移す。これにより、変換画像記
憶部１３００の保持する２つの画像データのうち、古い
方のデータが新しいデータに更新される。

【００８８】なお、領域毎に差分データを作成する場合
には、このステップ１３０５の後で、プロファイル領域
と同じ領域を、処理対象領域として設定しておき、差分
画像作成部２０００、移動物体抽出処理部２２００、抽
出物体識別処理部２４００、および移動物体検知部２６
００が、この設定された処理対象領域毎に処理を行うよ
うにする。

【００８９】Ｄ．差分画像作成部 差分画像作成部２０００は、変換画像記憶部１３００に
保持された２つの画像データの濃度差を、各画素毎にを
求めて差分画像データを作成する。ただし、変換画像記
憶部１３００に一つの画像データしか保持されていなけ
れば、差分処理を行わずにそのまま処理を終了する。

【００９０】Ｅ．移動物体抽出処理部 移動物体抽出処理部２２００は、図１３に示すように、
差分画像作成部２０００の作成した差分画像データにお
ける濃度頻度分布を算出する濃度頻度分布算出部２２０
０と、濃度頻度分布データからノイズを除去するノイズ
除去部２２４０と、ノイズ除去後の濃度頻度分布データ
から２値化閾値を求める２値化閾値算出部２２６０と、
２値化画像データを作成する２値化処理部２２８０と、
２値化画像データから移動物体を抽出して、移動物体領
域の特徴量を算出する特徴量算出部２２９０とを備え
る。つぎに、各部の機能について説明する。ただし、移
動物体抽出処理部２２００の各部は、変換画像記憶部１
３００に一つの画像データしか保持されていなければ、
差分画像データの代わりにその画像データを用いる。

【００９１】（１）濃度頻度分布算出部 濃度頻度分布算出部２２２０は、各画素の濃度から、差
分画像における濃度の頻度分布を算出する。

【００９２】（２）ノイズ除去部 ノイズ除去部２２４０は、濃度頻度分布算出部２２４０
の算出した濃度頻度分布をつぎの数式により平滑化する
ことにより、ノイズを除去する。なお、ここでｈ_i（た
だし、ｉ＝０，１，…ｎ）は濃度ｉの頻度（画素数）を
示し、Ｈ_iは平滑化処理後の濃度ｉの頻度を示す。ま
た、ｎは濃度の最大値であり、ｊ＝１，…，ｎ−１であ
る。

【００９３】Ｈ₀＝（２ｈ₀＋ｈ₁）／３−１ Ｈ_j＝（ｈ_j-1＋２ｈ_j＋ｈ_j+1）／４−１ Ｈ_n＝（２ｈ_n＋ｈ_n-1）／３−１ この平滑化処理により、その濃度および隣接する濃度の
頻度が１以下であるノイズは、頻度Ｈ_iが０以下にな
る。

【００９４】（３）２値化閾値算出部 次に、２値化閾値算出部２２６０が、平滑化処理後の濃
度頻度分布における、頻度Ｈ_iが０より大きい濃度の最
大値（以下、最大濃度値と呼ぶ）と、あらかじめ定めら
れた下限値および上限値とを基に、２値化閾値を算出す
る。なお、下限値は、監視対象画像の正常状態における
ノイズの最大濃度を示す値であり、本実施例では、監視
対象画像の正常画像から予め算出した正常状態での白色
ノイズの最大値を用いたが、これに限られない。また、
上限値は、下限値に所定値を加えた値である。例えば、
高感度で自動モードにした蓄積型ＣＣＤカメラによる、
屋外の昼間の環境の画像や、屋外の夜間（月明かり程
度）の環境の画像では、２２５階調の場合、通常、上限
値は約１５〜３０階調程度、下限値は約５〜１０階調程
度である。

【００９５】つぎに、２値化閾値の算出処理を、図１４
を用いて説明する。２値化閾値算出部２２６０は、ま
ず、平滑化した濃度頻度分布から求めた最大濃度値（ｍ
ａｘ）と、あらかじめ定められた下限値（th_min）２３
４０とを平均し、中央値２３２０を求め、得られた中央
値２３２０と上限値２３３０とを比較する。

【００９６】ここで、２値化閾値算出部２２６０は、図
１４（ａ）に示すように中央値２３２０が上限値２３３
０以上であれば上限値２３３０を、また、図１４（ｂ）
に示すように中央値２３２０が上限値２３３０未満であ
れば中央値２３２０を、それぞれ２値化の閾値（th）と
する。

【００９７】なお、図１４（ａ）に示すように、最大濃
度値と下限値との間が十分に広い場合、画像処理におけ
るモード法を用いて２値化閾値を決定してもよい。

【００９８】（４）２値化処理部 ２値化処理部２２８０の処理の流れを図１５に示す。ま
ず、２値化処理部２２８０は、２値化閾値算出部２２６
０の算出した閾値を用いて、差分画像作成部２０００の
作成した差分画像データを２値化処理する（ステップ１
６０１）。これにより、画像領域は、変化領域、背景領
域とに２値化される。つぎに、２値化処理部２２８０
は、あらかじめ定められた範囲外の画素数の変化領域を
消去する（ステップ１６０２）。これにより検知対象と
して不適切な面積の変化領域がノイズとして除外され
る。

【００９９】以上の処理（ステップ１６０１，１６０
２）により得られる２値画像データでは、通常、図１６
に示すように、変化領域として、移動物体に含まれる複
数のブロック（画素の塊）１６０を含む。図１６では、
図を見やすくするために、ブロック１６０にハッチング
を付した。なお、ここでブロック１６０が検出されない
場合は、撮影対象の照明を点灯したり、ブロック１６０
が検出されるまで明るくしたりするように、移動物体検
出装置に照明の制御手段を設けてもよい。このようにす
れば、撮影対象場所が暗いことによる移動物体の不検出
を回避できる。また、ブロック１６０が検出されない場
合には、表示装置３２００に警報を発して、使用者に照
明の点灯などを促すようにしてもよい。

【０１００】一般に、移動物体（図１６では人物）１６
１の輪郭がそのまま反映されて２値化されることはまれ
である。これは、濃度が、周囲の明るさ、移動物体の色
（例えば人物の服装の色）、背景色などに影響されるた
めである。しかし、ブロック１６０は、移動物体１６１
に外接する矩形１６２内にかたまっているため、この矩
形１６２により移動物体を識別することができる。

【０１０１】そこで、つぎに２値化処理部２２８０は、
以下のステップ１６０３〜１６１１の処理により、互い
に距離が許容範囲内である複数のブロック１６０を、矩
形領域１６２に統合する。

【０１０２】まず、２値化処理部２２８０は、すべての
ブロック１６０に対して一意になるように、１から昇順
に番号（ラベル番号）をつける（ステップ１６０３）。
つぎに、２値化処理部２２８０は、繰返し変数ｉを０と
し（ステップ１６０４）、変数ｉを１増加させた後（ス
テップ１６０５）、すべてのラベル番号が処理済みであ
れば、処理を終了する（ステップ１６０７）。

【０１０３】未処理のラベルが残っていれば、２値化処
理部２２８０は、図１７に示すように、ｉ番目のブロッ
ク１６０すべてを含む、２辺がｘ軸に平行で残る２辺が
ｙ軸に平行な、ブロック群に外接する矩形領域１６４を
設定し、そのｘ座標の最大値とｙ座標の最大値とを求め
る（ステップ１６０８）。なお、図１７では、ｉ番目の
ブロック１６０は、ブロック１６０ａひとつであるの
で、矩形領域１６４は、このブロック１６０ａに外接す
る長方形の領域である。

【０１０４】つぎに、２値化処理部２２８０は、ｉ＋１
番目以降のブロック１６０ｂについて、それぞれ、矩形
領域１６４との距離があらかじめ定められた許容範囲内
であるか否か検査する（ステップ１６０９）。ここで、
許容範囲内の距離のブロック１６０がなければ、２値化
処理部２２８０は、処理をステップ１６０５に戻し、つ
ぎのラベル番号のブロックについてステップ１６０７以
降の処理を行う。

【０１０５】なお、ステップ１６０９において、２値化
処理部２２８０は、図１７に示すように、ステップ１６
０８と同様にしてブロック１６０ｂに外接する矩形領域
１６５を設定し、そのｘ座標の最大値とｙ座標の最大値
とを求めた上で、それらと、ステップ１６０８で求めた
矩形領域１６４のｘ座標の最大値およびｙ座標の最大値
との差を求める。これにより、矩形領域１６４とブロッ
ク１６０ｂとの間のＸ方向の距離２１８５とＹ方向の距
離２１７５とが求められる。そこで、２値化処理部２２
８０は、求めたＸ方向およびＹ方向の距離２１８５，２
１７５が、それぞれ、あらかじめ定められたＸ方向の許
容される距離およびＹ方向の許容される距離以下であれ
ば、ブロック１６０ｂと矩形領域１６４との距離が許容
範囲内であると判断し、Ｘ方向およびＹ方向の少なくと
も一方の距離が許容される距離より大きければ、許容範
囲外であると判断する。

【０１０６】Ｘ方向の許容される距離およびＹ方向の許
容される距離は、検出する移動物体の形状や撮影距離、
撮影環境などに応じて定めることが望ましい。例えば、
人物を検出する場合、その形状は通常縦長である。そこ
で、人物の検出を目的とする本実施例のシステムでは、
Ｘ方向の許容距離を約５〜１５画素程度、Ｙ方向の許容
距離を約５〜１０画素程度とするが、Ｘ方向およびＹ方
向のいずれの許容距離も約５〜１５程度としてもよい。
いずれにしても、どこまでの範囲を統合するかを考慮し
て、適宜設定すればよい。

【０１０７】ステップ１６０９において、矩形領域１６
４との距離が許容範囲内であるブロック１６０が検出さ
れれば、２値化処理部２２８０は、検出されたブロック
１６０のラベルをｉ番目のラベルに変更し（ステップ１
６１０）、ｉ＋１番目以降のブロック１６０について、
ｉ＋１番から昇順にラベル番号をふり直した後（ステッ
プ１６１１）、処理をステップ１６０８に戻し、許容範
囲内のブロック１６０が加えられたｉ番のブロック群に
ついて、ステップ１６０８以降の処理を再度実行する。

【０１０８】以上の処理により、互いに許容範囲内にあ
るブロックには、同じラベル番号が付されることにな
る。なお、本実施例では、ブロック群１６０を統合する
領域として、矩形領域１６４を設定したが、この統合領
域の形状は矩形に限られず、検出対象の移動物体の形状
に応じて、円、正方形、三角形など、他の形状にしても
よい。

【０１０９】（５）特徴量算出部２２９０ 特徴量算出部２２９０は、ラベル番号毎に、そのラベル
番号が付されたブロック１６０群に外接する矩形領域１
６４の面積、縦横比および移動距離を算出する。特徴量
算出部２２９０は、図１８に示すように、２値化処理部
２２８０の設定した矩形領域１６４の面積（画素数）を
求める面積算出部２２９４と、該矩形領域１６４の縦
（Ｘ方向）の長さ（画素数）と横（Ｙ方向）の長さ（画
素数）との比を求める縦横比算出部２２９５と、矩形領
域１６４の重心とその移動距離を求めて移動履歴記憶部
１６００に格納する移動距離算出部２２９６とを備え
る。

【０１１０】なお、現在処理中の入力画像をｉ、直前に
入力され、変換画像記憶部１３００に保持されている画
像をｉ−１とするとき、移動距離算出部２２９６は、２
値化処理部２２８０により作成された２値画像におけ
る、互いに面積および縦横比の等しい（その差があらか
じめ定められた許容範囲内のものを含む）、画像ｉにお
ける移動物体に起因する矩形領域１６４（すなわち、差
分データが正の値をとるブロック１６０に外接する矩形
領域）と、画像ｉ−１における移動物体に起因する矩形
領域１６４（すなわち、差分データが負の値をとるブロ
ック１６０に外接する矩形領域）とを検出し、それらの
重心間の距離を、移動距離として求めて、重心の座標と
ともに、移動履歴記憶部１６００に格納する。ただし、
最初の入力画像については、移動距離を０とする。この
移動距離算出部２２９６の処理により、移動履歴記憶部
１６００には、矩形領域１６４毎に（すなわち、移動物
体毎に）、入力画面毎の重心座標とその移動距離とが保
持される。

【０１１１】本実施例では、画像ｉと画像ｉ−１とに共
通して存在するすべての矩形領域１６４について移動量
を求めるが、一部の矩形領域１６４についてのみ移動量
を求めるようにしてもよい。また、ここでは面積と縦横
比とが両方一致することを、同一移動物体に起因する矩
形領域１６４であることの基準としているが、面積が一
致することのみを基準としてもよい。

【０１１２】例えば、面積が最大のものについてのみ移
動量を求める場合には、面積および縦横比を比較しなく
ても、画像ｉにおける移動物体に起因する矩形領域１６
４のうち、面積算出部２２９４により求められた面積が
最大のものの重心と、画像ｉ−１における移動物体に起
因する矩形領域１６４のうち、面積算出部２２９４によ
り求められた面積が最大のものの重心との距離を求めれ
ば、その移動距離を求めることができる。

【０１１３】Ｆ．移動物体識別処理部 移動物体識別処理部２４００は、矩形領域１６４につい
て、移動物体抽出処理部２２００が求めた特徴量を用
い、移動物体を識別する。具体的には、移動物体識別処
理部２４００は、図１９に示すように、面積（ステップ
２５００）、縦横比（ステップ２５１０，２５４０，２
５８０，２５９０）、移動距離（ステップ２５１５，２
５５０）をチェックし、それらの値に応じて、外矩形領
域１６４が、人物２５２０、小動物２５６０、車両２５
９５のいずれによるものであるかを判定する。なお、こ
れらのいずれにも該当しない場合、本実施例の移動物体
識別処理部２４００は、外乱２５３０，２５７０による
ものであると判断する。

【０１１４】本実施例で用いた判定基準を、表２に示
す。この判定基準は、検出対象の移動物体の特徴や、撮
影状況などに応じて定めることが望ましい。例えば、昼
間の屋外シーンで目視で明らかに確認できる通常速度で
移動している人物を検出する場合、移動距離の閾値は約
２０〜３０画素、縦横比は約３：１とする。

【０１１５】

【表２】

【０１１６】この移動物体識別処理部２４００の処理に
より、例えば、波により揺れている船（面積は大きく、
移動距離は短い）は、外乱として検出対象から除外され
る。

【０１１７】Ｇ．移動物体検知部 移動物体検知部２６００は、移動物体識別処理部２４０
０による判定結果を基に、外乱以外の矩形領域１６４の
座標を、表示制御部３０００のデータ格納部３０００ａ
に格納する。なお、ここで、例えば、小動物の矩形領域
１６４は無視するようにしてもよい。

【０１１８】Ｈ．表示制御部 表示制御部３０００は、データ格納部３０００ａに保持
された矩形領域１６４ごとに、変換画像記憶部１３００
の記憶領域から、最新の揺れ補正後画像における、その
領域１６４の画像データを抽出し、該画像データを用い
て、図２０（ａ）に示すように、検出した移動物体３２
６０の画像を、表示装置３２００の表示画面の、該矩形
領域１６４の座標の示す位置に表示する。

【０１１９】この際、現在処理中の入力画像をｉ回目の
入力画像とすると、表示制御部３０００は、移動履歴記
憶部１６００から、その矩形領域１６４に対応した、ｉ
−１回目およびｉ−２回目の入力画像における矩形領域
１６４の重心座標を読み出し、それらの座標が保持され
ていれば、それらの示す表示画面上の位置にマーク３２
１０を表示し、さらに、移動物体の重心位置の経時変化
を示す矢印３２２０を表示する。

【０１２０】表示制御部３０００は、各入力画像ごと
に、この図２０（ａ）に示すように、移動物体の移動履
歴を表示装置３２００の表示画面に表示する。従って、
本実施例によれば、使用者は、リアルタイムに移動物体
およびその移動状況をオンライン監視することができ
る。本実施例によれば、抽出した移動物体を識別し、例
えば人物など、監視対象物のみを表示装置３２００に表
示するので、使用者は、容易かつ明確に、監視対象領域
内の監視対象物を把握することができる。また、本実施
例によれば、移動物体の実際の画像が表示されるため、
移動物体の把握（例えば人物把握）や、発生している異
常事態の把握が容易である。

【０１２１】なお、ここで、表示装置３２００への表示
に併せて、警告の表示するようにしてもよい。また、音
声出力装置を設け、移動物体を検出すると、警報音を発
するようにしてもよい。

【０１２２】なお、図２０（ｂ）に示すように、移動履
歴を示す矢印３２２０を表示せずに、各マーク３２１０
に重ねて、それぞれの領域にｉ−１回目およびｉ−２回
目の入力画像における移動物体の画像３２７０を表示す
るようにしてもよい。例えば、変換画像記憶部１３００
が３画面分の画像データを保持するようにし、移動履歴
記憶部１６００が、ｉ−１回目およびｉ−２回目の入力
画像における矩形領域１６４の座標を保持するようにし
た上で、表示制御部３０００が、移動履歴記憶部１６０
０から、ｉ−１回目およびｉ−２回目の入力画像におけ
る矩形領域１６４の座標を読み出し、該矩形領域１６４
内の画像データを、変換画像記憶部１３００から抽出し
て、表示画面の該矩形領域１６４の位置に表示するよう
にすれば、このような表示を行うことができる。このよ
うにすれば、本システムの使用者は、移動中の移動物体
の動作を、画像により具体的に把握することができる。
なお、このように各入力画像における移動物体の画像３
２７０を表示した上で、さらに矢印３２２０を表示して
もよい。

【０１２３】

【発明の効果】本発明によれば、撮影環境に変動（例え
ば撮影対象の明るさや、カメラの揺れなど）があって
も、精度よく移動物体を検出することができる。

【図面の簡単な説明】

【図１】 実施例の移動物体検出システムを示す機能構
成図である。

【図２】 画像累積部における処理を示す流れ図であ
る。

【図３】 揺れ補正の原理を示す説明図である。

【図４】 揺れ推定部の機能構成図である。

【図５】 揺れ推定部における処理を示す流れ図であ
る。

【図６】 本実施例の移動物体検出装置のハードウエア
構成図である。

【図７】 プロファイルマッチング部における移動ベク
トルの算出方法を示す説明図である。

【図８】 プロファイルマッチング部における処理を示
す流れ図である。

【図９】 プロファイル領域の移動ベクトルを示す説明
図である。

【図１０】 移動頻度分布テーブルのデータ構成例を示
す模式図である。

【図１１】 濃度変換処理による濃度の変化を示すグラ
フである。

【図１２】 揺れ補正部における処理を示す流れ図であ
る。

【図１３】 移動物体抽出処理部の機能構成図である。

【図１４】 ２値化閾値の決定方法を示す説明図であ
る。

【図１５】 ２値化処理部における処理を示す流れ図で
ある。

【図１６】 ２値化後の画像データ例を示す説明図であ
る。

【図１７】 ２値化処理部におけるブロックの統合処理
を示す説明図である。

【図１８】 特徴量算出部の機能構成図である。

【図１９】 移動物体識別処理部における処理を示す流
れ図である。

【図２０】 移動物体の表示画像例である。

【符号の説明】

１００…ＩＶＴカメラ、２００…画像累積部、１０００
…揺れ推定部、１１００…入力画像記憶部、１２００…
濃度変換部、１３００…変換画像記憶部、１４００…揺
れ量記憶部、１５００…揺れ補正部、１６００…移動履
歴記憶部、２０００…差分画像作成部、２１００…移動
物体検出部、２２００…移動物体抽出処理部、２４００
…抽出物体識別処理部、２６００…移動物体検知部、３
０００…表示制御部、３２００…表示装置、４０００…
移動物体検出装置、４１００…入力装置、４２００…中
央演算処理装置、４３００…外部記憶装置、４４００…
主記憶装置、５０００…撮像装置。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０６Ｔ 7/20 Ｈ０４Ｎ 5/232 Ｚ Ｇ０８Ｂ 25/00 ５１０ Ｇ０６Ｆ 15/62 ３８０ Ｈ０４Ｎ 5/232 15/70 ４１０ (72)発明者 小林 芳樹 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 村松 彰二 茨城県日立市大みか町七丁目１番１号 株 式会社日立製作所日立研究所内 (72)発明者 鈴木 弘 茨城県日立市大みか町五丁目２番１号 日 立プロセスコンピュータエンジニアリング 株式会社内 (72)発明者 高木 陽市 茨城県日立市大みか町五丁目２番１号 日 立プロセスコンピュータエンジニアリング 株式会社内

Claims (16)

【特許請求の範囲】
1. 【請求項１】監視対象領域を撮影した画像の入力を順次
   受け付けて、該監視対象領域内の移動物体を検出する移
   動物体検出方法において、 入力された画像の濃度を変換するステップと、 処理対象である第１の画像と、その直前に入力された第
   ２の画像との、上記濃度変換後の画像の差分である差分
   画像データを作成するステップと、 上記差分画像データを用いて移動物体を検出するステッ
   プとを備え、 上記濃度の変換は、各画素ごとに、 濃度変換前の該画素の濃度を対数変換した値に、第１の
   係数を乗じて得られる値と、 濃度変換前の該画素の濃度を線形変換した値に、第２の
   係数を乗じて得られる値とを、合計して、該画素の変換
   後の濃度を得ることにより行われ、 上記第１の係数および第２の係数の合計は１であること
   を特徴とする移動物体検出方法。
2. 【請求項２】請求項１において、 上記第１の係数または第２の係数は、濃度変換前の上記
   第１の画像における最小濃度値に応じて定められること
   を特徴とする移動物体検出方法。
3. 【請求項３】監視対象領域を撮影した画像の入力を順次
   受け付けて、該監視対象領域内の移動物体を検出する移
   動物体検出方法において、 第１の画像とその直前に入力された第２の画像との濃度
   プロファイルまたはテンプレートパターンのマッチング
   により揺れ量を求めるステップと、 上記揺れ量を用いて上記第１の画像を補正するステップ
   と、 補正後の上記第１の画像と上記第２の画像との差分画像
   データを作成するステップと、 上記差分画像データを用いて移動物体を検出するステッ
   プとを備えることを特徴とする移動物体検出方法。
4. 【請求項４】請求項３において、 上記揺れ補正は、 上記第１の画像における背景の位置が、上記第２の画像
   における位置から変化しないように、画像の揺れを相殺
   する補正であることを特徴とする移動物体検出方法。
5. 【請求項５】請求項３において、 上記揺れ量を求めるステップは、 上記第１の画像における、揺れ検出のための基準領域を
   設定する第１のステップと、 上記基準領域毎に、領域内の濃度プロファイルまたはテ
   ンプレートパターンが該領域に一致または類似する、上
   記第２の画像における領域である一致領域を検出する第
   ２のステップと、 上記基準領域と上記一致領域との位置の差から、各プロ
   ファイル領域の移動ベクトルを求める第３のステップ
   と、 上記移動ベクトルを基に揺れ量を求める第４のステップ
   とを備えることを特徴とする移動物体検出方法。
6. 【請求項６】請求項５において、 上記第４のステップは、 上記移動ベクトルの頻度を求め、頻度２以上の移動ベク
   トルの平均を、揺れ量とすることを特徴とする移動物体
   検出方法。
7. 【請求項７】監視対象領域を撮影した画像の入力を順次
   受け付けて、該監視対象領域内の移動物体を検出する移
   動物体検出方法において、 入力された第１の画像における、揺れ検出のための基準
   領域を設定する第１のステップと、 上記基準領域毎に、領域内の濃度プロファイルまたはテ
   ンプレートパターンが該基準領域に一致または類似する
   領域である一致領域を、上記第１の画像の直前に入力さ
   れた第２の画像内で検出する第２のステップと、 上記基準領域と上記一致領域との位置の差から、各基準
   領域の移動ベクトルを求める第３のステップと、 上記基準領域毎に、上記移動ベクトルを揺れ量として揺
   れ補正を行い、補正後の上記基準領域の画像と上記一致
   領域の画像との差分画像データを作成する第４のステッ
   プと、 上記基準領域毎の差分画像データを用いて移動物体を検
   出する第５のステップとを備えることを特徴とする移動
   物体検出方法。
8. 【請求項８】請求項３または７において、 遅くとも上記差分画像データを作成するステップの前
   に、 入力された画像の濃度を変換するステップを、さらに備
   えることを特徴とする移動物体検出方法。
9. 【請求項９】請求項５または７において、 上記第１のステップは、 濃度分散値があらかじめ定められた基準値以上である領
   域を基準領域とすることを特徴とする移動物体検出方
   法。
10. 【請求項１０】請求項１、３または７において、 上記検出した移動物体の重心位置の履歴を記憶し、２以
    上の入力画像における該移動物体の重心位置を、表示画
    面に表示するステップを、さらに備えることを特徴とす
    る移動物体検出方法。
11. 【請求項１１】請求項１、３または７記載の移動物体検
    出方法を実行するプログラムを保持することを特徴とす
    る記憶媒体。
12. 【請求項１２】監視対象領域を撮影した画像の入力を順
    次受け付けて、該監視対象領域内の移動物体を検出する
    移動物体検出装置において、 入力された画像の濃度を変換する濃度変換部と、 処理対象である第１の画像と、その直前に入力された第
    ２の画像との、上記濃度変換後の画像データの差分であ
    る差分画像データを作成する差分画像作成部と、 上記差分画像データを用いて移動物体を検出する移動物
    体検出部とを備え、 上記濃度変換部は、上記画像の各画素ごとに、 濃度変換前の該画素の濃度を対数変換した値に、第１の
    係数を乗じて得られる値と、 濃度変換前の該画素の濃度を線形変換した値に、第２の
    係数を乗じて得られる値とを、合計して、該画素の変換
    後の濃度を得る手段を有し、 上記第１の係数および第２の係数の合計は１であること
    を特徴とする移動物体検出装置。
13. 【請求項１３】監視対象領域を撮影した画像の入力を順
    次受け付けて、該監視対象領域内の移動物体を検出する
    移動物体検出装置において、 第１の画像とその直前に入力された第２の画像とのプロ
    ファイルまたはパターンのマッチングにより揺れ量を求
    める揺れ推定部と、 上記揺れ量を用いて上記第１の画像を補正する揺れ補正
    部と、 補正後の上記第１の画像と上記第２の画像との差分画像
    データを作成する差分画像作成部と、 上記差分画像データを用いて移動物体を検出する移動物
    体抽出検出部とを備えることを特徴とする移動物体検出
    装置。
14. 【請求項１４】監視対象領域を撮影した画像の入力を順
    次受け付けて、該監視対象領域内の移動物体を検出する
    移動物体検出装置において、 入力された第１の画像における、揺れ検出のための基準
    領域ごとの移動ベクトルを求める揺れ推定部と、 上記基準領域毎に、上記移動ベクトルを揺れ量として揺
    れ補正を行う揺れ補正部と、 補正後の上記基準領域の画像と上記一致領域の画像との
    差分画像データを作成する差分画像作成部と、 上記差分画像データを用いて移動物体を検出する移動物
    体検出部とを備え、 上記揺れ推定部は、 入力された第１の画像において、揺れ検出のための基準
    領域を設定する手段と、 上記基準領域毎に、領域内の濃度プロファイルまたはテ
    ンプレートパターンが該基準領域に一致または類似する
    領域である一致領域を、上記第１の画像の直前に入力さ
    れた第２の画像内で検出する手段と、 上記基準領域と上記一致領域との位置の差から、各基準
    領域の上記移動ベクトルを求める手段とを備えることを
    特徴とする移動物体検出装置。
15. 【請求項１５】請求項１２、１３または１４記載の移動
    物体検出装置と、 上記移動物体検出装置に画像データを入力する撮像装置
    とを備えることを特徴とする移動物体検出システム。
16. 【請求項１６】請求項１５において、 上記撮像装置は、 上記監視対象領域を撮影して画像データを得るカメラ
    と、 上記カメラの撮影した画像を累積して上記画像データを
    作成し、上記移動物体検出装置へ送信する画像累積部を
    備えることを特徴とする移動物体検出システム。