JPH0696212A - マルチプロセスを用いた動物体認識処理方法 - Google Patents

Abstract

(57)【要約】 【目的】本発明は，移動物体の認識などの処理を実時間
で処理可能にすることを目的としている。 【構成】動物体領域像を連結領域毎に分離時刻とともに
分離・蓄積し，その処理量および処理の必要性を判断基
準とするスケジュールで，蓄積した各連結領域群を多段
かつ並列に構成された画像認識処理プロセッサで実時間
処理し，各領域の多種の画像認識処理を行う。さらに各
領域毎に全認識結果の統合を行い，単位時間経過後に属
性別計数結果を出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，マルチプロセスによる
画像処理を利用して，移動物体（例えば，人や車両，コ
ンベアーベルト上の物体）の属性を認識し，該属性別に
ラベリング又は計数する処理を行う動物体認識処理方法
に関するものである。

【０００２】

【従来の技術】時系列な画像中から動物体を抽出し，そ
の抽出した動物体の属性別にデータを統計処理する試み
を進めている。具体的には，歩道を歩く通行人を撮影し
た画像から，通行人の属性別に計数することなどであ
る。ここで，属性とは，人間であること，性別，年齢，
服装，服装色，移動速度，移動方向などである。

【０００３】このような計数においては，オンライン処
理が望ましい。ここで，オンライン処理とは，フレーム
間隔程度で得られる動画像を解析して，数秒ないし１０
分程度の単位時間毎にデータを統合し認識した属性別に
計数結果を得ることである。つまり，入力画像は実時間
（毎秒数十回）であるが，計数結果は利用目的に応じて
数秒〜１０分毎とする処理形態を意味する。

【０００４】このようなオンライン処理で通行人が属性
別に計数できれば，商店街での通行量測定，店舗，イベ
ント会場における来訪者計測など様々な利用が考えられ
る。

【０００５】

【発明が解決しようとする課題】以上のような利用を目
的としたとき，従来の技術の問題点は以下のようであ
る。 （１）入力画像に合わせて，動物体を抽出し計数するア
ルゴリズムは各種あるが，動物体の属性を細分化して計
数結果を統計的に処理するアルゴリズムは実現されてい
ない。 （２）プロセスは単一構成が一般的である。つまり，入
力画像から動物体を抽出し，これを計数するまでの処理
を単一ループ処理で行う方法がとられている。この場
合，システムが可能な動物体の属性判定処理の複雑さ
は，最も複雑な入力画像によって決まってしまう。すな
わち，あらゆる状況の入力画像を実時間で処理しようと
する場合，最も複雑な画像を対象にしてどの種類の属性
判定を行うかを設計段階で決めておく必要がある。

【０００６】通行人の計数を例にとると，人の群れが通
過するような複雑な状況を考慮して計数システムを正常
に機能させようとすると，通行人の細かい属性を判定し
て計数することは処理時間の点で困難であり，せいぜい
通行人を方向別に計数することぐらいである。 （３）計数精度の向上などをねらいとして，入力画像に
複雑な処理を行うと３３msecを越えることが多いため実
時間性が失われる。 （４）マルチプロセスを画像処理に取り入れる試みが最
近始まりつつあるが，移動物体の属性を細かく認識して
単位時間毎に統計処理するような例はほとんどない。ま
して，これに必要なデータ構造や統合処理アルゴリズム
を用いた例もない。

【０００７】以上のように，本発明がねらいとするオン
ラインでの移動物体の属性認識処理に対して，従来有効
な手法は提案されていない。本発明は実時間で処理を可
能にすることを目的としている。

【０００８】

【課題を解決するための手段】本発明においては，
（１）入力画像は実時間で取り込みかつ計数もれが生じ
ないように動物体を抽出する，（２）抽出した動物体は
できるだけ詳細に属性を検出する，（３）数秒〜１０分
程度の単位時間毎に（オンラインで）属性別に移動物体
を計数する，または移動物体に属性識別子（ラベル）を
与える，ようにする。

【０００９】

【作用】そして本発明は，入力画像を処理して動物体を
抽出し，該物体の属性を検出し，該物体にラベリング
し，また，該属性別に動物体の数を計測する。

【００１０】具体的には，動物体領域像を連結領域毎に
分離時刻とともに分離・蓄積し，その処理量および処理
の必要性を判断記述とするスケジュールで，蓄積した各
連結領域群を多段かつ並列に構成された画像認識処理プ
ロセスで実時間処理し，各領域の多種の画像認識処理を
行う。さらに，各領域毎に全認識結果の統合を行い，単
位時間経過後に属性別計数結果を出力する。

【００１１】

【実施例】説明に先立って本発明をまとめると次の如き
ものである。請求項１においては，動物体領域を分離し
て分離時刻とともにメモリに蓄積し，これを複数プロセ
スで処理することにより実時間の画像取り込みと属性認
識および計数処理を独立に制御できるので，入力画像の
変化にフレキシブルに対応できる。すなわち，複雑な画
像に対しても実時間性を保持しつつ属性別の計数ができ
る。

【００１２】請求項２においては，２次元画像ではなく
スリット画像を用い，また差分２値化を行うことで，高
速な処理が可能となる。請求項３においては，相関演算
を用いることにより，抽出の際の照明変動におけるロバ
スト性の向上に有効である。すなわち，日照条件の変化
などで処理対象像に存在する背景部の明るさが参照背景
像に比べシフトした場合でも，動物体領域を正確に抽出
することが可能となる。

【００１３】請求項４においては，構成プロセスを２群
に処理目的に合わせて分けることにより，例えば属性判
定処理に非常に手間取ってしまいプロセスが滞った場合
でも，簡単な属性判定は必ず実行され，低精度の計数は
行うことができる。

【００１４】請求項５においては，処理負荷を分散し，
かつ各プロセスが常時処理を行うようにスケジュールを
設定することができ，高速に属性判定を行うことが可能
となる。

【００１５】請求項６においては，対象とする動物体領
域に対して必要十分な処理を施すことができ，さらに同
一処理プロセスの並列化によってより高速な処理も可能
となる。

【００１６】請求項７においては，対象領域に対して無
駄な処理を行うことがなく，複数のプロセスを効率よく
使用することができる。さらに，場合に応じて動物体領
域の再分割によってより詳細な認識処理が可能となる。

【００１７】以下，本発明の一実施例として，歩道上を
歩く人物像の高精度な計数および服装色属性の抽出を行
う手法について，図１の構成図を参照して説明する。な
お，対象は人物でなく別の移動物体に応用することは簡
単で，また他属性の抽出を行うようにするのは容易であ
る。サンプル信号は超音波や赤外線などによる距離デー
タの信号でも可能で，明るさを距離値に読み代えれば良
い。以下，可視光の下でのＴＶカメラ入力の例として説
明する。

【００１８】まず，動物体抽出部１−１において，移動
物体を含む動画像を逐次入力し，画像中の動物体領域を
求める。つまり，背景である歩道上の計測ラインを通過
する人物を固定アングルで撮影した画像から，計測ライ
ンに相当する１ライン上の画像情報をサンプリングし，
１次元スリット画像を得て，背景画像に対して変化して
いる箇所を抽出し，必要に応じてライン上での整形処理
によるノイズ成分除去や影領域の分離を行った後，スリ
ット状の変化領域像と対応する実画像を蓄積する。

【００１９】ただし，１次元スリット画像の獲得はＴＶ
カメラに限らず１次元センサでもよく，また背景画像
は，動作開始時では，初期フレームか歩行者がいないと
きを見計らって使用者が指令を出した時のスリット像，
あるいは，あらかじめ固定した背景像を用い，必要に応
じて現在までの入力画像を用いた背景更新を行う。

【００２０】ここで，請求項２記載の動物体抽出は，背
景画像に対する入力画像の差分の絶対値を計算して，変
化している箇所を２値化抽出して２値化スリット像を作
ることにより実現する。

【００２１】また，請求項３記載の動物体抽出は，背景
画像と入力画像との相関演算をスリット上の各画素に対
して行い，背景画像との類似度すなわち相関値を求め
る。さらに，各画素の相関値を閾値処理して変化してい
る画素を判定して動物体領域を含む２値化スリット像を
作ることにより実現する。

【００２２】次に，動物体領域分離部１−２において，
動物体抽出部１−１により抽出された動物体群の各連結
領域毎に単一画像として切り出し，領域データメモリ１
−３に蓄積する。すなわち，実時間で順に得られる変化
領域像を逐次的にラベリングし，同一ラベルとなる一連
の連結領域像を形成する。さらに，その連結領域像をマ
スクに用いて実スリット像の情報を重ね合わせ，２次元
の動物体領域像を作り，両者を領域毎に領域データメモ
リ１−３に蓄積する。

【００２３】また，同時に各連結領域像について０，
１，２次のモーメントおよび領域座標の最小最大値など
の特徴量を計算し，その分離時刻とともに領域データメ
モリ１−３に蓄積する。ここで，領域データメモリ１−
３では，連結領域像および動物体領域像，分離された時
刻，特徴量および認識結果を，領域毎に蓄積しておく。
画像認識処理部に対してデータの入出力をスケジュール
管理部１−４の指示により行う。

【００２４】スケジュール管理部１−４においては，上
記処理により逐次的に生成される動物体領域データに対
する属性判定処理プロセスの進行を，単位時間当たりの
属性判定数が多く，かつ必要十分な処理が行われるよう
に管理する。

【００２５】ここで，請求項７記載のスケジュール管理
部では，処理内容により異なる処理量の予測および各種
処理の必要性の判定を連結領域毎に行い，処理負荷が分
散されて各プロセスが常時処理を行い，かつ，必要な処
理のみを施すように，各属性判定プロセスに対する最適
な領域の配列および割り当てを行い，蓄積した各連結領
域を画像認識処理部の各プロセスに入力する。さらに，
各プロセス終了後の処理画像および認識結果を再蓄積す
る。また必要に応じて領域像を再分離して各々認識デー
タとともに蓄積する。

【００２６】次に，画像認識処理部１−５では，少なく
とも２個以上の属性判定を行う処理プロセスにより，ス
ケジュール管理部１−４により割り当てられた対象とな
る分離された抽出領域像に対して，属性判定および計数
を行う。

【００２７】ここで，請求項４記載の画像認識処理部
は，直接簡単な属性判定処理を行う処理プロセスＡ群１
−６と，領域データメモリ１−３に一旦蓄積された画像
に対して比較的複雑な属性判定処理を行う処理プロセス
Ｂ群１−７とで構成する。

【００２８】処理プロセスとしては，明るさ情報を用い
た領域分割，色情報を用いた領域分割，輪郭情報と歩行
者の時空間画像におけるモデル像とのマッチング，人物
モデルによる人物頭部検出など，が考えられる。

【００２９】処理プロセスＡ群１−６では，領域データ
メモリ１−３に蓄積された，各連結領域について０，
１，２次のモーメントおよび領域座標の最小最大値など
の特徴量をもとに，雑音領域と単身通過に相当する領域
とを判別しつつ，計数しきい値以上の面積値から単身通
行人の基準面積値を基準にして人数を計算し，必要に応
じて領域の傾斜度を計算することにより通行方向を判定
する。

【００３０】請求項５記載の処理プロセスＢ群は，同一
処理を行う複数個の画像認識処理プロセスを並列に構成
し，スケジュール管理部１−４により割り当てられた順
に動物体領域に対する処理を行う。

【００３１】例えば，図２のように動物体領域が各時刻
に順に抽出され（Ａ，Ｂ，Ｃ，Ｄ，Ｅ），ある属性処理
ａに対する各領域の処理量が予測されているとする（他
属性に対する処理量も同様であるとする）。なお，図２
ないし図６に示す横長の矩形における左端の文字は領域
ラベルを表わし，矩形の長さが処理量に対応する。この
とき，図３のように同一処理を行うプロセスａ（例え
ば，領域面積による計数処理や色情報による領域分割処
理など）を３個並列に構成したとき，処理負荷が分散さ
れ単位時間当たりの属性判定数が多くなるように各領域
を処理するには，図３のような処理スケジュールをとれ
ばよい。また，より複雑な属性判定を行うために，図４
のように，各属性判定処理を直列に組み合わせて，ひと
つの処理プロセスＸとみなしても，同様な処理スケジュ
ールで処理を進めればよい。

【００３２】また，請求項６記載の処理プロセスＢ群
は，異なる処理を行う画像認識処理プロセスを複数個ず
つ並列に構成し，スケジュール管理部により処理要求の
ある処理を処理種毎に配列された順に行う。

【００３３】例えば，図２のような動物体領域の抽出状
況において，図５のように異なる属性抽出処理を行うプ
ロセスａ，ｂ，ｃ，ｄ（例えば，明るさ情報による領域
分割処理，色情報による領域分割処理，人物モデルによ
る人物頭部検出など）を並列に構成し，各領域について
スケジュール管理部により処理の必要性があると判定さ
れた場合に，処理プロセスに配置し，処理を進めればよ
い。また，より高速な属性判定を行うために，図６のよ
うに，各属性判定処理を並列に組み合わせ，処理の必要
性がある領域群を該当する領域群の中で単位時間当たり
の属性判定数が多くなる方向にプロセスに割り当てれば
よい。

【００３４】さらに，統合処理部１−８において，各連
結領域に関して画像認識処理部１−５よりランダムに得
られる複数種の処理結果を用いて各々の属性判定および
計数を行い，単位時間経過後に（その後は単位時間毎
に）統合して，現時刻までにおける計数結果を出力・修
正し，データ出力部１−９に出力する。例えば，対象領
域の色情報による領域分割結果と頭部検出結果から高度
な計数を行い，処理プロセスＡ群における計数結果の修
正を行う。また，領域分割結果から領域内の色領域の統
計処理を行い，人物の服装色属性の判定を行う。

【００３５】最後に，データ出力部１−９で，現時刻ま
での属性判定および計数処理結果を出力する。

【００３６】

【発明の効果】従来技術では，動画像を単位時間毎に処
理して得られる動領域に対して，順に単一のプロセスで
処理を進め，処理結果を逐次出力していたので，処理の
対象領域が複雑であったり，より高度な認識処理を行わ
せるために複雑な画像処理を施すと処理に時間がかかっ
たりして処理の実時間性が維持できなかった。

【００３７】本発明によれば，ＴＶカメラなどの画像か
ら得られる動画像から高速でかつ高度な移動物体像の認
識を行うことができるという利点がある。

【図面の簡単な説明】

【図１】動物体認識方法を説明する構成図である。

【図２】ある動物体領域の抽出状況と予測された処理量
を説明する図である。

【図３】同一処理プロセスの並列構成処理を説明する図
である。

【図４】単一処理プロセスの直列構成とした処理プロセ
スによる並列構成処理を説明する図である。

【図５】異種処理プロセスの並列構成処理を説明する図
である。

【図６】異種処理プロセスの複数並列構成とした処理を
説明する図である。

【符号の説明】

１−１ 動物体抽出部 １−２ 動物体領域分離部 １−３ 領域データメモリ １−４ スケジュール管理部 １−５ 画像認識処理部 １−６ 処理プロセスＡ群 １−７ 処理プロセスＢ群 １−８ 統合処理部 １−９ データ出力部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 入力画像から動物体領域を抽出する動物
   体抽出過程と， 該抽出領域を順次分離し，分離した時刻とともに領域デ
   ータメモリに蓄積する動物体領域分離過程と， 分離された動物体の属性を検出する少なくとも２個以上
   の処理プロセスで構成される画像認識処理過程と， 前記属性検出において，単位時間当たりの属性判定数が
   多くなる方向に前記処理プロセスの進行を管理するスケ
   ジュール管理過程と， 前記処理プロセスの結果を単位時間毎に統合し，動物体
   の属性毎に計数または該動物体にラベリングする統合処
   理過程とを有することを特徴とするマルチプロセスを用
   いた動物体認識処理方法。
2. 【請求項２】 入力画像はスリット時空間画像であり，
   動物体抽出過程では背景画像との差分をとりかつ２値化
   することによって抽出が行われることを特徴とする請求
   項１記載のマルチプロセスを用いた動物体認識処理方
   法。
3. 【請求項３】 入力画像はスリット時空間画像であり，
   動物体抽出過程では背景画像との相関演算を行いかつ閾
   値処理を行うことによって抽出が行われることを特徴と
   する請求項１記載のマルチプロセスを用いた動物体認識
   処理方法。
4. 【請求項４】 画像認識処理過程に用いる２個以上のプ
   ロセスは，動物体領域分離過程によって分離された抽出
   領域に対して直接簡単な属性判定処理を行う処理プロセ
   スＡ群と，領域データメモリに一旦蓄積された画像に対
   して比較的複雑な属性判定処理を行う処理プロセスＢ群
   とから構成されることを特徴とする請求項１記載のマル
   チプロセスを用いた動物体認識処理方法。
5. 【請求項５】 処理プロセスＢ群は，同一処理を行う複
   数個の画像認識処理プロセスを並列に構成し，スケジュ
   ール管理過程により割り当てられた順に動物体領域に対
   する処理を行うことを特徴とする請求項４記載のマルチ
   プロセスを用いた動物体認識処理方法。
6. 【請求項６】 処理プロセスＢ群は，異なる処理を行う
   画像認識処理プロセスを少なくとも１つ以上並列に構成
   し，スケジュール管理過程により処理要求のある処理を
   処理種毎に配列された順に行うことを特徴とする請求項
   ４記載のマルチプロセスを用いた動物体認識処理方法。
7. 【請求項７】 スケジュール管理過程は，分離された抽
   出領域毎に，属性判定の処理量を予測あるいは処理の必
   要性を判定しプロセスを指定し，かつ，所定処理経過後
   に処理画像と認識結果とを再蓄積し，領域像を再分離し
   または再分離することなく各々認識データとともに蓄積
   することを特徴とする請求項１記載のマルチプロセスを
   用いた動物体認識処理方法。