JPH05174147A

JPH05174147A - 動画像認識処理システム

Info

Publication number: JPH05174147A
Application number: JP3340947A
Authority: JP
Inventors: Akira Tomono; 明伴野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1991-12-24
Filing date: 1991-12-24
Publication date: 1993-07-13

Abstract

(57)【要約】【目的】映像と同期した音声とを用いて、動体に対す
る画像認識を高信頼に行う。【構成】動画像中の動く対象物の形状の特徴を抽出し
て、画像データベースから、対応する種別候補を選出
し、動画像中の動く対象物の認識を行う動画像認識処理
システムに、動画像と同期して集音された対象物が発生
した音を、対象物の動きと背景に基づき補正し、補正し
た対象物の音の種別候補を、具備した音源データベース
から選出する音源種別候補選出部、この音源種別候補選
出部で選出した音の種別候補と、上述の形状の種別候補
とに基づき、動画像中の動く対象物の種別と状態を同定
する対象同定部とを設けた動画像認識処理システム。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータを用いた
認識処理システムに係わり、特に、動いている物体の認
識を効率良く行うのに好適な動画像認識処理システムに
関するものである。

【０００２】

【従来の技術】物体の種別や状態を、非接触に検出する
ための従来技術としては、画像処理や音の分析が知られ
ている。しかし、このような従来技術では、動いている
物体（以下、動体と記載）の種別や状態を正確に認識す
ることができない。

【０００３】例えば、ビデオカメラなどで捕らえた画像
から、動体としての車を抽出し、この車種を同定するこ
とを考える。単調な環境の中を走る車であれば、画面上
で、この車を背景から分離することは可能である。しか
し、画像からは、通常、「車の形をしたようなもの」程
度の情報しか得られない。ましてや、形状が似通った車
種の認識や、積載物の同定などは難しい。

【０００４】一方、音情報から発音源の種別を認識する
研究も進んでおり、例えば、音声を周波数分析して、そ
の音声の人の性別、年齢などを推定することも可能にな
っている。従って、この技術を、動体の認識に利用する
ことも考えられ、集音したデータの質が良く、また、十
分なデータベースが整っていれば、認識は、比較的に簡
単である。しかし、実際には、動体の周辺には、雑音源
が多く、また、物体が動くということは、集音点から見
た場合、周波数が変化することでもある。従って、物体
固有の音データが得られ難い。このような雑音を含み、
周波数が変化している集音データを用いて周波数分析し
ても、データベースとの集合はうまく行かない。

【０００５】このように、動体の種別や状態を認識しよ
うとする場合、従来の画像処理によるアプローチでも、
音分析によるアプローチでも困難が伴う。尚、コンピュ
ータを利用した画像理解や動画像処理、および、音声認
識に関しては、例えば、電子情報通信学会編「電子情報
通信ハンドブック」（１９８８年、オーム社発行）の第
１１２５頁から第１１４２頁、および、第１１９１頁か
ら第１２０６頁に記載されている。

【０００６】

【発明が解決しようとする課題】解決しようとする問題
点は、従来技術では、認識対象である動体からの固有の
音データを、雑音から効率良く分離することができず、
動体に対する正確な画像認識処理を行うことができない
点である。本発明の目的は、これら従来技術の課題を解
決し、映像と音声とを用いて、動体に対する画像認識を
高信頼に行うことを可能とする動画像認識処理システム
を提供することである。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像認識処理システムは、（１）動画像
から、この動画像中の動く対象物の形状の特徴を抽出
し、この抽出した対象物の形状の特徴に基づき、具備し
た画像データベースから、対応する種別候補を選出する
対象種別候補選出部を有し、動画像中の動く対象物の認
識を行う動画像認識処理システムにおいて、動画像と同
期して集音された対象物が発生した音を、この対象物の
動きと背景に基づき補正し、この補正した対象物の音の
種別候補を、具備した音源データベースから選出する音
源種別候補選出部と、この音源種別候補選出部で選出し
た音の種別候補と、対象種別候補選出部で抽出した種別
候補とに基づき、動画像中の動く対象物の種別、およ
び、状態を同定する対象同定部とを設けることを特徴と
する。また、（２）上記（１）に記載の動画像認識処理
システムにおいて、音源種別候補選出部は、対象物の特
徴の抽出時に検出される対象物からの音を特徴的に示す
この対象物の予め定められた動作に対応して、この対象
物からの音を切り出す音データ切り出し部と、この音デ
ータ切り出し部で切り出した集音データを周波数分析す
る周波数分析部と、この周波数分析部の分析結果に基づ
き、音源データベースを検索して、音の種別候補を抽出
する音種別候補抽出部とを具備することを特徴とする。
また、（３）上記（２）に記載の動画像認識処理システ
ムにおいて、音源種別候補選出部は、音データ切り出し
部による対象物からの音の切り出し動作の前後で対象物
以外からの音を切り出す背景音抽出部と、この背景音デ
ータ切り出し部と音データ切り出し部のそれぞれで切り
出した音に対する周波数分析部によるそれぞの周波数成
分の差分を取る周波数調整部とを具備し、音データ切り
出し部で切り出した音から、この音に含まれる対象物か
らの音以外の音を除去した音に基づき、動く対象物の音
の種別候補を選出することを特徴とする。また、（４）
上記（１）から（３）のいずれかに記載の動画像認識処
理システムにおいて、音源種別候補選出部は、対象種別
候補選出部による動く対象物の形状の特徴の抽出動作に
基づき、動く対象物の進行方向と速度を検出する動作状
態検出部と、この動作状態検出部による検出結果に基づ
き、動画像と同期して集音された動く対象物が発生した
音から、音のドップラー効果を補正する周波数補正部と
を具備することを特徴とする。また、（５）上記（１）
から（４）のいずれかに記載の動画像認識処理システム
において、音源種別候補選出部は、対象物が発生する音
を変化させる要因を、動画像から抽出する背景認識部を
具備し、この背景認識部の抽出結果に基づき、動画像と
同期して集音された対象物が発生した音を補正すること
を特徴とする。

【０００８】

【作用】本発明においては、画像処理による認識技術、
および、音分析による認識技術を有機的に組み合わせる
ことにより、動体の種別や状態を検出する。すなわち、
「音が、瞬間的に変化する」、または、「安定して変化
しない」などの動体の特徴的な動きを、画像処理により
検出する。そして、この検出に基づき、特徴的な動きが
ある時間帯で集音データを分析し、このデータを周波数
分析する。これにより、周辺の雑音の周波数成分は、相
対的に弱くなる。従って、音データベースとの比較が容
易であり、種別の認識がしやすくなる。そして、画像処
理により推定された候補と、音により推定された候補と
の論理積を取ることにより、信頼度の高い認識が可能で
ある。また、切り出された音データには、特徴的な動き
に伴う音と背景音が含まれ、一方、特徴的な動きの前後
には、背景音のみが含まれるので、このような２種類の
集音データについて周波数成分を求め、それらの差分を
取ることにより、背景音を消去できる。このことによ
り、音が瞬間的に変化、または、発生する場合で、か
つ、背景音が長い周期で変化する場合などにおいては、
より正確な認識結果を得ることができる。さらに、認識
対象が高速で動く場合には、画像処理により、集音点か
ら見た認識対象の速度を求め、ドップラー効果をキャン
セルするように周波数分析結果を修正する。このことに
より、対象が動いていない場合の固有音を求めることが
でき、音データベースとの照合が有利になる。

【０００９】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明を施した動画像認識処理シス
テムの本発明に係わる構成の一実施例を示すブロック図
である。本図において、１は背景画像と共に、認識対象
である動体を撮影するビデオカメラ、２はビデオカメラ
１の撮像と同期して、動体、すなわち、対象物からの音
を集音する集音マイク、３はビデオカメラ１により撮影
された動画像から、対象物の画像の背景画像からの分離
などを行う画像処理部、４は分離された動体の特徴的な
動き、すなわち、対象物からの音を特徴的に表す動きを
抽出する対象抽出部、５は対象物の音に変化を与える背
景画像を抽出する背景認識部、６は対象抽出部４による
抽出結果から、対象物の集音マイクに対する移動方向と
その速度を検出する動作状態検出部、７ａは対象物の特
徴が抽出された時間帯に対応する集音データの切り出す
音データ切り出し部、７ｂは音データ切り出し部７ａの
動作時間帯の前後での集音データ、すなわち、対象物か
らの音以外の音を切り出す背景音抽出部、８は切り出し
た集音データを周波数分析する周波数分析部、９は切り
出された音データに含まれる雑音を除去して、周波数分
析部８の周波数分析結果を調整する周波数調整部、１０
は周波数の分析結果で音声データベース１１を検索し、
音の種別の候補を抽出する音種別候補抽出部、１２は対
象抽出部４で抽出した対象物の画像で画像データベース
１３を検索し、形状の種別候補を抽出する対象種別候補
抽出部、１４は音種別候補抽出部１０の抽出結果と、対
象種別候補抽出部１２の抽出結果との論理積演算を行
い、対象の種別と状態を推論して同定する本発明の対象
同定部としての認識推論部、１５は背景画像としての道
路、１６は認識の対象となる動体としての車である。
尚、画像処理部３、対象抽出部４、対象種別候補抽出部
１２、および、画像データベース１３により、対象種別
候補選出部を、また、背景認識部５、動作状態検出部
６、音データ切り出し部７ａ、背景音抽出部７ｂ、周波
数分析部８、周波数調整部９、音種別候補抽出部１０、
音声データベース１１、対象種別候補抽出部１２によ
り、本発明の音源種別候補選出部を構成している。

【００１０】このような構成により、本実施例の動画像
認識処理システムは、画像処理による認識技術、およ
び、音分析による認識技術を有機的に組み合わせ、動
体、すなわち車１６の種別や状態を正確に検出する。以
下、その動作を、各部の動作に基づき、説明する。

【００１１】ビデオカメラ１で撮影された画像を、画像
処理部３で、フレーム間差分などの処理により、車１６
を、道路１５などの背景に対して強調化する。そして、
対象抽出部４により、２値化処理などを行い、車１６を
対象抽出データとして、背景から抽出する。この対象抽
出データの一部を、対象種別候補抽出部１２により処理
する。例えば、対象の形状、速度などを特徴として求
め、この特徴を、予め用意した画像データベース１３と
照合することにより、対象種別を、候補として抽出す
る。本図においては、対象物体が車１６であり、その形
状や大きさなどから、バス、トラック、乗用車などの分
類がなされる。また、画像処理部３では、差分処理のほ
かに、エッジ抽出処理などを行う。この処理に基づき、
背景認識部５により、背景、すなわち、道路１５の状態
を認識する。例えば、道路１５に添って建物があるか、
道路１５は乾いているか、雨でぬれているか、曲がって
いるか、勾配は急か平坦かなど、主として、音に変化を
与える要因に関して認識する。さらに、動作状態検出部
６では、対象部分の時間的な変化のデータから、対象物
の速度、すなわち、車１６の速度を計算する。このよう
にして得られた対象抽出部４、背景認識部５、および、
動作状態検出部６での結果は、音を分析する音データ切
り出し部７ａや背景音抽出部７ｂ、周波数調整部９、音
種別候補抽出部１０などで用いられる。

【００１２】すなわち、対象抽出部４の結果が示す対象
の動きに基づき、音データ切り出し部７ａでは、音の特
徴分析に適した時間帯を選択し、集音したデータの切り
出しを行う。具体的には、車１６が等速度で走り、エン
ジン音が安定していると考えられる時間帯、または、車
１６が急に停止する際のタイヤスリップ音などを切り出
す。これらの特徴的な動きに対応する音は、予め、音源
データベース１１に用意しておき、音種別候補抽出部１
０により、集音データを、この音源データベース１１と
照合するなどして分析する。このようにして、本実施例
の動画像認識処理システムでは、画像処理データを、集
音の切り出しに用いる。この切り出した音データを、周
波数分析部８により、周波数分析したスペクトルなどを
求める。

【００１３】しかし、この音データの中には、対象の種
別や状態、例えば、車種、積載物など、最終的に認識し
たい情報の他に、速度や、背景の状態による音などが混
在している。そこで、本実施例の動画像認識処理システ
ムでは、周波数調整部９により、速度や背景の状況によ
り変調を受けたデータを削除する。例えば、背景認識部
５による道路１５の状態の認識に基づき、また、音デー
タ切り出し部７ａで切り出した集音データから、背景音
抽出部７ｂで切り出した対象物からの音以外の音を削除
し、また、動作状態検出部６で検出された車１６の速度
に基づき、周波数分析部８による周波数分析結果を補正
する。具体例としては、車１６の速度が分かれば、ドッ
プラー効果により変化する周波数が分かるので、スペク
トルを、周波数方向に並行移動するなどして修正する。

【００１４】音種別候補抽出部１０では、このようにし
て修正された周波数調整部９のスペクトルと、音データ
ベース１１のスペクトルとを照合して、音源種別の候補
を抽出する。そして、認識推論部１４で、この音種別候
補抽出部１０と対象種別候補抽出部１２の結果の論理積
演算を行うなどして、対象の種別や状態を推論して同定
する。このようにすることにより、本実施例の動画像認
識処理システムでは、例えば、テレモニタリングにおい
て、車１６の車種などの認識を高信頼に行うことができ
る。

【００１５】図２は、図１における動画像認識処理シス
テムの本発明に係わる動作の第１の実施例を示す説明図
である。本実施例は、足音の分析に係わる説明図であ
り、図２（ａ）で示すように、廊下１７を歩く人の靴１
８、１９に基づく認識処理動作を示す。足音は、靴や歩
き方に依存し、人の年齢や性別、個性を反映しており、
人物の同定に有効である。しかし、通常、廊下１７を歩
く場合の足音を集音しようとしても、廊下１７の壁での
反射音など、周囲の雑音があるため、足音の切り出しは
難しい。このような場合、図１の動画像認識処理システ
ムでは、図１で説明した車の場合と同様に、まず、図１
の画像処理部３、および、対象抽出部４により、撮影し
た対象である靴１８、１９、すなわち、足の動きを抽出
する。足音は、靴１８、１９が廊下１７に着地する瞬間
に発生するため、この時間帯を求め、図１の音データ切
り出し部７ａにより、図２（ｂ）に示すように、音２０
を切り出す。このようにして切り出した音信号を、図１
における周波数分析部８により、図２（ｃ）に示すよう
に、周波数分析して集音スペクトル２１を得る。さら
に、この集音スペクトル２１に対して、図１の周波数調
整部９により、例えば、図１の背景認識部５で求めた背
景の状況、すなわち、靴１８、１９からの音を変化させ
る要因である壁を考慮に入れて、図２（ｄ）に示すよう
に、周波数を調整して、周波数調整後スペクトル２２を
得る。この周波数調整後スペクトル２２の特徴を、図１
の音源データベース１１で照合して、音源の候補を抽出
する。

【００１６】図３は、図１における動画像認識処理シス
テムの本発明に係わる動作の第２の実施例を示す説明図
である。本実施例は、図２における足音分析をさらに改
善するため、背景ノイズを除去する処理を示すものであ
る。図３（ａ）において、３１は足音の信号波形、３２
は背景ノイズの信号波形、そして、３３は、これらの合
成波形である。図３（ｂ）に示すように、靴３４が着地
した時（図中、Ａ）、また、靴３４が空中にある時（図
中、Ｂ）には、合成波形のスペクトルは、それぞれ、図
３（ｃ）におけるスペクトル３５と、図３（ｄ）におけ
るスペクトル３６のように変化する。尚、ここでは、足
音の発生は、パルス的で、時間的な変化が大きく、背景
音は、これに比較して変化が少ないと仮定している。そ
して、図１の周波数調整部９では、図３（ｃ）、（ｄ）
のそれぞれのスペクトル３５とスペクトル３６の差分を
取り、これを特徴スペクトルとすることで、背景ノイズ
を除去することができる。

【００１７】図４は、図１における動画像認識処理シス
テムの物体の空間的な動き検出動作の一実施例を示す説
明図である。本実施例においては、２台のカメラ４１、
４２を用意し、ステレオ画像計測を行なうことにより、
カメラが較正された座標系において、物体の空間位置を
求める。計測手法は、従来技術である三角測量の原理が
適用できる。このようにして、物体の位置が分かれば、
フレーム間の動きから、物体の速度を検出することがで
きる。また、検出対象が、車４３のような剛体であれ
ば、単眼カメラ４４を用いても、その位置を、１枚の画
像から検出することができる。本図では、車４３の中の
位置が変化しない３点（図中、ａ、ｂ、ｃ）を特徴点と
して用い、このカメラ画像から、この３点の空間位置を
求める方法を合わせて示している。すなわち、車４３の
３点をそれぞれ結ぶ直線の長さ（Ｌ１，Ｌ２，Ｌ３）
を、予め知識として用意する。この３点は、図に示すよ
うに、単眼カメラ４４のスクリーン４５に映る。この場
合、車４３の３点の空間位置は、スクリーン４５上の３
点と、単眼カメラ４４のレンズ主点を結ぶ線上にある。
従って、この３本の線間距離が、Ｌ１，Ｌ２，Ｌ３とな
る拘束条件を設けると、空間位置は求まる。

【００１８】以上、図１〜図４を用いて説明したよう
に、本実施例の動画像認識処理システムでは、画像処理
による認識技術と、音分析による認識技術を有機的に組
み合わせることにより、動体の種別や状態の認識を、高
信頼に行うことができる。特に、音データの分析におい
ては、画像データを利用して、最適な集音切り出しを行
い、周波数分析するため、対象からの音の特徴情報を抽
出しやすく、音データベースとの照合を、より確実なデ
ータに基づき行うことができる。尚、本発明は、図１〜
図４を用いて説明した実施例に限定されるものではな
い。例えば、赤外線カメラを用いた動体の認識システム
など、同期した音データを有する動画像の認識システム
に適用できる。

【００１９】

【発明の効果】本発明によれば、認識対象である動体か
らの音データを用いて、動体に対する画像認識を高信頼
に行うことができ、動画像認識処理システムの性能を向
上させることが可能である。

【００２０】

【図面の簡単な説明】

【図１】本発明を施した動画像認識処理システムの本発
明に係わる構成の一実施例を示すブロック図である。

【図２】図１における動画像認識処理システムの本発明
に係わる動作の第１の実施例を示す説明図である。

【図３】図１における動画像認識処理システムの本発明
に係わる動作の第２の実施例を示す説明図である。

【図４】図１における動画像認識処理システムの物体の
空間的な動き検出動作の一実施例を示す説明図である。

【符号の説明】

１ビデオカメラ２集音マイク３画像処理部４対象抽出部５背景認識部６動作状態検出部７ａ音データ切り出し部７ｂ背景音抽出部８周波数分析部９周波数調整部１０音種別候補抽出部１１音声データベース１２対象種別候補抽出部１３画像データベース１４認識推論部１５道路１６車１７廊下１８、１９靴２０音２１集音スペクトル２２周波数調整後スペクトル３１足音の信号波形３２背景ノイズの信号波形３３合成波形３４靴３５、３６スペクトル４１、４２カメラ４３車４４単眼カメラ４５スクリーン

Claims

【特許請求の範囲】

【請求項１】動画像から、該動画像中の動く対象物の
形状の特徴を抽出し、該抽出した対象物の形状の特徴に
基づき、具備した画像データベースから、対応する種別
候補を選出する対象種別候補選出手段を有し、上記動画
像中の動く対象物の認識を行う動画像認識処理システム
において、上記動画像と同期して集音された上記対象物
が発生した音を、該対象物の動きと背景に基づき補正
し、該補正した対象物の音の種別候補を、具備した音源
データベースから選出する音源種別候補選出手段と、該
音源種別候補選出手段で選出した音の種別候補と、上記
対象種別候補選出手段で抽出した種別候補とに基づき、
上記動画像中の動く対象物の種別、および、状態を同定
する対象同定手段とを設けることを特徴とする動画像認
識処理システム。
【請求項２】請求項１に記載の動画像認識処理システ
ムにおいて、上記音源種別候補選出手段は、上記対象物
の特徴の抽出時に検出される上記対象物からの音を特徴
的に示す該対象物の予め定められた動作に対応して、該
対象物からの音を切り出す音データ切り出し手段と、該
音データ切り出し手段で切り出した集音データを周波数
分析する周波数分析手段と、該周波数分析手段の分析結
果に基づき、上記音源データベースを検索して、音の種
別候補を抽出する音種別候補抽出手段とを具備すること
を特徴とする動画像認識処理システム。
【請求項３】請求項２に記載の動画像認識処理システ
ムにおいて、上記音源種別候補選出手段は、上記音デー
タ切り出し手段による上記対象物からの音の切り出し動
作の前後で、上記対象物以外からの音を切り出す背景音
抽出手段と、該背景音データ切り出し手段と上記音デー
タ切り出し手段のそれぞれで切り出した音に対する上記
周波数分析手段によるそれぞの周波数成分の差分を取る
周波数調整手段とを具備し、上記音データ切り出し手段
で切り出した音から、該音に含まれる上記対象物からの
音以外の音を除去した音に基づき、上記動く対象物の音
の種別候補を選出することを特徴とする動画像認識処理
システム。
【請求項４】請求項１から請求項３のいずれかに記載
の動画像認識処理システムにおいて、上記音源種別候補
選出手段は、上記対象種別候補選出手段による上記動く
対象物の形状の特徴の抽出動作に基づき、上記動く対象
物の進行方向と速度を検出する動作状態検出手段と、該
動作状態検出手段による検出結果に基づき、上記動画像
と同期して集音された上記動く対象物が発生した音か
ら、音のドップラー効果を補正する周波数補正手段とを
具備することを特徴とする動画像認識処理システム。
【請求項５】請求項１から請求項４のいずれかに記載
の動画像認識処理システムにおいて、上記音源種別候補
選出手段は、上記対象物が発生する音を変化させる要因
を、上記動画像から抽出する背景認識手段を具備し、該
背景認識手段の抽出結果に基づき、上記動画像と同期し
て集音された上記対象物が発生した音を補正することを
特徴とする動画像認識処理システム。