JPH10206443A

JPH10206443A - 時系列画像速度計測方法および装置

Info

Publication number: JPH10206443A
Application number: JP9008563A
Authority: JP
Inventors: Kazuhiro Otsuka; 和弘大塚; Tsutomu Horikoshi; 力堀越; Satoshi Suzuki; 智鈴木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-01-21
Filing date: 1997-01-21
Publication date: 1998-08-07

Abstract

(57)【要約】【課題】時系列画像中の対象物体の動きの計測におい
て、開口問題を回避し、安定かつ正確に速度成分を計算
する。【解決手段】画像抽出部２０１は、入力部１００から
時系列画像を入力し、時系列画像中の任意の注視点を中
心とする近傍を、制御部３００から指示されたサイズの
注視範囲をもつボリュームの時空間画像として抽出す
る。速度成分計算部２０２は抽出された時空間画像を入
力とし、ハフ変換を用いて速度成分を計算する。パラメ
ータ空間入力部２０３は、速度成分計算部２０２におい
て、ハフ変換により得られたパラメータ空間を入力す
る。信頼度計算部２０４は、パラメータ空間空対象物体
の信頼度を計算する。記憶部２０５は抽出された注視範
囲のサイズ、速度成分、信頼度を記憶する。選択出力部
４００は各サイズでの信頼度に基づき速度を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラや気
象レーダー装置やリモートセンシングなどにより得られ
る時系列画像中の対象の認識のための技術に関し、特に
時系列画像中の対象物体の動きをハフ変換（または投票
と呼ぶ）を用いて計測する時系列画像速度計測方法およ
び装置に関する。

【０００２】

【従来の技術】人、交通などの監視や製造工程の制御、
気象などの自然現象の解明や予測への応用などにおい
て、時系列画像の認識処理を用いた高度化、効率化が望
まれている。

【０００３】従来、時系列画像から対象の動きを計測す
る方法として投票（たとえばハフ変換）を用いた方法が
ある（特願平９−３１１６号）。その一例として、時系
列画像を時間方向に積層した時空間中に現れる運動軌跡
の傾きをハフ変換により検出することで速度を求める方
法がある。この方法はハフ変換により、時空間画像を対
象物体の速度成分（速度の方向と大きさ）を表現するパ
ラメータ空間に変換し、そのパラメータ空間中の分布の
ピークを検出し、その座標値から対象物体の速度成分を
求めている。この手法には、ノイズやオクルージョンに
対してロバストに速度成分が得られるという利点があ
る。しかし、この方法を適用する場合、速度の計測の対
象となる画像位置と時刻（注視点と呼ぶ）を設定し、そ
の着目する画像位置と時刻の近傍（注視範囲と呼ぶ）に
ある時空間画像を入力として与えるため、その注視範囲
の画像範囲のサイズ、および時間範囲のサイズを先立っ
て決定する必要があり、従来は、このサイズを経験的に
人手で与えていた。

【０００４】しかし、注視範囲の最適なサイズは、対象
物体やその動きの性質に依存し、同じ画像中でも場所や
時間において異なり、この設定が不適切な場合には、測
定された速度成分の信頼性が損なわれるという問題があ
った。

【０００５】また、時系列画像からの動き計測において
は避けられない開口問題（apertureproblem）がある。
その例として図５を用いて説明する。図５は、画像範囲
より大きい物体が移動する場合の例であり、物体の一部
が直線状のエッジとして画像中に現れている。いま、こ
の２つのフレームの画像から対象物体の速度を計測した
いが、フレーム１の中のエッジ上の一点Ｐについてのフ
レーム２の中での対応点が一意に定まらないように、対
象物体の速度にはｖ₁ ，ｖ₂ ，・・・・など多くの可能
性があり、この２つのフレームの画像からは対象物体の
速度を一意に決定することができない。このように、速
度を一意に決定するために必要な情報が入力される画像
範囲、時間範囲（注視範囲）内に不十分であるときに生
じる問題を開口問題と呼んでいる。

【０００６】この開口問題を避けるために必要な注視範
囲のサイズは対象やその動きの性質に依存し、同じ画像
中でも場所や時間において異なる。しかし、従来のハフ
変換を用いた方法においては、人手によりこのサイズを
与えていたため、設定が不適切になる場合があり、その
場合、開口問題が生じ、正確な速度成分が求められない
という問題があった。また、これまでのハフ変換を用い
た方法では、得られた速度成分が開口問題の影響を受け
ているか否かの判定ができず、対象によっては安定した
速度を求めることができないという問題があった。

【０００７】また、予め開口問題を回避するために、注
視範囲のサイズを大きくとる場合、同じ注視範囲に含ま
れる対象物体の速度の大きさや方向にばらつきが出てし
まう可能性があり、計測される速度の精度が低下した
り、また計算量が増大したり、速度計測の空間的、時間
的解像度が低下してしまうという問題もある。

【０００８】このように、速度計測の対象の性質が時間
や場所により変化するような環境下では、注視範囲のサ
イズの決定が困難であり、本来、ハフ変換（投票）を用
いる方法が有するノイズやオクルージョンへのロバスト
性というような優れた性能が発揮できなくなるという問
題がある。

【０００９】

【発明が解決しようとする課題】投票（例えばハフ変
換）を用いた時系列画像中の対象物体の移動速度成分
（速度の大きさ・方向）を求める方法および装置におい
て、従来の方法では、ある画像位置、時刻の速度計測に
必要な画像範囲、時間範囲（注視範囲）のサイズを人手
で設定する必要があり、その設定が不適切である場合、
計測される速度成分の信頼性が損なわれ、特に開口問題
などが生じる場合には正しい速度成分が求められないと
いう問題があった。

【００１０】本発明の目的は、時系列画像中の対象物体
の動き計測において、最適な注視範囲と速度成分を自動
的に選択でき、開口問題を回避し、安定かつ正確に速度
成分を計算することのできる時系列画像速度計測方法お
よび装置を提供することである。

【００１１】

【課題を解決するための手段】本発明の時系列画像速度
計測方法は、速度計測の対象物体となる画像の位置、時
刻（注視点）の近傍の注視範囲のサイズ（画像範囲、時
間範囲）を可変とし、複数のサイズの注視範囲について
対象物体の速度成分（速度の大きさ、方向）を計算し、
パラメータ空間の分布から速度成分の信頼度を求め、各
々のサイズの注視範囲に対する信頼度の値に基づき最適
な注視範囲サイズを選択し、そのときの速度成分を出力
する。

【００１２】また、本発明の時系列画像速度計測装置
は、時系列画像中の対象物体の速度成分を求める速度成
分計算手段と、時系列画像中の対象物体の速度成分を求
める過程において得られるパラメータ空間を入力するパ
ラメータ空間入力手段と、前記パラメータ空間入力手段
により入力されたパラメータ空間から前記速度計算手段
で得られた速度成分の信頼度を求める信頼度評価手段
と、動き計測の対象の画像位置、時刻を中心とした近傍
の画像範囲のサイズおよび時間範囲のサイズを変化さ
せ、複数のサイズの注視範囲について、それぞれ前記速
度成分計算手段により速度成分を計算させ、前記パラメ
ータ空間入力手段、前記信頼度評価手段により速度の信
頼度を計算させる制御手段と、前記制御手段により得ら
れた、異なるサイズをもつ複数の注視範囲に対応する速
度成分の信頼度の値に基づき、最適な注視範囲のサイズ
と、そのときの速度成分を自動的に選択し、出力する選
択出力手段を有する。

【００１３】速度成分計算手段は、例えばハフ変換を用
いて時系列画像中の対象物体の速度成分を計測してお
り、ノイズやオクルージョンに対してロバストに対象物
体の速度成分を計測することが可能となる。パラメータ
空間入力手段はパラメータ空間を入力し、また、信頼度
評価手段は、そのパラメータ空間から速度成分の信頼度
を計算する。そのため、計測される速度成分の信頼度を
定量化することが可能となる。また、制御手段は、時系
列画像中の注視点を中心とした異なるサイズをもつ複数
の注視範囲内の画像を抽出し、それぞれについて速度成
分計算手段を用いて速度成分を測定し、信頼度評価手段
を用い速度の信頼度を計算させている。そのため、開口
問題を回避できるような最適な注視範囲のサイズを探索
することが可能となる。さらに、選択出力手段は、信頼
度評価手段によって計算された、複数のサイズの注視範
囲について計算された速度成分の信頼度を用いることで
最適な注視範囲のサイズを決定することができ、それに
基づいて正確かつ安定な速度成分を選択することが可能
となる。

【００１４】なお、本発明は、ハフ変換（投票）を利用
する速度計測方法以外にも、例えば、フレーム間の相互
相関係数を用いたマッチングの方法など、速度などを表
現するパラメータ空間が処理の過程で得られる方法も利
用可能である。

【００１５】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１６】図１は本発明の一実施形態の時系列画像速
度計測装置の構成図、図２はその全体の処理を示すフロ
ーチャートである。

【００１７】本実施形態の時系列速度計測装置は入力部
１００と処理部２００と制御部３００と選択出力部４０
０で構成されている。

【００１８】入力部１００は時系列画像を外部から入力
・記憶し、処理部２００からの要求に応じて、処理部２
００に伝送する。処理部２００は画像抽出部２０１と速
度成分計算部２０２とパラメータ空間入力部２０３と信
頼度評価部２０４と記憶部２０５で構成される。制御部
３００は処理部２００の動作を制御する。選択出力部４
００は、処理部２００の一連の処理により記憶部２０４
に蓄積された速度成分の候補とそれらの信頼度を入力と
し、出力する速度成分を決定し、その信頼度、画像範
囲、時間範囲に関する情報とともにディスプレイ装置や
ファイル装置などへ出力する。

【００１９】次に、各部の機能について詳しく説明す
る。

【００２０】画像抽出部２０１は、入力部１００から時
系列画像を入力し（ステップ５０１）、時系列画像中の
任意に注視点（ｘ₀ ，ｙ₀ ，ｔ₀ ）を中心とする近傍を
制御部３００から指示されたサイズの注視範囲をもつボ
リュームデータＩ（ｘ，ｙ，ｔ）（時空間画像と呼ぶ）
として抽出する。

【００２１】速度成分計算部２０２は、画像抽出部２０
１で抽出された時空間画像を入力とし、ハフ変換（投
票）を用いて速度成分（速度の大きさと方向）を計算す
る（ステップ５０６）。

【００２２】ここでは、一例として次の方法を示すが、
他のハフ変換（投票）を用いる方法や、それ以外の方法
も利用可能である。

【００２３】この方法は、対象物体の移動により時空間
中に生じる運動軌跡の中でも、対象物体の輪郭やエッジ
がつくる曲面状の運動軌跡に着目し、対象となる時空間
中において、その運動軌跡に接する複数の接平面がつく
る交線の傾きから対象物体の速度成分を求めるという原
理を用いており、２段階のハフ変換により、それぞれ運
動軌跡の接平面の検出と、検出された接平面の組み合わ
せがつくる交線の検出をそれぞれ行う。

【００２４】まず、画像抽出部２０１で抽出された時空
間画像Ｉ（ｘ，ｙ，ｔ）のフレーム間の差分を計算し、
その正値のみを用いた時空間差分画像Ｄ（ｘ，ｙ，ｔ）
を計算する。

【００２５】

【数１】すると、この時空間差分画像Ｄ（ｘ，ｙ，ｔ）中に対象
物体の移動によって生じる曲面状の運動軌跡が構築でき
る。

【００２６】次に、この曲面状の運動軌跡に接する接平
面を３次元ハフ変換によって検出し、その分布を３次元
平面を極座標表現したときのパラメータ空間Ｓ_P （θ，
φ，ρ）の関数として３次元配列上に記憶させる。３次
元空間中の点（ｘ_i ，ｙ_i ，ｔ_i ）を通る平面は３つの
パラメータ（θ，φ，ρ）を用いて

【００２７】

【数２】のように表現することができる。ただし、（θ，φ）は
平面の法線方向、ρは原点から平面までの最短距離を表
す。よって、パラメータ空間Ｓ_P 中の投票値の分布がピ
ークをなす場合、そのピークの座標が、時空間に含まれ
る運動軌跡の接平面を表す。

【００２８】次に、この運動軌跡の接平面のパラメータ
空間を、位置と時間に不変な動き情報に集約するため
に、接平面の法線方向のパラメータ空間Ｓ_N （θ，φ）
へと投影する。その一例として、パラメータ空間Ｓ_P
（θ，φ，ρ）中の全ての（θ，φ）について、ρ方向
に探索し、投票値の最大値を法線方向のパラメータ空間
の値Ｓ_N （θ，φ）とする。

【００２９】

【数３】この処理の結果、法線方向のパラメータ空間Ｓ_N の各座
標（θ，φ）の値は、時空間差分画像中の運動軌跡の接
平面を法線方向毎にみたときの接平面の強度分布に対応
する値が格納される。

【００３０】さらに、法線のパラメータ空間Ｓ_N （θ，
φ）を入力とし、時空間差分画像中の運動軌跡に接する
接平面の交線の方向を検出するために２回目のハフ変換
を行い、交線のパラメータ空間Ｓ_L （α，β）を求め、
その空間において最大値をもつピークの座標（α_P ，β
_P ）から、入力された画像中の対象物体の速度成分の方
向をα_P 、速度の大きさを

【００３１】

【数４】から求める。

【００３２】この２回目のハフ変換のために、まず、求
めるべき接平面の交線の方向を一種の極座標表示α，β
を用いて、

【００３３】

【数５】と表す。ただし、（ｌ_x ，ｌ_y ，ｌ_t ）は、交線の方向
の（ｘ，ｙ，ｔ）成分であり、交線上にある異なる２点
をＰ₁ （ｘ₁ ，ｙ₁ ，ｔ₁ ），Ｐ₂ （ｘ₂ ，ｙ₂，ｔ
₂ ）とする。

【００３４】すると、法線のパラメータ空間Ｓ_N （θ，
φ）と交線のパラメータ空間Ｓ_L （α，β）の間の関係
を、２つの点Ｐ₁ ，Ｐ₂ について式（２）を連立して解
き、式（８）〜（１０）を代入することで、

【００３５】

【数６】のように得る。

【００３６】２つの接平面は法線のパラメータ空間中の
２点として表され、各々の点を交線のパラメータ空間に
変換すると、式（１１）で表される曲線になり、その交
線として、接平面の交線の方向が得られる。

【００３７】ここでは、法線のパラメータ空間中Ｓ_N の
全ての点について、式（１１）の曲線のパラメータ空間
Ｓ_L に投票するというハフ変換を実行することで、対象
物体の速度成分を表現するパラメータ空間Ｓ_L が求めら
れる。

【００３８】パラメータ空間入力部２０３は、速度成分
計算部２０２においてハフ変換により得られたパラメー
タ空間を入力する（ステップ５０７）。

【００３９】例として、速度成分計算部２０２で得られ
たパラメータ空間Ｓ_L （α，β）が利用できる。パラメ
ータ空間Ｓ_L は、対象物体の速度を表現するパラメータ
空間であり、αは対象物体の移動方向に対応し、βは移
動速度に対応するパラメータである。

【００４０】信頼度評価部２０４は、パラメータ空間入
力部２０４で入力されたパラメータ空間から対象物体の
速度成分の信頼度を計算する（ステップ５０８）。

【００４１】ここでは、交線のパラメータ空間Ｓ_L
（α，β）中において、速度成分計算部２０２で速度成
分の決定に用いたピーク（α_P ，β_P ）を用いた例を説
明する。

【００４２】パラメータ空間Ｓ_L （α，β）中でのピー
クは計測される速度成分の不確実性が反映しているた
め、このピークの広がりを分散値として定量化すること
で信頼度が計算できる。その具体的な方法としては、図
３（ａ）に示すように、パラメータ空間Ｓ_L 中の投票値
の最小値ｍｉｎＳ_L から最大値ｍａｘＳ_L までの範囲を
０〜１と考えたとき、比率γ（ただし、０＜γ＜１）以
上の値をもつピークの近傍の領域Ｒ_P について、ピーク
点Ｓ_L （α_P ，β_P ）まわりの分散σ² をα軸方向、β
軸方向それぞれの分散の和として次のように計算する。

【００４３】

【数７】ただし、Ｖ（β）は速度を表すβの関数であり、パラメ
ータ空間Ｓ_L はβ方向にΔβの間隔で均等に離散化され
ている。よって、速度の大きさυとβの間には式（１
６）の関係があり、パラメータＳ_L を表す配列の一つ一
つの要素（セルと呼ぶ）に含まれる速度の範囲はβの値
によって変わる。速度成分の信頼性の尺度として、速度
の大きさに関する分散を考慮するために、式（１４）の
β軸方向の分散値

【００４４】

【外１】の計算において、図３（ｂ），（ｃ）のように、ピーク
からの距離β−β_P を速度のスケールに変換し、ピーク
との速度の差Ｖ−Ｖ_P として表現する。また、図３
（ｄ），（ｅ）のようにＳ_L 中のピークの位置（α_P ，
β_P ）でのセルが含む速度の幅△Ｖを近似として求め、
この幅でピークとの速度差を正規化している。

【００４５】信頼度は分散σ² の大きさで表され、分散
値σ² が小さいとき、信頼度は高く、逆に、分散値σ²
が大きいときには、信頼度が低いことを意味する。

【００４６】記憶部２０５は、画像抽出部２０１で抽出
された注視範囲のサイズと、速度成分計算部２０２で得
られた対象物体の速度成分と、信頼度評価部２０４で得
られた信頼度を記憶する。

【００４７】制御部３００は、動き計測の対象となる時
系列画像中の注視点を中心とした複数のサイズをもつ注
視範囲の近傍を抽出し、ハフ変換を用いた本時系列画像
動き計測装置を稼動させ、時系列画像中の対象物体の速
度成分とともに、速度成分計算部２０２、パラメータ空
間入力部２０４により速度の信頼度を計算するための処
理を行う。

【００４８】まず、時系列画像において注視点（ｘ₀ ，
ｙ₀ ，ｔ₀ ）を指定し（ステップ５０２）、その近傍の
注視範囲のサイズの初期値Ｍ₀ ×Ｎ₀ ，Ｔ₀ と終了値Ｍ
_e ×Ｎ_e ，Ｔ_e と増分ΔＭ、ΔＮ，ΔＴを与える（ステ
ップ５０３）。次に、初期値として注視範囲のサイズを
設定して（ステップ５０４）、時空間画像を画像抽出部
２０１において抽出し（ステップ５０５）、速度成分計
算部２０２で、入力された注視範囲内の対象物体の速度
成分を計算し（ステップ５０６）、パラメータ空間入力
部２０３を通じて信頼評価部２０４において、その速度
成分の信頼度を計算し、記憶部２０５に、これらの注視
範囲のサイズの情報、速度成分、信頼度を記憶させるス
テップ５０７，５０８）。この処理部２００での一通り
の流れを、設定された増分で注視範囲を拡大させながら
（ステップ５０９）、それぞれの注視範囲について終了
値まで実行する（ステップ５１０）。

【００４９】出力選択部４００は、制御部３００におい
て複数のサイズの注視範囲について処理を行った後、各
サイズでの信頼度に基づき出力する速度を決定する（ス
テップ５１１）。

【００５０】その一例として、最も信頼度の高い、信頼
度評価部２０４での例でいうと、最も小さい分散値σ²
を示すサイズを最適なサイズとして決定し、そのとき計
算された速度成分を選択し、出力するという方法が利用
できる。

【００５１】次に、図４に示す画像のある一部分を対象
に本実施形態を実施した例を説明する。この例では対象
の速度成分は既知で、左から右の方向をもつ、注視範囲
の初期値を、それぞれ１０×１０ピクセル、１０フレー
ムとし、終了値をそれぞれ２５×２５ピクセル，２５フ
レームとした。図４（ａ），（ｂ）に示すように４つの
サイズについて、ハフ変換による速度計測を実行し、そ
の結果として得られたパラメータ空間を図４（ｃ）に示
し、信頼度評価部２０４でピークまわりの分散値として
速度成分の信頼度を計算した結果を図４（ｄ）に示す。
ハフ変換によって得られた速度成分における角度の誤差
の絶対値を図４（ｅ）に示す。このように４つのサイズ
について処理を実行した結果、出力選択部４００は、こ
の実施形態では最適な注視範囲のサイズを２５×２５ピ
クセル，２５フレームと判断し、そのときに得られた速
度成分を出力する。

【００５２】図４中の１０×１０ピクセルの場合では、
注視範囲が狭く、直線的なエッジしか含まれないため開
口問題（aperture problem）が生じ、正しい速度成分が
得られない。しかし、注視範囲を大きくしていくにした
がって、注視範囲内に様々な方向のエッジが含まれるよ
うになるため、速度成分が次第に確実に求められるよう
になる。この様子は、図４（ｃ）のパラメータ空間中の
ピークの鋭さや図５（ｄ）の分散値の推移からもわか
る。

【００５３】

【発明の効果】以上説明したように、本発明は、時系列
画像を入力し、速度の計測の対象となる画像位置、時刻
（注視点）を中心とする複数のサイズの近傍（注視範
囲）について速度成分を計測し、パラメータ空間から速
度成分の信頼度を求めているので、各々のサイズの近傍
における速度成分の信頼度に基づいて、開口問題（aper
ture problem）などを回避できるような、最適な注視範
囲と速度成分を自動的に選択することができるという効
果があり、開口問題を回避した安定かつ正確な時系列画
像速度計測方法および装置を提供できるという効果があ
る。

【図面の簡単な説明】

【図１】本発明の一実施形態の時系列画像速度計測装置
の構成図である。

【図２】図１の装置の全体の処理の流れ図である。

【図３】図１の装置で用いた速度成分の信頼度の計算方
法を説明するための図である。

【図４】画像の部分を対象に本実施形態を実施した例を
示す図である。

【図５】開口問題を説明する図である。

【符号の説明】

１００入力部２００処理部２０１画像抽出部２０２速度成分計算部２０３パラメータ空間入力部２０４信頼度評価部２０５記憶部３００制御部４００選択出力部５０１〜５１１ステップ

Claims

【特許請求の範囲】

【請求項１】速度計測の対象物体となる画像の位置、
時刻を中心とする近傍のサイズを可変とし、複数のサイ
ズの注視範囲について対象物体の速度成分を計算し、パ
ラメータ空間の分布から速度成分の信頼度を求め、各々
のサイズの注視範囲に対する信頼度に基づき最適な注視
範囲サイズを自動的に選択し、そのときの速度成分を出
力する時系列画像速度計測方法。
【請求項２】投票を用いて前記速度成分を計算する、
請求項１記載の時系列画像速度計測方法。
【請求項３】時系列画像中の対象物体の速度成分を求
める速度成分計算手段と、時系列画像中の対象物体の速度成分を求める過程におい
て得られるパラメータ空間を入力するパラメータ空間入
力手段と、前記パラメータ空間入力手段により入力されたパラメー
タ空間から前記速度計算手段で得られた速度成分の信頼
度を求める信頼度評価手段と、動き計測の対象の画像位置、時刻を中心とした近傍の画
像範囲のサイズおよび時間範囲のサイズを変化させ、複
数のサイズの注視範囲について、それぞれ前記速度成分
計算手段により速度成分を計算させ、前記パラメータ空
間入力手段、前記信頼度評価手段により速度の信頼度を
計算させる制御手段と、前記制御手段により得られた、異なるサイズをもつ複数
の注視範囲に対応する速度成分の信頼度の値に基づき、
最適な注視範囲のサイズと、そのときの速度成分を自動
的に選択し、出力する選択出力手段を有する時系列画像
速度計測装置。
【請求項４】前記速度成分計算手段は投票を用いて前
記速度成分を求める、請求項３記載の時系列画像速度計
測装置。
【請求項５】前記速度成分計算手段は、対象物体の移
動により時空間画像中に生じる運動軌跡に接する複数の
接平面がつくる交線の傾きから対象物体の速度成分を求
める請求項３または４記載の時系列画像速度計測装置。