JPH10206442A

JPH10206442A - 時系列画像動き信頼度計測方法および装置

Info

Publication number: JPH10206442A
Application number: JP9008562A
Authority: JP
Inventors: Kazuhiro Otsuka; 和弘大塚; Tsutomu Horikoshi; 力堀越; Satoshi Suzuki; 智鈴木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1997-01-21
Filing date: 1997-01-21
Publication date: 1998-08-07

Abstract

(57)【要約】【課題】時系列画像速度計測方法により得られる速度
成分の信頼度を定量化できるようにする。【解決手段】速度成分計算部２０１は、入力部２００
で抽出された時空間画像を入力とし、ハフ変換を用いて
速度成分を計算する。パラメータ空間入力部２０２は、
速度成分計算部２０１においてハフ変換により得られた
対象物体の速度成分を表現するパラメータ空間を入力す
る。信頼度計算部２０３は、パラメータ空間入力部２０
２で得られたパラメータ空間の分布のピークを検出し、
その分散として、そのピークが表す速度成分の信頼度を
定量化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラや気
象レーダー装置やリモートセンシングなどにより得られ
る時系列画像の動き信頼度計測方法および装置に関す
る。

【０００２】

【従来の技術】人、交通などの監視や製造工程の制御、
気象などの自然現象の解明や予測への応用などにおい
て、時系列画像の認識処理を用いた高度化、効率化が望
まれている。

【０００３】従来、時系列画像から対象の動きを計測す
る方法として投票（たとえばハフ変換）を用いた方法が
ある（特願平９−３１１６号）。その一例として、時系
列画像を時間方向に積層した時空間中に現れる運動軌跡
の傾きをハフ変換により検出することで速度を求める方
法がある。この方法はハフ変換により、時空間画像を対
象物体の速度成分（速度の方向と大きさ）を表現するパ
ラメータ空間に変換し、そのパラメータ空間中の分布の
ピークを検出し、その座標値から対象物体の速度成分を
求めている。この手法には、ノイズやオクルージョンに
対してロバストに速度成分が得られるという利点があ
る。しかし、この方法を適用する場合、速度の計測の対
象となる画像位置と時刻を設定し、その着目する画像位
置と時刻の近傍にある時空間画像を入力として与えるた
め、その近傍の画像範囲のサイズ、および時間範囲のサ
イズを先立って決定する必要があり、従来は、このサイ
ズを経験的に人手で与えていた。

【０００４】しかし、同じ条件で速度成分の測定を行っ
たとしても、得られる速度成分の確からしさは、対象物
体やその動きの性質に依存し、同じ画像中でも場所や時
間において異なる。特に、入力サイズなどの設定が不適
切な場合には、測定された速度成分の信頼性が損なわれ
るという問題があった。このような場合、従来は計算さ
れた速度成分の確かさらしさの度合いを計測することが
できないため、信頼度の低い速度成分を除外することが
できず、計測される速度の精度が不安定になるという問
題があった。

【０００５】また、時系列画像からの動き計測において
は避けられない開口問題（apertureproblem）がある。
その例として図５を用いて説明する。図５は、画像範囲
より大きい物体が移動する場合の例であり、物体の一部
が直線状のエッジとして画像中に現れている。いま、こ
の２つのフレームの画像から対象物体の速度を計測した
いが、フレーム１の中のエッジ上の一点Ｐについてのフ
レーム２の中での対応点が一意に定まらないように、対
象物体の速度にはｖ₁ ，ｖ₂ ，・・・・など多くの可能
性があり、この２つのフレームの画像からは対象物体の
速度を一意に決定することができない。このように、速
度を一意に決定するために必要な情報が入力される画像
範囲、時間範囲内に不十分であるときに生じる問題を開
口問題と呼んでいる。

【０００６】しかし、また、これまでのハフ変換を用い
た方法では、得られた速度成分が開口問題の影響を受け
ているか否かを判定できず、信頼性の低い速度成分を除
外することができず、計測される速度の精度が不安定に
なるという問題があった。

【０００７】

【発明が解決しようとする課題】投票（例えばハフ変
換）を用いて、時系列画像中の対象物体の移動速度成分
（速度の大きさ・方向）を求める従来の方法では、計測
した速度成分の信頼性に関する尺度がなく、得られた速
度成分の妥当性の判断ができなかったため、開口問題な
どが生じる環境において、出力される速度成分の精度が
不安定かつ不正確になるという問題があった。

【０００８】本発明の目的は、速度成分の信頼度を定量
化することのできる時系列画像動き信頼度計測方法およ
び装置を提供することである。

【０００９】本発明の他の目的は、速度成分の信頼度を
用いて、計算された速度成分の妥当性を判定すること
で、信頼性の低い速度成分を除外した速度成分のみを正
確に出力することのできる時系列画像動き計測方法およ
び装置を提供することである。

【００１０】

【課題を解決するための手段】本発明の時系列画像動き
信頼度計測方法は、時系列画像速度計測方法により得ら
れる対象物体の速度成分を表現するパラメータ空間中の
分布がつくるピークを検出し、そのピークのまわりの分
布の分散を計算し、それを前記速度成分の信頼度とす
る。

【００１１】本発明の他の時系列画像動き信頼度計測方
法は、前記速度成分の信頼度の大小に基づき、前記速度
成分の妥当性を判定する。

【００１２】対象物体の速度成分を表現するパラメータ
空間を入力とし、そのパラメータ空間中の分布がつくる
ピークを検出し、そのピークのまわりの分布の分散から
速度成分の信頼度を求めることを特徴とする。

【００１３】また、速度成分の信頼度を用いて、計算さ
れる速度成分の妥当性を判断することで安定かつ正確な
速度成分のみを提供することができる。

【００１４】本発明の時系列画像動き信頼度計測装置
は、時系列画像中の対象物体の速度成分を計測する速度
成分計算手段と、時系列画像中の対象物体の速度成分を
計測する過程において得られる速度成分を表現するパラ
メータ空間を入力するパラメータ空間入力手段と、前記
速度成分計算手段により得られたパラメータ空間におい
て、分布のピークを検出し、そのまわりの分散値を計算
し、それを速度成分の信頼度とする信頼度計算手段と有
する。

【００１５】本発明の他の時系列画像動き信頼度計測装
置は、前記信頼度計算手段で計算された速度成分の信頼
度の大小に基づき、速度成分の妥当性を判定する妥当性
評価手段と、前記速度成分計算手段で得られた速度成
分、前記信頼度計算手段で得られた速度成分の信頼度、
前記妥当性評価手段での速度成分の妥当性の判定結果の
少なくとも１つを出力する手段をさらに有する。

【００１６】速度成分計算手段は、例えばハフ変換によ
り、時系列画像中の対象物体の速度成分を計算する。ハ
フ変換を用いることによりノイズやオクルージョンに対
してロバストに速度成分を求めることが可能となる。パ
ラメータ空間入力手段は、ハフ変換により得られた速度
成分を表現するパラメータ空間を入力し、信頼度計測手
段は、そのパラメータ空間において、分布のピークを検
出し、そのまわりの分散を計算する。そのため、ハフ変
換により計測された速度成分の信頼度を定量化すること
が可能になる。さらに、妥当性評価手段では、速度成分
の信頼度の妥当性を評価し、出力手段により、ディスプ
レイ装置などの出力する。したがって、正確な対象物体
の速度成分のみを得ることが可能となる。

【００１７】なお、本発明は、ハフ変換を利用する速度
計測方法以外にも、例えば、フレーム間の相互間係数を
用いたマッチングに基づく方法など、速度を表現するパ
ラメータ空間が処理の過程で得られる方法も利用可能で
ある。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００１９】図１は本発明の一実施形態の時系列画像動
き信頼度計測装置の構成図、図２はその全体の処理の流
れ図である。

【００２０】本実施形態の時系列画像動き信頼度計測装
置は入力部１００と処理部２００と出力部３００で構成
されている。

【００２１】入力部１００は時系列画像を外部から入力
・記憶し、処理部２００からの要求に応じて画像を伝送
する。処理部２００は速度成分計算部２０１とパラメー
タ空間入力部２０２と信頼度計算部２０３と妥当性評価
部２０４からなる。出力部３００は、速度成分計算部２
０１から得られた速度成分と、信頼度計算部２０３で得
られた速度成分の信頼度と、妥当性評価部２０４で評価
された妥当性をディスプレイ装置やファイル装置などへ
出力する。

【００２２】次に、各部の機能を詳しく説明する。

【００２３】入力部１００は、時系列画像を入力し、時
系列画像中の任意の画像位置、時刻（ｘ₀ ，ｙ₀ ，ｔ
₀ ）を中心とする任意のサイズ（空間的、時間的に）の
近傍をボリュームデータＩ（ｘ，ｙ，ｔ）（時空間画像
と呼ぶ）として抽出し、記憶する（ステップ４０１）。

【００２４】速度成分計算部２０１は、入力部１００で
抽出された時空間画像を入力とし、ハフ変換（投票）を
用いて対象物体の速度成分（速度の大きさと方向）を計
算する（ステップ４０２）。

【００２５】ここでは、一例として次の方法を示すが、
他の方法も利用可能である。

【００２６】この方法は、対象物体の移動により時空間
中に生じる運動軌跡の中でも、対象物体の輪郭やエッジ
がつくる曲面状の運動軌跡に着目し、対象となる時空間
中において、その運動軌跡に接する複数の接平面がつく
る交線の傾きから対象物体の速度成分を求めるという原
理を用いており、２段階のハフ変換により、それぞれ運
動軌跡の接平面の検出と、検出された接平面の組み合わ
せがつくる交線の検出をそれぞれ行う。

【００２７】まず、入力部１００で抽出された時空間画
像Ｉ（ｘ，ｙ，ｔ）のフレーム間の差分を計算し、その
正値のみを用いた時空間差分画像Ｄ（ｘ，ｙ，ｔ）を計
算する。

【００２８】

【数１】すると、この時空間差分画像Ｄ（ｘ，ｙ，ｔ）中に対象
物体の移動によって生じる曲面状の運動軌跡が構築でき
る。

【００２９】次に、この曲面状の運動軌跡に接する接平
面を３次元ハフ変換によって検出し、その分布を３次元
平面を極座標表現したときのパラメータ空間Ｓ_P （θ，
φ，ρ）の関数として３次元配列上に記憶させる。３次
元空間中の点（ｘ_i ，ｙ_i ，ｔ_i ）を通る平面は３つの
パラメータ（θ，φ，ρ）を用いて

【００３０】

【数２】のように表現することができる。ただし、（θ，φ）は
平面の法線方向、ρは原点から平面までの最短距離を表
す。よって、パラメータ空間Ｓ_P 中の投票値の分布がピ
ークをなす場合、そのピークの座標が、時空間に含まれ
る運動軌跡の接平面を表す。

【００３１】次に、この運動軌跡の接平面のパラメータ
空間を、位置と時間に不変な動き情報に集約するため
に、接平面の法線方向のパラメータ空間Ｓ_N （θ，φ）
へと投影する。その一例として、パラメータ空間Ｓ_P
（θ，φ，ρ）中の全ての（θ，φ）についてρ方向に
探索し、投票値の最大値を法線方向のパラメータ空間の
値Ｓ_N （θ，φ）とする。

【００３２】

【数３】この処理の結果、法線方向のパラメータ空間Ｓ_N の各座
標（θ，φ）の値は、時空間差分画像中の運動軌跡の接
平面を法線方向毎にみたときの接平面の強度分布に対応
する値が格納される。

【００３３】さらに、法線のパラメータ空間Ｓ_N （θ，
φ）を入力とし、時空間差分画像中の運動軌跡に接する
接平面の交線の方向を検出するために２回目のハフ変換
を行い、交線のパラメータ空間Ｓ_L （α，β）を求め、
その空間において最大値をもつピークの座標（α_P ，β
_P ）から、入力された画像中の対象物体の速度成分の方
向をα_P 、速度の大きさを

【００３４】

【数４】から求める。

【００３５】この２回目のハフ変換のために、まず、求
めるべき接平面の交線の方向を一種の極座標表示α，β
を用いて、

【００３６】

【数５】と表す。ただし、（ｌ_x ，ｌ_y ，ｌ_t ）は交線の方向
（ｘ，ｙ，ｔ）成分であり、交線上にある異なる２点を
Ｐ₁ （ｘ₁ ，ｙ₁ ，ｔ₁ ）、Ｐ₂ （ｘ₂ ，ｙ₂ ，ｔ ₂ ）
とする。

【００３７】すると、法線のパラメータ空間Ｓ_N （θ，
φ）と交線のパラメータ空間Ｓ_L （α，β）の間の関係
を、２つの点Ｐ₁ 、Ｐ₂ について式（２）を連立して解
き、式（８）〜（１０）を代入することで、

【００３８】

【数６】のように得る。

【００３９】２つの接平面は法線のパラメータ空間中の
２点として表され、各々の点を交線のパラメータ空間に
変換すると、式（１１）で表される曲線になり、その交
線として、接平面の交線の方向が得られる。

【００４０】ここでは、法線のパラメータ空間中Ｓ_N の
全ての点について、式（１１）の曲線のパラメータ空間
Ｓ_L に投票するというハフ変換を実行することで、対象
物体の速度成分を表現するパラメータ空間Ｓ_L が求めら
れる。

【００４１】パラメータ空間入力部２０２は、速度成分
計算部２０１において、ハフ変換により得られた対象物
体の速度成分を表現するパラメータ空間を入力する（ス
テップ４０３）。

【００４２】例として、速度成分計算部２０２で得られ
たパラメータ空間Ｓ_L （α，β）を入力とする。ここ
で、αは対象物体の移動方向を表し、βは移動速度に対
応するパラメータである。

【００４３】信頼度計算部２０３は、パラメータ空間入
力部２０２で得られたパラメータ空間Ｓ_L の分布のピー
クを検出し、その分散として、そのピークが表す速度成
分の信頼度を定量化する（ステップ４０４）。

【００４４】ここでは、例としてパラメータ空間中のピ
ークとして速度成分計算部２０１で速度成分の決定に用
いたピーク（α_P ，β_P ）を用い、以下の方法で信頼度
を定量化する。

【００４５】まず、図３（ａ）に示すように、パラメー
タ空間Ｓ_L 中の投票値の最小値ｍｉｎＳ_L から最大値ｍ
ａｘＳ_L までの範囲を０〜１と考えたとき、比率γ（た
だし、０＜γ＜１）以上の値をもつピークの近傍の領域
Ｒ_P について、ピーク点Ｓ_L（α_P ，β_P ）まわりの分
散σ² をα軸方向、β軸方向それぞれの分散の和として
次のように計算する。

【００４６】

【数７】ただし、Ｖ（β）は速度を表すβの関数であり、パラメ
ータ空間Ｓ_L はβ方向にΔβの間隔で均等に離散化され
ている。よって、速度の大きさをυとβの間には式（１
６）の関係があり、パラメータＳ_L を表す配列の一つ一
つの要素（セルと呼ぶ）に含まれる速度の範囲はβの値
によって変わる。速度成分の信頼性の尺度として、速度
の大きさに関する分散を考慮するために、式（１４）の
β軸方向の分散値

【００４７】

【外１】の計算において、図３（ｂ），（ｃ）のように、ピーク
からの距離β−β_P を速度のスケールに変換し、ピーク
との速度の差Ｖ−Ｖ_P として表現する。また、図３
（ｄ），（ｅ）のようにＳ_L 中のピークの位置でのセル
が含む速度の幅△Ｖを近似として求め、この幅でピーク
との速度差を正規化している。

【００４８】信頼度は分散σ² の大きさで表され、分散
値σ² が小さいとき、信頼度は高く、逆に、分散値σ²
が大きいときには、信頼度が低いことを意味する。

【００４９】妥当性評価部２０４は信頼度計算部２０３
で得られた速度成分の信頼度に基づき速度成分の妥当性
を判断する（ステップ４０５）。例えば、一例として分
散値にしきい値Ｑを設定して、速度成分の信頼度を表す
分散値がしきい値Ｑ以下の場合には、速度成分計算部２
０１において計算された速度成分は妥当であると判断
し、分散値がしきい値Ｑを越えるときには、速度成分は
妥当でないという判断を行う。

【００５０】なお、この方法以外の妥当性の判断も利用
可能である。

【００５１】出力部３００は、処理部２００における、
速度成分計算部２０１で得られた速度成分と、信頼度計
算部２０３において得られた速度成分の信頼度と、妥当
性評価部２０５で評価された妥当性の少なくとも１つを
ディスプレイ装置やファイル装置などの出力する（ステ
ップ４０６）。なお、速度成分については、妥当と判定
された速度成分のみを出力するようにしてもよい。

【００５２】図４は本実施形態を２つの時系列画像につ
いて実施した結果を示す。

【００５３】図４（ａ）には、用いた時系列画像（合計
２１フレーム）から２フレームだけを抜粋して示す。画
像１は、細かいテクスチャーからなる画像であり、一
方、画像２は、直線的なエッジからなる画像である。い
ずれも対象の速度成分は既知で、左から右の方向をも
つ。

【００５４】それぞれの画像について、実施形態で説明
したハフ変換を用いて速度を計測した際の角度誤差を図
４（ｂ）に示す。また、ハフ変換により得られたパラメ
ータ空間を図４（ｃ）に示し、速度成分の信頼度として
得られたピークまわりの分散値を図４（ｄ）に示す。

【００５５】画像１の場合は、角度誤差が小さく、精度
よく速度成分が推定されているが、画像２の場合には、
画像中に直線的なエッジしか含まれておらず、そのため
に、速度成分を一意に決定できず、開口問題（aperture
problem）が生じた結果、角度誤差が大きくなってしま
っている。

【００５６】この違いは図４（ｃ）のパラメータ空間中
のピークの広がりに反映されており、図４（ｄ）の分散
値も、画像１については小さく、画像２については大き
い値として現れている。

【００５７】このような場合、例えば、妥当性の評価に
おける、分散値のしきい値を１０．０と設定すること
で、画像１については得られた速度成分は妥当であると
いえ、一方、画像２については、妥当でないと判断でき
る。

【００５８】このような妥当性の判断を用いることで、
計測された速度成分が妥当であると判断されたもののみ
を出力することができ、安定かつ正確な速度成分を提供
することが可能となる。

【００５９】

【発明の効果】以上説明したように、本発明は、下記の
ような効果がある。

【００６０】（１）請求項１と４の発明は、時系列画像
中の速度成分の計測において、速度計測方法により得ら
れる速度成分を表現するパラメータ空間中を入力として
その中のピークのまわりの分散値により速度成分の信頼
度を定量化することができる。

【００６１】（２）請求項２と６の発明は、この速度成
分の信頼度を利用することにより、開口問題などの有無
など計測された速度成分の妥当性が判断でき、正確な速
度成分のみを出力できるようになる。

【図面の簡単な説明】

【図１】本発明の一実施形態の時系列画像動き信頼度計
測装置の構成図である。

【図２】図１の装置の全体の処理の流れ図である。

【図３】速度成分の信頼度の計算の様子を示す図であ
る。

【図４】図１の実施形態を２つの時系列画像について実
施した結果を示す図である。

【図５】開口問題を説明する図である。

【符号の説明】

１００入力部２００処理部２０１速度成分計算部２０２パラメータ空間入力部２０３信頼度計算部２０４妥当性評価部３００出力部４０１〜４０６ステップ

Claims

【特許請求の範囲】

【請求項１】時系列画像速度計測方法により得られる
対象物体の速度成分を表現するパラメータ空間中の分布
がつくるピークを検出し、そのピークのまわりの分布の
分散を計算し、それを前記速度成分の信頼度とする時系
列画像動き信頼度計測方法。
【請求項２】前記時系列画像速度計測方法が投票を用
いた時系列画像速度計測方法である、請求項１記載の時
系列画像動き信頼度計測方法。
【請求項３】前記速度成分の信頼度の大小に基づき前
記速度成分の妥当性を判定する、請求項１または２記載
の時系列画像動き信頼度計測方法。
【請求項４】時系列画像中の対象物体の速度成分を計
測する速度成分計算手段と、時系列画像中の対象物体の速度成分を計測する過程にお
いて得られる速度成分を表現するパラメータ空間を入力
するパラメータ空間入力手段と、前記速度成分計算手段により得られたパラメータ空間に
おいて、分布のピークを検出し、そのまわりの分散値を
計算し、それを速度成分の信頼度とする信頼度計算手段
を有する時系列画像動き信頼度計測装置。
【請求項５】前記速度成分計算手段が投票を用いて速
度成分を計測する、請求項４記載の時系列画像動き信頼
度計測装置。
【請求項６】前記信頼度計算手段で計算された速度成
分の信頼度の大小に基づき、速度成分の妥当性を判定す
る妥当性評価手段と、前記速度成分計算手段で得られた
速度成分、前記信頼度計算手段で得られた速度成分の信
頼度、前記妥当性評価手段での速度成分の妥当性の判定
結果の少なくとも１つを出力する手段をさらに有する、
請求項４または５記載の時系列画像動き信頼度計測装
置。
【請求項７】速度成分が妥当と判定されたときのみ、
該速度成分を出力する、請求項６記載の時系列画像動き
信頼度計測装置。
【請求項８】前記速度成分計算手段は、対象物体の移
動により時空間中に生じる運動軌跡に接する複数の接平
面がつくる交線の傾きから対象物体の速度成分を求め
る、請求項４記載の時系列画像動き信頼度計測装置。