JP2736320B2

JP2736320B2 - 時空間微分法を用いた計測装置

Info

Publication number: JP2736320B2
Application number: JP8114956A
Authority: JP
Inventors: 繁安藤
Original assignee: YASUKAWA SHOJI KK
Current assignee: YASUKAWA SHOJI KK
Priority date: 1996-05-09
Filing date: 1996-05-09
Publication date: 1998-04-02
Anticipated expiration: 2013-04-02
Also published as: JPH0916776A

Description

【発明の詳細な説明】【０００１】【発明の属する技術分野】本発明は、計測対象に関して
得られた時間的，空間的に変化する信号、例えば、画像
や音等を時間空間微分法に基づいて処理した結果から計
測対象の運動情報を抽出する計測装置に関する。【０００２】【従来の技術】連続する画像系列から運動や立体の情報
を抽出する手法が計算機視覚（computervision）の研究
として近年、種々提案されている。特に、計測対象の運
動が画像面上に投影してできる画像の流れはオプティカ
ルフローと呼ばれ、対象と背景の分離，立体構造や配置
の決定などへ利用されている。このオプティカルフロー
決定の問題は計算機視覚ばかりでなく、純粋にパターン
計測の分野でも広い応用をもつものである。この観点か
ら従来の手法を考えると大きく分けて２つに分類されて
いる。一つは対応探索型の方法で、連続する２枚の画像
に関し、一方の特徴点を他方の特徴点に対応付ける手順
を十分密に繰り返すことにより実行される。これはいわ
ゆる対応問題と呼ばれる繁雑で不確かな手順であり、画
像の分解能を徐々に向上させる段階的探索法や種々の制
約条件の導入などがいろいろと試みられている。【０００３】もうひとつの方法は画像の時間空間微分に
基づくものである。これは最初ＴＶ画像の微少移動の検
出に用いられ、その後Ｌａｇｒａｎｇｅ微分を用いた定
式化や解析がなされた。【０００４】いま平面的に運動する物体を固定撮像体で
観測する系を考え着目点（ｘ，ｙ）付近の速度場を
（ｕ，ｖ）と置く。画像の時間変化要因を運動のみに限
定し、微少時間Δｔをおいて２枚の画像ｆ₁（ｘ，
ｙ），ｆ₂（ｘ，ｙ）を観察することを考えると、これ
らは局所的に、ｆ₂（ｘ，ｙ）＝ｆ₁（ｘ−ｕΔｔ，ｙ−ｖΔｔ） …（１）の関係を満たしている。ずれ量（ｕΔｔ，ｖΔｔ）が小
さくかつ局所的に一定と近似できる場合、（１）式の右
辺は着目点のまわりでＴａｙｌｏｒ展開されて、ｆ₁（ｘ−ｕΔｔ，ｙ−ｖΔｔ） ≒ｆ₁（ｘ，ｙ）−ｕΔｔｆ₁ｘ（ｘ，ｙ） −ｖΔｔｆ₁ｙ（ｘ，ｙ） …（２）のように１次項までで近似できる。ここで、ｆ₁ｘ
（ｘ，ｙ），ｆ₁ｙ（ｘ，ｙ）はそれぞれｆ₁（ｘ，ｙ）
のｘ，ｙ偏微分を表す。すなわち、（１）式と結合し
て、ｆ₁（ｘ，ｙ）−ｆ₂（ｘ，ｙ） ≒ｕΔｔｆ₁ｘ（ｘ，ｙ）＋ｖΔｔｆ₁ｙ（ｘ，ｙ） …（３）の関係が得られる。両辺を−Δｔで割ったとき左辺は時
間微分ｆ₁ｔ（ｘ，ｙ）を示す。ｆ₁ｘ（ｘ，ｙ），ｆ₁
ｙ（ｘ，ｙ）は場の微分であるから画像データ上で即座
に計算でき、既知量として扱えるから、（３）式は、こ
れらを係数とし未知数ｕ，ｖを含む線形方程式と見るこ
とができる。これが時空間微分法の原理である。【０００５】この原理を用いて速度場を決定する方法に
は、１）１次元運動に限定する、２）速度場の滑らかさを仮定して（３）式に矛盾せず粗
さの評価量を最小とする速度場を求める、などがある。これを計測法として見ると、１）数値計算のみで速度分布を形成できる明解さと高速
性、２）対象の予備知識が不要で汎用性と客観性が有るこ
と、３）分解能の高さ、４）微少ずれ利用のためのパターン変形の影響を受けに
くく重大な誤りの可能性が少ないこと、などに利点をもつ。【０００６】【発明が解決しようとする課題】しかしながら、前者の
対応探索型の手法は計測法としてみると、１）対応誤りによる重大な誤差が混じる、２）処理に非常に時間がかかる、など不都合な点が多い。特に１）の問題は計算機視覚系
と異なって予備知識の導入を前提としない一般の計測系
においては対策が非常に困難である。【０００７】また、後者の時空間微分法は雑音の影響を
受けやすい弱点があり、またずれが微少な場合に応用が
限定されることから実用化が難しかった。このような問
題は、計測対象が運動している場合に限らず、静止立体
を左右に置いた２つの撮像体で撮影し、一対の画像から
立体像を抽出する場合にもあてはまる。また、音源から
の音を一対のマイクロフォンで集音し、一対の音響信号
の時間差を抽出して音源を定位する場合にもあてはま
る。更には、光像による画像処理以外でも、超音波，Ｎ
ＭＲ（核磁気共鳴），Ｘ線による画像処理についても広
くあてはまり、いずれの分野においても、上述した問題
から非常に多くの利点をもつ時空間微分法による処理が
実用化されていないのが実情である。【０００８】本発明の目的は、移動体の速度分布を精度
よく抽出する時空間微分法を用いた計測装置を提供する
ことにある。【０００９】【課題を解決するための手段】図１および図２は本発明
の概念的説明図であり、本発明は図１に示すように、計
測対象に関連した信号を時空間微分法により処理して計
測対象の物理量および自己評価量を演算する演算手段５
００と、その自己評価量に基づき、演算された物理量の
有効度を判定する判定手段５０１を含むものである。さ
らに具体的に説明すると、本発明は、図２に示すよう
に、計測対象に関連した信号を検出するセンサ５０２
と、そのセンサ５０２で得られた検出信号を時空間微分
法により処理して計測対象の物理量および自己評価量を
検算する演算手段５０３と、その自己評価量に基づき、
演算された物理量の有効度を判定する判定手段５０４
と、有効度の低い物理量があるときに、計測対象に対す
るセンサ５０２の計測条件を変更して再度検出信号を得
るとともに演算手段５０３および判定手段５０４を再起
動する制御手段５０５とを含めることができる。【００１０】本発明はこのような各手段を含むものであ
り、本発明を図２０に対応づけて説明すると、移動体を
所定範囲を単位として所定の時間間隔で撮像し、撮像結
果である画像信号を出力する撮像装置６１と、画像信号
の時間微分値および空間微分値に基づいて、移動体の速
度ベクトルを所定範囲ごとに演算する速度演算手段７０
ａと、演算された速度ベクトルの有効度を判定するため
の基準となる自己評価量を演算する自己評価量演算手段
７０ｂと、演算された自己評価量に基づいて、所定範囲
ごとに速度ベクトルの有効度を判定する判定手段８０
と、有効度が低いと判定された速度ベクトルが存在する
場合に時間間隔を変更する変更手段９０と、有効度が高
いと判定された速度ベクトルに基づいて移動体の速度分
布を計測する速度合成手段１１０とを備えることによ
り、上記目的は達成される。【００１１】本発明では、撮像装置６１を用いて移動体
を所定範囲を単位として所定の時間間隔で撮像し、撮像
結果である画像信号を撮像装置６１から出力する。次
に、出力された画像信号の時間微分値および空間微分値
に基づいて移動体の速度ベクトルを所定範囲ごとに演算
し、演算された速度ベクトルの有効度を判定するための
基準となる自己評価量を演算する。次に、演算された自
己評価量に基づいて所定範囲ごとに速度ベクトルの有効
度を判定し、有効度が低いと判定された速度ベクトルが
存在する場合には時間間隔を変更して再度移動体を撮像
する。そして、最終的には、有効度が高いと判定された
速度ベクトルに基づいて移動体の速度分布を計測する。【００１２】【発明の実施の形態】以下、図面に従い本発明の実施の
形態について説明する。まず、本発明の前提として、両
眼立体視により立体情報を再現する場合について説明
し、次いで本発明の動画像を再現する場合について説明
する。その後、他の実施の形態としての音源を定位する
のに用いる時間差抽出の場合についてそれぞれ説明す
る。【００１３】まず、両眼立体視により立体情報を再現す
る態様について説明する。図３および図４に示すよう
に、凹凸面ＯＢに正対して高さＨ，間隔Ｄで２個の撮像
体ＩＳ_L，ＩＳ_Rが置かれている系を考える。左右の撮像
体ＩＳ_L，ＩＳ_Rの像面の原点はそれぞれｘｙ平面の原点
を捉えるようにオフセットされている。簡単のため等倍
率で正立の撮像を仮定すると、左右の映像はｆ_L（ｘ，
ｙ），ｆ_R（ｘ，ｙ）のように物体側の座標（ｘ，ｙ）
の関数として表せる。対象物体を、ｘｙ平面からの高さ
がｚ＝ｈ（ｘ，ｙ） …（１．１）で表されるような単純な凹凸面とし、凹凸面上には固有
の濃淡があり、同じく座標（ｘ，ｙ）の関数としてｆ
（ｘ，ｙ）と表されるとする。【００１４】このとき、左右の撮像体ＩＳ_L，ＩＳ_Rが捉
える映像は表面の濃淡分布をｘｙ平面に投影したものだ
から、凹凸ｈ（ｘ，ｙ）の影響でｆ（ｘ，ｙ）に対しず
れを生ずる。このずれ（Δ_Rｘ，Δ_Rｙ），（Δ_Lｘ，Δ_L
ｙ）は図３および図４から、【数１】であり、これらを用いて左右映像ｆ_R（ｘ，ｙ），ｆ
_L（ｘ，ｙ）はｆ_R（ｘ，ｙ）＝ｆ（ｘ＋Δ_Rｘ，ｙ＋Δ_Rｙ） …（１．３ａ）ｆ_L（ｘ，ｙ）＝ｆ（ｘ＋Δ_Lｘ，ｙ＋Δ_Lｙ） …（１．３ｂ）のように表される。（１．２ａ）〜（１．２ｃ）式を用
いると、【数２】であるから、凹凸ｈ（ｘ，ｙ）の係数にも影響を与えて
いる。撮像系の仕組からわかるように、対象がレンズに
近づくと像は拡大される。これらの式のｘ，ｙの係数
｛Ｈ−ｈ（ｘ，ｙ）｝／Ｈはこの像の拡大を表してい
る。凹凸面上の濃淡を絶対座標（ｘ，ｙ）の関数ではな
く、物体の濃淡分布としてあらかじめこのスケール拡大
が含まれたものを考えてかまわないから、濃淡ｆ（ｘ，
ｙ）を、【数３】と書くことができる。いま、凹凸ｈ（ｘ，ｙ）の変化は
十分ゆるやかで、ずれΔ_RLｘの程度では高さの変化は無
視できる、すなわちｈ（ｘ，ｙ）のｘ方向微分が、ｈｘ（ｘ，ｙ）＜＜２Ｈ／Ｄ …（１．８）であるとするとΔ_RLｘの変化は局所的には無視できる。
一方、濃淡ｆ（ｘ，ｙ）の変化は滑らかではあるがｈ
（ｘ，ｙ）の変化よりは急峻であるとすると、次のよう
に点（ｘ，ｙ）のまわりのｘ軸方向にＴａｙｌｏｒ展開
されて、ｆ_R（ｘ，ｙ）＝ｆ（ｘ＋Δ_RLｘ，ｙ）＝ｆ（ｘ，ｙ）＋Δ_RLｘｆｘ（ｘ，ｙ） …（１．９ａ）ｆ_L（ｘ，ｙ）＝ｆ（ｘ−Δ_RLｘ，ｙ）＝ｆ（ｘ，ｙ）−Δ_RLｘｆｘ（ｘ，ｙ）…（１．９ｂ）と近似される。これら２式の和と差をとると、ｆ_R（ｘ，ｙ）＋ｆ_L（ｘ，ｙ）＝２ｆ（ｘ，ｙ）ｆ_R（ｘ，ｙ）−ｆ_L（ｘ，ｙ）＝２Δ_RLｘｆｘ（ｘ，ｙ）となり、第１式を微分して第２式に代入してｆ（ｘ，
ｙ）を消去すると、【数４】の関係が得られる。微分の定義を考えれば、Δ_RLｘが無
限に小さいときこの関係が成立するのは明らかである。
この式は画像のほとんどいたるところ成り立っていると
考えられる。【００１５】ここで、ｆ_R（ｘ，ｙ），ｆ_L（ｘ，ｙ）
は、対象立体の画像を撮像体ＩＳ_L，ＩＳ_Rによって得た
量であるから、（１．１０）式は、これらを係数とし、
Δ_RLｘを未知数とする線形方程式と見ることができる。
すなわち、【数５】によって近似的に求められる。なお、Δｘには画像の標
本化間隔を用いればよい。しかし（１．１２）式は画像
の微分と差分からなる式のため明らかに雑音に大きく影
響される。また【数６】が偶然に零であるような悪条件への対処が十分でない。【００１６】したがって、立体像を時空間微分法に基づ
いて抽出する場合、演算量を少なくして雑音に強くする
必要がある。まず、「着目点の近傍（以下、この領域の
大きさを近傍サイズと呼ぶ）において、凹凸面の高さは
ほぼ一定と近似できる」ことを仮定し、近似点の多くの
データから一個の高さを求める。近傍サイズの大きさ
は、濃淡ｆ（ｘ，ｙ）の空間的細かさと凹凸測定の分解
能との兼ねあいで決まる（例えば５×５ないし７×７領
域）。この近傍領域をΓと置く（図５参照）。Γ内でΔ
_RLｘは一致と仮定したから、Γ内のすべての点（ｘ，
ｙ）で、【数７】が成立する。一方、【数８】の方はΓ内で変化すると仮定すると、Γ内の画素数の個
数だけ異なった方程式が立てられる。これらを連立して
Δ_RLｘを解けばよい。【００１７】（１．１４）式を次のような最小二乗法で
解く場合、（１．１４）式の成立の良さを表す左辺−右
辺の２乗のΓ内での総和を最小化する。【数９】これをΔ_RLｘについて微分し零とおくと、【数１０】が得られる。サフィックス付きのＳはそれぞれ、【数１１】で計算される微分の積の積分値を表わす。これらの値を
（１．１６）式に代入するとΔ_RLｘは、【数１２】と表わせる。したがって、ずれの量Δ_RLｘと凹凸ｈ
（ｘ，ｙ）の関係（１．７）式より、【数１３】に代入して凹凸の高さが推定される。【００１８】ここで（１．１８）式が安定して求まるに
は、（１．１８）式の分母が零より十分大きい必要があ
る。すなわち、最小二乗法が有効なためには（１．１
６）式の正規方程式の良さを決める【数１４】が十分大なる必要がある。この【数１５】すなわち模様のＸ軸方向の変化が近傍領域Γ内で一様に
零の場合であって、局所的に全く模様が無い場合には、
ずれの量を定めることができないので、近傍領域Γ内で
の濃淡がなるべく大きく変化するようにΓの大きさを選
ぶ必要がある。【００１９】（１．１５）式における評価関数Ｊは最適
条件において、【数１６】と書ける。この式の値は残留誤差を表すから、画像に含
まれる雑音の大きさ，近傍領域Γ内での等標高の仮定の
妥当性，視点の違いによる模様の変化（表面に光沢があ
る場合）の可能性，などの判断基準として用いることが
できる。【００２０】ここではずれが微少なときに成り立つ線形
関係（１．１０）式を根拠とするため、凹凸が大きくな
ってずれが増大すると適切に画像処理ができない。この
ような誤差の主要部分は、位置ずれを伴った画像をＴａ
ｙｌｏｒ展開の１次項までで近似した（１．９ａ，ｂ）
式によって生ずる。この近似が妥当である範囲を見積も
るために（１．９ａ，ｂ）式を２次の項まで展開する
と、【数１７】となる。このとき２次の項の大きさが１次の項に比べて
十分に小さいための条件をそれらの分散を用いて表す
と、【数１８】の関係が得られる。この関係は検出可能なずれの量の上
限が対象表面の濃淡の性質により決まることを示してい
る。すなわち濃淡の１階微分の平均エネルギーが２階微
分の平均エネルギーに比べて大きいほど測定範囲は広が
るため、低い空間周波数成分が主要な濃淡パターンがよ
り好ましい。一方、同一の性質をもった対象に対しては
この式より撮像系の満たすべき条件が定まる。（１．１
９）式を代入して凹凸の測定範囲を見積もると、【数１９】の関係が得られるから、凹凸の測定範囲を増大させるに
は撮像距離Ｈに比べて左右撮像素子間隔Ｄを小さくする
のがよいことがわかる。これは三角測量における要求と
は逆の要求である。ただし雑音に弱くなるため小さくす
るのには実際上限界がある。【００２１】次に、画素の値に雑音が混入していると仮
定したときに凹凸測定結果に与える誤差について見積も
る。左右の画像の座標（ｘ，ｙ）における画素に加わる
雑音をそれぞれｎ_L（ｘ，ｙ），ｎ_R（ｘ，ｙ）とする
と、【数２０】雑音の存在を無視してずれの計算に（１．１２）式をそ
のまま適用したとすると、【数２１】で与えられる。すなわち雑音による影響は、１）画像の
濃淡勾配ｆｘ（ｘ，ｙ）が大きいほど小さく、２）雑音
のうち左右画像に共通する成分の影響はずれに比例して
増大し、３）その差成分の影響はずれに無関係であるこ
とがわかる。さらに２）で雑音の共通成分は画像の標本
化間隔Δｘで割られるため、４）画素の雑音が独立のと
きは標本化間隔が小さいほど誤差は増大することも示さ
れる。【００２２】一方、局所最小二乗法においては、同様な
計算により誤差項は、【数２２】と求められる。この式における雑音による影響は、１）
画像の濃淡勾配ｆｘ（ｘ，ｙ）の近傍領域Γ内での二乗
和が大きいほど小さく、２）雑音のうち左右画像に共通
する成分の影響はずれに比例して増大し、３）その差成
分の影響はずれに無関係であることがわかる。このよう
な性質は（１．２４）式の場合と基本的に変わらない
が、雑音の相関が少ないときΓ内で雑音成分の平均化が
行われて相対的に誤差が減少する。さらに２）において
雑音の共通成分は画像の標本化間隔Δｘで割られるた
め、４）画素の雑音が独立ならば一般的に標本化間隔が
小さいほど誤差は増大するが、５）画像の濃淡勾配ｆｘ
（ｘ，ｙ）の変化がΓ内でゆるやかならば（画像の平坦
さとは異なることに注意）、分子の被積分関数が相殺さ
れるから（１．２４）式の場合より大幅に誤差が小さく
なる。【００２３】明らかなように（１．２４）と（１．２
５）式は撮像時の配置のパラメータＤとＨには無関係に
ずれの量を計測するときの誤差を表す。したがって凹凸
を計測するときの誤差は（１．１９）式によってずれを
高さに変換する際の係数２Ｈ／Ｄ倍される。【００２４】以上に、局所最小二乗法により、凹凸ｈ
（ｘ，ｙ）は画像上の任意の点で求められることを示し
た。この演算は画像全体にわたる並列処理の構造を前提
として見ると、非常に組織立った演算法となっているこ
とがわかる。すなわち入力画像ｆに対して【数２３】を段階的に施し、（１．１９）式の係数２Ｈ／Ｄを乗ず
ることで凹凸ｈ（ｘ，ｙ）がパターン的に同時に定まる
ことになる。個々の段階での処理はいずれも単純であ
り、原理的に並列処理はきわめて容易である。【００２５】次に以上説明した態様に基づいて立体像を
抽出する実施の形態について説明する。図６〜図１２に
は、その実施の形態を示す。図６において、１１，１２
は、対象となる静止立体ＳＯＢのある基準面ＲＰ上で輻
輳角θにて各光軸が交差する２つの固体撮像素子カメラ
であり、ここでは、１２８×１２８画素のイメージセン
サ（ＲＥＴＩＣＯＮ社製ＭＣ−９０００）を用いてい
る。このカメラ１１，１２は撮像体駆動回路１３からの
画素クロックおよび同期信号により制御される。また、
カメラ１１、１２の光軸は、輻輳角制御装置２０により
回動され、基準面ＲＰを前後（図面上では上下）にずら
すことができる。すなわち、図７に示すように、両カメ
ラ１１，１２は、基台２１上に設置され、カメラ１１，
１２のそれぞれは、連結機構２２，２３を介してステッ
プモーター２４，２５に連結されている。これらステッ
プモーター２４，２５は、駆動回路２６からの信号によ
り回転される。すなわち、後述の自己判断／制御論理部
５４からの輻輳角制御信号が駆動回路２６に供給されて
ステップモーター２４，２５が所定ステップ数づつ回転
され、これによりカメラ１１，１２の光軸を回動させて
輻輳角θを変更し両光軸の交差位置を上述した基準面Ｒ
Ｐに対して前後に変更可能とされている。【００２６】両カメラ１１，１２からのアナログ画像信
号Ｌ，Ｒは、Ａ／Ｄ変換器５で、デジタル信号Ｌ，Ｒに
変換され相対標高／自己評価量演算部３０に入力され、
ここで後述する相対標高および自己評価量Ｊ_DET，Ｊ_ERR
を演算して立体合成再現部５０に出力する。【００２７】この立体合成再現部５０は、後述の如き演
算を行ない、標高マップおよび誤差マップを出力する。
この標高マップにより対象物体ＳＯＢの立体情報が抽出
される。【００２８】次に、相対標高／自己評価量演算部３０お
よび立体合成再現部５０について詳述する。（１）相対標高／自己評価量演算部３０これは、相対標高演算部３０ａと自己評価量演算部３０
ｂとからなる。図８にこの演算部３０の一例を示す。画
像信号Ｌ，Ｒは和差回路３１に入力され、和画像信号Ｒ
＋Ｌおよび差画像信号Ｒ−Ｌが演算される。和画像信号
Ｒ＋ＬはＸ微分回路３２に入力され【数２４】この和分回路３３は省略してもよい。Ｘ微分値は、２乗
回路３４および乗算回路３５に、平均値は、２乗回路３
６および乗算回路３５に入力される。【００２９】２乗回路３４は、【数２５】を２乗し、その結果が平滑化回路３７に入力される。こ
の平滑化回路３７は、入力信号を予め定められた近傍サ
イズ（例えば５×５画素）で積分した出力Ｓｘｘを自己
評価量Ｊ_DETとして立体合成再現部５０および比回路４
０，４３に出力する。【数２６】その結果が平滑化回路３８に入力される。この平滑化回
路３８は、入力信号を上記近傍サイズで積分した出力Ｓ
ｘｄを比回路４０および乗算回路４１に出力する。【数２７】その結果が平滑化回路３９に入力される。平滑化回路３
９は入力信号を近傍サイズで積分した出力Ｓｄｄを減算
回路４２に出力する。【数２８】の演算を施し、相対標高値Δ_RLｘを出力する。乗算回路
４１は、比回路４０の出力Δ_RLｘと、平滑化回路３８の
出力Ｓｘｄとを乗算してその結果Δ_RLｘ×Ｓｘｄを得、
減算回路４２に出力する。減算回路４２は、入力信号Δ
_RLｘ×Ｓｘｄ，Ｓｄｄに対して、Ｓｄｄ−Δ_RLｘ×Ｓｘｄ＝Ｊ_RES …（１．２７）の演算を施し、自己評価量Ｊ_RESを出力する。この
（１．２７）式は（１．２０）式に相当する。比回路４
３は、入力される減算回路４２の出力Ｊ_RESおよび平滑
化回路３７の出力Ｊ_DET（Ｓｘｘ）に対して、【数２９】の演算を施し、自己評価量Ｊ_ERRを出力する。すなわ
ち、相対標高／自己評価量演算部３０から、自己評価量
Ｊ_DET，Ｊ_ERRおよび相対標高値Δ_RLｘが立体合成再現部
５０に出力される。【００３０】（２）立体合成再現部５０図６に示すとおり、立体合成再現部５０は次の各要素に
て構成される。相対標高値分類部５１これは、図９に示す処理手順によるソフトウェアの形態
で実現され、入力される自己評価量Ｊ_DET，Ｊ_ERRに基づ
いて、１２８×１２８の各画素について近傍サイズ毎に
分類が行なわれる。すなわち、手順Ｐ１において相対標
高／自己評価量演算部３０からの自己評価量Ｊ_DETを、
予め定められた閾値ＳＳ１と大小比較し、Ｊ_DET≧閾値
ＳＳ１であれば、手順Ｐ２に進み、相対標高／自己評価
量演算部３０からの自己評価量Ｊ_ERRを、予め定めた閾
値ＳＳ２と大小比較する。Ｊ_ERR≦閾値ＳＳ２ならば手
順Ｐ３において、自己評価量Ｊ_ERRの演算対象である近
傍サイズの中心画素に有効領域のラベルをセットする。【００３１】手順Ｐ１で否定判定されると、手順Ｐ４に
おいて、上述の近傍サイズの中心画素に対して無効領域
のラベルをセットする。また、手順Ｐ２が否定判定され
ると、手順Ｐ５において、同様に標高過剰領域のラベル
をセットする。すなわち、自己評価量Ｊ_DETは、最小二
乗法が有効なために正規方程式（１．１６）の良さを決
めるものであり、十分大きくなくてはならない。また、
自己評価量Ｊ_ERRは、誤差の原因が画素雑音のみと仮定
すると、雑音分散Δ²に比例するから、予め測定誤差が
どの程度含まれているかを予測する量として用いること
ができ、小さいほどよい。【００３２】荷重標高／荷重累積部５２これは、図１０に示す回路の形態で実現され、入力され
る相対標高Δ_RLｘと、自己評価量Ｊ_ERR（荷重として用
いる）と、後述の標高バイアスとに基いて、累積荷重標
高および累積荷重が演算される。すなわち、有効領域と
して分類された近傍領域毎に相対標高と標高バイアスと
が和回路５２１に入力され、両入力の和が比回路５２２
に入力される。比回路５２２には、自己評価量Ｊ_ERRも
入力されており、【数３０】が演算され、その出力は和回路５２３に入力される。こ
の和回路５２３には、スイッチ５２８を介して累積メモ
リ５２４が後続し、その累積メモリ５２４の出力が和回
路５２３に入力されている。したがって、和回路５２３
は、【数３１】のように過去の累積データに新しいデータを加算し、そ
の結果を出力することになる。以上の回路構成により累
積メモリ５２４から各画素の累積荷重標高が出力され
る。【００３３】また、自己評価量Ｊ_ERRが逆数回路５２５
に入力され、逆数回路５２５から１／Ｊ_ERRが次段の和
回路５２６に出力される。この和回路５２６には、スイ
ッチ５２９を介して累積メモリ５２７が後続し、その累
積メモリ５２７の出力が和回路５２６に入力されてい
る。したがって、和回路５２６は、【数３２】のような過去の累積データに新しいデータを加算し、そ
の結果を出力することになる。以上の回路構成により、
累積メモリ５２７から各画素の累積荷重が出力される。
なお、上述したスイッチ５２８，５２９は、後述する自
己判断／制御論理部５４からの累積制御信号によりオン
・オフされる。【００３４】標高再現部５３これは、図１０に示す回路の形態で実現され、前段の荷
重標高／荷重累積部５２から入力される累積荷重標高と
累積荷重とに基づいて標高マップおよび誤差マップとが
出力される。すなわち、累積荷重標高と累積荷重とが比
回路５３１に入力され、【数３３】が演算され、後述の自己判断／制御論理部５４に出力さ
れるとともに、最終出力データとして取り出される。一
方、累積荷重が逆数回路５３２に入力されてその逆数が
演算され、【数３４】として自己判断／制御論理部５４に出力されるととも
に、最終出力データとして取り出される。【００３５】自己判断／制御論理部５４これは、図１１に示す処理手順によるソフトウェアの形
態で実現される。相対標高値分類部５１からの分類マッ
プと、相対標高演算部３０ａからの相対標高と、標高再
現部５３からの標高マップおよび誤差マップとに基づい
て、標高バイアスと、累積制御信号と、輻輳角制御信号
と、撮像カメラ起動信号と、相対標高演算部起動信号と
を演算して出力する。【００３６】すなわち、図１１において、手順Ｐ１１で
累積領域および輻輳角の初期化を行ない、手順Ｐ１２で
は、分類マップにしたがって有効領域の抽出を行う。手
順Ｐ１３では、誤差マップにしたがって、累積確定領域
の抽出を行う。これは、予め設定された閾値ＳＳ３に対
して誤差マップ≦閾値ＳＳ３となるベき領域を抽出するものである。次いで、手順Ｐ
１４において各手順Ｐ１２，１３で抽出された両領域の
オーバラップ領域を抽出する。そして、手順Ｐ１５に進
みオーバーラップ領域での相対標高の平均値、すなわち
標高バイアス（平均標高差）を抽出し、図１０の和回路
５２１に入力する。【００３７】なお、以上の手順Ｐ１２〜Ｐ１５に代え
て、図１２に示すように、輻輳角の変化から基準面ＲＰ
の前後移動量を演算して標高バイアスを求めることもで
きる。【００３８】次いで、手順Ｐ１６では累積制御信号を出
力して図１０に示したスイッチ５２８，５２９を閉成
し、上述したように手順Ｐ１５で求められた標高バイア
スと近傍領域内の各画素の相対標高とを加算するととも
に、その後、前述したように累積荷重標高を累積メモリ
５２４に格納し、また、そのときの累積荷重を累積メモ
リ５２７に格納する。その後手順Ｐ１７，Ｐ１８に順次
に進み標高荷重領域および標高不確定領域をそれぞれ抽
出する。ここで、標高不確定領域とは、先の手順Ｐ１３
において抽出された累積確定領域以外の領域である。更
に手順Ｐ１９で、これら両領域のオーバラップ領域、す
なわち未測定の測定可能領域を残存領域として抽出す
る。その後手順Ｐ２０に進み、残存領域の有無を判定
し、残存領域があれば手順Ｐ２１に進んで、両カメラ１
１，１２を所定量制御するためステップモーター駆動回
路２６に輻輳角制御信号を供給する。例えば、基準面Ｒ
Ｐが前側に２〓ずれるように輻輳角が制御される。カメ
ラ１１，１２の輻輳角が制御されると、手順Ｐ２２にお
いて、撮像体駆動回路部１３に撮像体起動信号を供給し
てカメラ１１，１２による対象物体ＳＯＢの撮影を指令
するとともに、相対標高演算部３０ａへその起動信号を
供給して起動する。手順Ｐ２０において残存領域がなけ
れば、以上の処理を終了する。また、図には示していな
いが、カメラ１１，１２の輻輳角が限界値を超えるよう
な場合にもこの処理を終了する。【００３９】図７に示した表面にランダムドット模様を
つけた立方体を計測対象とした場合の実験結果の例を図
１３〜図１５に示す。図１３および図１４はそれぞれ輻
輳角θを異にして得た有効データによる標高マップであ
り、図１５はこのような複数の標高マップを合成して得
た最終結果である。また、図１６に示すようなくさびを
計測対象とした場合の実験結果を図１７〜図１９に示
す。各図は、それぞれ輻輳角θを異にして得た有効デー
タによる標高マップである。なお、計測にあたりくさび
にランダムドット模様をつけた。【００４０】以上説明したようにこの態様による立体抽
出は、所定の基準面ＲＰに対して得た画像系列から１）空間微分と左右画像差を画素値とする画像（微分画
像，差分画像）２種を形成し、２）それらの積を画素値とする画像（積画像）を２種類
形成し、３）それらを近傍領域Γのサイズの点拡がり関数で平滑
化し（平滑化積画像）、４）それらの積和の比を画像全体で計算する、ことにより行なわれる。従って、図８，図１１に示すよ
うな多段並列演算回路によって実現でき、実時間にて立
体情報の抽出ができる。なお、上記４）のステップはさ
らに分解してもよい。【００４１】また、立体情報抽出の過程で演算された自
己評価量Ｊ_DET，Ｊ_ERRにより抽出された立体情報を評価
してその有効，無効の判定を含む有効度の判定を行な
い、有効と判定された領域の立体情報に対して荷重Ｊ
_ERRによる重みづけ（有効度に応じた重みづけ）を行な
って対象立体の画像を再現し、無効と判定された領域に
対しては、基準面ＲＰを前後に、すなわち撮像体と対象
立体との距離Ｈを変更して同様な処理を繰り返して行な
う。従って、従来、雑音に大きく影響され、悪条件下で
の対処が不十分であることにより実現が難しいと言われ
ていた時空間微分法による立体像の再現を精度よく行な
うことができる。ここで、Ｊ_DETは測定可能性を示す評
価量で大きいほど有効度が高く、Ｊ_ERRは測定誤差の推
定値を示す評価量で、Ｊ_RESは測定条件の正当性を示す
評価量である。【００４２】なお、以上では対象物体にランダムドット
パターンを付したが、ランダムドトパターンをプロジェ
クトで対象物体に投影してもよい。また、表面に模様の
ないものに対しては、ランダムドットパターンをプロジ
ェクトにより投影して表面に濃淡パターンをつける必要
がある。更に、測定毎に輻輳角を変更するとともに、対
象物体の表面の濃淡パターンを変更するために測定の都
度プロジェクトがランダムな模様を投影することにより
一層精度が向上する。【００４３】次いで、本発明の動画像を時空間微分法に
基づいて抽出する態様について説明する。従来の技術で
述べたように、動画像を時空間微分法に基づいて抽出す
る場合、演算量を少なくし雑音に強くする必要がある。
雑音を排除するには解の自由度を減らし、かつ解に実質
的に寄与するデータ量を多くすれば良いのであるが、こ
こでは、単純に、「着目点近傍において速度場はほぼ一
定と近似できる」ことを仮定し、近傍内のデータを連立
して一個の速度を求める。近傍の大きさは対象の濃淡の
細かさと速度場測定の空間分解能との兼ねあいで決め
る。この領域をΓと置くと、Γ内のいたるところｕｆｘ（ｘ，ｙ）＋ｖｆｙ（ｘ，ｙ）＋ｆｔ（ｘ，ｙ）＝０ …（２．１）が成立していなければならない。いまこの式のΓ内での
一様な成立の良さ（悪さ）を左辺の二乗積分で評価し、
これを近傍ごとに最小化すると、【数３５】ただし変数（ｘ，ｙ）の記述を省略した。これをｕ，ｖ
に関して微分して零とおくと正規方程式、が得られる。サフィックス付のＳはそれぞれ【数３６】で計算される微分の積の積分値を表わす。これらの値を
代入し（２．３）式を解くと、速度ベクトル（ｕ，ｖ）
は【数３７】のように求まる。【００４４】この演算は画像全体の並列処理に適した構
造をもっている。すなわち、多量の積和計算を含むＳｘ
ｘ，Ｓｘｙ，Ｓｙｙ，Ｓｘｔ，Ｓｙｔ，Ｓｔｔの計算
は、入力画像ｆの全体に対して、１）空間時間微分画像ｆｘ，ｆｙ，ｆｔ２）自己、相互積画像ｆｘ²，ｆｘｆｙ，ｆｙ²，ｆｘｆｔ，ｆｙｆｔ，ｆｔ² ３）移動平均画像Ｓｘｘ，Ｓｘｙ，Ｓｙｙ，Ｓｘｔ，Ｓｙｔ，Ｓｔｔを段階的に形成する並列演算に置き換わる。移動平均は
Γ上の積分に相当する。各段階での処理に特殊なものが
ないから汎用画像処理ハードウェアにて処理できる。【００４５】時空間微分法を用いた動画像処理では、上
述した雑音への鋭敏さ以上に、ずれが微小な場合に適用
を限定する必要性が重要である。従来の技術に示した
（２）式の近似が成立しないと解（２．５ａ，ｂ）は全
く無意味となるが、解からはこれを判断できない危険が
ある。したがって、対象の速度がどの程度の範囲内にあ
る場合に実用上十分な測定精度が得られるかを把握し、
また実際に対象の速度がその範囲に入っているかを判定
する必要がある。【００４６】また、この画像処理に固有な問題として、
近傍の適切な大きさを選択して不必要な分解能の低下を
避け、また近傍内での速度の一様性を高める必要があ
る。そこで、以下にこれらの点に関係する評価量と判断
基準を説明する。【００４７】ａ）測定可能性の評価量（２．３）式が安定して解かれるためには係数行列の行
列式が十分大きい必要がある。いま、これをＪ_DET ²と置
くと、【数３８】であるからＳｃｈｗａｒｔｚ不等式の条件よりＪ_DET ²が
零となるのはΓ内のいたるところ、ｆｘ（ｘ，ｙ）＝Ｃｆｙ（ｘ，ｙ）（Ｃ：任意定
数）のときである。この式は濃淡が一方向（ｘ＋ｙ／ｃ＝一
定の直線上）に一様であることを表す。すなわち解の安
定性のためにはΓ内の濃淡が２方向に自由度をもって変
化する必要がある。これはΓの大きさ選択の指針となる
とともに、Ｊ_DET ²によってΓが実際にこの条件を満たし
ている度合を評価できる。この意味でＪ_DETは着目点で
の測定可能性を表していると見なせる。【００４８】ｂ）仮定の正当性の評価量評価関数Ｊに（２．３）式を代入し最適条件下での残留
誤差Ｊ_RESを計算すると、【数３９】が得られる。この式の値は一般にモデル外要因の混入の
指標となるから、微小ずれ仮定の不成立，画素雑音の存
在，Γ内での速度変動等の判断の基礎情報となる。【００４９】ｃ）測定誤差分散の評価量（２．２）式の定義から分かるように残留誤差Ｊ_RESは
誤差が時間微分ｆｘのみに含まれると仮定すると、おお
よそこの分散の面積分を表している。実際、画像ずれが
大きくなると支配的になるＴａｙｌｏｒ展開の一次近似
誤差は等価的にｆｔに加わった誤差と見なせる。いまこ
の誤差の解への伝搬を調べるため、これを次式を満たす
白色雑音ε（ｘ，ｙ）で表わす。【数４０】と求められる。このＪ_ERRは仮定の不成立度と着目点付
近の濃淡から予想される解のばらつきを示すから、おお
よそ測定誤差の自己評価量の意味をもつ。【００５０】測定が意味をもつにはＪ_DETは画素雑音に
起因して不可避的に生ずる値よりも大きくなければなら
ない。いまΓが十分に大きい場合を想定し、画素雑音の
自己相関々数をΨ（ｘ，ｙ）とすると、相関々数の微分
定理より【数４１】程度の値を雑音のみの寄与によりとり得る。画素雑音が
独立で画素間隔が１に規格化されている場合を想定し、
間隔１の標本化のＮｙｇｕｉｓｔ帯域内で雑音が白色で
分散がσ²と仮定すると自己相関々数は、【数４２】で与えられる。これを代入すると（２．１１）式の値は
（πσ）⁴/４と求まり、測定可能なＪ_DETの条件として【数４３】が得られる。σ²＝０．５量子化単位²，Γ＝５×５画素
とすると右辺≒６２となる。【００５１】Ｊ_ERRは測定誤差分散の見積りだから、
（２．１３）式が満たされている測定点ではそのまま測
定誤差の大きさを表わすと考えられる。したがって最低
限許容できる絶対精度Ａ_ABSないし相対精度Ａ_RELを前も
って与えて、Ｊ_ERR≦Ａ_ABS ² or Ｊ_ERR≦Ａ_REL ²（ｕ²+ｖ²） …（２．１４）を満たさない測定点を最終結果から排除する。【００５２】（２．１３），（２．１４）式を用いると
本実施の形態ではＪ_DET，Ｊ_RESの評価量を組みあわせて
対象上の速度場を、１）測定条件が適切で信頼できる速
度が得られた領域、２）模様の存在からは測定は可能と
見られるが速度が過剰なため信頼できる測定が行われな
かった領域、３）対象上に適切な模様がなく測定が不可
能な領域の３種に分類する事ができる。２）の原因とし
ては他に近傍での速度の不均一さえも考えられる。この
分類図は最終結果とともに出力されるばかりでなく、測
定条件の設定にも用いる。すなわち、１）の領域が十分
広くてＪ_DETの値に余裕があるときには、近傍領域サイ
ズを下げて分解能と速度均一性の向上を図る。２）の速
度過剰領域が多く生じた時には、フレーム間隔を短くし
て画像のずれ量を抑える，３）の領域が広すぎる場合は
近傍領域サイズを上げる，等の方針をとる。【００５３】次に、以上説明した本発明の態様に基づい
て動画像を抽出する実施の形態について説明する。図２
０〜図３１にその実施の形態を示す。図２０において、
６１は、対象となる移動物体ＭＯＢを所定フレーム間隔
で撮影する固体撮像素子カメラであり、ここでは１２８
×１２８画素のイメージセンサ（ＲＥＴＩＣＯＮ社製Ｍ
Ｃ−９１２８）を用いている。このカメラ６１は、撮像
体駆動回路６２からの画素クロックの周期に応じて、撮
像レートを１０〜５００フレーム毎秒の範囲で自由に設
定できる。この画素クロックの制御は、後述する自己判
断／制御論理部９０からのクロック制御信号によりなさ
れる。【００５４】なお、計測対象の並進成分が零でないとき
に、追従機構６３により撮像カメラ６１を移動物体ＭＯ
Ｂの動きに角度θで追従するように構成し、これによ
り、計測範囲を拡大することができる。【００５５】撮像カメラ６１の隣接する２フレームのア
ナログ画像信号がＡ／Ｄ変換器５でデジタル画像信号に
変換され速度分布／自己評価量演算部７０に入力され、
後述する速度ベクトルマップ，誤差マップ（自己評価
量）Ｊ_ERRが最終出力として取り出されるとともに、自
己評価量Ｊ_DET，Ｊ_ERRが後述の速度分布データ分類部８
０に入力される。この速度分布データ分類部８０は、入
力信号Ｊ_DET，Ｊ_ERRに基づいて、１２８×１２８の各画
素に対して近傍サイズ毎に分類を行ない、各近傍領域の
中心画素に対して有効領域、速度過剰領域、および無効
領域の各ラベルをセットする。このようにして、各ラベ
ルがセットされた各画素の情報と、速度分布／自己評価
量演算部７０からの速度ベクトルマップと自己評価量Ｊ
_ERRとが自己判断／制御論理部９０に入力され、後述す
る近傍サイズの拡大、縮小および画素クロック周波数の
増大、減少がそれぞれ制御される。【００５６】次に以上の各要素について詳述する。（１）速度分布／自己評価量演算部７０図２１および図２２にこの演算部７０の一例を示す。こ
れは、図２１に示す速度分布演算部７０ａと、図２２に
示す自己評価量演算部７０ｂとからなる。【００５７】速度分布演算部７０ａ図２１において、この演算部７０ａは、まず撮像カメラ
６１による隣接２フレームの画像データを取り込み実時
間で微分画像ｆｘ，ｆｙ，ｆｔを形成する。すなわち、
入力画像ｆはＸ微分回路７１、Ｙ微分回路７２およびＴ
微分回路７３に入力されてそれぞれの回路から、空間時
間微分画像ｆｘ，ｆｙ，ｆｔが出力される。微分画像ｆ
ｘ，ｆｙ，ｆｔは、それぞれ２乗回路７４，７６，７９
で２乗されるとともに乗算回路７５，７７，７８で相互
に乗算され、各回路７４〜７９から自己・相互積画像ｆ
ｘ²，ｆｘｆｙ，ｆｙ²，ｆｘｆｔ，ｆｙｆｔ，ｆｔ²が
出力される。これらの自己・相互積画像ｆｘ²，ｆｘｆ
ｙ，ｆｙ²，ｆｘｆｔ，ｆｙｆｔ，ｆｔ²はそれぞれ次段
の平滑化回路８０〜８５に入力されて、各平滑化回路８
０〜８５から移動平均画像Ｓｘｘ，Ｓｘｙ，Ｓｙｙ，Ｓ
ｘｔ，Ｓｙｔ，Ｓｔｔが出力される。ここで、移動平均
画像Ｓｘｘ，Ｓｘｙ，Ｓｙｙ，Ｓｘｔ，Ｓｙｔ，Ｓｔｔ
は、所定の近傍サイズΓ上の積分値に相当し、後述する
自己判断／制御論理部９０で演算されて決定される近傍
サイズ制御信号によりその積分領域が変更される。【００５８】平滑化回路８０および８２の出力Ｓｘｘ，
Ｓｙｙは乗算回路８６に入力され、その結果ＳｘｘＳｙ
ｙが差回路９２に出力される。また、平滑化回路８１の
出力Ｓｘｙは２乗回路８７に入力され、その結果Ｓｘｙ
²が差回路９２に出力される。したがって、差回路９２
は、入力信号ＳｘｘＳｙｙおよびＳｘｙ²に対して、ＳｘｘＳｙｙ−Ｓｘｙ²＝Ｊ_DET …（２．１５）の演算を施し、自己評価量Ｊ_DETが出力される。この式
は（２．６）式に相当する。【００５９】平滑化回路８０および８４の出力Ｓｘｘ，
Ｓｙｔは、乗算回路８８に入力され、その結果ＳｘｘＳ
ｙｔが差回路９３に出力される。また平滑化回路８１お
よび８３の出力Ｓｘｙ，Ｓｘｔは乗算回路８９に入力さ
れ、その結果ＳｘｙＳｘｔが差回路９３に入力される。
したがって、差回路９３は、入力信号ＳｘｘＳｙｔおよ
びＳｘｙＳｘｔに対して、ＳｘｙＳｘｔ−ＳｘｘＳｙｔ …（２．１６）の演算を施す。そして、差回路９２の出力Ｊ_DETおよび
差回路９３の出力ＳｘｙＳｘｔ−ＳｘｘＳｙｔが比回路
９５に入力されて、【数４４】が出力される。ここでｕは速度ベクトルを表す。【００６０】一方、平滑化回路８２および８３の出力Ｓ
ｙｙ，Ｓｘｔは乗算回路９０に入力され、その結果Ｓｙ
ｙＳｘｔが差回路９４に出力される。また、平滑化回路
８１および８４の出力Ｓｘｙ，Ｓｙｔは乗算回路９１に
入力され、その結果ＳｘｙＳｙｔが差回路９４に出力さ
れる。したがって差回路９４は、入力信号ＳｙｙＳｘｔ
およびＳｘｙＳｙｔに対して、ＳｘｙＳｙｔ−ＳｙｙＳｘｔ …（２．１８）の演算を施す。そして、差回路９２の出力Ｊ_DETおよび
差回路９４の出力ＳｘｙＳｙｔ−ＳｙｙＳｘｔが比回路
９６に入力されて、【数４５】が出力される。ここで、ｖは速度ベクトルを表す。【００６１】図２３に平滑化回路８０〜８５の一例を示
す。画像Ｓｘｘの平滑化回路８０について以下説明す
る。平滑化回路８０は、最大近傍サイズＮгに相応した
Ｎг段のシフトレジスタ群２０１と、加算器２０２と、
そのレジスタのＮг×Ｎгの領域と加算器２０２とを接
続するスイッチ群２０３とから成る。画像Ｓｘｘをスキ
ャンすると、シフトレジスタ群２０１に順次にデータが
入力される。今、近傍サイズがその制御信号によりＮг
×Ｎгの数に設定されると、スイッチ群２０３のすべて
がオンするから、レジスタ群２０１のＮг×Ｎг領域の
データが加算器２０２で加算されて平滑化回路８０の出
力とされる。一方、近傍サイズ制御信号により近傍サイ
ズが５×５となると、スイッチ群２０３の各スイッチが
それに相応してオン・オフし、レジスタ群２０１の例え
ば５×５領域データが加算器２０２で加算されて出力と
される。【００６２】自己評価量演算部７０ｂ図２２において、この演算部７０ｂは速度分布演算部７
０ａに後続して自己評価量Ｊ_ERRを演算する。速度ベク
トルｕと移動平均画像Ｓｙｔは乗算回路９７に入力さ
れ、乗算回路９７はｕ×Ｓｙｔを出力する。一方、速度
ベクトルｖと移動平均画像Ｓｘｔは乗算回路９８に入力
され、乗算回路９８はｖ×Ｓｘｔを出力する。乗算回路
９７，９８からの出力ｕ×Ｓｙｔ，ｖ×Ｓｘｔおよび前
段の演算部７０ａからの移動平均画像Ｓｔｔは和回路９
９に入力される。和回路９９はこれらの入力信号に対し
てｕ×Ｓｙｔ＋ｖ×Ｓｘｔ＋Ｓｔｔ＝Ｊ_RES …（２．２０）の演算を施して、自己評価量Ｊ_RESを比回路１０１に出
力する。比回路１０１には、前段の演算部７０ａで求め
られた自己評価量Ｊ_DETも入力されており、Ｊ_RES／Ｊ
_DETが演算され、その結果が次段の乗算回路１０２に出
力される。和回路１００には、前段の演算部７０ａから
移動平均画像Ｓｘｘ，Ｓｙｙが入力され、この結果Ｓｘ
ｘ＋Ｓｙｙが乗算回路１０２に出力される。乗算回路１
０２は両入力信号に対して、【数４６】の演算を施して、その自己評価量Ｊ_ERRを出力する。
（２．２１）式は（２．９）式に相当する。【００６３】次に、速度分布データ分類部８０について
図２４に基づき説明する。これはソフトウエアの形態で
実現され、入力される自己評価量Ｊ_DET，Ｊ_ERRに基づい
て１２８×１２８の画素に対して各近傍サイズ毎に分類
が行なわれる。すなわち、手順Ｐ３１において、前段の
演算部７０ａからの自己評価量Ｊ_DETを、予め定められ
た閾値ＳＳ４と大小比較し、Ｊ_DET≧閾値ＳＳ４であれ
ば、手順Ｐ３２に進み、演算部７０bからの自己評価量
Ｊ_ERRを、予め定めた閾値ＳＳ５と大小比較する。Ｊ_ERR
≦閾値ＳＳ５ならば手順Ｐ３３において、自己評価量Ｊ
_E _RRの演算対象である近傍サイズの中心画素に対して有
効領域のラベルをセットする。【００６４】手順Ｐ３１で否定判定されると、手順Ｐ３
４において、上述の近傍サイズの中心画素に対して無効
領域のラベルをセットする。また、手順Ｐ３２が否定判
定されると、手順Ｐ３５において、同様に速度過剰領域
のラベルをセットする。これらの分類マップは次段の自
己判断／制御論理部９０に出力される。【００６５】図２５は自己判断／制御論理部９０をソフ
トウエアの形態で実現したものである。この自己判断／
制御部９０は、入力される分類マップにしたがって、後
述の演算を行ない、近傍サイズの拡大，縮小およびカメ
ラ６１のフレーム間隔であるクロック周波数の増大，減
少の制御を行う。【００６６】手順Ｐ４１において無効領域の面積を算出
し、手順Ｐ４２において速度過剰領域の面積を算出す
る。また、手順Ｐ４３において、有効領域内での自己評
価量Ｊ_ERRの平均値および√（ｕ²＋ｖ²）の平均値を算
出する。次いで、手順Ｐ４４において、無効領域が過剰
か否かを判定する。肯定判定されると手順Ｐ４８に進
み、近傍領域を拡大すべく近傍サイズ制御信号（図２１
の平滑化回路８０〜８５の積分領域を定める信号）を変
更する。手順Ｐ４４が否定判定されると手順Ｐ４５に進
み、速度過剰領域が過剰か否かを判定する。肯定判定さ
れると手順Ｐ５０に進み、フレーム間隔を短くすべくク
ロック周波数を増大させる。【００６７】手順Ｐ４５が否定判定されると手順Ｐ４６
に進み、平均Ｊ_ERRに余裕があるか否かを判定する。肯
定判定されると手順Ｐ４９に進み、近傍サイズを縮小す
べく近傍サイズ制御信号を変更する。手順Ｐ４６が否定
判定されると、手順Ｐ４７に進み、平均√（ｕ²＋ｖ²）
が過小か否かを判定する。肯定判定されると手順Ｐ５１
に進み、フレーム間隔を長くすべくクロック周波数を減
少させる。否定判定されると、この一連の手順を終了す
る。【００６８】図２６〜図２８に、この実施の形態により
流体の流速分布を実時間計測した結果を示す。墨汁を混
ぜてアルミ粉末を浮かせた水面に平板を差し込み水面に
沿って動かすと、平板の後方に捲き込み渦の発生が容易
に観察される。この模様を実時間で速度ベクトル分布と
して計測した。３２×３２の格子点上で得られた速度
ｕ，ｖと評価量Ｊ_DET，Ｊ_ERRの値が０．１５秒ごとに計
算機の拡張記憶にストアされ一連の計測のあとでこれを
表示した。表示を同時に行わせることもできるが計測間
隔がその分大幅に長くなる。図２６〜図２８において、
升目付きの印は、速度範囲が適切で正しい測定が行なわ
れた領域を示し、線分のみの印は対象に模様があって測
定は可能だが速度が過剰なため正しい測定ができなかっ
た領域を示し、中心点のみの印は、対象に模様がなく測
定が不可能な領域を示している。下部の空白領域が平板
を表しており、これが下方に動くにつれて上方から水面
が引きずられ捲込まれてゆく様子が計測されている。渦
の中心に近い部分は速度が過剰ないし速度の不均一性が
高いと判断されていることも読み取れる。【００６９】図２９〜図３１に他の実験結果を示す。計
測対象は回転軸に取付けた直径３２cmの白色円板の上に
数mm大の黒色斑点模様をランダムに吹き付けたものであ
る。円板の回転速度はギヤヘッドにより０．０８３３回
転／秒に減速し、カメラのクロックを０．２５ＭＨｚ，
０．５ＭＨｚ，１ＭＨｚに変化させて等価的に３段階の
物体速度に相応する画像ずれを生じさせた。対応するフ
レーム間隔はそれぞれ約６８ｍｓ，３４ｍｓ，１７ｍｓ
であり、そのとき隣接フレーム画像間での最大ずれは円
板の縁でそれぞれ２．２７画素，１．１４画素，０．５
７画素である。フレーム間隔を変えたときの感度変化は
照明強度で補償した。画像データ（各画素８ビット）は
必ず隣接する２フレームを連続して取り込み、ディジタ
ルのハードウエアにより実時間で微分画像を形成する。
このときの機構上の理由により後フレームが空間微分画
像の形成に用いられ、前フレームは時間微分のみに利用
される。空間微分計算には空間異方性の導入を避けるた
め中心差分法が使われている。実験では平滑化の近傍領
域には主に５×５画素を用い、１画素分のオーバラップ
を許して３２×３２の標本化を用いた。これ以後の処理
は逐次処理となるため、この間引き計算方式は高速化に
大きな効果がある。さらに今回の実験では中心点を指定
すると上記の６種の積和が同時に計算されるハードウエ
ア機構を用いて高速化を図った。最終出力は速度成分ｕ
とｖ，測定可能性を示す評価量Ｊ_DET，測定誤差の評価
量Ｊ_ERRが納められた４個の３２×３２配列である。上
の条件で画素の取り込みから最終出力までに要する時間
は約０．１５秒である。【００７０】図２９〜図３１に示す測定結果はプロッタ
表示であり、各々フレーム間隔が１７ｍｓ，３４ｍｓ，
６８ｍｓに対するもので、線分の方向と長さがその点で
の速度ベクトル（ｕ，ｖ）を（先端が下流向き）、中心
点での升目の有無が測定誤差の評価量Ｊ_ERRが規定の範
囲に納まっているかを表している。前者の規定値は０．
２５（画素長／フレーム間隔）²、後者の規定値は６４
（明度量子化単位）²が用いられている。図２９の結果
では円板全体でほぼ正しい速度分布が求まっているが、
図３０，図３１では速度が大きな周辺部から異常な測定
結果が広がってきている。また升目で示されるＪ_ERRが
規定以下の測定点の範囲も狭まっている。【００７１】上の実験からも分かるように、本方法では
自己評価量Ｊ_ERRとＪ_DETを用いることにより、対象物体
上の領域を、１）速度範囲が適切で正しい測定が行なわ
れた領域、２）対象に模様があって測定は可能だが速度
が過剰なため正しい測定ができなかった領域、３）対象
に模様がなく測定が不可能な領域、の３種に分類するこ
とができる。それらが、１）升目付き、２）線分のみ、
３）中心点のみ、の格子点集合として表示されている。
２）の場合の速度過剰領域が多く生じた時にフレーム間
隔を短くするような動的制御を導入すれば測定範囲を適
応的に拡大することが可能と予想される。【００７２】なお、図２０に破線で示す合成部１１０に
速度ベクトルマップと誤差マップとを入力し、図２９〜
図３１のようなデータを合成することもできる。このよ
うな合成は、定常パターンが移動するようなもの、例え
ば人工衛星からとらえた地球の雲の動きのようなものに
対して有効である。【００７３】以上説明したようにこの本発明の実施の形
態による動画像抽出は、所定のフレーム間隔で得た隣接
２フレームの画像系列から、１）空間微分と時間微分とを画素値とする画像（微分画
像）３種を形成し、２）それらの積を画素値とする画像（積画像）を５種類
形成し、３）それらの近傍領域Γのサイズの点拡がり関数で平滑
化し（平滑化積画像）、４）それらの積和の比２種類を画像全体で計算する、ことにより行なわれる。従って、図２１、２２に示すよ
うな多段並列演算回路によって実現でき、実時間にて動
画像の抽出が行なえる。なお、上記４）のステップは更
に分解しても良い。【００７４】また、動画像抽出の過程で演算された自己
評価量Ｊ_DET，Ｊ_ERRにより、抽出された動画像情報を評
価してその有効、無効の判定を含む有効度の判定を行な
い、その判定結果に基づいてフレーム間隔を増減し、ま
た、近傍サイズの拡大、縮小を行ない、理想的な測定条
件に収れんさせるようにしたので、雑音に影響されず、
また、計測対象の速度範囲を適応的に拡大することがで
きる、時空間微分法による動画像処理が実現できる。【００７５】以下、音源を定位するための時間差を抽出
する際に、時空間微分法を適用した態様について説明す
る。図３２に示すように、音源をＳ、中心点０から等距
離ｄだけ離れて設置された左右一対のマイクロフォンを
ＭＬ，ＭＲで示し、中心点０と音源Ｓとのなす角度を
θ、距離をＤとしたとき、マイクロフォンＭＬ，ＭＲで
受信する音響信号をそれぞれｆ_L（ｔ），ｆ_R（ｔ）、中
心０での仮想的な信号をｆ₀（ｔ）で表すと、ｆ_L（ｔ）＝ｆ₀（ｔ−τ） …（３．１）ｆ_R（ｔ）＝ｆ₀（ｔ＋τ） …（３．２）で示される。ここで、τは、ｆ_L（ｔ），ｆ_R（ｔ）の時
間差を表わす。ここで、τが十分小さいものとすれば、
（３．１）式，（３．２）式をＴａｙｌｏｒ展開して１
次項で近似すると、【数４７】となる。【００７６】ここで、時空間微分法により時間差τを求
める場合、演算量を少くして雑音に強くする必要があ
る。そこで、「ある一定の時間内（ｔ₁〜ｔm）では時間
差τは一定である」と仮定し、最小二乗法により解の安
定を図る。つまり、【数４８】を、求める時間差τ１とする。ここで、（３．９）式が
安定して求まるには、（３．９）式の分母が零より十分
大きい必要がある。また、（３．８）式における評価関
数Ｊは最適条件において、【数４９】と書ける。この式の値は残留誤差を表すから、音響信号
に含まれる雑音の大きさ等の判断基準となりうる。【００７７】以上の態様の実施の形態について以下説明
する。図３３〜図３５はその実施の形態を示す。図３３
において、１１１，１１２は計測対象である音源ＡＯＢ
に対して方位角θで正対する左右一対のマイクロフォン
であり、角度制御部１１３により方位角θが制御され
る。両マイクロフォン１１１，１１２で集音された音響
信号は、時間差演算／自己評価量演算部１２０に入力さ
れ、時間差τ１、自己評価量Ｊ_DET，Ｊ_ERR，Ｊ_RESが演
算される。自己判断／制御論理部１４０にはそれらの信
号が入力され、自己評価量Ｊ_DET，Ｊ_ERRにより演算部１
２０での演算を評価し、予め定めた評価に達っしていな
い場合には、方位角θを制御して分解能を高めて所定の
評価が得られるようにする。そして、そのときの時間差
τ１を最終データとして出力する。【００７８】次に、時間差演算／自己評価量演算部１２
０を図３４に基づいて説明する。マイクロフォン１１
１，１１２からの信号ｆ_L（ｔ），ｆ_R（ｔ）はアンプ１
３１，１３２にそれぞれ入力される。アンプ１３１，１
３２の出力は減算器１３３および加算器１３４にそれぞ
れ入力され、【数５０】を演算し、時間差τ１として出力するとともに、その信
号が乗算回路１４４に入力される。その乗算回路１４４
には信号Ｓｔｄも入力されているから、【数５１】が演算され、差回路１４５に入力される。【数５２】を演算し、自己評価量Ｊ_RESを出力する。この自己評価
量Ｊ_RESは比回路１４６にも入力されている。比回路１
４６には信号Ｓｔｔ＝Ｊ_DETも入力されており、両入力
信号に対して、【数５３】を演算し、自己評価量Ｊ_ERRが得られる。【００７９】次に、自己判断／制御論理部１４０につい
て説明する。これは図３５に示すソフトウエアの形態で
実現される。まず、手順Ｐ６１では、自己評価量Ｊ_DET
≧閾値ＳＳ６か否かを判定する。肯定判定されると手順
Ｐ６２に進み、Ｊ_ERR≦閾値ＳＳ７か否かを判定する。
肯定判定されると手順Ｐ６３において、時間差τ１を出
力する。手順Ｐ６１または手順Ｐ６２が否定判定される
と手順Ｐ６４に進み方位角制御部１１３を駆動して方位
角θを制御する。以上のようにして得られた時間差τ１
に基づいて音源ＡＯＢを定位することができる。【００８０】以上説明した態様においても時間差τ１
を、図３４に示す多段並列演算回路により実時間で抽出
できる。また、その抽出過程で演算された自己評価量Ｊ
_DET，Ｊ_ERRにより抽出された時間差情報を評価してその
有効、無効を判定し、有効な時間差τ１のみとり出す。
従って、雑音等による精度の悪い情報が排除され、時空
間微分法による時間差抽出が可能となる。【００８１】以上、本発明を説明したが、本発明は、Ｘ
線透視画像による背景と個々の物体との分離を時空間微
分法により実現する場合、超音波やＮＭＲによる画像抽
出等、光像によらない画像処理の分野にも十分適用でき
る。【００８２】【発明の効果】本発明による計測装置によれば、移動体
を所定範囲を単位として所定の時間間隔で撮像して得ら
れた画像信号を時間微分および空間微分し、それらの微
分値に基づいて移動体の速度ベクトルを演算するととも
に、演算された速度ベクトルの有効度を判定するための
基準となる自己評価量を演算し、この自己評価量に基づ
いて所定範囲ごとに速度ベクトルの有効度を判定して、
有効度が低いと判定された速度ベクトルが存在する場合
に撮像する時間間隔を変更し、有効度が高いと判定され
た速度ベクトルに基づいて移動体の速度分布を計測する
ようにしたので、すなわち、移動体の速度ベクトル演算
値の有効度が高くなるように撮像装置の撮像時間間隔を
制御して有効度の高い計測結果から速度分布を計測する
ようにしたので、移動体の速度ベクトルを精度よく抽出
できる。

【図面の簡単な説明】【図１】本発明の概念的説明図【図２】本発明の概念的説明図【図３】撮影体と対象物体との位置関係を上方から見た
図【図４】図３の左側面から見た図【図５】近傍サイズを説明する図【図６】立体情報を再現する態様の一実施の形態を示す
全体構成図【図７】撮像カメラと対象物体とを示す斜視図【図８】相対標高／自己評価量演算部の一例を示すブロ
ック図【図９】相対標高値分類部の一例を示すフローチャート【図１０】荷重標高／荷重累積部および標高再現部の一
例を示すブロック図【図１１】自己判断／制御論理部の一例を示すフローチ
ャート【図１２】標高バイアスを算出する他の例を示す図【図１３】立体像抽出の実験結果を示す図【図１４】立体像抽出の実験結果を示す図【図１５】立体像抽出の実験結果を示す図【図１６】立体像が抽出されるくさびを示す図【図１７】立体像抽出の実験結果を示す図【図１８】立体像抽出の実験結果を示す図【図１９】立体像抽出の実験結果を示す図【図２０】本発明を動画像抽出に適用した態様の一実施
の形態を示す全体構成図【図２１】速度分布演算部の一例を示すブロック図【図２２】自己評価量演算部の一例を示すブロック図【図２３】平滑化回路の一例を示すブロック図【図２４】速度ベクトル分類部の一例を示すフローチャ
ート【図２５】自己判断／制御論理部の一例を示すフローチ
ャート【図２６】動画像抽出の実験結果を示す図【図２７】動画像抽出の実験結果を示す図【図２８】動画像抽出の実験結果を示す図【図２９】動画像抽出の実験結果を示す図【図３０】動画像抽出の実験結果を示す図【図３１】動画像抽出の実験結果を示す図【図３２】時空間微分法を音源定位に供される時間差抽
出に適用した態様における音源とマイクロフォンとの位
置関係を示す図【図３３】時空間微分法を音源定位に供される時間差抽
出に適用した態様の一例を示す全体構成図【図３４】時間差／自己評価量演算部の一例を示すブロ
ック図【図３５】自己判断／制御論理部の一例を示すフローチ
ャート【符号の説明】６１撮像装置７０速度分布／自己評価量演算部８０速度分布データ分類部９０自己判断／制御論理部１１０合成部５００演算手段５０１判定手段５０２センサ５０３演算手段５０４判定手段５０５制御手段

Claims

(57)【特許請求の範囲】１．移動体を所定範囲を単位として所定の時間間隔で撮
像し、撮像結果である画像信号を出力する撮像装置と、前記画像信号の時間微分値および空間微分値に基づい
て、前記移動体の速度ベクトルを前記所定範囲ごとに演
算する速度演算手段と、前記演算された速度ベクトルの有効度を判定するための
基準となる自己評価量を演算する自己評価量演算手段
と、前記演算された自己評価量に基づいて、前記所定範囲ご
とに前記速度ベクトルの有効度を判定する判定手段と、前記有効度が低いと判定された前記速度ベクトルが存在
する場合に前記時間間隔を変更する変更手段と、前記有効度が高いと判定された前記速度ベクトルに基づ
いて前記移動体の速度分布を計測する速度合成手段とを
備えることを特徴とする時空間微分法を用いた計測装
置。