JP3475026B2 - 形状追跡方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、視野内に捉えた物
体を認識しつつ追跡するための形状追跡方法およびこの
形状追跡方法を適用した形状追跡装置に関するものであ
る。形状追跡技術は、工場の組立ラインなどにおいて、
組立ロボットによる取り付け部品の選択などに利用され
ており、対象となる部品の形状を認識してその位置を追
跡し、選択的に取り上げることを可能として、組立作業
などの能率向上に寄与している。このような用途では、
人為的に照明条件などが一定に制御され、また、特定の
物体が一定の向きで配置される特殊な環境が与えられて
いるため、対象となる物体を特定の方向から見た形状を
認識してその位置を追跡するという、非常に単純化され
た形状追跡技術が利用されている。これに対して、屋外
やオフィス、病院、ホテルなどの施設において、人間の
作業を補助するロボットを実現しようとした場合には、
人間と同様に、柔軟に物体の形状を認識しつつその位置
変化を追跡するために、時間的空間的に条件が変化する
一般的な環境において適用可能な形状追跡技術が必要と
なる。

【０００２】

【従来の技術】従来から組み立てラインなどで実用化さ
れている形状追跡技術では、照明を厳密に制御すること
により、一定の照度で対象となる物体を照らし、一定の
コントラストを持つ画像を得ることが前提となってい
る。また、対象となる物体がごく少数に限定されてお
り、その形状は一定である上、対象物体と視覚センサと
の距離は一定であり、また、例えばベルトコンベアに乗
って部品が運ばれてくる場合などにおいても、各部品は
厳密に位置決めされている。

【０００３】このため、視覚センサの視野に捉えられた
対象物体の画像は、予め保持しているテンプレートとほ
とんど同一であることが期待できる。したがって、得ら
れた画像に対して、そのままテンプレートマッチング処
理を行うことにより、視野内に捉えられた対象物体の像
を検出し、その位置を追跡することが可能である。

【０００４】しかも、上述したような固定化した特殊な
条件の下で、組立ラインなどの生産性を満たす程度の速
度で動作すればよい。これに対して、一般的な環境で
は、天候の変化や窓と認識対象の物体との相対位置によ
り、物体を照らす照明の照度そしてその色温度までも
が、時間的にも空間的にも大きく変化する。

【０００５】このため、視覚センサが捉える画像のコン
トラストは時間的に変動し、更に、照明の色温度が変化
した場合などにおいては、対象となる物体の輝度だけで
なく、色までも変化して捉えられる。また、物体と視覚
センサとの相対位置は不定であり、例えば、図１０(ａ)
に示すような単純な箱形の物体を認識しようとする場合
においても、対象となる物体と視覚センサとの位置関係
に応じて、図１０(ｂ)、(ｃ)に示すように、視覚センサ
の視野に捉えられた物体の見かけの形状が変化すること
を考慮する必要がある。

【０００６】しかも、人間と接する用途においては、こ
のように変動する条件下で、対象となる物体を高速に追
跡する必要がある。ところで、照度変化に対応するため
の技術としては、ヒストグラム処理や微分処理などが知
られている。ヒストグラム処理は、得られた画像の少な
くとも１部について、輝度値の度数分布を求め、この度
数分布を正規化し、その積分値が直線的に増大するよう
な標準的な分布に変換することにより、輝度軸における
分布が局所的となっている画像のコントラストを向上す
る技術である。

【０００７】例えば、低い照度の下で得られた低コント
ラストの画像に対してこの処理を行い、図１１(ａ)に示
すような輝度値の分布を輝度軸方向に引き延ばすことに
より、輝度軸上の度数分布が標準的な分布（図１１(ｂ)
参照）に従う画像に変換し、画像のコントラストを向上
することができる。これにより、照明条件の違いによる
コントラストの違いを取り除き、様々な照明条件で得ら
れた画像を一定の照度の下で得られた画像として扱うこ
とが可能となる。

【０００８】一方、微分処理は、３×３画素のフィルタ
などを用いて、画像における濃淡の変化点、すなわちエ
ッジを抽出する処理である。照度の変動により画像とし
て得られる濃度分布そのものが変化しても、濃淡変化点
は変化しないので、微分処理によってエッジを抽出する
ことにより、照明条件の変動によらない画像の特徴を抽
出することができる。

【０００９】このように、微分処理を行うことにによっ
て、照明の影響を受けない物体の輪郭情報を抽出し、テ
ンプレートマッチング処理などに供することができる。
また一方、動画圧縮技術における必要性から、連続する
フレーム相互の相関を高速に求める相関演算専用ＬＳＩ
が開発されており、テンプレートマッチングへの応用が
期待されている（「高速相関演算機能を持つビジョンシ
ステム（第１報および第２報）」、立川哲也等、第９回
日本ロボット学会学術講演会、PP.839−842)。

【００１０】この文献の技法は、取り込み画像の濃淡値
とテンプレートとの相関度を相関演算専用ＬＳＩを用い
て算出し、もっとも相関の高い位置をテンプレートが示
す物体の位置として検出することで、テンプレートマッ
チングを実現するものである。

【００１１】

【発明が解決しようとする課題】ところで、上述したヒ
ストグラム処理は、照度変動によって低下したコントラ
ストを向上することができるが、輝度分布を機械的に補
正しており、視野に捉えられた物体の形状に関する情報
を利用していない。

【００１２】このため、例えば、テンプレートととして
与えられた人物の服の色と追跡対象の人物の服の色とが
異なっている場合に、色の違いを輝度の違いと混同し、
誤った補正処理が行われてしまう可能性があり、照明に
よる変動を除去できなくなってしまう。このようなこと
から、ヒストグラム処理では、テンプレートマッチング
の前処理としては不十分である。

【００１３】また、微分処理では、上述したように、照
度変化にかかわらず物体の輪郭を抽出することができる
が、この輪郭は線画として得られるので、そのまま移動
する物体を追跡するためのテンプレートマッチングに適
用するのは困難である。なぜなら、追跡対象の物体と視
覚センサとの相対位置の変化に応じて、図１０に示した
ように物体の見かけの形状が変化した場合に、この変形
した物体の輪郭を示す線画と本来の形状を表すテンプレ
ートとを重ね合わせても、必ずしも高い一致度が得られ
るとは限らないからである。

【００１４】微分画像をテンプレートマッチングに適用
するための技法としては、微分画像にフィルタを多段階
にかけることにより、図１０(ｄ)に示すように、輪郭を
表す線画をなまらせることにより、テンプレートとの一
致度を向上する手法も提案されている（図１１(ｅ)参
照）。

【００１５】しかしながら、微分処理そのものにも時間
がかかる上に、更に、何段階もフィルタ処理を施す必要
があるため、処理時間が非常に長くなってしまう。また
一方、上述した相関演算専用ＬＳＩを利用する技法は、
テンプレートマッチング自体を高速化する技法であり、
これにより、テンプレートマッチング処理は十分に実時
間処理が可能となる。しかし、この技法を適用するため
には、予め、相関演算の対象となる画像から照度変動に
よる影響が取り除かれていることが前提となっている。

【００１６】このように、従来の技術を単純に延長し、
照度変動への対応とテンプレートマッチングとを個々の
問題として取り組んでいったのでは、特に照度変動を除
去するための処理に時間がかかり、自然な環境の下で、
実時間で物体を追跡する形状追跡装置を実現することは
困難である。本発明は、照度変動への対応とテンプレー
トマッチングとを一体の問題として処理することによ
り、一般的な環境において実時間で形状を追跡可能な形
状追跡方法および装置を提供することを目的とする。

【００１７】

【課題を解決するための手段】図１(ａ)、(ｂ)は、それ
ぞれ請求項１および請求項２の形状追跡方法の原理を示
す図である。請求項１の発明は、視覚センサの視野に捉
えられた画像において、追跡対象の物体の像を示す形状
を追跡する形状追跡方法において、視覚センサからの入
力画像の各フレームを複数の領域に分割してなる各領域
について、それぞれ自己相関演算を行うことにより、入
力画像における輝度変化点の分布によって視覚センサの
視野に捉えられた物体の概略の形状を示す特徴画像を求
め、特徴画像と追跡対象の物体を示すテンプレートとの
相互相関演算を行い、得られた相関値に基づいて、特徴
画像とテンプレートとの相関が最も高い位置を検出し、
追跡対象の物体を示す形状の位置とすることを特徴とす
る。

【００１８】請求項１の発明は、入力画像を例えばＮ×
Ｍ個の領域に分割して得られる領域ごとに、その領域の
一部を参照画像として自己相関を求めて、入力画像の輝
度変化点を抽出することにより、照明条件の変動にかか
わらず、入力画像における輝度変化点の分布を示す特徴
画像を得る。この特徴画像は、照明条件の変動にかかわ
らず、視覚センサの視野に捉えられた物体の大まかな輪
郭を示すので、この特徴画像をテンプレートマッチング
処理に供することにより、一般的な環境における照度変
動への対応とテンプレートマッチング処理に供する特徴
の抽出とを一体の問題として処理することができる。

【００１９】この場合は、上述したように、特徴の抽出
処理とテンプレートマッチング処理との双方が、高速に
処理可能な相関演算処理によって実現できるので、一般
的な環境において実時間で形状を追跡することが可能と
なる。請求項２の発明は、請求項１に記載の形状追跡方
法において、追跡対象の物体との距離を計測し、距離に
応じて、テンプレートを拡大または縮小して、特徴画像
との相互相関演算に供することを特徴とする。

【００２０】請求項２の発明は、追跡対象の物体との距
離に応じて、テンプレートの大きさを調整することによ
り、入力画像において期待される追跡対象の像の大きさ
に近いテンプレートを相互相関処理に供することができ
るので、この相互相関処理によって、急峻なピークを持
つ相関値の変動が得られ、テンプレートマッチングの精
度を向上し、形状追跡処理の精度を向上することができ
る。

【００２１】図２は、本発明の形状追跡装置の原理ブロ
ック図である。請求項３の発明は、第１の視覚センサ１
０１の視野に捉えられた画像において、追跡対象の物体
の像を示す形状を追跡する形状追跡装置において、第１
の視覚センサ１０１からの入力画像の各フレームを複数
の領域に分割してなる各領域について、それぞれ自己相
関演算を行って、入力画像における輝度変化点の分布に
よって視覚センサの視野に捉えられた物体の概略の形状
を示す特徴画像を求める自己相関演算手段１１１と、自
己相関演算手段１１１によって得られた特徴画像と追跡
対象の物体を示すテンプレートとの相互相関演算を行う
相互相関演算手段１１２と、相互相関演算結果に基づい
て、自己相関演算結果として得られる特徴画像とテンプ
レートとの相関が最も高い位置を検出する検出手段１１
３とを備えたことを特徴とする。

【００２２】請求項３の発明は、自己相関演算手段１１
１により、第１の視覚センサ１０１で得られた入力画像
を例えばＮ×Ｍ個の領域に分割して得られる領域ごと
に、その領域の一部を参照画像として自己相関を求め
て、入力画像の輝度変化点の分布を示す特徴画像を得
る。そして、得られた特徴画像とテンプレートとを相互
相関演算手段１１２および検出手段１１３の処理に供す
ることにより、照明条件の変化にかかわらない入力画像
の特徴に注目して、高速にテンプレートマッチング処理
を行うことができる。

【００２３】このように、高速に処理可能な相関演算処
理によって、特徴の抽出処理とテンプレートマッチング
処理との双方を実現できるので、例えば、上述した相関
演算専用ＬＳＩを利用して、相関演算処理の高速化を図
ることにより、一般的な環境において実時間で形状を追
跡することが可能となる。請求項４の発明は、請求項３
に記載の形状追跡装置において、追跡対象の物体との距
離を計測する距離計測手段１１４と、追跡対象との距離
に応じて、テンプレートを拡大または縮小して、相互相
関演算手段１１２の処理に供するテンプレート調整手段
１１５とを備えたことを特徴とする。

【００２４】請求項４の発明は、距離計測手段１１４に
よる計測結果をテンプレート調整手段１１５の処理に供
することにより、入力画像において期待される追跡対象
の像の大きさに近いテンプレートを相互相関演算手段１
１２による相互相関処理に供することができる。これに
より、相互相関演算手段１１２による演算結果として、
急峻なピークを持つ相関値の変動が得られ、検出手段１
１３により、より高い精度で相関度を評価することがで
きるので、テンプレートマッチングの精度を向上し、形
状追跡処理の精度を向上することができる。

【００２５】請求項５の発明は、請求項４に記載の形状
追跡装置において、距離計測手段１１４は、第１の視覚
センサ１０１の光軸と所定の関係を持って配置された第
２の視覚センサ１０２と、検出手段１１３による検出結
果に応じて、第１の視覚センサ１０１と第２の視覚セン
サとからそれぞれ得られる入力画像の各フレームの相互
相関演算を行う相関演算手段１２１と、検出手段１１３
による検出結果と、相関演算手段１２１による演算結果
とに基づいて、追跡対象の物体の３次元位置を求める３
次元計測手段１２２とを備えた構成であることを特徴と
する。

【００２６】請求項５の発明は、第２の視覚センサ１０
２で得られた入力画像と第１の視覚センサ１０１で得ら
れた入力画像とについて、相関演算手段１２１によって
相互相関処理を行い、相関度によって示される対応位置
に基づいて、３次元計測手段１２２が動作することによ
り、２つの入力画像において、追跡対象の物体の像に対
応する部分が占める画像情報を用いて、追跡対象との距
離を求めることができる。

【００２７】

【発明の実施の形態】以下、図面に基づいて、本発明の
実施形態について詳細に説明する。図３に、請求項３の
形状追跡装置の実施形態を示す。（なお、請求項１・請
求項２の形状追跡方法の発明の実施形態については後述
する。） 図３に示した形状追跡装置において、第１の視覚センサ
１０１に相当するカメラ２０１によって捉えられた画像
は、アナログ／デジタル（Ａ／Ｄ）変換回路２０２によ
ってデジタル画像に変換され、画像メモリ制御部２０３
を介して、原画像メモリ２０４に格納される構成となっ
ている。

【００２８】この形状追跡装置において、相関演算専用
ＬＳＩ２０５は、演算制御部２０６からの指示に応じ
て、上述した画像メモリ制御部２０３を介して受け取っ
た画像データに対する相関演算を行い、演算結果を画像
メモリ制御部２０３を介して特徴画像格納部２０７ある
いは、マッチング結果格納部２０８に送出する構成とな
っている。

【００２９】また、図３において、テンプレート格納部
２０９は、追跡対象の物体を表す追跡用テンプレートを
格納しており、後述する特徴画像とのマッチング処理に
供する構成となっている。ここで、自己相関を利用し
て、画像の特徴を抽出する方法について説明する。原画
像をそれぞれがｎ×ｍ画素からなる複数の領域に分割
し、各領域の一部をその領域についてのテンプレートと
し、これらのテンプレートと各領域とについてそれぞれ
相関を求めれば、原画像の各領域についての自己相関を
表す相関値の分布（以下、ディストーションマップと称
する）を得ることができる。

【００３０】この場合に、演算制御部２０６は、例え
ば、図４(ａ)に示すように、原画像メモリ２０４の各領
域ごとに、その中央部分のｋ×ｌ画素を自己相関用テン
プレートとして切り出し、画像メモリ制御部２０３を介
して、各領域と対応する自己相関用テンプレートとをそ
れぞれ相関演算専用ＬＳＩ２０５に入力し、この自己相
関用テンプレートを対応する領域において少しずつずら
しながら相関値の算出を指示すればよい。

【００３１】相関演算専用ＬＳＩ２０５は、テンプレー
ト画像を対象領域に対して(Vx、Vy)画素だけずらしたと
きに、テンプレート画像と対象領域の入力画像の各画素
との差分の絶対値を加算してその総和を求め、これをテ
ンプレートと対象領域に対する変位に対応する相関値と
して出力する。したがって、対象領域の画像が一様な濃
度分布を持っている場合は、対象領域における相関値
は、テンプレートの変位(Vx、Vy)によらずほぼ一定であ
り、平坦なディストーションマップが得られる。

【００３２】一方、図４(ｂ)に示すように、対象領域に
おいて濃度分布がｘ軸方向に変化する場合、すなわち、
対象領域がエッジを含んでいる場合は、図４(ｃ)に示す
ように、ｘ軸方向の変位に対して大きな起伏を持つディ
ストーションマップが得られる。このディストーション
マップにおいては、自己相関用テンプレートと対象領域
とのｘ軸方向の変位の絶対値が大きくなるに従って大き
な相関値が得られ、一方、ｙ軸方向の変位の変化につい
ては相関値が変化していない。

【００３３】つまり、ディストーションマップにおける
起伏は、対象領域の画像に含まれるエッジの方向および
その強さを示しているから、この起伏の形状を解析する
ことにより、対象領域の画像に含まれるエッジの方向と
強さを判断することができる。すなわち、上述したよう
にして、入力画像の各領域について自己相関を求めるこ
とにより、入力画像に含まれるエッジを特徴として抽出
することができ、入力画像に対して微分処理を行った場
合とほぼ同等の効果を得ることができる。

【００３４】なお、特徴抽出処理の詳細に関しては、本
出願人によって先に出願された整理番号９６０４２１５
「特徴領域抽出法報および装置」を参照されたい。この
ようにして得られたディストーションマップは、微分処
理によって得られる輪郭をフィルタによってなまらせた
画像と同様に、入力画像における大まかな特徴を示す特
徴画像となっている。

【００３５】例えば、図５(ａ)に示す入力画像に対し
て、上述した自己相関処理を行うことにより、図５(ｂ)
に示す特徴画像が得られる。この特徴画像においては、
入力画像に対して通常の微分を行って得られた微分画像
（図５(ｃ)参照）に比べて、人物の服の柄などの細部が
省略される代わりに、むしろ人物全体の輪郭などの大ま
かな特徴が強調されており、追跡対象の見かけの形状変
化を考慮したテンプレートマッチング処理に適してい
る。。

【００３６】更に、上述したようにして特徴を抽出する
ことにより、時間的空間的に照明が変化する一般的な環
境において、カメラ２０１によって捉えられた入力画像
から、照明条件の変動による影響を除去することができ
る。また、相関演算専用ＬＳＩ２０５は、各領域に関す
る自己相関演算を並列に処理可能であるので、上述した
特徴画像の算出処理は、非常に短い時間で十分に処理で
きる。したがって、入力画像の各フレームを実時間で処
理することが可能である。

【００３７】このように、演算制御部２０６からの指示
に応じて、画像メモリ制御部２０３および相関演算専用
ＬＳＩ２０５が動作することにより、請求項３で述べた
自己相関演算手段１１１の機能を実現し、照明の変動に
よる影響を除去するとともに、入力画像の大まかな特徴
を表す特徴画像を高速に求めることができる。また、こ
のようにして得られた特徴画像は、画像メモリ制御部２
０３を介して特徴画像格納部２０７に格納され、以下に
述べるテンプレートマッチング処理に供される。

【００３８】この場合に、演算制御部２０６は、画像メ
モリ制御部２０３を介して、上述した特徴画像とテンプ
レート格納部２０９に格納された追跡用テンプレートと
を相関演算専用ＬＳＩ２０５に送出し、追跡用テンプレ
ートと特徴画像との相関演算を指示すればよい。これに
応じて、相関演算専用ＬＳＩ２０５が、請求項３で述べ
た相互相関演算手段１１２として動作することにより、
追跡用テンプレートを特徴画像上でスキャンした各変位
(Vx、Vy)に対する相関値(Svx、Svy)が得られ、これらの
相関値がマッチング結果格納部２０８を介して、追跡処
理部２１０の処理に供される。

【００３９】上述したように、各変位(Vx、Vy)に対応す
る相関値(Svx、Svy)は、該当する位置の特徴画像の各画
素と追跡用テンプレートの各画素との差分の絶対値につ
いて総和をとったものであるから、追跡用テンプレート
との相関が最も高くなる位置において、相関値が最小値
をとると考えられる。したがって、図３に示した追跡処
理部２１０において、最小値検出部２１１により、マッ
チング結果格納部２０８に格納された相関値から最小値
を検出すれば、この最小値に対応する変位として、追跡
対象の物体の像の位置を特定することができる。

【００４０】すなわち、この最小値検出部２１１によ
り、請求項３で述べた検出手段１１３の機能を実現し、
特徴画像と追跡用テンプレートとの相関に基づいて追跡
対象の物体の像の位置を求めることができる。このよう
に、入力画像に自己相関演算を行うことによって得られ
る特徴画像と追跡用テンプレートとの相関を求めること
により、照明条件の変動への対応とテンプレートマッチ
ングのための特徴抽出とを一体の問題として処理し、入
力画像において、追跡用テンプレートで表される物体の
像を追跡することが可能となる。

【００４１】ここで、上述した自己相関処理と同様に、
相関演算専用ＬＳＩ２０５は、特徴画像と追跡用テンプ
レートとの相関演算も高速に実行することが可能であ
り、また、最小値検出部２１１による処理も短時間で実
行可能である。したがって、図３に示した構成の形状追
跡装置により、カメラ２０１からの入力画像の各フレー
ムに応じて、請求項１で述べた形状追跡方法を用いて、
特徴画像に基づいた追跡処理を実時間で処理することが
できる。

【００４２】これにより、時間的空間的に変動する照明
条件や視覚センサと追跡対象の物体との相対位置の変化
に柔軟に対応し、カメラ２０１の視野に捉えられた物体
の像を実時間で追跡することが可能となり、一般的な環
境における実用に耐える形状追跡装置を提供することが
できる。また、図３に示したように、演算制御部２０６
により、相関演算専用ＬＳＩ２０５に入力する画像デー
タを切り替えて、１つの相関演算専用ＬＳＩ２０５によ
り、自己相関演算手段１１１と相互相関演算手段１１２
の機能を兼ねる構成とすることにより、形状追跡装置の
ハードウェア量を削減し、コストを抑えることができ
る。

【００４３】更に、例えば、図３に示すように、座標変
換部２１２を設け、上述した最小値検出部２１１で得ら
れた変位(Vxm、Vym)からカメラ２０１の光軸の調整角を
算出し、得られた調整角に応じて、ジンバル制御部２１
３がジンバル機構２１４を駆動すれば、入力画像におけ
る追跡対象の物体の像の位置に応じて、カメラ２０１の
向きを調整し、追跡対象の物体を常にカメラ２０１の視
野の中央に捉えることができる。

【００４４】また、形状追跡装置を移動可能な台車など
に載せて、追跡結果をこの台車の制御に供することによ
り、例えば、ホテルや病院などの施設において、人物な
どを追跡するポーターロボットを実現することも可能で
ある。図６に、請求項３の形状追跡装置を適用したポー
ターロボットの構成図を示す。図６において、ポーター
ロボットは、図３に示した形状追跡装置のジンバル機構
２１４およびジンバル制御部２１３に代えて、モータ２
２１およびモータ制御部２２２を備え、形状追跡装置を
搭載した台車を並行移動させる構成となっている。

【００４５】また、図６において、テンプレート作成部
２２３は、例えば、ポーターロボットの起動時に、画像
メモリ制御部２０３を介してカメラ２０１からの入力画
像を受け取り、この入力画像から追跡用テンプレートを
作成し、テンプレート格納部２０９に格納する構成とな
っている。このテンプレート作成部２２３は、例えば、
追跡対象の人物の像として入力画像の中央部分を切り出
し、この切り出した部分を追跡用テンプレートとして、
テンプレート格納部２０９に格納すればよい。

【００４６】このように、カメラ２０１からの画像入力
に応じて、テンプレート作成部２２３が動作することに
より、一般的に人物を表すテンプレートの代わりに、追
跡対象の人物そのものの特徴を示す追跡用テンプレート
を用いて追跡処理を行うことができる。これにより、追
跡対象の個人の特徴を考慮して、形状追跡処理を実行す
ることが可能となり、カメラ２０１の視野内に入ってき
た他の人物などの影響を排除して、追跡精度を向上する
ことができる。

【００４７】また、追跡対象の人物を表す画像そのもの
の代わりに、その画像から抽出した特徴をテンプレート
として利用してもよい。例えば、テンプレート作成部２
２３が入力画像から切り出した人物の像の部分に対し
て、上述したようにして自己相関処理を行い、得られた
特徴画像を追跡用テンプレートとして、テンプレート格
納部２０９に格納すればよい。

【００４８】また、各フレームについて文字通りの自己
相関演算を行う代わりに、直前のフレームの画像との間
で相関演算を行ってもよい。この場合は、図７に示すよ
うに、図３に示した原画像メモリ２０４および特徴画像
格納部２０４に代えて、２枚のフレームメモリ２２４
ａ，２２４ｂを用意し、画像メモリ制御部２０３が、カ
メラ２０１からの入力画像をこれらのフレームメモリ２
２４ａ，２２４ｂに交互に入力する構成とすればよい。

【００４９】このとき、演算制御部２０６は、画像メモ
リ制御部２０３を介して、フレームメモリ２２４ａ，２
２４ｂに格納された連続する２つのフレームの画像を相
関演算の対象として相関演算専用ＬＳＩ２０５に入力す
ればよい。これに応じて相関演算専用ＬＳＩ２０５によ
って得られる相関演算結果は、厳密には入力画像の自己
相関ではない。しかし、連続する２つのフレーム間にお
ける画像の特徴の変化は十分に小さいから、この相関演
算結果を擬似的な自己相関と考えることができる。

【００５０】したがって、連続する２フレームの画像間
の相関演算結果は、これらの画像の平均的な特徴を示す
特徴画像として扱うことができ、この特徴画像を上述し
た自己相関による特徴画像と同様に、テンプレートマッ
チング処理に供することができる。このとき、画像メモ
リ制御部２０３は、演算制御部２０６からの指示に応じ
て、相関演算専用ＬＳＩ２０５によって得られた最初の
演算結果を特徴画像として受け取り、直前のフレームが
格納されたフレームメモリ２２４に格納すればよい。

【００５１】次に、演算制御部２０６は、該当するフレ
ームメモリ２２４の内容と追跡用テンプレートとを相関
演算専用ＬＳＩ２０５に送出し、追跡用テンプレートに
ついてのテンプレートマッチング処理に供すればよい。
このように、連続する２フレームに関する相関演算によ
り、２フレームの画像の平均的な特徴を示す特徴画像を
得ることにより、追跡対象の見かけの形状変化などによ
り柔軟に対応することが可能となり、テンプレートマッ
チングの精度を向上することができる。

【００５２】また、入力画像の各領域から自己相関用テ
ンプレートをそれぞれ切り出してその領域の画像ととも
に相関演算専用ＬＳＩ２０５に送出する代わりに、単純
に、２つのフレームメモリ２２４ａ，２２４ｂの内容を
送出すればよいので、特徴画像を作成する際の演算制御
部２０６の処理を単純化することができる。また、上述
したように、２つのフレームメモリ２２４ａ，２２４ｂ
を切り替えて利用する構成とすれば、図３に示した構成
と同等のハードウェア量で形状追跡装置を実現すること
ができる。

【００５３】更に、追跡対象との距離の変動を考慮し
て、形状追跡処理を行うことも可能である。図８に、請
求項４の形状追跡装置を適用したポーターロボットの構
成を示す。図８に示したポーターロボットにおいて、超
音波センサ２３１は、請求項４で述べた距離計測手段１
１４に相当するものであり、この超音波センサ２３１に
よる測定結果に応じて、拡大縮小部２３２がテンプレー
トの大きさを調整して、次のフレームにおける形状追跡
の処理に供する構成となっている。

【００５４】この超音波センサ２３１は、ポーターロボ
ットの起動時には、カメラ２０１の視野中央に捉えられ
た物体との距離D0を測定し、以降は、直前のフレームに
おいて、追跡処理部２１０の最小値検出部２１１で得ら
れた変位(Vxm、Vym)に応じて、追跡対象との距離Dxを測
定して、拡大縮小部２３２の処理に供すればよい。図８
に示した拡大縮小部２３２は、請求項４で述べたテンプ
レート調整手段１１５に相当するものであり、上述した
距離D0と距離Dxとの比に基づいて、追跡用テンプレート
を拡大縮小し、演算制御部２０６を介して相互相関処理
に供する構成となっている。

【００５５】この場合は、追跡対象との距離に応じて、
追跡用テンプレートの大きさを調整することにより、カ
メラ２０１からの入力画像に捉えられた追跡対象の大き
さに適した追跡用テンプレートを用いることができる。
これにより、特徴画像と追跡用テンプレートとの相互相
関演算によって得られるディストーションマップに、よ
りはっきりしたピークが現れることが期待できるので、
テンプレートマッチングの精度を向上し、より高い精度
で追跡用テンプレートで示された人物の像を追跡するこ
とができる。

【００５６】このようにして、請求項２の形状追跡方法
を適用し、追跡対象との距離に応じた追跡用テンプレー
トを用いて形状追跡処理を行う形状追跡装置を実現する
ことができる。また、上述したようにして得られた追跡
対象との距離をモータ制御部２２２の処理に供し、この
モータ制御部２２２が、この距離に応じて、モータ２２
１による台車の移動量を制御することにより、追跡対象
との距離をほぼ一定に保つことができ、追跡対象の人物
により安定して追従することができる。

【００５７】また一方、超音波センサなどの距離センサ
の代わりに、ステレオ画像による３次元計測技術を利用
してもよい。図９に、請求項５の形状追跡装置を適用し
たポーターロボットの構成を示す。図９に示した形状追
跡装置は、図８に示した超音波センサ２３１に代えて、
第２の視覚センサ１０２に相当するカメラ２４１と原画
像メモリ２４２とを付加し、このカメラ２４１によって
捉えられた画像をアナログ／デジタル変換回路２０２お
よび画像メモリ制御部２０３を介して原画像メモリ２４
２に格納する構成となっている。

【００５８】また、図９において、距離算出部２４３
は、演算制御部２０６からの指示に応じて、マッチング
結果格納部２０８に格納された相関値および追跡処理部
２１０で得られた追跡対象の位置を示す座標に基づい
て、距離算出部２４３が追跡対象との距離を算出し、拡
大縮小部２３２の処理に供する構成となっている。この
場合に、演算制御部２０６は、上述したようにして、ま
ず、原画像メモリ２０４に格納された原画像を相関演算
専用ＬＳＩ２０５に入力して特徴画像を求め、更に、こ
の特徴画像と追跡用テンプレートとを相関演算専用ＬＳ
Ｉ２０５に入力し、相関演算結果を相関結果格納部２０
７を介して追跡処理部２１０の処理に供し、追跡対象の
人物の像の位置を求める。

【００５９】次に、演算制御部２０６は、画像メモリ制
御部２０３を介して、原画像メモリ２０４、２４２にそ
れぞれ格納された２つの原画像を相関演算専用ＬＳＩ２
０５に入力し、追跡処理部２１０で得られた位置とカメ
ラ２０１、２４１の配置とによって決定されるエピポー
ラライン上における相関値の算出を指示すればよい。こ
のように、演算制御部２０６からの指示に応じて、画像
メモリ制御部２０３および相関演算専用ＬＳＩ２０５が
動作することにより、請求項５で述べた相関演算手段１
２１の機能を実現し、２つのカメラ２０１、２４１によ
るステレオペア画像の相互相関を求め、追跡対象の人物
の３次元座標の算出処理に供することができる。

【００６０】また、距離算出部２４３の最小値検出部２
４４は、上述ようにして得られた相関値をマッチング結
果格納部２０８を介して受け取り、演算制御部２０６か
らの指示に応じて相関値の最小値を検出し、検出結果を
３次元座標算出部２４５の処理に供する構成となってい
る。この３次元座標算出部２４５は、追跡処理部２１０
で得られた像の位置を示す座標と、上述した最小値検出
部２４４で得られた相関値の最小値に対応する位置を示
す座標とを受け取り、これらの座標を２つの入力画像に
おいて対応する点、すなわち、追跡対象の人物の像の位
置を示す座標として、その３次元位置を算出すればよ
い。

【００６１】なお、ステレオペアによる３次元座標計測
に関する詳細は、例えば、「画像処理ハンドブック」機
能編第Ｉ部第２、３節「幾何学的情報の変換」などを参
照されたい。このように、演算制御部２０６からの指示
に応じて、距離算出部２４３の各部が動作することによ
り、請求項５で述べた３次元計測手段１２２の機能を実
現し、ステレオペア画像の相互相関演算結果に基づいて
追跡対象の３次元位置を求め、台車を駆動するモータの
制御および拡大縮小部２３２の処理に供することができ
る。

【００６２】この場合は、２つの入力画像のそれぞれに
おいて追跡対象の人物の像を構成する部分の情報に基づ
いて、追跡対象との距離が算出されるので、ポーターロ
ボットと追跡対象との間に障害物が存在するか否かにか
かわらず、追跡対象との距離を確実に求めることが可能
である。また、整理番号９６０４２１５の出願明細書で
述べたように、上述したようなステレオペアによる３次
元計測は、障害物やランドスケープを認識しつつ、その
３次元位置を求めることにより、ポーターロボットの回
避行動制御などに利用することも可能である。

【００６３】

【発明の効果】請求項１の形状追跡方法によれば、入力
画像に対して自己相関演算を行って特徴画像を作成する
ことにより、照明条件の変動の影響を除去するととも
に、テンプレートマッチング処理に適した画像の特徴を
抽出することができ、一般的な環境における形状追跡に
おける課題を一体の問題として解決し、実時間処理を可
能とすることができる。

【００６４】更に、請求項２の発明を適用すれば、入力
画像における追跡対象の像に適した大きさのテンプレー
トを相互相関処理に供することができるので、急峻なピ
ークを持つ相関結果を得ることができ、テンプレートマ
ッチング処理による追跡対象の位置の検出精度を向上す
ることができる。また、請求項３によれば、自己相関演
算手段による処理結果を特徴画像として相互相関演算手
段に入力し、テンプレートとの相互相関処理を行うこと
により、請求項１の方法を用いた形状追跡装置を実現す
ることができる。これにより、一般的な環境における形
状追跡における課題を一体の問題として解決し、時間的
空間的な変動が大きい環境における形状追跡処理を高速
化することができ、特に、相関演算専用ＬＳＩを利用す
ることにより、形状追跡処理の実時間処理が可能とあ
る。

【００６５】更に、請求項４を適用すれば、入力画像に
おける追跡対象の像に適した大きさのテンプレートを相
互相関演算手段の処理に供することができるので、急峻
なピークを持つ相関結果を得ることができ、検出手段に
よる追跡対象の位置の検出精度を向上することができ
る。また、請求項５の発明を適用した場合は、２つの入
力画像における追跡対象の物体の像を構成する各画素の
情報を用いて追跡対象との距離を求めるので、例えば、
形状追跡装置と追跡対象との間に障害物が存在するか否
かにかかわらず、確実に追跡対象との距離を求めて、テ
ンプレートの調整処理に供することができる。

【図面の簡単な説明】

【図１】本発明の形状追跡方法の原理を示す図である。

【図２】本発明の形状追跡装置の原理ブロック図であ
る。

【図３】請求項３の形状追跡装置の実施形態を示す図で
ある。

【図４】自己相関演算による特徴抽出処理を説明する図
である。

【図５】ディスプレイ上に表示された中間調画像の組み
合わせによって特徴画像の特色を説明する図である。

【図６】請求項３の形状追跡装置を適用したポーターロ
ボットの構成図である。

【図７】請求項３の形状追跡装置の別実施形態を示す図
である。

【図８】請求項４の形状追跡装置を適用したポーターロ
ボットの構成図である。

【図９】請求項５の形状追跡装置を適用したポーターロ
ボットの構成図である。

【図１０】形状追跡技術の説明図である。

【図１１】ヒストグラム処理を説明する図である。

【符号の説明】

１０１、１０２ 視覚センサ １１１ 自己相関演算手段 １１２ 相互相関演算手段 １１３ 検出手段 １１４ 距離計測手段 １１５ テンプレート調整手段 １２１ 相関演算手段 １２２ ３次元計測手段 ２０１、２４１ カメラ ２０２ アナログ／デジタル（Ａ／Ｄ）変換回路 ２０３ 画像メモリ制御部 ２０４、２４２ 原画像メモリ ２０５ 相関演算専用ＬＳＩ ２０６ 演算制御部 ２０７ 特徴画像格納部 ２０８ マッチング結果格納部 ２０９ テンプレート格納部 ２１０ 追跡処理部 ２１１、２４４ 最小値検出部 ２１２ 座標変換部 ２１３ ジンバル制御部 ２１４ ジンバル機構 ２２１ モータ ２２２ モータ制御部 ２２３ テンプレート作成部 ２２４ フレームメモリ ２３１ 超音波センサ ２３２ 拡大縮小部 ２４３ 距離算出部 ２４５ ３次元座標算出部

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 H04N 7/18

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 視覚センサの視野に捉えられた画像にお
   いて、追跡対象の物体の像を示す形状を追跡する形状追
   跡方法において、 前記視覚センサからの入力画像の各フレームを複数の領
   域に分割してなる各領域について、それぞれ自己相関演
   算を行うことにより、前記入力画像における輝度変化点
   の分布によって前記視覚センサの視野に捉えられた物体
   の概略の形状を示す特徴画像を求め、 前記特徴画像と前記追跡対象の物体を示すテンプレート
   との相互相関演算を行い、 得られた相関値に基づいて、前記特徴画像と前記テンプ
   レートとの相関が最も高い位置を検出し、追跡対象の物
   体を示す形状の位置とすることを特徴とする形状追跡方
   法。
2. 【請求項２】 請求項１に記載の形状追跡方法におい
   て、 追跡対象の物体との距離を計測し、 前記距離に応じて、テンプレートを拡大または縮小し
   て、特徴画像との相互相関演算に供することを特徴とす
   る形状追跡方法。
3. 【請求項３】 第１の視覚センサの視野に捉えられた画
   像において、追跡対象の物体の像を示す形状を追跡する
   形状追跡装置において、 前記第１の視覚センサからの入力画像の各フレームを複
   数の領域に分割してなる各領域について、それぞれ自己
   相関演算を行って前記入力画像における輝度変化点の分
   布によって前記視覚センサの視野に捉えられた物体の概
   略の形状を示す特徴画像を求める自己相関演算手段と、 前記自己相関演算手段によって得られた特徴画像と前記
   追跡対象の物体を示すテンプレートとの相互相関演算を
   行う相互相関演算手段と、 前記相互相関演算結果に基づいて、前記特徴画像と前記
   テンプレートとの相関が最も高い位置を検出する検出手
   段とを備えたことを特徴とする形状追跡装置。
4. 【請求項４】 請求項３に記載の形状追跡装置におい
   て、 追跡対象の物体との距離を計測する距離計測手段と、 前記追跡対象との距離に応じて、テンプレートを拡大ま
   たは縮小して、相互相関演算手段の処理に供するテンプ
   レート調整手段とを備えたことを特徴とする形状追跡装
   置。
5. 【請求項５】 請求項４に記載の形状追跡装置におい
   て、 距離計測手段は、 第１の視覚センサの光軸と所定の関係を持って配置され
   た第２の視覚センサと、 検出手段による検出結果に応じて、前記第１の視覚セン
   サと前記第２の視覚センサとからそれぞれ得られる入力
   画像の各フレームの相互相関演算を行う相関演算手段
   と、 前記検出手段による検出結果と、前記相関演算手段によ
   る演算結果とに基づいて、追跡対象の物体の３次元位置
   を求める３次元計測手段とを備えた構成であることを特
   徴とする形状追跡装置。