JPH10161743A

JPH10161743A - 移動物体走行制御装置

Info

Publication number: JPH10161743A
Application number: JP8317363A
Authority: JP
Inventors: Kenji Kitamura; 健児北村; Kison Naka; 基孫中; Takehisa Tanaka; 武久田中; Kazufumi Mizusawa; 和史水澤; Toshikazu Fujioka; 利和藤岡
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-11-28
Filing date: 1996-11-28
Publication date: 1998-06-19
Anticipated expiration: 2016-11-28
Also published as: JP3757502B2

Abstract

(57)【要約】【課題】広い対象領域内を走行する自走式ロボットを
対象物体とする移動物体制御装置において、動物体の認
識及び追跡より移動物体の自律走行を支援することを目
的とする。【解決手段】複数の移動物体認識装置１１の画像入力
部１１１は広い対象領域を全て撮像し、移動物体検出部
１１２で画像情報内における移動物体の位置及び色、形
状等の特徴量から自走式ロボット１３を認識する。移動
物体追跡装置１２は、複数の移動物体検出情報を移動物
体追跡部１２１で統合して、自走式ロボット１３を地図
上で追跡すると共に、予め登録されてた経路情報と比較
し偏差を求め、自走式ロボット１３の位置補正情報を算
出する。算出された位置補正情報は、位置補正情報出力
部１２４より無線手段１５で、自走式ロボット１３へ伝
送され、走行系制御部１３２は自走式ロボット１３を最
適走行状態に制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、道路を走行する車
両や特定領域を走行する自走式ロボット等対象としてい
る移動物体を広い領域に渡って追跡し、その走行を支援
する移動物体走行制御装置に関するものである。

【０００２】

【従来の技術】複数の画像入力部（以下テレビカメラと
記す）により撮像された画像情報を用いて、複数のテレ
ビカメラで撮影している対象領域において車両や自走式
ロボット等の移動物体を追跡し、これらの走行を支援す
る自律走行支援システムに関するものである。

【０００３】従来、自走式ロボットの分野においては、
特定のフィールド内で自走式ロボットを走行させ、荷物
の運搬、掃除など種々の作業をさせるシステム或いは装
置が考えられている。このような場合自走式ロボットを
自動操舵する技術としては、例えば特開平３−２３０２
０３号公報に示された「車両の自動操舵方法及びその自
動操舵装置」がある。この自動操舵装置は、車両等の移
動局にその進行方向を検出する方位測定手段と、予め決
められたチェックポイントを通過したときに設定コース
からの位置偏差を計測する検出手段と、この位置偏差と
走行距離から方位測定手段の方位誤差を演算する演算手
段とを備えておき、方位測定手段からの出力にその方位
誤差を減算して得られる方向に向けて進行するように舵
角を制御するものである。

【０００４】

【発明が解決しようとする課題】しかしながら前述の自
動操舵装置においては、決められたコースを移動する
間、チェックポイントを通過したしたときの誤差と、方
位測定手段の測定結果との差を調整する方式を取ってお
り、このチェックポイントにおける測定を光信号とその
反射信号の受信を移動物体の両側において行い、その差
分から移動に伴う偏差を求める方式としている。そのた
めチェックポイントにおける測定値そのものに誤差があ
る場合、最終結果として得られた自己の位置の誤差が累
積されて、最終的には自走式ロボット自身がフィールド
内のどの場所に居るのか分からなくなるという課題があ
った。

【０００５】本発明は上記従来の課題を解決するもので
あり、従来の自走式ロボットの位置計測における問題点
であった、誤差の累積について解決するものであり、誤
差累積の発生しない自走式ロボットの移動物体走行制御
装置を実現することを目的とするものである。

【０００６】

【課題を解決するための手段】この目的を達成するため
に本発明の移動物体制御装置は、複数の移動物体認識装
置、移動物体追跡装置及び自走式ロボットによって構成
される。移動物体認識装置は画像情報を処理して画像情
報内における移動物体の位置及び色、形状等の特徴量を
検出して移動物体を認識し、その情報をネットワークに
送出する。移動物体追跡装置は、ネットワークを介して
送られてきた移動物体検出情報を統合して移動物体を対
象領域地図上で追跡し、予め登録されていた地図情報を
用いて対象物体の移動における位置の偏差を求め、これ
を用いて対象物体の位置補正情報を算出し、無線手段を
用いて自走式ロボットに伝達する。自走式ロボットは、
受信した位置補正情報を基に自走式ロボットの走行系に
対して制御信号を送出し、自走式ロボットを適した走行
状態に制御する。

【０００７】

【発明の実施の形態】本発明の請求項１に記載の発明
は、一つ以上の自走式ロボットを画像の特徴から認識す
る一つ以上の移動物体認識装置と、前記各移動物体認識
装置からネットワークを介して伝送される前記自走式ロ
ボットの情報を統合して追跡し前記自走式ロボットを特
定すると共に、位置情報と予め登録されていた地図情報
より位置補正情報を算出して前記自走式ロボットに無線
手段によって伝送する移動物体追跡装置と、前記移動物
体追跡装置からの位置補正情報を基に走行制御する自走
式ロボットとを備えたものであり、この構成によって、
本発明の移動物体制御装置は自走式ロボットの対象領域
地図上の位置情報と、予め登録されていた地図情報を用
いて自走式ロボットの移動における位置の偏差を求め、
これより算出された対象物体の位置補正情報を、無線手
段を用いて自走式ロボットに伝送することにより自走式
ロボットの走行系を制御し、登録地図情報に基づいた最
適経路を実現することが可能という作用を有する。

【０００８】本発明の請求項４に記載の発明は、複数の
画像入力部が広い対象領域を異なる方向および輻輳角か
ら撮影し、複数の画像入力部の撮像領域を統合すると対
象領域全体の撮像を満たすように設置されており、広い
対象領域を死角もなく、解像度も十分な画像として撮影
できるという作用を有する。

【０００９】本発明の請求項５に記載の発明は、移動物
体認識装置の移動物体認識部が動物体領域の検出、追跡
対象となる自走式ロボットの領域抽出、特徴量算出、同
定を行う処理ユニットから構成され、それらのユニット
の一連した処理の結果、自走式ロボットの位置、色、形
状、テクスチャの特徴量を検出し、この検出された情報
をネットワーク上に送信するものであり、これら特徴量
によって対象領域内に複数存在する各自走式ロボットを
同定できるという作用を有する。

【００１０】本発明の請求項６に記載の発明は、各々の
画像入力部の撮像領域が複数の画像入力部によって撮像
された対象領域全体の中で相当する部分が事前に設定さ
れており、移動物体認識装置の出力として自走式ロボッ
トの位置は、対象領域全体を空間とした座標であるた
め、各々の移動物体認識装置の結果を一つの地図上で取
り扱うことができるという作用を有する。

【００１１】本発明の請求項７に記載の発明は、移動物
体追跡装置で複数の画像入力部の撮像領域の位置関係を
設定し、複数の移動物体認識装置から送信された撮像領
域の追跡対象となる自走式ロボットの位置、色、形状、
テクスチャの特徴量を統合し、対象領域全体での自走式
ロボットの運動軌跡を求めるため、広い対象領域内に複
数存在する自走式ロボットの運動を一つの地図上で一元
的に把握できるという作用を有する。

【００１２】本発明の請求項８に記載の発明は、可視光
撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯
は可視光撮像装置を画像入力部として用い、照射光が可
視光撮像装置の撮像可能限界以下となった時点で赤外光
撮像装置を画像入力部として用いるものであり、屋外に
おいて太陽光の照射の有無に関係なく動作ができるとい
う作用を有する。

【００１３】以下、本発明における実施の形態につい
て、図１から図８を用いて説明する。（実施の形態１）図１は、本発明の実施の形態１におけ
る移動物体走行制御装置のブロック構成図を示す。

【００１４】図１において、１１、１６、１７は対象領
域の画像情報を入力する画像入力部１１１と、画像入力
部１１１の画像情報を処理して画像情報内における移動
物体の位置及び特徴量を検出し移動物体を認識する移動
物体認識部１１２と、移動物体認識部１１２によって検
出された前述の情報をネットワークに送出するインタフ
ェース部１１３より構成される移動物体認識装置、１２
は各々の移動物体認識装置１１において検出されネット
ワークを介して送られてきた情報を受信するインタフェ
ース部１２２と、各々の移動物体認識装置１１において
検出された情報を統合して、移動物体の監視対象領域の
地図上で移動物体を追跡する移動物体追跡部１２１と、
移動物体追跡部１２１において算出された対象領域地図
上の位置情報を基に、予め登録されていた地図情報を用
いて対象物体の移動における位置の偏差を求め、これを
用いて対象物体の位置補正情報を算出する位置補正部１
２３と、位置補正情報を対象物体に無線手段１５を用い
て伝達する位置補正情報出力部１２４より構成される移
動物体追跡装置、１３、１８は移動物体に搭載され移動
物体追跡装置１２より無線手段１５によって伝達されて
きた位置補正情報を受信する位置補正情報入力部１３１
と、位置補正情報入力部１３１が受信した位置補正情報
を基に移動物体の走行系に対して制御信号を送出する走
行系制御部１３２より構成される自走式ロボットであ
る。

【００１５】各移動物体認識装置１１、１６、１７およ
び移動物体追跡装置１２は何れもネットワーク１４に接
続している場合について説明する。移動物体認識装置
は、移動物体認識装置Ａ（１１）、移動物体認識装置Ｂ
（１６）および移動物体認識装置Ｃ（１７）の複数で構
成した場合について、また自走式ロボットも自走式ロボ
ットＡ（１３）および自走式ロボットＢ（１８）の複数
の場合について説明する。

【００１６】次に、本発明の実施の形態１の動作につい
て説明する。複数の画像入力部１１１は、例えば工場内
等自走式ロボット１３が走行する比較的広い領域を対象
領域として、俯瞰（高いところから下を見下ろすよう
に）撮像するように設置される。このように、対象領域
がある程度の広さを有する場合、一台の画像入力部１１
１ではその全てを視野として確保することは困難とな
る。各画像入力部１１１において、必要な解像度を確保
しかつ広い領域を撮像したい場合、本実施例のように複
数の画像入力部１１１を用いることによって広域全体を
処理の対象とすることが可能となる。

【００１７】画像入力部１１１は、通常のＩＴＶカメラ
として用いられる可視光撮像カメラを用いる。撮像条件
によっては可視光撮像カメラ及び赤外光撮像カメラを併
用して用いても良い。

【００１８】得られた画像情報は、移動物体認識部１１
２において処理される。移動物体認識装置１１の移動物
体認識部１１２は、動物体領域の検出処理、追跡対象と
なる自走式ロボットの領域抽出処理、特徴量算出処理、
認識処理を行う処理から構成されており、以下に説明す
る。

【００１９】移動物体認識部１１２は、対象領域内に存
在する自走式ロボット１３や対象外である人物等を動物
体領域として検出する。動物体領域の検出処理は、フレ
ーム累積差分処理を用いる。そこでフレーム累積差分処
理について説明する。フレーム差分処理の場合、その検
出領域の大きさは対象物体の撮像画面上における移動速
度に依存し、停止状態となった場合は動物体領域検出は
不可能となる。また、テクスチャが一様の領域は検出す
ることはできず、対象物体の輪郭部分を検出する傾向が
ある。そこでフレーム差分処理をＮフレーム（Ｎは正の
整数）に渡って行い、その結果の論理和演算を行って動
物体領域を検出する。以上がフレーム累積差分処理であ
る。

【００２０】次に、図２を用いて動物体領域検出処理に
ついて説明する。図２において、２１は画像入力処理
部、２２はフレーム差分処理部、２３はフレームメモ
リ、２４は差分データメモリ、２５は論理和演算処理
部、２６は動物体領域検出部である。処理の流れを説明
する。

【００２１】画像入力処理部２１は、対象領域画像を１
画素毎に８ビット２５６階調のディジタル画素データに
変換してフレーム差分処理部２２、フレームメモリ２３
へと送出する。ここで対象物体の画像上の大きさが小さ
くなった場合、高周波ノイズが処理に悪影響を及ぼすた
め、画素データに対して例えば５×５画素程度のローパ
スフィルタを施しても良い。フレーム差分処理部２２
は、今画像入力処理部２１から入力された画素データと
前フレームにおいて入力されフレームメモリ２３に格納
されていた画素データとの差分処理を行い、予め設定さ
れた閾値以上の差の階調となった画素を抽出する。

【００２２】その一方で、現フレームの画素データをフ
レームメモリ２３に格納する。差分として抽出された画
素データは、１ビットデータ（差分有り＝１、差分無し
＝０）に変換され差分データメモリ２４に格納される。
差分データメモリ２４は、累積数であるＮフレーム分の
差分データを格納することが可能となっている。

【００２３】次に論理和演算処理部２５は、差分データ
メモリ２４のＮフレーム分に相当する１画素Ｎビットの
データを読み込み、論理和演算を行って１ビットの累積
差分データを算出する。この処理により、１フレームで
も差分が抽出された画素については差分有りとして取り
扱われる。こうして算出された累積差分データは、動物
体領域検出処理部２６へと送られる。

【００２４】動物体領域検出処理部２６は、累積差分デ
ータに対して膨張・収縮処理、穴埋め処理、ノイズ除去
処理を行って画素毎に抽出された動物体領域の安定化を
図り、最後にラベリング処理を行って外接長方形で動物
体領域をラベル付けする。以上が動物体領域の検出処理
である。

【００２５】次に、動物体領域情報を基に対象物体の特
徴量を検出し、これら特徴量より、検出した動物体領域
を自走式ロボット１３及び人物その他に分類し、対象物
体である自走式ロボット１３を認識する。自走式ロボッ
ト１３の特徴を抽出して認識することが可能であるた
め、上述のように自走式ロボット１３と人間が混在して
動作をすることは問題ない。

【００２６】自走式ロボット１３は、対象領域内に存在
していれば何れの可視光撮像カメラに撮像されていても
認識可能であり、また複数台存在して別々の可視光撮像
カメラに撮像されていても良い。また、自走式ロボット
１３、１８が複数種類存在しても、そのそれぞれの特徴
が分かっていればそれぞれを認識することが可能である
ため、複数種類が混在して別々に動作していても構わな
い。

【００２７】特徴量としては、位置、形状、色を用い
る。そこで、これら特徴量の検出及び認識処理について
説明する。尚、動物体領域がＭ個検出された場合、以下
の処理はそれぞれＭ回繰り返される。

【００２８】まず、検出された動物体の位置情報算出処
理を、図３に示すフローチャートを用いて説明する。動
物体領域検出処理部２６よりラベリング処理で得られた
前記外接長方形座標を入力する（３１）。このラベリン
グ外接長方形における底辺の中点の座標を算出し、これ
を画像上における自走式ロボット１３他の動物体の位置
情報とする（３２）。次に、算出された画像上座標を対
象領域地図上の座標に変換する（３３）。変換式は（数
１）の形式を取り、各画像入力部１１１の撮像条件に基
づいて予め各移動物体認識装置１１毎に持たせておく。

【００２９】

【数１】

【００３０】ここでｘ、ｙは画像上座標、Ｘ、Ｙは対象
領域地図上座標である。変換式（数１）の係数は、画像
入力部１１１によって対象領域を撮像しその床面に複数
個の座標計測点を設定し、その座標計測点の画像上座標
及び対象領域地図上座標を抽出して最小自乗法等を用い
て予め決定しておく。こうして算出された対象領域地図
上座標を検出された動物体の位置情報とし、移動物体追
跡装置１２へ送られる。

【００３１】次に、形状特徴量を用いた認識処理を、図
４に示すフローチャートを用いて説明する。まず、動物
体領域検出処理部２６よりラベリング処理で得られた前
記外接長方形座標と、その長方形内の前記フレーム累積
差分データを入力する（４１）。動物体領域情報が入力
されると、まずその領域の画像上における近傍に登録さ
れたテンプレートが存在するか否かを判定する（４
２）。

【００３２】テンプレートは、動物体領域が新たに検出
された際にその画像データを登録する方式によって作成
されるものとする。したがって動物体領域が新たに検出
された時点ではテンプレートが存在しない。そこで入力
データより、ラベリング外接長方形の水平方向幅、同じ
く垂直方向幅、ラベリング外接長方形内の動物体領域画
素数の３種類の形状特徴量を抽出し、動物体領域画素数
についてはその平方根演算を行う。これらの形状特徴量
は、予め設定されていた評価パラメータを用いてその評
価値が算出される（４３）。

【００３３】評価値算出処理を、図５を用いて説明す
る。図５において横軸は撮像画面における垂直方向の座
標であり、縦軸は上記３種類の形状特徴量の内の一つを
示す。画像入力部１１１は対象領域を俯瞰撮像してお
り、自走式ロボット１３の大きさは撮像画面内では上部
に位置するほど小さく下部に位置するほど大きくなり、
一方左右に動いてもその変化は小さい。したがって、検
出された動物体領域のラベリング外接長方形の底辺の撮
像画面における垂直方向の座標値とその形状特徴量をプ
ロットすると、その特性は図５のような直線性を示す。
これは３種類の形状特徴量全てにおいて同様であり、動
物体領域画素数においてもその平方根を計算しているた
め直線性を示す。

【００３４】ここで、直線から大きく外れてプロットさ
れているデータが存在するが、これは自走式ロボット１
３ではない影等のノイズが動物体領域として検出された
ものである。大きさの異なる自走式ロボット１３、１８
が複数存在する場合は、この直線は複数本存在すること
になる。この３種類の形状特徴量に対する３種類の直線
のパラメータ（勾配及びＹ切片の２個）を予め各移動物
体認識装置１１毎に求めておき、これらを用いて評価値
を算出する。任意の移動物体認識装置１１における上記
直線パラメータをＡ、Ｂ、検出された動物体領域のラベ
リング外接長方形底辺の垂直方向座標をＸ、抽出された
形状特徴量をＹとする。このとき直線近似による形状特
徴量ｙは、

【００３５】

【数２】

【００３６】（数２）により算出される。また評価値Ｅ
は（数３）もしくは（数４）によって算出され、

【００３７】

【数３】

【００３８】

【数４】

【００３９】このどちらを用いても良い。前記３種類の
形状特徴量の評価値をＥ_A、Ｅ_B、Ｅ_Cとすると、これら
３つを用いた形状特徴量の評価値Ｅ_Tを（数５）によっ
て算出する。

【００４０】

【数５】

【００４１】こうして算出された形状特徴量の評価値に
対して判定閾値Ｍを設定し、これによって検出された動
物体領域が自走式ロボット１３であるか否かを判定する
（４４）。

【００４２】自走式ロボット１３と判定されなかった場
合は本動物体領域に対する処理を終了し（４９）、判定
された場合はラベリング外接長方形内の画像データを抽
出し、このデータにテンプレート識別番号を付加した上
でテンプレートとして登録する（４５）。

【００４３】テンプレート識別番号は、移動物体追跡装
置１２において一元管理されねばならないので、各移動
物体認識装置１１の識別番号と、移動物体識別装置１１
内におけるテンプレート識別のための番号の組み合わせ
によって構成される。マッチングの際の画像データとし
ては輝度データをそのまま用いる方法も考えられるが、
本実施例では画像データにsobelフィルタを施したエッ
ジ画像を用いる。したがって、テンプレートもエッジ画
像を登録する。以上でこの動物体領域に対する処理は終
了する。

【００４４】一方、既に検出されていた自走式ロボット
１３に相当する動物体領域の場合は、その画像上の近傍
に登録されているテンプレートが存在するので、これと
検出された動物体領域内の画像データとのマッチング処
理を行う（４６）。マッチング方法としては数種類の方
法があるが、ここではＳＳＤＡ法を用いる。テンプレー
トＴ(i,j)、動物体領域Ｗ(i,j)を動物体領域近傍Ｗ(i±
x,j±y)で探索した際の類似度Ｓ(x,y)は、

【００４５】

【数６】

【００４６】（数６）によって算出されるため、その最
小値がテンプレートＴ(i,j)と動物体領域Ｗ(i,j)との類
似度値となる。テンプレート類似度に対しても判定閾値
Ｎを設定し、Ｓmin≦Ｎとなった場合に対応付けが成さ
れたと判断して（４７）、テンプレートの更新処理を行
う（４８）。

【００４７】新たに更新されたテンプレートをＮＴ(i,
j)とすると、更新処理は（数７）によって行われる。

【００４８】

【数７】

【００４９】対応付けが成されない場合は、テンプレー
ト更新を行わず、このように更新されないで暫く存在し
たテンプレートは消滅させる。

【００５０】したがって、例えば自走式ロボット１３が
障害物に隠蔽され、その間に移動方向を変更する等の画
像上における形状変化が発生した場合、古いテンプレー
トは消滅され、自走式ロボット１３が新たに正確に画像
上において検出された時点で新しいテンプレートが登録
される。

【００５１】以上が形状特徴量による認識処理である。
即ち既に登録されているテンプレートが存在する場合、
それと現在検出された動物体領域とのテンプレート類似
度が認識結果となる。認識結果として、上述のテンプレ
ート類似度と各移動物体認識装置１１が保持しているそ
のテンプレート識別番号が移動物体追跡装置１２へ送ら
れる。

【００５２】このように本発明の実施の形態１の例にお
いては、テンプレートを自動的に作成して登録するテン
プレート登録方式を用いて説明したが、対象としている
自走式ロボット１３に関する情報は予め得ることが可能
であるため、必要な数のテンプレートを教師データとし
て予め作成し、登録しておく方法を用いても良い。

【００５３】次に色特徴量を用いた認識処理を、図６に
示すフローチャートを用いて説明する。本発明の実施の
形態１においては、対象としている自走式ロボット１３
に関する情報を予め得ることが可能であるため、色特徴
量においてはその教師データを予め作成し、登録してお
く方法を用いる。

【００５４】まず、動物体領域検出処理部２６よりラベ
リング処理で得られた前記外接長方形座標と、その長方
形内の前記フレーム累積差分データを入力する（６
１）。そして、フレーム累積差分データの存在する画素
のＲＧＢ階調データを色データとして抽出し、座標変換
処理を行う（６２）。

【００５５】座標系としては、ＨＬＳ座標系或いはＨＶ
Ｓ座標系といった公知の知覚的表色系を用いることに
し、例ではＨＶＳ座標系を用いる。ＲＧＢ階調データを
一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが
予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件
を満たす画素の色相Ｈのみについて、その度数分布を作
成する。色相は０〜３６０度の値をとるが、度数分布を
作成する際にはこれを１５度ずつに量子化して行う。こ
のように色特徴量としては高彩度画素の色相分布を用い
るため、車体の大部分が低彩度色となる自走式ロボット
１３を対象とする場合は、車体に高彩度なマーキングを
する方法を用いても良い。

【００５６】次に、動物体領域近傍を背景領域として設
定し、この領域内のＲＧＢ階調データを抽出して同様の
座標変換処理を行う（６３）。背景領域は、ラベリング
外接長方形の外側Ｎ画素（Ｎは正の整数）の長方形で囲
まれる領域とし、動物体領域として検出された画素は除
いて処理する。ＲＧＢ階調データを一画素ずつ色相Ｈ、
明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた
閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相
Ｈのみについて、その度数分布を１５度ずつに量子化し
て作成する。こうして動物体領域及び背景領域の色相度
数分布が算出されたら、これらを用いて色相分布の補正
処理を実行する（６４）。フレーム累積差分処理によっ
て動物体領域抽出を行う場合、動物体領域に背景領域が
混入し、これが有彩色画素であると色特徴量にノイズ成
分として悪影響を与える。

【００５７】そこで、本実施例においては、色相分布の
補正処理を行い、上記ノイズ成分を除去する。動物体領
域の色相分布をf(x)、背景領域の色相分布をg(x)とす
る。g(x)を用いて（数８）に示す正規化された背景領域
の色相分布g^*(x)を算出し、（数９）によってフィルタ
関数h(x)を算出する。

【００５８】

【数８】

【００５９】

【数９】

【００６０】こうして算出されたフィルタ関数h(x)を用
い、（数１０）によってf(x)をフィルタリングし、補正
された色相分布F(x)を導く。

【００６１】

【数１０】

【００６２】フィルタ特性は、（数８）及び（数９）に
示すｋの値によって変えることができる。補正された色
相分布F(x)が算出されると、予め登録されていた自走式
ロボット１３の色相分布r(x)との相関値Ｒが（数１１）
によって算出される（６５）。

【００６３】

【数１１】

【００６４】自走式ロボット１３の色相分布r(x)は、必
要に応じて必要個数作成し登録しておく。その場合は登
録個数分の色相相関値Ｒが算出されるため、その中の最
大値Ｒmaxを自走式ロボット１３との色相相関値とす
る。

【００６５】以上が色特徴量による認識処理である。即
ち上述の算出された色相相関値Ｒが認識結果となる。認
識結果として、上述の色相分布相関値が移動物体追跡装
置１２へ送られる。複数の色相分布が登録されている場
合は、どの色相分布との相関値であるかを示す色相分布
識別番号も特徴量として送られる。このように本発明の
実施の形態１の例においては、必要な数の自走式ロボッ
ト１３の色相分布を教師データとして予め作成し登録し
ておく方法を用いたが、形状特徴量の処理と同様に検出
した色相分布を登録更新し、これと現在抽出した色相分
布との相関値を算出する色相分布登録方式を用いる方法
も可能である。

【００６６】以上説明したように、各移動物体認識装置
１１で検出された全動物体領域における位置情報は、対
象領域地図上の座標、形状特徴量としてのテンプレート
類似度と識別番号、色特徴量としての色相分布相関値と
場合によって識別番号であり、インタフェース部１１３
よりネットワーク１４を介して移動物体追跡装置１２へ
と送られる。転送データのフォーマットを図７に示す。
ここでテンプレートが存在しない場合においては、形状
特徴量の類似度は０を設定しておく。

【００６７】移動物体追跡装置１２は、複数の移動物体
認識装置１１から送られてきた情報をインタフェース部
１２２より受信し、移動物体追跡部１２１で統合し追跡
結果を算出する。

【００６８】移動物体追跡装置１２は、過去に追跡して
いた全自走式ロボット１３に対して位置情報、テンプレ
ート識別番号、そして色相分布識別番号を保持してお
り、これと送られてきた動物体領域の特徴量を用いて対
応付けを行い、対象領域全体における現在の状態を判定
する。尚、追跡中の自走式ロボット１３が複数の画像入
力部１１１に撮像されている場合、移動物体追跡装置１
２は複数のテンプレート識別番号を保持し、撮像方向に
よって色の見え方が変わるような自走式ロボット１３で
あれば更に複数の色相分布識別番号を保持することにな
る。

【００６９】位置情報については、過去の自走式ロボッ
ト１３の位置と送られてきた動物体領域の位置との距離
を算出し、判定値とする。距離の値の小さいものほど対
応付けの判定は高くなる。形状特徴量についてはテンプ
レート類似度及び識別番号を基に、過去の自走式ロボッ
ト１３と現在検出された動物体領域とを対応付ける。同
一識別番号のものが対応付け可能であり、テンプレート
類似度が対応付けの判定値となる。テンプレート類似度
算出式から分かるように、値が小さいほど対応付けの判
定は高い。色についても同様に同一識別番号のものが対
応付け可能であり（したがって、登録されている色相分
布が一種類の場合は全て対応付け可能）、色相相関値が
対応付けの判定値となる。色相相関値の場合は、値が大
きいほど対応付けの判定は高い。

【００７０】以上の処理おいて、同一の自走式ロボット
１３が複数の画像入力部１１１に撮像されている場合
は、複数の移動物体認識装置１１から送られてきた特徴
量が同一の自走式ロボット１３に対応付けられる。各特
徴量の判定値をＥ_i、各特徴量の重みをλ_iとしたとき、
総合判定値Ｒは（数１２）によって算出される。

【００７１】

【数１２】

【００７２】総合判定値Ｒの値が大きいほど、対応付け
の判定は高い。ここでこの重みλ_iは位置及び形状特徴
量の際には負の値、色特徴量の場合は正の値としてお
き、総合判定値Ｒが負になるのが不都合であれば更に定
数を加算しても良い。また重みλ _iを変数として取り扱
い、位置の判定値が低い場合（即ち距離が大きく離れて
いる場合）に他の特徴量判定値の重みを０として総合判
定値Ｒを小さくすることも可能である。

【００７３】ここで、過去において一つの画像入力部１
１１においてのみ撮像され追跡されていた自走式ロボッ
ト１３が、新たに別の画像入力部１１１においても撮像
された場合は、位置情報のみにおいて対応付け判定が成
されるため、その時点で新しいテンプレート及び色相分
布の識別番号を追加登録する。また、移動物体追跡部１
２は、上記過去との対応付け処理によって対応付けが成
されず、かつテンプレートが新たに登録されており、更
に色相相関値が高い値を示した場合に、新たに検出され
た自走式ロボット１３が存在すると判定し、これを追跡
処理に追加する。更に、画像入力部１１１の撮像範囲に
おいて他の画像入力部１１１の撮像範囲と重複が無く離
散的な際に自走式ロボット１３を追跡する場合は、上記
の処理に加えて自走式ロボット１３の速度を算出して視
野外に存在している自走式ロボット１３を予測追跡する
方法も用いることが可能である。こうして対象領域内に
存在する自走式ロボット１３を対象領域地図上において
追跡していく。

【００７４】追跡情報は、位置補正部１２３へと送られ
る。位置補正部１２３には、自走式ロボット１３が走行
すべき経路情報が格納されている。位置補正部１２３
は、移動物体追跡部１２１から順次送られてくる自走式
ロボット１３の追跡情報と、予め登録されていた対象領
域地図上の経路情報を比較して移動における位置の偏差
を求め、これを用いて対象物体の位置補正情報を算出す
る。この位置補正情報とは、単純に実空間上における距
離情報である。即ち、図８に示すように、自走式ロボッ
ト１３の検出された位置情報がＰ点、予め登録されてい
た経路情報が直線Ｌであった場合、このＰ点と直線Ｌと
の対象領域地図座標における自走式ロボット１３の進行
方向（図中↑表記）に対して垂直な方向の距離Ｗを算出
する。また、経路が自走式ロボット１３に対して左右ど
ちら側に存在するかという左右情報（図８の場合は右
側）も算出し、これらを位置補正情報とする。

【００７５】ここで当然のことながら、予め登録してお
く経路情報は場合によっては曲線であっても良く、この
場合も位置補正情報算出の考え方は上記の処理と全く同
様である。また位置補正部１２３は、移動物体追跡部１
２１の位置検出性能に整合した閾値Ｋを有しており、位
置補正情報算出の結果がＷ＜Ｋであった場合はＷ＝０と
して、不要な情報を送出しないようになっている。

【００７６】こうして、位置補正部１２３によって算出
された位置補正情報は、位置補正情報出力部１２４より
無線手段１５を用いて、自走式ロボット１３、１８へそ
れぞれ伝送される。自走式ロボット１３、１８は、位置
補正情報入力部１３１において位置補正情報をそれぞれ
受信し、走行系制御部１３２は受信した位置補正情報を
基に移動物体の走行系に対して制御信号を送出する。走
行系は制御信号を受信し、操舵部或いは制動部等の走行
系を制御する。こうして走行系を制御することにより、
自走式ロボット１３を適した走行状態に制御することが
可能となる。また、無線手段１５としては、電波、光お
よび超音波を用いて自走式ロボット１３、１８にそれぞ
れ情報を伝送するものである。

【００７７】また、画像処理によって障害物と判定され
るような物体を検出した場合においても、走行系を制御
することにより適した走行状態を実現することが可能で
ある。

【００７８】以上のように本実施例によれば、工場の構
内のような比較的広い対象領域内においてテレビカメラ
を設置するだけで自走式ロボット等の対象物体を識別し
て追跡することが可能であり、優れた移動物体走行制御
装置を実現することが可能である。また、従来の自走式
ロボットの位置計測における問題点であった、誤差の累
積についても解決するものであり、誤差累積の発生しな
い自走式ロボットの移動物体走行制御装置を実現するこ
とも可能である。更にはこの技術を道路交通分野に応用
することにより、車両の走行状態や事故等の突発事象発
生を検出してその結果を基に走行車両の走行系を最適制
御し、車両の走行の安全性を高める移動物体走行制御装
置を実現することも可能である。

【００７９】また、複数の画像入力部が広い対象領域を
異なる方向および輻輳角から撮影し、複数の画像入力部
の撮像領域を統合すると対象領域全体の撮像を満たすよ
うに設置されており、広い対象領域を死角もなく、解像
度も十分な画像として撮影でき、広範囲に自走式ロボッ
トを最適制御できるという効果を有する。

【００８０】さらに、移動物体認識装置の移動物体認識
部が動物体領域の検出、追跡対象となる自走式ロボット
の領域抽出、特徴量算出、同定を行う処理ユニットから
構成され、それらのユニットの一連した処理の結果、自
走式ロボットの位置、色、形状、テクスチャの特徴量を
検出し、この検出された情報をネットワーク上に送信す
るものであり、これら特徴量によって対象領域内に複数
存在する各自走式ロボットを同定でき、複数の自走式ロ
ボットを最適制御できるという効果を有する。

【００８１】さらに、各々の画像入力部の撮像領域が複
数の画像入力部によって撮像された対象領域全体の中で
相当する部分が事前に設定されており、移動物体認識装
置の出力として自走式ロボットの位置は、対象領域全体
を空間とした座標であるため、各々の移動物体認識装置
の結果を一つの地図上で取り扱うことができ、自走式ロ
ボットを最適制御できるという効果を有する。

【００８２】さらに、移動物体追跡装置で複数の画像入
力部の撮像領域の位置関係を設定し、複数の移動物体認
識装置から送信された撮像領域の追跡対象となる自走式
ロボットの位置、色、形状、テクスチャの特徴量を統合
し、対象領域全体での自走式ロボットの運動軌跡を求め
るため、広い対象領域内に複数存在する自走式ロボット
の運動を一つの地図上で一元的に把握でき、自走式ロボ
ットを最適制御できるという効果を有する。

【００８３】さらに、可視光撮像装置及び赤外光撮像装
置を備え、太陽光照射時間帯は可視光撮像装置を画像入
力部として用い、照射光が可視光撮像装置の撮像可能限
界以下となった時点で赤外光撮像装置を画像入力部とし
て用いるものであり、屋外において太陽光の照射の有無
に関係なく自走式ロボットを最適制御できるという効果
を有する。

【００８４】

【発明の効果】以上のように本発明は、移動物体認識技
術及び追跡技術を用いることによって、広い対象領域内
で複数のテレビカメラの視野に跨って走行をする複数の
車両や自走式ロボット等の対象物体を識別して追跡する
ことが可能であり、優れた移動物体監視システムを実現
することができる、という効果を有する。また、対象物
体の追跡結果を基に対象物体の走行系を最適制御するこ
とが可能であるため、走行車両の安全性の向上や自走式
ロボットの自律走行性能の向上を図ることが可能とな
り、優れた移動物体走行制御装置を実現することが可能
である、という効果も有する。

【図面の簡単な説明】

【図１】本発明の実施の形態１における移動物体制御装
置のブロック構成図

【図２】本発明の実施の形態１における動物体領域検出
処理のブロック構成図

【図３】本発明の実施の形態１における動物体の位置情
報算出処理のフローチャート

【図４】本発明の実施の形態１における形状特徴量を用
いた認識処理のフローチャート

【図５】本発明の実施の形態１における評価値算出処理
の説明図

【図６】本発明の実施の形態１における色特徴量を用い
た認識処理のフローチャート

【図７】本発明の実施の形態１における転送データのフ
ォーマット例を示す図

【図８】本発明の実施の形態１における自走式ロボット
の位置補正を説明する図

【符号の説明】

１１、１６、１７移動物体認識装置１２移動物体追跡装置１３、１８自走式ロボット１４ネットワーク１５無線手段２１画像入力部２２フレーム差分処理部２３フレームメモリ２４差分データメモリ２５論理和演算処理部２６動物体領域検出処理部１１１画像入力部１１２移動物体認識部１１３インタフェース部１２１移動物体追跡部１２２インタフェース部１２３位置補正部１２４位置補正情報出力部１３１位置補正情報入力部１３２走行系制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者水澤和史神奈川県川崎市多摩区東三田３丁目10番１号松下技研株式会社内 (72)発明者藤岡利和神奈川県川崎市多摩区東三田３丁目10番１号松下技研株式会社内

Claims

【特許請求の範囲】

【請求項１】一つ以上の自走式ロボットを画像の特徴
から認識する一つ以上の移動物体認識装置と、前記各移
動物体認識装置から伝送される前記自走式ロボットの情
報を統合して追跡し、前記自走式ロボットを特定すると
共に位置情報と予め登録されていた地図情報より位置補
正情報を算出して前記自走式ロボットに伝送する移動物
体追跡装置と、前記移動物体追跡装置からの位置補正情
報を基に走行制御する自走式ロボットとを備えたことを
特徴とする移動物体走行制御装置。
【請求項２】自走式ロボットが移動を行う対象領域の
画像情報を入力する画像入力部と、画像入力部の画像情
報を処理して画像情報内における自走式ロボットの位置
及び特徴量を検出し移動物体を認識する移動物体認識部
と、移動物体認識部によって検出された前述の情報を送
出するインタフェース部より構成される移動物体認識装
置を有する請求項１記載の移動物体走行制御装置。
【請求項３】各々の移動物体認識装置において検出さ
れた情報を受信するインタフェース部と、各々の移動物
体認識装置において検出された情報を統合して、対象領
域地図上で自走式ロボットを追跡する移動物体追跡部
と、移動物体追跡部において算出された対象領域地図上
の位置情報を基に、予め登録されていた地図情報を用い
て自走式ロボットの移動における位置の偏差を求め、こ
れを用いて対象物体の位置補正情報を算出する位置補正
部と、位置補正情報を対象物体に伝達する位置補正情報
出力部より構成される移動物体追跡装置を有する請求項
１または２記載の移動物体走行制御装置。
【請求項４】複数の画像入力部は、広い対象領域を異
なる方向および輻輳角から撮影し、複数の画像入力部の
撮像領域を統合すると対象領域全体の撮像を満たすよう
に設置されていることを特徴とする請求項１または２記
載の移動物体走行制御装置。
【請求項５】移動物体認識装置の移動物体認識部が動
物体領域の検出、追跡対象となる自走式ロボットの領域
抽出、特徴量算出、同定を行う処理ユニットから構成さ
れ、それらのユニットの一連した処理の結果、自走式ロ
ボットの位置、色、形状、テクスチャの特徴量を検出
し、この検出された情報を送信することを特徴とする請
求項１または２記載の移動物体走行制御装置。
【請求項６】各々の画像入力部の撮像領域が、複数の
画像入力部によって撮像された対象領域全体の中で相当
する部分が事前に設定されており、移動物体認識装置の
出力として自走式ロボットの位置は、対象領域全体を空
間とした座標であることを特徴とする請求項２に記載の
移動物体走行制御装置。
【請求項７】移動物体追跡装置では、複数の画像入力
部の撮像領域の位置関係を設定し、複数の移動物体認識
装置から送信された撮像領域の追跡対象となる自走式ロ
ボットの位置、色、形状、テクスチャの特徴量を統合
し、対象領域全体での自走式ロボットの運動軌跡を求め
ることを特徴とする請求項３記載の移動物体走行制御装
置。
【請求項８】可視光撮像装置及び赤外光撮像装置を備
え、太陽光照射時間帯は可視光撮像装置を画像入力部と
して用い、照射光が可視光撮像装置の撮像可能限界以下
となった時点で赤外光撮像装置を画像入力部として用い
る請求項１乃至７のいずれかに記載の移動物体走行制御
装置。
【請求項９】可視光撮像装置、赤外光放射装置及び赤
外光撮像装置を備え、太陽光照射時間帯は可視光撮像装
置を画像入力部として用い、照射光が可視光撮像装置の
撮像可能限界以下となった時点で赤外光放射装置が赤外
光を放射し、赤外光撮像装置を画像入力部として用いる
請求項８記載の移動物体走行制御装置。
【請求項１０】可視光撮像装置及び超低照度撮像装置
を備え、太陽光照射時間帯は可視光撮像装置を画像入力
部として用い、照射光が可視光撮像装置の撮像可能限界
以下となった時点で超低照度撮像装置を画像入力部とし
て用いる請求項１乃至７のいずれかに記載の移動物体走
行制御装置。
【請求項１１】各移動物体認識装置及び移動物体追跡
装置は、ネットワークを介して情報を伝送することを特
徴とする請求項１乃至１０のいずれかに記載された移動
物体走行制御装置。
【請求項１２】移動物体追跡装置からの情報を無線手
段を用いて、各自走式ロボットに伝送することを特徴と
する請求項１または３記載の移動物体走行制御装置。
【請求項１３】無線手段として、電波、光および超音
波を用いることを特徴とする請求項１２記載の移動物体
走行制御装置。