JP3757502B2 - 移動物体走行制御装置 - Google Patents
移動物体走行制御装置 Download PDFInfo
- Publication number
- JP3757502B2 JP3757502B2 JP31736396A JP31736396A JP3757502B2 JP 3757502 B2 JP3757502 B2 JP 3757502B2 JP 31736396 A JP31736396 A JP 31736396A JP 31736396 A JP31736396 A JP 31736396A JP 3757502 B2 JP3757502 B2 JP 3757502B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- self
- propelled robot
- image input
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 claims description 51
- 238000012937 correction Methods 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 39
- 238000002372 labelling Methods 0.000 claims description 12
- 238000011156 evaluation Methods 0.000 claims description 10
- 210000000746 body region Anatomy 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 44
- 238000001514 detection method Methods 0.000 description 16
- 241001465754 Metazoa Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、道路を走行する車両や特定領域を走行する自走式ロボット等対象としている移動物体を広い領域に渡って追跡し、その走行を支援する移動物体走行制御装置に関するものである。
【０００２】
【従来の技術】
複数の画像入力部（以下テレビカメラと記す）により撮像された画像情報を用いて、複数のテレビカメラで撮影している対象領域において車両や自走式ロボット等の移動物体を追跡し、これらの走行を支援する自律走行支援システムに関するものである。
【０００３】
従来、自走式ロボットの分野においては、特定のフィールド内で自走式ロボットを走行させ、荷物の運搬、掃除など種々の作業をさせるシステム或いは装置が考えられている。このような場合自走式ロボットを自動操舵する技術としては、例えば特開平３−２３０２０３号公報に示された「車両の自動操舵方法及びその自動操舵装置」がある。この自動操舵装置は、車両等の移動局にその進行方向を検出する方位測定手段と、予め決められたチェックポイントを通過したときに設定コースからの位置偏差を計測する検出手段と、この位置偏差と走行距離から方位測定手段の方位誤差を演算する演算手段とを備えておき、方位測定手段からの出力にその方位誤差を減算して得られる方向に向けて進行するように舵角を制御するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら前述の自動操舵装置においては、決められたコースを移動する間、チェックポイントを通過したしたときの誤差と、方位測定手段の測定結果との差を調整する方式を取っており、このチェックポイントにおける測定を光信号とその反射信号の受信を移動物体の両側において行い、その差分から移動に伴う偏差を求める方式としている。そのためチェックポイントにおける測定値そのものに誤差がある場合、最終結果として得られた自己の位置の誤差が累積されて、最終的には自走式ロボット自身がフィールド内のどの場所に居るのか分からなくなるという課題があった。
【０００５】
本発明は上記従来の課題を解決するものであり、従来の自走式ロボットの位置計測における問題点であった、誤差の累積について解決するものであり、誤差累積の発生しない自走式ロボットの移動物体走行制御装置を実現することを目的とするものである。
【０００６】
【課題を解決するための手段】
この目的を達成するために本発明の移動物体制御装置は、一つ以上の自走式ロボットが移動を行う対象領域の画像を入力する画像入力部と、画像から移動物体の位置及び特徴量を検出し前記移動物体の位置及び特徴量から前記自走式ロボットの識別番号を認識する移動物体認識部と、前記自走式ロボットの識別番号、位置及び特徴量の情報を送出するインタフェース部とから構成される複数の移動物体認識装置と、過去に追跡していた全自走式ロボットの保持された識別情報、位置情報及び特徴量と、前記各移動物体認識装置から伝送される前記自走式ロボットの情報である識別情報、位置及び特徴量との対応付けを行い、同一識別情報に対応づけられない場合は新たな自走式ロボットとして登録し、同一識別情報として対応づけられた場合は同一自走式ロボットとして登録する移動物体追跡部と共に位置情報と予め登録されていた地図情報より位置補正情報を算出して前記自走式ロボットに伝送する位置補正部とから構成される移動物体追跡装置と、前記移動物体追跡装置からの位置補正情報を基に走行制御する自走式ロボットと、を備えたもので、自走式ロボットは、受信した位置補正情報を基に自走式ロボットの走行系に対して制御信号を送出し、自走式ロボットを適した走行状態に制御する。
【０００７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、一つ以上の自走式ロボットが移動を行う対象領域の画像を入力する画像入力部と、画像から移動物体の位置及び特徴量を検出し前記移動物体の位置及び特徴量から前記自走式ロボットの識別番号を認識する移動物体認識部と、前記自走式ロボットの識別番号、位置及び特徴量の情報を送出するインタフェース部とから構成される複数の移動物体認識装置と、過去に追跡していた全自走式ロボットの保持された識別情報、位置情報及び特徴量と、前記各移動物体認識装置から伝送される前記自走式ロボットの情報である識別情報、位置及び特徴量との対応付けを行い、同一識別情報に対応づけられない場合は新たな自走式ロボットとして登録し、同一識別情報として対応づけられた場合は同一自走式ロボットとして登録する移動物体追跡部と共に位置情報と予め登録されていた地図情報より位置補正情報を算出して前記自走式ロボットに伝送する位置補正部とから構成される移動物体追跡装置と、前記移動物体追跡装置からの位置補正情報を基に走行制御する自走式ロボットとを備えたものであり、この構成によって、本発明の移動物体制御装置は自走式ロボットの対象領域地図上の位置情報と、予め登録されていた地図情報を用いて自走式ロボットの移動における位置の偏差を求め、これより算出された対象物体の位置補正情報を、無線手段を用いて自走式ロボットに伝送することにより自走式ロボットの走行系を制御し、登録地図情報に基づいた最適経路を実現することが可能という作用を有する。
請求項２に記載の発明は、移動物体認識装置の移動物体認識部は、前記移動物体が自走式ロボットであるか否かを判定し、自走式ロボットと判定された場合は、テンプレート識別番号を付加した上でテンプレートを登録し、すでに検出された自走式ロボットが存在する場合はその画像上に登録されているテンプレートと照合を行い類似度の高いときはテンプレートを更新するもので、新たに検出した自走式ロボットのテンプレートを自動登録することにより、予め登録しておく必要がないという作用を有する。
請求項３に記載の発明は、移動物体認識装置の移動物体認識部は、前記移動物体の特徴量であるＲＧＢ階調データより色相分布を求め、予め登録されている自走式ロボットの色相分布との相関値から登録された色相分布識番号、位置と特徴量を送出するもので、色特徴量を用いることで容易に対応付けすることができるという作用を有する。
【０００８】
本発明の請求項４に記載の発明は、前記移動物体認識装置の複数の画像入力部が広い対象領域を異なる方向および輻輳角から撮影し、複数の画像入力部の撮像領域を統合すると対象領域全体の撮像を満たすように設置されており、広い対象領域を死角もなく、解像度も十分な画像として撮影できるという作用を有する。
【０００９】
本発明の請求項５に記載の発明は、移動物体認識装置の画像入力部は、自走式ロボットの位置、色、形状、テクスチャの特徴量を検出するものであり、これら特徴量によって対象領域内に複数存在する各自走式ロボットを同定できるという作用を有する。
【００１０】
本発明の請求項６に記載の発明は、各々の画像入力部の撮像領域が複数の画像入力部によって撮像された対象領域全体の中で相当する部分が事前に設定されており、移動物体認識装置の出力として自走式ロボットの位置は、対象領域全体を空間とした座標であるため、各々の移動物体認識装置の結果を一つの地図上で取り扱うことができるという作用を有する。
【００１１】
本発明の請求項７に記載の発明は、移動物体追跡装置で複数の画像入力部の撮像領域の位置関係を設定し、複数の移動物体認識装置から送信された撮像領域の追跡対象となる自走式ロボットの位置、色、形状、テクスチャの特徴量を統合し、対象領域全体での自走式ロボットの運動軌跡を求めるため、広い対象領域内に複数存在する自走式ロボットの運動を一つの地図上で一元的に把握できるという作用を有する。
【００１２】
本発明の請求項８に記載の発明は、可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で赤外光撮像装置を画像入力部として用いるものであり、屋外において太陽光の照射の有無に関係なく動作ができるという作用を有する。
【００１３】
以下、本発明における実施の形態について、図１から図８を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１における移動物体走行制御装置のブロック構成図を示す。
【００１４】
図１において、１１、１６、１７は対象領域の画像情報を入力する画像入力部１１１と、画像入力部１１１の画像情報を処理して画像情報内における移動物体の位置及び特徴量を検出し移動物体を認識する移動物体認識部１１２と、移動物体認識部１１２によって検出された前述の情報をネットワークに送出するインタフェース部１１３より構成される移動物体認識装置、１２は各々の移動物体認識装置１１において検出されネットワークを介して送られてきた情報を受信するインタフェース部１２２と、各々の移動物体認識装置１１において検出された情報を統合して、移動物体の監視対象領域の地図上で移動物体を追跡する移動物体追跡部１２１と、移動物体追跡部１２１において算出された対象領域地図上の位置情報を基に、予め登録されていた地図情報を用いて対象物体の移動における位置の偏差を求め、これを用いて対象物体の位置補正情報を算出する位置補正部１２３と、位置補正情報を対象物体に無線手段１５を用いて伝達する位置補正情報出力部１２４より構成される移動物体追跡装置、１３、１８は移動物体に搭載され移動物体追跡装置１２より無線手段１５によって伝達されてきた位置補正情報を受信する位置補正情報入力部１３１と、位置補正情報入力部１３１が受信した位置補正情報を基に移動物体の走行系に対して制御信号を送出する走行系制御部１３２より構成される自走式ロボットである。
【００１５】
各移動物体認識装置１１、１６、１７および移動物体追跡装置１２は何れもネットワーク１４に接続している場合について説明する。移動物体認識装置は、移動物体認識装置Ａ（１１）、移動物体認識装置Ｂ（１６）および移動物体認識装置Ｃ（１７）の複数で構成した場合について、また自走式ロボットも自走式ロボットＡ（１３）および自走式ロボットＢ（１８）の複数の場合について説明する。
【００１６】
次に、本発明の実施の形態１の動作について説明する。
複数の画像入力部１１１は、例えば工場内等自走式ロボット１３が走行する比較的広い領域を対象領域として、俯瞰（高いところから下を見下ろすように）撮像するように設置される。このように、対象領域がある程度の広さを有する場合、一台の画像入力部１１１ではその全てを視野として確保することは困難となる。各画像入力部１１１において、必要な解像度を確保しかつ広い領域を撮像したい場合、本実施例のように複数の画像入力部１１１を用いることによって広域全体を処理の対象とすることが可能となる。
【００１７】
画像入力部１１１は、通常のＩＴＶカメラとして用いられる可視光撮像カメラを用いる。撮像条件によっては可視光撮像カメラ及び赤外光撮像カメラを併用して用いても良い。
【００１８】
得られた画像情報は、移動物体認識部１１２において処理される。移動物体認識装置１１の移動物体認識部１１２は、動物体領域の検出処理、追跡対象となる自走式ロボットの領域抽出処理、特徴量算出処理、認識処理を行う処理から構成されており、以下に説明する。
【００１９】
移動物体認識部１１２は、対象領域内に存在する自走式ロボット１３や対象外である人物等を動物体領域として検出する。動物体領域の検出処理は、フレーム累積差分処理を用いる。そこでフレーム累積差分処理について説明する。フレーム差分処理の場合、その検出領域の大きさは対象物体の撮像画面上における移動速度に依存し、停止状態となった場合は動物体領域検出は不可能となる。また、テクスチャが一様の領域は検出することはできず、対象物体の輪郭部分を検出する傾向がある。そこでフレーム差分処理をＮフレーム（Ｎは正の整数）に渡って行い、その結果の論理和演算を行って動物体領域を検出する。以上がフレーム累積差分処理である。
【００２０】
次に、図２を用いて動物体領域検出処理について説明する。図２において、２１は画像入力処理部、２２はフレーム差分処理部、２３はフレームメモリ、２４は差分データメモリ、２５は論理和演算処理部、２６は動物体領域検出部である。処理の流れを説明する。
【００２１】
画像入力処理部２１は、対象領域画像を１画素毎に８ビット２５６階調のディジタル画素データに変換してフレーム差分処理部２２、フレームメモリ２３へと送出する。ここで対象物体の画像上の大きさが小さくなった場合、高周波ノイズが処理に悪影響を及ぼすため、画素データに対して例えば５×５画素程度のローパスフィルタを施しても良い。フレーム差分処理部２２は、今画像入力処理部２１から入力された画素データと前フレームにおいて入力されフレームメモリ２３に格納されていた画素データとの差分処理を行い、予め設定された閾値以上の差の階調となった画素を抽出する。
【００２２】
その一方で、現フレームの画素データをフレームメモリ２３に格納する。差分として抽出された画素データは、１ビットデータ（差分有り＝１、差分無し＝０）に変換され差分データメモリ２４に格納される。差分データメモリ２４は、累積数であるＮフレーム分の差分データを格納することが可能となっている。
【００２３】
次に論理和演算処理部２５は、差分データメモリ２４のＮフレーム分に相当する１画素Ｎビットのデータを読み込み、論理和演算を行って１ビットの累積差分データを算出する。この処理により、１フレームでも差分が抽出された画素については差分有りとして取り扱われる。こうして算出された累積差分データは、動物体領域検出処理部２６へと送られる。
【００２４】
動物体領域検出処理部２６は、累積差分データに対して膨張・収縮処理、穴埋め処理、ノイズ除去処理を行って画素毎に抽出された動物体領域の安定化を図り、最後にラベリング処理を行って外接長方形で動物体領域をラベル付けする。以上が動物体領域の検出処理である。
【００２５】
次に、動物体領域情報を基に対象物体の特徴量を検出し、これら特徴量より、検出した動物体領域を自走式ロボット１３及び人物その他に分類し、対象物体である自走式ロボット１３を認識する。自走式ロボット１３の特徴を抽出して認識することが可能であるため、上述のように自走式ロボット１３と人間が混在して動作をすることは問題ない。
【００２６】
自走式ロボット１３は、対象領域内に存在していれば何れの可視光撮像カメラに撮像されていても認識可能であり、また複数台存在して別々の可視光撮像カメラに撮像されていても良い。また、自走式ロボット１３、１８が複数種類存在しても、そのそれぞれの特徴が分かっていればそれぞれを認識することが可能であるため、複数種類が混在して別々に動作していても構わない。
【００２７】
特徴量としては、位置、形状、色を用いる。そこで、これら特徴量の検出及び認識処理について説明する。尚、動物体領域がＭ個検出された場合、以下の処理はそれぞれＭ回繰り返される。
【００２８】
まず、検出された動物体の位置情報算出処理を、図３に示すフローチャートを用いて説明する。動物体領域検出処理部２６よりラベリング処理で得られた前記外接長方形座標を入力する（３１）。このラベリング外接長方形における底辺の中点の座標を算出し、これを画像上における自走式ロボット１３他の動物体の位置情報とする（３２）。次に、算出された画像上座標を対象領域地図上の座標に変換する（３３）。変換式は（数１）の形式を取り、各画像入力部１１１の撮像条件に基づいて予め各移動物体認識装置１１毎に持たせておく。
【００２９】
【数１】
【００３０】
ここでｘ、ｙは画像上座標、Ｘ、Ｙは対象領域地図上座標である。
変換式（数１）の係数は、画像入力部１１１によって対象領域を撮像しその床面に複数個の座標計測点を設定し、その座標計測点の画像上座標及び対象領域地図上座標を抽出して最小自乗法等を用いて予め決定しておく。こうして算出された対象領域地図上座標を検出された動物体の位置情報とし、移動物体追跡装置１２へ送られる。
【００３１】
次に、形状特徴量を用いた認識処理を、図４に示すフローチャートを用いて説明する。まず、動物体領域検出処理部２６よりラベリング処理で得られた前記外接長方形座標と、その長方形内の前記フレーム累積差分データを入力する（４１）。動物体領域情報が入力されると、まずその領域の画像上における近傍に登録されたテンプレートが存在するか否かを判定する（４２）。
【００３２】
テンプレートは、動物体領域が新たに検出された際にその画像データを登録する方式によって作成されるものとする。したがって動物体領域が新たに検出された時点ではテンプレートが存在しない。そこで入力データより、ラベリング外接長方形の水平方向幅、同じく垂直方向幅、ラベリング外接長方形内の動物体領域画素数の３種類の形状特徴量を抽出し、動物体領域画素数についてはその平方根演算を行う。これらの形状特徴量は、予め設定されていた評価パラメータを用いてその評価値が算出される（４３）。
【００３３】
評価値算出処理を、図５を用いて説明する。図５において横軸は撮像画面における垂直方向の座標であり、縦軸は上記３種類の形状特徴量の内の一つを示す。画像入力部１１１は対象領域を俯瞰撮像しており、自走式ロボット１３の大きさは撮像画面内では上部に位置するほど小さく下部に位置するほど大きくなり、一方左右に動いてもその変化は小さい。したがって、検出された動物体領域のラベリング外接長方形の底辺の撮像画面における垂直方向の座標値とその形状特徴量をプロットすると、その特性は図５のような直線性を示す。これは３種類の形状特徴量全てにおいて同様であり、動物体領域画素数においてもその平方根を計算しているため直線性を示す。
【００３４】
ここで、直線から大きく外れてプロットされているデータが存在するが、これは自走式ロボット１３ではない影等のノイズが動物体領域として検出されたものである。大きさの異なる自走式ロボット１３、１８が複数存在する場合は、この直線は複数本存在することになる。この３種類の形状特徴量に対する３種類の直線のパラメータ（勾配及びＹ切片の２個）を予め各移動物体認識装置１１毎に求めておき、これらを用いて評価値を算出する。任意の移動物体認識装置１１における上記直線パラメータをＡ、Ｂ、検出された動物体領域のラベリング外接長方形底辺の垂直方向座標をＸ、抽出された形状特徴量をＹとする。このとき直線近似による形状特徴量ｙは、
【００３５】
【数２】
【００３６】
（数２）により算出される。また評価値Ｅは（数３）もしくは（数４）によって算出され、
【００３７】
【数３】
【００３８】
【数４】
【００３９】
このどちらを用いても良い。前記３種類の形状特徴量の評価値をＥA、ＥB、ＥCとすると、これら３つを用いた形状特徴量の評価値ＥTを（数５）によって算出する。
【００４０】
【数５】
【００４１】
こうして算出された形状特徴量の評価値に対して判定閾値Ｍを設定し、これによって検出された動物体領域が自走式ロボット１３であるか否かを判定する（４４）。
【００４２】
自走式ロボット１３と判定されなかった場合は本動物体領域に対する処理を終了し（４９）、判定された場合はラベリング外接長方形内の画像データを抽出し、このデータにテンプレート識別番号を付加した上でテンプレートとして登録する（４５）。
【００４３】
テンプレート識別番号は、移動物体追跡装置１２において一元管理されねばならないので、各移動物体認識装置１１の識別番号と、移動物体識別装置１１内におけるテンプレート識別のための番号の組み合わせによって構成される。マッチングの際の画像データとしては輝度データをそのまま用いる方法も考えられるが、本実施例では画像データにsobelフィルタを施したエッジ画像を用いる。したがって、テンプレートもエッジ画像を登録する。以上でこの動物体領域に対する処理は終了する。
【００４４】
一方、既に検出されていた自走式ロボット１３に相当する動物体領域の場合は、その画像上の近傍に登録されているテンプレートが存在するので、これと検出された動物体領域内の画像データとのマッチング処理を行う（４６）。マッチング方法としては数種類の方法があるが、ここではＳＳＤＡ法を用いる。テンプレートＴ(i,j)、動物体領域Ｗ(i,j)を動物体領域近傍Ｗ(i±x,j±y)で探索した際の類似度Ｓ(x,y)は、
【００４５】
【数６】
【００４６】
（数６）によって算出されるため、その最小値がテンプレートＴ(i,j)と動物体領域Ｗ(i,j)との類似度値となる。テンプレート類似度に対しても判定閾値Ｎを設定し、Ｓmin≦Ｎとなった場合に対応付けが成されたと判断して（４７）、テンプレートの更新処理を行う（４８）。
【００４７】
新たに更新されたテンプレートをＮＴ(i,j)とすると、更新処理は（数７）によって行われる。
【００４８】
【数７】
【００４９】
対応付けが成されない場合は、テンプレート更新を行わず、このように更新されないで暫く存在したテンプレートは消滅させる。
【００５０】
したがって、例えば自走式ロボット１３が障害物に隠蔽され、その間に移動方向を変更する等の画像上における形状変化が発生した場合、古いテンプレートは消滅され、自走式ロボット１３が新たに正確に画像上において検出された時点で新しいテンプレートが登録される。
【００５１】
以上が形状特徴量による認識処理である。即ち既に登録されているテンプレートが存在する場合、それと現在検出された動物体領域とのテンプレート類似度が認識結果となる。認識結果として、上述のテンプレート類似度と各移動物体認識装置１１が保持しているそのテンプレート識別番号が移動物体追跡装置１２へ送られる。
【００５２】
このように本発明の実施の形態１の例においては、テンプレートを自動的に作成して登録するテンプレート登録方式を用いて説明したが、対象としている自走式ロボット１３に関する情報は予め得ることが可能であるため、必要な数のテンプレートを教師データとして予め作成し、登録しておく方法を用いても良い。
【００５３】
次に色特徴量を用いた認識処理を、図６に示すフローチャートを用いて説明する。本発明の実施の形態１においては、対象としている自走式ロボット１３に関する情報を予め得ることが可能であるため、色特徴量においてはその教師データを予め作成し、登録しておく方法を用いる。
【００５４】
まず、動物体領域検出処理部２６よりラベリング処理で得られた前記外接長方形座標と、その長方形内の前記フレーム累積差分データを入力する（６１）。そして、フレーム累積差分データの存在する画素のＲＧＢ階調データを色データとして抽出し、座標変換処理を行う（６２）。
【００５５】
座標系としては、ＨＬＳ座標系或いはＨＶＳ座標系といった公知の知覚的表色系を用いることにし、例ではＨＶＳ座標系を用いる。ＲＧＢ階調データを一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相Ｈのみについて、その度数分布を作成する。色相は０〜３６０度の値をとるが、度数分布を作成する際にはこれを１５度ずつに量子化して行う。このように色特徴量としては高彩度画素の色相分布を用いるため、車体の大部分が低彩度色となる自走式ロボット１３を対象とする場合は、車体に高彩度なマーキングをする方法を用いても良い。
【００５６】
次に、動物体領域近傍を背景領域として設定し、この領域内のＲＧＢ階調データを抽出して同様の座標変換処理を行う（６３）。背景領域は、ラベリング外接長方形の外側Ｎ画素（Ｎは正の整数）の長方形で囲まれる領域とし、動物体領域として検出された画素は除いて処理する。ＲＧＢ階調データを一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相Ｈのみについて、その度数分布を１５度ずつに量子化して作成する。こうして動物体領域及び背景領域の色相度数分布が算出されたら、これらを用いて色相分布の補正処理を実行する（６４）。フレーム累積差分処理によって動物体領域抽出を行う場合、動物体領域に背景領域が混入し、これが有彩色画素であると色特徴量にノイズ成分として悪影響を与える。
【００５７】
そこで、本実施例においては、色相分布の補正処理を行い、上記ノイズ成分を除去する。動物体領域の色相分布をf(x)、背景領域の色相分布をg(x)とする。g(x)を用いて（数８）に示す正規化された背景領域の色相分布g*(x)を算出し、（数９）によってフィルタ関数h(x)を算出する。
【００５８】
【数８】
【００５９】
【数９】
【００６０】
こうして算出されたフィルタ関数h(x)を用い、（数１０）によってf(x)をフィルタリングし、補正された色相分布F(x)を導く。
【００６１】
【数１０】
【００６２】
フィルタ特性は、（数８）及び（数９）に示すｋの値によって変えることができる。補正された色相分布F(x)が算出されると、予め登録されていた自走式ロボット１３の色相分布r(x)との相関値Ｒが（数１１）によって算出される（６５）。
【００６３】
【数１１】
【００６４】
自走式ロボット１３の色相分布r(x)は、必要に応じて必要個数作成し登録しておく。その場合は登録個数分の色相相関値Ｒが算出されるため、その中の最大値Ｒmaxを自走式ロボット１３との色相相関値とする。
【００６５】
以上が色特徴量による認識処理である。即ち上述の算出された色相相関値Ｒが認識結果となる。認識結果として、上述の色相分布相関値が移動物体追跡装置１２へ送られる。複数の色相分布が登録されている場合は、どの色相分布との相関値であるかを示す色相分布識別番号も特徴量として送られる。このように本発明の実施の形態１の例においては、必要な数の自走式ロボット１３の色相分布を教師データとして予め作成し登録しておく方法を用いたが、形状特徴量の処理と同様に検出した色相分布を登録更新し、これと現在抽出した色相分布との相関値を算出する色相分布登録方式を用いる方法も可能である。
【００６６】
以上説明したように、各移動物体認識装置１１で検出された全動物体領域における位置情報は、対象領域地図上の座標、形状特徴量としてのテンプレート類似度と識別番号、色特徴量としての色相分布相関値と場合によって識別番号であり、インタフェース部１１３よりネットワーク１４を介して移動物体追跡装置１２へと送られる。転送データのフォーマットを図７に示す。ここでテンプレートが存在しない場合においては、形状特徴量の類似度は０を設定しておく。
【００６７】
移動物体追跡装置１２は、複数の移動物体認識装置１１から送られてきた情報をインタフェース部１２２より受信し、移動物体追跡部１２１で統合し追跡結果を算出する。
【００６８】
移動物体追跡装置１２は、過去に追跡していた全自走式ロボット１３に対して位置情報、テンプレート識別番号、そして色相分布識別番号を保持しており、これと送られてきた動物体領域の特徴量を用いて対応付けを行い、対象領域全体における現在の状態を判定する。尚、追跡中の自走式ロボット１３が複数の画像入力部１１１に撮像されている場合、移動物体追跡装置１２は複数のテンプレート識別番号を保持し、撮像方向によって色の見え方が変わるような自走式ロボット１３であれば更に複数の色相分布識別番号を保持することになる。
【００６９】
位置情報については、過去の自走式ロボット１３の位置と送られてきた動物体領域の位置との距離を算出し、判定値とする。距離の値の小さいものほど対応付けの判定は高くなる。形状特徴量についてはテンプレート類似度及び識別番号を基に、過去の自走式ロボット１３と現在検出された動物体領域とを対応付ける。同一識別番号のものが対応付け可能であり、テンプレート類似度が対応付けの判定値となる。テンプレート類似度算出式から分かるように、値が小さいほど対応付けの判定は高い。色についても同様に同一識別番号のものが対応付け可能であり（したがって、登録されている色相分布が一種類の場合は全て対応付け可能）、色相相関値が対応付けの判定値となる。色相相関値の場合は、値が大きいほど対応付けの判定は高い。
【００７０】
以上の処理おいて、同一の自走式ロボット１３が複数の画像入力部１１１に撮像されている場合は、複数の移動物体認識装置１１から送られてきた特徴量が同一の自走式ロボット１３に対応付けられる。各特徴量の判定値をＥi、各特徴量の重みをλiとしたとき、総合判定値Ｒは（数１２）によって算出される。
【００７１】
【数１２】
【００７２】
総合判定値Ｒの値が大きいほど、対応付けの判定は高い。ここでこの重みλiは位置及び形状特徴量の際には負の値、色特徴量の場合は正の値としておき、総合判定値Ｒが負になるのが不都合であれば更に定数を加算しても良い。また重みλiを変数として取り扱い、位置の判定値が低い場合（即ち距離が大きく離れている場合）に他の特徴量判定値の重みを０として総合判定値Ｒを小さくすることも可能である。
【００７３】
ここで、過去において一つの画像入力部１１１においてのみ撮像され追跡されていた自走式ロボット１３が、新たに別の画像入力部１１１においても撮像された場合は、位置情報のみにおいて対応付け判定が成されるため、その時点で新しいテンプレート及び色相分布の識別番号を追加登録する。また、移動物体追跡部１２は、上記過去との対応付け処理によって対応付けが成されず、かつテンプレートが新たに登録されており、更に色相相関値が高い値を示した場合に、新たに検出された自走式ロボット１３が存在すると判定し、これを追跡処理に追加する。更に、画像入力部１１１の撮像範囲において他の画像入力部１１１の撮像範囲と重複が無く離散的な際に自走式ロボット１３を追跡する場合は、上記の処理に加えて自走式ロボット１３の速度を算出して視野外に存在している自走式ロボット１３を予測追跡する方法も用いることが可能である。こうして対象領域内に存在する自走式ロボット１３を対象領域地図上において追跡していく。
【００７４】
追跡情報は、位置補正部１２３へと送られる。位置補正部１２３には、自走式ロボット１３が走行すべき経路情報が格納されている。位置補正部１２３は、移動物体追跡部１２１から順次送られてくる自走式ロボット１３の追跡情報と、予め登録されていた対象領域地図上の経路情報を比較して移動における位置の偏差を求め、これを用いて対象物体の位置補正情報を算出する。この位置補正情報とは、単純に実空間上における距離情報である。即ち、図８に示すように、自走式ロボット１３の検出された位置情報がＰ点、予め登録されていた経路情報が直線Ｌであった場合、このＰ点と直線Ｌとの対象領域地図座標における自走式ロボット１３の進行方向（図中↑表記）に対して垂直な方向の距離Ｗを算出する。また、経路が自走式ロボット１３に対して左右どちら側に存在するかという左右情報（図８の場合は右側）も算出し、これらを位置補正情報とする。
【００７５】
ここで当然のことながら、予め登録しておく経路情報は場合によっては曲線であっても良く、この場合も位置補正情報算出の考え方は上記の処理と全く同様である。また位置補正部１２３は、移動物体追跡部１２１の位置検出性能に整合した閾値Ｋを有しており、位置補正情報算出の結果がＷ＜Ｋであった場合はＷ＝０として、不要な情報を送出しないようになっている。
【００７６】
こうして、位置補正部１２３によって算出された位置補正情報は、位置補正情報出力部１２４より無線手段１５を用いて、自走式ロボット１３、１８へそれぞれ伝送される。自走式ロボット１３、１８は、位置補正情報入力部１３１において位置補正情報をそれぞれ受信し、走行系制御部１３２は受信した位置補正情報を基に移動物体の走行系に対して制御信号を送出する。走行系は制御信号を受信し、操舵部或いは制動部等の走行系を制御する。こうして走行系を制御することにより、自走式ロボット１３を適した走行状態に制御することが可能となる。また、無線手段１５としては、電波、光および超音波を用いて自走式ロボット１３、１８にそれぞれ情報を伝送するものである。
【００７７】
また、画像処理によって障害物と判定されるような物体を検出した場合においても、走行系を制御することにより適した走行状態を実現することが可能である。
【００７８】
以上のように本実施例によれば、工場の構内のような比較的広い対象領域内においてテレビカメラを設置するだけで自走式ロボット等の対象物体を識別して追跡することが可能であり、優れた移動物体走行制御装置を実現することが可能である。また、従来の自走式ロボットの位置計測における問題点であった、誤差の累積についても解決するものであり、誤差累積の発生しない自走式ロボットの移動物体走行制御装置を実現することも可能である。更にはこの技術を道路交通分野に応用することにより、車両の走行状態や事故等の突発事象発生を検出してその結果を基に走行車両の走行系を最適制御し、車両の走行の安全性を高める移動物体走行制御装置を実現することも可能である。
【００７９】
また、複数の画像入力部が広い対象領域を異なる方向および輻輳角から撮影し、複数の画像入力部の撮像領域を統合すると対象領域全体の撮像を満たすように設置されており、広い対象領域を死角もなく、解像度も十分な画像として撮影でき、広範囲に自走式ロボットを最適制御できるという効果を有する。
【００８０】
さらに、移動物体認識装置の移動物体認識部が動物体領域の検出、追跡対象となる自走式ロボットの領域抽出、特徴量算出、同定を行う処理ユニットから構成され、それらのユニットの一連した処理の結果、自走式ロボットの位置、色、形状、テクスチャの特徴量を検出し、この検出された情報をネットワーク上に送信するものであり、これら特徴量によって対象領域内に複数存在する各自走式ロボットを同定でき、複数の自走式ロボットを最適制御できるという効果を有する。
【００８１】
さらに、各々の画像入力部の撮像領域が複数の画像入力部によって撮像された対象領域全体の中で相当する部分が事前に設定されており、移動物体認識装置の出力として自走式ロボットの位置は、対象領域全体を空間とした座標であるため、各々の移動物体認識装置の結果を一つの地図上で取り扱うことができ、自走式ロボットを最適制御できるという効果を有する。
【００８２】
さらに、移動物体追跡装置で複数の画像入力部の撮像領域の位置関係を設定し、複数の移動物体認識装置から送信された撮像領域の追跡対象となる自走式ロボットの位置、色、形状、テクスチャの特徴量を統合し、対象領域全体での自走式ロボットの運動軌跡を求めるため、広い対象領域内に複数存在する自走式ロボットの運動を一つの地図上で一元的に把握でき、自走式ロボットを最適制御できるという効果を有する。
【００８３】
さらに、可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で赤外光撮像装置を画像入力部として用いるものであり、屋外において太陽光の照射の有無に関係なく自走式ロボットを最適制御できるという効果を有する。
【００８４】
【発明の効果】
以上のように本発明は、移動物体認識技術及び追跡技術を用いることによって、広い対象領域内で複数のテレビカメラの視野に跨って走行をする複数の車両や自走式ロボット等の対象物体を識別して追跡することが可能であり、優れた移動物体監視システムを実現することができる、という効果を有する。また、対象物体の追跡結果を基に対象物体の走行系を最適制御することが可能であるため、走行車両の安全性の向上や自走式ロボットの自律走行性能の向上を図ることが可能となり、優れた移動物体走行制御装置を実現することが可能である、という効果も有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１における移動物体制御装置のブロック構成図
【図２】本発明の実施の形態１における動物体領域検出処理のブロック構成図
【図３】本発明の実施の形態１における動物体の位置情報算出処理のフローチャート
【図４】本発明の実施の形態１における形状特徴量を用いた認識処理のフローチャート
【図５】本発明の実施の形態１における評価値算出処理の説明図
【図６】本発明の実施の形態１における色特徴量を用いた認識処理のフローチャート
【図７】本発明の実施の形態１における転送データのフォーマット例を示す図
【図８】本発明の実施の形態１における自走式ロボットの位置補正を説明する図
【符号の説明】
１１、１６、１７ 移動物体認識装置
１２ 移動物体追跡装置
１３、１８ 自走式ロボット
１４ ネットワーク
１５ 無線手段
２１ 画像入力部
２２ フレーム差分処理部
２３ フレームメモリ
２４ 差分データメモリ
２５ 論理和演算処理部
２６ 動物体領域検出処理部
１１１ 画像入力部
１１２ 移動物体認識部
１１３ インタフェース部
１２１ 移動物体追跡部
１２２ インタフェース部
１２３ 位置補正部
１２４ 位置補正情報出力部
１３１ 位置補正情報入力部
１３２ 走行系制御部
【発明の属する技術分野】
本発明は、道路を走行する車両や特定領域を走行する自走式ロボット等対象としている移動物体を広い領域に渡って追跡し、その走行を支援する移動物体走行制御装置に関するものである。
【０００２】
【従来の技術】
複数の画像入力部（以下テレビカメラと記す）により撮像された画像情報を用いて、複数のテレビカメラで撮影している対象領域において車両や自走式ロボット等の移動物体を追跡し、これらの走行を支援する自律走行支援システムに関するものである。
【０００３】
従来、自走式ロボットの分野においては、特定のフィールド内で自走式ロボットを走行させ、荷物の運搬、掃除など種々の作業をさせるシステム或いは装置が考えられている。このような場合自走式ロボットを自動操舵する技術としては、例えば特開平３−２３０２０３号公報に示された「車両の自動操舵方法及びその自動操舵装置」がある。この自動操舵装置は、車両等の移動局にその進行方向を検出する方位測定手段と、予め決められたチェックポイントを通過したときに設定コースからの位置偏差を計測する検出手段と、この位置偏差と走行距離から方位測定手段の方位誤差を演算する演算手段とを備えておき、方位測定手段からの出力にその方位誤差を減算して得られる方向に向けて進行するように舵角を制御するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら前述の自動操舵装置においては、決められたコースを移動する間、チェックポイントを通過したしたときの誤差と、方位測定手段の測定結果との差を調整する方式を取っており、このチェックポイントにおける測定を光信号とその反射信号の受信を移動物体の両側において行い、その差分から移動に伴う偏差を求める方式としている。そのためチェックポイントにおける測定値そのものに誤差がある場合、最終結果として得られた自己の位置の誤差が累積されて、最終的には自走式ロボット自身がフィールド内のどの場所に居るのか分からなくなるという課題があった。
【０００５】
本発明は上記従来の課題を解決するものであり、従来の自走式ロボットの位置計測における問題点であった、誤差の累積について解決するものであり、誤差累積の発生しない自走式ロボットの移動物体走行制御装置を実現することを目的とするものである。
【０００６】
【課題を解決するための手段】
この目的を達成するために本発明の移動物体制御装置は、一つ以上の自走式ロボットが移動を行う対象領域の画像を入力する画像入力部と、画像から移動物体の位置及び特徴量を検出し前記移動物体の位置及び特徴量から前記自走式ロボットの識別番号を認識する移動物体認識部と、前記自走式ロボットの識別番号、位置及び特徴量の情報を送出するインタフェース部とから構成される複数の移動物体認識装置と、過去に追跡していた全自走式ロボットの保持された識別情報、位置情報及び特徴量と、前記各移動物体認識装置から伝送される前記自走式ロボットの情報である識別情報、位置及び特徴量との対応付けを行い、同一識別情報に対応づけられない場合は新たな自走式ロボットとして登録し、同一識別情報として対応づけられた場合は同一自走式ロボットとして登録する移動物体追跡部と共に位置情報と予め登録されていた地図情報より位置補正情報を算出して前記自走式ロボットに伝送する位置補正部とから構成される移動物体追跡装置と、前記移動物体追跡装置からの位置補正情報を基に走行制御する自走式ロボットと、を備えたもので、自走式ロボットは、受信した位置補正情報を基に自走式ロボットの走行系に対して制御信号を送出し、自走式ロボットを適した走行状態に制御する。
【０００７】
【発明の実施の形態】
本発明の請求項１に記載の発明は、一つ以上の自走式ロボットが移動を行う対象領域の画像を入力する画像入力部と、画像から移動物体の位置及び特徴量を検出し前記移動物体の位置及び特徴量から前記自走式ロボットの識別番号を認識する移動物体認識部と、前記自走式ロボットの識別番号、位置及び特徴量の情報を送出するインタフェース部とから構成される複数の移動物体認識装置と、過去に追跡していた全自走式ロボットの保持された識別情報、位置情報及び特徴量と、前記各移動物体認識装置から伝送される前記自走式ロボットの情報である識別情報、位置及び特徴量との対応付けを行い、同一識別情報に対応づけられない場合は新たな自走式ロボットとして登録し、同一識別情報として対応づけられた場合は同一自走式ロボットとして登録する移動物体追跡部と共に位置情報と予め登録されていた地図情報より位置補正情報を算出して前記自走式ロボットに伝送する位置補正部とから構成される移動物体追跡装置と、前記移動物体追跡装置からの位置補正情報を基に走行制御する自走式ロボットとを備えたものであり、この構成によって、本発明の移動物体制御装置は自走式ロボットの対象領域地図上の位置情報と、予め登録されていた地図情報を用いて自走式ロボットの移動における位置の偏差を求め、これより算出された対象物体の位置補正情報を、無線手段を用いて自走式ロボットに伝送することにより自走式ロボットの走行系を制御し、登録地図情報に基づいた最適経路を実現することが可能という作用を有する。
請求項２に記載の発明は、移動物体認識装置の移動物体認識部は、前記移動物体が自走式ロボットであるか否かを判定し、自走式ロボットと判定された場合は、テンプレート識別番号を付加した上でテンプレートを登録し、すでに検出された自走式ロボットが存在する場合はその画像上に登録されているテンプレートと照合を行い類似度の高いときはテンプレートを更新するもので、新たに検出した自走式ロボットのテンプレートを自動登録することにより、予め登録しておく必要がないという作用を有する。
請求項３に記載の発明は、移動物体認識装置の移動物体認識部は、前記移動物体の特徴量であるＲＧＢ階調データより色相分布を求め、予め登録されている自走式ロボットの色相分布との相関値から登録された色相分布識番号、位置と特徴量を送出するもので、色特徴量を用いることで容易に対応付けすることができるという作用を有する。
【０００８】
本発明の請求項４に記載の発明は、前記移動物体認識装置の複数の画像入力部が広い対象領域を異なる方向および輻輳角から撮影し、複数の画像入力部の撮像領域を統合すると対象領域全体の撮像を満たすように設置されており、広い対象領域を死角もなく、解像度も十分な画像として撮影できるという作用を有する。
【０００９】
本発明の請求項５に記載の発明は、移動物体認識装置の画像入力部は、自走式ロボットの位置、色、形状、テクスチャの特徴量を検出するものであり、これら特徴量によって対象領域内に複数存在する各自走式ロボットを同定できるという作用を有する。
【００１０】
本発明の請求項６に記載の発明は、各々の画像入力部の撮像領域が複数の画像入力部によって撮像された対象領域全体の中で相当する部分が事前に設定されており、移動物体認識装置の出力として自走式ロボットの位置は、対象領域全体を空間とした座標であるため、各々の移動物体認識装置の結果を一つの地図上で取り扱うことができるという作用を有する。
【００１１】
本発明の請求項７に記載の発明は、移動物体追跡装置で複数の画像入力部の撮像領域の位置関係を設定し、複数の移動物体認識装置から送信された撮像領域の追跡対象となる自走式ロボットの位置、色、形状、テクスチャの特徴量を統合し、対象領域全体での自走式ロボットの運動軌跡を求めるため、広い対象領域内に複数存在する自走式ロボットの運動を一つの地図上で一元的に把握できるという作用を有する。
【００１２】
本発明の請求項８に記載の発明は、可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で赤外光撮像装置を画像入力部として用いるものであり、屋外において太陽光の照射の有無に関係なく動作ができるという作用を有する。
【００１３】
以下、本発明における実施の形態について、図１から図８を用いて説明する。
（実施の形態１）
図１は、本発明の実施の形態１における移動物体走行制御装置のブロック構成図を示す。
【００１４】
図１において、１１、１６、１７は対象領域の画像情報を入力する画像入力部１１１と、画像入力部１１１の画像情報を処理して画像情報内における移動物体の位置及び特徴量を検出し移動物体を認識する移動物体認識部１１２と、移動物体認識部１１２によって検出された前述の情報をネットワークに送出するインタフェース部１１３より構成される移動物体認識装置、１２は各々の移動物体認識装置１１において検出されネットワークを介して送られてきた情報を受信するインタフェース部１２２と、各々の移動物体認識装置１１において検出された情報を統合して、移動物体の監視対象領域の地図上で移動物体を追跡する移動物体追跡部１２１と、移動物体追跡部１２１において算出された対象領域地図上の位置情報を基に、予め登録されていた地図情報を用いて対象物体の移動における位置の偏差を求め、これを用いて対象物体の位置補正情報を算出する位置補正部１２３と、位置補正情報を対象物体に無線手段１５を用いて伝達する位置補正情報出力部１２４より構成される移動物体追跡装置、１３、１８は移動物体に搭載され移動物体追跡装置１２より無線手段１５によって伝達されてきた位置補正情報を受信する位置補正情報入力部１３１と、位置補正情報入力部１３１が受信した位置補正情報を基に移動物体の走行系に対して制御信号を送出する走行系制御部１３２より構成される自走式ロボットである。
【００１５】
各移動物体認識装置１１、１６、１７および移動物体追跡装置１２は何れもネットワーク１４に接続している場合について説明する。移動物体認識装置は、移動物体認識装置Ａ（１１）、移動物体認識装置Ｂ（１６）および移動物体認識装置Ｃ（１７）の複数で構成した場合について、また自走式ロボットも自走式ロボットＡ（１３）および自走式ロボットＢ（１８）の複数の場合について説明する。
【００１６】
次に、本発明の実施の形態１の動作について説明する。
複数の画像入力部１１１は、例えば工場内等自走式ロボット１３が走行する比較的広い領域を対象領域として、俯瞰（高いところから下を見下ろすように）撮像するように設置される。このように、対象領域がある程度の広さを有する場合、一台の画像入力部１１１ではその全てを視野として確保することは困難となる。各画像入力部１１１において、必要な解像度を確保しかつ広い領域を撮像したい場合、本実施例のように複数の画像入力部１１１を用いることによって広域全体を処理の対象とすることが可能となる。
【００１７】
画像入力部１１１は、通常のＩＴＶカメラとして用いられる可視光撮像カメラを用いる。撮像条件によっては可視光撮像カメラ及び赤外光撮像カメラを併用して用いても良い。
【００１８】
得られた画像情報は、移動物体認識部１１２において処理される。移動物体認識装置１１の移動物体認識部１１２は、動物体領域の検出処理、追跡対象となる自走式ロボットの領域抽出処理、特徴量算出処理、認識処理を行う処理から構成されており、以下に説明する。
【００１９】
移動物体認識部１１２は、対象領域内に存在する自走式ロボット１３や対象外である人物等を動物体領域として検出する。動物体領域の検出処理は、フレーム累積差分処理を用いる。そこでフレーム累積差分処理について説明する。フレーム差分処理の場合、その検出領域の大きさは対象物体の撮像画面上における移動速度に依存し、停止状態となった場合は動物体領域検出は不可能となる。また、テクスチャが一様の領域は検出することはできず、対象物体の輪郭部分を検出する傾向がある。そこでフレーム差分処理をＮフレーム（Ｎは正の整数）に渡って行い、その結果の論理和演算を行って動物体領域を検出する。以上がフレーム累積差分処理である。
【００２０】
次に、図２を用いて動物体領域検出処理について説明する。図２において、２１は画像入力処理部、２２はフレーム差分処理部、２３はフレームメモリ、２４は差分データメモリ、２５は論理和演算処理部、２６は動物体領域検出部である。処理の流れを説明する。
【００２１】
画像入力処理部２１は、対象領域画像を１画素毎に８ビット２５６階調のディジタル画素データに変換してフレーム差分処理部２２、フレームメモリ２３へと送出する。ここで対象物体の画像上の大きさが小さくなった場合、高周波ノイズが処理に悪影響を及ぼすため、画素データに対して例えば５×５画素程度のローパスフィルタを施しても良い。フレーム差分処理部２２は、今画像入力処理部２１から入力された画素データと前フレームにおいて入力されフレームメモリ２３に格納されていた画素データとの差分処理を行い、予め設定された閾値以上の差の階調となった画素を抽出する。
【００２２】
その一方で、現フレームの画素データをフレームメモリ２３に格納する。差分として抽出された画素データは、１ビットデータ（差分有り＝１、差分無し＝０）に変換され差分データメモリ２４に格納される。差分データメモリ２４は、累積数であるＮフレーム分の差分データを格納することが可能となっている。
【００２３】
次に論理和演算処理部２５は、差分データメモリ２４のＮフレーム分に相当する１画素Ｎビットのデータを読み込み、論理和演算を行って１ビットの累積差分データを算出する。この処理により、１フレームでも差分が抽出された画素については差分有りとして取り扱われる。こうして算出された累積差分データは、動物体領域検出処理部２６へと送られる。
【００２４】
動物体領域検出処理部２６は、累積差分データに対して膨張・収縮処理、穴埋め処理、ノイズ除去処理を行って画素毎に抽出された動物体領域の安定化を図り、最後にラベリング処理を行って外接長方形で動物体領域をラベル付けする。以上が動物体領域の検出処理である。
【００２５】
次に、動物体領域情報を基に対象物体の特徴量を検出し、これら特徴量より、検出した動物体領域を自走式ロボット１３及び人物その他に分類し、対象物体である自走式ロボット１３を認識する。自走式ロボット１３の特徴を抽出して認識することが可能であるため、上述のように自走式ロボット１３と人間が混在して動作をすることは問題ない。
【００２６】
自走式ロボット１３は、対象領域内に存在していれば何れの可視光撮像カメラに撮像されていても認識可能であり、また複数台存在して別々の可視光撮像カメラに撮像されていても良い。また、自走式ロボット１３、１８が複数種類存在しても、そのそれぞれの特徴が分かっていればそれぞれを認識することが可能であるため、複数種類が混在して別々に動作していても構わない。
【００２７】
特徴量としては、位置、形状、色を用いる。そこで、これら特徴量の検出及び認識処理について説明する。尚、動物体領域がＭ個検出された場合、以下の処理はそれぞれＭ回繰り返される。
【００２８】
まず、検出された動物体の位置情報算出処理を、図３に示すフローチャートを用いて説明する。動物体領域検出処理部２６よりラベリング処理で得られた前記外接長方形座標を入力する（３１）。このラベリング外接長方形における底辺の中点の座標を算出し、これを画像上における自走式ロボット１３他の動物体の位置情報とする（３２）。次に、算出された画像上座標を対象領域地図上の座標に変換する（３３）。変換式は（数１）の形式を取り、各画像入力部１１１の撮像条件に基づいて予め各移動物体認識装置１１毎に持たせておく。
【００２９】
【数１】
ここでｘ、ｙは画像上座標、Ｘ、Ｙは対象領域地図上座標である。
変換式（数１）の係数は、画像入力部１１１によって対象領域を撮像しその床面に複数個の座標計測点を設定し、その座標計測点の画像上座標及び対象領域地図上座標を抽出して最小自乗法等を用いて予め決定しておく。こうして算出された対象領域地図上座標を検出された動物体の位置情報とし、移動物体追跡装置１２へ送られる。
【００３１】
次に、形状特徴量を用いた認識処理を、図４に示すフローチャートを用いて説明する。まず、動物体領域検出処理部２６よりラベリング処理で得られた前記外接長方形座標と、その長方形内の前記フレーム累積差分データを入力する（４１）。動物体領域情報が入力されると、まずその領域の画像上における近傍に登録されたテンプレートが存在するか否かを判定する（４２）。
【００３２】
テンプレートは、動物体領域が新たに検出された際にその画像データを登録する方式によって作成されるものとする。したがって動物体領域が新たに検出された時点ではテンプレートが存在しない。そこで入力データより、ラベリング外接長方形の水平方向幅、同じく垂直方向幅、ラベリング外接長方形内の動物体領域画素数の３種類の形状特徴量を抽出し、動物体領域画素数についてはその平方根演算を行う。これらの形状特徴量は、予め設定されていた評価パラメータを用いてその評価値が算出される（４３）。
【００３３】
評価値算出処理を、図５を用いて説明する。図５において横軸は撮像画面における垂直方向の座標であり、縦軸は上記３種類の形状特徴量の内の一つを示す。画像入力部１１１は対象領域を俯瞰撮像しており、自走式ロボット１３の大きさは撮像画面内では上部に位置するほど小さく下部に位置するほど大きくなり、一方左右に動いてもその変化は小さい。したがって、検出された動物体領域のラベリング外接長方形の底辺の撮像画面における垂直方向の座標値とその形状特徴量をプロットすると、その特性は図５のような直線性を示す。これは３種類の形状特徴量全てにおいて同様であり、動物体領域画素数においてもその平方根を計算しているため直線性を示す。
【００３４】
ここで、直線から大きく外れてプロットされているデータが存在するが、これは自走式ロボット１３ではない影等のノイズが動物体領域として検出されたものである。大きさの異なる自走式ロボット１３、１８が複数存在する場合は、この直線は複数本存在することになる。この３種類の形状特徴量に対する３種類の直線のパラメータ（勾配及びＹ切片の２個）を予め各移動物体認識装置１１毎に求めておき、これらを用いて評価値を算出する。任意の移動物体認識装置１１における上記直線パラメータをＡ、Ｂ、検出された動物体領域のラベリング外接長方形底辺の垂直方向座標をＸ、抽出された形状特徴量をＹとする。このとき直線近似による形状特徴量ｙは、
【００３５】
【数２】
（数２）により算出される。また評価値Ｅは（数３）もしくは（数４）によって算出され、
【００３７】
【数３】
【数４】
このどちらを用いても良い。前記３種類の形状特徴量の評価値をＥA、ＥB、ＥCとすると、これら３つを用いた形状特徴量の評価値ＥTを（数５）によって算出する。
【００４０】
【数５】
こうして算出された形状特徴量の評価値に対して判定閾値Ｍを設定し、これによって検出された動物体領域が自走式ロボット１３であるか否かを判定する（４４）。
【００４２】
自走式ロボット１３と判定されなかった場合は本動物体領域に対する処理を終了し（４９）、判定された場合はラベリング外接長方形内の画像データを抽出し、このデータにテンプレート識別番号を付加した上でテンプレートとして登録する（４５）。
【００４３】
テンプレート識別番号は、移動物体追跡装置１２において一元管理されねばならないので、各移動物体認識装置１１の識別番号と、移動物体識別装置１１内におけるテンプレート識別のための番号の組み合わせによって構成される。マッチングの際の画像データとしては輝度データをそのまま用いる方法も考えられるが、本実施例では画像データにsobelフィルタを施したエッジ画像を用いる。したがって、テンプレートもエッジ画像を登録する。以上でこの動物体領域に対する処理は終了する。
【００４４】
一方、既に検出されていた自走式ロボット１３に相当する動物体領域の場合は、その画像上の近傍に登録されているテンプレートが存在するので、これと検出された動物体領域内の画像データとのマッチング処理を行う（４６）。マッチング方法としては数種類の方法があるが、ここではＳＳＤＡ法を用いる。テンプレートＴ(i,j)、動物体領域Ｗ(i,j)を動物体領域近傍Ｗ(i±x,j±y)で探索した際の類似度Ｓ(x,y)は、
【００４５】
【数６】
（数６）によって算出されるため、その最小値がテンプレートＴ(i,j)と動物体領域Ｗ(i,j)との類似度値となる。テンプレート類似度に対しても判定閾値Ｎを設定し、Ｓmin≦Ｎとなった場合に対応付けが成されたと判断して（４７）、テンプレートの更新処理を行う（４８）。
【００４７】
新たに更新されたテンプレートをＮＴ(i,j)とすると、更新処理は（数７）によって行われる。
【００４８】
【数７】
対応付けが成されない場合は、テンプレート更新を行わず、このように更新されないで暫く存在したテンプレートは消滅させる。
【００５０】
したがって、例えば自走式ロボット１３が障害物に隠蔽され、その間に移動方向を変更する等の画像上における形状変化が発生した場合、古いテンプレートは消滅され、自走式ロボット１３が新たに正確に画像上において検出された時点で新しいテンプレートが登録される。
【００５１】
以上が形状特徴量による認識処理である。即ち既に登録されているテンプレートが存在する場合、それと現在検出された動物体領域とのテンプレート類似度が認識結果となる。認識結果として、上述のテンプレート類似度と各移動物体認識装置１１が保持しているそのテンプレート識別番号が移動物体追跡装置１２へ送られる。
【００５２】
このように本発明の実施の形態１の例においては、テンプレートを自動的に作成して登録するテンプレート登録方式を用いて説明したが、対象としている自走式ロボット１３に関する情報は予め得ることが可能であるため、必要な数のテンプレートを教師データとして予め作成し、登録しておく方法を用いても良い。
【００５３】
次に色特徴量を用いた認識処理を、図６に示すフローチャートを用いて説明する。本発明の実施の形態１においては、対象としている自走式ロボット１３に関する情報を予め得ることが可能であるため、色特徴量においてはその教師データを予め作成し、登録しておく方法を用いる。
【００５４】
まず、動物体領域検出処理部２６よりラベリング処理で得られた前記外接長方形座標と、その長方形内の前記フレーム累積差分データを入力する（６１）。そして、フレーム累積差分データの存在する画素のＲＧＢ階調データを色データとして抽出し、座標変換処理を行う（６２）。
【００５５】
座標系としては、ＨＬＳ座標系或いはＨＶＳ座標系といった公知の知覚的表色系を用いることにし、例ではＨＶＳ座標系を用いる。ＲＧＢ階調データを一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相Ｈのみについて、その度数分布を作成する。色相は０〜３６０度の値をとるが、度数分布を作成する際にはこれを１５度ずつに量子化して行う。このように色特徴量としては高彩度画素の色相分布を用いるため、車体の大部分が低彩度色となる自走式ロボット１３を対象とする場合は、車体に高彩度なマーキングをする方法を用いても良い。
【００５６】
次に、動物体領域近傍を背景領域として設定し、この領域内のＲＧＢ階調データを抽出して同様の座標変換処理を行う（６３）。背景領域は、ラベリング外接長方形の外側Ｎ画素（Ｎは正の整数）の長方形で囲まれる領域とし、動物体領域として検出された画素は除いて処理する。ＲＧＢ階調データを一画素ずつ色相Ｈ、明度Ｖ、彩度Ｓに変換し、彩度Ｓが予め設定されていた閾値Ｓthに対してＳth≦Ｓなる条件を満たす画素の色相Ｈのみについて、その度数分布を１５度ずつに量子化して作成する。こうして動物体領域及び背景領域の色相度数分布が算出されたら、これらを用いて色相分布の補正処理を実行する（６４）。フレーム累積差分処理によって動物体領域抽出を行う場合、動物体領域に背景領域が混入し、これが有彩色画素であると色特徴量にノイズ成分として悪影響を与える。
【００５７】
そこで、本実施例においては、色相分布の補正処理を行い、上記ノイズ成分を除去する。動物体領域の色相分布をf(x)、背景領域の色相分布をg(x)とする。g(x)を用いて（数８）に示す正規化された背景領域の色相分布g*(x)を算出し、（数９）によってフィルタ関数h(x)を算出する。
【００５８】
【数８】
【数９】
こうして算出されたフィルタ関数h(x)を用い、（数１０）によってf(x)をフィルタリングし、補正された色相分布F(x)を導く。
【００６１】
【数１０】
フィルタ特性は、（数８）及び（数９）に示すｋの値によって変えることができる。補正された色相分布F(x)が算出されると、予め登録されていた自走式ロボット１３の色相分布r(x)との相関値Ｒが（数１１）によって算出される（６５）。
【００６３】
【数１１】
自走式ロボット１３の色相分布r(x)は、必要に応じて必要個数作成し登録しておく。その場合は登録個数分の色相相関値Ｒが算出されるため、その中の最大値Ｒmaxを自走式ロボット１３との色相相関値とする。
【００６５】
以上が色特徴量による認識処理である。即ち上述の算出された色相相関値Ｒが認識結果となる。認識結果として、上述の色相分布相関値が移動物体追跡装置１２へ送られる。複数の色相分布が登録されている場合は、どの色相分布との相関値であるかを示す色相分布識別番号も特徴量として送られる。このように本発明の実施の形態１の例においては、必要な数の自走式ロボット１３の色相分布を教師データとして予め作成し登録しておく方法を用いたが、形状特徴量の処理と同様に検出した色相分布を登録更新し、これと現在抽出した色相分布との相関値を算出する色相分布登録方式を用いる方法も可能である。
【００６６】
以上説明したように、各移動物体認識装置１１で検出された全動物体領域における位置情報は、対象領域地図上の座標、形状特徴量としてのテンプレート類似度と識別番号、色特徴量としての色相分布相関値と場合によって識別番号であり、インタフェース部１１３よりネットワーク１４を介して移動物体追跡装置１２へと送られる。転送データのフォーマットを図７に示す。ここでテンプレートが存在しない場合においては、形状特徴量の類似度は０を設定しておく。
【００６７】
移動物体追跡装置１２は、複数の移動物体認識装置１１から送られてきた情報をインタフェース部１２２より受信し、移動物体追跡部１２１で統合し追跡結果を算出する。
【００６８】
移動物体追跡装置１２は、過去に追跡していた全自走式ロボット１３に対して位置情報、テンプレート識別番号、そして色相分布識別番号を保持しており、これと送られてきた動物体領域の特徴量を用いて対応付けを行い、対象領域全体における現在の状態を判定する。尚、追跡中の自走式ロボット１３が複数の画像入力部１１１に撮像されている場合、移動物体追跡装置１２は複数のテンプレート識別番号を保持し、撮像方向によって色の見え方が変わるような自走式ロボット１３であれば更に複数の色相分布識別番号を保持することになる。
【００６９】
位置情報については、過去の自走式ロボット１３の位置と送られてきた動物体領域の位置との距離を算出し、判定値とする。距離の値の小さいものほど対応付けの判定は高くなる。形状特徴量についてはテンプレート類似度及び識別番号を基に、過去の自走式ロボット１３と現在検出された動物体領域とを対応付ける。同一識別番号のものが対応付け可能であり、テンプレート類似度が対応付けの判定値となる。テンプレート類似度算出式から分かるように、値が小さいほど対応付けの判定は高い。色についても同様に同一識別番号のものが対応付け可能であり（したがって、登録されている色相分布が一種類の場合は全て対応付け可能）、色相相関値が対応付けの判定値となる。色相相関値の場合は、値が大きいほど対応付けの判定は高い。
【００７０】
以上の処理おいて、同一の自走式ロボット１３が複数の画像入力部１１１に撮像されている場合は、複数の移動物体認識装置１１から送られてきた特徴量が同一の自走式ロボット１３に対応付けられる。各特徴量の判定値をＥi、各特徴量の重みをλiとしたとき、総合判定値Ｒは（数１２）によって算出される。
【００７１】
【数１２】
総合判定値Ｒの値が大きいほど、対応付けの判定は高い。ここでこの重みλiは位置及び形状特徴量の際には負の値、色特徴量の場合は正の値としておき、総合判定値Ｒが負になるのが不都合であれば更に定数を加算しても良い。また重みλiを変数として取り扱い、位置の判定値が低い場合（即ち距離が大きく離れている場合）に他の特徴量判定値の重みを０として総合判定値Ｒを小さくすることも可能である。
【００７３】
ここで、過去において一つの画像入力部１１１においてのみ撮像され追跡されていた自走式ロボット１３が、新たに別の画像入力部１１１においても撮像された場合は、位置情報のみにおいて対応付け判定が成されるため、その時点で新しいテンプレート及び色相分布の識別番号を追加登録する。また、移動物体追跡部１２は、上記過去との対応付け処理によって対応付けが成されず、かつテンプレートが新たに登録されており、更に色相相関値が高い値を示した場合に、新たに検出された自走式ロボット１３が存在すると判定し、これを追跡処理に追加する。更に、画像入力部１１１の撮像範囲において他の画像入力部１１１の撮像範囲と重複が無く離散的な際に自走式ロボット１３を追跡する場合は、上記の処理に加えて自走式ロボット１３の速度を算出して視野外に存在している自走式ロボット１３を予測追跡する方法も用いることが可能である。こうして対象領域内に存在する自走式ロボット１３を対象領域地図上において追跡していく。
【００７４】
追跡情報は、位置補正部１２３へと送られる。位置補正部１２３には、自走式ロボット１３が走行すべき経路情報が格納されている。位置補正部１２３は、移動物体追跡部１２１から順次送られてくる自走式ロボット１３の追跡情報と、予め登録されていた対象領域地図上の経路情報を比較して移動における位置の偏差を求め、これを用いて対象物体の位置補正情報を算出する。この位置補正情報とは、単純に実空間上における距離情報である。即ち、図８に示すように、自走式ロボット１３の検出された位置情報がＰ点、予め登録されていた経路情報が直線Ｌであった場合、このＰ点と直線Ｌとの対象領域地図座標における自走式ロボット１３の進行方向（図中↑表記）に対して垂直な方向の距離Ｗを算出する。また、経路が自走式ロボット１３に対して左右どちら側に存在するかという左右情報（図８の場合は右側）も算出し、これらを位置補正情報とする。
【００７５】
ここで当然のことながら、予め登録しておく経路情報は場合によっては曲線であっても良く、この場合も位置補正情報算出の考え方は上記の処理と全く同様である。また位置補正部１２３は、移動物体追跡部１２１の位置検出性能に整合した閾値Ｋを有しており、位置補正情報算出の結果がＷ＜Ｋであった場合はＷ＝０として、不要な情報を送出しないようになっている。
【００７６】
こうして、位置補正部１２３によって算出された位置補正情報は、位置補正情報出力部１２４より無線手段１５を用いて、自走式ロボット１３、１８へそれぞれ伝送される。自走式ロボット１３、１８は、位置補正情報入力部１３１において位置補正情報をそれぞれ受信し、走行系制御部１３２は受信した位置補正情報を基に移動物体の走行系に対して制御信号を送出する。走行系は制御信号を受信し、操舵部或いは制動部等の走行系を制御する。こうして走行系を制御することにより、自走式ロボット１３を適した走行状態に制御することが可能となる。また、無線手段１５としては、電波、光および超音波を用いて自走式ロボット１３、１８にそれぞれ情報を伝送するものである。
【００７７】
また、画像処理によって障害物と判定されるような物体を検出した場合においても、走行系を制御することにより適した走行状態を実現することが可能である。
【００７８】
以上のように本実施例によれば、工場の構内のような比較的広い対象領域内においてテレビカメラを設置するだけで自走式ロボット等の対象物体を識別して追跡することが可能であり、優れた移動物体走行制御装置を実現することが可能である。また、従来の自走式ロボットの位置計測における問題点であった、誤差の累積についても解決するものであり、誤差累積の発生しない自走式ロボットの移動物体走行制御装置を実現することも可能である。更にはこの技術を道路交通分野に応用することにより、車両の走行状態や事故等の突発事象発生を検出してその結果を基に走行車両の走行系を最適制御し、車両の走行の安全性を高める移動物体走行制御装置を実現することも可能である。
【００７９】
また、複数の画像入力部が広い対象領域を異なる方向および輻輳角から撮影し、複数の画像入力部の撮像領域を統合すると対象領域全体の撮像を満たすように設置されており、広い対象領域を死角もなく、解像度も十分な画像として撮影でき、広範囲に自走式ロボットを最適制御できるという効果を有する。
【００８０】
さらに、移動物体認識装置の移動物体認識部が動物体領域の検出、追跡対象となる自走式ロボットの領域抽出、特徴量算出、同定を行う処理ユニットから構成され、それらのユニットの一連した処理の結果、自走式ロボットの位置、色、形状、テクスチャの特徴量を検出し、この検出された情報をネットワーク上に送信するものであり、これら特徴量によって対象領域内に複数存在する各自走式ロボットを同定でき、複数の自走式ロボットを最適制御できるという効果を有する。
【００８１】
さらに、各々の画像入力部の撮像領域が複数の画像入力部によって撮像された対象領域全体の中で相当する部分が事前に設定されており、移動物体認識装置の出力として自走式ロボットの位置は、対象領域全体を空間とした座標であるため、各々の移動物体認識装置の結果を一つの地図上で取り扱うことができ、自走式ロボットを最適制御できるという効果を有する。
【００８２】
さらに、移動物体追跡装置で複数の画像入力部の撮像領域の位置関係を設定し、複数の移動物体認識装置から送信された撮像領域の追跡対象となる自走式ロボットの位置、色、形状、テクスチャの特徴量を統合し、対象領域全体での自走式ロボットの運動軌跡を求めるため、広い対象領域内に複数存在する自走式ロボットの運動を一つの地図上で一元的に把握でき、自走式ロボットを最適制御できるという効果を有する。
【００８３】
さらに、可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で赤外光撮像装置を画像入力部として用いるものであり、屋外において太陽光の照射の有無に関係なく自走式ロボットを最適制御できるという効果を有する。
【００８４】
【発明の効果】
以上のように本発明は、移動物体認識技術及び追跡技術を用いることによって、広い対象領域内で複数のテレビカメラの視野に跨って走行をする複数の車両や自走式ロボット等の対象物体を識別して追跡することが可能であり、優れた移動物体監視システムを実現することができる、という効果を有する。また、対象物体の追跡結果を基に対象物体の走行系を最適制御することが可能であるため、走行車両の安全性の向上や自走式ロボットの自律走行性能の向上を図ることが可能となり、優れた移動物体走行制御装置を実現することが可能である、という効果も有する。
【図面の簡単な説明】
【図１】本発明の実施の形態１における移動物体制御装置のブロック構成図
【図２】本発明の実施の形態１における動物体領域検出処理のブロック構成図
【図３】本発明の実施の形態１における動物体の位置情報算出処理のフローチャート
【図４】本発明の実施の形態１における形状特徴量を用いた認識処理のフローチャート
【図５】本発明の実施の形態１における評価値算出処理の説明図
【図６】本発明の実施の形態１における色特徴量を用いた認識処理のフローチャート
【図７】本発明の実施の形態１における転送データのフォーマット例を示す図
【図８】本発明の実施の形態１における自走式ロボットの位置補正を説明する図
【符号の説明】
１１、１６、１７ 移動物体認識装置
１２ 移動物体追跡装置
１３、１８ 自走式ロボット
１４ ネットワーク
１５ 無線手段
２１ 画像入力部
２２ フレーム差分処理部
２３ フレームメモリ
２４ 差分データメモリ
２５ 論理和演算処理部
２６ 動物体領域検出処理部
１１１ 画像入力部
１１２ 移動物体認識部
１１３ インタフェース部
１２１ 移動物体追跡部
１２２ インタフェース部
１２３ 位置補正部
１２４ 位置補正情報出力部
１３１ 位置補正情報入力部
１３２ 走行系制御部
Claims (14)
- 一つ以上の自走式ロボットが移動を行う対象領域の画像を入力する画像入力部と、画像から移動物体の位置及び特徴量を検出し前記自走式ロボットの識別番号を認識する移動物体認識部と、前記自走式ロボットの識別番号、位置及び特徴量の情報を送出するインタフェース部とから構成される複数の移動物体認識装置と、
過去に追跡していた全自走式ロボットの保持された識別情報、位置情報及び特徴量と、前記各移動物体認識装置から伝送される前記自走式ロボットの情報である識別情報、位置及び特徴量との対応付けを行い、同一識別情報に対応づけられない場合は新たな自走式ロボットとして登録し、同一識別情報として対応づけられた場合は同一自走式ロボットとして登録する移動物体追跡部と共に位置情報と予め登録されていた地図情報より位置補正情報を算出して前記自走式ロボットに伝送する位置補正部とから構成される移動物体追跡装置と、
前記移動物体追跡装置からの位置補正情報を基に走行制御する自走式ロボットと、を備えたことを特徴とする移動物体走行制御装置。 - 移動物体認識装置の移動物体認識部は、前記移動物体が自走式ロボットであるか否かを判定し、自走式ロボットと判定された場合は、テンプレート識別番号を付加した上でテンプレートを登録し、すでに検出された自走式ロボットが存在する場合はその画像上に登録されているテンプレートと照合を行い類似度の高いときはテンプレートを更新する請求項１記載の移動物体走行制御装置。
- 移動物体認識装置の移動物体認識部は、前記移動物体の特徴量であるＲＧＢ階調データより色相分布を求め、予め登録されている自走式ロボットの色相分布との相関値を算出し、登録された色相分布識番号および色相分布の相関値を特徴量として検出する請求項１記載の移動物体走行制御装置。
- 前記移動物体認識装置の複数の画像入力部は、広い対象領域を異なる方向および輻輳角から撮影し、複数の画像入力部の撮像領域を統合すると対象領域全体の撮像を満たすように設置されていることを特徴とする請求項１記載の移動物体走行制御装置。
- 移動物体認識装置の画像入力部は、自走式ロボットの位置、色、形状、テクスチャの特徴量を検出することを特徴とする請求項１記載の移動物体走行制御装置。
- 各々の画像入力部の撮像領域が、複数の画像入力部によって撮像された対象領域全体の中で相当する部分が事前に設定されており、移動物体認識装置の出力として自走式ロボットの位置は、対象領域全体を空間とした座標であることを特徴とする請求項１に記載の移動物体走行制御装置。
- 移動物体追跡装置では、複数の画像入力部の撮像領域の位置関係を設定し、複数の移動物体認識装置から送信された撮像領域の追跡対象となる自走式ロボットの位置、色、形状、テクスチャの特徴量を統合し、対象領域全体での自走式ロボットの運動軌跡を求めることを特徴とする請求項１記載の移動物体走行制御装置。
- 可視光撮像装置及び赤外光撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で赤外光撮像装置を画像入力部として用いる請求項１乃至７のいずれかに記載の移動物体走行制御装置。
- 可視光撮像装置、赤外光放射装置及び赤外光撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で赤外光放射装置が赤外光を放射し、赤外光撮像装置を画像入力部として用いる請求項８記載の移動物体走行制御装置。
- 可視光撮像装置及び超低照度撮像装置を備え、太陽光照射時間帯は可視光撮像装置を画像入力部として用い、照射光が可視光撮像装置の撮像可能限界以下となった時点で超低照度撮像装置を画像入力部として用いる請求項１乃至７のいずれかに記載の移動物体走行制御装置。
- 前記移動物体追跡部の自走式ロボットの識別情報の対応付けは、前記過去の自走式ロボットの位置と送られてきた動物体領域の位置との距離を算出した判定値とし、前記過去の自走式ロボットの特徴量と送られてきた動物体領域の特徴量との類似度を算出した判定値とし、前記位置からの判定値と特徴量からの判定値とから総合判定値を求め、対応付け判定を行う請求項１記載の移動物体走行制御装置。
- 前記総合判定値は、各特徴量Ｅｉと各特徴量の重みλｉにより算出される請求項１１記載の移動物体走行制御装置。
- 移動物体認識装置の移動物体認識部は、前記移動物体が自走式ロボットであるか否かを判定する際に、検出した動物体領域のラベリング外接長方形の水平方向幅、垂直方向幅、動物体領域画素数の平方根の３種類の特徴量を抽出し、これらの画像垂直方向における変化が直線性を示すと仮定して３種類の直線の勾配およびＹ切片に相当するパラメータを予め算出して登録し、これら登録されていた直線と検出された動物体領域によって抽出された３種類の特徴量の評価値を算出し、前記移動物体が自走式ロボットであるか否かを判定する請求項２記載の移動物体走行制御装置。
- 移動物体認識装置の移動物体認識部は、前記移動物体の特徴量である前記色相分布を算出する際に、検出した動物体領域のラベリング外接長方形の外側Ｎ画素（Ｎは正の整数）の領域を背景領域としてその色相分布を算出してフィルタ関数を算出し、算出されたフィルタ関数と動物体領域の色相分布との積和演算によって動物体領域の色相分布を補正し、前記移動物体の特徴量とする請求項３記載の移動物体走行制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31736396A JP3757502B2 (ja) | 1996-11-28 | 1996-11-28 | 移動物体走行制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31736396A JP3757502B2 (ja) | 1996-11-28 | 1996-11-28 | 移動物体走行制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10161743A JPH10161743A (ja) | 1998-06-19 |
| JP3757502B2 true JP3757502B2 (ja) | 2006-03-22 |
Family
ID=18087414
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31736396A Expired - Fee Related JP3757502B2 (ja) | 1996-11-28 | 1996-11-28 | 移動物体走行制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3757502B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000078564A (ja) * | 1998-08-28 | 2000-03-14 | Aiphone Co Ltd | テレビカメラモニタ人物追跡方式 |
| JP4597391B2 (ja) * | 2001-01-22 | 2010-12-15 | 本田技研工業株式会社 | 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体 |
| KR100988568B1 (ko) | 2008-04-30 | 2010-10-18 | 삼성전자주식회사 | 로봇 및 그 지도작성방법 |
| IL200921A (en) | 2009-09-14 | 2016-05-31 | Israel Aerospace Ind Ltd | A robotic carry system for infantry and useful methods for the above purpose |
| KR101239532B1 (ko) * | 2011-03-11 | 2013-03-06 | 고려대학교 산학협력단 | 로봇의 위치 인식 장치 및 방법 |
| JP6465089B2 (ja) * | 2016-09-20 | 2019-02-06 | 株式会社豊田中央研究所 | ロボットシステムとその識別装置 |
| US9717607B1 (en) * | 2016-10-28 | 2017-08-01 | International Business Machines Corporation | Augmented control of robotic prosthesis by a cognitive system |
| JP2020013242A (ja) * | 2018-07-17 | 2020-01-23 | 富士ゼロックス株式会社 | ロボット制御システム、ロボット装置およびプログラム |
| CN112418136B (zh) * | 2020-12-02 | 2023-11-24 | 云南电网有限责任公司电力科学研究院 | 一种现场作业人员的目标区域检测追踪方法及装置 |
-
1996
- 1996-11-28 JP JP31736396A patent/JP3757502B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10161743A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8634593B2 (en) | Pixel-based texture-less clear path detection | |
| KR101083394B1 (ko) | 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법 | |
| JP3780848B2 (ja) | 車両の走行路認識装置 | |
| KR100377067B1 (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치 | |
| US8452053B2 (en) | Pixel-based texture-rich clear path detection | |
| US8670592B2 (en) | Clear path detection using segmentation-based method | |
| JP3352655B2 (ja) | 車線認識装置 | |
| US8890951B2 (en) | Clear path detection with patch smoothing approach | |
| CN111856491B (zh) | 用于确定车辆的地理位置和朝向的方法和设备 | |
| JP2917661B2 (ja) | 交通流計測処理方法及び装置 | |
| CN103714538B (zh) | 道路边缘检测方法、装置及车辆 | |
| US20100098295A1 (en) | Clear path detection through road modeling | |
| KR20070090194A (ko) | 영상 인식 장치 및 그 방법, 영상 기록 장치 또는 그방법을 이용한 위치 판단 장치, 차량 제어 장치 및네비게이션 장치 | |
| KR101261409B1 (ko) | 영상 내 노면표시 인식시스템 | |
| CN106680290A (zh) | 狭窄空间的多功能检测车 | |
| KR101840974B1 (ko) | 자율주행용 차선 식별 시스템 | |
| CN112720408B (zh) | 一种全地形机器人视觉导航控制方法 | |
| JP3757502B2 (ja) | 移動物体走行制御装置 | |
| JP2015194397A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム | |
| CN114905512A (zh) | 一种智能巡检机器人全景追踪及避障方法及系统 | |
| KR20020092107A (ko) | 영상정보를 이용한 교통정보 추출 방법 및 장치 | |
| Rossi et al. | Real-time lane detection and motion planning in raspberry pi and arduino for an autonomous vehicle prototype | |
| JP2870372B2 (ja) | 物体認識装置 | |
| US11417117B2 (en) | Method and device for detecting lanes, driver assistance system and vehicle | |
| JPH0778240A (ja) | 道路消失点の算出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050623 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050830 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051004 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051104 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100113 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110113 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120113 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130113 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |