JPH02140073A - カメラの自動追尾制御装置，対象物の自動追尾装置，追尾制御を利用した対象物の方向検出装置，ならびに追尾制御を利用したロボット制御装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 発明の要点 対象物像が常に撮像画面のほぼ中心に映り、また画面に
占める大きさがほぼ一定となるように。

視覚装置で計測したデータ（対象物像の重心の偏位量２
重心の移動速度、対象物像の大きさなど）からファジィ
推論によってカメラの向き、ズーム倍率等を制御するカ
メラの自動追尾制御装置。カメラから対象物体までの距
離が変化しても同じルールで制御可能である。

対象物の自動追尾装置は一緒に動くカメラと作用部（捕
獲部）とを備えている。カメラと作用部の位置が違うた
めに必要な物体の接近にともなう追尾位置補正と、カメ
ラの追尾速度制御とを、撮像画像から得られる情報を用
いてファジィ推論により行う。これにより簡単な構成で
比較的迅速に対象物を追尾でき、対象物に作用部を作用
させることができる。

対象物の方向検出装置は、静止または移動対象物がカメ
ラの視野内に収まるように追尾制御するとともに、対象
物の所定方向が画面の所定方向と一致するようにカメラ
の回転を制御し、そのカメラの回転角を検出して対象物
の方向（向き、傾き）を検出する。

対象物とロボットとの間の距離とその変化分に関する情
報にもとづいて所定のルールに従ってロボットの加速度
を推論し、それによってロボットの制御量を演算し、ロ
ボットを対象物に位置決め制御する。これにより、対象
物が動いているときでも、撮像と制御の遅れ時間を考慮
した簡単なルールで、精度の良い位置決めが迅速にでき
る。

発明の背景 この発明は、移動する対象物の像が常に視野の所定位置
にあるように対象物を追尾しながら撮像するカメラの追
尾制御装置、移動する対象物像の大きさが常にほぼ一定
に保たれるようにズーム倍率を変えながら対象物を追尾
撮影する装置、相対的に接近してくる対象物をカメラで
撮像し、カメラと一体に動く作用部で対象物に作用でき
るように対象物を追尾する装置、対象物の追尾制御を利
用して対象物をカメラの視野内に捉え、かつその対象物
の方向（向きまたは傾き）を検出する装置、ならびに対
象物とロボットとを常に視野内に収めるようにカメラを
追尾制御し１　カメラから得られる画像データに基づい
てロボットが運動する対象物にアクセスするように制御
するロボット制御装置に関する。

上記のような追尾制御を行なうためには、対象物をカメ
ラによって撮像し、この撮像画像から対象物像の重心位
置、大きさ、それらの変化等の特徴量を抽出し、この得
られた特徴量に基づいて対象物の方向（角度）、距離等
のデータを得、このデータを用いてカメラを動かす方向
、その速度ズーム倍率等を算出しなければならない。し
かしながら、方向、距離等に基づいて行なう追尾制御の
ための計算はきわめて複雑である。そのために制御装置
のプログラムが複雑になったり、処理のために時間がか
かったりするという問題がある。

また、対象物の捕獲などの何らかの作用を対象物に加え
る作用部がカメラと一緒に動くように構成し、接近する
対象物の像をカメラで捉えながら対象物が作用部に到達
するように追尾する装置においては、カメラと異なる位
置に作用部があるために、対象物が接近するにつれて作
用部の画面上の位置（すなわち追尾位置）が変化するの
で、追尾位置補正が必要となる。この補正処理はきわめ
て複雑な計算を必要とするので、制御プログラムが複雑
になったり、処理のために時間がかかるという問題かあ
る。

さらに移動するまたは静止している物体を追尾しながら
その物体の方向（向き、傾きを含む）を認識するために
は複雑でかつ時間のかかる画像処理１画像解析が要求さ
れるので、大型計算機が必要となり、またリアル・タイ
ムでの処理は困難である。

一方、移動する対象物にロボットの手先を位置決めする
方法として、ロボットのアームに取り付けられた視覚装
置から得られた対象物の位置データをもとにして、その
時点での対象物やロボットの位置、速度、加速度などを
計算し、対象物に追従するようにリアル・タイムでロボ
ットの軌道を修正する方法がある。ここで問題となるの
は。

１）視覚装置で画像を取り込んでから軌道を修正するま
でに遅れ（画像処理時間＋軌道修正の演算時間）が生じ
、その間に対象物とロボットの位置関係が画像を取り込
んだ時点とは変化してしまう。

２）対象物の速度によって上記の遅れの影響が変化する
。

３）対象物にロボット手先を位置決め完了するときは対
象物がカメラ画面の視野から外れてしまう、ということ
である。

上記の問題点１）、２）については、軌道修正の周期を
短くするとか、遅れが小さくなるように制御装置を工夫
するとか、遅れを打ち消すように制御プログラム上で補
正を加える。などの方法があるが、そのために別の測定
器が必要になったり、アルゴリズムが複雑になったりす
る。アルゴリズムがあまり複雑になると修正周期が長く
なる。また、上記３）の問題についても、対象物の動き
から次の動きを予測することはできるが、やはりアルゴ
リズムが複雑になるという問題が残る。

発明の概要 この発明は比較的簡単な構成でかつ比較的迅速に追尾制
御が可能な装置を提供することを目的とする。

この発明はまた。追尾位置補正を含む対象物の追尾を比
較的迅速に行なうことが可能な装置を提供することを目
的とする。

この発明はさらに、比較的簡素な構成でかつリアル・タ
イムに物体の向きを検出できる。ファジィ追尾制御を利
用した方向検出装置を提供することを目的とする。

この発明はさらに１時間遅れを充分に考慮し比較的簡単
なアルゴリズムで移動する対象物にロボットをアクセス
させるよう制御できるロボット制御装置を提供すること
を目的とする。

第１の発明によるカメラの自動追尾制御装置は、少なく
とも一方向に動きうるカメラを同方向に動かすための駆
動手段、カメラで撮像した対象物像のカメラ画面上の位
置に関する情報および位置の変化に関する情報の少なく
ともいずれか一方を作成する手段１作成された位置に関
する情報およびその変化に関する情報の少なくともいず
れか一方を用いて所定のルールにしたがって、カメラ画
面上の対象物像が所定位置にほぼ保たれるようにするた
めに、上記駆動手段を制御すべき量を演算する推論手段
、ならびに推論手段による推論結果に基づいて駆動手段
を制御する手段を備えていることを特徴とする。

第１の発明によると、動いている対象物に対してその像
が常にほぼカメラ画面の所定位置、たとえば中心位置に
映し出されるようにカメラの向きまたは位置が制御され
る。しかもファジィ推論を行ない、その推論結果に基づ
いて制御しているので、従来のような追尾制御のための
複雑な計算処理は不要であり、比較的迅速な応答速度が
得られる。

第２の発明によるカメラの自動追尾制御装置は、ズーム
機能をもつカメラの撮像画面における対象物像の大きさ
をほぼ一定に保つようズーム倍率を制御する装置であり
、ズーム・レンズを動かすための駆動手段、カメラで撮
像した対象物像のカメラ画面上の大きさに関する情報お
よび大きさの変化に関する情報の少なくともいずれか一
方を作成する手段１作成された大きさに関する情報およ
びその変化に関する情報の少なくともいずれか一方を用
いて所定のルールにしたがって、対象物像の大きさをほ
ぼ一定に保つようズーム倍率に関する量を演算する推論
手段、ならびに推論手段による推論結果に基づいて駆動
手段を制御する手段を備えていることを特徴とする。

第２の発明によると、動いている対象物に対してその像
のカメラ画面における大きさ、換言すればカメラ画面に
占める対象物像の割合が常にほぼ一定になるようにズー
ム制御される。しかも第１の発明と同じように複雑な計
算処理が不要で比較的高速応答が達成できる。

第３の発明による対象物の自動追尾装置は。

少なくとも一方向に移動可能に支持され、相対的に接近
する対象物の像を撮像するカメラ、カメラと一緒に移動
する作用部、カメラおよび作用部を上記の少なくとも一
方向に動かすための駆動手段、カメラで撮像した対象物
像のカメラ画面上の位置に関する情報および大きさに関
する情報を作成する手段、大きさに関する情報に基づい
て、対象物の接近にともなって変化するカメラ画面上の
追尾位置を補正する手段、カメラ画面上における対象物
像の位置と補正された追尾位置との偏差。

およびその変化分に関する情報を用いて所定のルールに
したがって、接近する対象物と作用部とが所定の位置関
係になるようにするために、上記駆動手段を制御すべき
量を演算する推論手段、ならびに推論手段による推論結
果に基づいて駆動手段を制御する手段を備えていること
を特徴とする。好ましくは、上記補正手段はファジィ推
論装置により実現される。

第３の発明によると１画面における対象物像の大きさに
応じて追尾位置補正が好ましくはファジィ推論により行
なわれ、またこの補正された追尾位置に対する対象物像
位置の偏差に基づいてファジィ推論により対象物の追尾
が行なわれるので、比較的簡単な構成でしかも比較的迅
速に追尾を達成できる。

第４の発明による追尾制御を利用した対象物の方向検出
装置は、少なくとも一方向に移動可能に支持されかつ光
軸のまわりに回転可能なカメラ。

カメラによる対象物の撮像データに基づいて、対象物像
がカメラ画面の所定領域内に位置するように５　カメラ
を上記の少なくとも一方向に移動させるファジィ追尾制
御手段、上記撮像データに基づいて　対象物の所定方向
がカメラ画面の所定方向と一致するように、カメラをそ
の光軸のまわりに回転させるファジィ回転制御手段、お
よびカメラの光軸のまわりの回転角を検出し、対象物の
方向を表わすデータを発生する方向検出手段を備えてい
ることを特徴とする。

第４の発明によると、対象物の追尾制御とカメラの回転
制御のためにファジィ推論を利用しているから、少ない
撮像データですみかつ対象物の形状の自由度を大きくす
ることができる上に、リアル・タイムの処理が可能で、
そのために大型計算機を必要とすることもない。

第５の発明による追尾制御を利用したロボット制御装置
は、ロボットの所定箇所と対象物の所定箇所とが常にカ
メラの視野内に収まるようにカメラを追尾制御する追尾
制御手段、カメラで撮像したロボットの所定箇所と対象
物の所定箇所との間の距離に関する情報を作成する手段
、および作成された距離に関する情報を用いて所定のル
ールにしたがって、ロボットの所定箇所が対象物の所定
箇所にアクセスするように、ロボットを制御する手段を
備えていることを特徴とする。上記の距離に関する情報
には距離とその変化分に関する情報を含ませることが好
ましい。

第５の発明によると１位置決め完了するまで対象物は常
にカメラ画像中にあり、遅れ時間の影響はルールの中に
吸収させるため、複雑なアルゴリズムが不要となるので
１位置決め精度が向上するという効果が得られる。

実施例の説明 第１実施例 第１実施例はカメラの自動追尾制御装置に関するもので
あり、その全体構成が第１図に示されている。

撮像機構にはビデオ・カメラ１が含まれ、このビデオ・
カメラ］は　垂直軸のまわりを回転させる第１の回転機
構３と、第１の回転機構３上に設けられ、水平軸のまわ
りを回転させるカメラ１を載置した第２の回転機構４と
によって２方向に回転自在に支持されている。第１の回
転機構３はモータＭ１によって駆動され、第２の回転機
構４はモータＭ２によって駆動される。第１の回転機構
３によるカメラ１の回転角をθ　、第２の回転機横４に
よるカメラ１の回転角をθ　とする。

回転角θ　、θ　の原点位置は適宜定められていｙ る。

ビデオ・カメラ１にはまたズーム機構２が設けられてい
る。ズーム機構２のズーム・レンズはモータＭ３によっ
て駆動され、その光軸方向の位置を２とする。位置２の
原点位置はたとえば中間の値のズーム倍率を与えるレン
ズ位置に定められている。

これらのモータＭ、Ｍ、Ｍ　　はそれぞれ速文制御を行
なうモータ・コントローラ１２．２２．３２によって別
個に制御される。

ビデオ・カメラ１によって撮像された対象物の像を表わ
すビデオ信号は画像計ｉｆＪ処理装置５に与えられる。

この処理装置５はＣＰＵおよびメモリを含み、撮像ビデ
オ信号をＡ／Ｄ変換してメモリに格納し、対象物像に関
する次に述べるデータを作成する。

ビデオ・カメラ１によって撮像された対象物像の一例が
第２図にハツチングで示されている。カメラ画面の中心
にＸＹ座標系の原点をとる。対象物像は背景から分離さ
れその輪郭が追跡される。

そして輪郭データ、その他のデータを用いて対象物像の
重心位置が求められる。重心位置のＸ、　Ｙ座標を（Ｘ
Ｙ座標系の原点からのＸ方向およびＹ方向への変位量）
ΔＸ、Δｙとする。また対象物像のＸ方向およびＹ方向
の長さが求められ、これをＸ　、Ｙ　とする。カメラ画
面のＸ方向およびＡＡ Ｙ方向の長さをＸ　　、Ｙ　　とする。画像針ｉ’）Ｉ
ＩＩ処理処理 製０５からは、対象物像の重心位置データΔＸ。

Δｙ、対象物像の相対的な大きさに関するデータＸ　　
／Ｘ　　、Ｙ　　／Ｙｏがそれぞれ出力される。

ＯＡ このようなデータを作成する画像計測処理装置は画像計
測コントローラ等と呼ばれる公知の手段で実現される。

重心位置データΔＸに関していうと、このデータΔＸは
ファジィ処理装置ＩＯに与えられる。また位置データΔ
Ｘの変化分Δ灸が微分手段１１で求められ、この変化分
Δ灸もまたファジィ処理装置１０に入力する。位置デー
タΔＸがアナログ信号で表現されているときには微分手
段は通常の微分回路で実現される。サンプリングされた
ディジタル量として表現されているときには前回の位置
データと今回の位置データとの偏差が変化分Δ交となる
。したがってこの場合には微分手段は偏差を算出するデ
ィジタル演算回路で実現される。もっともこの偏差算出
処理は画像針１ＴＩＩ処理装置５内のＣＰＵによるソフ
トウェア処理によっても達成できる。

重心位置データΔｙについても同じように、微分手段２
１によってその変化分Δ９が求められ１両データΔｙ、
Δ９がファジィ処理装置２０に与えられる。

画像計測処理装置５から出力される対象物像の相対的大
きさに関するデータＸ　　／Ｘ　　、ＹＡ／Ｏ ＹｏはＭＡＸ回路（手段）３３に入力し、その大きい方
が選択される。選択された大きさに関するデータは差動
回路（手段）３４において基準の大きさを表わす所定の
設定値と比較され、その偏差Ａが求められる。基準の大
きさとの偏差Ａの変化分Ａが微分手段３１で求められる
。この偏差Ａとその変化分Ａはファジィ処理装置３０に
入力する。

ＭＡＸ手段３３．差動手段３４および微分手段３１はデ
ータに応じてアナログもしくはディジタル回路で実現さ
れるか、もしくはソフトウェアによってその機能が実行
されるのはいうまでもない。

ファジィ処理装置１０．２０．３０はファジィ推論ない
しはファジィ演算を実行するもので、ファジィ−コンピ
ュータ、ファジィ・コントローラ。

ファジィ推論デイバイス、ファジィ推論演算装置等とい
われるものである。これは、ファジィ推論のための専用
デイバイス（アナログ・タイプ。

ディジタル・タイプを問わず）（たとえば「日経エレク
トロニクスＪ　１９８７年７月２７日、第１４８頁〜第
１５２頁２日経マグロウヒル社を参照）のみならず、フ
ァジィ推論を実行するようにプログラムされたパイナリ
イ拳タイプのコンピュータ、プロセッサ等によっても実
現できるのはいうまでもない。

モータＭ１の制御のためのファジィ処理装置１０を例に
とってその構成、動作ないしは機能について説明する。

ファジィ処理装置１０は入力するデータΔＸ。

Δ交に基づいて所与のルールにしたがってファジィ推論
を行ない、モータ・コントローラー２に与えるべき速度
指令θ　を導き出す。このルールはいわゆる　Ｉｆ’、
　ｔｈｅｎ　　（もし、ならば）ルールといわれるもの
で、たとえば次のようなルールを含む。

（ルール１） もしくＩｆ）ΔＸが負で中くらいの値でかつΔ交か零で
あるならば（ｔｈｅｎ）速度θ　を正の中くらいの値に
せよ このルール１は次のように簡略化して表現される。

Ｉｆ　　　Δ　ｘ−ＮＭａｎｄ　　　Δ　、ｘ−ＺＲ。

ｔｈｅｎ　　θ　−Ｐ　Ｍ 他の代表的ないくつかのルールを挙げれば次のようにな
る。

（ルール２） １ｒ　　Δｘ−ＮＳａｎｄ　　ΔＭ−ＮＳ。

ｔｈｅｎ　　　Δ　θ　　−ＰＳ （ルール３） Ｉｒ　Δｘ−ＮＳａｎｄ　　Δ灸−ＰＳ。

ｔ　ｈ　ｅ　ｎ　　　Δ　θ　　　−ＺＲこれらのルー
ルの例が第３図に表の形で表現されている。縦方向にΔ
Ｘが、横方向にΔ交がそれぞれ配列され、それらが交差
する欄にΔθ　が示Ｘ されている。ここでＮＬは負の大きな値、ＮＭは負の中
くらいの値、ＮＳは負の小さな値、ＺＲはほぼ零、ＰＳ
は正の小さな値、ＰＭは正の中くらいの値、ＰＬは正の
大きな値をそれぞれ表わしている。第３図において正（
Ｐ）および負（Ｎ）は変数（ΔＸ、ΔＸ、θ　）の軸の
方向に応じて設定されるので、軸が反対向きに設定され
ればＰとＮは交換される。

これらの言語表現はメンバーシップ関数によって表わさ
れる。ΔＸおよびΔ交のメンバーシップ関数が第４図に
、Δθ　のメンバーシップ関数が第５図にそれぞれ示さ
れている。これらの図において、横軸はΔＸ、ΔＸ、Δ
θ　等の変数を表わし、縦軸はこれらの変数が上記言語
表現ＮＬ。

ＮＭ等によって表わされるファジィ集合に属する度合（
グレード）を表わしている。

ファジィ処理装置１０において、与えられる入力ΔＸ、
Δ交が設定された各ルールの対応するメンバーシップ関
数に適合する度合が求められる。各ルールにおいて、Δ
Ｘと６女の適合度の小さい方が選択され（Ｍ　Ｉ　Ｎ演
算）、この選択された適合度によってそのルールのΔθ
　に関するメンバーシップ関数が裁断される。これらの
裁断されたすべてのルールのΔθ　に関するメンバーシ
ップ関数が重ね合わされて（ＭＡＸ演算）、最終的なメ
ンバーシップ関数が得られる。最終的なメンバーシップ
関数のたとえば重心を求めることにより確定した速度指
令Δθ　が得られ、これがモータ・コントローラー２に
与えられる。

以上はＭＩＮ−ＭＡＸ演算規則にしたがうファジィ推論
の説明であるが、もちろん他の演算規則にしたがうファ
ジィ推論を行なうことも可能である。またメンバーシッ
プ関数は第４図、第５図に示すように三角形状のものに
限らず、任意の形のものが採用されうる。さらにメンバ
ーシップ関数やルールは制御結果等に応じて適宜変更な
いしは修正可能である。

ファジィ制御装置２０においても同じように、第３図に
示すルール、第４図および第５図に示すメンバーシップ
関数を用い、入力するΔｙ、Δ９に応じてファジィ推論
が行なわれ、モータ・コントローラ２２に対する速度指
令Δθ　が得られる。

、ｙ これらの速度指令Δθ　、Δθ　に応じてコンｙ トローラ１２．　２２がモータＭ、Ｍ２を制御する結果
、動いている対象物の像が常にカメラ画面のはぼ中央位
置に存在するようにカメラ１の向きが２次元的に駆動制
御される。

さらにファジィ制御装置３０においても同じように、第
３図に示すルールにしたがい、第４図および第５図に示
すメンバーシップ関数を用いて入力ＡおよびＡを処理し
て、モータ・コントローラ３２に対する速度指令２が推
論される。そしてこの指令２に応答してコントローラ３
２によってモータＭ３が制御されることにより、対象物
像のカメラ画面における大きさが常にほぼ一定となるよ
うにズーム倍率が変更される。

カメラの角度θ　、θ　およびズーム会レンズｙ 位置２の制御のために３台のファジィ処理装置１０、２
０．３０が示されているが、１台のファジィ処理装置に
よって３つの制御対象θ　、θ、１　ｚを時分割で制御
するようにすることも可能である。

第２実施例 第２実施例は５相対的に移動する物体を追尾しかつ物体
に対して何らかの作用を行なう装置に関するものであり
、その全体構成が第６図に示されている。この図におい
て第１図に示すものと同一物には同一符号が付けられて
いる。

この実施例は、投げられたボール（移動物体）ＯＢをビ
デオ・カメラ１で追尾しながら捕獲部（ミツト）（作用
部）６で捕獲（キャッチ）するように動作するものであ
る。カメラ１と捕獲部６とは一緒に動くように一体とな
っている。カメラ１と捕獲部６はＸ方向およびＹ方向に
移動自在に支持され、かつモータＭ１によってＸ方向に
。

モータＭ２によってＹ方向に移送される。

ビデオ・カメラ１は移動物体ＯＢを撮像し、その撮像ビ
デオ信号を画像計測処理装置５に与える。ビデオ・カメ
ラ１で撮像した移動物体ＯＢの像の例が第７図（＾）、
（Ｂ）および（Ｃ）に示されている。移動物体ＯＢはカ
メラ１および捕獲部６の方向（Ｚ方向）に近づいてくる
。第７図（Ａ）は移動物体ＯＢが遠くにあるときの画像
、第７図（Ｂ）は中位いの距離にあるときの画像、第７
図（Ｃ）はカメラ１にかなり近づいたときの画像である
。画像針４（ｌｊ処理装置５によって移動物体像の重心
位置の座標と面積とが求められる。カメラ画面の中心を
ＸＹ座標系の原点とし、移動物体像の重心位置の座標を
（ｘ、ｙ）とする。また移動物体像の面積をＳとする。

第７図（Ａ）〜（Ｃ）において白丸Ｂ（屹　ｙｏ）で表
わされている位置は捕獲部６の画面上における位置であ
る。

接近してくる移動物体をビデオ・カメラ１で追尾しかつ
カメラ１と一体に動く捕獲部６で移動物体を捕獲するた
めには、カメラ１と捕獲部６との位置が異なるので（こ
の実施例ではＹ方向にのみ異なる）、移動物体の重心位
置が捕獲部６の位置Ｂ　（帆ｙ　ｏ）　　（追尾位置）
に近づくようにしなければならない　しかもこの追尾位
置Ｂ（０，ｙｏ）は４第７図（Ａ）　、　（Ｂ）　、　
（Ｃ）の比較から分るように１画面上で移動物体のカメ
ラまでの距離に応じて変化するのでその補正処理を施す
必要がある。移動物体がカメラ１に近づくとその面積Ｓ
が増大するので１面積Ｓによってカメラ１から移動物体
までの距離に関する情報を得ることができる。

画像計測処理装置５から出力される面積Ｓを表わすデー
タはファジィ処理装置２４に与えられる。

このファジィ処理装置２４は入力する面積Ｓに応じて画
面上における追尾位置の座標（特にＹ座標ｙｏ）を推論
して出力する。このファジィ推論のための面積Ｓと追尾
位置座標３’Ｏのメンバーシップ関数の例が第８図（Ａ
）　、　（Ｂ）にそれぞれ示されている。この推論のた
めのルールにはたとえば次のようなものが用いられる。

ＩｒＳ　−Ｚ　Ｒ，ｔｈｅｎ　　ｙ　ｏ　−Ｚ　ＲＩｒ
Ｓ　−Ｐ　Ｓ　、　　ｔｈｅｎ　　ｙ　ｏ−Ｎ　ＳＩｆ
　Ｓ−ＰＭ、ｔｈｅｎ　　ｙｏ−ＮＭ追尾位置の座標ｙ
。はファジィ推論でなく、他の演算処理によっても得る
ことかできるのはいうまでもない。

このようにして得られた追尾位置のＹ座標ｙ。

と移動物体の重心位置のＹ座標ｙとの偏差Δｙ　−Ｙ　
　Ｙｏが減算回路（減算手段）２３で求められる。ファ
ジィ処理装置２０はこの偏差Δｙとその変化分Δｙとを
入力として、第１実施例の場合と金く同じようにして（
全く同じルールとメンバーシップ関数を用いて）、モー
タＭ２を制御するための速度指令θ　を出力する。

画像計測処理装置５から出力される移動物体の重心位置
のＸ座標Ｘは偏差ΔＸとしてそのままファジィ処理装置
１０に与えられる（回路１３は回路２３との対比の上で
描かれているもので、必ずしも必要ない）。ファジィ処
理装置１０も人力するΔＸとΔＸを用いて、第１実施例
の場合と全く同じようにしてモータＭ１を制御する。

このようにして、移動物体ＯＢがカメラ１の方向に接近
するにつれて捕獲部６は物体ＯＢを受ける位置に移動制
御され、最終的に物体ＯＢは捕獲部６に捕獲される。

上記実施例では、ボールを作用部で捕獲するキャッチン
グ・マシンが示されているか、ボールを作用部で打ち返
すバッティング・マシン等にも応用可能であるなど１作
用部の作用は任意である。また１作用部が対象物に接近
する構成としてもよい。

第３実施例 第３実施例は対象物の向き（傾きを含む）を検出する装
置に関し、第９図から第１１図に示されている。既述し
たものと同一物には同一符号を付し説明を省略する。

第９図においてビデオやカメラ１は垂直軸。

水平軸のまわりを回転自在で、それぞれモータＭＭ　　
により回転制御、駆動されるととも１′２ に、カメラ１の光軸（Ｚ軸）のまわりに回転自在となる
ように支持され、この回転制御、駆動は第１１図に示す
モータ・コントローラ４２とモータＭ４とによって行な
われる。カメラ１にはズーム機構２もまた設けられ、そ
のズーム・レンズはモータＭ３によって駆動される。

第１０図はカメラ１によって撮像された対象物の像（ハ
ツチングが施された傾いた長方形）を示している。この
実施例では対象物の垂直軸（Ｙ軸）に対する傾きθが測
定される。すなわち、静止または移動している対象物を
カメラの指定領域内に捉えるように追尾制御し、かつ対
象物の向き（傾き）がカメラの視野内で一定方向となる
ようにカメラを回転制御し、このカメラの回転角を測定
することにより対象物の向き（傾き）を測定するもので
ある。

Ｘ軸から上、下に等しい距離の位置において。

対象物の側辺と画面の側辺との間の距離Ａ１゜１’　　
　２”’２がそれぞれ測定される。そしＡ て、Ａ　　／Ａ　　、Ｂ　　／Ｂ　　がそれぞれほぼ１
となるようにカメラ１がＺ軸のまわりに回転させられる
。対象物の像は破線で示すようにその縦、横が画面の縦
、横と一致する。このときのカメラ１の回転角が求める
べき対象物の向き（傾き）角θである。

このような向き（傾き）角の測定を行なうためには対象
物をカメラの視野内に収める必要があり、これは対象物
の追尾制御によって達成される。また、対象物像が画面
内で適当な大きさに保たれるようにするためにズーム倍
率の制御も必要である。追尾制御およびズーム制御は上
述の第１実施例の装置によって実現される。この実施例
ではこれらの制御のためのパラメータが少し異なってい
る。

第１１図は対象物の方向検出装置の構成を示している。

カメラ１の出力ビデオ信号が入力する画像計測処理装置
５は、第１０図に示すように１画面のＸ軸、Ｙ軸、Ｘ軸
から±Ｙ力方向それぞれ等しい所定距離はなれたａ線お
よびｂ線のみを走査して、対象物の側辺と画面の側辺と
の間のこれらの各軸、線上における距離ｘ、ｘ、ｙ、。

Ｙ　　、Ａ　　、Ａ　　、Ｂ　　、Ｂ　　を測定する。

４Ｉ１１定値ｘ　　　ｘ　　はそれぞれ微分手段１１Ａ
。

１′２ １１Ｂで微分されて灸、灸　　としてファジィ処理装置
１０に与えられる。ファジィ処理装置１０は入力灸１．
灸。に基づいてそれぞれＸ方向追尾のための２つの速度
指令メンバーシップ関数を得、これらのＭＡＸ演算の重
心をとることにより、Ｘ方向の速度指令θ　をモータ・
コントローラー２に与える。第１実施例の場合と同じよ
うに変化分量、。

灸　に加えて位置データｘ　　、ｘ　　を用いるように
してもよい。

同じように測定値ｙ１．ｙ２．その微分値’／１．Ｙ２
を用いてファジィ処理装置２０によりＹ方向の速度指令
θ　が得られる。

以上で対象物の追尾が行なわれる。

ズーム制御のために測定値ｘ　　、ｘ　　、ｙｌ。

ｙ２のうちの最も小さいものがＭＩＮ回路３５で選択さ
れる。この選択された測定値が設定値Ｃ６と等しくなる
ようにズーム倍率が調整される。このズーム制御は第１
の実施例と全く同じである。

一方、演算回路（演算手段）４４および４５においてそ
れぞれＤ　璽（Ａ　　−Ａ　　）／ｘ　　、Ｄ　　＝（
Ｂ　　−Ｂ　　）／Ｘ２が算出される。また微分手段で
この演算結果Ｄ　　、Ｄ　　か微分され、Ｄｌ。

Ｄ２が得られる。ファジィ処理装置４０はこれ図に示す
ものと同じようなルールにしたがって。

Ａ　　／Ａ　　、Ｂ　　／Ｂ２がともにほぼ１となるよ
うにカメラ１を回転させるだめの速度指令θ、を作成し
てモータ・コントローラ４２に与える。これにより、対
象物の像がカメラの画面に対して一定の方向に向く。こ
のときのカメラ１の傾き角θがロータリー・エンコーダ
４３により検出される。この傾き角は対象物の傾き方向
を表わしている。

この実施例では、対象物の二辺を用いて対象物の方向の
検出（カメラの回転制御）を行なっているので、対象物
は長方形に限らず１種々の形状の対象物に適用可能であ
る。

モータＭ　　、Ｍ　　の回転角をロータリー・エンコー
グ等で検出するようにしてもよい。

第４実施例 第４実施例は追尾制御を利用したロボット制御装置に関
するものであり、その詳細が第１２図から第１７図に示
されている。

第１２図は全体的な構成を概略的に示すものである。

ベルト・コンベア等の搬送装置によって対象物ＯＢが搬
送されてくる。この搬送路の近くにロボット９が配置さ
れ、ロボット９が対象物ＯＢに対して何らかの作業を行
なうために、ロボット９の手先Ｒ８が移動している対象
物ＯＢに対して接近して位置決めされる。

カメラ１は少なくとも一方向に、好ましくは２方向に、
そしてさらに好ましくはその光軸のまわりに回転自在に
支持され、ロボット９の手先ＲＳおよび対象物ＯＢを撮
像する。カメラ１が撮像した画像の例が第１３図に示さ
れている。カメラ１の視野内に対象物ＯＢの像ＰＯとロ
ボット手先Ｒ５の像ＰＲがともに捉えられるように、カ
メラ１の向き２回転角およびさらに望ましくはズーム倍
率が制御される。カメラによるロボット手先と対象物の
追尾制御は第１実施例または第３実施例の装置を用いて
行なうことができる。この追尾制御を行なうのが追尾制
御装置７である。このように追尾制御することにより２
画面上における対象物像とロボット手先像のぶれを少な
くシ、計測精度を高めることができる。

カメラ１の出力ビデオ信号は画像計測処理装置５に与え
られ、その画像データは追尾制御装置７に与えられると
ともにロボット制御装置８に入力する。ロボット制御装
置８は上述したように移動している対象物ＯＢに対して
ロボット手先Ｒ３を位置決めする制御を行なう。

ロボット制御装置８の構成が第１４図に示されている。

ロボット９は少なくとも２軸（Ｘ、Ｙ軸）の運動が可能
なものであり、その駆動はモータＭ、とＭ６によって行
なわれる。一方、画像計測処理装置５からは、第１３図
からも分るように、ロボット手先像ＰＲと対象物像ＰＯ
の所定点（たとえば重心）との間の距離をＸＹ座標系で
与えるデータΔＸ、Δｙが出力される。距離データΔＸ
、Δｙはそれぞれ微分手段５１．５２で微分される。

距離データΔＸとその変化分Δ交はファジィ処理装置５
０に入力し、後述するファジィ推論によってロボット手
先のＸ方向の目標加速度ｋを表わすデータか得られる。

同じように距離データΔｙとその変化分Δ９はファジィ
処理装置６０に入力し。

ロボット手先のＹ方向の目標加速度ｙを表わすデータか
得られる。

これらの加速度データ’Ｘ＋”Ｙは制御量演算装置５５
に入力する。この装置５５では加速度マ、ｙを積分する
ことにより目標速度量、９および目標位置ｘ、ｙが求め
られ、さらにこれらのデータから逆運勧学計算により関
節角目標値θ、θ、ｉが求められ、最終的にモータＭ　
　、Ｍｓを駆動する電流１１．１２が出力される。

ファジィ処理装置５０と６０は同じであるから一括して
説明する。ここでは距離データＸまたはｙをｅで、その
変化分量または９をみで表わす。また目標加速度をＥで
表現する。

ファジィ処理装置で用いられる入力データとしての距離
ｅおよびその変化分るのメンバーシップ関数の例が第１
５図に、出力としての目標加速度Ｅのメンバーシップ関
数の例が第１６図にそれぞれ示されている。ファジィ処
理のだめのルールはカメラによる撮像とそれに基づく制
御の時間遅れを見込んで作成されている。ルールの一例
が第１７図に示されている。第１７図（Ａ）は時間遅れ
の影響かほとんど無いときのルールの例であり、第１７
図（Ｂ）は時間遅れの影響が大きいときのルールの例で
ある。第１７図（Ａ）のルールと比較してＯ印をつけた
ルールが変更されている。時間遅れはルールの前件部の
条件にいれてもよいし、はとんどの場合制御装置と制御
対象が決まれば時間遅れはほぼ一定であるので、その都
度ルールを変更してもよい。

これらのルールの一例について説明する。第７図（Ａ）
において。

Ｉｒ　ｅ−ＮＳ、　　５−ＮＳ、ｔｈｅｎ　　Ｅ＝ＰＭ
というルール（これを便宜的にルール１とする）がある
。これは、もしロボット手先が対象物より少し負の位置
にあって（ｅ−ＮＳ）かつその差が負方向に少し拡大し
ている（５−ＮＳ）なら、ロボットの加速度は正方向で
中位の大きさにする（Ｅ−ＰＭ）という意味であり、ロ
ボット手先と対象物とが相対的に離れつつあるときに１
両者をより近づけるように動作させるルールである。

また。

Ｉ「ｅ−ＰＳ、　　５−ＮＳ、　　ｔｈｅｎ　　Ｅ−Ｚ
Ｒというルール（ルール２）は、もしロボット手先が対
象物より少し正の位置にあって（ｅ−ＰＳ）かつその差
が小さい速さで小さくなっている（ｅ−ＮＳ）ならロボ
ットの加速度は０にする（Ｅ−ＺＲ）、つまり今のまま
の速度で動かすということを意味する。これはロボット
手先と対象物とが接近しつつある状態のときのルールの
例である。

上述のルール１と２は、第７図（Ｂ）に示す時間遅れの
大きい制御系ではそれぞれ次のように変更される。すな
わち、ルール１は。

１［’　　ｅ　−Ｎ　Ｓ　、　　５−　Ｎ　Ｓ　、　　
　ｔｈｅｎ　　Ｅ　−Ｐ　Ｌと変更される。遅れ時間が
大きいので、操作量を出力するときは距離ｅ、その変化
分ｅともさらに大きくなっていると考えられるので加速
度の大きさを大にする（Ｅ−ＰＬ）。

ルール２は。

Ｉｆｅ　−Ｐ　Ｓ　、　　５−　Ｎ　Ｓ　、　　ｔｈｅ
ｎ　　Ｅ　−Ｐ　Ｓと変更される。遅れ時間が大きいの
で、操作量出力時には距ｆｉｅが零または負になってい
ると考えられ、正方向に少し加速する（Ｅ−ＰＳ）。

以上のようにして、ロボットの二輪が並行して同時に制
御され、迅速なロボット手先の対象物への位置決めが達
成される。

上記実施例ではカメラは少なくとも一方向に向きを変更
可能に設けられ、かつ追尾制御が行なわれている。カメ
ラを対象物とともに運動させかつ追尾制御するようにし
てもよいし、逆に対象物とロボット手先が常に視野内に
入る位置に固定してもよい。

【図面の簡単な説明】

第１図から第５図はこの発明の第１の実施例を示すもの
である。 第１図はカメラの自動追尾制御装置の機構的および電気
的構成を示す構造およびブロック図である。 第２図はカメラ画面における対象物像およびそのパラメ
ータを示すものである。 第３図はファジィ推論のためのルールをまとめて表わし
たものである。 第４図および第５図はそれぞれ入力および出力のメンバ
ーシップ関数を示すグラフである。 第６図から第８図（Ｂ）はこの発明の第２の実施例を示
すものである。 第６図は対象物の自動追尾装置の機構的および電気的構
成の概要を示すブロック図である。 第７図（Ａ）　、　（Ｂ）　、　（Ｃ）はカメラの画像
における対象物と追尾位置の変化を表わすものである。 第８図（Ａ）　、　（Ｂ）は入力および出力のメンバー
シップ関数を示すグラフである。 第９図から第１１図はこの発明の第３の実施例を示すも
のである。 第９図はカメラの動きを示す斜視図である。 第１０図はカメラの撮像画面の例を示している。 第１１図は追尾制御を利用した対象物の方向検出装置の
電気的（１Ｍ成を示すブロック図である。 第１２図から第１７図（Ｂ）はこの発明の第４の実泡例
を示すものである。 第１２図は追尾制御を利用したロボット制御装置の概略
構成を示すものである。 第１３図はカメラによる撮像画面の例を示している。 第１４図はロボット制御装置の電気的構成を示すブロッ
ク図である。 第１５図および第１６図は入力および出力のメンバーシ
ップ関数の例をそれぞれ示すグラフである。 第１７図（Ａ）　、　　（Ｂ）はファジィ推論のための
ルールの例をまとめて示すものである。 １・・・ビデオ・カメラ。 ２・・・ズーム機構１ ３．４・・・回転機構。 ５・・・画像計測処理装置。 ６・・・捕獲部（ミツト）（作用部）。 ７・・・追尾制御装置 ８・・・ロボット制御装置。 ９・・・ロボット。 １０、　２０．　２４．　３０．　４０．　５０．　６
０・・・ファジィ処理装置。 １１、　ＩＩＡ、　ＩＩＢ、　２１．２１Ａ、　２１Ｂ
。 ３１、４１Ａ、　４１Ｂ、　５１．５２・・・微分手段
。 １２、２２．３２．４２ ・・・モーターコントローラ。 ２３・・・減算回路（減算手段） ３５・・・ＭＩＮ回路。 ４３・・・ロータリーφエンコーダ。 ４４、４５・・・演算回路（演算手段）。 ５５・・・制御量演算装置。 Ｍ、Ｍ　　、Ｍ　　、Ｍ　　、Ｍ　　、Ｍ２３４５Ｂ ・・・モータ。 ＯＢ・・・移動物体または対象物（ボール）。 Ｒ３・・・ロボットの手先。 ＰＯ・・・対象物の像。 ＰＲ・・・ロボット手先像。 以　　上

Claims (9)

【特許請求の範囲】
1. （１）少なくとも一方向に動きうるカメラを同方向に動
   かすための駆動手段、 カメラで撮像した対象物像のカメラ画面上の位置に関す
   る情報および位置の変化に関する情報の少なくともいず
   れか一方を作成する手段、 作成された位置に関する情報およびその変化に関する情
   報の少なくともいずれか一方を用いて所定のルールにし
   たがって、カメラ画面上の対象物像が所定位置にほぼ保
   たれるようにするために、上記駆動手段を制御すべき量
   を演算する推論手段、ならびに 推論手段による推論結果に基づいて駆動手段を制御する
   手段、 を備えたカメラの自動追尾制御装置。
2. （２）ズーム機能をもつカメラの撮像画面における対象
   物像の大きさをほぼ一定に保つようズーム倍率を制御す
   る装置であり、 ズーム・レンズを動かすための駆動手段、 カメラで撮像した対象物像のカメラ画面上の大きさに関
   する情報および大きさの変化に関する情報の少なくとも
   いずれか一方を作成する手段。 作成された大きさに関する情報およびその変化に関する
   情報の少なくともいずれか一方を用いて所定のルールに
   したがって、対象物像の大きさをほぼ一定に保つようズ
   ーム倍率に関する量を演算する推論手段、ならびに 推論手段による推論結果に基づいて駆動手段を制御する
   手段、 を備えたカメラの自動追尾制御装置。
3. （３）少なくとも一方向に移動可能に支持され、相対的
   に接近する対象物の像を撮像するカメラ、カメラと一緒
   に移動する作用部、 カメラおよび作用部を上記の少なくとも一方向に動かす
   ための駆動手段、 カメラで撮像した対象物像のカメラ画面上の位置に関す
   る情報および大きさに関する情報を作成する手段、 大きさに関する情報に基づいて、対象物の接近にともな
   って変化するカメラ画面上の追尾位置を補正する手段、 カメラ画面上における対象物像の位置と補正された追尾
   位置との偏差、およびその変化分に関する情報を用いて
   所定のルールにしたがって、接近する対象物と作用部と
   が所定の位置関係になるようにするために、上記駆動手
   段を制御すべき量を演算する推論手段、ならびに 推論手段による推論結果に基づいて駆動手段を制御する
   手段、 を備えた対象物の自動追尾装置。
4. （４）上記補正手段がファジィ推論装置である請求項（
   ３）に記載の対象物の自動追尾装置。
5. （５）少なくとも一方向に移動可能に支持されかつ光軸
   のまわりに回転可能なカメラ、 カメラによる対象物の撮像データに基づいて、対象物像
   がカメラ画面の所定領域内に位置するように、カメラを
   上記の少なくとも一方向に移動させるファジィ追尾制御
   手段、 上記撮像データに基づいて、対象物の所定方向がカメラ
   画面の所定方向と一致するように、カメラをその光軸の
   まわりに回転させるファジィ回転制御手段、および カメラの光軸のまわりの回転角を検出し、対象物の方向
   を表わすデータを発生する方向検出手段、 を備えた追尾制御を利用した対象物の方向検出装置。
6. （６）上記ファジィ追尾制御手段がカメラのズーム倍率
   を制御する手段を含んでいる、請求項（５）に記載の追
   尾制御を利用した対象物の方向検出装置。
7. （７）上記追尾制御および回転制御のための撮像データ
   が、対象物像の側辺と画面の側辺との間の所定位置にお
   ける距離である、請求項（５）に記載の追尾制御を利用
   した対象物の方向検出装置。
8. （８）ロボットの所定箇所と対象物の所定箇所とが常に
   カメラの視野内に収まるようにカメラを追尾制御する追
   尾制御手段、 カメラで撮像したロボットの所定箇所と対象物の所定箇
   所との間の距離に関する情報を作成する手段、および 作成された距離に関する情報を用いて所定のルールにし
   たがって、ロボットの所定箇所が対象物の所定箇所にア
   クセスするように、ロボットを制御する手段、 を備えた追尾制御を利用したロボット制御装置。
9. （９）上記の距離に関する情報が距離とその変化分に関
   する情報を含むものである、請求項（８）に記載の追尾
   制御を利用したロボット制御装置。