JPH0631666A

JPH0631666A - 知能ロボット

Info

Publication number: JPH0631666A
Application number: JP4187274A
Authority: JP
Inventors: Masami Tajima; 正実但馬
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-07-15
Filing date: 1992-07-15
Publication date: 1994-02-08
Anticipated expiration: 2016-12-17
Also published as: JP3239277B2

Abstract

(57)【要約】【目的】視覚を有する知能ロボットに関し、特にロボッ
トハンドの中心軸に各センサの光軸を一致させることに
よってて座標変換の演算を不要にして、ロボットの動作
速度を向上させることを目的とする。【構成】ロボットのアーム１の先端に複数の指２を有す
るハンド３を備えたロボット装置において、ハンド３
に、光分岐・合成素子５を設けて、ハンド３の指中心軸
を光軸とする光路４における入出射光を分岐・合成し、
距離センサ７を設けて、光分岐・合成素子５を介して物
体６までの距離を測定し、光学センサ８を設けて、光分
岐・合成素子５を介して物体６の画像を取得し、距離セ
ンサ７の距離測定結果と光学センサ８の画像の処理結果
とに基づいて、ハンド３の位置と姿勢を制御するととも
に、複数の指２を駆動して物体６を把持する機能を自律
的に行うことで構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視覚を有する知能ロボ
ットに関し、特に多指を有するロボットハンドの中心軸
に各センサの光軸を一致させることによって、移動のた
めの座標変換の演算を不要にして動作速度を向上させた
知能ロボットに関するものである。

【０００２】ロボットにおいては、ロボットアームの先
端のハンドに設けられた複数の指を用いて物体を把持す
ることによって、物体を移動させたり、または物体に対
して所要の加工を施したりする。

【０００３】知能ロボットの場合、ハンドの指が物体を
把持する際に、中心ずれを生じることがなく確実に把持
することができ、従って物体を移動させたり倒したりす
ることなく把持できることができる。また、ロボット自
体が知能を持って判断して動作を行うことができ、操作
者からは大まかな指令を出すだけで、細かな作業をロボ
ット自体で行わせることができる。このような知能ロボ
ットでは、ロボットハンドの中心軸に各センサの光軸を
一致させることによって、座標変換の演算を不要にし
て、動作速度を向上させることが要望される。

【０００４】

【従来の技術】知能を有するロボットにおいては、近接
距離センサによって、レーザ光の照射に基づく反射波を
利用して三角測量を行って、物体までの距離を測定した
り、物体を撮像するＴＶカメラの画像を処理して物体の
位置や形状，大きさ等の情報を得て、これらの情報に基
づいてハンドや指を駆動して物体を把持したり、移動さ
せたりするようになっている。

【０００５】従来のロボットでは、各センサはハンドの
中心軸に取付けられていず、例えばセンサをハンドとは
離れた別の場所に設けたり、またはハンドの外側に設け
たりすることが多かった。そして、センサで取得された
情報に対して所要の画像処理を行ったのち、所定の演算
を行ってハンド中心に対して座標変換を行った結果に基
づいて、ハンドを移動させるようにしていた。

【０００６】そのため、信号処理や座標変換の計算に時
間がかかり、ロボットの動作速度を向上させることがで
きないとともに、正しくハンドの中心から見た状態で、
ハンドの位置ぎめを行うことが困難であった。

【０００７】

【発明が解決しようとする課題】従来の知能ロボットに
おいては、指定した位置にハンドを移動させるだけのも
のが多かった。また距離センサを有するものでは物体ま
での距離を測定してから、ＴＶカメラを有するものでは
画像処理して座標変換の演算を行ってから、その後にハ
ンドを移動して、ハンド中心を物体の中心に合わせるよ
うにしていた。

【０００８】この場合、ハンドが物体に接近する途中に
障害物があっても、回避することなくそのまま突き進ん
でしまうとか、またはハンドを物体の真上中心に移動さ
せたつもりでも、多少のずれを生じる等の問題を生じや
すかった。

【０００９】この場合、距離測定や画像処理を行って、
座標変換の演算を行った結果によってハンドを少し動か
し、所望の位置とずれていたら、また同じ処理を繰り返
して再び移動させるという処理を繰り返すため、ロボッ
トの動作速度を向上させることが困難であった。

【００１０】従来のロボット動作方法では、測定結果に
基づいて演算を行ってから、サーボ系を駆動してハンド
を移動させるやり方のため、移動途中でなにか生じて
も、または移動指令が誤っていても、与えられた指令を
実行し終わるまでは、ロボットは初期の指令通り動作し
続ける。すなわち、指令の実行中における状況の変化に
対しても、指令の補正や変更はなく、そのまま実行し続
けることになる。

【００１１】このように、従来のロボットでは、動作中
にもセンサからの信号を処理して、常時サーボ系に入力
することによって、目標を変化させながら、状況変化の
情報に柔軟に対応して、目的の制御を行うことはできな
かった。すなわち、ロボット自体が、移動途中で状況判
断して制御内容を変更する自律制御機能を有していなか
った。そのため、障害物に衝突することがなく、また物
体を優しく把持することができ、従って物体を倒さず移
動させずに把持することは困難であった。

【００１２】本発明は、このような従来技術の問題点を
解決しようとするものであって、距離測定や画像処理を
行ったのち、ハンドを作業面に対して移動させる座標変
換を行う必要がなく、またハンドを動かしてみて、位置
がずれていたらまた測定を行ってハンドを動かすという
ような制御を行う必要がなく、リアルタイムに中心割り
出し等の処理を行いながら、連続処理によって作業を行
うことができるとともに、ＴＶカメラからの画像に対す
る画像処理が簡単になる、作業に直結してリアルタイム
に処理を行うことが可能な、知能ロボットを提供するこ
とを目的としている。

【００１３】また本発明は、予め定められた行動しかで
きないロボットではなく、知能を有して独自判断を随所
に行いながら、移動して物体を把持することができ、こ
の際、障害物との衝突を回避するとともに、物体に対し
て把持力をかけ過ぎることがなく、物体に優しく触れ、
物体を倒したり動かしたりすることなく把持することが
できる、知能ロボットを提供することを目的としてい
る。

【００１４】

【課題を解決するための手段】

(1) 図１は本発明の原理的構成を示したものである。本
発明は、ロボットのアーム１の先端に複数の指２を有す
るハンド３を備えたロボット装置において、ハンド３
に、ハンド３の指中心軸を光軸とする光路４における入
出射光を分岐・合成する光分岐・合成素子５と、光分岐
・合成素子５を介して物体６までの距離を測定する距離
センサ７と、光分岐・合成素子５を介して物体６の画像
を取得する光学センサ８とを設け、距離センサ７の距離
測定結果と光学センサ８の画像の処理結果とに基づい
て、ハンド３の位置と姿勢を制御するとともに、複数の
指２を駆動して物体６を把持する機能を自律的に行うも
のである。

【００１５】(2) 本発明は(1) の場合に、ハンド３の光
路４または距離センサ７がコニカルスキャンを行うこと
によって、物体６を取り付ける面の傾きを検出して、ハ
ンド３の指中心軸がこの面に垂直になるように、ハンド
３の位置と姿勢を制御するものである。

【００１６】(3) 本発明は(1) または(2) の場合に、光
学センサ８の視野を４象限に分割して得られた各象限の
画像を比較することによって、ハンド３の中心軸と物体
６の中心とのずれを検出して、物体６を把持するため
の、アーム１とハンド３の移動経路を補正するものであ
る。

【００１７】(4) 本発明は(3) の場合に、物体６の面に
マークを照射するレーザ照射器９を設け、このマークに
よってハンド３の中心軸と物体６の中心とのずれを検出
して、物体６を把持するための、アーム１とハンド３の
移動経路を補正するものである。

【００１８】(5) 本発明は(3) の場合に、各指２の先端
方向中心軸にも光学センサを設け、この各光学センサが
指２の中心軸と物体の中心とのずれを検出して、物体６
を把持するための、指２またはハンド３の移動経路を補
正するものである。

【００１９】(6) 本発明は(3) の場合に、指中心軸にお
ける入出射光を分岐してハンド３の外部に別の光路１０
を設けることによって、光学センサ８が物体６を２眼視
できるようにして、測距と、側視とを行うものである。

【００２０】(7) 本発明は(3) の場合に、各指２の内側
に圧力感知センサを設け、各指２の把持力を制御すると
ともに、把持の際に各指２の把持力を均等化させて物体
６の中心位置に集中するように制御するものである。

【００２１】(8) 本発明は(7) の場合に、光学センサ８
の画像を処理してハンド３の光軸中心と物体６の中心と
のずれを認識してハンド３の移動方向を制御し、距離セ
ンサ７または光学センサ８によって測距してハンド３と
物体６との距離を縮める制御を行い、ハンド３の物体６
に到る移動経路上に障害物があるときは迂回して物体６
に接近する制御を行い、ハンド３が物体６に接近したと
き距離センサ７によって物体６との距離を精測して指２
によって物体６の把持を開始する制御を行い、圧力感知
センサによって物体６に対する把持力を制御しながら物
体６を把持して所要の作業を行わせるものである。

【００２２】

【作用】人間が目標に向かって移動する際には、物体を
目で見て、目標の大きさ，形状等を判断するとともに、
距離を目測しながら移動する。ロボットのハンドも同様
に、人間の目の機能（イメージ処理，画像処理）や、人
間の歩行機能（バランスの自動制御）等をモデルとし
て、随時センサ信号を処理して、動作するようにする。

【００２３】特に、ハンドの中心に各センサを設け、ハ
ンドの軸とセンサの光軸とを合致させることによって、
距離センサとＴＶカメラの視野と、ハンドの動作座標系
とを一致させることができ、従って座標変換のための高
速な演算を常時行う必要がなくなる。

【００２４】すなわち、センサから情報を入手してか
ら、画像処理，認識等の処理を行ったのちに、移動のた
めの計算を行うというような、繰り返し演算を行う必要
がなく、センサからの情報によってリアルタイムに目標
の補正を行ってハンドを誘導することができるので、ハ
ンド移動処理の効率を向上させることが可能となる。

【００２５】本発明によれば、センサ情報に対して座標
変換を行う必要がないので、即時、ロボットシステムに
フィードバックして、アームの移動許可範囲内で、把持
指令に応じてセンサとその信号処理器によってハンドを
移動させて、物体を把持する等の作業を行わせることが
可能である。

【００２６】この際、レーザから目標とする物体上にマ
ーカを投射するとともに、マーカの形状を画像処理上、
区別，判断しやすいパターンとすることによって、画像
の処理や認識を容易にすることができる。

【００２７】また本発明によれば、センサ情報の信号処
理が容易であって、ハンドの移動中に、移動経路の補正
を、方位の補正と距離の短縮の処理だけの制御で、座標
変換を必要とせず簡単に行うことができ、物体の中心に
垂直にハンド中心軸を移動させることが可能である。

【００２８】また本発明の場合、ハンドが物体に接近す
るにつれて、センサの視角が増大する結果、解像度が向
上して、精度の高い演算を行うことができるようにな
る。この際、ハンドシステムが独自に処理を行って、画
像処理の状況をモニタすることもできる。

【００２９】このように本発明によれば、ロボットを自
動的に目標物体に接近させながら、移動→認識→補正→
把持→作業の工程を連続したフィードバック系で実行さ
せることができるので、事前に目標についての粗い情報
を与えるだけで、ロボットが状況変化に対応して情報を
収集し、ロボットの知能によって状況判断を行って、障
害物との衝突の回避等の制御を行うことができる。

【００３０】この場合、センサによって距離測定を行う
ことができるので、作業面までの距離の測定と作業面の
傾きの測定を行うことができ、また、画像処理によっ
て、物体の中心位置を即時検出することができるので、
ハンドと物体との相対位置を即時認識することができ、
ハンドの絶対位置を意識して移動させる必要がなく、移
動中は、コンピュータがハンドセンサからの情報に基づ
いて、リアルタイムに移動処理を行って、ハンド位置の
補正を行いながら、ロボットアームを移動させることが
できる。

【００３１】また各センサの情報は、ハンドの中心軸に
設けられた、入射光を波長によって透過または反射させ
る、ダイクロイックミラーを通してから各センサに引き
入れるので、波長により効率的に光軸を変えることがで
き、光学的なロスを生じることがないとともに、この光
学系のレンズがあるので、各センサの光学系を直接、傷
つける恐れがない。

【００３２】また本発明では、作業対象すなわち把持す
る物体に対して、レーザ照射でハンドを誘導するように
もし、予め照合用のパターンを画像処理用の照合装置
（コンピュータ）内に設け、このパターン（記号）と物
体に照射したパターンとのマッチングを行って、信号処
理を行うことによって、物体の判断，認識を容易にし、
人工知能での全くの独自判断による誤りを減少させるこ
とができる。

【００３３】さらに本発明によれば、ロボットが独自の
判断によって危険を回避しながら目的の位置まで移動す
るので、安全で信頼のおけるロボットを構成することが
できる。またロボットが独自に判断して移動するので、
外部から細かい指示を与える必要がなく、大半は任せて
おくことが可能である。

【００３４】

【実施例】図２は、本発明を適用したロボットシステム
の基本動作を説明するシステムブロック図であって、こ
のシステムの動作フローを表し、１１は外部からのおお
まかな作業指示、１２は計算機による移動経路指示、１
３は減算器による補正、１４はディジタルシグナルプロ
セッサ（ＤＳＰ）による各軸のサーボ指令の発生、１５
は減算器による補正、１６は増幅器（ＡＭＰ）による各
軸のサーボ系の信号の増幅、１７はアームに対する駆動
と位置検出、１８はハンドおよび指における各センサの
情報検出、１９はセンサ信号の処理をそれぞれ示してい
る。

【００３５】１１に示すように、外部から例えば人手に
よっておおまかな作業指示を与える。この際、物体上に
レーザ照射によってマークを表示して指示情報を明確に
することができる。これによって計算機は１２に示すよ
うに移動経路の指示を行って、主経路の信号を生成す
る。１３に示すように、１２よりの主経路の信号から１
９に示すセンサ信号処理結果の信号を減算して、ハンド
の誘導経路の補正を行う。１４に示すように、ＤＳＰは
補正された主経路の信号によって演算を行って、各軸の
駆動モータに対するサーボ指令を発生する。

【００３６】図２における内側のフィードバックループ
は、ハンドを移動させるためのアームの各軸の位置を制
御するサーボ系のループであって、従来周知のものであ
り、ＤＳＰのサーボ指令に対して、１５に示すように位
置補正を行って、１６に示すように各軸のサーボ系信号
を増幅して、１７に示すようにアームを駆動し、位置検
出を行って、１５に示すように帰還して位置補正を行
う。

【００３７】外側のループは、ハンド内の各センサの情
報によって初期のサーボ指令を変更して、自律，適性等
の自律的制御を行うフィードバックループであって、１
８に示すようにハンドおよび指において各センサの情報
を検出し、１９に示すようにセンサ信号の処理を行っ
て、１３に示されたようにハンドの誘導経路の補正を行
うものである。

【００３８】このフィードバックループは、外部からの
指示や、計算機からの指示によらず、装置が自律的に動
作するためのものである。すなわち例えば、ＴＶカメ
ラによって方向を正確に認識して制御を行い、中距離
以上は移動によるＴＶカメラの２枚以上の画像を用いて
物体までの距離を間隔測量等で測定し、近距離では近接
距離センサによって精密に測距することによって、ハン
ドと物体との距離を縮める制御を行う。物体までの間
に障害物があるときは、迂回して物体に接近する。物
体に接近すると、物体との正確な距離を検出して物体を
把持する作業に移行する。物体を把持していることを
圧覚センサ等で確認して、指の把持力の制御を行いなが
ら、移動や作業を行わせる等の制御を、計算機との制御
を行うことなく、自律的に行って、各軸のサーボ系を動
作させてハンドや指を駆動する。

【００３９】図３は、ロボットの動作機構を示したもの
である。図３において、２１は作業台を示し、２２は作
業台２１上の物体である。２３はロボットアームを示
し、２４，２５，２６，２７は、それぞれロボットアー
ムの節を構成する軸を駆動するモータである。２８はロ
ボットアーム２３の先端に設けられたハンドである。２
９はハンド２８に設けられた指であって、計算に基づく
指令によって、図示しないモータ等の駆動に応じて物体
を把持する動作を行う。

【００４０】３０はエンコーダであって、それぞれペア
となるモータ２５の回転位置を検出する。３１はロボッ
トアームの駆動を制御する制御計算機および画像処理器
である。３２は指２９が把持する予定の物体上にマーク
を照射して、ハンドの誘導を容易にするためのレーザ照
射器であって、３３はレーザ照射器３２を制御する照射
制御器である。

【００４１】また点線内に示された３４〜３７はアーム
の節である一つの軸を駆動するモータの駆動電気回路を
示している。計算機３４に外部からおおまかな作業指示
を与えることによって、生成された主経路の信号に対し
て、３５に示すようにセンサからの情報によって、方位
合わせと接近指示の補正を行うセンサ処理を行って、Ｄ
ＳＰが、３６に示すように第ｎ番目の軸に対するサーボ
指令を発生する。

【００４２】３７は一軸分の電気回路系を示し、減算器
３８においてサーボ指令に位置補正を行って、直流アン
プ３９を経て増幅して、モータ２５を駆動することによ
って、ある軸を回転させる。エンコーダ３０は、軸の回
転位置を検出して、位置補正信号として、減算器３８に
帰還する。このような電気回路系は、モータによって駆
動される節（軸）等の数だけ設けられている。

【００４３】ハンドの内部には、中心に光軸が通ってい
て、この光軸に対応して各センサが設けられている。図
４は、ハンドの内部の構成を示したものであって、４１
はハンドを示し、４２はハンド４１の中心を通る光軸で
ある。また、４３はアーム連結部、４３Ａはコニカルス
キャン機構、４４，４５はそれぞれ指Ａ，指Ｂ、４６は
物体、４７は物体４６を取り付ける作業面である。

【００４４】ハンド４１において、４８はミラーであっ
て、ダイクロイックミラーまたはハーフミラーからな
り、光軸４２に対してＴＶカメラ４９，距離センサ５０
のそれぞれの光路１を重ね合わせる作用を行う。物体４
６を取り付ける作業面４７に対する平面（Ｘ−Ｙ方向）
の移動は、ＴＶカメラ４９の画像処理によって行い、近
接時は、距離センサ５０を使用して、例えば作業面４７
に対して２点または３点で測距を行い、またはコニカル
スキャンを行って、ハンド４１の位置および姿勢を制御
することによって、ハンド４１を作業面４７に対して垂
直にする。

【００４５】またハンド４１の物体４６への接近時に、
ＴＶカメラ４９からの画像情報を利用する際に、外部に
設けられたレーザ照射器から物体上にレーザ光を照射す
ることによって、物体上に例えばある種のマークを付与
することによって、物体ごとの位置を正確に認識できる
ようにして、画像情報の処理を容易にすることができ
る。

【００４６】図５は、ＴＶカメラのモニタ画像を例示し
たものであって、画像処理する前の上面図からなる画像
５５を示し、４４，４５は図４に示された指Ａ，Ｂであ
り、４６は物体である。また５６は、レーザ照射器によ
って物体４６上に付与されたレーザ・マーカである。

【００４７】またこれと同じ目的で、距離センサ５０を
照射器（イルミネータ）として、これから物体４６に可
視レーザ光を照射することによって、マーカとして利用
してもよい。

【００４８】図４に示されるように、ダイクロイックミ
ラーまたはハーフミラーからなるミラー４８を用いて、
これらの各センサの光路１を、ハンド４１の中心におけ
る同一光軸４２上に重ねて配置することが、本発明にお
けるハンドおよび指の構造の基本形である。

【００４９】さらに指４４，４５の先端方向の中心軸に
も光学センサを設け、各光学センサが指４４，４５の中
心軸と物体４６とのずれを検出して、指４４，４５の移
動経路を補正しながら、物体４６を把持するようにして
もよく、これによって、物体４６の把持のための指の位
置制御を、より確実に行うことができるようになる。

【００５０】また、本発明においては、各指４４，４５
の内側に中心（光軸４２）側に向けて、圧力を感知する
圧力センサ５４を有している。そして各指における圧力
検出結果に基づいて、各指４４，４５が物体を把持する
把持力が等しいある与えられた値になるように制御する
ことができる。この場合の把持力の大きさは、例えば物
体４６の重量，形状に応じて予め設定することができ
る。

【００５１】さらに各指４４，４５が物体を把持しよう
とする際の把持力は、指が物体に当たるときに、各指が
物体に対して微小な圧力を及ぼすとともに、各指の圧力
が、物体をその中心に対して押圧するように、各指４
４，４５の把持力を協動させるように制御することがで
きる。これによって、物体を把持するとき、物体を移動
させたり、倒したりすることなく、柔らかく把持するこ
とができるようになる。

【００５２】この際使用するＴＶカメラ４９としては、
出来るだけ小型のものが望ましく、いわゆる親指カメラ
のようなものを用いるのが好適である。また指の中に入
れて、その先端から見るためのカメラとしては、ファイ
バスコープが最適である。ハンド４１に取り付ける近接
の距離センサ５０は、光学的に三角測量の原理によって
動作するものであり、レーザ光を僅かに斜めに出射し、
対象物からの反射光を少し離れた受光器で受けて、出入
射位置と対象物の位置とで定まる２等辺三角形によっ
て、反射点までの距離を計測する。

【００５３】またある程度離れた位置から物体までの距
離を測定する際には、光軸４２以外の光路２からの入射
光を利用して行うことができる。図４において、５１は
光路２を開閉するシャッタである。５２は光路２に対す
るミラーであって、通常の全反射ミラーからなってい
る。５３は、ミラー５２を回転させるモータである。

【００５４】この場合は、ＴＶカメラ４９の光軸１の中
心で物体が見えるようにして、シャッタ５１を開き、ミ
ラー５２を介する物体の像を重ねて見る状態にする。そ
してモータ５３を駆動してミラー５２を回転させて、二
重像を合致させたとき、ミラー４８とミラー５２の距離
をＩ，ミラー５２における光路２の挟む角をθとして、
次のようにして物体までの距離Ｌを求めることができ
る。Ｌ＝Ｉ・ｔａｎθ

【００５５】なお、ミラー５２を設けることによって、
指４４，４５が物体を把持したために光路１が遮られて
見えなくなった状態のときでも、側視によって物体を監
視することができる。

【００５６】さらにもう一つの測距方法として、ＴＶカ
メラ４９である位置で見た物体の画像を記憶しておき、
アームを水平に走査してハンド４１を所定の距離移動さ
せて再び物体を見ると、もとの画像とずれて見えるの
で、ハンド４１の首の部分を回転させて記憶されている
画像とマッチングをとったときの、ハンドの移動距離と
首の回転角とから、三角測量によって物体までの距離を
求めることができる。

【００５７】図６は、アームの水平走査によって測距す
る場合の、三次元ディスプレイ表示の例を示したもので
あって、画面中央に円盤状の物体があるため、その部分
だけ盛り上がって、高さが大きくなっていることが示さ
れている。なお、これらの各測距方法のうち、距離セン
サによる測距は、例えば距離６０〜１４０mmの場合のア
ームの水平走査による測距と、至近距離の精測に適用
し、それ以外の距離での測距は、ＴＶカメラに設けられ
た周知の自動焦点機構の測距によってもよい。

【００５８】図７は、ＴＶカメラの画像と画像処理画面
を例示したものであって、６１は親指カメラ等のＴＶカ
メラの画像を示し、６２は物体の画像、６３は画像処理
画面である。

【００５９】画像処理を行うときは、円盤状の物体の画
像６２に対して、４象限のマスクを重ねて、４象限ブロ
ックからなる画像処理画面６３を形成する。この場合、
４象限を分割する十字線のクロス点がハンドにおける光
軸中心であり、この点と物体の像の中心とのずれによっ
て、光軸中心と物体の中心とのずれを知ることができ
る。そして各ブロック内に含まれる物体の像が同じ面積
になるように、アームを制御してハンド中心を移動させ
ることによって、ハンドの位置を物体に対して追従させ
ることができる。

【００６０】図８は、ハンド制御用偏差信号の発生回路
を例示したものであって、６３は４象限の画像処理画
面、６４，６５，６６，６７は加算器、６８，６９，７
０は減算器である。画像処理画面６３における４象限の
各ブロックＡ，Ｂ，Ｃ，Ｄに含まれる画素数を３，１
５，２５，７としたとき、全体の画素数を示す和信号
（Ａ＋Ｂ＋Ｃ＋Ｄ）＝５０と、Ｙ方向偏差を示す差信号
（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝−１４と、Ｘ方向偏差を示す
差信号（Ａ＋Ｃ）−（Ｂ＋Ｄ）＝−３０とを求めること
ができる。

【００６１】これら和信号と２種類の差信号によって、
ハンド中心（光軸）を画像６２で表される物体の中心に
一致させるように制御することができる。なおこのよう
な追尾方法は、移動するミサイル自体またはそれを追尾
するミサイルを追尾するミサイル追尾システムにおい
て、用いられているものである。

【００６２】図９は、画像処理の例を示したものであっ
て、（ａ）はＴＶ画像、（ｂ）は２値画像、（ｃ）は密
度関数を示している。図９は、輪郭抽出によって物体を
認識する場合を示し、（ａ）に示す通常のＴＶ画像から
処理ウィンドウ内におけるエッジ抽出によって２値化を
行って、（ｂ）に示す２値画像を得る。その後、縦
（Ｙ）軸または横（Ｘ）軸方向における黒になるピクセ
ル数を、横軸（または縦軸）の値でカウントすると、
（ｃ）に示す横（Ｘ）軸または縦（Ｙ）軸の密度関数が
得られる。この密度関数の特徴から、物体を判断・認識
して、その大きさや形状が、目的とする物体か否かの判
断を行うことができる。一般に丸い物体の場合には、図
示のように、Ｘ方向の密度関数と、Ｙ方向の密度関数と
は同一形状となる。

【００６３】図１０は、コニカルスキャン時の距離セン
サ出力を例示したものである。アームを動かして、ハン
ドを目標物体に接近させたとき、物体が取りついている
面の回りを、光軸を初期位置中心として、円錐状走査
（コニカルスキャン）を行ったときの、掃引走査角（方
向）θに対する距離センサの出力（距離）Ｒの変化を示
している。

【００６４】物体が取りついている面に対して、円錐の
中心軸が垂直のとき、走査角θが変化しても、距離Ｒの
値は一様となるが、円錐中心軸が面に対して傾いている
ときは、走査角θの変化に伴って、距離Ｒの値が変化す
る。従って、距離Ｒが大きくなる方向の成分が小さくな
るように、距離Ｒが小さくなる方向の成分が大きくなる
ように、各アームを制御して、ハンドを円錐状走査して
も、距離の変化がなくなるようにすることによって、ハ
ンドの光軸中心を物体が取りついている面に対して垂直
にすることができる。このようにして、ハンドを物体が
取りついている面に対して垂直にすることによって、ア
ームや指での作業を容易にすることができる。

【００６５】なお、ハンドの円錐状走査によって連続し
て距離計測を行うことが困難なときは、例えば１２０°
おきの３点または９０°おきの４点の距離を測定するこ
とによって、同様にして、面の傾きを検出することがで
き、また制御を行ってハンドの光軸を面に垂直にするこ
とも可能である。

【００６６】また、ハンドの移動経路は、一般的には、
物理的な最短経路で目標に向かう場合と、一旦、横（ま
たは縦）に動き、その後、縦（または横）に動いて、目
標に向かう場合とがある。しかし、経路の途中に障害物
があるときは、ロボット自体が衝突の危険を判断できる
機能がない限り、サーボ系の制御誤差をコントロールす
ることができなくなるまで、ハンドが突き進んでゆくこ
とになる。これに対して、本発明では、前述のコニカル
スキャンを行うことによって、障害物の回避を行うこと
ができる。

【００６７】図１１は、距離センサを用いた障害物回避
の経路例を示したものであって、７１はハンド、７２は
障害物体、７３は捕獲すべき物体を示している。ハンド
７１は、距離センサを用いてコニカルスキャンを行いな
がら、移動するものとする。図中、コースＡは一旦、横
に動いてから縦に動く場合のコース、コースＢは、最短
距離で動く場合のコース、コースＣは一旦、縦に動いて
から横に動く場合のコースをそれぞれ示し、このうち、
コースＢとコースＣはハンド７１が障害物体７２と衝突
するコースであり、コースＡは衝突することなしに、ハ
ンド７１が物体７３に到達するコースである。

【００６８】図１１においては、ハンド７１が、初期に
与えられたデータに基づいて、最短距離のコースＢを進
んでいる途中で障害物体７２を検出して、経路を変更し
て移動する場合を例示している。すなわち、コースＢを
進んで、点Ｐで距離センサの検出距離Ｒが所定の距離Ｒ
１より小さくなったときは、ハンド７１はコースを変更
して、検出距離ＲがＲ１より小さくならない範囲で移動
を続け、障害物体７２を検出しなくなったときは、目標
に向かって円弧を描いて接近する。そして物体７３の真
上で、検出距離Ｒが所定の距離Ｒ１より小さくなる点
で、ハンド７１を作業面に対して垂直にしたのち、ハン
ド７１が物体７３に接触してこれを捕獲する。

【００６９】なお、安全のため、アームの各関節の移動
可能範囲を、計算機で予め設定しておき、アームの関節
に設けられている角度（または位置）検出器によって検
出された位置情報が、各関節の移動可能範囲内になるこ
とを、計算機によって常時監視することによって、アー
ムの衝突に基づくアームまたは対象物体の破損を防止す
る制御が別に行われている。

【００７０】

【発明の効果】以上説明したように本発明によれば、距
離センサと光学センサをハンド中心の同一光軸に結合し
たので、小型化されるとともに、正確な位置合わせがで
き、また座標変換の演算が不必要なので、ハンドの位置
と姿勢の制御を高速にかつ自律的に行うことができる。
また距離センサによってコニカルスキャンを行って、ハ
ンドを作業面に垂直に制御することができる。また光学
センサの画像を処理することによって、アームとハンド
の移動経路を補正することができる。さらに、物体上に
マークを照射することによって、移動経路の補正を容易
にすることができる。

【００７１】この場合、ハンドに設けられた指にも光学
センサを設けることによって、物体把持時の指の移動経
路を補正することができる。また、物体を検出する光路
を分岐して別に設けることによって、２眼視による、物
体の測距と側視を行うことができる。さらに、各指にお
いて圧力感知を行うことによって、指の把持力を制御し
て、把持時、物体を移動させたり、倒したりしないよう
にすることができる。

【００７２】本発明の知能ロボットは、光学センサの画
像を処理してハンドの移動方向を制御し、距離センサま
たは光学センサで測距してハンドと物体との距離を縮め
る制御を行い、ハンドの物体への移動経路上に障害物が
あるときは迂回して物体に接近する制御を行い、ハンド
が物体に接近したとき距離センサによって物体との距離
を精測して指で物体の把持を開始する制御を行い、圧力
感知センサによって物体に対する把持力を制御しながら
物体を把持して所要の作業を行わせるので、ロボットが
自律的に最適な制御を行うことができる。

【図面の簡単な説明】

【図１】本発明の原理的構成を示す図である。

【図２】本発明を適用したロボットシステムの基本動作
を説明するシステムブロック図である。

【図３】ロボットの動作機構を示す図である。

【図４】ハンドの内部の構成を示す図である。

【図５】ＴＶカメラのモニタ画像を例示する図である。

【図６】アームの水平走査によって測距する場合の、三
次元ディスプレイ表示の例を示す図である。

【図７】ＴＶカメラの画像と画像処理画面を例示する図
である。

【図８】ハンド制御用偏差信号の発生回路を例示する図
である。

【図９】画像処理の例を示す図である。

【図１０】コニカルスキャン時の距離センサ出力を例示
する図である。

【図１１】距離センサを用いた障害物回避の経路例を示
す図である。

【符号の説明】

１アーム２指３ハンド４光路５光分岐・合成素子６物体７距離センサ８光学センサ９レーザ照射器１０光路

Claims

【特許請求の範囲】

【請求項１】ロボットのアーム（１）の先端に複数の
指（２）を有するハンド（３）を備えたロボット装置に
おいて、該ハンド（３）に、該ハンド（３）の指中心軸を光軸とする光路（４）にお
ける入出射光を分岐・合成する光分岐・合成素子（５）
と、該光分岐・合成素子（５）を介して物体（６）までの距
離を測定する距離センサ（７）と、該光分岐・合成素子（５）を介して物体（６）の画像を
取得する光学センサ（８）とを設け、該距離センサ（７）の距離測定結果と該光学センサ
（８）の画像の処理結果とに基づいて、該ハンド（３）
の位置と姿勢を制御するとともに該複数の指（２）を駆
動して物体（６）を把持する機能を自律的に行うことを
特徴とする知能ロボット。
【請求項２】請求項１に記載の知能ロボットにおい
て、前記ハンド（３）の光路（４）または距離センサ
（７）がコニカルスキャンを行うことによって、物体
（６）を取り付ける面の傾きを検出して、前記ハンド
（３）の指中心軸が該面に垂直になるように該ハンド
（３）の位置と姿勢を制御することを特徴とする知能ロ
ボット。
【請求項３】請求項１または２に記載の知能ロボット
において、前記光学センサ（８）の視野を４象限に分割
して得られた各象限の画像を比較することによって、前
記ハンド（３）の中心軸と物体（６）の中心とのずれを
検出して、物体（６）を把持するためのアーム（１）と
ハンド（３）の移動経路を補正することを特徴とする知
能ロボット。
【請求項４】請求項３に記載の知能ロボットにおい
て、物体（６）の面にマークを照射するレーザ照射器
（９）を設け、該マークによって前記ハンド（３）の中
心軸と物体（６）の中心とのずれを検出して、物体
（６）を把持するためのアーム（１）とハンド（３）の
移動経路を補正することを特徴とする知能ロボット。
【請求項５】請求項３に記載の知能ロボットにおい
て、各指（２）の先端方向中心軸にも光学センサを設
け、該各光学センサが該指（２）の中心軸と物体の中心
とのずれを検出して、物体（６）を把持するための指
（２）またはハンド（３）の移動経路を補正することを
特徴とする知能ロボット。
【請求項６】請求項３に記載の知能ロボットにおい
て、前記指中心軸における入出射光を分岐してハンド
（３）の外部に別の光路（１０）を設けることによっ
て、前記光学センサ（８）が物体（６）を２眼視できる
ようにして、測距と、側視とを行うことを特徴とする知
能ロボット。
【請求項７】請求項３に記載の知能ロボットにおい
て、各指（２）の内側に圧力感知センサを設け、各指
（２）の把持力を制御するとともに、把持の際に各指
（２）の把持力を均等化させて物体（６）の中心位置に
集中するように制御することを特徴とする知能ロボッ
ト。
【請求項８】請求項７に記載の知能ロボットにおい
て、前記光学センサ（８）の画像を処理して前記ハンド
（３）の光軸中心と物体（６）の中心とのずれを認識し
て該ハンド（３）の移動方向を制御し、前記距離センサ
（７）または前記光学センサ（８）によって測距して該
ハンド（３）と物体（６）との距離を縮める制御を行
い、該ハンド（３）の物体（６）に到る移動経路上に障
害物があるときは迂回して該物体（６）に接近する制御
を行い、該ハンド（３）が物体（６）に接近したとき前
記距離センサ（７）によって該物体（６）との距離を精
測して前記指（２）によって物体（６）の把持を開始す
る制御を行い、前記圧力感知センサによって該物体
（６）に対する把持力を制御しながら該物体（６）を把
持して所要の作業を行わせることを特徴とする知能ロボ
ット。