JPH0830327A - Active environment recognition system - Google Patents

Active environment recognition system

Info

Publication number
JPH0830327A
JPH0830327A JP6165076A JP16507694A JPH0830327A JP H0830327 A JPH0830327 A JP H0830327A JP 6165076 A JP6165076 A JP 6165076A JP 16507694 A JP16507694 A JP 16507694A JP H0830327 A JPH0830327 A JP H0830327A
Authority
JP
Japan
Prior art keywords
sensor
recognition system
information processing
environment recognition
external environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6165076A
Other languages
Japanese (ja)
Inventor
Akira Kuratsume
亮 倉爪
Shigemi Osada
茂美 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP6165076A priority Critical patent/JPH0830327A/en
Publication of JPH0830327A publication Critical patent/JPH0830327A/en
Pending legal-status Critical Current

Links

Abstract

PURPOSE:To recognize a complicated environment by improving sensing capability by changing an external environment by generating a moving command to an actuator mechanism corresponding to information from a sensor mechanism for collecting the information of the external environment. CONSTITUTION:This system is provided with the hierarchical structure of a single or plural sensor mechanisms 1 for collecting the information of an external environment 3, actuator mechanism 2 for changing the external environment 3 and information processing mechanisms 4a-4c for generating the suitable moving command to the actuator mechanism 2 corresponding to the sensor information from the sensor mechanisms 1. Corresponding to the conditions at the sensing time of the external environment 3, the actuator mechanism 2 suitably changes the external environment 3 of itself and any object or the like so that the sensor mechanisms 1 can be sufficiently functioned. In this case, the low-order sensor information processing unit 4a repeats sampling and data processing in a short time, and the high-order sensor information processing unit 4b selects and commands the suitable operation of the entire system at comparatively long processing intervals while considering the final target of the system, etc., as well.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は、各種のセンサを用いて
センサ周囲の外部環境を認識する能動的環境認識システ
ムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an active environment recognition system which recognizes an external environment around a sensor using various sensors.

【0002】近年、工場における作業工程の自動化や原
子力プラントなどでの保守作業の無人化の要請に伴い、
ビジョンセンサや、近接センサなどの各種センサを用い
て、ロボット等が自ら周囲の環境を認識し、それに基づ
いて適切な行動を選択する知能化機械への要求が高まっ
ている。特に、テレビカメラや,レンジファインダなど
の光学的ビジョンセンサを用いて外部環境を認識し、適
応的に複雑な作業を遂行する視覚を有する知能ロボット
は、従来の定型動作を基本とする産業用ロボットに代わ
る次世代のロボットとして、現在盛んに研究、開発が進
められている。
In recent years, with the demand for automation of work processes in factories and unmanned maintenance work in nuclear plants, etc.,
There is an increasing demand for intelligent machines in which a robot or the like recognizes its surrounding environment by using various sensors such as a vision sensor and a proximity sensor and selects an appropriate action based on the environment. In particular, intelligent robots that have a visual sense of recognizing an external environment by using an optical vision sensor such as a TV camera or a range finder and adaptively perform complicated tasks are industrial robots based on conventional routine operations. Currently, research and development are being actively pursued as a next-generation robot that will replace the.

【0003】[0003]

【従来の技術】図13は、従来の環境認識システムを説
明する図である。従来の環境認識システムにおける基本
的な考え方は、本図に示されているように、各種のセン
サ 1を用いて、外部環境 3のセンシングを行なう環境認
識システムにおいて、各センサ 1により得られた外部環
境 3に対する断片的な知識から、情報処理技術や様々な
数学的手法を用いて、外部環境をできるだけ正確に再構
築しようとするものであった。
2. Description of the Related Art FIG. 13 is a diagram for explaining a conventional environment recognition system. As shown in this figure, the basic idea in the conventional environment recognition system is to use the various sensors 1 in the environment recognition system that senses the external environment 3. From the fragmentary knowledge of environment 3, he tried to reconstruct the external environment as accurately as possible using information processing technology and various mathematical methods.

【0004】例えば、視覚を用いた環境認識の研究にお
いては、テレビカメラ等によりカメラ撮像面上に投影さ
れた2次元の画像から、ロボット周囲の3次元環境を認
識するために、これまでに、デイビッド・マー(David M
arr)の有名な著書「“ビジョン”(Vision),"人間による
画像理解と、視覚情報の処理における計算論的手法",サ
ンフランシスコ,W.H. フリードマン・カンパニー,1982,
{A Computational Investigation into the Human Rep
retentation and Processing of Visual Information,S
an Francisco, W.H.Freedman and Company,1982 }に代
表される多くの計算論的画像理解の手法が提案されてい
る。例えば、両眼立体視(binocular streopisis)に代表
される、複数画像間の視差から奥行マップを作成する視
差からの構造復元(shape from disparity)の分野では、
複数画像間の対応領域決定問題に対して、マー(Marr)と
ポジオ(Poggio)による "人間の立体視における計算理
論",ロンドン・ロイヤルソサイティ・プロセッシング
グ,B, 第207巻,187 頁〜217 頁,1978,{"A computa
tional theory of human stereo vision",Processingso
f the Royal Society of London,B,Vol.207,pp.187-21
7,1978,1979 }のゼロ交差を用いたアルゴリズムや、領
域の特徴に基づく相関演算による手法などが提案されて
おり、これらはオクリュージョン{右目で見えてるもの
が左目で見られない "かくれ" 問題}や, 曲面輪郭線の
認識などでまだ問題があるものの、一般的なシーンでは
比較的精度の良い結果が得られている。
For example, in the research of environment recognition using vision, in order to recognize a three-dimensional environment around a robot from a two-dimensional image projected on a camera imaging surface by a television camera or the like, so far, David M
arr) 's famous book "Vision", "Computational methods for human image understanding and visual information processing", San Francisco, WH Friedman Company, 1982,
{A Computational Investigation into the Human Rep
retentation and Processing of Visual Information, S
An Francisco, WHFreedman and Company, 1982} has been proposed for many computational image understanding techniques. For example, in the field of structure reconstruction from disparity (shape from disparity) that creates a depth map from disparity between multiple images, represented by binocular stereoscopic vision (binocular streopisis),
Marr and Poggio's "Theory of Computation in Human Stereopsis" for the problem of determining the corresponding region between multiple images, London Royal Society Processing, B, Vol. 207, p. 187- 217, 1978, {"A computa
tional theory of human stereo vision ", Processingso
f the Royal Society of London, B, Vol.207, pp.187-21
7,1978,1979}, algorithms using zero crossings, and methods based on correlation operations based on the characteristics of regions have been proposed. These are occlusions {what the right eye sees cannot be seen by the left eye. Although there are still problems with "problem" and recognition of curved contours, relatively accurate results are obtained in general scenes.

【0005】また、物体表面の陰影から物体の三次元形
状を復元する陰影からの復元(shapefrom shading)で
は、後に標準正則化理論として体系化された滑らか拘束
による緩和法的手法がホーン(Horn)の "陰影からの構造
復元",サイコロジー・コンピュータ・ビジョン,1975,
{"Shape from shading",The Psychology of Computer
Vision,1975 }や、池内の "陰影からの数学的構造復元
と単眼視における遮蔽形状",AIメモ, 第566 番,AI ラボ
ラトリ,MIT、1980, {"Numerical shape from shading
and occluding contours in a single view",AI memo,N
o.566,AI Lab,MIT,1980 }によって提案されている。
In the shape from shading, which restores the three-dimensional shape of an object from the shadow of the surface of the object, a relaxation constraint method based on smooth constraint systematized as a standard regularization theory later is called Horn. "Structure Restoration from Shadows", Psychology Computer Vision, 1975,
{"Shape from shading", The Psychology of Computer
Vision, 1975} and Ikeuchi's "Reconstruction of mathematical structure from shadows and occlusion shape in monocular vision", AI Memo, 566, AI Laboratory, MIT, 1980, {"Numerical shape from shading
and occluding contours in a single view ", AI memo, N
o.566, AI Lab, MIT, 1980}.

【0006】さらに、画像の動きからの相対的奥行きを
検出する "動きからの構造復元"(shape from motion)に
関しては、緩和法によるオプティカルフローの生成とし
て、ホーン(Horn), シャンク(Schunk)による "オプティ
カルフローの決定",人工知能, 第17巻,185頁〜203 頁,1
981,{"Determining optical flow",Artificial Intell
igence,Vol17,pp185-203,1981 }や、カンパニ(Campan
i),アレスサンドロ(Alessandro)の "1次生成されたオ
プティカルフローからの動的解析",CVGIP,第56巻, 第1
番,1992 年7月, {"Motion Analysis from First-Orde
r Properties ofOptical Flow",CVGIP,Vol.56,No.1,Jul
y 1992 }による、最小二乗法を利用した方法などが提
案されている。
Further, regarding "shape from motion" for detecting the relative depth from the motion of an image, the generation of optical flow by the relaxation method is performed by Horn and Schunk. "Optical Flow Determination", Artificial Intelligence, Volume 17, pp. 185-203, 1
981, {"Determining optical flow", Artificial Intell
igence, Vol17, pp185-203,1981} and Campan (Campan
i), Alessandro's "Dynamic analysis from primary generated optical flow", CVGIP, Volume 56, Volume 1
No., July 1992, {"Motion Analysis from First-Orde
r Properties of Optical Flow ", CVGIP, Vol.56, No.1, Jul
y 1992}, a method using the least squares method has been proposed.

【0007】[0007]

【発明が解決しようとする課題】然しながら、上述のよ
うに従来の環境認識システムに対する研究は、与えられ
た環境を決められたセンサ 1の能力で、いかに正確に外
部環境 3を再構築するかに研究の主眼が置かれていた。
このため、現在までに提案された様々な手法を用いて
も、外部環境 3があまりにも複雑な場合や、センサ 1自
体の能力が低い場合、あるいは、センサ 1の能力が十分
に機能しないような劣悪な環境においては、正確な外部
環境 3の再構築が困難な場合が多く、実環境で動作する
実用的な環境認識システムは、これまでにほとんど実現
されていないのが現状であった。
However, as described above, research on the conventional environment recognition system has been made on how to accurately reconstruct the external environment 3 with the ability of the sensor 1 to determine a given environment. The focus of the research was on.
Therefore, even if the various methods proposed to date are used, if the external environment 3 is too complicated, the sensor 1 itself has low capability, or the sensor 1 does not function sufficiently. In a poor environment, it is often difficult to accurately reconstruct the external environment 3, and a practical environment recognition system that operates in an actual environment has been rarely realized until now.

【0008】コンピュータビジョンの例で見ると、過去
35年間、「2次元視覚からの3次元世界の再構築」とい
う枠組の中で、上述したような多くの重要な手法が提案
されたにもかかわらず、視覚がロボットの運動制御に実
時間、実環境で適用された例は、これまでにほとんど報
告されていない。これは、実際の環境があまりにも複雑
で変化に富んでいるため、これまでに開発された様々な
コンピュータビジョンの手法、環境の記述法、高性能な
視覚センサ、あるいは高速な計算機を用いても、外部環
境 3を実時間で完全に復元することが困難であったため
である。
Looking at the example of computer vision, the past
For 35 years, in the framework of "reconstruction of 3D world from 2D vision", many important methods such as those mentioned above were proposed, but vision was used for real-time robot motion control. To date, few cases have been reported applied in the real environment. This is because the actual environment is so complicated and varied that even if various computer vision methods, environment description methods, high-performance visual sensors, and high-speed computers developed so far are used. This is because it was difficult to completely restore the external environment 3 in real time.

【0009】本発明は上記従来の欠点に鑑み、実環境で
動作する実用的な環境認識システム、および、知能ロボ
ットの実現を提供することを目的とするものである。
In view of the above-mentioned conventional drawbacks, it is an object of the present invention to provide a practical environment recognition system that operates in a real environment and an intelligent robot.

【0010】[0010]

【課題を解決するための手段】図1〜図3は、本発明の
原理説明図であり、図1は、全体構成の例を示し、図2
は情報処理ユニットの概念を示し、図3は、該情報処理
ユニットの内部構成の例を示している。本発明における
能動的環境認識システムは、複雑で多様な外部環境 3や
自己のセンシング能力を、そのままの形で用いるのでは
なく、センシング時の状況に応じて、センサ 1自身の位
置や対象物の位置姿勢、照明条件、又、場合によっては
障害物の除去など、ロボット等によるアクチュエータ機
構 2により、自己および外部環境 3を積極的に変化させ
ることにより、従来技術では困難であった複雑な環境の
認識を可能にするものである。
1 to 3 are explanatory views of the principle of the present invention, and FIG. 1 shows an example of the overall configuration.
Shows the concept of the information processing unit, and FIG. 3 shows an example of the internal configuration of the information processing unit. The active environment recognition system according to the present invention does not use the complicated and diverse external environment 3 and its own sensing ability as they are, but instead of using the position of the sensor 1 itself or the object according to the situation at the time of sensing. By actively changing the self and external environment 3 by the actuator mechanism 2 such as a robot, such as position and orientation, lighting conditions, and removal of obstacles in some cases, it is possible to create a complex environment that was difficult with the conventional technology. It enables recognition.

【0011】即ち、センサ系 1と外部環境 3との相互作
用を、積極的に、認識過程に利用することにより、セン
シング能力の向上を図った能動的センシングシステムで
ある。これまでにもアクティブビジョンシステムなど、
センサ 1側の状態を変化させてセンシング能力を向上さ
せる研究は行なわれていたが、対象物の移動や障害物の
除去など、認識対象である外部環境 3そのものも変化さ
せて、センシング能力の向上を図ろうとする考え方は、
従来の環境認識システムの枠組には無い新たな概念であ
る。
That is, it is an active sensing system in which the interaction between the sensor system 1 and the external environment 3 is positively utilized in the recognition process to improve the sensing ability. Until now, such as active vision system
Research has been conducted to improve the sensing ability by changing the state of the sensor 1 side, but improving the sensing ability by changing the external environment 3 itself, which is the recognition target, such as movement of objects and removal of obstacles. The idea of trying to
This is a new concept that does not exist in the framework of conventional environment recognition systems.

【0012】このような外部環境 3との相互作用を、積
極的に利用した環境認識システムは、環境変化に適応的
に対応するための処理の時間的制約や、環境の複雑性に
対応できる柔軟性が必須であることなどから、本発明で
は、その基本構成として、以下のような階層型センサ情
報処理システムを用いる。
The environment recognition system that positively utilizes such interaction with the external environment 3 has a flexible structure that can cope with the time constraints of processing for adaptively responding to environmental changes and the complexity of the environment. Therefore, the present invention uses the following hierarchical sensor information processing system as its basic configuration.

【0013】これは、図1に示されているように、1)
各センサ 1から直接得られる情報レベルの環境情報か
ら、反射行動などの、人間でいえば、脊髄反射、あるい
は "無意識の" 行動などの、該行動の結果等を考えない
直接的なアクチュエータ機構2への運動指令を生成す
る下位層センサ情報処理ユニット 4a と、 2) 各センサ 1および上位層センサ情報処理ユニット 4
c 、下位層センサ情報処理ユニット 4a により得られる
情報, および記号レベルの環境情報{例えば、キーボ
ードといった複雑な物体を表現するのに、キーと, 該キ
ーが配置されている部分と, 該キーが配置されている複
数の部分からなる筺体といった階層構造の物体を、所定
の記号で表現する環境情報}を用い、抽象度の低い論理
的推論、例えば、他の物体を隠しているものを認識して
取り除くなどにより、局所的な自己運動や外部環境 3の
変化手順を計画し、アクチュエータ機構 2への運動指令
を生成する中間層センサ情報処理ユニット 4b と、 3) 各センサ 1, および、下位層センサ情報処理ユニッ
ト 4a により得られる情報, および、上記記号レベル
の環境情報を用い、公知のベイズ推論{要約すると、外
部環境 3を複数個の要因が相互に交わっているものとし
て記述し、これらの要因の一つを取り出し、所定の動
作、例えば、ある方向に動かす, 見る, 或いは、触る等
の動作をさせて、他の要因がどのように変化し、外部環
境 3がどうなるかを推論し、最も適切な動かし方を決定
する推論機構である}などの抽象度の高い論理的推論機
構を用いて、能動的環境認識システムの最終的な目標や
センサ機構 1が十分に機能するための大局的な自己運
動、外部環境 3の変化手順を推論、選択し、アクチュエ
ータ機構 2への運動指令を生成する上位層センサ情報
処理ユニット 4c 、という機能の異なるいくつかのセン
サ情報処理ユニット 4a,4b,4c を、図1に示されている
ように、階層的に積み重ねることにより実現されるもの
である。
This is, as shown in FIG. 1, 1)
A direct actuator mechanism that does not consider the result of the action, such as spinal reflex, or "unconscious" action for humans, such as reflex action, from environmental information at the information level obtained directly from each sensor 1. Lower layer sensor information processing unit 4a which generates a motion command to the sensor, and 2) each sensor 1 and upper layer sensor information processing unit 4a.
c, information obtained by the lower layer sensor information processing unit 4a, and symbol-level environment information (for example, to represent a complicated object such as a keyboard, a key, a portion where the key is arranged, and the key are By using environment information that expresses a hierarchically structured object such as a housing composed of a plurality of parts with a predetermined symbol, logical inference with a low degree of abstraction, for example, recognizing an object hiding another object The information processing unit 4b for the middle layer, which generates a motion command to the actuator mechanism 2 by planning the local self-movement and the changing procedure of the external environment 3 by removing it, and 3) each sensor 1, and the lower layer. Using the information obtained by the sensor information processing unit 4a and the above-mentioned symbol-level environmental information, well-known Bayesian inference {In summary, multiple factors interact with each other in external environment 3. One of these factors is taken out, and a predetermined action, for example, moving in a certain direction, looking, or touching, causes other factors to change, and the external environment 3 is a reasoning mechanism that infers what happens to 3 and determines the most appropriate way to move it.} By using a logical reasoning mechanism with a high degree of abstraction, the final goal of the active environment recognition system and the sensor mechanism 1 are Global sensory movement for fully functioning, upper layer sensor information processing unit 4c that infers and selects the procedure of changing external environment 3 and generates a motion command to actuator mechanism 2. This is realized by stacking the information processing units 4a, 4b and 4c in a hierarchical manner as shown in FIG.

【0014】このうち、上記 1) 項で説明した下位層セ
ンサ情報処理ユニット 4a は、短時間でサンプリング
(データを取る)・データ処理を繰り返し、接触・衝突
などのアクチュエータ 2−環境間の基本的な相互作用を
監視、制御するものである。
Of these, the lower layer sensor information processing unit 4a described in the above section 1) repeats sampling (data acquisition) and data processing in a short time, and the basic operation between the actuator 2-environment such as contact and collision. It monitors and controls various interactions.

【0015】また、上記 3) 項で説明した上位層センサ
情報処理ユニット 4c は、比較的長い処理間隔で物体把
持等のシステムの最終的な目標や、センシングや環境変
化の効率等も考慮に入れたシステム全体の適切な運動を
選択、指令する。
The upper layer sensor information processing unit 4c described in the above section 3) also takes into consideration the final goal of the system such as object grasping at relatively long processing intervals, and the efficiency of sensing and environmental changes. Select and command the appropriate movement of the entire system.

【0016】また、これらの階層間には、認識した外部
環境 3に関する情報をやりとりし、それらを融合し
て、全体的な整合性の高い推論を行なう機構 40 が備え
られている。例えば、ロボットのハンドがコップに接触
した場合、上記中間層センサ情報処理ユニット 4b は、
"何らかの物体に接触した" という下位層センサ情報処
理ユニット 4a からの情報と、 "ここにはコップが存在
するはずである" という上位層センサ情報処理ユニット
4c からの情報を受けとり、自分自身で推論した" そこ
には何もない" や、 "これは瓶である" という情報を訂
正する。
Further, a mechanism 40 for exchanging the recognized information about the external environment 3 and fusing them to perform inference with high overall consistency is provided between these layers. For example, when the hand of the robot touches the cup, the above-mentioned middle layer sensor information processing unit 4b is
The information from the lower layer sensor information processing unit 4a that "contacted with some object" and the upper layer sensor information processing unit that "there should be a cup here"
It takes the information from 4c and corrects the "nothing in there" or "this is a bottle" reasoning itself.

【0017】さらに各層は、例えば、本発明による能動
的環境認識システムが、外部環境 3に関する情報,
を十分に獲得していない場合など、前述のベイズ推論等
の推論装置 40 では、適切な自己運動や外部環境 3の変
化手順を選択できない環境においては、例えば、乱数等
を用いた試行錯誤的な手法 42 で次の行動を決定するこ
とにより、デッドロックに陥ることを回避する機構を有
する。
Further, each layer includes, for example, information about the external environment 3 by the active environment recognition system according to the present invention,
If the reasoning device 40 such as the Bayesian reasoning described above does not select an appropriate self-movement or a changing procedure of the external environment 3, for example, a trial-and-error method using random numbers, etc. It has a mechanism to avoid falling into a deadlock by determining the next action in Method 42.

【0018】即ち、例えば、上位層では外部環境 3が全
く認識できなかった場合、上位層は下位層に、 "センサ
の位置や環境内の物体を適当に移動せよ" や、 "照明条
件を変化せよ" 等の自己運動や外部環境 3を変化させる
運動指令を送り、試行錯誤的に認識しやすい環境を作
りだそうというものである。
That is, for example, when the upper layer cannot recognize the external environment 3 at all, the upper layer informs the lower layer that "the position of the sensor or the object in the environment should be appropriately moved" or "the lighting condition is changed." It is said that it will create an environment that is easy to recognize by trial and error by sending exercise commands that change the external environment 3 such as self-movement.

【0019】又、各層には、センサ情報に基づく環境
認識、および、推論手法 40 や試行錯誤的な手法 42 で
実現された自己運動、環境変化手順を、ニューラルネッ
トワーク等の学習、獲得する機構 (学習機構) が存在す
る。
In each layer, a mechanism for learning and acquiring environmental recognition based on sensor information and self-movement and environmental change procedures realized by the inference method 40 and the trial-and-error method 42, such as a neural network ( There is a learning mechanism).

【0020】この学習機構には、環境認識機構 45 を含
み、センサ情報から直接的に運動指令を生成する学
習機構 44 と、従来の環境認識機構 45 を利用してセン
サ情報から環境情報を抽出し、それを基に運動指令
を生成する学習機構 43 が考えられる。
This learning mechanism includes an environment recognition mechanism 45, and a learning mechanism 44 that directly generates a motion command from the sensor information and a conventional environment recognition mechanism 45 are used to extract the environment information from the sensor information. , A learning mechanism 43 that generates a motor command based on it.

【0021】一般に、環境認識機構を含む学習機構 44
は、反射行動など低レベルの運動指令を高速で生成す
ることができ、環境認識機構 45 を含まない学習機構 4
3 は、該環境認識機構 45 による環境認識に時間がかか
るが、認識された複雑な環境情報に基づいて、より長い
時間間隔で定型的な随意運動など高レベルの運動指令
を生成することができる。
Generally, a learning mechanism including an environment recognition mechanism 44
Is a learning mechanism that can generate low-level motor commands such as reflexes at high speed and does not include the environment recognition mechanism.
3 takes time to recognize the environment by the environment recognition mechanism 45, but can generate a high-level motion command such as a typical voluntary motion at longer time intervals based on the recognized complicated environment information. .

【0022】これらの学習機構 43,44により、推論コス
トの低減や、ロバスト性 (耐擾乱性) の向上など、シス
テム性能の向上が図られる。
By these learning mechanisms 43 and 44, it is possible to improve system performance such as reduction of inference cost and improvement of robustness (disturbance resistance).

【0023】[0023]

【作用】従って、従来の環境認識システムでは、正確な
認識が困難であった複雑な外部環境 3に対しても、本環
境認識システムでは、与えられたセンサ能力での認識が
可能になるように自己や, 外部環境 3を積極的に変化さ
せるため、実環境で動作する実用的な環境認識システム
が構築できる。
Therefore, the present environment recognition system can recognize the complicated external environment 3 which is difficult to be accurately recognized by the conventional environment recognition system, by the given sensor ability. Since the self and external environment 3 are positively changed, a practical environment recognition system that operates in the real environment can be constructed.

【0024】一例として、視覚による環境認識システム
において、対象物の一部が他の物体に隠されている状況
を考える。前記のマー(Marr)に代表される、これまでの
ロボットビジョン研究の枠組は、これらの物体を、空間
内のある一点から眺めて、様々なコンピュータビジョン
の手法により、認識された物体一つ一つに対して物体識
別や位置姿勢の推定などを行ない、視野内の三次元環境
をできるだけ完全に再構築しようと試みるものである。
As an example, consider a situation in which a part of an object is hidden by another object in a visual environment recognition system. The framework of robot vision research so far, represented by Marr mentioned above, looks at these objects from a certain point in space, and recognizes each object by various computer vision methods. For example, we try to reconstruct the three-dimensional environment in the visual field as much as possible by performing object identification and position and orientation estimation.

【0025】そのため、隠蔽状態が非常に複雑な場合
や, 照明条件が劣悪な場合などでは、従来のコンピュー
タビジョンの技法では、対象物を認識することができな
い状況も考えられる。
Therefore, in the case where the concealment state is very complicated or the lighting condition is poor, there is a possibility that the conventional computer vision technique cannot recognize the object.

【0026】一方、本発明の基本的な考え方は、もしあ
る点から見ただけでは物体を認識することができなけれ
ば、もっと良く見える位置に視点を移動したり、複雑に
隠蔽されて認識が困難な物体は、障害物を隠蔽しない場
所に移動させる、あるいは照明条件を適切に変更するな
ど、積極的に自己および外部環境 3を変化させることに
より、上記センサ 1等の視覚系が機能しやすい環境を自
ら作りだそうというものである。
On the other hand, the basic idea of the present invention is that if an object cannot be recognized only by looking at it from a certain point, the viewpoint is moved to a position where it can be seen better, or the object is hidden in a complicated manner for recognition. For difficult objects, the visual system such as the sensor 1 can easily function by positively changing the self and the external environment 3, such as moving the obstacle to a place that does not hide the obstacle or changing the lighting conditions appropriately. It is said that the environment is created by itself.

【0027】従って、従来の視覚認識システムや移動ロ
ボットシステムでは、センサ能力や環境の複雑性により
目標達成が困難な場合でも、積極的に環境を整理するこ
とにより、最終的に外部環境 3を認識し、目標達成を可
能にするセンサ情報処理システムが実現でき、係る環境
認識システムの性能向上に寄与するところが大きいとい
う効果が得られる。
Therefore, in the conventional visual recognition system or mobile robot system, even if it is difficult to achieve the target due to the sensor capability and the complexity of the environment, the environment is positively organized to finally recognize the external environment 3. However, it is possible to realize a sensor information processing system that enables achievement of the target, and it is possible to obtain an effect that it greatly contributes to the performance improvement of the environment recognition system.

【0028】[0028]

【実施例】以下本発明の実施例を図面によって詳述す
る。前述の図1〜図3は、本発明の原理説明図であり、
図4〜図7は、本発明の一実施例を示した図であって、
図4は、テレビカメラによる物体認識、把持システムの
概略を示し、図5〜図7は、階層型センサ情報処理シス
テムの構成例を示し、図8〜図12は、本発明の他の実
施例を示した図であって、図8は、群移動ロボットシス
テムのイメージを示し、図9は、群移動ロボットの群移
動方法の例を示し、図10は、障害物の例を示し、図1
0は、群移動ロボットでの障害物を移動する処理の流れ
図を示し、図11は、群移動ロボットでの障害物を移動
する処理を具体例で示している。
Embodiments of the present invention will be described in detail below with reference to the drawings. 1 to 3 described above are explanatory views of the principle of the present invention.
4 to 7 are views showing an embodiment of the present invention,
4 shows an outline of an object recognition / grasping system by a television camera, FIGS. 5 to 7 show configuration examples of a hierarchical sensor information processing system, and FIGS. 8 to 12 show another embodiment of the present invention. FIG. 8 shows an image of a group mobile robot system, FIG. 9 shows an example of a group moving method of the group mobile robot, FIG. 10 shows an example of an obstacle, and FIG.
0 shows a flow chart of a process of moving an obstacle in the group mobile robot, and FIG. 11 shows a process of moving an obstacle in the group mobile robot as a concrete example.

【0029】本発明においては、外部環境 3の情報を収
集する単数,或いは複数のセンサ機構 1と、外部環境 3
を変化させるアクチュエータ機構 2と、上記センサ機構
1からのセンサ情報により、上記アクチュエータ機構
2への適切な運動指令を生成する情報処理機構 4a 〜
4cとを階層構造で備え、上記外部環境 3のセンシング時
の状況に応じて、上記アクチュエータ機構 2が、上記セ
ンサ機構 1が十分に機能するように、自己,及び、対象
物等の外部環境 3を適切に変化させる手段が、本発明を
実施するのに必要な手段である。尚、全図を通して同じ
符号は同じ対象物を示している。
In the present invention, a single or a plurality of sensor mechanisms 1 for collecting information on the external environment 3 and the external environment 3 are used.
Actuator mechanism 2 that changes the
From the sensor information from 1, the above actuator mechanism
Information processing mechanism 4a that generates an appropriate motion command to 2
4c and 4c in a hierarchical structure, the actuator mechanism 2 operates in accordance with the sensing conditions of the external environment 3 so that the sensor mechanism 1 fully functions and the external environment 3 Is a means necessary for carrying out the present invention. Note that the same reference numerals indicate the same object throughout the drawings.

【0030】以下、図1〜図3を参照しながら、図4〜
図7,及び、図8〜図12に示した実施例により、本発
明の能動的環境認識システムの構成と動作を説明する。
本発明の一実施例においては、図4〜図7で、テレビカ
メラによる物体認識、把持システムの例にし、他の実施
例では、図8〜図12で、群移動ロボットシステムを例
にする。
Hereinafter, referring to FIGS. 1 to 3, FIGS.
The configuration and operation of the active environment recognition system of the present invention will be described with reference to FIGS. 7 and 8 to 12.
In one embodiment of the present invention, FIGS. 4 to 7 show an example of an object recognition and gripping system by a television camera, and in another embodiment, FIGS. 8 to 12 show a group mobile robot system.

【0031】先ず、図4に示した、テレビカメラによる
物体認識、把持システムを例にして、本発明の能動的環
境認識システムを説明する。本システムは、6軸垂直多
関節型ロボットとコントローラ、ロボットハンドに取り
付けられたテレビカメラ、力センサ、触覚センサ、近接
センサ、および、画像処理演算と階層型情報処理システ
ムを実現するためのコンピュータからなる。
First, the active environment recognition system of the present invention will be described by taking the object recognition and grip system by the television camera shown in FIG. 4 as an example. This system consists of a 6-axis vertical articulated robot and controller, a TV camera attached to the robot hand, a force sensor, a tactile sensor, a proximity sensor, and a computer for realizing an image processing operation and a hierarchical information processing system. Become.

【0032】テレビカメラ 1a から得られる環境情報と
しては、例えば、次式の拘束条件式により計算される画
像平面上での物体像の動き(ui,i ) がある。 Ixii +Iyii +Iti=0 ただし、Ixi,Iyi,Itiは、それぞれ、画面上の点i
(xi,i ) における画素濃淡値Ii のx,y方向、お
よび時間tに関する変化分である。この(ui,i )
は、一般に、オプティカルフローと呼ばれるものであ
り、これと内界センサにより測定されるロボットハンド
の速度から、画面内の物体までの距離や物体の移動速度
が計算され、ハンドに衝突する可能性のある物体を高速
に検出することができる。
The environmental information obtained from the television camera 1a includes, for example, the movement (u i, v i ) of the object image on the image plane calculated by the following constraint condition expression. I xi u i + I yi v i + I ti = 0 where I xi , I yi , and I ti are points i on the screen, respectively.
It is a change amount of the pixel gray value I i in (x i, y i ) with respect to the x and y directions and time t. This (u i, v i )
Is generally called an optical flow, and the distance to the object in the screen and the moving speed of the object are calculated from this and the speed of the robot hand measured by the internal sensor to detect the possibility of collision with the hand. An object can be detected at high speed.

【0033】又、この他にも色および濃淡値情報により
切り出された物体像の情報、テンプレートマッチングや
, 幾何モデル (所謂、CAD モデル) とのマッチングによ
り同定された注視物体の種類、位置、姿勢の情報など
が、それぞれテレビカメラ 1aから得られる環境情報
として各層に入力される。
In addition to this, information of an object image cut out by color and gray value information, template matching,
, Geometric model (so-called, CAD model) types of gaze object identified by matching with the position, such as information of posture, is input to each layer as the environment information obtained from the television camera 1a respectively.

【0034】一方、テレビカメラ 1a 以外のセンサ情報
としては、力センサ 1b から得られるロボットハンドへ
の作用力、触覚センサ 1c による環境との接触状態、近
接センサ 1d による環境との相対距離情報などがある。
On the other hand, as the sensor information other than that of the TV camera 1a, the acting force on the robot hand obtained from the force sensor 1b, the contact state with the environment by the tactile sensor 1c, the relative distance information with the environment by the proximity sensor 1d, etc. is there.

【0035】次に、図4の階層型センサ情報処理システ
ムの詳細例を、図5〜図7によって説明する。図5に示
した下位層センサ情報処理ユニット 4a は、図示されて
いるように、上記テレビカメラ 1a から得られたオプテ
ィカルフローと近接センサ 1d により、外部環境 3との
衝突回避や接触等を高速に制御するとともに、力センサ
1b 、触覚センサ 1c の出力を用いてインピ−ダンス制
御系{滑らかに撫でる, 触るといった動作をする制御
系}を構成し、ハンドと外部環境 3の基本的な相互作用
を制御する。
Next, a detailed example of the hierarchical sensor information processing system shown in FIG. 4 will be described with reference to FIGS. As shown in the figure, the lower layer sensor information processing unit 4a uses the optical flow obtained from the TV camera 1a and the proximity sensor 1d to quickly avoid collision with the external environment 3 and make contact with it. Control and force sensor
1b, The output of the tactile sensor 1c is used to construct an impedance control system {a control system that performs operations such as smooth stroking and touching}, and controls the basic interaction between the hand and the external environment 3.

【0036】次の図6の中間層センサ情報処理ユニット
4b は、色・濃淡値による物体の切り出し、テンプレー
トマッチング、および物体像とシステムの有する幾何モ
デルとのマッチングにより、注視物体の種類、位置、姿
勢を同定し、その物体を把持するための局所的な作業計
画を立案する。ただし、この作業計画には、例えば、予
想される把持点が物体の裏側にある場合には、物体を押
し倒して把持点を近付ける、あるいは、物体が同定不可
能であると判断された場合には、乱数等により、試行錯
誤的に物体の位置、姿勢を変化させたり、遮蔽している
障害物を移動するなどの、外部環境 3との相互作用を積
極的に利用する行動も含まれる。
The intermediate layer sensor information processing unit shown in FIG.
4b identifies the type, position, and orientation of the gaze object by clipping the object by color / gray values, template matching, and matching the object image with the geometric model of the system, and performs local recognition to grasp the object. Make a proper work plan. However, in this work plan, for example, when the expected grip point is on the back side of the object, the object is pushed down to bring the grip point closer, or when it is determined that the object cannot be identified. , Behaviors that positively utilize interaction with the external environment 3, such as changing the position and orientation of an object by trial and error using random numbers, moving an obstacle that is blocking, and so on.

【0037】又、図7に示した上位層センサ情報処理ユ
ニット 4c では、下位層センサ情報処理ユニット 4a で
得られた環境情報(どの物体がどの位置に置かれていた
か等)や、センサ情報から得られる視野全体の色・
濃淡値画像をもとに、所定の推論機構 40 等により、あ
らかじめシステムの有する物体間の位置関係等から、目
標となる把持対象物の位置(作業目標)や、そこへ効率
良く移動するためには、注視物体を含めて、どの障害物
を移動させるべきか(作業効率)等を考慮 (推論, 予
測) した、大局的な作業計画を作成する。
In the upper layer sensor information processing unit 4c shown in FIG. 7, the environmental information (such as which object was placed at which position) and the sensor information obtained by the lower layer sensor information processing unit 4a are used. Color of the entire field of view obtained
In order to efficiently move to the position (work target) of the target gripping target, or the target object, from the positional relationship between the objects that the system has in advance, based on the gray value image, using a predetermined inference mechanism 40, etc. Creates a comprehensive work plan that considers (inference, prediction) which obstacles to move including the gaze object (work efficiency).

【0038】この大局的な作業計画の作成は、環境情報
がある程度獲得された後に、最下層の衝突回避ユニッ
ト等よりも比較的長い時間間隔で行なわれる。また、も
し現在の環境が複雑で認識不可能であると判断された場
合には、環境を整理するために下位ユニット (中間層,
下位層センサ情報処理ユニット 4b,4a等) に把持可能な
物体の移動を指示するなどして、認識可能な環境を自ら
作り出そうと試みる。
This global work plan is created at a relatively long time interval after the environmental information is acquired to some extent, as compared with the lowest collision avoidance unit. Also, if it is determined that the current environment is complicated and unrecognizable, a lower unit (middle layer,
Attempts to create a recognizable environment by instructing the lower layer sensor information processing units 4b, 4a etc.) to move a grippable object.

【0039】次に、図8〜図12によって、本発明を利
用した群移動ロボットシステムでの環境認識の例を説明
する。本システムは、図8に示したように、マニピュレ
ータと、テレビカメラや距離センサなどの各種センサ 1
を搭載した複数台のロボット2a からなり、それぞれの
ロボット 2a は自由に屋外環境を移動し、環境地図の作
成や各種作業を行なうことができる。
Next, an example of environment recognition in the group mobile robot system using the present invention will be described with reference to FIGS. This system, as shown in FIG. 8, includes a manipulator and various sensors such as a television camera and a distance sensor.
It is composed of a plurality of robots 2a equipped with, and each robot 2a can freely move in the outdoor environment and can create an environment map and perform various works.

【0040】本システムでは、各ロボット 2a が今どこ
にいるか、あるいはどのように移動するかを判断する際
に、各ロボット 2a に搭載されたセンサからの情報の
他に、自分以外のロボット 2a や環境内の特定の物体を
目印として用いる。
In this system, when determining where each robot 2a is now or how to move, in addition to the information from the sensor mounted on each robot 2a, the robots 2a other than itself and the environment Use a specific object inside as a landmark.

【0041】本システムの移動方法の一例を図9に示
す。例えば、ロボット(3) 2aが移動したとすると、ロボ
ット(1) 2aから見た、他のロボット(2),(3) 2aの位置
を、基準位置からの相対角度θ11 を計測して認識
し、ロボット(2) 2aは、他のロボット(1),(3) 2aの位置
を基準位置からの相対角度θ2,φ2 を計測して認識した
後、相互の位置情報を交換して、例えば、ロボット(1)
2aは、ロボット(3) の位置を推定して、自己の移動方向
を知る。
An example of the moving method of this system is shown in FIG. For example, if the robot (3) 2a moves, the positions of the other robots (2) and (3) 2a viewed from the robot (1) 2a are measured and the relative angles θ 1 and φ 1 from the reference position are measured. The robot (2) 2a recognizes the positions of the other robots (1) and (3) 2a by measuring the relative angles θ 2 and φ 2 from the reference position , and then recognizes the mutual position information. Replace, for example, robot (1)
2a estimates the position of the robot (3) and knows its own moving direction.

【0042】又、上記複数個のロボット(1),(2) 2aの間
に、障害物 3a が存在していて、ロボット(1) 2aから他
のロボット(2) 2aの位置が認識できない場合、本発明に
よる環境整理、具体的には、上記障害物 3a の移動等
は、次のようにして実現される。
Further, when an obstacle 3a exists between the plurality of robots (1), (2) 2a, and the position of another robot (2) 2a cannot be recognized from the robot (1) 2a. The environmental arrangement according to the present invention, specifically, the movement of the obstacle 3a is realized as follows.

【0043】すなわち、本システムでは、図10のよう
に、障害物 3a 等により他のロボット(2) 2aや環境内の
目印が観測できない時など、自己位置の同定や移動戦略
の決定が困難な場合には、図11,図12に示すよう
に、従来のようにロボット自身を移動させるだけでな
く、他のロボットへ移動を指令したり、障害物を移動す
るなど、積極的に環境を整理することにより、問題の解
決を試みる。
That is, in this system, as shown in FIG. 10, when the other robot (2) 2a or a mark in the environment cannot be observed due to an obstacle 3a or the like, it is difficult to identify the self-position and determine the movement strategy. In this case, as shown in FIG. 11 and FIG. 12, not only the robot itself is moved as in the conventional case, but also other robots are instructed to move, obstacles are moved, and the environment is positively organized. By trying to solve the problem.

【0044】即ち、図11は、群移動ロボットシステム
において、他のロボット 2a を認識する場合の動作例を
流れ図で示したものである。先ず、図12(a) に示され
ているように自己が移動する。{図11の処理ステップ
100参照} 目標である他のロボット 2a を探し、他のロボットが認
識できなかったとき、図12(b) に示したように、他の
ロボット 2a を動かしてみる。{図11の処理ステップ
101,102,104参照} このようにして、他のロボット 2a が認識できたとき、
自己の位置を同定する。{図11の処理ステップ 102,1
04,101,102,106参照} 上記の処理ステップ 102において、他のロボット 2a が
認識できなかったとき、図12(c) に示したように、障
害物 3a を動かすことを試みる。{図11の処理ステッ
プ 102,105参照} 自己の位置の同定ができたとき、目的地に到達したか否
かを調べて、目的地でないとき、処理ステップ 100に戻
って、同じ動作を繰り返す。{図10の処理ステップ 1
07,100参照} 又、本システムには、上位、下位の2層からなる階層型
センサ情報処理ユニット 4a,4c(図5〜図7参照)を有
する。下位層センサ情報処理ユニット 4a は、障害物 3
a の認識や, 他のロボット 2a や, 環境内の目印の観測
など、ロボット2a の自律行動に必要な基本的な機能を
制御する。
That is, FIG. 11 is a flow chart showing an operation example in the case of recognizing another robot 2a in the group mobile robot system. First, the self moves as shown in FIG. 12 (a). {Processing step of FIG. 11
See 100} Find the other robot 2a that is the target, and if the other robot 2a cannot be recognized, try moving the other robot 2a as shown in FIG. 12 (b). {Processing step of FIG. 11
See 101, 102, 104} In this way, when the other robot 2a can be recognized,
Identify your location. {Processing steps 102,1 in FIG. 11
04, 101, 102, 106} In the above processing step 102, when the other robot 2a cannot be recognized, an attempt is made to move the obstacle 3a as shown in FIG. 12 (c). {Refer to processing steps 102 and 105 in FIG. 11} When the position of the self can be identified, it is checked whether or not the destination is reached. If not, the process returns to the processing step 100 to repeat the same operation. {Processing step 1 of FIG. 10
Also, this system has hierarchical sensor information processing units 4a and 4c (see FIGS. 5 to 7) composed of upper and lower two layers. Lower layer sensor information processing unit 4a
It controls the basic functions required for autonomous behavior of the robot 2a, such as recognition of a and observation of other robots 2a and landmarks in the environment.

【0045】又、上位層センサ情報処理ユニット 2c
は、障害物 3a の移動や他のロボット2a への運動指令
の生成など、目標達成のための大局的な指令を生成す
る。このように、本システムを用いると、対象物が障害
物 3a に隠れている場合など、環境が複雑で従来の画像
処理システムでは、正確な認識が困難な場合でも、障害
物 3a を除去するなど自ら環境を整えることにより、最
終的に認識作業を遂行することが可能となる。
The upper layer sensor information processing unit 2c
Generates a global command for achieving a target such as movement of the obstacle 3a and generation of a motion command to another robot 2a. In this way, using this system, even if the object is hidden by the obstacle 3a and the environment is complicated and accurate recognition is difficult with the conventional image processing system, the obstacle 3a is removed. By adjusting the environment by yourself, it becomes possible to finally carry out the recognition work.

【0046】このように、本発明による能動的環境認識
システムにおいては、外部環境 3の正確な認識が困難な
場合、自己や環境を状況に応じて適当に変化させる機
能、外部環境の正確な認識が可能な場合、センサ情報か
ら外部環境 3を再構築し、高度な作業計画を作成する機
能、そして、もし外部環境 3が複雑で正確な認識が困難
である場合には、認識システムは、まず、下位層センサ
情報処理ユニット 4a を働かせて環境を整理しようと試
み、外部環境 3がある程度整理され、上位層センサ処理
ユニット 4b,〜が利用可能となった状態で、より正確な
環境認識のための作業計画を作成し、高度な認識作業を
行うようにしたものである。
As described above, in the active environment recognition system according to the present invention, when it is difficult to accurately recognize the external environment 3, the function of appropriately changing oneself or the environment according to the situation, and the accurate recognition of the external environment. If it is possible, the function of reconstructing the external environment 3 from the sensor information and creating an advanced work plan, and if the external environment 3 is complicated and difficult to recognize accurately, the recognition system first Attempting to organize the environment by using the lower layer sensor information processing unit 4a, the external environment 3 was organized to some extent, and the upper layer sensor processing unit 4b, ~ became available for more accurate environment recognition. The work plan of is created and the high-level recognition work is performed.

【0047】即ち、ここでの下位層センサ情報処理ユニ
ット 4a は、人間でいえば、脊髄反射、あるいは "無意
識の" 行動であり、上位層センサ情報処理ユニット 4b,
〜は、知識や経験を基にした "意識下の" 行動である。
そして、本発明では、この階層型情報処理システムを用
い、例えば障害物 3a に遮られて見えない物体を手で取
りたい場合には、障害物 3a を詳細に観察することな
く、とにかく、下位層センサ情報処理ユニット 4a だけ
で無意識的に手を伸ばして障害物 3a を移動させ、物体
が観測されたところで上位層センサ情報処理ユニット 4
b,〜を働かせて、その種類や位置、姿勢を正確に認識す
るのである。
That is, the lower layer sensor information processing unit 4a here is a spinal reflex, or "unconscious" behavior in humans, and the lower layer sensor information processing unit 4b,
~ Is a "conscious" action based on knowledge and experience.
Then, in the present invention, when using this hierarchical information processing system, for example, when it is desired to pick up an invisible object obstructed by the obstacle 3a by hand, it is not necessary to observe the obstacle 3a in detail. The sensor information processing unit 4a unintentionally extends the hand to move the obstacle 3a, and when the object is observed, the upper layer sensor information processing unit 4a
b, ... are used to accurately recognize their type, position, and posture.

【0048】従って、認識したい対象物像が十分に鮮明
で、かつ対象物が周囲環境と孤立しているような場合、
即ち、従来の画像処理手法でも対象物を認識できる場合
には、上位層センサ情報処理システム 4b,〜を用いて対
象物を識別し、さらに、対象物の位置、姿勢等がより正
確に認識できるようにセンサ 1の位置を変更する。また
物体が、障害物 3a に隠れている場合など、環境が複雑
で従来の画像処理手法では認識が困難な場合には、ま
ず、下位層センサ情報処理ユニット 4a を用いて障害物
3a に接近し、対象物を遮蔽している障害物 3a を適当
に掴んで移動させたり、あるいは、認識したい物体その
ものを障害物 3a のない場所へ移動させたりして、より
センサ系が機能しやすいように外部環境 3を整理し、そ
の後、上位層センサ情報処理ユニット 4b,〜を用いて対
象物を認識することができる。
Therefore, when the object image to be recognized is sufficiently clear and the object is isolated from the surrounding environment,
That is, when the target can be recognized even by the conventional image processing method, the target is identified by using the upper layer sensor information processing system 4b, to further recognize the position, the posture, etc. of the target more accurately. Change the position of sensor 1. If the object is hidden by the obstacle 3a and the recognition is difficult with the conventional image processing method such as when the object is hidden by the obstacle 3a, first use the lower layer sensor information processing unit 4a.
The sensor system functions better by approaching 3a and moving by grasping the obstacle 3a that shields the target appropriately, or by moving the object itself to be recognized to a place without the obstacle 3a. The external environment 3 can be organized so that it can be easily recognized, and then the object can be recognized using the upper layer sensor information processing units 4b ,.

【0049】[0049]

【発明の効果】以上、詳細に説明したように、本発明に
よれば、従来の視覚認識システムや移動ロボットシステ
ムでは、センサ能力や, 環境の複雑性により目標達成が
困難な場合でも、積極的に環境を整理することにより、
最終的に外部環境を認識し、目標達成を可能にするセン
サ情報処理システムが実現でき、かかる環境認識システ
ムの性能向上に寄与するところが大きい。
As described above in detail, according to the present invention, in the conventional visual recognition system and mobile robot system, even if it is difficult to achieve the target due to the sensor capability and the complexity of the environment, By organizing the environment into
In the end, a sensor information processing system that recognizes the external environment and achieves the target can be realized, and it greatly contributes to the performance improvement of the environment recognition system.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の原理説明図(その1)FIG. 1 is an explanatory diagram (1) of the principle of the present invention.

【図2】本発明の原理説明図(その2)FIG. 2 is an explanatory diagram of the principle of the present invention (No. 2)

【図3】本発明の原理説明図(その3)FIG. 3 is an explanatory diagram of the principle of the present invention (No. 3)

【図4】本発明の一実施例を示した図(その1)FIG. 4 is a diagram showing an embodiment of the present invention (No. 1).

【図5】本発明の一実施例を示した図(その2)FIG. 5 is a diagram showing an embodiment of the present invention (part 2).

【図6】本発明の一実施例を示した図(その3)FIG. 6 is a diagram showing an embodiment of the present invention (part 3).

【図7】本発明の一実施例を示した図(その4)FIG. 7 is a diagram showing an embodiment of the present invention (Part 4).

【図8】本発明の他の実施例を示した図(その1)FIG. 8 is a diagram showing another embodiment of the present invention (No. 1).

【図9】本発明の他の実施例を示した図(その2)FIG. 9 is a diagram showing another embodiment of the present invention (Part 2).

【図10】本発明の他の実施例を示した図(その3)FIG. 10 is a diagram showing another embodiment of the present invention (part 3).

【図11】本発明の他の実施例を示した図(その4)FIG. 11 is a diagram showing another embodiment of the present invention (Part 4).

【図12】本発明の他の実施例を示した図(その5)FIG. 12 is a diagram showing another embodiment of the present invention (No. 5).

【図13】従来の環境認識システムを説明する図FIG. 13 is a diagram illustrating a conventional environment recognition system.

【符号の説明】[Explanation of symbols]

1 センサ機構 2 アクチュ
エータ機構 3 外部環境 4 センサ情報処理ユニット 4a 下位層センサ情報処理ユニット 4b 中間層センサ情報処理ユニット 4c 上位層センサ情報処理ユニット 2a ロボット 3a 障害物 40 推論機構 41 切り替え
手段 42 試行錯誤的決定機構 43,44 学習機構 45 環境認識機構 100 〜107 処理ステップ センサ情報 運動指令 下位層センサ情報処理ユニットからの情報
1 Sensor mechanism 2 Actuator mechanism 3 External environment 4 Sensor information processing unit 4a Lower layer sensor information processing unit 4b Middle layer sensor information processing unit 4c Upper layer sensor information processing unit 2a Robot 3a Obstacle 40 Inference mechanism 41 Switching means 42 Trial and error Decision mechanism 43,44 Learning mechanism 45 Environment recognition mechanism 100-107 Processing steps Sensor information Motion command Lower layer sensor Information from information processing unit

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】外部環境(3) の情報を収集する単数,或い
は複数のセンサ機構(1) と、外部環境(3) を変化させる
アクチュエータ機構(2) と、上記センサ機構(1) からの
センサ情報 () により、上記アクチュエータ機構(2)
への運動指令 () を生成する情報処理機構(4) を備え
ることを特徴とする能動的環境認識システム。
1. A single or plural sensor mechanism (1) for collecting information of an external environment (3), an actuator mechanism (2) for changing the external environment (3), and a sensor mechanism (1) from the sensor mechanism (1). Based on the sensor information (), the above actuator mechanism (2)
An active environment recognition system characterized by comprising an information processing mechanism (4) for generating a motion command () to the user.
【請求項2】請求項1に記載の能動的環境認識システム
であって、該能動的環境認識システムの上記情報処理機
構(4) 内に所定の推論機構(40)を備え、 上記情報処理機構(4) が、上記センサ機構(1) から獲得
した外部環境(3) に関する情報を用いて、上記情報処理
機構(4) 内の推論機構(40)が、自己運動や、対象物の位
置, 照明などの外部環境の変更手順を推論,選択し、上
記アクチュエータ機構(2) への運動指令 () を生成す
るすることを特徴とする能動的環境認識システム。
2. The active environment recognition system according to claim 1, further comprising a predetermined inference mechanism (40) in the information processing mechanism (4) of the active environment recognition system, (4) uses the information about the external environment (3) obtained from the sensor mechanism (1), and the reasoning mechanism (40) in the information processing mechanism (4) detects the self-motion, the position of the object, An active environment recognition system characterized by generating and issuing a motion command () to the actuator mechanism (2) by inferring and selecting a procedure for changing the external environment such as lighting.
【請求項3】請求項1に記載の能動的環境認識システム
であって、 該能動的環境認識システムの上記情報処理機構(4) に、
次の行動を試行錯誤的な手法で決定する試行錯誤的決定
機構(42)を備えたことを特徴とする能動的環境認識シス
テム。
3. The active environment recognition system according to claim 1, wherein the information processing mechanism (4) of the active environment recognition system comprises:
An active environment recognition system comprising a trial-and-error decision mechanism (42) for determining the next action by a trial-and-error method.
【請求項4】請求項1に記載の能動的環境認識システム
であって、該能動的環境認識システムの上記情報処理機
構(4) 内に学習機構(43,44) を備え、 上記情報処理機構(4) 内の推論機構(40)や、次の行動を
試行錯誤な手法で決定する試行錯誤的決定機構(42)で実
現された自己運動や, 外部環境の変更手順を、上記学習
装置(43,44) で学習し、獲得することを特徴とする能動
的環境認識システム。
4. The active environment recognition system according to claim 1, further comprising a learning mechanism (43, 44) in the information processing mechanism (4) of the active environment recognition system, (4) The self-movement and the external environment change procedure realized by the inference mechanism (40) in (4) and the trial-and-error decision mechanism (42) that determines the next action by a trial-and-error method are described above. 43,44) is an active environment recognition system characterized by learning and acquisition.
【請求項5】請求項4に記載の学習装置(43,44) は、ニ
ューラルネットワークであることを特徴とする能動的環
境認識システム。
5. The active environment recognition system according to claim 4, wherein the learning device (43, 44) is a neural network.
【請求項6】請求項1に記載の能動的環境認識システム
であって、 上記センサ機構(1) からのセンサ情報に基づいて、上記
アクチュエータ機構(2)に対する運動指令を生成する情
報処理機構(4) が、 上記センサ機構(1) からのセンサ情報に基づいて、直接
的な運動指令を生成する情報処理機構(4a)と、 上記センサ機構(1) からの情報 () と、上記直接的な
運動指令を生成する情報処理機構(4a)等から得られる情
報 () 等を用いて、上記推論機構(40)による所定の推
論により、所定の自己運動や、上記外部環境(3) の変更
手順を計画して、上記アクチュエータ機構(2) に対する
運動指令 () を生成する情報処理機構(4b,〜) とから
構成される階層型情報処理システムであることを特徴と
する能動的環境認識システム。
6. The active environment recognition system according to claim 1, wherein an information processing mechanism for generating a motion command to the actuator mechanism (2) based on sensor information from the sensor mechanism (1). 4) is an information processing mechanism (4a) that generates a direct motion command based on the sensor information from the sensor mechanism (1), information () from the sensor mechanism (1), and Using the information (), etc. obtained from the information processing mechanism (4a) etc. that generates various movement commands, the predetermined inference by the above inference mechanism (40) and the change of the external environment (3) An active environment recognition system characterized by being a hierarchical information processing system composed of an information processing mechanism (4b, ...) which generates a motion command () for the actuator mechanism (2) by planning a procedure. .
【請求項7】請求項1に記載の能動的環境認識システム
であって、上記センサ機構(1) の一つに、ビジョンセン
サ(1a)を備え、 上記ビジョンセンサ(1a)から得られる自己, 及び外部環
境(3) の情報による自己, 及び外部環境(3) の環境認識
手段(45)として、 オプティカルフローを用いた物体検出手段, 色及び濃淡
値情報による対象物体の切り出し手段, 及び、テンプレ
ートマッチングや, 物体像の幾何モデルのマッチングに
よる対象物の種類, 位置, 姿勢の認識手段を用いたこと
を特徴とする能動的環境認識システム。
7. The active environment recognition system according to claim 1, wherein one of the sensor mechanisms (1) includes a vision sensor (1a), and the self obtained from the vision sensor (1a), Also, as an environment recognition means (45) for the self and the external environment (3) by the information of the external environment (3), an object detection means using an optical flow, a means for cutting out the target object by the color and gray value information, and a template An active environment recognition system characterized by using means for recognizing types, positions, and orientations of objects by matching and matching of geometric models of object images.
【請求項8】複数台の上記ロボット機構(2a)が協調し
て、相互の位置の同定を行う群ロボット位置同定システ
ムにおいて、 障害物(3a)などにより、他のロボット機構(2a)の認識が
困難な場合、自己や他のロボット機構(2a)を移動させた
り、障害物(3a)を移動させて、相手のロボット機構(2a)
を認識し、位置の同定を行うことを特徴とする能動的環
境認識システム。
8. A group robot position identification system in which a plurality of robot mechanisms (2a) cooperate with each other to identify positions of each other, and an obstacle (3a) or the like recognizes another robot mechanism (2a). If it is difficult to move, move yourself or another robot mechanism (2a) or move the obstacle (3a) to the opponent robot mechanism (2a).
An active environment recognition system characterized by recognizing objects and identifying positions.
JP6165076A 1994-07-18 1994-07-18 Active environment recognition system Pending JPH0830327A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6165076A JPH0830327A (en) 1994-07-18 1994-07-18 Active environment recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6165076A JPH0830327A (en) 1994-07-18 1994-07-18 Active environment recognition system

Publications (1)

Publication Number Publication Date
JPH0830327A true JPH0830327A (en) 1996-02-02

Family

ID=15805417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6165076A Pending JPH0830327A (en) 1994-07-18 1994-07-18 Active environment recognition system

Country Status (1)

Country Link
JP (1) JPH0830327A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091207A (en) * 1996-09-13 1998-04-10 Fujitsu Ltd Method and device for automatic internal expression generation
JP2000187505A (en) * 1998-12-22 2000-07-04 Kanemoto Terauchi Computer system having distributed learning function
JP2004118469A (en) * 2002-09-25 2004-04-15 Matsushita Electric Works Ltd Autonomous moving device
JP2005262378A (en) * 2004-03-18 2005-09-29 Oki Electric Ind Co Ltd Autonomous robot and its control method
JP2005271137A (en) * 2004-03-24 2005-10-06 Sony Corp Robot device and control method thereof
US7082351B2 (en) 2001-11-20 2006-07-25 Sharp Kabushiki Kaisha Group robot system, and sensing robot and base station used therefor
KR100656372B1 (en) * 2005-12-09 2006-12-11 한국전자통신연구원 System and method of feasibility estimation for robot services
JP2007237334A (en) * 2006-03-08 2007-09-20 Toyota Motor Corp Holding control method for robot hand
US7409266B2 (en) 2002-12-20 2008-08-05 Sharp Kabushiki Kaisha Group robot system that can obtain detailed overall information of object efficiently
JP2009107043A (en) * 2007-10-29 2009-05-21 Canon Inc Gripping device and method of controlling gripping device
JP2012228765A (en) * 2011-04-27 2012-11-22 Toyota Motor Corp Robot, method for operating robot and program
JP2014066679A (en) * 2012-09-27 2014-04-17 Ihi Corp Device state identification method and device
JP2015208834A (en) * 2014-04-30 2015-11-24 ファナック株式会社 Safety monitoring device for robot gripping and transporting workpiece
JP2017124448A (en) * 2016-01-12 2017-07-20 株式会社Ihi Relative data calibration equipment and method
JP2018185767A (en) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 Environment maintenance robot, and control program of the same
JP2019093461A (en) * 2017-11-20 2019-06-20 株式会社安川電機 Holding system, learning device, holding method and model manufacturing method
WO2019176737A1 (en) * 2018-03-13 2019-09-19 オムロン株式会社 Calculation device, calculation method, and program
JP2020530080A (en) * 2017-07-31 2020-10-15 ベセリル エルナンデス ヘルマン Automated and robotized construction systems and methods
WO2022264597A1 (en) * 2021-06-15 2022-12-22 Dmg森精機株式会社 Robot system
US11928591B2 (en) 2020-02-28 2024-03-12 Hitachi, Ltd. Information processing apparatus and information processing method

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091207A (en) * 1996-09-13 1998-04-10 Fujitsu Ltd Method and device for automatic internal expression generation
JP2000187505A (en) * 1998-12-22 2000-07-04 Kanemoto Terauchi Computer system having distributed learning function
US7082351B2 (en) 2001-11-20 2006-07-25 Sharp Kabushiki Kaisha Group robot system, and sensing robot and base station used therefor
US7283893B2 (en) 2001-11-20 2007-10-16 Sharp Kabushiki Kaisha Group robot system, and sensing robot and base station used therefor
JP2004118469A (en) * 2002-09-25 2004-04-15 Matsushita Electric Works Ltd Autonomous moving device
US7409266B2 (en) 2002-12-20 2008-08-05 Sharp Kabushiki Kaisha Group robot system that can obtain detailed overall information of object efficiently
JP2005262378A (en) * 2004-03-18 2005-09-29 Oki Electric Ind Co Ltd Autonomous robot and its control method
JP2005271137A (en) * 2004-03-24 2005-10-06 Sony Corp Robot device and control method thereof
KR100656372B1 (en) * 2005-12-09 2006-12-11 한국전자통신연구원 System and method of feasibility estimation for robot services
JP2007237334A (en) * 2006-03-08 2007-09-20 Toyota Motor Corp Holding control method for robot hand
JP2009107043A (en) * 2007-10-29 2009-05-21 Canon Inc Gripping device and method of controlling gripping device
JP2012228765A (en) * 2011-04-27 2012-11-22 Toyota Motor Corp Robot, method for operating robot and program
JP2014066679A (en) * 2012-09-27 2014-04-17 Ihi Corp Device state identification method and device
US9682478B2 (en) 2014-04-30 2017-06-20 Fanuc Corporation Safety monitoring device for robot gripping and carrying workpiece
JP2015208834A (en) * 2014-04-30 2015-11-24 ファナック株式会社 Safety monitoring device for robot gripping and transporting workpiece
JP2017124448A (en) * 2016-01-12 2017-07-20 株式会社Ihi Relative data calibration equipment and method
JP2018185767A (en) * 2017-04-27 2018-11-22 トヨタ自動車株式会社 Environment maintenance robot, and control program of the same
JP2020530080A (en) * 2017-07-31 2020-10-15 ベセリル エルナンデス ヘルマン Automated and robotized construction systems and methods
US11338435B2 (en) 2017-11-20 2022-05-24 Kabushiki Kaisha Yaskawa Denki Gripping system with machine learning
JP2019093461A (en) * 2017-11-20 2019-06-20 株式会社安川電機 Holding system, learning device, holding method and model manufacturing method
JP2019159767A (en) * 2018-03-13 2019-09-19 オムロン株式会社 Operational equipment, operation method, and program thereof
CN111684474A (en) * 2018-03-13 2020-09-18 欧姆龙株式会社 Arithmetic device, arithmetic method, and program thereof
WO2019176737A1 (en) * 2018-03-13 2019-09-19 オムロン株式会社 Calculation device, calculation method, and program
CN111684474B (en) * 2018-03-13 2024-04-16 欧姆龙株式会社 Arithmetic device, arithmetic method, and recording medium
US11928591B2 (en) 2020-02-28 2024-03-12 Hitachi, Ltd. Information processing apparatus and information processing method
WO2022264597A1 (en) * 2021-06-15 2022-12-22 Dmg森精機株式会社 Robot system

Similar Documents

Publication Publication Date Title
JPH0830327A (en) Active environment recognition system
Watkins-Valls et al. Multi-modal geometric learning for grasping and manipulation
CN114080583B (en) Visual teaching and repetitive movement manipulation system
Kraft et al. Birth of the object: Detection of objectness and extraction of object shape through object–action complexes
JP2012218119A (en) Information processing apparatus, method for controlling the same, and program
Garcia et al. Tracing patterns and attention: Humanoid robot cognition
Yanik et al. Use of kinect depth data and growing neural gas for gesture based robot control
Hueser et al. Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration
Sunil et al. Visuotactile affordances for cloth manipulation with local control
Xue et al. Gesture-and vision-based automatic grasping and flexible placement in teleoperation
Belardinelli et al. Intention estimation from gaze and motion features for human-robot shared-control object manipulation
Mugisha et al. Safe collaboration between human and robot in a context of intermittent haptique interface
Infantino et al. A cognitive architecture for robotic hand posture learning
Tran et al. Human body modelling and tracking using volumetric representation: Selected recent studies and possibilities for extensions
Asfour et al. From sensorimotor primitives to manipulation and imitation strategies in humanoid robots
Amat et al. Virtual exoskeleton for telemanipulation
Heinzmann et al. A visual interface for human-robot interaction
Montiel et al. Parallel control model for navigation tasks on service robots
Theis et al. Detecting the gaze direction for a man machine interface
Grotz Active Vision for Scene Understanding
Bachelder et al. Neural networks for mobile robot visual exploration
Frigola et al. Computer Vision Body Modeling for Gesture Based Teleoperation
Watkins Learning Mobile Manipulation
Zaatri et al. Design and Implementation of a Supervised Intelligent Function
Laschi et al. Recognizing hand posture by vision: applications in humanoid personal robotics

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20011002