JPH08305853A - Method and device for object recognition and decision making based upon recognition - Google Patents
Method and device for object recognition and decision making based upon recognitionInfo
- Publication number
- JPH08305853A JPH08305853A JP10531895A JP10531895A JPH08305853A JP H08305853 A JPH08305853 A JP H08305853A JP 10531895 A JP10531895 A JP 10531895A JP 10531895 A JP10531895 A JP 10531895A JP H08305853 A JPH08305853 A JP H08305853A
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- recognition target
- unit
- storage
- external signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、外部信号から必要な
情報を抽出し、その情報について記憶との照合、連想、
推論を実行することによって状況に応じて対象を認識
し、意思決定を行う情報処理の方法およびその装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention extracts necessary information from an external signal and collates it with a memory, associates it with
The present invention relates to an information processing method and an apparatus for recognizing an object according to a situation and making a decision by executing inference.
【０００２】[0002]
【従来の技術】外界からの情報を用いて人間が行う意思
決定を計算機に代行させるための研究がこれまで数多く
なされてきた。それらは記号推論に基づく人工知能研究
と、物体認識などを目標とする画像工学研究に大きく分
けられる。外界から得た外部信号は画像信号とは限定さ
れないが、用いられる割合が非常に大きく、ここでは画
像信号に限定して述べる。前者の人工知能研究によっ
て、エキスパート・システムなど多くの推論システムが
構築され、意思決定支援システムとして実用化されてき
た。後者の画像工学研究は、コンピュータ・ビジョンと
呼ばれる研究分野を確立している。2. Description of the Related Art A lot of researches have been made so far to substitute a computer for decision making made by humans by using information from the outside world. They are roughly divided into artificial intelligence research based on symbolic reasoning and image engineering research aiming at object recognition. An external signal obtained from the outside world is not limited to an image signal, but is used in a very large proportion, and will be described here only as an image signal. By the former artificial intelligence research, many reasoning systems such as expert systems have been constructed and put into practical use as decision support systems. The latter image engineering research has established a research field called computer vision.
【０００３】推論システムの例として、人工知能学会誌
（1992），Ｖｏｌ．７，Ｎｏ．６，ｐｐ１０８７−１０
９５に掲載された安信千津子らによるルールベースと事
例ベースの両方を備え持つ知識ベース推論システムがあ
る。従来のエキスパート・システムの多くは専門家の持
つ知識をルールベースに格納し、そのルールに基づいて
推論を行うものであった。しかし一般にビジネス分野の
審査業務などでは審査規制に定められていない事態も多
く発生し、その場合過去の審査事例を参考にして判断す
る。このようにルールと併せて事例を活用することが判
断に役立つ場合が多く、この従来例のシステムは状況に
応じてルールもしくは事例を参考にして意思決定を支援
する。As an example of an inference system, a journal of the Japanese Society for Artificial Intelligence (1992), Vol. 7, No. 6, pp1087-10
There is a knowledge-based reasoning system that has both a rule base and a case base by Chizuko Yasunobu et al. Published in 1995. Most conventional expert systems store the knowledge of experts in a rule base and make inferences based on the rules. However, in general, there are many situations that are not defined in the examination regulations in the examination work in the business field, in which case the past examination cases will be referred to make the judgment. In this way, it is often useful to use the case in combination with the rule, and the system of this conventional example supports the decision making by referring to the rule or the case depending on the situation.
【０００４】図７にこのシステムの構成を示す。８は専
門家の持つ知識をｉｆ−thenルールとして記憶している
ルールベース、９は過去の問題と解を事例として記憶し
ている事例ベースである。１０はワーキング・メモリで
あり、現在の問題、解及び途中結果などのデータを記憶
している。１１は推論エンジンであり、次の三つの機能
を持つ。 〔１〕推論パラダイムの選択：ルールベース８もしくは
事例ベース９に基づいた推論のいずれを選択するかにつ
いて、ワーキング・メモリ１０の内容との照合処理によ
って決定し、現在直面している問題に対し適切な推論を
行う。ルールベース８を構成するルールまたは事例ベー
ス９を構成する事例と、ワーキング・メモリ１０の内容
とが適合するか否かを、０から１の間の連続値を適合度
として算出する。この照合結果に基づき、最も適合度の
高いものがルールベース８のルールであるか事例ベース
９の事例であるかによって、それぞれに基づいた推論を
行う。両方のルールが同じ適合度の場合はルールベース
８に基づいた推論を優先する。 〔２〕検索機能：現在の問題に対し適切なif−thenルー
ルをルールベース８から検索するか、もしくは現在の問
題に類似する事例を事例ベース９から検索する。検索
は、上記の適合度計算と同様、各ルールまたは事例が役
立つか否かについて、０から１の間の連続値として計算
する。 〔３〕実行機能：ルールベース８から検索されたif−th
enルールに従い実行するか、事例ベース９から検索した
事例を現在の問題に適合するよう加工することにより、
現在の問題の解を推論する。FIG. 7 shows the configuration of this system. Reference numeral 8 is a rule base in which knowledge of experts is stored as if-then rules, and 9 is a case base in which past problems and solutions are stored as cases. A working memory 10 stores data such as the current problem, solution, and intermediate result. Reference numeral 11 is an inference engine, which has the following three functions. [1] Selection of inference paradigm: Whether to select inference based on the rule base 8 or the case base 9 is determined by collation processing with the contents of the working memory 10 and appropriate for the problem currently facing. Reasoning. Whether or not the rules forming the rule base 8 or the cases forming the case base 9 and the contents of the working memory 10 are matched is calculated with a continuous value between 0 and 1 as the matching degree. Based on this collation result, inference based on each of the rules of the rule base 8 and the case of the case base 9 is performed, whichever has the highest matching degree. When both rules have the same goodness of fit, inference based on the rule base 8 is prioritized. [2] Retrieval function: An appropriate if-then rule for the current problem is retrieved from the rule base 8 or a case similar to the current problem is retrieved from the case base 9. The search, like the goodness-of-fit calculation above, calculates whether each rule or case is useful as a continuous value between 0 and 1. [3] Execution function: if-th retrieved from rule base 8
By executing according to the en rule or processing the case retrieved from the case base 9 so as to fit the current problem,
Infer the solution to the current problem.
【０００５】１２はユーザインタフェースであり、ワー
キング・メモリ１０のデータの設定・変更、推論の起動
の指示、推論結果の確認などの一連をユーザが行うため
の装置である。Reference numeral 12 denotes a user interface, which is a device for the user to perform a series of operations such as setting / changing the data in the working memory 10, instructing to start the inference, and confirming the inference result.
【０００６】上記の知識ベースシステムを始め、多くの
推論システムでは演繹推論の枠内でしか推論が行えず、
推論体系の拡張性に問題点があった。これを解決するた
めに、記号推論の理論的研究から様々な推論形態が提唱
されてきた。特にアブダクションという推論形態が近年
注目を集めており、研究が進められている。Many inference systems including the above-mentioned knowledge-based system can infer only within the framework of deductive inference.
There was a problem in the extensibility of the reasoning system. In order to solve this, various inference forms have been proposed from theoretical research on symbolic inference. In particular, the inference form called abduction has been attracting attention in recent years, and research is proceeding.
【０００７】一般に人間は未知の状況に置かれた場合、
過去の経験で得た知識に基づいて仮説を立て状況に応じ
た適切な判断を下す。アブダクションはこのような仮説
に基づく推論過程を基本としている。これにより従来の
演繹や帰納推論とは異なり、経験的知識から新たに仮説
を作り出し、その妥当性を試行錯誤により検証し新しい
知識として取り込むことが可能である。アブダクション
推論の形式は一般に次のように与えられる。 （１）Ａ→Ｂ かつ （２）Ｃ→Ｂ ならば （３）Ａ
→Ｃ （１）は今直面している状況を示し、（２）は今までに
経験して知っている知識の中の一つに対応し、（３）は
（１）と（２）に基づいて導かれた仮説である。Generally, when a human being is placed in an unknown situation,
Make hypotheses based on knowledge gained from past experience and make appropriate decisions according to the situation. Abduction is based on an inference process based on this hypothesis. This makes it possible to create a new hypothesis from empirical knowledge, verify its validity by trial and error, and take in it as new knowledge, unlike conventional deduction and inductive reasoning. The form of abduction reasoning is generally given as: If (1) A → B and (2) C → B, then (3) A
→ C (1) shows the situation you are facing now, (2) corresponds to one of the knowledge you have experienced and knows, and (3) corresponds to (1) and (2) It is a hypothesis derived based on this.
【０００８】（２）におけるＣはＢを導く候補として一
般に数多く存在するので、結果として厖大な数の仮説が
得られ、従ってその数を絞り込むことが処理速度の点か
ら重要となる。さらに得られた仮説が既に持っている論
理体系と矛盾しないかどうかを検査する必要がある。こ
うした仮説の数の厖大さと無矛盾性の検査という二点を
踏まえ、記号論理によるアブダクション推論を高速に処
理することを目指したシステムとして、人工知能学会誌
（1993）,Vol.8,No.6,pp786-796 に掲載された井上克巳
らによる例がある。Since C in (2) generally exists as a candidate for guiding B, an enormous number of hypotheses can be obtained as a result, and it is therefore important to narrow down the number in terms of processing speed. Furthermore, it is necessary to test whether the obtained hypothesis is consistent with the logical system already possessed. As a system aiming at high-speed processing of abduction inference by symbolic logic based on the two points of the number of hypotheses and the check of consistency, a journal of the Japan Society for Artificial Intelligence (1993), Vol.8, No.6, There is an example by Katsumi Inoue and others published in pp786-796.
【０００９】図８はアブダクション推論システムのモジ
ュール構成である。１３は述語論理で記述された論理式
を高速計算のための記号表現に変換する翻訳モジュー
ル、１４は変換された記号表現から仮説を生成する仮説
生成モジュール、１５は生成された仮説が既に与えられ
ている論理体系と矛盾しないかどうかを検査する無矛盾
性検査モジュールである。ある仮説に対する矛盾の検査
法には次の二通りがある。 （Ｉ）論理式により記述された推論体系に基づき推論を
行い、矛盾を検出する。 （II）推論体系の中に矛盾を起こす仮説の集合を登録し
ておき、それとの照合により矛盾を検出する。この例で
は上記の（II）に基づいた無矛盾性検査をモジュール１
５によって処理し、そしてモジュール１４とモジュール
１５の機能を論理型言語向きの高速な並列計算機上に実
現し、並列に実行する計算機の台数を増やすことでアブ
ダクション推論をスピードアップさせている。FIG. 8 shows the module configuration of the abduction inference system. 13 is a translation module that converts a logical expression described by predicate logic into a symbolic expression for high-speed calculation, 14 is a hypothesis generating module that generates a hypothesis from the converted symbolic expression, and 15 is a hypothesis that has already been generated. It is a consistency check module that checks whether or not it does not conflict with the existing logic system. There are two methods for checking contradiction for a hypothesis. (I) Inference is performed based on the inference system described by the logical expression to detect a contradiction. (II) A set of hypotheses that cause a contradiction is registered in the reasoning system, and the contradiction is detected by collating with it. In this example, the consistency check based on (II) above is performed in module 1
5, the functions of the module 14 and the module 15 are realized on a high-speed parallel computer suitable for a logical programming language, and the number of computers executing in parallel is increased to speed up the abduction inference.
【００１０】上記の二つの従来例はいずれも記号推論シ
ステムであり、次のような問題が生じる。問題解決に必
要な情報は全て記号表現として与えるので、外界情報か
ら記号への変換と意味の付与は全て人間が行う必要があ
る。視覚情報など様々なセンサ情報が処理され、知識と
して表現する方法が与えられていなければ、いかなるシ
ステムも常に人間の関与を必要とする。従って人間が行
う意思決定を全て計算機に代行させることは不可能であ
り、解決可能な問題は極めて限定される。Both of the above two conventional examples are symbolic inference systems, and the following problems occur. Since all the information necessary for problem solving is given as a symbolic expression, it is necessary for humans to perform all conversion from external information to symbols and addition of meaning. Unless various sensor information such as visual information is processed and a method of expressing it as knowledge is given, any system always needs human involvement. Therefore, it is impossible to delegate all decisions made by humans to a computer, and the problem that can be solved is extremely limited.
【００１１】このことから、センサ情報を処理し外界情
報を内部表現に変換するシステムの構築が不可欠であ
る。コンピュータ・ビジョンなどの画像工学研究では、
静止画像または動画像から物体の形状および動きを識別
し、さらに複雑な背景から視標を分離するためのモデル
が提唱され、多くの画像認識システムが構築されてき
た。これらのうち、動画像処理により人間の行動認識を
行う画像認識システムとして、特開平５−４６５８３号
公報に示された大和淳司らによる例がある。多くの画像
認識システムでは、形状抽出などの低い認知レベルに留
まっているのに対し、この従来技術では人間の行動認識
といった高度な認知レベルを目標としている。Therefore, it is essential to construct a system for processing sensor information and converting external world information into internal representation. In image engineering research such as computer vision,
A model for discriminating the shape and movement of an object from a still image or a moving image and separating a target from a more complicated background has been proposed, and many image recognition systems have been constructed. Among these, as an image recognition system for recognizing human behavior by moving image processing, there is an example by Junji Yamato et al., Which is disclosed in JP-A-5-46583. While many image recognition systems remain at a low recognition level such as shape extraction, this conventional technique aims at a high recognition level such as human behavior recognition.
【００１２】図９はこの従来例のアルゴリズムを表わ
す。まず、画像入力部１６から行動中の人間を含む動画
像を捉え、画像用メモリ１７に格納する。次に、特徴抽
出部１８により、動画像から特徴ベクトルが得られる。
ここで具体的な特徴ベクトルの計算方法の一例を説明す
る。FIG. 9 shows this conventional algorithm. First, a moving image including an active person is captured from the image input unit 16 and stored in the image memory 17. Next, the feature extraction unit 18 obtains a feature vector from the moving image.
Here, an example of a specific method of calculating a feature vector will be described.
【００１３】図１０に示すように画像用メモリをｎ×ｍ
の画像数を持つＮ×Ｍのサブブロックに分割し、各々の
サブブロックで画像の二値化を行う。次にこのサブブロ
ック内の黒画素の占有率を求め、占有率を変数値とする
Ｎ×Ｍ次元の特徴ベクトルとする。この特徴ベクトルは
特徴格納メモリ１９に記録される。そして特徴ベクトル
は量子化部２０によってシンボルに変換され、シンボル
格納メモリ２１に記録される。この特徴ベクトルがシン
ボルに変換される方法を説明する。As shown in FIG. 10, the image memory is n × m.
The image is divided into N × M sub-blocks each having the number of images, and the image is binarized in each sub-block. Next, the occupancy rate of black pixels in this sub-block is obtained, and the occupancy rate is used as an N × M dimensional feature vector having a variable value. This feature vector is recorded in the feature storage memory 19. Then, the feature vector is converted into a symbol by the quantizer 20 and recorded in the symbol storage memory 21. A method of converting this feature vector into a symbol will be described.
【００１４】図１１は人間の動作認識のための代表的な
画像例であり、図１２は図１１の各画像の特徴ベクトル
に対応するシンボル（数字）である。時系列系に取り込
まれた複数の画像データはそれぞれ特徴ベクトルに変換
された後、特徴ベクトルに対応したシンボルの列に変換
される。図１３はある時系列的に取り込まれた図１１と
は別の画像データの列がシンボル列に変換された例を示
す。量子化部２０はあらかじめいくつかの代表点ベクト
ルを持っており、これらの一つ一つをシンボルと呼ぶ。
つまり、量子化部２０におけるシンボルへの変換とは、
特徴ベクトルが代表点ベクトル群の中で最も距離の近い
代表点ベクトルに対応するシンボルを選ぶということに
相当する。FIG. 11 shows a typical image example for human motion recognition, and FIG. 12 shows symbols (numerals) corresponding to the feature vectors of the images in FIG. The plurality of pieces of image data captured in the time series system are each converted into a feature vector, and then converted into a sequence of symbols corresponding to the feature vector. FIG. 13 shows an example in which a sequence of image data different from that in FIG. 11 captured in a certain time series is converted into a symbol sequence. The quantizer 20 has some representative point vectors in advance, and each of these is called a symbol.
That is, the conversion into symbols in the quantizer 20 is
This is equivalent to selecting the symbol whose feature vector corresponds to the representative point vector having the shortest distance from the representative point vector group.
【００１５】次に認識するカテゴリ数だけ用意された認
識用状態遷移モデル格納メモリ２５に格納されたモデル
の各々から、特徴ベクトルが生成される確率を尤度算出
部２２によって算出する。求められた尤度が最大となる
モデルが、認識結果として選択され認識結果用メモリ２
３に蓄積される。モデルパラメータ推定部２４は、各カ
テゴリ毎に複数与えられた学習用データから得られたシ
ンボルに対して、そのシンボルを発生するような状態遷
移モデルのパラメータを推定し、認識用状態遷移モデル
格納メモリ２５に蓄積する。Next, the likelihood calculating section 22 calculates the probability that a feature vector will be generated from each of the models stored in the recognition state transition model storage memory 25 prepared for the number of categories to be recognized. The model with the maximum likelihood obtained is selected as the recognition result and the recognition result memory 2 is selected.
Accumulated in 3. The model parameter estimation unit 24 estimates a parameter of a state transition model that generates a symbol for a symbol obtained from a plurality of training data given for each category, and stores a recognition state transition model storage memory. Accumulate in 25.
【００１６】この従来例では、認識対象の行動として四
つの動作（左足を上げる、左手を上げる、右足を上げ
る、右手を上げる）を例に挙げ、認識率として平均約９
０％という効果が得られている。しかし識別可能な人間
の動作は数種類に限定され、また未知の動作を新たに一
つの動作として登録する人間の動作は数種類に限定さ
れ、また未知の動作を新たに一つの動作として登録する
手法は与えられておらず、認識できる動作の拡張性に問
題があった。In this conventional example, four actions (raising the left foot, raising the left hand, raising the right foot, raising the right hand) are taken as examples of actions to be recognized, and the recognition rate is about 9 on average.
The effect of 0% is obtained. However, human motions that can be identified are limited to several types, unknown motions are newly registered as one motion, human motions are limited to several types, and a method of newly registering unknown motions as one motion is It was not given, and there was a problem with the expandability of recognizable actions.
【００１７】[0017]
【発明が解決しようとする課題】従来の推論システムの
例である安信らの方法は、if−thenルールに基づく演繹
推論システムで、推論体系の拡張性に問題があった。そ
の問題点を解決するためにアブダクション推論を導入し
た井上らの方法は、仮説の処理に関する厖大な量の計算
を、専用並列計算機で高速に処理することによって対処
している。しかし仮説の数の厖大さという問題は本質的
に解決されていない。さらにこの二つの推論システムは
いずれも記号推論システムであるため、問題解決に必要
な情報は全て記号表現として人間が与えないといけない
という問題点、すなわち各種センサで捉えられる外界情
報の内部表現への変換、および意味の付与は全て人間の
関与を必要とするという問題が残されている。The method of Yasunobu et al., Which is an example of a conventional inference system, is a deductive inference system based on if-then rules, and there is a problem in expandability of the inference system. Inoue et al.'S method, which introduces abduction inference to solve the problem, deals with the enormous amount of computation related to hypothesis processing by processing it at high speed on a dedicated parallel computer. However, the problem of the enormous number of hypotheses has not been essentially solved. Furthermore, since these two inference systems are both symbolic inference systems, the problem that humans must provide all the information necessary for problem solving as symbolic expressions, that is, the internal representation of external information captured by various sensors The problem remains that conversion and giving meaning all require human involvement.
【００１８】従来の画像認識システムの例である大和ら
の方法は、人間の関与しない認識の一手法を目指したも
のである。しかし識別可能な人間の動作は数種類に限定
され、未知の動作への対応は考慮されておらず動作認識
の柔軟性に問題があった。The method of Yamato et al., Which is an example of a conventional image recognition system, aims at a recognition method that does not involve humans. However, the human motions that can be identified are limited to several types, and there is a problem in the flexibility of motion recognition because the correspondence to unknown motions is not considered.
【００１９】本発明は上記のような従来の推論システム
の画像認識システムがそれぞれ抱える問題点を解消する
ためになされたもので、与えられた状況に柔軟に応じて
人間が関与せずに対象を認識し、その認識にもとづいて
意思決定を行う情報処理方法およびその装置を提供する
ことを目的とする。The present invention has been made in order to solve the problems of the image recognition system of the conventional inference system as described above, and it is possible to flexibly respond to a given situation without human involvement in the target. An object of the present invention is to provide an information processing method and an apparatus for recognizing and making a decision based on the recognition.
【００２０】[0020]
【課題を解決するための手段】上記の問題点を解決する
ために、人間がどのように外界を理解し意思決定をする
かを詳細に検討する必要があった。そのため、人工知能
や画像工学などの研究成果だけでなく、生理学や心理学
及び論理学の分野の知見も考慮に入れた研究を行い、後
述する心像という記憶表現（内部データ表現）を用いる
ことを特徴とする情報処理の方法およびその装置を提案
するに至った。[Means for Solving the Problems] In order to solve the above problems, it was necessary to examine in detail how humans understand the external world and make decisions. Therefore, not only research results such as artificial intelligence and image engineering, but also research that takes into account knowledge in the fields of physiology, psychology, and logic, and to use the memory expression (internal data expression) called mental image described later. We have proposed a characteristic information processing method and apparatus.
【００２１】この発明に係わる情報処理装置は、例えば
認識対象を含む視覚情報などのセンサ情報を外部信号と
して必要な情報を抽出した後、記憶部に格納した情報を
使って心像を作りだし、その心像を使って認識対象を推
定し、その結果に基づいて状況に応じた意思決定を行
う。本情報処理装置の対象推定手段は外部信号処理部、
記憶蓄積部、記憶照合部の少なくとも三つの部分から構
成される。The information processing apparatus according to the present invention extracts necessary information by using sensor information such as visual information including a recognition target as an external signal, and then creates a heart image by using the information stored in the storage unit. Estimate the recognition target using, and make a decision according to the situation based on the result. The target estimation means of the information processing apparatus is an external signal processing unit,
It is composed of at least three parts: a memory accumulator and a memory collator.
【００２２】第一に外部信号処理部について述べる。例
えば外部信号が視覚情報である場合（音や臭いなどの他
種の外部信号も同様に扱えるので、以下視覚情報に限定
して述べる）、それから内部データ表現を作る際に必要
な情報を抽出する手段として、生理学的知見に基づいた
視覚モデルを採用する。近年サル大脳皮質における視覚
生理学研究から多くの知見が得られつつあり、そのメカ
ニズムを模倣することにより人間に近い視覚システムを
実現することが可能である。First, the external signal processing section will be described. For example, if the external signal is visual information (other types of external signals such as sounds and odors can be handled in the same way, we will limit this to visual information below), and then extract the information necessary to create the internal data representation. As a means, a visual model based on physiological knowledge is adopted. In recent years, much information has been obtained from visual physiology studies in the monkey cerebral cortex, and it is possible to realize a visual system close to that of humans by imitating the mechanism.
【００２３】サルの視覚関連野はいくつかの領域に分か
れ、網膜情報の解析の局所性により階層構造をなしてい
ることが知られている。一次視覚野では形状、動きおよ
び色などの網膜情報が局所的に解析され、他の領野で段
階的に統合され、認識判断のための情報を作る。そこで
本発明では、形状、動き、色およびテクスチャなどの属
性を設け、ＣＣＤカメラなどで得た画像信号を処理し
て、属性に対応する情報を抽出して、システム内で照合
可能な内部データ表現に変換する。It is known that the visual cortex of the monkey is divided into several regions and has a hierarchical structure due to the locality of analysis of retinal information. In the primary visual cortex, retinal information such as shape, movement, and color is locally analyzed and integrated in other areas gradually to create information for cognitive judgment. Therefore, in the present invention, attributes such as shape, motion, color, and texture are provided, image signals obtained by a CCD camera or the like are processed, information corresponding to the attributes is extracted, and internal data representation that can be collated in the system is performed. Convert to.
【００２４】第二に、記憶蓄積部について述べる。記憶
蓄積部における内部データ表現は、心理学研究により提
案されている人間の記憶表現に近いものを用いている。
ある三次元物体を認識対象とするとき、異なった視点か
らは異なった形状像が得られる。一般に認識対象は特定
の視点から観察されることが多いので、対象の見え方に
確率の差が生じる。その結果、対象が持つ形状像それぞ
れに条件付確率が伴っている。Second, the storage unit will be described. The internal data representation in the memory storage unit is similar to the human memory representation proposed by psychological research.
When a certain 3D object is recognized, different shape images are obtained from different viewpoints. In general, a recognition target is often observed from a specific viewpoint, so that the appearance of the target has a difference in probability. As a result, the conditional probability is associated with each shape image of the target.
【００２５】本発明においては、一つの対象Ｓがもつ見
え方の違いによる異なった形状像の集合と、観察者の過
去の視覚体験を反映した対象Ｓが或る形状に見える条件
付き確率との合わせて対象Ｓの心像と呼び、記憶蓄積部
における内部データ表現として用いている。心像を構成
する形状像などの属性情報は外部信号処理部で抽出され
た内部データ表現により構築される。In the present invention, a set of different shape images due to the difference in the appearance of one object S and the conditional probability that the object S looks like a certain shape reflecting the observer's past visual experience. Together, it is called the image of the subject S, and is used as an internal data representation in the memory storage unit. The attribute information such as the shape image forming the heart image is constructed by the internal data representation extracted by the external signal processing unit.
【００２６】記憶蓄積部における、例えば形状に関する
内部データ表現による記憶蓄積部の記憶内容の検索と
は、心像を構成する形状像を検索することに相当する。
動きなど他の属性についても同様である。記憶蓄積部の
記憶内容である内部データ表現とその出現確率は固定し
たものではなく、経験により随時更新される。Retrieval of the stored contents of the storage / accumulation unit in the storage / accumulation unit using, for example, an internal data expression relating to the shape corresponds to retrieval of the shape image forming the heart image.
The same applies to other attributes such as movement. The internal data expression, which is the stored content of the storage unit, and its appearance probability are not fixed, but are updated as needed by experience.
【００２７】第三に、記憶照合部について説明する。認
識対象について外部信号処理部で作られ内部データ表現
に変換された属性情報と記憶蓄積部の属性情報との類似
度を使って、記憶蓄積部にある認識対象の候補を検索・
抽出し、この記憶照合部にそれらの集合を作る。この集
合を検索し、内部データ表現と最もよく一致するものを
認識対象とする操作を行うことが、この記憶照合部の主
な役割である。Thirdly, the memory collating unit will be described. Using the similarity between the attribute information created by the external signal processing unit and converted into the internal data representation for the recognition target and the attribute information of the storage storage unit, a candidate for the recognition target in the storage storage unit is searched for.
It extracts and makes these sets in this memory collation part. The main role of this memory collating unit is to search this set and perform an operation for recognizing the one that best matches the internal data representation.
【００２８】認知心理学の研究によれば、人間の記憶は
大きく短期記憶と長期記憶の二つに分けられる。短期記
憶は最近に起こった出来事に関する記憶であり、長期記
憶はほぼ固定的で一生涯を通じて保持される記憶であ
る。これらの役割として、まず銘記される事象が短期記
憶に取り込まれ、頻繁な想起によって強化された後、長
期記憶に固定されると考えられている。本発明の記憶照
合部と記憶蓄積部は上述の短期記憶と長期記憶にそれぞ
れ対応する。According to research on cognitive psychology, human memory is roughly divided into short-term memory and long-term memory. Short-term memory is memory about recent events, and long-term memory is memory that is almost fixed and retained throughout life. As these roles, it is thought that the inscription phenomenon is first taken into short-term memory, strengthened by frequent recall, and then fixed in long-term memory. The memory collating unit and the memory accumulating unit of the present invention correspond to the above-mentioned short-term memory and long-term memory, respectively.
【００２９】次に、本発明の意思決定手段に使用する出
力決定部について述べる。出力決定部は、記憶照合部で
認識対象と推定されたものに対して、なすべき行動を決
定する。例えば認識対象が「火」であれば例えば「消火
活動を行う」が対応づけられており、その他「近寄って
くる自動車」であれば「回避する」など、認識対象によ
って様々な行動パターンが対応づけられている。大脳生
理学の研究によれば、人間の大脳皮質では感覚連合野で
対象を認識し、その情報を前頭葉が受け、対象に応じて
なすべき行動を決定する。本発明における出力決定部
は、この前頭葉の機能に対応させている。Next, the output determining section used in the decision making means of the present invention will be described. The output determination unit determines an action to be taken with respect to what is estimated to be a recognition target by the memory collation unit. For example, if the recognition target is "fire", for example, "fire extinguishing activity" is associated, and if "the approaching car" is "avoid", various action patterns are associated with the recognition target. Has been. According to research on cerebral physiology, in the human cerebral cortex, the target is recognized in the sensory association area, and the frontal lobe receives the information, and determines the action to be taken according to the target. The output determining unit in the present invention corresponds to the function of the frontal lobe.
【００３０】ここで出力決定部により決定される行動
は、一般に既知の認識対象と対応している。しかし対象
からの情報が不十分で認識が困難な場合や、または未知
の対象に対しても仮説を立てて意思決定を行う必要があ
る。さらにその意思決定に基づく行動が妥当なものであ
ったかどうかを評価する必要がある。このことから、本
発明においては上記四種の主要構成部に加えて仮説推論
部と出力評価部を設け、前者において内部データ表現が
不十分で認識が不可能な場合にアブダクション推論を行
って認識対象の候補を選び出し、後者においてそれに基
づく行動の妥当性を評価する。さらに出力評価部を既知
の認識対象に関する記憶蓄積部の記憶内容を変更した
り、未知の対象を新たに記憶蓄積部に登録することによ
り、記憶蓄積部の持つ認識体系を拡張していく役割を持
つ。Here, the action determined by the output determination unit generally corresponds to a known recognition target. However, it is necessary to make hypotheses and make decisions when there is insufficient information from the target and recognition is difficult, or for unknown targets. Furthermore, it is necessary to evaluate whether the action based on the decision was appropriate. Therefore, in the present invention, a hypothesis reasoning unit and an output evaluation unit are provided in addition to the above-mentioned four main constituent units, and when the former cannot sufficiently recognize internal data and recognize it, it performs recognition by abduction. The candidate of the object is selected, and the validity of the action based on it is evaluated in the latter. Furthermore, the output evaluator has the role of expanding the recognition system of the memory storage unit by changing the memory contents of the memory storage unit related to the known recognition target, or by newly registering the unknown target in the memory storage unit. To have.
【００３１】また対象とするシステムの内部状態に異変
が生じ、それを回復するためには通常の情報処理ルーチ
ンでは迅速に対処することが困難になる場合がある。こ
れに対応する機能として、生物では喉の乾きや諸々の体
内生理現象に直面した場合、視床下部と呼ばれる部位が
その変化を感知し、迅速な行動に移るための意思決定に
関わっていることが知られている。In some cases, the internal state of the target system may change, and it may be difficult for a normal information processing routine to quickly deal with it in order to recover it. As a function to respond to this, when living things face dry throat and various physiological phenomena in the body, a part called the hypothalamus senses the change and is involved in decision making for prompt action. Are known.
【００３２】大脳皮質を経由した判断は時間がかかるの
に対し、視床下部の情報に基づく情動行動は大脳皮質を
経由せず、緊急時の場合に即応的に対処する。本発明に
おいては上記の主要四構成部に加えて、対象システム内
部のパラメータや対象システム外部の情況の異変を監視
する状態監視部を設けており、外部信号処理部や記憶照
合部に緊急時処理ルーチンへの切り換えを命令し、シス
テム内部状態の異変に即応的に対処することを可能にす
る。Judgment via the cerebral cortex takes time, whereas emotional behavior based on the information of the hypothalamus does not go through the cerebral cortex, and is immediately dealt with in an emergency. In the present invention, in addition to the above-mentioned four main components, a state monitoring unit is provided for monitoring a change in parameters inside the target system or a situation outside the target system, and an external signal processing unit or a memory collating unit performs emergency processing. It is possible to command the switching to the routine and promptly deal with the abnormal state of the internal system.
【００３３】[0033]
【作用】本発明による情報処理装置は、外部信号から内
部データ表現に変換するための手法として生物の持つ情
報処理機能を模倣するモデルを用いて構成したので、人
間が介在することなく内部データ表現を獲得できる。そ
の表現形式は、従来の記号表現とは異なる冗長性を持っ
ているので、記号推論よりも柔軟な推論が可能であり、
記号論理によるアブダクション推論で見られた爆発的に
増加する計算量の問題を解決できる。Since the information processing apparatus according to the present invention is configured by using a model that mimics the information processing function of a living thing as a method for converting an external signal into an internal data expression, the internal data expression can be performed without human intervention. Can be obtained. Since its expression form has redundancy different from conventional symbolic expressions, it is possible to infer more flexibly than symbolic inference.
It can solve the problem of explosive increasing computational complexity, which is seen in the abduction inference with symbolic logic.
【００３４】また未知の認識対象に対する判断を可能に
するように構成したので、状況に応じて記憶体系に拡張
及び修正を加え柔軟な対象認識とそれにもとづく意思決
定を行う。さらに本情報処理装置が対象とするシステム
が直面する可能性のある危険的な状況に即応的に対処す
るためのメカニズムを兼ね備えている。なお、本情報処
理装置は単独の意思決定装置として使用できるだけでな
く、意思決定を必要とする、一般のシステムに意思決定
装置として組み込んで使用することができる。Further, since the judgment is made on the unknown recognition target, the memory system is expanded and modified according to the situation to perform flexible target recognition and decision making based on it. Further, the information processing apparatus also has a mechanism for promptly coping with a dangerous situation that the target system may face. The information processing device can be used not only as a single decision making device but also as a decision making device incorporated into a general system that requires decision making.
【００３５】[0035]
実施例１．図１は本実施例の構成を示す装置の例であ
り、外部信号処理部１、記憶照合部２、記憶蓄積部３、
出力決定部４の四部分からなる。本発明による情報処理
装置では、外部信号処理部１により外部信号から必要な
情報が抽出され、色や形状など属性毎に内部データ表現
に変換される。そしてこの内部データ表現により、既に
述べた記憶蓄積部３の記憶表現である心像を検索し、対
象の推定を行う。Example 1. FIG. 1 is an example of an apparatus showing the configuration of the present embodiment, which includes an external signal processing unit 1, a memory collating unit 2, a memory accumulating unit 3,
It is composed of four parts of the output determination unit 4. In the information processing apparatus according to the present invention, the external signal processing unit 1 extracts necessary information from the external signal and converts it into an internal data representation for each attribute such as color and shape. Then, with this internal data expression, the previously mentioned memory image of the memory storage unit 3 is searched to estimate the target.
【００３６】人間は生後様々な視覚体験を通じて、ある
特定の物体の持つ様々な二次元形状像をその出現確率と
ともに記憶し、その後の物体の認識には形状像と過去の
視覚体験に基づく出現確率を考慮して認識判断を行う。
このようにいくつかの物体と様々な形状の対応関係を出
現確率によって表現したものがイメージ標本行列と呼ば
れる（Science(1992),Vol.257,pp1357-1363)。三次元物
体Ｓ1 ，…，Ｓn が網膜像Ｌ1 ，…，Ｌm として映る場
合、物体Ｓ1 が網膜像Ｌj として見える条件付き確率を
Ｐ（Ｌj ｜Ｓi ）としたとき、イメージ標本行列は図２
のように表される。Through various visual experiences after birth, humans store various two-dimensional shape images of a specific object together with their appearance probabilities, and for subsequent recognition of objects, appearance probabilities based on the shape image and past visual experiences. The recognition judgment is made in consideration of.
The representation of the correspondence between several objects and various shapes in this way is called the image sample matrix (Science (1992), Vol.257, pp1357-1363). When the three-dimensional objects S 1 , ..., S n appear as retinal images L 1 , ..., L m , the conditional probability that the object S 1 appears as a retinal image L j is P (L j | S i ). The image sample matrix is shown in Figure 2.
It is represented as
【００３７】人間は物体Ｓ1 ，…，Ｓn に対する形状像
Ｌ1 ，…，Ｌm の関連付けを図２のような条件付き確率
の行列として獲得し、獲得後の視覚認知の際にはこの行
列を行方向に参照することにより、特定の形状像Ｌj か
ら、元の物体がＳ1 ，…，Ｓn のいずれであるかを推定
する。イメージ標本行列を用いて、形状像Ｌj が観測さ
れたときの元の物体がＳi である確率Ｐ（Ｓi ｜Ｌj ）
は、ベイズ推定により次式で与えられる。 Ｐ（Ｓi ｜Ｌj ）＝Ｐ（Ｌj ｜Ｓi ）Ｐ（Ｓi ）／｛Ｐ（Ｌi ｜Ｓ1 ）Ｐ（Ｓ1 ）＋…＋Ｐ（Ｌj ｜Ｓn ）Ｐ（Ｓn ）｝ （１） ここで、Ｐ（Ｓ1 ），…Ｐ（Ｓn ）はそれぞれ物体
Ｓi ，…，Ｓn の生起確率を示し、次式で表わされる。 Ｐ（Ｓi ）＝Ｐ（Ｌ1 ｜Ｓi ）＋…＋Ｐ（Ｌm ｜Ｓi ） （２） 各確率の値は過去の視覚体験を反映しており、状況依存
的な値をとる。A human acquires the association of the shape images L 1 , ..., L m with the objects S 1 , ..., S n as a matrix of conditional probabilities as shown in FIG. By referring to the matrix in the row direction, it is estimated from the specific shape image L j whether the original object is S 1 , ..., S n . Using the image sample matrix, the probability P (S i | L j ) that the original object is S i when the shape image L j is observed
Is given by the Bayesian estimation as P (S i | L j ) = P (L j | S i ) P (S i ) / {P (L i | S 1 ) P (S 1 ) + ... + P (L j | S n ) P (S n )} (1) Here, P (S 1 ), ... P (S n ) represent the occurrence probabilities of the objects S i , ..., S n , respectively, and are represented by the following equation. P (S i ) = P (L 1 | S i ) + ... + P (L m | S i ) (2) The value of each probability reflects the past visual experience and takes a situation-dependent value.
【００３８】以上の考え方を踏まえた上で、本実施例に
おける三次元物体の推定方式を次のように考える。三次
元物体Ｓx は、見る方向等の条件の違いによって見え方
の異なる二次元像の形状集合｛Ｌ1 ，…Ｌy ｝を持って
いる。各々の形状像Ｌj は物体Ｓx と過去の視覚体験を
反映した条件付き確率Ｐ（Ｌ1 ｜Ｓx ），…，Ｐ（Ｌy
｜Ｓx ）によって関係づけられている。この形状集合を
物体Ｓx の心像と呼ぶ。観測された形状像Ｌj から元の
物体を推定するとき、心像の中に形状Ｌj を含む物体を
すべて候補とし、候補物体Ｓi （ｉ＝１，…，ｎ）全て
について（１）式から推定確率Ｐ（Ｓi ｜Ｌj ）を計算
する。その確率が最大となる物体ＳがＬj から推定され
る三次元物体である。Based on the above concept, the estimation method of the three-dimensional object in this embodiment will be considered as follows. The three-dimensional object S x has a shape set {L 1 , ... L y } of two-dimensional images that are different in appearance depending on the condition such as the viewing direction. Each shape image L j has a conditional probability P (L 1 | S x ), ..., P (L y that reflects the past visual experience of the object S x.
| S x ). This set of shapes is called the image of the object S x . When estimating the original object from the observed shape image L j , all objects including the shape L j in the heart image are candidates, and the candidate object S i (i = 1, ... From this, the estimated probability P (S i | L j ) is calculated. The object S having the maximum probability is a three-dimensional object estimated from L j .
【００３９】本実施例では、形状像に基づく対象物体推
定と、それに対する行動決定について説明する。即ち、
視覚情報の持つ様々な属性のうち形状による推定を優先
させ、動きや色などの他の属性は対象推定の際には優先
度が低いとする。In the present embodiment, the target object estimation based on the shape image and the action determination for it will be described. That is,
Among various attributes of visual information, shape estimation is prioritized, and other attributes such as motion and color have low priority in object estimation.
【００４０】外部信号処理部１はＣＣＤカメラと画像処
理装置から構成される。前者で撮影された画像を後者を
用いて処理し、認識対象物体の二次元像から形状Ｌを抽
出する。The external signal processing unit 1 is composed of a CCD camera and an image processing device. The image captured by the former is processed by using the latter, and the shape L is extracted from the two-dimensional image of the recognition target object.
【００４１】記憶蓄積部３は、認識対象とする物体Ｓi
（ｉ＝１，…，ｎ）の外部信号処理部１を用いて得た形
状像Ｌj （ｊ＝１，…，ｍ）と、その出現確率Ｐ（Ｌj
｜Ｓi ）を内部データ表現として記憶している。即ち実
際に本実施例を適用する環境下で、Ｓi の様々な形状を
あらかじめ外部信号処理部１を用いてＬj を得て、その
出現確率も自動的に求めることによって記憶蓄積部３の
メモリを構築する。この記憶蓄積部のメモリ内容は、以
後の経験により形状像の追加もしくは出現確率の変更と
いう形で変化させるような学習機構を組み込んでいる。
出現確率の変更は、例えば対象の推定に成功した時に増
加し、失敗した時に減少するようにする。失敗と成功の
判断は、あらかじめ設定した類似度の基準値を超えるか
どうかで行なう。The storage / storage unit 3 stores the object S i to be recognized.
The shape image L j (j = 1, ..., M) obtained by using the external signal processing unit 1 of (i = 1, ..., N) and its appearance probability P (L j
| S i ) is stored as an internal data representation. That is, under the environment in which the present embodiment is actually applied, various shapes of S i are obtained in advance by using the external signal processing unit 1 to obtain L j , and the appearance probabilities thereof are also automatically calculated to store the storage probability in the storage unit 3. Build memory. The memory content of the memory storage unit incorporates a learning mechanism for changing it in the form of adding a shape image or changing the appearance probability according to subsequent experience.
The change of the appearance probability is increased, for example, when the target estimation is successful, and is decreased when the target estimation is failed. The judgment of failure and success is made based on whether or not a preset reference value of similarity is exceeded.
【００４２】対象の推定に成功しない場合はその対象を
未知の対象として登録し、その後の推定経験によって出
現確率を構築する。この様にして推定する対象を学習的
に拡張することができる。When the estimation of the target is not successful, the target is registered as an unknown target, and the appearance probability is constructed by the subsequent estimation experience. In this way, the object to be estimated can be expanded learning-wise.
【００４３】記憶照合部２は外部信号処理部１で得たＬ
に対して記憶蓄積部３を検索し、一定確率以上のＬを形
状として集合に含む物体Ｓi （ｉ＝１，…，ｎ）を全て
列挙する。さらに記憶蓄積部３に記憶されている出現確
率Ｐ（Ｌ｜Ｓi ）から、（１）式に従って元の物体の候
補Ｓを推定する。The memory collating unit 2 receives the L obtained by the external signal processing unit 1.
Then, the storage unit 3 is searched for all the objects S i (i = 1, ..., N) that include L having a certain probability or more as a shape in the set. Further, from the appearance probability P (L | S i ) stored in the storage / accumulation unit 3, the candidate S of the original object is estimated according to the equation (1).
【００４４】出力決定部４では、各物体に対して取る行
動が対応表として管理されている。記憶照合部２で形状
Ｌから推定された元の物体Ｓに対して起こすべき行動Ａ
が出力決定部４により選択される。The output determining unit 4 manages the action to be taken for each object as a correspondence table. Action A to be taken with respect to the original object S estimated from the shape L by the memory collation unit 2
Is selected by the output determination unit 4.
【００４５】これら構成部の具体的な動作を、霊長類を
専門的に飼育している自然動物園で動物を監視し、危険
箇所にいる動物に警告を発し、その場を立ち去らせるシ
ステムを搭載した危険箇所管理システムの例で説明す
る。このシステムは観測される動物が人間であれば人間
の声で注意を促し、ゴリラであれば射撃音を聞かせ、チ
ンパンジーであれば警笛を鳴らすなどして追い払うため
のシステムである。人間以外の各動物は対応する音刺激
に対して、その場を立ち去らせるように条件付けされて
いるとする。The specific operation of these constituent parts is equipped with a system for monitoring animals at a natural zoo specially breeding primates, issuing a warning to the animals at the dangerous place, and leaving the place. An example of a dangerous place management system will be described. If the observed animal is a human being, the system calls for attention with a human voice, if it is a gorilla, it makes a sound of shooting, and if it is a chimpanzee, it sounds a horn and drives away. It is assumed that each non-human animal is conditioned to leave the field for the corresponding sound stimulus.
【００４６】外部信号処理部１はＣＣＤカメラと形状抽
出用画像情報処理装置を装備したもので、過去に見た様
々な動物の形状が観測される条件付き確率を記録し、一
方記憶蓄積部３にその結果を記憶させている。The external signal processing unit 1 is equipped with a CCD camera and an image information processing device for shape extraction, records conditional probabilities of observing various animal shapes seen in the past, while the memory storage unit 3 The result is stored in.
【００４７】まず外部信号処理部１が対象を促え、対象
の形状Ｌを抽出する。記憶照合部２は抽出された形状Ｌ
に基づき記憶蓄積部３の記憶を検索し、形状Ｌを心像の
中に持つ対象について、対象Ｓの動物園内に存在する確
率Ｐ（Ｓ）が設定した値以上であるものを候補として列
挙する。First, the external signal processing unit 1 prompts the object and extracts the shape L of the object. The memory collating unit 2 extracts the shape L
Based on the above, the memory of the memory storage unit 3 is searched, and for the objects having the shape L in the image, those having a probability P (S) of being present in the zoo of the object S that is equal to or greater than the set value are listed as candidates.
【００４８】本実施例では、形状Ｌが既知の形状Ｌ1 ，
…，Ｌm のいずれかと特定可能であるとする。形状Ｌは
特定可能であるとは、既知の形状全てと照合を行い、各
形状との類似度を計算した結果、いずれかの類似度の値
が設定した基準値以上になり、その中で類似度の最大値
を与える形状を形状Ｌから特定された形状と呼ぶ。In this embodiment, the shape L is a known shape L 1 ,
, L m can be specified. The shape L is identifiable means that all the known shapes are collated and the similarity with each shape is calculated. As a result, the value of one of the similarities is equal to or greater than the set reference value, and the similarity among them is calculated. The shape that gives the maximum value of degrees is called the shape specified from the shape L.
【００４９】対象を解析した結果、人間、チンパンジー
及びゴリラが候補として列挙されたとすると、記憶蓄積
部３に記憶されている確率と（１）式によって元の対象
を推定する。人間、チンパンジー及びゴリラが形状像Ｌ
としてそれぞれ抽出される確率Ｐ（Ｌ｜human ），Ｐ
（Ｌ｜chimp ）及びＰ（Ｌ｜goril ）と、人間、チンパ
ンジーおよびゴリラがそれぞれ動物園内に存在する確率
Ｐ（human ），Ｐ（chimp ）及びＰ（goril ）により、
形状Ｌから元の対象が人間であると推定できる確率Ｐ
（human ｜Ｌ）は次式により計算される。 Ｐ（human ｜Ｌ）＝Ｐ（Ｌ｜human ）・Ｐ（human ） ／｛Ｐ（Ｌ｜human ）・Ｐ（human ）＋Ｐ（Ｌ｜chimp ）・Ｐ（ch imp ）＋Ｐ（Ｌ｜goril ）・Ｐ（goril ）｝ 他の動物に関する確率Ｐ（chimp ｜Ｌ）、Ｐ（goril ｜
Ｌ）についても同様である。この結果、例えばＰ（huma
n ｜Ｌ）の値が最大であれば元の対象は人間であると推
定され、この情報は出力決定部４へ送信される。Assuming that humans, chimpanzees, and gorillas are listed as candidates as a result of analyzing the object, the original object is estimated by the probability stored in the memory storage unit 3 and the equation (1). Humans, chimpanzees and gorillas have shape images L
Probability P (L | human), P
(L | chimp) and P (L | goril) and the probability P (human), P (chimp) and P (goril) that humans, chimpanzees and gorillas exist in the zoo, respectively.
Probability P that the original object can be estimated to be a human from the shape L
(Human | L) is calculated by the following equation. P (human ｜ L) = P (L | human) ・ P (human) / {P (L ｜ human) ・ P (human) + P (L ｜ chimp) ・ P (ch imp) + P (L ｜ goril) ・P (goril)} Probability P (chimp | L), P (goril |
The same applies to L). As a result, for example, P (huma
If the value of n 1 | L) is the maximum, the original target is estimated to be a human, and this information is transmitted to the output determining unit 4.
【００５０】出力決定部４では、記憶蓄積部３に記憶さ
れて対象とそれに対して起こすべき行動との対応付け表
が管理されており、これに基づき行動決定がなされる。
例えば出力決定部４は図３のような対応付け表を管理し
ているとする。この表から「人間の声による警告」とい
う行動が選択される。The output determining unit 4 manages a table of correspondence between the target and the action to be taken for it, which is stored in the storage unit 3, and the action is determined based on this.
For example, it is assumed that the output determination unit 4 manages the correspondence table as shown in FIG. From this table, the action "warning by human voice" is selected.
【００５１】このように、二次元形状像として捉えられ
る対象を心像を用いて推定し、状況に応じて柔軟な意思
決定を下すことが可能である。As described above, it is possible to estimate an object that can be captured as a two-dimensional shape image by using a mental image and make a flexible decision-making according to the situation.
【００５２】実施例２．実施例２の構成は図１と同じで
ある。実施例１では、形状像Ｌj が観測されたときに元
の物体がＳi であると推定できる確率Ｐ（Ｓi ｜Ｌj ）
は、（１）式で与えられるベイズ推定で計算を行ってい
た。そして物体Ｓ1 ，…，Ｓn の生起確率Ｓ（Ｓ1 ），
…，Ｐ（Ｓn ）は過去の視覚体験を反映した状況依存的
な値であった。本実施例では、この各対象の出現確率が
すべて同じ値であるとして計算を行っている。その結果
（１）式は次式のように簡略化される。 Ｐ（Ｓi ｜Ｌj ）＝Ｐ（Ｌj ｜Ｓi ）／｛Ｐ（Ｌj ｜Ｓ1 ）＋…＋Ｐ（Ｌj ｜Ｓ n ）｝ （３）Example 2. The configuration of the second embodiment is the same as that of FIG.
is there. In the first embodiment, the shape image LjWhen is observed
Object is SiProbability P (Si｜ Lj)
Is calculated by Bayesian estimation given by equation (1).
Was. And the object S1,…, SnOccurrence probability S (S1),
…, P (Sn) Is contextual, reflecting past visual experience
It was a value. In the present embodiment, the appearance probability of each target is
Calculations are performed assuming that all values are the same. as a result
Equation (1) is simplified as the following equation. P (Si｜ Lj) = P (Lj| Si) / {P (Lj| S1) + ... + P (Lj| S n )} (3)
【００５３】本実施例による推定法は、（１）式による
推定よりも計算が速く、各対象Ｓi（ｉ＝１，…，ｎ）
がほぼ同様に出現する状況などで有効な推定法である。
また各対象を公平に比較することになる。The estimation method according to the present embodiment is faster than the estimation according to the equation (1), and each object S i (i = 1, ..., N)
This is an effective estimation method in the situation where appears almost in the same way.
In addition, each subject will be compared fairly.
【００５４】実施例３．実施例３の構成は図１と同じで
ある。実施例１では形状像Ｌによって認識対象Ｓを推定
する例を示した。しかしＣＣＤカメラなどで取り込まれ
た画像中にノイズが多い場合などは形状像による推定で
は信頼性が低いので、例えば色Ｃなど形状以外の他の属
性情報を併用して認識対象Ｓの推定に対する信頼性を向
上させることが可能である。本実施例では、外部信号処
理部１では形状と色の検出をする画像処理部を持ち、記
憶蓄積部３は各認識対象について形状と色を出現確率を
反映した条件付き確率とともに記憶しているとする。Example 3. The configuration of the third embodiment is the same as that of FIG. In the first embodiment, an example in which the recognition target S is estimated from the shape image L has been shown. However, when the image captured by the CCD camera or the like has a lot of noise, the estimation based on the shape image has low reliability. Therefore, for example, the reliability of the estimation of the recognition target S using attribute information other than the shape such as the color C together. It is possible to improve the property. In this embodiment, the external signal processing unit 1 has an image processing unit for detecting a shape and a color, and the memory storage unit 3 stores the shape and the color for each recognition target together with the conditional probability reflecting the appearance probability. And
【００５５】実施例１と同じ適用例で説明する。外部信
号処理部１により形状Ｌと色Ｃが抽出され、記憶照合部
２によって記憶蓄積部３の記憶を検出し、形状による対
象推定では人間、チンパンジー、ゴリラおよびテナガザ
ルが、色による対象推定では人間、チンパンジー、ゴリ
ラおよびニホンザルが候補対処として列挙されたとす
る。そこで共通する三つの候補である人間、チンパンジ
ーおよびゴリラについて、推定確率を形状Ｌと色Ｃにつ
いて計算し、次のような結果を得たとする。 形状Ｌ：Ｐ（human ／Ｌ）＝０．２０， Ｐ（chimp ／
Ｌ）＝０．３０，Ｐ（gofil ／Ｌ）＝０．２０ 色Ｃ：Ｐ（human ／Ｃ）＝０．７０， Ｐ（chimp ／
Ｃ）＝０．１０，Ｐ（gofil ／Ｃ）＝０．１０The same application example as the first embodiment will be described. The shape L and the color C are extracted by the external signal processing unit 1, the memory of the memory storage unit 3 is detected by the memory collating unit 2, and human, chimpanzee, gorilla, and gibbon are used for shape-based object estimation, and human is used for color-based object estimation. , Chimpanzees, gorillas, and Japanese macaques are listed as candidate responses. Then, it is assumed that the estimated probabilities are calculated for the shape L and the color C for three common candidates, human, chimpanzee, and gorilla, and the following results are obtained. Shape L: P (human /L)=0.20, P (chimp /
L) = 0.30, P (gofil / L) = 0.20 Color C: P (human / C) = 0.70, P (chimp /
C) = 0.10, P (gofil / C) = 0.10.
【００５６】この場合、実施例１のように形状Ｌの推定
確率だけを用いて認識対象Ｓを「チンパンジー」である
と判定してもよいが、形状による対象推定の信頼性が低
い場合、色Ｃの推定確率も同時に用いて計算する。例え
ば形状Ｌおよび色Ｃの推定確率の平均を計算し、 「人間」の場合：｛Ｐ（human ｜Ｌ）＋Ｐ（human ｜Ｃ）｝／２＝０．４５ 「チンパンジー」の場合：｛Ｐ（chimp ｜Ｌ）＋Ｐ（chimp ｜Ｃ）｝／２＝０． ２０ 「ゴリラ」の場合：｛Ｐ（goril ｜Ｌ）＋Ｐ（goril ｜Ｃ）｝／２＝０．１５ この計算結果によって、対象を「人間」であると推定す
ることが可能である。In this case, the recognition target S may be determined to be a "chimpanzee" by using only the estimation probability of the shape L as in the first embodiment. The estimated probability of C is also used at the same time for calculation. For example, the average of the estimated probabilities of the shape L and the color C is calculated, and in the case of “human”: {P (human | L) + P (human | C)} / 2 = 0.45 In the case of “chimpanzee”: {P ( chimp | L) + P (chimp | C)} / 2 = 0. 20 In the case of “gorilla”: {P (goril | L) + P (goril | C)} / 2 = 0.15 From this calculation result, it is possible to presume that the object is a “human”.
【００５７】この例では形状と色の情報を用いた推定の
例を示した。しかし明るさが充分でないときは色による
判断も信頼性が低い場合が多いので、更に動きの情報を
用いて対象推定の信頼度を向上させることも可能であ
る。この計算例では、各属性に関する確率の平均を相加
平均として計算しているが、状況に応じて形状や色、動
きに対する信頼度を評価し、重み付け平均として計算す
ることも可能である。In this example, an example of estimation using the shape and color information is shown. However, when the brightness is not sufficient, the judgment based on the color is often unreliable, so that it is possible to further improve the reliability of the target estimation by using the motion information. In this calculation example, the average of the probabilities for each attribute is calculated as the arithmetic mean, but it is also possible to evaluate the reliability with respect to the shape, color, and movement according to the situation and calculate as the weighted average.
【００５８】このように、形状だけでなく動きや色など
の属性の心像を用いることによって、記憶照合部３にお
ける対象推定の信頼性を大きく向上させることができ
る。As described above, the reliability of the target estimation in the memory collation unit 3 can be greatly improved by using the mental images of attributes such as movement and color as well as the shape.
【００５９】実施例４．図４は本実施例の装置構成を示
し、実施例１で示した構成に加え、出力評価部５を構成
部としても持つ場合の装置の例である。出力評価部５
は、出力決定部４により下された意思決定が正しいかど
うかを監視する機能を備えている。Example 4. FIG. 4 shows the device configuration of the present embodiment, which is an example of the device having the output evaluation unit 5 as a component in addition to the configuration shown in the first embodiment. Output evaluation unit 5
Has a function of monitoring whether the decision made by the output decision unit 4 is correct.
【００６０】実施例１同様の状況で観察された対象Ｓに
対し、出力決定部４により「人間の声による警告」とい
う行動が選択された場合を考える。この警告に対する対
象Ｓの行動を出力評価部５が観察する。対象Ｓが人間で
あれば人間の声に即座に反応し、直ちにその場を立ち退
くが、人間以外の動物であればそれぞれ個別の音刺激に
より立ち去るように条件付けされているので、人間の声
で動物を立ち去らせることはできない。Consider the case where the action "warning by a human voice" is selected by the output determining unit 4 for the target S observed in the same situation as in the first embodiment. The output evaluation unit 5 observes the behavior of the subject S in response to this warning. If the object S is a human, it immediately responds to the human voice and immediately quits, but if it is a non-human animal, it is conditioned to leave by individual sound stimulation. You can't let an animal go away.
【００６１】出力評価部５によって対象Ｓの行動に変化
がないと判断されると、出力評価部５は記憶蓄積部３で
記憶されているイメージ標本行列における、対象Ｓが外
部信号処理部１により形状像Ｌとして観測される確率Ｐ
（Ｌ／Ｓ）の値を減少させる。このようにして更新され
たイメージ標本行列に基づき、もう一度対象Ｓを推定す
るように出力評価部５は記憶照合部２に対し処理を促
す。イメージ標本行列を更新しても対象の推定に成功し
ない場合は、その対象を未知の対象として登録し、その
後の推定経験によって出現確率を構築する。実施例１に
おいてはイメージ標本行列の更新や新規対象の拡張を類
似度基準による推定の成功や失敗によって起動していた
が、本実施例では出力評価部５による対象の行動確認結
果に基づいて起動することができるので、より信頼性の
高いイメージ標本行列の修正と拡張が可能となる。When the output evaluator 5 determines that there is no change in the behavior of the target S, the output evaluator 5 determines that the target S in the image sample matrix stored in the storage unit 3 is the external signal processing unit 1. Probability P observed as shape image L
Decrease the value of (L / S). Based on the image sample matrix updated in this way, the output evaluation unit 5 prompts the memory collation unit 2 to perform processing so as to estimate the target S again. If updating the image sample matrix does not succeed in estimating the target, the target is registered as an unknown target, and the appearance probability is constructed by subsequent estimation experience. In the first embodiment, the update of the image sample matrix and the expansion of the new target are activated by the success or failure of the estimation based on the similarity criterion, but in the present embodiment, they are activated based on the result of the action confirmation of the target by the output evaluation unit 5. Therefore, it is possible to correct and extend the image sample matrix with higher reliability.
【００６２】このように出力評価部５により、出力決定
部４により下された意思決定に基づく対象Ｓの行動が予
測された行動であるかどうかを出力評価部５で判断する
ことによって、記憶蓄積部３の記憶体系を修正し、与え
られた状況に柔軟に対応して推定の信頼性を改善してい
く学習機能を実現することが可能となる。In this way, the output evaluation unit 5 determines whether the behavior of the target S based on the decision made by the output determination unit 4 is a predicted behavior, so that the storage accumulation is performed. It is possible to modify the memory system of the unit 3 and realize a learning function that flexibly responds to a given situation and improves the reliability of estimation.
【００６３】実施例５．図５は本実施例の装置構成を示
し、実施例１で示した構成に加え、仮説推論部６を構成
部として持つ場合の装置の例である。仮説推論部６の機
能は、対象の認識が不可能の場合にそれが何であるかに
ついて仮説を立てることである。本実施例は実施例３同
様、外部信号処理部１で検出された形状と色に基づき対
象の推定を行うが、実施例３と異なるのは、外部信号処
理部１により抽出された形状Ｌが、記憶照合部２によっ
て記憶蓄積部３の記憶を検出した結果、いずれの二次元
形状にも特定できなかった場合を想定している点であ
る。ここで形状Ｌが特定不可能とは、既知の形状Ｌ1 ，
…，Ｌm との照合を行い、各形状との類似度を計算した
結果、いずれの類似度の値も設定した基準値以下になる
場合を指す。Example 5. FIG. 5 shows a device configuration of the present embodiment, and is an example of a device having a hypothesis reasoning unit 6 as a component in addition to the configuration shown in the first embodiment. The function of the hypothesis reasoning unit 6 is to make a hypothesis about what an object is when it cannot be recognized. In the present embodiment, the target is estimated based on the shape and color detected by the external signal processing unit 1 as in the third embodiment. However, the difference from the third embodiment is that the shape L extracted by the external signal processing unit 1 is As a result of detecting the memory of the memory storage unit 3 by the memory collation unit 2, it is assumed that no two-dimensional shape can be specified. Here, the shape L cannot be specified means that the known shape L 1 ,
, L m , and the similarity with each shape is calculated. As a result, the value of any similarity is equal to or less than the set reference value.
【００６４】このとき記憶蓄積部３の記憶内容の検索の
結果、形状Ｌは特定困難であるが、色Ｃは特定できたと
する。この色Ｃの情報を用いて、仮説推論部６はアブダ
クション推論を行い、対象について仮説を立てる（推論
過程（１）：Ｌ→Ｃ）。そして色Ｃを心像の中に持つ対
象の候補Ｓ1 ，…，Ｓk を列挙する（推論過程（２）：
Ｓ1 →Ｃ，…，Ｓk →Ｃ）。この二つの推論過程（１）
・（２）は仮説推論６で管理する。そして推論過程
（２）で得られる対象の候補Ｓ1 ，…，Ｓk をただ一つ
に絞りこむ必要がある。At this time, as a result of searching the storage contents of the storage unit 3, it is difficult to specify the shape L, but it is possible to specify the color C. Using this color C information, the hypothesis inference unit 6 makes an abduction inference to make a hypothesis for the target (inference process (1): L → C). Then, candidate candidates S 1 , ..., S k having the color C in the image are listed (inference process (2):
S 1 → C, ..., S k → C). These two inference processes (1)
・ (2) is managed by hypothesis reasoning 6. Then, it is necessary to narrow down the candidate candidates S 1 , ..., S k obtained in the inference process (2) to only one.
【００６５】記号推論におけるアブダクションでは推論
過程（２）におけるｋ個の推論式は対等に処理されるの
でただ一つに絞りこむのは困難であるが、本実施例にお
けるアブダクションでは候補の対象Ｓ1 ，…，Ｓk と色
Ｃを関係付ける条件付き確率Ｐ（Ｃ｜Ｓ1 ），…，Ｐ
（Ｃ｜Ｓk ）を用いるので、これらの確率値の中で最大
値を与えるＳg を推定すべき対象とする。この結果、形
状Ｌの元の対象はＳg であると推定される（導出仮説
（３）：Ｌ→Ｓg ）。この候補の絞り込みと仮説の導出
は仮説推論部６が行う。そして対象がＳg であるという
情報を記憶照合部２を経由してそのまま出力決定部４に
送信してＳg に対する行動決定を下す。In the abduction in the symbolic inference, it is difficult to narrow down to only one because the k inference expressions in the inference process (2) are processed equally, but in the abduction in the present embodiment, the candidate object S 1 , ..., S k and the conditional probability P (C | S 1 ), ..., P relating the color C
Since (C | S k ) is used, S g that gives the maximum value among these probability values is the target to be estimated. As a result, the original target of the shape L is estimated to be S g (deriving hypothesis (3): L → S g ). The hypothesis inference unit 6 narrows down the candidates and derives the hypotheses. Then, the information that the target is S g is directly transmitted to the output determining unit 4 via the memory collating unit 2 and the action determination for S g is made.
【００６６】このように、アブダクション推論による仮
説の導出について、記号推論の場合では困難であった複
数の候補仮説の絞り込みが、本実施例では心像を用いる
ことにより容易になり、記号推論で見られた問題点を解
消することが可能になる。As described above, regarding the derivation of the hypothesis by the abduction inference, narrowing down of a plurality of candidate hypotheses, which was difficult in the case of the symbolic inference, is facilitated by using the mind image in the present embodiment, and is found in the symbolic inference. It becomes possible to solve the problems.
【００６７】実施例６．図６は本実施例の装置構成を示
し、実施例１で示した構成に加え、さらに状態監視部７
を構成部としても持つ場合の例である。状態監視部７、
本実施例を自動ナビゲーション装置として搭載している
走行車の制御システム内の様々な内部パラメータを監視
する処理部である。例えばこの走行車が決められた巡回
区域内を長時間走行した結果、走行に必要な燃料不足に
陥る場合がある。このような場合、状態監視部７は走行
車燃料タンクの燃料不足を感知し、作業を中断して走行
車を燃料補給所へ向かわせる必要がある。このため状態
監視部７は外部信号処理部１と記憶照合部２に対して燃
料補給所を見つけるための優先的な処理ルーチンに切り
換える命令を送信する。Example 6. FIG. 6 shows the device configuration of the present embodiment. In addition to the configuration shown in the first embodiment, a state monitoring unit 7 is further provided.
This is an example of the case in which is also included as a component. Status monitoring unit 7,
It is a processing unit that monitors various internal parameters in a control system of a traveling vehicle equipped with the present embodiment as an automatic navigation device. For example, as a result of the traveling vehicle traveling for a long time in the determined patrol area, the fuel required for traveling may fall short. In such a case, the state monitoring unit 7 needs to detect the lack of fuel in the fuel tank of the traveling vehicle, interrupt the work, and direct the traveling vehicle to the refueling station. For this reason, the state monitoring unit 7 sends a command to the external signal processing unit 1 and the memory collating unit 2 to switch to a priority processing routine for finding a refueling station.
【００６８】例えば、巡回区域内の地図と燃料補給所の
場所、さらに区域内の道路の全ての分岐点における風景
が画像イメージとして記憶蓄積部３に記憶されており、
記憶照合部２を介して外部信号処理部１で処理された特
徴データと照合することにより、区域内における地理的
位置が常に確認できるとすれば、この走行車は燃料補給
所に到達することができる。For example, the map in the patrol area, the location of the fueling station, and the scenery at all branch points of the roads in the area are stored in the storage unit 3 as image images.
If the geographical position in the area can always be confirmed by collating with the characteristic data processed by the external signal processing unit 1 via the memory collating unit 2, this traveling vehicle may reach the refueling station. it can.
【００６９】処理ルーチン切り換え命令を受信した外部
信号処理部１と記憶照合部２は、通常時の処理とは異な
る緊急時の処理モードに切り換わる。記憶照合部２にお
ける通常時の処理と緊急時の処理との違いは、通常部で
は記憶照合部２は外部信号処理部１の処理が終わるのを
待って記憶蓄積部３の記憶内容との照合を行うが、緊急
時には記憶照合部２は記憶蓄積部３の記憶内容のうち、
緊急時の対応に必要な情報だけを集めて記憶照合部２の
記憶内容として管理し、その記憶内容に基づいて外部信
号処理部１に対して特徴抽出に処理を限定する。The external signal processing unit 1 and the storage collating unit 2 which have received the processing routine switching command are switched to an emergency processing mode different from the normal processing. The difference between the normal processing and the emergency processing in the memory collating unit 2 is that in the normal unit, the memory collating unit 2 waits for the processing of the external signal processing unit 1 to finish and collates with the stored contents of the memory accumulating unit 3. However, in an emergency, the memory collating unit 2 can
Only the information necessary for dealing with an emergency is collected and managed as the storage content of the storage collating unit 2, and the processing is limited to the feature extraction for the external signal processing unit 1 based on the storage content.
【００７０】例えば燃料補給所を見つけるための手掛り
として、回転する赤いランプが目印になっているとす
る。記憶照合部２は、この目印を優先的に見つけるため
の特徴抽出に処理を限定するよう外部信号処理部１に要
求する。外部信号処理部１は、通常時には必要に応じて
形状、色、動きやテクスチャなで詳細な特徴抽出を行っ
ているが、緊急時には記憶照合部２からの要求を受け
て、「回転するもの」を見つけるための動きに関する特
徴抽出と、「赤いもの」を見つけるための色に関する特
徴抽出に処理を限定する。この時、例えば色に関しては
通常時の処理では様々な色を区別するための詳細な色の
解析を行っていたのに対し、緊急時には「赤いもの」か
それ以外かという単純な区別に処理を限定する。動きに
関する特徴抽出についても同様である。For example, it is assumed that a rotating red lamp serves as a clue for finding a refueling station. The memory collation unit 2 requests the external signal processing unit 1 to limit the processing to feature extraction for preferentially finding this mark. The external signal processing unit 1 normally performs detailed feature extraction such as shape, color, movement, and texture as necessary, but in an emergency, upon receiving a request from the memory collating unit 2, the "rotating one" is received. The process is limited to the motion-related feature extraction for finding the “red object” and the color-related feature extraction for finding the “red thing”. At this time, for example, with respect to color, in the normal process, detailed color analysis was performed to distinguish various colors, but in an emergency, the process should be performed with a simple distinction between "red" and other colors. limit. The same applies to feature extraction related to movement.
【００７１】本実施例における緊急時の処理は、上述の
ように記憶蓄積部３の記憶内容との詳細な照合過程を伴
う通常の処理とは異なり、状態監視部７から緊急状態で
あるという命令を受けているので、比較的簡略化された
照合過程を経て燃料補給所に迅速に到達するための処理
ルーチンに切り換わる。The emergency process according to the present embodiment is different from the normal process involving a detailed collation process with the stored contents of the storage / accumulation unit 3 as described above, and the state monitoring unit 7 issues an instruction to indicate an emergency state. Therefore, the process routine is switched to a process routine for quickly reaching the refueling station through a comparatively simplified verification process.
【００７２】このように、本情報処理装置が対象とする
システムの状態の様々な内部パラメータを監視する状態
監視部７を持つことにより、システム内部の異変に対応
し、通常の情報処理ルーチンを変更することによりシス
テムの直面する緊急状態に柔軟に対応することができ
る。また異常情報としてはシステム内部情報に限らず、
システム外部情報を含めてもよい。As described above, by having the status monitoring unit 7 which monitors various internal parameters of the status of the target system of the present information processing apparatus, the normal information processing routine is changed in response to the internal system change. By doing so, it is possible to flexibly respond to the emergency situation faced by the system. The abnormal information is not limited to system internal information,
System external information may be included.
【００７３】以上の実施例では、出力決定部４で管理さ
れている認識対象と行動計画の対応表が前もって与えら
れる場合について説明したが、この対応表は本発明によ
る情報処理装置が様々な状況を学習した上で獲得される
ようにしてもよく、また必要最小限の知識をこの対応表
に記述しておき、様々な状況に置かれる度にこの対応表
が修正・拡張されるようにしてもよい。In the above embodiment, the case where the correspondence table of the recognition target managed by the output determining unit 4 and the action plan is given in advance has been described. However, this correspondence table is used in various situations of the information processing apparatus according to the present invention. It may be acquired after learning, and the minimum necessary knowledge is described in this correspondence table, so that this correspondence table is modified and expanded every time it is put in various situations. Good.
【００７４】以上実施例では、外部信号として取り込む
センサ情報を視覚情報の例で説明したが、視覚情報以外
の他のセンサ情報、例えば聴覚、嗅覚および味覚情報な
どをセンサ情報として用いてもよい。In the above embodiments, the sensor information taken in as an external signal has been described as an example of visual information. However, sensor information other than visual information, for example, hearing, smell and taste information may be used as sensor information.
【００７５】[0075]
【発明の効果】本発明の第１の構成または工程によれ
ば、外部信号からの照合可能な内部データ表現を自動的
に作成できるので、人間の介在を必要としない対象認識
とそれにもとづく意思決定が可能である。また、属性情
報の出現確率にもとづく冗長性の高い照合方式を用いて
いるので、従来の記号推論方式より柔軟性の高い対象認
識または意思決定が可能である。また、使用される環境
下での稼動経験によって記憶蓄積部の記憶データの修正
および拡張が可能であり、認識機能の信頼性の改善と機
能拡張を学習的に行なうことができる。According to the first configuration or process of the present invention, an internal data representation that can be collated from an external signal can be automatically created, so that object recognition that does not require human intervention and decision making based on the object recognition are possible. Is possible. Further, since the collation method with high redundancy based on the appearance probability of the attribute information is used, the object recognition or decision making which is more flexible than the conventional symbol inference method is possible. In addition, it is possible to modify and expand the storage data in the storage unit by operating experience in the environment in which it is used, and it is possible to improve the reliability of the recognition function and expand the function in a learning manner.
【００７６】本発明の第２の構成または工程によれば、
仮説推論部を備えることにより、対象の推定が不可能で
あった場合にもアブダクション推論によって推定が可能
となる。また、属性情報の出現確率にもとづく照合方式
の利用により従来の信号推論によるアブダクションでの
問題点である厖大な計算が避けられる。According to the second configuration or process of the present invention,
By providing the hypothesis reasoning unit, even if the target cannot be estimated, it can be estimated by the abduction reasoning. Also, by using the matching method based on the appearance probability of the attribute information, it is possible to avoid the enormous calculation which is a problem in the abduction by the conventional signal inference.
【００７７】本発明の第３の構成または工程によれば、
出力評価部を備えることにより対象の認識機能の高信頼
化と拡張の学習機能がより確実なものとなる。According to the third structure or process of the present invention,
By providing the output evaluation unit, the reliability of the target recognition function and the learning function of extension become more reliable.
【００７８】本発明の第４の構成または工程によれば、
状態監視部を備えることにより異常事態への迅速で適切
な対応が可能となる。According to the fourth structure or process of the present invention,
Providing a status monitoring unit enables quick and appropriate response to abnormal situations.
【図１】 本発明の一実施例による情報処理装置を示す
図である。FIG. 1 is a diagram showing an information processing apparatus according to an embodiment of the present invention.
【図２】 本実施例１におけるイメージ標本行列を示す
図である。FIG. 2 is a diagram showing an image sample matrix in the first embodiment.
【図３】 本実施例１における出力決定部で管理されて
いる対応付け表を示す図である。FIG. 3 is a diagram illustrating a correspondence table managed by an output determining unit according to the first embodiment.
【図４】 本発明の一実施例による出力評価部を持つ場
合の情報処理装置を示す図である。FIG. 4 is a diagram showing an information processing apparatus having an output evaluation unit according to an embodiment of the present invention.
【図５】 本発明の一実施例による仮説推論部を持つ場
合の情報処理装置を示す図である。FIG. 5 is a diagram showing an information processing apparatus having a hypothesis reasoning unit according to an embodiment of the present invention.
【図６】 本発明の一実施例による状態監視部を持つ場
合の情報処理装置を示す図である。FIG. 6 is a diagram showing an information processing apparatus having a state monitoring unit according to an embodiment of the present invention.
【図７】 従来方式における推論システムの構成を示す
図である。FIG. 7 is a diagram showing a configuration of an inference system in a conventional method.
【図８】 従来方式における記号推論によるアブダクシ
ョン推論システムの構成を示す図である。FIG. 8 is a diagram showing a configuration of an abduction inference system based on symbolic inference in a conventional method.
【図９】 従来方式における画像認識システムの構成を
示す図である。FIG. 9 is a diagram showing a configuration of an image recognition system in a conventional method.
【図１０】 従来方式における画像認識システムの特徴
ベクトルを示すための図である。FIG. 10 is a diagram showing a feature vector of an image recognition system in a conventional method.
【図１１】 従来方式における画像認識システムの認識
対象動作の代表画像を示す図である。FIG. 11 is a diagram showing a representative image of a recognition target operation of the image recognition system in the conventional method.
【図１２】 従来方式における画像認識システムの代表
画像に対応するシンボルを示す図である。FIG. 12 is a diagram showing symbols corresponding to a representative image of the image recognition system in the conventional method.
【図１３】 従来方式における画像認識システムで処理
されたある動作に対応するシンボル列の例を示す図であ
る。FIG. 13 is a diagram showing an example of a symbol string corresponding to a certain operation processed by the image recognition system in the conventional method.
１．外部信号処理部 ２．記憶照合部 ３．記憶蓄積部 ４．出力決定部 ５．出力評価部 ６．仮説推論部 ７．状態監視部 1. External signal processing unit 2. Memory collating unit 3. Memory storage unit 4. Output determination unit 5. Output evaluation unit 6. Hypothesis reasoning section 7. Condition monitoring unit
Claims (14)
部信号として取込み、この外部信号から前記認識対象の
属性情報を抽出し、この属性情報を照合可能な内部デー
タ表現に変換する外部信号処理部と、 複数の前記認識対象の夫々に関する複数の属性情報の条
件付出現確率を表現した内部データ表現を構成して記憶
する記憶蓄積部と、 前記外部信号処理部から入力された認識対象の属性情報
の内部データ表現と前記記憶蓄積部の記憶データの内部
データ表現とを照合する記憶照合部とを備えた情報処理
装置を用い、 前記記憶蓄積部に記憶された認識対象のうち、前記外部
信号処理部から新規に入力された認識対象と類似度の大
きい内部データ表現を有する認識対象を前記新規に入力
された認識対象であると推定する対象認識方法。1. An external signal processing unit that takes in sensor information about a new recognition target as an external signal, extracts attribute information of the recognition target from the external signal, and converts the attribute information into an internal data representation that can be collated. A storage and storage unit configured to store an internal data expression expressing conditional appearance probabilities of a plurality of attribute information relating to each of the plurality of recognition targets; and a recognition target attribute information input from the external signal processing unit. Among the recognition targets stored in the memory storage unit, the external signal processing unit is used, which uses an information processing apparatus including a memory collation unit that collates an internal data representation and an internal data representation of the storage data of the memory storage unit. A target recognition method for estimating a recognition target having an internal data expression having a high degree of similarity to the newly input recognition target from the above as the newly input recognition target.
て、対象毎の各属性情報の条件付出現確率からなるイメ
ージ標本行列を用いる請求項１に記載の対象認識方法。2. The object recognition method according to claim 1, wherein an image sample matrix made up of conditional appearance probabilities of each attribute information of each object is used as an internal data expression of the memory storage unit.
積部の記憶データである条件付出現確率の修正、属性情
報項目の追加または認識対象の追加を、前記推定処理の
成功および失敗にもとづいて学習的に行なう請求項１ま
たは２に記載の対象認識方法。3. According to experience of the estimation process, correction of a conditional occurrence probability stored in the storage unit, addition of an attribute information item, or addition of a recognition target is performed based on success or failure of the estimation process. The object recognition method according to claim 1 or 2, which is performed by learning.
前記推定が不可能な新規に入力された認識対象に対し
て、前記推定に使用しなかった他の属性情報と前記記憶
蓄積部の記憶データとの夫々の内部データ表現を用いた
アブダクション推定を行って推定対象の候補を列挙し、
前記新規入力対象と前記各候補対象との夫々の内部デー
タ表現の類似度比較によって前記候補の絞り込みを行な
う請求項１から３のいずれか１項に記載の対象認識方
法。4. A hypothesis reasoning unit is provided in the information processing device,
For the newly input recognition target that cannot be estimated, abduction estimation is performed using the respective internal data representations of the other attribute information not used in the estimation and the storage data of the storage storage unit. List the candidates for estimation,
4. The object recognition method according to claim 1, wherein the candidates are narrowed down by comparing the similarities of the respective internal data expressions of the new input target and each of the candidate targets.
部信号として取込み、この外部信号から前記認識対象の
属性情報を抽出し、この属性情報を照合可能な内部デー
タ表現に変換する外部信号処理部と、 複数の前記認識対象の夫々に関する複数の属性情報の条
件付出現確率を表現した内部データ表現を構成して記憶
する記憶蓄積部と、 前記外部信号処理部から入力された認識対象の属性情報
の内部データ表現と前記記憶蓄積部の記憶データの内部
データ表現とを照合する記憶照合部と、 前記複数の認識対象と各認識対象に対してなすべき行動
との対応表を有し、前記なすべき行動を命令として出力
する出力決定部とを備えた情報処理装置を用い、 前記記憶蓄積部に記憶された認識対象のうち、前記外部
信号処理部から新規に入力された認識対象と類似度の大
きい内部データ表現を有する認識対象を前記新規に入力
された認識対象であると推定して認識し、 前記出力決定部の認識対象となすべき行動との対応表か
ら前記認識された認識対象に対してなすべき行動を決定
し、これを命令として出力する意思決定方法。5. An external signal processing unit that takes in sensor information about a new recognition target as an external signal, extracts attribute information of the recognition target from the external signal, and converts the attribute information into an internal data expression that can be collated. A storage and storage unit configured to store an internal data expression expressing conditional appearance probabilities of a plurality of attribute information relating to each of the plurality of recognition targets; and a recognition target attribute information input from the external signal processing unit. A storage collating unit that collates an internal data representation with an internal data representation of the storage data of the storage storage unit, and a correspondence table of the plurality of recognition targets and actions to be taken for each recognition target, Using an information processing apparatus including an output determination unit that outputs an action as a command, among the recognition targets stored in the storage unit, a recognition target newly input from the external signal processing unit is used. A recognition target having an internal data representation having a high degree of similarity with the target is estimated and recognized as the newly input recognition target, and the recognition is performed from the correspondence table with the action to be the recognition target of the output determination unit. The decision making method that decides the action to be performed on the recognition target and outputs it as a command.
前記命令が実行された結果の認識対象の反応から前記命
令または前記認識の妥当性を評価し、この評価に基づい
て前記記憶蓄積部の記憶データである条件付出現確率の
修正、属性項目の追加または認識対象の追加を学習的に
行なう請求項５に記載の意思決定方法。6. The information processing apparatus comprises an output evaluation section,
The validity of the command or the recognition is evaluated from the reaction of the recognition target as a result of the execution of the command, and based on this evaluation, the conditional appearance probability, which is the storage data of the storage storage unit, is added, and the attribute item is added. Alternatively, the decision making method according to claim 5, wherein the recognition target is added by learning.
前記意思決定を行なう環境からの異変情報または前記セ
ンサからの異変情報に基づいて、前記推定処理および前
記意思決定処理の内容をあらかじめ設定した緊急時用の
内容に制限する請求項５または６に記載の意思決定方
法。7. The information processing apparatus comprises a status monitoring unit,
7. The content of the estimation process and the decision-making process is limited to preset emergency contents based on the change information from the environment for making the decision or the change information from the sensor. Decision making method.
部信号として取込み、この外部信号から前記認識対象の
属性情報を抽出し、この属性情報を照合可能な内部デー
タ表現に変換する外部信号処理部と、 複数の前記認識対象の夫々に関する複数の属性情報の条
件付出現確率を表現した内部データ表現を構成して記憶
する記憶蓄積部と、 前記外部信号処理部から入力された認識対象の属性情報
の内部データ表現と前記記憶蓄積部の記憶データの内部
データ表現とを照合する記憶照合部とを備え、 前記記憶蓄積部に記憶された認識対象のうち、前記外部
信号処理部から新規に入力された認識対象と類似度の大
きい内部データ表現を有する認識対象を前記新規に入力
された認識対象であると推定する対象認識装置。8. An external signal processing unit that takes in sensor information about a new recognition target as an external signal, extracts attribute information of the recognition target from the external signal, and converts the attribute information into an internal data expression that can be collated. A storage and storage unit configured to store an internal data expression expressing conditional appearance probabilities of a plurality of attribute information relating to each of the plurality of recognition targets; and a recognition target attribute information input from the external signal processing unit. A storage collating unit that collates an internal data representation with an internal data representation of the storage data of the storage storage unit, and among the recognition targets stored in the storage storage unit, a new input from the external signal processing unit A target recognition device that estimates a recognition target having an internal data expression having a high degree of similarity to the recognition target as the newly input recognition target.
対象毎の各属性情報の条件付出現確率からなるイメージ
標本行列を用いる請求項８に記載の対象認識装置。9. The object recognition apparatus according to claim 8, wherein an image sample matrix composed of conditional appearance probabilities of each attribute information of each object is used as an internal data expression of said storage / accumulation unit.
憶蓄積部の記憶データである条件付出現確率の修正、属
性情報項目の追加または認識対象の追加を、前記推定処
理の成功および失敗にもとづいて学習的に行なう請求項
８または９に記載の対象認識装置。10. According to experience of the estimation process, correction of a conditional occurrence probability that is stored data of the storage unit, addition of an attribute information item, or addition of a recognition target is made a success or failure of the estimation process. The object recognition device according to claim 8 or 9, which is initially learned.
認識対象に対して、前記推定に使用しなかった他の属性
情報と前記記憶蓄積部の記憶データとの夫々の内部デー
タ表現を用いたアブダクション推定を行って推定対象の
候補を列挙する仮説推論部を備え、前記新規入力対象と
前記各候補対象との夫々の内部データ表現の類似度比較
によって前記候補の絞り込みを行なう請求項８から１０
のいずれか１項に記載の対象認識装置。11. The internal data representations of other attribute information not used in the estimation and stored data of the storage unit are used for the newly input recognition target that cannot be estimated. 9. A hypothesis reasoning unit that performs abduction estimation and lists candidates for estimation is provided, and the candidates are narrowed down by comparing the similarity of the internal data representations of the new input target and each of the candidate targets. 10
The object recognition device according to claim 1.
外部信号として取込み、該外部信号から前記認識対象の
属性情報を抽出し、この属性情報を照合可能な内部デー
タ表現に変換する外部信号処理と、 複数の前記認識対象の夫々に関する複数の属性情報の条
件付出現確率を表現した内部データ表現を構成して記憶
する記憶蓄積部と、 前記外部信号処理部から入力された認識対象の属性情報
の内部データ表現と前記記憶蓄積部の記憶データの内部
データ表現とを照合する記憶照合部と、 前記複数の認識対象と認識対象に対してなすべき行動と
の対応表を有し、前記なすべき行動を命令として出力す
る出力決定部とを備え、 前記記憶蓄積部に記憶された認識対象のうち、前記外部
信号処理部から新規に入力された認識対象と類似度の大
きい内部データ表現を有する認識対象を前記新規に入力
された認識対象であると推定して認識し、 前記出力決定部の認識対象となすべき行動との対応表か
ら前記認識された認識対象に対してなすべき行動を決定
し、これを命令として出力する意思決定装置。12. An external signal process for capturing sensor information about a new recognition target as an external signal, extracting attribute information of the recognition target from the external signal, and converting the attribute information into an internal data representation that can be collated. A storage and storage unit that configures and stores an internal data representation that expresses conditional appearance probabilities of a plurality of attribute information regarding each of the plurality of recognition targets; and an inside of the recognition target attribute information input from the external signal processing unit. A memory collating unit that collates a data expression with an internal data expression of the storage data of the storage unit, and a correspondence table of the plurality of recognition targets and actions to be performed on the recognition target, An output determination unit that outputs as a command, and the recognition target stored in the storage unit has a high similarity to the recognition target newly input from the external signal processing unit. A recognition target having a data representation is estimated and recognized as the newly input recognition target, and the recognition target of the output determination unit is assigned to the recognized recognition target based on a correspondence table with actions to be recognized. A decision-making device that determines the action to be taken and outputs it as a command.
の反応から前記命令または前記認識の妥当性を評価する
出力評価部を備え、この評価に基づいて前記記憶蓄積部
の記憶データである条件付出現確率の修正、属性項目の
追加または認識対象の追加を学習的に行なう請求項１２
に記載の意思決定装置。13. A condition, which is an output evaluation unit that evaluates the validity of the command or the recognition based on a reaction of a recognition target as a result of the execution of the command, and is a storage data of the storage accumulation unit based on the evaluation. 13. The method of modifying the appearance probability of addition, adding an attribute item, or adding a recognition target by learning.
The decision making device described in.
情報または前記センサからの異変情報に基づいて前記推
定処理および前記意思決定処理の内容をあらかじめ設定
した緊急時用の内容に制限する状態監視部を備えた請求
項１２または１３に記載の意思決定装置。14. A state monitoring unit that limits the contents of the estimation process and the decision making process to preset emergency contents based on the change information from the environment for making the decision or the change information from the sensor. The decision making device according to claim 12 or 13, further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10531895A JPH08305853A (en) | 1995-04-28 | 1995-04-28 | Method and device for object recognition and decision making based upon recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10531895A JPH08305853A (en) | 1995-04-28 | 1995-04-28 | Method and device for object recognition and decision making based upon recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08305853A true JPH08305853A (en) | 1996-11-22 |
Family
ID=14404369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10531895A Pending JPH08305853A (en) | 1995-04-28 | 1995-04-28 | Method and device for object recognition and decision making based upon recognition |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08305853A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099778A (en) * | 2001-09-21 | 2003-04-04 | Koto Kado | Image recognition method and device |
| JPWO2005069222A1 (en) * | 2004-01-15 | 2008-04-24 | 旭化成株式会社 | Information recognition device, information recognition method, information recognition program, and alarm system |
| JP2008123365A (en) * | 2006-11-14 | 2008-05-29 | Univ Of Electro-Communications | Object recognition system, object recognition method, and object recognition robot |
| JP2010017274A (en) * | 2008-07-09 | 2010-01-28 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2010528364A (en) * | 2007-05-24 | 2010-08-19 | パロ・アルト・リサーチ・センター・インコーポレーテッド | Diagnosing intermittent failures |
-
1995
- 1995-04-28 JP JP10531895A patent/JPH08305853A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003099778A (en) * | 2001-09-21 | 2003-04-04 | Koto Kado | Image recognition method and device |
| JP4643872B2 (en) * | 2001-09-21 | 2011-03-02 | 洪涛 門 | Image recognition method and apparatus |
| JPWO2005069222A1 (en) * | 2004-01-15 | 2008-04-24 | 旭化成株式会社 | Information recognition device, information recognition method, information recognition program, and alarm system |
| JP2008123365A (en) * | 2006-11-14 | 2008-05-29 | Univ Of Electro-Communications | Object recognition system, object recognition method, and object recognition robot |
| JP2010528364A (en) * | 2007-05-24 | 2010-08-19 | パロ・アルト・リサーチ・センター・インコーポレーテッド | Diagnosing intermittent failures |
| JP2010017274A (en) * | 2008-07-09 | 2010-01-28 | Fuji Xerox Co Ltd | Image processor and image processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sharkey | Multi-net systems | |
| JP2018129062A (en) | Artificial storage system and method for interacting with dynamic behavior using computer | |
| Cui et al. | The empathic framework for task learning from implicit human feedback | |
| WO2019155873A1 (en) | Evaluation device, action control device, evaluation method, and evaluation program | |
| Gu et al. | An automated face reader for fatigue detection | |
| US20170109655A1 (en) | Artificial intelligence apparatus autonomously expanding knowledge by inputting language | |
| US20210334671A1 (en) | Learning Agent | |
| US11143156B2 (en) | Artificial intelligence apparatus for controlling auto stop system based on traffic information and method for the same | |
| US11421610B2 (en) | Artificial intelligence apparatus for controlling auto stop system and method therefor | |
| EP3920048A1 (en) | Method and system for automated visual question answering | |
| JP2015525924A (en) | Artificial memory system and method for interacting with dynamic behavior using a computer | |
| CN111434118B (en) | Apparatus and method for generating user interest information | |
| CN110119714A (en) | A kind of Driver Fatigue Detection and device based on convolutional neural networks | |
| CN113947702A (en) | Multi-modal emotion recognition method and system based on context awareness | |
| JP6590086B2 (en) | Information processing system, information processing method, and program | |
| JPH08305853A (en) | Method and device for object recognition and decision making based upon recognition | |
| KR102499379B1 (en) | Electronic device and method of obtaining feedback information thereof | |
| JP6746043B2 (en) | Driving support device and driving mode judgment model generation device | |
| CN113743244B (en) | Video human body accidental action positioning method and device based on counterfactual sample | |
| Malek | Hybrid approaches for integrating neural networks and case based reasoning: From loosely coupled to tightly coupled models | |
| CN114931356A (en) | Retina structure extraction method, system and application for OCTA image | |
| Postawka | Real-time monitoring system for potentially dangerous activities detection | |
| WO2022259575A1 (en) | Learning device, inference device, learning method, inference method, and program | |
| Barosi et al. | Medical diagnostic reasoning: Epistemological modeling as a strategy for design of computer-based consultation programs | |
| Gettys | Research and theory on predecision processes |