JPH0355674A

JPH0355674A - 情景解釈処理方法

Info

Publication number: JPH0355674A
Application number: JP19103589A
Authority: JP
Inventors: Isamu Yoroisawa; 鎧沢　勇
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1989-07-24
Filing date: 1989-07-24
Publication date: 1991-03-11

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は．情景解釈において必要な知識ベースを，入力
情景から自動的に生成するとともに，その知識ベースを
自動的に最新のものに更新する情景解釈処理方法に関す
る．一般的には画像理解技術に属し．機械工場での部品選別
．海底や宇宙での遠隔操作などにおける視覚センサーの
知能化に利用される。

〔従来の技術〕

従来の情景解釈処理方法（特願平１−１３０１８５）で
は．解釈に用いる知識を人手により事前に用意する必要
があった．また．知識を最新のものに更新する際も人手
を要していた．〔発明が解決しようとする課題〕従来．機械により情景の解釈を行うためには．情景に関
する知識を人手により事前に機械に与えておく必要があ
った．その場合．解釈すべき対象情景が増えると．人手
による作業が膨大になり，実用の見通しはほとんど立っ
ていなかった。また，そのような情景解釈機械を運用し
ていく中で，知識を最新のものに更新する必要が生した
場合も．従来は人手によらざるを得ないため，一旦機械
の運用を停止しなければならないという問題点があった
．本発明は．それらの自動化により，情景解釈の省力化と
サービス性の向上を図ることを目的としている。

〔課題を解決するための手段〕

本発明では．情景は連続する場面で構威され．ある一定
時間内の連続する入力場面は一定の解釈を受けるという
仮定を置き，連続する入力場面中の物体の存否を示す画
像パタンの加算により，当該情景の知ｌ！（知識パタン
）を自動的に生或するようにしている。また．新たな入
力場面の解釈に基づき，その入力場面中の物体の存否を
示す画像パタンを既存の知識パタンに加えることにより
，知識の自動更新を行うようにしている．〔作用〕本発明では．情景中の物体の同定はすでに済んでいるも
のとし，ある情景ｘ（ｘ−＝ｔ＋・・・，ｎ）において
ｐ枚の場面画像が連続して得られ．各場面画像中の物体
の存否がＸ▲０−ｌ．・・・．Ｐ）ベクトルで表わされ
るとする．ここで．Ｘ▲は，対象物体の個数をｍとした
場合．ｍ次元のベクトルであり，ベクトルの各要素ｘ　
ｎ　（　ｊ！　−１　＋・・・，ｍ）は．物体が存在す
るとき「１」，存在しないとき「ＯＪとする。このとき
，情景解釈のための知識はＫ行列で与えられる．ここで
．Ｋは，ｍ行ｎ列の行列であり，　　ｆｆｉ　（ｆｆｉ
＝１１−１ｍ）行，　　Ｘ　（ｘ−Ｌ”’＋ｎ）列目の
要素ｋトは．次式で与えられる．ｋ，ｗｘ（，−（Σ　ｘ＋−）　　　　　（式１）▲ｓ
ｌここで，ｃｌｌは，情景Ｘに対する正規化のための定数
である．これにより，知識の自動生戒が達戒される．ところで．新しい情景場面の物体存否ベクトルｆが与え
られたとき，その場面がすでに得られた知識に照らして
，いかなる情景の場面であるかを解釈する情景解釈ベク
トル０は．次式で与えられる．０−ａ　−　ｒ　・（Ｋ＋Ａ）　　　　　　　（式２）
ここで．ａは定数．Ａは知識の活性状態によって決定さ
れるｍ行ｎ列の行列である．ベクトルＯの要素のうち．
最大の値を示すものが，解釈として採用される．その解釈の結果，ｆは情景Ｘｉのｉ＝ｐ＋１番目の物体
存否ベクトルと見なされ，Ｋに加算される．これにより
．知識の自動更新が達或される．〔実施例〕第１図は本発明の一実施例である情景解釈装置の全体構
威を示す．１１は情景入力部であり．既存のテレビカメ
ラなどが使用できる．１２は物体同定部であり，既存の
パタン認識装置を用いて，情景中の物体の同定を行う．
１３は物体存否ベクトル化部であり，存在の可能性のあ
るｍ種類の物体のうち．物体同定部１２で同定された物
体に対して「ｌ」を与え，それ以外の物体に対して「０
」を与え．物体存否ベクトルＸ．を作戒する。

ｌ４は情景知識生戒・更新部であり．物体存否ベクトル
の加算により，物体ｍ種と情景解釈ｎ種との関係の強さ
を表わす情景知識行列Ｋ（ｍＸｎの行列）の生成と更新
を行う．１５は情景解釈演算部であり．物体存否ベクト
ル化部１３と情景知識生戒・更新部１４との出力のベク
トル・行列積を計算する．ここでは．積和演算のみであ
り．ベクトルプロセッサあるいは光演算により並列演算
が可能である．１６は情景解釈出力部であり．情景解釈
演算部１５の結果を．既存のグラフィック装置等により
，可視化する．なお，本実施例では，簡単のため．式２
において，ａ−１，Ａは要素がすべて「０」の行列とし
ている．第２図は情景知識生成・更新部（ｌ４〉の構威を示す．
２１は物体存否ベクトル記憶部であり，連続する場面や
解釈すべき新たな入力場面の物体存否ベクトルの一時的
な記憶を行う．２２はベクトル加算部であり．知識生成
時に連続場面の物体存否ベクトルの加算を行うとともに
，知識更新時に入力場面の物体存否ベクトルの当該情景
ベクトルへの加算を行う。２３は知識構成部であり，ベ
クトル加算部２２で得られた情景ベクトルを行に．物体
を列に割当て，知識行列の横或を行う．今，物体として
，５名の人間（Ａ，　Ｂ，　　Ｃ，　　Ｄ，Ｅ）．情景
として，Ｐ，Ｇ，Ｍの３種（各々パーティ．ゲーム，稟
一ティング）を想定した場合について．具体的に述べる
．なお，以下では．物体存否ベクトルは．例えば．Ａ氏
とＢ氏だけが存在する場合，　　（１１０００）と表現
するものとする．Ｐ，　Ｇ，　Ｍの各情景における連続
する３場面から．次の物体存否ベクトルが得られたとす
る．情景Ｐ　（１００００），　（１１０００），（１
１１１Ｇ）（１１１１Ｇ）情景Ｇ　（１０００１），　
（００１０１）．　（０００１１）情景Ｍ　（１０１０
０）．　（１１１００），　（００１００）このとき．
知識パタンＫ１行列は，各情景ごとにヘクトルの加算を
行うことにより，次のように得られる。

ＰＧＭ次に，いずれの情景であるかを解釈すべき新たな情景場
面における物体存否ベクトルｒとして．（００１１１）
が入力された場合，その場面の解釈ベクトル０は．式２
を用いて，ベクトルｆと行列Ｋ１との積をとって次のよ
うに得られる．０−　　（２，　　５．　　３）　　　
　　　　　（式４）その結果．最も高い値を示した情景
Ｇが．その場面の解釈として，出力される．さらに．そのベクトルｆ（００１１１）は．情景Ｇに関
する新たな知識として．知識パタン行列の当該ベクトル
に加算され．次式に示すように最新の知識Ｋ３に更新さ
れる．ＰＧＭなお、この例では，式ｌにおける正規化定数は，簡単の
ため．情景によらず，ｌとした．〔発明の効果〕本発明によれば，従来人手に頼っていた情景解釈のため
の知識の入力が．自動的に行えることになり，省力化が
図れる．また．知識の更新が自動的に行われるので．機
械の運用を中断する必要がなく，サービス性の向上が図
れる．これにより．情景解釈を実用化する上での手がかりが得
られた．

【図面の簡単な説明】

第１図は本発明の一実施例である情景解釈装置の全体構
威．第２図゛は情景知識生戒・更新部の構威を示す．１１：情景入力部，ｌ２：物体同定部．ｌ３：物体存否
ベクトル化部．１４：情景知識生成・更新部，１５：情
景解釈演算部．ｌ６：情景解釈出力部．２１：物体存否
ベクトル記憶部，２２：ベクトル加算部，２３：知識構
威部．

Claims

【特許請求の範囲】

（１）情景を撮像した情景画像中に含まれる物体を識別
し、それらの物体の組合せからその情景の持つ意味を解
釈するため、情景中の物体の存否、および、情景解釈の
ための知識を、ともに画像パタン化し、それらの並列積
和演算により、情景解釈を行う情景解釈処理方法におい
て、解釈のための知識パタンを、入力情景中の物体の存否を
表わす画像パタンを所定時間内加算することで自動的に
生成するようにしたことを特徴とする情景解釈処理方法
。
（２）新たな入力情景の解釈結果に基づき、その入力情
景の物体の存否を表わす画像パタンを既存の知識パタン
に加算することで知識を自動的に更新することを特徴と
する請求項（１）記載の情景解釈処理方法。