JPH05288543A - 視覚情報と触覚情報とを統合した認識装置 - Google Patents
視覚情報と触覚情報とを統合した認識装置Info
- Publication number
- JPH05288543A JPH05288543A JP4085177A JP8517792A JPH05288543A JP H05288543 A JPH05288543 A JP H05288543A JP 4085177 A JP4085177 A JP 4085177A JP 8517792 A JP8517792 A JP 8517792A JP H05288543 A JPH05288543 A JP H05288543A
- Authority
- JP
- Japan
- Prior art keywords
- information
- visual
- sensor
- depth
- tactile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- A Measuring Device Byusing Mechanical Method (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Abstract
(57)【要約】
【目的】 本発明は,例えば視覚センサからの情報によ
って再構成された面について触覚センサからの情報にも
とづいてチェックするようにし,面を正しく再構成でき
るようにすることを目的としている。 【構成】 視覚センサ1L,1Rと,触覚センサ4とを
用いて,(1)視覚センサの情報から統計的緩和によっ
て復元された物体表面の曲面を再構成し,(2)不連続
が検出された場所を触覚センサで探索して,統計的緩和
によって物体の表面の曲面を再構成し,(3)両者の矛
盾を検出して,(4)触覚センサから再構成されたもの
を教師として,局所的エネルギーを学習する。
って再構成された面について触覚センサからの情報にも
とづいてチェックするようにし,面を正しく再構成でき
るようにすることを目的としている。 【構成】 視覚センサ1L,1Rと,触覚センサ4とを
用いて,(1)視覚センサの情報から統計的緩和によっ
て復元された物体表面の曲面を再構成し,(2)不連続
が検出された場所を触覚センサで探索して,統計的緩和
によって物体の表面の曲面を再構成し,(3)両者の矛
盾を検出して,(4)触覚センサから再構成されたもの
を教師として,局所的エネルギーを学習する。
Description
【0001】
【産業上の利用分野】本発明は,視覚センサ(カメラ
等)と触覚センサとをもつセンシングシステムを構成
し,各センサからの出力情報を統合することにより,物
体を認識するのに必要な情報を獲得することを特徴とす
る視覚情報と触覚情報とを統合した認識装置に関するも
のである。
等)と触覚センサとをもつセンシングシステムを構成
し,各センサからの出力情報を統合することにより,物
体を認識するのに必要な情報を獲得することを特徴とす
る視覚情報と触覚情報とを統合した認識装置に関するも
のである。
【0002】本発明では,特に,物体の認識,把握を行
うために必要とする物体表面の再構成に適するものであ
る。
うために必要とする物体表面の再構成に適するものであ
る。
【0003】
【従来の技術】従来から,この種の技術として次の技術
が知られている。 1) 単一種のセンサによるセンシング 従来のセンシングシステムは,測定対象が個別に規定さ
れた,単一の機能を実現するものであった。このため,
単一のセンサからの信号に対しては十分な処理ができる
が,多種類のセンサからの情報に対する処理システムと
しては不十分である。したがって,個々のセンサの出力
は,独立なモジュールで処理されており,複数のセンサ
からの出力を用いて相補的な処理を行うことは期待でき
ない。 2) 統計的緩和による画像復元 S.GemanとD.Gemanは,マルコフ確率場モデルに基
づいた最大事後確率推定を可能にする統計的緩和(stoc
hastic relaxation)と呼ばれるアルゴリズムを提案し
た。この研究は,輪郭線抽出や,texture 画像のセグメ
ンテーション,CT再構成に使われるなど実用性もあ
る。
が知られている。 1) 単一種のセンサによるセンシング 従来のセンシングシステムは,測定対象が個別に規定さ
れた,単一の機能を実現するものであった。このため,
単一のセンサからの信号に対しては十分な処理ができる
が,多種類のセンサからの情報に対する処理システムと
しては不十分である。したがって,個々のセンサの出力
は,独立なモジュールで処理されており,複数のセンサ
からの出力を用いて相補的な処理を行うことは期待でき
ない。 2) 統計的緩和による画像復元 S.GemanとD.Gemanは,マルコフ確率場モデルに基
づいた最大事後確率推定を可能にする統計的緩和(stoc
hastic relaxation)と呼ばれるアルゴリズムを提案し
た。この研究は,輪郭線抽出や,texture 画像のセグメ
ンテーション,CT再構成に使われるなど実用性もあ
る。
【0004】
【発明が解決しようとする課題】上記従来の技術に関し
ては,次の如き問題が残っている。即ち, 1) 単一種のセンサによるセンシングに関して。
ては,次の如き問題が残っている。即ち, 1) 単一種のセンサによるセンシングに関して。
【0005】知能ロボット,自律移動車の分野を中心
に,システム全体で用いるセンサの数や種類が増大する
につれて,多種類・大量のセンサ情報に対する効率的な
処理が必要となってきた。多種類のセンサ情報を扱うこ
とは,それだけ処理すべき情報量の増大を意味し,セン
サ情報間の矛盾(センサ情報の間の矛盾,測定時間のず
れ,センサの不均一など)を生むことがある。しかし,
当該技術の場合には,センサ情報を相互に補完,統合す
ることは困難である。 2) 統計的緩和による画像復元に関して。
に,システム全体で用いるセンサの数や種類が増大する
につれて,多種類・大量のセンサ情報に対する効率的な
処理が必要となってきた。多種類のセンサ情報を扱うこ
とは,それだけ処理すべき情報量の増大を意味し,セン
サ情報間の矛盾(センサ情報の間の矛盾,測定時間のず
れ,センサの不均一など)を生むことがある。しかし,
当該技術の場合には,センサ情報を相互に補完,統合す
ることは困難である。 2) 統計的緩和による画像復元に関して。
【0006】画像のマルコフ確率場モデルを特徴づける
局所的エネルギーに埋めこまれている所の外界に関する
事前知識は,アドホックに定められており,現実の画像
のモデルとして適切である保証はない。
局所的エネルギーに埋めこまれている所の外界に関する
事前知識は,アドホックに定められており,現実の画像
のモデルとして適切である保証はない。
【0007】即ち,面を再構成するに当たって,例え
ば,エッジの線が十字形状に現れる場合においてそのエ
ッジに沿って奥行きに段差が存在する確率や,エッジ線
が一字形状に現れる場合においてそのエッジに沿って奥
行きに段差が存在する確率などを,アドホックに定めて
おいて,当該確率を考慮して面がスムーズに連なるもの
として再構成するか段差をもつものとして再構成するか
を定めるようにしているが,仮に段差のないものとして
再構成した面が現実の面と合致するか否かについてはそ
の保証がない。
ば,エッジの線が十字形状に現れる場合においてそのエ
ッジに沿って奥行きに段差が存在する確率や,エッジ線
が一字形状に現れる場合においてそのエッジに沿って奥
行きに段差が存在する確率などを,アドホックに定めて
おいて,当該確率を考慮して面がスムーズに連なるもの
として再構成するか段差をもつものとして再構成するか
を定めるようにしているが,仮に段差のないものとして
再構成した面が現実の面と合致するか否かについてはそ
の保証がない。
【0008】本発明は,例えば視覚センサからの情報に
よって再構成された面について触覚センサからの情報に
もとづいてチェックするようにし,面を正しく再構成で
きるようにすることを目的としている。
よって再構成された面について触覚センサからの情報に
もとづいてチェックするようにし,面を正しく再構成で
きるようにすることを目的としている。
【0009】
【課題を解決するための手段】図1は本発明の原理構成
図を示す。図中の符号1L,1Rは夫々視覚センサ(カ
メラ),4は触覚センサ,6は視覚センサ利用奥行き情
報抽出部,7は触覚センサ利用奥行き情報抽出部,8は
復元された面処理部,11はアクチュエータであって触
覚センサ4を所望する位置に移動するもの,12は面再
構成処理部,13は矛盾検出部,14は復元された面を
表している。
図を示す。図中の符号1L,1Rは夫々視覚センサ(カ
メラ),4は触覚センサ,6は視覚センサ利用奥行き情
報抽出部,7は触覚センサ利用奥行き情報抽出部,8は
復元された面処理部,11はアクチュエータであって触
覚センサ4を所望する位置に移動するもの,12は面再
構成処理部,13は矛盾検出部,14は復元された面を
表している。
【0010】面再構成処理部12は,例えば視覚センサ
1L,1Rからの情報を用いて,奥行き情報抽出部6か
ら得られた奥行き情報をもとに,マルコフ確率場モデル
を採用し,ベイズの定理を用いて事後確率を最大にする
ように面を再構成する。
1L,1Rからの情報を用いて,奥行き情報抽出部6か
ら得られた奥行き情報をもとに,マルコフ確率場モデル
を採用し,ベイズの定理を用いて事後確率を最大にする
ように面を再構成する。
【0011】矛盾検出部13は,視覚センサからの情報
にもとづいて得られた再構成された面と,触覚センサか
らの情報にもとづいて得られた再構成された面とでの矛
盾する個所を検出し,両者を合理的に統合するようにす
る。例えば,視覚センサからの情報にもとづいて得られ
た再構成された面において段差が存在する可能性のある
とみなされた個所を抽出し,アクチュエータ11を発動
して触覚センサ4を当該個所に移動せしめ,触覚センサ
4からの情報にもとづいて得られた再構成された面をも
って,上記視覚センサからの情報にもとづいて再構成さ
れた面の該当個所を置換するようにする。
にもとづいて得られた再構成された面と,触覚センサか
らの情報にもとづいて得られた再構成された面とでの矛
盾する個所を検出し,両者を合理的に統合するようにす
る。例えば,視覚センサからの情報にもとづいて得られ
た再構成された面において段差が存在する可能性のある
とみなされた個所を抽出し,アクチュエータ11を発動
して触覚センサ4を当該個所に移動せしめ,触覚センサ
4からの情報にもとづいて得られた再構成された面をも
って,上記視覚センサからの情報にもとづいて再構成さ
れた面の該当個所を置換するようにする。
【0012】
【作用】本発明では, 1) 視覚センサ(カメラ等)の情報から統計的緩和によ
って復元された物体表面の曲面を再構成したあと, 2) 不連続が検出された場所を触覚センサで探索して,
統計的緩和によって物体表面の曲面を再構成し, 3) 両者の矛盾を検出して, 4) 触覚センサから再構成されたものを教師として,局
所的エネルギーを学習する。
って復元された物体表面の曲面を再構成したあと, 2) 不連続が検出された場所を触覚センサで探索して,
統計的緩和によって物体表面の曲面を再構成し, 3) 両者の矛盾を検出して, 4) 触覚センサから再構成されたものを教師として,局
所的エネルギーを学習する。
【0013】
【実施例】図2は本発明の実施例構成を示す。図中の符
号1L,1R,4,6,7,8,11は図1に対応して
いる。また2L,2Rは夫々視覚センサ画像,3L,3
Rは夫々ゼロ交差抽出部であってエッジを抽出するも
の,5は変換処理部であって触覚センサ4からの情報を
用いて奥行き方向の大きさ情報に変換するもの,9は変
換処理部であって奥行きが不連続(段差がある)とみな
された位置の情報にもとづいて触覚センサを移動する目
標位置を設定するもの,10は運動司令生成部であって
触覚センサ4を移動せしめる運動を司令するものを表し
ている。以下,概略,次のように動作する。
号1L,1R,4,6,7,8,11は図1に対応して
いる。また2L,2Rは夫々視覚センサ画像,3L,3
Rは夫々ゼロ交差抽出部であってエッジを抽出するも
の,5は変換処理部であって触覚センサ4からの情報を
用いて奥行き方向の大きさ情報に変換するもの,9は変
換処理部であって奥行きが不連続(段差がある)とみな
された位置の情報にもとづいて触覚センサを移動する目
標位置を設定するもの,10は運動司令生成部であって
触覚センサ4を移動せしめる運動を司令するものを表し
ている。以下,概略,次のように動作する。
【0014】即ち, 1) カメラから出力される画像に,フィルタをかけてゼ
ロ交差を検出する(明るさ情報を2度微分してゼロ・レ
ベル位置を検出してエッジの存在を得る)。 2) 2台のカメラから得られた2組のゼロ交差に対し
て,両眼の対応をとり,得られた両眼視差に基づき,面
の奥行きを推定する。 3) マルコフ確率場モデルを採用し,ベイズの定理をも
ちいて事後確率を最大にする面を求める。この面の再構
成の問題はエネルギーの最小化問題に帰着できることに
なる。このエネルギー関数には,面の不連続性を反映す
るため,線処理過程(line process)が導入されてい
る。これは隣接する画像の奥行き値の差が大きいとき
は,なめらかに面をつなぐことをやめて,奥行きが不連
続であると推定するものである。 4) 奥行きが不連続であると推定された位置に触覚セン
サを移動し,面に接触させる。 5) 面の再構成を,4)と同様に行う。 6) 触覚センサから再構成した面の不連続位置を教師と
して,局所エネルギーを学習する。
ロ交差を検出する(明るさ情報を2度微分してゼロ・レ
ベル位置を検出してエッジの存在を得る)。 2) 2台のカメラから得られた2組のゼロ交差に対し
て,両眼の対応をとり,得られた両眼視差に基づき,面
の奥行きを推定する。 3) マルコフ確率場モデルを採用し,ベイズの定理をも
ちいて事後確率を最大にする面を求める。この面の再構
成の問題はエネルギーの最小化問題に帰着できることに
なる。このエネルギー関数には,面の不連続性を反映す
るため,線処理過程(line process)が導入されてい
る。これは隣接する画像の奥行き値の差が大きいとき
は,なめらかに面をつなぐことをやめて,奥行きが不連
続であると推定するものである。 4) 奥行きが不連続であると推定された位置に触覚セン
サを移動し,面に接触させる。 5) 面の再構成を,4)と同様に行う。 6) 触覚センサから再構成した面の不連続位置を教師と
して,局所エネルギーを学習する。
【0015】以下,より具体的に説明する。視覚センサ
1Lや1Rから得られた画像2L,2Rにもとづいて,
エッジ部分を抽出するようにする。図示のゼロ交差抽出
部3L,3Rにおいては,画像2L,2Rの明るさ情報
を2度微分してエッジ部分を抽出する。当該ゼロ交差検
出に関しては, 「ゼロ交差検出アルゴリズム,舟久保登:視覚パターン
の処理と認識,啓学出版,1990.pp.110〜1
18」 「‘早期ビジョン’大須賀節雄監訳:人工知能大辞典,
丸善,1991.」 「‘エッジ検出’大須賀節雄監訳:人工知能大辞典,丸
善,1991.」 などに示されている。
1Lや1Rから得られた画像2L,2Rにもとづいて,
エッジ部分を抽出するようにする。図示のゼロ交差抽出
部3L,3Rにおいては,画像2L,2Rの明るさ情報
を2度微分してエッジ部分を抽出する。当該ゼロ交差検
出に関しては, 「ゼロ交差検出アルゴリズム,舟久保登:視覚パターン
の処理と認識,啓学出版,1990.pp.110〜1
18」 「‘早期ビジョン’大須賀節雄監訳:人工知能大辞典,
丸善,1991.」 「‘エッジ検出’大須賀節雄監訳:人工知能大辞典,丸
善,1991.」 などに示されている。
【0016】次いで両画像2L,2Rの対応をとり,両
眼視差を検出し,得られた両眼視差にもとづき,面の奥
行きを推定する。当該奥行き推定に関しては, 「面の奥行き推定,舟久保登:視覚パターンの処理と認
識,啓学出版,1990.pp.215〜223」 「Dana H.Ballard/Christopher M.Brown著,
福村晃夫他訳:コンピュータ・ビジョン,日本コンピュ
ータ協会,1987.pp.110〜116」 「‘早期ビジョン’大須賀節雄監訳:人工知能大辞典,
丸善,1991.」 「‘視覚奥行きマップ‘大須賀節雄監訳:人工知能大辞
典,丸善,1991.」 などに示されている。
眼視差を検出し,得られた両眼視差にもとづき,面の奥
行きを推定する。当該奥行き推定に関しては, 「面の奥行き推定,舟久保登:視覚パターンの処理と認
識,啓学出版,1990.pp.215〜223」 「Dana H.Ballard/Christopher M.Brown著,
福村晃夫他訳:コンピュータ・ビジョン,日本コンピュ
ータ協会,1987.pp.110〜116」 「‘早期ビジョン’大須賀節雄監訳:人工知能大辞典,
丸善,1991.」 「‘視覚奥行きマップ‘大須賀節雄監訳:人工知能大辞
典,丸善,1991.」 などに示されている。
【0017】このようにして得られた奥行き情報にもと
づいて,マルコフ確率場モデルを採用し,ベイズの定理
を用いて,事後確率を最大にする面を求めるようにす
る。当該面を求める処理の説明に先立って,マルコフ確
率場モデルに基づいた最大事後確率推定(MAP推定)
を行う統計的緩和アルゴリズム(stochastic relaxatio
n )について要点を説明しておく。 (1.1) ベイズの定理(Bayes rule ) ベイズの定理は事象の条件付確率に関するものである。
づいて,マルコフ確率場モデルを採用し,ベイズの定理
を用いて,事後確率を最大にする面を求めるようにす
る。当該面を求める処理の説明に先立って,マルコフ確
率場モデルに基づいた最大事後確率推定(MAP推定)
を行う統計的緩和アルゴリズム(stochastic relaxatio
n )について要点を説明しておく。 (1.1) ベイズの定理(Bayes rule ) ベイズの定理は事象の条件付確率に関するものである。
【0018】
【数1】
【0019】例えば,Xは,ある特定のシーン(りん
ご)で,Yは,そのシーンを写した画像である。式中の
確率は以下のように説明できる。 P(X|Y)その画像に写っているシーンがりんごであ
る事後確率(a posterior probability)。
ご)で,Yは,そのシーンを写した画像である。式中の
確率は以下のように説明できる。 P(X|Y)その画像に写っているシーンがりんごであ
る事後確率(a posterior probability)。
【0020】P(Y|X)りんごのシーンを写した場
合,その画像になる確率。りんごがどのように画像に写
されるかのモデルに対応する。 P(X)シーンにりんごがある事前確率(a priori pro
bability)。
合,その画像になる確率。りんごがどのように画像に写
されるかのモデルに対応する。 P(X)シーンにりんごがある事前確率(a priori pro
bability)。
【0021】P(Y)その画像が出現する事前確率。P
(Y|X)とP(X)とから決まる正規化パラメータで
ある。 この定理を利用する視覚システムでは,事前確率(P
(X))と撮像のモデル(P(Y|X))を決めるため
の仮定が必要になる。これらの確率を決めてしまえば,
システムはベイズの定理を使って,その画像にりんごが
写っている確率を決めることができる。 (1.2) 最大事後確率推定(the Maximum A Posterior (M
AP)estimate) ベイズの定理を使って,「Xが何であるか」求めるため
には,Xの事後確率分布P(X|Y)の統計量を計算し
なければならない。一つのアプローチは,事後確率を最
大にするXを解とみなすもので,この方法をXの最大事
後確率推定(the Maximum A Posterior (MAP)estimate)
と呼ぶ。 (1.3) エネルギー関数 確率分布としてギブス分布(Gibbs distribution)を仮
定すると,最大事後確率推定を,エネルギー関数の最小
化によって行うことができる。
(Y|X)とP(X)とから決まる正規化パラメータで
ある。 この定理を利用する視覚システムでは,事前確率(P
(X))と撮像のモデル(P(Y|X))を決めるため
の仮定が必要になる。これらの確率を決めてしまえば,
システムはベイズの定理を使って,その画像にりんごが
写っている確率を決めることができる。 (1.2) 最大事後確率推定(the Maximum A Posterior (M
AP)estimate) ベイズの定理を使って,「Xが何であるか」求めるため
には,Xの事後確率分布P(X|Y)の統計量を計算し
なければならない。一つのアプローチは,事後確率を最
大にするXを解とみなすもので,この方法をXの最大事
後確率推定(the Maximum A Posterior (MAP)estimate)
と呼ぶ。 (1.3) エネルギー関数 確率分布としてギブス分布(Gibbs distribution)を仮
定すると,最大事後確率推定を,エネルギー関数の最小
化によって行うことができる。
【0022】ギブス分布は,以下のように表現される。
【0023】
【数2】
【0024】βは定数。Zは分配関数(partition func
tion) と呼ばれる正規化のための定数。U(ω)はエネ
ルギーに対応する量で,
tion) と呼ばれる正規化のための定数。U(ω)はエネ
ルギーに対応する量で,
【0025】
【数3】
【0026】で定義される。U(ω)は,ωの状態にし
たがって,クリークRに属する格子点の組Cについて定
義されるポテンシャルエネルギーVc(ω)の和になっ
ている。
たがって,クリークRに属する格子点の組Cについて定
義されるポテンシャルエネルギーVc(ω)の和になっ
ている。
【0027】近傍系Gを,注目している格子点に隣接す
る格子点の集合として定義する。この近傍系Gに対し
て,ある格子点の組Cに属する格子点が,この組の他の
格子点すべての近傍系Gに属する格子点の組Cを考え
る。このような格子点の組Cの集まりRを,近傍系Gに
対するクリークと呼ぶ。ポテンシャルエネルギーVc
(ω)は,クリークRに属する格子点の組Cについて定
義される。 (1.4) マルコフランダムフィールド(Markov Random Fi
eld (MRF)) 格子点Xのある近傍系Gに対するクリークで定義された
エネルギー関数でギブス分布を決めることは,この格子
点Xがある近傍系G上でマルコフランダムフィールド
(Markov Random Field (MRF))という確率場(多次元確
率変数の族)であることと等価になる。
る格子点の集合として定義する。この近傍系Gに対し
て,ある格子点の組Cに属する格子点が,この組の他の
格子点すべての近傍系Gに属する格子点の組Cを考え
る。このような格子点の組Cの集まりRを,近傍系Gに
対するクリークと呼ぶ。ポテンシャルエネルギーVc
(ω)は,クリークRに属する格子点の組Cについて定
義される。 (1.4) マルコフランダムフィールド(Markov Random Fi
eld (MRF)) 格子点Xのある近傍系Gに対するクリークで定義された
エネルギー関数でギブス分布を決めることは,この格子
点Xがある近傍系G上でマルコフランダムフィールド
(Markov Random Field (MRF))という確率場(多次元確
率変数の族)であることと等価になる。
【0028】MRFは,特定の確率変数Xi が,その近
傍の状態だけに依存するような確率変数上の確率分布で
定義される。より正確にいうと,
傍の状態だけに依存するような確率変数上の確率分布で
定義される。より正確にいうと,
【0029】
【数4】
【0030】を満たすような近傍Ni が定義できるよう
な確率場である。 (1.5) 統計的緩和法 Xの確率分布としてギブス分布を仮定すれば,すなわち
Xの確率モデルとしてMRFを採用すれば,最大事後確
率推定は,エネルギー関数を最小にするXを見つけるこ
とと定式化できる。これを全数探索的に行うことは現実
的でない。統計的緩和法は,事後確率P(X|Y)で決
まる変数ごとの条件付確率が,局所的な相互作用エネル
ギーの計算だけ行えることを利用して,模擬焼きなまし
(simulated annealing )と局所並列繰り返し計算によ
ってエネルギー関数の最小化を行う方法である。 (1.5.1) 条件付確率 ポテンシャルエネルギーVc(ω)は,状態ωにある格
子点全体のうちクリークRに属する格子点iの状態Xi
にのみ依存している。格子点iを除く格子点jにおける
確率変数Xj が状態xj をとっているとき,格子点iに
おいて,確率変数Xi が状態xi をとる条件付確率は,
な確率場である。 (1.5) 統計的緩和法 Xの確率分布としてギブス分布を仮定すれば,すなわち
Xの確率モデルとしてMRFを採用すれば,最大事後確
率推定は,エネルギー関数を最小にするXを見つけるこ
とと定式化できる。これを全数探索的に行うことは現実
的でない。統計的緩和法は,事後確率P(X|Y)で決
まる変数ごとの条件付確率が,局所的な相互作用エネル
ギーの計算だけ行えることを利用して,模擬焼きなまし
(simulated annealing )と局所並列繰り返し計算によ
ってエネルギー関数の最小化を行う方法である。 (1.5.1) 条件付確率 ポテンシャルエネルギーVc(ω)は,状態ωにある格
子点全体のうちクリークRに属する格子点iの状態Xi
にのみ依存している。格子点iを除く格子点jにおける
確率変数Xj が状態xj をとっているとき,格子点iに
おいて,確率変数Xi が状態xi をとる条件付確率は,
【0031】
【数5】
【0032】ωx は,位置iではx,他の位置ではωと
一致するような状態を表す。 (1.5.2) ギブスサンプラー ギブスサンプラーは,一時刻に一格子点の状態について
のみ条件付確率に基づいて実現値を選び,更新するアル
ゴリズムである。 (1.5.3) 模擬焼きなまし Nを格子点の数,ΔをU(ω)の最大値と最小値との差
とする。このとき,あるスケジュールに従ってβを増加
させれば(焼きなまし),初期状態に依存せず最低のエ
ネルギー状態に達することができる。
一致するような状態を表す。 (1.5.2) ギブスサンプラー ギブスサンプラーは,一時刻に一格子点の状態について
のみ条件付確率に基づいて実現値を選び,更新するアル
ゴリズムである。 (1.5.3) 模擬焼きなまし Nを格子点の数,ΔをU(ω)の最大値と最小値との差
とする。このとき,あるスケジュールに従ってβを増加
させれば(焼きなまし),初期状態に依存せず最低のエ
ネルギー状態に達することができる。
【0033】上記(1.1) ないし(1.5.3) に示した如き予
備知識をもとに,以下視覚センサからの情報に対応し
た,マルコフランダムフィールド(MRF)モデルに基
づいた最大事後確率推定(MAP推定)を行う統計的緩
和アルゴリズム(stochastic relaxation )による面の
復元について述べる。
備知識をもとに,以下視覚センサからの情報に対応し
た,マルコフランダムフィールド(MRF)モデルに基
づいた最大事後確率推定(MAP推定)を行う統計的緩
和アルゴリズム(stochastic relaxation )による面の
復元について述べる。
【0034】各画素iがq1 からqM までの値fi をと
るものとする。
るものとする。
【0035】
【数6】
【0036】各画素の値はその近傍の画素の値だけに依
存して決まる。すなわち,MRFモデルを仮定すると,
各画素の値の確率分布がギブス分布となる。
存して決まる。すなわち,MRFモデルを仮定すると,
各画素の値の確率分布がギブス分布となる。
【0037】
【数7】
【0038】βは定数。Zは分配関数(partition func
tion)と呼ばれる正規化のための定数。U(f) はエネル
ギーに対応する量で,
tion)と呼ばれる正規化のための定数。U(f) はエネル
ギーに対応する量で,
【0039】
【数8】
【0040】で定義される。U(f) は,fの状態にした
がって,クリークRに属する格子点の組Cについて定義
されるポテンシャルエネルギーVc(f) の和になってい
る。なおVはそれぞれの画素値をとった場合のポテンシ
ャル関数である。
がって,クリークRに属する格子点の組Cについて定義
されるポテンシャルエネルギーVc(f) の和になってい
る。なおVはそれぞれの画素値をとった場合のポテンシ
ャル関数である。
【0041】元の画像をfとし,それに対して雑音が混
入したり,サンプリングを行ったりして画像の画質が低
化したものをgとする。実際に観測できるのはgであ
る。このとき,gからfをベイズの定理を使って,推測
する。gが観測された場合に,元画像がfである条件付
確率は以下のようになる。
入したり,サンプリングを行ったりして画像の画質が低
化したものをgとする。実際に観測できるのはgであ
る。このとき,gからfをベイズの定理を使って,推測
する。gが観測された場合に,元画像がfである条件付
確率は以下のようになる。
【0042】
【数9】
【0043】Geman and Geman は,線処理過程(line p
rocess)を考えた。すなわち,一次元で表すと隣合う二
つの画素をmnとし,その値(奥行き)をfm fn とし
たとき,実測値dm が与えられた時のエネルギー関数
rocess)を考えた。すなわち,一次元で表すと隣合う二
つの画素をmnとし,その値(奥行き)をfm fn とし
たとき,実測値dm が与えられた時のエネルギー関数
【0044】
【数10】
【0045】を最小にする表面を見つけるというもので
ある。Vc(l) は線処理のコスト関数。線の処理過程
(2値)となめらかな面(連続値fi )の復元過程とを
考慮したこのモデルは2結合型(2-coupled)MRFと呼
ばれる。なおlはある座標iとjとの間で連続である場
合に値「1」となり,不連続の場合に値「0」となるも
のである。
ある。Vc(l) は線処理のコスト関数。線の処理過程
(2値)となめらかな面(連続値fi )の復元過程とを
考慮したこのモデルは2結合型(2-coupled)MRFと呼
ばれる。なおlはある座標iとjとの間で連続である場
合に値「1」となり,不連続の場合に値「0」となるも
のである。
【0046】2次元の場合の線処理過程のコストは以下
のようになる。
のようになる。
【0047】
【数11】
【0048】なお式(13)に示すhやvは上記(12)式にお
けるlを2次元に展開したときのものであってhijはf
ijとfi+1,j が連続のとき値「1」となるものであり,
またvijはfijとfi,j+1 とが連続のとき値「1」とな
るものである。図3に示す如く水平方向と垂直方向との
両方に並んだ微小センサ群15からの情報を表し,
C v ,Cp ,Cc ,Cl は夫々係数を表している。
けるlを2次元に展開したときのものであってhijはf
ijとfi+1,j が連続のとき値「1」となるものであり,
またvijはfijとfi,j+1 とが連続のとき値「1」とな
るものである。図3に示す如く水平方向と垂直方向との
両方に並んだ微小センサ群15からの情報を表し,
C v ,Cp ,Cc ,Cl は夫々係数を表している。
【0049】以上のようにして,視覚センサ1L,1R
からの情報にもとづいて,事後確率を最大にする面が求
められる(図1に示す面再構成処理部12において求め
られる)。この結果にもとづいて,図1に示す矛盾検出
部13が発動されて,触覚センサ4からの情報を求める
ようにする。
からの情報にもとづいて,事後確率を最大にする面が求
められる(図1に示す面再構成処理部12において求め
られる)。この結果にもとづいて,図1に示す矛盾検出
部13が発動されて,触覚センサ4からの情報を求める
ようにする。
【0050】図4は触覚センサが発動される態様を示
す。 (S1): 上述の如く,視覚センサを用いた形で面の再構
成が得られる。 (S2): 奥行きが不連続となっている場所を検出する。 (S3): 当該不連続となっている場所に対して触覚セン
サを移動させて探索する。奥行きの不連続は一般に連続
した曲線として現れる。その曲線をなぞって移動させる
のが効率がよい。この計画立案の具体的なアルゴリズム
はいろいろ提案されているが,ニューラルネットワーク
を用いた最適経路選択も一つの方法である。
す。 (S1): 上述の如く,視覚センサを用いた形で面の再構
成が得られる。 (S2): 奥行きが不連続となっている場所を検出する。 (S3): 当該不連続となっている場所に対して触覚セン
サを移動させて探索する。奥行きの不連続は一般に連続
した曲線として現れる。その曲線をなぞって移動させる
のが効率がよい。この計画立案の具体的なアルゴリズム
はいろいろ提案されているが,ニューラルネットワーク
を用いた最適経路選択も一つの方法である。
【0051】計画が定まった後は,逐次移動すべき位置
に触覚センサを移動して行く。これはカメラからフィー
ドバック信号を与えるフィードバック制御や,ニューラ
ルネットワークに学習させてフィードフォワードで制御
するようにする。 (S4): 触覚センサからの情報にもとづいて,触覚像か
ら曲面を再構成する。この場合の処理には,上述した所
の視覚センサからの情報にもとづいて『マルコフ確率場
モデルを採用し,ベイズの定理を用いて事後確率を最大
にする面を求めた』処理と同様の処理が行われる。 (S5)(S6): 触覚センサから再構成した面の不連続位置
を教師として,局所エネルギーを学習する。即ち,視覚
センサからのものと触覚センサからのものとの間で,線
処理過程の値に矛盾が存在する場合には,視覚センサの
線処理過程の値を触覚センサの線処理過程の値に置き換
えて,そのことにより差が生じるポテンシャルの値をそ
の係数に応じて,その差が小さくなるように更新する。
即ち,触覚センサの線処理過程を教師として,ポテンシ
ャルを学習する。
に触覚センサを移動して行く。これはカメラからフィー
ドバック信号を与えるフィードバック制御や,ニューラ
ルネットワークに学習させてフィードフォワードで制御
するようにする。 (S4): 触覚センサからの情報にもとづいて,触覚像か
ら曲面を再構成する。この場合の処理には,上述した所
の視覚センサからの情報にもとづいて『マルコフ確率場
モデルを採用し,ベイズの定理を用いて事後確率を最大
にする面を求めた』処理と同様の処理が行われる。 (S5)(S6): 触覚センサから再構成した面の不連続位置
を教師として,局所エネルギーを学習する。即ち,視覚
センサからのものと触覚センサからのものとの間で,線
処理過程の値に矛盾が存在する場合には,視覚センサの
線処理過程の値を触覚センサの線処理過程の値に置き換
えて,そのことにより差が生じるポテンシャルの値をそ
の係数に応じて,その差が小さくなるように更新する。
即ち,触覚センサの線処理過程を教師として,ポテンシ
ャルを学習する。
【0052】
【発明の効果】以上説明した如く,本発明によれば,従
来から知られている如く,マルコフ確率場モデルを採用
してベイズの定理を用いて事後確率を最大にするよう面
を再構成するに当たって,外界に関する事前知識をアド
ホックに定めておくのでなく,必要に応じて触覚センサ
を用いて正しい情報を得て,それを利用することができ
る。
来から知られている如く,マルコフ確率場モデルを採用
してベイズの定理を用いて事後確率を最大にするよう面
を再構成するに当たって,外界に関する事前知識をアド
ホックに定めておくのでなく,必要に応じて触覚センサ
を用いて正しい情報を得て,それを利用することができ
る。
【図1】本発明の原理構成図を示す。
【図2】本発明の実施例構成を示す。
【図3】微小センサ群を示す。
【図4】触覚センサが発動される態様を示す。
1 視覚センサ 2 視覚センサ画像 3 ゼロ交差抽出部 4 触覚センサ 5 変換部 6 視覚センサ利用奥行き情報抽出部 7 触覚センサ利用奥行き情報抽出部 8 復元された面処理部 9 変換処理部 10 運動司令生成部 11 アクチュエータ 12 面再構成処理部 13 矛盾検出部 14 復元された面
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/62 415 9287−5L
Claims (4)
- 【請求項1】 少なくとも2個の視覚センサ(1)と,
少なくとも1個の触覚センサ(4)とをそなえ,奥行き
をもつ3次元面を抽出し認識する認識装置において, 上記少なくとも2個の視覚センサ(1)からの情報によ
って得られた奥行き情報と,上記少なくとも1個の触覚
センサ(4)から得られた奥行き情報との矛盾を検出す
る矛盾検出部(13)をそなえ, 上記矛盾の生じている位置に関して,上記両者の奥行き
情報のうちのいずれか一方を選択するか,あるいは両者
の奥行き情報にもとづいた統合処理を行うようにし, 上記奥行きをもつ3次元面を抽出し認識するようにした
ことを特徴とする視覚情報と触覚情報とを統合した認識
装置。 - 【請求項2】 上記触覚センサ(4)はアクチュエータ
(11)に装着されてあり,上記少なくとも2つの視覚
センサ(1)によって得られた奥行き情報に関して面の
不連続性が見出された位置に対して,上記触覚センサ
(4)による奥行き情報抽出を行うようにしたことを特
徴とする請求項1記載の視覚情報と触覚情報とを統合し
た認識装置。 - 【請求項3】 上記奥行き情報を得る処理において,マ
ルコフ確率場モデルを採用し,センサからの情報の処理
をエネルギーの最小化問題に帰着せしめるようにしたこ
とを特徴とする請求項1記載の視覚情報と触覚情報とを
統合した認識装置。 - 【請求項4】 エネルギー関数に,面の不連続性を反映
するための線処理過程を導入し,視覚センサ(1)から
の情報と触覚センサ(4)からの情報とを上記線処理過
程において統合するようにしたことを特徴とする請求項
3記載の視覚情報と触覚情報とを統合した認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4085177A JPH05288543A (ja) | 1992-04-07 | 1992-04-07 | 視覚情報と触覚情報とを統合した認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4085177A JPH05288543A (ja) | 1992-04-07 | 1992-04-07 | 視覚情報と触覚情報とを統合した認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05288543A true JPH05288543A (ja) | 1993-11-02 |
Family
ID=13851386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4085177A Withdrawn JPH05288543A (ja) | 1992-04-07 | 1992-04-07 | 視覚情報と触覚情報とを統合した認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05288543A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012208759A (ja) * | 2011-03-30 | 2012-10-25 | Kddi Corp | 3次元形状モデル高精度化方法およびプログラム |
JP2015138550A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | カメラシステムを用いて自由空間を推定する方法 |
WO2016092749A1 (en) * | 2014-12-09 | 2016-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
WO2019142796A1 (ja) * | 2018-01-16 | 2019-07-25 | 株式会社 Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
CN111582186A (zh) * | 2020-05-11 | 2020-08-25 | 深圳阿米嘎嘎科技有限公司 | 基于视觉和触觉的物体边缘识别方法、装置、系统及介质 |
-
1992
- 1992-04-07 JP JP4085177A patent/JPH05288543A/ja not_active Withdrawn
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012208759A (ja) * | 2011-03-30 | 2012-10-25 | Kddi Corp | 3次元形状モデル高精度化方法およびプログラム |
JP2015138550A (ja) * | 2014-01-23 | 2015-07-30 | 三菱電機株式会社 | カメラシステムを用いて自由空間を推定する方法 |
WO2016092749A1 (en) * | 2014-12-09 | 2016-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
JP2016109630A (ja) * | 2014-12-09 | 2016-06-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US10335963B2 (en) | 2014-12-09 | 2019-07-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
WO2019142796A1 (ja) * | 2018-01-16 | 2019-07-25 | 株式会社 Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
JP2019124582A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
CN111615623A (zh) * | 2018-01-16 | 2020-09-01 | 首选网络株式会社 | 触觉信息推测装置、触觉信息推测方法以及程序 |
US11590658B2 (en) | 2018-01-16 | 2023-02-28 | Preferred Networks, Inc. | Tactile information estimation apparatus, tactile information estimation method, and program |
CN111582186A (zh) * | 2020-05-11 | 2020-08-25 | 深圳阿米嘎嘎科技有限公司 | 基于视觉和触觉的物体边缘识别方法、装置、系统及介质 |
CN111582186B (zh) * | 2020-05-11 | 2023-12-15 | 深圳阿米嘎嘎科技有限公司 | 基于视觉和触觉的物体边缘识别方法、装置、系统及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111190981B (zh) | 一种三维语义地图的构建方法、装置、电子设备及存储介质 | |
CN108154118B (zh) | 一种基于自适应组合滤波与多级检测的目标探测系统及方法 | |
JP2978406B2 (ja) | 局所異常の排除による動きベクトルフィールド生成装置およびその方法 | |
CN112347861B (zh) | 一种基于运动特征约束的人体姿态估计方法 | |
EP0990222A1 (en) | Image processing method and system involving contour detection steps | |
CN108764244B (zh) | 基于卷积神经网络和条件随机场的潜在目标区域检测方法 | |
CN111832484A (zh) | 一种基于卷积感知哈希算法的回环检测方法 | |
CN112001859A (zh) | 一种人脸图像的修复方法及系统 | |
CN112446882A (zh) | 一种动态场景下基于深度学习的鲁棒视觉slam方法 | |
CN113312973B (zh) | 一种手势识别关键点特征提取方法及系统 | |
CN103955682A (zh) | 基于surf兴趣点的行为识别方法及装置 | |
Gil et al. | Comparing features for target tracking in traffic scenes | |
CN108710879B (zh) | 一种基于网格聚类算法的行人候选区域生成方法 | |
CN111462184B (zh) | 基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法 | |
CN112926522A (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
CN117934721A (zh) | 基于视触融合的空间机器人对目标航天器重建方法与系统 | |
JPH05288543A (ja) | 視覚情報と触覚情報とを統合した認識装置 | |
Cruz et al. | Stereo matching technique based on the perceptron criterion function | |
CN116797640A (zh) | 一种面向智能伴行巡视器的深度及3d关键点估计方法 | |
CN114863487A (zh) | 基于二次回归的一阶段多人人体检测和姿态估计的方法 | |
Lee | Implementation of an interactive interview system using hand gesture recognition | |
Merchán et al. | 3D complex scenes segmentation from a single range image using virtual exploration | |
Dreschler et al. | On the frame-to-frame correspondence between greyvalue characteristics in the images of moving objects | |
JP3112750B2 (ja) | 階層型ニューラルネットワークを用いたセンサ情報処理方式 | |
Reiterer | A semi-automatic image-based measurement system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19990608 |