JPH06162173A - ３次元物体認識装置 - Google Patents
３次元物体認識装置Info
- Publication number
- JPH06162173A JPH06162173A JP4333816A JP33381692A JPH06162173A JP H06162173 A JPH06162173 A JP H06162173A JP 4333816 A JP4333816 A JP 4333816A JP 33381692 A JP33381692 A JP 33381692A JP H06162173 A JPH06162173 A JP H06162173A
- Authority
- JP
- Japan
- Prior art keywords
- image
- neural network
- dimensional
- unit
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 関節により変形する複数の３次元物体を識別
する事ができる３次元物体認識装置を得る。 【構成】 入力画像に対する標準像の生成、および識別
値を出力するニューラルネットワーク部と、上記ニュー
ラルネットワーク部が学習すべき特定の形状に対する標
準像と識別値を記憶する学習データベース部と、上記ニ
ューラルネットワーク部の識別値によって物体を判別す
る物体判別部とを設ける。
する事ができる３次元物体認識装置を得る。 【構成】 入力画像に対する標準像の生成、および識別
値を出力するニューラルネットワーク部と、上記ニュー
ラルネットワーク部が学習すべき特定の形状に対する標
準像と識別値を記憶する学習データベース部と、上記ニ
ューラルネットワーク部の識別値によって物体を判別す
る物体判別部とを設ける。
Description
【０００１】
【産業上の利用分野】この発明は、関節により可変な３
次元物体を、撮影した２次元画像特徴点から認識する３
次元物体認識装置に関するものである。
次元物体を、撮影した２次元画像特徴点から認識する３
次元物体認識装置に関するものである。
【０００２】
【従来の技術】従来この種の３次元物体認識装置として
は、対象物体に関して事前に得られている形、大きさな
どの知識（物体のモデル）を利用するモデルに基づく手
法が用いられる。この際、モデルの記述としては、３次
元モデルと複数視点からの見え方に基づく２次元モデル
がある。しかし、これらはモデル構築が困難であり、こ
れを回避するために、２次元の画像から３次元物体を認
識する手法を学習によって獲得する方法が提案されてい
る。
は、対象物体に関して事前に得られている形、大きさな
どの知識（物体のモデル）を利用するモデルに基づく手
法が用いられる。この際、モデルの記述としては、３次
元モデルと複数視点からの見え方に基づく２次元モデル
がある。しかし、これらはモデル構築が困難であり、こ
れを回避するために、２次元の画像から３次元物体を認
識する手法を学習によって獲得する方法が提案されてい
る。
【０００３】図１１は例えば「３次元物体の認識を学習
するネットワーク（Ａ ｎｅｔｗｏｒｋ ｔｈａｔ ｌ
ｅａｒｎｓ ｔｏ ｒｅｃｏｇｎｉｚｅ ｔｈｒｅｅ−
ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ）、ネイチャ
ー（Ｎａｔｕｒｅ）、Ｖｏｌ．３４３，Ｎｏ．６２５
５，ｐｐ．２６３−２６６（１９９０）」に示された従
来のＧＲＢＦネットワークによる３次元物体認識装置を
示す構成図である。
するネットワーク（Ａ ｎｅｔｗｏｒｋ ｔｈａｔ ｌ
ｅａｒｎｓ ｔｏ ｒｅｃｏｇｎｉｚｅ ｔｈｒｅｅ−
ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ）、ネイチャ
ー（Ｎａｔｕｒｅ）、Ｖｏｌ．３４３，Ｎｏ．６２５
５，ｐｐ．２６３−２６６（１９９０）」に示された従
来のＧＲＢＦネットワークによる３次元物体認識装置を
示す構成図である。
【０００４】図において、５１は図１２（ａ）に示すよ
うな３層構造のＧＲＢＦネットワーク、５２は学習時と
予測時に観測値が入力される入力層、５３は通常，ガウ
シアン（Ｇａｕｓｓｉａｎ）関数を基底関数とする計算
ユニットからなる隠れ層、５４は入力に対応した出力を
出す出力層である。従来の階層型のニューラルネットワ
ークと同様に、入力と出力間の写像関係をネットワーク
の内部パラメータを学習することによって近似すること
ができる。図１１において、５５は学習時にＧＲＢＦネ
ットワーク５１に入力されるトレーニング像、５６はＧ
ＲＢＦネットワーク５１に入力される物体の未知の像、
５７はＧＲＢＦネットワーク５１から出力される標準像
の予測像である。Ｎ個の頂点（Ｘ1 、Ｙ1 、Ｚ
1 、．．．、ＸN、ＹN 、ＺN ）からなる物体の像５５
は、その座標値を並べた２Ｎ次元のベクトルＸ＝（Ｘ
1 、Ｙ1 、．．．、ＸN 、ＹN ）で表現される。図１２
（ｂ）の５８はＧＲＢＦネットワーク５１に入力される
物体の特徴点（頂点）、５９はＧＲＢＦネットワーク５
１から出力される物体の予測像の特徴点である。ここ
で、物体は変形しない（剛体）とし、ワイヤフレーム状
で隠れはなく、頂点はなんらかの方法で誤りなく検出さ
れているとする。
うな３層構造のＧＲＢＦネットワーク、５２は学習時と
予測時に観測値が入力される入力層、５３は通常，ガウ
シアン（Ｇａｕｓｓｉａｎ）関数を基底関数とする計算
ユニットからなる隠れ層、５４は入力に対応した出力を
出す出力層である。従来の階層型のニューラルネットワ
ークと同様に、入力と出力間の写像関係をネットワーク
の内部パラメータを学習することによって近似すること
ができる。図１１において、５５は学習時にＧＲＢＦネ
ットワーク５１に入力されるトレーニング像、５６はＧ
ＲＢＦネットワーク５１に入力される物体の未知の像、
５７はＧＲＢＦネットワーク５１から出力される標準像
の予測像である。Ｎ個の頂点（Ｘ1 、Ｙ1 、Ｚ
1 、．．．、ＸN、ＹN 、ＺN ）からなる物体の像５５
は、その座標値を並べた２Ｎ次元のベクトルＸ＝（Ｘ
1 、Ｙ1 、．．．、ＸN 、ＹN ）で表現される。図１２
（ｂ）の５８はＧＲＢＦネットワーク５１に入力される
物体の特徴点（頂点）、５９はＧＲＢＦネットワーク５
１から出力される物体の予測像の特徴点である。ここ
で、物体は変形しない（剛体）とし、ワイヤフレーム状
で隠れはなく、頂点はなんらかの方法で誤りなく検出さ
れているとする。
【０００５】次に動作について説明する。このようなＧ
ＲＢＦネットワーク５１に物体の任意の視点からの投影
像５５をその物体の標準像（標準的な視点からの投影
像）へ変換する写像を学習させる。すなわち、入力信号
あるいは教師信号として、複数の異なる視点からの像と
標準像の組を与え、最急降下法などによって学習させ
る。
ＲＢＦネットワーク５１に物体の任意の視点からの投影
像５５をその物体の標準像（標準的な視点からの投影
像）へ変換する写像を学習させる。すなわち、入力信号
あるいは教師信号として、複数の異なる視点からの像と
標準像の組を与え、最急降下法などによって学習させ
る。
【０００６】次に物体の認識時においては、学習済みの
ＧＲＢＦネットワーク５１へ物体の未知の像５６を入力
すれば、ネットワークはそれに対応する標準像の予測像
５７を計算して出力する。この予測像５７と正解である
標準像をベクトル間のユークリッド距離などで比較し
て、物体の識別を行なう。この場合、ＧＲＢＦネットワ
ークは１つの物体に対しての認識を行なうものである。
ＧＲＢＦネットワーク５１へ物体の未知の像５６を入力
すれば、ネットワークはそれに対応する標準像の予測像
５７を計算して出力する。この予測像５７と正解である
標準像をベクトル間のユークリッド距離などで比較し
て、物体の識別を行なう。この場合、ＧＲＢＦネットワ
ークは１つの物体に対しての認識を行なうものである。
【０００７】
【発明が解決しようとする課題】従来の３次元物体認識
装置は以上のように構成されているので、複数の剛体物
体を認識するためには、物体毎にＧＲＢＦネットワーク
が必要となり、一つのネットワークでは認識できないと
いう問題点があった。
装置は以上のように構成されているので、複数の剛体物
体を認識するためには、物体毎にＧＲＢＦネットワーク
が必要となり、一つのネットワークでは認識できないと
いう問題点があった。
【０００８】また、一つの物体であっても関節で変形す
るような物体では、学習例としてすべての形状を与える
ことは不可能であり、学習していない形状では標準像が
不明であるため、従来の方法における標準像と予測像と
の比較では認識できないという問題点があった。
るような物体では、学習例としてすべての形状を与える
ことは不可能であり、学習していない形状では標準像が
不明であるため、従来の方法における標準像と予測像と
の比較では認識できないという問題点があった。
【０００９】この発明は上記のような問題点を解消する
ためになされたもので、関節により変形する複数の３次
元物体を識別する事ができる３次元物体認識装置を得る
ことを目的とする。
ためになされたもので、関節により変形する複数の３次
元物体を識別する事ができる３次元物体認識装置を得る
ことを目的とする。
【００１０】
【課題を解決するための手段】請求項１の発明に係る３
次元物体認識装置は、物体を識別する関数をニューラル
ネットワークで学習することにより、関節で変形する物
体を識別するようにしたものである。
次元物体認識装置は、物体を識別する関数をニューラル
ネットワークで学習することにより、関節で変形する物
体を識別するようにしたものである。
【００１１】請求項２の発明に係る３次元物体認識装置
は、入力像を、一定角度視点変換した場合の像に変換す
る写像をニューラルネットワークで学習することによ
り、ネットワークの予測像と観察者の能動的観測結果と
の比較によって、関節で変形する物体を識別するように
したものである。
は、入力像を、一定角度視点変換した場合の像に変換す
る写像をニューラルネットワークで学習することによ
り、ネットワークの予測像と観察者の能動的観測結果と
の比較によって、関節で変形する物体を識別するように
したものである。
【００１２】
【作用】請求項１の発明における３次元物体認識装置
は、例題として物体の任意視点からの２次元画像特徴点
と、その物体の種類を識別する関数値（一種のフラグ）
の組をニューラルネットワークで学習し、次に学習済み
のニューラルネットワークに物体の任意視点からの２次
元画像特徴点を入力することによって物体の識別値が出
力され、関節で可変な３次元物体を識別可能となる。
は、例題として物体の任意視点からの２次元画像特徴点
と、その物体の種類を識別する関数値（一種のフラグ）
の組をニューラルネットワークで学習し、次に学習済み
のニューラルネットワークに物体の任意視点からの２次
元画像特徴点を入力することによって物体の識別値が出
力され、関節で可変な３次元物体を識別可能となる。
【００１３】請求項２の発明における３次元物体認識装
置は、例題として物体の任意視点からの２次元画像特徴
点と、その入力像から一定角度視点変換した場合の２次
元画像特徴点の組をニューラルネットワークで学習し、
次に学習済みのニューラルネットワークに物体の任意視
点からの２次元画像特徴点を入力することによって、そ
れを一定角度視点を変更した場合の予測像を出力し、こ
れと観察者の能動的観測による像を比較することによっ
て、関節で可変な３次元物体を識別可能となる。
置は、例題として物体の任意視点からの２次元画像特徴
点と、その入力像から一定角度視点変換した場合の２次
元画像特徴点の組をニューラルネットワークで学習し、
次に学習済みのニューラルネットワークに物体の任意視
点からの２次元画像特徴点を入力することによって、そ
れを一定角度視点を変更した場合の予測像を出力し、こ
れと観察者の能動的観測による像を比較することによっ
て、関節で可変な３次元物体を識別可能となる。
【００１４】
実施例１．以下、請求項１の発明の一実施例を図につい
て説明する。図１は請求項１の発明による３次元物体認
識装置を示す構成図である。１０は入力画像に対して標
準像の生成および識別値を出力するニューラルネットワ
ーク部、１１はニューラルネットワーク部１０が学習す
べき標準像と識別値を記憶する学習データベース部、１
２はニューラルネットワーク部１０からの識別値によっ
て物体を判別する物体判別部を示している。図２（ａ）
はニューラルネットワーク部の一実施例であり３層構造
の階層型ニューラルネットワークである。１０１は学習
時と予測時に観測値が入力される入力層、１０２は隠れ
層、１０３は入力に対応した出力を出す出力層である。
入力と出力間の写像関係をネットワークの内部パラメー
タを学習することによって近似することができる。図２
（ｂ）はニューラルネットワーク部の入出力を示してお
り、１３は画像の２次元画像特徴点の座標を並べた次の
ような入力ベクトル、 ｘ＝（ｘ1 ，ｙ1 ，．．．ｘN ，ｙN ） １４は標準像のベクトルと識別関数の値を並べた次のよ
うな出力ベクトルとする。 ｙ＝（ｘ1 ’，ｙ1 ’，…，ｘN ’，ｙN ’，Ｆ1 ，Ｆ
2 ，…，ＦK ） ここで、Ｆi は入力物体がｉの場合１であり、それ以外
の物体の場合は０を出力するような関数で、 Ｆi （ｘj ）＝δij と表わすことができる。Ｋは物体の数を示す。
て説明する。図１は請求項１の発明による３次元物体認
識装置を示す構成図である。１０は入力画像に対して標
準像の生成および識別値を出力するニューラルネットワ
ーク部、１１はニューラルネットワーク部１０が学習す
べき標準像と識別値を記憶する学習データベース部、１
２はニューラルネットワーク部１０からの識別値によっ
て物体を判別する物体判別部を示している。図２（ａ）
はニューラルネットワーク部の一実施例であり３層構造
の階層型ニューラルネットワークである。１０１は学習
時と予測時に観測値が入力される入力層、１０２は隠れ
層、１０３は入力に対応した出力を出す出力層である。
入力と出力間の写像関係をネットワークの内部パラメー
タを学習することによって近似することができる。図２
（ｂ）はニューラルネットワーク部の入出力を示してお
り、１３は画像の２次元画像特徴点の座標を並べた次の
ような入力ベクトル、 ｘ＝（ｘ1 ，ｙ1 ，．．．ｘN ，ｙN ） １４は標準像のベクトルと識別関数の値を並べた次のよ
うな出力ベクトルとする。 ｙ＝（ｘ1 ’，ｙ1 ’，…，ｘN ’，ｙN ’，Ｆ1 ，Ｆ
2 ，…，ＦK ） ここで、Ｆi は入力物体がｉの場合１であり、それ以外
の物体の場合は０を出力するような関数で、 Ｆi （ｘj ）＝δij と表わすことができる。Ｋは物体の数を示す。
【００１５】次に動作について説明する。この入出力の
組を例題として学習を行ない、識別関数の値によって変
形する物体を識別する。以下図３に従って物体識別につ
いて説明する。まず、ステップＳＴ１において未知の入
力像を学習済みニューラルネットワーク部１０に入力す
る。次に、ステップＳＴ２においてニューラルネットワ
ーク部１０によって予測像及び、識別値を計算する。こ
のときの、ニューラルネットワーク部１０の出力を、 ｆ＝（ｘ1 ’，ｙ1 ’，…，ｘN ’，ｙN ’，Ｆ1 ，Ｆ
2 ，…，ＦK ） とする。次にステップＳＴ３において、 ρj ＝Σ｜Ｆi−δij｜，（ｊ＝１，．．．，Ｋ） を計算し、ステップＳＴ４においてρj の最小値ρJ を
計算し、これがしきい値ε以下である場合、つまり、 ρJ ＝ｍｉｎρj 、ρJ ＜ε、（ｊ＝１，．．．，Ｋ） のとき与えられた像は物体Ｊであると判定（ステップＳ
Ｔ５）して処理を終了する。この条件を満たさない場合
は、入力像は未知物体で識別不可（ステップＳＴ６）と
なる。
組を例題として学習を行ない、識別関数の値によって変
形する物体を識別する。以下図３に従って物体識別につ
いて説明する。まず、ステップＳＴ１において未知の入
力像を学習済みニューラルネットワーク部１０に入力す
る。次に、ステップＳＴ２においてニューラルネットワ
ーク部１０によって予測像及び、識別値を計算する。こ
のときの、ニューラルネットワーク部１０の出力を、 ｆ＝（ｘ1 ’，ｙ1 ’，…，ｘN ’，ｙN ’，Ｆ1 ，Ｆ
2 ，…，ＦK ） とする。次にステップＳＴ３において、 ρj ＝Σ｜Ｆi−δij｜，（ｊ＝１，．．．，Ｋ） を計算し、ステップＳＴ４においてρj の最小値ρJ を
計算し、これがしきい値ε以下である場合、つまり、 ρJ ＝ｍｉｎρj 、ρJ ＜ε、（ｊ＝１，．．．，Ｋ） のとき与えられた像は物体Ｊであると判定（ステップＳ
Ｔ５）して処理を終了する。この条件を満たさない場合
は、入力像は未知物体で識別不可（ステップＳＴ６）と
なる。
【００１６】次に、実際に図４（ａ）のような２種類の
物体で実験を行なった場合の結果を以下に示す。これら
はいずれも６個の点（Ｘ1 〜Ｘ6 ）からなり、いま１６
をチョウチョ、１７をトンボと呼ぶ。これらの物体は
（ｂ）のように関節（角度１８をαで表わす）によって
「羽根」を上下して形状が変化する。さらに、軸Ｘ2 −
Ｘ5 上の点Ｃのまわりで回転して姿勢が決定する（物体
の回転が視点の変更に対応する）。学習時には、物体チ
ョウチョ１６、トンボ１７それぞれについて、例題とし
て関節角度１８が０度と３０度と６０度で任意の姿勢の
入力画像特徴点と、それぞれの関節角度の形状に対する
標準像と、識別値としてチョウチョ１６はＦ1 ＝１，Ｆ
2 ＝０，トンボ１７はＦ1 ＝０，Ｆ2 ＝１を教師信号の
出力ベクトルとし、これらの入出力の組を合計１２０
個、さらに、例題としてランダムパターンを２０個与
え、ランダムパターンに対する出力はゼロベクトルとし
てニューラルネットワーク１０を学習させた。
物体で実験を行なった場合の結果を以下に示す。これら
はいずれも６個の点（Ｘ1 〜Ｘ6 ）からなり、いま１６
をチョウチョ、１７をトンボと呼ぶ。これらの物体は
（ｂ）のように関節（角度１８をαで表わす）によって
「羽根」を上下して形状が変化する。さらに、軸Ｘ2 −
Ｘ5 上の点Ｃのまわりで回転して姿勢が決定する（物体
の回転が視点の変更に対応する）。学習時には、物体チ
ョウチョ１６、トンボ１７それぞれについて、例題とし
て関節角度１８が０度と３０度と６０度で任意の姿勢の
入力画像特徴点と、それぞれの関節角度の形状に対する
標準像と、識別値としてチョウチョ１６はＦ1 ＝１，Ｆ
2 ＝０，トンボ１７はＦ1 ＝０，Ｆ2 ＝１を教師信号の
出力ベクトルとし、これらの入出力の組を合計１２０
個、さらに、例題としてランダムパターンを２０個与
え、ランダムパターンに対する出力はゼロベクトルとし
てニューラルネットワーク１０を学習させた。
【００１７】学習結果を図５に示す。学習結果は、学習
済みのニューラルネットワーク部１０に、それぞれの物
体の各関節角度１８について１００個ランダムな姿勢の
入力像（ランダムな視点からの像）を与え、ニューラル
ネットワーク部１０の出力に対して、 ＭＩＮ／ＭＡＸ＝ｍｉｎρI ／ｍａｘρJ ，（Ｉ≠Ｊ） を計算する。これは、物体Ｊの複数の入力パターンに対
して、Ｊ以外の物体に対応するρI （Ｉ≠Ｊ）の最小値
と、Ｊに対応するρJ の最大値の比である。ここでＭＩ
Ｎ／ＭＡＸ＞１、つまり、ＭＩＮ＞ＭＡＸならば、物体
Ｊとそれ以外の物体が完全に識別できることを意味す
る。
済みのニューラルネットワーク部１０に、それぞれの物
体の各関節角度１８について１００個ランダムな姿勢の
入力像（ランダムな視点からの像）を与え、ニューラル
ネットワーク部１０の出力に対して、 ＭＩＮ／ＭＡＸ＝ｍｉｎρI ／ｍａｘρJ ，（Ｉ≠Ｊ） を計算する。これは、物体Ｊの複数の入力パターンに対
して、Ｊ以外の物体に対応するρI （Ｉ≠Ｊ）の最小値
と、Ｊに対応するρJ の最大値の比である。ここでＭＩ
Ｎ／ＭＡＸ＞１、つまり、ＭＩＮ＞ＭＡＸならば、物体
Ｊとそれ以外の物体が完全に識別できることを意味す
る。
【００１８】上記の学習済みのニューラルネットワーク
部１０に対して２０はＪ＝チョウチョとした場合、２１
はＪ＝トンボとした場合のＭＩＮ／ＭＡＸの値をそれぞ
れ縦軸に示している。図５より学習した範囲、つまり、
０度≦α≦６０度では、チョウチョとトンボを完全に識
別できることがわかる。
部１０に対して２０はＪ＝チョウチョとした場合、２１
はＪ＝トンボとした場合のＭＩＮ／ＭＡＸの値をそれぞ
れ縦軸に示している。図５より学習した範囲、つまり、
０度≦α≦６０度では、チョウチョとトンボを完全に識
別できることがわかる。
【００１９】また未知形状に対する標準像の生成結果を
図６に示す。これは物体チョウチョ１６に対して学習し
た関節角度０度、３０度、６０度の入力像に対する標準
像の生成と、学習していない未知形状である関節角度４
５度の入力像に対する標準像の生成結果を示している。
図中それぞれの円内２２は各関節角度に対する標準像、
それぞれの四角形内２３は各関節角度に対する学習して
いない姿勢の入力像、その下２４はそれらの入力像２３
に対するニューラルネットワークの予測像と実際の標準
像を重ね書きしたものであり、学習した関節角度０度、
３０度、６０度はもちろん、学習していない未知形状の
関節角度４５度に対しての結果２５からも、入力像から
精度よく標準像を生成できることがわかる。
図６に示す。これは物体チョウチョ１６に対して学習し
た関節角度０度、３０度、６０度の入力像に対する標準
像の生成と、学習していない未知形状である関節角度４
５度の入力像に対する標準像の生成結果を示している。
図中それぞれの円内２２は各関節角度に対する標準像、
それぞれの四角形内２３は各関節角度に対する学習して
いない姿勢の入力像、その下２４はそれらの入力像２３
に対するニューラルネットワークの予測像と実際の標準
像を重ね書きしたものであり、学習した関節角度０度、
３０度、６０度はもちろん、学習していない未知形状の
関節角度４５度に対しての結果２５からも、入力像から
精度よく標準像を生成できることがわかる。
【００２０】実施例２．次に請求項２の発明の一実施例
を図について説明する。図７は請求項２の発明による３
次元物体認識装置を示す構成図である。２６は物体を撮
影し２次元画像の特徴点を与えるカメラ（第１のカメ
ラ）、２７はカメラ２６の特徴点入力に対して一定角度
θ視点変換した物体の像を生成するニューラルネットワ
ーク部、２８はカメラ２６の視点から一定角度θ視点変
換した物体の像を撮影し２次元画像の特徴点を与えるカ
メラ（第二のカメラ）、２９はニューラルネットワーク
部２７の生成像とカメラ２８の像を比較する像比較部、
３０は学習時に像比較部２９の出力に基づいてニューラ
ルネットワーク部２７のパラメータを修正するパラメー
タ修正部、３１は認識時に像比較部２９の出力に基づい
て物体を判別する物体判別部を示したものである。図８
はニューラルネットワーク部２７を示したものであり、
認識したい物体がＫ種あるものとすると、それぞれの物
体に対してニューラルネットワークを用意する。入力ベ
クトルは画像の２次元特徴点を並べたベクトル、出力ベ
クトルは入力像を一定角度θ視点変換した場合の像の特
徴点の座標を並べたベクトルであり、物体１についてニ
ューラルネットワーク３２で学習し、同様にして物体Ｋ
までそれぞれのニューラルネットワークで学習する。
を図について説明する。図７は請求項２の発明による３
次元物体認識装置を示す構成図である。２６は物体を撮
影し２次元画像の特徴点を与えるカメラ（第１のカメ
ラ）、２７はカメラ２６の特徴点入力に対して一定角度
θ視点変換した物体の像を生成するニューラルネットワ
ーク部、２８はカメラ２６の視点から一定角度θ視点変
換した物体の像を撮影し２次元画像の特徴点を与えるカ
メラ（第二のカメラ）、２９はニューラルネットワーク
部２７の生成像とカメラ２８の像を比較する像比較部、
３０は学習時に像比較部２９の出力に基づいてニューラ
ルネットワーク部２７のパラメータを修正するパラメー
タ修正部、３１は認識時に像比較部２９の出力に基づい
て物体を判別する物体判別部を示したものである。図８
はニューラルネットワーク部２７を示したものであり、
認識したい物体がＫ種あるものとすると、それぞれの物
体に対してニューラルネットワークを用意する。入力ベ
クトルは画像の２次元特徴点を並べたベクトル、出力ベ
クトルは入力像を一定角度θ視点変換した場合の像の特
徴点の座標を並べたベクトルであり、物体１についてニ
ューラルネットワーク３２で学習し、同様にして物体Ｋ
までそれぞれのニューラルネットワークで学習する。
【００２１】次に動作について説明する。以下、物体の
認識について図９で説明する。まず、ステップＳＴ７で
観測者は認識する物体を、ニューラルネットワークに学
習させる角度分だけ視点変換した像を実際にカメラ２８
で撮影し、その像ｖ’を獲得する。次にステップＳＴ８
でｉ＝１としてカメラ２６によって認識する物体の２次
元画像の特徴点を抽出し、ステップＳＴ９でその特徴点
を学習済みのニューラルネットワークに順番に与える。
次に、ステップＳＴ１０においてニューラルネットワー
クから得た予測像ｖi とｖ’を比較し、その誤差がある
しきい値以下、つまり、 ｜｜ｖi −ｖ’｜｜＜εi となったとき、物体ｉであると認識して（ステップＳＴ
１１）処理を終了する。これを満たさなかった場合、次
のｉ＋１番目（ステップＳＴ１２）のニューラルネット
ワークの予測像と同様にして比較する。これを繰り返
し、すべてのニューラルネットワークの予測像と比較し
ても認識できなかった場合は、認識不可であり認識する
物体は未知物体であるとして（ステップＳＴ１３，１
４）処理を終了する。
認識について図９で説明する。まず、ステップＳＴ７で
観測者は認識する物体を、ニューラルネットワークに学
習させる角度分だけ視点変換した像を実際にカメラ２８
で撮影し、その像ｖ’を獲得する。次にステップＳＴ８
でｉ＝１としてカメラ２６によって認識する物体の２次
元画像の特徴点を抽出し、ステップＳＴ９でその特徴点
を学習済みのニューラルネットワークに順番に与える。
次に、ステップＳＴ１０においてニューラルネットワー
クから得た予測像ｖi とｖ’を比較し、その誤差がある
しきい値以下、つまり、 ｜｜ｖi −ｖ’｜｜＜εi となったとき、物体ｉであると認識して（ステップＳＴ
１１）処理を終了する。これを満たさなかった場合、次
のｉ＋１番目（ステップＳＴ１２）のニューラルネット
ワークの予測像と同様にして比較する。これを繰り返
し、すべてのニューラルネットワークの予測像と比較し
ても認識できなかった場合は、認識不可であり認識する
物体は未知物体であるとして（ステップＳＴ１３，１
４）処理を終了する。
【００２２】次に、実施例１で示したのと同じ物体チョ
ウチョ１６について実験した結果を示す。ここでは、チ
ョウチョ１６一つを認識対象として学習させた。また、
視点の変換として３次元空間においてＹ軸のまわりに１
５度回転するものとした。学習例は、関節角度が０度、
３０度、６０度のそれぞれに対して任意の視点からの入
力像と、それを３次元空間でＹ軸の回りに１５度回転し
てできる像を出力像として、これらの組を９０個与え
た。
ウチョ１６について実験した結果を示す。ここでは、チ
ョウチョ１６一つを認識対象として学習させた。また、
視点の変換として３次元空間においてＹ軸のまわりに１
５度回転するものとした。学習例は、関節角度が０度、
３０度、６０度のそれぞれに対して任意の視点からの入
力像と、それを３次元空間でＹ軸の回りに１５度回転し
てできる像を出力像として、これらの組を９０個与え
た。
【００２３】実験結果は、学習済みのニューラルネット
ワークに、学習したチョウチョ１６の像を入力した場合
と、学習していないトンボ１７の像を入力した場合のそ
れぞれについて、誤差、 Ｅｒｒｏｒ＝｜｜ｆ−ｘC ｜｜／｜｜ｘC −ｘG ｜｜ の平均値、最大値、最小値を比較した。ここで、ｆはニ
ューラルネットワークの出力、ｘC は入力像を１５度視
点変換した像、ｘG はｘC の重心である。図１０にチョ
ウチョ１６、トンボ１７それぞれに対する誤差平均を３
３、３４に示し、チョウチョ１６の誤差最大値とトンボ
１７の誤差最小値の比３５を示す。なお、入力像はそれ
ぞれの関節角度に対してランダムに１００例与えて誤差
の平均をとった。これより、チョウチョ１６に関して
は、学習した形状つまり、関節角度０度、３０度、６０
度に対する視点変換写像の補間によって、未知形状に対
しても、適正な視点変換を行なう写像が形成されている
ことがわかる。また、学習していない物体トンボ１７に
ついては、誤差３４は大きくなっており、この写像は物
体に固有であることがうかがえる。また、トンボ１７に
対する誤差最小値とチョウチョ１６に対する誤差最大値
の比３５が常に１より大きいので、誤差に対してあるし
きい値（この場合、ε１にあたる）を設定すれば、チョ
ウチョ１６とトンボ１７を完全に識別できることがわか
る。
ワークに、学習したチョウチョ１６の像を入力した場合
と、学習していないトンボ１７の像を入力した場合のそ
れぞれについて、誤差、 Ｅｒｒｏｒ＝｜｜ｆ−ｘC ｜｜／｜｜ｘC −ｘG ｜｜ の平均値、最大値、最小値を比較した。ここで、ｆはニ
ューラルネットワークの出力、ｘC は入力像を１５度視
点変換した像、ｘG はｘC の重心である。図１０にチョ
ウチョ１６、トンボ１７それぞれに対する誤差平均を３
３、３４に示し、チョウチョ１６の誤差最大値とトンボ
１７の誤差最小値の比３５を示す。なお、入力像はそれ
ぞれの関節角度に対してランダムに１００例与えて誤差
の平均をとった。これより、チョウチョ１６に関して
は、学習した形状つまり、関節角度０度、３０度、６０
度に対する視点変換写像の補間によって、未知形状に対
しても、適正な視点変換を行なう写像が形成されている
ことがわかる。また、学習していない物体トンボ１７に
ついては、誤差３４は大きくなっており、この写像は物
体に固有であることがうかがえる。また、トンボ１７に
対する誤差最小値とチョウチョ１６に対する誤差最大値
の比３５が常に１より大きいので、誤差に対してあるし
きい値（この場合、ε１にあたる）を設定すれば、チョ
ウチョ１６とトンボ１７を完全に識別できることがわか
る。
【００２４】実施例３．以上の実施例では写像近似とし
てニューラルネットワークとしたが、これは従来の３次
元物体認識装置において記載したＧＲＢＦネットワーク
を適用する事もできる。
てニューラルネットワークとしたが、これは従来の３次
元物体認識装置において記載したＧＲＢＦネットワーク
を適用する事もできる。
【００２５】
【発明の効果】以上のように、請求項１の発明によれ
ば、ニューラルネットワークで物体の識別関数を学習す
るように構成したので、１つのネットワークで、関節に
よって変形する複数の３次元物体の識別が可能な３次元
物体認識装置が得られるという効果がある。
ば、ニューラルネットワークで物体の識別関数を学習す
るように構成したので、１つのネットワークで、関節に
よって変形する複数の３次元物体の識別が可能な３次元
物体認識装置が得られるという効果がある。
【００２６】また請求項２の発明によれば、入力像を一
定角度視点変換した場合の像に変換する写像をニューラ
ルネットワークで学習し、ネットワークの予測像と観察
者の能動的観測結果とを比較するように構成したので、
関節により変形する複数の３次元物体の識別が可能な３
次元物体認識装置が得られるという効果がある。
定角度視点変換した場合の像に変換する写像をニューラ
ルネットワークで学習し、ネットワークの予測像と観察
者の能動的観測結果とを比較するように構成したので、
関節により変形する複数の３次元物体の識別が可能な３
次元物体認識装置が得られるという効果がある。
【図１】請求項１の発明における３次元物体認識装置の
構成図である。
構成図である。
【図２】請求項１の発明における３次元物体認識装置の
ニューラルネットワーク部を示す図である。
ニューラルネットワーク部を示す図である。
【図３】請求項１の発明の動作手順を示すフローチャー
トである。
トである。
【図４】実施例１における対象物体を示す図である。
【図５】実施例１の識別結果を示すグラフ図である。
【図６】実施例１の標準像生成結果を示す図である。
【図７】請求項２の発明における３次元物体認識装置の
構成図である。
構成図である。
【図８】請求項２の発明における３次元物体認識装置の
ニューラルネットワーク部を示す図である。
ニューラルネットワーク部を示す図である。
【図９】請求項２の発明の動作手順を示すフローチャー
トである。
トである。
【図１０】実施例２の結果を示すグラフ図である。
【図１１】従来の３次元物体認識装置を示す説明図であ
る。
る。
【図１２】ＧＲＢＦネットワークの構成図である。
１０ ニューラルネットワーク部 １１ 学習データベース部 １２ 物体判別部 ２６ カメラ（第１のカメラ） ２７ ニューラルネットワーク部 ２８ カメラ（第２のカメラ） ２９ 像比較部 ３０ パラメータ修正部 ３１ 物体判別部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 泰明 尼崎市塚口本町８丁目１番１号 三菱電機 株式会社中央研究所内
Claims (2)
- 【請求項１】 関節により可変な３次元物体の任意視点
からの２次元画像の特徴点、その物体の標準像の特徴点
およびその物体の識別値を記憶する学習データベース部
と、学習時には上記学習データベース部により記憶され
た任意視点からの２次元画像特徴点を入力してその物体
の予測像の特徴点および識別値を生成するとともに、上
記学習データベース部により記憶された標準像の特徴点
および識別値にその予測像の特徴点および識別値が一致
するようにニューラルネットワークのパラメータを修正
し、認識時には、ある物体の入力画像の特徴点に対する
予測像の特徴点および識別値を生成するニューラルネッ
トワーク部と、上記ニューラルネットワーク部により生
成された識別値によって物体の種別を判別する物体判別
部とを備えた３次元物体認識装置。 - 【請求項２】 関節により可変な３次元物体を撮影し２
次元画像の特徴点を与える第一のカメラと、上記第一の
カメラにより与えられた２次元画像の特徴点に対して一
定角度視点変換した２次元画像の特徴点を生成するニュ
ーラルネットワーク部と、上記第一のカメラの視点から
一定角度視点変換した上記物体の像を撮影し２次元画像
の特徴点を与える第二のカメラと、上記ニューラルネッ
トワーク部により生成された２次元画像の特徴点と上記
第二のカメラにより与えられた２次元画像の特徴点を比
較する像比較部と、学習時に上記像比較部の比較結果に
基づいて上記ニューラルネットワーク部のパラメータを
修正するパラメータ修正部と、認識時に上記像比較部の
比較結果に基づいて物体の種別を判別する物体判別部と
を備えた３次元物体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4333816A JPH06162173A (ja) | 1992-11-20 | 1992-11-20 | ３次元物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4333816A JPH06162173A (ja) | 1992-11-20 | 1992-11-20 | ３次元物体認識装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06162173A true JPH06162173A (ja) | 1994-06-10 |
Family
ID=18270270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4333816A Pending JPH06162173A (ja) | 1992-11-20 | 1992-11-20 | ３次元物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06162173A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006323586A (ja) * | 2005-05-18 | 2006-11-30 | Anabuki Construction Inc | 住宅所有関係別分布表推定システム |
| WO2019116496A1 (ja) * | 2017-12-14 | 2019-06-20 | 日本電気株式会社 | 学習装置、学習方法、および記憶媒体 |
| CN110291358A (zh) * | 2017-02-20 | 2019-09-27 | 欧姆龙株式会社 | 形状估计装置 |
| JP2021529407A (ja) * | 2018-06-04 | 2021-10-28 | コグヴィス ソフトウェア ウント コンサルティング ゲーエムベーハー | 対象物の種類および状態を判定する方法 |
| WO2023095353A1 (ja) * | 2021-11-24 | 2023-06-01 | 日本電信電話株式会社 | 多視点画像生成装置、方法およびプログラム |
-
1992
- 1992-11-20 JP JP4333816A patent/JPH06162173A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006323586A (ja) * | 2005-05-18 | 2006-11-30 | Anabuki Construction Inc | 住宅所有関係別分布表推定システム |
| CN110291358A (zh) * | 2017-02-20 | 2019-09-27 | 欧姆龙株式会社 | 形状估计装置 |
| US11036965B2 (en) | 2017-02-20 | 2021-06-15 | Omron Corporation | Shape estimating apparatus |
| CN110291358B (zh) * | 2017-02-20 | 2022-04-05 | 欧姆龙株式会社 | 形状估计装置 |
| WO2019116496A1 (ja) * | 2017-12-14 | 2019-06-20 | 日本電気株式会社 | 学習装置、学習方法、および記憶媒体 |
| JPWO2019116496A1 (ja) * | 2017-12-14 | 2020-11-26 | 日本電気株式会社 | 学習装置、学習方法、および学習プログラム |
| US11526691B2 (en) | 2017-12-14 | 2022-12-13 | Nec Corporation | Learning device, learning method, and storage medium |
| JP2021529407A (ja) * | 2018-06-04 | 2021-10-28 | コグヴィス ソフトウェア ウント コンサルティング ゲーエムベーハー | 対象物の種類および状態を判定する方法 |
| WO2023095353A1 (ja) * | 2021-11-24 | 2023-06-01 | 日本電信電話株式会社 | 多視点画像生成装置、方法およびプログラム |
| WO2023095792A1 (ja) * | 2021-11-24 | 2023-06-01 | 日本電信電話株式会社 | 多視点画像生成装置、方法およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977757B (zh) | 一种基于混合深度回归网络的多模态的头部姿态估计方法 | |
| JP2885823B2 (ja) | 視覚認識装置 | |
| CN111783748B (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| EP0665507B1 (en) | Position and orientation estimation neural network system and method | |
| Wu et al. | Towards one shot learning by imitation for humanoid robots | |
| KR20200121206A (ko) | 심층 네트워크와 랜덤 포레스트가 결합된 앙상블 분류기의 경량화를 위한 교사-학생 프레임워크 및 이를 기반으로 하는 분류 방법 | |
| JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
| CN114693661A (zh) | 一种基于深度学习的快速分拣方法 | |
| US7593566B2 (en) | Data recognition device | |
| US7310446B2 (en) | Recognition device and method | |
| CN114937066A (zh) | 基于交叉偏移特征与空间一致性的点云配准系统及方法 | |
| JP2018128897A (ja) | 対象物の姿勢等を検出する検出方法、検出プログラム | |
| CN114049318A (zh) | 一种基于多模态融合特征的抓取位姿检测方法 | |
| CN116188825A (zh) | 一种基于并行注意力机制的高效特征匹配方法 | |
| Saxena et al. | Generalizable pose estimation using implicit scene representations | |
| Lee et al. | Robust recognition and pose estimation of 3d objects based on evidence fusion in a sequence of images | |
| Pauli | Learning to recognize and grasp objects | |
| JPH06162173A (ja) | ３次元物体認識装置 | |
| JP2005351814A (ja) | 検出装置および検出方法 | |
| Yang et al. | DARE: Diver Action Recognition Encoder for Underwater Human-Robot Interaction | |
| JP4238537B2 (ja) | 画像処理装置 | |
| Lin | 3D object detection and 6D pose estimation using RGB-D images and mask R-CNN | |
| KR102553851B1 (ko) | 멀티모달 밀결합 텐서 네트워크 구축 방법 및 그 시스템 | |
| JP4407244B2 (ja) | ロボット装置及びその物体学習方法 | |
| KR20060074410A (ko) | 학습에 기반을 둔 적응형 실시간 얼굴검출방법 |