JP4164737B2 - 物体認識装置及び方法並びにロボット装置 - Google Patents
物体認識装置及び方法並びにロボット装置 Download PDFInfo
- Publication number
- JP4164737B2 JP4164737B2 JP2002151616A JP2002151616A JP4164737B2 JP 4164737 B2 JP4164737 B2 JP 4164737B2 JP 2002151616 A JP2002151616 A JP 2002151616A JP 2002151616 A JP2002151616 A JP 2002151616A JP 4164737 B2 JP4164737 B2 JP 4164737B2
- Authority
- JP
- Japan
- Prior art keywords
- authenticated
- predetermined
- image
- recognition
- predetermined angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、物体認識装置及び方法並びにロボット装置に関し、例えばエンターテインメントロボットに適用して好適なものである。
【0002】
【従来の技術】
従来、ロボット等における3次元物体の認識処理には、3次元物体の外観的な特徴を学習する学習モードと、この学習結果に基づいてその後その3次元物体を認識する認識モードとがある。
【0003】
この場合において、かかる学習モードでは、例えば背景が既知等の理想的な環境のもとで、予め人間が選択した学習対象の3次元物体をロボットに搭載されたCCD(Charge Coupled Device)カメラ等により撮像させることにより、当該CCDカメラから出力される画像データに基づきその3次元物体の特徴をロボットに学習させる方法(以下、これを第1の学習方法と呼ぶ)が広く用いられている。
【0004】
またこれとは別に、3次元物体を機器に学習させる方法として、認識させたい3次元物体の周りをカメラに移動させながら、その3次元物体を一定角度間隔で撮像し、かくして得られたその3次元物体の複数方向からの画像の画像データに基づき3次元物体の特徴を学習させるいわゆるアクティブビジョンと呼ばれる方法(以下、これを第2の学習方法と呼ぶ)も知られている。
【0005】
【発明が解決しようとする課題】
しかしながら、かかる第1の学習方法では、上述のように学習させたい3次元物体を人間が選択するものであり、ロボット自身が学習すべき3次元物体を選択し、これを学習するものではない。
【0006】
また第2の方法も、学習すべき3次元物体の存在する範囲や大きさに対する事前知識が必要となり、第1の方法と同様に、かかる事前知識なしにロボット自身が学習すべき3次元物体を選択し、学習することはできない。
【0007】
これは、実環境下での3次元物体の学習画像を適切に選ぶことが困難であり、その結果、望むような認識結果が得られないことによるものである。つまり、従来の3次元物体認識方法では、ロボット等が3次元物体を学習し易い都合の良い理想的な環境を人間が予め設定することでロボット等が3次元物体を学習できるのである。
【0008】
従って、必ずしもそのような環境をユーザから与えられないであろう一般家庭環境でロボットが動作することを考えると、3次元物体の認識がうまく行われないおそれがあった。
【0009】
本発明は以上の点を考慮してなされたもので、どのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識装置及び方法並びにロボット装置を提案しようとするものである。
【0010】
【課題を解決するための手段】
かかる課題を解決するため本発明の物体認識装置においては、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けるようにした。
【0011】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【0012】
また本発明の物体認識方法においては、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持ステップと、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップとを設けるようにした。
【0013】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【0014】
さらに本発明のロボット装置においては、周囲を撮像する撮像手段と、認証対象の物体を、撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けるようにした。
【0015】
この結果、この物体認識装置は、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができる。
【0016】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【0017】
(1)本実施の形態によるロボットの構成
図1及び図2において、1は全体として本実施の形態による2足歩行型のロボットを示し、胴体部ユニット2の上部に頭部ユニット3が配設されると共に、当該胴体部ユニット2の上部左右にそれぞれ腕部ユニット4A、4Bがそれぞれ配設され、かつ胴体部ユニット2の下部左右にそれぞれ脚部ユニット5A、5Bがそれぞれ所定位置に取り付けられることにより構成されている。
【0018】
胴体部ユニット2においては、体幹上部を形成するフレーム10及び体幹下部を形成する腰ベース11が腰関節機構12を介して連結することにより構成されており、体幹下部の腰ベース11に固定された腰関節機構12の各アクチュエータA1、A2をそれぞれ駆動することによって、体幹上部を図3に示す直交するロール軸13及びピッチ軸14の回りにそれぞれ独立に回転させ得るようになされている。
【0019】
また頭部ユニット3は、フレーム10の上端に固定された肩ベース15の上面中央部に首関節機構16を介して取り付けられており、当該首関節機構16の各アクチュエータA3、A4をそれぞれ駆動することによって、図3に示す直交するピッチ軸17及びヨー軸18の回りにそれぞれ独立に回転させ得るようになされている。
【0020】
さらに各腕部ユニット4A、4Bは、それぞれ肩関節機構19を介して肩ベース15の左右に取り付けられており、対応する肩関節機構19の各アクチュエータA5、A6をそれぞれ駆動することによって図3に示す直交するピッチ軸20及びロール軸21の回りにそれぞれ独立に回転させ得るようになされている。
【0021】
この場合、各腕部ユニット4A、4Bは、それぞれ上腕部を形成するアクチュエータA7の出力軸に肘関節機構22を介して前腕部を形成するアクチュエータA8が連結され、当該前腕部の先端に手部23が取り付けられることにより構成されている。
【0022】
そして各腕部ユニット4A、4Bでは、アクチュエータA7を駆動することによって前腕部を図3に示すヨー軸24の回りに回転させ、アクチュエータA8を駆動することによって前腕部を図3に示すピッチ軸25の回りにそれぞれ回転させることができるようになされている。
【0023】
これに対して各脚部ユニット5A、5Bにおいては、それぞれ股関節機構26を介して体幹下部の腰ベース11にそれぞれ取り付けられており、それぞれ対応する股関節機構26の各アクチュエータA9〜A11をそれぞれ駆動することによって、図3に示す互いに直交するヨー軸27、ロール軸28及びピッチ軸29の回りにそれぞれ独立に回転させ得るようになされている。
【0024】
この場合各脚部ユニット5A、5Bは、それぞれ大腿部を形成するフレーム30の下端に膝関節機構31を介して下腿部を形成するフレーム32が連結されると共に、当該フレーム32の下端に足首関節機構33を介して足部34が連結されることにより構成されている。
【0025】
これにより各脚部ユニット5A、5Bにおいては、膝関節機構31を形成するアクチュエータA12を駆動することによって、下腿部を図3に示すピッチ軸35の回りに回転させることができ、また足首関節機構33のアクチュエータA13、A14をそれぞれ駆動することによって、足部34を図3に示す直交するピッチ軸36及びロール軸37の回りにそれぞれ独立に回転させ得るようになされている。
【0026】
一方、胴体部ユニット2の体幹下部を形成する腰ベース11の背面側には、図4に示すように、当該ロボット1全体の動作制御を司るメイン制御部40と、電源回路及び通信回路などの周辺回路41と、バッテリ45(図5)となどがボックスに収納されてなる制御ユニット42が配設されている。
【0027】
そしてこの制御ユニット42は、各構成ユニット(胴体部ユニット2、頭部ユニット3、各腕部ユニット4A、4B及び各脚部ユニット5A、5B)内にそれぞれ配設された各サブ制御部43A〜43Dと接続されており、これらサブ制御部43A〜43Dに対して必要な電源電圧を供給したり、これらサブ制御部43A〜43Dと通信を行うことができるようになされている。
【0028】
また各サブ制御部43A〜43Dは、それぞれ対応する構成ユニット内の各アクチュエータA1〜A14と接続されており、当該構成ユニット内の各アクチュエータA1〜A14をメイン制御部40から与えられる各種制御コマンドに基づいて指定された状態に駆動し得るようになされている。
【0029】
さらに頭部ユニット3には、図5に示すように、それぞれこのロボット1の「目」として機能する一対のCCDカメラ50A、50Bと、「耳」として機能するマイクロホン51と、「口」として機能するスピーカ52となどがそれぞれ所定位置に配設され、制御ユニット42内には、バッテリセンサ53及び加速度センサ54などが配設されている。
【0030】
そしてCCDカメラ50A、50Bは、それぞれロボット1の前方の状況を撮像し、得られた画像信号S1A、S1Bをメイン制御部40に送出する一方、マイクロホン51は、ユーザから音声入力として与えられる「歩け」、「伏せ」又は「ボールを追いかけろ」等の各種命令音声を集音し、かくして得られた音声信号S2をメイン制御部40に送出するようになされている。
【0031】
またバッテリセンサ53は、バッテリ45のエネルギ残量を所定周期で検出し、検出結果をバッテリ残量検出信号S3としてメイン制御部40に送出する一方、加速度センサ54は、3軸方向(x軸、y軸及びz軸)の加速度を所定周期で検出し、検出結果を加速度検出信号S4としてメイン制御部40に送出する。
【0032】
メイン制御部部40は、CCDカメラ50A、50B及びマイクロホン51からそれぞれ供給される画像信号S1A、S1B及び音声信号S2と、バッテリセンサ53及び加速度センサ54からそれぞれ供給されるバッテリ残量検出信号S3及び加速度検出信号S4に基づいて、ロボット1の周囲及び内部の状況や、ユーザからの指令、ユーザからの働きかけの有無などを判断する。
【0033】
そしてメイン制御部40は、この判断結果と、予め内部メモリ40Aに格納されている制御プログラム及び各種制御パラメータに基づいて続く行動を決定し、決定結果に基づく制御コマンドを対応するサブ制御部43A〜43Dに送出する。
【0034】
この結果、この制御コマンドに基づき、そのサブ制御部43A〜43Dの制御のもとに、対応するアクチュエータA1〜A14が駆動され、かくして頭部ユニット3を上下左右に揺動させたり、腕部ユニット4A、4Bを上にあげたり、歩行するなどの行動がロボット1により発現されることとなる。
【0035】
またこの際メイン制御部40は、必要に応じて所定の音声信号S3をスピーカ54に与えることにより当該音声信号S5に基づく音声を外部に出力させたり、外見上の「目」として機能する頭部ユニット3の所定位置に設けられたLED(図示せず)に駆動信号を出力することによりこれを点滅させる。
【0036】
このようにしてこのロボット1においては、周囲及び内部の状況や、ユーザからの指令などに基づいて自律的に行動することができるようになされている。
【0037】
(2)ロボット1における3次元物体認識機能
(2−1)本実施の形態による3次元物体認識機能の構成
次に、このロボット1に搭載された3次元物体認識機能について説明する。
【0038】
このロボット1においては、認識対象の3次元物体を自動学習し、当該学習結果に基づいてその後その3次元物体を認識する3次元物体認識機能が搭載されている。
【0039】
この場合、かかる3次元物体認識機能は、モードとして学習モード及び認識モードの2つのモードを有している。そして学習モードでは、図6に示すように、所定の一方のCCDカメラ50Aから出力される画像信号S1Aに基づく画像P1中から学習対象の3次元物体の画像領域を切り出し(ステップSP1)、当該切り出された画像領域の画像信号に基づいてその3次元物体の特徴を抽出し、当該抽出した特徴に基づいてその3次元物体を学習器に学習させる(ステップSP2)。
【0040】
また認識モードでは、図7に示すように、画像信号S1Aに基づく画像P2中から認識対象の3次元物体の画像領域を切り出し(ステップSP3)、当該切り出された画像領域の画像信号に基づいてその3次元物体の特徴を抽出し、当該抽出した特徴とそのときまでに学習している各3次元物体の特徴とに基づいてその認識対象の3次元物体を認識して(ステップSP4)、その認識結果を出力する(ステップSP5)。
【0041】
ここで、このような3次元物体の認識学習処理は、メイン制御部40におけるソフトウェア処理により図8に示す3次元物体認識処理手順RT1に従って行われる。
【0042】
実際上、メイン制御部40は、CCDカメラ50Aからの画像信号S1Aに基づいて、持ち上げ可能な大きさ及び距離にある3次元物体60(図9)を検出すると、この3次元物体認識処理手順RT1をステップSP10において開始し、続くステップSP11において認識モードに遷移して、まず各CCDカメラ50A、50Bからの画像信号S1A、S1Bに基づいてその3次元物体までの距離を算出し、当該算出結果に基づいて対応するアクチュエータA1〜A14を駆動することにより、その3次元物体をロボット1に持たせ、これを当該ロボット1の予め定められた一方の腕部ユニット4Bにおける手のひら23A(図10)上の所定位置に載置させる。
【0043】
次いでメイン制御部40は、ステップSP12に進んで、対応するアクチュエータA1〜A14を駆動してロボット1の腕部ユニット4Bを動かすことにより、図9に示すように、その一方の腕部ユニット4Bにおける手のひら23A上に載置させた3次元物体をCCDカメラ50Aに対して予め設定された所定の空間位置にまで移動させる。またこの際、メイン制御部40は、首関節機構16のアクチュエータA4、A5等を駆動することにより、CCDカメラ50Aの光学軸をこの手のひら23A上に載置された3次元物体60に向けさせる。
【0044】
続いてメイン制御部40は、ステップSP13に進んで、対応するアクチュエータA1〜A14を駆動して、かかる3次元物体60を載置した手のひら23Aをその中心位置を中心として回転させることにより、その3次元物体を上述の空間位置において45度ずつ360度だけ回転させる。またメイン制御部40は、これと共にCCDカメラ50Aから出力されるその45度間隔の3次元物体60を撮像した画像の画像信号S1Aを順次記憶する。
【0045】
そしてメイン制御部40は、この後ステップSP14に進んで、このようにして得られた45度間隔の合計8枚分の画像(以下、これを原画像と呼ぶ)からそれぞれ認識対象であるその3次元物体60の画像領域を切り出す画像切出し処理を実行する。
【0046】
なお、この画像切出し処理は、かかる3次元物体60を載置した自己の手のひら23Aよりも近くにあるものを抜き出すという画像処理により行うことができる。具体的には、CCDカメラ50Aからその3次元物体60を載置している手のひら23Aまでの距離がその一方の腕部ユニット4Bにおける肩関節機構19や肘関節機構22との関係により分かっているので、かかる8枚分の原画像を撮像する際にこれと合わせて距離画像を生成して保存し、この距離画像に基づいて求めた距離が当該手のひら23Aよりも近い画像領域を中心として矩形状に切り出すことにより行うことができる。
【0047】
またメイン制御部40は、この後このようにして8枚の原画像からそれぞれ切り出した各画像領域(以下、これを切出し画像と呼ぶ)を、計算の都合上同じ次元にするため、例えば縦横30画素程度の大きさで正規化する。
【0048】
続いてメイン制御部40は、ステップSP15に進んで、この正規化した8枚の切出し画像に基づいてその3次元物体60を認識する認識処理を実行し、この後ステップSP16に進んで、その3次元物体60を認識できたか否かを判断する。
【0049】
そしてメイン制御部40は、このステップSP16において肯定結果を得ると、ステップSP18に進んでその認識結果を3次元物体認識機能用のオブジェクトとは異なる他のオブジェクトに出力し、この後ステップSP19に進んでこの3次元物体認識処理手順RT1を終了する。
【0050】
これに対してメイン制御部40は、ステップSP16において否定結果を得ると、ステップSP17に進んで学習モードに遷移し、ステップSP14において得られた8枚の切出し画像の画像データに基づいてその3次元物体60の特徴を抽出してこれを記憶するようにして当該3次元物体60を学習する。この学習結果は、この後その3次元物体60を認識する際等に利用される。そしてメイン制御部40は、この後ステップSP19に進んで、この3次元物体認識処理手順RT1を終了する。
【0051】
このようにしてこのロボット1においては、実環境にある3次元物体60を自己学習し、当該学習結果に基づいてその後その3次元物体60を認識し得るようになされている。
【0052】
(2−2)3次元物体の特徴抽出処理及び認識処理
ここで、このロボット1の場合、原画像から切り出された切出し画像の画像データに基づいて認識対象や学習対象となっている3次元物体60の特徴を抽出する処理に「ガボア・フィルタリング(Gabor Filtering)」を採用し、また当該ガボア・フィルタリングにより抽出したその3次元物体の特徴に基づいてその3次元物体60を認識したり学習する処理に「サポート・ベクタ・マシーン(SVM:Support Vector Machine)」を採用している。
【0053】
以下に、ガボア・フィルタリング及びサポート・ベクタ・マシーンについて、それぞれ詳細に説明する。
【0054】
(2−2−1)ガボア・フィルタリング
人間の視覚細胞には、ある特定の方位に対して選択性を持つ細胞が存在することが既に判っている。これは、垂直の線に対して発火する細胞と、水平の線に反応する細胞で構成される。ガボア・フィルタリングは、これと同様に、方位選択性を持つ複数のフィルタで構成される空間フィルタである。
【0055】
ガボア・フィルタは、ガボア関数によって空間表現される。ガボア関数g(x,y)は、次式
【0056】
【数1】
【0057】
示すように、コサイン成分からなるキャリアs(x,y)と、2次元ガウス分布状のエンベローブwr(x,y)とで構成される。キャリアs(x,y)は、複索関数を用いて、次式
【0058】
【数2】
【0059】
のように表現される。ここで、座標値(u0,v0)は空間周波数を表し、またPはコサイン成分の位相を表す。
【0060】
この(2)式に示すキャリアは、次式
【0061】
【数3】
【0062】
に示すように、実数成分Re(s(x,y))と虚数成分Im(s(x,y))に分離することができる。
【0063】
一方、2次元ガウス分布からなるエンベロープは、次式
【0064】
【数4】
【0065】
のように表現される。
【0066】
ここで、座標値(u0,v0)はこの関数のピークであり、定数a及びbはガウス分布のスケール・パラメータである。また、添え字rは、次式
【0067】
【数5】
【0068】
に示すような回転操作を意味する。
【0069】
従って、(2)式及び(4)式より、ガボア・フィルタは、次式
【0070】
【数6】
【0071】
に示すような空間関数として表現される。
【0072】
本実施の形態の場合、認識モードや学習モード時には、8種類の方向と3通りの周波数を採用して、合計24個のガボア・フィルタを用いて3次元物体の特徴抽出を行う。本実施の形態で使用されるガボア・フィルタの空間領域での様相を図11〜図13に示す。このうち、図11(A)〜(H)は、方向を22.5度ずつずらした高周波成分のガボア・フィルタである。また、図12(A)〜(H)は、方向を22.5度ずつずらした中周波成分のガボア・フィルタである。また、図13(A)〜(H)は、方向を22.5度ずつずらした低周波成分のガボア・フィルタである。但し、各図における濃淡は紙面に直交する座標軸方向の成分に相当する。
【0073】
ガボア・フィルタのレスポンスは、Giをi番目のガボア・フィルタとし、i番目のガボアの結果(Gabor Jet)をJiとし、入力イメージをIとし、すると、次式
【0074】
【数7】
【0075】
で表される。この(7)式の演算は、実際には高速フーリエ変換を用いて高速化することができる。
【0076】
図14に示すような入力画像(但し、入力画像を20×20画素とする)を、図11〜図13に示す各ガボア・フィルタでフィルタリングされた結果を、図15〜図17に示す。また図18に周波数領域でのガボア・フィルタの構成を示す。図18(A)は20×20画素、図18(B)は64×64画素の画像に対するフィルタであるが、どちらでも大体全ての周波数を埋め尽くすことが分かり、理論通りにガボア・フィルタが構成されていることが分かる。
【0077】
作成したガボア・フィルタの性能は、フィルタリングして得られた画像を再構築することによって調べることができる。再構築されたイメージHは、次式
【0078】
【数8】
【0079】
のように表される。
【0080】
そして、入力画像Iと再構築された画像HとのエラーEは、次式
【0081】
【数9】
【0082】
のように表される。
【0083】
このエラーEを最小にするような最適なaを求めることにより再構築することができる。
【0084】
なお、図19(A)に示す画像を上述のようにして再構築した結果を図19(B)に示す。このときのエラーは0.3426であり、ガボア・フィルタをかけた結果が欠損せず、良いガボア・フィルタが構成されていることが分かる。タスクによりフィルタの構成を変えるとき(例えば顔認識や3次元物体認識によって変えるとき)にこの再構築を用いることができる。
【0085】
(2−2−2)サポート・ベクタ・マシーン
本実施の形態では、3次元物体の認識処理に関して、パターン認識の分野で最も学習汎化能力が高いとされるサポート・ベクタ・マシーン(SVM)を用いて学習済みの3次元物体60であるか否かの識別を行う。
【0086】
SVM自体に関しては、例えばB.sholkop外著の報告(B. Sholkop f, C. Burges, A. Smola, "Advance in Kernel Methods Support Vector Learning", The MIT Press, 1999.)を挙げることができる。本発明者らが行った予備実験の結果からは、SVMによる物体認識方法は、主成分分析(PCA)やニューラル・ネットワークを用いる手法に比べ、良好な結果を示すことが判っている。
【0087】
SVMは、識別関数に線形識別器(バーセプトロン)を用いた学習機械であり、カーネル関数を使うことで非線形空間に拡張することができる。また、識別関数の学習では、クラス間分離のマージンを最大にとるように行われ、その解は、2次数理計画法を解くことで得られるため、グローバル解に到達できることを理論的に保証することができる。
【0088】
通常、パターン認識の問題は、テスト・サンプルx=(x1,x2,…,xn)に対して、次式
【0089】
【数10】
【0090】
で与えられる識別関数f(x)を求めることである。
【0091】
ここで、SVMの学習用の教師ラベルを次式
【0092】
【数11】
【0093】
のようにおく。
【0094】
すると、SVMにおける顔パターンの認識を次式
【0095】
【数12】
【0096】
に示す制約条件の下での重み因子wの二乗を最小化する問題としてとらえることができる。
【0097】
このような制約のついた問題は、ラグランジュの未定定数法を用いて解くことができる。すなわち、次式
【0098】
【数13】
【0099】
のようにラグランジュをまず導入し、次いで、次式
【0100】
【数14】
【0101】
のように、b,wの各々について偏微分する。
【0102】
この結果、SVMにおける3次元物体の識別を次式
【0103】
【数15】
【0104】
に示す2次計画問題としてとらえることができる。
【0105】
特微空間の次元数が、訓練サンプルの数よりも少ない場合は、スラック変数ζ≧0を導入して、制約条件を次式
【0106】
【数16】
【0107】
のように変更する。
【0108】
最適化については、以下の目的関数を最小化する、次式
【0109】
【数17】
【0110】
のように変更する。
【0111】
この(17)式において、Cは、制約条件をどこまで緩めるかを指定する係数であり、実験的に値を決定する必要がある。
【0112】
ラグランジュ定数αに関する問題は次式器
【0113】
【数18】
【0114】
のように変更される。
【0115】
しかし、この(18)式のままでは、非線形の問題を解くことはできない。そこで、本実施の形態では、カーネル関数K(x,y′)を導入して、一旦、高次元の空間に写像して(カーネル・トリック)、その空間で線形分離することにしている。従って、元の空間では非線形分離していることと同様となる。
【0116】
カーネル関数は、ある写像Φを用いて次式
【0117】
【数19】
【0118】
のように表される。
【0119】
また、上述の(10)式に示した識別関数も、次式
【0120】
【数20】
【0121】
のように表すことができる。
【0122】
また、学習に関しても、次式
【0123】
【数21】
【0124】
に示す2次計画問題としてとられることができる。
【0125】
カーネルとしては、次式
【0126】
【数22】
【0127】
に示すガウシアン・カーネル(RBF(Radius Basic Function ))などを用いることができる。
【0128】
なお、ガボア・フィルタリングに関しては、認識タクスに応じてフィルタの種類を変更するようにしてもよい。
【0129】
低周波でのフィルタリングでは、フィルタリング後のイメージすべてをベクトルとして持っているのは冗長である。そこで、ダウンサンプリングして、ベクトルの次元を落すようにしてもよい。ダウンサンプリングされた24種類のベクトルを一列に並べ、長いベクトルにする。
【0130】
また、本実施の形態において3次元物体の認識に適用されるSVMは、特徴空間を2分する識別器であり、「物体A」か「物体Aでない」かを判別するように学習する。そのため、データベースの画像中から、まず物体Aの画像を集め、ガボア・フィルタリング後のベクトルに「物体Aでない」というラベルを貼る。一般に、集める画像の数は、特徴空間の次元より多い方がよい。例えば10個の3次元物体を認識したい場合は、同様に、「物体Bである」、「物体Bでない」…のように、それぞれの3次元物体に対して1つの識別器を構成する。
【0131】
このような学習により、例えば、「物体A」と「物体Aでない」を分けるサポート・ベクタが求まる。SVMは、特徴空間を2つに仕切る識別器であり、新しい画像が入力されてきたときに、やはりガボア・フィルタリングのベクトルが、求めたサポート・ベクタが構成する境界面のどちら側にあるかで認識結果を出力する。そして、境界に対して、「物体A」の領域であれば、「物体A」と認識することができる。また、「物体Aではない」領域であれば「物体Aでない」と認識される。
【0132】
また認識性能を上げるために、ブートストラップ手法を採用することができる。学習に用いる画像とは別に画像を撮影して、ブートストラップに用いる。これは、学習した識別器が誤った認識結果を出したときに、その入力画像を学習セットに投入して学習し直すことを意味する。
【0133】
また、認識性能を上げるために、認識結果の時間変化を見る方法もある。最も簡単な方法では、10回中8回「物体A」と認識されたら「物体A」と認識するなどである。他に、カルマン・フィルタを用いた予測法なども利用できる。
【0134】
(3)本実施の形態の動作及び効果
以上の構成において、ロボット1は、3次元物体60を見つけると、当該3次元物体60を一方の腕部ユニット4Bの手のひら23A上に載置して、これをCCDカメラ50Aに対して所定の空間位置に位置させる。
【0135】
そして、その状態でその腕部ユニット4Bを駆動して3次元物体60をその空間位置において45度間隔で360度回転させることにより、その3次元物体60を45度ごとにずらした方向から見たときの画像データを収集し、当該収集した合計8枚分の画像の画像データに基づいてその3次元物体60を認識するための認識処理を実行すると共に、この際その3次元物体60を認識できなかったときには、その合計8枚分の画像の画像データに基づいてその3次元物体60を学習する。
【0136】
従って、このロボット1は、3次元物体60に対する認識処理及び学習処理を常に一定条件(CCDカメラ50Aに対して常に一定の位置関係)の下で行うことができるため、例えば一般家庭等の実環境においても精度良く3次元物体60の認識を行うことができる。
【0137】
またこのロボット1においては、このように認識対象の3次元物体60を自発的にCCDカメラ50Aに対して一定の位置関係にある空間位置に持ってきてから認識処理及び学習処理を行うため、ユーザの手を煩わせることなく極めて自然に3次元物体60の認識及び学習を行うことができる。
【0138】
さらにロボット1においては、このように自発的に3次元物体60の認識及び学習を行うため、ユーザの家庭環境に合った物体認識を行えるようになることから、よりインタラクションを取れるようになる。
【0139】
以上の構成によれば、ロボット1が認識対象の3次元物体60を持ち、これをCCDカメラ50Aに対して所定の位置関係を有する空間位置にもってきてから当該3次元物体60の認識処理や学習処理を行うようにしたことにより、3次元物体60に対する認識処理及び学習処理を常に一定条件下で行うことができ、かくして一般家庭等の実環境においても精度良くかつ自然に3次元物体60の認識を行い得るロボットを実現できる。
【0140】
(4)他の実施の形態
なお上述の実施の形態においては、本発明を図1〜図5のように構成された2足歩行型のロボット1に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のロボット装置及びロボット装置以外の他の装置に広く適用することができる。
【0141】
この場合において、上述の実施の形態においては、認識対象の物体を、CCDカメラ50Aに対して予め定められた所定の空間位置に移動させて、当該空間位置において所定状態に保持する保持手段としての腕部ユニット4Bを図1〜図3について説明した構成とするようにした場合について述べたが、本発明はこれに限らず、この他種々の構成を広く適用することができる。
【0142】
また上述の実地の形態においては、CCDカメラ50Aの出力に基づいて3次元物体60を認識し、認識できなかったときには当該3次元物体60を学習する認識学習手段としてロボット1全体の動作を司るメイン制御部40を適用するようにした場合について述べたが、本発明はこれに限らず、例えばかかる機能を有する学習認識手段をメイン制御部40とは別に設けるようにしても良い。
【0143】
またこの場合において、上述の実施の形態においては、かかる3次元物体60の特徴を抽出するための手法としてガボア・フィルタを用い、当該抽出した特徴に基づいて3次元物体60を認識する手法としてサポート・ベクタ・マシーン(SVM)を用いるようにした場合について述べたが、本発明はこれに限らず、この他種々の手法を広く適用することができる。
【0144】
因みに、3次元物体60の特徴を抽出するための手法としてガボア・フィルタを用いる場合においても、上述の実施の形態のように8種類の方向と3通りの周波数に固定されるものではなく、その方向及び周波数の組み合せとしては、この他種々の組み合わせを広く適用することができる。
【0145】
さらに上述の実施の形態においては、認識対象の3次元物体60を撮像する撮像手段としてCCDカメラ50Aを適用するようにした場合について述べたが、本発明はこれに限らず、MOS形固定撮像デバイス等この他種々の撮像素子を広く適用することができる。
【0146】
以上のように本発明によれば、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識装置を実現できる。
【0147】
また本発明によれば、認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持ステップと、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップとを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得る物体認識方法を実現できる。
【0148】
さらに本発明によれば、周囲を撮像する撮像手段と、認証対象の物体を、撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、保持した認証対象の物体を、撮像手段に対する所定の空間位置において所定角度ごとに回転させることにより、撮像手段に所定角度ごとに保持した認証対象の物体を撮像させる保持手段と、撮像手段によって所定角度ごとに撮像された複数の画像情報からそれぞれ生成され認証対象の物体の所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の所定角度ごとの複数の特徴情報とに基づいて認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段とを設けることにより、認証対象の物体が予め記憶された物体であるか否かを一定条件下で認識できると共に、認証対象の物体を一定条件下で学習することができ、かくしてどのような環境においても自然にかつ精度良く物体の認識を行い得るロボット装置を実現できる。
【図面の簡単な説明】
【図1】本実施の形態によるロボットの外部構成を示す斜視図である。
【図2】ロボットの外部構成を示す斜視図である。
【図3】ロボットの外部構成の説明に供する略線図である。
【図4】ロボットの内部構成の説明に供するブロック図である。
【図5】ロボットの内部構成の説明に供するブロック図である。
【図6】学習モード時の処理手順の説明に供する略線図である。
【図7】認識モード時の処理手順の説明に供する略線図である。
【図8】3次元物体認識処理手順の説明に供するフローチャートである。
【図9】3次元物体画像の切り出しの説明に供する略線図である。
【図10】3次元物体画像の切り出しの説明に供する略線図である。
【図11】ガボア・フィルタの空間領域での様相を示した図である。
【図12】ガボア・フィルタの空間領域での様相を示した図である。
【図13】ガボア・フィルタの空間領域での様相を示した図である。
【図14】元の3次元物体画像を示す図である。
【図15】図14の3次元物体画像を図11に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図16】図14の3次元物体画像を図12に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図17】図14の3次元物体画像を図13に示すガボア・フィルタでフィルタリングした結果を示す図である。
【図18】周波数領域でのガボア・フィルタの構成を示す図である。
【図19】画像の再構築の説明に供する図である。
【符号の説明】
1……ロボット、4A、4B……腕部ユニット、23A……手のひら、40……メイン制御部、50A、50B……CCDカメラ、60……3次元物体。
Claims (7)
- 認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、上記保持した認証対象の物体を、上記撮像手段に対する上記所定の空間位置において所定角度ごとに回転させることにより、上記撮像手段に上記所定角度ごとに上記保持した認証対象の物体を撮像させる保持手段と、
上記撮像手段によって上記所定角度ごとに撮像された複数の画像情報からそれぞれ生成され上記認証対象の物体の上記所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の上記所定角度ごとの複数の特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには上記認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段と
を有する物体認識装置。 - 上記保持手段は、
上記認証対象の物体を360度回転させる
請求項1に記載の物体認識装置。 - 上記保持手段は、
上記認証対象の物体を45度ごとに回転させて上記撮像手段によって上記認証対象の物体を8回に亘って撮像し、
上記認識学習手段は、
8の上記画像情報から生成された上記認証対象の物体の8の上記特徴情報と、予め記憶された物体の8の上記特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識する
請求項2に記載の物体認識装置。 - 上記認識学習手段は、
上記撮像結果から上記認証対象の物体に対応する部分が切り出されてなる切出画像情報に基づいて上記画像情報を生成する
請求項1に記載の物体認識装置。 - 上記認識学習手段は、
ガボア・フィルタを用いて上記物体の特徴を抽出し、
当該抽出した物体の特徴に基づき、サポート・ベクター・マシーン(SVM)を用いて上記認証対象の物体が予め記憶された物体であるか否かを認識する
請求項1に記載の物体認識装置。 - 認証対象の物体を、所定の撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、上記保持した認証対象の物体を、上記撮像手段に対する上記所定の空間位置において所定角度ごとに回転させることにより、上記撮像手段に上記所定角度ごとに上記保持した認証対象の物体を撮像させる保持ステップと、
上記撮像手段によって上記所定角度ごとに撮像された複数の画像情報からそれぞれ生成され上記認証対象の物体の上記所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の上記所定角度ごとの複数の特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには上記認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習ステップと
を有する物体認識方法。 - 周囲を撮像する撮像手段と、
認証対象の物体を、上記撮像手段に対して予め定められた所定の空間位置に移動させて、当該空間位置において保持すると共に、上記保持した認証対象の物体を、上記撮像手段に対する上記所定の空間位置において所定角度ごとに回転させることにより、上記撮像手段に上記所定角度ごとに上記保持した認証対象の物体を撮像させる保持手段と、
上記撮像手段によって上記所定角度ごとに撮像された複数の画像情報からそれぞれ生成され上記認証対象の物体の上記所定角度ごとの特徴を表す複数の特徴情報と、予め記憶された物体の上記所定角度ごとの複数の特徴情報とに基づいて上記認証対象の物体が予め記憶された物体であるか否かを認識し、予め記憶された物体でないと認識したときには上記認証対象の所定角度ごとの特徴情報を記憶することにより学習する認識学習手段と
を有するロボット装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002151616A JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002151616A JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003346152A JP2003346152A (ja) | 2003-12-05 |
JP4164737B2 true JP4164737B2 (ja) | 2008-10-15 |
Family
ID=29769132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002151616A Expired - Fee Related JP4164737B2 (ja) | 2002-05-24 | 2002-05-24 | 物体認識装置及び方法並びにロボット装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4164737B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101811626B (zh) * | 2010-02-08 | 2013-01-02 | 广州御新软件有限公司 | 挖钞模块驱动机构 |
EP3239878A1 (en) | 2012-02-24 | 2017-11-01 | Nant Holdings IP LLC | Content activation via interaction-based authentication, systems and method |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4439927B2 (ja) * | 2004-01-19 | 2010-03-24 | 三菱電機株式会社 | 検出対象識別装置 |
JP4217664B2 (ja) * | 2004-06-28 | 2009-02-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP2006167902A (ja) * | 2004-12-20 | 2006-06-29 | Yaskawa Electric Corp | 双腕ロボットの制御装置および制御方法 |
US7248952B2 (en) * | 2005-02-17 | 2007-07-24 | Northrop Grumman Corporation | Mixed integer linear programming trajectory generation for autonomous nap-of-the-earth flight in a threat environment |
JP4877810B2 (ja) * | 2007-04-02 | 2012-02-15 | 株式会社国際電気通信基礎技術研究所 | 物体の視覚的表現を学習するための学習システム及びコンピュータプログラム |
EP2249286A1 (en) * | 2009-05-08 | 2010-11-10 | Honda Research Institute Europe GmbH | Robot with vision-based 3D shape recognition |
US8706299B2 (en) * | 2011-08-02 | 2014-04-22 | GM Global Technology Operations LLC | Method and system for controlling a dexterous robot execution sequence using state classification |
JP5895569B2 (ja) * | 2012-02-08 | 2016-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP6164319B2 (ja) * | 2016-03-02 | 2017-07-19 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
JP7051287B2 (ja) | 2016-12-05 | 2022-04-11 | 株式会社ソニー・インタラクティブエンタテインメント | システム、治具、および情報処理方法 |
JP6705738B2 (ja) | 2016-12-05 | 2020-06-03 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理方法、およびプログラム |
CN110945537B (zh) * | 2017-07-28 | 2023-09-22 | 索尼互动娱乐股份有限公司 | 训练装置、识别装置、训练方法、识别方法和程序 |
KR102193329B1 (ko) * | 2019-03-27 | 2020-12-22 | 한국원자력 통제기술원 | 전략물자 식별을 위한 3차원 모델을 활용한 2차원 이미지 유사도 비교 시스템 및 그 방법 |
US11584004B2 (en) | 2019-12-17 | 2023-02-21 | X Development Llc | Autonomous object learning by robots triggered by remote operators |
-
2002
- 2002-05-24 JP JP2002151616A patent/JP4164737B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101811626B (zh) * | 2010-02-08 | 2013-01-02 | 广州御新软件有限公司 | 挖钞模块驱动机构 |
EP3239878A1 (en) | 2012-02-24 | 2017-11-01 | Nant Holdings IP LLC | Content activation via interaction-based authentication, systems and method |
EP3413222A1 (en) | 2012-02-24 | 2018-12-12 | Nant Holdings IP, LLC | Content activation via interaction-based authentication, systems and method |
US10432601B2 (en) | 2012-02-24 | 2019-10-01 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
US10841292B2 (en) | 2012-02-24 | 2020-11-17 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
US11503007B2 (en) | 2012-02-24 | 2022-11-15 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
US12015601B2 (en) | 2012-02-24 | 2024-06-18 | Nant Holdings Ip, Llc | Content activation via interaction-based authentication, systems and method |
Also Published As
Publication number | Publication date |
---|---|
JP2003346152A (ja) | 2003-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4164737B2 (ja) | 物体認識装置及び方法並びにロボット装置 | |
US7369686B2 (en) | Robot apparatus, face recognition method, and face recognition apparatus | |
US20210197384A1 (en) | Robot control method and apparatus and robot using the same | |
Ruesch et al. | Multimodal saliency-based bottom-up attention a framework for the humanoid robot icub | |
Van den Bergh et al. | Real-time 3D hand gesture interaction with a robot for understanding directions from humans | |
Fang et al. | Adaptive active visual servoing of nonholonomic mobile robots | |
US20170266019A1 (en) | Control of Limb Device | |
JP4329398B2 (ja) | 顔検出装置及び方法、並びにプログラム及び記録媒体 | |
JP4526639B2 (ja) | 顔認識装置およびその方法 | |
WO2022227664A1 (zh) | 机器人姿态的控制方法、机器人、存储介质及计算机程序 | |
CN106625673A (zh) | 狭小空间装配系统及装配方法 | |
JP2003271933A (ja) | 顔検出装置及び顔検出方法並びにロボット装置 | |
Metta et al. | Learning to track colored objects with log-polar vision | |
JP2008009999A (ja) | 平面抽出方法、その装置、そのプログラム、その記録媒体及び撮像装置 | |
Ude et al. | Making object learning and recognition an active process | |
CN110060295A (zh) | 目标定位方法及装置、控制装置、跟随设备及存储介质 | |
CN109531578B (zh) | 仿人机械手臂体感控制方法及装置 | |
CN107756402A (zh) | 一种基于深度学习的智能型避障抓取系统 | |
WO2017179136A1 (ja) | 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム | |
Welke et al. | Active multi-view object search on a humanoid head | |
CN210121851U (zh) | 一种机器人 | |
CN115890693A (zh) | 一种基于沉浸式感知和仿生控制的移动排爆装置及方法 | |
Boehme et al. | Person localization and posture recognition for human-robot interaction | |
Gomes et al. | Towards real time data reduction and feature abstraction for robotics vision | |
Su | Vision Based Surgical Tool Tracking and Force Estimation with Robot Kinematics Prior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050428 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080201 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080501 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120808 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130808 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |