JP5229912B2 - Object recognition apparatus and object recognition method - Google Patents
Object recognition apparatus and object recognition method Download PDFInfo
- Publication number
- JP5229912B2 JP5229912B2 JP2009192509A JP2009192509A JP5229912B2 JP 5229912 B2 JP5229912 B2 JP 5229912B2 JP 2009192509 A JP2009192509 A JP 2009192509A JP 2009192509 A JP2009192509 A JP 2009192509A JP 5229912 B2 JP5229912 B2 JP 5229912B2
- Authority
- JP
- Japan
- Prior art keywords
- environment
- information
- identified
- physical
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000004088 simulation Methods 0.000 claims description 74
- 238000012545 processing Methods 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 19
- 230000007613 environmental effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000013016 learning Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Description
本発明は、移動型ロボットに搭載されて日常生活空間内の物体を認識した認識処理の認識結果を検証することができる物体認識装置および物体認識方法に関する。特に、認識結果の誤検出を防止しつつ対象物の物体を認識し、その認識精度を向上することができ物体認識装置および物体認識方法に関するものである。 The present invention relates to an object recognition apparatus and an object recognition method that can be verified on a recognition result of a recognition process that is mounted on a mobile robot and recognizes an object in a daily life space. In particular, the present invention relates to an object recognition apparatus and an object recognition method capable of recognizing an object as an object while preventing erroneous detection of a recognition result and improving the recognition accuracy.
従来から、物体を機械的に認識する認識装置及び認識方法は、様々な手法により開発されている。例えば、物体を認識する方法として、予め用意された多数の画像と認識対象の物体の画像とを比較し、形状の特徴をマッチングさせる方法(非特許文献1)や、あらかじめ物体を計測して得られる全周囲レンジデータからなる自由曲面体モデルと3次元物体である自由曲面体の入力画像とを照合して前記自由曲面体の位置姿勢を決定する3次元物体位置姿勢決定方法(特許文献1)などが開発されている。 Conventionally, recognition devices and recognition methods for mechanically recognizing objects have been developed by various methods. For example, as a method of recognizing an object, a method of comparing a large number of images prepared in advance with an image of an object to be recognized and matching shape characteristics (Non-Patent Document 1), or by measuring an object in advance 3D object position and orientation determination method for determining the position and orientation of the free-form surface body by collating a free-form surface model composed of all-round range data and an input image of the free-form surface body that is a 3D object (Patent Document 1) Etc. are being developed.
また、高度な認識処理として、ベイズネットワークを用いた知識記述に基づいて視線制御による認識手法(非特許文献2)の提案がある。 As advanced recognition processing, there is a proposal of a recognition method (Non-Patent Document 2) based on gaze control based on knowledge description using a Bayesian network.
しかし、上記の技術では、視覚特徴(撮影画像)のみによって、同じ種類の自然量を扱うセンサによる認識手法が多く使用され、たとえば、視覚センサのノイズによって物体の形状を誤認識する場合があるが、このような場合については考慮されていない。更に、視覚特徴のみによる認識手法では、物体を特定しても、形状の情報に基づいて物体を認識するため、物体の物理的な性質は特定できず、形状は類似するが物理的な性質が異なるために、ハンドリングする場合の物体の誤認識が起きてしまうという問題点がある。 However, in the above technique, a recognition method using a sensor that handles the same kind of natural quantity is often used only by visual features (captured images). For example, the shape of an object may be erroneously recognized due to noise of the visual sensor. This is not the case. Furthermore, in the recognition method based only on visual features, even if an object is specified, the object is recognized based on shape information, so the physical properties of the object cannot be specified, and the shape is similar but the physical properties are similar. Due to the difference, there is a problem that erroneous recognition of an object occurs when handling.
また、同じ種類の自然量を扱うセンサからのデータを基にして、認識処理を行っているため、たとえば、視覚センサから良好な画像データが採取できない場合には,著しく認識精度が落ちたり、認識が不可能になったりする。これに対応できるように、異なる種類の情報を統合して高精度な物体認識を行い得る物体認識方法(特許文献2)についての提案もある。 In addition, since recognition processing is performed based on data from sensors that handle the same kind of natural quantity, for example, when good image data cannot be collected from a visual sensor, the recognition accuracy is significantly reduced or recognized. It becomes impossible. In order to cope with this, there is also a proposal for an object recognition method (Patent Document 2) that can perform highly accurate object recognition by integrating different types of information.
一般に、認識装置により機械的に物体を認識する場合、その物体認識処理による認識結果はすべて正しいとは限らず、認識結果を検証し、その誤りをチェックし、正しい結果に修正する必要がある。このような正しい結果とする修正の作業については、これまで、機械的に自動で行うことはできず、人手により行われていた。このチェックおよび修正作業を手作業で行うことは、ユーザに重い負担を強いることになる。 In general, when an object is mechanically recognized by a recognition device, not all the recognition results obtained by the object recognition processing are correct, but it is necessary to verify the recognition result, check the error, and correct the result. Up to now, such correction work for obtaining a correct result has not been performed mechanically automatically, but has been performed manually. Performing this check and correction work manually places a heavy burden on the user.
これに対して、このような認識装置による認識結果が正しいか否かを判定できるように認識装置の一部を改良する認識装置が、特許文献3,特許文献4に提案されている。
On the other hand,
特許文献3は、医用画像に対する画像認識処理による認識結果が正しいかどうかを判定する画像認識結果判定装置の提案である。この画像認識結果判定装置の発明では、画像認識部が被検体を表す画像中の所定の構造物を認識した後、認識結果判定部が認識された所定の構造物の画像上での計測により、その構造物の解剖学的計測値を取得し、取得された解剖学的計測値が所定の標準的範囲内にあるかどうかを自動的に判定し、その範囲外にあれば、画像認識結果を誤りと判定する。
また、特許文献4は、静止物体との誤検出を防止しつつ対象物の道路上の歩行者を認識することができる認識装置の提案である。この認識装置では、物体の撮像画像と地図データベースの静止物体の画像とを比較して一致度が高い物は対象物から除き、静止物体との誤検出を防止するようにしている。
ところで、前述した特許文献3,特許文献4に示されるように、認識装置による認識結果が正しいか否かを判定できるように認識装置の一部を改良するようにした認識装置が提案されているが、これらの認識結果の判定手段は、認識手段と同じ種類の自然量を扱うセンサによる誤認識を低減する手法であり、たとえば、センサのノイズによる誤認識を取り除くことは困難である。
By the way, as shown in
本発明は、従来の認識手法の欠点を考慮し、その問題点を解決するためになされたものであり、センサのノイズによる物体の形状の誤認識を防止しつつ対象物を認識し、精度を向上することができる物体認識装置および物体認識方法を提供することを目的とする。 The present invention has been made in order to solve the problems in consideration of the disadvantages of the conventional recognition method, and recognizes an object while preventing erroneous recognition of the shape of the object due to sensor noise, thereby improving accuracy. An object of the present invention is to provide an object recognition apparatus and an object recognition method that can be improved.
具体的には、本発明の目的は、物体認識処理に使用される自然量の特徴だけでなく、認識対象物体の物理的な制約条件(たとえば、幾何学的かつ動力学的な条件、環境に対する干渉や慣性力等)を考慮に入れて、物体認識結果の判定の検証を行うことができる物体認識装置を提供することにある。さらには、物体認識結果の誤検出を防止しつつ日常生活空間内の対象物の物体を認識し、その認識精度を向上することができ物体認識装置および物体認識方法を提供することにある。 Specifically, the object of the present invention is not only the characteristics of natural quantities used in object recognition processing, but also physical constraints (for example, geometric and dynamic conditions, environment) of the recognition target object. It is an object of the present invention to provide an object recognition apparatus capable of verifying determination of an object recognition result in consideration of interference, inertial force, and the like. Another object of the present invention is to provide an object recognition apparatus and an object recognition method capable of recognizing an object of an object in a daily life space while preventing erroneous detection of an object recognition result and improving the recognition accuracy.
本発明は上記のような目的を達成するため、本発明による物体認識装置は、識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段を介して参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する物体認識手段と、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段を介して取り出して環境中の物体の移動に対する物理シミュレーションを行う物理シミュレーション手段と、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するシミュレーション比較手段と、前記シミュレーション比較手段により出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する判定出力手段とを備えたことを特徴とするものである。 In order to achieve the above object, an object recognition apparatus according to the present invention includes an imaging unit that images an environment including an object to be identified and outputs image information, and physical characteristics of the object to be identified. Object information and environment information in which the object to be identified exists are created and stored in advance, and the object information and environment information of the identified object are updated and stored, and object information and environment information with respect to the database The environment / object data input / output means for inputting / outputting the above-mentioned data, the object information stored in the database and the data of the environment information are referred to via the environment / object data input / output means, and the imaging means Object recognition means for recognizing the object and environment to be identified from the output image information and identifying the position and orientation of the object in the environment, and the identified object Physical simulation means for taking out physical characteristics of object information stored in a database from the object information and environment information via the environment / object data input / output means, and performing physical simulation on movement of the object in the environment, and the physical simulation The simulation comparison means for checking the interference based on the distance between the object and the object in the environment according to the result, and outputting the predicted position of the movement of the object based on the physical constraint by the physical simulation, and A judgment output means for judging whether the predicted position of the movement of the object outputted by the simulation comparing means is inconsistent with the physical constraint by checking the interference with the identified object, and outputting it. It is a feature.
この場合に、前記シミュレーション比較手段は、撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するように構成されてもよい。 In this case, the simulation comparing means uses the physical simulation to determine the position / orientation of the object identified by the result of recognizing the object in each image of the image information continuously photographed by the photographing means. May be configured to be compared with the predicted object position.
また、本発明による物体認識方法は、識別対象の物体を含む環境を撮影して画像情報を出力する撮影手段と、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、データ処理手段を備え、識別対象の物体を認識する方法であって、前記撮影手段により識別対象の物体を含む環境を撮影して画像情報を出力するステップと、データ処理手段が、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段により参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別するステップと、データ処理手段が、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段により取り出し環境中の物体の移動に対する物理シミュレーションを行うステップと、データ処理手段が、前記物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するステップと、データ処理手段が、出力された物体の移動の予測位置が識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力するステップと、を備えたことを特徴とするものである。 In addition, the object recognition method according to the present invention includes an imaging unit that captures an environment including an object to be identified and outputs image information, object information including physical characteristics of the object to be identified, and the object to be identified. A database that creates and stores environmental information in advance and updates and stores the object information and environmental information of the identified object, and inputs and outputs environment information and object data to and from the database. An output means and a data processing means comprising a method for recognizing an object to be identified, the step of photographing an environment including the object to be identified by the photographing means and outputting image information, and a data processing means, The object / environment information data stored in the database is referred to by the environment / object data input / output means and output by the imaging means. A step of recognizing the object and environment to be identified from the identified image information and identifying the position and orientation of the object in the environment, and a data processing means are stored in the database from the object information and environment information of the identified object. The physical characteristics of the obtained object information are retrieved by the environment / object data input / output means, and a physical simulation is performed on the movement of the object in the environment, and the data processing means A step of checking the interference based on the distance, outputting a predicted position of the movement of the object based on the physical constraint by the physical simulation, and a data processing means for outputting the predicted position of the movement of the object Check if there is a physical constraint inconsistency by checking for interference with identified objects And outputting Te is characterized in that it comprises a.
また、この物体認識方法においては、更に、データ処理手段が、撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するステップ、を備えたことを特徴とするものである。 Further, in this object recognition method, the data processing means further determines the position / posture of the object identified by the result of recognizing the object in each image of the image information continuously photographed by the photographing means, And a step of comparing the position of the object predicted using physical simulation with the position of the object.
このような特徴を有する本発明の物体認識装置および物体認識方法によれば、物体認識の処理には、センサにより取得される自然量の特徴のみではなく、認識結果に基づく物理シミュレーションを行うことにより、物理的な制約条件(幾何学的かつ動力学的な条件、干渉や慣性力の条件)も考慮に入れて物体認識結果を判定することができ、移動型ロボットにより認識した物体をハンドリングする場合においては、識別対象の物体の物理特性による物理的な制約条件が反映されて確実に物体認識処理を行うことができると共に、センサのノイズによる物体の形状の誤認識を防止しつつ対象物を認識し、その精度を向上することができる。 According to the object recognition apparatus and the object recognition method of the present invention having such features, the object recognition processing is performed by performing not only the feature of the natural quantity acquired by the sensor but also physical simulation based on the recognition result. In case of handling an object recognized by a mobile robot, the object recognition result can be judged taking into account physical constraints (geometric and dynamic conditions, interference and inertial force conditions) Can recognize the object while reliably performing object recognition processing by reflecting the physical constraints due to the physical characteristics of the object to be identified, and recognizing the object while preventing erroneous recognition of the object shape due to sensor noise. And the accuracy can be improved.
以下、本発明の実施の形態について図面を参照して説明する。図1は、本発明にかかる物体認識装置の構成を説明するブロック図である。この実施形態の物体認識装置は、たとえば、移動型ロボットに搭載され、移動型ロボットが存在している日常生活空間の環境内の物体を識別して、移動型ロボットが物体をハンドリングするための認識処理に用いられる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of an object recognition apparatus according to the present invention. The object recognition apparatus according to this embodiment is mounted on a mobile robot, for example, for identifying an object in the environment of a daily life space where the mobile robot exists, and for the mobile robot to handle the object. Used for processing.
図1において、1は物体認識装置、2は視覚センサの撮像装置、3はデータ処理装置、4は対象物識別部、5は環境・物体データ入出力部、6は対象物を識別するための物体情報及び環境情報を予め作成して記憶しているデータベース、7は物理シミュレータ、8は認識結果・物理シミュレーション比較部、9は判定出力部である。 In FIG. 1, 1 is an object recognition device, 2 is an imaging device for a visual sensor, 3 is a data processing device, 4 is an object identification unit, 5 is an environment / object data input / output unit, and 6 is for identifying an object. A database in which object information and environment information are created and stored in advance, 7 is a physical simulator, 8 is a recognition result / physical simulation comparison unit, and 9 is a determination output unit.
図1に示すように、物体認識装置1は、移動型ロボットの視覚センサとして備えられた撮像装置2と、この撮像装置2により撮影され出力された環境の画像情報を入力して、物体認識処理を行うデータ処理装置3とにより構成される。撮像装置2は、ロボットに取り付けられてロボットの周りの環境を撮影して画像情報を出力する。撮像装置2はステレオカメラを使用して、環境を撮影してステレオ画像の画像情報を出力する。
As shown in FIG. 1, the object recognition device 1 receives an
データ処理装置3は、後述するように、撮像装置2により取得されて出力されたステレオ画像の画像情報から環境中の物体を識別して、データベース6に記憶されている物体情報および環境情報を参照して、撮影画像中の物体を識別し、その物体の環境の中の位置・姿勢を判定する。
As will be described later, the
データ処理装置3は、図1に示されるように、ここでの物体認識のデータ処理を行う処理モジュールおよびデータ記憶要素として、対象物識別部4、環境・物体データ入出力部5、対象物を識別するための物体情報及び環境情報が予め作成されて記憶しているデータベース6、物体運動の物理シミュレーションを行う物理シミュレータ7、認識結果・物理シミュレーション比較部8、判定出力部9を備えている。
As shown in FIG. 1, the
データベース6は、識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報が更新されて記憶される。環境・物体データ入出力部5は、データベース6に対して物体情報及び環境情報のデータを入出力する処理を行い、対象物識別部4に対して、物体認識のための参照情報として、物体情報及び環境情報のデータを供給し、対象物識別部4において識別された物体の物体情報および環境情報に関連する情報はデータベース6に次のデータ処理のために登録され、また更新されて記憶される。
The database 6 pre-creates and stores object information including physical characteristics of the object to be identified and environment information in which the object to be identified exists, and updates and stores the object information and environment information of the identified object. The The environment / object data input /
また、環境・物体データ入出力部5は、データベース6に記憶されている物体情報及び環境情報のデータを入出力する処理を行い、物理シミュレータ7に対して、物理シミュレーションの処理のための参照情報として供給するので、物理シミュレータ7は、物体運動の物理シミュレーションを行うプログラムを備えており、識別された物体の移動に係る物理シミュレーションを行う。
The environment / object data input /
物理シミュレータ7による識別された物体の物理シミュレーションの処理の結果は、認識結果・物理シミュレーション比較部8に供給される。認識結果・物理シミュレーション比較部8は、データベース6に登録されたデータを参照した物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行うと共に、物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力する。その処理のため、認識結果・物理シミュレーション比較部8は、環境・物体データ入出力部5を介して、データベース6に記憶されている物体情報及び環境情報のデータを参照する。
The result of the physical simulation processing of the identified object by the
認識結果・物理シミュレーション比較部8にからの出力は、判定出力部9に供給され、判定出力部9が、認識結果・物理前記シミュレーション比較部8により識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを最終的に判定して出力する。
The output from the recognition result / physical
このように、撮像装置2が、識別対象の物体を含む環境を撮影して画像情報を出力すると、対象物識別部4が、識別対象の物体を認識するため、データベース6に記憶されている物体情報及び環境情報のデータを、環境・物体データ入出力部5を介して参照して、撮像装置2により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する。物理シミュレータ7は、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を環境・物体データ入出力部5を介して取り出して環境中の物体の移動に対する物理シミュレーションを行うので、認識結果・物理シミュレーション比較部8が、物理シミュレーションの結果により物体と環境中の物体との距離に基づいて干渉のチェックを行い、物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力する。そして、判定出力部9は、認識結果・物理前記シミュレーション比較部8により識別された物体との干渉のチェックによって物理的な拘束の矛盾が生じるか否かを判定して出力する。
As described above, when the
また、認識結果・物理シミュレーション比較部8は、撮影装置2によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するので、これにより、判定出力部9は、対象物識別部4の認識結果は正しく物体を識別しているか否かを判定して出力する。
In addition, the recognition result / physical
データベース6は、物体識別のための物体の物理特性を含む物体情報及び環境情報を予め作成して記憶しているので、ここでの環境・物体データ入出力部5は、データベース6に記憶されている物体情報及び環境情報を記憶、抽出、更新する手段として、環境内の物体の相対関係を記憶、抽出、更新する手段として、また、物理シミュレータに入力する手段として機能する。また、物理シミュレータ7が物体と周りの物体との距離に基づいて干渉のチェックを行うために、オンラインで物体を追加して物理シミュレーションを行う。
Since the database 6 pre-creates and stores object information and environment information including physical properties of objects for object identification, the environment / object data input /
認識結果・物理シミュレーション比較部8は、また、撮影装置2によって連続的に撮影された画像中にある所定の物体を認識し、その結果を物理シミュレーションを用いて予測した物体の位置と比較すること、また周りの物体との干渉チェックによって物理的な拘束の矛盾が生じるかどうかを判定する認識結果の判定を行う。
The recognition result / physical
対象物識別部4は、撮影装置2から連続的に入力された画像により、環境・物体データ入出力部5より取得した対象物の物体情報および環境情報に基づいて、環境内の他の物体との相対関係にもとづいて、存在しそうな領域より当該物体の識別を行う処理を行うにも構成される。対象物識別部4は、従来から公知の物体識別装置が用いられる。たとえば、特許文献1に開示されているような3次元物体位置姿勢決定方法によるデータ処理を行う装置構成により実現される。
The
対象物識別部4において、識別処理は、たとえば、色を用いた認識と組み合わせた手法や、SIFT法、またはSVMによる識別手法やVoila&Jones法を適用した学習によって獲得した識別手法を用いて物体の識別処理を行うようにしてもよい。
In the
環境・物体データ入出力部5は、対象物識別部3により連続的に測定された物体の位置が取得された場合、物体の認識位置としてデータベース6に登録する。
When the position of the object continuously measured by the
物理シミュレータ7は、環境・物体データ入出力部5を通して、データベース6より認識された対象物体および環境内の他の物体の位置および物理特性の情報を抽出し、オンラインで即時に物理シミュレーションを行う。
The
また、認識結果・物理シミュレーション比較部8は、物体データ入出力部5を通してデータベース6より取得した連続的に認識された対象物体および環境内の他の物体の認識位置、物理シミュレーションを用いて予測した物体の位置を入力として、干渉チェックを行い、認識した対象物体と周りの物体の位置も用いて物体間の距離と物理シミュレーションを用いて予測した物体間の距離を比較して、一定の閾値を超えた場合に、認識の結果に誤りがあると判定し、物理シミュレーションを用いて予測した物体の位置を環境・物体データ入出力部5を通して、データベース6に対象物体の予測位置として登録し、次の対象物の識別のために使用するようにしてもよい。その差分がある閾値以内であれば、認識結果を正しいと判定し、その結果を判定出力部9に出力する。
In addition, the recognition result / physical
次に、本発明の物体認識装置の応用例として、対象物ハンドリング装置の移動マニピュレータシステムおよびピッキングシステムに適用した実施例について説明する。 Next, as an application example of the object recognition apparatus of the present invention, an embodiment applied to a moving manipulator system and a picking system of an object handling apparatus will be described.
図2および図3は、本発明の物体認識装置の好適な実施形態に係る対象物ハンドリング装置10の全体構成を示す図である。本実施の形態では、識別対象の物体の物体情報として環境中に置かれた幾何学情報および物理的な性質(重心位置、慣性)のモデルが既知であるが、その存在の場所が未知の対象物の物体をロボットが認識し、ハンドリングする場合を例にとって説明する。図2には、移動マニピュレータシステムの構成を示し、図3にはピッキングシステムの構成を示している。物体認識装置の構成は同じである。
2 and 3 are diagrams showing the overall configuration of the
対象物ハンドリング装置10は、対象物コンテナ12内の対象物14をハンドリングするように構成されたロボット16、ロボット16を制御するロボットコントローラ18、対象物コンテナ12および対象物14をロボット16の手先部に設けられた視覚センサ20及び視覚センサ20が撮像した画像情報を処理するデータ処理装置22を備えている。
The
対象物14およびその環境の撮像(計測)は、ロボット16の手先部に設けられた視覚センサ20によって行われる。視覚センサ20はステレオカメラが用いられており、通信回線26によって接続された視覚センサ制御部28によって制御される。また視覚センサ制御部28を、通信回線27を介してデータ処理装置22に接続することにより、所定の位置・姿勢の制御がなされて、対象物14の詳細な三次元位置及び姿勢を求めることができる。
Imaging (measurement) of the
ロボットコントローラ18は、通信回線30によってデータ処理装置22に接続されており、視覚センサ20によって撮像された画像情報がデータ処理装置22に入力され、データ処理装置22で処理された結果を利用して対象物14をハンドリング(アプローチ、把持及び取り出し等の一連の操作)を行うようにロボット16を制御する。なおロボットコントローラ18はCPU、データメモリ、フレームメモリ、データ処理プロセッサ及びインタフェイス等を備えた周知のものが利用される。その詳細な説明は省略する。
The
次に、データ処理装置22の構成について説明する。データ処理装置22もロボットコントローラ18と同様にCPU、データメモリ、フレームメモリ、データ処理プロセッサ及びインタフェイス等を備える。
Next, the configuration of the
データ処理装置22は、図2および図3に示すように、対象物の認識モデルと、認識パラメータと、対象物の物理モデルと、認識した物体の候補の位置・姿勢と、シミュレーションした対象物の位置・姿勢と、認識がただしいと判定した物体の位置・姿勢とを格納するデータベース22aと、対象物識別に使用する対象物の特徴モデルおよび認識パラベータを設定する認識パラメータ設定部22bと、視覚センサ20からの一定時間間隔Tcで撮像データを受信してそのデータを記憶し、またその一定時間間隔のデータから撮像データとパターンマッチングを行うための特徴モデルを生成して記憶する特徴モデル生成・記憶部22kと、特徴モデル生成・記憶部22kによって生成された特徴モデルから対象物を検出する対象物認識部22cと、対象物認識部22cの認識結果をデータベース22aに格納する認識候補記憶部22dと、対象物の物理シミュレーションに使用する対象物認識部22cによって検知した対象物の認識位置・姿勢および対象物の物理モデルを設定する物理パラメータ設定部22eと、物理パラメータ設定部22eによって取得した対象物認識部22cで認識した対象物の位置と姿勢およびデータベースに格納された対象物の物理モデル(詳細な3次元形状モデル、質量、慣性行列、重心位置、摩擦係数、弾性係数)を用いて物体の物理シミュレーションを行う物理シミュレーション部22fと、物理シミュレーション部22fによってシミュレートした環境内の物体の位置と姿勢のデータをデータベース22aに格納するシミュレーション結果記憶部22gと、認識候補記憶部22dによってデータベースに格納された一定時間間隔Tcで認識された物体の位置・姿勢の時系列データおよびシミュレーション結果記憶部22gによってデータベースに格納された一定時間間隔Tcの物理シミュレーションによる物体の位置・姿勢のシミュレーション結果の時系列データを取得し比較する認識結果・物理シミュレーション比較部22hと、認識結果・物理シミュレーション比較部22hの比較結果を判定し、その判定結果を次の認識パラメータの調整のために、認識パラメータ設定部22bにフィードバックする認識結果判定部22iと、認識結果判定部22iによって認識結果が正しいと判定された場合、対象物の認識結果の候補の位置と姿勢をデータベースに対象物の位置と姿勢の時刻付きデータとして格納する対象物記憶部22jとを有する。なお、対象物認識部22cには、撮像データとパターンマッチングを行うための特徴モデル生成・記憶部22kが関連付けられている。特徴モデル生成・記憶部22kは、適当な座標系(たとえば、ロボット16の底部中央に配置された座標系Σr)で表現された環境および対象物の撮像データに含まれるエッジや、色等の特徴情報の特徴モデルを生成する。
As shown in FIGS. 2 and 3, the
図4は、認識結果の判定処理の流れを示すフローチャートである。図2に示す対象物ハンドリング装置による作業における認識結果の判定の処理の流れを示している。
先ずステップS101において、視覚センサ20による撮像が一定時間間隔Tcで行われ、撮影された画像はImg_T0およびImg_Tcとして上述の特徴モデル生成・記憶部22kで記憶される。
FIG. 4 is a flowchart showing the flow of recognition result determination processing. The flow of the process of determination of the recognition result in the operation | work by the target object handling apparatus shown in FIG. 2 is shown.
First, in step S101, imaging by the
ステップS102において、データ処理装置22の認識パラメータ設定部22bによる物体認識モデルおよび認識パラメータの設定が行われ、特徴モデル生成・記憶部22kで記憶された画像Img_T0およびImg_Tcに対して、撮影画像のデータとパターンマッチングを行うための特徴モデルを生成して、LCM_T0およびLCM_Tcとして特徴モデル生成・記憶部22kで記憶される。
In step S102, an object recognition model and a recognition parameter are set by the recognition
次のステップS103では、上述の対象物認識部22cが特徴モデルLCM_T0およびLCM_Tcから、S102で設定された対象物モデルとのマッチングをすることによって対象物を検出する対象物認識を行う。対象物が検出されていればステップS104に進み、上述の認識候補記憶部によって認識された物体の位置・姿勢を認識の候補としてデータベースに格納し、ステップS105に進む。S103の対象物認識の処理で、対象物が検出されない場合は、S102に戻り、認識パラメータの調整を行い、対象物の再認識を行う。なお、S102からS104のステップは一定時間間隔Tcにおいて撮像された画像Img_T0およびImg_Tcを入力画像として行われ、ステップS104では、それぞれの画像Img_T0とImg_Tcを用いて、認識された物体の位置・姿勢の候補はObj_recog_T0,Obj_recog_Tcとしてデータベースに格納される。
In the next step S103, the
ステップS105では、上述の物理パラメータ設定部がデータベースより物体の物理モデル(詳細な3次元形状モデル、質量、慣性行列、重心位置、摩擦係数、弾性係数)および間隔Tcの初期状態として認識した物体の位置・姿勢候補Obj_recog_T0を取得し、シミュレーションの3次元空間の中の対象物の初期位置・姿勢Obj_sim_T0として設定し、ステップS106に進む。 In step S105, the physical parameter setting unit described above recognizes the physical model of the object (detailed three-dimensional shape model, mass, inertia matrix, gravity center position, friction coefficient, elastic coefficient) and the initial state of the interval Tc from the database. The position / posture candidate Obj_recog_T0 is acquired, set as the initial position / posture Obj_sim_T0 of the object in the three-dimensional space of the simulation, and the process proceeds to step S106.
ステップS106では,対象物をシミュレーションの3次元空間に位置・姿勢Obj_sim_T0として配置されたときの、対象物Objとその周りの環境Envとの干渉チェックを行う。干渉チェックの結果により、周りとの干渉が起きた場合に、その干渉の具合Collision_penetration_T0がデータベースに格納されたその対象物の特定の干渉閾値Tolerance_collision_Obj以内であれば、干渉は起きないと判定し、S107に進む。干渉があると判定された場合、認識結果が誤った確率が高いと判定し、S102に戻る。 In step S106, an interference check is performed between the object Obj and the surrounding environment Env when the object is arranged as the position / posture Obj_sim_T0 in the simulation three-dimensional space. As a result of the interference check, when interference with the surroundings occurs, it is determined that interference does not occur if Collision_penetration_T0 is within the specific interference threshold Tolerance_collation_Obj of the target object stored in the database, and S107 Proceed to When it is determined that there is interference, it is determined that there is a high probability that the recognition result is erroneous, and the process returns to S102.
ステップS107では、S105で設定された物理パラメータに基づいて、対象物の初期位置姿勢をシミュレーションの3次元空間の中の位置・姿勢Obj_sim_T0として配置された状態から、一定時間間隔Tcの間、物理シミュレーションを行う。 In step S107, based on the physical parameters set in S105, the physical simulation is performed for a certain time interval Tc from the state where the initial position and orientation of the object is arranged as the position and orientation Obj_sim_T0 in the simulation three-dimensional space. I do.
ステップS108では、Tc間の物理シミュレーションの結果である物理拘束に従った対象物の予測位置・姿勢をObj_sim_Tcとしてデータベースに格納する。 In step S108, the predicted position / orientation of the object according to the physical constraint, which is the result of the physical simulation during Tc, is stored in the database as Obj_sim_Tc.
ステップS109では、認識結果とシミュレーション結果の比較を行う。一定時間間隔Tc後の認識された位置・姿勢の候補Obj_recog_Tcとシミュレーションによる物体の予測された位置・姿勢Obj_sim_Tcの距離Distance_Obj_Tcを計算し、その距離Distance_Obj_Tcがデータベースに格納されたその対象物の特定の距離閾値Tolerance_distance_Obj以内であれば、認識結果と物理シミュレーションが一致すると判定し、S110で対象物の認識位置・姿勢候補を撮像した時刻の物体の位置・姿勢の時間付きデータとしてデータベースに格納し、プロセスを終了する。認識された候補Obj_recog_Tcとシミュレーション予測Obj_sim_Tcの距離Distance_Obj_Tcが閾値Tolerance_distance_Objを超えた場合、認識が失敗したとし、S101に戻り、認識パラメータの調整を行い、認識プロセスをやり直す。 In step S109, the recognition result is compared with the simulation result. The distance Distance_Obj_Tc between the recognized position / posture candidate Obj_recog_Tc and the predicted position / posture Obj_sim_Tc of the object by simulation after a certain time interval Tc is calculated, and the distance Distance_Obj_Tc is the specific distance of the object stored in the database If it is within the threshold Tolerance_distance_Obj, it is determined that the recognition result and the physical simulation match, and in S110, the recognition position / posture candidate of the object is captured and stored in the database as timed data of the position / posture of the object. finish. When the distance Distance_Obj_Tc between the recognized candidate Obj_recog_Tc and the simulation prediction Obj_sim_Tc exceeds the threshold Tolerance_distance_Obj, it is assumed that the recognition has failed, and the process returns to S101, adjusts the recognition parameter, and restarts the recognition process.
1…物体認識装置
2…撮像装置
3…データ処理装置
4…対象物識別部
5…環境・物体データ入出力部
6…データベース
7…物理シミュレータ
8…認識結果・物理シミュレーション比較部
9…判定出力部
10…対象物ハンドリング装置
12…対象物コンテナ
14…対象物
16…ロボット
18…ロボットコントローラ
20…視覚センサ
22…データ処理装置
26…通信回線
28…視覚センサ制御部
27…通信回線
30…通信回線
22a…データベース
22b…認識パラメータ設定部
22c…対象物認識部
22d…認識候補記憶部
22e…物理パラメータ設定部
22f…物理シミュレーション部
22g…シミュレーション結果記憶部
22h…認識及び物理シミュレーション比較部
22i…認識結果判定部
22j…対象物記憶部
22k…特徴モデル生成・記憶部
DESCRIPTION OF SYMBOLS 1 ...
Claims (4)
識別対象の物体の物理特性を含む物体情報および当該識別対象の物体が存在する環境情報を予め作成して記憶するとともに識別された物体の物体情報および環境情報を更新して記憶するデータベースと、
前記データベースに対して物体情報及び環境情報のデータを入出力する環境・物体データ入出力手段と、
前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段を介して参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別する物体認識手段と、
識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段を介して取り出して環境中の物体の移動に対する物理シミュレーションを行う物理シミュレーション手段と、
前記物理シミュレーションの結果により物体と環境中の周りの物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するシミュレーション比較手段と、
前記シミュレーション比較手段により出力された物体の移動の予測位置が識別された物体と環境中の周りの物体との干渉のチェックに基づいて物理的な拘束の矛盾が生じるか否かを判定して出力する判定出力手段と、
を備えたことを特徴とする物体認識装置。 Photographing means for photographing an environment including an object to be identified and outputting image information;
A database for storing object information including physical characteristics of an object to be identified and environment information in which the object to be identified exists in advance and storing the object information and environment information of the identified object;
Environment / object data input / output means for inputting / outputting object information and environment information data to / from the database;
The object information and environment information data stored in the database are referred to via the environment / object data input / output means, and the object and environment to be identified are recognized from the image information output by the imaging means. Object recognition means for identifying the position and orientation of the object in the environment,
Physical simulation means for taking out physical characteristics of object information stored in a database from the object information and environment information of the identified object via the environment / object data input / output means and performing physical simulation for movement of the object in the environment When,
Simulation that checks the interference based on the distance between the object and surrounding objects in the environment based on the result of the physical simulation, and outputs the predicted position of the object movement based on the physical constraint by the physical simulation A comparison means;
Based on the check of interference between the object whose predicted position of the movement of the object output by the simulation comparing means is identified and the surrounding objects in the environment, it is determined whether or not there is a contradiction in physical constraints and output. Determination output means to perform,
An object recognition apparatus characterized by comprising:
前記シミュレーション比較手段は、
撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を物理シミュレーションを用いて物体の移動を予測した物体の位置と比較する、
ことを特徴とする物体認識装置。 The object recognition apparatus according to claim 1,
The simulation comparison means includes
Compares the position and orientation of the object identified by the result of recognizing the object in each image of the image information continuously photographed by the photographing means with the position of the object predicted to move using physical simulation ,
An object recognition apparatus characterized by that.
前記撮影手段により識別対象の物体を含む環境を撮影して画像情報を出力するステップと、
データ処理手段が、前記データベースに記憶されている前記物体情報及び環境情報のデータを前記環境・物体データ入出力手段により参照して、前記撮像手段により出力された画像情報から識別対象の物体及び環境を認識して環境における当該物体の位置・姿勢を識別するステップと、
データ処理手段が、識別された物体の物体情報および環境情報から、データベースに記憶された物体情報の物理特性を前記環境・物体データ入出力手段により取り出し環境中の物体の移動に対する物理シミュレーションを行うステップと、
データ処理手段が、前記物理シミュレーションの結果により物体と環境中の周りの物体との距離に基づいて干渉のチェックを行うと共に、前記物理シミュレーションにより物体が物理的な拘束に基づいた物体の移動の予測位置を出力するステップと、
データ処理手段が、出力された物体の移動の予測位置が識別された物体と環境中の周りの物体との干渉のチェックに基づいて物理的な拘束の矛盾が生じるか否かを判定して出力するステップと、
を備えたことを特徴とする物体認識方法。 An imaging unit that images an environment including an object to be identified and outputs image information, object information including physical characteristics of the object to be identified, and environment information in which the object to be identified exists are created and stored in advance. A database for updating and storing object information and environmental information of the identified object; an environment / object data input / output unit for inputting / outputting object information and environmental information data to / from the database; and a data processing unit, A method for recognizing an object to be identified,
Photographing an environment including an object to be identified by the photographing means and outputting image information;
The data processing means refers to the object information and environment information data stored in the database by the environment / object data input / output means, and identifies the object and environment to be identified from the image information output by the imaging means. Recognizing and identifying the position and orientation of the object in the environment;
A step in which the data processing means takes out physical characteristics of the object information stored in the database from the object information and environment information of the identified object by the environment / object data input / output means and performs a physical simulation on the movement of the object in the environment; When,
The data processing means checks the interference based on the distance between the object and surrounding objects in the environment based on the result of the physical simulation, and predicts the movement of the object based on the physical constraint by the physical simulation. Outputting a position;
The data processing means determines whether or not there is a physical constraint conflict based on a check of interference between the object whose predicted position of movement of the output object is identified and surrounding objects in the environment, and outputs the result. And steps to
An object recognition method comprising:
撮影手段によって連続的に撮影された画像情報の各画像の中にある物体を認識した結果により識別された物体の位置・姿勢を、物理シミュレーションを用いて物体の移動を予測した物体の位置と比較するステップ、
を備えたことを特徴とする物体認識方法。 The object recognition method according to claim 3, wherein the data processing means further comprises:
Compare the position and orientation of the object identified by the result of recognizing the object in each image of the image information continuously captured by the imaging means with the position of the object predicted to move using physical simulation Step to do,
An object recognition method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009192509A JP5229912B2 (en) | 2009-08-21 | 2009-08-21 | Object recognition apparatus and object recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009192509A JP5229912B2 (en) | 2009-08-21 | 2009-08-21 | Object recognition apparatus and object recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011044046A JP2011044046A (en) | 2011-03-03 |
JP5229912B2 true JP5229912B2 (en) | 2013-07-03 |
Family
ID=43831426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009192509A Expired - Fee Related JP5229912B2 (en) | 2009-08-21 | 2009-08-21 | Object recognition apparatus and object recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5229912B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014124735A (en) * | 2012-12-27 | 2014-07-07 | Seiko Epson Corp | Robot control method, robot control device, program, and robot |
US9111348B2 (en) * | 2013-03-15 | 2015-08-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Computer-based method and system of dynamic category object recognition |
JP6431204B2 (en) * | 2016-09-13 | 2018-11-28 | 株式会社日立情報通信エンジニアリング | State prediction apparatus and state prediction method |
JP7062418B2 (en) * | 2017-11-29 | 2022-05-16 | 株式会社東芝 | Information processing equipment and sorting system |
WO2019116518A1 (en) * | 2017-12-14 | 2019-06-20 | 株式会社日立製作所 | Object detection device and object detection method |
JP7124509B2 (en) * | 2018-07-19 | 2022-08-24 | オムロン株式会社 | SIMULATION DEVICE, SIMULATION PROGRAM AND SIMULATION METHOD |
JP6737369B1 (en) * | 2019-03-20 | 2020-08-05 | 株式会社タダノ | crane |
CN113970888A (en) * | 2020-07-07 | 2022-01-25 | 华为技术有限公司 | Household equipment control method, terminal equipment and computer readable storage medium |
JPWO2022249295A1 (en) * | 2021-05-25 | 2022-12-01 | ||
CN114888851A (en) * | 2022-05-30 | 2022-08-12 | 北京航空航天大学杭州创新研究院 | Moving object robot grabbing device based on visual perception |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003288595A (en) * | 2002-03-28 | 2003-10-10 | Fujitsu Ltd | Apparatus and method for object recognition, and computer-readable recording medium |
-
2009
- 2009-08-21 JP JP2009192509A patent/JP5229912B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011044046A (en) | 2011-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5229912B2 (en) | Object recognition apparatus and object recognition method | |
US10996062B2 (en) | Information processing device, data management device, data management system, method, and program | |
JP4946730B2 (en) | Face image processing apparatus, face image processing method, and computer program | |
US20190130216A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
JP4691158B2 (en) | Recognition system and method for 2D images using 3D class model | |
US7957583B2 (en) | System and method of three-dimensional pose estimation | |
CN110674712A (en) | Interactive behavior recognition method and device, computer equipment and storage medium | |
US20130245828A1 (en) | Model generation apparatus, information processing apparatus, model generation method, and information processing method | |
JP5806606B2 (en) | Information processing apparatus and information processing method | |
JP5093591B2 (en) | 3D position and orientation measurement method and apparatus | |
CN110717449A (en) | Vehicle annual inspection personnel behavior detection method and device and computer equipment | |
CN112487861A (en) | Lane line recognition method and device, computing equipment and computer storage medium | |
CN106406507B (en) | Image processing method and electronic device | |
JP2012123631A (en) | Attention area detection method, attention area detection device, and program | |
JP5083715B2 (en) | 3D position and orientation measurement method and apparatus | |
JP2019179289A (en) | Processing device and program | |
US9977889B2 (en) | Device for checking the authenticity of a fingerprint | |
US20130307976A1 (en) | Imaging apparatus and imaging condition setting method and program | |
CN113158912B (en) | Gesture recognition method and device, storage medium and electronic equipment | |
CN111742349B (en) | Information processing apparatus, information processing method, and information processing storage medium | |
JP2014186496A (en) | Object attitude estimation device, and program | |
JP7117878B2 (en) | processor and program | |
US20090304263A1 (en) | Method for classifying an object using a stereo camera | |
Sun et al. | Further development of adaptable automated visual inspection—part I: concept and scheme | |
JP2004363988A (en) | Method and apparatus for detecting vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130314 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5229912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |