WO2020049935A1 - 物体認識装置および物体認識方法 - Google Patents

物体認識装置および物体認識方法 Download PDF

Info

Publication number
WO2020049935A1
WO2020049935A1 PCT/JP2019/030962 JP2019030962W WO2020049935A1 WO 2020049935 A1 WO2020049935 A1 WO 2020049935A1 JP 2019030962 W JP2019030962 W JP 2019030962W WO 2020049935 A1 WO2020049935 A1 WO 2020049935A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
target object
recognizing
result
recognition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/030962
Other languages
English (en)
French (fr)
Inventor
光宏 天羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Corp
Original Assignee
Nidec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Corp filed Critical Nidec Corp
Publication of WO2020049935A1 publication Critical patent/WO2020049935A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an object recognition device and an object recognition method for recognizing an object.
  • an object recognizing device for recognizing an object there has been known a technique for recognizing an object with high accuracy by machine learning a feature point of the object to be recognized in an image.
  • a technology (sensor fusion) for recognizing a target object by combining a plurality of sensors such as a camera, LiDAR (Light Detection And Ranging), and radar is known.
  • the target object cannot be properly recognized when the target object is not characteristic or when the feature of the target object changes.
  • a plurality of sensors are used in combination, which increases the cost and increases the external dimensions, weight, and power consumption of the device.
  • Japanese Patent Publication No. 40154423 discloses an easily recognizable mark near an object, and calculates the position coordinates of the object by adding the relative coordinates of the object to the position coordinates of the mark. A method is disclosed.
  • an object of the present invention is to provide an object recognition device and an object recognition method that can appropriately determine a recognition target object even when the recognition target object is difficult to recognize.
  • an object recognition device includes a first recognition processing unit that performs a process of recognizing a recognition target object from an image by a first recognition method; A second recognition processing unit that performs a process of recognizing the recognition target object using a second recognition method different from the first recognition method, and a case where the recognition result by the first recognition processing unit is insufficient. An object recognizing unit that recognizes the recognition target object based on a recognition result by the second recognition processing unit.
  • an object recognition method includes a first step of performing a process of recognizing a recognition target object from an image by a first recognition method, and a second step different from the first recognition method from the image.
  • a third step of recognizing includes a third step of recognizing.
  • FIG. 1 is a diagram illustrating a hardware configuration example of the object recognition device.
  • FIG. 2 is a diagram illustrating details of the data area of the long-term storage device.
  • FIG. 3 is a diagram illustrating recognition example 1 of an object.
  • FIG. 4 is a diagram illustrating an example 2 of object recognition.
  • FIG. 5 is a flowchart illustrating an object recognition processing procedure.
  • FIG. 1 is a diagram illustrating an example of a hardware configuration of an object recognition device 10 according to the present embodiment.
  • the object recognition device 10 according to the present embodiment is mounted on, for example, an arm robot, an AGV (automated guided vehicle), an automatic driving of an automobile, an ADAS (advanced driving support system), a security camera, and the like, and recognizes a recognition target object from an image. It is.
  • “recognize” refers to determining (identifying) whether an object detected from an image is a target object to be recognized.
  • the object recognition device 10 when the object recognition device 10 is mounted on an arm robot, the object recognition device 10 recognizes an object to be grasped. Then, the arm operation of the arm robot is controlled based on the recognition result by the object recognition device 10.
  • the AGV travels to a target position (goal point) according to a predetermined travel plan.
  • the object recognition device 10 recognizes the object placed at the goal point, and the AGV stops at the position of the object recognized by the object recognition device 10. Further, the object recognition device 10 may recognize an obstacle on the traveling route of the AGV in order to avoid contact with the obstacle of the AGV.
  • the object recognition device 10 when the object recognition device 10 is mounted on an automobile, the object recognition device 10 recognizes an obstacle, such as a pedestrian or another vehicle. Then, the vehicle performs brake control, steering control, and the like based on the recognition result by the object recognition device 10 in order to avoid contact with an obstacle. Further, the object recognition device 10 may recognize the preceding vehicle because the automobile follows the preceding vehicle. Further, when the object recognition device 10 is mounted on a security camera, the object recognition device 10 recognizes a suspicious person and notifies an observer or the like.
  • the object recognition device 10 includes a CPU 11, a sensor unit 12, a memory 13, and a long-term storage device 14, as shown in FIG.
  • the long-term storage device 14 includes a program area 15 for storing a program executed by the CPU 11 and a data area 16 for storing data (variables and tables) used for an object recognition process described later.
  • the CPU 11 totally controls the operation of the object recognition device 10.
  • the sensor unit 12 includes a camera (a 2D camera, a 3D camera, or the like) that images a recognition target object. Further, the sensor unit 12 may include a temperature sensor or the like.
  • the memory 13 functions as a main memory of the CPU 11, a work area, and the like. The CPU 11 loads a necessary program from the long-term storage device 14 into the memory 13 at the time of executing processing, and executes the program to realize various functional operations.
  • the object recognition device 10 recognizes a recognition target object from an image using a first recognition method and a second recognition method different from the first recognition method.
  • the recognition target object is recognized using the recognition result of. That is, when the recognition result of the recognition target object by the first recognition method is insufficient, the object recognition device 10 recognizes the recognition target object by using the recognition result of the recognition target object by the second recognition method. To do.
  • the first recognition method and the second recognition method are methods for extracting a feature amount of a recognition target object from an image and recognizing the recognition target object using the extracted feature amount.
  • the feature amount includes information indicating a feature point of the object (color, temperature, etc.) and information indicating the shape of the object.
  • the second recognition method may be a recognition method in which conditions for recognizing a recognition target object are relaxed as compared with the first recognition method.
  • the second recognition method can be a recognition method in which the number of combinations of the types of feature amounts used for recognizing the recognition target object is smaller than that of the first recognition method.
  • the second recognition method may be a recognition method in which the type of the feature amount used for recognizing the recognition target object is different from the first recognition method.
  • the second recognition method may be a plurality of recognition methods different in at least one of the number of combinations of the types of feature amounts and the types of the feature amounts used for recognition of the recognition target object.
  • the object recognition device 10 performs a recognition process of recognizing an object from an image using each of the above-described plurality of recognition methods. Then, the object recognition device 10 scores the quality of the result of the recognition processing (recognition result), and stores the recognition result and the score in the data area 16.
  • FIG. 3 is a diagram showing details of the data area 16 of the long-term storage device 14.
  • the data stored in the data area 16 includes the best recognition result 161, the score of the best recognition result 162, the method 163 in which the best recognition result is obtained, the pattern 164 of the recognition method, the current recognition method 165, and the recognition. It includes the number 166 of methods, the current recognition result 167, and the score 168 of the current recognition result.
  • the best recognition result 161 stores the recognition result of the recognition method that obtained the best score as a result of executing the recognition processing using each recognition method.
  • the recognition result includes information (position, shape, size, color, and the like) regarding the object recognized by the recognition processing.
  • the point 162 of the best recognition result stores the best point among the points of the recognition result of each recognition method.
  • the score of the recognition result is a value indicating the accuracy of the recognition result. For example, when performing object recognition processing using template matching, the degree of similarity with the template can be used as the score of the recognition result. In this case, the score of the recognition result can be scored as 0 to 100 points according to the similarity.
  • information indicating the recognition method in which the best score is obtained among the scores in the recognition result of each recognition method is stored.
  • the information indicating the recognition method may be, for example, an index for identifying the recognition method.
  • the recognition method pattern 164 stores the types of feature amounts used for recognition in each recognition method and the order in which recognition processing is performed.
  • the pattern 164 of this recognition method may store a table such as [all 2D feature points, 3D feature points, 2D shapes, 3D shapes, 2D feature points and 3D feature points, ...].
  • Information indicating the recognition method to be executed this time is stored in the current recognition method 165.
  • the information indicating the recognition method stored in the current recognition method 165 corresponds to the information stored in the method 163 in which the best recognition result is obtained.
  • the number of recognition methods 166 the total number of recognition methods for executing the recognition processing is stored.
  • the number 166 of the recognition methods the maximum value of the index stored in the method 163 in which the above-described best recognition result is obtained is stored.
  • the result of recognition processing (recognition result) executed using the current recognition method 165 is stored in the current recognition result 167.
  • the score 168 of the current recognition result a score indicating the quality of the result of the recognition processing executed using the current recognition method 165 is stored.
  • the feature amounts used in the recognition method include a 2D feature point, a 3D feature point, a 2D shape, and a 3D shape.
  • a feature point color, temperature, etc.
  • a shape are determined in a complex manner, and if they match, it is determined to be a recognition target object.
  • the method of determining a plurality of feature amounts in a composite manner may not be able to properly recognize the recognition target object. For example, when the color and shape of the recognition target object are determined in a complex manner, if the color of the recognition target object changes, the recognition target object cannot be recognized.
  • the recognition method when the recognition target object cannot be recognized due to the change in the feature amount as described above, the recognition method is changed to recognize the recognition target object. Specifically, when the color changes as described above and the recognition by the recognition method using the color and the shape becomes impossible, the recognition method is changed to the recognition method using only the shape and the recognition target object is recognized. I do. That is, the object recognition method according to the present embodiment executes a process of recognizing a recognition target object from an image using a first recognition method and a second recognition method different from the first recognition method. In the case where the recognition result by the recognition method is insufficient, the recognition target object is recognized based on the recognition result by the second recognition method.
  • the color is not matched by the above-described conventional recognition method. It cannot be recognized as a beverage to be grasped.
  • the recognition result of the beverage 21B by the recognition method using the shape and the color becomes insufficient as described above, the beverage 21B is recognized by a different recognition method.
  • the object recognition device 10 recognizes the beverage 21B by a recognition method using only a shape as a feature amount. In this case, it is determined that the beverage 21B is a beverage to be grasped. As described above, even when the feature amount of the recognition target object changes, the beverage 21B can be recognized as a grasp target object at a high recognition rate.
  • the object recognition device 10 When detecting a suspicious individual using a security camera, the object recognition device 10 recognizes a person to be recognized from an image captured by the camera. At this time, it is assumed that the face 22A shown in FIG. In this case, in the conventional security camera, the feature amount of the face 22A is extracted and matching is performed to determine whether the face 22A is the face of a suspicious individual. At this time, if the face 22A is the face of a suspicious individual, it can be appropriately notified to a supervisor or the like.
  • the face 22B printed on the poster is imaged by the camera, in the above-described conventional recognition method, the face 22B whose feature amount is matched is also the face of the suspicious individual. It is determined that there is, and an unintended notification is made.
  • the recognition result of the face 22B is insufficient as described above, the face 22B is recognized by a different recognition method.
  • the object recognition device 10 recognizes the face 22B by a recognition method in which temperature is added as a feature amount. In this case, it is possible to appropriately determine that the face 22B is not a face of a living person and a face of a suspicious individual.
  • FIG. 10 is a flowchart illustrating an object recognition processing procedure performed by the object recognition device 10.
  • the object recognition device 10 acquires an image from the sensor unit 12, and performs an object recognition process using the current recognition method.
  • step S3 the object recognition device 10 records the recognition result of step S2 in the current recognition result 167 of FIG. 3 and converts the recognition result of step S2 into a score, and the score 168 of the current recognition result of FIG. To record.
  • step S4 the object recognition device 10 determines whether the score 168 of the current recognition result scored in step S3 is higher than the score 162 of the best recognition result stored in the data area 16. . That is, in step S4, the object recognition device 10 determines whether the score 168 of the current recognition result is the best score among the scores of the recognition result so far. If it is determined that the score 168 of the current recognition result is the best score, the process proceeds to step S5, and if it is determined that the score is not the best, the process proceeds to step S6.
  • step S5 the object recognition device 10 stores the current recognition result 167 as the best recognition result 161. At this time, the object recognition device 10 stores the score 168 of the current recognition result as the score 162 of the best recognition result. Further, the object recognition apparatus 10 stores the current recognition method 165 as the method 163 that has obtained the best recognition result. That is, in this step S5, the object recognition device 10 records the current best value in the data area 16.
  • step S6 the object recognition device 10 determines whether or not the recognition process has been performed using all the set recognition methods. Specifically, the object recognition device 10 determines whether or not the current recognition method 165 has reached the number 166 of recognition methods. If it is determined that there is a method for which the recognition process has not been executed yet, the process proceeds to step S7, the index n is incremented, and the process returns to step S2. On the other hand, when it is determined that the recognition processing has been completed by all the set methods, the process proceeds to step S8. In step S8, the object recognition device 10 recognizes the recognition target object using the best recognition result 161.
  • the object recognition device 10 performs recognition processing on an object in an image using a plurality of different recognition methods, and recognizes a recognition target object using only the best recognition result. That is, the object recognition device 10 performs the recognition process using the first recognition method and the second recognition method, and as a result, when the recognition result of the recognition target object by the first recognition method is insufficient. And recognizing the recognition target object based on the recognition result of the second recognition method.
  • the CPU 11 performs a first recognition process of executing a process of recognizing a recognition target object from an image using a first recognition method, and a process of recognizing a recognition target object from an image using a second recognition method.
  • the object recognition unit recognizes the recognition target object based on the recognition result by the second recognition processing unit. Function.
  • the object recognition device 10 in the present embodiment can perform the first recognition even if it is difficult to recognize the recognition target object using the first recognition method due to a change in the feature amount of the recognition target object.
  • the recognition target object can be appropriately recognized. Therefore, the recognition rate of the recognition target object can be increased.
  • the second recognition method is made more ambiguous than the first recognition method.
  • the recognition target object can be recognized, and the recognition rate of the recognition target object can be increased.
  • the second recognition method may be a recognition method in which the number of combinations of the types of feature amounts used for recognizing the recognition target object is smaller than that of the first recognition method.
  • the second recognition method may be a recognition method that uses a different type of feature amount for use in recognizing the recognition target object as compared with the first recognition method.
  • the type of the feature amount feature point, shape, temperature, etc.
  • the recognition rate of the target object can be improved.
  • the second recognition method may include a plurality of recognition methods different in at least one of the number of combinations of feature amounts and the type of feature amounts used for recognition of the recognition target object. In this case, since the recognition target object can be recognized by a plurality of recognition methods, the recognition rate of the recognition target object can be reliably improved.
  • the object recognition device 10 scores the recognition result of the recognition target object, it can easily determine whether the recognition result of the recognition target object is insufficient. Also, the best recognition result can be easily determined. As described above, the object recognition device 10 according to the present embodiment reduces or replaces the number of recognition methods when it is rather disadvantageous to perform complex recognition using a plurality of recognition methods. In addition, the recognition rate of the recognition target object can be increased.
  • the object recognition device 10 may have a function of learning information on the recognition result of the recognition method used for recognition of the recognition target object.
  • the object recognition device 10 can use the result of the learning in the process of recognizing the recognition target object by the second recognition method.
  • learning information on a recognition method that can be recognized with high accuracy for example, it is possible to perform a recognition process by using the recognition method that has been able to recognize with high accuracy with priority in the next and subsequent times. This makes it possible to appropriately recognize the recognition target object while reducing the processing load.
  • the place where the recognition process is performed is fixed in the area where the recognition target object exists, but when the recognition result of the recognition target object using the first recognition method is insufficient. May be combined with a process of recognizing a recognition target object by changing a place where the recognition process is performed. For example, if a peripheral object existing near the recognition target object is known, even if the recognition target object cannot be recognized, if the peripheral object can be recognized, it is determined that the object existing near the peripheral object is the recognition target object. You can judge. Therefore, in such a case, the recognition target object may be recognized by changing the location where the recognition processing is executed to an area around the recognition target object and recognizing the peripheral object. Then, in a case where the recognition result of the recognition target object is insufficient even when the location where the recognition processing is executed is changed, the recognition target object may be recognized using the second recognition method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

物体認識装置１０は、画像から第１の認識方法により認識対象物体を認識する処理を実行する第１の認識処理部と、画像から第１の認識方法とは異なる第２の認識方法により認識対象物体を認識する処理を実行する第２の認識処理部と、第１の認識処理部による認識結果が不十分である場合、第２の認識処理部による認識結果に基づいて、認識対象物体を認識する物体認識部と、を備える。

Description

物体認識装置および物体認識方法
　本発明は、物体を認識する物体認識装置および物体認識方法に関する。
　従来、物体を認識する物体認識装置として、画像内の認識したい対象物の特徴点を機械学習することで、対象物を高精度に認識しようとする技術が知られている。また、カメラやＬｉＤＡＲ（Light Detection And Ranging）、レーダーといった複数のセンサを組み合わせて対象物を認識する技術（センサフュージョン）も知られている。しかしながら、特徴点を機械学習する方法の場合、対象物が特徴的でない場合や、対象物の特徴が変化する場合には、対象物を適切に認識できない。また、センサフュージョンを用いた物体認識の場合、複数のセンサを組み合わせて使用するためコストが嵩むとともに、装置の外形寸法、重量および消費電力が増大してしまう。
　認識したい対象物が認識しづらい場合の対策として、従来は、認識したい対象物だけでなく、その周辺の物体も認識し、両者の認識結果を総合的に判断することで、対象物の認識精度を向上させるようにしていた。
　日本国登録公報特許第４０１５４２３号公報には、対象物の近くにある認識しやすい目印を認識し、当該目印の位置座標に対象物の相対座標を加算することで、対象物の位置座標を割り出す方法が開示されている。
日本国登録公報：特許第４０１５４２３号公報
　日本国登録公報特許第４０１５４２３号公報に記載の技術では、対象物の位置を割り出せても、その位置に存在する物体が認識対象の物体であるかを判断するためには、対象物自体を認識する処理が必要となる。つまり、対象物自体の認識結果と、対象物の周辺の目印の認識結果を用いて割り出された対象物の位置座標とを総合的に判断し、対象物であるかの判断が行われる。
　しかしながら、対象物の認識精度を高めるために、複数の特徴量（例えば、形状と色など）の組み合わせで対象物を認識する方法を用いていると、例えば対象物の色が変化した場合に、対象物の認識精度が低下する。そのため、目標の対象物かどうかの判断が困難となる。
　そこで、本発明は、認識対象の物体が認識しづらい場合であっても、適切に認識対象の物体と判断することができる物体認識装置および物体認識方法を提供することを目的とする。
　上記課題を解決するために、本発明の一つの態様の物体認識装置は、画像から第１の認識方法により認識対象物体を認識する処理を実行する第１の認識処理部と、前記画像から前記第１の認識方法とは異なる第２の認識方法により前記認識対象物体を認識する処理を実行する第２の認識処理部と、前記第１の認識処理部による認識結果が不十分である場合、前記第２の認識処理部による認識結果に基づいて、前記認識対象物体を認識する物体認識部と、を備える。
　また、本発明の一つの態様の物体認識方法は、画像から第１の認識方法により認識対象物体を認識する処理を実行する第１ステップと、前記画像から前記第１の認識方法とは異なる第２の認識方法により前記認識対象物体を認識する処理を実行する第２ステップと、前記第１ステップによる認識結果が不十分である場合、前記第２ステップの認識結果に基づいて、前記認識対象物体を認識する第３ステップと、を含む。
　本発明の一つの態様によれば、認識対象の物体が認識しづらい場合であっても、適切に認識対象の物体と判断することができる。
図１は、物体認識装置のハードウェア構成例を示す図である。 図２は、長期記憶装置のデータ領域の詳細を示す図である。 図３は、物体の認識事例１を示す図である。 図４は、物体の認識事例２を示す図である。 図５は、物体認識処理手順を示すフローチャートである。
  以下、図面を用いて本発明の実施の形態について説明する。
  なお、本発明の範囲は、以下の実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で任意に変更可能である。
　図１は、本実施形態における物体認識装置１０のハードウェア構成例を示す図である。　本実施形態における物体認識装置１０は、例えばアームロボットやＡＧＶ（無人搬送車）、自動車の自動運転やＡＤＡＳ（先進運転支援システム）、防犯カメラなどに搭載され、画像から認識対象物体を認識する装置である。なお、本明細書において、「認識する」とは、画像から検出された物体が、認識したい対象の物体かどうかを判断する（識別する）ことをいう。
　例えば物体認識装置１０がアームロボットに搭載されている場合、物体認識装置１０は、把持対象の物体を認識する。そして、物体認識装置１０による認識結果に基づいて、アームロボットのアーム動作が制御される。
　また、ＡＧＶは、予め定められた走行計画に従って目標位置（ゴール地点）まで走行する。物体認識装置１０がＡＧＶに搭載されている場合には、物体認識装置１０は、ゴール地点に置かれた物体を認識し、ＡＧＶは、物体認識装置１０により認識された物体の位置で停止する。また、物体認識装置１０は、ＡＧＶの障害物との接触を回避するために、ＡＧＶの走行経路上の障害物を認識する場合もある。
　さらに、物体認識装置１０が自動車に搭載されている場合には、物体認識装置１０は、歩行者や他車両等の障害物となる物体を認識する。そして、自動車は、物体認識装置１０による認識結果に基づいて、障害物との接触を回避するためにブレーキ制御やステアリング制御等を行う。また、物体認識装置１０は、自動車が先行車両に追従走行するために、先行車両を認識する場合もある。
　また、物体認識装置１０が防犯カメラに搭載されている場合には、物体認識装置１０は、不審者を認識し、監視員等に報知する。
　物体認識装置１０は、図１に示すように、ＣＰＵ１１と、センサ部１２と、メモリ１３と、長期記憶装置１４と、を備える。長期記憶装置１４は、ＣＰＵ１１が実行するプログラムを格納するプログラム領域１５と、後述する物体認識処理に用いるデータ（変数やテーブル）を格納するデータ領域１６と、を備える。
　ＣＰＵ１１は、物体認識装置１０における動作を統括的に制御する。　センサ部１２は、認識対象物体を撮像するカメラ（２Ｄカメラ、３Ｄカメラ等）を備える。また、センサ部１２は、温度センサ等を備えていてもよい。
　メモリ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１は、処理の実行に際して長期記憶装置１４から必要なプログラムをメモリ１３にロードし、当該プログラムを実行することで各種の機能動作を実現することができる。
　本実施形態では、物体認識装置１０は、第１の認識方法と当該第１の認識方法とは異なる第２の認識方法とを用いて、画像から認識対象物体をそれぞれ認識し、精度が良い方の認識結果を用いて、認識対象物体を認識する。つまり、物体認識装置１０は、第１の認識方法による認識対象物体の認識結果が不十分である場合には、第２の認識方法による認識対象物体の認識結果を用いて認識対象物体を認識するようにする。
　ここで、第１の認識方法および第２の認識方法は、画像から認識対象物体の特徴量を抽出し、抽出した特徴量を用いて認識対象物体を認識する方法である。ここで、特徴量は、物体の特徴点を示す情報（色、温度など）や、物体の形状を示す情報を含む。
　第２の認識方法は、第１の認識方法と比較して、認識対象物体を認識する条件を緩和した認識方法であってよい。例えば第２の認識方法は、第１の認識方法と比較して、認識対象物体の認識に用いる特徴量の種類の組み合わせの数が少ない認識方法とすることができる。また、例えば第２の認識方法は、第１の認識方法と比較して、認識対象物体の認識に用いる特徴量の種類が異なる認識方法とすることができる。さらに、第２の認識方法は、認識対象物体の認識に用いる特徴量の種類の組み合わせの数および特徴量の種類の少なくとも一方が異なる複数の認識方法であってよい。
　物体認識装置１０は、上記の複数の認識方法のそれぞれを用いて、画像から物体を認識する認識処理を実行する。そして、物体認識装置１０は、認識処理の結果（認識結果）の良し悪しを点数化し、認識結果およびその点数をデータ領域１６に格納する。
　図３は、長期記憶装置１４のデータ領域１６の詳細を示す図である。　データ領域１６に格納されるデータは、一番良い認識結果１６１、一番良い認識結果の点数１６２、一番良い認識結果が出た方法１６３、認識方法のパターン１６４、今回の認識方法１６５、認識方法の数１６６、今回の認識結果１６７および今回の認識結果の点数１６８を含む。
　一番良い認識結果１６１には、各認識方法を用いてそれぞれ認識処理を実行した結果、最も良い点数が得られた認識方法の認識結果が格納される。ここで、認識結果は、認識処理により認識された物体に関する情報（位置、形状、大きさ、色など）を含む。
　一番良い認識結果の点数１６２には、各認識方法の認識結果の点数のうち、最も良い点数が格納される。ここで、認識結果の点数は、認識結果の精度を示す値である。例えば、テンプレートマッチングを用いて物体の認識処理を行う場合、テンプレートとの類似度を、認識結果の点数として用いることができる。この場合、認識結果の点数は、類似度に応じて０点～１００点として点数化することができる。
　一番良い認識結果が出た方法１６３には、各認識方法の認識結果の点数のうち、最も良い点数が得られた認識方法を示す情報が格納される。認識方法を示す情報は、例えば認識方法を識別するためのインデックスであってもよい。
　認識方法のパターン１６４には、各認識方法において認識に用いる特徴量の種類、および認識処理を実行する順番が格納される。この認識方法のパターン１６４には、例えば［全て、２Ｄ特徴点、３Ｄ特徴点、２Ｄ形状、３Ｄ形状、２Ｄ特徴点と３Ｄ特徴点、…］といったテーブルを格納してもよい。
　今回の認識方法１６５には、今回実行する認識方法を示す情報が格納される。この今回の認識方法１６５に格納される認識方法を示す情報は、上述した一番良い認識結果が出た方法１６３に格納される情報と対応している。
　認識方法の数１６６には、認識処理を実行する認識方法の総数が格納される。この認識方法の数１６６には、上述した一番良い認識結果が出た方法１６３に格納されるインデックスの最大値が格納される。
　今回の認識結果１６７には、今回の認識方法１６５を用いて実行された認識処理の結果（認識結果）が格納される。
　今回の認識結果の点数１６８には、今回の認識方法１６５を用いて実行された認識処理の結果の良し悪しを示す点数が格納される。
　従来、物体を高精度に認識する方法として、異なる複数の特徴量を組み合わせて複合的に判断する認識方法が用いられている。認識方法で用いる特徴量としては、２Ｄ特徴点、３Ｄ特徴点、２Ｄ形状、３Ｄ形状などが挙げられる。例えば、特徴点（色、温度など）と形状とを複合的に判断し、両者がマッチングする場合に認識対象物体であると判断する。
　しかしながら、認識対象物体の特徴量が変化した場合、複数の特徴量を複合的に判断する方法では、認識対象物体を適切に認識できない場合がある。例えば、認識対象物体の色と形状とを複合的に判断する場合に、認識対象物体の色が変化すると、認識対象物体を認識できなくなる。
　本実施形態では、上記のように特徴量が変化することにより認識対象物体が認識できなくなる場合には、認識方法を変更して認識対象物体を認識する。具体的には、上記のように色が変化することにより、色と形状とを用いた認識方法による認識ができなくなる場合には、形状のみを用いた認識方法に変更して認識対象物体を認識する。
　つまり、本実施形態における物体認識方法は、第１の認識方法と当該第１の認識方法とは異なる第２の認識方法とにより、画像から認識対象物体を認識する処理をそれぞれ実行し、第１の認識方法による認識結果が不十分である場合、第２の認識方法による認識結果に基づいて認識対象物体を認識する方法である。
　以下、物体の認識事例について具体的に説明する。
（事例１）
　アームロボットが飲料を掴む動作を行う場合、アームロボットに搭載された物体認識装置１０は、カメラによって撮像された画像から把持対象となる飲料を認識する。このとき、カメラによって図３（ａ）に示す飲料２１Ａが撮像されたものとする。
　従来のアームロボットにおいては、把持対象である飲料の認識に際して、特徴量として飲料の容器（ペットボトル）の形状と色（デザイン等）を抽出し、マッチングを行うものとする。この場合、図３（a）に示す飲料２１Ａの形状および色がマッチングすれば、飲料２１Ａは、把持対象の飲料であると判断される。
　ところが、図３（ｂ）に示すように、アームロボットの把持対象として、飲料２１Ａとはデザインの異なる飲料２１Ｂが投入された場合、上記従来の認識方法では、色がマッチングしないため、飲料２１Ｂを把持対象の飲料として認識することができない。
　本実施形態では、上記のように形状および色を用いた認識方法での飲料２１Ｂの認識結果が不十分となる場合には、異なる認識方法で飲料２１Ｂを認識する。例えば、物体認識装置１０は、特徴量として形状のみを用いた認識方法で飲料２１Ｂを認識する。この場合、飲料２１Ｂは把持対象の飲料であると判断される。
　このように、認識対象物体の特徴量に変化が生じている場合であっても、飲料２１Ｂを把持対象の物体として高い認識率で認識することができる。
（事例２）
　防犯カメラを用いて不審者を検知する場合、物体認識装置１０は、カメラによって撮像された画像から認識対象となる人物を認識する。このとき、カメラによって図４（ａ）に示す顔２２Ａが撮像されたものとする。
　この場合、従来の防犯カメラでは、顔２２Ａの特徴量を抽出し、マッチングを行って、顔２２Ａが不審者の顔であるか否かを判断する。このとき、顔２２Ａが不審者の顔である場合には、監視員等に適切に報知することができる。
　ところが、図４（ｂ）に示すように、カメラによってポスターに印刷された顔２２Ｂが撮像された場合、上記従来の認識方法では、特徴量がマッチングするこの顔２２Ｂについても、不審者の顔であると判断されてしまい、意図しない報知がなされてしまう。
　本実施形態では、上記のように顔２２Ｂの認識結果が不十分となる場合には、異なる認識方法で顔２２Ｂを認識する。例えば、物体認識装置１０は、特徴量として温度を加えた認識方法で顔２２Ｂを認識する。この場合、顔２２Ｂは、生身の人間の顔ではなく、不審者の顔ではないと適切に判断することができる。
　図１０は、物体認識装置１０が実行する物体認識処理手順を示すフローチャートである。
　まずステップＳ１において、物体認識装置１０は、長期記憶装置１４のデータ領域１６に格納された認識結果を初期化する。具体的には、図２に示す一番良い認識結果１６１、一番良い認識結果の点数１６２および一番良い認識結果が出た方法１６３の変数に、それぞれ予め設定された初期値を代入する。また、今回の認識方法１６５を示す変数ｎを初期値（ｎ＝１）に設定する。
　次にステップＳ２において、物体認識装置１０は、センサ部１２から画像を取得し、今回の認識方法を用いて物体認識処理を施す。
　次にステップＳ３では、物体認識装置１０は、ステップＳ２の認識結果を図３の今回の認識結果１６７に記録するとともに、ステップＳ２の認識結果を点数化し、図３の今回の認識結果の点数１６８に記録する。
　ステップＳ４では、物体認識装置１０は、ステップＳ３において採点された今回の認識結果の点数１６８が、データ領域１６に格納されている一番良い認識結果の点数１６２よりも高いか否かを判定する。つまり、このステップＳ４では、物体認識装置１０は、今回の認識結果の点数１６８が、これまでの認識結果の点数の中で最も良い点数であるか否かを判定する。そして、今回の認識結果の点数１６８が最も良い点数であると判定された場合にはステップＳ５に移行し、最も良い点数ではないと判定された場合にはステップＳ６に移行する。
　ステップＳ５では、物体認識装置１０は、今回の認識結果１６７を、一番良い認識結果１６１として格納する。また、このとき物体認識装置１０は、今回の認識結果の点数１６８を、一番良い認識結果の点数１６２として格納する。さらに、物体認識装置１０は、今回の認識方法１６５を、一番良い認識結果が出た方法１６３として格納する。つまり、このステップＳ５において、物体認識装置１０は、データ領域１６に現時点での最良値を記録する。
　ステップＳ６では、物体認識装置１０は、設定されたすべての認識方法で認識処理を実行したか否かを判定する。具体的には、物体認識装置１０は、今回の認識方法１６５が認識方法の数１６６に達しているか否かを判定する。そして、まだ認識処理を実行していない方法が存在すると判定された場合にはステップＳ７に移行し、インデックスｎをインクリメントしてステップＳ２に戻る。一方、設定されたすべての方法で認識処理が完了していると判定された場合にはステップＳ８に移行する。
　ステップＳ８では、物体認識装置１０は、一番良い認識結果１６１を用いて、認識対象物体を認識する。
　このように、物体認識装置１０は、画像内の物体に対して異なる複数の認識方法でそれぞれ認識処理を行い、最も良い認識結果だけを用いて認識対象物体を認識する。つまり、物体認識装置１０は、第１の認識方法と第２の認識方法とで認識処理を行い、その結果、第１の認識方法での認識対象物体の認識結果が不十分である場合には、第２の認識方法での認識結果に基づいて認識対象物体を認識する。
　なお、本実施形態では、ＣＰＵ１１が、画像から第１の認識方法により認識対象物体を認識する処理を実行する第１の認識処理、画像から第２の認識方法により認識対象物体を認識する処理を実行する第２の認識処理部、および、第１の認識処理部による認識結果が不十分である場合、第２の認識処理部による認識結果に基づいて、認識対象物体を認識する物体認識部として機能する。
　上記構成により、本実施形態における物体認識装置１０は、認識対象物体の特徴量が変化するなどして第１の認識方法を用いると認識対象物体を認識しづらい場合であっても、第１の認識方法とは異なる第２の認識方法を用いることで、認識対象物体を適切に認識することができる。したがって、認識対象物体の認識率を上げることができる。
　ここで、第２の認識方法を、第１の認識方法と比較して、認識対象物体を認識する条件を緩和した認識方法とすることで、第１の認識方法よりも曖昧さを持たせて認識対象物体を認識することができ、認識対象物体の認識率を上げることができる。
　例えば、第２の認識方法は、第１の認識方法と比較して、認識対象物体の認識に用いる特徴量の種類の組み合わせの数が少ない認識方法とすることができる。このように、認識に用いる特徴量（形状、色、温度など）の種類の数を減らすことで、複数種類の特徴点を複合的に用いて認識することがデメリットになっている場合に、認識対象物体の認識率を向上させることができる。
　また、第２の認識方法は、第１の認識方法と比較して、認識対象物体の認識に用いる特徴量の種類が異なる認識方法であってもよい。このように、認識に用いる特徴量（特徴点、形状、温度など）の種類を切り替えることで、例えば３Ｄ形状では認識しづらいが２Ｄ形状では認識可能である場合などに対応することができ、認識対象物体の認識率を向上させることができる。
　さらに、第２の認識方法は、認識対象物体の認識に用いる特徴量の種類の組み合わせの数および特徴量の種類の少なくとも一方が異なる複数の認識方法を含んでもよい。この場合、複数の認識方法で認識対象物体を認識することができるので、認識対象物体の認識率を確実に向上させることができる。
　また、物体認識装置１０は、認識対象物体の認識結果を点数化するので、認識対象物体の認識結果が不十分であるか否かを容易に判定することができる。また、最も良い認識結果を容易に判定することもできる。
　以上のように、本実施形態における物体認識装置１０は、複数の認識方法で複合的に認識しようとすることが、むしろデメリットになっている場合には、認識方法の数を減らすまたは入れ替えることで、認識対象物体の認識率を上げることができる。
（変形例）
　上記実施形態においては、物体認識装置１０は、認識対象物体の認識に用いた認識方法の認識結果に関する情報を学習する機能を有していてもよい。この場合、物体認識装置１０は、学習の結果を、第２の認識方法により認識対象物体を認識する処理に用いることができる。
　このように、高精度に認識できた認識方法に関する情報を学習することで、例えば、次回以降は高精度に認識できた認識方法を優先的に用いて認識処理を行うといった対応が可能となる。これにより、処理負荷を軽減しつつ、適切に認識対象物体を認識することができる。
　また、上記実施形態においては、認識処理を実行する場所は、認識対象物体が存在する領域で固定であるが、第１の認識方法を用いた認識対象物体の認識結果が不十分である場合には、認識処理を実行する場所を変更して認識対象物体を認識するといった処理を組み合わせてもよい。
　例えば、認識対象物体の近くに存在する周辺物体がわかっている場合、認識対象物体が認識できなくても、周辺物体が認識できれば、当該周辺物体の近くに存在する物体が認識対象物体であると判断することができる。したがって、このような場合には、認識処理を実行する場所を認識対象物体の周辺の領域に変更し、周辺物体を認識することで認識対象物体を認識するようにしてもよい。そして、認識処理を実行する場所を変更しても認識対象物体の認識結果が不十分である場合に、第２の認識方法を用いて認識対象物体を認識するようにしてもよい。
　１０…物体認識装置、１１…ＣＰＵ、１２…センサ部、１３…メモリ、１４…長期記憶装置、１６…データ領域

Claims (8)

  1. 　画像から第１の認識方法により認識対象物体を認識する処理を実行する第１の認識処理部と、
    　前記画像から前記第１の認識方法とは異なる第２の認識方法により前記認識対象物体を認識する処理を実行する第２の認識処理部と、
    　前記第１の認識処理部による認識結果が不十分である場合、前記第２の認識処理部による認識結果に基づいて、前記認識対象物体を認識する物体認識部と、を備えることを特徴とする物体認識装置。
  2. 　前記第２の認識方法は、前記第１の認識方法と比較して、前記認識対象物体を認識する条件を緩和した認識方法であることを特徴とする請求項１に記載の物体認識装置。
  3. 　前記第２の認識方法は、前記第１の認識方法と比較して、前記認識対象物体の認識に用いる特徴量の種類の組み合わせの数が少ないことを特徴とする請求項１または２に記載の物体認識装置。
  4. 　前記第２の認識方法は、前記第１の認識方法と比較して、前記認識対象物体の認識に用いる特徴量の種類が異なることを特徴とする請求項１または２に記載の物体認識装置。
  5. 　前記第２の認識方法は、前記認識対象物体の認識に用いる特徴量の種類の組み合わせの数および前記特徴量の種類の少なくとも一方が異なる複数の認識方法を含むことを特徴とする請求項１から４のいずれか１項に記載の物体認識装置。
  6. 　前記第１の認識処理部は、前記認識対象物体の認識結果を点数化することを特徴とする請求項１から５のいずれか１項に記載の物体認識装置。
  7. 　前記物体認識部による前記認識対象物体の認識に用いた前記第２の認識処理部による認識結果に関する情報を学習し、当該学習の結果を、前記第２の認識処理部による前記認識対象物体を認識する処理に用いることを特徴とする請求項１から６のいずれか１項に記載の物体認識装置。
  8. 　画像から第１の認識方法により認識対象物体を認識する処理を実行する第１ステップと、
    　前記画像から前記第１の認識方法とは異なる第２の認識方法により前記認識対象物体を認識する処理を実行する第２ステップと、
    　前記第１ステップによる認識結果が不十分である場合、前記第２ステップの認識結果に基づいて、前記認識対象物体を認識する第３ステップと、を含むことを特徴とする物体認識方法。
PCT/JP2019/030962 2018-09-05 2019-08-06 物体認識装置および物体認識方法 Ceased WO2020049935A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018165965 2018-09-05
JP2018-165965 2018-09-05

Publications (1)

Publication Number Publication Date
WO2020049935A1 true WO2020049935A1 (ja) 2020-03-12

Family

ID=69722442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030962 Ceased WO2020049935A1 (ja) 2018-09-05 2019-08-06 物体認識装置および物体認識方法

Country Status (1)

Country Link
WO (1) WO2020049935A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116692573A (zh) * 2023-05-29 2023-09-05 福建睿思特科技股份有限公司 人工智能全自动收贴票一体机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071832A (ja) * 2012-10-01 2014-04-21 Toshiba Corp 物体検出装置及びその検出方法
JP2016123044A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 被写体追跡装置、その制御方法およびプログラム
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071832A (ja) * 2012-10-01 2014-04-21 Toshiba Corp 物体検出装置及びその検出方法
JP2016123044A (ja) * 2014-12-25 2016-07-07 キヤノン株式会社 被写体追跡装置、その制御方法およびプログラム
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116692573A (zh) * 2023-05-29 2023-09-05 福建睿思特科技股份有限公司 人工智能全自动收贴票一体机

Similar Documents

Publication Publication Date Title
EP3803734B1 (en) Tracking vehicles in a warehouse environment
US11185977B2 (en) Information processing apparatus, grasping system, and information processing method
US7283661B2 (en) Image processing apparatus
US20180204076A1 (en) Moving object detection and classification image analysis methods and systems
JP2019217632A (ja) ロボットの把持のための深層機械学習方法および装置
CN115147587B (zh) 一种障碍物检测方法、装置及电子设备
US11966452B2 (en) Systems and methods for image based perception
US12482130B2 (en) Object detection method and object detection device
CN113264302A (zh) 仓储机器人的控制方法、装置、机器人和仓储系统
CN106170828A (zh) 外界识别装置
US11893801B2 (en) Flagman traffic gesture recognition
US11820427B2 (en) Lane keeping assist system of vehicle and lane keeping method using the same
US11156466B2 (en) Lane determination device
CN105091885A (zh) 机器人及自身位置推定方法
US11663807B2 (en) Systems and methods for image based perception
GB2544627A (en) Self-recognition of autonomous vehicles in mirrored or reflective surfaces
JP2015197829A (ja) レーンマーク認識装置
US20230373516A1 (en) Apparatus for controlling an autonomous driving, vehicle system having the same method thereof
US20140133705A1 (en) Red-eye determination device
JP2022512165A (ja) 交差点検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置及びデバイス
KR20200075911A (ko) 차량용 허위 타겟 제거 장치 및 그의 허위 타겟 제거 방법과 그를 포함하는 차량
JP2016181072A (ja) 物体認識装置
JP2012118683A (ja) 歩行者認識装置
US20220229186A1 (en) Object shape detection apparatus and method
WO2020049933A1 (ja) 物体認識装置および物体認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856648

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856648

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP