JPWO2021149251A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2021149251A5
JPWO2021149251A5 JP2021572241A JP2021572241A JPWO2021149251A5 JP WO2021149251 A5 JPWO2021149251 A5 JP WO2021149251A5 JP 2021572241 A JP2021572241 A JP 2021572241A JP 2021572241 A JP2021572241 A JP 2021572241A JP WO2021149251 A5 JPWO2021149251 A5 JP WO2021149251A5
Authority
JP
Japan
Prior art keywords
image
unit
recognition
image conversion
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021572241A
Other languages
Japanese (ja)
Other versions
JPWO2021149251A1 (en
JP7361800B2 (en
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/JP2020/002577 external-priority patent/WO2021149251A1/en
Publication of JPWO2021149251A1 publication Critical patent/JPWO2021149251A1/ja
Publication of JPWO2021149251A5 publication Critical patent/JPWO2021149251A5/ja
Application granted granted Critical
Publication of JP7361800B2 publication Critical patent/JP7361800B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (18)

対象物体の画像を取得する画像取得部と、
画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像に対して前記対象物体の形状、前記対象物体の表面特性、センサの計測距離、および前記センサの計測深度のうちの少なくともいずれか１つの共通の特徴を有するように画像変換して変換後画像を出力する画像変換部と、
前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
前記認識結果および前記評価部の評価結果を出力する出力部と、
を備えることを特徴とする物体認識装置。 An image acquisition unit that acquires an image of a target object,
Of the shape of the target object, the surface characteristics of the target object, the measurement distance of the sensor, and the measurement depth of the sensor with respect to the sensor image which is the image acquired by the image acquisition unit using the image conversion parameters. An image conversion unit that converts an image so that it has at least one common feature and outputs the converted image.
A recognition unit that recognizes the state of the target object based on the converted image,
An evaluation unit that evaluates the image conversion parameters used to generate the converted image based on the recognition result of the recognition unit, and an evaluation unit.
An output unit that outputs the recognition result and the evaluation result of the evaluation unit,
An object recognition device characterized by being equipped with. 前記画像変換パラメータは、前記センサ画像を、予め定められた特徴を有する画像に画像変換するためのパラメータであることを特徴とする請求項１に記載の物体認識装置。 The object recognition device according to claim 1, wherein the image conversion parameter is a parameter for image conversion of the sensor image into an image having predetermined characteristics. 前記特徴ごとに前記画像変換パラメータを学習する第１の学習部、
をさらに備え、
前記画像変換部は、前記第１の学習部の学習結果である前記画像変換パラメータを用いて、前記センサ画像を画像変換することを特徴とする請求項２に記載の物体認識装置。 A first learning unit that learns the image conversion parameters for each of the features,
Further prepare
The object recognition device according to claim 2, wherein the image conversion unit converts the sensor image into an image by using the image conversion parameter which is the learning result of the first learning unit. 前記画像変換部は、複数の段階の画像変換を行って前記センサ画像を前記変換後画像に変換し、
前記第１の学習部は、画像変換の段階ごとに用いられる複数の種類の画像変換パラメータのそれぞれを学習することを特徴とする請求項３に記載の物体認識装置。 The image conversion unit performs image conversion in a plurality of stages to convert the sensor image into the converted image.
The object recognition device according to claim 3, wherein the first learning unit learns each of a plurality of types of image conversion parameters used for each stage of image conversion. 前記画像変換部は、前記センサ画像を中間画像に変換し、前記中間画像を前記変換後画像に変換することで前記センサ画像を前記変換後画像に変換し、
前記第１の学習部は、前記センサ画像を中間画像に変換するための第１の画像変換パラメータと、前記中間画像を前記変換後画像に変換するための第２の画像変換パラメータとを学習することを特徴とする請求項４に記載の物体認識装置。 The image conversion unit converts the sensor image into an intermediate image and converts the intermediate image into the converted image to convert the sensor image into the converted image.
The first learning unit learns a first image conversion parameter for converting the sensor image into an intermediate image and a second image conversion parameter for converting the intermediate image into the converted image. The object recognition device according to claim 4, wherein the object recognition device is characterized by the above. 対象物体の画像を取得する画像取得部と、
画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像を画像変換して変換後画像を出力する画像変換部と、
前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
前記認識結果および前記評価部の評価結果を出力する出力部と、
前記特徴ごとに前記画像変換パラメータを学習する第１の学習部と、
を備え、
前記画像変換パラメータは、前記センサ画像を、予め定められた特徴を有する画像に画像変換するためのパラメータであり、
前記画像変換部は、前記第１の学習部の学習結果である前記画像変換パラメータを用いて、前記センサ画像を画像変換し、前記センサ画像を複数の成分画像に変換した後、前記複数の成分画像を合成して前記変換後画像を取得し、
前記第１の学習部は、前記センサ画像を前記複数の成分画像のそれぞれに変換するための複数の種類の画像変換パラメータを学習することを特徴とする物体認識装置。 The image acquisition unit that acquires the image of the target object,
An image conversion unit that converts a sensor image, which is the image acquired by the image acquisition unit, into an image and outputs a converted image using image conversion parameters.
A recognition unit that recognizes the state of the target object based on the converted image,
An evaluation unit that evaluates the image conversion parameters used to generate the converted image based on the recognition result of the recognition unit, and an evaluation unit.
An output unit that outputs the recognition result and the evaluation result of the evaluation unit,
A first learning unit that learns the image conversion parameters for each feature,
Equipped with
The image conversion parameter is a parameter for image-converting the sensor image into an image having predetermined characteristics.
The image conversion unit converts the sensor image into an image using the image conversion parameter which is the learning result of the first learning unit, converts the sensor image into a plurality of component images, and then the plurality of components. The images are combined to obtain the converted image, and the image is obtained.
The first learning unit is an object recognition device characterized in that it learns a plurality of types of image conversion parameters for converting the sensor image into each of the plurality of component images. 複数の前記画像変換パラメータのそれぞれを用いた場合の前記評価部の評価結果に基づいて、前記画像変換部が用いる画像変換パラメータを決定する変換パラメータ決定部、
をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の物体認識装置。 A conversion parameter determination unit that determines the image conversion parameter used by the image conversion unit based on the evaluation result of the evaluation unit when each of the plurality of image conversion parameters is used.
The object recognition device according to any one of claims 1 to 6, further comprising. 前記評価部が前記画像変換パラメータを評価するために用いるパラメータである評価パラメータの入力を受け付ける入力受付部、
をさらに備え、
前記評価部は、前記入力受付部が受け付けた評価パラメータを用いて前記画像変換パラメータを評価することを特徴とする請求項１から７のいずれか１項に記載の物体認識装置。 An input receiving unit that accepts input of evaluation parameters, which are parameters used by the evaluation unit to evaluate the image conversion parameters.
Further prepare
The object recognition device according to any one of claims 1 to 7, wherein the evaluation unit evaluates the image conversion parameter using the evaluation parameter received by the input reception unit. 対象物体の画像を取得する画像取得部と、
画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像を画像変換して変換後画像を出力する画像変換部と、
前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
前記認識結果および前記評価部の評価結果を出力する出力部と、
を備え、
前記認識結果は、前記認識部の認識処理時間および前記認識部が認識した前記対象物体の個数の少なくともいずれかを含むことを特徴とする物体認識装置。 An image acquisition unit that acquires an image of a target object,
An image conversion unit that converts a sensor image, which is the image acquired by the image acquisition unit, into an image and outputs a converted image using image conversion parameters.
A recognition unit that recognizes the state of the target object based on the converted image,
An evaluation unit that evaluates the image conversion parameters used to generate the converted image based on the recognition result of the recognition unit, and an evaluation unit.
An output unit that outputs the recognition result and the evaluation result of the evaluation unit,
Equipped with
The object recognition device, characterized in that the recognition result includes at least one of the recognition processing time of the recognition unit and the number of the target objects recognized by the recognition unit. 対象物体の画像を取得する画像取得部と、
画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像を画像変換して変換後画像を出力する画像変換部と、
前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
前記認識結果および前記評価部の評価結果を出力する出力部と、
前記認識部の認識結果に基づいて前記対象物体を把持するロボットと、
を備え、
前記評価部は、前記ロボットの動作結果にさらに基づいて、前記画像変換パラメータを評価することを特徴とする物体認識装置。 The image acquisition unit that acquires the image of the target object,
An image conversion unit that converts a sensor image, which is the image acquired by the image acquisition unit, into an image and outputs a converted image using image conversion parameters.
A recognition unit that recognizes the state of the target object based on the converted image,
An evaluation unit that evaluates the image conversion parameters used to generate the converted image based on the recognition result of the recognition unit, and an evaluation unit.
An output unit that outputs the recognition result and the evaluation result of the evaluation unit,
A robot that grips the target object based on the recognition result of the recognition unit ,
Equipped with
The evaluation unit is an object recognition device that evaluates the image conversion parameter based on the operation result of the robot. 前記動作結果は、前記ロボットが対象物体の把持に成功した確率と、把持動作時間と、把持失敗原因とのうち少なくとも１つを含むことを特徴とする請求項１０に記載の物体認識装置。 The object recognition device according to claim 10, wherein the operation result includes at least one of a probability that the robot succeeds in grasping the target object, a gripping operation time, and a cause of grip failure. シミュレーションを用いて、予め定められた前記特徴を有する画像である目標画像を作成するシミュレーション部、
をさらに備え、
前記第１の学習部は、前記シミュレーション部が作成した前記目標画像を用いて前記画像変換パラメータを学習することを特徴とする請求項３に記載の物体認識装置。 A simulation unit that creates a target image, which is an image having the above-mentioned characteristics predetermined, by using a simulation.
Further prepare
The object recognition device according to claim 3, wherein the first learning unit learns the image conversion parameter using the target image created by the simulation unit. 前記シミュレーション部は、シミュレーション条件に基づいて前記対象物体の配置状態を示す配置情報を生成する第１生成部と、前記配置情報に基づいて前記対象物体を配置して前記目標画像を生成する第２生成部と、を有し、
前記シミュレーション部が生成した前記目標画像と、前記センサ画像とを含む画像変換データセットを生成する画像変換データセット生成部、
をさらに備えることを特徴とする請求項１２に記載の物体認識装置。 The simulation unit has a first generation unit that generates arrangement information indicating the arrangement state of the target object based on simulation conditions, and a second generation unit that arranges the target object based on the arrangement information and generates the target image. With a generator,
An image conversion data set generation unit that generates an image conversion data set including the target image generated by the simulation unit and the sensor image.
The object recognition device according to claim 12, further comprising. 前記センサ画像に基づいて、前記画像変換データセット生成部が作成した前記画像変換データセットの中から、前記第１の学習部が用いる画像変換データセットを選択する画像変換データセット選択部、
をさらに備えることを特徴とする請求項１３に記載の物体認識装置。 An image conversion data set selection unit that selects an image conversion data set used by the first learning unit from the image conversion data sets created by the image conversion data set generation unit based on the sensor image.
13. The object recognition device according to claim 13, further comprising. 前記認識部が用いる認識手法に基づいて、前記認識部が認識処理を行う時に用いるアノテーションデータを生成し、前記目標画像と前記アノテーションデータとを含む認識データセットを生成する認識データセット生成部、
をさらに備えることを特徴とする請求項１２から１４のいずれか１項に記載の物体認識装置。 A recognition data set generation unit that generates annotation data used when the recognition unit performs recognition processing based on the recognition method used by the recognition unit, and generates a recognition data set including the target image and the annotation data.
The object recognition device according to any one of claims 12 to 14, further comprising. 前記認識部が認識処理を行うときに用いるアノテーションデータと前記目標画像とを含む認識データセットに基づいて、前記認識部が用いるパラメータである認識パラメータを学習する第２の学習部、
をさらに備えることを特徴とする請求項１５に記載の物体認識装置。 A second learning unit that learns recognition parameters, which are parameters used by the recognition unit, based on a recognition data set including annotation data used when the recognition unit performs recognition processing and the target image.
The object recognition device according to claim 15, further comprising. 複数の前記認識パラメータのそれぞれを用いた場合の前記評価部の評価結果に基づいて、前記認識部が用いる認識パラメータを決定する認識パラメータ決定部、
をさらに備えることを特徴とする請求項１６に記載の物体認識装置。 A recognition parameter determination unit that determines the recognition parameters used by the recognition unit based on the evaluation results of the evaluation unit when each of the plurality of recognition parameters is used.
The object recognition device according to claim 16, further comprising. 物体認識装置が、対象物体の画像を取得するステップと、
前記物体認識装置が、画像変換パラメータを用いて、取得した前記画像に対して前記対象物体の形状、前記対象物体の表面特性、センサの計測距離、および前記センサの計測深度のうちの少なくともいずれか１つの共通の特徴を有するように画像変換して変換後画像を出力するステップと、
前記物体認識装置が、前記変換後画像に基づいて、前記対象物体の状態を認識するステップと、
前記物体認識装置が、認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価するステップと、
前記物体認識装置が、前記認識結果および評価結果を出力するステップと、
を含むことを特徴とする物体認識方法。 The step that the object recognition device acquires the image of the target object,
The object recognition device uses at least one of the shape of the target object, the surface characteristics of the target object, the measurement distance of the sensor, and the measurement depth of the sensor with respect to the acquired image using the image conversion parameter. A step of converting an image so that it has one common feature and outputting the converted image,
A step in which the object recognition device recognizes the state of the target object based on the converted image.
A step of evaluating the image conversion parameter used by the object recognition device to generate the converted image based on the recognition result.
The step in which the object recognition device outputs the recognition result and the evaluation result, and
An object recognition method characterized by including.
JP2021572241A 2020-01-24 2020-01-24 Object recognition device and object recognition method Active JP7361800B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/002577 WO2021149251A1 (en) 2020-01-24 2020-01-24 Object recognition device and object recognition method

Publications (3)

Publication Number Publication Date
JPWO2021149251A1 JPWO2021149251A1 (en) 2021-07-29
JPWO2021149251A5 true JPWO2021149251A5 (en) 2022-04-26
JP7361800B2 JP7361800B2 (en) 2023-10-16

Family

ID=76993210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021572241A Active JP7361800B2 (en) 2020-01-24 2020-01-24 Object recognition device and object recognition method

Country Status (3)

Country Link
JP (1) JP7361800B2 (en)
CN (1) CN114981837A (en)
WO (1) WO2021149251A1 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6814977B2 (en) * 2016-10-07 2021-01-20 パナソニックＩｐマネジメント株式会社 Image processing device, detection device, learning device, image processing method, and image processing program
US11151714B2 (en) * 2017-09-29 2021-10-19 Nec Corporation Anomaly detection apparatus, anomaly detection method, and computer-readable recording medium

Similar Documents

Publication Publication Date Title
WO2022179261A1 (en) 3d matching-based object grabbing method and apparatus and computing device
CN111160375B (en) Three-dimensional key point prediction and deep learning model training method, device and equipment
KR20200033515A (en) Machine learning method/apparatus based on multiple features extraction and transfer learning and apparatus for leak detection using same
JP2020119154A5 (en)
JPWO2020179729A5 (en)
JP2021056785A5 (en)
US20160098615A1 (en) Apparatus and method for producing image processing filter
US20190164566A1 (en) Emotion recognizing system and method, and smart robot using the same
JP2020191050A (en) Abnormality detector and abnormality detection method
EP2786312A1 (en) A gesture recognition method, an apparatus and a computer program for the same
JPWO2021149251A5 (en)
Hejazi et al. Novel preprocessing of multimodal condition monitoring data for classifying induction motor faults using deep learning methods
JP6540742B2 (en) Object recognition apparatus and object recognition method
CN111192257B (en) Method, system and equipment for determining equipment state
JP3633642B2 (en) Information processing device
EP4198844A1 (en) Artificial intelligence feedback method and artificial intelligence feedback system
KR102444495B1 (en) An image recognition detector and the operation method
JPWO2022239216A5 (en) LEARNING DEVICE AND LEARNING METHOD
JPWO2022137337A5 (en) LEARNING DEVICE, LEARNING METHOD, AND PROGRAM
WO2022041866A1 (en) Method, apparatus and device for determining causal relationship, and readable storage medium
KR102625707B1 (en) A signal processing method for spectrogram extraction from micro doppler radar
WO2021149251A1 (en) Object recognition device and object recognition method
US20100292988A1 (en) System and method for speech recognition
US9008437B2 (en) Information processing apparatus, information processing method and storage medium
JPWO2022254584A5 (en)