WO2021014538A1 - テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム - Google Patents

テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム Download PDF

Info

Publication number
WO2021014538A1
WO2021014538A1 PCT/JP2019/028679 JP2019028679W WO2021014538A1 WO 2021014538 A1 WO2021014538 A1 WO 2021014538A1 JP 2019028679 W JP2019028679 W JP 2019028679W WO 2021014538 A1 WO2021014538 A1 WO 2021014538A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
template
data
dimensional
template creation
Prior art date
Application number
PCT/JP2019/028679
Other languages
English (en)
French (fr)
Inventor
嘉典 小西
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to PCT/JP2019/028679 priority Critical patent/WO2021014538A1/ja
Priority to JP2021534891A priority patent/JP7251631B2/ja
Publication of WO2021014538A1 publication Critical patent/WO2021014538A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00

Definitions

  • the present invention relates to a template creation device, an object recognition processing device, a template creation method, an object recognition processing method, and a program.
  • Template matching is a method of detecting an object included in an input image by preparing a model (template) of the object to be recognized in advance and evaluating the degree of matching of image features between the input image and the model. is there.
  • Object recognition by template matching is used in a wide range of fields such as inspection and picking in FA (Factory Automation), robot vision, and surveillance cameras.
  • Such a template can be created using 3DCAD data of an object to be recognized (hereinafter, also referred to as "target object").
  • target object an object to be recognized
  • 3DCAD data of an object to be recognized
  • a template is created using the three-dimensional measurement data obtained by three-dimensionally measuring the actual target object.
  • the present invention has been made in view of the above problems, and fine shapes and textures are lost when creating a template for object recognition using three-dimensional measurement data measured from different viewpoints.
  • the purpose is to provide a technology that can create a template that is close to the real thing.
  • the present invention for solving the above problems
  • a template creation device that creates a template corresponding to the target object viewed from the viewpoint.
  • Template creation as the viewpoint for creating the template
  • a template creation viewpoint position and orientation data acquisition unit for acquiring data on the position and orientation of the viewpoint
  • a 3D measurement data acquisition unit that acquires 3D measurement data of the target object
  • a measurement viewpoint position / posture data acquisition unit that acquires data related to the position / orientation of the measurement viewpoint as a viewpoint for three-dimensionally measuring the target object.
  • the three-dimensional measurement data corresponding to the different measurement viewpoints is projected onto a predetermined plane with respect to the template creation viewpoint, and the basic three-dimensional data for extracting the feature amount is generated based on the projected three-dimensional measurement data.
  • the basic three-dimensional data generation unit selects the measurement viewpoint that is closer to the template creation viewpoint, and generates the basic three-dimensional data from the three-dimensional measurement data corresponding to the selected measurement viewpoint. It is a template creation device characterized in that it is used in preference to.
  • 3D corresponding to the measurement viewpoint closer to the template creation viewpoint since the measurement data is used with priority, the three-dimensional measurement data measured from different measurement viewpoints are averaged and the fine shape and texture are not lost. Therefore, it is possible to create a template that is close to the real thing.
  • the distance of the measurement viewpoint to the template creation viewpoint can be evaluated by various methods. For example, it may be evaluated by the size of the angle formed by the vector from the template creation viewpoint to the center of the target object and the vector from the measurement viewpoint to the center of the target object, or by the Euclidean distance or the geodesic distance between the two viewpoints. It may be evaluated and is not limited to these.
  • the three-dimensional measurement data is data composed of a plurality of points, each of which has three-dimensional information, acquired by the three-dimensional measurement.
  • Data in a format in which each point has a three-dimensional coordinate value in the camera coordinate system, such as point cloud data, may be used, or a depth value (depth distance information) is associated with each point (each pixel) of the two-dimensional image.
  • the data may be in a format.
  • the predetermined plane with respect to the template creation viewpoint is an image like the CCD plane with respect to the focal point of the CCD camera when the image acquisition unit for acquiring the image to be recognized by the template is configured by the CCD camera. It is a plane.
  • the 3D measurement data corresponding to different measurement viewpoints is projected onto a predetermined plane with respect to the template creation viewpoint, and the basic 3D data to be the target for extracting the feature amount is generated based on the projected 3D measurement data.
  • the memory usage can be reduced and the processing time can be shortened as compared with the case where the three-dimensional measurement data is integrated and generated in the three-dimensional space.
  • the basic three-dimensional data generation unit uses the basic three-dimensional data as the portion of the basic three-dimensional data that is projected onto the predetermined plane and is not included in the more preferred three-dimensional measurement data. It may be supplemented by the data projected on the plane of.
  • the 3D measurement data corresponding to the more prioritized measurement viewpoint is selectively used, so that the 3D measurement data corresponding to different measurement viewpoints are averaged.
  • the fine shape and texture of the target object are not lost. Therefore, it is possible to create a template that is close to the real thing.
  • An image acquisition unit that acquires an image including the target object, A feature extraction unit that extracts features from the acquired image, A template matching unit that recognizes the target object included in the acquired image by template matching using a template created by the template creation device, and a template matching unit. It is an object recognition processing device equipped with.
  • object recognition is performed by a template close to the real thing that reflects the fine shape and texture of the target object, so that more accurate object recognition becomes possible.
  • the present invention It is a template creation method that creates a template corresponding to the target object viewed from the viewpoint.
  • a step of acquiring information on the position and orientation of the template creation viewpoint as the viewpoint for creating the template and The step of acquiring the three-dimensional measurement data of the target object and A step of acquiring data on the position and orientation of the measurement viewpoint as a viewpoint for measuring the target object in three dimensions, and The step of selecting the measurement viewpoint that is closer to the template creation viewpoint, and A step of projecting the three-dimensional measurement data corresponding to the selected measurement viewpoint onto a predetermined plane with respect to the template creation viewpoint, and
  • When generating basic 3D data for extracting feature quantities based on the projected 3D measurement data priority is given to the 3D measurement data corresponding to the measurement viewpoint having a closer distance.
  • Steps to generate basic 3D data using It is a template creation method including.
  • the present invention when generating basic 3D data for extracting feature quantities from 3D measurement data measured from different measurement viewpoints, 3D corresponding to the measurement viewpoint closer to the template creation viewpoint. Since the measurement data is used with priority, the three-dimensional measurement data measured from different measurement viewpoints are averaged and the fine shape and texture are not lost. Therefore, it is possible to create a template that is close to the real thing. Further, the order of each step included in the present invention is not limited to the described order.
  • the distance of the measurement viewpoint to the template creation viewpoint can be evaluated by various methods. For example, it may be evaluated by the size of the angle formed by the vector from the template creation viewpoint to the center of the target object and the vector from the measurement viewpoint to the center of the target object, or by the Euclidean distance or the geodesic distance between the two viewpoints. It may be evaluated and is not limited to these.
  • the three-dimensional measurement data is data composed of a plurality of points, each of which has three-dimensional information, acquired by the three-dimensional measurement.
  • Data in a format in which each point has a three-dimensional coordinate value in the camera coordinate system, such as point cloud data, may be used, or a depth value (depth distance information) is associated with each point (each pixel) of the two-dimensional image.
  • the data may be in a format.
  • the present invention An object recognition processing method that recognizes an object using a template.
  • object recognition is performed by a template close to the real thing that reflects the fine shape and texture of the target object, so that more accurate object recognition becomes possible.
  • the present invention This is a program for causing a computer to execute each step of the template creation method.
  • the present invention This is a program for causing a computer to execute each step of the object recognition method.
  • a technique capable of creating a template close to the real thing without losing fine shapes and textures is provided. It will be possible to provide.
  • FIG. 1 It is a figure which shows an example of the whole structure of the object recognition apparatus in embodiment of this invention. It is a functional block diagram of the object recognition device in the Embodiment of this invention. It is a flowchart which shows an example of the template creation process in embodiment of this invention. It is a figure explaining the imaging of the target object and the acquisition configuration of the imaging viewpoint position and posture in the embodiment of the present invention. The relationship between the template creation viewpoint and the photographing viewpoint in the embodiment of the present invention will be described. It is a figure which shows typically the integration process on the image plane with respect to embodiment of this invention. It is a flowchart which shows an example of the object recognition processing in embodiment of this invention. It is a figure explaining the application example of this invention.
  • FIG. 8 is a diagram illustrating the principle of the template creation method in the present invention.
  • FIG. 8A is an example of creating a template of the target object 227 from the viewpoint VP.
  • the arrow from the viewpoint VP to the center 227c of the target object 227 is indicated by a solid line.
  • the three-dimensional measurement data acquired by the three-dimensional sensor 220 for the target object 227 from a plurality of different viewpoints of IMPa, IMPb, and IMPc is displayed on the three-dimensional space.
  • the three-dimensional measurement data IMa, IMb, and IMc acquired from the viewpoints IMPa, IMPb, and IMPc are schematically shown on the left side of FIG. 8B.
  • the three-dimensional measurement data IMa, IMb, and IMc are generated as shown on the left side of each three-dimensional measurement data FIG. It does not always match.
  • the shape of the target object is averaged by averaging each three-dimensional measurement data as shown on the right side of FIG. 8 (B). Will be done.
  • the viewpoint position of the three-dimensional measurement data acquired by the three-dimensional sensor 220 for the target object 227 from a plurality of different viewpoints Preferentially uses the data closest to the position of the template creation viewpoint VP projected onto the image plane of the template creation viewpoint VP. Then, the pixels that are not projected on the image plane of the template creation viewpoint VP are supplemented by projecting the three-dimensional measurement data of the target object from the viewpoint position far from the position of the template creation viewpoint VP. Therefore, although there is an error in the viewpoint position / orientation recognition of the three-dimensional sensor 220, the shape information of the target object 227 is not lost. Further, since the 3D measurement data acquired by the 3D sensor is not integrated in the 3D space but integrated as 2D data projected on the image plane of the template creation viewpoint VP, the memory usage is small. The processing time can be shortened.
  • the object recognition device 2 is installed in a production line that assembles and processes articles, and recognizes the position and orientation of the object 27 loaded on the tray 26 by template matching using the data captured from the sensor unit 20 ( It is a system that recognizes three-dimensional objects. Objects 27 to be recognized are stacked separately on the tray 26.
  • the object recognition device 2 is roughly composed of a sensor unit 20 and an image processing device 21.
  • the sensor unit 20 and the image processing device 21 are connected by wire or wirelessly, and the output of the sensor unit 20 is taken into the image processing device 21.
  • the image processing device 21 is a device that performs various processes using the data captured from the sensor unit 20.
  • the processing of the image processing device 21 may include, for example, distance measurement (distance measurement), three-dimensional shape recognition, object recognition, scene recognition, and the like.
  • the recognition result of the object recognition device 2 is output to, for example, a PLC (programmable logic controller) 25 or a display 22.
  • the recognition result is used, for example, for controlling the picking robot 28, controlling the processing device and the printing device, and inspecting and measuring the target object 27.
  • the sensor unit 20 has at least a camera for capturing an optical image of the target object 27. Further, the sensor unit 20 may include a configuration (sensor, lighting device, floodlight device, etc.) necessary for performing three-dimensional measurement of the target object 27. For example, when measuring the depth distance by stereo matching (also called stereo vision, stereo camera method, etc.), a plurality of cameras are provided in the sensor unit 20. In the case of active stereo, the sensor unit 20 is further provided with a floodlight device that projects pattern light onto the target object 27. When three-dimensional measurement is performed by the space-coded pattern projection method, a floodlight device and a camera for projecting pattern light are provided in the sensor unit 20. In addition, any method such as an illuminance difference stereo method, a TOF (time of flight) method, and a phase shift method may be used as long as it can acquire three-dimensional information of the target object 27.
  • a configuration sensor, lighting device, floodlight device, etc.
  • the image processing device 21 is composed of, for example, a computer including a CPU (processor), a RAM (memory), a non-volatile storage device (hard disk, SSD, etc.), an input device, an output device, and the like.
  • the CPU expands the program stored in the non-volatile storage device into the RAM and executes the program to realize various configurations described later.
  • the configuration of the image processing device 21 is not limited to this, and all or a part of the configurations described later may be realized by a dedicated circuit such as FPGA or ASIC, or realized by cloud computing or distributed computing. You may.
  • FIG. 2 is a block diagram showing the configuration of the image processing device 21.
  • the image processing device 21 has a configuration of a template creating device 30 and a configuration of an object recognition processing device 31.
  • the template creation device 30 has a configuration for creating a template to be used in the object recognition process, and is a plurality of viewpoints 3D measurement data acquisition unit 300, a shooting viewpoint 3D position / orientation data acquisition unit 301, and a template creation viewpoint position information acquisition unit. It has 302, a three-dimensional data generation unit 303 of a template creation viewpoint, a feature extraction unit 304, a template creation unit 305, and a template information output unit 306.
  • the multi-viewpoint three-dimensional measurement data acquisition unit 300 corresponds to the "three-dimensional measurement data acquisition unit" of the present invention.
  • the shooting viewpoint three-dimensional position / posture data acquisition unit 301 corresponds to the “measurement viewpoint position / posture data acquisition unit” of the present invention.
  • the template creation viewpoint position information acquisition unit 302 corresponds to the "template creation viewpoint position position data acquisition unit” of the present invention.
  • the three-dimensional data generation unit 303 from the template creation viewpoint corresponds to the "basic three-dimensional data generation unit" of the present invention.
  • the object recognition processing device 31 is configured to execute object recognition processing by template matching, and includes an image acquisition unit 310, an image pyramid creation unit 311, a feature extraction unit 312, a template information acquisition unit 313, a template matching unit 314, and recognition. It has a result output unit 315.
  • the image acquisition unit 310, the feature extraction unit 312, and the template matching unit 314 correspond to the "image acquisition unit", the "feature extraction unit”, and the “template matching unit” of the present invention, respectively.
  • step S101 the 3D data generation unit 303 of the template creation viewpoint acquires the 3D measurement data of the target object photographed from different viewpoints, the information regarding the 3D position / orientation of the photographing viewpoint, and the information regarding the template creation viewpoint position.
  • the three-dimensional measurement data of the target object from a plurality of different viewpoints is acquired by the plurality of viewpoints three-dimensional measurement data acquisition unit 300. Therefore, the three-dimensional data generation unit 303 of the template creation viewpoint acquires the three-dimensional measurement data of the target object photographed from different viewpoints from the multi-viewpoint three-dimensional measurement data acquisition unit 300.
  • the 3D position / orientation data of the shooting viewpoint when the multi-viewpoint 3D measurement data acquisition unit shoots the target object from a plurality of different viewpoints and acquires the 3D measurement data of the target object is the shooting viewpoint 3D position. It is acquired by the posture data acquisition unit 301. Therefore, the three-dimensional data generation unit 303 of the template creation viewpoint acquires the information regarding the three-dimensional position / orientation of the shooting viewpoint from the three-dimensional position / posture data acquisition unit 301 of the shooting viewpoint. Then, since the data regarding the position / orientation of the template creation viewpoint is acquired by the template creation viewpoint position information acquisition unit 302, the three-dimensional data generation unit 303 of the template creation viewpoint obtains the data regarding the template creation viewpoint position / orientation from the template creation viewpoint. It is acquired from the position information acquisition unit 302. In the present embodiment, the photographing viewpoint corresponds to the "measurement viewpoint" of the present invention.
  • FIG. 4 is a diagram illustrating an outline of a configuration for acquiring three-dimensional measurement data of a target object and information on a three-dimensional position / orientation of a photographing viewpoint from a plurality of different viewpoints.
  • the three-dimensional sensor 220 is arranged at a predetermined position / orientation with respect to the target object 27 to acquire (photograph) the three-dimensional measurement data of the target object 27 and acquire the position / orientation information of the photographing viewpoint.
  • the three-dimensional sensor 220 may be fixed and the posture of the target object 27 may be changed.
  • the target object 27 may be fixed and the posture of the three-dimensional sensor 220 may be changed, as long as the relative positional relationship between the three-dimensional sensor 220 and the target object 27 changes.
  • FIG. 4 shows an example in which the target object 27 mounted on the mounting surface 32 is photographed by the three-dimensional sensor 220 to acquire the three-dimensional measurement data.
  • the three-dimensional sensor 220 may be fixed and the posture of the mounting surface 32 may be changed, or the posture of the mounting surface 32 may be fixed and the posture of the three-dimensional sensor 220 may be changed.
  • the shape of the ternary position posture of the photographing viewpoint can be known from the plane marker 33 displayed on the mounting surface 32 of the target object and the reference object (3D CAD data or the like) fixedly arranged with respect to the mounting surface. It may be acquired by recognizing the object), or it may be acquired by providing the mounting surface 32 of the target object on the gonio stage.
  • FIG. 5 shows an example of a template creation viewpoint and a shooting viewpoint.
  • 42 vertices of a regular decahedron including the target object 27 are set as the template creation viewpoint VP, and here, one vertex VP1 (shown by a black circle) is set as the template creation viewpoint.
  • the number and arrangement of the template creation viewpoint VPs may be appropriately set according to the required resolution, the shape of the target object 27, the possible postures, and the like.
  • the number and position of the template creation viewpoint VP may be acquired by the template creation viewpoint position information acquisition unit 302, or may be automatically set by the template creation viewpoint position information acquisition unit 302. You may try to keep it.
  • the target object is placed at the center of the regular decahedron.
  • the posture is uniquely determined together with the position of the template creation viewpoint.
  • the method of setting the position and orientation of the template creation viewpoint is not limited to this.
  • the vertices of the regular decahedron the vertices existing on the front side of the paper are indicated by white circles.
  • arrows IMP1, arrow IMP2, and arrow IMP3 indicate a first shooting viewpoint, a second shooting viewpoint, and a third shooting viewpoint, respectively.
  • three shooting viewpoints are shown as an example, but the present invention is not limited to this.
  • step S102 the viewpoint position for which the template has not been created is selected.
  • the viewpoint position of the black circle in FIG. 5 is selected as the viewpoint position for which the template has not been created.
  • step S103 the angles between the template creation viewpoint vector and all the shooting viewpoint vectors are calculated.
  • all the shooting viewpoints are the arrow IMP1, the arrow IMP2, and the arrow IMP3.
  • the template creation viewpoint vector is a vector from the template creation viewpoint VP toward the center of the target object.
  • the template creation viewpoint vector is the center of the target object arranged so as to coincide with the center of the regular decahedron from the apex indicated by the black circle of the regular decahedron. It is a vector toward.
  • the photographing viewpoint vector is a vector directed from the photographing viewpoint toward the center of the target object when the target object 27 is photographed by the multi-viewpoint three-dimensional measurement data acquisition unit 300.
  • the shooting viewpoint vectors corresponding to the first shooting viewpoint, the second shooting viewpoint, and the third shooting viewpoint are the direction vectors of the arrow IMP1, the arrow IMP2, and the arrow IMP3, respectively.
  • the angle between the vector from the apex of the regular decahedron indicated by the black circle toward the center and the vector in the directions of the arrows IMP1, the arrow IMP2, and the arrow IMP3 is calculated.
  • step S104 the one with the smallest angle is selected from the unprojected shooting viewpoints and measurement data.
  • all shooting viewpoints are unprojected.
  • the angle between the shooting viewpoint vector of the arrow IMP1 and the template creation viewpoint vector is the smallest, the first shooting viewpoint indicated by the arrow IMP1 and the first shooting viewpoint are taken. Select 3D measurement data.
  • step S105 the three-dimensional measurement data captured by the multi-viewpoint three-dimensional measurement data acquisition unit 300 from the first imaging viewpoint indicated by the arrow IMP1 is imaged with respect to the template creation viewpoint VP1 selected in step S102.
  • FIG. 6A schematically shows an image obtained by projecting three-dimensional measurement data taken from the first shooting viewpoint indicated by the arrow IMP1 onto an image plane.
  • the portion corresponding to the three-dimensional measurement data from each shooting viewpoint is shown by a solid line, and the integrated data is shown by a broken line for comparison.
  • the image plane corresponds to the "predetermined plane" of the present invention.
  • the three-dimensional measurement data taken from different shooting viewpoints is projected on the image plane with respect to the template creation viewpoint, and the integrated processing is performed on the plane, so that the memory usage is small and the processing time is shortened. it can.
  • step S106 it is determined whether or not the three-dimensional measurement data taken from the shooting viewpoint is projected on the image plane with respect to the template creation viewpoint VP1 for all the shooting viewpoints.
  • step S106 When No is determined in step S106, that is, among all the shooting viewpoints, among the three-dimensional measurement data shot from the shooting viewpoint, there is a shooting viewpoint that is not projected on the image plane with respect to the template creation viewpoint VP1. If so, the process returns to step S104.
  • the shooting viewpoint vector from the third shooting viewpoint indicated by the arrow IMP3 which has the smallest angle with the template creation viewpoint vector, and the third shooting viewpoint.
  • the captured three-dimensional measurement data is selected, and the process proceeds to step S105.
  • step S106 when returning from step S106 to step S104, the shooting viewpoint vector from the second shooting viewpoint indicated by the arrow IMP2 and the three-dimensional measurement data shot from the second shooting viewpoint are selected. Will be done.
  • FIG. 6B schematically shows an image obtained by projecting three-dimensional measurement data taken from the third shooting viewpoint indicated by the arrow IMP3 onto an image plane.
  • FIG. 6C schematically shows an image obtained by projecting the three-dimensional measurement data taken from the second shooting viewpoint indicated by the arrow IMP2 onto the image plane.
  • FIG. 6 (D) schematically shows an image in which the three-dimensional measurement data from the first shooting viewpoint to the third shooting viewpoint are projected onto the image plane and integrated.
  • the pixels that do not have the shooting point cloud data that is, the parts that are not included in the higher priority shooting point cloud data
  • the point cloud data from the shooting viewpoint of is supplemented.
  • step S106 when it is determined to be Yes, that is, when it is determined that the three-dimensional measurement data photographed from the imaging viewpoint is projected onto the image plane with respect to the template creation viewpoint VP1 for all the imaging viewpoints.
  • the process proceeds to step S107.
  • the feature extraction unit 304 uses the image of the target object 27 based on the three-dimensional measurement data of the target object 27 projected on the image plane with respect to the template creation viewpoint VP1 selected in step S102. Extract features.
  • image features for example, brightness, color, brightness gradient direction, quantization gradient direction, HoG (Histogram of Oriented Gradients), surface normal direction, HAR-like, SIFT (Scale-Invariant Feature Transform), etc. are used. Can be done.
  • the brightness gradient direction represents the direction (angle) of the brightness gradient in the local region centered on the feature point as a continuous value
  • the quantization gradient direction is the brightness in the local region centered on the feature point.
  • the direction of the gradient is represented by a discrete value (for example, 8 directions are held by 1 byte of information from 0 to 7).
  • the feature extraction unit 304 may obtain image features for all points (pixels) of the image 60 projected on the image plane with respect to the template creation viewpoint, or obtain image features for some points sampled according to a predetermined rule. You may. A point from which an image feature is obtained is called a feature point.
  • step S108 the template creation unit 305 creates a template corresponding to the template creation viewpoint VP1 based on the image features extracted in step S107.
  • the template is, for example, a data set containing the coordinate values of each feature point and the extracted image features.
  • steps S102 to S108 are performed for all the template creation viewpoints VP acquired in step S101 (step S109).
  • the template creation unit 305 outputs the template data to the object recognition processing device 31 via the template information output unit 306 (step S110).
  • the template information acquisition unit 313 acquires the template data output from the template information output unit 306 of the template creation device 30, and supplies the template data to the template matching unit 314.
  • step S202 the image acquisition unit 310 acquires an image including the target object and is the target of the object recognition process.
  • This image may be read from the internal storage device of the image processing device 21, or may be acquired from an external storage or the like via a network. Further, the image taken by the sensor unit 20 may be acquired.
  • the recognition result is used for controlling the picking robot 28, the sensor unit 20 may be attached to the arm of the picking robot 28.
  • the image pyramid creation unit 311 generates a low-resolution image from the image acquired by the image acquisition unit 310, and generates an image pyramid.
  • an image pyramid from a plurality of images in which the resolution is gradually changed from a low resolution image to a high resolution image such as 160 pixels ⁇ 120 pixels as the first layer image and 320 pixels ⁇ 240 pixels as the second layer image.
  • a high resolution image such as 160 pixels ⁇ 120 pixels as the first layer image and 320 pixels ⁇ 240 pixels as the second layer image.
  • the feature extraction unit 312 extracts image features for each layer image constituting the image pyramid.
  • the extracted image features are features of the same type as the image features at the time of template creation.
  • image features for the first layer image the image with the lowest resolution
  • it has the same resolution as the first layer image and is extracted at each pixel position of the first layer image.
  • An image having feature amount data as a pixel value (hereinafter, also referred to as "first layer feature image”) can be obtained.
  • a second layer feature image is obtained as a result of extracting the image features for the second layer image.
  • the template matching unit 314 uses the template data for each viewpoint supplied from the template information acquisition unit 313 and the feature amounts calculated by the feature extraction unit 312 corresponding to the data of each template. Perform template matching.
  • the template matching unit 314 first performs matching processing using the first layer feature image and the template for each viewpoint for the first layer.
  • the template matching unit 314 detects a template that is a correct answer candidate as a result of matching processing using the template for each viewpoint for the first layer
  • the template matching unit 314 sets the search range of the second layer feature image based on the detection result, and sets the search range for the second layer feature image. Matching processing is performed using the two-layer feature image and the template for each viewpoint for the second layer.
  • the third layer image and the fourth layer image are present, the same processing is performed on these layer images. As a result of such processing, it is possible to recognize the existence position and orientation of the object in the lowest layer (the layer having the highest image resolution).
  • step S206 when the template matching unit 314 recognizes the existence position and posture of the target object, it outputs the recognition information indicating the recognition result to the recognition result output unit 315.
  • the recognition result output unit 315 outputs the recognition information supplied from the template matching unit 314 to an external device, a liquid crystal panel, or the like.
  • the recognition information is used, for example, for inspection / measurement of an object object, control of a picking robot 28, and the like.
  • the three-dimensional measurement data of the target object taken from different viewpoints is not integratedly processed in the three-dimensional space, but the three-dimensional measurement data of the target object taken from different viewpoints is imaged with respect to the template creation viewpoint.
  • Template data is generated by extracting the image features of the target object based on the data obtained by projecting onto a plane.
  • the memory usage is small and the processing time can be shortened. Therefore, the template creation process can be speeded up.
  • the shooting point cloud data of the viewpoint close to the template creation viewpoint is preferentially used and integrated.
  • the shooting point cloud data of the viewpoint closest to the template creation viewpoint is projected onto the image plane in order, and only the pixels in which the point cloud does not exist are supplemented by the shooting point cloud data from other shooting viewpoints. Therefore, it is possible to create a template close to the real thing without losing the fine shape and texture of the target object.
  • the template creation viewpoint may be created by adopting the vertices of the regular polyhedron as the viewpoint as described above, or by any method of sampling on the celestial sphere centered on the center of the target object at equal intervals. ..
  • the index of the distance between the template creation viewpoint and the shooting viewpoint is not limited to the angle between the template creation viewpoint vector and the shooting viewpoint vector, and the Euclidean distance or the geodesic distance between the template creation viewpoint and the shooting viewpoint may be used.
  • step S105 is applied to such a shooting viewpoint. It is also possible not to perform the projection process of. Since it is possible to determine whether or not the point is visible from the template creation viewpoint by the normal vector of the measurement point of the target object, even if the projection process of step S105 is not performed for the point that cannot be seen from the template creation viewpoint. Good.
  • a template creation device (30) that creates a template corresponding to a target object (27) viewed from a viewpoint.
  • Template creation as the viewpoint for creating the template
  • a measurement viewpoint position / posture data acquisition unit (301) that acquires data on the position / orientation of the measurement viewpoint as a viewpoint for three-dimensionally measuring the target object (37).
  • the three-dimensional measurement data corresponding to the different measurement viewpoints is projected onto a predetermined plane with respect to the template creation viewpoint, and the basic three-dimensional data for extracting the feature amount is generated based on the projected three-dimensional measurement data.
  • Basic 3D data generation unit (303) and With The basic three-dimensional data generation unit (303) selects the measurement viewpoint that is closer to the template creation viewpoint, and uses the basic three-dimensional data as the three-dimensional measurement data corresponding to the selected measurement viewpoint.
  • a template creation device (30) characterized in that it is preferentially used for generation.
  • Object recognition device 21 Image processing device 27: Target object 30: Template creation device 31: Object recognition processing device 300: Multiple viewpoint 3D measurement data acquisition unit 301: Shooting viewpoint 3D position / orientation data acquisition unit 302: Template creation Viewpoint position information acquisition unit 303: Template creation viewpoint 3D data generation unit 310: Image acquisition unit 312: Feature extraction unit 314: Template matching unit

Abstract

テンプレート作成装置であって、作成視点位置姿勢データ取得部と、対象物体の３次元計測データ取得部と、計測視点位置姿勢データ取得部と、異なる計測視点に対応する３次元計測データをテンプレート作成視点に対する所定の平面に投影し、投影された３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、を備え、基礎３次元データ生成部は、テンプレート作成視点に対する距離がより近い計測視点を選択し、選択された該計測視点に対応する３次元計測データを、基礎３次元データを生成するために優先して用いる。

Description

テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
　本発明は、テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラムに関する。
　画像から物体を認識（検出）する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、認識対象となる物体のモデル（テンプレート）を予め用意しておき、入力画像とモデルとの間の画像特徴の一致度を評価することで入力画像に含まれる物体を検出する方法である。テンプレートマッチングによる物体認識は、例えばＦＡ（Factory Automation）における検査やピッキング、ロボットビジョン、監視カメラなど、多岐にわたる分野で利用されている。
　このようなテンプレートは、認識対象となる物体（以下、「対象物体」ともいう。）の３ＤＣＡＤデータを用いて作成することができる。しかし、対象物体の３ＤＣＡＤデータがない場合や、３ＤＣＡＤデータと実際の対象物体との差異が大きい場合のように、３ＤＣＡＤデータと用いることができない、又は適切でない場合がある。このような場合には、実際の対象物体を３次元計測した３次元計測データを用いてテンプレートを作成する。
　従来、様々な視点で計測した３次元点群データを統合する際には、視野が重なっている領域では近傍にある点群データを統合する必要があった。このため、位置姿勢の認識誤差やノイズ等を含んだデータを平均化することで細部の形状情報が失われるという課題があった。（例えば、特許文献１参照）。
　また、特許文献２に記載された技術では、３次元空間上に設定したボクセル（立方体の箱）に各視点からの３次元計測データを重みづけして累積していく。このため、計測誤差やノイズ、視点の位置姿勢認識誤差も蓄積されていき、角や細かな形状は丸められたり消失したりする。また、物体表面のテクスチャも同様に平均化されることでぼけたり消失したりする。
　このようにして統合して作成された３次元形状をもとに物体認識用のテンプレート作成を行うと、実物の異なる形状やテクスチャのテンプレートが作成されてしまい認識精度が低下するという課題があった。
特許第６２９８０３５号公報 米国特許第９０５３５７１号明細書
　本発明は、上記のような問題に鑑みてなされたものであり、異なる視点で計測した３次元計測データを用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することを目的とする。
　上記の課題を解決するための本発明は、
　視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
　前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
　前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
　前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
　異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、
　を備え、
　前記基礎３次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置である。
　本発明によれば、異なる計測視点で計測した３次元計測データから、特徴量を抽出するための基礎３次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する３次元計測データを優先して用いるので、異なる計測視点で計測した３次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。
　本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。
　また、本発明において、３次元計測データは、３次元計測によって取得される、各点が３次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連づけられた形式のデータでもよい。
　また、本発明において、テンプレート作成視点に対する所定の平面は、テンプレートによる物体認識の対象となる画像を取得する画像取得部をＣＣＤカメラによって構成する場合の、ＣＣＤカメラの焦点に対するＣＣＤ平面のような画像平面である。異なる計測視点に対応する３次元計測データをテンプレート作成視点に対する所定の平面に投影し、投影された３次元計測データに基づいて、特徴量を抽出するための対象となる基礎３次元データを生成する際に、３次元空間上で３次元計測データを統合して生成する場合に比べて、メモリ使用量を小さくでき、処理時間も短縮できる。
　本発明において、
前記基礎３次元データ生成部は、前記基礎３次元データのうち、前記所定の平面に投影された、より優先される前記３次元計測データに含まれない部分を、前記３次元計測データを前記所定の平面に投影されたデータによって補うようにしてもよい。
　このようにすれば、基礎３次元データを生成する際に、より優先される計測視点に対応する３次元計測データが選択的に用いられるので、異なる計測視点に対応する３次元計測データが均されることがなく、対象物体の細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。
　また、本発明は、
　前記対象物体を含む画像を取得する画像取得部と、
　前記取得された画像から特徴量を抽出する特徴抽出部と、
　前記テンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
を備えた物体認識処理装置である。
　本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。
　また、本発明は、
　視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
　前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
　前記対象物体の３次元計測データを取得するステップと、
　前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
　前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
　前記選択された前記計測視点に対応する前記３次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
　前記投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記３次元計測データを優先して用いて基礎３次元データを生成するステップと、
　を含むテンプレート作成方法である。
　本発明によれば、異なる計測視点で計測した３次元計測データから、特徴量を抽出するための基礎３次元データを生成する際に、テンプレート作成視点に対する距離がより近い計測視点に対応する３次元計測データを優先して用いるので、異なる計測視点で計測した３次元計測データを均して細かな形状やテクスチャが失われることない。従って、実物に近いテンプレートを作成することができる。
　また、本発明に含まれる各ステップの順序は、記載された順序に限定されるものではない。
　本発明において、テンプレート作成視点に対する計測視点の距離は、種々の方法で評価することができる。例えば、テンプレート作成視点から対象物体の中心までのベクトルと、計測視点から対象物体の中心までのベクトルのなす角度の大きさによって評価してもよいし、両視点間のユークリッド距離や測地線距離によって評価してもよく、これらに限られない。
　また、本発明において、３次元計測データは、３次元計測によって取得される、各点が３次元情報をもつ複数の点から構成されるデータである。点群データのように、各点がカメラ座標系における３次元座標値をもつ形式のデータでもよいし、２次元画像の各点（各画素）にデプス値（奥行き距離の情報）が関連づけられた形式のデータでもよい。
　また、本発明は、
　テンプレートを用いて対象物体を認識する物体認識処理方法であって、
　前記対象物体を含む画像を取得するステップと、
　前記取得された画像から特徴量を抽出するステップと、
　前記テンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
を含む物体認識処理方法である。
　本発明によれば、対象物体の細かな形状やテクスチャを反映した実物に近いテンプレートによって物体認識が行われるので、より高精度の物体認識が可能となる。
　また、本発明は、
　前記テンプレート作成方法の各ステップをコンピュータに実行させるためのプログラムである。
　また、本発明は、
　前記物体認識方法の各ステップをコンピュータに実行させるためのプログラムである。
　本発明によれば、異なる視点で計測した３次元計測を用いて物体認識用のテンプレートを作成する際に、細かな形状やテクスチャが失われることなく実物に近いテンプレートを作成することができる技術を提供することが可能となる。
本発明の実施形態における物体認識装置の全体構成の一例を示す図である。 本発明の実施例形態における物体認識装置の機能ブロック図である。 本発明の実施形態におけるテンプレート作成処理の一例を示すフローチャートである。 本発明の実施形態における対象物体の撮影及び撮影視点位置姿勢の取得構成を説明する図である。 本発明の実施形態におけるテンプレート作成視点と撮影視点との関係を説明するである。 本発明の実施形態に対する画像平面上での統合処理を模式的に示す図である。 本発明の実施形態における物体認識処理の一例を示すフローチャートである。 本発明の適用例を説明する図である。
〔適用例〕
　以下、本発明の適用例について、図面を参照しつつ説明する。
　図８は、本発明におけるテンプレート作成方法の原理を説明する図である。
　図８（Ａ）は、視点ＶＰからの対象物体２２７のテンプレートを作成する例である。ここでは、視点ＶＰから対象物体２２７の中心２２７ｃに至る矢印を実線で表示している。
　従来は、視点ＶＰから対象物体２２７のテンプレートを作成する場合には、ＩＭＰａ，ＩＭＰｂ，ＩＭＰｃの複数の異なる視点から対象物体２２７を３次元センサ２２０によって取得された３次元計測データを３次元空間上で統合していた。視点ＩＭＰａ，ＩＭＰｂ，ＩＭＰｃからそれぞれ取得された３次元計測データＩＭａ，ＩＭｂ，ＩＭｃを図８（Ｂ）の左側に模式的に示す。このとき、３次元センサ２２０の視点位置姿勢認識の誤差や、計測誤差、ノイズ等により、各３次元計測データ図８（Ｂ）の左側に示すように、３次元計測データＩＭａ，ＩＭｂ，ＩＭｃは必ずしも一致しない。このような３次元計測データを３次元空間で統合されたデータＩＭ０では、図８（Ｂ）の右側に示すように、各３次元計測データが平均化されることにより、対象物体の形状が均されてしまう。
　これに対して、本発明では、視点ＶＰから対象物体２２７のテンプレートを作成する場合には、複数の異なる視点から対象物体２２７を３次元センサ２２０によって取得された３次元計測データのうち、視点位置がテンプレート作成視点ＶＰの位置に最も近いデータをテンプレート作成視点ＶＰの画像平面上に投影したものを優先して用いる。そして、テンプレート作成視点ＶＰの画像平面上に投影されていない画素を、テンプレート作成視点ＶＰの位置から遠い視点位置からの対象物体の３次元計測データの投影によって補う。
　このため、３次元センサ２２０の視点位置姿勢認識の誤差はあるものの、対象物体２２７の形状情報は失われない。
　また、３次元センサによって取得された３次元計測データを３次元空間上で統合するのではなく、テンプレート作成視点ＶＰの画像平面上に投影した２次元データとして統合するため、メモリ使用量が少なく、処理時間を短縮することができる。
〔実施形態〕
　（物体認識装置の全体構成）
　図１を参照して、本発明の実施形態に係る物体認識装置について説明する。
　物体認識装置２は、物品の組み立てや加工などを行う生産ラインに設置され、センサユニット２０から取り込まれたデータを用いて、テンプレートマッチングによりトレイ２６に積載された物体２７の位置・姿勢を認識（３次元の物体認識）するシステムである。トレイ２６上には、認識対象の物体２７がバラ積みされている。
　物体認識装置２は、概略、センサユニット２０と画像処理装置２１から構成される。センサユニット２０と画像処理装置２１のあいだは有線又は無線で接続されており、センサユニット２０の出力は画像処理装置２１に取り込まれる。画像処理装置２１は、センサユニット２０から取り込まれたデータを用いて各種の処理を行うデバイスである。画像処理装置２１の処理としては、例えば、距離計測（測距）、３次元形状認識、物体認識、シーン認識などが含まれてもよい。物体認識装置２の認識結果は、例えばＰＬＣ（プログラマブルロジックコントローラ）２５やディスプレイ２２などに出力される。認識結果は、例えば、ピッキング・ロボット２８の制御、加工装置や印字装置の制御、対象物体２７の検査や計測などに利用される。
　（センサユニット）
　センサユニット２０は、対象物体２７の光学像を撮影するためのカメラを少なくとも有する。さらに、センサユニット２０は、対象物体２７の３次元計測を行うために必要な構成（センサ、照明装置、投光装置など）を含んでもよい。例えば、ステレオマッチング（ステレオビジョン、ステレオカメラ方式などとも呼ばれる。）によって奥行き距離を計測する場合には、センサユニット２０に複数台のカメラが設けられる。アクティブステレオの場合はさらに、対象物体２７にパターン光を投射する投光装置がセンサユニット２０に設けられる。空間コード化パターン投影方式により３次元計測を行う場合には、パターン光を投射する投光装置とカメラがセンサユニット２０に設けられる。他にも、照度差ステレオ法、ＴＯＦ（タイムオブフライト）法、位相シフト法など、対象物体２７の３次元情報を取得可能な方法であればいかなる方式を用いてもよい。
　（画像処理装置）
　画像処理装置２１は、例えば、ＣＰＵ（プロセッサ）、ＲＡＭ（メモリ）、不揮発性記憶装置（ハードディスク、ＳＳＤなど）、入力装置、出力装置などを備えるコンピュータにより構成される。この場合、ＣＰＵが、不揮発性記憶装置に格納されたプログラムをＲＡＭに展開し、当該プログラムを実行することによって、後述する各種の構成が実現される。ただし、画像処理装置２１の構成はこれに限られず、後述する構成のうちの全部又は一部を、ＦＰＧＡやＡＳＩＣなどの専用回路で実現してもよいし、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
　図２は、画像処理装置２１の構成を示すブロック図である。画像処理装置２１は、テンプレート作成装置３０の構成と、物体認識処理装置３１の構成を有している。
　テンプレート作成装置３０は、物体認識処理で利用するテンプレートを作成するための構成であり、複数視点３次元計測データ取得部３００、撮影視点３次元位置姿勢データ取得部３０１、テンプレート作成視点位置情報取得部３０２、テンプレート作成視点の３次元データ生成部３０３、特徴抽出部３０４、テンプレート作成部３０５、テンプレート情報出力部３０６を有する。本実施形態では、複数視点３次元計測データ取得部３００が本発明の「３次元計測データ取得部」に対応する。また、本実施形態では、撮影視点３次元位置姿勢データ取得部３０１が本発明の「計測視点位置姿勢データ取得部」に対応する。また、本実施形態では、テンプレート作成視点位置情報取得部３０２が本発明の「テンプレート作成視点位置姿勢データ取得部」に対応する。そして、本実施形態では、テンプレート作成視点の３次元データ生成部３０３が本発明の「基礎３次元データ生成部」に対応する。
　物体認識処理装置３１は、テンプレートマッチングによる物体認識処理を実行するための構成であり、画像取得部３１０、画像ピラミッド作成部３１１、特徴抽出部３１２、テンプレート情報取得部３１３、テンプレートマッチング部３１４、認識結果出力部３１５を有する。本実施形態では、画像取得部３１０、特徴抽出部３１２、テンプレートマッチング部３１４が、それぞれ本発明の「画像取得部」、「特徴抽出部」、「テンプレートマッチング部」に対応する。
　（テンプレート作成処理）
　図３のフローチャートを参照して、テンプレート作成装置３０によるテンプレート作成処理の一例を説明する。
　ステップＳ１０１において、テンプレート作成視点の３次元データ生成部３０３が、異なる視点から撮影した対象物体の３次元計測データ、撮影視点の３次元位置姿勢に関する情報、テンプレート作成視点位置に関する情報を取得する。ここでは、複数の異なる視点からの対象物体の３次元計測データは、複数視点３次元計測データ取得部３００によって取得される。このため、テンプレート作成視点の３次元データ生成部３０３は、異なる視点から撮影した対象物体の３次元計測データを、この複数視点３次元計測データ取得部３００から取得する。また、複数視点３次元計測データ取得部が複数の異なる視点から対象物体を撮影して当該対象物体の３次元計測データを取得する際の撮影視点の３次元位置姿勢データが、撮影視点３次元位置姿勢データ取得部３０１によって取得される。このため、テンプレート作成視点の３次元データ生成部３０３は、撮影視点の３次元位置姿勢に関する情報を、この撮影視点３次元位置姿勢データ取得部３０１から取得する。そして、テンプレート作成視点の位置姿勢に関するデータは、テンプレート作成視点位置情報取得部３０２によって取得されるので、テンプレート作成視点の３次元データ生成部３０３は、テンプレート作成視点位置姿勢に関するデータを、テンプレート作成視点位置情報取得部３０２から取得する。本実施形態では、撮影視点が本発明の「計測視点」に対応する。
　図４は、異なる複数の視点から対象物体の３次元計測データ及び撮影視点の３次元位置姿勢に関する情報を取得する構成の概略を説明する図である。
　対象物体２７に対して、３次元センサ２２０を所定の位置姿勢に配置して、対象物体２７の３次元計測データを取得（撮影）するとともに、撮影視点の位置姿勢情報を取得する。３次元センサ２２０によって対象物体を複数の異なる視点から撮影して３次元計測データを取得する場合には、３次元センサ２２０を固定して、対象物体２７の姿勢を変えるようにしてもよいし、対象物体２７を固定して、３次元センサ２２０の姿勢を変えるようにしてもよく、３次元センサ２２０と対象物体２７の相対的な位置関係が変わればよい。図４では、３次元センサ２２０によって載置面３２上に載置された対象物体２７を撮影して３次元計測データを取得する場合の一例を示す。ここでは、３次元センサ２２０を固定して、載置面３２の姿勢を変えてもよいし、載置面３２の姿勢を固定し、３次元センサ２２０の姿勢を変えるようにしてもよい。
　また、撮影視点の３元位置姿勢は、対象物体の載置面３２に表示された平面マーカ３３や、載置面に対して固定して配置された参照物体（３ＤＣＡＤデータ等により形状が分かっている物体）を認識することによって取得してもよいし、対象物体の載置面３２をゴニオステージ上に設けることによって取得してもよい。
　図５は、テンプレート作成視点と撮影視点との例を示している。この例では、対象物体２７を包含する正八十面体の４２個の頂点をテンプレート作成視点ＶＰとし、ここでは一つの頂点ＶＰ１（黒丸で図示）にテンプレート作成視点を設定している。なお、テンプレート作成視点ＶＰの数や配置は、要求される分解能、対象物体２７の形状や取り得る姿勢などに応じて適宜設定すればよい。テンプレート作成視点ＶＰの数や位置は、ユーザが指定したものを、テンプレート作成視点位置情報取得部３０２が取得するようにしてもよいし、テンプレート作成視点位置情報取得部３０２が自動で設定したものを保持しておくようにしてもよい。図５に示す例では、正八十面体の中心に対象物体を配置しているので、この正八十面体の頂点の位置を指定することで、テンプレート作成視点の位置とともに姿勢も一義的に定まるが、テンプレート作成視点の位置姿勢の設定方法はこれに限られない。なお、図５では、正八十面体の頂点のうち、紙面手前側に存在する頂点を白丸で示している。
　図５において、矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３がそれぞれ第１の撮影視点、第２の撮影視点及び第３の撮影視点を示す。ここでは、例として３つの撮影視点を示しているが、これに限られるものではない。
　図３のフローチャートに戻り、ステップＳ１０２において、テンプレートを作成していない視点位置を選択する。ここでは、テンプレートを作成していない視点位置として、図５の黒丸の視点位置が選択されたものとする。
　次に、ステップＳ１０３において、テンプレート作成視点ベクトルと全ての撮影視点ベクトルとの角度を算出する。ここでは、全ての撮影視点が、矢印ＩＭＰ１、矢印ＩＭＰ２、矢印ＩＭＰ３であるとする。
　テンプレート作成視点ベクトルとは、テンプレート作成視点ＶＰから対象物体の中心に向かうベクトルである。図５において黒丸で示されるテンプレート作成視点については、テンプレート作成視点ベクトルは、正八十面体の黒丸で示される頂点から、この正八十面体の中心に一致するように配置された対象物体の中心に向うベクトルである。そして、撮影視点ベクトルとは、複数視点３次元計測データ取得部３００によって対象物体２７を撮影する際の、撮影視点から対象物体の中心に向うベクトルである。図５において、第１の撮影視点、第２の撮影視点及び第３の撮影視点に対応する撮影視点ベクトルは、それぞれ矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３の方向ベクトルである。
　ここでは、黒丸で示された正八十面体の頂点から中心に向かうベクトルと、矢印ＩＭＰ１、矢印ＩＭＰ２及び矢印ＩＭＰ３の方向のベクトルとの角度を算出する。
　ステップＳ１０４において、未投影の撮影視点、計測データの中から最も角度が小さいものを選択する。ここでは、全ての撮影視点が未投影であるとする。図５の例では、矢印ＩＭＰ１の撮影視点に対する撮影視点ベクトルとテンプレート作成視点ベクトルとの角度が最も小さいので、矢印ＩＭＰ１で示される第１の撮影視点と、この第１の撮影視点から撮影された３次元計測データを選択する。
　次に、ステップＳ１０５において、矢印ＩＭＰ１で示される第１の撮影視点から、複数視点３次元計測データ取得部３００によって撮影された３次元計測データを、ステップＳ１０２で選択されたテンプレート作成視点ＶＰ１に対する画像平面に投影する。図６（Ａ）は、矢印ＩＭＰ１で示される第１の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。図６（Ａ）～（Ｃ）では、各撮影視点からの３次元計測データに対応する部分を実線で示し、比較のために統合後のデータを破線で示している。本実施形態では、画像平面が、本発明の「所定の平面」に対応する。
　このように、テンプレート作成視点に対する画像平面上に、異なる撮影視点から撮影された３次元計測データを投影し、該平面上で統合処理を行うようにしたので、メモリ使用量が小さく処理時間も短縮できる。
　そして、ステップＳ１０６において、全ての撮影視点について、当該撮影視点から撮影された３次元計測データを、テンプレート作成視点ＶＰ１に対する画像平面に投影したか否かを判断する。
　ステップＳ１０６において、Ｎｏと判断された場合、すなわち、全ての撮影視点のうち、当該撮影視点から撮影された３次元計測データのうち、テンプレート作成視点ＶＰ１に対する画像平面に投影していない撮影視点が存在している場合には、ステップＳ１０４に戻る。図５の例では、未投影の撮影視点のうちで、テンプレート作成視点ベクトルとなす角度が最も小さい、矢印ＩＭＰ３で示される第３の撮影視点からの撮影視点ベクトルと、この第３の撮影視点から撮影された３次元計測データを選択し、ステップＳ１０５に進む。同様に、次に、ステップＳ１０６からステップＳ１０４に戻った際には、矢印ＩＭＰ２で示される第２の撮影視点からの撮影視点ベクトルと、第２の撮影視点から撮影された３次元計測データが選択される。図６（Ｂ）は、矢印ＩＭＰ３で示される第３の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。そして、図６（Ｃ）は、矢印ＩＭＰ２で示される第２の撮影視点から撮影された３次元計測データを画像平面に投影した画像を模式的に示したものである。このように、第１の撮影視点から第３の撮影視点からの３次元計測データを画像平面に投影して統合した画像を図６（Ｄ）に模式的に示す。
　このように、テンプレート作成視点から近い撮影視点から順に、テンプレート作成視点に対する画像平面に投影し、撮影点群データが存在しない画素、すなわち、より優先される撮影点群データに含まれない部分について他の撮影視点からの点群データを補う。これにより、対象物体の細かな形状やテクスチャが失われることがなく、実物に近いテンプレートの作成が可能となる。
　ステップＳ１０６において、Ｙｅｓと判断された場合、すなわち、全ての撮影視点について、当該撮影視点から撮影された３次元計測データを、テンプレート作成視点ＶＰ１に対する画像平面に投影したと判断された場合には、ステップＳ１０７に進む。
　ステップＳ１０７においては、特徴抽出部３０４が、ステップＳ１０２で選択されたテンプレート作成視点ＶＰ１に対する画像平面に投影された全撮影視点からの対象物体２７の３次元計測データに基づいて、対象物体２７の画像特徴を抽出する。画像特徴としては、例えば、輝度、色、輝度勾配方向、量子化勾配方向、ＨｏＧ（Histogram of Oriented Gradients）、表面の法線方向、ＨＡＡＲ－ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。輝度勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向（角度）を連続値で表すものであり、量子化勾配方向は、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す（例えば、８方向を０～７の１バイトの情報で保持する）ものである。特徴抽出部３０４は、テンプレート作成視点に対する画像平面に投影された画像６０の全ての点（画素）について画像特徴を求めてもよいし、所定の規則に従ってサンプリングした一部の点について画像特徴を求めてもよい。画像特徴が得られた点を特徴点と呼ぶ。
　ステップＳ１０８において、テンプレート作成部３０５が、ステップＳ１０７で抽出された画像特徴に基づいて、テンプレート作成視点ＶＰ１に対応するテンプレートを作成する。テンプレートは、例えば、各特徴点の座標値と抽出された画像特徴とを含むデータセットである。
　ステップＳ１０２～Ｓ１０８の処理が、ステップＳ１０１で取得された全てのテンプレート作成視点ＶＰについて行われる（ステップＳ１０９）。全てのテンプレート作成視点ＶＰについてテンプレートの作成が完了すると、テンプレート作成部３０５は、テンプレート情報出力部３０６を介して、テンプレートのデータを物体認識処理装置３１に出力する（ステップＳ１１０）。
　（物体認識処理）
　図７のフローチャートを参照して、物体認識処理装置３１による物体認識処理方法の一例を説明する。
　まず、ステップＳ２０１において、テンプレート情報取得部３１３は、テンプレート作成装置３０のテンプレート情報出力部３０６から出力されるテンプレートのデータを取得し、テンプレートマッチング部３１４に供給する。
　次に、ステップＳ２０２において、画像取得部３１０が、対象物体を含み、物体認識処理の対象となる画像を取得する。この画像は、画像処理装置２１の内部記憶装置から読み込んでもよいし、外部のストレージ等からネットワークを介して取得してもよい。また、センサユニット２０で撮影された画像を取得するようにしてもよい。なお、認識結果をピッキング・ロボット２８の制御に用いる場合には、センサユニット２０をピッキング・ロボット２８のアームに取り付けるようにしてもよい。
　次に、ステップＳ２０３において、画像ピラミッド作成部３１１が、画像取得部３１０によって取得された画像から低解像度画像を生成し、画像ピラミッドを生成する。例えば、第１層画像として１６０画素×１２０画素、第２層画像として３２０画素×２４０画素等のように低解像度画像から高解像度画像へと解像度を段階的に異ならせた複数の画像から画像ピラミッドを構成することができる。
　次に、ステップＳ２０４において、特徴抽出部３１２は、画像ピラミッドを構成する各層画像に対して画像特徴を抽出する。抽出される画像特徴は、テンプレート作成の際の画像特徴と同種の特徴量である。画像ピラミッドの最上層である第１層画像（最も解像度が低い画像）に対する画像特徴の抽出の結果として、第１層画像と同じ解像度を有し、第１層画像の各画素位置で抽出された特徴量データを画素値としてもつ画像（以下、「第１層特徴画像」ともいう。）が得られる。同様に、第２層画像に対する画像特徴の抽出の結果として、第２層特徴画像が得られる。
　次に、ステップＳ２０５において、テンプレートマッチング部３１４は、テンプレート情報取得部３１３から供給される視点ごとのテンプレートのデータと、各テンプレートのデータに対応する特徴抽出部３１２算出した各特徴量とを用いてテンプレートマッチングを行う。
　ここでは、テンプレートマッチング部３１４は、まず、第１層特徴画像と第１層用の視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部３１４は、第１層用の視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用の視点ごとのテンプレートを用いてマッチング処理を行う。第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様の処理が行われる。このような処理が行われる結果、最下層（最も画像の解像度が高い層）における物体の存在位置姿勢を認識することができる。
　次に、ステップＳ２０６において、テンプレートマッチング部３１４は、対象物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部３１５に出力する。認識結果出力部３１５は、テンプレートマッチング部３１４から供給される認識情報を、外部装置や液晶パネル等に出力する。認識情報は、例えば、対象物体の検査・計測や、ピッキング・ロボット２８の制御などに利用される。
　（本実施形態の利点）
　以上述べた構成及び処理では、異なる視点から撮影した対象物体の３次元計測データを３次元空間において統合処理するのではなく、異なる視点から撮影した対象物体の３次元計測データをテンプレート作成視点に対する画像平面に投影することにより得られたデータに基づいて、対象物体の画像特徴を抽出することにより、テンプレートのデータを生成している。このように、画像平面において統合処理を行うため、メモリ使用量が小さく処理時間も短縮できる。従って、テンプレート作成処理を高速化できる。
　また、異なる視点から撮影した対象物体の３次元計測データのうち、テンプレート作成視点に近い視点の撮影点群データを優先的に使用して統合する。このように、テンプレート作成視点に近い視点の撮影点群データから順に画像平面に投影し、点群が存在しない画素だけを、他の撮影視点からの撮影点群データによって補う。このため、対象物体の細かな形状やテクスチャが失われることなく、実物に近いテンプレートを作成することができる。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
　また、テンプレート作成視点は、上述のように正多面体の頂点を視点として採用してもよいし、対象物体の中心を中心とする天球上を等間隔にサンプリングする任意の方法によって作成してもよい。
　テンプレート作成視点と撮影視点との距離の指標は、テンプレート作成視点ベクトルと撮影視点ベクトルとの角度に限られず、テンプレート作成視点と撮影視点間のユークリッド距離や測地線距離を用いてもよい。
　また、テンプレート作成視点と撮影視点とが遠い場合、例えば、テンプレート作成視点ベクトルと撮影視点ベクトルとのなす角度が所定の閾値以上である場合には、そのような撮影視点に対しては、ステップＳ１０５の投影処理を行わないようにしてもよい。対象物体の計測点の法線ベクトルにより、テンプレート作成視点から見える点か否かを判別することができるので、テンプレート作成視点から見えない点については、ステップＳ１０５の投影処理を行わないようにしてもよい。
　なお、以下には本発明の構成要件と実施例の構成とを対比可能とするために、本発明の構成要件を図面の符号付きで記載しておく。
＜発明１＞
　視点から見た対象物体（２７）に対応するテンプレートを作成するテンプレート作成装置（３０）であって、
　前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部（３０２）と、
　前記対象物体（２７）の３次元計測データを取得する３次元計測データ取得部（３００）と、
　前記対象物体（３７）を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部（３０１）と、
　異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部（３０３）と、
　を備え、
　前記基礎３次元データ生成部（３０３）は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置（３０）。
２：物体認識装置
２１：画像処理装置
２７：対象物体
３０：テンプレート作成装置
３１：物体認識処理装置
３００：複数視点３次元計測データ取得部
３０１：撮影視点３次元位置姿勢データ取得部
３０２：テンプレート作成視点位置情報取得部
３０３：テンプレート作成視点の３次元データ生成部
３１０：画像取得部
３１２：特徴抽出部
３１４：テンプレートマッチング部

Claims (7)

  1. 　視点から見た対象物体に対応するテンプレートを作成するテンプレート作成装置であって、
    　前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関するデータを取得するテンプレート作成視点位置姿勢データ取得部と、
    　前記対象物体の３次元計測データを取得する３次元計測データ取得部と、
    　前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得する計測視点位置姿勢データ取得部と、
    　異なる前記計測視点に対応する前記３次元計測データを前記テンプレート作成視点に対する所定の平面に投影し、投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する基礎３次元データ生成部と、
    　を備え、
    　前記基礎３次元データ生成部は、前記テンプレート作成視点に対する距離がより近い前記計測視点を選択し、選択された該計測視点に対応する前記３次元計測データを、前記基礎３次元データを生成するために優先して用いることを特徴とするテンプレート作成装置。
  2. 　前記基礎３次元データ生成部は、前記基礎３次元データのうち、前記所定の平面に投影された、より優先される前記３次元計測データに含まれない部分を、前記３次元計測データを前記所定の平面に投影されたデータによって補うことを特徴とする請求項１に記載のテンプレート作成装置。
  3. 　前記対象物体を含む画像を取得する画像取得部と、
    　前記取得された画像から特徴量を抽出する特徴抽出部と、
    　請求項１又は２に記載のテンプレート作成装置によって作成されたテンプレートを用いたテンプレートマッチングにより前記取得された画像に含まれる前記対象物体を認識するテンプレートマッチング部と、
    を備えた物体認識処理装置。
  4. 　視点から見た対象物体に対応するテンプレートを作成するテンプレート作成方法であって、
    　前記テンプレートを作成するための前記視点としてのテンプレート作成視点の位置姿勢に関する情報を取得するステップと、
    　前記対象物体の３次元計測データを取得するステップと、
    　前記対象物体を３次元計測する視点としての計測視点の位置姿勢に関するデータを取得するステップと、
    　前記テンプレート作成視点に対する距離がより近い前記計測視点を選択するステップと、
    　前記選択された前記計測視点に対応する前記３次元計測データを、前記テンプレート作成視点に対する所定の平面に投影するステップと、
    　前記投影された前記３次元計測データに基づいて、特徴量を抽出するための基礎３次元データを生成する際に、前記距離がより近い前記計測視点に対応する前記３次元計測データを優先して用いて基礎３次元データを生成するステップと、
    　を含むテンプレート作成方法。
  5. 　テンプレートを用いて対象物体を認識する物体認識処理方法であって、
    　前記対象物体を含む画像を取得するステップと、
    　前記取得された画像から特徴量を抽出するステップと、
    　請求項４に記載のテンプレート作成方法により作成されたテンプレートを用いたテンプレートマッチングにより前記対象物体を認識するステップと、
    を含む物体認識処理方法。
  6. 　請求項４に記載のテンプレート作成方法の各ステップをコンピュータに実行させるためのプログラム。
  7. 　請求項５に記載の物体認識処理方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2019/028679 2019-07-22 2019-07-22 テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム WO2021014538A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/028679 WO2021014538A1 (ja) 2019-07-22 2019-07-22 テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
JP2021534891A JP7251631B2 (ja) 2019-07-22 2019-07-22 テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/028679 WO2021014538A1 (ja) 2019-07-22 2019-07-22 テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2021014538A1 true WO2021014538A1 (ja) 2021-01-28

Family

ID=74193515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028679 WO2021014538A1 (ja) 2019-07-22 2019-07-22 テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7251631B2 (ja)
WO (1) WO2021014538A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023102781A (ja) * 2021-08-09 2023-07-25 株式会社Mujin 物体検出のためのシステム及び方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012043308A (ja) * 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
JP2013217893A (ja) * 2012-03-13 2013-10-24 Canon Inc モデル生成装置、位置姿勢推定装置、情報処理装置、モデル生成方法、位置姿勢推定方法、情報処理方法
JP2018081410A (ja) * 2016-11-15 2018-05-24 セイコーエプソン株式会社 コンピュータープログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012043308A (ja) * 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
JP2013217893A (ja) * 2012-03-13 2013-10-24 Canon Inc モデル生成装置、位置姿勢推定装置、情報処理装置、モデル生成方法、位置姿勢推定方法、情報処理方法
JP2018081410A (ja) * 2016-11-15 2018-05-24 セイコーエプソン株式会社 コンピュータープログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023102781A (ja) * 2021-08-09 2023-07-25 株式会社Mujin 物体検出のためのシステム及び方法
JP2023102782A (ja) * 2021-08-09 2023-07-25 株式会社Mujin 物体検出のためのシステム及び方法
JP2023102783A (ja) * 2021-08-09 2023-07-25 株式会社Mujin 物体検出のためのシステム及び方法
JP7391342B2 (ja) 2021-08-09 2023-12-05 株式会社Mujin 計算システム、方法及び非一時的コンピュータ可読媒体
JP7417882B2 (ja) 2021-08-09 2024-01-19 株式会社Mujin 計算システム、方法及び非一時的コンピュータ可読媒体
JP7418762B2 (ja) 2021-08-09 2024-01-22 株式会社Mujin 計算システム、方法及び非一時的コンピュータ可読媒体

Also Published As

Publication number Publication date
JP7251631B2 (ja) 2023-04-04
JPWO2021014538A1 (ja) 2021-01-28

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP6426968B2 (ja) 情報処理装置およびその方法
JP4677536B1 (ja) ３次元物体認識装置及び３次元物体認識方法
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
JP2011198349A (ja) 情報処理方法及びその装置
JP2017182695A (ja) 情報処理プログラム、情報処理方法および情報処理装置
EP2990757B1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN114766042A (zh) 目标检测方法、装置、终端设备及介质
CN114761997A (zh) 目标检测方法、终端设备和介质
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
WO2021014538A1 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム
GB2569609A (en) Method and device for digital 3D reconstruction
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
JP7298687B2 (ja) 物体認識装置及び物体認識方法
JP6198104B2 (ja) ３次元物体認識装置及び３次元物体認識方法
JP4548228B2 (ja) 画像データ作成方法
JP2005275789A (ja) 三次元構造抽出方法
Aliakbarpour et al. Imu-aided 3d reconstruction based on multiple virtual planes
JP2019062436A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938999

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021534891

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19938999

Country of ref document: EP

Kind code of ref document: A1