WO2019216474A1 - 빈 피킹을 위한 빈 모델링 방법 및 그 장치 - Google Patents

빈 피킹을 위한 빈 모델링 방법 및 그 장치 Download PDF

Info

Publication number
WO2019216474A1
WO2019216474A1 PCT/KR2018/006041 KR2018006041W WO2019216474A1 WO 2019216474 A1 WO2019216474 A1 WO 2019216474A1 KR 2018006041 W KR2018006041 W KR 2018006041W WO 2019216474 A1 WO2019216474 A1 WO 2019216474A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
group data
data
interest
point group
Prior art date
Application number
PCT/KR2018/006041
Other languages
English (en)
French (fr)
Inventor
유연걸
Original Assignee
한화정밀기계 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화정밀기계 주식회사 filed Critical 한화정밀기계 주식회사
Publication of WO2019216474A1 publication Critical patent/WO2019216474A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Definitions

  • the present invention relates to a method of modeling a region of interest, and more particularly, to a method and apparatus for modeling a region of interest through a process of matching and refining a plurality of point group data.
  • the empty picking method is a method of detecting a position of an object to be assembled or packaged among randomly stacked objects and repeating a process of picking up the detected object to complete packaging or assembly.
  • the existing method of modeling a bean for bean picking is inconvenient because it needs to model the bottom of the bean and directly input the height and width of the bean, and the user has to enter the bean information every time the workspace changes.
  • the first problem to be solved by the present invention is to provide a method for modeling a region of interest through a process of matching and refining a plurality of point group data.
  • a second object of the present invention is to provide an apparatus for modeling a region of interest through a process of matching and refining a plurality of point group data.
  • the region of interest modeling method the step of merging a plurality of point group data obtained at a first position into one point group data; Deriving a dominant plane located below the ROI from the merged point group data; Extracting points of interest point data by deriving points located above the dominant plane among points of the point group data; Sorting and merging the point of interest group data into first point group data; Purifying the merged first point group data; And deriving ROI data from the purified first point group data, wherein the point group data is obtained from a camera photographing the ROI.
  • the method may further include removing noise of the merged point group data after merging the single point group data, and removing the noise may use average distance and variance information of neighboring point group sets. .
  • the method may further include downsampling the merged pointgroup data after merging the single pointgroup data, and the downsampling may be downsampled based on a unit voxel.
  • the plane equation of the dominant plane may be derived from the point group data.
  • the extracting the point-of-interest point data may include extracting the point-of-interest point data by deriving predetermined points from among points of the point-group data located above the dominant plane and points located on the dominant plane. have.
  • the step of sorting and merging the first point group data may include: calculating a transformation between the point of interest point data and the first point group data; And arranging the point of interest point data into the first point group data by using the calculated transformation between the point of interest point data and the first point group data, wherein the first point group data is first generated point of interest data.
  • the first point group data is first generated point of interest data.
  • the step of sorting and merging the first point group data may be performed by aligning the point group of interest data with the first point group data using an iterative closest set (ICP) algorithm, and using the angle for each photographing position of the camera.
  • ICP iterative closest set
  • the initial position value of the ICP can be calculated.
  • the purifying of the first point group data may include removing noise of the merged first point group data; And down sampling the merged first point group data.
  • the region of interest may be in the form of a box, and in the deriving of the region of interest data, data of a box corresponding to the inside of the purified first point group data may be derived.
  • an apparatus for modeling a region of interest includes an input unit for receiving a plurality of point group data from a camera photographing a region of interest; A memory for storing a program for deriving ROI data from the point group data; And at least one processor for driving a program for deriving the ROI data, wherein the program stored in the memory merges a plurality of point group data for a first location into one point group data, and the merged point group data. Derives a dominant plane located below the ROI, extracts points located above the dominant plane among the points of the point group data, extracts the point group data of interest, and arranges and merges the point group data of interest with the first point group data.
  • the first point group data may be purified and the ROI data may be derived from the first point group data.
  • the program stored in the memory after merging the plurality of point group data into one point group data, after removing noise of the merged point group data, or after merging the plurality of point group data into one point group data, Down-sample the merged point group data, or derive a dominant plane from the point group data to derive the dominant plane, or locate points on the dominant plane and points located above the dominant plane among the points of the point group data.
  • the first point group data is first generated point group data, or the point group data of interest is aligned with the first point group data using an ICP algorithm, using an angle for each photographing position of the camera.
  • the data of the box corresponding to the data can be derived.
  • the bin modeling for bin picking is automatically performed, so that the bin picking operation can be performed quickly and efficiently.
  • FIG. 1 illustrates an example of a work environment in which a region of interest is modeled
  • FIG. 2 illustrates a process performed for an empty picking work in a corresponding work environment.
  • FIG. 3 is a flowchart of an ROI modeling method according to an exemplary embodiment of the present invention.
  • 4 to 6 are flowcharts illustrating a region of interest modeling method according to an exemplary embodiment of the present invention.
  • FIGS. 7 to 15 are diagrams for describing an ROI modeling process according to an exemplary embodiment of the present invention.
  • 16 illustrates a process of modeling a bin for bin picking.
  • 17 is a block diagram of an apparatus for modeling a region of interest according to an embodiment of the present invention.
  • the ROI modeling method may include: merging a plurality of point group data acquired at a first position into one point group data; Deriving a dominant plane located below the ROI from the merged point group data; Extracting points of interest point data by deriving points located above the dominant plane among points of the point group data; Sorting and merging the point of interest group data into first point group data; Purifying the merged first point group data; And deriving ROI data from the purified first point group data, wherein the point group data is obtained from a camera photographing the ROI.
  • the ROI modeling method derives ROI data including information on ROI by using point cloud data of a region of interest (ROI) to be modeled.
  • ROI region of interest
  • the region of interest modeling method according to an embodiment of the present invention may be applied to model bins in the bin picking working environment of FIG. 1.
  • the empty picking operation is a task in which a robot arm or a manipulator grasps a work object contained in a bin.
  • an object is first selected in an area of three-dimensional space. You must know if it is located at.
  • the subject is placed in a bin (cuboid box with no top face). Therefore, the robot needs to know information about the bin where the object is located in advance.
  • the point cloud data captured by the 3D camera may be used.
  • the process of performing a new task may be composed of a preparation and an operation process as shown in FIG. 2.
  • the preparation process consists of Robot-Camera Calibration for a new 3D camera, Object ROI Modeling for a new workspace, and Auto Object Modeling for a new object.
  • the operation process may include 3D object pose estimation, and object picking may be performed through the processes.
  • the region of interest modeling method according to an embodiment of the present invention may be applied to object ROI modeling in the process of FIG. 2.
  • the region of interest modeling method according to an embodiment of the present invention includes the steps of FIG. 3.
  • 3 is a flowchart of a region of interest modeling method according to an embodiment of the present invention
  • FIGS. 4 to 6 are flowcharts of a region of interest modeling method according to an embodiment of the present invention.
  • the plurality of point group data acquired at the first position is merged into one point group data.
  • the point group data is point group data obtained from a camera photographing while rotating the ROI.
  • the camera may be a 3D camera.
  • the camera rotates around the region of interest and shoots at angles.
  • the rotating angle may be preset.
  • the camera may be rotated at a corresponding rotation unit angle and photographed, or may be photographed continuously.
  • the rotation unit angle may be 10 degrees.
  • the first position is a position corresponding to one of several angles to rotate.
  • the obtained plurality of point group data 710 is merged into one point group data 720 to generate precise data.
  • up to 10 point group data may be used, and the number of point group data may be set by a user. More than 10 point cloud data may be available.
  • the noise of the merged point group data may be removed in step S21.
  • a process of removing the noise may be performed.
  • the noise included in the point group data may be sparse noise, and in order to remove the noise, an average distance and variance information of a neighbor point cloud set may be used. At this time, the distance between 3D points and normal surface information can be used.
  • a median filter or a mean filter may be used. Noise can be removed by deriving the largest value among the coordinate values at a specific point of each point group data or by deriving the average value as the representative value.
  • step S11 After merging a plurality of point group data into a single point group data in step S11, it is possible to down-sample the merged point group data in step S22. Since a plurality of point group data are merged in step S11, unnecessary overlapping points or too close points exist. In order to eliminate these unnecessary points and reduce processing time for subsequent processes, downsampling is performed to reduce the number of points. In this case, down sampling may be performed based on unit voxels. As shown in FIG. 8, the point group data is divided into one unit voxel unit 810, and a plurality of points included in the corresponding voxel are reduced to one point.
  • the representative point may use an average of coordinates of a central location or a plurality of points of the voxel. Only one of the noise removing step of S21 and the down sampling step of S22 may be performed, or both of the S21 step and the S22 step may be performed.
  • a dominant plane located below the ROI is derived from the merged point group data in step S12.
  • the dominant plane refers to a plane in which the ROI is placed as a main plane.
  • the ROI is located in the dominant plane under the ROI. Therefore, the dominant plane is derived to distinguish only the point groups corresponding to the ROI.
  • Regression analysis can be used to derive the dominant plane.
  • the RANSAC algorithm is an algorithm that performs regression analysis on a data set belonging to a normal distribution.
  • the dominant plane may be calculated as shown in FIG. 9.
  • the dominant plane 910 may be derived in such a manner that three points are randomly selected to derive a plane having a large number of points that satisfy the plane equation that forms the three points.
  • other algorithms can be used to derive the dominant plane.
  • points of interest point group data are extracted by deriving points located above the dominant plane among the points of the point group data.
  • the points forming the ROI are located on the dominant plane, and the points of interest are extracted by deriving points located on the dominant plane among the points of the point group data.
  • the point-of-interest group data 1020 may be extracted by deriving points located above the dominant plane 1010. That is, the points satisfying the ax + by + cz> 0 condition are derived using the plane equation of the dominant plane.
  • the point-of-interest point data is derived by deriving predetermined points among the points located on the dominant plane and the points located on the dominant plane among the points of the point-group data. Can be extracted. Add points on the dominant plane to existing point of interest data while being around the point of interest data. In order to add points on the dominant plane, the COM (center of mass) of existing point-of-interest data formed of points located above the dominant plane is calculated, and a point within a certain distance from the COM is derived by using the Radius-Search algorithm. Finally, final point of interest data can be extracted.
  • the point of interest group of points data is aligned with the first point group data and added in step S14.
  • the first point group data may be the point point data of interest generated first. Since the camera rotates and acquires point cloud data, the three-dimensional coordinates and the degree of rotation vary depending on the location where the camera captures the ROI. Therefore, it sorts one point cloud data as a reference cloud and merges the sorted point cloud data. The invisible planes in the point group data according to the photographing angle appear in the point group data acquired at different photographing angles, and by aligning and merging them, the entire 360 degree data of the ROI may be derived.
  • the point group data that is the reference for the alignment may be the first point group data, and may be the first generation of the interest group data.
  • steps S31 and S32 may be performed.
  • step S31 a transformation between the point-of-interest point data and the first point-group data may be calculated.
  • the conversion between the two point group data should be calculated. Alignment is possible only by knowing the moving distance and rotation degree of coordinates of x, y, and z in three dimensions.
  • the interest point group data may be aligned with the first point group data using an iterative close set (ICP) algorithm.
  • ICP iterative close set
  • an initial position value of the ICP may be calculated by using an angle for each photographing position of the camera.
  • the initial pose value of the ICP may use the final pose value calculated in the previous frame.
  • the point of interest point group data may be aligned with the first point group data by using the transformation between the point of interest point data and the first point group data calculated in step S32. As illustrated in FIG. 11, the point-of-interest point data 1120 is transformed by using the transformation between the point-of-interest point data and the first point group data calculated in step S31 and aligned with the first point group data 1110.
  • the point of interest group of interest data sorted by the first point group data is merged into the first point group data.
  • step S15 After merging the point group data of interest with the first point group data and merging, the merged first point group data is refined in step S15.
  • step S14 since the point-of-interest data and the first point-group data are merged into one point-group data, overlapping points and noise exist. To this end, the noise is removed, and down sampling is performed to refine the first point group data.
  • steps S41 and S42 may be performed.
  • noise of the merged first point group data may be removed.
  • the noise includes sparse noise, and as shown in FIG. 12, the sparse noise 1210 may be removed.
  • a statistical filter may be used. The statistical filter removes the points where the average distance of the neighboring point group set is larger than “m + k ⁇ ” by using the average distance m and variance information of the mean of the neighbor point cloud set. Here k can be set by the user.
  • the merged first point group data may be down sampled. In order to remove duplicate or too close points, unit voxel based down sampling may be performed.
  • Steps S11 to S15 are repeated until the camera rotates and returns to the initial position to obtain point group data from the ROI.
  • the ROI data is derived from the first point group data in step S16.
  • the point group data at all positions that is, at all angles, is aligned and merged, and the purified first point group data is point group data of only the ROI, and thus the ROI data is derived from the first point group data.
  • the ROI data may vary depending on the type of ROI or information required in the ROI.
  • a region of interest is in the form of a box corresponding to a bin, and data of a box corresponding to the inside of the purified first point group data may be derived.
  • the ROI data in the form of a box may include a width, a length, and a height.
  • the height h may be calculated as a distance between the point 1310 farthest from the dominant plane among the points of the first point group data and the dominant plane.
  • Horizontal (d) and vertical (l) project the points on the horizontal or vertical axis, as shown in Fig. 14, and the horizontal (d) and vertical from the distance between the two points where the points are gathered, i.e., the largest histogram. (l) can be calculated.
  • the ROI data may be derived.
  • the ROI-box of FIG. 15 may be derived.
  • FIG. 16 illustrates a process of modeling a bin for bin picking.
  • a point cloud sequence is input, a multi-depth image is accumulated, noise is removed from the accumulated point group data, and noise is removed. And perform down sampling on the purified point cloud data.
  • the dominant plane is derived from the sampled and refined point cloud data, and the point of interest data is extracted from the dominant plane and the sampled and refined cloud point data.
  • the point-of-interest point data is sorted into reference point-group data, which is the first point-group data
  • the point-of-interest point data is merged with the reference point-group data using a transformation between the point-of-interest point data and the reference point-group data, and the merged reference point-group data is purified.
  • the bin model is then finally derived by fitting ROI-bix to the refined reference point group data.
  • FIG. 17 is a block diagram of an apparatus for modeling a region of interest according to an embodiment of the present invention.
  • Detailed description of the region of interest modeling apparatus 1710 according to an embodiment of the present invention corresponds to the description of the region of interest modeling method of FIGS. 1 to 16. Try to outline.
  • the region of interest modeling apparatus 1710 may include an input unit 1711, a memory 1712, and a processor 1713, and may further include an output unit (not shown).
  • the input unit 1711 receives a plurality of point group data from the camera 1720 photographing the ROI.
  • the memory 1712 stores a program for deriving ROI data from the point group data.
  • the processor 1713 drives a program for deriving the ROI data, and may be configured with at least one processor.
  • the output unit may be a display that displays the processing result of the processor on the screen, and may be a communication unit which outputs and transmits the processing result to the user or the outside.
  • the program stored in the memory 1712 merges the plurality of point group data for the first position into one point group data, derives a dominant plane located below the ROI from the merged point group data, and extracts the point group data. Deriving points located above the dominant plane among the points to extract the point group data of interest, sorting and merging the point group data of interest into first point group data, purifying the merged first point group data, and the purified first Area of interest data is derived from one point group data.
  • the program stored in the memory 1712 may merge the plurality of point group data into one point group data, and then may remove noise of the merged point group data or downsample the merged point group data.
  • the program stored in the memory 1712 may derive the dominant plane by deriving a plane equation of a dominant plane from the point group data.
  • the program stored in the memory 1712 may extract the point-of-interest point data by deriving predetermined points from among points of the point-group data located above the dominant plane and points located on the dominant plane. have.
  • the program stored in the memory 1712 may calculate a conversion between the point of interest group data and the first point group data and use the calculated point of interest group data and the first point group data to convert the point of interest point group data. Align and merge the first point group data into the first point group data, and the first point group data may be first generated point group data of interest.
  • the program stored in the memory 1712 may align the point-of-interest point data with the first point-group data using an ICP algorithm, and calculate an initial position value of the ICP by using an angle for each photographing position of the camera. Can be.
  • the program stored in the memory 1712 may purify the first point group data by removing and down sampling the noise of the merged first point group data.
  • the ROI is in a box shape
  • the program stored in the memory 1712 may derive data of a box corresponding to the purified first point group data.
  • Embodiments of the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks such as floppy disks.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the present invention includes merging a plurality of point group data acquired at a first position into one point group data, deriving a dominant plane located below a region of interest from the merged point group data, and placing a plurality of point group data above the dominant plane among the points of the point group data. Extracting the point point data of interest by extracting the points that are located, sorting and merging the point point data of interest into the first point group data, refining the merged first point group data, and the region of interest from the purified first point group data And deriving data, and the point cloud data is obtained from a camera photographing while rotating the ROI, thereby automatically performing bin modeling for bin picking, and quickly and efficiently performing bin picking. Therefore, it can be efficiently used for modeling the bin.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 관심영역 모델링 방법에 관한 것으로, 제 1 위치에서 획득한 복수의 점군 데이터를 하나의 점군 데이터로 병합하는 단계, 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하는 단계, 점군 데이터의 점들 중 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하는 단계, 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하는 단계, 병합된 제 1 점군 데이터를 정제하는 단계, 및 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 단계를 포함하고, 점군 데이터는, 관심영역을 회전하며 촬영하는 카메라로부터 획득되는 것을 특징으로 함으로써 빈피킹을 위한 빈 모델링을 자동으로 수행하여, 빈피킹 작업을 빠르고 효율적으로 수행할 수 있다.

Description

빈 피킹을 위한 빈 모델링 방법 및 그 장치
본 발명은 관심영역 모델링 방법에 관한 것으로서, 보다 상세하게는 복수의 점군 데이터에 대한 정합 및 정제 과정을 통해 관심영역을 모델링하는 방법 및 그 장치에 관한 것이다.
생산 공정 자동화에 적용되기 시작한 산업용 로봇은, 일정한 위치에 배치되어 있는 물체(예를 들어, 부품)의 조립 또는 포장 공정에 사용되어 생산성을 향상시켜 왔다. 그러나 유동성 있는 생산 공정 라인에 대한 필요성이 증가되면서 셀 생산(cell manufacturing) 방식이 도입되었다. 이에 따라 빈피킹(bin-picking) 방식으로 물체들을 조립하거나 포장하기 위한 연구들이 활발히 진행 중이다. 빈피킹 방식은, 무작위로 쌓인 물체들 가운데 조립이나 포장할 물체의 위치를 검출하고, 검출된 물체를 집어내는 과정을 반복하여 포장이나 조립을 완성하는 방식이다.
빈피킹을 위해 빈을 모델링하는 기존의 방법은 빈의 밑면을 모델링하고, 빈의 가로 세로 높이를 직접 입력해야 하므로 불편하고, 작업 공간이 바뀌면 매번 사용자가 빈 정보를 입력해야 하는 번거로움이 있었다.
본 발명이 해결하고자 하는 첫 번째 과제는, 복수의 점군 데이터에 대한 정합 및 정제 과정을 통해 관심영역을 모델링하는 방법을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는, 복수의 점군 데이터에 대한 정합 및 정제 과정을 통해 관심영역을 모델링하는 장치를 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 첫 번째 과제를 해결하기 위하여, 본 발명의 실시예에 따른 관심영역 모델링 방법은, 제 1 위치에서 획득한 복수의 점군 데이터를 하나의 점군 데이터로 병합하는 단계; 상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하는 단계; 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하는 단계; 상기 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하는 단계; 상기 병합된 제 1 점군 데이터를 정제하는 단계; 및 상기 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 단계를 포함하고, 상기 점군 데이터는, 상기 관심영역을 회전하며 촬영하는 카메라로부터 획득되는 것을 특징으로 한다.
또한, 상기 하나의 점군 데이터로 병합하는 단계이후, 상기 병합된 점군 데이터의 노이즈를 제거하는 단계를 더 포함하고, 상기 노이즈를 제거하는 단계는, 이웃 점군 집합의 평균 거리와 분산 정보를 이용할 수 있다.
또한, 상기 하나의 점군 데이터로 병합하는 단계이후, 상기 병합된 점군 데이터를 다운 샘플링하는 단계를 더 포함하고, 상기 다운 샘플링하는 단계는, 단위 복셀 기반으로 다운 샘플링할 수 있다.
또한, 상기 도미넌트 평면을 도출하는 단계는, 상기 점군 데이터로부터 도미넌트 평면의 평면 방정식을 도출할 수 있다.
또한, 상기 관심 점군 데이터를 추출하는 단계는, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들과 상기 도미넌트 평면 상에 위치하는 점들중 소정의 점들을 도출하여 상기 관심 점군 데이터를 추출할 수 있다.
또한, 상기 제 1 점군 데이터로 정렬시켜 병합하는 단계는, 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 산출하는 단계; 및 상기 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키는 단계를 포함하고, 상기 제 1 점군 데이터는, 최초 생성되는 관심 점군 데이터일 수 있다.
또한, 상기 제 1 점군 데이터로 정렬시켜 병합하는 단계는, ICP(Iterative Closest Set) 알고리즘을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키고, 상기 카메라의 촬영 위치별 각도를 이용하여 상기 ICP의 초기 위치값을 산출할 수 있다.
또한, 상기 제 1 점군 데이터를 정제하는 단계는, 상기 병합된 제 1 점군 데이터의 노이즈를 제거하는 단계; 및 상기 병합된 제 1 점군 데이터를 다운 샘플링하는 단계를 포함할 수 있다.
또한, 상기 관심영역은 박스 형태이고, 상기 관심영역 데이터를 도출하는 단계는, 상기 정제된 제 1 점군 데이터 내부에 해당하는 박스의 데이터를 도출할 수 있다.
상기 두 번째 과제를 해결하기 위하여, 본 발명의 실시예에 따른 관심영역 모델링 장치는 관심영역을 회전하며 촬영하는 카메라로부터 복수의 점군 데이터를 입력받는 입력부; 상기 점군 데이터로부터 관심영역 데이터를 도출하는 프로그램을 저장하는 메모리; 및 상기 관심영역 데이터를 도출하는 프로그램을 구동하는 적어도 하나 이상의 프로세서를 포함하되, 상기 메모리에 저장된 프로그램은, 제 1 위치에 대한 복수의 점군 데이터를 하나의 점군 데이터로 병합하고, 상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하며, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하고, 상기 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하며, 상기 병합된 제 1 점군 데이터를 정제하고, 상기 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 것을 특징으로 한다.
또한, 상기 메모리에 저장된 프로그램은, 상기 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, 상기 병합된 점군 데이터의 노이즈를 제거하거나, 상기 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, 상기 병합된 점군 데이터를 다운 샘플링하거나, 상기 점군 데이터로부터 도미넌트 평면의 평면 방정식을 도출하여 상기 도미넌트 평면을 도출하거나, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들과 상기 도미넌트 평면 상에 위치하는 점들중 소정의 점들을 도출하여 상기 관심 점군 데이터를 추출하거나, 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 산출하고, 상기 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시킨후 병합하며, 상기 제 1 점군 데이터는, 최초 생성되는 관심 점군 데이터이거나, ICP 알고리즘을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키되, 상기 카메라의 촬영 위치별 각도를 이용하여 상기 ICP의 초기 위치값을 산출하거나, 상기 병합된 제 1 점군 데이터의 노이즈를 제거하고 다운 샘플링하여, 상기 제 1 점군 데이터를 정제하거나, 상기 관심영역은 박스 형태이고, 상기 정제된 제 1 점군 데이터 내부에 해당하는 박스의 데이터를 도출할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따르면 빈피킹을 위한 빈 모델링을 자동으로 수행하여, 빈피킹 작업을 빠르고 효율적으로 수행할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 관심영역 모델링 이루어지는 작업환경의 일 예를 나타낸 것이고, 도 2는 해당 작업환경에서 빈 피킹 작업을 위해 수행되는 과정을 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 관심영역 모델링 방법의 흐름도이다.
도 4 내지 도 6은 본 발명의 실시예에 따른 관심영역 모델링 방법의 흐름도이다.
도 7 내지 도 15은 본 발명의 실시예에 따른 관심영역 모델링 과정을 설명하기 위한 도면이다.
도 16은 빈피킹을 위한 빈 모델링이 이루어지는 과정을 나타낸 것이다.
도 17은 본 발명의 일 실시예에 따른 관심영역 모델링 장치의 블록도이다.
본 발명의 일 실시예에 따른 관심영역 모델링 방법은, 제 1 위치에서 획득한 복수의 점군 데이터를 하나의 점군 데이터로 병합하는 단계; 상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하는 단계; 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하는 단계; 상기 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하는 단계; 상기 병합된 제 1 점군 데이터를 정제하는 단계; 및 상기 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 단계를 포함하고, 상기 점군 데이터는, 상기 관심영역을 회전하며 촬영하는 카메라로부터 획득되는 것을 특징으로 한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본 발명의 일 실시예에 관심영역 모델링 방법은 모델링하고자 하는 관심영역(ROI, Region Of Interest)에 대한 점군(point cloud) 데이터를 이용하여 관심영역에 대한 정보를 포함하는 관심영역 데이터를 도출한다. 본 발명의 일 실시예에 관심영역 모델링 방법은 도 1의 빈 피킹 작업 환경에서 빈(Bin)을 모델링하는데 적용될 수 있다.
빈 피킹 작업은 로봇팔(Robot arm 또는 manipulator)이 빈(Bin)에 담겨있는 작업 대상체(Object)를 집(grasp)는 작업으로, 로봇팔이 대상체를 집기 위해서는 우선 대상체가 3차원 공간상의 어느 영역에 위치해 있는지 알아야 한다. 일반적으로 제조 현장에서는 대상체가 빈(윗 면이 없는 직육면체 통) 안에 위치해 있다. 따라서, 로봇은 사전에 대상체가 위치해 있는 빈에 대한 정보를 알아야 한다. 빈 정보를 알기 위한 빈 모델링을 위하여, 3D 카메라가 촬영한 점군 데이터를 이용할 수 있다.
새로운 작업을 수행하는 과정은, 도 2와 같이, 준비(preparation)와 동작(Operation) 과정으로 구성될 수 있다. 준비 과정은 새로운 3D 카메라에 대한 로봇-카메라 캘리브레이션(Robot-Camera Calibreation), 새로운 작업공간에 대한 대상체 관심영역 모델링(Object ROI Modeling), 및 새로운 대상체에 대한 자동 대상체 모델링(Auto Object Modeling)으로 구성될 수 있고, 동작 과정은 3D 대상체 자세 추정(3D Object Pose Estimation)으로 구성되며, 상기 과정들을 통해 대상체 피킹이 수행된다. 본 발명의 일 실시예에 관심영역 모델링 방법은 도 2의 과정 중 대상체 관심영역 모델링(Object ROI Modeling)에 적용될 수 있다.
상기 빈 모델링과 같이, 관심영역에 대한 모델링을 수행하기 위하여, 본 발명의 일 실시예에 따른 관심영역 모델링 방법은 도 3의 각 단계들을 포함한다. 도 3은 본 발명의 일 실시예에 따른 관심영역 모델링 방법의 흐름도이고, 도 4 내지 도 6은 본 발명의 실시예에 따른 관심영역 모델링 방법의 흐름도이다.
S11 단계에서 제 1 위치에서 획득한 복수의 점군 데이터를 하나의 점군 데이터로 병합한다. 여기서, 점군 데이터는 관심영역을 회전하며 촬영하는 카메라로부터 획득되는 점군 데이터이다. 상기 카메라는 3D 카메라일 수 있다. 카메라가 관심영역 주변을 회전하여, 각도별로 촬영한다. 상기 회전하는 각도는 미리 설정되어 있을 수 있다. 카메라는 해당 회전단위각도로 회전하며 촬영하거나 또는 계속 영상으로 촬영될 수 있다. 회전단위각도는 10도일 수 있다. 상기 제 1 위치는 회전하는 여러 각도 중 하나의 각도에 해당하는 위치이다.
카메라가 회전하는 동안 한 위치에서 관심영역에 대한 복수의 점군 데이터를 획득한다. 카메라, 특히 Structured IR 기반의 3D 카메라를 통해 획득되는 점군 데이터는 노이즈가 상당히 많이 존재하기 때문에 모델링에 바로 사용하기에 무리가 있다. 따라서, 도 7과 같이, 획득한 복수의 점군 데이터(710)를 하나의 점군 데이터(720)로 병합하여 정밀한 데이터를 생성한다. 이때, 10장 이내의 점군 데이터를 이용할 수 있으며, 점군 데이터의 수는 사용자에 의해 설정될 수 있다. 10장 이상의 점군 데이터를 이용할 수도 있다.
S11 단계에서 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, S21 단계에서 상기 병합된 점군 데이터의 노이즈를 제거할 수 있다. 앞서 설명한 바와 같이, 카메라가 획득한 점군 데이터에는 많은 노이즈가 포함될 수 있기 때문에, 노이즈를 제거하는 과정을 수행할 수 있다. 점군 데이터에 포함되는 노이즈는 스파스(Sparse) 노이즈일 수 있고, 이를 제거하기 위하여, 이웃 점군 집합(Neighborhood point cloud set)의 평균 거리와 분산 정보를 이용할 수 있다. 이 때, 3D point 사이의 거리와 normal surface 정보를 이용할 수 있다. 상기 노이즈를 제거하기 위하여, median filter 또는 mean filter를 이용할 수 있다. 각 점군 데이터의 특정 점에서의 좌표값 들 중 가장 많은 값을 대표값으로 도출하거나, 평균값을 대표값으로 도출함으로써 노이즈를 제거할 수 있다.
또한, S11 단계에서 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, S22 단계에서 상기 병합된 점군 데이터를 다운 샘플링(down sampling)할 수 있다. S11 단계에서 복수의 점군 데이터를 병합하였기 때문에, 불필요한 중복된 점이나 너무 가까운 점들이 존재한다. 이러한 불필요한 점들을 제거하고, 이후 과정들에 대한 처리 시간을 줄이기 위하여, 점들의 수를 줄이는 다운 샘플링을 수행한다. 이때, 단위 복셀 기반으로 다운 샘플링을 수행할 수 있다. 도 8과 같이, 하나의 단위 복셀단위(810)로 점군 데이터를 나누어, 해당 복셀안에 포함되는 복수의 점들을 하나의 점으로 줄인다. 상기 대표점은 상기 복셀의 중앙위치 또는 복수 점들 좌표의 평균을 이용할 수 있다. S21의 노이즈 제거 단계 및 S22의 다운 샘플링 단계 중 하나의 단계만 수행되거나, S21 단계 및 S22 단계 모두 수행될 수 있다.
S11 단계에서 복수의 점군 데이터를 하나의 점군 데이터로 병합하면, S12 단계에서 상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출한다. 여기서, 도미넌트 평면(dominant plane)은 주요한 평면으로 관심영역이 놓이는 평면을 의미한다. 빈(Bin)과 같이, 바닥과 같은 작업평면에 위치하는 관심영역의 경우, 관심영역 하부에 위치하는 도미넌트 평면에 위치한다. 따라서, 관심영역에 해당하는 점군들만 구분하기 위하여 도미넌트 평면을 도출한다. 도미넌트 평면을 도출함에 있어서, 회귀분석을 이용할 수 있다. 회귀분석 방법으로 RANSAC(Random sample consensus) 알고리즘을 이용하고, 모델은 평면 방정식 ax + by + cz + d =0 을 이용할 수 있다. RANSAC 알고리즘은 정상 분포에 속해 있는 데이터 집합으로 회귀 분석을 수행하는 알고리즘이다. 상기 도미넌트 평면은 도 9와 같이 산출될 수 있다. 세 개의 점을 랜덤하게 선택하여 세 점을 형성되는 평면 방정식을 만족하는 점들의 개수가 많은 평면을 도출하는 방식으로 도미넌트 평면(910)을 도출할 수 있다. 도미넌트 평면을 도출함에 있어서, 다른 알고리즘을 이용할 수 있음은 당연하다.
도미넌트 평면을 도출하면, S13 단계에서 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군(interesting point cloud) 데이터를 추출한다. 관심영역을 형성하는 점들은 상기 도미넌트 평면 상부에 위치하는바, 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출한다. 도 10과 같이, 도미넌트 평면(1010) 상부에 위치하는 점들을 도출하여 관심 점군 데이터(1020)를 추출할 수 있다. 즉, 도미넌트 평면의 평면방정식을 이용하여 ax + by + cz > 0 조건을 만족하는 점들을 도출한다. 이후, 다음 S14 단계에서 진행되는 정렬을 효율적으로 수행하기 위하여, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들과 상기 도미넌트 평면 상에 위치하는 점들중 소정의 점들을 도출하여 상기 관심 점군 데이터를 추출할 수 있다. 관심 점군 데이터 주변에 존재하면서 동시에 도미넌트 평면 상의 점들을 기존 관심 점군 데이터에 추가한다. 도미넌트 평면 상의 점을 추가하기 위해서 도미넌트 평면 상부에 위치하는 점들로 형성되는 기존 관심 점군 데이터의 COM (center of mass)을 계산하고, Radius-Search 알고리즘을 이용하여 COM에서 일정 거리 안에 있는 점을 도출하여, 최종 관심 점군 데이터를 추출할 수 있다.
관심 점군 데이터가 추출되면, S14 단계에서 상기 관심 점군 데이터를 제 1 점군 데이터로 정렬(alignment)시켜 병합(add)한다. 여기서, 제 1 점군 데이터는 최초 생성되는 관심 점군 데이터일 수 있다. 카메라가 회전하며 점군 데이터를 획득하기 때문에, 카메라가 관심영역을 촬영하는 위치에 따라 3차원상 좌표와 로테이션정도가 달라진다. 따라서, 이를 하나의 점군 데이터를 기준(reference cloud)으로 정렬시키고, 정렬된 점군 데이터들을 병합한다. 촬영각도에 따라 점군 데이터상 보이지 않는 면들은 다른 촬영각도에서 획득된 점군 데이터에 나타나는바, 이를 정렬시켜 병합함으로써, 관심영역의 360도 전체의 데이터를 도출할 수 있다. 이때, 정렬의 기준이 되는 점군 데이터는 제 1 점군 데이터이고, 최초 생성되는 관심 전군 데이터일 수 있다.
제 1 점군 데이터로 정렬시키기 위하여, S31 단계 및 S32 단계를 수행할 수 있다. 먼저, S31 단계에서 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환(transformation)을 산출할 수 있다. 점군 데이터의 정렬을 위해선 두 점군 데이터 간의 변환을 산출하여야 한다. 3차원상 x, y, z의 좌표의 이동거리와 로테이션(rotation) 정도를 알아야 정렬이 가능하다. 이를 위하여, ICP(Iterative Closest Set) 알고리즘을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시킬 수 있다. 이때, 상기 카메라의 촬영 위치별 각도를 이용하여 상기 ICP의 초기 위치값을 산출할 수 있다. ICP의 initial pose value는 이전 프레임(previous frame)에서 계산된 final pose value를 이용할 수 있다. 카메라가 관심영역인 빈 주위를 원형 형태로 등간격으로 이동하면서 촬영하기 때문에 이전 프레임과 현재 프레임의 카메라 위치가 유사하다는 가정을 이용한다. 이상적으로 인접한 카메라 위치는 등간격 만큼의 위치이다. 여기에서 카메라는 10 도 이내의 등간격으로 이동할 수 있다. 또한 관심영역 안에 패턴 플레이트(pattern-plate)를 놓고 이 패턴 플레이트를 이용해서 카메라의 위치를 산출하면, 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 좀 더 정확하고 빠르게 산출할 수 있다. S31 단계 이후, S32 단계에서 상기 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시킬 수 있다. 도 11과 같이, S31 단계에서 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 관심 점군 데이터(1120)을 변환하여 제 1 점군 데이터(1110)로 정렬시킨다.
제 1 점군 데이터로 정렬된 관심 점군 데이터를 제 1 점군 데이터에 병합한다.
관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합한 이후, S15 단계에서 상기 병합된 제 1 점군 데이터를 정제(Refine)한다. S14 단계에서 관심 점군 데이터 및 제 1 점군 데이터를 하나의 점군 데이터로 병합시키기 때문에, 중복되는 점들과 노이즈가 존재한다. 이를 위하여, 노이즈를 제거하고, 다운 샘플링을 하여 제 1 점군 데이터를 정제한다.
제 1 점군 데이터를 정제하기 위하여, S41 단계 및 S42 단계를 수행할 수 있다. S41 단계에서 상기 병합된 제 1 점군 데이터의 노이즈를 제거할 수 있다. 여기서 노이즈는 스파스(sparse) 노이즈를 포함하는바, 도 12와 같이, 스파스 노이즈(1210)를 제거할 수 있다. 스파스 노이즈를 제거하기 위하여, 통계필터(statistical filter)를 이용할 수 있다. 통계필터는 이웃 점군 집합(neighborhood point cloud set)의 평균의 평균 거리(m)와 분산(σ) 정보를 이용하여, 이웃 점군 집합의 평균 거리가 “m + kσ” 보다 큰 점들을 제거한다. 여기에서 k는 사용자에 의해 설정될 수 있다. 이후, S42 단계에서 상기 병합된 제 1 점군 데이터를 다운 샘플링할 수 있다. 중복되거나 너무 가까운 점들을 제거하기 위하여, 단위복셀 기반의 다운 샘플링을 수행할 수 있다.
S11 단계 내지 S15 단계는 카메라가 관심영역으로부터 점군 데이터를 획득하기 위하여 회전하여 초기 위치로 되돌아올 때까지 반복된다. 모든 위치에서의 점군 데이터들을 통해 최종 제 1 점군 데이터로 병합되면, S16 단계에서 제 1 점군 데이터로부터 관심영역 데이터를 도출한다. 모든 위치, 즉 모든 각도에서의 점군 데이터가 정렬되어 병합되고, 정제된 제 1 점군 데이터는 관심영역만의 점군 데이터인바, 제 1 점군 데이터로부터 관심영역 데이터를 도출한다. 관심영역 데이터는 관심영역의 형태나 관심영역에서 필요한 정보에 따라 달라질 수 있다. 빈피킹을 위한 빈 모델링에서는 관심영역은 빈에 해당하는 박스(box) 형태이고, 상기 정제된 제 1 점군 데이터 내부에 해당하는 박스의 데이터를 도출할 수 있다. 박스 형태의 관심영역에 대한 데이터를 얻기 위하여, 제 1 점군 데이터의 내부에 딱 맞는 직육면체를 도출할 수 있다. 이 직육면체가 최종적으로 ROI-box가 된다. 이때, 박스 형태의 관심영역 데이터는 가로, 세로, 높이를 포함할 수 있다. 높이(h)는 도 13과 같이, 제 1 점군 데이터의 점들중 도미넌트 평면에서 가장 멀리 떨어진 점(1310)과 도미넌트 평면과의 거리로 산출할 수 있다. 가로(d) 및 세로(l)는 도 14와 같이, 가로축 또는 세로축으로 점들을 투영(projection)하고, 점들이 많이 모여 있는, 즉 히스토그램이 가장 큰 두 점 사이의 거리로부터 가로(d) 및 세로(l)를 산출할 수 있다.
상기의 단계들을 통해 관심영역 데이터를 도출할 수 있다. 빈 모델링에서는 도 15의 ROI-box를 도출할 수 있다.
도 16은 빈피킹을 위한 빈 모델링이 이루어지는 과정을 나타낸 것으로, 점군 시퀀스(point cloud sequence)가 입력되면, 멀티 뎁스(depth) 이미지를 축적하고, 축적된 점군 데이터에서 노이즈를 제거하고, 노이즈가 제거되어 정제된 점군 데이터에 다운 샘플링을 수행한다. 이후, 샘플링 및 정제된 점군 데이터로부터 도미넌트 평면을 도출하고, 도미넌트 평면과 샘플링 및 정제된 점군 데이터로부터 관심 점군 데이터를 추출한다. 이후, 관심 점군 데이터를 제 1 점군 데이터인 기준 점군 데이터로 정렬시키고, 관심 점군 데이터와 기준 점군 데이터 사이의 변환을 이용하여 관심 점군 데이터를 기준 점군 데이터에 병합하고, 병합된 기준 점군 데이터를 정제한후, 정제된 기준 점군 데이터에 ROI-bix를 피팅함으로써 빈 모델을 최종적으로 도출한다.
도 17은 본 발명의 일 실시예에 따른 관심영역 모델링 장치의 블록도이다. 본 발명의 일 실시예에 따른 관심영역 모델링 장치(1710)에 대한 상세한 설명은 도 1 내지 도 16의 관심영역 모델링 방법에 대한 설명에 대응되는바, 이하 중복되는 설명을 피하기 위해 각 구성의 기능만을 약술하도록 한다.
본 발명의 일 실시예에 따른 관심영역 모델링 장치(1710)는 입력부(1711), 메모리(1712), 및 프로세서(1713)로 구성되며, 출력부(미도시)를 더 포함할 수 있다.
입력부(1711)는 관심영역을 회전하며 촬영하는 카메라(1720)로부터 복수의 점군 데이터를 입력받는다. 메모리(1712)는 상기 점군 데이터로부터 관심영역 데이터를 도출하는 프로그램을 저장한다. 프로세서(1713)는 상기 관심영역 데이터를 도출하는 프로그램을 구동하며, 적어도 하나 이상의 프로세서로 구성될 수 있다. 출력부는 프로세서의 처리결과를 화면상에 표시하는 디스플레이일 수 있고, 상기 처리결과를 사용자 또는 외부로 출력하고 전달하는 통신부일 수 있다.
상기 메모리(1712)에 저장된 프로그램은, 제 1 위치에 대한 복수의 점군 데이터를 하나의 점군 데이터로 병합하고, 상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하며, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하고, 상기 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하며, 상기 병합된 제 1 점군 데이터를 정제하고, 상기 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출한다.
상기 메모리(1712)에 저장된 프로그램은, 상기 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, 상기 병합된 점군 데이터의 노이즈를 제거하거나, 상기 병합된 점군 데이터를 다운 샘플링할 수 있다.
또한, 상기 메모리(1712)에 저장된 프로그램은, 상기 점군 데이터로부터 도미넌트 평면의 평면 방정식을 도출하여 상기 도미넌트 평면을 도출할 수 있다.
또한, 상기 메모리(1712)에 저장된 프로그램은, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들과 상기 도미넌트 평면 상에 위치하는 점들중 소정의 점들을 도출하여 상기 관심 점군 데이터를 추출할 수 있다.
또한, 상기 메모리(1712)에 저장된 프로그램은, 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 산출하고, 상기 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시킨후 병합하며, 상기 제 1 점군 데이터는, 최초 생성되는 관심 점군 데이터일 수 있다.
또한, 상기 메모리(1712)에 저장된 프로그램은, ICP 알고리즘을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키되, 상기 카메라의 촬영 위치별 각도를 이용하여 상기 ICP의 초기 위치값을 산출할 수 있다.
또한, 상기 메모리(1712)에 저장된 프로그램은, 상기 병합된 제 1 점군 데이터의 노이즈를 제거하고 다운 샘플링하여, 상기 제 1 점군 데이터를 정제할 수 있다.
나아가, 상기 관심영역은 박스 형태이고, 상기 메모리(1712)에 저장된 프로그램은, 상기 정제된 제 1 점군 데이터 내부에 해당하는 박스의 데이터를 도출할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 제 1 위치에서 획득한 복수의 점군 데이터를 하나의 점군 데이터로 병합하는 단계, 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하는 단계, 점군 데이터의 점들 중 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하는 단계, 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하는 단계, 병합된 제 1 점군 데이터를 정제하는 단계, 및 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 단계를 포함하고, 점군 데이터는, 관심영역을 회전하며 촬영하는 카메라로부터 획득되는 것을 특징으로 함으로써 빈피킹을 위한 빈 모델링을 자동으로 수행하며, 빈피킹 작업을 빠르고 효율적으로 수행할 수 있어, 빈 모델링에 효율적으로 이용될 수 있다.

Claims (20)

  1. 제 1 위치에서 획득한 복수의 점군 데이터를 하나의 점군 데이터로 병합하는 단계;
    상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하는 단계;
    상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하는 단계;
    상기 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하는 단계;
    상기 병합된 제 1 점군 데이터를 정제하는 단계; 및
    상기 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 단계를 포함하고,
    상기 점군 데이터는,
    상기 관심영역을 회전하며 촬영하는 카메라로부터 획득되는 것을 특징으로 하는 관심영역 모델링 방법.
  2. 제 1 항에 있어서,
    상기 하나의 점군 데이터로 병합하는 단계이후,
    상기 병합된 점군 데이터의 노이즈를 제거하는 단계를 더 포함하는 관심영역 모델링 방법.
  3. 제 2 항에 있어서,
    상기 노이즈를 제거하는 단계는,
    이웃 점군 집합의 평균 거리와 분산 정보를 이용하는 것을 특징으로 하는 관심영역 모델링 방법.
  4. 제 1 항에 있어서,
    상기 하나의 점군 데이터로 병합하는 단계이후,
    상기 병합된 점군 데이터를 단위 복셀 기반으로 다운 샘플링하는 단계를 더 포함하는 관심영역 모델링 방법.
  5. 제 1 항에 있어서,
    상기 도미넌트 평면을 도출하는 단계는,
    상기 점군 데이터로부터 도미넌트 평면의 평면 방정식을 도출하는 것을 특징으로 하는 관심영역 모델링 방법.
  6. 제 1 항에 있어서,
    상기 관심 점군 데이터를 추출하는 단계는,
    상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들과 상기 도미넌트 평면 상에 위치하는 점들중 소정의 점들을 도출하여 상기 관심 점군 데이터를 추출하는 것을 특징으로 하는 관심영역 모델링 방법.
  7. 제 1 항에 있어서,
    상기 제 1 점군 데이터로 정렬시켜 병합하는 단계는,
    상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 산출하는 단계; 및
    상기 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키는 단계를 포함하고,
    상기 제 1 점군 데이터는,
    최초 생성되는 관심 점군 데이터인 것을 특징으로 하는 관심영역 모델링 방법.
  8. 제 1 항에 있어서,
    상기 제 1 점군 데이터로 정렬시켜 병합하는 단계는,
    ICP(Iterative Closest Set) 알고리즘을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키는 것을 특징으로 하는 관심영역 모델링 방법.
  9. 제 8 항에 있어서,
    상기 카메라의 촬영 위치별 각도를 이용하여 ICP의 초기 위치값을 산출하는 것을 특징으로 하는 관심영역 모델링 방법.
  10. 제 1 항에 있어서,
    상기 제 1 점군 데이터를 정제하는 단계는,
    상기 병합된 제 1 점군 데이터의 노이즈를 제거하는 단계; 및
    상기 병합된 제 1 점군 데이터를 다운 샘플링하는 단계를 포함하는 것을 특징으로 하는 관심영역 모델링 방법.
  11. 제 1 항에 있어서,
    상기 관심영역은 박스 형태이고,
    상기 관심영역 데이터를 도출하는 단계는,
    상기 정제된 제 1 점군 데이터 내부에 해당하는 박스의 데이터를 도출하는 것을 특징으로 하는 관심영역 모델링 방법.
  12. 관심영역을 회전하며 촬영하는 카메라로부터 복수의 점군 데이터를 입력받는 입력부;
    상기 점군 데이터로부터 관심영역 데이터를 도출하는 프로그램을 저장하는 메모리; 및
    상기 관심영역 데이터를 도출하는 프로그램을 구동하는 적어도 하나 이상의 프로세서를 포함하되,
    상기 메모리에 저장된 프로그램은,
    제 1 위치에 대한 복수의 점군 데이터를 하나의 점군 데이터로 병합하고, 상기 병합된 점군 데이터로부터 관심영역 하부에 위치하는 도미넌트 평면을 도출하며, 상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들을 도출하여 관심 점군 데이터를 추출하고, 상기 관심 점군 데이터를 제 1 점군 데이터로 정렬시켜 병합하며, 상기 병합된 제 1 점군 데이터를 정제하고, 상기 정제된 제 1 점군 데이터로부터 관심영역 데이터를 도출하는 것을 특징으로 하는 관심영역 모델링 장치.
  13. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, 상기 병합된 점군 데이터의 노이즈를 제거하는 것을 특징으로 하는 관심영역 모델링 장치.
  14. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 복수의 점군 데이터를 하나의 점군 데이터로 병합한 이후, 상기 병합된 점군 데이터를 다운 샘플링하는 것을 특징으로 하는 관심영역 모델링 장치.
  15. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 점군 데이터로부터 도미넌트 평면의 평면 방정식을 도출하여 상기 도미넌트 평면을 도출하는 것을 특징으로 하는 관심영역 모델링 장치.
  16. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 점군 데이터의 점들 중 상기 도미넌트 평면 상부에 위치하는 점들과 상기 도미넌트 평면 상에 위치하는 점들중 소정의 점들을 도출하여 상기 관심 점군 데이터를 추출하는 것을 특징으로 하는 관심영역 모델링 장치.
  17. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 산출하고, 상기 산출된 상기 관심 점군 데이터와 상기 제 1 점군 데이터 간의 변환을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시킨후 병합하며,
    상기 제 1 점군 데이터는,
    최초 생성되는 관심 점군 데이터인 것을 특징으로 하는 관심영역 모델링 장치.
  18. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    ICP 알고리즘을 이용하여 상기 관심 점군 데이터를 상기 제 1 점군 데이터로 정렬시키되, 상기 카메라의 촬영 위치별 각도를 이용하여 상기 ICP의 초기 위치값을 산출하는 것을 특징으로 하는 관심영역 모델링 장치.
  19. 제 12 항에 있어서,
    상기 메모리에 저장된 프로그램은,
    상기 병합된 제 1 점군 데이터의 노이즈를 제거하고 다운 샘플링하여, 상기 제 1 점군 데이터를 정제하는 것을 특징으로 하는 관심영역 모델링 장치.
  20. 제 12 항에 있어서,
    상기 관심영역은 박스 형태이고,
    상기 메모리에 저장된 프로그램은,
    상기 정제된 제 1 점군 데이터 내부에 해당하는 박스의 데이터를 도출하는 것을 특징으로 하는 관심영역 모델링 장치.
PCT/KR2018/006041 2018-05-09 2018-05-28 빈 피킹을 위한 빈 모델링 방법 및 그 장치 WO2019216474A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180052899A KR102030040B1 (ko) 2018-05-09 2018-05-09 빈 피킹을 위한 빈 모델링 방법 및 그 장치
KR10-2018-0052899 2018-05-09

Publications (1)

Publication Number Publication Date
WO2019216474A1 true WO2019216474A1 (ko) 2019-11-14

Family

ID=68209045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006041 WO2019216474A1 (ko) 2018-05-09 2018-05-28 빈 피킹을 위한 빈 모델링 방법 및 그 장치

Country Status (3)

Country Link
KR (1) KR102030040B1 (ko)
CN (1) CN110473291A (ko)
WO (1) WO2019216474A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4064207A1 (en) * 2021-03-26 2022-09-28 INTEL Corporation Generation of three-dimensional representation of object surface from structured point-cloud

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907164A (zh) * 2019-12-03 2021-06-04 北京京东乾石科技有限公司 物体定位方法和装置
CN111028279A (zh) * 2019-12-12 2020-04-17 商汤集团有限公司 点云数据处理方法及装置、电子设备和存储介质
JP6849262B1 (ja) * 2020-05-28 2021-03-24 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
KR20140044054A (ko) * 2012-10-04 2014-04-14 한국전자통신연구원 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
KR20150106718A (ko) * 2014-03-12 2015-09-22 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
KR20160114992A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 빈피킹 시스템 및 빈피킹 수행 방법
KR20180008066A (ko) * 2016-07-15 2018-01-24 연세대학교 산학협력단 단일 카메라를 이용한 구조물의 3차원 변위 측정 시스템 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5988862A (en) * 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
AU2006217569A1 (en) * 2005-02-23 2006-08-31 Craig Summers Automatic scene modeling for the 3D camera and 3D video
CA2705809C (en) * 2007-11-14 2014-05-06 Intergraph Software Technologies Company Method and apparatus of taking aerial surveys
KR101040904B1 (ko) * 2009-09-17 2011-06-16 한양대학교 산학협력단 레이저를 이용한 통행량 추정 시스템 및 방법
KR101636370B1 (ko) * 2009-11-10 2016-07-05 삼성전자주식회사 영상 처리 장치 및 방법
KR20110095700A (ko) 2010-02-19 2011-08-25 현대중공업 주식회사 작업대상물 픽업을 위한 산업용 로봇 제어방법
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
US20140192050A1 (en) * 2012-10-05 2014-07-10 University Of Southern California Three-dimensional point processing and model generation
JP5509354B1 (ja) * 2013-02-01 2014-06-04 パナソニック株式会社 商品状況分析装置、商品状況分析システムおよび商品状況分析方法
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
US20170178390A1 (en) * 2015-12-18 2017-06-22 Canon Kabushiki Kaisha Devices, systems, and methods for measuring and reconstructing the shapes of specular objects by multiview capture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
KR20140044054A (ko) * 2012-10-04 2014-04-14 한국전자통신연구원 센서를 이용한 작업 방법 및 이를 수행하는 작업 시스템
KR20150106718A (ko) * 2014-03-12 2015-09-22 한국전자통신연구원 물체 피킹 시스템, 물체 검출 장치 및 그 방법
KR20160114992A (ko) * 2015-03-25 2016-10-06 한국전자통신연구원 빈피킹 시스템 및 빈피킹 수행 방법
KR20180008066A (ko) * 2016-07-15 2018-01-24 연세대학교 산학협력단 단일 카메라를 이용한 구조물의 3차원 변위 측정 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4064207A1 (en) * 2021-03-26 2022-09-28 INTEL Corporation Generation of three-dimensional representation of object surface from structured point-cloud

Also Published As

Publication number Publication date
KR102030040B1 (ko) 2019-10-08
CN110473291A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
WO2019216474A1 (ko) 빈 피킹을 위한 빈 모델링 방법 및 그 장치
CN108053473A (zh) 一种室内三维模型数据的处理方法
US5579444A (en) Adaptive vision-based controller
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111462154B (zh) 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人
CN112109086B (zh) 面向工业堆叠零件的抓取方法、终端设备及可读存储介质
CN107009391B (zh) 机器人抓取方法
CN108247637A (zh) 一种工业机器人手臂视觉防撞操控方法
JP2004050390A (ja) ワーク取出し装置
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
CN113096094A (zh) 三维物体表面缺陷检测方法
CN111882610A (zh) 基于椭圆锥人工势场的服务机器人抓取目标物体的方法
CN108257173A (zh) 一种图像信息中的物体分离方法及装置及系统
CN110756462B (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
CN112894815A (zh) 视觉伺服机械臂物品抓取最佳位姿检测方法
CN112801988A (zh) 基于rgbd和深度神经网络的物体抓取位姿检测方法
Kelley et al. Three vision algorithms for acquiring workpieces from bins
CN111242240A (zh) 物料检测方法、装置及终端设备
CN109657518A (zh) 集装箱激光扫描识别方法、装置、电子设备及可读介质
EP0380513B1 (en) An adaptive vision-based controller
CN114029941B (zh) 一种机器人抓取方法、装置、电子设备及计算机介质
CN113538576A (zh) 基于双臂机器人的抓取方法、装置及双臂机器人
CN112288809B (zh) 一种用于多物体复杂场景的机器人抓取检测方法
CN116843631B (zh) 一种轻钢行业非标零件叠料的3d视觉分料方法
CN110634160B (zh) 二维图形中目标三维关键点提取模型构建及姿态识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18917780

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18917780

Country of ref document: EP

Kind code of ref document: A1