WO2021154037A1 - 3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체 - Google Patents

3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체 Download PDF

Info

Publication number
WO2021154037A1
WO2021154037A1 PCT/KR2021/001222 KR2021001222W WO2021154037A1 WO 2021154037 A1 WO2021154037 A1 WO 2021154037A1 KR 2021001222 W KR2021001222 W KR 2021001222W WO 2021154037 A1 WO2021154037 A1 WO 2021154037A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
data
lidar data
lidar
virtual
Prior art date
Application number
PCT/KR2021/001222
Other languages
English (en)
French (fr)
Inventor
신경철
박성주
박기연
이규범
Original Assignee
주식회사 유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유진로봇 filed Critical 주식회사 유진로봇
Priority to EP21746942.8A priority Critical patent/EP4155765A4/en
Publication of WO2021154037A1 publication Critical patent/WO2021154037A1/ko
Priority to US17/816,323 priority patent/US20220381909A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning

Definitions

  • the present invention relates to a method and apparatus for recognizing a target object based on 3D lidar, and a moving object using the same.
  • the sensing method using 3D LiDAR provides data on range and intensity.
  • intensity data is very useful for object classification and identification because it provides information about the surface of the target object.
  • the present invention generates a reference map based on lidar data for a reference target object, determines a weight by learning virtual lidar data generated based on the reference map, and applies the determined weight to recognize a new target object
  • a main object of the present invention is to provide a 3D lidar-based target object recognition method, apparatus, and a moving object using the same.
  • a target object recognition method for achieving the above object, comprising: an irradiation step of irradiating a laser light to a reference target object; an acquisition step of acquiring lidar data generated based on the reflected signal reflected by the reference target object; a learning step of generating a reference map and virtual lidar data based on the lidar data, and determining a weight for recognizing a target object by performing deep learning learning based on the virtual lidar data; and when new lidar data for a new target object is acquired, a recognition step of recognizing the new target object by applying the weight.
  • a target object recognition apparatus for achieving the above object, comprising: a transmitter for irradiating laser light; a receiver for receiving a reflected signal for the laser light; one or more processors; and a memory storing one or more programs executed by the processor, wherein when the programs are executed by the one or more processors, the one or more processors emits a reflected signal reflected by the laser light to a reference target object
  • the moving object for achieving the above object irradiates laser light, obtains lidar data based on the reflected signal from which the laser light is reflected on a target object, and learns previously learned a target object recognition device for calculating position information of the target object by applying a result; and a moving device for moving the moving object based on the position of the target object, wherein the target object recognition device applies a weight determined based on a learning result through a reference target object to obtain lidar data of the target object Based on the calculation of the position information of the target object, the moving object may be moved.
  • the present invention enables the collection of error-free lidar data through data acquisition using a reference target object in the form of a spherical light receiver, and has the effect of enabling the collection of lidar data for various shapes and materials. .
  • the present invention has the effect that it is possible to generate lidar data for virtual target objects of various shapes and materials.
  • the present invention has the effect of securing a large amount of data reflecting the diversity (material, shape, color, etc.) of the same object for 3D lidar sensing using the generated virtual lidar data.
  • the present invention has the effect of improving the recognition performance of the target object through deep learning based on various large amounts of LIDAR data.
  • FIG. 1 is a block diagram schematically illustrating an apparatus for recognizing a target object according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a method for recognizing a target object according to an embodiment of the present invention.
  • 3 is a diagram for explaining an operation of acquiring and modeling lidar data for target object recognition according to an embodiment of the present invention.
  • FIG. 4 is a block diagram schematically illustrating an apparatus for recognizing a target object according to another embodiment of the present invention.
  • FIG. 5 is a block diagram schematically illustrating an apparatus for recognizing a target object according to another embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a moving object using the target object recognition apparatus according to an embodiment of the present invention.
  • FIG. 7 is an exemplary view showing a movable body according to an embodiment of the present invention.
  • FIG. 1 is a block diagram schematically illustrating an apparatus for recognizing a target object according to an embodiment of the present invention.
  • the target object recognition apparatus 100 includes a lidar light emitting unit 110 , a lidar data acquisition unit 120 , a learning unit 130 , and a recognition unit 140 .
  • the target object recognizing apparatus 100 of FIG. 1 is according to an exemplary embodiment, and not all blocks shown in FIG. 1 are essential components, and in another exemplary embodiment, some blocks included in the target object recognizing apparatus 100 may be added. , may be changed or deleted.
  • the lidar light emitting unit 110 converts an electrical signal into light and performs an operation of irradiating the converted laser light to recognize a target object.
  • the lidar light emitting unit 110 may irradiate laser light to a reference target object or a new target object.
  • the reference target object is a reference target for generating virtual lidar data for the virtual target object, has a spherical light receiver shape, and can change various surface conditions, for example, various surface materials, surface colors, etc. means an object.
  • the new target object means a target object for recognition after applying a weight determined based on a learning result based on virtual lidar data, and may be an object of various types.
  • the lidar data acquisition unit 120 receives a reflected signal from which laser light is reflected on the target object, and acquires generated lidar data based on the received reflected signal.
  • the lidar data acquisition unit 120 acquires lidar data based on the reflected signal of the reference target object.
  • the lidar data acquisition unit 120 acquires lidar data for a reference target object in the form of a spherical light receiver, and is a lidar based on reflectance of a reflected signal excluding a signal scattered from the spherical light receiver. Acquire data.
  • the lidar data acquisition unit 120 may acquire lidar data for a plurality of reference target objects. That is, the lidar data acquisition unit 120 may acquire lidar data for each of a plurality of reference target objects and sequentially acquire lidar data by changing the surface condition of the spherical light receiver.
  • the obtained LiDAR data may be different from each other according to surface conditions for the surface material, surface color, etc. of the spherical light receiver.
  • the lidar data acquisition unit 120 may acquire lidar data based on the reflected signal of the new target object.
  • the obtained lidar data may be used to recognize a new target object in the recognition unit 140 .
  • the learning unit 130 performs an operation of determining a weight for motion recognition by performing deep learning learning based on lidar data.
  • the learner 130 according to the present embodiment may include a reference map generator 132 , a virtual lidar data generator 134 , and a data learner 136 .
  • the learning unit 130 generates a reference map and virtual lidar data based on the lidar data, and performs deep learning learning based on the virtual lidar data to determine a weight for recognizing a target object.
  • the reference map generator 132 generates a reference map by performing modeling based on range data and intensity data included in the lidar data.
  • the range data represents the distance between the lidar light emitting unit 110 and the target object
  • the intensity data represents the intensity of the reflected signal (reflected light) reflected by the target with respect to the emitted laser light.
  • the information includes the surface information of the object.
  • the reference map generator 132 generates reference data by modeling a plurality of data included in the lidar data, and generates a reference map according to the surface condition of the reference target object based on the reference data.
  • the reference map generator 132 may generate a reference map by using reference data for each surface condition of a surface material, a surface color, etc. of the reference target object.
  • the reference map generator 132 may generate reference data by modeling all or part of a plurality of pieces of information included in the lidar data.
  • the reference map generator 132 includes an angle ⁇ Beam between the lidar emitter 110 irradiating laser light and the reference target object, from the lidar emitter 110 to the surface of the reference target object.
  • Reference data is generated by modeling at least one of the distance (d Beam ), the distance from the lidar light emitting unit 110 to the center of the reference target object (d Sph ), and the radius of the reference target object (r Sph ). can do.
  • the reference map generator 132 may adjust the reference data by giving weights for the accuracy and frequency of use of each of a plurality of pieces of information included in the lidar data. For example, when the target object to be recognized by the target object recognizing apparatus 100 is specified or the category of the shape is determined, the reference map generator 132 may generate a plurality of pieces included in the lidar data obtained from the spherical light receiver. Reference data can be created or adjusted by assigning weights calculated based on accuracy and frequency of use for recognizing target objects to each piece of information. The reference map generator 132 transmits reference data generated by applying a weight to the virtual lidar data generator 134 to generate weight-based virtual lidar data.
  • the reference map generator 132 assigns a weight based on the priority setting value to adjust the reference data.
  • the reference map generation unit 132 may be configured to perform an angle ( ⁇ Beam , priority setting value: 10) between the lidar light emitting unit 110 and the reference target object 300, and the reference target from the lidar light emitting unit 110 .
  • the reference map generator 132 generates the first adjusted LiDAR data by giving a first weight to the accuracy and frequency of use of each of a plurality of pieces of information included in the LiDAR data, and a reference map preset by the user. By checking the generation conditions, when the first adjusted lidar data satisfies the corresponding conditions, a reference map may be generated.
  • the reference map generator 132 checks the reference map generation conditions preset by the user (eg, the reference conditions preset for each of a plurality of pieces of information included in the lidar data) to determine whether the first adjusted lidar data is the corresponding If the condition is not satisfied, a second weight is added to each of the plurality of pieces of information included in the LiDAR data based on the priority set value given according to the importance of the information or the user's setting to generate the second adjusted LiDAR data. to create a reference map.
  • the reference map generator 132 describes that the reference map is generated by applying the second weight after applying the first weight, but is not limited thereto, and the order of applying the weights may be changed.
  • the virtual lidar data generator 134 generates virtual lidar data for a virtual target object based on the generated reference map.
  • the virtual lidar data generator 134 may generate virtual lidar data using a plurality of reference data included in the reference map. That is, the virtual lidar data generation unit 134 may generate virtual lidar data by changing a combination of a plurality of reference data or values of reference data included in the reference map.
  • the virtual LIDAR data generator 134 may be implemented as an encoder and a generator of a generative adversarial network (GAN), and a plurality of virtual LIDAR data generators through the encoder and generator of a generative adversarial network (GAN). can generate data.
  • the virtual lidar data generated through the encoder and the generator may generate a plurality of virtual lidar data based on a feature value of each reference data by inputting a plurality of reference data included in the reference map.
  • the data learning unit 136 determines a weight for recognizing a target object using virtual lidar data.
  • the data learning unit 136 may perform deep learning learning based on virtual lidar data, and determine a weight based on the learning result.
  • the data learning unit 136 may perform deep learning learning based on virtual lidar data and lidar data for a reference target object, and determine a weight based on the learning result.
  • the data learning unit 136 may perform deep learning learning by combining all or part of the lidar data for the reference target object to the virtual lidar data.
  • the weight determined based on the learning result is a weight applied to a motion recognition algorithm used for motion recognition of a target object, and may be a weight applied to a convolutional layer or a hidden layer included in the motion recognition algorithm.
  • the recognition unit 140 recognizes the target object by applying a weight determined according to the learning result, and performs an operation of calculating the recognition result.
  • the recognizer 140 according to the present embodiment may include a target recognizer 142 and a recognition result calculator 144 .
  • the recognizer 140 recognizes the new target object by applying a weight.
  • the target recognition unit 142 performs an operation of recognizing a new target object by analyzing new lidar data by applying a weight determined based on the learning result.
  • the recognition result calculator 144 calculates the position information of the recognized new target object.
  • FIG. 2 is a flowchart illustrating a method for recognizing a target object according to an embodiment of the present invention.
  • the target object recognition apparatus 100 emits laser light to the reference target object and acquires lidar data based on the reflected signal reflected from the reference target object (S210).
  • the target object recognition apparatus 100 acquires lidar data for a reference target object in the form of a spherical light receiver, and the lidar data based on the reflectance of the reflected signal excluding the signal scattered from the spherical light receiver to acquire
  • the obtained LiDAR data may be different from each other according to surface conditions for the surface material, surface color, etc. of the spherical light receiver.
  • the target object recognition apparatus 100 generates a reference map based on the range data and intensity data generated by performing modeling based on the obtained lidar data (S220). Specifically, the target object recognition apparatus 100 generates reference data by modeling distance data and intensity data included in the lidar data, and generates a reference map according to the surface condition of the reference target object based on the reference data.
  • the target object recognizing apparatus 100 may generate a reference map by using reference data for each surface condition for a surface material, a surface color, etc. of the reference target object.
  • the target object recognition apparatus 100 generates virtual lidar data for a virtual target object based on the generated reference map (S230).
  • the target object recognition apparatus 100 may generate virtual lidar data by changing a combination of a plurality of reference data included in the reference map or a value of the reference data.
  • the target object recognition apparatus 100 performs deep learning learning based on the virtual lidar data, and determines a weight based on the learning result (S240).
  • the target object recognition apparatus 100 is described as determining the weight using only the virtual lidar data, but is not necessarily limited thereto.
  • the target object recognition apparatus 100 may perform deep learning learning by mixing virtual lidar data and lidar data (real lidar data) for a reference target object, and may determine a weight based on the learning result.
  • the target object recognition apparatus 100 recognizes the target object by applying the determined weight (S250).
  • the target object recognition apparatus 100 calculates position information on the recognized target object and generates a target recognition result (S260).
  • FIG. 2 is not limited to a time-series order.
  • the method for recognizing an object according to the present embodiment described in FIG. 2 may be implemented as an application (or program) and recorded in a recording medium readable by a terminal device (or computer).
  • a recording medium in which an application (or program) for implementing the method for recognizing a target according to the present embodiment is recorded and a terminal device (or computer) readable recording medium is any type of recording device in which data readable by a computing system is stored or media.
  • 3 is a diagram for explaining an operation of acquiring and modeling lidar data for target object recognition according to an embodiment of the present invention.
  • the target object recognition apparatus 100 irradiates laser light to the reference target object 300 through the laser light emitting unit 110 , and receives the reflected signal 302 reflected from the reference target object 300 to receive lidar data. acquire
  • the target object recognition apparatus 100 acquires lidar data by using a spherical light receiver as the reference target object 300 in order to minimize an error in data acquired according to the shape of the target object.
  • the target object recognizing apparatus 100 is based on the reflectance of the reflected signal 302 excluding the scattered signal 304 from the reference target 300, range data and intensity data. It is possible to obtain lidar data including
  • the target object recognition apparatus 100 measures the time and intensity at which the irradiated laser light is reflected by the reference target object 300 and received as a reflected signal 302 to measure distance, surface information, direction, speed, temperature, surface LiDAR data including material distribution and concentration characteristics of
  • the target object recognition apparatus 100 includes an angle ⁇ Beam , 306 and 308 between the lidar light emitting unit 110 irradiating laser light using the reflected signal 302 and the reference target object 300 ,
  • the distance (d Beam , 320) from the lidar light emitting unit 110 to the surface of the reference target object 300, and the distance from the lidar light emitting unit 110 to the center of the reference target object 300 (d Sph , 330) ), the radius (r Sph , 310) of the reference target object 300 may be acquired.
  • the target object recognition apparatus 100 may generate reference data i reflect by modeling the range data and intensity data included in the lidar data.
  • the modeled reference data i reflect may be defined as in Equation 1.
  • the target object recognition apparatus 100 generates a reference map by generating reference data for each surface condition of the reference target object 300 . That is, the target object recognizing apparatus 100 may generate a reference map by using reference data for each surface condition of the surface material, surface color, etc. of the reference target object 300 .
  • FIG. 4 is a block diagram schematically illustrating an apparatus for recognizing a target object according to another embodiment of the present invention.
  • the target object recognition apparatus 100 irradiates laser light to the reference target object 300 , and receives the reflected signal 302 reflected from the reference target object 300 to obtain lidar data.
  • the target object recognizing apparatus 100 acquires lidar data by using a spherical light receiver as the reference target object 300 in order to minimize an error in data acquired according to the shape of the target object (block 110).
  • the target object recognition apparatus 100 uses the obtained lidar data to calculate the target object recognition apparatus 100.
  • Range data and Intensity data of LiDAR data for each surface condition such as material (eg, fabric, metal, wood, etc.) and color of the reference target object 300 Modeling generates reference data (i reflect ).
  • the lidar distance (Range) data and intensity (Intensity) data are acquired at the same time, the distance (Range) data represents the distance from the lidar light emitting unit 110 to the surface of the reference target object 300, the intensity (Intensity) ) data provides surface data of the target object as information indicating the intensity of the reflected signal reflected by the reference target with respect to the emitted laser light.
  • the target object recognizing apparatus 100 may extract lidar data for the actual target based on the reference data.
  • the target object recognition apparatus 100 is described as extracting actual lidar data based on reference data, but is not limited thereto, and lidar data obtained based on a reflected signal received by irradiating laser light may be
  • the object recognition apparatus 100 generates virtual lidar data for the virtual object.
  • the target object recognizing apparatus 100 generates virtual lidar data for a virtual target existing in a virtual space using reference data modeled using the reference target 300 .
  • the virtual lidar data may include virtual distance (Range) data and virtual intensity (Intensity) data.
  • the target object recognizing apparatus 100 determines a weight for recognizing the target object using the virtual lidar data.
  • the target object recognition apparatus 100 may perform deep learning learning based on virtual lidar data, and determine a weight based on the learning result.
  • the target object recognition apparatus 100 may perform deep learning learning based on virtual lidar data and lidar data for a reference target object, and determine a weight based on the learning result.
  • the target object recognition apparatus 100 may perform deep learning learning by combining all or part of the lidar data for the reference target object to the virtual lidar data.
  • the target object recognition apparatus 100 recognizes the target object by applying a weight determined according to the learning result learned in block 136, and performs an operation of calculating a recognition result.
  • the target object recognition apparatus 100 recognizes the new target object by applying the pre-learned learning result, and uses the distance data and intensity data of the new lidar data. It is possible to calculate the position information of the new target object.
  • FIG. 5 is a block diagram schematically illustrating an apparatus for recognizing a target object according to another embodiment of the present invention.
  • the target object recognition apparatus 500 may include a transmitter 510 , a receiver 520 , a processor 530 , a memory 540 , and a database 550 .
  • the apparatus 500 for recognizing an object of FIG. 5 is according to an embodiment, and not all blocks shown in FIG. 5 are essential components, and in another embodiment, some blocks included in the apparatus for recognizing an object 500 are added. , may be changed or deleted.
  • the target object recognition apparatus 500 may be implemented as a computing device, and each component included in the target object recognition apparatus 500 may be implemented as a separate software device, or as a separate hardware device combined with software. can be implemented.
  • the target object recognition apparatus 500 irradiates a laser light to a reference target object, and acquires lidar data generated based on a reflected signal reflected by the reference target object.
  • the target object recognition apparatus 500 generates a reference map and virtual lidar data based on the lidar data, and performs deep learning learning based on the virtual lidar data to determine a weight for recognizing the target object. carry out Also, when new LIDAR data for a new target object is acquired, the target object recognition apparatus 500 recognizes the new target object by applying a weight.
  • the transmitter 510 may generate and output a transmission signal.
  • the transmitter 510 may be controlled by the processor 530 .
  • the transmitter 510 may output a transmission signal in the form of laser light.
  • the transmitter 510 may convert an electrical signal into light, and may include a laser generator (not shown).
  • the transmitter 510 may output a transmission signal in the form of a frequency modulated continuous wave (FMCW).
  • FMCW frequency modulated continuous wave
  • the transmitter 510 may perform beam steering on the generated laser light.
  • the transmitter 510 may perform beam steering by changing the path of the laser light.
  • the receiver 520 may acquire a received signal.
  • the received signal is a reflected signal from which the transmitted signal is reflected by the target object and returned.
  • the receiver 520 may be controlled by the processor 530 .
  • the receiver 520 may obtain a reception signal corresponding to the FMCW.
  • the receiver 520 may include a photo detector (not shown) when receiving a reflected signal for laser light.
  • the photo detector may convert light into electricity and may include a plurality of photodiodes PD.
  • the receiver 520 may receive a reflected signal at each point of the transmitted laser light. For example, when laser light is output toward a first point, the receiver 520 may receive a reflected signal returned from the first point. Also, when the laser light is output toward the second point, the receiver 520 may receive the reflected signal returned from the second point. In this way, the receiver 520 may receive the reflected signal returned from a plurality of consecutive points and sense the reflected signal at each point.
  • the processor 530 performs a function of executing at least one instruction or program included in the memory 540 .
  • the processor 530 performs an operation of learning based on the LiDAR data obtained using the transmitter 510 and the receiver 520 .
  • the processor 530 generates a reference map based on range data and intensity data generated by performing modeling based on the obtained lidar data. Specifically, the processor 530 generates reference data by modeling distance data and intensity data included in the lidar data, and generates a reference map according to the surface condition of the reference target object based on the reference data. Here, the processor 530 may generate a reference map by using reference data for each surface condition for a surface material, a surface color, etc. of the reference target object.
  • the processor 530 generates virtual lidar data for the virtual target object based on the generated reference map.
  • the processor 530 may generate virtual lidar data by changing the value of reference data or a combination of a plurality of reference data included in the reference map.
  • the processor 530 performs deep learning learning based on the virtual lidar data, and determines a weight based on the learning result.
  • the processor 530 is described as determining the weight using only the virtual lidar data, but is not limited thereto.
  • the processor 530 may perform deep learning learning by mixing virtual lidar data and lidar data (real lidar data) for a reference target object, and may determine a weight based on the learning result.
  • the processor 530 performs an operation of recognizing the target object based on the weight determined through learning.
  • the processor 530 recognizes the target object by applying a weight determined based on the learning result.
  • the processor 530 may generate the target recognition result by calculating position information on the recognized target object.
  • the memory 540 includes at least one instruction or program executable by the processor 530 .
  • the memory 540 may include instructions or programs for obtaining lidar data, performing modeling, generating virtual lidar data, and learning. Also, the memory 540 may include a command or program for an operation for applying a learning result, an operation for recognizing a target object, and the like.
  • the memory 540 may be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, and the like.
  • the database 150 refers to a general data structure implemented in the storage space (hard disk or memory) of a computer system using a database management program (DBMS), and performs data search (extraction), deletion, editing, addition, etc.
  • DBMS database management program
  • Relational database management system such as Oracle, Infomix, Sybase, DB2, Gemston, Orion
  • OODBMS object-oriented database management system
  • XML Native Database such as Excelon, Tamino, Sekaiju, etc. It can be implemented according to the requirements, and has appropriate fields or elements to achieve its function.
  • the database 150 may store data related to the recognition of a target object and may provide pre-stored data related to the recognition of the target object.
  • the data stored in the database 150 may be data about lidar data, virtual lidar data, reference data, reference map, learning result, weight, target object recognition result, location information of the target object, etc. for the reference target object.
  • the database 140 is described as being implemented in the target object recognition device 500, it is not necessarily limited thereto, and may be implemented as a separate data storage device.
  • FIG. 6 is a block diagram illustrating a moving object using the target object recognition apparatus according to an embodiment of the present invention.
  • the moving object 10 includes a target object recognizing apparatus 100 and a moving apparatus 200 .
  • the movable body 10 may omit some of the various components exemplarily illustrated in FIG. 6 or may additionally include other components.
  • the movable body may further include a cleaning unit.
  • the moving object 10 acquires lidar data based on the reflected signal of the laser beam irradiated to the target object, and applies the pre-learned learning result to the target object to calculate the location information of the target object It includes the recognition device 100 and the moving device 200 for moving the moving object 10 based on the position of the target object.
  • the target object recognition apparatus 100 applies a weight determined based on the learning result through the reference target object to calculate the location information of the target object based on the lidar data of the target object so that the movable body 10 is moved. do.
  • the moving device 200 included in the moving body 10 refers to a device designed to be moved from a specific location to another location according to a predefined method, and a moving means such as wheels, rails, walking legs, wings, multi-rotors, etc. can be used to move from one location to another.
  • the moving object 10 may move according to the collected information, or may be moved by a user using a separate manipulation means.
  • the movable body 10 there may be a robot cleaner, a toy car, a mobile robot usable for industrial or military purposes, and the like.
  • a robot vacuum cleaner is a device that automatically cleans a cleaning space by sucking foreign substances such as dust accumulated on the floor while driving in the cleaning space. Unlike a general vacuum cleaner that moves by an external force by a user, a robot cleaner cleans a cleaning space while moving using external information or a predefined movement pattern.
  • the robot cleaner moves automatically using a predefined pattern, or after detecting an external obstacle by a detection sensor, it may move according to the sensed, or according to a signal transmitted from a remote control device operated by a user. can be moved
  • the detection sensor of the target object recognizing apparatus 100 may be implemented as LIDAR (LIght Detection And Ranging, LIDAR).
  • LIDAR LIght Detection And Ranging
  • Lidar is a device that irradiates laser light, measures the time and intensity of the reflected signal, and measures the distance and surface information of the reflector using the speed of light.
  • the reflected signal is converted into an electrical signal through the photodiode, and may have a preset wavelength band.
  • FIG. 7 is an exemplary view showing a movable body according to an embodiment of the present invention.
  • the target object recognition device 100 for measuring distance and surface information is located at the upper end of the main body of the mobile device 200, this is only an example and is not limited thereto. can
  • the target object recognition apparatus 100 transmits and receives light using a pair of light sources and photodiodes, and 3D scans the surroundings using a movable mirror and a rotating body.
  • the target object recognition apparatus 100 may operate in a time of flight (TOF) method.
  • TOF time of flight
  • the laser emits a pulse or square wave signal to measure the time that reflected pulses or square wave signals from objects within the measurement range arrive at the receiver, so that the measurement target 300 and the target object recognition device 100 are measured. measure the distance between
  • the moving device 200 moves the moving object 10 by calculating a travel path or detecting an obstacle based on the distance to the target object.
  • the mobile device 200 may move the mobile body 10 based on the relative position of the artificial mark.
  • lidar light emitting unit 120 lidar data acquisition unit
  • recognition unit 142 target recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

3D 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체를 개시한다. 본 발명의 실시예에 따른 대상 물체 인식 방법은, 기준 대상 물체에 레이저 광을 조사하는 조사 단계; 상기 기준 대상 물체에 반사된 반사신호를 기반으로 생성된 라이다 데이터를 획득하는 획득 단계; 상기 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정하는 학습 단계; 및 신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 상기 가중치를 적용하여 상기 신규 대상 물체를 인식하는 인식 단계를 포함할 수 있다.

Description

3D 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체
본 발명은 3D 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
IT 기술의 발전과 더불어 인공지능 분야에서 공간 및 물체에 대한 3D 센싱 및 데이터 처리에 대한 연구가 활발히 진행되고 있다. 3D 라이다(LiDAR)를 이용한 센싱 방식은 거리(Range)와 강도(Intensity)에 대한 데이터를 제공한다. 3D 라이다 센싱 방식에서 강도 데이터는 대상 물체의 표면에 대한 정보를 제공하기 때문에 물체의 분류 및 식별에 매우 유용하다.
3D 센싱 및 데이터 처리 분야에서 딥러닝 기반의 인공지능은 다양한 환경의 대량의 데이터가 필요하나, 실제 환경에서 다양한 환경 및 물체의 재질에 대한 거리(Range)와 강도(Intensity)에 대한 데이터를 수집하는 것은 불가능하다.
이에, 3D 센싱 및 데이터 처리를 위하여 딥러닝 기반의 인공지능 구현 및 성능 향상을 위한 데이터 확보 방안이 필요하다.
본 발명은 기준 대상 물체에 대한 라이다 데이터를 기반으로 레퍼런스 맵을 생성하고, 레퍼런스 맵을 기반으로 생성된 가상 라이다 데이터를 학습하여 가중치를 결정하고, 결정된 가중치를 적용하여 신규 대상 물체에 대한 인식을 수행하는 3D 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체를 제공하는 데 주된 목적이 있다.
본 발명의 일 측면에 의하면, 상기 목적을 달성하기 위한 대상 물체 인식 방법은, 기준 대상 물체에 레이저 광을 조사하는 조사 단계; 상기 기준 대상 물체에 반사된 반사신호를 기반으로 생성된 라이다 데이터를 획득하는 획득 단계; 상기 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정하는 학습 단계; 및 신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 상기 가중치를 적용하여 상기 신규 대상 물체를 인식하는 인식 단계를 포함할 수 있다.
또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 대상 물체 인식장치는, 레이저 광을 조사하는 송신부; 상기 레이저 광에 대한 반사신호를 수신하는 수신부; 하나 이상의 프로세서; 및 상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하며, 상기 프로그램들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서들에서, 조사된 상기 레이저 광이 기준 대상 물체에 반사된 반사신호를 기반으로 생성된 라이다 데이터를 획득하는 획득 단계; 상기 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정하는 학습 단계; 및 신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 상기 가중치를 적용하여 상기 신규 대상 물체를 인식하는 인식 단계를 포함하는 동작들을 수행할 수 있다.
또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 이동체는, 레이저 광을 조사하고, 대상 물체에 상기 레이저광이 반사된 반사신호를 기반으로 라이다 데이터를 획득하고, 기 학습된 학습 결과를 적용하여 상기 대상 물체의 위치 정보를 산출하는 대상 물체 인식장치; 및 상기 대상 물체의 위치를 기반으로 상기 이동체를 이동시키는 이동 장치를 포함하며, 상기 대상 물체 인식장치는, 기준 대상 물체를 통한 학습 결과를 기반으로 결정된 가중치를 적용하여 상기 대상 물체의 라이다 데이터를 기반으로 대상 물체의 위치 정보를 산출하여 상기 이동체가 이동되도록 할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 구형 수광체 형태의 기준 대상 물체를 이용한 데이터 취득을 통해 오차 없는 라이다 데이터의 수집이 가능하고, 다양한 모양 및 재질에 대한 라이다 데이터의 수집이 가능한 효과가 있다.
또한, 본 발명은 다양한 모양 및 재질의 가상 대상 물체에 대한 라이다 데이터의 생성이 가능한 효과가 있다.
또한, 본 발명은 생성된 가상 라이다 데이터를 이용하여 3D 라이다 센싱을 위한 동일한 물체의 다양성(재질, 모양, 색상 등)이 반영된 대량의 데이터 확보할 수 있는 효과가 있다.
또한, 본 발명은 다양한 대량의 라이다 데이터를 기반으로 딥러닝 학습을 통해 대상 물체의 인식 성능을 향상시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 대상 물체 인식장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 대상 물체 인식 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 실시예에 따른 대상 물체 인식을 위한 라이다 데이터 획득 및 모델링 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 대상 물체 인식장치를 개략적으로 나타낸 블록 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 대상 물체 인식장치를 개략적으로 나타낸 블록 구성도이다.
도 6은 본 발명의 실시예에 따른 대상 물체 인식장치를 이용한 이동체를 나타낸 블록 구성도이다.
도 7은 본 발명의 실시예에 따른 이동체를 나타낸 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 3D 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체에 대해 자세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 대상 물체 인식장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 대상 물체 인식장치(100)는 라이다 발광부(110), 라이다 데이터 획득부(120), 학습부(130) 및 인식부(140)을 포함한다. 도 1의 대상 물체 인식장치(100)는 일 실시예에 따른 것으로서, 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 대상 물체 인식장치(100)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
라이다 발광부(110)는 전기적 신호를 광으로 변환하고, 대상 물체의 인식을 위하여 변환된 레이저 광을 조사하는 동작을 수행한다.
라이다 발광부(110)는 기준 대상 물체 또는 신규 대상 물체로 레이저 광을 조사할 수 있다. 여기서, 기준 대상 물체는 가상 대상 물체에 대한 가상 라이다 데이터를 생성하기 위하여 기준이 되는 대상 물체로써, 구형 수광체 형태를 가지며 다양한 표면 조건 예를 들어, 다양한 표면 재질, 표면 색상 등이 변경 가능한 대상 물체를 의미한다. 또한, 신규 대상 물체는, 가상 라이다 데이터 기반의 학습 결과에 근거하여 결정된 가중치를 적용한 후 인식을 위한 대상 물체를 의미하며, 다양한 형태의 물체일 수 있다.
라이다 데이터 획득부(120)는 레이저 광이 대상 물체에 반사된 반사신호를 수신하고, 수신된 반사신호를 기반으로 생성된 라이다 데이터를 획득한다.
대상 물체의 인식을 위한 학습을 수행하는 과정에서, 라이다 데이터 획득부(120)는 기준 대상 물체의 반사신호를 기반으로 라이다 데이터를 획득한다. 라이다 데이터 획득부(120)는 구형 수광체 형태의 기준 대상 물체에 대한 라이다 데이터를 획득하며, 구형 수광체에서 산란(Scatter)되는 신호를 제외한 반사 신호의 반사율(Reflectance)을 기반으로 라이다 데이터를 획득한다.
라이다 데이터 획득부(120)는 복수의 기준 대상 물체에 대한 라이다 데이터를 획득할 수 있다. 즉, 라이다 데이터 획득부(120)는 복수의 기준 대상 물체 각각에 대한 라이다 데이터를 획득하며, 구형 수광체의 표면 조건을 변경하여 순차적으로 라이다 데이터를 획득할 수 있다. 여기서, 획득된 라이다 데이터는 구형 수광체의 표면 재질, 표면 색상 등에 대한 표면 조건에 따라 서로 상이할 수 있다.
한편, 대상 물체의 인식을 위한 학습을 수행하는 과정이 완료된 상태에서, 라이다 데이터 획득부(120)는 신규 대상 물체의 반사신호를 기반으로 라이다 데이터를 획득할 수 있다. 여기서, 획득된 라이다 데이터는 인식부(140)에서 신규 대상 물체를 인식하는 데 사용될 수 있다.
본 실시예에 따른 학습부(130)는 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 동작 인식을 위한 가중치를 결정하는 동작을 수행한다. 본 실시예에 따른 학습부(130)는 레퍼런스 맵 생성부(132), 가상 라이다 데이터 생성부(134), 데이터 학습부(136)를 포함할 수 있다.
학습부(130)는 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정한다.
레퍼런스 맵 생성부(132)는 라이다 데이터에 포함된 거리(Range) 데이터 및 강도(Intensity) 데이터를 기반으로 모델링을 수행하여 레퍼런스 맵을 생성한다. 여기서, 거리(Range) 데이터는 라이다 발광부(110)와 대상 물체와의 거리를 나타내고, 강도(Intensity) 데이터는 방사된 레이저광에 대해 대상 물체가 반사하는 반사신호(반사광)의 세기를 나타내는 정보로 물체의 표면 정보를 포함한다.
구체적으로, 레퍼런스 맵 생성부(132)는 라이다 데이터에 포함된 복수의 데이터를 모델링하여 레퍼런스 데이터를 생성하고, 레퍼런스 데이터를 기반으로 기준 대상 물체의 표면 조건에 따른 레퍼런스 맵을 생성한다.
레퍼런스 맵 생성부(132)는 기준 대상 물체의 표면 재질, 표면 색상 등에 대한 표면 조건 별 레퍼런스 데이터를 이용하여 레퍼런스 맵을 생성할 수 있다.
레퍼런스 맵 생성부(132)는 라이다 데이터에 포함된 복수의 정보의 전체 또는 일부를 모델링하여 레퍼런스 데이터를 생성할 수 있다. 예를 들어, 레퍼런스 맵 생성부(132)는 레이저 광을 조사하는 라이다 발광부(110)와 기준 대상 물체와의 각도(θBeam), 라이다 발광부(110)에서 기준 대상 물체의 표면까지의 거리(dBeam), 라이다 발광부(110)에서 기준 대상 물체의 중심까지의 거리(dSph), 기준 대상 물체의 반지름(rSph) 등 중 적어도 하나의 정보를 모델링하여 레퍼런스 데이터를 생성할 수 있다.
한편, 레퍼런스 맵 생성부(132)는 라이다 데이터에 포함된 복수의 정보 각각의 정확도, 사용빈도 등에 대한 가중치를 부여하여 레퍼런스 데이터를 조정할 수 있다. 예를 들어, 대상 물체 인식장치(100)에서 인식하고자 하는 대상 물체가 특정되거나, 형상의 범주가 정해져 있는 경우, 레퍼런스 맵 생성부(132)는 구형 수광체에서 획득한 라이다 데이터에 포함된 복수의 정보 각각에 대상 물체를 인식하기 위한 정확도, 사용빈도 등을 기반으로 산출된 가중치를 부여하여 레퍼런스 데이터를 생성하거나 조정할 수 있다. 레퍼런스 맵 생성부(132)는 가중치를 적용하여 생성된 레퍼런스 데이터를 가상 라이다 데이터 생성부(134)로 전달하여 가중치 기반의 가상 라이다 데이터가 생성될 수 있도록 한다.
또한, 레퍼런스 맵 생성부(132)는 라이다 데이터에 포함된 복수의 정보 각각에 정보의 중요도 또는 사용자의 설정에 따라 우선순위 설정값이 부여되어 있는 경우, 우선순위 설정값을 기반으로 가중치를 부여하여 레퍼런스 데이터를 조정할 수도 있다. 예를 들어, 레퍼런스 맵 생성부(132)는 라이다 발광부(110)와 기준 대상 물체(300)와의 각도(θBeam, 우선순위 설정값: 10), 라이다 발광부(110)에서 기준 대상 물체(300)의 표면까지의 거리(dBeam, 우선순위 설정값: 20), 라이다 발광부(110)에서 기준 대상 물체(300)의 중심까지의 거리(dSph, 우선순위 설정값: 30), 기준 대상 물체(300)의 반지름(rSph, 우선순위 설정값: 40) 등을 포함하는 라이다 데이터를 획득할 수 있고, 우선순위에 대한 가중치를 부여하여 조정된 레퍼런스 데이터를 이용하여 레퍼런스 맵을 생성할 수 있다.
또한, 레퍼런스 맵 생성부(132)는 라이다 데이터에 포함된 복수의 정보 각각의 정확도, 사용빈도 등에 대한 제1 가중치를 부여하여 제1 조정 라이다 데이터를 생성하고, 사용자에 의해 기 설정된 레퍼런스 맵 생성 조건을 확인하여 제1 조정 라이다 데이터가 해당 조건을 만족하는 경우 레퍼런스 맵을 생성할 수 있다. 한편, 레퍼런스 맵 생성부(132)는 사용자에 의해 기 설정된 레퍼런스 맵 생성 조건(예: 라이다 데이터에 포함된 복수의 정보 각각에 대해 기 설정된 기준 조건)을 확인하여 제1 조정 라이다 데이터가 해당 조건을 만족하지 못하는 경우 라이다 데이터에 포함된 복수의 정보 각각에 정보의 중요도 또는 사용자의 설정에 따라 부여된 우선순위 설정값을 기반 제2 가중치를 추가로 부여하여 제2 조정 라이다 데이터를 생성하여 레퍼런스 맵을 생성할 수 있다. 여기서, 레퍼런스 맵 생성부(132)는 제1 가중치를 적용한 후 제2 가중치를 적용하여 레퍼런스 맵을 생성하는 것을 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 가중치를 적용하는 순서는 변경될 수 있다.
가상 라이다 데이터 생성부(134)는 생성된 레퍼런스 맵을 기반으로 가상 대상 물체에 대한 가상 라이다 데이터를 생성하는 동작을 수행한다.
가상 라이다 데이터 생성부(134)는 레퍼런스 맵에 포함된 복수의 레퍼런스 데이터를 이용하여 가상 라이다 데이터를 생성할 수 있다. 즉, 가상 라이다 데이터 생성부(134)는 레퍼런스 맵에 포함된 복수의 레퍼런스 데이터의 조합 또는 레퍼런스 데이터의 값을 변경하여 가상 라이다 데이터를 생성할 수 있다.
한편, 가상 라이다 데이터 생성부(134)는 생성적 적대 신경망(GAN: Generative Adversarial Network)의 인코더 및 생성자(Generator)로 구현될 수 있으며, 생성적 적대 신경망의 인코더 및 생성자를 통해 복수의 가상 라이다 데이터를 생성할 수 있다. 여기서, 인코더 및 생성자를 통해 생성된 가상 라이다 데이터는 레퍼런스 맵에 포함된 복수의 레퍼런스 데이터를 입력으로 레퍼런스 데이터 각각의 특징값을 기반으로 복수의 가상 라이다 데이터를 생성할 수 있다.
데이터 학습부(136)는 가상 라이다 데이터를 이용하여 대상 물체의 인식을 위한 가중치를 결정하는 동작을 수행한다.
데이터 학습부(136)는 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정할 수 있다. 한편, 데이터 학습부(136)는 가상 라이다 데이터만을 이용하여 학습을 수행하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 데이터 학습부(136)는 가상 라이다 데이터와 기준 대상 물체에 대한 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정할 수도 있다. 여기서, 데이터 학습부(136)는 가상 라이다 데이터에 기준 대상 물체에 대한 라이다 데이터의 전체 또는 일부를 결합시켜 딥러닝 학습을 수행할 수 있다. 여기서, 학습 결과에 근거하여 결정된 가중치는 대상 물체의 동작 인식 시 사용되는 동작 인식 알고리즘에 적용되는 가중치로써, 동작 인식 알고리즘에 포함된 컨볼루션 레이어 층 또는 히든 레이어 층에 적용되는 가중치일 수 있다.
인식부(140)는 학습 결과에 따라 결정된 가중치를 적용하여 대상 물체를 인식하고, 인식 결과를 산출하는 동작을 수행한다. 본 실시예에 따른 인식부(140)는 대상 인식부(142) 및 인식 결과 산출부(144)를 포함할 수 있다.
인식부(140)는 신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 가중치를 적용하여 신규 대상 물체를 인식하는 동작을 수행한다.
대상 인식부(142)는 학습 결과에 근거하여 결정된 가중치를 적용하여 신규 라이다 데이터를 분석하여 신규 대상 물체를 인식하는 동작을 수행한다.
인식 결과 산출부(144)는 인식된 신규 대상 물체의 위치 정보를 산출하는 동작을 수행한다.
도 2는 본 발명의 실시예에 따른 대상 물체 인식 방법을 설명하기 위한 순서도이다.
대상 물체 인식장치(100)는 레이저 광을 기준 대상 물체로 발광하고, 기준 대상 물체에서 반사된 반사신호를 기반으로 라이다 데이터를 획득한다(S210).
대상 물체 인식장치(100)는 구형 수광체 형태의 기준 대상 물체에 대한 라이다 데이터를 획득하며, 구형 수광체에서 산란(Scatter)되는 신호를 제외한 반사 신호의 반사율(Reflectance)을 기반으로 라이다 데이터를 획득한다. 여기서, 획득된 라이다 데이터는 구형 수광체의 표면 재질, 표면 색상 등에 대한 표면 조건에 따라 서로 상이할 수 있다.
이하, 대상 물체 인식장치(100)에서, 획득된 라이다 데이터를 기반으로 학습을 수행하는 동작을 설명하도록 한다.
대상 물체 인식장치(100)는 획득된 라이다 데이터를 기반으로 모델링을 수행하여 생성된 거리(Range) 데이터 및 강도(Intensity) 데이터를 기반으로 레퍼런스 맵을 생성한다(S220). 구체적으로, 대상 물체 인식장치(100)는 라이다 데이터에 포함된 거리 데이터 및 강도 데이터를 모델링하여 레퍼런스 데이터를 생성하고, 레퍼런스 데이터를 기반으로 기준 대상 물체의 표면 조건에 따른 레퍼런스 맵을 생성한다. 여기서, 대상 물체 인식장치(100)는 기준 대상 물체의 표면 재질, 표면 색상 등에 대한 표면 조건 별 레퍼런스 데이터를 이용하여 레퍼런스 맵을 생성할 수 있다.
대상 물체 인식장치(100)는 생성된 레퍼런스 맵을 기반으로 가상 대상 물체에 대한 가상 라이다 데이터를 생성한다(S230). 대상 물체 인식장치(100)는 레퍼런스 맵에 포함된 복수의 레퍼런스 데이터의 조합 또는 레퍼런스 데이터의 값을 변경하여 가상 라이다 데이터를 생성할 수 있다.
대상 물체 인식장치(100)는 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정한다(S240). 여기서, 대상 물체 인식장치(100)는 가상 라이다 데이터만을 이용하여 가중치를 결정하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 대상 물체 인식장치(100)는 가상 라이다 데이터와 기준 대상 물체에 대한 라이다 데이터(실제 라이다 데이터)를 혼합하여 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정할 수도 있다.
이하, 대상 물체 인식장치(100)에서, 학습을 통해 결정된 가중치를 기반으로 대상 물체를 인식하는 동작을 설명하도록 한다.
대상 물체 인식장치(100)는 대상 물체에 대한 신규 라이다 데이터가 획득되면, 결정된 가중치를 적용하여 대상 물체를 인식한다(S250).
대상 물체 인식장치(100)는 인식된 대상 물체에 대한 위치 정보를 산출하여 대상 인식 결과를 생성한다(S260).
도 2에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 2에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
도 2에 기재된 본 실시예에 따른 대상 물체 인식 방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 대상 물체 인식 방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.
도 3은 본 발명의 실시예에 따른 대상 물체 인식을 위한 라이다 데이터 획득 및 모델링 동작을 설명하기 위한 도면이다.
대상 물체 인식장치(100)는 레이저 발광부(110)를 통해 기준 대상 물체(300)로 레이저 광을 조사하고, 기준 대상 물체(300)에서 반사된 반사 신호(302)를 수신하여 라이다 데이터를 획득한다. 여기서, 대상 물체 인식장치(100)는 대상 물체의 외형에 따라 취득되는 데이터의 오차를 최소화하기 위해 구형 수광체를 기준 대상 물체(300)로 이용하여 라이다 데이터를 획득한다.
대상 물체 인식장치(100)는 기준 대상 물체(300)에서 산란(Scatter)된 신호(304)를 제외한 반사 신호(302)의 반사율(Reflectance)을 기반으로 거리(Range) 데이터 및 강도(Intensity) 데이터를 포함하는 라이다 데이터를 획득할 수 있다. 여기서, 대상 물체 인식장치(100)는 조사된 레이저광이 기준 대상 물체(300)에 반사되어 반사 신호(302)로 수신되는 시간 및 강도를 측정해 거리, 표면 정보, 방향, 속도, 온도, 표면의 물질 분포 및 농도 특성 등을 포함하는 라이다 데이터를 획득할 수 있다. 예를 들어, 대상 물체 인식장치(100)는 반사 신호(302)를 이용하여 레이저 광을 조사하는 라이다 발광부(110)와 기준 대상 물체(300)와의 각도(θBeam, 306, 308), 라이다 발광부(110)에서 기준 대상 물체(300)의 표면까지의 거리(dBeam, 320), 라이다 발광부(110)에서 기준 대상 물체(300)의 중심까지의 거리(dSph, 330), 기준 대상 물체(300)의 반지름(rSph, 310) 등을 포함하는 라이다 데이터를 획득할 수 있다.
또한, 대상 물체 인식장치(100)는 라이다 데이터에 포함된 거리(Range) 데이터 및 강도(Intensity) 데이터를 모델링하여 레퍼런스 데이터(ireflect)를 생성할 수 있다. 여기서, 모델링된 레퍼런스 데이터(ireflect)는 수학식 1과 같이 정의될 수 있다.
Figure PCTKR2021001222-appb-M000001
(f(x): 기 설정된 모델링 함수, rSph: 기준 대상 물체(300)의 반지름, dSph: 라이다 발광부(110)에서 기준 대상 물체(300)의 중심까지의 거리, dBeam: 라이다 발광부(110)에서 기준 대상 물체(300)의 표면까지의 거리, θBeam: 라이다 발광부(110)와 기준 대상 물체(300)와의 각도)
대상 물체 인식장치(100)는 기준 대상 물체(300)의 표면 조건 별로 레퍼런스 데이터를 생성하여 레퍼런스 맵을 생성한다. 즉, 대상 물체 인식장치(100)는 기준 대상 물체(300)의 표면 재질, 표면 색상 등에 대한 표면 조건 별 레퍼런스 데이터를 이용하여 레퍼런스 맵을 생성할 수 있다.
도 4는 본 발명의 다른 실시예에 따른 대상 물체 인식장치를 개략적으로 나타낸 블록 구성도이다.
블록 110에서, 대상 물체 인식장치(100)는 기준 대상 물체(300)로 레이저 광을 조사하고, 기준 대상 물체(300)에서 반사된 반사 신호(302)를 수신하여 라이다 데이터를 획득한다. 여기서, 대상 물체 인식장치(100)는 대상 물체의 외형에 따라 취득되는 데이터의 오차를 최소화하기 위해 구형 수광체를 기준 대상 물체(300)로 이용하여 라이다 데이터를 획득한다(블록 110).
블록 120에서, 대상 물체 인식장치(100)는 획득된 라이다 데이터를 이용하여
기준 대상 물체(300)의 재질 (예: 직물(fabric), 금속(metal), 목재(wood) 등), 색상 등의 표면 조건 별로 라이다 데이터의 거리(Range) 데이터 및 강도(Intensity) 데이터를 모델링하여 레퍼런스 데이터(ireflect)를 생성한다. 라이다는 거리(Range) 데이터 및 강도(Intensity) 데이터가 동시에 취득되며, 거리(Range) 데이터는 라이다 발광부(110)에서 기준 대상 물체(300)의 표면까지의 거리를 나타내며, 강도(Intensity) 데이터는 방사된 레이저광에 대해 기준 대상 물체가 반사하는 반사 신호의 세기를 나타내는 정보로 대상 물체의 표면 데이터를 제공한다.
블록 132에서, 대상 물체 인식장치(100)는 레퍼런스 데이터를 기반으로 실제 대상 물체에 대한 라이다 데이터를 추출할 수 있다. 여기서, 대상 물체 인식장치(100)는 레퍼런스 데이터를 기반으로 실제 라이다 데이터를 추출하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 레이저광을 조사하여 수신된 반사신호를 기반으로 획득한 라이다 데이터일 수도 있다.
블록 134에서, 대상 물체 인식장치(100)는 가상 대상 물체에 대한 가상 라이다 데이터를 생성한다. 구체적으로, 대상 물체 인식장치(100)는 기준 대상 물체(300)을 이용하여 모델링된 레퍼런스 데이터를 이용하여 가상의 공간에 존재하는 가상 대상 물체에 대한 가상 라이다 데이터를 생성한다. 여기서, 가상 라이다 데이터를 가상 거리(Range) 데이터 및 가상 강도(Intensity) 데이터를 포함할 수 있다.
블록 136에서, 대상 물체 인식장치(100)는 가상 라이다 데이터를 이용하여 대상 물체의 인식을 위한 가중치를 결정하는 동작을 수행한다.
구체적으로, 대상 물체 인식장치(100)는 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정할 수 있다. 한편, 대상 물체 인식장치(100)는 가상 라이다 데이터만을 이용하여 학습을 수행하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 예를 들어, 대상 물체 인식장치(100)는 가상 라이다 데이터와 기준 대상 물체에 대한 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정할 수도 있다. 여기서, 대상 물체 인식장치(100)는 가상 라이다 데이터에 기준 대상 물체에 대한 라이다 데이터의 전체 또는 일부를 결합시켜 딥러닝 학습을 수행할 수 있다.
블록 142 및 144에서, 대상 물체 인식장치(100)는 블록 136에서 학습된 학습 결과에 따라 결정된 가중치를 적용하여 대상 물체를 인식하고, 인식 결과를 산출하는 동작을 수행한다.
대상 물체 인식장치(100)는 신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 기 학습된 학습 결과를 적용하여 신규 대상 물체에 대한 인식하고, 신규 라이다 데이터의 거리 데이터 및 강도 데이터를 이용하여 신규 대상 물체의 위치 정보를 산출할 수 있다.
도 5는 본 발명의 또 다른 실시예에 따른 대상 물체 인식장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 대상 물체 인식장치(500)는 송신부(510), 수신부(520), 프로세서(530), 메모리(540) 및 데이터 베이스(550)를 포함할 수 있다. 도 5의 대상 물체 인식장치(500)는 일 실시예에 따른 것으로서, 도 5에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 대상 물체 인식장치(500)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 한편, 대상 물체 인식장치(500)는 컴퓨팅 디바이스로 구현될 수 있고, 대상 물체 인식장치(500)에 포함된 각 구성요소들은 각각 별도의 소프트웨어 장치로 구현되거나, 소프트웨어가 결합된 별도의 하드웨어 장치로 구현될 수 있다.
대상 물체 인식장치(500)는 기준 대상 물체에 레이저 광을 조사하고, 기준 대상 물체에 반사된 반사신호를 기반으로 생성된 라이다 데이터를 획득한다. 대상 물체 인식장치(500)는 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정하는 동작을 수행한다. 또한, 대상 물체 인식장치(500)는 신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 가중치를 적용하여 신규 대상 물체를 인식하는 동작을 수행한다.
송신부(510)는, 송신 신호를 생성하여 출력할 수 있다. 송신부(510)는, 프로세서(530)의 제어를 받을 수 있다. 송신부(510)는, 레이저광의 형태로 송신 신호를 출력할 수 있다. 송신부(510)는 전기적 신호를 광으로 전환할 수 있으며, 레이저 생성부(미도시)를 포함할 수 있다. 예를 들면, 송신부(510)는 FMCW(Frequency Modulated Continuous Wave) 형태로 송신 신호를 출력할 수 있다. 또한, 송신부(510)는 생성된 레이저광에 대한 빔스티어링을 수행 할 수 있다. 예를 들면, 송신부(510)는 레이저광의 경로를 변경하여 빔스티어링을 수행할 수 있다.
수신부(520)는, 수신 신호를 획득할 수 있다. 여기서, 수신 신호는 송신 신호가 대상 물체에 반사되어 되돌아오는 반사신호이다. 수신부(520)는 프로세서(530)의 제어를 받을 수 있다.
만약, FMCW에 대응되는 송신 신호가 출력되는 경우, 수신부(520)는, FMCW에 대응되는 수신 신호를 획득할 수 있다.
수신부(520)는 레이저광에 대한 반사신호를 수신하는 경우, 포토 디텍터(미도시)를 포함할 수 있다. 포토 디텍터는 광을 전기로 전환할 수 있으며, 복수의 포토 다이오드(PD)를 포함하여 구현될 수 있다.
수신부(520)는 송신되는 레이저 광 각각의 지점에서 반사신호를 수신할 수 있다. 예를 들면, 제1 지점을 향해 레이저광이 출력되면, 수신부(520)는 제1 지점에서 되돌아오는 반사신호를 수신할 수 있다. 또한, 제2 지점을 향해 레이저광이 출력되면, 수신부(520)는 제2 지점에서 되돌아오는 반사신호를 수신할 수 있다. 이와 같이, 수신부(520)는 연속적인 복수의 지점에서 되돌아 오는 반사신호를 수신하여 각 지점에서의 반사신호를 센싱할 수 있다.
프로세서(530)는 메모리(540)에 포함된 적어도 하나의 명령어 또는 프로그램을 실행시키는 기능을 수행한다.
본 실시예에 따른 프로세서(530)는 송신부(510) 및 수신부(520)를 이용하여 획득된 라이다 데이터를 기반으로 학습을 수행하는 동작을 수행한다.
프로세서(530)는 획득된 라이다 데이터를 기반으로 모델링을 수행하여 생성된 거리(Range) 데이터 및 강도(Intensity) 데이터를 기반으로 레퍼런스 맵을 생성한다. 구체적으로, 프로세서(530)는 라이다 데이터에 포함된 거리 데이터 및 강도 데이터를 모델링하여 레퍼런스 데이터를 생성하고, 레퍼런스 데이터를 기반으로 기준 대상 물체의 표면 조건에 따른 레퍼런스 맵을 생성한다. 여기서, 프로세서(530)는 기준 대상 물체의 표면 재질, 표면 색상 등에 대한 표면 조건 별 레퍼런스 데이터를 이용하여 레퍼런스 맵을 생성할 수 있다.
또한, 프로세서(530)는 생성된 레퍼런스 맵을 기반으로 가상 대상 물체에 대한 가상 라이다 데이터를 생성한다. 프로세서(530)는 레퍼런스 맵에 포함된 복수의 레퍼런스 데이터의 조합 또는 레퍼런스 데이터의 값을 변경하여 가상 라이다 데이터를 생성할 수 있다.
또한, 프로세서(530)는 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정한다. 여기서, 프로세서(530)는 가상 라이다 데이터만을 이용하여 가중치를 결정하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니다. 프로세서(530)는 가상 라이다 데이터와 기준 대상 물체에 대한 라이다 데이터(실제 라이다 데이터)를 혼합하여 딥러닝 학습을 수행하고, 학습 결과에 근거하여 가중치를 결정할 수도 있다.
본 실시예에 따른 프로세서(530)는 학습을 통해 결정된 가중치를 기반으로 대상 물체를 인식하는 동작을 수행한다.
프로세서(530)는 송신부(510) 및 수신부(520)를 이용하여 대상 물체에 대한 신규 라이다 데이터가 획득되면, 학습 결과에 근거하여 결정된 가중치를 적용하여 대상 물체를 인식한다. 프로세서(530)는 인식된 대상 물체에 대한 위치 정보를 산출하여 대상 인식 결과를 생성할 수 있다.
메모리(540)는　프로세서(530)에 의해 실행 가능한 적어도 하나의 명령어 또는 프로그램을 포함한다. 메모리(540)는　라이다 데이터를 획득하는 동작, 모델링을 수행하는 동작, 가상 라이다 데이터를 생성하는 동작, 학습 동작 등을 위한 명령어 또는 프로그램을 포함할 수 있다. 또한, 메모리(540)는 학습 결과를 적용하는 동작, 대상 물체의 인식을 수행하는 동작 등을 위한 명령어 또는 프로그램을 포함할 수 있다. 메모리(540)는 하드웨어적으로 ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수도 있다.
데이터베이스(150)는 데이터베이스 관리 프로그램(DBMS)을 이용하여 컴퓨터 시스템의 저장공간(하드디스크 또는 메모리)에 구현된 일반적인 데이터구조를 의미하는 것으로, 데이터의 검색(추출), 삭제, 편집, 추가 등을 자유롭게 행할 수 있는 데이터 저장형태를 뜻하는 것으로, 오라클(Oracle), 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이타베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이타베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 일 실시예의 목적에 맞게 구현될 수 있고, 자신의 기능을 달성하기 위하여 적당한 필드(Field) 또는 엘리먼트들을 가지고 있다.
본 실시예에 따른 데이터베이스(150)는 대상 물체의 인식과 관련된 데이터를 저장하고, 기 저장된 대상 물체 인식과 관련된 데이터를 제공할 수 있다.
데이터베이스(150)에 저장된 데이터는 기준 대상 물체에 대한 라이다 데이터, 가상 라이다 데이터, 레퍼런스 데이터, 레퍼런스 맵, 학습 결과, 가중치, 대상 물체 인식 결과, 대상 물체의 위치 정보 등에 대한 데이터일 수 있다. 데이터베이스(140)는 대상 물체 인식장치(500) 내에 구현되는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 별도의 데이터 저장장치로 구현될 수도 있다.
도 6은 본 발명의 실시예에 따른 대상 물체 인식장치를 이용한 이동체를 나타낸 블록 구성도이다.
도 6에 도시한 바와 같이, 이동체(10)는 대상 물체 인식장치(100) 및 이동 장치(200)를 포함한다. 이동체(10)는 도 6에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 이동체는 청소부를 추가로 포함할 수 있다.
본 실시예에 따른 이동체(10)는 대상 물체에 조사된 레이저광이 반사된 반사신호를 기반으로 라이다 데이터를 획득하고, 기 학습된 학습 결과를 적용하여 대상 물체의 위치 정보를 산출하는 대상 물체 인식장치(100)와 대상 물체의 위치를 기반으로 이동체(10)를 이동시키는 이동 장치(200)를 포함한다. 여기서, 대상 물체 인식장치(100)는, 기준 대상 물체를 통한 학습 결과를 기반으로 결정된 가중치를 적용하여 대상 물체의 라이다 데이터를 기반으로 대상 물체의 위치 정보를 산출하여 이동체(10)가 이동되도록 한다.
이동체(10)에 포함된 이동 장치(200)는 미리 정의된 방식에 따라 특정 위치에서 다른 위치로 이동 가능하도록 설계된 장치를 의미하며, 바퀴, 레일, 보행용 다리, 날개, 멀티로터 등과 같은 이동 수단을 이용하여, 특정 위치에서 다른 위치로 이동할 수 있다.
이동체(10)는 대상 물체 인식장치(100)를 이용하여 외부의 정보를 수집한 후 수집된 정보에 따라서 이동할 수도 있고, 사용자에 의해 별도의 조작 수단을 이용하여 이동할 수 있다. 이동체(10)의 일례로는 로봇 청소기, 장난감 자동차, 산업용 또는 군사용 목적 등으로 이용 가능한 이동 로봇 등이 있을 수 있다.
로봇 청소기는 청소 공간을 주행하면서 바닥에 쌓인 먼지 등의 이물질을 흡입함으로써 청소 공간을 자동으로 청소하는 장치이다. 일반적인 청소기가 사용자에 의한 외력으로 이동하는 것과 달리, 로봇 청소기는 외부의 정보 또는 미리 정의된 이동 패턴을 이용하여 이동하면서 청소 공간을 청소한다.
로봇 청소기는 미리 정의된 패턴을 이용하여 자동적으로 이동하거나, 또는 감지 센서에 의해 외부의 장애물을 감지한 후, 감지된 바에 따라 이동할 수도 있고, 사용자에 의해 조작되는 원격 제어 장치로부터 전달되는 신호에 따라 이동 가능하다.
대상 물체 인식장치(100)의 감지 센서는 라이다(LIght Detection And Ranging, LIDAR)로 구현될 수 있다. 라이다는 레이저광를 조사하고, 반사되어 돌아오는 반사신호의 시간 및 세기를 측정하고, 빛의 속도를 이용하여 반사체의 거리 및 표면 정보를 측정하는 장치이다. 반사신호는 포토 다이오드를 통하여 전기적인 신호로 변경되며, 기 설정된 파장 대역을 가질 수 있다.
도 7은 본 발명의 실시예에 따른 이동체를 나타낸 예시도이다.
도 7를 참조하면, 이동체(10) 및 대상 물체(300) 간의 레이저광의 반사신호를 기반으로 거리(Range) 데이터 및 강도(Intensity) 데이터를 포함하는 라이다 데이터를 획득하여 대상 물체(300)의 거리 및 표면 정보를 측정하는 대상 물체 인식장치(100)가 이동 장치(200)의 본체의 상단부에 위치하고 있으나, 이는 예시일 뿐이며 이에 한정되는 것은 아니고 구현되는 설계에 따라 적합한 위치에서 하나 이상으로 구현될 수 있다.
대상 물체 인식장치(100)는 한 쌍의 광원 및 광 다이오드를 이용하여 광을 송수신하며, 이동성 거울 및 회전체를 이용하여 주변을 3 차원 스캐닝한다.
대상 물체 인식장치(100)는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상(300)과 대상 물체 인식장치(100) 사이의 거리를 측정한다.
이동 장치(200)는 대상 물체까지의 거리를 기반으로 주행 경로를 산출하거나 장애물을 검출하여 이동체(10)를 이동시킨다. 이동 장치(200)는 인공표식의 상대 위치를 기반으로 이동체(10)를 이동시킬 수 있다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
<부호의 설명>
100: 대상 물체 인식장치
110: 라이다 발광부 120: 라이다 데이터 획득부
130: 학습부 132: 레퍼런스 맵 생성부
134: 가상 라이다 데이터 생성부 136: 데이터 학습부
140: 인식부 142: 대상 인식부
144: 인식 결과 산출부

Claims (15)

  1. 대상 물체 인식 장치에서 대상 물체를 인식하는 방법에 있어서,
    기준 대상 물체에 레이저 광을 조사하는 조사 단계;
    상기 기준 대상 물체에 반사된 반사신호를 기반으로 생성된 라이다 데이터를 획득하는 획득 단계;
    상기 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정하는 학습 단계; 및
    신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 상기 가중치를 적용하여 상기 신규 대상 물체를 인식하는 인식 단계
    를 포함하는 것을 특징으로 하는 대상 물체 인식 방법.
  2. 제1항에 있어서,
    상기 획득 단계는,
    구형 수광체 형태의 상기 기준 대상 물체에 대한 상기 라이다 데이터를 획득하며,
    상기 구형 수광체에서 산란(Scatter)되는 신호를 제외한 상기 반사 신호의 반사율(Reflectance)을 기반으로 상기 라이다 데이터를 획득하는 것을 특징으로 하는 대상 물체 인식 방법.
  3. 제2항에 있어서,
    상기 획득 단계는,
    복수의 상기 기준 대상 물체 각각에 대한 상기 라이다 데이터를 획득하며, 상기 구형 수광체의 표면 조건을 변경하여 순차적으로 상기 라이다 데이터를 획득하는 것을 특징으로 하는 대상 물체 인식 방법.
  4. 제2항에 있어서,
    상기 학습 단계는,
    상기 라이다 데이터에 포함된 상기 거리(Range) 데이터 및 상기 강도(Intensity) 데이터를 기반으로 모델링을 수행하여 레퍼런스 맵을 생성하는 레퍼런스 생성 단계;
    상기 레퍼런스 맵을 기반으로 가상 대상 물체에 대한 가상 라이다 데이터를 생성하는 가상 데이터 생성 단계; 및
    상기 가상 라이다 데이터를 이용하여 대상 물체의 인식을 위한 가중치를 결정하는 가중치 결정 단계
    를 포함하는 것을 특징으로 하는 대상 물체 인식 방법.
  5. 제4항에 있어서,
    상기 레퍼런스 생성 단계는,
    상기 라이다 데이터에 포함된 복수의 데이터를 모델링하여 레퍼런스 데이터를 생성하고, 상기 레퍼런스 데이터를 기반으로 상기 기준 대상 물체의 표면 조건에 따른 상기 레퍼런스 맵을 생성하는 것을 특징으로 하는 대상 물체 인식 방법.
  6. 제5항에 있어서,
    상기 레퍼런스 생성 단계는,
    상기 라이다 데이터에 포함된 상기 레이저 광을 조사하는 라이다 발광부와 상기 기준 대상 물체와의 각도(θBeam), 상기 라이다 발광부에서 상기 기준 대상 물체의 표면까지의 거리(dBeam), 상기 라이다 발광부에서 상기 기준 대상 물체의 중심까지의 거리(dSph) 및 상기 기준 대상 물체의 반지름(rSph) 중 적어도 하나의 데이터를 모델링하여 상기 레퍼런스 데이터를 생성하는 것을 특징으로 하는 대상 물체 인식 방법.
  7. 제5항에 있어서,
    상기 레퍼런스 생성 단계는,
    상기 기준 대상 물체의 표면 재질 및 표면 색상에 대한 상기 표면 조건 별 상기 레퍼런스 데이터를 이용하여 상기 레퍼런스 맵을 생성하는 것을 특징으로 하는 대상 물체 인식 방법.
  8. 제5항에 있어서,
    상기 가상 데이터 생성 단계는,
    복수의 상기 레퍼런스 데이터의 조합 또는 상기 레퍼런스 데이터의 값을 변경하여 상기 가상 라이다 데이터를 생성하는 것을 특징으로 하는 대상 물체 인식 방법.
  9. 제4항에 있어서,
    상기 가중치 결정 단계는,
    상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하고, 학습 결과에 근거하여 상기 가중치를 결정하는 것을 특징으로 하는 대상 물체 인식 방법.
  10. 제4항에 있어서,
    상기 가중치 결정 단계는,
    상기 가상 라이다 데이터와 상기 기준 대상 물체에 대한 상기 라이다 데이터를 혼합하여 딥러닝 학습을 수행하고, 학습 결과에 근거하여 상기 가중치를 결정하는 것을 특징으로 하는 대상 물체 인식 방법.
  11. 제9항에 있어서,
    상기 인식 단계는,
    상기 신규 라이다 데이터를 기반으로 상기 신규 대상 물체를 인식하는 대상 인식 단계; 및
    상기 학습 결과에 근거하여 결정된 상기 가중치를 적용하여 상기 신규 대상 물체의 위치 정보를 산출하는 인식 결과 산출 단계
    를 포함하는 것을 특징으로 하는 대상 물체 인식 방법.
  12. 대상 물체를 인식하는 장치로서,
    레이저 광을 조사하는 송신부;
    상기 레이저 광에 대한 반사신호를 수신하는 수신부;
    하나 이상의 프로세서; 및
    상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하며, 상기 프로그램들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서들에서,
    조사된 상기 레이저 광이 기준 대상 물체에 반사된 반사신호를 기반으로 생성된 라이다 데이터를 획득하는 획득 단계;
    상기 라이다 데이터를 기반으로 레퍼런스 맵 및 가상 라이다 데이터를 생성하고, 상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하여 대상 물체의 인식을 위한 가중치를 결정하는 학습 단계; 및
    신규 대상 물체에 대한 신규 라이다 데이터가 획득되면, 상기 가중치를 적용하여 상기 신규 대상 물체를 인식하는 인식 단계
    를 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 대상 물체 인식장치.
  13. 제12항에 있어서,
    상기 획득 단계는,
    구형 수광체 형태의 상기 기준 대상 물체에 대한 상기 라이다 데이터를 획득하며, 상기 구형 수광체에서 산란(Scatter)되는 신호를 제외한 상기 반사 신호의 반사율(Reflectance)을 기반으로 상기 라이다 데이터를 획득하고,
    상기 학습 단계는,
    상기 라이다 데이터에 포함된 상기 거리(Range) 데이터 및 상기 강도(Intensity) 데이터를 기반으로 모델링을 수행하여 레퍼런스 맵을 생성하는 레퍼런스 생성 단계;
    상기 레퍼런스 맵을 기반으로 가상 대상 물체에 대한 가상 라이다 데이터를 생성하는 가상 데이터 생성 단계; 및
    상기 가상 라이다 데이터를 이용하여 대상 물체의 인식을 위한 가중치를 결정하는 가중치 결정 단계
    를 포함하는 것을 특징으로 하는 대상 물체 인식장치.
  14. 제13항에 있어서,
    상기 레퍼런스 생성 단계는,
    상기 라이다 데이터에 포함된 복수의 데이터를 모델링하여 레퍼런스 데이터를 생성하고, 상기 레퍼런스 데이터를 기반으로 상기 기준 대상 물체의 표면 조건에 따른 상기 레퍼런스 맵을 생성하되,
    상기 가중치 결정 단계는, 상기 가상 라이다 데이터를 기반으로 딥러닝 학습을 수행하거나 상기 가상 라이다 데이터와 상기 기준 대상 물체에 대한 라이다 데이터를 혼합하여 딥러닝 학습을 수행하고, 학습 결과에 근거하여 상기 가중치를 결정하는 것을 특징으로 하는 대상 물체 인식장치.
  15. 이동체에 있어서,
    레이저 광을 조사하고, 대상 물체에 상기 레이저광이 반사된 반사신호를 기반으로 라이다 데이터를 획득하고, 기 학습된 학습 결과를 적용하여 상기 대상 물체의 위치 정보를 산출하는 대상 물체 인식장치; 및
    상기 대상 물체의 위치를 기반으로 상기 이동체를 이동시키는 이동 장치를 포함하며,
    상기 대상 물체 인식장치는,
    기준 대상 물체를 통한 학습 결과를 기반으로 결정된 가중치를 적용하여 상기 대상 물체의 라이다 데이터를 기반으로 대상 물체의 위치 정보를 산출하여 상기 이동체가 이동되도록 하는 것을 특징으로 하는 이동체.
PCT/KR2021/001222 2020-01-31 2021-01-29 3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체 WO2021154037A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21746942.8A EP4155765A4 (en) 2020-01-31 2021-01-29 TARGET OBJECT RECOGNITION METHOD BASED ON 3D LIDAR, DEVICE AND MOBILE BODY USING SAME
US17/816,323 US20220381909A1 (en) 2020-01-31 2022-07-29 3d lidar based target object recognizing method, apparatus, and mobile object using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0012053 2020-01-31
KR1020200012053A KR102343445B1 (ko) 2020-01-31 2020-01-31 3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/816,323 Continuation US20220381909A1 (en) 2020-01-31 2022-07-29 3d lidar based target object recognizing method, apparatus, and mobile object using the same

Publications (1)

Publication Number Publication Date
WO2021154037A1 true WO2021154037A1 (ko) 2021-08-05

Family

ID=77078408

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001222 WO2021154037A1 (ko) 2020-01-31 2021-01-29 3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체

Country Status (4)

Country Link
US (1) US20220381909A1 (ko)
EP (1) EP4155765A4 (ko)
KR (1) KR102343445B1 (ko)
WO (1) WO2021154037A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116338628A (zh) * 2023-05-16 2023-06-27 中国地质大学（武汉） 一种基于学习架构的激光雷达测深方法、装置及电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023048549A1 (ko) * 2021-09-27 2023-03-30 주식회사 유진로봇 라이다 센서 및 그 제어 방법
US12001175B2 (en) * 2021-12-20 2024-06-04 Gm Cruise Holdings Llc Long tail lidar 3-D object detection improvement with targeted simulation data injection
KR102634135B1 (ko) * 2022-01-13 2024-02-07 주식회사 템퍼스 옷감 분석 장치 및 방법
WO2024215849A1 (en) * 2023-04-13 2024-10-17 Atieva, Inc. Positioning application for adas calibration target

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004125651A (ja) * 2002-10-03 2004-04-22 Nidec Copal Corp 光学式測距装置
KR20130135016A (ko) * 2012-05-31 2013-12-10 한국과학기술연구원 객체의 재질 인식 장치 및 방법
KR20150001119A (ko) * 2013-06-26 2015-01-06 현대모비스 주식회사 물체 인식 시스템
KR20180088009A (ko) * 2017-01-26 2018-08-03 (주)더블유알티랩 레이더를 이용한 거리 측정 방법 및 장치
WO2019139656A1 (en) * 2017-10-13 2019-07-18 The Regents Of The University Of Michigan Material-sensing light imaging, detection, and ranging (lidar) systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720415B2 (en) * 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
KR102287460B1 (ko) * 2019-08-16 2021-08-10 엘지전자 주식회사 인공지능 무빙 에이전트
KR20190106861A (ko) * 2019-08-27 2019-09-18 엘지전자 주식회사 학습 데이터를 생성하는 인공 지능 장치, 인공 지능 서버 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004125651A (ja) * 2002-10-03 2004-04-22 Nidec Copal Corp 光学式測距装置
KR20130135016A (ko) * 2012-05-31 2013-12-10 한국과학기술연구원 객체의 재질 인식 장치 및 방법
KR20150001119A (ko) * 2013-06-26 2015-01-06 현대모비스 주식회사 물체 인식 시스템
KR20180088009A (ko) * 2017-01-26 2018-08-03 (주)더블유알티랩 레이더를 이용한 거리 측정 방법 및 장치
WO2019139656A1 (en) * 2017-10-13 2019-07-18 The Regents Of The University Of Michigan Material-sensing light imaging, detection, and ranging (lidar) systems

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4155765A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116338628A (zh) * 2023-05-16 2023-06-27 中国地质大学（武汉） 一种基于学习架构的激光雷达测深方法、装置及电子设备
CN116338628B (zh) * 2023-05-16 2023-09-15 中国地质大学（武汉） 一种基于学习架构的激光雷达测深方法、装置及电子设备

Also Published As

Publication number Publication date
KR102343445B1 (ko) 2021-12-27
EP4155765A1 (en) 2023-03-29
KR20210098187A (ko) 2021-08-10
EP4155765A4 (en) 2024-08-28
US20220381909A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
WO2021154037A1 (ko) 3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체
US11821987B2 (en) Multiple resolution, simultaneous localization and mapping based on 3-D LIDAR measurements
US9360301B2 (en) Method and apparatus for using gestures to control a laser tracker
WO2018088610A1 (ko) 레이저 스캐너를 이용한 대상 물체의 실시간 동적 위치 추적이 가능한 3ｄ 레이저 스캐너 시스템
CN110344621A (zh) 一种面向智能车库的车轮点云检测方法
WO2021137483A1 (ko) 자율주행 로봇을 이용한 지도 업데이트 방법 및 시스템
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
CN104777521A (zh) 一种基于双目视觉的列车车门与站台屏蔽门之间异物检测系统及其检测方法
Yang et al. Infrared LEDs-based pose estimation with underground camera model for boom-type roadheader in coal mining
CN111239768A (zh) 一种电力巡检机器人自主构建地图并查找巡检目标的方法
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
KR20210025327A (ko) 이동 로봇 및 그 제어 방법
CN114964213B (zh) 基于姿态感知和视觉扫描的建筑工程施工定位系统及方法
WO2018151504A1 (ko) 레이더를 이용하여 포인팅 위치를 인식하는 방법 및 장치
WO2016209029A1 (ko) 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
Du et al. A passive target recognition method based on LED lighting for industrial internet of things
JP2010002326A (ja) 移動ベクトル検出装置
WO2015008873A1 (ko) 이종 카메라를 이용한 3차원 영상 인식 장치 및 방법
WO2019039726A1 (ko) 인공표식 인식 장치, 인공표식, 및 이동체
CN107449373B (zh) 基于立体视觉的高速结构光扫描方法与系统
US10408604B1 (en) Remote distance estimation system and method
Robinson et al. Methodology to investigate interference using off-the-shelf LiDARs
WO2024025293A1 (ko) 무인 반송차 및 무인 반송차의 이동을 제어하기 위한 방법
WO2023146023A1 (ko) 3차원 시정정보를 제공하기 위한 방법 및 이를 위한 시정모델 생성 방법
Ramer et al. Work space surveillance of a robot assistance system using a ToF camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21746942

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021746942

Country of ref document: EP

Effective date: 20220831