KR102323234B1 - Method for processing point cloud data of artificial neural network and apparatus thereof - Google Patents

Method for processing point cloud data of artificial neural network and apparatus thereof Download PDF

Info

Publication number
KR102323234B1
KR102323234B1 KR1020200038014A KR20200038014A KR102323234B1 KR 102323234 B1 KR102323234 B1 KR 102323234B1 KR 1020200038014 A KR1020200038014 A KR 1020200038014A KR 20200038014 A KR20200038014 A KR 20200038014A KR 102323234 B1 KR102323234 B1 KR 102323234B1
Authority
KR
South Korea
Prior art keywords
neural network
point cloud
data
cloud data
value
Prior art date
Application number
KR1020200038014A
Other languages
Korean (ko)
Inventor
신동주
이정승
Original Assignee
주식회사 모빌린트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모빌린트 filed Critical 주식회사 모빌린트
Priority to KR1020200038014D priority Critical patent/KR20210121415A/en
Priority to KR1020200038014A priority patent/KR102323234B1/en
Application granted granted Critical
Publication of KR102323234B1 publication Critical patent/KR102323234B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G06T3/0037—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 인공신경망에서 점 구름 데이터를 처리하기 위한 방법 및 그 장치에 관한 것으로, 센서를 이용하여 점 구름 데이터를 생성하는 과정과; 상기 점 구름 데이터를 3차원 좌표로 변환하는 과정과; 상기 변환된 3차원 좌표를 이진 복셀 데이터로 변환하는 과정과; 상기 이진 복셀 데이터를 제1 신경망의 입력단에 전송하여 연산하는 과정과; 상기 제1 신경망의 출력값을 제2 신경망의 입력단에 전송하여 연산하는 과정을 포함하는 방법에 관한 것이다.The present invention relates to a method and an apparatus for processing point cloud data in an artificial neural network, comprising the steps of: generating point cloud data using a sensor; converting the point cloud data into three-dimensional coordinates; converting the converted 3D coordinates into binary voxel data; transmitting and calculating the binary voxel data to an input terminal of a first neural network; and transmitting the output value of the first neural network to an input terminal of a second neural network for calculation.

Description

인공신경망에서 점 구름 데이터를 처리하기 위한 방법 및 그 장치{METHOD FOR PROCESSING POINT CLOUD DATA OF ARTIFICIAL NEURAL NETWORK AND APPARATUS THEREOF}Method and device for processing point cloud data in artificial neural network

본 발명은 인공신경망에서 점 구름 데이터를 처리하기 위한 방법 및 그 장치에 관한 것으로, 점 구름 데이터를 이진 복셀 데이터로 변환하여 처리하므로 데이터 처리 효율을 높일 수 있는 인공신경망에서 이진복셀 데이터를 처리하기 위한 방법 및 그 장치에 관한 것이다.The present invention relates to a method and an apparatus for processing point cloud data in an artificial neural network, and for processing binary voxel data in an artificial neural network that can increase data processing efficiency by converting the point cloud data into binary voxel data and processing the data. It relates to a method and an apparatus therefor.

인공신경망은 뇌의 뉴런과 그 연결 구조에서 착안한 것으로 시각, 음성, 언어 등 많은 분야에서 이용되고 있으며 자율주행, IoT, 스마트공장 등 4차 산업혁명에서 주요 기술로 활용되고 있다. 높은 성능으로 활용도가 높으나 인공신경망에서 연산을 위한 요구사항이 방대하여 범용 프로세서인 CPU 또는 GPU로 충족시키기 어려워 CPU 또는 GPU 보다 훨씬 높은 효율로 처리가능한 인공신경망 전용 연산 장치가 개발되고 있다.Artificial neural networks, inspired by neurons and their connection structures in the brain, are used in many fields such as vision, voice, and language, and are being used as major technologies in the 4th industrial revolution such as autonomous driving, IoT, and smart factories. Although it has high utilization due to its high performance, the computational requirements for artificial neural networks are vast and difficult to meet with general-purpose processors such as CPUs or GPUs, so an artificial neural network dedicated computational device that can process with much higher efficiency than CPUs or GPUs is being developed.

한편, ToF(Time of Flight) 센서는 3차원 거리 및 위치 측정에 이용되는데 자율주행, 스마트 홈, 스마트 공장 등에서는 3차원 물체를 측정하기 위해 인공신경망을 이용하여 ToF 센서 데이터를 처리하고 있다. ToF 센서는 적외선 등 빛이 물체에 닿았다가 반사되어 돌아오는 시간을 측정하는 방식으로 구동되며 빛의 방향과 돌아오는 시간을 통해 3차원 점의 좌표를 생성하고 이를 모아 점 구름(Point Cloud)을 형성한다. 점 구름 내 점들은 순서가 없고 밀도가 희박한 특징을 가지며 원본 데이터를 잘 반영하기 위해서는 데이터의 크기가 증가하는데, 이로 인해 인공신경망의 연산량이 증가하여 연산 효율이 떨어지는 문제가 있다.Meanwhile, a Time of Flight (ToF) sensor is used to measure a three-dimensional distance and position. In order to measure a three-dimensional object in autonomous driving, a smart home, and a smart factory, the ToF sensor data is processed using an artificial neural network. The ToF sensor is driven by measuring the time it takes for light, such as infrared light, to strike an object and then to be reflected back. Based on the light direction and return time, the coordinates of a three-dimensional point are created and collected to form a point cloud. do. The points in the point cloud are out of order and have a sparse density, and the size of the data increases to reflect the original data well.

본 발명은 인공신경망에서 점 구름 데이터를 효율적으로 처리하기 위한 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for efficiently processing point cloud data in an artificial neural network.

또한, 본 발명은 인공신경망에서 점 구름 데이터를 이진복셀 데이터로 변환하여 처리하기 위한 방법 및 그 장치에 관한 것이다.In addition, the present invention relates to a method and apparatus for converting point cloud data into binary voxel data in an artificial neural network and processing the same.

본 발명은 센서를 이용하여 점 구름 데이터를 생성하는 과정과; 상기 점 구름 데이터를 3차원 좌표로 변환하는 과정과; 상기 변환된 3차원 좌표를 이진 복셀 데이터로 변환하는 과정과; 상기 이진 복셀 데이터를 제1 신경망의 입력단에 전송하여 연산하는 과정과; 상기 제1 신경망의 출력값을 제2 신경망의 입력단에 전송하여 연산하는 과정을 포함하는 인공신경망에서 점 구름 데이터를 처리하기 위한 방법에 관한 것이다.The present invention includes a process of generating point cloud data using a sensor; converting the point cloud data into three-dimensional coordinates; converting the converted 3D coordinates into binary voxel data; transmitting and calculating the binary voxel data to an input terminal of a first neural network; The present invention relates to a method for processing point cloud data in an artificial neural network, comprising the step of transmitting and calculating an output value of the first neural network to an input terminal of a second neural network.

여기서, 이진 복셀 데이터로 변환하는 과정은, 상기 3차원 좌표를 복셀화하는 과정과; 상기 각각의 셀에 점 구름 데이터가 포함되어 있는지 여부에 따라 각 셀의 값을 이진화하여 상기 이진 복셀 데이터로 변환하는 과정을 포함할 수 있다.Here, the process of converting the binary voxel data may include: voxelizing the 3D coordinates; The method may include binarizing a value of each cell according to whether point cloud data is included in each cell and converting the value into the binary voxel data.

또한, 이진 복셀 데이터로 변환하는 과정은, 상기 점 구름 데이터를 포함하고 있는 셀의 값은 '1'로 결정하고, 상기 점 구름 데이터가 부재한 셀의 값은 '0'으로 결정하는 과정을 포함할 수 있다.In addition, the process of converting to binary voxel data includes determining that the value of the cell including the point cloud data is '1' and the value of the cell in which the point cloud data is absent is determined as '0' can do.

또한, 제1 신경망의 입력단에 전송하여 연산하는 과정은, [수학식 1] 및 [수학식 2]에 의해 연산을 수행하는 과정을 포함하는 방법.In addition, the process of transmitting and calculating to the input terminal of the first neural network includes the process of performing an operation by [Equation 1] and [Equation 2].

[수학식 1][Equation 1]

Figure 112020032759923-pat00001
Figure 112020032759923-pat00001

이때, Y는 출력값,In this case, Y is the output value,

σ는 활성화함수(activation function),σ is the activation function,

W는 가중치(Weight),W is the weight,

X는 입력값,X is the input value,

b는 바이어스(bias).b is the bias.

[수학식 2][Equation 2]

Figure 112020032759923-pat00002
Figure 112020032759923-pat00002

이때,

Figure 112020032759923-pat00003
은 가중치,At this time,
Figure 112020032759923-pat00003
silver weight,

Figure 112020032759923-pat00004
은 각 셀의 값을 나타내는 것으로, '0' 또는 '1'.
Figure 112020032759923-pat00004
represents the value of each cell, '0' or '1'.

또한, 제1 신경망의 입력단에 전송하여 연산하는 과정은, 상기 이진 복셀 데이터에 대한 더하기 연산만 진행하여 상기 제1 신경망의 출력값을 상기 제2 신경망에 전송하는 과정을 포함할 수 있다.Also, the process of transmitting and calculating to the input terminal of the first neural network may include a process of performing only an addition operation on the binary voxel data and transmitting the output value of the first neural network to the second neural network.

본 발명은 점 구름 데이터를 이진복셀 데이터로 변환하므로 인공신경망의 연산 속도를 높일 수 있으며 메모리 사용을 최소화하여 인공신경망의 성능을 향상시킬 수 있다. 또한, 인공신경망의 성능 향상에 따라 점 구름 데이터의 정밀도를 높일 수 있으므로 실물에 대한 ToF 센서 데이터의 정확도를 높일 수 있다.Since the present invention converts point cloud data into binary voxel data, the computation speed of the artificial neural network can be increased and the performance of the artificial neural network can be improved by minimizing memory usage. In addition, the accuracy of the point cloud data can be increased as the performance of the artificial neural network is improved, so that the accuracy of the ToF sensor data for the real object can be increased.

도 1은 본 발명의 일 실시예에 의한 인공신경망의 데이터 처리 장치의 구성을 나타내는 도면.
도 2는 본 발명의 일 실시예에 의한 인공신경망의 데이터 처리 장치에서 ToF 센서 데이터를 이진 복셀 데이터로 변환하는 방법을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 의한 인공신경망의 데이터 처리 장치에서 수행하는 연산 방법을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 의한 인공신경망의 데이터 처리 장치에서 ToF 센서 데이터를 이진복셀 데이터로 변환하여 처리하는 방법을 설명하기 위한 순서도.1 is a diagram showing the configuration of a data processing apparatus of an artificial neural network according to an embodiment of the present invention.
FIG. 2 is a view for explaining a method of converting ToF sensor data into binary voxel data in a data processing apparatus of an artificial neural network according to an embodiment of the present invention; FIG.
3 is a view for explaining a calculation method performed by the data processing apparatus of an artificial neural network according to an embodiment of the present invention.
4 is a flowchart for explaining a method of converting ToF sensor data into binary voxel data and processing the data in an artificial neural network data processing apparatus according to an embodiment of the present invention.

이하, 본 발명의 실시예를 도면과 함께 상세히 설명한다. 본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.Hereinafter, embodiments of the present invention will be described in detail with drawings. In describing the present invention, if it is determined that a detailed description of a related well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 의한 인공신경망의 데이터 처리 장치(10) 구성을 나타내는 도면이다.1 is a diagram showing the configuration of a data processing apparatus 10 of an artificial neural network according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 인공신경망의 데이터 처리 장치(이하, '데이터 처리 장치'라고 함)(10)는 감지부(100), 출력부(110), 연산부(120), 저장부(130) 및 제어부(140)를 포함한다.Referring to FIG. 1 , a data processing device (hereinafter, referred to as a 'data processing device') 10 of an artificial neural network of the present invention includes a sensing unit 100, an output unit 110, a calculation unit 120, and a storage unit ( 130 ) and a control unit 140 .

감지부(100)는 ToF 센서, 라이다 센서, 카메라 등을 포함하며, ToF 센서 또는 라이다 센서를 통한 감지 데이터는 점 구름 데이터로 형성된다. The sensing unit 100 includes a ToF sensor, a lidar sensor, a camera, and the like, and the sensing data through the ToF sensor or the lidar sensor is formed as point cloud data.

출력부(110)는 연산부(120)에서 연산을 수행한 결과값을 이용하여 원하는 데이터를 출력한다. 일 예로 출력부(110)는 물체의 3차원 데이터를 출력할 수 있다.The output unit 110 outputs desired data by using the result of the operation performed by the operation unit 120 . For example, the output unit 110 may output 3D data of an object.

저장부(130)는 다양한 데이터를 저장하며 RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드 등과 같은 내장된 형태의 저장 소자로 구현될 수 있다.The storage unit 130 stores various data and includes random access memory (RAM), flash memory, read only memory (ROM), erasable programmable ROM (EPROM), electronically erasable and programmable ROM (EEPROM), registers, hard disk, and remover. It may be implemented as a storage device of an embedded type such as a block disk, a memory card, or the like.

연산부(120)는 인공신경망을 이용하여 입력된 데이터에 대한 연산을 수행하며, 일 예로 인공신경망은 순환 연결망(RNN), 콘볼루션 신경망(CNN), 심층 신경망(DNN) 등을 이용할 수 있다.The operation unit 120 performs an operation on the input data using an artificial neural network. For example, the artificial neural network may use a recurrent neural network (RNN), a convolutional neural network (CNN), a deep neural network (DNN), and the like.

제어부(140)는 연산부(120)에서 데이터 처리시 연산 효율을 높이기 위해 감지부(100)에서 형성된 감지 데이터를 처리한 후 연산부(120)에 제공하는 등 본 발명의 데이터 처리 장치(10)를 전체적으로 제어한다.The control unit 140 processes the sensed data formed by the sensing unit 100 in order to increase the arithmetic efficiency when processing data in the calculating unit 120 and then provides the data to the calculating unit 120 as a whole. Control.

도 2는 본 발명의 일 실시예에 의한 데이터 처리 장치(10)에서 ToF 센서 데이터를 이진 복셀 데이터로 변환하는 방법을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining a method of converting ToF sensor data into binary voxel data in the data processing apparatus 10 according to an embodiment of the present invention.

이하에서 본 발명은 감지부(100)에서 ToF 센서를 이용하여 형성된 점 구름 데이터를 처리하는 경우에 대해 살펴보기로 한다. ToF 센서 뿐만 아니라 다른 센서의 경우에도 감지 데이터를 점 구름 데이터로 형성하는 경우에는 본 발명의 데이터 처리 방법을 동일유사하게 적용할 수 있다.Hereinafter, the present invention will look at a case in which the sensing unit 100 processes the point cloud data formed using the ToF sensor. In the case of the ToF sensor as well as other sensors, the data processing method of the present invention can be applied similarly when the sensed data is formed as point cloud data.

도 2를 참조하면, 감지부(100)는 차량을 감지하여 차량에 대한 점 구름 데이터를 제어부(140)에 제공한다. ToF 센서에서 형성되는 점 구름 데이터는 센서에서 광을 전송한 후 반사되는 경우 광의 수신 각도와 소요 시간으로 구성되므로 제어부(140)는 점 구름 데이터를 3차원 좌표인 (x,y,z)로 변환하고 변환된 3차원 좌표를 복셀화한다. 이때, 각 셀에서 점 구름 데이터를 포함하고 있는 셀의 값은 '1'로 결정하고, 점 구름 데이터를 포함하고 있지 않은 셀의 값은'0'으로 결정한다. 이와 같이 셀에 점 구름 데이터가 포함되어 있는지 여부에 따라 셀의 값을 '1' 또는 '0'으로 결정하면 점 구름 데이터를 이진 복셀 데이터로 변환할 수 있다.Referring to FIG. 2 , the sensing unit 100 detects a vehicle and provides point cloud data for the vehicle to the control unit 140 . Since the point cloud data formed by the ToF sensor is composed of the reception angle and the required time of light when the light is transmitted and reflected from the sensor, the control unit 140 converts the point cloud data into three-dimensional coordinates (x, y, z) and voxelize the transformed 3D coordinates. At this time, in each cell, the value of the cell containing the point cloud data is determined as '1', and the value of the cell not containing the point cloud data is determined as '0'. As described above, if the value of the cell is determined to be '1' or '0' depending on whether the cell contains point cloud data, the point cloud data can be converted into binary voxel data.

도 3은 본 발명의 일 실시예에 의한 데이터 처리 장치(10)에서 수행하는 연산 방법을 설명하기 위한 도면이다.3 is a diagram for explaining a calculation method performed by the data processing apparatus 10 according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 연산부(120)는 한 개의 입력층(Input layer)과 출력층(Output layer) 사이에 다수의 은닉층(Hidden layer)이 있는 다층 퍼셉트론(multilayer perceptron)으로 구성된 신경망을 포함한다. 또한, 연산부(120)는 제1 신경망(300) 및 제2 신경망(310)을 포함하는데, 제1 신경망(300)에는 제어부(140)로부터 전송된 이진 복셀 데이터가 입력되어 이진 복셀 연산을 수행하며, 제2 신경망(310)은 제1 신경망(300)의 연산 결과를 입력으로 연산을 수행한다.Referring to FIG. 3 , the operation unit 120 of the present invention includes a neural network composed of a multilayer perceptron having a plurality of hidden layers between one input layer and an output layer. do. In addition, the operation unit 120 includes a first neural network 300 and a second neural network 310, and binary voxel data transmitted from the controller 140 is input to the first neural network 300 to perform a binary voxel operation. , the second neural network 310 performs an operation with the operation result of the first neural network 300 as an input.

제1 및 제2 신경망(300, 310)은 [수학식 1]을 이용하여 연산을 수행한다.The first and second neural networks 300 and 310 perform calculations using [Equation 1].

Figure 112020032759923-pat00005
Figure 112020032759923-pat00005

이때, Y는 출력값,In this case, Y is the output value,

σ는 활성화함수(activation function),σ is the activation function,

W는 가중치(Weight),W is the weight,

X는 입력값,X is the input value,

b는 바이어스(bias).b is the bias.

제1 신경망(300)의 경우, 이진복셀 연산을 수행하므로 [수학식 1]에서

Figure 112020032759923-pat00006
는 [수학식 2]와 같이 나타낼 수 있다.In the case of the first neural network 300, since binary voxel operation is performed, in [Equation 1]
Figure 112020032759923-pat00006
can be expressed as [Equation 2].

Figure 112020032759923-pat00007
Figure 112020032759923-pat00007

이때,

Figure 112020032759923-pat00008
은 가중치,At this time,
Figure 112020032759923-pat00008
silver weight,

Figure 112020032759923-pat00009
은 각 셀의 값을 나타내는 것으로, '0' 또는 '1'.
Figure 112020032759923-pat00009
represents the value of each cell, '0' or '1'.

[수학식 1]에 나타난 바와같이, 제2 신경망(310)은 연산을 수행하기 위해서 가중치와 입력값을 곱하고 더하는 MAC 연산 방식을 사용하기 때문에 곱하기를 위한 연산기와 더하기를 위한 연산기가 필요하다. 그러나 제1 신경망(300)은 [수학식 2]에서

Figure 112020032759923-pat00010
이 '0' 또는 '1'의 값을 가지는 이진복셀 연산을 수행하기 때문에 곱하기 연산을 수행할 필요 없이 더하기 연산만 수행하기 때문에 더하기 연산기만 필요하다. 이로 인해 연산부(120)에서는 연산 효율 및 메모리 효율을 높일 수 있다. As shown in [Equation 1], since the second neural network 310 uses a MAC method of multiplying and adding a weight and an input value to perform an operation, an operator for multiplication and an operator for addition are required. However, the first neural network 300 is in [Equation 2]
Figure 112020032759923-pat00010
Since a binary voxel operation having a value of '0' or '1' is performed, only an addition operation is performed without performing a multiplication operation, so only an addition operator is required. As a result, the calculation unit 120 may increase the calculation efficiency and the memory efficiency.

도 4는 본 발명의 일 실시예에 의한 데이터 처리 장치(10)에서 ToF 센서 데이터를 이진복셀 데이터로 변환하여 처리하는 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method of converting ToF sensor data into binary voxel data and processing the ToF sensor data in the data processing apparatus 10 according to an embodiment of the present invention.

도 4를 참조하면, 감지부(100)에서 ToF 센서 데이터인 점 구름 데이터를 제어부(140)에 전송하면(400), 제어부(140)는 점 구름 데이터를 3차원 좌표인 (x,y,z)로 변환하고 변환된 3차원 좌표를 복셀화한다(410). 이후, 각 셀에 점 구름 데이터가 포함되어 있는지 여부에 따라 셀의 값을 '1' 또는 '0'으로 결정하여 점 구름 데이터를 이진 복셀 데이터로 변환한다(420). 이진 복셀 데이터 변환이 완료되면 제어부(140)는 이진 복셀 데이터를 연산부(120)에 전송하며(430), 연산부(120)의 제1 신경망(300)에서는 이진 복셀 데이터를 이용하여 연산을 진행하고(440), 제1 신경망(300)의 연산 결과는 다시 제2 신경망(310)에 입력되어 연산이 진행된다(450). 제2 신경망(310)의 연산 결과는 제어부(140)로 전송되고(460), 제어부(140)는 사용자가 원하는 결과를 출력부(110)에 전달한다.Referring to FIG. 4 , when the sensing unit 100 transmits the point cloud data, which is the ToF sensor data, to the control unit 140 ( 400 ), the control unit 140 transmits the point cloud data to the three-dimensional coordinates (x, y, z). ) and voxelize the transformed 3D coordinates ( 410 ). Thereafter, the value of the cell is determined as '1' or '0' according to whether each cell contains point cloud data, and the point cloud data is converted into binary voxel data ( 420 ). When the binary voxel data conversion is completed, the control unit 140 transmits the binary voxel data to the operation unit 120 ( 430 ), and the first neural network 300 of the operation unit 120 performs an operation using the binary voxel data ( 440), the operation result of the first neural network 300 is again input to the second neural network 310, and the operation is performed (450). The calculation result of the second neural network 310 is transmitted to the control unit 140 ( 460 ), and the control unit 140 transmits a result desired by the user to the output unit 110 .

100: 감지부 110: 출력부
120: 연산부 130: 저장부
140: 제어부100: sensing unit 110: output unit
120: calculation unit 130: storage unit
140: control unit

Claims (5)

인공신경망에서 점 구름 데이터를 처리하기 위한 방법에 있어서,
센서를 이용하여 점 구름 데이터를 생성하는 과정과;
상기 점 구름 데이터를 3차원 좌표로 변환하는 과정과;
상기 변환된 3차원 좌표를 이진화하여 이진 복셀 데이터로 변환하는 과정과;
상기 이진 복셀 데이터를 제1 신경망의 입력단에 전송하여 연산하는 과정과;
상기 제1 신경망의 출력값을 제2 신경망의 입력단에 전송하여 연산하는 과정을 포함하며,
상기 이진 복셀 데이터로 변환하는 과정은,
상기 3차원 좌표를 복셀화하는 과정과;
상기 각각의 셀에 점 구름 데이터가 포함되어 있는지 여부에 따라 각 셀의 값을 이진화하여 상기 이진 복셀 데이터로 변환하는 과정을 포함하고,
상기 이진 복셀 데이터로 변환하는 과정은,
상기 점 구름 데이터를 포함하고 있는 셀의 값은 '1'로 결정하고, 상기 점 구름 데이터가 부재한 셀의 값은 '0'으로 결정하는 과정을 포함하며,
상기 제1 및 제2 신경망은 입력층과 출력층 사이에 다수의 은닉층이 있는 다층 퍼셉트론으로 구성되고,
상기 제1 신경망의 입력단에 전송하여 연산하는 과정은,
상기 이진 복셀 데이터의 값으로 인하여 더하기 연산만 진행하여 상기 제1 신경망의 출력값을 상기 제2 신경망에 전송하는 과정을 포함하며,
상기 제2 신경망의 입력단에 전송하여 연산하는 과정은 상기 제1 신경망의 출력값과 가중치에 대한 곱하기 및 바이어스를 더하는 MAC 연산 방식을 진행하는 과정을 포함하는 방법.
In a method for processing point cloud data in an artificial neural network,
generating point cloud data using a sensor;
converting the point cloud data into three-dimensional coordinates;
converting the converted 3D coordinates into binary voxel data by binarizing them;
transmitting and calculating the binary voxel data to an input terminal of a first neural network;
and transmitting an output value of the first neural network to an input terminal of a second neural network and calculating;
The process of converting the binary voxel data is,
voxelizing the three-dimensional coordinates;
and converting the value of each cell into the binary voxel data by binarizing the value of each cell according to whether or not point cloud data is included in each cell,
The process of converting the binary voxel data is,
and determining that the value of the cell containing the point cloud data is '1' and the value of the cell in which the point cloud data is absent is '0',
The first and second neural networks are composed of a multi-layer perceptron having a plurality of hidden layers between the input layer and the output layer,
The process of calculating by transmitting to the input terminal of the first neural network,
and transmitting the output value of the first neural network to the second neural network by performing only an addition operation due to the value of the binary voxel data,
The step of transmitting to the input terminal of the second neural network and performing the calculation includes performing a MAC calculation method of multiplying the output value of the first neural network with a weight and adding a bias.
 삭제delete 삭제delete 제1항에 있어서,
상기 제1 신경망의 입력단에 전송하여 연산하는 과정은,
[수학식 1] 및 [수학식 2]에 의해 연산을 수행하는 과정을 포함하는 방법.
[수학식 1]
Figure 112020032759923-pat00011

이때, Y는 출력값,
σ는 활성화함수(activation function),
W는 가중치(Weight),
X는 입력값,
b는 바이어스(bias).
[수학식 2]
Figure 112020032759923-pat00012

이때,
Figure 112020032759923-pat00013
은 가중치,
Figure 112020032759923-pat00014
은 각 셀의 값을 나타내는 것으로, '0' 또는 '1'.
According to claim 1,
The process of calculating by transmitting to the input terminal of the first neural network,
A method comprising the process of performing an operation by [Equation 1] and [Equation 2].
[Equation 1]
Figure 112020032759923-pat00011

In this case, Y is the output value,
σ is the activation function,
W is the weight,
X is the input value,
b is the bias.
[Equation 2]
Figure 112020032759923-pat00012

At this time,
Figure 112020032759923-pat00013
silver weight,
Figure 112020032759923-pat00014
represents the value of each cell, '0' or '1'.
 삭제delete
KR1020200038014A 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof KR102323234B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200038014D KR20210121415A (en) 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof
KR1020200038014A KR102323234B1 (en) 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200038014A KR102323234B1 (en) 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof

Publications (1)

Publication Number Publication Date
KR102323234B1 true KR102323234B1 (en) 2021-11-08

Family

ID=78497185

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200038014A KR102323234B1 (en) 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof
KR1020200038014D KR20210121415A (en) 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020200038014D KR20210121415A (en) 2020-03-30 2020-03-30 Method for processing point cloud data of artificial neural network and apparatus thereof

Country Status (1)

Country Link
KR (2) KR102323234B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065298A1 (en) * 2017-09-29 2019-04-04 ソニー株式会社 Information processing device and method
JP2019185665A (en) * 2018-04-17 2019-10-24 日本電信電話株式会社 Three-dimensional point cloud label learning device, three-dimensional point cloud label estimation device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimation method, and program
WO2019226686A2 (en) * 2018-05-23 2019-11-28 Movidius Ltd. Deep learning system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019065298A1 (en) * 2017-09-29 2019-04-04 ソニー株式会社 Information processing device and method
JP2019185665A (en) * 2018-04-17 2019-10-24 日本電信電話株式会社 Three-dimensional point cloud label learning device, three-dimensional point cloud label estimation device, three-dimensional point cloud label learning method, three-dimensional point cloud label estimation method, and program
WO2019226686A2 (en) * 2018-05-23 2019-11-28 Movidius Ltd. Deep learning system

Also Published As

Publication number Publication date
KR20210121415A (en) 2021-10-08

Similar Documents

Publication Publication Date Title
Eldesokey et al. Propagating confidences through cnns for sparse data regression
Lyu et al. Real-time road segmentation using LiDAR data processing on an FPGA
CN109685141B (en) Robot article sorting visual detection method based on deep neural network
US20190377965A1 (en) Systems and Methods for Pipelined Processing of Sensor Data Using Hardware
Liu et al. Fg-net: A fast and accurate framework for large-scale lidar point cloud understanding
CN113706480B (en) Point cloud 3D target detection method based on key point multi-scale feature fusion
JP6869230B2 (en) Methods and systems for recognizing objects
KR20200010640A (en) Method and device to estimate ego motion using motion recognition model and method and device to train motion recognition model
CN114638954B (en) Training method of point cloud segmentation model, point cloud data segmentation method and related device
CN112085789A (en) Pose estimation method, device, equipment and medium
EP3703008A1 (en) Object detection and 3d box fitting
CN113780064A (en) Target tracking method and device
Rahnama et al. Real-time highly accurate dense depth on a power budget using an fpga-cpu hybrid soc
CN115457492A (en) Target detection method and device, computer equipment and storage medium
CN113281779B (en) 3D object rapid detection method, device, equipment and medium
CN113255779B (en) Multi-source perception data fusion identification method, system and computer readable storage medium
KR102323234B1 (en) Method for processing point cloud data of artificial neural network and apparatus thereof
CN115588187B (en) Pedestrian detection method, device and equipment based on three-dimensional point cloud and storage medium
Abielmona et al. Distributed intelligent sensor agent system for environment mapping
Abdulaaty et al. Real-time depth completion using radar and camera
CN114820973A (en) Cost map generation method and device, computer equipment and storage medium
Kumar et al. Real-time Spatial-temporal Context Approach for 3D Object Detection using LiDAR.
Mochurad Implementation and analysis of a parallel kalman filter algorithm for lidar localization based on CUDA technology
KR20240048762A (en) Method and apparatus for 3d object recognition and pose estimation based on graph convolutional network
Venugopala Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant