KR20200064349A - Method and Apparatus for Detecting Point Based on Tensor Decomposition - Google Patents
Method and Apparatus for Detecting Point Based on Tensor Decomposition Download PDFInfo
- Publication number
- KR20200064349A KR20200064349A KR1020180150371A KR20180150371A KR20200064349A KR 20200064349 A KR20200064349 A KR 20200064349A KR 1020180150371 A KR1020180150371 A KR 1020180150371A KR 20180150371 A KR20180150371 A KR 20180150371A KR 20200064349 A KR20200064349 A KR 20200064349A
- Authority
- KR
- South Korea
- Prior art keywords
- neural network
- layer
- tensor
- low
- weight
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명이 속하는 기술 분야는 텐서 분해 기법을 이용한 포인트 검출 방법 및 장치에 관한 것이다. The technical field to which the present invention pertains relates to a method and an apparatus for detecting points using a tensor decomposition technique.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information for this embodiment, and do not constitute a prior art.
기존의 실시간 딥러닝 기반의 물체 포인트 검출 알고리즘은 컨볼루션 네트워크의 가중치를 학습한다. 전체 영상에서 영역별로 핵심 위치 또는 포인트를 인식하는 초기화 단계와 초기화 단계에서 출력된 특징 맵을 중심으로 핵심 위치 또는 포인트 간에 전체적인 상관 관계를 학습하고, 세밀한 위치를 보정한다. 기울기 소실(Gradient Vanishing) 문제를 방지하기 위해서 중간 손실 레이어(Intermediate Loss Layer)를 이용하여 수용 영역(Receptive Field)을 점차 증가시킨다.The existing real-time deep learning-based object point detection algorithm learns the weight of the convolutional network. The overall correlation between core locations or points is learned, and detailed locations are corrected, based on an initializing step of recognizing a core location or point for each region in the entire image and a feature map output in the initializing step. In order to prevent the problem of gradient vanishing, the receptive field is gradually increased by using an intermediate loss layer.
초기화 단계에서 수용 영역은 핵심 포인트를 중심으로 작게 형성되어 점차 커진다. 이후 단계에서 수용 영역이 더 커져 핵심 포인트 간의 전체적인 상관 관계를 학습함으로써 공간적 상호관계를 분석하여 포인트 인식 정확도를 향상 시킨다. 핵심 포인트 좌표가 라벨로 주어지면 핵심 포인트 좌표를 중심으로 가우시안 맵을 생성하고 가우시안 맵을 라벨로 사용한다.In the initializing step, the receiving area is formed small around the core point and gradually increases. In a later step, the receiving area becomes larger, and by learning the overall correlation between key points, spatial correlation is analyzed to improve point recognition accuracy. If a key point coordinate is given as a label, a Gaussian map is created around the key point coordinates, and a Gaussian map is used as a label.
이러한 실시간 딥러닝 기반의 물체 포인트 검출 알고리즘은 넓은 수용 영역(Receptive Field)을 갖는 특징과 높은 복잡성(Complexity)을 갖는 특징이 있다. 실시간 딥러닝 기반의 물체 포인트 검출 모델은 다수의 잉여 가중치를 갖고 높은 컴퓨팅 전력이 요구된다.The real-time deep learning-based object point detection algorithm has a feature having a wide receptive field and a feature having high complexity. The object point detection model based on real-time deep learning has multiple surplus weights and requires high computing power.
본 발명의 실시예들은 텐서 분해를 이용하여 신경망의 레이어를 구성하는 가중치를 저차원으로 변환하고, 저차원의 가중치를 구성하는 텐서의 랭크에 하한치를 적용하여 재학습한 신경망을 통하여 특징점을 검출함으로써, 인지 영역은 유지하면서, 특징점을 검출하는 시간을 최소화하는 데 발명의 주된 목적이 있다.Embodiments of the present invention convert the weights constituting the layer of the neural network to a low dimension using tensor decomposition, and apply a lower limit to the rank of the tensors constituting the low dimension to detect the feature points through the retrained neural network. The main object of the invention is to minimize the time for detecting the feature points while maintaining the cognitive area.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other unspecified objects of the present invention may be further considered within a range that can be easily deduced from the following detailed description and its effects.
본 실시예의 일 측면에 의하면, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 컴퓨팅 디바이스에 의한 텐서 분해 기반의 포인트 검출 방법에 있어서, 상기 프로세서는, 영상 데이터를 통하여 학습이 완료된 신경망의 레이어를 구성하는 고차원의 가중치를 복수로 분해하여 저차원의 가중치로 변환하는 단계, 상기 영상 데이터를 통하여 상기 저차원의 가중치를 갖는 신경망의 레이어를 재학습하는 단계, 및 상기 재학습된 신경망의 레이어를 이용하여 새로운 영상 데이터로부터 특징점을 검출하는 단계를 포함하는 동작들을 수행하는 텐서 분해 기반의 포인트 검출 방법을 제공한다.According to an aspect of the present embodiment, in the tensor decomposition based point detection method by a computing device including one or more processors and memory storing one or more programs executed by the one or more processors, the processor includes: image data Decomposing a plurality of high-dimensional weights constituting a layer of a neural network through which learning has been completed and converting them into low-dimensional weights, re-learning a layer of the neural network having the low-dimensional weights through the image data, and Provided is a tensor decomposition based point detection method that performs operations including the step of detecting a feature point from new image data using a layer of the retrained neural network.
상기 재학습하는 단계는 상기 저차원의 가중치를 구성하는 텐서의 랭크 정보에 다른 텐서의 차원수와 상기 신경망의 필터의 크기로 표현된 관계식을 이용하여 하한치를 적용할 수 있다.In the re-learning step, a lower limit value may be applied to the rank information of the tensor constituting the low-dimensional weight using a relational expression expressed by the number of dimensions of another tensor and the size of the neural network filter.
본 실시예의 다른 측면에 의하면, 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록된 포인트 검출을 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에, 영상 데이터를 통하여 학습이 완료된 신경망의 레이어를 구성하는 고차원의 가중치를 복수로 분해하여 저차원의 가중치로 변환하는 단계, 상기 영상 데이터를 통하여 상기 저차원의 가중치를 갖는 신경망의 레이어를 재학습하는 단계, 및 상기 재학습된 신경망의 레이어를 이용하여 새로운 영상 데이터로부터 특징점을 검출하는 단계를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공한다.According to another aspect of this embodiment, a computer program for detecting a point recorded in a non-transitory computer readable medium including computer program instructions executable by a processor, the computer program instructions being a processor of a computing device When executed by, decomposing a plurality of high-dimensional weights constituting a layer of a neural network through which learning is completed through image data and converting them into low-dimensional weights, the neural network having the low-dimensional weights through the image data It provides a computer program for performing operations including the step of re-learning the layer of, and detecting the feature point from the new image data using the layer of the re-trained neural network.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 텐서 분해를 이용하여 신경망의 레이어를 구성하는 가중치를 저차원으로 변환하고, 저차원의 가중치를 구성하는 텐서의 랭크에 하한치를 적용하여 재학습한 신경망을 통하여 특징점을 검출함으로써, 인지 영역은 유지하면서, 특징점을 검출하는 시간을 최소화할 수 있는 효과가 있다.As described above, according to embodiments of the present invention, tensor decomposition is used to convert weights constituting a layer of a neural network to a low dimension, and re-learning by applying a lower limit to the rank of a tensor constituting a low dimensional weight. By detecting the feature points through a neural network, it is possible to minimize the time for detecting the feature points while maintaining the cognitive region.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned herein, the effects described in the following specification expected by the technical features of the present invention and the potential effects thereof are treated as described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 포인트 검출 방법을 예시한 흐름도이다.
도 2는 기존의 포인트 검출 모델을 예시한 도면이다.
도 3은 기존의 텐서 분해를 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 포인트 검출 방법이 동작하는 컴퓨팅 디바이스를 예시한 도면이다.1 is a flowchart illustrating a point detection method according to an embodiment of the present invention.
2 is a diagram illustrating an existing point detection model.
3 is a view illustrating an existing tensor decomposition.
4 is a diagram illustrating a computing device in which a point detection method according to an embodiment of the present invention operates.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, when it is determined that the subject matter of the present invention may be unnecessarily obscured by those skilled in the art with respect to known functions related to the present invention, the detailed description will be omitted, and some embodiments of the present invention will be omitted. It will be described in detail through exemplary drawings.
본 실시예에 따른 포인트 검출 방법은 텐서 분해를 이용하여 신경망의 레이어를 구성하는 가중치를 저차원으로 변환하고, 저차원의 가중치를 구성하는 텐서의 랭크에 하한치를 적용함으로써, 인지 영역은 유지하면서, 저전력으로 특징점을 검출하는 시간을 최소화한다.The point detection method according to the present embodiment uses tensor decomposition to convert the weights constituting the layers of the neural network to a low dimension, and applies a lower limit to the rank of the tensors constituting the low dimensional weight, while maintaining the cognitive area, Minimize the time to detect feature points with low power.
도 1은 포인트 검출 방법을 예시한 흐름도이다. 포인트 검출 방법은 컴퓨팅 디바이스에 의하여 수행될 수 있다. 1 is a flowchart illustrating a point detection method. The point detection method may be performed by a computing device.
단계 S10에서, 컴퓨팅 디바이스는 학습 데이터를 통하여 학습이 완료된 신경망의 레이어를 구성하는 고차원의 가중치를 복수로 분해하여 저차원의 가중치로 변환한다. 학습 데이터는 영상 데이터이며, 신경망은 포인트 검출 모델을 형성한다. 포인트 검출 모델은 영상에서 추출한 픽셀 값으로부터 시각적 특징을 추출하고, 추출한 시각적 특징과 객체에 관한 기준 데이터를 비교하여 객체의 포인트를 인식한다.In step S10, the computing device decomposes a plurality of high-dimensional weights constituting a layer of a neural network through which learning is completed through learning data, and converts them into low-dimensional weights. The training data is image data, and the neural network forms a point detection model. The point detection model recognizes a point of an object by extracting a visual feature from pixel values extracted from an image and comparing the extracted visual feature with reference data about the object.
단계 S20에서, 컴퓨팅 디바이스는 학습 데이터를 통하여 저차원의 가중치를 갖는 신경망의 레이어를 재학습한다. 재학습하는 단계(S20)는 저차원의 가중치를 구성하는 텐서의 랭크 정보에 다른 텐서의 차원수와 신경망의 필터의 크기로 표현된 관계식을 이용하여 하한치를 적용한다.In step S20, the computing device re-learns the layer of the neural network having low-dimensional weights through the learning data. In the re-learning step (S20 ), a lower limit value is applied to the rank information of the tensors constituting the low-dimensional weight using the relational expression expressed by the number of dimensions of another tensor and the size of the neural network filter.
단계 S30에서, 컴퓨팅 디바이스는 재학습된 신경망의 레이어를 이용하여 새로운 영상 데이터로부터 특징점을 검출한다.In step S30, the computing device detects the feature point from the new image data using the layer of the retrained neural network.
도 2는 기존의 포인트 검출 모델을 예시한 도면이고, 도 3은 기존의 텐서 분해를 예시한 도면이다.2 is a diagram illustrating an existing point detection model, and FIG. 3 is a diagram illustrating an existing tensor decomposition.
포인트 검출 모델에서 레이어의 파라미터는 일련의 학습 가능한 필터들로 이뤄져 있다. 각 필터는 가로 및 세로 차원으로는 작지만 깊이(Depth) 차원으로는 전체 깊이를 포함한다. 전방향 진행시 각 필터를 입력 볼륨의 가로 및 세로 차원으로 슬라이딩하고 2차원의 액티베이션 맵(Activation Map)을 생성한다. 필터를 입력 위로 슬라이딩시킬 때, 필터와 입력 요소 사이의 내적 연산(Dot Product)을 수행한다. 신경망은 입력의 특정 위치의 특정 패턴에 대해 반응하는 활성(Activate) 필터를 학습한다. 액티베이션 맵을 깊이 차원을 따라 쌓은 것이 출력 볼륨이 된다. 출력 볼륨의 각 요소들은 입력의 작은 영역만을 취급하고, 동일한 액티베이션 맵 내의 뉴런들은 동일한 파라미터를 공유한다. In the point detection model, the parameters of the layer consist of a series of learnable filters. Each filter is small in the horizontal and vertical dimensions, but includes the entire depth in the depth dimension. When moving forward, each filter is slid to the horizontal and vertical dimensions of the input volume and a two-dimensional activation map is generated. When sliding the filter over the input, it performs a dot product between the filter and the input element. The neural network learns an active filter that responds to a specific pattern at a specific location of the input. The output volume is the accumulation of the activation map along the depth dimension. Each element of the output volume handles only a small area of the input, and neurons in the same activation map share the same parameters.
이미지와 같은 입력을 처리할 때, 현재 레이어의 각 뉴런을 입력 볼륨의 로컬한 영역(local region)에 연결할 수 있다. 이러한 영역은 수용 영역 (Receptive Field)라고 불리는 하이퍼 파라미터(Hyper Parameter) 이다. 즉, 수용 영역은 필터가 한 번에 보는 영역이다.When processing input such as an image, each neuron in the current layer can be connected to a local region of the input volume. This area is a hyper parameter called a receptive field. That is, the receiving area is an area that the filter sees at once.
깊이 차원 측면에서 항상 입력 볼륨의 총 깊이를 처리한다. 예컨대, 입력 볼륨의 크기가 AxAxB 이고, 수용 영역의 크기가 CxC 이면, 레이어의 각 뉴런은 입력 볼륨의 CxCxB 크기의 영역에 가중치(weight)를 인가한다. 입력 볼륨이 RGB 이미지이면 깊이가 3일 수 있다. 컨볼루션 레이어의 가중치는 필터(Filter) 또는 커널(Kernel)이라고 부른다. 컨볼루션의 결과물은 액티베이션 맵이 되며 각 깊이에 해당하는 필터의 액티베이션 맵들을 쌓으면 최종 출력 볼륨이 된다.Depth Dimensions always handle the total depth of the input volume. For example, if the size of the input volume is AxAxB and the size of the receiving area is CxC, each neuron in the layer applies a weight to the area of the size of CxCxB of the input volume. If the input volume is an RGB image, the depth may be 3. The weight of the convolutional layer is called a filter or kernel. The result of the convolution becomes an activation map, and the accumulation of the activation maps of the filter corresponding to each depth becomes the final output volume.
컨볼루션 네트워크가 여러 층으로 중첩된 구조를 갖는다. 컨볼루션 레이어의 작용은 수학식 1과 같이 표현된다. The convolutional network has a structure in which several layers are overlapped. The operation of the convolution layer is expressed by
컨볼루션 레이어를 4차원 텐서(Tensor)로 분해하면, 수학식 2와 같이 표현된다.When the convolution layer is decomposed into a 4D tensor, it is expressed as
Y는 컨볼루션 레이어의 출력 텐서(출력 특징맵), X는 컨볼루션 레이어의 입력 텐서(입력 특징맵), f()는 시그모이드 함수와 같은 활성 함수이다. W는 컨볼루션 레이어의 전체 가중치를 의미한다. K는 커널을 의미한다. W1, W2, W3은 서브 텐서로 분해된 가중치이다. 전체 가중치는 제1 가중치, 제2 가중치, 제3 가중치로 표현된다.Y is an active function such as the output tensor of the convolution layer (output feature map), X is the input tensor of the convolution layer (input feature map), and f() is the sigmoid function. W means the total weight of the convolution layer. K stands for kernel. W 1 , W 2 , and W 3 are weights decomposed into sub tensors. The total weight is expressed by the first weight, the second weight, and the third weight.
W는 4차원 텐서 형태로 표현되며, Width는 컨볼루션 필터의 폭, Height는 컨볼루션 필터의 높이, DepthX는 입력 텐서의 차원수, DepthY는 출력 텐서의 차원수를 의미한다.W is expressed in the form of a four-dimensional tensor, Width is the width of the convolution filter, Height is the height of the convolution filter, Depth X is the number of dimensions of the input tensor, and Depth Y is the number of dimensions of the output tensor.
4차원의 텐서를 각각의 축으로 투사하는 투사 행렬이 필요하다. 컨볼루션 네트워크의 컨볼루션 필터의 크기는 주로 3과 5와 같은 작은 값이기 때문에, 필터에 관하여는 투사 행렬이 필요하지 않다고 가정한다. r1과 r2는 랭크이다. 텐서의 랭크는 텐서의 각 원소를 선택하기 위해 필요한 차원수입니다. 랭크는 인덱스라고도 불린다.We need a projection matrix that projects a four-dimensional tensor on each axis. Since the size of the convolution filter of the convolution network is mainly small values such as 3 and 5, it is assumed that a projection matrix is not required for the filter. r 1 and r 2 are ranks. Tensor rank is the number of dimensions required to select each element of the tensor. Rank is also called index.
제1 가중치는 입력 텐서의 차원수와 제1 랭크로 표현된다.The first weight is expressed by the number of dimensions of the input tensor and the first rank.
제2 가중치는 컨볼루션 필터의 폭, 컨볼루션 필터의 높이, 제1 랭크, 및 제2 랭크로 표현된다.The second weight is expressed by the width of the convolution filter, the height of the convolution filter, the first rank, and the second rank.
제3 가중치는 출력 텐서의 차원수와 제2 랭크로 표현된다.The third weight is expressed by the number of dimensions of the output tensor and the second rank.
단순히 텐서 데이터에서 최적화된 랭크를 산출하는 과정은 새로운 프로세스를 요구하며 반복 계산(Iteration)을 수반하므로, 처리 시간이 증가하게 된다. The process of simply calculating an optimized rank from tensor data requires a new process and involves iteration, which increases processing time.
본 실시예에 따른 모델 압축 방법은 하한치(Lower Bound)를 통해서 제1 랭크과 제2 랭크를 설정한다. 제1 랭크과 제2 랭크는 수학식 6과 같이 표현된다.The model compression method according to the present embodiment sets the first rank and the second rank through a lower bound. The first rank and the second rank are expressed by Equation (6).
제1 랭크는 컨볼루션 필터의 폭, 컨볼루션 필터의 높이, 및 출력 텐서의 차원수를 곱한 값에 루트를 취한 값으로 표현된다. 제2 랭크는 컨볼루션 필터의 폭, 컨볼루션 필터의 높이, 및 입력 텐서의 차원수를 곱한 값에 루트를 취한 값으로 표현된다.The first rank is expressed by the root value multiplied by the width of the convolution filter, the height of the convolution filter, and the number of dimensions of the output tensor. The second rank is expressed by a value obtained by taking a route by multiplying the width of the convolution filter, the height of the convolution filter, and the number of dimensions of the input tensor.
각각의 컨볼루션 레이어당 메모리 관점에서 수학식 7에 해당하는 압축률을 갖는다.From a memory point of view for each convolutional layer, it has a compression ratio corresponding to Equation (7).
각각의 컨볼루션 레이어당 계산량 관점에서 수학식 8에 해당하는 압축률을 갖는다.In terms of the amount of calculation per convolution layer, it has a compression ratio corresponding to Equation (8).
하한치를 통하여 정해진 제1 랭크 및 제2 랭크를 적용하면, 동일한 압축률에 따른 동일한 검출율을 제공하면서 포인트 검출 과정에서 소요되는 시간을 최소화할 수 있다. 텐서 분해를 이용하여 네트워크를 분해한 서브 텐서를 추가함으로써 고화질 영상에서 알고리즘의 실시간 처리를 위해 알고리즘 구동 속도를 개선하고, 동시에 알고리즘 구동을 위해 요구되는 컴퓨팅 파워를 낮춰주는 효과가 있다.When the first rank and the second rank determined through the lower limit are applied, it is possible to minimize the time required in the point detection process while providing the same detection rate according to the same compression rate. By adding a sub-tensor that decomposes the network using tensor decomposition, it has an effect of improving the algorithm driving speed for real-time processing of the algorithm in a high-definition image, and at the same time lowering the computing power required for the algorithm driving.
도 1에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 1에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.Although FIG. 1 describes that each process is executed sequentially, this is merely illustrative, and a person skilled in the art changes and executes the sequence described in FIG. 1 without departing from the essential characteristics of the embodiments of the present invention. Or, it may be applied by various modifications and variations by executing one or more processes in parallel or adding other processes.
컴퓨팅 디바이스에 포함된 구성요소들이 도 4에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Although components included in the computing device are illustrated separately in FIG. 4, a plurality of components may be combined with each other and implemented as at least one module. The components are connected to a communication path connecting a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.
컴퓨팅 디바이스는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.The computing device may be implemented in a logic circuit by hardware, firmware, software, or a combination thereof, or may be implemented using a general purpose or special purpose computer. The device may be implemented using a fixed-wired device, a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like. In addition, the device may be implemented as a System on Chip (SoC) including one or more processors and controllers.
본 실시예에 따른 포인트 검출 방법은 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.The point detection method according to the present exemplary embodiment may be mounted on a computing device provided with hardware elements in software, hardware, or a combination thereof. Computing devices include various devices or communication devices such as communication modems for performing communication with wired/wireless communication networks, memory for storing data for executing programs, and microprocessors for executing and calculating and executing programs. It can mean a device.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.The operation according to the present embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. Computer readable media refers to any media that participates in providing instructions to a processor for execution. Computer-readable media may include program instructions, data files, data structures, or combinations thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. The computer program may be distributed over a networked computer system to store and execute computer readable code in a distributed manner. Functional programs, codes, and code segments for implementing the present embodiment can be easily inferred by programmers in the technical field to which this embodiment belongs.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.These embodiments are for explaining the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of the present embodiment should be interpreted by the claims below, and all technical spirits within the equivalent range should be interpreted as being included in the scope of the present embodiment.
Claims (2)
영상 데이터를 통하여 학습이 완료된 신경망의 레이어를 구성하는 고차원의 가중치를 복수의 텐서로 분해하여 저차원의 가중치로 변환하는 단계;
상기 영상 데이터를 통하여 상기 저차원의 가중치를 갖는 신경망의 레이어를 재학습하는 단계; 및
상기 재학습된 신경망의 레이어를 이용하여 새로운 영상 데이터로부터 특징점을 검출하는 단계
를 포함하는 동작들을 수행하는 텐서 분해 기반의 포인트 검출 방법.A method for detecting points based on tensor decomposition by a computing device comprising one or more processors and memory storing one or more programs executed by the one or more processors, the processor comprising:
Decomposing a high-dimensional weight constituting a layer of a neural network in which learning has been completed through image data into a plurality of tensors and converting the weight into a low-dimensional weight;
Re-learning a layer of the neural network having the low-dimensional weight through the image data; And
Detecting feature points from new image data by using the retrained neural network layer
A tensor decomposition based point detection method for performing operations including a.
상기 재학습하는 단계는,
상기 저차원의 가중치를 구성하는 텐서의 랭크 정보에 다른 텐서의 차원수와 상기 신경망의 필터의 크기로 표현된 관계식을 이용하여 하한치를 적용하는 것을 특징으로 하는 텐서 분해 기반의 포인트 검출 방법.According to claim 1,
The re-learning step,
A tensor decomposition-based point detection method characterized in that a lower limit value is applied to the rank information of the tensor constituting the low-dimensional weight using a relation expressed by the number of dimensions of another tensor and the size of the filter of the neural network.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180150371A KR20200064349A (en) | 2018-11-29 | 2018-11-29 | Method and Apparatus for Detecting Point Based on Tensor Decomposition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180150371A KR20200064349A (en) | 2018-11-29 | 2018-11-29 | Method and Apparatus for Detecting Point Based on Tensor Decomposition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200064349A true KR20200064349A (en) | 2020-06-08 |
Family
ID=71089924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180150371A KR20200064349A (en) | 2018-11-29 | 2018-11-29 | Method and Apparatus for Detecting Point Based on Tensor Decomposition |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200064349A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070067A (en) * | 2020-10-12 | 2020-12-11 | 乐普（北京）医疗器械股份有限公司 | Scatter diagram classification method and device for photoplethysmograph signals |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101789078B1 (en) | 2017-02-16 | 2017-10-23 | 전남대학교산학협력단 | Hidden discriminative features extraction for supervised high-order time series modeling |
-
2018
- 2018-11-29 KR KR1020180150371A patent/KR20200064349A/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101789078B1 (en) | 2017-02-16 | 2017-10-23 | 전남대학교산학협력단 | Hidden discriminative features extraction for supervised high-order time series modeling |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112070067A (en) * | 2020-10-12 | 2020-12-11 | 乐普（北京）医疗器械股份有限公司 | Scatter diagram classification method and device for photoplethysmograph signals |
| CN112070067B (en) * | 2020-10-12 | 2023-11-21 | 乐普（北京）医疗器械股份有限公司 | Scatter diagram classification method and device for photoplethysmograph signals |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11593586B2 (en) | Object recognition with reduced neural network weight precision | |
| US11481585B2 (en) | Segmentation of data | |
| JP6504590B2 (en) | System and computer implemented method for semantic segmentation of images and non-transitory computer readable medium | |
| AU2021290336A1 (en) | Structure learning in convolutional neural networks | |
| KR102011788B1 (en) | Visual Question Answering Apparatus Using Hierarchical Visual Feature and Method Thereof | |
| JP2016531343A5 (en) | ||
| US11934949B2 (en) | Composite binary decomposition network | |
| WO2022012668A1 (en) | Training set processing method and apparatus | |
| US20210089955A1 (en) | Quantum inspired convolutional kernels for convolutional neural networks | |
| Öztürk et al. | Transfer learning and fine‐tuned transfer learning methods' effectiveness analyse in the CNN‐based deep learning models | |
| Zhang et al. | A separation–aggregation network for image denoising | |
| EP3671635B1 (en) | Curvilinear object segmentation with noise priors | |
| KR20220083833A (en) | Systems and methods with robust deep generation models | |
| CN112861880A (en) | Weak supervision RGBD image saliency detection method and system based on image classification | |
| CN111915618A (en) | Example segmentation algorithm and computing device based on peak response enhancement | |
| Khan et al. | A hybrid defense method against adversarial attacks on traffic sign classifiers in autonomous vehicles | |
| KR20200064349A (en) | Method and Apparatus for Detecting Point Based on Tensor Decomposition | |
| KR20200064348A (en) | Method and Apparatus for Compressing Model Based on Tensor Decomposition | |
| CN112686098A (en) | Method and system for processing high-level visual area signals in brain based on Shape-Resnet | |
| EP3671634A1 (en) | Curvilinear object segmentation with geometric priors | |
| JP2020191088A (en) | Neural network with layer to solve semidefinite programming problem | |
| Cosentino et al. | Deep autoencoders: From understanding to generalization guarantees | |
| US20240087293A1 (en) | Extracting features from sensor data | |
| US20240104913A1 (en) | Extracting features from sensor data | |
| CN114118303A (en) | Face key point detection method and device based on prior constraint |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination |