KR20200075190A - Method for matching correspondence by using decision forest based on GPU - Google Patents
Method for matching correspondence by using decision forest based on GPU Download PDFInfo
- Publication number
- KR20200075190A KR20200075190A KR1020180163301A KR20180163301A KR20200075190A KR 20200075190 A KR20200075190 A KR 20200075190A KR 1020180163301 A KR1020180163301 A KR 1020180163301A KR 20180163301 A KR20180163301 A KR 20180163301A KR 20200075190 A KR20200075190 A KR 20200075190A
- Authority
- KR
- South Korea
- Prior art keywords
- decision tree
- pixel
- corresponding point
- image
- searching
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003066 decision tree Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 4
- 238000007796 conventional method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Abstract
Description
본 발명은 영상간의 대응점 탐색 방법에 관한 것으로서, 더욱 구체적으로는 GPU를 기반으로 한 병렬 처리를 통해, 실시간으로 영상간의 대응점을 탐색함으로써 향상된 성능을 제공하고 학습 기반으로 결정 트리를 생성하여 대응점을 탐색하도록 하는 대응점 탐색 방법에 관한 것이다. The present invention relates to a method of searching for a corresponding point between images, and more specifically, through parallel processing based on a GPU, providing improved performance by searching a corresponding point between images in real time, and generating a decision tree based on learning to search a corresponding point. It relates to a method of searching for a corresponding point to be made.
영상의 물체의 움직임을 분석하거나 영상의 구조에 대한 정보를 획득하기 위하여 대응점 탐색에 대한 많은 연구가 진행되었다. 이러한 연구는 광학 흐름(Optical Flow) 및 스테레오 매칭의 응용 연구 분야에서 핵심 기반 기술로 볼 수 있다. 특히, 다시점 영상의 3D 복원 및 실시간 4D 복원을 비롯하여 다양하게 개발되고 있는 증강 현실 및 가상 현실 환경에서도 대응점 정보의 탐색이 요구되고 있다. In order to analyze the motion of an object in an image or to obtain information about the structure of an image, many studies have been conducted on searching for a corresponding point. Such research can be regarded as a core base technology in the field of applied research of optical flow and stereo matching. In particular, it is required to search for corresponding point information in various augmented reality and virtual reality environments, including 3D reconstruction and real-time 4D reconstruction of multi-view images.
대응점 탑색 방법은 크게 픽셀의 특징점을 이용하는 방법과 시공간 경사를 이용하는 방법이 있다. 상기 픽셀의 특징점을 이용한 대응점 탐색 방법은, 특징점을 구하는 다양한 방법이 이용되는데, 영상간의 특징점에 대해 기술자를 연산하고 대응되는 픽셀을 탐색하여 대응점에 대한 정보를 얻게 된다. 상기 시공간 경사를 이용한 대응점 탐색 방법은, 영상 간 밝기 분포가 일정하다는 가정하게 프레임간의 수평, 수직, 시간에 대한 변화를 연산하여 최적화시켜 추정이 가능하다. There are two methods of using the top color of the corresponding point: a method using a feature point of a pixel and a method using a space-time gradient. As a method of searching for a corresponding point using a feature point of the pixel, various methods of obtaining a feature point are used. By calculating a descriptor for a feature point between images and searching for a corresponding pixel, information about the corresponding point is obtained. The method of searching for a corresponding point using the spatio-temporal slope can be estimated by calculating and optimizing changes in horizontal, vertical, and time between frames, assuming that the brightness distribution between images is constant.
전술한 바와 같이, 영상의 물체의 움직임을 분석하거나 영상의 구조에 대한 정보를 획득하기 위한 대응점 탐색 방법은 다양한 알고리즘들이 상용되며, 일반적으로 대응점 탐색 및 광학 흐름 추정은 픽셀 단위로 일정 거리내에서 탐색한다. 하지만, Global Patch Collidar 알고리즘(“The Global Patch Collidar”, Shenlong Wang 외 4인, CVPR 2016, 이하 GPC 라 함)은 전체 픽셀에 대하여 기술자를 비교하여 높은 정확도를 제공한다. 이때 각 영상의 모든 픽셀은 기술자 정보에 대해 결정 트리로 분류되고 대응되는 영상간의 대응점을 탐색한다. As described above, various algorithms are commonly used in the method of searching for a corresponding point for analyzing the motion of an object of an image or obtaining information about the structure of the image, and in general, searching for a corresponding point and estimating the optical flow within a certain distance in units of pixels do. However, the Global Patch Collidar algorithm (“The Global Patch Collidar”, Shenlong Wang et al. 4, CVPR 2016, hereinafter referred to as GPC) compares descriptors for all pixels to provide high accuracy. At this time, every pixel of each image is classified into a decision tree for descriptor information, and a corresponding point between corresponding images is searched.
대응점 정보는 실시간 3D 복원, 증강 현실 등의 연구의 기반 정보로 데이터 처리의 속도가 중요하다. 종래의 GPC 알고리즘이 구현된 기술에서는 영상의 크기가 작은 경우에는 실시간성이 보장되지만, HD 화질 이상의 영상에서는 실시간 시스템에 사용할 수 없다는 문제점이 있다. 기존의 기술은 표 1가 같이 GPC 알고리즘 내부 연산이 순차적 연산이 주로 이루어지기 때문에 Full HD급 영상에 대해서는 대응점에 대한 정확도는 높으나 데이터 연산 속도가 굉장히 느리다는 단점이 발생하게 된다. 이는 대응점 정보를 실시간으로 처리하지 못하는 문제를 발생하게 된다. The correspondence point information is the basis of research such as real-time 3D restoration and augmented reality, and the speed of data processing is important. In the technique in which the conventional GPC algorithm is implemented, real-time performance is guaranteed when the image size is small, but there is a problem that it cannot be used in a real-time system in an image having an HD quality or higher. As shown in Table 1 in the existing technology, since the internal operation of the GPC algorithm is mainly performed in sequential operation, the accuracy of the corresponding point is high for a Full HD-class image, but the data operation speed is very slow. This causes a problem that the corresponding point information cannot be processed in real time.
전술한 문제점을 해결하기 위한 본 발명은 GPU를 기반으로 하여 병렬 연산 처리함으로써, 고해상도 영상들에 대해서도 실시간으로 대응점을 검출할 수 있도록 하는 결정 트리를 이용한 대응점 탐색 방법을 제공하는 것을 목적으로 한다.An object of the present invention to solve the above-described problem is to provide a method for searching a corresponding point using a decision tree that enables a corresponding point to be detected in real time for high-resolution images by performing parallel operation processing based on a GPU.
전술한 목적을 달성하기 위한 본 발명의 특징에 따른 결정 트리를 이용한 대응점 탐색 방법은, (a) 영상을 입력받고, 입력 영상에 대한 채널을 검사하고, 영상 채널별로 데이터를 분리하는 단계; (b) 입력 영상내 모든 픽셀에 대하여 이미지 픽셀 패치에 대한 기술자(Descriptor)를 계산하는 단계; (c) 학습을 통해 결정 트리(Decision Forest)를 생성하기 위한 결정 트리 연산을 수행하여 각 픽셀에 대한 결정 트리 인덱스(pixel forest index)를 획득하는 단계; (d) 각 픽셀에 대해 획득된 결정 트리 인덱스들을 정렬하는 단계; (e) 결정 트리의 리프 노드에서 하나의 같은 결정 트리 인덱스를 갖는 픽셀들을 대응점으로 판단하는 단계; (f) 대응점으로 판단된 픽셀들에 대한 정보를 출력하는 단계;를 구비한다. A method of searching a corresponding point using a decision tree according to a feature of the present invention for achieving the above object includes: (a) receiving an image, examining a channel for the input image, and separating data for each image channel; (b) calculating a descriptor for an image pixel patch for all pixels in the input image; (c) obtaining a decision tree index for each pixel by performing a decision tree operation for generating a decision tree through learning; (d) sorting the decision tree indices obtained for each pixel; (e) determining pixels having one and the same decision tree index as a corresponding point at a leaf node of the decision tree; (f) outputting information on pixels determined as a corresponding point.
본 발명의 전술한 특징에 따른 대응점 탐색 방법에 있어서, 상기 대응점 탐색 방법은 GPU를 기반으로 하여 병렬 연산 처리되는 것이 바람직하다. In the method for searching a corresponding point according to the above-described feature of the present invention, it is preferable that the corresponding point searching method is processed in parallel based on a GPU.
본 발명의 전술한 특징에 따른 대응점 탐색 방법에 있어서, 상기 (b) 단계는, 입력 영상의 행에 대하여 적분 영상을 생성하고, 생성된 행에 대한 적분 영상을 이용하여 열에 대한 적분 영상을 생성하여, 입력 영상에 대한 적분 영상을 생성하는 것이 바람직하다. In the method of searching for a corresponding point according to the above-described feature of the present invention, step (b) generates an integral image for a row of the input image, and generates an integral image for a column using the integral image for the generated row. , It is preferable to generate an integral image for the input image.
본 발명의 전술한 특징에 따른 대응점 탐색 방법에 있어서, 상기 (c) 단계에서의 결정 트리 연산은, 입력 영상의 픽셀 단위로 병렬 처리하여 각 픽셀들에 대하여 결정 트리 인덱스를 부여하는 것이 바람직하다. In the method of searching a corresponding point according to the above-described feature of the present invention, it is preferable that the decision tree operation in step (c) is performed in parallel on a pixel-by-pixel basis of an input image to give a decision tree index for each pixel.
본 발명의 전술한 특징에 따른 대응점 탐색 방법에 있어서, 상기 대응점 탐색 방법은 각 픽셀에 대하여, 상기 (b) 단계에서 18개의 특징점 기술자 벡터를 획득하고 상기 (c) 단계에서 5개의 결정 트리 인덱스를 획득하여, 각 픽셀에 대하여 18개의 특징점 기술자 벡터와 5개의 결정 트리 인덱스로 구성된 픽셀 데이터를 구성하는 것이 바람직하다. In the corresponding point search method according to the above-described features of the present invention, the corresponding point search method acquires 18 feature point descriptor vectors in step (b) and 5 decision tree indexes in step (c) for each pixel. It is desirable to obtain and construct pixel data consisting of 18 feature point descriptor vectors and 5 decision tree indices for each pixel.
본 발명의 전술한 특징에 따른 대응점 탐색 방법에 있어서, 상기 (d) 단계는, 각 픽셀에 대해 획득된 결정 트리 인덱스들을 정렬하기 위하여, 인덱스 테이블을 생성하고 각 픽셀의 결정 트리 인덱스의 순으로 결정 트리 인덱스를 저장하는 것이 바람직하다.In the method of searching for a corresponding point according to the above-described feature of the present invention, step (d) generates an index table and sorts the decision tree indexes of each pixel in order to sort the decision tree indexes obtained for each pixel. It is desirable to store the tree index.
본 발명에 따른 대응점 탐색 방법은 GPU를 기반으로 하여 병렬 처리 연산하여 입력 영상들에 대한 대응점을 탐색함으로써, 고해상도 영상에 대해서도 실시간으로 대응점 탐색을 가능하게 한다.The method of searching for a corresponding point according to the present invention performs a parallel processing operation based on a GPU to search a corresponding point for input images, thereby enabling searching of a corresponding point in real time even for a high-resolution image.
도 1은 본 발명의 바람직한 실시예에 따른 결정 트리를 이용한 대응점 탐색 방법을 순차적으로 도시한 흐름도이다.
도 2는 종래의 방식에 따른 CPU를 기반으로 한 순차 연산과 본 발명에 따른 GPU를 기반으로 한 병렬 연산을 설명하기 위하여 도시한 모식도이다.
도 3의 (a)는 종래의 방법에 따른 데이터 정렬 방법이며, (b)는 본 발명에 따른 인덱스 테이블을 이용한 데이터 정렬 방법이다.
도 4의 (a)는 종래의 방식에 따라 입력 영상에 대한 CPU를 기반으로 한 대응점 탐색 결과이며, (b)는 본 발명에 따라 입력 영상에 대한 GPU를 기반으로 한 대응점 탐색 결과이다.1 is a flowchart sequentially showing a method of searching a corresponding point using a decision tree according to a preferred embodiment of the present invention.
FIG. 2 is a schematic diagram for explaining a sequential operation based on a CPU according to a conventional method and a parallel operation based on a GPU according to the present invention.
3(a) is a data sorting method according to a conventional method, and (b) is a data sorting method using an index table according to the present invention.
4(a) is a search result of a corresponding point based on a CPU for an input image according to a conventional method, and (b) is a search result of a corresponding point based on a GPU for an input image according to the present invention.
본 발명에 따른 결정 트리를 이용한 대응점 탐색 방법은 GPU를 기반으로 하여 병렬 처리 연산하여 입력 영상들에 대한 대응점을 탐색함으로써, 고해상도 영상에 대해서도 실시간으로 대응점 탐색을 가능케 하는 것을 특징으로 한다. The method for searching a corresponding point using the decision tree according to the present invention is characterized in that it is possible to search a corresponding point in real time even for a high-resolution image by searching for a corresponding point for input images by performing parallel processing calculation based on a GPU.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 결정트리를 이용한 대응점 탐색 방법에 대하여 구체적으로 설명한다. 본 발명에 따른 대응점 탐색 방법은 GPU를 기반으로 하여 병렬 연산 처리한 것을 특징으로 한다. Hereinafter, a method of searching a corresponding point using a decision tree according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. The method for searching a corresponding point according to the present invention is characterized in that parallel processing is performed based on the GPU.
도 1은 본 발명의 바람직한 실시예에 따른 결정 트리를 이용한 대응점 탐색 방법을 순차적으로 도시한 흐름도이다. 1 is a flowchart sequentially showing a method of searching a corresponding point using a decision tree according to a preferred embodiment of the present invention.
도 1을 참조하면, 본 발명에 따른 대응점 탐색 방법은 먼저 영상들을 입력받고, 입력 영상에 대한 채널을 검사하고, 데이터 자료형을 조정하고, 영상 채널별로 데이터를 분리한다(단계 100).Referring to FIG. 1, in the method for searching a corresponding point according to the present invention, first, images are input, a channel for an input image is checked, a data type is adjusted, and data is separated for each image channel (step 100).
도 2는 종래의 방식에 따른 CPU를 기반으로 한 순차 연산과 본 발명에 따른 GPU를 기반으로 한 병렬 연산을 설명하기 위하여 도시한 모식도이다. 도 2의 (a)는 종래의 CPU기반의 순차 연산을 설명하는 것으로서, 모든 인덱스를 순차적으로 나열하고 순차적으로 수행하며, (b)는 본 발명에 따른 GPU 기반의 병렬 연산을 설명하는 것으로서, 각 인덱스를 블록으로 나누고 이를 각 Thread로 나누어 병렬 연산하게 된다. 2 is a schematic diagram illustrating a sequential operation based on a CPU according to a conventional method and a parallel operation based on a GPU according to the present invention. FIG. 2(a) illustrates a conventional CPU-based sequential operation, in which all indexes are sequentially arranged and sequentially performed, and (b) illustrates a GPU-based parallel operation according to the present invention. Divide the index into blocks and divide it into each thread to perform parallel operation.
다음, 입력 영상내 모든 픽셀에 대하여 이미지 픽셀 패치에 대한 특징점 기술자(Descriptor)를 계산한다(단계 110). 각 픽셀에 대한 특징점 기술자 계산은 DCT 기법으로 적분 영상에 대하여 수행하여 각 픽셀에 대해 18개의 특성값을 구하게 된다.Next, a feature point descriptor for an image pixel patch is calculated for all pixels in the input image (step 110). The feature point descriptor calculation for each pixel is performed on the integral image by DCT technique to obtain 18 characteristic values for each pixel.
적분 영상을 생성하는 과정은 중복되는 계산이 많기 때문에 병렬 처리 연산의 수행을 위하여 영상의 행과 열에 대한 적분을 따로 수행한다. 적분 영상을 생성하기 위하여, 수학식 1을 이용하여 먼저 행에 대한 적분 영상을 계산하며, 이렇게 계산된 행에 대한 적분 영상을 이용하여 수학식 2를 이용하여 열에 대한 적분 영상을 계산함으로써, 전체 영상에 대한 적분 영상을 완성하여 중복 계산을 최소화시키는 것이 바람직하다. Since the process of generating the integral image has many redundant calculations, the integration of the rows and columns of the image is performed separately to perform the parallel processing operation. In order to generate the integral image, the integral image for the row is first calculated using
학습을 통해 결정 트리(Decision Forest)를 생성하기 위한 상기 결정 트리 연산을 수행하여 각 픽셀에 대한 결정 트리 인덱스(pixel forest index)를 획득한다(단계 120). 상기 결정 트리 연산은 픽셀 단위로 병렬 처리가 가능하고, 상기 결정 트리에 대한 연산을 통해, 각 픽셀들은 결정 트리 인덱스를 부여받게 된다. 각 픽셀 데이터는 18개의 특징점 기술자와 5개의 결정 트리 인덱스로 구성된다. Through learning, the decision tree operation for generating a decision tree is performed to obtain a pixel forest index for each pixel (step 120). The decision tree operation can be performed in parallel on a pixel-by-pixel basis, and through the operation on the decision tree, each pixel is given a decision tree index. Each pixel data consists of 18 feature point descriptors and 5 decision tree indices.
각 픽셀에 대해 획득된 결정 트리 인덱스들을 정렬한다(단계 130). 도 3은 본 발명의 바람직한 실시예에 따른 대응점 탐색 방법에 있어서, 본 발명에 따른 데이터 정렬 방법을 종래의 방법과 비교하여 설명하기 위한 모식도이다. 도 3의 (a)는 종래의 방법에 따른 데이터 정렬 방법이며, (b)는 본 발명에 따른 인덱스 테이블을 이용한 데이터 정렬 방법이다. The decision tree indices obtained for each pixel are sorted (step 130). 3 is a schematic diagram for explaining a data sorting method according to the present invention in comparison with a conventional method in a method for searching a corresponding point according to a preferred embodiment of the present invention. 3(a) is a data sorting method according to a conventional method, and (b) is a data sorting method using an index table according to the present invention.
도 3의 (a)를 참조하면, 종래의 데이터 정렬 방법은, 결정 트리 인덱스를 기준으로 데이터를 정렬시키는데, 이때 전체 데이터의 교체가 일어나게 된다. 하지만, 도 3의 (b)를 참조하면, 본 발명에 따른 방법은 데이터 정렬의 연산량을 줄이기 위하여, 결정 트리 인덱스 테이블을 생성하고, 인덱스 테이블에 각 픽셀의 결정 트리 인덱스의 순으로 저장하여 사용함으로써, 데이터 교체없이 데이터를 정렬할 수 있게 된다. Referring to (a) of FIG. 3, in the conventional data sorting method, data is sorted based on a decision tree index, wherein the entire data is replaced. However, referring to (b) of FIG. 3, the method according to the present invention generates a decision tree index table in order to reduce the amount of data sorting, and stores and uses the decision tree index of each pixel in the order of the index table. However, data can be sorted without data replacement.
다음, 결정 트리의 리프 노드에서 하나의 같은 결정 트리 인덱스를 갖는 픽셀들을 대응점으로 판단한다(단계 140). 대응점으로 판단된 픽셀들에 대한 정보를 출력한다(단계 150). Next, pixels having one and the same decision tree index are determined as corresponding points in the leaf node of the decision tree (step 140). Information about pixels determined as a corresponding point is output (step 150).
전술한 구성을 갖는 본 발명에 따른 대응점 탐색 방법에 의한 두 영상간의 대응점 탐색에 대한 연산 속도는 표 2와 같다. 테스트한 영상의 크기는 1080×1920 이다.Table 2 shows the computational speed for searching for a corresponding point between two images by the corresponding point searching method according to the present invention having the above-described configuration. The size of the tested video is 1080×1920.
표 2는 GPC 알고리즘을 종래의 CPU 기반의 순차 연산과 본 발명의 GPU 기반의 병렬 연산으로 실험을 진행하여 연산 속도를 비교한 것이다. Table 2 compares the computational speed of the GPC algorithm by experimenting with the conventional CPU-based sequential operation and the GPU-based parallel operation of the present invention.
도 4의 (a)는 종래의 방식에 따라 입력 영상에 대한 CPU를 기반으로 한 대응점 탐색 결과이며, (b)는 본 발명에 따라 입력 영상에 대한 GPU를 기반으로 한 대응점 탐색 결과이다. 도 4를 참조하면, 정확도 측면에서는 본 발명과 종래의 방법과 같은 결과를 보이며, 연산 속도는 표 2를 통해 약 7배 더 빠름을 알 수 있다. 본 발명은, 단순한 픽셀 정보를 이용한 연산의 경우에 병렬 처리로 연산 속도를 극대화시켰으며, 픽셀 간 정보를 순차적으로 처리하는 연산의 경우에는 병렬 처리 연산으로 인한 연산 속도 이득의 한계를 확인할 수 있다. 4(a) is a search result of a corresponding point based on a CPU for an input image according to a conventional method, and (b) is a search result of a corresponding point based on a GPU for an input image according to the present invention. Referring to FIG. 4, in terms of accuracy, it shows the same results as the present invention and the conventional method, and it can be seen that the calculation speed is about 7 times faster through Table 2. In the present invention, in the case of an operation using simple pixel information, the computation speed is maximized by parallel processing, and in the case of an operation for sequentially processing inter-pixel information, the limitation of the computation speed gain due to the parallel processing operation can be confirmed.
전술한 구성을 갖는 본 발명에 의해 다시점 영상의 3D 복원 및 실시간 4D 복원을 비롯하여 다양하게 개발되고 있는 증강 현실 및 가상 현실 환경에서의 대응점 정보를 실시간 시스템에서 획득할 수 있게 된다. 특히, 본 발명은, 이미지 패치 기반의 학습된 Random Forest 를 이용한 GPC 알고리즘을 GPU 기반의 병렬 처리 시스템으로 구현한다.According to the present invention having the above-described configuration, it is possible to acquire corresponding point information in a variety of developed augmented reality and virtual reality environments, including 3D reconstruction and real-time 4D reconstruction of multi-view images in a real-time system. In particular, the present invention implements a GPC algorithm using a learned random forest based on an image patch as a GPU-based parallel processing system.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. In the above, the present invention has been mainly described with respect to its preferred embodiment, but this is merely an example and does not limit the present invention, and those skilled in the art to which the present invention pertains do not depart from the essential characteristics of the present invention. It will be appreciated that various modifications and applications not illustrated above are possible in the scope. And, the differences related to these modifications and applications should be construed as being included in the scope of the invention defined in the appended claims.
Claims (6)
(b)입력 영상내 모든 픽셀에 대하여 이미지 픽셀 패치에 대한 기술자(Descriptor)를 계산하는 단계;
(c) 학습을 통해 결정 트리(Decision Forest)를 생성하기 위한 결정 트리 연산을 수행하여, 각 픽셀에 대한 결정 트리 인덱스(pixel forest index)를 획득하는 단계;
(d) 각 픽셀에 대해 획득된 결정 트리 인덱스들을 정렬하는 단계;
(e) 결정 트리의 리프 노드에서 하나의 같은 결정 트리 인덱스를 갖는 픽셀들을 대응점으로 판단하는 단계;
(f) 대응점으로 판단된 픽셀들에 대한 정보를 출력하는 단계;
를 구비하는 것을 특징으로 하는 결정 트리를 이용한 대응점 탐색 방법. (a) receiving an image, examining a channel for the input image, and separating data for each image channel;
(b) calculating a descriptor for an image pixel patch for all pixels in the input image;
(c) performing a decision tree operation to generate a decision tree through learning, obtaining a pixel forest index for each pixel;
(d) sorting the decision tree indices obtained for each pixel;
(e) determining pixels having the same decision tree index as a corresponding point at a leaf node of the decision tree;
(f) outputting information on pixels determined as a corresponding point;
A method of searching for a corresponding point using a decision tree, comprising:
입력 영상의 행에 대하여 적분 영상을 생성하고,
생성된 행에 대한 적분 영상을 이용하여 열에 대한 적분 영상을 생성하여,
입력 영상에 대한 적분 영상을 생성하는 것을 특징으로 하는 결정 트리를 이용한 대응점 탐색 방법. The method of claim 1, wherein step (b) is
An integral image is generated for a row of the input image,
By creating an integral image for the column using the integral image for the generated row,
A method for searching a corresponding point using a decision tree, characterized in that an integral image is generated for the input image.
입력 영상의 픽셀 단위로 병렬 처리하여 각 픽셀들에 대하여 결정 트리의 인덱스를 부여하는 것을 특징으로 하는 결정 트리를 이용한 대응점 탐색 방법. The decision tree operation in step (c) is
A method of searching for a corresponding point using a decision tree, characterized in that an index of a decision tree is assigned to each pixel through parallel processing in units of pixels of an input image.
상기 (b) 단계에서 18개의 특징점 기술자 벡터를 획득하고
상기 (c) 단계에서 5개의 결정 트리 인덱스를 획득하여,
18개의 특징점 기술자 벡터와 5개의 결정 트리 인덱스로 구성된 픽셀 데이터를 구성하는 것을 특징으로 하는 결정 트리를 이용한 대응점 탐색 방법. The method of claim 1, wherein the corresponding point search method is performed for each pixel.
In step (b), 18 feature point descriptor vectors are obtained,
In step (c), five decision tree indexes are obtained,
A method of searching a corresponding point using a decision tree, characterized in that pixel data consisting of 18 feature point descriptor vectors and 5 decision tree indices is constructed.
각 픽셀에 대해 획득된 결정 트리 인덱스들을 정렬하기 위하여, 인덱스 테이블을 생성하고 각 픽셀의 결정 트리 인덱스의 순으로 결정 트리 인덱스를 저장하는 것을 특징으로 하는 결정 트리를 이용한 대응점 탐색 방법. The method of claim 1, wherein step (d) is
In order to sort the obtained decision tree indices for each pixel, a method of searching for a corresponding point using a decision tree is characterized by generating an index table and storing the decision tree index in the order of the decision tree index of each pixel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180163301A KR20200075190A (en) | 2018-12-17 | 2018-12-17 | Method for matching correspondence by using decision forest based on GPU |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180163301A KR20200075190A (en) | 2018-12-17 | 2018-12-17 | Method for matching correspondence by using decision forest based on GPU |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200075190A true KR20200075190A (en) | 2020-06-26 |
Family
ID=71136528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180163301A KR20200075190A (en) | 2018-12-17 | 2018-12-17 | Method for matching correspondence by using decision forest based on GPU |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20200075190A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100924411B1 (en) | 2001-12-07 | 2009-10-29 | 소니 가부시끼 가이샤 | Image processing apparatus, image processing method, and storage medium |
| KR101853060B1 (en) | 2016-09-21 | 2018-04-30 | 한국과학기술연구원 | Appratus and method for determining features invariant under deformation |
-
2018
- 2018-12-17 KR KR1020180163301A patent/KR20200075190A/en not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100924411B1 (en) | 2001-12-07 | 2009-10-29 | 소니 가부시끼 가이샤 | Image processing apparatus, image processing method, and storage medium |
| KR101853060B1 (en) | 2016-09-21 | 2018-04-30 | 한국과학기술연구원 | Appratus and method for determining features invariant under deformation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11080331B2 (en) | Systems and methods for addressing a media database using distance associative hashing | |
| CA2906199C (en) | Systems and methods for addressing a media database using distance associative hashing | |
| US9055335B2 (en) | Systems and methods for addressing a media database using distance associative hashing | |
| US8712154B2 (en) | Image processing system and method | |
| JP5711387B2 (en) | Method and apparatus for comparing pictures | |
| Zhou et al. | Omnidirectional image quality assessment by distortion discrimination assisted multi-stream network | |
| EP3001871B1 (en) | Systems and methods for addressing a media database using distance associative hashing | |
| JP2004522228A (en) | A method for representing and comparing digital images. | |
| CA3163171A1 (en) | System and method for identity preservative representation of persons and objects using spatial and appearance attributes | |
| CN113239869A (en) | Two-stage behavior identification method and system based on key frame sequence and behavior information | |
| KR20150114950A (en) | Increasing frame rate of an image stream | |
| Badre et al. | Novel video content summarization using thepade's sorted n-ary block truncation coding | |
| US20090110277A1 (en) | Method and apparatus for analysing a plurality of stored images | |
| CN114419406A (en) | Image change detection method, training method, device and computer equipment | |
| KR20200075190A (en) | Method for matching correspondence by using decision forest based on GPU | |
| Banerjee et al. | TWD: a new deep E2E model for text watermark/caption and scene text detection in video | |
| EP3073738A1 (en) | Methods and devices for video encoding | |
| JP4154459B2 (en) | Digital video processing method and apparatus | |
| JP5702960B2 (en) | Image processing apparatus, image processing method, and program | |
| Soniminde et al. | Global windowing based thepade's sorted N-ary block truncation coding (TSnBTC) for content based video retrieval with various similarity measures | |
| Sharma et al. | DenseNet with pre-activated deconvolution for estimating depth map from single image | |
| CN110795972A (en) | Pedestrian identity recognition method, device, equipment and storage medium | |
| Alamgeer et al. | Light field image quality assessment method based on deep graph convolutional neural network: research proposal | |
| CN109783475B (en) | Method for constructing large-scale database of video distortion effect markers | |
| Lee et al. | Pornographic Video Detection with Convolutional Two-Stream Network Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |