KR20160080816A

KR20160080816A - System and method for detecting and describing color invariant features using fast explicit diffusion in nonlinear scale spaces

Info

Publication number: KR20160080816A
Application number: KR1020140190013A
Authority: KR
Inventors: 이상웅; 아드리안토 테드조쿠수모
Original assignee: 조선대학교산학협력단
Priority date: 2014-12-26
Filing date: 2014-12-26
Publication date: 2016-07-08
Also published as: KR101643550B1

Abstract

The present invention relates to a system and a method for detecting and describing color invariant features by using a fast explicit diffusion method in a nonlinear scale space. In order to extract accurate image features in an image matching technology, a multi-scale 2D invariant color is detected and described in a nonlinear scale space to reduce a noise of an image, maintain a boundary of an object having considerably excellent local accuracy and brightness, and show an accurate and rapid matching result through a color modified-local difference binary (cm-ldb) descriptor using gradient information and hue, lightness, and saturation (HLS) color information from the nonlinear scale space. The system for detecting and describing color invariant features by using FED in a nonlinear scale space comprises: a nonlinear scale space generation means which generates a nonlinear scale space with respect to each HLS using an HLS color space; a feature detection means which detects a key point with respect to an image of the generated nonlinear scale space and calculates an adaptive integrated determinant Hessian response value; and a feature description means which expands a brightness-based descriptor into a color-based descriptor by using gradient information and HLS color information from the nonlinear scale space.

Description

BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system and a method for detecting and expressing color invariant characteristics using a high-speed sharpness diffusion method in a non-

본 발명은 비선형 공간에서 고속 선명도 확산(Fast Explicit Diffusion, FED) 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에 관한 것으로, 더욱 구체적으로는 이미지 매칭 기술에서 정확한 이미지의 특징을 추출하기 위해서 비선형 스케일 공간에서 멀티스케일 2D 불변 색상을 검출하고 표현하는 것에 관한 것이다.The present invention relates to a system and method for detecting and expressing color invariant characteristics using Fast Explicit Diffusion (FED) in a nonlinear space, and more particularly, And more particularly to detecting and representing multi-scale 2D invariant colors in non-linear scale space.

이미지 파노라마 영상접합(이미지 스티칭, image stitching), 이미지 인식, 특히 3D 비주얼(visual) SLAM(Simultaneous Localization and Mapping) 등과 같은 많은 컴퓨터 비전 어플리케이션들에서 주요 이미지 처리 과정 중 하나가 이미지 매칭이다. 모든 캡쳐된 이미지의 매칭은 이미지 특징에 상응하는 이미지들은 결합해서 맵(map)을 만드는데 필요한 필수적인 과정이다. 이미지 매칭의 주요 개념은 두 분석된 이미지의 비슷한 중요한 특징이나 키포인트를 찾는 것이므로, 검출기(detector)와 표현자(descriptor)는 처음에 계산되어야 한다.Image matching is one of the main image processing processes in many computer vision applications such as image panorama image stitching, image recognition, and especially 3D visual SLAM (Simultaneous Localization and Mapping). The matching of all captured images is an essential process required to combine images corresponding to image features to create a map. Since the key concept of image matching is finding similar key features or keypoints of both analyzed images, the detector and descriptor must be computed first.

여기서 중요한 과정인 로컬적 불변 특징의 개발방법이 지난 수년간 진행 되어 왔다. 상기 특징들은 반복적으로 발생하고 그들을 이동, 회전, 확대와 아핀(affine) 변형 등의 이미지 변형에도 변하지 않는 로컬적 이미지 구조를 찾는 어플리케이션을 가능하게 했다. 이런 로컬적으로 변하지 않는 최신 특징 추출 기술들로 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature), BRISK(Binary Robust Invariant Scalable Keypoints), ORB(ORiented BRIEF(Binary Robust Independent Elementary), KAZE(바람(wind)이라는 뜻의 일본어에서 나온 용어로써, 자연에서 대규모의 공기에 대한 흐름으로 정의되고 보통 이 흐름은 비선형 프로세스에 의해 지배되는 점에 착안하여, 이를 이미지 영역에서 비선형 확산 프로세스와 연관지어 이미지 특징 추출과 표현에 사용한 것임)와 A-KAZE(Accelerated-KAZE)등이 있다.The development of local invariant features, an important process here, has been going on for many years. These features enable applications that occur repeatedly and find a local image structure that does not change with image variations such as moving, rotating, magnifying and affine transforming them. This new feature extraction technology that does not change locally is called Scale Invariant Feature Transform (SIFT), Speeded Up Robust Feature (SURF), Binary Robust Invariant Scalable Keypoints (BRISK), ORB (Binary Robust Independent Elementary) It is a term derived from Japanese, meaning wind, which is defined as a flow of air in a large scale in nature, and usually this flow is dominated by a nonlinear process, which is associated with a nonlinear diffusion process in the image domain, Feature extraction and representation) and A-KAZE (Accelerated-KAZE).

A-KAZE를 포함하는 모든 최신 특징 추출 방법들은 이미지에 포함된 흑백정보를 사용한다. 이전 방법들은 알고리즘을 단순화하고 계산 요구량을 줄이는데 흑백 이미지를 사용했다. 하지만, 세 가지 채널을 포함하는 HLS 이미지를 8비트 표현의 한 채널로 된 흑백 이미지로 변환하는 것은 정확도의 부족을 야기하는 등 특수한 조건에서 많은 부작용을 가진다. 컬러 이미지의 흑백 버전은 색조와 채도값이 아닌 단지 밝기값을 정의하는 색체 특징(chromatic saliency)을 보존하지 못한다. 흑백값은, R, G, B 요소의 가중치 합을 형성함으로써 명암(Intensity), 흐릿함(Gleam), 휘도(Luminance), 광도(Luma), 밝기(Lightness) 등과 같은 RGB채널의 일반화를 통해 계산된다. 그러므로 별개의 오브젝트의 RGB색 값이 다르지만 밝기값은 같은 어떤 경우가 발생한다. 이런 색의 두드러진 차이는 동일 흑백 스케일 값에서 나타난다. 이러한 현상은 잠재적으로 색의 중요한 키포인트를 감지하지 못해서 매칭 결과의 성능을 감소시키는 결과를 야기한다. All the latest feature extraction methods, including A-KAZE, use the black and white information contained in the image. Previous methods used black and white images to simplify the algorithm and reduce computational requirements. Converting a HLS image containing three channels into a monochrome image with one channel of 8-bit representation, however, has many adverse effects under special conditions, such as causing a lack of accuracy. The black and white version of a color image does not preserve the chromatic saliency that defines only the brightness value, not the hue and saturation values. The monochrome values are calculated through generalization of RGB channels such as Intensity, Gleam, Luminance, Luma, Lightness, etc. by forming the weighted sum of R, G, . Therefore, RGB color values of different objects are different, but brightness occurs in some cases. The striking difference of these colors appears at the same monochrome scale value. This phenomenon results in potentially reducing the performance of the matching result by failing to detect key key points of color.

본 발명의 비선형 공간에서 FED를 이용한 색상불변 특성 검출기와 표현자는 이미지의 정확한 특징을 추출하기 위해 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 감지와 표현 알고리즘(색조, 밝기, 채도(Hue, Lightness, Saturation, HLS, HLS) 공간의 이미지의 색 정보를 이용)을 이용한다. 비선형 스케일 공간이 각 색채널(HLS)을 위해 따로 만들고, 이미지의 키포인트를 찾는데 있어 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응을 계산하고, 비선형 스케일 공간에서 FED 방법을 실행하는데, 이는 이미지의 노이즈를 줄이면서도, 상당히 훌륭한 로컬적 정확성과 선명함을 가진 물체의 경계를 유지한다. 또한 비선형 스케일 공간으로부터 기울기(gradient) 정보와 동시에 HLS색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb) 표현자를 통해 보다 정확하고 빠른 이미지 매칭 결과를 보여주고자 한다.In the nonlinear space of the present invention, the color invariant characteristic detector and the presenter using the FED extract multi-scale 2D invariant color detection and representation algorithms (hue, brightness, saturation, HLS, HLS) using the color information of the image in the space). The nonlinear scale space is created separately for each color channel (HLS), the Adaptive integrated determinant Hessian reaction is calculated in finding the keypoint of the image, and the FED method is executed in the nonlinear scale space, While keeping the boundaries of objects with fairly good local accuracy and sharpness. It is also intended to show more accurate and faster image matching results through color modified-local difference binary (cm-ldb) presenter using gradient information and HLS color information from nonlinear scale space .

기존의 비선형 공간에서 FED를 이용한 색상불변 특성 검출기와 표현자에 대한 선행기술문헌으로, 한국공개특허 제2006-0112666호(2006.11.01)는 이미지들과 관련된 윤곽 정보를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것을 제시하고 있다. 이 선행기술에서 이미지 획득유닛은 상호 연관된 이미지를 획득하며, 이미지 분할 유닛은 이미지들을 분할하며, 윤곽 결정 유닛은 분할로부터 적어도 두 개의 윤곽들을 추출하며, 각각의 이미지의 윤곽들에서 관심 포인트들을 선택하며, 3차원 재구성에 의하여 재구성된 대응 포인트들과 관심 포인트들을 연관시키며, 재구성된 포인트들을 이미지들에 투영하며, 객체의 윤곽의 적어도 적정 부분이 상기 링크된 포인트들에 기초하여 결정될 수 있도록, 링크들의 제1 세트를 제공하기 위해, 접점 또는 이들의 투영들에 투영되지 않는 재구성된 포인트들을 서로 링크하는 것을 특징으로 하는 것이다.Korean Unexamined Patent Application Publication No. 2006-0112666 (2006.11.01) discloses a method, apparatus, and method for providing outline information related to images, And a computer program product. In this prior art, the image acquisition unit obtains an interrelated image, the image segmentation unit divides the images, the outline determination unit extracts at least two outlines from the segmentation, selects the points of interest in the outlines of each image Associating the points of interest reconstructed by three-dimensional reconstruction with points of interest, projecting the reconstructed points onto the images, and determining at least a portion of the contour of the object to be determined based on the linked points. Characterized in that to provide the first set, the reconstructed points which are not projected onto the contacts or their projections are linked to each other.

또한, 비선형 공간에서 FED를 이용한 색상불변 특성 검출기와 표현자와 관련한 또 다른 선행기술문헌으로, 한국등록특허 제10-0724134호(2007.06.05)는 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치에 관한 것으로, 파노라마 영상을 제공하는 방법에서는, 이미지 스티칭 시에, 두 소스 이미지들 각각을 여러 비율로 스케일링한 복수 레벨의 이미지들을 준비하고, 각 레벨에서 두 이미지들의 일정 영역에 대한 SSD를 계산하여 매칭시킨다. 이때, 픽셀수가 적은 레벨의 이미지 탐색 범위는 크게 하고 픽셀수가 많은 레벨의 이미지 탐색 범위는 작게 하여 점점 정밀도를 높인다. 또한, 색 블렌딩 시에, 두 소스 이미지들의 겹친 부분 중 일정 범위에서 10% 정도만의 블렌딩 영역에 리니어하게 가중치를 적용한다. 이때, 두 소스 이미지들의 겹친 부분을 복수개로 나누어 각 나누어진 부분마다 상기 블렌딩 영역에 리니어하게 가중치를 적용할 수도 있다. 그리고 상기 두 소스 이미지들의 겹친 부분 중 일정 범위의 블렌딩 영역에 대하여, 그 안쪽 10% 영역과 사이드 영역들에 서로 다른 정밀한 가중치 함수를 적용하는 것을 특징으로 하는 것이다.In addition, as another prior art document related to a color invariant property detector using a FED in a nonlinear space and a presenter, Korean Patent No. 10-0724134 (Jun. 2007) provides a panorama image improved in image matching speed and blending method The present invention relates to a method of providing a panoramic image. In a method of providing a panoramic image, at the time of image stitching, plural levels of images obtained by scaling each of two source images at various ratios are prepared, Are calculated and matched. At this time, the image search range with a small number of pixels is made large, and the image search range with a large number of pixels is made small, thereby increasing the precision. Also, at the time of color blending, a linear weight is applied to a blending area of only about 10% in a certain range among overlapping parts of two source images. At this time, the overlapping portions of the two source images may be divided into a plurality of portions, and the weighting may be linearly applied to the blending region for each divided portion. The present invention is characterized by applying different accurate weighting functions to the inner 10% area and the side areas for a certain range of blending areas among the overlapping parts of the two source images.

그러나 상기 선행기술문헌들의 이미지 특징 추출 방법들은 이미지로부터 흑백 정보를 사용한다. 이 방법은 알고리즘을 단순화하고 계산 요구(계산량)를 줄이는데 효과가 있지만, 세 가지 채널을 포함하는 HLS 이미지를 8비트 표현의 한 채널로 된 흑백 이미지로 변환하는 것은 정확도의 부족을 야기하는 등 특수한 조건에서 많은 부작용을 가지는 문제가 있다.However, the image feature extraction methods of the prior art documents use monochrome information from images. Although this method is effective in simplifying the algorithm and reducing the calculation requirements (calculation amount), converting HLS images including three channels into a monochrome image with one channel of 8-bit representation leads to a lack of accuracy, There are many side effects in the.

본 발명에서는 이러한 문제점을 개선하기 위하여 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 감지와 표현 알고리즘을 이용을 이용하여 다른-색-같은-흑백값 로컬을 포함하는 두 상응하는 이미지의 매칭 성능을 향상하는 것이다. 그것은 탐지와 묘사 레벨 모두에서 색채를 휘도 정보와 결합함으로써 얻어진다. 이미지의 색 정보를 이용하기 위해서, 이것은 "휘도로부터 HLS 색으로"를 의미하는 "스칼라로부터 벡터"로 멀티-스케일 특징 추출 이론을 확장하는 것을 요구한다. 로컬적 극값을 찾는 것에서, 선택된 키포인트를 결정하기 위해, 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응이 실행된다. 이 시스템은 로컬적 표준편차와 로컬적 기울기 정보에 기초한 각 채널 해쉬 반응의 계산된 가중치를 사용한다. 가중치 값은 각 색채널의 중요도를 결정한다. 비선형 스케일 시스템은 이미지 노이즈를 줄이기 위해 각 스케일의 적응전도확산(adaptive conductivity diffusion) 알고리즘을 각 색 공간 채널의 멀티-스케일 특징 추출 방법으로 선택됐지만 중요한 가장자리부분은 FED 방법을 사용하여 성능을 향상시킨다. FED 방법에 의해, 비선형 스케일 공간은 다른 방법에 비해 더 빨리 구축되고, 보다 정확하고 쉽게 구현된다. 그리고 표현자 레벨에서는, 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb) 표현자를 통해 비선형 스케일 공간에서 HLS 색 정보와 기울기 정보를 동시에 사용하여 이미지의 스케일, 회전, 조명 등에 불변한 결과를 보여주고자 한다.The present invention improves the matching performance of two corresponding images that include different-color-like-black-and-white value locales using multi-scale 2D invariant color sensing and representation algorithms in nonlinear scale space to solve this problem . It is obtained by combining color with luminance information at both the detection and the description levels. In order to use the color information of an image, this requires extending the theory of multi-scale feature extraction from "scalar to vector" meaning "from luminance to HLS color". In locating the local extrema, an Adaptive integrated determinant Hessian response is performed to determine the selected keypoint. The system uses the calculated weight of each channel hash response based on local standard deviation and local slope information. The weight value determines the importance of each color channel. In order to reduce image noise, the nonlinear scale system is selected by adaptive conductivity diffusion algorithm of each scale as multi - scale feature extraction method of each color space channel, but important edge part improves performance by using FED method. By the FED method, the non-linear scale space is constructed more quickly and more accurately and easily than other methods. At the presenter level, HLS color information and slope information are simultaneously used in a nonlinear scale space through a color modified-local difference binary (cm-ldb) presenter to invariably change the scale, rotation, I want to show a result.

전술한 종래기술의 문제점을 해결하기 위하여 본 발명에서는 비선형 공간에서 FED를 이용한 색상불변 특성 검출기와 표현자는 이미지의 정확한 특징을 추출하기 위해 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 감지와 표현 알고리즘(색조, 밝기, 채도(HLS) 공간의 이미지의 색 정보를 이용)을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.In order to solve the problems of the prior art described above, the color invariant characteristic detector and presenter using the FED in a nonlinear space are used for extracting the exact features of the image, and a multi-scale 2D invariant color detection and representation algorithm Brightness, and saturation (HLS) space), and a method for detecting and expressing color invariant characteristics using the system.

또한 본 발명은 비선형 스케일 공간이 각 색채널(HLS)을 위해 따로 만들고, 이미지의 키포인트를 찾는데 있어 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응을 계산하고, 비선형 스케일 공간에서 FED 방법을 실행하는데, 이는 이미지의 노이즈를 줄이면서도, 상당히 훌륭한 로컬적 정확성과 선명함을 가진 물체의 경계를 유지함으로써, 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.The present invention also makes a nonlinear scale space for each color channel (HLS), calculates Adaptive integrated determinant Hessian response in finding the keypoint of the image, and executes the FED method in the nonlinear scale space, It is an object of the present invention to provide a system and method for detecting and expressing color invariant characteristics by reducing the noise of an image while maintaining the boundary of an object having a very good local accuracy and clarity.

또한 본 발명은 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb) 표현자를 통해 보다 정확하고 빠른 이미지 매칭 결과를 보여줌으로써, 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.Further, the present invention provides a more accurate and quick image matching result through a color modified-local difference binary (cm-ldb) presenter using the HLS color information simultaneously with the slope information from the nonlinear scale space, And to provide a system and method for detecting and expressing invariant characteristics.

상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 비선형 공간에서 FED를 이용한 색상불변 특성 검출 및 표현 시스템은, HLS 색 공간을 사용한 각 색채널(HLS)에 대해서 비선형 스케일 공간을 생성하는 비선형 스케일 공간 생성 수단; 상기 생성된 비선형 스케일 공간의 이미지에 대한 키포인트를 찾아서 적응통합결정해쉬 반응값을 계산하는 특징 검출 수단; 및 상기 비선형 스케일 공간으로부터 기울기 정보와 HLS 색 정보를 이용하여 휘도기반의 표현자에서 색기반의 표현자로 확장하는 특징 표현 수단;을 포함하며, HLS 색 공간의 이미지의 색 정보를 이용하여 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 검출과 표현을 수행하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a system for detecting and displaying a color invariant characteristic using an FED in a nonlinear space, comprising: a nonlinear scale generating unit for generating a nonlinear scale space for each color channel (HLS) Space generating means; Feature detecting means for finding a key point for an image of the generated nonlinear scale space and calculating an adaptive unity decision hash response value; And a feature expressing means for expanding the nonlinear scale space from the luminance-based presenter to the color-based presenter by using the slope information and the HLS color information, and using the color information of the image of the HLS color space, Scale 2D < / RTI > invariant color detection and representation.

또한 상기 비선형 스케일 공간 생성 수단은, 휘도에서 색으로의 확장을 의미하는 스칼라로부터 벡터로 다중-스케일 특징 추출로 확장하는 것이며, A-KAZE 검출기의 휘도를 확장하여 HLS 색 공간을 사용하는 것을 특징으로 한다.The nonlinear scale space generation means extends the multi-scale feature extraction from a scalar, which means extension from luminance to color, and uses the HLS color space by extending the luminance of the A-KAZE detector. do.

또한 상기 비선형 스케일 공간은, 확산 과정을 제어하는 특정 흐름 함수의 발산으로 스케일 레벨을 증가시킴을 통해 이미지의 각 채도 색채널의 진화를 묘사하며, 가변 컨덕턴스 확산(variable conductance diffusion)과 FED 기술을 이용해 만들어지고, 확산 방정식의 전도율 함수는 로컬 이미지 구조에 적응적인 확산을 일으키므로, 이미지 노이즈를 줄이지만 여전히 중요한 모서리를 유지하게 되는 것을 특징으로 한다.The nonlinear scale space also describes the evolution of each chroma color channel of an image by increasing the scale level by divergence of a particular flow function that controls the diffusion process and uses variable conductance diffusion and FED technology And the conductivity function of the diffusion equation causes adaptive diffusion in the local image structure, thereby reducing image noise, but still retaining significant corners.

또한 상기 확산 방정식에 대한 해법은, 양함수(explicit)와 반음함수(semi-implicit) 방법의 장점을 혼합한 FED 방법을 사용하며, 상기 FED 방법은 피라미드형 프레임워크를 내장하는 것을 특징으로 한다.In addition, the solution to the diffusion equation uses an FED method that combines the advantages of an explicit function and a semi-implicit method, and the FED method embeds a pyramid-like framework.

또한 상기 특징 검출 수단에서, 적응통합결정해쉬 반응값을 계산하는 것은, 인접 픽셀의 극점을 찾는 것을 필요로 하며, 각 채널의 도함수를 개별적으로 계산하고 해쉬 반응의 디터미넌트로 부분적 결과를 결합하여 수행하는 것을 특징으로 한다. 여기서 상기 결합은, 표준편차 가중치 응답(Standard Deviation Weight Response)과 로컬 기울기 가중치 응답(Local Gradient Weight Response)으로 반응값 계산의 적응성 가중치를 이용하는 것을 특징으로 한다.Also in the feature detection means, calculating the adaptive unity decision hash response value requires finding the poles of the adjacent pixels, calculating the derivatives of each channel separately and combining the partial results with the determinants of the hash response . Here, the combining uses an adaptive weight of the reaction value calculation based on a standard deviation weight response and a local gradient weight response.

또한 상기 특징 표현 수단은, 상기 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb)을 사용해서 휘도-기반의 표현자를 색-기반의 표현자로 확장하는 것을 특징으로 한다.The feature-expressing unit may further include a chrominance-based presenter using the color-modified local difference binary (cm-ldb) using the HLS color information simultaneously with the slope information from the non-linear scale space. Based presenter.

또한 상기 컬러 수정-로컬 차분 이진을 사용한 표현자는, 스케일 불변이며, 방향 SURF에 의해 회전 변화에 강하고, 특징 검출에 의해 추출된 색 기울기 정보가 휘도 변화에 따라 변하지 않는 것을 특징으로 한다.Also, the presenters using the color correction-local difference binary are scale-invariant, strong in rotation by the direction SURF, and color slope information extracted by the feature detection does not change with luminance variation.

아울러 본 발명의 또 다른 일 실시예에 따른 비선형 공간에서 FED를 이용한 색상불변 특성 검출 및 표현 방법은, HLS 색 공간을 사용한 각 색채널(HLS)에 대해서 비선형 스케일 공간을 생성하는 비선형 스케일 공간 생성 단계; 상기 생성된 비선형 스케일 공간의 이미지에 대한 키포인트를 찾아서 적응통합결정해쉬 반응값을 계산하는 특징 검출 단계; 및 상기 비선형 스케일 공간으로부터 기울기 정보와 HLS 색 정보를 이용하여 휘도기반의 표현자에서 색기반의 표현자로 확장하는 특징 표현 단계;를 포함하며, HLS 색 공간의 이미지의 색 정보를 이용하여 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 검출과 표현을 수행하는 것을 특징으로 한다.According to another embodiment of the present invention, there is provided a method for detecting and representing a color invariant characteristic using an FED in a nonlinear space, comprising: generating a nonlinear scale space for each color channel (HLS) using an HLS color space; ; A feature detection step of searching for a key point for an image of the generated nonlinear scale space and calculating an adaptive unity decision hash response value; And a feature expressing step of expanding the nonlinear scale space from the luminance-based presenter to the color-based presenter by using the slope information and the HLS color information, and using the color information of the image of the HLS color space, Scale 2D < / RTI > invariant color detection and representation.

또한 상기 비선형 스케일 공간 생성 단계는, 휘도에서 색으로의 확장을 의미하는 스칼라로부터 벡터로 다중-스케일 특징 추출로 확장하는 것이며, A-KAZE 검출기의 휘도를 확장하여 HLS 색 공간을 사용하는 것을 특징으로 한다.Also, the nonlinear scale space generation step is extended from scalar to vector multi-scale feature extraction, which means extension from luminance to color, and the HLS color space is used by extending the luminance of the A-KAZE detector do.

또한 상기 특징 검출 단계에서, 적응통합결정해쉬 반응값을 계산하는 것은, 인접 픽셀의 극점을 찾는 것을 필요로 하며, 각 채널의 도함수를 개별적으로 계산하고 해쉬 반응의 디터미넌트로 부분적 결과를 결합하여 수행하는 것을 특징으로 한다. 여기서 상기 결합은, 표준편차 가중치 응답(Standard Deviation Weight Response)과 로컬 기울기 가중치 응답(Local Gradient Weight Response)으로 반응값 계산의 적응성 가중치를 이용하는 것을 특징으로 한다.Also, in the feature detection step, calculating the adaptive unified decision hash response value requires finding the poles of the adjacent pixels, calculating the derivatives of each channel separately, and combining the partial results with the determinants of the hash response . Here, the combining uses an adaptive weight of the reaction value calculation based on a standard deviation weight response and a local gradient weight response.

또한 상기 특징 표현 단계는, 상기 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb)을 사용해서 휘도-기반의 표현자를 색-기반의 표현자로 확장하는 것을 특징으로 한다.The feature-expressing step may further include the step of: using the color-modified local difference binary (cm-ldb) using the HLS color information simultaneously with the slope information from the nonlinear scale space to transform the luminance- Based presenter.

본 발명은 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에 관한 것으로, 이미지의 정확한 특징을 추출하기 위해 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 감지와 표현 알고리즘(색조, 밝기, 채도(HLS) 공간의 이미지의 색 정보를 이용)을 한다. 비선형 스케일 공간이 각 색채널(HLS)을 위해 따로 만들고, 이미지의 키포인트를 찾는데 있어 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응을 계산하고, 비선형 스케일 공간에서 FED 방법을 실행하는데, 이는 이미지의 노이즈를 줄이면서도, 상당히 훌륭한 로컬적 정확성과 선명함을 가진 물체의 경계를 유지한다. 또한 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb) 표현자를 통해 보다 정확하고 빠른 이미지 매칭 결과를 보여주는 효과가 있다.The present invention relates to a system and method for detecting and expressing color invariant characteristics using a high-speed sharpness diffusion method in a nonlinear space, and more particularly to a system and method for detecting and expressing color invariant characteristics in a nonlinear space, (Using the color information of the image of Hue, Brightness, and Saturation (HLS) space). The nonlinear scale space is created separately for each color channel (HLS), the Adaptive integrated determinant Hessian reaction is calculated in finding the keypoint of the image, and the FED method is executed in the nonlinear scale space, While keeping the boundaries of objects with fairly good local accuracy and sharpness. Also, there is an effect of showing more accurate and quick image matching result through the color modified-local difference binary (cm-ldb) presenter using the HLS color information simultaneously with the slope information from the non-linear scale space.

도 1은 본 발명의 일실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비선형 공간에서 FED를 이용한 색상불변 특성 검출 및 표현 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 중복지역 에러가 60%인 이미지에 대한 검출기의 반복성 평가 그래프이다. 각각은 (a) 블러(blur); (b) JPEG 압축(compression); (c) 조명(Illumination); (d) 뷰포인트(Viewpoint); (e) 줌(Zoom) + 회전(rotation)에 관한 것이다.
도 4는 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 이미지 1 대(vs) 이미지 2의 가장 근접한 부분 매칭 전략의 재현률 대(vs) 1-정밀도 그래프이다. 각각은 (a) 블러(blur); (b) JPEG 압축(compression); (c) 조명(Illumination); (d) 뷰포인트(Viewpoint); (e) 줌(Zoom) + 회전(rotation)에 관한 것이다.
도 5는 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 이미지 1 대(vs) 이미지 2의 이미지 매칭 성능 벤치마크 그래프이다. 각각은 (a) 이미지 1의 탐지된 키포인트의 수; (b) 이미지 2의 탐지된 키포인트의 수; (c) 상응하는 이미지의 총 매치; (d) 인라이어 비율; (e) 특징 탐지와 묘사 시간; (f) 매칭 표현자 시간에 관한 것이다.
도 6은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 실내벽 샘플 이미지에 대한 실험결과를 나타내는 도면이다. 각각은 (a) 원래 이미지; (b) 마커가 덜 유용한 지역을 표시하는 A-KAZE 방법을 이용한 이미지 탐지 결과; (c) 마커가 A-KAZE 방법과의 비교를 보여주는 HLS-AKAZE 방법을 이용한 이미지 탐지 결과; (d) A-KAZE 방법을 이용한 이미지 매칭 결과; (e) HLS-AKAZE 방법을 이용한 이미지 매칭 결과를 보여준 것이다.
도 7은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 거리의 벽 샘플 이미지에 대한 실험결과를 나타내는 도면이다. 각각은 (a) 원래 이미지; (b) 마커가 덜 유용한 지역을 표시하는 A-KAZE 방법을 이용한 이미지 탐지 결과; (c) 마커가 A-KAZE 방법과의 비교를 보여주는 HLS-AKAZE 방법을 이용한 이미지 탐지 결과; (d) A-KAZE 방법을 이용한 이미지 매칭 결과; (e) HLS-AKAZE 방법을 이용한 이미지 매칭 결과를 보여준 것이다.
도 8은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 중복지역이 50%인 이미지에 대한 검출기 반복성 평가 그래프이다. 각각은 (a) 50%의 중복 지역의 검출기 반복성 점수; (b) 실내벽 이미지의 재현률 대(vs) 1-정밀도 그래프; (c) 거리의 벽 이미지의 재현률 대(vs) 1-정밀도 그래프를 보여준 것이다.
도 9는 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 이미지 매칭 성능 벤치마크 그래프이다. 각각은 (a) 이미지 1의 탐지된 키포인트 수; (b) 이미지 2의 탐지된 키포인트 수; (c) 상응하는 이미지의 총 매치; (d) 인라이어 비율; (e) 특징 탐지와 묘사 시간; (f) 매칭 표현자 시간을 보여준 것이다.FIG. 1 is a block diagram illustrating a system for detecting and representing a color invariant characteristic using a high-speed sharpness diffusion method in a non-linear space according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a method of detecting and expressing color invariant characteristics using an FED in a nonlinear space according to an exemplary embodiment of the present invention.
Figure 3 is a system and method for detecting and representing color invariant characteristics using a fast sharpness diffusion method in a nonlinear space in accordance with an embodiment of the present invention, to be. (A) blur; (b) JPEG compression; (c) Illumination; (d) Viewpoint; (e) Zoom + rotation.
4 is a block diagram of a system and method for detecting and representing color invariant characteristics using a fast sharpness diffusion method in a nonlinear space according to an embodiment of the present invention. Reproducibility vs. vs (1) precision graph. (A) blur; (b) JPEG compression; (c) Illumination; (d) Viewpoint; (e) Zoom + rotation.
5 is a system and method for detecting and representing color invariant characteristics using a fast sharpness diffusion method in a nonlinear space according to an embodiment of the present invention. to be. (A) the number of keypoints detected in image 1; (b) the number of detected key points in image 2; (c) a total match of the corresponding image; (d) phosphorus ratio; (e) feature detection and description time; (f) the matching presenter time.
FIG. 6 is a diagram illustrating an experiment result of an indoor wall sample image in a system and method for detecting and displaying a color invariant characteristic using a high-speed sharpness diffusion method in a non-linear space according to an embodiment of the present invention. (A) the original image; (b) image detection results using the A-KAZE method to indicate areas where the marker is less useful; (c) Image detection results using the HLS-AKAZE method, in which the marker shows a comparison with the A-KAZE method; (d) image matching results using the A-KAZE method; (e) Image matching results using the HLS-AKAZE method.
7 is a diagram showing an experimental result on a wall sample image of a distance in a system and method for detecting and representing color invariant characteristics using a high-speed sharpness diffusion method in a non-linear space according to an embodiment of the present invention. (A) the original image; (b) image detection results using the A-KAZE method to indicate areas where the marker is less useful; (c) Image detection results using the HLS-AKAZE method, in which the marker shows a comparison with the A-KAZE method; (d) image matching results using the A-KAZE method; (e) Image matching results using the HLS-AKAZE method.
8 is a detector repeatability evaluation graph for an image with 50% overlap in a system and method for detecting and representing color invariant characteristics using a high-speed sharpness diffusion method in a non-linear space in accordance with an embodiment of the present invention. (A) detector repeatability score of 50% redundant area; (b) recall rate of indoor wall image (vs) 1-precision graph; (c) the recall rate versus (vs) 1-precision graph of the wall image of the distance.
9 is an image matching performance benchmark graph in a system and method for detecting and representing color invariant characteristics using a high-speed sharpness diffusion method in a non-linear space in accordance with an embodiment of the present invention. (A) the number of keypoints detected in image 1; (b) the number of keypoints detected in image 2; (c) a total match of the corresponding image; (d) phosphorus ratio; (e) feature detection and description time; (f) the match-expression-time.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements. Furthermore, specific structural and functional descriptions for embodiments of the present invention are presented for the purpose of describing an embodiment of the present invention only, and, unless otherwise defined, all terms used herein, including technical or scientific terms Have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein Do not.

1. 시스템의 구조1. Structure of system

도 1은 본 발명의 일실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템의 구성을 나타낸 블록도이다.FIG. 1 is a block diagram illustrating a system for detecting and representing a color invariant characteristic using a high-speed sharpness diffusion method in a non-linear space according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템(100)은 비선형 스케일 공간 생성 수단(110), 특징 검출 수단(120) 및 특징 표현 수단(130)을 포함하여 구성된다.1, a system 100 for detecting and expressing color invariant characteristics using a high-speed sharpness diffusion method in a nonlinear space according to the present invention includes nonlinear scale space generation means 110, feature detection means 120, And a feature expressing means 130. [

먼저 비선형 스케일 공간 생성 수단(100)은 HLS 색 공간을 사용한 각 색채널(HLS)에 대해서 비선형 스케일 공간을 생성하는 역할을 한다. 상기 비선형 스케일 공간 생성 수단은, 휘도에서 색으로의 확장을 의미하는 스칼라로부터 벡터로 다중-스케일 특징 추출로 확장하는 것이며, A-KAZE 검출기의 휘도를 확장하여 HLS 색 공간을 사용한다. 여기서 상기 비선형 스케일 공간은, 확산 과정을 제어하는 특정 흐름 함수의 발산으로 스케일 레벨을 증가시킴을 통해 이미지의 각 채도 색채널의 진화를 묘사하며, 가변 컨덕턴스 확산(variable conductance diffusion)과 FED 기술을 이용해 만들어지고, 확산 방정식의 전도율 함수는 로컬 이미지 구조에 적응적인 확산을 일으키므로, 이미지 노이즈를 줄이지만 여전히 중요한 모서리를 유지하게 되는 것이다. 또한 상기 확산 방정식에 대한 해법은, 양함수(explicit)와 반음함수(semi-implicit) 방법의 장점을 혼합한 FED 방법을 사용하며, 상기 FED 방법은 피라미드형 프레임워크를 내장한다.First, the nonlinear scale space generation means 100 generates a nonlinear scale space for each color channel (HLS) using the HLS color space. The non-linear scale space generation means expands the multi-scale feature extraction from a scaler, which means extension from luminance to color, and uses the HLS color space by extending the luminance of the A-KAZE detector. The nonlinear scale space describes the evolution of each chroma channel of an image by increasing the scale level by divergence of a particular flow function that controls the diffusion process and uses variable conductance diffusion and FED technology And the conductivity function of the diffusion equation causes adaptive diffusion in the local image structure, thus reducing image noise but still maintaining the important edges. Also, the solution to the diffusion equation uses an FED method that combines the advantages of both explicit and semi-implicit methods, and the FED method embeds a pyramid-like framework.

비선형 공간에서 FED를 이용한 색상불변 특성 검출기와 표현자는 A-KAZE 시스템 접근법을 채택한 불변 색 특징 검출기와 표현자에 관한 것이다. 최근에, 물체 인식을 위한 탐지와 묘사 레벨에서의 색의 결합된 영향은 성공적으로 이미지 분류 결과의 성능을 개선하는 데 사용될 수 있다는 것을 보였다. 이 알고리즘에 기초해서, 휘도에서 색으로의 확장을 의미하는 스칼라로부터 벡터로 다중-스케일 특징 추출 이론을 확장하는 개념을 사용한다. RGB 채널로의 확장에 대신해서, 본 발명의 접근법은 색조와 채도 값이 조명 변화에 강한 추가적인 정보를 위해 중요하기 때문에 A-KAZE 검출기의 휘도를 확장하여 HLS 색 공간을 사용한다.The color invariant feature detector and presenter using the FED in nonlinear space relates to the invariant color feature detector and presenter adopting the A-KAZE system approach. Recently, it has been shown that the combined effect of detection at object level and the level of description for object recognition can be used to improve the performance of image classification results successfully. Based on this algorithm, we use the concept of extending the multi-scale feature extraction theory from scalar to vector, which means extending from luminance to color. Instead of extending to the RGB channels, the present approach uses the HLS color space by extending the luminance of the A-KAZE detector, since the hue and saturation values are important for additional information that is robust to illumination variations.

각 색채널(HLS)은 비선형 스케일 공간에서 각각 처리된다. 비선형 스케일 공간들은 확산 과정을 제어하는 특정 흐름 함수의 발산으로 스케일 레벨을 증가시킴을 통해 이미지의 각 채도 색채널의 진화를 묘사하는 확산 필터링 과정이다. 비선형 스케일 공간은 가변 컨덕턴스 확산(variable conductance diffusion)과 효율적인 FED 기술을 이용해 만들어진다. 확산 방정식의 전도율 함수는 로컬 이미지 구조에 적응적인 확산을 야기한다. 이것은 이미지 노이즈를 줄일 수 있지만 여전히 중요한 모서리를 유지한다는 것을 의미한다. 비선형 확산 방정식에 대한 분석적인 해법이 없으므로, 방정식을 분해하는 것은 대강의 해법이 될 수 있다. 한 방법은 양함수(explicit)와 반음함수(semi-implicit) 방법의 장점을 혼합한 FED 방법을 사용하는 것이다. 이 시스템은 피라미드형 프레임워크의 FED 방법을 내장한다. Each color channel (HLS) is processed in a nonlinear scale space, respectively. Nonlinear scale spaces are diffusion filtering processes that describe the evolution of each chroma channel in an image by increasing the scale level by divergence of a specific flow function that controls the diffusion process. The nonlinear scale space is created using variable conductance diffusion and efficient FED technology. The conductivity function of the diffusion equation causes adaptive diffusion to the local image structure. This means that image noise can be reduced, but still retain important corners. Since there is no analytical solution to the nonlinear diffusion equation, decomposing the equation can be a rough solution. One approach is to use the FED method, which combines the advantages of both explicit (explicit) and semi-implicit methods. This system incorporates the FED method of a pyramidal framework.

또한 특징 검출 수단(120)은 상기 생성된 비선형 스케일 공간의 이미지에 대한 키포인트를 찾아서 적응통합결정해쉬 반응값을 계산하는 역할을 수행한다. 상기 특징 검출 수단에서, 적응통합결정해쉬 반응값을 계산하는 것은, 인접 픽셀의 극점을 찾는 것을 필요로 하며, 각 채널의 도함수를 개별적으로 계산하고 해쉬 반응의 디터미넌트로 부분적 결과를 결합하여 수행한다. 여기서 상기 결합은, 표준편차 가중치 응답(Standard Deviation Weight Response)과 로컬 기울기 가중치 응답(Local Gradient Weight Response)으로 반응값 계산의 적응성 가중치를 이용한다.In addition, the feature detection unit 120 searches for a key point for the image of the generated nonlinear scale space and calculates an adaptive unity decision hash response value. In the feature detection means, calculating the adaptive unified decision hash response value requires finding the poles of the adjacent pixels, calculating the derivatives of each channel individually, and combining the partial results with the determinants of the hash response do. Here, the combination uses the adaptive weight of the reaction value calculation as a standard deviation weight response and a local gradient weight response.

즉, 선택된 특징 검출기가 되기 위한 비선형 스케일 공간의 이미지의 키포인트를 결정할 때, 본 발명은 해쉬 반응값의 적응하는 통합된 디터미넌트를 사용함으로써 인접 픽셀의 극점을 찾는 것을 필요로 한다. 이 알고리즘은 각 채널의 도함수를 개별적으로 계산하고 해쉬 반응의 디터미넌트로 부분적 결과를 결합한다. 반응을 결합함에서, 본 발명은 두 가지 방법으로 표준편차 가중치 응답(Standard Deviation Weight Response)과 로컬 기울기 가중치 응답(Local Gradient Weight Response)으로 반응 계산의 적응성 가중치를 이용한다.That is, when determining the keypoint of the image of the non-linear scale space to be the selected feature detector, the present invention requires finding the pole of the adjacent pixel by using an adapted integrated determiner of hash response values. The algorithm computes the derivatives of each channel separately and combines the partial results with the determinants of the hash response. In combining the responses, the present invention utilizes adaptive weights of the reaction calculations in two ways, Standard Deviation Weight Response and Local Gradient Weight Response.

또한 특징 표현 수단(130)은 상기 비선형 스케일 공간으로부터 기울기 정보와 HLS 색 정보를 이용하여 휘도기반의 표현자에서 색기반의 표현자로 확장하는 역할을 수행한다. 상기 특징 표현 수단은, 상기 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb)을 사용해서 휘도-기반의 표현자를 색-기반의 표현자로 확장하게 된다. 상기 컬러 수정-로컬 차분 이진을 사용한 표현자는 스케일 불변이며, 방향 SURF에 의해 회전 변화에 강하고, 특징 검출에 의해 추출된 색 기울기 정보가 휘도 변화에 따라 변하지 않는다.In addition, the feature expressing unit 130 extends from the luminance-based presenter to the color-based presenter using the slope information and the HLS color information from the non-linear scale space. The feature-expressing unit may perform a color-based representation of the luminance-based presenter using the color-modified local difference binary (cm-ldb) using the HLS color information simultaneously with the slope information from the nonlinear scale space As a result. The presenter using the color correction-local difference binary is scale-invariant, strong in rotation by the direction SURF, and color slope information extracted by the feature detection does not change with luminance variation.

즉, 특징 표현자에서, 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb)을 도입한다. A-KAZE로부터의 이전의 수정-로컬 차분 이진(color modified-local difference binary, m-ldb)개념에 기초해서, 본 발명은 이전에 설명된 것과 같은 개념을 사용해서 휘도-기반의 표현자를 색-기반의 표현자로 확장한다. 비선형 스케일 공간에 기초해서, CM-LDB 표현자는 스케일 불변이다. 이 시스템은 방향 SURF 알고리즘을 채택함에 의해 회전 변화에 강하다. 게다가, 계산된 특징 탐지 방법으로부터 추출된 색 기울기 정보 또한 휘도 변화에서 변하지 않는다.That is, in the feature presenters, a color modified-local difference binary (cm-ldb) is used that uses the HLS color information simultaneously with the slope information from the non-linear scale space. Based on the previous modified-local difference binary (m-ldb) concept from A-KAZE, the present invention uses the same concept as previously described to transform a luminance-based presenter into a color- Based presenter. Based on the non-linear scale space, the CM-LDB presenter is scale-invariant. The system is robust to rotational variations by adopting a directional SURF algorithm. In addition, the color slope information extracted from the calculated feature detection method is also unchanged in the luminance variation.

2. 이미지 특징 검출 방법2. Image feature detection method

도 2는 본 발명의 일 실시예에 따른 비선형 공간에서 FED를 이용한 색상불변 특성 검출 및 표현 방법을 나타낸 순서도이다.2 is a flowchart illustrating a method of detecting and expressing color invariant characteristics using an FED in a nonlinear space according to an exemplary embodiment of the present invention.

도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 비선형 공간에서 FED를 이용한 색상불변 특성 검출 및 표현 방법은 비선형 스케일 공간 생성 단계, 특징 검출 단계 및 특징 표현 단계를 포함하여 구성된다. 여기서 HLS 색 공간의 이미지의 색 정보를 이용하여 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 검출과 표현을 수행한다.As shown in FIG. 2, a color invariant characteristic detection and expression method using an FED in a nonlinear space according to an exemplary embodiment of the present invention includes a nonlinear scale space generation step, a feature detection step, and a feature expression step. Here, multiscale 2D invariant color detection and representation is performed in a nonlinear scale space using the color information of the image of the HLS color space.

먼저 비선형 스케일 공간 생성 단계(S110)는, HLS 색 공간을 사용한 각 색채널(HLS)에 대해서 비선형 스케일 공간을 생성하는 과정이다. 이 단계는 휘도에서 색으로의 확장을 의미하는 스칼라로부터 벡터로 다중-스케일 특징 추출로 확장하는 것이며, A-KAZE 검출기의 휘도를 확장하여 HLS 색 공간을 사용한다. 또한 상기 비선형 스케일 공간은, 확산 과정을 제어하는 특정 흐름 함수의 발산으로 스케일 레벨을 증가시킴을 통해 이미지의 각 채도 색채널의 진화를 묘사하며, 가변 컨덕턴스 확산(variable conductance diffusion)과 FED 기술을 이용해 만들어지고, 확산 방정식의 전도율 함수는 로컬 이미지 구조에 적응적인 확산을 일으키므로, 이미지 노이즈를 줄이지만 여전히 중요한 모서리를 유지하게 된다. 아울러 상기 확산 방정식에 대한 해법은, 양함수(explicit)와 반음함수(semi-implicit) 방법의 장점을 혼합한 FED 방법을 사용하며, 상기 FED 방법은 피라미드형 프레임워크를 내장한다.First, the nonlinear scale space generation step (S110) is a process for generating a nonlinear scale space for each color channel (HLS) using the HLS color space. This step extends the scalability from scalars to vectors to multi-scale feature extraction, which means expansion from luminance to color, and uses the HLS color space by extending the luminance of the A-KAZE detector. The nonlinear scale space also describes the evolution of each chroma color channel of an image by increasing the scale level by divergence of a particular flow function that controls the diffusion process and uses variable conductance diffusion and FED technology And the conductivity function of the diffusion equation causes adaptive diffusion in the local image structure, thus reducing image noise but still maintaining the important edges. In addition, the solution to the diffusion equation uses an FED method that combines the advantages of an explicit function and a semi-implicit method, and the FED method embeds a pyramid-like framework.

또한 특징 검출 단계(S120)는 상기 생성된 비선형 스케일 공간의 이미지에 대한 키포인트를 찾아서 적응통합결정해쉬 반응값을 계산하는 과정이다. 상기 상기 특징 검출 단계(S120)에서, 적응통합결정해쉬 반응값을 계산하는 것은, 인접 픽셀의 극점을 찾는 것을 필요로 하며, 각 채널의 도함수를 개별적으로 계산하고 해쉬 반응의 디터미넌트로 부분적 결과를 결합하여 수행한다. 또한 상기 결합은, 표준편차 가중치 응답(Standard Deviation Weight Response)과 로컬 기울기 가중치 응답(Local Gradient Weight Response)으로 반응값 계산의 적응성 가중치를 이용한다.Also, the feature detection step S120 is a process of finding a key point for the generated image of the nonlinear scale space and calculating an adaptive unified decision hash response value. In the feature detection step (S120), calculating the adaptive unity decision hash response value requires finding the poles of the adjacent pixels, calculating the derivative of each channel individually, and applying a partial result to the determinants of the hash response . The combination also uses the adaptive weights of the reaction value calculation with the Standard Deviation Weight Response and the Local Gradient Weight Response.

(1) 비선형 스케일 공간과 Fast Explicit Diffusion(FED)(1) Nonlinear scale space and Fast Explicit Diffusion (FED)

본 발명은 이방성 확산을 고려해서 비선형 스케일 공간의 구성을 빠르게 하기 위해 FED 방법을 사용한다. 본 발명은 피라미드형 프레임워크로 FED 방법을 내장한다. 먼저, 비선형 스케일 공간을 만들 수 있는 진화횟수(evolution times)의 집합을 정의할 필요가 있다. 스케일 공간은 O 옥타브(octave)와 S 서브레벨(sublevel)로 나눠진다. 옥타브와 서브레벨 인덱스는 다음 [수학식 1]을 통해 상응하는 스케일 σ(픽셀)로 이어진다.The present invention uses the FED method to speed up the construction of a nonlinear scale space in consideration of anisotropic diffusion. The present invention incorporates an FED method as a pyramidal framework. First, we need to define a set of evolution times that can create a nonlinear scale space. The scale space is divided into O octave (octave) and S sublevel (sublevel). The octave and sublevel indexes lead to corresponding scales? (Pixels) through the following equation (1).

여기서 M은 전체 진화와 일치하는 필터된 이미지의 총 수이다. 필터된 이미지의 총 수는 M = OxS로 결론 될 수 있다. 비선형 확산 필터링은 시간단위로 작동한다. 그러므로 본 발명은 개별집합을 픽셀단위

에서 시간단위로 변환할 필요가 있다. 매핑(mapping)공식은 표준편차σ(픽셀의)의 가우시안(Gaussian)과 이미지의 합성 곱이 시간, t =

/2에서 이미지를 필터링 하는 것과 같은 때, 가우시안 스케일 공간개념을 채택한다. 그러므로 본 발명은 다음의 매핑 수학식 [수학식 2]를 이용해서 진화횟수(evolution times)의 집합을 얻고 스케일 공간

(o,s)를 시간단위로 변환하기 위해 이 변환을 이용한다.Where M is the total number of filtered images that match the total evolution. The total number of filtered images can be concluded as M = OxS. Nonlinear diffusion filtering operates on a time basis. Therefore, the present invention provides a method of < RTI ID =

From time to time. The mapping formula is based on the assumption that the composite product of the Gaussian of the standard deviation σ (of pixels) and the image is time, t =

/ 2, it adopts the concept of Gaussian scale space. Therefore, the present invention obtains a set of evolution times using the following mapping equation (2)

(o, s) into time units.

FED 방법에서, 내부와 외부의 FED 사이클이 있다. M-1 외부 사이클이 있고 각 사이클마다 내부 스텝 n의 최소 개수를 계산한다. 2D 이미지의 경우, 안정 조건을 위반하지 않는 최대 스텝 크기는 이미지 도함수의 1픽셀 당 그리드 크기를 고려했을 때,

=0.25이다.In the FED method, there are internal and external FED cycles. M-1 There is an external cycle and the minimum number of internal steps n is calculated for each cycle. For 2D images, the maximum step size, which does not violate the stability condition, is given by considering the grid size per pixel of the image derivative,

= 0.25.

각 외부 사이클에서, 처음으로 본 발명은 선택된 전도율 함수를 이용해서 확산률 행렬

을 계산한다. 본 발명은 해쉬의 디터미넌트에 의한 탐지된 결과와 같은 윤곽이 뚜렷하지 않은 것 같은 특징에 더 적합한 넓은 로컬을 진척시키는 전도율 함수 g2를 사용한다. 둘째로, 사이클 시간

을 커버하는 FED 외부 사이클을 계산한다. 그후, 사이클 타임에 기초해서, 양함수(explicit) 확산 스텝인 FED 내부 스텝 n의 수를 계산한다. 이것은 다음의 [수학식 3]에 의해 계산될 수 있다.In each external cycle, for the first time, the present invention uses a selected conductivity function to calculate a spreading factor matrix

. The present invention uses a conductivity function g2 that advances a wide local better suited for features such as outlined features, such as detected results by a hash's determinants. Second, the cycle time

Lt; RTI ID = 0.0 > FED < / RTI > Then, based on the cycle time, the number of FED internal steps n, which is an explicit diffusion step, is calculated. This can be calculated by the following equation (3).

그 후, 각 내부 스텝을 위해 스텝 크기

를 계산한다. FED사이클 타임

은 오직 값의 이산집합을 커버한다. 임의의 사이클 시간 T를 허용하기 위해, 본 발명은

≥T에서 최소 사이클 길이 n을 계산하고 시간 스텝

를 스케일 인자 q = T/

로 곱할 필요가 있다. 이전의 추정 L ^i+1,0 = L ⁱ 을 정함으로써, 본 발명은 FED 사이클의 다음 진화 레벨 이미지를 계산한다. 각 옥타브에서 마지막 서브 레벨에 도달하면, 본 발명은 특정 스무딩 마스크(smoothing mask)를 이용해서 2의 팩터(factor)로 이미지를 다운 샘플링(down sampling)하고 다음 옥타브의 다음 FED 사이클을 위한 시작이미지로 사용한다. 본 발명은 또한 대조인자 k를 수정한다. 스무딩 마스크가 25%로 이상적인 스텝의 대조를 줄일 때 0.75를 곱할 필요가 있다.Then, for each internal step, the step size

. FED cycle time

Only covers a discrete set of values. To allow for an arbitrary cycle time T,

≥The minimum cycle length n at T is calculated and the time step

The scale factor q = T /

. By ^{defining the} previous estimate L ^{i + 1, 0} = L ⁱ , the present invention computes the next evolution level image of the FED cycle. Upon reaching the last sub-level in each octave, the present invention uses a specific smoothing mask to down-sample the image with a factor of 2 and to generate a start image for the next FED cycle of the next octave use. The present invention also modifies the control factor k. When the smoothing mask reduces the contrast of the ideal step by 25%, it is necessary to multiply by 0.75.

(2) 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응 (2) Adaptive integrated determinant Hessian

비선형 스케일 공간을 만든 후, 키포인트를 찾을 때 필터된 이미지 L ⁱ 각각에 대한 디터미넌트 해쉬 반응을 계산할 필요가 있다. 미분 멀티스케일 연산자의 집합은 비선형 스케일 공간 σ _i,norm = σ _i/(2 ^o )와 다음 [수학식 4]의 각 특정 이미지의 옥타브를 고려한 표준화된 스케일 인자(factor)를 사용해서, 스케일에 관해 표준화된다.After creating the nonlinear scale space, it is necessary to calculate the deterministic hash response for each filtered image L ⁱ when finding the keypoints. The set of differential multi-scale operators is the nonlinear scale space σ _{i, norm} is normalized with respect to the scale, using a standardized scale factor taking into account the octave of each specific image of = σ _i / (2 ^o ) and the following equation (4).

본 발명의 시스템이 비선형 스케일 공간에 각각 만들어진 세 개의 채널을 이용하기 때문에, 디터미넌트 해쉬 반응은 모든 채널의 통합일 필요가 있다. 이것은 다음 [수학식 5]를 이용해서 각 채널의 가중된 디터미넌트 해쉬 반응의 합을 계산함으로써 달성된다.Because the system of the present invention utilizes three channels each made in a non-linear scale space, the deterministic hash response needs to be the integration of all channels. This is achieved by calculating the sum of the weighted hash functions of each channel using Equation (5).

각 채널 반응의 가중된 값은 각 픽셀에 적응할 필요가 있다. 간단히, 필터된 이미지 L ⁱ 의 각 픽셀은 고유의 가중된 값이 있다. 가중된 값은 두 가지 알고리즘, 표준편차 가중치 응답(Standard Deviation Weight Response)과 로컬 기울기 가중치 응답(Local Gradient Weight Response)을 이용해서 계산될 수 있다. 각 픽셀의 세 개의 채널 가중치 전체는 1과 같다. The weighted value of each channel response needs to adapt to each pixel. Briefly, each pixel of the filtered image L ⁱ has a unique weighted value. The weighted values can be calculated using two algorithms, the Standard Deviation Weight Response and the Local Gradient Weight Response. All three channel weights for each pixel are equal to one.

디터미넌트 해쉬 반응의 이차 도함수를 계산함에 있어, 본 발명은 스텝 크기 σ _i,norm 의 연결된 Schaar 필터를 사용한다. Schaar 필터는 다른 필터나 중심 차이 미분에 비해 나은 회전 불변에 가깝기 때문에 사용된다. 그 후, 본 발명은 각 진화 레벨 i에서 3x3 픽셀의 창의 검출기 반응의 최대를 찾는다. 반응은 반응이 미리 정의된 한계치보다 큰지 체크한다. 각 잠재적 최대에 대해, 본 발명은 σ _i x σ _i 픽셀 크기의 창의 레벨 i+1 과 i-1 에서의 다른 키포인트에 관한 반응을 체크한다. 마지막으로, 키포인트의 2D 위치는 3x3x3 픽셀 이웃의 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응으로 2D 이차 함수를 맞추고 그것의 최대를 찾음으로써 서브-픽셀 정확성으로 추정된다.In calculating the second derivative of the determiner hash reaction, the present invention uses a connected Schaar filter of step size σ _{i, norm} . The Schaar filter is used because it is closer to a rotational invariant than other filters or center differentials. The invention then finds the maximum of the detector response of the window of 3x3 pixels at each evolution level i. The reaction checks whether the response is greater than a predefined limit. For each potential maximum, the present invention checks for a window level i + 1 of σ _i x σ _i pixel size and a response for another key-point at i-1. Finally, the 2D position of the keypoint is estimated to be sub-pixel accuracy by matching the 2D quadratic function with a 3x3x3 neighboring Adaptive integrated determinant Hessian response and finding its maximum.

- 표준 편차 가중 반응 (Standard Deviation Weight Response)- Standard Deviation Weight Response

표준 편차 가중 반응은 각 채널의 계산된 디터미넌트 해쉬 반응의 중요성을 측정하기 위한 각 진화 레벨에서 계산된 각 픽셀의 가중치이다. 커널 크기 q가 상응하는 서브레벨에 의존적일 때, 측정된 제곱 커널 q ²의 표준편차를 계산함으로써 중요성이 나타난다. 본 발명은 높은 표준 편차가 상응하는 채널의 중요성을 정할 때 각 채널의 각 표준 편자를 비교한다. 가장 높은 분산을 가진 채널이 적응통합결정해쉬(Adaptive integrated determinant Hessian)의 가장 영향이 큰 반응이 된다.The standard deviation weighted response is the weight of each pixel calculated at each evolution level to measure the importance of the computed quantified hash response of each channel. When depends on the level at which the sub-kernel size q corresponds, when the significance by calculating the standard deviation of the measured square kernel q ^2. The present invention compares each standard hops of each channel when a high standard deviation determines the importance of the corresponding channel. The channel with the highest variance is the most influential response of the Adaptive integrated determinant Hessian.

픽셀 (x,y) 의 표준편차는 [수학식 7]을 통해 계산 되면, 측정된 커널의 평균

이 [수학식 6]을 이용해서 계산되고, 픽셀 q 의 커널 크기는 공식

와

를 이용해서 계산된다. 커널 크기 q는 홀수로 표현되어야 한다. 각 채널의 표준 편차 가중 반응은 [수학식 9], [수학식 10],[수학식 11]을 따라서 계산된다. 계산된 가중 반응은 표준 편차 값의 선형 방정식이다.If the standard deviation of the pixel (x, y) is calculated through Equation (7), the average of the measured kernels

Is calculated using Equation (6), and the kernel size of the pixel q is calculated using the formula

Wow

. The kernel size q must be expressed as an odd number. The standard deviation weighting reaction of each channel is calculated according to Equation (9), Equation (10), and Equation (11). The calculated weighted response is a linear equation of the standard deviation value.

- 로컬 기울기 가중 반응 (Local Gradient Weight Response)- Local Gradient Weight Response

로컬 기울기 가중 반응은 또한 디터미넌트 해쉬 반응의 계산에서 비선형 스케일 공간에서 극값을 찾아서 측정된 값으로 휘도와 색체(chromatic) 요소의 기여를 결정한다. 이 방법은 확산률 방정식에서 미리 계산된 함수

를 사용 한다.The local slope weighting reaction also finds the extremum in the nonlinear scale space in the computation of the determinant hash response and determines the contribution of the luminance and chromatic elements to the measured value. This method uses the precomputed function in the diffusion rate equation

Lt; / RTI >

위 [수학식 12]에서 보듯이,

는 x 와y 방향의 이미지의 일차 도함수로 결정된 이미지 L ⁱ 의 가우시안 스무디드 버전의 기울기이다. 도함수는 3x3 Schaar 연산자 Gx 와 Gy 를 합성 곱을 연산함으로써 계산된 것이다. 이전 알고리즘과 같은 개념을 사용해서, 각 채널의 가중 반응( [수학식 14], [수학식 15], [수학식 16]에서 계산된)에 상응하는 로컬 기울기 값의 선형 방정식이다. 높은 로컬 기울기가 그에 상응하는 채널의 중요도를 정의하는 각 채널의 각 로컬 기울기를 비교한다.As shown in Equation (12) above,

Is the slope of the Gaussian smooth version of the image L ⁱ determined by the first derivative of the image in the x and y directions. The derivative is computed by multiplying the 3x3 Schaar operator Gx by Gy. Is a linear equation of the local slope value corresponding to the weighted response of each channel (calculated in [Equation 14], [Equation 15], [Equation 16]) using the same concept as the previous algorithm. A high local slope compares each local slope of each channel that defines the importance of the corresponding channel.

3. 특징 표현(묘사) 방법3. How to Express Features

상기 특징 표현 단계(S130)는 상기 비선형 스케일 공간으로부터 기울기 정보와 HLS 색 정보를 이용하여 휘도기반의 표현자에서 색기반의 표현자로 확장하는 과정이다. 또한 상기 특징 표현 단계(S130)는, 상기 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb)을 사용해서 휘도-기반의 표현자를 색-기반의 표현자로 확장한다. 여기서 상기 컬러 수정-로컬 차분 이진을 사용한 표현자는, 스케일 불변이며, 방향 SURF에 의해 회전 변화에 강하고, 특징 검출에 의해 추출된 색 기울기 정보가 휘도 변화에 따라 변하지 않게 된다.The feature expressing step S130 is a process of extending from the luminance-based presenter to the color-based presenter using the slope information and the HLS color information from the non-linear scale space. In addition, the feature expressing step S130 may include a luminance-based representation using the color modified-local difference binary (cm-ldb) using the HLS color information simultaneously with the slope information from the nonlinear scale space Extends the character to a color-based presenter. Here, the presenter using the color correction-local difference binary is scale-invariant, strong in rotation by the direction SURF, and color slope information extracted by the feature detection does not change in accordance with the luminance change.

(1) CM-LDB 표현자(1) CM-LDB presenter

본 발명은 비선형 스케일 공간으로부터 기울기와 채도 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb)을 특징으로 한다. LDB 표현자는 BRIEF와 같은 원리를 따르지만, 추가적인 견고성을 위해 단일 픽셀 대신 평균 지역의 이진 테스트를 사용한다. 본 발명의 CM-LDB 표현자는 A-KAZE M-LDB 표현자와 같은 개념을 이용하지만, 본 발명의 활용에서, 휘도의 강도를 HLS 색 강도로 확장한다. 각 채널의 강도 값에 추가적으로, 각 색채널의 로컬의 수평과 수직 도함수가 계산된다. 그러므로 본 발명은 각 비교마다 3 변수와 3 색채널을 사용해서 3x3 비트를 사용한다. 하나의 키포인트 표현자의 총 비교는 162번이 된다. 그러므로 모든 표현자의 총 비트는 162*9 = 1458비트이다. 본 발명의 표현자는 A-KAZE M-LDB 표현자에 비해 3배 많이 메모리를 소비하고 매칭 시간이 3배 느리다. 이런 트레이드-오프(trade-off)는 특정 채널을 제거하거나 채널들의 정보를 하나로 합친다면 성능의 감소를 극복하기 위해 있어야 한다.The present invention features color modified-local difference binary (cm-ldb) using slope and saturation information from non-linear scale space. The LDB presenter follows the same principles as BRIEF, but uses an average local binary test instead of a single pixel for additional robustness. The CM-LDB presenter of the present invention uses the same concept as the A-KAZE M-LDB presenter, but in the application of the present invention, the intensity of the luminance is extended to the HLS color intensity. In addition to the intensity value of each channel, the local horizontal and vertical derivatives of each color channel are calculated. Therefore, the present invention uses 3x3 bits for each comparison using three variables and three color channels. The total comparison of one keypoint presenter is 162. Therefore, the total bits of all presenters are 162 * 9 = 1458 bits. The present inventors consume three times as much memory and a matching time three times slower than the A-KAZE M-LDB presenter. This trade-off should be to overcome the decline in performance if certain channels are removed or the information of the channels is combined.

4. 실험 결과와 성능 비교4. Comparison of experimental results and performance

도 3은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 중복지역 에러가 60%인 이미지에 대한 검출기의 반복성 평가 그래프이다. 각각은 (a) 블러(blur); (b) JPEG 압축(compression); (c) 조명(Illumination); (d) 뷰포인트(Viewpoint); (e) 줌(Zoom) + 회전(rotation)에 관한 것이다.Figure 3 is a system and method for detecting and representing color invariant characteristics using a fast sharpness diffusion method in a nonlinear space in accordance with an embodiment of the present invention, to be. (A) blur; (b) JPEG compression; (c) Illumination; (d) Viewpoint; (e) Zoom + rotation.

흑백 이미지에서 적은 정보를 가지는 컬러 이미지에 대하여 다른 특징 추출 방법들과 본 발명을 비교해서 실험 결과와 성능을 제시하였다. 표준 데이터 셋은 이미지 흐려짐(bikes), JPEG 압축(UBC), 조명 변화(leuven), 뷰포인트 (wall), 확대와 회전(barks)등과 같은 여러 기하학적 변화, 광도 변화와 함께 여러 이미지 집합을 포함하였다. 추가로, 지상 실측 정보 호모그래피(ground truth homographies)들은 모든 시퀀스의 첫 이미지에 관한 모든 이미지 변환이 가능하다.The present invention is compared with other feature extraction methods for a color image having less information in a monochrome image, and experimental results and performance are presented. Standard datasets include multiple geometric variations, such as image blur (bikes), JPEG compression (UBC), leuven, viewpoint, zoom, and barks, . In addition, ground truth homographies are capable of all image transformations on the first image of every sequence.

본 발명은 HLS-AKAZE 특징 검출기와 표현자를 ORB, BRISK, SIFT, SURF, KAZE와 A-KAZE와 비교하였다. ORB, BRISK, SIFT와 SURF에서, 본 발명은 OpenCV에 기초한 구현을 사용하였다. 모든 방법의 한계치와 다른 파라미터 값은 표준과 동등한 세팅을 이용해 선택하였다. 본 발명의 접근법은 로컬 기울기 가중 반응에 기초해서 결정된 디폴트로 가중된 방법으로 이용하였다.The present invention compared HLS-AKAZE feature detectors and presenters with ORB, BRISK, SIFT, SURF, KAZE and A-KAZE. In ORB, BRISK, SIFT and SURF, the present invention uses an implementation based on OpenCV. All method limits and other parameter values were selected using settings equivalent to the standard. The approach of the present invention was used in a default weighted manner determined based on local slope weighted responses.

상응하는 키포인트와 이미지 둘 다에서 보이는 키포인트의 최소 수 사이의 비율을 측정하였다. 중복 에러는

지역의 교집합과 합집합의 비율로 정의된다, 여기에서 A와 B는 두 지역이고 H는 이미지 사이의 상응하는 호모그래피이다. 중복 에러가 60%보다 작을 때(결정된 한계치), 유사성이 고려된다.The ratio between the corresponding keypoint and the minimum number of keypoints seen in both images was measured. Duplicate errors

Where A and B are the two regions and H is the corresponding homography between the images. When the redundancy error is less than 60% (determined limit), similarity is considered.

도 3은 표준 데이터 셋의 모든 시퀀스에 대한 반복성 점수를 나타낸다. 데이터 셋의 각 카테고리는 반복성 계산에 필요한 지상 실측 정보 호모그래피를 사용하는 나머지 이미지와 첫 이미지를 비교한다. 반복성 점수는 흐린 이미지에서 비교할만한 결과를 내지만, JPEG 압축과 조명-변경 이미지의 성능에서는 다른 것들과 비교할만하지 않다. 확대와 회전의 경우, 성능은 처음 두 이미지에서만 좋다. 낮은 반복 성능 점수의 원인은 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응 계산에 있다. 적응형 로컬 기울기 가중 반응을 이용해서 H, L, S 디터미넌트 해쉬 반응을 통합하는 것은 오직 특정 이미지 조건에서만 작동하였다. JPEG 압축과 조명-변경 이미지에서, 상응하는 이미지의 색조와 채도는 매우 다를 것인데 이는 다른 가중치 계산을 야기하고 그것은 상응하는 이미지의 최대값의 차이를 유발한다는 것을 의미한다. 하지만, 뷰포인트 이미지에서, 반복성 점수에서 큰 안정성을 보여준다. 다른 방법들은 대부분 변경된 뷰포인트 이미지에서 크게 저하된 성능을 보인다. 이것은 본 발명의 특징 탐지 시스템이 뷰포인트 이미지에 강하다는 것을 의미한다. 주요 원인은 세 개 채널의 채도 값이 같은 상응하는 점에 대해서 변하지 않았기 때문이며, 이는 디터미넌트 해쉬 반응의 계산이 잘 동작한다는 것을 의미한다.Figure 3 shows the repeatability score for all sequences of the standard data set. Each category in the dataset compares the first image with the rest of the images using the ground-truth information homography needed for repeatability calculations. Repeatability scores give comparable results in fuzzy images, but are not comparable to others in the performance of JPEG compression and light-modified images. For magnification and rotation, performance is only good for the first two images. The cause of the low iteration score is in the Adaptive integrated determinant Hessian reaction calculation. Integrating the H, L, and S deterministic hash reactions using adaptive local slope weighted reactions only worked under certain image conditions. In JPEG compression and illumination-modified images, the hue and saturation of the corresponding image will be very different, which means that it will cause different weighting calculations and cause a difference in the maximum value of the corresponding image. However, in viewpoint images, it shows great stability in repeatability scores. Other methods exhibit significantly degraded performance in most modified viewpoint images. This means that the feature detection system of the present invention is robust to the viewpoint image. The main cause is that the saturation values of the three channels did not change for the corresponding points, which means that the computation of the deterministic hash reaction works well.

도 4는 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 이미지 1 대(vs) 이미지 2의 가장 근접한 부분 매칭 전략의 재현률 대(vs) 1-정밀도 그래프이다. 각각은 (a) 블러(blur); (b) JPEG 압축(compression); (c) 조명(Illumination); (d) 뷰포인트(Viewpoint); (e) 줌(Zoom) + 회전(rotation)에 관한 것이다.4 is a block diagram of a system and method for detecting and representing color invariant characteristics using a fast sharpness diffusion method in a nonlinear space according to an embodiment of the present invention. Reproducibility vs. vs (1) precision graph. (A) blur; (b) JPEG compression; (c) Illumination; (d) Viewpoint; (e) Zoom + rotation.

도 4에서 관찰할 수 있듯이, 본 발명은 분석된 각 방법에 대해 탐지, 묘사, 매칭의 공동의 성능을 평가한다. 표현자는 다음 [수학식 19]에 의해 평가된다. 이 기준은 두 이미지 사이의 정확한 매치의 수와 틀린 매치의 수에 기초한다.As can be seen in Fig. 4, the present invention evaluates the joint performance of detection, description, and matching for each method analyzed. The presenters are evaluated by the following equation (19). This criterion is based on the exact number of matches and the number of incorrect matches between the two images.

[수학식 19]&Quot; (19) "

여기에서 정확한 매치의 수와 일치성은 중복 에러에 의해 결정된다. 정밀도-재현률 그래프의 중복 에러는 50%를 사용한다. 정확한 매치와 거짓 매치들은 본 발명이 가장 가까운 근접한 부분 매칭 전략으로 구현한 표현자 매칭 알고리즘을 고려한다. 본 발명의 정밀도-재현률 성능은 JPEG 압축 이미지에서 낮은 성능을 보여준다. 또한 조명-변화와 확대 + 회전 이미지에서, 본 발명은 다른 방법들과 비슷한 성능을 보여준다. 반면, 흐린 것과 뷰포인트 이미지에서, 본 발명은 최대 재현률 (1이다)을 달성함으로써 다른 방법에 비해 빠른 성능을 보여준다. 낮은 성능 결과를 내는 경우에, 탐지에서 낮은 반복성 점수를 내는 것이 정밀도-재현률 성능에 영향을 준다고 결론내릴 수 있다. 또 다른 이유는 모든 HLS 채널의 9-비트 비교 표현자의 과적응(overfit) 결과이다.Here, the exact number of matches and consistency are determined by the duplicate error. Duplicate errors in the precision-recall graph use 50%. The exact match and false match consider the presenter matching algorithm implemented by the closest matching partial matching strategy of the present invention. The precision-recall performance of the present invention shows poor performance in JPEG compressed images. In addition, in the illumination-change and magnification + rotation images, the present invention exhibits similar performance to other methods. On the other hand, in cloudy and viewpoint images, the present invention shows faster performance than other methods by achieving the maximum recall (1). In the case of low performance results, it can be concluded that a low repeatability score in detection affects precision-recall performance. Another reason is the overfit result of the 9-bit comparison presenter of all HLS channels.

도 5는 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 이미지 1 대(vs) 이미지 2의 이미지 매칭 성능 벤치마크 그래프이다. 각각은 (a) 이미지 1의 탐지된 키포인트의 수; (b) 이미지 2의 탐지된 키포인트의 수; (c) 상응하는 이미지의 총 매치; (d) 인라이어 비율; (e) 특징 탐지와 묘사 시간; (f) 매칭 표현자 시간에 관한 것이다.5 is a system and method for detecting and representing color invariant characteristics using a fast sharpness diffusion method in a nonlinear space according to an embodiment of the present invention. to be. (A) the number of keypoints detected in image 1; (b) the number of detected key points in image 2; (c) a total match of the corresponding image; (d) phosphorus ratio; (e) feature detection and description time; (f) the matching presenter time.

도 5는 추출과 매칭 둘 다의 수에 기초한 이미지 매칭 성능을 측정하기 위한 6개의 카테고리를 나누었다. 본 발명의 제안된 시스템은 상응하는 이미지 둘 다로부터의 탐지된 키포인트의 적당한 수를 보여준다. JPEG 압축 이미지의 총 매칭 수는 도 5(c)에서 매우 낮은 탐지를 보여준다. 그 이유는 위에서 정밀도-재현률 그래프에 관한 설명과 동일하다. 하지만, 인라이어(inlier) 비율에는 영향을 주지 않는다. 인라이어 비율은 총 매치에 대한 인라이어의 비율이다, 도 5(d)에서 볼 수 있듯이, 본 발명의 시스템은 거의 모든 카테고리에서 최고의 성능을 낸다. 특징 탐지와 묘사 시간 계산에서 (도 5(e)), 본 발명의 시스템은 두 번째로 높은 계산 비용이 든다. 그 이유는 각 채널당 비선형 스케일 공간이 만들어져있기 때문이다. 하지만 FED 방법을 사용하면, AOS 방법을 사용하는 KAZE보다 나은 시간 성능이 나온다. 도 5(f)에서, 본 발명의 시스템은 또한 매칭 시간에서 두번째로 높은 계산 비용이 든다. 표현자 크기는 성능의 주요 요인이다. 다른 검출기는 비트로 표현되고 또한 본 발명의 시스템보다 더 작은 비트를 사용된다. 이미 알고 있듯이, SIFT는 128바이트 표현자를 사용하는데 이는 본 발명의 시스템보다 느린 방법이다.Figure 5 shows six categories for measuring image matching performance based on the number of both extraction and matching. The proposed system of the present invention shows the proper number of detected keypoints from both corresponding images. The total number of matches in the JPEG compressed image shows a very low detection in Figure 5 (c). The reason for this is the same as the description of the precision-recall graph above. However, it does not affect the inlier ratio. The inlier rate is the ratio of inliers to total matches. As can be seen in Figure 5 (d), the system of the present invention provides the best performance in almost all categories. In the feature detection and description time calculation (Fig. 5 (e)), the system of the present invention has the second highest computational expense. This is because nonlinear scale space is created per channel. However, using the FED method results in better time performance than KAZE using the AOS method. In Figure 5 (f), the system of the present invention also has the second highest computational cost in matching time. Presenter size is a major factor in performance. Other detectors are represented by bits and also use smaller bits than the system of the present invention. As already known, SIFT uses a 128-byte presenter, which is a slower method than the system of the present invention.

도 6은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 실내벽 샘플 이미지에 대한 실험결과를 나타내는 도면이다. 각각은 (a) 원래 이미지; (b) 마커가 덜 유용한 지역을 표시하는 A-KAZE 방법을 이용한 이미지 탐지 결과; (c) 마커가 A-KAZE 방법과의 비교를 보여주는 HLS-AKAZE 방법을 이용한 이미지 탐지 결과; (d) A-KAZE 방법을 이용한 이미지 매칭 결과; (e) HLS-AKAZE 방법을 이용한 이미지 매칭 결과를 보여준 것이다.FIG. 6 is a diagram illustrating an experiment result of an indoor wall sample image in a system and method for detecting and displaying a color invariant characteristic using a high-speed sharpness diffusion method in a non-linear space according to an embodiment of the present invention. (A) the original image; (b) image detection results using the A-KAZE method to indicate areas where the marker is less useful; (c) Image detection results using the HLS-AKAZE method, in which the marker shows a comparison with the A-KAZE method; (d) image matching results using the A-KAZE method; (e) Image matching results using the HLS-AKAZE method.

도 6(a)에 실내벽(wall_indoor)의 샘플 이미지가 도시되어있다. 도 6(b)는 흑백-기초의 특징 추출 방법인 A-KAZE를 이용한 탐지 결과를 도시한다. 흑백 버전에서는, 몇몇 중요한 정보(마커로 하이라이트 된)를 잃은 지역들이 있다. 이것은 색 이미지에서, 그 지역들이 흑백 버전에서와 같은 중요한 모서리을 가지고 있다는 것을 의미한다. 예시에서, 보라색 벽 앞의 개나 옷들의 경계선의 흑백 픽셀 값은 남자아이의 팔과 다름이 없지만, 색 이미지에서는 매우 두드러진 차이가 보인다. 도 6(c)는 이전 것들과의 비교를 보여주는 마커와 본 발명에서 제안된 색-기반의 특징 추출 방법인 HLS-AKAZE를 사용한 탐지 결과를 보여준다. A-KAZE 방법은 오직 휘도가 중요한 키포인트를 추출할 수 있지만, 본 발명의 방법은 같은 흑백 값 지역의 중요한 키포인트를 찾을 수 있다. 도 6(d)와 도 6(e)의 두 방법의 이미지 매칭 결과는 이전의 탐지 성능을 반영한다.In Fig. 6 (a), a sample image of the indoor wall (wall_indoor) is shown. 6 (b) shows the detection result using A-KAZE, which is a monochrome-based feature extraction method. In the black and white version, there are areas that have lost some important information (highlighted by the marker). This means that in color images, the regions have the same important edges as in the monochrome version. In the example, the black and white pixel values of the borders of the dogs or clothes in front of the purple wall are no different from those of the male child, but there is a very striking difference in color images. FIG. 6 (c) shows the result of the detection using the marker showing the comparison with the previous ones and HLS-AKAZE, which is the color-based feature extraction method proposed in the present invention. Although the A-KAZE method can only extract keypoints for which brightness is important, the method of the present invention finds key keypoints in the same black and white value region. The image matching results of the two methods of FIGS. 6 (d) and 6 (e) reflect previous detection performance.

도 7은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 거리의 벽 샘플 이미지에 대한 실험결과를 나타내는 도면이다. 각각은 (a) 원래 이미지; (b) 마커가 덜 유용한 지역을 표시하는 A-KAZE 방법을 이용한 이미지 탐지 결과; (c) 마커가 A-KAZE 방법과의 비교를 보여주는 HLS-AKAZE 방법을 이용한 이미지 탐지 결과; (d) A-KAZE 방법을 이용한 이미지 매칭 결과; (e) HLS-AKAZE 방법을 이용한 이미지 매칭 결과를 보여준 것이다.7 is a diagram showing an experimental result on a wall sample image of a distance in a system and method for detecting and representing color invariant characteristics using a high-speed sharpness diffusion method in a non-linear space according to an embodiment of the present invention. (A) the original image; (b) image detection results using the A-KAZE method to indicate areas where the marker is less useful; (c) image detection results using the HLS-AKAZE method, in which the marker shows a comparison with the A-KAZE method; (d) image matching results using the A-KAZE method; (e) Image matching results using the HLS-AKAZE method.

도 7(a)에 거리의 벽의 샘플 이미지가 도시 되어있다. 도 7(b)와 7(c)는 두 방법의 탐지 결과를 보여준다. 이 샘플의 성능과 설명은 이전 샘플과 거의 같다. 마커는 A-KAZE방법으로 탐지되지 않고 본 발명의 방법으로 탐지되는 중요한 정보의 파란색 조각 지역을 표시한다.A sample image of the wall of the distance is shown in Fig. 7 (a). Figures 7 (b) and 7 (c) show the detection results of the two methods. The performance and description of this sample is almost the same as the previous sample. The marker indicates a blue sculpted area of important information not detected by the A-KAZE method but detected by the method of the present invention.

도 8은 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 중복지역이 50%인 이미지에 대한 검출기 반복성 평가 그래프이다. 각각은 (a) 50%의 중복 지역의 검출기 반복성 점수; (b) 실내벽 이미지의 재현률 대(vs) 1-정밀도 그래프; (c) 거리의 벽 이미지의 재현률 대(vs) 1-정밀도 그래프를 보여준 것이다.8 is a detector repeatability evaluation graph for an image with 50% overlap in a system and method for detecting and representing color invariant characteristics using a high-speed sharpness diffusion method in a non-linear space in accordance with an embodiment of the present invention. (A) detector repeatability score of 50% redundant area; (b) recall rate of indoor wall image (vs) 1-precision graph; (c) the recall rate versus (vs) 1-precision graph of the wall image of the distance.

도 8(a)에 반복성 점수를 나타내는 검출기 성능이 나와 있다. 흑백-기반의 특징 검출기 방법은 본 발명의 제안된 방법과 거의 같은 점수를 가진다. 그 이유는 여전히 중요한 색 키포인트에 비해 많은 중요한 키포인트들이 있기 때문이다. 하지만, 도 8(b)와 도 8(c)에서, 재현율-정밀도 그래프에서, 본 발명의 제안된 방법은 높은 성능을 보여주는데, 이는 본 발명의 시스템이 이런 종류의 조건에 강하다는 것을 의미한다.8 (a) shows the detector performance indicating the repeatability score. The monochrome-based feature detector method has approximately the same score as the proposed method of the present invention. This is because there are still many important keypoints compared to the key color keypoints. However, in Figures 8 (b) and 8 (c), in the recall-precision graph, the proposed method of the present invention shows high performance, which means that the system of the present invention is robust to this kind of conditions.

도 9는 본 발명의 일 실시예에 따른 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에서, 이미지 매칭 성능 벤치마크 그래프이다. 각각은 (a) 이미지 1의 탐지된 키포인트 수; (b) 이미지 2의 탐지된 키포인트 수; (c) 상응하는 이미지의 총 매치; (d) 인라이어 비율; (e) 특징 탐지와 묘사 시간; (f) 매칭 표현자 시간을 보여준 것이다.9 is an image matching performance benchmark graph in a system and method for detecting and representing color invariant characteristics using a high-speed sharpness diffusion method in a non-linear space in accordance with an embodiment of the present invention. (A) the number of keypoints detected in image 1; (b) the number of keypoints detected in image 2; (c) a total match of the corresponding image; (d) phosphorus ratio; (e) feature detection and description time; (f) the match-expression-time.

도 9에서 볼 수 있듯이, 첫 번째와 두 번째 이미지의 키포인트 탐지의 수는 HLS-AKAZE에서 큰 차이를 보인다. 이전 조건은 두 샘플 이미지의 색조와 채도의 디터미넌트 Hessian 반응이 매우 높기 때문에 SD를 이용한 가중 반응과 동시에 일어난다. 본 발명의 시스템은 실내벽 이미지에서 다른 것들에 비해 인라이어 비율 성능이 훨씬 낫다. 도 9(d)에서 볼 수 있듯이, 실내벽 샘플 이미지는 흑백-기반의 특징 추출 검출기로는 탐지할 수 없는 휘도에 비해 더 중요한 색 정보를 가지고 있다. 거리의 벽 이미지에서, 중요한 색 정보의 손실은 휘도 정보와 비교할 수 없다. 시간 성능에서, HLS-AKAZE는 가장 높은 계산 소요를 보인다. As can be seen in FIG. 9, the number of keypoint detections in the first and second images is significantly different in HLS-AKAZE. The previous condition occurs at the same time as the weighted response using SD because the diterin Hessian response of the hue and saturation of the two sample images is very high. The system of the present invention has much better in-lyer ratio performance than others in an indoor wall image. As can be seen in Figure 9 (d), the indoor wall sample image has color information that is more important than the undetectable luminance of the monochrome-based feature extraction detector. In the wall image of the distance, the loss of important color information can not be compared with the luminance information. In time performance, HLS-AKAZE shows the highest computation requirements.

이상에서 본 발명의 일실시예에 따른 은 비선형 공간에서 고속 선명도 확산 방법을 이용하여 색상불변 특성을 검출하고 표현하는 시스템 및 그 방법에 관하여 자세하게 설명하였다. 상기 설명에 따르면 이미지의 정확한 특징을 추출하기 위해 비선형 스케일 공간에서 멀티스케일 2D 불변 색상 감지와 표현 알고리즘(색조, 밝기, 채도(HLS) 공간의 이미지의 색 정보를 이용)을 한다. 비선형 스케일 공간이 각 색채널(HLS)을 위해 따로 만들고, 이미지의 키포인트를 찾는데 있어 적응통합결정해쉬(Adaptive integrated determinant Hessian) 반응을 계산하고, 비선형 스케일 공간에서 FED 방법을 실행하는데, 이는 이미지의 노이즈를 줄이면서도, 상당히 훌륭한 로컬적 정확성과 선명함을 가진 물체의 경계를 유지한다. 또한 비선형 스케일 공간으로부터 기울기 정보와 동시에 HLS 색 정보를 이용하는 컬러 수정-로컬 차분 이진(color modified-local difference binary, cm-ldb) 표현자를 통해 보다 정확하고 빠른 이미지 매칭 결과를 보여주는 효과가 있다.The system and method for detecting and expressing the color invariant characteristic using the high-speed sharpness diffusion method in the non-linear space according to an embodiment of the present invention has been described in detail. According to the above description, multiscale 2D invariant color detection and representation algorithms (using color information of images in Hue, Brightness, and Saturation (HLS) space) in nonlinear scale space are used to extract the exact features of the image. The nonlinear scale space is created separately for each color channel (HLS), the Adaptive integrated determinant Hessian reaction is calculated in finding the keypoint of the image, and the FED method is executed in the nonlinear scale space, While keeping the boundaries of objects with fairly good local accuracy and sharpness. Also, there is an effect of showing more accurate and quick image matching result through the color modified-local difference binary (cm-ldb) presenter using the HLS color information simultaneously with the slope information from the non-linear scale space.

본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하고, 본 발명에 따른 실시예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

100: 비선형 공간에서 FED를 이용한 색상불변 특성 검출 및 표현 시스템
110: 비선형 스케일 공간 생성 단계 120: 특징 검출 수단
130: 특징 표현 수단100: Color Invariant Characteristic Detection and Representation System Using FED in Nonlinear Space
110: Nonlinear scale space generation step 120:
130: Characteristic expression means

Claims

Nonlinear scale space generation means for generating a nonlinear scale space for each color channel (HLS) using the HLS color space;
Feature detecting means for finding a key point for an image of the generated nonlinear scale space and calculating an adaptive unity decision hash response value; And
And a feature expression means for expanding from the luminance-based presenter to the color-based presenter using the slope information and the HLS color information from the non-linear scale space,
A method for detecting and expressing a color invariant characteristic using an FED in a nonlinear space, characterized by performing multiscale 2D invariant color detection and representation in a nonlinear scale space using color information of an image in an HLS color space.

The method according to claim 1,
Wherein the nonlinear scale space generation means comprises:
Scale feature extraction from a scalar that means an extension from a luminance to a color, and uses the HLS color space by extending the luminance of the A-KAZE detector. In the non-linear space, Feature detection and representation system.

The method according to claim 1,
The non-
Describes the evolution of each saturation color channel in an image by increasing the scale level by divergence of a specific flow function that controls the diffusion process,
It is made using variable conductance diffusion and FED technology,
A system for detecting and expressing color invariant characteristics using FED in a nonlinear space characterized by the fact that the conductivity function of the diffusion equation induces adaptive diffusion in the local image structure, thereby reducing image noise but still maintaining the important edges.

The method of claim 3,
The solution to the diffusion equation is:
The FED method combines the advantages of both explicit and semi-implicit methods, and the FED method embeds a pyramidal framework. In the nonlinear space, color invariant characteristic detection using FED And expression system.

The method according to claim 1,
In the feature detecting means, the calculation of the adaptive unified decision hash response value may be performed by:
Characterized in that it is necessary to find the poles of adjacent pixels and to calculate the derivative of each channel individually and to combine the partial results with the determinants of the hash response and to detect and express color invariant characteristics using the FED in nonlinear space system.

The method of claim 5,
The bond
Wherein the adaptive weight of the reaction value calculation is used as a standard deviation weight response and a local gradient weight response.

The method according to claim 1,
Wherein the feature expressing means comprises:
Based presenter to a color-based presenter using the color modified-local difference binary (cm-ldb) using the HLS color information simultaneously with the slope information from the non-linear scale space Color Invariant Characteristic Detection and Representation System Using FED in Nonlinear Space.

The method of claim 7,
The presenters using the color correction-local difference binary,
And the color slope information extracted by the feature detection does not change with the change in luminance, and is characterized in that the color invariant characteristic detecting and expressing system using the FED is used in a nonlinear space.

A nonlinear scale space generation step of generating a nonlinear scale space for each color channel (HLS) using the HLS color space;
A feature detection step of searching for a key point for an image of the generated nonlinear scale space and calculating an adaptive unity decision hash response value; And
And a feature-expressing step of expanding from the luminance-based presenter to the color-based presenter using the slope information and the HLS color information from the nonlinear scale space,
Wherein the multirespatial 2D invariant color detection and representation is performed in a nonlinear scale space using the color information of the image of the HLS color space.

The method of claim 9,
Wherein the nonlinear scale space generation step comprises:
Scale feature extraction from a scalar that means an extension from a luminance to a color, and uses the HLS color space by extending the luminance of the A-KAZE detector. In the non-linear space, Method for detecting and expressing characteristics.

The method of claim 9,
The non-
Describes the evolution of each saturation color channel in an image by increasing the scale level by divergence of a specific flow function that controls the diffusion process,
It is made using variable conductance diffusion and FED technology,
A method of detecting and expressing color invariant characteristics using FED in a nonlinear space characterized by the fact that the conductivity function of the diffusion equation causes adaptive diffusion in the local image structure, thereby reducing image noise but still maintaining the important edges.

The method of claim 11,
The solution to the diffusion equation is:
The FED method combines the advantages of both explicit and semi-implicit methods, and the FED method embeds a pyramidal framework. In the nonlinear space, color invariant characteristic detection using FED And a representation method.

The method of claim 9,
In the feature detection step, calculating the adaptive unified decision hash response value may include:
Characterized in that it is necessary to find the poles of adjacent pixels and to calculate the derivative of each channel individually and to combine the partial results with the determinants of the hash response and to detect and express color invariant characteristics using the FED in nonlinear space Way.

14. The method of claim 13,
The bond
A method for detecting and expressing color invariant characteristics using an FED in a nonlinear space, characterized by using an adaptive weight of a reaction value calculation using a standard deviation weight response and a local gradient weight response.

The method of claim 9,
The characteristic-
Based presenter to a color-based presenter using the color modified-local difference binary (cm-ldb) using the HLS color information simultaneously with the slope information from the non-linear scale space Detecting and Representing Color Invariant Characteristics Using FED in Nonlinear Space.

16. The method of claim 15,
The presenters using the color correction-local difference binary,
And the color slope information extracted by the feature detection does not change according to the change in luminance, and is characterized in that the color invariant characteristic is strong in the rotation change due to the direction SURF and does not change in accordance with the luminance change.