KR101539058B1 - Image classfication and detection apparatus and method thereof - Google Patents

Image classfication and detection apparatus and method thereof Download PDF

Info

Publication number
KR101539058B1
KR101539058B1 KR1020140075641A KR20140075641A KR101539058B1 KR 101539058 B1 KR101539058 B1 KR 101539058B1 KR 1020140075641 A KR1020140075641 A KR 1020140075641A KR 20140075641 A KR20140075641 A KR 20140075641A KR 101539058 B1 KR101539058 B1 KR 101539058B1
Authority
KR
South Korea
Prior art keywords
image
histogram
edge
color
lbp
Prior art date
Application number
KR1020140075641A
Other languages
Korean (ko)
Inventor
최윤식
황인성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140075641A priority Critical patent/KR101539058B1/en
Application granted granted Critical
Publication of KR101539058B1 publication Critical patent/KR101539058B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor

Abstract

Disclosed are an image classification and search apparatus and a method thereof in the present specification and, more specifically, an image classification and search apparatus capable of obtaining a high search rate and a method thereof. The disclosed image classification apparatus in the present specification comprises: an input unit for receiving an image; an edge analysis unit for acquiring an edge histogram by extracting only an edge area from a rotation-invariant local binary pattern (LBP_ROT) with respect to the image; a color analysis unit for extracting a color histogram by converting the image into a hue-saturation-lightness (HLS) color space; and a storage unit for storing the edge histogram and the color histogram.

Description

이미지 분류 및 검색 장치 및 그 방법{IMAGE CLASSFICATION AND DETECTION APPARATUS AND METHOD THEREOF}[0001] IMAGE CLASSIFICATION AND DETECTION APPARATUS AND METHOD THEREOF [0002]

본 명세서에서는 이미지 분류 및 검색 장치 및 그 방법에 대해 개시하고, 더욱 상세하게는 높은 검색율을 얻을 수 있는 이미지 분류 및 검색 장치 및 그 방법에 대해 개시한다.The present invention discloses an image classification and search apparatus and a method thereof, and more particularly, to an image classification and search apparatus and a method thereof capable of obtaining a high search rate.

스마트 모바일 환경의 급격한 발전에 따라 모바일 쇼핑 산업이 나날이 성장하고 있다. 특히 다양한 사용자의 요구사항에 부합하는 비주얼 검색, 특히 정형화 된 사물이 아닌, 의류와 같이 정형화되지 않은 사물에 대한 검색 필요성이 부각되고 있다. 따라서 이와 관련한 핵심 기술과 응용 기술을 개발하고, 기존의 이미지 비주얼 검색 기술에서 발생하는 이미지 인식 오류를 줄이며, 이에 대한 연산량을 줄여 비정형화된 객체 인식을 향상시키는 디스크립터의 개발이 주목을 받고 있다. With the rapid development of smart mobile environment, mobile shopping industry is growing day by day. In particular, there is an increasing need to search for visual searches that meet the needs of various users, especially those that are not stereotyped, but are not stereotyped, such as clothing. Therefore, the development of descriptors that improve the recognition of non - standardized objects by developing core technologies and application technologies related to them, reducing image recognition errors caused by existing image - visual retrieval techniques, and reducing the computation amount thereof are attracting attention.

의류 이미지를 검색하고자 하는 경우, 소비자가 의류를 검색할 때에는 대부분 텍스트 기반의 키워드 검색에만 의존하고 있으며 실제 이미지 자체를 입력으로 하여 의류를 검색하는 기술은 아직 제대로 개발되어 있지 않다. 또한, 현재 개발된 의류검색 기술의 경우 아직 그 성능이 미흡하여 실제로 의류검색에 제대로 적용되지 못하고 있는 상황이다.When searching for clothes images, consumers mostly rely only on text-based keyword searches when searching for clothes, and techniques for searching clothing by inputting actual images themselves have not been developed yet. In addition, the currently developed apparel search technology is not yet applied to apparel search because its performance is insufficient yet.

본 명세서에서는 높은 검색율을 얻을 수 있는 이미지 분류 및 검색 장치 및 그 방법을 제공하는 데에 목적이 있다. 특히, 비정형화된 이미지에서도 높은 검색율을 얻을 수 있는 이미지 분류 및 검색 장치 및 그 방법을 제공하는 데에 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to provide an image classification and retrieval apparatus and a method thereof that can obtain a high retrieval rate. In particular, it is an object of the present invention to provide an image classification and searching apparatus and method which can obtain a high search rate even in an irregularized image.

본 명세서에서 개시하는 이미지 분류장치는 이미지를 입력받는 입력부, 이미지의 에지 영역에 대해 회전불변 국부이진패턴(LBP_ROT: Local Binary Pattern with ROTation-invariant) 방식에 의한 에지 히스토그램을 추출하는 에지 분석부, 이미지를 HLS(Hue, Saturation, Lightness) 색공간으로 변환하여 컬러 히스토그램을 추출하는 컬러 분석부, 에지 히스토그램 및 컬러 히스토그램을 저장하는 저장부를 포함한다.The image classifying apparatus disclosed in this specification includes an input unit for receiving an image, an edge analyzing unit for extracting an edge histogram by a rotation binary invariant (LBP_ROT) method with respect to an edge region of the image, To a HLS (Hue, Saturation, Lightness) color space to extract a color histogram, and a storage unit for storing an edge histogram and a color histogram.

본 명세서에서 개시하는 이미지 분류방법은 이미지를 입력받는 단계, 이미지의 에지 영역에 대해 회전불변 국부이진패턴(LBP_ROT) 방식에 의한 에지 히스토그램을 추출하는 단계, 이미지를 HLS 색공간으로 변환하여 컬러 히스토그램을 추출하는 단계, 에지 히스토그램 및 컬러 히스토그램을 저장하는 단계를 포함한다.The image classification method disclosed in this specification includes the steps of receiving an image, extracting an edge histogram by a rotation invariant local binary pattern (LBP_ROT) method for an edge region of an image, converting an image into an HLS color space, Extracting the edge histogram, and storing the edge histogram and the color histogram.

본 명세서에서 개시하는 이미지 검색장치는 테스트 이미지를 입력받는 입력부, 테스트 이미지의 에지 영역에 대해 회전불변 국부이진패턴(LBP_ROT) 방식에 의한 에지 히스토그램을 추출하는 에지 분석부, 테스트 이미지를 HLS 색공간으로 변환하여 컬러 히스토그램을 추출하는 컬러 분석부, 에지 히스토그램 및 컬러 히스토그램과 기 저장된 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 비교하여 유사도를 판단하는 판단부를 포함한다.The image search apparatus disclosed in this specification includes an input unit for receiving a test image, an edge analysis unit for extracting an edge histogram by a rotation invariant local binary pattern (LBP_ROT) method for the edge region of the test image, And a determination unit for comparing the edge histogram and the color histogram with the edge histogram and the color histogram for the pre-stored training image to determine the similarity.

본 명세서에서 개시하는 이미지 검색방법은 테스트 이미지를 입력받는 단계, 테스트 이미지의 에지 영역에 대해 회전불변 국부이진패턴(LBP_ROT) 방식에 의한 에지 히스토그램을 추출하는 단계, 테스트 이미지를 HLS 색공간으로 변환하여 컬러 히스토그램을 추출하는 단계, 에지 히스토그램 및 컬러 히스토그램과 기 저장된 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 비교하여 유사도를 판단하는 단계를 포함한다.The image retrieving method disclosed in this specification includes the steps of receiving a test image, extracting an edge histogram by a rotation invariant local binary pattern (LBP_ROT) method for the edge area of the test image, converting the test image into an HLS color space Extracting a color histogram, and comparing the edge histogram and the color histogram with the edge histogram and the color histogram for the pre-stored training image to determine the similarity.

본 명세서에 개시된 발명들에 의하면, 이미지 검색에 있어 높은 검색율을 얻을 수 있다. 특히, 비정형화된 이미지에서도 높은 검색율 달성이 가능하며, 이미지의 스케일 변화 또는 회전 변화에도 불구하고 높은 검색율을 얻을 수 있으면서도 이미지 검색에 있어 중요한 컬러의 유사성을 상실하지 않는 효과가 있다.According to the inventions disclosed in this specification, a high search rate can be obtained in image search. In particular, it is possible to achieve a high retrieval rate even in the non-standardized image, and it is possible to obtain a high retrieval rate in spite of the scale change or the rotation change of the image, but also the similarity of the important color in image retrieval is not lost.

도 1은 본 명세서에서 개시하는 이미지 분류장치를 설명하기 위한 도면이다.
도 2는 국부이진패턴을 설명하기 위한 도면이다.
도 3은 LBP_ROT를 설명하기 위한 도면이다.
도 4는 한 이미지와 이를 90° 회전한 동일 패턴의 좌측 이미지 각각에 대하여 LBP_ROT를 추출한 결과를 히스토그램으로 도시한 것이다.
도 5는 이미지 확대 및 축소의 한계에 대한 문제를 설명하기 위한 도면이다.
도 6은 에지 검출을 거쳐 평탄영역을 분석대상에서 제외시킨 후의 LBPROT_35의 특징벡터를 히스토그램으로 도시한 것이다.
도 7은 본 명세서에서 개시하는 컬러 분석부를 통해 추출된 컬러 히스토그램의 예시를 도시한 것이다.
도 8은 본 명세서에서 개시하는 이미지 분석방법을 설명하기 위한 도면이다.
도 9는 본 명세서에서 개시하는 이미지 검색장치를 설명하기 위한 도면이다.
도 10은 본 명세서에서 개시하는 이미지 분석방법을 설명하기 위한 도면이다.
도 11은 본 명세서의 이미지 분류 및 검색 방법에 대한 일 실시예를 설명하기 위한 도면이다.
도 12및 도 13은 각각 본 발명의 명세서의 이미지 분류 및 검색 방법을 종래의 기술과 비교한 결과를 나타낸다.
1 is a diagram for explaining an image classification apparatus disclosed in the present specification.
2 is a diagram for explaining a local binary pattern.
3 is a diagram for explaining LBP_ROT.
FIG. 4 is a histogram showing the result of extracting LBP_ROT for one image and a left image of the same pattern rotated by 90 DEG.
FIG. 5 is a diagram for explaining a problem about limitations of image enlargement and reduction. FIG.
FIG. 6 is a histogram showing the feature vector of LBPROT_35 after excluding the flat region from the analysis object through edge detection.
FIG. 7 shows an example of a color histogram extracted through the color analysis unit disclosed in this specification.
8 is a diagram for explaining an image analysis method disclosed in this specification.
9 is a diagram for explaining an image search apparatus disclosed in the present specification.
10 is a diagram for explaining an image analysis method disclosed in this specification.
11 is a view for explaining an embodiment of the image classification and search method of the present specification.
12 and 13 show the results of comparing the image classification and search method of the present invention with the conventional technology.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, operational advantages of the present invention, and objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the accompanying drawings which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the embodiments described. In order to clearly describe the present invention, parts that are not related to the description are omitted, and the same reference numerals in the drawings denote the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as "including" an element, it does not exclude other elements unless specifically stated to the contrary. The terms "part", "unit", "module", "block", and the like described in the specification mean units for processing at least one function or operation, And a combination of software.

본 명세서에서는 이미지 분류 및 검색 장치 및 그 방법에 대해 개시한다. 본 명세서에서 개시하는 이미지 분류 및 검색 장치 및 그 방법은 다양한 종류의 이미지에 대해 적용이 가능하며, 의류와 같은 비정형 특성을 갖는 이미지에 대해 더욱 큰 효과를 발휘한다. 특히, 비정형 의류 검색 시 옷이 회전되어 있거나 크기에 변화가 있어도 높은 검색율을 얻을 수 있으며, 색 공간을 양자화하는 방식을 이용하여 컬러 분류를 구현함으로써, 의류 검색에 있어서 중요한 컬러의 유사성을 상실하지 않을 수 있다.In this specification, an image classification and search apparatus and a method thereof are disclosed. The image classifying and searching apparatus and method disclosed in the present specification can be applied to various kinds of images and have a greater effect on images having irregular characteristics such as clothes. Particularly, it is possible to obtain a high search rate even when clothes are rotated or change in size when searching for non-standard clothes, and by implementing a color classification using a method of quantizing color spaces, .

이하에서, 도면을 참조하여 상세히 설명한다.Hereinafter, a detailed description will be given with reference to the drawings.

도 1은 본 명세서에서 개시하는 이미지 분류장치를 설명하기 위한 도면이다.1 is a diagram for explaining an image classification apparatus disclosed in the present specification.

도 1을 참조하면, 이미지 분류장치는 이미지를 입력받는 입력부(101), 이미지에 대한 회전불변 국부이진패턴(Local Binary Pattern with ROTation-invariant : 이하 LBP_ROT)에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 에지 분석부(102), 이미지를 HLS(Hue, Saturation, Lightness) 색공간으로 변환하여 컬러 히스토그램을 추출하는 컬러 분석부(103) 및 에지 히스토그램과 컬러 히스토그램을 저장하는 저장부(104)를 포함한다. 여기서, 이미지는 트레이닝 이미지를 포함하는 것으로서, 이미지 분류장치에 의해 생성된 히스토그램 데이터는 이미지 검색장치에서 이미지 검색에 이용될 수 있다. 한편, 이미지는 의류 이미지 등 다양한 종류의 이미지를 포함할 수 있다. Referring to FIG. 1, an image classification apparatus includes an input unit 101 for receiving an image, an edge region extracting unit 102 for extracting only an edge region from a local Binary Pattern with ROTation-invariant (LBP_ROT) An edge analyzing unit 102, a color analyzing unit 103 for converting an image into a HLS (Hue, Saturation, Lightness) color space and extracting a color histogram, and a storage unit 104 for storing an edge histogram and a color histogram . Here, the image includes the training image, and the histogram data generated by the image classification apparatus can be used for image retrieval in the image retrieval apparatus. On the other hand, an image may include various kinds of images such as clothing images.

먼저, 에지 분석부(102)에 대해 설명한다. 국부이진패턴(Local Binary Pattern : LBP)은 이미지의 한 픽셀과 주위에 이웃하는 픽셀 간의 크기 비교를 통하여 추출되는 이진화 된 값을 이용하는 방식이다.First, the edge analyzing unit 102 will be described. Local Binary Pattern (LBP) is a method of using binary values extracted through comparison of size between one pixel of an image and neighboring neighboring pixels.

도 2는 국부이진패턴을 설명하기 위한 도면이다.2 is a diagram for explaining a local binary pattern.

도 2를 참조하면, LBP는 도 2(a)의 중앙 픽셀의 값에 해당하는 값(도 2(a)에서는 일예로 5)보다 크거나 같은 값에 해당하는 픽셀에 대해선 '1'의 값을 부여하고, 그렇지 않은 픽셀들에 대하여 '0'의 값을 부여하며, 도 2(b)에서의 기설정된 특정 시작점(도 2(b)에서는 일예로 좌상단)을 기준으로 기설정된 방향(도 2(b)에서는 시계 방향)으로 한 자리씩 읽어 2진수로 표현한 것이다. 도 2에서의 LBP 값은 53이다. Referring to FIG. 2, LBP represents a value of '1' for a pixel corresponding to a value equal to or greater than a value corresponding to the value of the center pixel in FIG. 2 (a) (Not shown in FIG. 2 (b)), and a value of '0' is given to the pixels which are not in the predetermined direction (refer to FIG. 2 b) in the clockwise direction). The LBP value in FIG.

도 3은 LBP_ROT를 설명하기 위한 도면이다.3 is a diagram for explaining LBP_ROT.

상기한 LBP 값은 0부터 255까지 총 256개의 종류로 나뉘게 된다. 그러나 여기서 회전에 의해 중복되는 패턴이 발생할 수 있다.The LBP values are divided into 256 types ranging from 0 to 255. Here, however, a pattern that is duplicated by rotation can occur.

도 3을 참조하면, 왼쪽에 도시된 패턴과 오른쪽에 도시된 패턴은 서로 45° 회전된 LBP이다. Referring to FIG. 3, the pattern shown on the left and the pattern shown on the right are LBPs rotated by 45 degrees with respect to each other.

예를 들어, 그림 2와 같이 LBP = 53과 LBP = 106은 서로를 45° 회전시킨 것에 해당한다. 이와 같이 회전을 통해 같은 구조적 형태를 구성하는 LBP의 값들에 대하여 동일한 하나의 대상으로 취급할 수 있다.For example, as shown in Figure 2, LBP = 53 and LBP = 106 correspond to a 45 ° rotation of each other. In this way, it can be treated as the same object for LBP values constituting the same structural form through rotation.

이렇게 추출되는 256개의 종류의 LBP 값에 회전을 고려하면, 36개의 종류로 줄일 수 있게 되는데, 이것을 LBP_ROT라 한다.Considering the rotation of 256 kinds of LBP values extracted in this manner, it is possible to reduce to 36 types, which is called LBP_ROT.

LBP_ROT는 LBP의 특성에 회전변환을 고려한 방식으로 기존의 이진화된 패턴에서 공통적인 패턴형태를 보유한 대상을 한데 묶어버리는 방식이다.LBP_ROT is a method that considers rotation conversion in the characteristics of LBP, and bundles objects that have common patterns in existing binary patterns.

도 4는 한 이미지와 이를 90° 회전한 동일 패턴의 좌측 이미지 각각에 대하여 LBP_ROT를 추출한 결과를 히스토그램으로 도시한 것이다.FIG. 4 is a histogram showing the result of extracting LBP_ROT for one image and a left image of the same pattern rotated by 90 DEG.

도 4를 참조하면, 회전 변환이 이루어진 이미지와 그렇지 않은 이미지 각각의 LBP_ROT 히스토그램이 동일 혹은 유사하게 추출됨을 확인할 수 있다. 그러나, LBP_ROT에는 이미지의 확대/축소에 따른 크기 변화에 관한 문제를 해결하지 못하는 한계가 존재한다. 특히, 이러한 확대 및 축소의 한계에 대한 문제는 비정형 의류 검색과 관련하여 상당히 중요한 요인으로, 비정형 의류 검색 분야에 있어서 반드시 해결되어야 하는 문제이다.Referring to FIG. 4, it is confirmed that the LBP_ROT histogram of each of the rotated image and the non-rotated image is extracted in the same or similar manner. However, there is a limitation in LBP_ROT which can not solve the problem of size change due to image enlargement / reduction. Particularly, the problem of the limitation of the enlargement and reduction is a very important factor in relation to the non-standard garment search, which must be solved in the non-standard garment search field.

이러한 확대 및 축소의 한계에 대한 문제는 이미지의 에지(Edge) 영역과 평탄 영역의 특성 차이에 기인하다. 에지 영역은 이미지 영역에서 선 형태로 존재하여 1차원적인 특성을 지니지만, 반대로 평탄영역은 면 형태로 존재하여 2차원적인 특성을 지닌다. 따라서, 이미지가 2배 확대되었다고 가정하면, 에지 영역은 이에 비례하여 2배 증가하게 되지만, 평탄 영역은 확대비의 제곱에 비례하여 4배 증가하게 된다.The problem of the limits of such enlargement and reduction is due to the difference in characteristics of the edge and flat areas of the image. The edge region exists in a linear form in the image region and has a one-dimensional characteristic. Conversely, the flat region exists in a plane form and has a two-dimensional characteristic. Therefore, assuming that the image has been enlarged twice, the edge area is increased by 2 times in proportion thereto, but the flat area is increased by 4 times in proportion to the square of the enlargement ratio.

도 5는 이미지 확대 및 축소의 한계에 대한 문제를 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a problem about limitations of image enlargement and reduction. FIG.

도 5를 참조하면, 좌측의 원 이미지 및 이를 2배 확대한 이미지에 대하여 LBP_ROT 분석을 거쳐 히스토그램을 추출하면, 에지 영역에서 주로 추출되는 특징벡터들은 2배 증가하게 되지만 평탄영역에서 주로 추출되는 특징벡터들은 4배 증가하게 됨을 볼 수 있다. 결국, 추출되는 특징 벡터 간의 비율로 구성된 히스토그램에 커다란 변화를 가져오게 되고, 이로 인해 LBP_ROT가 원 영상의 확대 및 축소에 따른 크기변화에 민감하게 반응하게 된다.5, if the histogram is extracted through the LBP_ROT analysis for the original image on the left side and the image obtained by enlarging the original image twice, the feature vectors mainly extracted in the edge region are doubled, but the feature vector extracted mainly in the flat region Is increased by 4 times. As a result, a large change is made in the histogram composed of the ratio of extracted feature vectors, and LBP_ROT is sensitive to the magnitude change due to the enlargement and reduction of the original image.

따라서 본 명세서에서는 이러한 문제를 해결하기 위해 실제 패턴 분석에 필요한 요소에 해당하는 에지 영역만을 LBP_ROT 영역의 추출대상으로 고려한다. 이미지에서 에지 영역을 추출하는 것은 다양한 방법을 사용할 수 있다. 이러한 방법에는 케니 에지 검출(Canny Edge Detection) 알고리즘도 포함된다. Therefore, in order to solve this problem, only the edge region corresponding to the elements necessary for the actual pattern analysis is considered as the extraction target of the LBP_ROT region. Extracting the edge region from the image can use various methods. This method also includes a Canny Edge Detection algorithm.

케니 에지 검출에 의해 추출되는 이미지는 에지 영역만이 남게 된다. 이는 LBP_ROT의 특징 벡터들의 히스토그램 상에서 평탄 영역의 LBP_ROT 값 한 개는 통계 대상에서 제외시키는 효과를 가져 오며, 따라서, 36개의 LBP_ROT 특징 벡터 중 하나가 제거되어 35개의 특징 벡터를 추출하게 된다. 이렇게 LBP_ROT의 36개 특징 벡터에서 평탄 영역에 해당하는 특징 벡터를 제거하여 35개의 특징 벡터를 추출하는 방식을 본 발명에서는 LBPROT_35라 명명한다. 이는 신호의 특징이 압축되어 있는 엣지 부분에 관심을 집중하여 우수한 특징 정보 습득은 물론, 원영상의 스케일 변화에 따른 변형을 최소화 할 수 있게 한다.Only the edge region remains in the image extracted by the kenny edge detection. This removes one LBP_ROT value in the flat region from the histogram of the feature vectors of LBP_ROT, thus eliminating one of the 36 LBP_ROT feature vectors to extract 35 feature vectors. The method of extracting 35 feature vectors by removing feature vectors corresponding to the flat regions in 36 feature vectors of LBP_ROT is called LBPROT_35 in the present invention. This makes it possible to acquire excellent feature information and to minimize distortion due to the scale change of the original image by concentrating attention on the edge portion where the feature of the signal is compressed.

도 6은 에지 검출을 거쳐 평탄영역을 분석대상에서 제외시킨 후의 LBPROT_35의 특징벡터를 히스토그램으로 도시한 것이다.FIG. 6 is a histogram showing the feature vector of LBPROT_35 after excluding the flat region from the analysis object through edge detection.

도 6을 참조하면, 크기 변화에 따른 영향이 최소화되어 검색 성능을 향상시킬 수 있게 되며, 특히 비정형 검색 성능을 극대화할 수 있다.Referring to FIG. 6, the influence of the size change is minimized, thereby improving the retrieval performance. In particular, the irregular retrieval performance can be maximized.

다음으로, 컬러 분석부(103)에 대해 설명한다. 이미지에 대한 컬러 인식은 패턴 인식과 마찬가지로 의류 매칭 알고리즘 구성에서 필요한 과정이다. 단색으로 이루어진 이미지의 컬러 특성을 분석하는 것은 물론이고, 패턴에 의해 발생하는 다양한 컬러 분포 모두를 종합적으로 분석대상에 포함시켜야 한다. 컬러의 다양성을 고려함으로써 사용자가 원하는 색상의 이미지를 정확히 내놓을 수 있도록 해야 한다.Next, the color analysis unit 103 will be described. Color recognition for images is a necessary process in constructing clothing matching algorithms as well as pattern recognition. It is necessary not only to analyze the color characteristic of the monochromatic image but also to comprehensively include all the various color distributions generated by the pattern. Considering the diversity of color, users should be able to accurately present the image of the desired color.

또한, 컬러 인식의 정확도를 높이기 위해, 외부 조명의 변화나 그림자에 의한 이미지의 명암 변화에도 고려해야 한다. 즉, 극단적인 명암변화가 아닌 일상 생활에서의 조명이나 그림자에 의한 명암 변화가 검색능력에 부정적인 영향을 주지 않도록 설계해야 한다. In addition, in order to increase the accuracy of color recognition, consideration should be given to changes in external light or shading of the image. In other words, it should be designed so that the change in brightness and shadows caused by light or shadows in everyday life rather than extreme contrast changes will not adversely affect the retrieval ability.

따라서, 본 명세서에서 설명하는 컬러 분석부(103)는 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분하는 방식에 의해 색상 히스토그램을 추출한다. Accordingly, the color analyzer 103 described in the present specification extracts the color histogram by a method of dividing the converted HLS color space into a predetermined number of colors.

이를 위해 기존의 RGB 색 공간으로 표현된 이미지를 명암을 고려하여 HLS 색 공간으로 변환한다. HLS 색공간은 RGB와 마찬가지로 색을 표현하는 하나의 방법으로 색상(Hue), 채도(Saturation), 밝기(Lightness)의 좌표를 이용하여 색을 표현한다. For this purpose, the image represented by the existing RGB color space is converted into the HLS color space in consideration of the contrast. The HLS color space is a method of representing colors as RGB, and expresses colors using coordinates of hue, saturation, and lightness.

색상(Hue, H)는 가시광선 스펙트럼을 고리모양으로 배치한 색상환(Color Circle)에서 가장 파장이 긴 빨강을 0°로 하였을 때의 상대적인 배치 각도의 분포이다. 따라서, H 값은 0°~360°의 범위를 갖고, 360°와 0°는 같은 색상 빨강을 가리킨다. 채도(Saturation, S)는 특정한 색상의 가장 진한 상태를 100%라고 하였을 때 진하기의 정도를 나타내는 것으로, 0%는 색상과 무관하게 무채색을 나타낸다. 밝기(Lightness, L)는 색의 밝고 어두움을 나타내는 정도로, 실제 이미지의 명암변화와 직접적으로 관련이 있다. The color (Hue, H) is the distribution of the relative arrangement angle when 0 ° is the longest wavelength in the color circle in which the visible ray spectrum is arranged in a ring shape. Therefore, the H value has a range of 0 ° to 360 °, and 360 ° and 0 ° indicate the same color red. Saturation (S) indicates the degree of saturation when the darkest state of a particular color is 100%, and 0% indicates achromatic regardless of color. Lightness (L) is the degree of lightness and darkness of a color, which is directly related to the change in lightness and darkness of the actual image.

RGB 색 공간에서 HLS 색 공간으로 변환이 이루어진 이미지는 밝기 정도를 수치화하여 표현할 수 있다. 따라서 만약 이미지 상에서 조명이나 그림자에 의해 명암의 변화가 발생한다면, 밝기(L) 값의 변화가 크게 발생하고 색상(H)과 채도(S)는 거의 변하지 않는다. Images converted from the RGB color space to the HLS color space can be expressed by quantifying the degree of brightness. Therefore, if the lightness or shadow of the image causes a change of light or shade, the change of the brightness (L) value occurs largely and the color (H) and the saturation (S) hardly change.

이러한 점을 이용하기 위해, 컬러 분석부(103)는 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분함에 있어, 그 구분은 기 설정된 밝기(L)의 범위 내에서 수행되도록 할 수 있다. 이를 위해 HLS공간을 몇 가지의 색으로 양자화하고, 우선 밝기(L)에 대해 문턱 값을 설정함으로써 자연스러운 밝기 변화를 넘어서 극단적으로 밝아지거나 어두워지는 색 변화는 그 부분이 조명변화에 의한 것이 아닌 본래 흰색과 검은색인 것으로 판단되도록 한다. In order to utilize this point, the color analyzer 103 may divide the converted HLS color space into a predetermined number of colors, and the division may be performed within a predetermined brightness (L) range. To do this, quantize the HLS space into several colors and set a threshold value for the brightness (L), so that a color change that becomes extremely bright or dark beyond a natural brightness change is not due to illumination change, And black.

예를 들어, 검은색과 흰색의 문턱 값은 색상(H)과 채도(S)와는 무관하며, 밝기(L)가 15% 이하이면 검은색, 밝기 80% 이상이면 흰색으로 여기도록 문턱 값을 설정할 수 있다. 나머지인 밝기(L) 15%~80% 사이의 값을 가지는 색상들에 대해 빨강, 주황, 노랑, 초록, 연한 파랑, 파랑, 보라, 핑크, 회색으로 구분한다. 한편, 우선해서 제한된 밝기(L) 내에서 채도(S)가 10% 이하인 색을 회색으로 고려할 수 있고, 이후 제한된 밝기(15%<L<80%)와 제한된 채도(10%<S)에 대하여 색상(H)이 344°~360°, 0°~9°이면 빨강, 10°~37°이면 주황, 38°~65°이면 노랑, 66°~145°이면 초록, 146°~181°이면 연한 파랑, 182°~255°이면 파랑, 256°~315°이면 보라, 316°~344°이면 핑크로 구분할 수 있다. 이렇게 총 11가지 색상으로 양자화시켜, 이 색상 각각을 하나의 특징 벡터의 차원으로 하면, 이후 이미지에 대하여 11가지 색상의 분포를 분석한 뒤 전체 이미지에서의 특정 색상의 비율을 히스토그램으로 나타낼 수 있다. For example, black and white threshold values are independent of color (H) and saturation (S). Threshold values are set so that they are black when the brightness (L) is 15% or less and white when the brightness is 80% . The remaining brightness (L) is divided into red, orange, yellow, green, light blue, blue, violet, pink and gray for colors having a value between 15% and 80%. On the other hand, a color having a saturation (S) of 10% or less within a limited brightness (L) can be considered as a gray color, and thereafter, a color with a limited brightness (15% <L <80%) and a limited saturation (H) is between 344 ° and 360 ° and 0 ° and 9 ° is red, between 10 ° and 37 ° is yellow, between 38 ° and 65 ° is yellow, between 66 ° and 145 ° is green and between 146 ° and 181 ° is light , Blue for 182 ° to 255 °, blue for 256 ° to 315 °, and pink for 316 ° to 344 °. Thus, if each of these colors is a dimension of one feature vector, the distribution of 11 colors can be analyzed for the subsequent image, and then the ratio of specific colors in the whole image can be represented by a histogram.

도 7은 본 명세서에서 개시하는 컬러 분석부를 통해 추출된 컬러 히스토그램의 예시를 도시한 것이다. FIG. 7 shows an example of a color histogram extracted through the color analysis unit disclosed in this specification.

도 7은 각각의 좌측 이미지들을 11개의 색으로 양자화한 결과의 히스토그램이다. 최종적으로 개별 이미지들에서 추출된 히스토그램 내의 컬러의 분포를 좌측 색에서 우측 색 방향으로 차례대로 읽어서 11차원으로 구성된 특징벡터인 컬러 디스크립터를 만들 수 있다. 7 is a histogram of the results obtained by quantizing each of the left images with 11 colors. Finally, the distribution of colors in the histogram extracted from the individual images can be sequentially read from the left color direction to the right color direction, so that a color descriptor, which is a 11-dimensional feature vector, can be created.

전술한 에지 분석부(102)와 컬러 분석부(103)에 따른 히스토그램은 저장부(104)에 저장된다. 저장된 히스토그램은 실제 이미지를 검색함에 있어 훈련 이미지 데이터로 사용될 수 있다. 예를 들어, 테스트 이미지에 대해 검색을 수행하는 경우 테스트 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 저장부(104)에 저장된 훈련 이미지 데이터의 에지 히스토그램 및 컬러 히스토그램과 비교하여 유사한 이미지를 찾도록 할 수 있다.The histogram according to the edge analyzing unit 102 and the color analyzing unit 103 described above is stored in the storage unit 104. [ The stored histogram can be used as training image data in searching the actual image. For example, when performing a search on a test image, the edge histogram and the color histogram for the test image may be compared with the edge histogram and the color histogram of the training image data stored in the storage unit 104 to find a similar image .

본 명세서에서 개시하는 이미지 분류장치를 이미지에 대한 Dense-SIFT(Scale Invariant Feature Transform) 히스토그램을 추출하는 Dense-SIFT 분석부(105)를 더 포함할 수 있고, 이 경우 저장부(104)는 Dense-SIFT 히스토그램을 저장할 수 있다. SIFT는 이미지에서 코너점 등 식별이 용이한 특징점들을 선택한 후 각 특징점을 중심으로 로컬 패치(local patch)에 대해 특징 벡터를 추출하는 것을 의미하는 것으로서, Dense-SIFT 분석부(105)는 이미지에서 128차원의 SIFT 벡터들을 얻어, 이를 K-means 클러스터링을 수행하여 분류하고, 이를 바탕으로 다차원의 점 데이터를 인덱스할 수 있는 데이터 구조인 K-D 트리를 구축하여 이미지들에 대해 클라스(Class) 값을 빈(bin)으로 하는 히스토그램을 추출한다.The image classification apparatus disclosed in this specification may further include a Dense-SIFT analysis unit 105 for extracting a Dense-SIFT (Scale Invariant Feature Transform) histogram for an image. In this case, the storage unit 104 stores the Dense- You can save the SIFT histogram. SIFT means to extract feature vectors for a local patch centered on each feature point after selecting feature points that are easy to identify, such as corner points in the image, and the Dense-SIFT analysis unit 105 calculates 128 Dimensional SIFT vectors, classify them by performing K-means clustering, build a KD tree, which is a data structure that can index multi-dimensional point data, and classify bin) is extracted from the histogram.

전술한 Dense-SIFT 분석부(105)에 따른 히스토그램은 에지 분석부(102)와 컬러 분석부(103)에 따른 히스토그램과 함께 저장부(104)에 저장될 수 있으며, 저장된 히스토그램은 실제 이미지를 검색함에 있어 훈련 이미지(Training Image) 데이터로 사용될 수 있다.The histogram according to the Dense-SIFT analysis unit 105 described above may be stored in the storage unit 104 together with the histogram according to the edge analysis unit 102 and the color analysis unit 103, Can be used as training image data.

도 8은 본 명세서에서 개시하는 이미지 분석방법을 설명하기 위한 도면이다.8 is a diagram for explaining an image analysis method disclosed in this specification.

도 8을 참조하면, 이미지 분석방법은 이미지를 입력받는 단계(S801), 이미지에 대한 LBP_ROT에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 단계(S802), 이미지를 HLS 색공간으로 변환하여 컬러 히스토그램을 추출하는 단계(S803) 및 에지 히스토그램 및 컬러 히스토그램을 저장하는 단계(S804)를 포함한다.Referring to FIG. 8, the image analyzing method includes receiving an image (S801), extracting only an edge region from an LBP_ROT for the image (S802), converting the image into an HLS color space, Extracting an edge histogram (S803), and storing an edge histogram and a color histogram (S804).

이미지 분류방법은 이미지에 대한 Dense-SIFT 히스토그램을 추출하는 단계(S805)를 더 포함할 수 있고, 저장하는 단계(S804)에서는 Dense-SIFT 히스토그램도 함께 저장할 수 있다.The image classification method may further include a step of extracting a Dense-SIFT histogram for the image (S805), and a Dense-SIFT histogram may also be stored in the storing step (S804).

에지 영역은 케니 에지 검출 알고리즘에 의해 추출될 수 있다. The edge region can be extracted by the kenny edge detection algorithm.

컬러 히스토그램은 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분하는 방식에 의해 추출될 수 있고, 여기서, 구분은 기 설정된 밝기(L)의 범위 내에서 수행될 수 있다.The color histogram can be extracted by a method of dividing the converted HLS color space into a predetermined number of colors, wherein the division can be performed within a predetermined brightness (L) range.

여기서, 이미지는 의류 이미지를 포함할 수 있다.Here, the image may include a garment image.

기타 이미지 분석방법에 대한 자세한 설명은 전술한 이미지 분석장치와 동일하므로, 여기서는 생략하기로 한다.Details of other image analysis methods are the same as those of the above-described image analysis apparatus, and will not be described here.

도 9는 본 명세서에서 개시하는 이미지 검색장치를 설명하기 위한 도면이다.9 is a diagram for explaining an image search apparatus disclosed in the present specification.

도 9를 참조하면, 이미지 검색장치는 테스트 이미지를 입력받는 입력부(901), 테스트 이미지에 대한 LBP_ROT에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 에지 분석부(902), 테스트 이미지를 HLS 색공간으로 변환하여 컬러 히스토그램을 추출하는 컬러 분석부(903), 에지 히스토그램 및 컬러 히스토그램과 기 저장된 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 비교하여 유사도를 판단하는 판단부(904)를 포함한다. 여기서, 판단부(904)는 에지 히스토그램 및 컬러 히스토그램의 유사도에 기초하여 테스트 이미지에 대응하는 이미지를 출력할 수 있다. 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램은 저장부(905)에 저장될 수 있다.Referring to FIG. 9, the image search apparatus includes an input unit 901 for receiving a test image, an edge analyzing unit 902 for extracting only edge regions from LBP_ROT for a test image and obtaining an edge histogram, And a determination unit 904 for comparing the edge histogram and the color histogram with the edge histogram and the color histogram of the pre-stored training image to determine the similarity. Here, the determination unit 904 may output an image corresponding to the test image based on the similarity of the edge histogram and the color histogram. The edge histogram and the color histogram for the training image may be stored in the storage unit 905.

이미지 검색장치는 이미지에 대한 Dense-SIFT 히스토그램을 추출하는 Dense-SIFT 분석부(906)를 더 포함할 수 있고, 판단부(904)는 Dense-SIFT 히스토그램과 기 저장된 훈련 이미지에 대한 훈련 이미지 Dense-SIFT 히스토그램을 비교하여 유사도를 판단할 수 있다. 여기서, 판단부(904)는 에지 히스토그램, 컬러 히스토그램 및 Dense-SIFT 히스토그램의 유사도에 기초하여 테스트 이미지에 대응하는 이미지를 출력할 수 있다. The image search apparatus may further include a Dense-SIFT analysis unit 906 for extracting a Dense-SIFT histogram for the image, and the determination unit 904 may include a Dense-SIFT histogram and a training image Dense- The similarity can be judged by comparing the SIFT histogram. Here, the determination unit 904 may output an image corresponding to the test image based on the similarity of the edge histogram, the color histogram, and the Dense-SIFT histogram.

판단부(904)에서 테스트 이미지와 훈련 이미지에 대한 히스토그램의 유사도 여부의 판단은 에지 히스토그램, 컬러 히스토그램 및 Dense-SIFT 히스토그램 각각에 대해 히스토그램 인터섹션(Histogram Intersection) 방법으로 각각의 히스토그램에 대한 점수를 계산한 뒤, 계산된 3가지 히스토그램의 점수를 곱하여 가장 높은 값을 갖는 후보를 결과로 선택하는 방식이 이용할 수 있다. The determination unit 904 determines whether the histograms of the test image and the training image are similar or not by calculating a score for each histogram using a histogram intersection method for each of the edge histogram, color histogram, and Dense-SIFT histogram. , Then multiplying the score of the three calculated histograms and selecting the candidate with the highest value as the result.

한편, Dense-SIFT 히스토그램은 훈련 이미지 Dense-SIFT 히스토그램 추출 시 생성된 K-D 트리를 이용하여 추출될 수 있다. On the other hand, the Dense-SIFT histogram can be extracted using the K-D tree generated at the extraction of the training image Dense-SIFT histogram.

에지 영역은 케니 에지 검출 알고리즘에 의해 추출될 수 있다. The edge region can be extracted by the kenny edge detection algorithm.

컬러 히스토그램은 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분하는 방식에 의해 추출될 수 있고, 여기서의 구분은 기 설정된 밝기(L)의 범위 내에서 수행되도록 할 수 있다. The color histogram may be extracted by dividing the converted HLS color space into a predetermined number of colors, and the division may be performed within a predetermined brightness (L) range.

테스트 이미지는 의류 이미지를 포함할 수 있고, 이미지 검색장치는 입력 이미지로부터 의류 이미지를 추출하여 입력부(901)로 출력하는 의류패치 추출부(907)를 더 포함할 수 있다. The test image may include a garment image, and the image search apparatus may further include a garment patch extraction unit 907 that extracts the garment image from the input image and outputs the garment image to the input unit 901.

에지 분석부(902), 컬러 분석부(903), Dense-SIFT 분석부(906) 등에 대한 설명에 있어 도 1과 중복되는 설명은 여기서는 생략하기로 한다. The description of the edge analyzing unit 902, the color analyzing unit 903, the dense-SIFT analyzing unit 906, and the like will be omitted here.

이미지 분석장치에서의 테스트 이미지가 의류 이미지인 경우, 입력 이미지는 의류 외의 객체가 포함된 이미지일 수 있다. 따라서, 인물 사진 이미지인 경우에는 의류패치 추출부(907)에서 의류 패치를 추출하기 위해, 얼굴 인식(Face detection)을 이용하여 사람을 검출한 후에, 의류 영역의 일정 크기의 패치 윈도우를 열어 그곳에서부터 자동으로 패치를 추출하는 방법을 사용할 수 있다. 이 과정에서 기존에 잘 알려진 방식인 비올라-존스의 얼굴 인식 알고리즘을 사용할 수 있으며, 얼굴의 비율을 이용하여 상반신의 일정 부분을 추출하고, 이것을 테스트 영상으로 입력할 수 있다.If the test image in the image analysis device is a garment image, the input image may be an image that includes objects other than garment. Therefore, in the case of a portrait photograph, after detecting a person by using face detection in order to extract a clothing patch by the clothing patch extracting unit 907, a patch window of a certain size of the clothing area is opened, You can use a method to automatically extract patches. In this process, Viola-Jones' face recognition algorithm, which is a well-known method, can be used, and a certain portion of the upper half of the body can be extracted using the face ratio and inputted as a test image.

도 10은 본 명세서에서 개시하는 이미지 분석방법을 설명하기 위한 도면이다.10 is a diagram for explaining an image analysis method disclosed in this specification.

도 10을 참조하면, 이미지 분석방법은 테스트 이미지를 입력받는 단계(S1002), 테스트 이미지 에 대한 LBP_ROT에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 단계(S1003), 테스트 이미지를 HLS 색공간으로 변환하여 컬러 히스토그램을 추출하는 단계(S1004), 에지 히스토그램 및 컬러 히스토그램과 기 저장된 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 비교하여 유사도를 판단하는 단계(S1006)를 포함할 수 있다.10, in the image analysis method, a test image is inputted (S1002), an edge histogram is obtained by extracting only an edge region from an LBP_ROT for a test image (S1003), a test image is converted into an HLS color space (S1004) of extracting the color histogram, and comparing the edge histogram and the color histogram with the edge histogram and color histogram of the pre-stored training image to determine the similarity (S1006).

이미지 검색방법은 이미지에 대한 Dense-SIFT 히스토그램을 추출하는 단계(S1005)를 더 포함할 수 있고, 판단하는 단계(S1006)는 Dense-SIFT 히스토그램과 기 저장된 훈련 이미지에 대한 훈련 이미지 Dense-SIFT 히스토그램을 비교하여 유사도를 판단할 수 있다. 여기서, 판단하는 단계(S1006)에서는 에지 히스토그램, 컬러 히스토그램 및 Dense-SIFT 히스토그램의 유사도에 기초하여 테스트 이미지에 대응하는 이미지를 출력할 수 있다. The image search method may further include a step of extracting a Dense-SIFT histogram for the image, and the determining step S1006 may include a Dense-SIFT histogram of the Dense-SIFT histogram and a training image of the pre-stored training image. The degree of similarity can be determined. Here, in the determining step S1006, an image corresponding to the test image may be output based on the similarity of the edge histogram, the color histogram, and the Dense-SIFT histogram.

테스트 이미지와 훈련 이미지에 대한 히스토그램의 유사도 여부의 판단은 상기한 바와 같이 히스토그램 인터섹션 방법을 이용할 수 있다. As described above, the histogram intersection method can be used to determine whether the histogram of the test image and the training image is similar or not.

한편, Dense-SIFT 히스토그램은 훈련 이미지 Dense-SIFT 히스토그램 추출 시 생성된 K-D 트리를 이용하여 추출될 수 있다. On the other hand, the Dense-SIFT histogram can be extracted using the K-D tree generated at the extraction of the training image Dense-SIFT histogram.

에지 영역은 케니 에지 검출 알고리즘에 의해 추출될 수 있다. The edge region can be extracted by the kenny edge detection algorithm.

컬러 히스토그램은 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분하는 방식에 의해 추출될 수 있고, 여기서의 구분은 기 설정된 밝기(L)의 범위 내에서 수행되도록 할 수 있다. The color histogram may be extracted by dividing the converted HLS color space into a predetermined number of colors, and the division may be performed within a predetermined brightness (L) range.

테스트 이미지는 의류 이미지를 포함할 수 있고, 이미지 검색방법은 입력 이미지로부터 의류 이미지를 추출하여 출력하는 의류패치 추출단계(S1001)를 더 포함할 수 있다. The test image may include a garment image, and the image retrieval method may further include a garment patch extraction step (S1001) for extracting and outputting a garment image from the input image.

이미지 검색방법에 대한 자세한 설명 중, 도 9에서 설명한 부분과 중복된 내용은 생략하기로 한다.Among the detailed descriptions of the image retrieval method, the description overlapped with the description of FIG. 9 will be omitted.

도 11은 본 명세서의 이미지 분류 및 검색 방법에 대한 일 실시예를 설명하기 위한 도면이다. 도 11(a)는 이미지 분류에 대한 블록 다이어그램의 일 실시예를 도시한 것이고, 도 11(b)는 이미지 검색에 대한 블록 다이어그램의 일 실시예를 도시한 것이다.11 is a view for explaining an embodiment of the image classification and search method of the present specification. Figure 11 (a) illustrates one embodiment of a block diagram for image classification, and Figure 11 (b) illustrates one embodiment of a block diagram for image retrieval.

도 11(a)를 참조하면, 훈련 이미지(S1101: Training Image)가 입력되면 이미지 분류는 Dense-SIFT(S1104)에 병행하여, LBP_ROT의 에지 분석(S1102)과 HLS 기반의 컬러 분석(S1103)을 수행하여 각각에 대해 히스토그램을 만들어 저장한다.11A, when the training image (S1101: Training Image) is inputted, the image classification is performed in parallel with the Dense-SIFT (S1104), edge analysis (S1102) of LBP_ROT and color analysis (S1103) based on HLS And a histogram is created for each.

본 명세서에서는 일 실시예로 총 810장의 의류 패치 이미지를 100x100픽셀 크기로 일정하게 맞추어, 훈련 이미지로 사용하였다. 의류 패치 이미지들 중에는 특별히 제작된 36가지 옷으로부터 각각 10장씩, 회전 및 스케일 변형을 임의로 주어 취득한 비정형 의류 패치 데이터들을 포함할 수 있다.In the present specification, a total of 810 pieces of clothing patch images were uniformly set to a size of 100x100 pixels and used as a training image in one embodiment. Apparel patch images may include atypical apparel patch data obtained by arbitrarily giving a rotation and scale transformation of 10 pieces each from 36 specially produced clothes.

Dense-SIFT 분석(S1104)의 경우, 훈련 이미지들로부터 만들어진 패치들에서 128차원의 SIFT 벡터들을 얻어, 이를 K-means 클러스터링을 수행하여 분류하고, 이를 바탕으로 K-D 트리를 구축하여 개개의 훈련 이미지들에 대해 클라스 값을 bin으로 하는 히스토그램을 만들어 저장한다.In the case of the Dense-SIFT analysis (S1104), 128-dimensional SIFT vectors are obtained from the patches created from training images, classified by performing K-means clustering, and a KD tree is constructed based on the K- Create a histogram of bin values for class values.

Dense-SIFT 분석(S1104)의 실제 적용 예에서 복수개의 훈련 영상 각각에 대해 32x32 윈도우를 4픽셀 단위로 움직이며 하나의 특징점 당 128개의 특징 벡터를 추출하고, 가로로도 4픽셀 간격으로 이동하여, 하나의 패치로부터 100x100 영상 기준으로 361개의 특징점을 추출할 수 있다. 결과적으로 하나의 영상에서 361개의 128차원 SIFT 벡터가 추출되어, 전체 810장의 DB로부터 361x810개의 SIFT 벡터를 만들어 K개의 워드(word) 개수만큼 K-means 클러스터링 과정을 수행할 수 있다. 여기서 워드는 K-means 클러스터링의 중심(center)을 의미한다.In an actual application example of the Dense-SIFT analysis (S1104), 32x32 windows are moved in units of 4 pixels for each of a plurality of training images, 128 feature vectors are extracted per one feature point, 361 feature points can be extracted from a single patch with reference to 100x100 image. As a result, 361 128-dimensional SIFT vectors are extracted from one image, and 361x810 SIFT vectors are generated from 810 DBs in total, and K-means clustering processes can be performed by K words. Here, the word means the center of K-means clustering.

에지 분석(S1102)의 경우, 훈련 이미지들로부터 얻은 패치들에 대해 우선 캐니 에지 검출기를 적용하여 이진화된 에지만 남긴 후에 각 영상마다 LBP_ROT를 적용하여 출력되는 35개의 숫자를 bin으로 하는 히스토그램을 저장한다.In the case of the edge analysis (S1102), a histogram is stored in which 35 binaries are binned by applying LBP_ROT to each image after leaving only the binarized edge by applying a cane edge detector to the patches obtained from the training images .

컬러 분석(S1103)의 경우, 훈련 이미지에 대한 패치들에 대해 HLS 색공간에 기반한 11가지 컬러 값을 빈(bin)으로 하는 히스토그램을 저장해 둔다. In the case of the color analysis (S1103), histograms storing 11 color values based on the HLS color space are stored for the patches for the training image.

한편, 이들 세 가지 분석(S1102, S1103, S1104)은 서로 독립이므로, 이미지 검색을 수행하는 경우, 개개의 히스토그램의 유사도 결과를 곱한 값 중 가장 높은 값을 가진 것을 최종 결과로 선택할 수 있다(S1131). Since the three analyzes (S1102, S1103, and S1104) are independent of each other, when the image search is performed, the result obtained by multiplying the similarity results of the individual histograms can be selected as the final result (S1131) .

도 11(b)를 참조하면, 이미지 분류와 유사하게 테스트하고자 하는 테스트 영상(Query Image)이 들어오게 되면, 얼굴 검색과정(Face Detection)을 거쳐 테스트 패치(Query Patch)를 추출한 뒤(S1111), 도 11(a)에서 설명한 세 가지 방식(S1102, S1103, S1104)으로 각각 분석(S1112, S1113, S1114)을 수행한다. Dense-SIFT 분석(S1114)의 경우, 이미지 분류 과정에서 획득한 K-D 트리를 이용해 워드의 히스토그램을 구할 수 있다(S1121).Referring to FIG. 11B, when a test image to be tested is input similar to an image classification, a test patch is extracted through a face detection process (S1111) (S1112, S1113, and S1114) are performed in the three methods (S1102, S1103, and S1104) described in FIG. 11 (a). In the case of the Dense-SIFT analysis (S1114), the histogram of the word can be obtained using the K-D tree obtained in the image classification process (S1121).

각각의 분(S1112, S1113, S1114)을 통해 각각의 히스토그램을 얻은 후에, 이를 Histogram Intersection 방법(S1122)으로 점수를 구한 뒤 세 점수를 곱하여 최종 점수를 구하고, 가장 높은 값을 얻는 후보를 결과로 출력하면 검색이 완료된다(S1131).After each histogram is obtained through each of the minutes (S1112, S1113, S1114), scores are obtained by the Histogram Intersection method (S1122), and the final score is obtained by multiplying the scores by the three scores, and a candidate for obtaining the highest value is output The search is completed (S1131).

도 12및 도 13은 각각 본 발명의 명세서의 이미지 분류 및 검색 방법을 종래의 기술과 비교한 결과를 나타낸다.12 and 13 show the results of comparing the image classification and search method of the present invention with the conventional technology.

도 12는 36벌의 옷으로부터 추출된 의류 이미지 패치 한 장씩으로 검색을 수행하여 유사의류를 추출한 정확도를 기존의 Dense-SIFT와 비교하여 낸다. 그리고 도13 에서는 기존의 Dense-SIFT와 본 명세서에서 제안한 방식으로 각각 입력 의류 패치에 대해 검색된 10개의 유사 의류 패치의 예를 나타낸다.Fig. 12 shows a comparison of the accuracy of extracting similar clothing with the conventional Dense-SIFT by performing a search for each piece of clothing image patch extracted from 36 clothes. FIG. 13 shows an example of ten similar clothing patches retrieved for each input garment patch in the conventional Dense-SIFT and the method proposed in this specification.

도 12에 도시된 바와 같이, 5개의 유사 의류 패치를 추출하는 경우나, 10개의 유사 의류 패치를 추출하는 경우 모두 본 명세서에서 제안한 방식이 기존의 Dense-SIFT만을 단독으로 사용하는 경우보다 더 많은 유사 의류 패치들을 저장부인 데이터베이스로부터 정확하게 찾아낼 수 있음을 확인할 수 있다.As shown in FIG. 12, in the case of extracting five similar clothing patches or extracting ten similar clothes patches, the method proposed in this specification is more similar to the case of using only the existing Dense-SIFT alone It can be seen that clothing patches can be accurately found from the database of the storage medium.

도 13에서도 29번째 테스트 패치를 제외한 나머지 모든 테스트에서 마찬가지로 Dense-SIFT 보다 더 많은 정확한 동일한 옷으로부터 얻은 의류 패치들을 찾아내었다. 한편, 도시하지 않았으나, 한 가지 유일한 출력만을 내도록 하는 실험에도, Dense-SIFT의 경우 36가지 실험 중 23번을 성공(63.9%)한 반면에, 제안 방식은 34번을 성공(94.4%)하는 상대적으로 높은 성능을 보였다.Also in FIG. 13, all but the 29th test patches were found to have garment patches obtained from more exact same clothes than Dense-SIFT. On the other hand, although not shown, Dense-SIFT achieved 23 successes (63.9%) in 36 experiments, while 34 suggestions (94.4%) were relatively successful As shown in Fig.

본 명세서에서 개시하는 방법 및 장치에 의하면 원래 이미지의 회전 또는 크기에 변화에 대해서도 높은 검색율을 얻을 수 있다. 특히, 기존의 방법을 의류 검색에 사용할 경우, 의류의 비정형 특성으로 인하여 트레이닝 및 검색 과정에서 왜곡이 많이 발생하여 성능이 매우 떨어지는 문제점이 있었으나, 본 명세서에서 개시하는 방법 및 장치에 의하면 이러한 단점을 극복하여 비정형 의류에서도 높은 검색 성능을 발휘할 수 있다. According to the method and apparatus disclosed in the present specification, a high search rate can be obtained even for a change in the rotation or size of the original image. Particularly, when the conventional method is used for the clothing search, there is a problem that a lot of distortion occurs in the training and searching process due to the irregular characteristics of the clothes, and the performance is very poor. However, according to the method and apparatus disclosed in the present specification, So that it is possible to exhibit high search performance even in non-standard clothes.

특히 기존의 LBP_ROT와는 달리, 신호의 특징이 압축되어 있는 에지 부분에 관심을 집중하여 우수한 특징 정보 습득은 물론, 원래 이미지의 스케일 변화에 따른 변형을 최소화할 수 있게 하였고, HLS 기반 컬러 디스크립터는 의류 검출에 있어서 큰 중요도를 차지하는 색깔 분류를 위해 색 공간을 양자화하여 색깔 기반의 히스토그램으로 만들어져, 색깔 검색에 있어서 우수한 성능을 발휘한다.Especially, unlike the existing LBP_ROT, it focuses attention on the edge part where the signal characteristics are compressed, so that it can acquire excellent feature information and minimize the distortion due to the scale change of the original image. The HLS- The color space is quantized for color classification, which is of great importance, and is made into a color-based histogram, thereby exhibiting excellent performance in color search.

이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 발명을 한정하는 것이 아니며, 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 특허 청구 범위에서 규정하는 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. It can be understood that the modification and application of the present invention are possible. For example, each component specifically shown in the embodiments can be modified and implemented. It is to be understood that the present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.

101: 입력부
102: 에지 분석부
103: 컬러 분석부
104: 저장부
105: Dense-SIFT 분석부
101: Input unit
102: edge analysis unit
103: color analysis unit
104:
105: Dense-SIFT analysis unit

Claims (18)

적어도 하나의 이미지를 입력받는 입력부;
상기 이미지에 대한 회전불변 국부이진패턴(Local Binary Pattern with ROTation-invariant : 이하 LBP_ROT)에서 에지 영역을 추출하여 에지 히스토그램을 획득하는 에지 분석부;
상기 이미지 각각을 HLS(Hue, Saturation, Lightness) 색공간으로 변환하여 컬러 히스토그램을 추출하는 컬러 분석부; 및
상기 에지 히스토그램 및 상기 컬러 히스토그램을 저장하는 저장부를 포함하고,
상기 LBP_ROT는 상기 이미지의 각 픽셀에 대해 국부이진패턴(Local Binary Pattern : LBP) 기법을 적용하여 구분할 수 있는 256개 패턴 중 상기 이미지를 45°단위로 회전하여 생성되는 패턴들을 동일 패턴으로 인식하여 상기 패턴 개수를 36개로 줄인 것을 특징으로 하는 이미지 분류장치.
An input unit for receiving at least one image;
An edge analyzer for extracting an edge region from a local Binary Pattern with ROTATION-invariant (LBP_ROT) for the image to obtain an edge histogram;
A color analyzer for converting each of the images into a HLS (Hue, Saturation, Lightness) color space and extracting a color histogram; And
And a storage unit for storing the edge histogram and the color histogram,
The LBP_ROT recognizes the patterns generated by rotating the image in 45-degree increments among the 256 patterns that can be distinguished by applying a Local Binary Pattern (LBP) technique to each pixel of the image, Wherein the number of patterns is reduced to 36.
제1항에 있어서,
상기 이미지에 대한 Dense-SIFT(Scale Invariant Feature Transform) 히스토그램을 추출하는 Dense-SIFT 분석부를 더 포함하고,
상기 저장부는 상기 Dense-SIFT 히스토그램을 저장하는, 이미지 분류장치.
The method according to claim 1,
And a Dense-SIFT analyzing unit for extracting a Dense-SIFT (Scale Invariant Feature Transform) histogram for the image,
Wherein the storage unit stores the Dense-SIFT histogram.
제1항에 있어서,
상기 에지 영역은 케니 에지 검출(Canny Edge Detection) 알고리즘에 의해 추출되는, 이미지 분류장치.
The method according to claim 1,
Wherein the edge region is extracted by a Canny Edge Detection algorithm.
제1항에 있어서,
상기 컬러 히스토그램은 상기 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분하는 방식에 의해 추출되는, 이미지 분류장치.
The method according to claim 1,
Wherein the color histogram is extracted by a method of dividing the converted HLS color space into a predetermined number of colors.
제4항에 있어서,
상기 구분은 기 설정된 밝기(L: Ligntness)의 범위 내에서 수행되는, 이미지 분류장치.
5. The method of claim 4,
Wherein the classification is performed within a predetermined brightness (L).
제1항에 있어서,
상기 이미지는 의류 이미지인, 이미지 분류장치.
The method according to claim 1,
Wherein the image is a garment image.
이미지를 입력받는 단계;
상기 이미지에 대한 회전불변 국부이진패턴(Local Binary Pattern with ROTation-invariant : 이하 LBP_ROT)에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 단계;
상기 이미지를 HLS(Hue, Saturation, Lightness) 색공간으로 변환하여 컬러 히스토그램을 추출하는 단계; 및
상기 에지 히스토그램 및 상기 컬러 히스토그램을 저장하는 단계를 포함하고,
상기 LBP_ROT는 상기 이미지의 각 픽셀에 대해 국부이진패턴(Local Binary Pattern : LBP) 기법을 적용하여 구분할 수 있는 256개 패턴 중 상기 이미지를 45°단위로 회전하여 생성되는 패턴들을 동일 패턴으로 인식하여 상기 패턴 개수를 36개로 줄인 것을 특징으로 하는, 이미지 분류방법.
Receiving an image;
Extracting only an edge region from a local Binary Pattern with ROTATION-invariant (LBP_ROT) for the image to obtain an edge histogram;
Converting the image into HLS (Hue, Saturation, Lightness) color space to extract a color histogram; And
Storing the edge histogram and the color histogram,
The LBP_ROT recognizes the patterns generated by rotating the image in 45-degree increments among the 256 patterns that can be distinguished by applying a Local Binary Pattern (LBP) technique to each pixel of the image, Wherein the number of patterns is reduced to 36.
테스트 이미지를 입력받는 입력부;
이미지에 대한 회전불변 국부이진패턴(Local Binary Pattern with ROTation-invariant : 이하 LBP_ROT)에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 에지 분석부;
상기 테스트 이미지를 HLS(Hue, Saturation, Lightness) 색공간으로 변환하여 컬러 히스토그램을 추출하는 컬러 분석부; 및
상기 에지 히스토그램 및 상기 컬러 히스토그램과 기 저장된 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 비교하여 유사도를 판단하는 판단부를 포함하고,
상기 LBP_ROT는 상기 이미지의 각 픽셀에 대해 국부이진패턴(Local Binary Pattern : LBP) 기법을 적용하여 구분할 수 있는 256개 패턴 중 상기 이미지를 45°단위로 회전하여 생성되는 패턴들을 동일 패턴으로 인식하여 상기 패턴 개수를 36개로 줄인 것을 특징으로 하는, 이미지 검색장치.
An input unit for receiving a test image;
An edge analyzer for extracting only an edge region from a local Binary Pattern with ROTation-invariant (LBP_ROT) to obtain an edge histogram;
A color analyzer for converting the test image into a HLS (Hue, Saturation, Lightness) color space and extracting a color histogram; And
And a determination unit for determining the similarity by comparing the edge histogram and the edge histogram and the color histogram of the color histogram and the pre-stored training image,
The LBP_ROT recognizes the patterns generated by rotating the image in 45-degree increments among the 256 patterns that can be distinguished by applying a Local Binary Pattern (LBP) technique to each pixel of the image, Wherein the number of patterns is reduced to 36.
제8항에 있어서,
상기 판단부는 상기 에지 히스토그램 및 상기 컬러 히스토그램의 유사도에 기초하여 상기 테스트 이미지에 대응하는 이미지를 출력하는, 이미지 검색장치.
9. The method of claim 8,
Wherein the determination unit outputs an image corresponding to the test image based on the edge histogram and the similarity of the color histogram.
제8항에 있어서,
상기 이미지에 대한 Dense-SIFT(Scale Invariant Feature Transform) 히스토그램을 추출하는 Dense-SIFT 분석부를 더 포함하고,
상기 판단부는 상기 Dense-SIFT 히스토그램과 기 저장된 훈련 이미지에 대한 훈련 이미지 Dense-SIFT 히스토그램을 비교하여 유사도를 판단하는, 이미지 검색장치.
9. The method of claim 8,
And a Dense-SIFT analyzing unit for extracting a Dense-SIFT (Scale Invariant Feature Transform) histogram for the image,
Wherein the determination unit determines the similarity by comparing the Dense-SIFT histogram and the training image Dense-SIFT histogram with respect to the pre-stored training image.
제10항에 있어서,
상기 판단부는 상기 에지 히스토그램, 상기 컬러 히스토그램 및 상기 Dense-SIFT 히스토그램의 유사도에 기초하여 상기 테스트 이미지에 대응하는 이미지를 출력하는, 이미지 검색장치.
11. The method of claim 10,
Wherein the determination unit outputs an image corresponding to the test image based on the similarity of the edge histogram, the color histogram, and the Dense-SIFT histogram.
제10항에 있어서,
상기 Dense-SIFT 히스토그램은 상기 훈련 이미지 Dense-SIFT 히스토그램 추출 시 생성된 K-D 트리를 이용하여 추출되는, 이미지 검색장치.
11. The method of claim 10,
Wherein the Dense-SIFT histogram is extracted using a KD tree generated upon extraction of the training image Dense-SIFT histogram.
제8항에 있어서,
상기 에지 영역은 케니 에지 검출(Canny Edge Detection) 알고리즘에 의해 추출되는, 이미지 검색장치.
9. The method of claim 8,
Wherein the edge region is extracted by a Canny Edge Detection algorithm.
제8항에 있어서,
상기 컬러 히스토그램은 상기 변환된 HLS 색공간을 기 설정된 개수의 색으로 구분하는 방식에 의해 추출되는, 이미지 검색장치.
9. The method of claim 8,
Wherein the color histogram is extracted by a method of dividing the converted HLS color space into a predetermined number of colors.
제14항에 있어서,
상기 구분은 기 설정된 밝기(L: Ligntness)의 범위 내에서 수행되는, 이미지 검색장치.
15. The method of claim 14,
Wherein the distinction is performed within a predetermined brightness (L).
제8항에 있어서,
상기 테스트 이미지는 의류 이미지인, 이미지 검색장치.
9. The method of claim 8,
Wherein the test image is a garment image.
제16항에 있어서,
입력 이미지로부터 상기 의류 이미지를 추출하여 상기 입력부로 출력하는 의류패치 추출부를 더 포함하는, 이미지 검색장치.
17. The method of claim 16,
And an apparel patch extracting unit for extracting the apparel image from the input image and outputting the apparel image to the input unit.
테스트 이미지를 입력받는 단계;
상기 테스트 이미지에 대한 회전불변 국부이진패턴(Local Binary Pattern with ROTation-invariant : 이하 LBP_ROT)에서 에지 영역만을 추출하여 에지 히스토그램을 획득하는 단계;
상기 테스트 이미지를 HLS(Hue, Saturation, Lightness) 색공간으로 변환하여 컬러 히스토그램을 추출하는 단계; 및
상기 에지 히스토그램 및 상기 컬러 히스토그램과 기 저장된 훈련 이미지에 대한 에지 히스토그램 및 컬러 히스토그램을 비교하여 유사도를 판단하는 단계를 포함하고,
상기 LBP_ROT는 상기 이미지의 각 픽셀에 대해 국부이진패턴(Local Binary Pattern : LBP) 기법을 적용하여 구분할 수 있는 256개 패턴 중 상기 이미지를 45°단위로 회전하여 생성되는 패턴들을 동일 패턴으로 인식하여 상기 패턴 개수를 36개로 줄인 것을 특징으로 하는, 이미지 검색방법.
Receiving a test image;
Obtaining an edge histogram by extracting only an edge region from a local Binary Pattern with ROTATION-invariant (LBP_ROT) for the test image;
Converting the test image into a HLS (Hue, Saturation, Lightness) color space to extract a color histogram; And
Comparing the edge histogram and the edge histogram and the color histogram of the color histogram with the pre-stored training image to determine the similarity,
The LBP_ROT recognizes the patterns generated by rotating the image in 45-degree increments among the 256 patterns that can be distinguished by applying a Local Binary Pattern (LBP) technique to each pixel of the image, Wherein the number of patterns is reduced to 36.
KR1020140075641A 2014-06-20 2014-06-20 Image classfication and detection apparatus and method thereof KR101539058B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140075641A KR101539058B1 (en) 2014-06-20 2014-06-20 Image classfication and detection apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140075641A KR101539058B1 (en) 2014-06-20 2014-06-20 Image classfication and detection apparatus and method thereof

Publications (1)

Publication Number Publication Date
KR101539058B1 true KR101539058B1 (en) 2015-07-23

Family

ID=53875582

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140075641A KR101539058B1 (en) 2014-06-20 2014-06-20 Image classfication and detection apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR101539058B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980834A (en) * 2017-03-24 2017-07-25 中山大学 A kind of automatic classification method of facial image
KR101773127B1 (en) 2015-12-09 2017-08-31 이노뎁 주식회사 Image analysis system and integrated control system capable of performing effective image searching/analyzing and operating method thereof
KR20220106486A (en) * 2021-01-22 2022-07-29 용인예술과학대학교 산학협력단 Interactive video output system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067174A (en) * 2012-09-25 2014-04-17 Nippon Telegr & Teleph Corp <Ntt> Image classification device, image identification device and program
KR20140066789A (en) * 2011-09-30 2014-06-02 이베이 인크. Image feature data extraction and use

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140066789A (en) * 2011-09-30 2014-06-02 이베이 인크. Image feature data extraction and use
JP2014067174A (en) * 2012-09-25 2014-04-17 Nippon Telegr & Teleph Corp <Ntt> Image classification device, image identification device and program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
조명과 회전에 강건한 LBP 기반의 얼굴 탐지, 한국HCI학회 *
조명과 회전에 강건한 LBP 기반의 얼굴 탐지, 한국HCI학회*
카메라 센서를 사용한 에지검출기반의 차량인식, 한양대대학원 석사 논문 *
카메라 센서를 사용한 에지검출기반의 차량인식, 한양대대학원 석사 논문*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773127B1 (en) 2015-12-09 2017-08-31 이노뎁 주식회사 Image analysis system and integrated control system capable of performing effective image searching/analyzing and operating method thereof
CN106980834A (en) * 2017-03-24 2017-07-25 中山大学 A kind of automatic classification method of facial image
KR20220106486A (en) * 2021-01-22 2022-07-29 용인예술과학대학교 산학협력단 Interactive video output system and method
KR102443582B1 (en) * 2021-01-22 2022-09-16 용인예술과학대학교 산학협력단 Interactive video output system and method

Similar Documents

Publication Publication Date Title
US9898686B2 (en) Object re-identification using self-dissimilarity
Li et al. A survey of recent advances in visual feature detection
Işık A comparative evaluation of well-known feature detectors and descriptors
Creusen et al. Color exploitation in hog-based traffic sign detection
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
Peeples et al. Histogram layers for texture analysis
Alsmadi et al. Fish classification based on robust features extraction from color signature using back-propagation classifier
Huang et al. Regions of interest extraction from color image based on visual saliency
CN105518668A (en) Content based image retrieval
Huang et al. Local binary patterns and superpixel-based multiple kernels for hyperspectral image classification
Ahmed et al. Fusion of local and global features for effective image extraction
Buza et al. Skin detection based on image color segmentation with histogram and k-means clustering
Chu et al. Image retrieval based on a multi-integration features model
Zhang et al. Image retrieval using the extended salient region
Barata et al. Evaluation of color based keypoints and features for the classification of melanomas using the bag-of-features model
Kim Ciratefi: An RST-invariant template matching with extension to color images
KR101539058B1 (en) Image classfication and detection apparatus and method thereof
Lu et al. Spectral segmentation via midlevel cues integrating geodesic and intensity
Shah Face detection from images using support vector machine
Dhingra et al. Clustering-based shadow detection from images with texture and color analysis
Gorokhovatskyi et al. Image Pair Comparison for Near-duplicates Detection
Shen et al. A holistic image segmentation framework for cloud detection and extraction
Estrada et al. Appearance-based keypoint clustering
Tao et al. Research Progress of the Scale Invariant Feature Transform (SIFT) Descriptors.
Kalaivani et al. Automatic color image segmentation

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180723

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 5