KR101541384B1 - Device for Recognition of Object and method - Google Patents

Device for Recognition of Object and method Download PDF

Info

Publication number
KR101541384B1
KR101541384B1 KR1020130162630A KR20130162630A KR101541384B1 KR 101541384 B1 KR101541384 B1 KR 101541384B1 KR 1020130162630 A KR1020130162630 A KR 1020130162630A KR 20130162630 A KR20130162630 A KR 20130162630A KR 101541384 B1 KR101541384 B1 KR 101541384B1
Authority
KR
South Korea
Prior art keywords
image
stored
acquired image
color histogram
acquired
Prior art date
Application number
KR1020130162630A
Other languages
Korean (ko)
Other versions
KR20150074646A (en
Inventor
반티미융
김수형
나인섭
이칠우
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020130162630A priority Critical patent/KR101541384B1/en
Publication of KR20150074646A publication Critical patent/KR20150074646A/en
Application granted granted Critical
Publication of KR101541384B1 publication Critical patent/KR101541384B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 인식에 관한 것으로, 영상 획득을 수행하는 카메라, 상기 획득된 획득 영상에 대한 영상 인식을 위하여 저장 영상들을 저장하는 저장부, 상기 획득 영상에 대한 컬러 히스토그램과 상기 저장 영상들의 컬러 히스토그램 유사도 비교를 기반으로 상기 획득 영상에 대한 영상 인식을 수행하는 제어부를 포함하는 것을 특징으로 하는 영상 인식 장치 및 방법의 구성을 개시한다.The present invention relates to image recognition, which includes a camera for performing image acquisition, a storage unit for storing images for image recognition of the acquired image, a color histogram for the acquired image, and a color histogram similarity And a controller for performing image recognition on the acquired image based on the comparison.

Description

영상 인식 장치 및 방법{Device for Recognition of Object and method}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device,

본 발명은 영상 인식에 관한 것으로, 특히 컬러 히스토그램을 이용한 영상 인식 방법 및 장치에 관한 것이다.The present invention relates to image recognition, and more particularly, to a method and apparatus for recognizing an image using a color histogram.

영상 인식 기술은 직관적이며 실생활의 다양한 분야에 광범위하게 적용될 수 있기 때문에 오랫동안 많은 연구가 되어오고 있다. 특히 최근에는 카메라를 탑재한 휴대 단말기가 각광받으면서 영상 인식을 통한 다양한 서비스의 개발이 요구되고 있다. 영상 인식 과정은 영상 획득 과정과, 획득된 영상에 대한 분석 과정, 기 저장된 정보와의 영상 비교 과정 및 인식 과정 등을 포함할 수 있다. 이러한 영상 인식 과정은 영상 비교 과정에서 매우 많은 데이터 비교를 수행해야 하기 때문에 고성능의 하드웨어 및 이를 뒷받침하는 소프트웨어가 제공되어야 한다. 종래 영상 인식 과정에서는 매우 많은 데이터 비교 과정으로 인하여 영상 처리 속도가 만족할만한 값을 가지기 어려운 문제가 있었다. 또한 영상에 포함된 광의 정도와 광이 입사되는 각도 등에 따라 동일 영상에 대한 영상 인식 결과가 다르게 도출되는 등의 문제가 있다.Since image recognition technology is intuitive and widely applicable to various fields of real life, much research has been done for a long time. Especially, in recent years, a portable terminal equipped with a camera has been popularized, and various services through image recognition have been required to be developed. The image recognition process may include an image acquisition process, an analysis process on the acquired image, a process of image comparison with previously stored information, and a recognition process. Since the image recognition process requires a lot of data comparison in the image comparison process, high-performance hardware and software supporting the same must be provided. In the conventional image recognition process, there is a problem that the image processing speed can not have a satisfactory value due to a very large amount of data comparison process. In addition, there is a problem that image recognition results for the same image are derived differently depending on the degree of light included in the image and the angle at which light is incident.

따라서 본 발명의 목적은 광 특성에 대하여 보다 강건한 영상 인식 특성을 가질 수 있는 영상 인식 방법 및 장치를 제공함에 있다.It is therefore an object of the present invention to provide an image recognition method and apparatus capable of having robust image recognition characteristics with respect to optical characteristics.

또한, 본 발명의 목적은 영상 인식 과정에서 보다 빠른 영상 처리 속도를 제공할 수 있는 영상 인식 방법 및 장치를 제공함에 있다.It is another object of the present invention to provide an image recognition method and apparatus capable of providing a faster image processing speed in an image recognition process.

상기 목적을 달성하기 위하여, 본 발명은 영상 획득을 수행하는 카메라, 상기 획득된 획득 영상에 대한 영상 인식을 위하여 저장 영상들을 저장하는 저장부, 상기 획득 영상에 대한 컬러 히스토그램과 상기 저장 영상들의 컬러 히스토그램 유사도 비교를 기반으로 상기 획득 영상에 대한 영상 인식을 수행하는 제어부를 포함하는 것을 특징으로 하는 영상 인식 장치의 구성을 개시한다.According to another aspect of the present invention, there is provided an image processing apparatus including a camera for performing image acquisition, a storage unit for storing images for image recognition of the acquired image, a color histogram for the acquired image, And a controller for performing image recognition on the acquired image based on the similarity comparison.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 상기 획득 영상에서 특징점들을 추출하고, 상기 저장 영상들과의 특징점 매칭을 수행하여 일정 비율 이상 매칭 값을 가지는 저장 영상 또는 가장 양호한 매칭 값을 가지는 저장 영상을 선택한 후, 상기 선택된 저장 영상을 이용하여 상기 획득 영상에서의 특정 객체를 분할하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller extracts minutiae from the acquired image, performs minutia matching with the stored images, and stores the stored image having a matching ratio of more than a certain ratio or the storage having the best matching value And then the selected object in the acquired image is divided using the selected stored image.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 ORSA(Optimized Random Sampling Algorithm)을 이용하여 상기 선택된 저장 영상의 좌표를 상기 획득 영상에 제공하여 객체를 분할하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller divides an object by providing coordinates of the selected storage image to the acquired image using ORSA (Optimized Random Sampling Algorithm).

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 상기 획득 영상에서 상기 특정 객체의 컬러 히스토그램과 상기 저장 영상의 컬러 히스토그램 유사도를 비교하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller compares the color histogram of the specific object with the color histogram similarity of the stored image in the acquired image.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 상기 특징점 매칭 값과 상기 컬러 히스토그램 유사도 합산이 가장 양호한 저장 영상을 영상 인식 결과로 도출하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller derives a storage image having the best combination of the feature point matching value and the color histogram similarity as the image recognition result.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 K-NN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller performs feature point matching between the acquired image and the stored image based on a K-NN algorithm.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 LSH(Local Sensitive Hashing) 및 FLANN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller performs feature point matching between the acquired image and the stored image based on LSH (Local Sensitive Hashing) and FLANN algorithm.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 상기 획득 영상에 대한 화소 값들 중 로우 비트 값을 무시한 컬러 히스토그램을 산출하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the controller calculates a color histogram in which a low bit value is ignored among pixel values of the acquired image.

본 발명에 따른 영상 인식 장치에 있어서, 상기 제어부는 상기 영상 인식에 따라 상기 획득 영상에서의 특정 객체의 구분 표시, 상기 획득 영상에 대응하는 저장 영상의 표시, 상기 영상 인식된 저장 영상과 관련한 정보 표시, 상기 영상 인식된 저장 영상과 관련한 서버 장치 접속, 상기 획득 영상에서의 특정 객체 추적 중 적어도 하나를 제어하는 것을 특징으로 한다.In the image recognition apparatus according to the present invention, the control unit may perform classification display of a specific object in the acquired image, display of a stored image corresponding to the acquired image, display of information related to the recognized image, , A connection to a server device related to the image-recognized stored image, and a specific object tracking in the acquired image.

본 발명은 또한, 영상을 획득하는 과정, 상기 획득된 획득 영상의 특징점을 추출하는 과정, 상기 획득 영상의 특징점들과 사전 저장된 저장 영상들의 특징점 매칭을 수행하는 특징점 매칭 과정, 상기 특징점 매칭이 일정 비율 이상 또는 최고 비율인 저장 영상을 선택하는 과정, 상기 저장 영상을 이용하여 상기 획득 영상의 특정 객체를 분할하는 분할 과정, 상기 획득 영상에서 상기 분할된 객체의 컬러 히스토그램을 검출하는 컬러 히스토그램 산출 과정, 상기 획득 영상의 객체에 대한 컬러 히스토그램과 상기 저장 영상의 컬러 히스토그램 간의 유사도를 산출하는 과정, 상기 컬러 히스토그램의 유사도 값을 기반으로 상기 획득 영상에 대한 영상 인식 결과를 도출하는 도출 과정을 포함하는 것을 특징으로 하는 영상 인식 방법의 구성을 개시한다.The present invention also provides an image processing method including the steps of acquiring an image, extracting a feature point of the obtained acquired image, performing a feature point matching of feature points of previously acquired stored images and feature points of the acquired image, Selecting a stored image having an ideal or a highest ratio; dividing a specific object of the acquired image using the stored image; calculating a color histogram of the divided object in the acquired image; Calculating a degree of similarity between a color histogram of an object of the acquired image and a color histogram of the stored image, and deriving an image recognition result of the acquired image based on the similarity value of the color histogram, A method of recognizing an image is disclosed.

본 발명에 따른 영상 인식 방법에 있어서, 상기 특징점 매칭 과정은 K-NN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 과정, LSH(Local Sensitive Hashing) 및 FLANN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 과정 중 어느 하나의 과정을 포함하는 것을 특징으로 한다.In the image recognition method according to the present invention, the feature point matching process may include performing feature point matching between the acquired image and the stored image based on a K-NN algorithm, based on LSH (Local Sensitive Hashing) and FLANN algorithm And performing a feature point matching between the acquired image and the stored image.

본 발명에 따른 영상 인식 방법에 있어서, 상기 객체 분할 과정은 ORSA(Optimized Random Sampling Algorithm)을 이용하여 상기 선택된 저장 영상의 좌표를 상기 획득 영상에 제공하여 객체를 분할하는 과정을 포함하는 것을 특징으로 한다.In the image recognition method according to the present invention, the object segmentation process may include dividing an object by providing coordinates of the selected storage image to the acquired image using ORSA (Optimized Random Sampling Algorithm) .

본 발명에 따른 영상 인식 방법에 있어서, 상기 컬러 히스토그램 산출 과정은 상기 획득 영상의 객체 영역에서 일정 비트로 표현되는 각 화소 값에 대하여 사전 정의된 일정 기준으로 하이 비트와 로우 비트를 구분하고, 하이 비트만을 선택하여 컬러 히스토그램을 산출하는 과정을 포함하는 것을 특징으로 한다.In the image recognition method according to the present invention, the color histogram calculation process may be performed by dividing a high bit and a low bit into a predetermined standard defined for each pixel value represented by a certain bit in the object region of the acquired image, And calculating a color histogram by selecting the color histogram.

본 발명에 따른 영상 인식 방법에 있어서, 상기 도출 과정은 상기 컬러 히스토그램 유사도와 상기 특징점 매칭 값의 합산이 가장 양호한 저장 영상을 영상 인식 결과로 도출하는 과정인 것을 특징으로 한다.In the image recognition method according to the present invention, the derivation process is a process of deriving a stored image having the best combination of the color histogram similarity and the feature matching value as an image recognition result.

본 발명에 따른 영상 인식 방법에 있어서, 상기 돌출 과정 이후에는 상기 영상 인식 결과에 따라 상기 획득 영상에서의 특정 객체를 구분하여 표시하는 과정, 상기 획득 영상에 대응하는 저장 영상을 표시하는 과정, 상기 영상 인식된 저장 영상과 관련한 정보를 표시하는 과정, 상기 영상 인식된 저장 영상과 관련한 서버 장치 접속을 수행하는 과정, 상기 획득 영상에서의 특정 객체를 추적하는 과정 중 적어도 하나의 과정을 더 포함하는 것을 특징으로 한다.In the image recognition method according to the present invention, after the projecting process, a specific object in the acquired image is classified and displayed according to the image recognition result, a process of displaying a stored image corresponding to the acquired image, Displaying the information related to the recognized stored image, performing a server device connection with respect to the image-recognized stored image, and tracking a specific object in the acquired image. .

본 발명에 따른 영상 인식 장치는 보다 빠른 영상 처리 속도를 제공할 수 있어 영상 인식 속도를 개선할 수 있다.The image recognition apparatus according to the present invention can provide a faster image processing speed and improve the image recognition speed.

또한, 본 발명에 따른 영상 인식 장치는 광 특성에 강건한 영상 인식 수행을 기반으로 광 특성에 따른 영상 인식 에러를 최소화하고 보다 정확한 영상 인식을 수행할 수 있다.In addition, the image recognition apparatus according to the present invention can minimize image recognition errors according to optical characteristics and perform accurate image recognition based on robust image recognition performance with respect to optical characteristics.

도 1은 본 발명의 실시예에 따른 영상 인식 장치의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 영상 인식 장치 구성 중 제어부 구성을 보다 상세히 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 인식 기능 중 특징점 추출을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 영상 인식 기능 중 객체 검출을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 영상 인식 방법 중 컬러 공간 변환을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 영상 인식 방법 중 객체 인식 결과를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 영상 인식 방법을 설명하기 위한 도면이다.
1 is a block diagram illustrating a configuration of an image recognition apparatus according to an embodiment of the present invention.
2 is a detailed block diagram of a control unit of the image recognition apparatus according to an embodiment of the present invention.
FIG. 3 is a view for explaining feature points extraction among image recognition functions according to an embodiment of the present invention.
4 is a diagram for explaining object detection among image recognition functions according to an embodiment of the present invention.
5 is a diagram for explaining color space conversion among image recognition methods according to an embodiment of the present invention.
6 is a diagram illustrating an object recognition result in the image recognition method according to an embodiment of the present invention.
7 is a view for explaining an image recognition method according to an embodiment of the present invention.

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, only parts necessary for understanding the operation according to the embodiment of the present invention will be described, and the description of other parts will be omitted so as not to disturb the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor is not limited to the meaning of the terms in order to describe his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention, so that various equivalents It should be understood that water and variations may be present.

도 1은 본 발명의 실시예에 따른 영상 인식 장치의 구성을 개략적으로 나타낸 도면이다. 도 1에서 설명하는 영상 인식 장치(100)는 카메라(110)를 포함하는 장치로서 스마트폰과 같은 휴대 단말기 장치일 수 있다. 1 is a diagram schematically showing a configuration of an image recognition apparatus according to an embodiment of the present invention. The image recognition apparatus 100 illustrated in FIG. 1 may include a camera 110 and may be a portable terminal device such as a smart phone.

도 1을 참조하면, 본 발명의 영상 인식 장치(100)는 카메라(110), 입력부(120), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다. Referring to FIG. 1, the image recognition apparatus 100 of the present invention may include a camera 110, an input unit 120, a display unit 140, a storage unit 150, and a controller 160.

이러한 구성의 영상 인식 장치(100)는 카메라(110)가 획득한 영상에 대한 특징점 추출을 수행하고 저장부(150)에 기 저장된 다수의 저장 영상과 비교를 수행하여 일정 비율 이상 매칭되는 특정 저장 영상을 선택한 후 컬러 히스토그램의 유사도 비교를 통한 영상 인식 기능을 지원한다. 이 과정에서 본 발명의 영상 인식 장치(100)는 획득 영상 및 저장 영상에 대한 컬러 히스토그램을 이용함으로써 광 특성에 대한 인식 에러를 최소화할 수 있도록 지원한다.The image recognition apparatus 100 having such a configuration performs feature point extraction on an image acquired by the camera 110 and performs comparison with a plurality of stored images previously stored in the storage unit 150 to obtain a specific storage image And supports image recognition function by comparing similarity of color histogram. In this process, the image recognition apparatus 100 of the present invention can minimize the recognition error of the optical characteristics by using the color histogram of the acquired image and the stored image.

카메라(110)는 영상을 획득하는 장치이다. 이러한 카메라(110)는 CCD 카메라 등이 될 수 있다. CCD 카메라(charge-coupled device camera, CCD camera)는 디지털 카메라의 하나로, 전하 결합 소자(CCD)를 사용하여 영상을 전기 신호로 변환함으로써 디지털 데이터로 플래시 메모리 등의 기억 매체에 저장하는 장치이다. CCD는 디지털 카메라에서 빛을 전기적인 신호로 바꿔주는 광센서 반도체로, 일반 카메라의 필름을 감광시키는 기능을 지원한다. 렌즈와 조리개를 통해 카메라 내부로 전달된 빛은 CCD에 의해 빛의 강약을 통하여 전기적 신호로 변환되고 이 신호는 다시 아날로그 신호를 0과 1의 디지털 신호로 바꿔주는 ADC 변환 장치를 통해 이미지 파일로 변환된 뒤 메모리에 저장된다. 특히 렌즈와 조리개를 통해 유입된 빛의 세기는 CCD에 기록되며, 이때 CCD에 인접되어 배치된 RGB 색필터에 의해 각기 다른 색으로 분리된 후 CCD를 구성하는 수많은 감광소자에서 전기적 신호로 바뀌어 메모리에 저장된다. 제어부(160)는 실시간 영상 처리를 위하여 CCD 카메라에 배치된 메모리에 저장된 CCD 이미지를 실시간으로 수집하도록 제어할 수 있다. 카메라(110)는 동영상 이미지 또는 프리뷰 이미지를 제어부(160)에 전달할 수 있다. 본 발명의 영상 인식 기능은 동영상 이미지 또는 프리뷰 이미지 등에서의 객체 인식을 지원할 수 있다. 이하 설명에서 카메라(110)가 획득한 프리뷰 이미지나 동영상 이미지 또는 정지 영상 이미지 등은 저장 영상과 비교되는 획득 영상이 될 수 있다.The camera 110 is a device for acquiring an image. The camera 110 may be a CCD camera or the like. Description of the Related Art [0002] A CCD camera (charge-coupled device camera, CCD camera) is a digital camera that converts an image into an electrical signal using a charge coupled device (CCD), and stores the digital data in a storage medium such as a flash memory. CCD is an optical sensor semiconductor that converts light into electrical signals from a digital camera. The light transmitted through the lens and diaphragm is converted into an electrical signal by the intensity of the light by the CCD. The signal is converted into an image file through an ADC converter which converts the analog signal into a digital signal of 0 and 1 And stored in memory. In particular, the intensity of light incident through the lens and diaphragm is recorded in the CCD, separated into different colors by the RGB color filters disposed adjacent to the CCD, and then converted into electrical signals in a number of photosensitive elements constituting the CCD, . The control unit 160 may control the CCD image stored in the memory disposed in the CCD camera to be collected in real time for real time image processing. The camera 110 may transmit a moving image or a preview image to the control unit 160. [ The image recognition function of the present invention can support object recognition in a moving image or a preview image. In the following description, a preview image, moving image, still image, or the like acquired by the camera 110 may be an acquired image compared with a stored image.

입력부(120)는 영상 인식 장치(100) 제어를 위한 다양한 입력 신호를 생성할 수 있다. 이를 위하여 입력부(120)는 키버튼이나 사이드 키, 홈 키, 터치 키 등 다양한 키를 포함할 수 있다. 이러한 입력부(120)는 본 발명의 영상 인식 모드 진입을 위한 입력 이벤트를 생성할 수 있다. 또는 입력부(120)는 영상 인식 모드 설정을 위한 입력 이벤트를 사용자 조작에 따라 생성할 수 있다. 한편, 입력부(120)는 카메라(110) 제어를 위한 입력 신호를 생성할 수 있다. 예컨대, 입력부(120)는 카메라(110) 활성화를 요청하는 입력 신호, 활성화된 카메라(110)를 이용하여 특정 영상 촬영을 요청하는 입력 신호 등을 생성할 수 있다. The input unit 120 may generate various input signals for controlling the image recognition apparatus 100. For this, the input unit 120 may include various keys such as a key button, a side key, a home key, and a touch key. The input unit 120 may generate an input event for entering the image recognition mode of the present invention. Alternatively, the input unit 120 may generate an input event for setting an image recognition mode according to a user operation. Meanwhile, the input unit 120 may generate an input signal for controlling the camera 110. For example, the input unit 120 may generate an input signal for requesting activation of the camera 110, an input signal for requesting a specific image capturing using the activated camera 110, and the like.

표시부(140)는 영상 인식 장치(100) 운용과 관련된 다양한 화면을 출력할 수 있다. 예컨대, 표시부(140)는 영상 인식 장치(100)의 대기 화면, 메뉴 화면 등을 출력할 수 있다. 한편 표시부(140)는 영상 인식 모드 진입을 위한 아이콘이나 메뉴 항목을 출력할 수 있다. 표시부(140)는 카메라(110) 운용에 따라 획득된 프리뷰 이미지 또는 동영상 이미지를 출력할 수 있다. 또한 표시부(140)는 영상 인식 모드 수행에 따라 획득된 영상에 대한 영상 인식 결과를 출력할 수 있다. 예컨대, 표시부(140)는 획득 영상에서 저장 영상과 비교되는 객체 구분 표시, 해당 객체와 관련된 정보 표시 등을 수행할 수 있다. 또한, 표시부(140)는 획득된 영상에 대한 영상 인식 결과로서 기 저장된 저장 영상을 출력할 수 있다. 또한, 표시부(140)는 영상 인식 결과에 대응하는 특정 기능 수행에 따른 화면을 출력할 수 있다. 예컨대, 표시부(140)는 획득된 영상의 영상 인식 결과로서 특정 텍스트 정보나 이미지 정보가 포함된 경우 해당 텍스트 및 이미지 정보를 출력할 수 있다.The display unit 140 may output various screens related to the operation of the image recognition apparatus 100. For example, the display unit 140 may output an idle screen, a menu screen, or the like of the image recognition apparatus 100. Meanwhile, the display unit 140 may output an icon or a menu item for entering the image recognition mode. The display unit 140 may output a preview image or a moving image obtained according to the camera 110 operation. In addition, the display unit 140 may output an image recognition result for the image obtained according to the image recognition mode. For example, the display unit 140 may display an object classification display that is compared with a stored image in an acquired image, and display information related to the object. Also, the display unit 140 may output a stored image as a result of image recognition of the acquired image. In addition, the display unit 140 may output a screen corresponding to a specific function performed corresponding to the image recognition result. For example, when the specific text information or the image information is included as the image recognition result of the acquired image, the display unit 140 may output the corresponding text and image information.

저장부(150)는 영상 인식 장치(100) 운용을 위한 다양한 프로그램 및 프로그램 운용에 따른 데이터를 저장할 수 있다. 예컨대 저장부(150)는 영상 인식 장치(100) 운용을 위한 운영체제 등을 저장할 수 있다. 특히, 저장부(150)는 본 발명의 영상 인식 모드 수행을 위하여 객체 인식 알고리즘(151), 객체 인식 프로그램(153) 및 영상 데이터베이스(155)를 저장할 수 있다. 그리고 저장부(150)는 획득 영상과 저장 영상들 간의 특징점 매칭 결과 값 및 컬러 히스토그램 유사도 비교 값을 저장할 수 있다. 특징점 매칭 결과 값과 컬러 히스토그램 유사도 비교 값은 영상 인식 결과 도출에 이용될 수 있다.The storage unit 150 may store various programs for operating the image recognition apparatus 100 and data according to program operations. For example, the storage unit 150 may store an operating system or the like for operating the image recognition apparatus 100. In particular, the storage unit 150 may store an object recognition algorithm 151, an object recognition program 153, and an image database 155 for performing the image recognition mode of the present invention. The storage unit 150 may store the minutia matching result value and the color histogram similarity comparison value between the acquired image and the stored images. The feature point matching value and the color histogram similarity comparison value can be used to derive the image recognition result.

객체 인식 알고리즘(151)은 본 발명의 영상 인식 모드 수행을 위한 다양한 알고리즘을 포함할 수 있다. 예컨대, 객체 인식 알고리즘(151)은 특징점 추출을 위한 알고리즘을 포함할 수 있다. 또한 객체 인식 알고리즘(151)은 K-NN Matching 알고리즘, FLANN 알고리즘, Local Sensitive Hashing(LSH) 알고리즘, ORSA(Optimized Random Sampling Algorithm) 등을 포함할 수 있다. 객체 인식 알고리즘(151)은 객체 인식 프로그램(153) 운용 중에 호출되어 영상에서의 특징점 추출, 객체 추출, 배경 제거 등의 과정 수행에 이용될 수 있다.The object recognition algorithm 151 may include various algorithms for performing the image recognition mode of the present invention. For example, the object recognition algorithm 151 may include an algorithm for feature point extraction. In addition, the object recognition algorithm 151 may include a K-NN matching algorithm, a FLANN algorithm, a Local Sensitive Hashing (LSH) algorithm, or an ORSA (Optimized Random Sampling Algorithm). The object recognition algorithm 151 may be called during the operation of the object recognition program 153 and used to perform processes such as minutiae extraction, object extraction, and background removal in an image.

객체 인식 프로그램(153)은 본 발명의 영상 인식 모드 수행을 위한 다양한 프로그램 루틴들을 포함할 수 있다. 예컨대, 객체 인식 프로그램(153)은 영상 인식 모드 활성화를 위한 이벤트가 발생하면 카메라(110)를 활성화하는 루틴, 카메라(110)로부터 획득된 영상에 대한 특징점 추출을 수행하는 루틴을 포함할 수 있다. 또한 객체 인식 프로그램(153)은 특징점들이 추출된 획득 영상과 사전 저장된 저장 영상과의 특징점 매칭을 수행하는 루틴, 특징점 매칭 결과가 양호한 또는 최고인 특정 저장 영상을 선택하는 루틴, 선택된 저장 영상을 이용하여 획득 영상의 배경을 제거하고 객체 추출을 수행하는 루틴을 포함할 수 있다. 그리고 객체 인식 프로그램(153)은 획득 영상에서 추출된 객체의 컬러 히스토그램 및 저장 영상 중 선택 영상의 컬러 히스토그램을 비교하는 루틴, 특징점 매칭 결과 및 컬러 히스토그램의 유사도 중 적어도 하나를 기반으로 영상 인식 결과를 출력하는 루틴을 포함할 수 있다. The object recognition program 153 may include various program routines for performing the image recognition mode of the present invention. For example, the object recognition program 153 may include a routine for activating the camera 110 when an event for activating the image recognition mode occurs, and a routine for performing feature point extraction on the image obtained from the camera 110. [ In addition, the object recognition program 153 may include a routine for performing feature point matching between the extracted image and the previously stored image, a routine for selecting a specific stored image having a good or best feature point matching result, And may include routines that remove the background of the image and perform object extraction. Then, the object recognition program 153 outputs the image recognition result based on at least one of the routine for comparing the color histogram of the object extracted from the acquired image and the color histogram of the selected image, the feature point matching result, and the similarity of the color histogram And < / RTI >

영상 데이터베이스(155)는 적어도 하나의 저장 영상 또는 특정 영상에 포함된 객체와 비교될 원본 영상을 포함할 수 있다. 영상 데이터베이스(155)는 저장 영상들에 대하여 특징점 추출 알고리즘 적용에 따른 결과 값을 포함할 수 있다. 또한 영상 데이터베이스(155)는 저장 영상들에 대하여 컬러 히스토그램 값을 포함할 수 있다. 예컨대, 영상 데이터베이스(155)는 3개의 저장 영상을 포함하는 경우, 각각의 저장 영상들에 대한 특징점 추출 값, 컬러 히스토그램 값들을 저장할 수 있다. 영상 데이터베이스(155)에 저장된 특징점 추출 값과 컬러 히스토그램 값들은 획득 영상에 대한 비교 과정에서 이용될 수 있다. The image database 155 may include at least one stored image or an original image to be compared with an object included in the specific image. The image database 155 may include the result of applying the feature point extraction algorithm to the stored images. The image database 155 may also include color histogram values for stored images. For example, if the image database 155 includes three stored images, the image database 155 may store the feature point extraction values and the color histogram values for the respective stored images. The minutiae extraction values and the color histogram values stored in the image database 155 can be used in the comparison process with respect to the acquired image.

제어부(160)는 본 발명의 영상 인식 모드 수행을 위한 다양한 제어 신호를 처리와 데이터 처리를 제어할 수 있다. 이를 위하여 제어부(160)는 도 2에 도시된 바와 같은 구성을 포함할 수 있다.The control unit 160 may control various control signals and data processing for performing the image recognition mode of the present invention. For this, the controller 160 may include a configuration as shown in FIG.

도 2는 본 발명의 실시예에 따른 영상 인식 장치 중 제어부 구성을 보다 상세히 나타낸 도면이다.2 is a detailed block diagram of a control unit of an image recognition apparatus according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 제어부(160)는 특징점 추출부(161), 영상 선택부(163), 객체 분할부(165) 및 영상 인식부(167)의 구성을 포함할 수 있다.2, the controller 160 may include a feature extraction unit 161, an image selection unit 163, an object division unit 165, and an image recognition unit 167.

특징점 추출부(161)는 카메라(110)가 획득한 영상에서의 특징점을 추출할 수 있다. 또한 특징점 추출부(161)는 저장부(150)에 저장된 저장 영상의 특징점을 추출할 수 있다. 이를 위하여 특징점 추출부(161)는 객체 인식 알고리즘(151)에 저장된 적어도 하나의 알고리즘을 이용할 수 있다. 예컨대, 특징점 추출부(161)는 영상에 대한 푸리에 변환 등을 토대로 필터링을 수행하여 객체의 경계선 영역들을 검출하고, 검출된 경계선 영역 중 적어도 일부를 특징점들로 추출할 수 있다. 특징점 추출부(161)에 의해 추출된 특징점들을 포함하는 획득 영상은 영상 선택부(163)에 전달될 수 있다. 또한 특징점 추출부(161)에 의해 추출된 특징점들은 해당 저장 영상과 관련하여 영상 데이터베이스(155)에 저장될 수 있다.The feature point extracting unit 161 can extract feature points in an image acquired by the camera 110. [ The feature point extracting unit 161 may extract the feature points of the stored image stored in the storage unit 150. For this, the feature point extraction unit 161 may use at least one algorithm stored in the object recognition algorithm 151. [ For example, the feature point extracting unit 161 may perform filtering based on Fourier transform or the like on an image to detect boundary line regions of the object, and extract at least a part of the detected boundary line regions as feature points. The acquired image including the minutiae points extracted by the minutiae point extracting unit 161 may be transmitted to the image selecting unit 163. [ The feature points extracted by the feature extraction unit 161 may be stored in the image database 155 in association with the stored images.

도 3은 본 발명의 실시예에 따른 획득 영상과 저장 영상의 특징점 추출 결과를 나타낸 도면이다. 특징점 추출 시 특징점 추출부(161)는 경계선 영역 검출이나 필터링 수행 등을 통하여 도 3에 도시된 바와 같이 복수개의 특징점들을 추출할 수 있다. 저장 영상의 특징점 추출은 영상 데이터베이스(155)에 저장되는 과정에서 수행되거나 또는 획득 영상의 영상 인식 과정이 요청되는 경우 수행될 수 있다. 영상 처리 속도 개선을 위하여 영상 데이터베이스(155)를 구성하는 과정에서 저장 영상들의 특징점 추출이 선행적으로 수행될 수 있다.FIG. 3 is a view showing a result of extracting feature points of an acquired image and a stored image according to an embodiment of the present invention. The feature point extraction unit 161 may extract a plurality of feature points as shown in FIG. 3 through boundary line region detection, filtering, or the like. The feature point extraction of the stored image may be performed in the process of being stored in the image database 155 or when an image recognition process of the acquired image is requested. In order to improve the image processing speed, the feature point extraction of the stored images may be performed in advance in the process of configuring the image database 155.

영상 선택부(163)는 획득된 영상의 특징점들과 유사한 특징점들을 가지는 저장 영상을 영상 데이터베이스(155)에서 선택할 수 있다. 이를 위하여 영상 선택부(163)는 획득 영상과 저장 영상들 간의 특징점들의 매칭 과정을 수행할 수 있다. 즉 영상 선택부(163)는 획득 영상에 포함된 특징점들의 분포와 일정 이상의 매칭 비율을 가지는 특징점들의 분포를 가지는 저장 영상을 선택할 수 있다. 또는 저장된 영상들 중 가장 많은 매칭점을 가지는 저장 영상이 선택될 수 있다. 영상 선택부(163)는 획득 영상과 저장 영상들 간의 특징점 매칭 결과 값을 저장부(150)에 임시 저장하고, 영상 인식부(167)에 전달할 수 있다.The image selection unit 163 can select a storage image in the image database 155 having similar minutiae to the minutiae of the acquired image. For this, the image selector 163 may perform a matching process of the minutiae points between the acquired image and the stored images. That is, the image selector 163 can select a stored image having a distribution of the feature points included in the acquired image and a distribution of the feature points having the matching ratio equal to or greater than a predetermined value. Or a stored image having the largest number of matching points among the stored images may be selected. The image selection unit 163 temporarily stores the result of matching the feature point between the acquired image and the stored images in the storage unit 150 and may transmit the result to the image recognition unit 167. [

이 과정에서 영상 선택부(163)는 영상에 포함된 모든 특징점들의 벡터 거리 계산 및 순위 매김을 수행하는 K-NN 매칭 알고리즘을 이용할 수 있다. 또는 영상 선택부(163)는 영상 처리 속도 개선을 위하여 비슷한 방향 성분들을 가지는 특징점들을 그룹핑하고, 그룹핑된 특징점들 내에서의 벡터 거리 계산을 수행하는 LSH 알고리즘 및 FLANN 방식을 이용할 수도 있다. 상기 영상 선택을 위한 매칭점들의 임계치는 설계자의 의도에 따라 달라지거나 적용되는 알고리즘에 따라 달라질 수 있다.In this process, the image selector 163 may use a K-NN matching algorithm for calculating and ranking the vector distances of all the feature points included in the image. Alternatively, the image selector 163 may use an LSH algorithm and an FLANN scheme for grouping feature points having similar directional components to improve the image processing speed, and performing vector distance calculation within the grouped feature points. The threshold of the matching points for image selection may vary according to the designer's intention or the algorithm applied.

객체 분할부(165)는 획득 영상에서 특정 객체를 배경으로부터 제거하여 객체를 분할할 수 있다. 이를 위하여 객체 분할부(165)는 잘못된 매핑 포인트들을 제거하기 위하여 ORSA(Optimized Random Sampling Algorithm)를 이용할 수 있다. 도 4는 본 발명의 실시예에 따른 객체 검출을 설명하기 위한 도면이다. 객체 분할부(165)는 도 4의 401 영역에 나타낸 선택된 저장 영상의 훈련된 데이터 영상 셋(배경으로부터 미리 분할된 객체)의 좌표를 획득 영상에 적용하여 도 4의 403 영역에 나타낸 획득 영상의 객체 외곽 포인트를 추정하고 이를 이용하여 특정 객체를 배경으로부터 분리할 수 있다. 이 과정에서 객체 분할부(165)는 획득 영상과 선택된 저장 영상 간의 epipolar geometry를 계산한다. 그리고 객체 분할부(165)는 두 영상들에서 무작위로 포인트를 셋팅하고 homography matrix를 추정한다. 그다음 객체 분할부(165)는 homography matrix의 quality를 계산하고 그 중 가장 좋은 값을 선택한다. 객체 분할부(165)는 분할된 객체에 대한 정보를 영상 인식부(167)에 전달할 수 있다.The object division unit 165 may divide the object by removing a specific object from the background in the acquired image. To this end, the object division unit 165 may use ORSA (Optimized Random Sampling Algorithm) to remove erroneous mapping points. 4 is a diagram for explaining object detection according to an embodiment of the present invention. The object division unit 165 applies the coordinates of the trained data image set (the object previously divided from the background) of the selected storage image shown in the area 401 of FIG. 4 to the acquired image to obtain the object of the acquired image shown in the area 403 of FIG. It is possible to estimate an outline point and use it to separate a specific object from the background. In this process, the object division unit 165 calculates the epipolar geometry between the acquired image and the selected storage image. The object division unit 165 sets points at random and estimates a homography matrix. The object divider 165 then calculates the quality of the homography matrix and selects the best value among them. The object division unit 165 may transmit information about the divided object to the image recognition unit 167. [

영상 인식부(167)는 컬러 히스토그램 기반으로 영상 인식을 수행할 수 있다. 디지털 영상은 0~255 값으로 구분된 8-bit 값으로 표현될 수 있다. RGB(Red, Green, Blue), HSV(Hue, Saturation, Value)와 같은 컬러 영상은 24-bit의 공간이 필요하고, 각 채널에 8-bit가 사용될 수 있다. 위에서 언급한 컬러 영상 공간 "d(Intensity)"는 다음 수학식 1과 같이 정의될 수 있다.The image recognition unit 167 can perform image recognition based on a color histogram. The digital image can be represented by an 8-bit value divided into 0 to 255 values. Color images such as RGB (Red, Green, Blue) and HSV (Hue, Saturation, Value) require 24-bit space and 8-bit can be used for each channel. The above-mentioned color image space "d (Intensity)" can be defined as the following equation (1).

Figure 112013118459196-pat00001
Figure 112013118459196-pat00001

여기서, i는 픽셀의 serial 번호이고, bi는 0 또는 1로 구성된 값이다. bit-plane 정보는 high, low it로 구성될 수 있고, high-bit 영역은 low-bit 영역에 비해서 획득 영상에 대한 보다 정확한 정보가 포함될 수 있다. 이에 따라 본 발명의 영상 인식부(167)는 잡음 제거를 위하여 low-bit 영역에 존재하는 값들을 무시하도록 처리할 수 있다. 도 5는 HSV 공간에서 significant color 값을 추출한 결과를 나타낸 도면이다. 도 5를 참조하면, 좌측 획득 영상의 significant color 값 추출 결과에 따라 광에 의한 왜곡이 저감됨을 알 수 있다.Where i is the serial number of the pixel and b i is a value of 0 or 1. The bit-plane information can be composed of high and low, and the high-bit region can contain more accurate information about the acquired image than the low-bit region. Accordingly, the image recognition unit 167 of the present invention can process the values in the low-bit region to eliminate the noise. FIG. 5 is a diagram showing a result of extracting a significant color value in the HSV space. Referring to FIG. 5, it can be seen that distortion caused by light is reduced according to the result of extracting a significant color value of the left acquired image.

영상 인식부(167)는 significant color 추출이 완료되면, 획득 영상에서의 분할된 객체에 대한 컬러 히스토그램 및 영상 데이터베이스(155)에 저장된 훈련된 영상에서의 컬러 히스토그램을 작성할 수 있다. 컬러 히스토그램은 다음 수학식 2에서와 같이 정의될 수 있다.When the significant color extraction is completed, the image recognition unit 167 can create a color histogram of the divided object in the acquired image and a color histogram of the trained image stored in the image database 155. [ The color histogram can be defined as shown in the following equation (2).

Figure 112013118459196-pat00002
Figure 112013118459196-pat00002

여기서 Hc(i)는 특정 영상에 포함된 객체의 컬러 히스토그램이며, N(I,Ci)은 영상 안의 픽셀 개수이고, Ci는 HSV 컬러 공간을 표현하며, I는 Ci가 속한 값의 개수를 의미할 수 있다. 컬러 히스토그램이 검출되면, 영상 인식부(167)는 다음 수학식 3을 이용하여 검출된 컬러 히스토그램 데이터들의 유사도 검사를 수행할 수 있다.Here, Hc (i) is the color histogram of the object included in the specific image, N (I, C i ) is the number of pixels in the image, C i is the HSV color space, I is the value of C i Can mean number. When the color histogram is detected, the image recognition unit 167 can perform similarity check of the detected color histogram data using Equation (3).

Figure 112013118459196-pat00003
Figure 112013118459196-pat00003

여기서, d(H(I),H(J))는 컬러 히스토그램의 유사도 값이며, H(I)는 예컨대 획득 영상의 컬러 히스토그램 데이터, H(J)는 예컨대 저장 영상의 컬러 히스토그램 데이터가 될 수 있다. 특히 d(H(I),H(J))는 획득 영상의 컬러 히스토그램과 저장 영상의 컬러 히스토그램의 유클라디안 거리일 수 있다. 수식에 의하면 값이 커질수록 높은 확률을 가진다. Here, H (I) is the color histogram data of the acquired image, and H (J) is the color histogram data of the stored image, for example, have. In particular, d (H (I), H (J)) may be the Euclidean distance of the color histogram of the acquired image and the color histogram of the stored image. According to the formula, the higher the value, the higher the probability.

영상 인식부(167)는 컬러 히스토그램의 유사도 값이 검출되면, 다음 수학식 4를 이용하여 영상 인식 결과를 도출할 수 있다.When the similarity value of the color histogram is detected, the image recognition unit 167 can derive the image recognition result using the following Equation (4).

Figure 112013118459196-pat00004
Figure 112013118459196-pat00004

여기서 r(I,J)은 비교 영상들 예컨대 획득 영상과 저장 영상 간의 영상 인식이며, d(H(I),H(J))는 컬러 히스토그램의 유사도 값이다. 한편,

Figure 112013118459196-pat00005
는 특징점들의 매칭 결과 값이다. 특징점들의 매칭 결과 값에서 분모에 위치한 max_of_vm_matches는 획득 영상과 저장 영상들 간 매칭 포인트가 가장 많이 검색된 수치를 의미할 수 있으며, vm-matches(I,J)는 선택 영상에서의 매칭 결과 값일 수 있다. 영상 인식부(167)는 특징점들의 매칭 결과 값과 컬러 히스토그램의 유사도 값의 합산을 통하여 획득 영상에 대한 영상 인식 결과를 도출할 수 있다. 즉 영상 인식부(167)는 획득 영상과 저장 영상들 간의 컬러 히스토그램 유사도가 가장 양호한 저장 영상과, 획득 영상과 저장 영상들 간의 특징점 매칭 결과 값 중 가장 양호한 매칭 결과 값을 가지는 저장 영상을 영상 인식 결과로서 도출할 수 있다. 이 과정에서 영상 인식부(167)는 특징점 매칭 결과 값을 이용하지 않고 컬러 히스토그램 유사도가 가장 양호한 저장 영상을 영상 인식 결과로서 도출할 수도 있다.Where d (H (I), H (J)) is the similarity value of the color histogram. Meanwhile,
Figure 112013118459196-pat00005
Is the matching result value of the minutiae points. Max_of_vm_matches located in the denominator in the matching result value of the minutiae points may be a value in which the matching point is most searched between the acquired image and the stored images, and vm-matches (I, J) may be a matching result value in the selected image. The image recognition unit 167 can derive the image recognition result of the acquired image by summing the matching result value of the feature points and the similarity value of the color histogram. That is, the image recognition unit 167 recognizes the stored image having the best color histogram similarity between the acquired image and the stored images, and the stored image having the best matching result value among the acquired image matching results between the acquired image and the stored images, As shown in FIG. In this process, the image recognition unit 167 may derive the stored image having the best color histogram similarity without using the feature point matching result as the image recognition result.

도 6은 본 발명의 실시예에 따른 특징점 매칭 결과 및 컬러 히스토그램 유사도 합산을 통한 획득 영상의 영상 인식 결과를 나타낸 도면이다. 도 6을 참조하면, 영상 인식 장치(100)는 획득 영상에 포함된 특정 객체에 매칭되는 저장 영상을 영상 데이터베이스(155)에서 올바르게 검출할 수 있다.FIG. 6 is a diagram illustrating a result of image matching of an acquired image through a feature point matching result and color histogram similarity summation according to an exemplary embodiment of the present invention. Referring to FIG. 6, the image recognition apparatus 100 can correctly detect a stored image matching the specific object included in the acquired image in the image database 155.

한편, 영상 인식부(167)는 획득 영상에 대한 객체 인식이 완료되면 그에 따른 사전 설정된 기능 수행을 지원할 수 있다. 예컨대, 영상 인식부(167)는 객체 인식 결과를 표시부(140) 일정 영역에 출력하도록 지원할 수 있다. 이때, 영상 인식부(167)는 저장 영상에 특정 텍스트 정보 및 이미지 정보 중 적어도 일부가 포함되어 있거나 링크되어 있는 경우 해당 정보 출력을 수행할 수 있다. 또는 영상 인식부(167)는 영상 인식 결과에 따라 특정 서버 접속을 수행할 수도 있다. 이를 위하여 휴대 단말기는 서버 접속을 위한 통신 채널을 형성하는 통신 모듈을 더 포함할 수도 있다. On the other hand, the image recognition unit 167 can support performing the predetermined function when the object recognition of the acquired image is completed. For example, the image recognition unit 167 may support outputting the object recognition result to a predetermined area of the display unit 140. [ At this time, the image recognizing unit 167 can output the corresponding information if at least a part of the specific text information and the image information is included or linked to the stored image. Alternatively, the image recognition unit 167 may perform a specific server connection according to the image recognition result. The mobile terminal may further include a communication module for forming a communication channel for connecting to the server.

이상에서 설명한 바와 같이 본 발명의 실시예에 따른 영상 인식 장치(100)는 특징점이 추출된 획득 영상에 대한 영상 인식 과정에서 컬러 히스토그램 산출 및 비교 방식을 통하여 사전 저장된 저장 영상들 중 가장 높은 유사도를 가지는 영상을 선택할 수 있다. 이에 따라 본 발명의 영상 인식 장치(100)는 광에 의한 왜곡 발생을 최소화함으로써 보다 신뢰성 높은 영상 인식 결과를 제공할 수 있으며, 상대적으로 낮은 비트 값을 가지는 특징점들을 무시함으로써 전체 특징점들을 비교하는 방식에 비하여 상대적으로 보다 빠른 영상 처리 속도를 지원할 수 있다. 또한 본 발명은 특징점 추출 및 매칭 과정에서 방향 성분이 유사한 특징점들의 벡터 거리 계산 처리를 수행하는 방식을 적용하여 보다 빠른 영상 처리 속도를 지원할 수 있다.As described above, in the image recognition apparatus 100 according to the embodiment of the present invention, in the image recognition process for an acquired image from which feature points are extracted, You can select images. Accordingly, the image recognition apparatus 100 of the present invention can provide a more reliable image recognition result by minimizing the distortion caused by light, and it is possible to compare all the feature points by ignoring the feature points having a relatively low bit value It is possible to support a relatively faster image processing speed. Also, the present invention can support a faster image processing speed by applying a method of performing vector distance calculation processing of feature points having similar directional components in the feature point extraction and matching process.

도 7은 본 발명의 실시예에 따른 영상 인식 방법을 설명하기 위한 도면이다.7 is a view for explaining an image recognition method according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 영상 인식 방법은 먼저, 제어부(160)가 701 단계에서 영상 인식 모드 진입 여부를 확인할 수 있다. 영상 인식 모드 진입을 위하여 영상 인식 장치(100)는 영상 인식 모드 실행을 위한 아이콘 및 메뉴 항목 중 적어도 하나를 출력할 수 있다. 한편, 카메라(110) 활성화 시 자동으로 영상 인식 모드가 진입되도록 설정된 경우 701 단계는 카메라(110) 활성화 여부를 확인하는 단계로 대체될 수 있다. Referring to FIG. 7, in step 701, the controller 160 determines whether the image recognition mode is entered. For entering the image recognition mode, the image recognition apparatus 100 may output at least one of an icon and a menu item for executing the image recognition mode. If the image recognition mode is set to be automatically entered when the camera 110 is activated, step 701 may be replaced with checking whether the camera 110 is activated.

701 단계에서 영상 인식 모드 진입을 위한 설정이 없거나 발생한 입력 이벤트가 영상 인식 모드 진입을 위한 입력 이벤트가 아닌 경우 제어부(160)는 703 단에서 입력 이벤트에 따른 해당 기능 수행을 제어할 수 있다. 예컨대, 제어부(160)는 입력 이벤트 종류에 대응하여 저장부(150)에 저장된 파일을 재생하거나, 통신 서비스 지원을 수행할 수 있다. 또는 제어부(160)는 사용자 조작에 따라 또는 설정된 스케줄 정보에 따라 저장 영상을 제공하는 서버 장치로부터 저장 영상을 수신하여 저장할 수도 있다.If the input event is not an input event for entering the image recognition mode in step 701, the control unit 160 may control the execution of the corresponding function according to the input event in step 703. For example, the control unit 160 may play back the file stored in the storage unit 150 or support the communication service according to the input event type. Alternatively, the control unit 160 may receive and store the stored image from the server apparatus that provides the stored image according to the user operation or the set schedule information.

한편, 701 단계에서 영상 인식 모드 진입을 위한 설정이 있거나 입력 이벤트 발생이 있으면, 제어부(160)는 705 단계로 분기하여 영상 수집 여부를 확인할 수 있다. 705 단계에서 영상 수집이 발생하면, 제어부(160)는 707 단계에서 특징점 추출을 수행할 수 있다. 이 단계에서의 영상 수집은 프리뷰 이미지, 동영상 이미지, 정지 영상 이미지 등 다양한 이미지 획득 과정을 포함할 수 있다. 또한 영상 수집 과정은 외부 타 전자 장치로부터 영상을 수신하는 과정을 포함할 수도 있다.On the other hand, if there is a setting for entering the image recognition mode or an input event occurs in step 701, the controller 160 branches to step 705 to check whether the image is collected. If the image collection is performed in step 705, the controller 160 may perform the feature point extraction in step 707. FIG. The image collection at this stage may include various image acquisition processes such as a preview image, a moving image, and a still image. The image collection process may also include a process of receiving an image from another external electronic device.

다음으로, 제어부(160)는 709 단계에서 영상 선택을 수행할 수 있다. 이 과정에서 제어부(160)는 객체 인식 알고리즘(151)에 포함된 특정 알고리즘을 이용하여 획득 영상에 포함된 특정 객체의 특징점들과 일정 기준 이상의 매칭점들을 가진 저장 영상을 선택할 수 있다. 예컨대, 제어부(160)는 Local Sensitive Hashing(LSH)과 FLANN 알고리즘을 이용하여 획득 영상과 영상 데이터베이스(155)에 저장된 영상의 매칭 결과 값을 상호 비교하여 가장 높은 특징점 매칭 결과 값을 가지는 영상 선택을 수행할 수 있다. 이를 위하여 제어부(160)는 획득 영상과 저장 영상들 간의 매칭점 산출 및 매칭점 결과 값 비교를 수행할 수 있다. 그리고 제어부(160)는 선택된 저장 영상의 매칭점 결과 값과, 전체 저장 영상들의 매칭점 결과 값들을 저장할 수 있다. 저장된 매칭 결과 값들은 영상 인식 결과를 도출하는데 이용될 수 있다.In step 709, the controller 160 may perform image selection. In this process, the controller 160 can select a stored image having matching points of a predetermined reference or more with the minutiae points of the specific object included in the acquired image, using the specific algorithm included in the object recognition algorithm 151. [ For example, the control unit 160 compares the acquired image and the matching result of the image stored in the image database 155 using the Local Sensitive Hashing (LSH) and the FLANN algorithm to perform image selection with the highest feature point matching result can do. For this, the controller 160 may calculate the matching point between the acquired image and the stored image, and compare the result of the matching point. The controller 160 may store the matching point result of the selected stored image and the matching point result of all the stored images. The stored matching result values may be used to derive an image recognition result.

한편, 제어부(160)는 711 단계에서 객체 배경 분할을 수행할 수 있다. 이 과정에서 제어부(160)는 ORSA(Optimized Random Sampling Algorithm)를 사용하여 두 영상 간의 epipolar geometry를 추정하고 이를 기반으로 4개의 객체 외곽 지점을 획득 영상에서 검출할 수 있다. 이때, 제어부(160)는 영상 데이터베이스(155)에서 선택된 영상의 훈련된 데이터 셋 영상(배경으로부터 미리 분할된 객체)의 좌표를 획득 영상에 제공해주고 획득 영상의 객체를 배경으로부터 분할할 수 있는 객체 외곽 지점을 검출할 수 있다. Meanwhile, the controller 160 may perform object background division in step 711. FIG. In this process, the control unit 160 estimates the epipolar geometry between two images using ORSA (Optimized Random Sampling Algorithm), and detects four outline points of the object based on the epipolar geometry. At this time, the controller 160 provides coordinates of the trained data set image of the selected image in the image database 155 (pre-divided object from the background) to the acquired image, Point can be detected.

객체 검출이 수행되면, 제어부(160)는 713 단계에서 컬러 히스토그램을 이용한 영상 인식 및 기능 수행을 제어할 수 있다. 이를 보다 상세히 설명하면, 제어부(160)는 획득 영상에 대한 컬러 히스토그램 및 영상 데이터베이스(155)에 사전 저장된 저장 영상들의 컬러 히스토그램을 산출할 수 있다. 이 과정에서 제어부(160)는 획득 영상의 분할된 객체에 대한 컬러 히스토그램을 산출할 수 있다. 한편, 제어부(160)는 컬러 히스토그램 산출을 위하여 영상들의 각 화소 값들을 산출하여 비트 좌표(bit-plane)를 구성하고 일정 기준 이상의 화소 값(High-bit)을 선택한 후 이를 기반으로 하는 컬러 히스토그램을 산출할 수 있다. 즉 제어부(160)는 상대적으로 광에 대한 왜곡 현상이 높게 발생하는 일정 기준 이하의 비트 값은 무시하고, 광 왜곡 현상이 상대적으로 강건하게 나타내는 높은 비트 값 기반의 컬러 히스토그램을 준비할 수 있다. If object detection is performed, the controller 160 may control the image recognition and the performance of the function using the color histogram in step 713. In more detail, the controller 160 may calculate a color histogram of the acquired image and a color histogram of the stored images prestored in the image database 155. In this process, the controller 160 may calculate the color histogram of the divided object of the acquired image. In order to calculate the color histogram, the controller 160 calculates the pixel values of the images and constructs bit-planes. Then, the controller 160 selects a pixel value (High-bit) Can be calculated. That is, the control unit 160 may prepare a color histogram based on a high bit value, which is relatively robust in light distortion, by ignoring bit values below a predetermined reference level, where distortion is relatively high with respect to light.

컬러 히스토그램 산출이 완료되면, 제어부(160)는 획득 영상에서 분할된 객체의 컬러 히스토그램과 저장 영상들의 컬러 히스토그램들의 유사도 값을 산출할 수 있다. 그리고 제어부(160)는 획득 영상과 저장 영상들의 특징점들의 매칭 결과 값과 컬러 히스토그램 유사도 값을 합산하여 가장 양호한 값을 가지는 저장 영상을 획득 영상에 대한 영상 인식 결과로서 도출할 수 있다. 제어부(160)는 영상 인식 결과가 도출되면 사전 정의된 스케줄 정보에 따른 기능 수행을 제어할 수 있다. 예컨대, 제어부(160)는 획득 영상에서 검출된 객체의 구분 표시, 해당 객체에 대하여 인식된 저장 영상의 정보 표시, 저장 영상 인식에 따른 파일 재생이나, 서버 장치 접속 등을 수행할 수 있다. 또한 제어부(160)는 획득 영상에서 인식된 객체에 대한 객체 추적 기능을 수행할 수도 있다. When the color histogram calculation is completed, the controller 160 may calculate a similarity value between the color histogram of the divided object and the color histogram of the stored images in the acquired image. The controller 160 may sum up the matching result values of the feature points of the acquired image and the stored images and the color histogram similarity value to derive the stored image having the best value as the image recognition result of the acquired image. The control unit 160 may control the performance of the function according to the predefined schedule information when the image recognition result is derived. For example, the control unit 160 can perform classification display of the detected object in the acquired image, display information of the stored image recognized for the object, reproduce the file according to the stored image recognition, or access the server device. In addition, the controller 160 may perform an object tracking function for the object recognized in the acquired image.

다음으로, 제어부(160)는 715 단계에서 기능 종료를 위한 입력 이벤트 발생이 있는지 확인할 수 있다. 제어부(160)는 기능 종료와 관련한 입력 이벤트 발생이 없으면, S701 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다. In step 715, the controller 160 determines whether there is an input event for ending the function. If there is no input event related to function termination, the control unit 160 branches to the step before step S701 and can support the following process again.

상술한 바와 같이 본 발명의 실시예에 따른 영상 인식 장치 및 방법은 획득 영상에서의 객체 인식을 위하여 저장 영상들과의 특징점 매칭 결과 및 컬러 히스토그램의 유사도를 이용하여 광 왜곡에 따른 영상 인식 문제점을 최소화할 수 있다. As described above, the image recognition apparatus and method according to the embodiment of the present invention minimizes image recognition problems due to optical distortion by using the result of the feature point matching with the stored images and the similarity of the color histogram for object recognition in the acquired image can do.

한편, 상술한 설명에서 저장 영상에 대한 인식 결과 도출을 위하여 특징점 매칭 결과와 컬러 히스토그램의 유사도 값 이용을 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉 본 발명은 컬러 히스토그램의 유사도 값 비교만을 통해서도 획득 영상에 대한 저장 영상 선택을 수행할 수도 있으며, 부차적으로 특징점 매칭 결과 값 적용을 수행할 수도 있을 것이다.In the above description, the minutia matching result and the similarity value of the color histogram are used to derive the recognition result for the stored image, but the present invention is not limited thereto. That is, the present invention can perform the storage image selection for the acquired image by only comparing the similarity value of the color histogram, and may also apply the result of matching the feature point.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit of the invention and the scope of the appended claims.

100 : 영상 인식 장치 110 : 카메라
120 : 입력부 140 : 표시부
150 : 저장부 160 : 제어부
100: image recognition device 110: camera
120: input unit 140:
150: storage unit 160:

Claims (15)

영상 획득을 수행하는 카메라;
상기 획득된 획득 영상에 대한 영상 인식을 위하여 저장 영상들을 저장하는 저장부;
상기 획득 영상에 대한 컬러 히스토그램과 상기 저장 영상들의 컬러 히스토그램 유사도 비교를 기반으로 상기 획득 영상에 대한 영상 인식을 수행하는 제어부; 를 포함하고,
상기 제어부는,
상기 획득 영상에서 특징점들을 추출하고, 상기 저장 영상들과의 특징점 매칭을 수행하여 일정 비율 이상 매칭 값을 가지는 저장 영상 또는 가장 양호한 매칭 값을 가지는 저장 영상을 선택한 후, 상기 선택된 저장 영상을 이용하여 상기 획득 영상에서의 특정 객체를 분할하고,
상기 제어부는,
상기 특징점 매칭 값과 상기 컬러 히스토그램 유사도 합산이 가장 양호한 저장 영상을 영상 인식 결과로 도출하는 것을 특징으로 하는 영상 인식 장치.
A camera for performing image acquisition;
A storage unit for storing stored images for image recognition of the acquired image;
A controller for performing image recognition on the acquired image based on a color histogram of the acquired image and a comparison of color histogram similarities of the stored images; Lt; / RTI >
Wherein,
Extracting feature points from the acquired image, performing feature point matching with the stored images, selecting a stored image having a matching ratio of a predetermined ratio or more, or a stored image having the best matching value, A specific object in an acquired image is divided,
Wherein,
And a storage image having the best combination of the feature point matching value and the color histogram similarity is derived as an image recognition result.
삭제delete 제1항에 있어서,
상기 제어부는
ORSA(Optimized Random Sampling Algorithm)을 이용하여 상기 선택된 저장 영상의 좌표를 상기 획득 영상에 제공하여 객체를 분할하는 것을 특징으로 하는 영상 인식 장치.
The method according to claim 1,
The control unit
Wherein an object is divided by providing coordinates of the selected storage image to the acquired image by using ORSA (Optimized Random Sampling Algorithm).
제1항에 있어서,
상기 제어부는
상기 획득 영상에서 상기 특정 객체의 컬러 히스토그램과 상기 저장 영상의 컬러 히스토그램 유사도를 비교하는 것을 특징으로 하는 영상 인식 장치.
The method according to claim 1,
The control unit
Wherein the comparison unit compares the color histogram of the specific object with the color histogram similarity of the stored image in the acquired image.
삭제delete 제1항에 있어서,
상기 제어부는
K-NN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 것을 특징으로 하는 영상 인식 장치.
The method according to claim 1,
The control unit
And performs feature point matching between the acquired image and the stored image based on the K-NN algorithm.
제1항에 있어서,
상기 제어부는
LSH(Local Sensitive Hashing) 및 FLANN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 것을 특징으로 하는 영상 인식 장치.
The method according to claim 1,
The control unit
Wherein the feature point matching is performed between the acquired image and the stored image based on LSH (Local Sensitive Hashing) and FLANN algorithm.
제1항에 있어서,
상기 제어부는
상기 획득 영상에 대한 화소 값들 중 로우 비트 값을 무시한 컬러 히스토그램을 산출하는 것을 특징으로 하는 영상 인식 장치.
The method according to claim 1,
The control unit
And calculates a color histogram by ignoring a low bit value among pixel values of the acquired image.
제1항에 있어서,
상기 제어부는
상기 영상 인식에 따라 상기 획득 영상에서의 특정 객체의 구분 표시, 상기 획득 영상에 대응하는 저장 영상의 표시, 상기 영상 인식된 저장 영상과 관련한 정보 표시, 상기 영상 인식된 저장 영상과 관련한 서버 장치 접속, 상기 획득 영상에서의 특정 객체 추적 중 적어도 하나를 제어하는 것을 특징으로 하는 영상 인식 장치.
The method according to claim 1,
The control unit
And displaying the stored image corresponding to the acquired image, displaying information related to the image-recognized stored image, accessing a server device related to the image-recognized stored image, And controlling at least one of the specific object tracking in the acquired image.
영상을 획득하는 과정;
상기 획득된 획득 영상의 특징점을 추출하는 과정;
상기 획득 영상의 특징점들과 사전 저장된 저장 영상들의 특징점 매칭을 수행하는 특징점 매칭 과정;
상기 특징점 매칭이 일정 비율 이상 매칭 값 또는 가장 양호한 매칭 값인 저장 영상을 선택하는 과정;
상기 저장 영상을 이용하여 상기 획득 영상의 특정 객체를 분할하는 분할 과정;
상기 획득 영상에서 상기 분할된 객체의 컬러 히스토그램을 검출하는 컬러 히스토그램 산출 과정;
상기 획득 영상의 객체에 대한 컬러 히스토그램과 상기 저장 영상의 컬러 히스토그램 간의 유사도를 산출하는 과정;
상기 컬러 히스토그램의 유사도 값을 기반으로 상기 획득 영상에 대한 영상 인식 결과를 도출하는 도출 과정; 을 포함하고,
상기 도출 과정은,
상기 컬러 히스토그램 유사도와 상기 특징점 매칭 값의 합산이 가장 양호한 저장 영상을 영상 인식 결과로 도출하는 과정인 것을 특징으로 하는 영상 인식 방법.
A process of acquiring an image;
Extracting feature points of the acquired image;
A feature point matching step of performing feature point matching of feature points of the acquired image and stored images stored in advance;
Selecting a stored image in which the feature point matching is a matching value or a matching ratio or a best matching value;
A dividing step of dividing a specific object of the acquired image using the stored image;
A color histogram calculating step of detecting a color histogram of the divided object in the acquired image;
Calculating a degree of similarity between a color histogram of the object of the acquired image and a color histogram of the stored image;
A derivation step of deriving an image recognition result for the acquired image based on the similarity value of the color histogram; / RTI >
In the derivation process,
Wherein the step of deriving a storage image having the best combination of the color histogram similarity and the feature matching value as an image recognition result.
제10항에 있어서,
상기 특징점 매칭 과정은
K-NN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 과정;
LSH(Local Sensitive Hashing) 및 FLANN 알고리즘을 기반으로 상기 획득 영상과 상기 저장 영상 간의 특징점 매칭을 수행하는 과정;
중 어느 하나의 과정을 포함하는 것을 특징으로 하는 영상 인식 방법.
11. The method of claim 10,
The feature point matching process
Performing feature point matching between the acquired image and the stored image based on a K-NN algorithm;
Performing feature point matching between the acquired image and the stored image based on LSH (Local Sensitive Hashing) and FLANN algorithm;
The method comprising the steps of:
제10항에 있어서,
상기 객체 분할 과정은
ORSA(Optimized Random Sampling Algorithm)을 이용하여 상기 선택된 저장 영상의 좌표를 상기 획득 영상에 제공하여 객체를 분할하는 과정;
을 포함하는 것을 특징으로 하는 영상 인식 방법.
11. The method of claim 10,
The object segmentation process
Dividing an object by providing coordinates of the selected storage image to the acquired image using ORSA (Optimized Random Sampling Algorithm);
And an image processing unit for processing the image.
제10항에 있어서,
상기 컬러 히스토그램 산출 과정은
상기 획득 영상의 객체 영역에서 일정 비트로 표현되는 각 화소 값에 대하여 사전 정의된 일정 기준으로 하이 비트와 로우 비트를 구분하고, 하이 비트만을 선택하여 컬러 히스토그램을 산출하는 과정;
을 포함하는 것을 특징으로 하는 영상 인식 방법.
11. The method of claim 10,
The color histogram calculation process
Dividing a high bit and a low bit by a predefined constant reference for each pixel value represented by a certain bit in an object region of the acquired image and calculating a color histogram by selecting only a high bit;
And an image processing unit for processing the image.
삭제delete 제10항에 있어서,
상기 도출 과정 이후에는,
상기 영상 인식 결과에 따라 상기 획득 영상에서의 특정 객체를 구분하여 표시하는 과정;
상기 획득 영상에 대응하는 저장 영상을 표시하는 과정;
상기 영상 인식된 저장 영상과 관련한 정보를 표시하는 과정;
상기 영상 인식된 저장 영상과 관련한 서버 장치 접속을 수행하는 과정;
상기 획득 영상에서의 특정 객체를 추적하는 과정;
중 적어도 하나의 과정을 더 포함하는 것을 특징으로 하는 영상 인식 방법.
11. The method of claim 10,
After the derivation process,
Dividing and displaying a specific object in the acquired image according to the image recognition result;
Displaying a stored image corresponding to the acquired image;
Displaying information related to the image that is recognized as an image;
Performing a server device connection with respect to the stored video image;
Tracking a specific object in the acquired image;
The method of claim 1, further comprising:
KR1020130162630A 2013-12-24 2013-12-24 Device for Recognition of Object and method KR101541384B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130162630A KR101541384B1 (en) 2013-12-24 2013-12-24 Device for Recognition of Object and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130162630A KR101541384B1 (en) 2013-12-24 2013-12-24 Device for Recognition of Object and method

Publications (2)

Publication Number Publication Date
KR20150074646A KR20150074646A (en) 2015-07-02
KR101541384B1 true KR101541384B1 (en) 2015-08-03

Family

ID=53787725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130162630A KR101541384B1 (en) 2013-12-24 2013-12-24 Device for Recognition of Object and method

Country Status (1)

Country Link
KR (1) KR101541384B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200003992A (en) * 2018-07-03 2020-01-13 삼성전자주식회사 Electronic apparatus for recognizing user and controlling method thereof
WO2020055097A1 (en) * 2018-09-10 2020-03-19 삼성전자 주식회사 Electronic device for recognizing object and method for controlling electronic device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308456B (en) * 2018-08-31 2021-06-08 北京字节跳动网络技术有限公司 Target object information determination method, device, equipment and storage medium
KR102300417B1 (en) * 2019-06-18 2021-09-09 주식회사 한글과컴퓨터 Electronic device that enable automatic matching of chart areas and legend areas in chart images embedded in electronic document and operating method thereof
KR102300475B1 (en) * 2019-12-13 2021-09-09 주식회사 한글과컴퓨터 Electronic device that can convert a table-inserted image into an electronic document and operating method thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100281925B1 (en) 1998-09-30 2001-02-15 윤종용 Image Processing and Recognition Method Using Color Invariant
JP2012150552A (en) * 2011-01-17 2012-08-09 Horiuchi Denki Seisakusho:Kk Object recognition processing device and object recognition processing method
KR101180160B1 (en) 2006-05-22 2012-09-10 엑시스 에이비 Method and apparatus for identifying properties of an object detected by a video surveillance camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100281925B1 (en) 1998-09-30 2001-02-15 윤종용 Image Processing and Recognition Method Using Color Invariant
KR101180160B1 (en) 2006-05-22 2012-09-10 엑시스 에이비 Method and apparatus for identifying properties of an object detected by a video surveillance camera
JP2012150552A (en) * 2011-01-17 2012-08-09 Horiuchi Denki Seisakusho:Kk Object recognition processing device and object recognition processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문:전자공학회논문지*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200003992A (en) * 2018-07-03 2020-01-13 삼성전자주식회사 Electronic apparatus for recognizing user and controlling method thereof
KR102539947B1 (en) * 2018-07-03 2023-06-07 삼성전자주식회사 Electronic apparatus for recognizing user and controlling method thereof
WO2020055097A1 (en) * 2018-09-10 2020-03-19 삼성전자 주식회사 Electronic device for recognizing object and method for controlling electronic device
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device

Also Published As

Publication number Publication date
KR20150074646A (en) 2015-07-02

Similar Documents

Publication Publication Date Title
JP4772839B2 (en) Image identification method and imaging apparatus
US10534957B2 (en) Eyeball movement analysis method and device, and storage medium
CN111881913A (en) Image recognition method and device, storage medium and processor
KR101541384B1 (en) Device for Recognition of Object and method
CN111797653A (en) Image annotation method and device based on high-dimensional image
JP6157165B2 (en) Gaze detection device and imaging device
US20160073004A1 (en) Detection of object in digital image
US8670609B2 (en) Systems and methods for evaluating images
JP5887264B2 (en) Object recognition apparatus, method, program, and computer-readable medium storing the software
CN110717452A (en) Image recognition method, device, terminal and computer readable storage medium
US20120201470A1 (en) Recognition of objects
KR20130111021A (en) Device and method for processing image
JP2000339471A (en) Method and device for extracting picture
CN108805883B (en) Image segmentation method, image segmentation device and electronic equipment
KR20140134549A (en) Apparatus and Method for extracting peak image in continuously photographed image
US8824734B2 (en) Device, method and recording to determine depressed portions of image regions using shortcut line analysis
CN112580462A (en) Feature point selection method, terminal and storage medium
WO2017219562A1 (en) Method and apparatus for generating two-dimensional code
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture
KR101329492B1 (en) Apparatus and method for controlling camera for locating scene text to proper position and size
KR101836768B1 (en) System and method for object recognition based automatic picture color balance, recording medium thereof
KR101327482B1 (en) Vein feature extraction method and apparatus in leaf image
KR101274741B1 (en) Method for validation of object boundaries and system of thereof, method for detection of object
CN111275045A (en) Method and device for identifying image subject, electronic equipment and medium
JP5463688B2 (en) Focus evaluation device, camera and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180625

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 5