KR20220087310A - Image based method and device for identifying dog - Google Patents

Image based method and device for identifying dog Download PDF

Info

Publication number
KR20220087310A
KR20220087310A KR1020200177876A KR20200177876A KR20220087310A KR 20220087310 A KR20220087310 A KR 20220087310A KR 1020200177876 A KR1020200177876 A KR 1020200177876A KR 20200177876 A KR20200177876 A KR 20200177876A KR 20220087310 A KR20220087310 A KR 20220087310A
Authority
KR
South Korea
Prior art keywords
dog
information
image
entity
inscription
Prior art date
Application number
KR1020200177876A
Other languages
Korean (ko)
Inventor
김종복
김중곤
권경석
장동화
Original Assignee
대한민국(농촌진흥청장)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대한민국(농촌진흥청장) filed Critical 대한민국(농촌진흥청장)
Priority to KR1020200177876A priority Critical patent/KR20220087310A/en
Publication of KR20220087310A publication Critical patent/KR20220087310A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

개시된 기술은 영상 기반 반려견 개체 식별 방법 및 장치에 관한 것으로, 개체 식별장치가 반려견의 이미지를 딥러닝 모델에 입력하여 상기 반려견의 눈과 코를 검출하는 단계; 상기 개체 식별장치가 상기 눈과 코 각각의 위치 및 크기에 따라 상기 이미지의 방향이 정면인지 확인하는 단계; 상기 개체 식별장치가 상기 이미지에 포함된 노이즈에 따라 상기 이미지에서 비문 영역의 추출을 결정하는 단계; 상기 개체 식별장치가 상기 비문 영역의 크기를 조절하고 히스토그램을 정규화하여 전처리를 수행하는 단계; 상기 개체 식별장치가 특징점 추출 알고리즘을 이용하여 상기 전처리된 비문 영역에서 특징정보를 추출하는 단계; 및 상기 개체 식별장치가 기 등록된 복수의 개체정보에 포함된 복수개의 특징정보와 상기 특징정보를 비교하는 단계;를 포함한다. 따라서 반려견을 정확하게 식별할 수 있고 개체정보를 간편하게 등록하는 효과가 있다.The disclosed technology relates to an image-based dog entity identification method and apparatus, comprising: detecting, by an entity identification device, an image of a dog dog into a deep learning model to detect the dog's eyes and nose; checking, by the object identification device, whether the direction of the image is the front according to the positions and sizes of the eyes and nose; determining, by the entity identification device, extraction of an inscription region from the image according to the noise included in the image; performing pre-processing by adjusting the size of the inscription region and normalizing the histogram by the entity identification device; extracting, by the entity identification device, feature information from the pre-processed inscription area using a feature point extraction algorithm; and comparing, by the entity identification device, a plurality of pieces of characteristic information included in a plurality of pre-registered pieces of entity information with the characteristic information. Therefore, it is possible to accurately identify the dog and has the effect of easily registering individual information.

Description

영상 기반 반려견 개체 식별 방법 및 장치 {IMAGE BASED METHOD AND DEVICE FOR IDENTIFYING DOG} Image-based dog entity identification method and device {IMAGE BASED METHOD AND DEVICE FOR IDENTIFYING DOG}

개시된 기술은 영상을 이용하여 반려견의 비문을 인식하여 개체를 식별하는 방법 및 장치에 관한 것이다.The disclosed technology relates to a method and apparatus for identifying an object by recognizing an inscription of a dog using an image.

반려견을 일부러 유기하거나 실수로 유실하는 등의 문제가 사회적인 문제도 대두됨에 따라 최근에는 반려견의 정보를 데이터베이스에 등록하는 기술이 이용되고 있다.As social problems such as deliberate abandonment or accidental loss of dogs have also emerged, technology for registering dog information in a database has recently been used.

현재 이용되고 있는 반려견 등록 방법은 외장형 부착장치를 이용하여 반려견의 몸통에 ID를 인식할 수 있는 장치를 착용시키는 방법 또는 반려견의 체내에 소형 칩을 삽입하여 개체 별로 인식하는 방법이 이용되고 있다. 그러나 외장형 장치를 이용하는 방법은 장치를 분실할 가능성이 있고 외출할때마다 장치를 착용시켜야하는 번거로움이 있었다. 그리고 내장형 장치를 이용하는 방법은 견주가 거부감을 갖는 경우가 있어서 새로운 방식의 인식 기술이 필요한 실정이다.The currently used dog registration method uses an external attachment device to wear a device that can recognize an ID on the dog's body or a method to recognize each individual by inserting a small chip into the dog's body. However, in the method of using an external device, there is a possibility of losing the device, and there is a inconvenience of having to wear the device whenever going out. And the method of using the built-in device is a situation in which the dog owner has a sense of rejection, so a new type of recognition technology is required.

한편, 사람의 홍채나 지문과 같이 동물에도 고유의 생체정보를 갖는 기관이 존재한다. 가령, 개의 코에 형성된 비문 패턴은 각 개체마다 고유한 특징을 나타내고 있어서 이를 개체를 인식하기 위한 정보로 이용하는 것이 가능하다. 다만, 반려견의 경우 사람과는 달리 카메라를 바라보는 것을 거부하거나 주의가 산만하여 정확한 비문 이미지의 촬영에 애로사항이 발생하는 경우도 존재한다.On the other hand, there are organs having unique biometric information in animals, such as human iris or fingerprints. For example, an inscription pattern formed on a dog's nose indicates a unique characteristic of each individual, so it is possible to use it as information for recognizing an individual. However, unlike humans, there are cases where dogs refuse to look at the camera or are distracted, which causes difficulties in taking accurate images of inscriptions.

한국 등록특허 제10-1527801호Korean Patent Registration No. 10-1527801

개시된 기술은 영상을 이용하여 반려견의 비문을 인식하여 개체를 식별하는 방법 및 장치를 제공하는데 있다.The disclosed technology is to provide a method and apparatus for recognizing a dog's inscription using an image to identify an object.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 1 측면은 개체 식별장치가 반려견의 이미지를 딥러닝 모델에 입력하여 상기 반려견의 눈과 코를 검출하는 단계, 상기 개체 식별장치가 상기 눈과 코 각각의 위치 및 크기에 따라 상기 이미지의 방향이 정면인지 확인하는 단계, 상기 개체 식별장치가 상기 이미지에 포함된 노이즈에 따라 상기 이미지에서 비문 영역의 추출을 결정하는 단계, 상기 개체 식별장치가 상기 비문 영역의 크기를 조절하고 히스토그램을 정규화하여 전처리를 수행하는 단계, 상기 개체 식별장치가 특징점 추출 알고리즘을 이용하여 상기 전처리된 비문 영역에서 특징정보를 추출하는 단계 및 상기 개체 식별장치가 기 등록된 복수의 개체정보에 포함된 복수개의 특징정보와 상기 특징정보를 비교하는 단계를 포함하는 반려견 개체 식별 방법을 제공하는데 있다.A first aspect of the disclosed technology to achieve the above technical task is the steps of, by an entity identification device, inputting an image of a dog into a deep learning model to detect the eyes and nose of the dog, wherein the entity identification device uses each of the eyes and nose determining whether the direction of the image is the front according to a location and size; determining, by the object identification device, to extract an inscription region from the image according to noise included in the image; performing pre-processing by adjusting the size and normalizing the histogram; extracting, by the entity identification device, characteristic information from the pre-processed inscription area using a key point extraction algorithm; and a plurality of entity information previously registered by the entity identification device An object of the present invention is to provide a method for identifying a dog individual comprising the step of comparing the characteristic information with a plurality of characteristic information included in the .

상기의 기술적 과제를 이루기 위하여 개시된 기술의 제 2 측면은 반려견의 얼굴 이미지를 촬영하는 카메라, 반려견들에 대한 복수개의 개체정보를 저장하는 메모리 및 상기 반려견의 얼굴 이미지를 딥러닝 모델에 입력하여 상기 반려견의 눈과 코를 검출하고, 상기 얼굴 이미지에서 비문 영역을 추출하고 상기 비문 영역을 특징점 추출 알고리즘에 입력하여 특징정보를 추출하고 상기 추출된 특징정보와 상기 개체정보에 포함된 특징정보를 비교하는 프로세서를 포함하는 반려견 개체 식별 장치를 제공하는데 있다.A second aspect of the disclosed technology to achieve the above technical task is a camera for photographing a face image of a dog, a memory for storing a plurality of individual information about the dogs, and inputting the facial image of the dog into a deep learning model to input the dog's face image into the deep learning model A processor that detects the eyes and nose of , extracts an inscription region from the face image, inputs the inscription region into a feature point extraction algorithm to extract feature information, and compares the extracted feature information with feature information included in the entity information To provide a dog entity identification device comprising a.

개시된 기술의 실시 예들은 다음의 장점들을 포함하는 효과를 가질 수 있다. 다만, 개시된 기술의 실시 예들이 이를 전부 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다. Embodiments of the disclosed technology may have effects including the following advantages. However, since it does not mean that the embodiments of the disclosed technology should include all of them, it should not be understood that the scope of the disclosed technology is limited thereby.

개시된 기술의 일 실시예에 따르면 영상 기반 반려견 개체 식별 방법 및 장치는 반려견의 비문에서 추출한 특징정보를 이용하여 개체를 식별하는 효과가 있다.According to an embodiment of the disclosed technology, an image-based dog entity identification method and apparatus have an effect of identifying an entity using characteristic information extracted from a dog's inscription.

또한, 비접촉 방식으로 개체를 식별하여 반려견이나 견주의 거부감을 방지하는 효과가 있다.In addition, it has the effect of preventing rejection by the dog or dog owner by identifying the object in a non-contact manner.

또한, 반려견의 개체정보를 간편하게 등록할 수 있어서 반려견 유기 및 유실을 방지하는 효과가 있다.In addition, the dog's individual information can be easily registered, which is effective in preventing dog abandonment and loss.

도 1은 개시된 기술의 일 실시예에 따른 영상 기반 반려견 개체 식별 시스템을 이용하는 과정을 나타낸 도면이다.
도 2는 개시된 기술의 일 실시예에 따른 반려견 개체 식별 방법에 대한 순서도이다.
도 3은 개시된 기술의 일 실시예에 따른 반려견 개체 식별 장치에 대한 블록도이다.
도 4는 반려견의 얼굴 이미지에서 비문 영역을 추출하는 것을 나타낸 도면이다.
도 5는 비문 영역을 복수개의 영역으로 분할하는 것을 나타낸 도면이다.
1 is a diagram illustrating a process of using an image-based dog entity identification system according to an embodiment of the disclosed technology.
2 is a flowchart of a dog entity identification method according to an embodiment of the disclosed technology.
3 is a block diagram of an apparatus for identifying a dog entity according to an embodiment of the disclosed technology.
4 is a diagram illustrating extraction of an inscription region from a face image of a dog.
5 is a diagram illustrating division of an inscription area into a plurality of areas.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

제 1 , 제 2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B may be used to describe various components, but the components are not limited by the above terms, and only for the purpose of distinguishing one component from other components. is used only as For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 한다. 그리고 "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.In terms of terms used herein, the singular expression is to be understood as including the plural expression unless the context clearly dictates otherwise. And terms such as "comprising" mean that the specified feature, number, step, operation, component, part, or a combination thereof exists, but one or more other features or number, step operation component, part It should be understood as not excluding the possibility of the presence or addition of or combinations thereof.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. Prior to a detailed description of the drawings, it is intended to clarify that the classification of the constituent parts in the present specification is merely a division according to the main function each constituent unit is responsible for. That is, two or more components to be described below may be combined into one component, or one component may be divided into two or more for each more subdivided function.

그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이다.In addition, each of the constituent units to be described below may additionally perform some or all of the functions of other constituent units in addition to the main function it is responsible for. Of course, it may be carried out by being dedicated to it. Accordingly, the existence or non-existence of each component described through the present specification should be interpreted functionally.

도 1은 개시된 기술의 일 실시예에 따른 영상 기반 반려견 개체 식별 시스템을 이용하는 과정을 나타낸 도면이다. 도 1을 참조하면 반려견 개체 식별 시스템(100)은 개체 식별장치(110) 및 사용자 단말기(120)를 포함한다.1 is a diagram illustrating a process of using an image-based dog entity identification system according to an embodiment of the disclosed technology. Referring to FIG. 1 , the dog entity identification system 100 includes an entity identification device 110 and a user terminal 120 .

개체 식별장치(110)는 반려견의 비문에 포함된 특징정보를 이용하여 개체를 식별한다. 우선 반려견의 비문을 획득하기 위해서 카메라를 구동하여 반려견의 비문이 포함된 이미지를 촬영할 수 있다. 비문이 포함된 이미지는 반려견 전체의 몸체를 포함할 수도 있고 얼굴만 포함할 수도 있다. 개체 식별장치(110)는 카메라를 이용하여 비문이 포함된 이미지를 획득할 수 있다. 예컨대, 개체 식별장치에 탑재된 카메라를 직접 제어하거나 별도의 카메라를 이용하여 이미지를 획득할 수 있다. 이미지 촬영에 사용되는 카메라는 일반적인 광학 카메라를 이용할 수 있으며 필요에 따라 복수의 카메라를 이용하여 이미지를 촬영할 수도 있다.The entity identification device 110 identifies the entity by using the characteristic information included in the dog's inscription. First, in order to obtain the dog's inscription, you can drive the camera to take an image containing the dog's inscription. Images with inscriptions may include the entire body of the dog or only the face. The object identification apparatus 110 may acquire an image including an inscription by using a camera. For example, an image may be acquired by directly controlling a camera mounted on the object identification device or using a separate camera. A camera used for taking an image may use a general optical camera, and if necessary, may take an image using a plurality of cameras.

한편, 개체 식별장치(110)는 촬영한 반려견의 이미지와 데이터베이스에 저장된 복수의 반려견들에 대한 개체정보를 비교할 수 있다. 개체정보는 해당 반려견의 비문 이미지, 비문 이미지에서 추출된 특징정보 및 주인에 대한 이름, 주소, 연락처 등의 개인정보가 포함될 수 있다. 개체 식별장치(110)는 데이터베이스에 저장된 복수개의 개체정보들 중 반려견의 비문 이미지와 일치하는 비문 이미지를 포함하는 개체정보가 존재하는지 검색할 수 있다. 개체 식별장치(110)는 비교대상인 개체정보에 포함된 비문 이미지의 크기와 반려견의 비문 이미지 크기를 동일한 크기로 조절하여 비교함으로써 정확도를 높일 수 있다. 여기에서 이미지의 크기를 조절하는 것은 원본 이미지의 비율을 그대로 유지한 상태에서 크기를 조절하는 것을 의미한다.On the other hand, the object identification device 110 may compare the photographed image of the dog with object information about a plurality of dogs stored in the database. Entity information may include an image of the inscription of the dog, characteristic information extracted from the image of the inscription, and personal information such as the name, address, and contact information of the owner. The entity identification device 110 may search whether entity information including an inscription image matching the inscription image of the dog exists among a plurality of entity information stored in the database. The object identification device 110 may increase accuracy by comparing the size of the inscription image included in the object information to be compared with the size of the inscription image of the dog to the same size. Here, adjusting the size of the image means adjusting the size while maintaining the ratio of the original image.

또한, 개체 식별장치(110)는 비문 영역을 추출하기 위해서 이미지의 방향이 정면인지 확인할 수 있다. 개체 식별장치(110)는 이미지 방향을 판독할 수 있도록 사전에 훈련된 딥러닝 모델을 포함하고 있으며 이를 이용하여 이미지의 방향이 정면인지 확인할 수 있다. 개체 식별 장치(110)는 딥러닝 모델을 이용하여 이미지에 포함된 반려견의 눈 및 코의 위치를 파악하여 이미지가 얼굴 정면에 대한 것인지 확인할 수 있다. 예컨대, 반려견의 눈과 코를 식별하고, 두 눈의 크기 및 위치가 동일한지 또는 코의 위치가 두 눈 사이의 아래쪽에 위치하는지 파악하여 정면 여부를 확인할 수 있다.Also, the object identification apparatus 110 may check whether the direction of the image is the front in order to extract the inscription area. The object identification device 110 includes a deep learning model trained in advance to read the image direction, and using this, it is possible to check whether the image direction is the front. The object identification device 110 may determine whether the image is for the front of the face by identifying the positions of the dog's eyes and nose included in the image using the deep learning model. For example, it is possible to identify the dog's eyes and nose, and determine whether the two eyes are the same size and position or whether the nose position is located below the two eyes to determine whether the dog is in front.

한편, 개체 식별장치(110)는 이미지에 포함된 노이즈에 따라 비문 영역의 추출을 결정할 수 있다. 여기에서 노이즈는 이미지에 포함된 빛 반사도 및 이미지의 선명도를 포함한다. 예컨대, 이미지에 포함된 빛 반사도가 너무 높으면 비문 영역 추출에 부적합한 이미지로 판단하여 드롭하거나 새로운 이미지를 요청할 수 있다. 물론 이미지의 선명도 또한 비문에 포함된 패턴을 파악하기 어려울 정도로 낮은 경우에도 비문 영역을 추출하는 대신 새로운 이미지를 다시 전송하도록 요청할 수 있다. Meanwhile, the object identification apparatus 110 may determine extraction of the inscription region according to noise included in the image. Here, the noise includes the light reflectance included in the image and the sharpness of the image. For example, if the light reflectivity included in the image is too high, it may be determined that the image is not suitable for extraction of the inscription area and may be dropped or a new image may be requested. Of course, even if the sharpness of the image is so low that it is difficult to discern the pattern contained in the inscription, we can request that a new image be sent again instead of extracting the inscription area.

개체 식별장치(110)는 이와 같이 노이즈가 비문 영역 추출에 영향을 주지 않을 정도로 적은지 판단하여 비문 영역을 추출할 수 있으며, 추출된 비문 영역에 포함된 특징정보를 비교할 때 보다 정확한 결과값을 얻도록 비문 영역의 크기를 원본 비율을 유지하되 개체정보에 포함된 비문이미지와 동일한 크기로 조절할 수 있다. 예컨대, 비문 영역 원본이 너비(Width)와 높이(Height)가 500x600이라면, 너비를 임의의 고정값으로 설정하고 높이는 원본 이미지의 비율에 맞춰 조절할 수 있다. 가령 너비 고정값이 300이라면 높이는 360으로 조절될 수 있다. The object identification device 110 may extract the inscription region by determining whether the noise is small enough not to affect the extraction of the inscription region as described above, and obtain a more accurate result value when comparing the feature information included in the extracted inscription region. The size of the inscription area can be adjusted to the same size as the inscription image included in the object information, while maintaining the original ratio. For example, if the original inscription area has a width and height of 500x600, the width can be set to an arbitrary fixed value and the height can be adjusted according to the ratio of the original image. For example, if the fixed width value is 300, the height can be adjusted to 360.

이와 같이 비문 영역을 처리하는 것은 동일한 개체의 비문 영역이라도 이미지를 수집하는 과정에서 방향 및 거리 등으로 인해 비문 영역의 크기가 제각기 다르게 포함될 수 있으므로 전처리 과정에서 의도치 않은 데이터 손실이 발생할 수 있기 때문이다. 따라서, 이와 같이 최대한 데이터 손실이 발생하지 않도록 원본 비율을 유지하면서 비문 영역의 크기를 조절할 수 있다. 그리고 히스토그램을 정규화하여 이미지의 전체적인 명암을 고르게 처리할 수 있다.Processing the inscription area in this way is because, even if the inscription area of the same object, the size of the inscription area may be included differently due to the direction and distance in the process of image collection, unintentional data loss may occur during the preprocessing process. . Accordingly, it is possible to adjust the size of the inscription area while maintaining the original ratio so as to avoid data loss as much as possible. And by normalizing the histogram, the overall contrast of the image can be processed evenly.

한편, 개체 식별장치(110)는 전처리 과정에 수행된 비문 영역에서 특징정보를 추출하고 복수의 개체정보에 포함된 특징정보들을 비교할 수 있다. 특징정보의 추출은 특징점 추출 알고리즘을 통해 수행된다. 특징점 추출 알고리즘은 종래의 다양한 방식의 특징점 추출 알고리즘을 적용할 수 있다. 예컨대, 시프트(SIFT) 알고리즘이나 서프(Speed-up Bobust Feature, SURF) 알고리즘, 브리스크(Binary Robust Invariant Scalable Keypoints, BRISK) 알고리즘 및 오알비(Oriented FAST and Rotated BRIEF, ORB) 알고리즘과 같이 영상에서 특징점을 추출하는 다양한 알고리즘을 이용할 수 있다. 개체정보에 포함된 특징정보는 기 등록된 반려견들의 비문 이미지에서 추출된 것이며 반려견이 사전에 등록된 개체인지 아닌지 특징정보의 일치 여부를 비교하여 확인할 수 있다. 개체 식별장치(110)는 특징점 추출 알고리즘에 비문 영역을 입력값으로 하여 반려견의 비문에 따른 특징정보를 출력할 수 있다.Meanwhile, the entity identification apparatus 110 may extract characteristic information from the inscription area performed in the pre-processing process and compare characteristic information included in a plurality of entity information. Extraction of feature information is performed through a feature point extraction algorithm. As the keypoint extraction algorithm, various conventional keypoint extraction algorithms may be applied. For example, feature points in an image, such as a shift (SIFT) algorithm, a speed-up Bobust Feature (SURF) algorithm, a Brisk (Binary Robust Invariant Scalable Keypoints, BRISK) algorithm, and an Oriented FAST and Rotated BRIEF (ORB) algorithm. Various algorithms for extracting . The characteristic information included in the entity information is extracted from the images of the inscriptions of previously registered dogs, and it can be checked whether the characteristic information matches whether the dog is a previously registered entity or not. The object identification device 110 may output feature information according to the inscription of the dog by using the inscription area as an input value to the feature point extraction algorithm.

한편, 특징점 추출 알고리즘을 통해 출력된 특징정보들 중 이상 수치를 나타내는 일부의 값을 제외하여 개체정보에 포함된 특징정보와 비교할 수 있다. 예컨대, 특징점 추출 알고리즘을 통해 출력된 반려견의 특징정보 중 이상값(Outlier)과 중복값을 제외한 나머지 특징정보를 복수의 개체정보에 포함된 특징정보와 비교할 수 있다.On the other hand, it is possible to compare with the characteristic information included in the individual information by excluding some values indicating abnormal values among the characteristic information output through the characteristic point extraction algorithm. For example, among the characteristic information of the dog output through the characteristic point extraction algorithm, the remaining characteristic information excluding outliers and duplicate values may be compared with the characteristic information included in the plurality of entity information.

상술한 바와 같이 개체 식별장치(110)는 후처리된 특징정보와 기 등록된 복수의 특징정보를 비교한다. 특징정보의 추출 및 비교는 종래의 다양한 알고리즘을 이용하여 수행될 수 있다. 개체 식별장치(110)는 반려견의 특징정보를 다수의 등록된 특징정보와 비교할 수도 있고 반려견의 비문 영역을 복수개로 분할하여 추출된 특징정보들을 비교하는데 이용할 수도 있다. 예컨대, 비문 영역을 복수개의 영역으로 분할하여 각 영역에 대한 복수개의 특징정보를 추출하고, 복수개의 개체정보에 포함된 복수개의 특징정보를 비문 영역과 동일한 개수의 영역으로 분할하여 분할된 영역 별로 유사도를 각각 비교할 수 있다. 만약 유사도가 기준을 초과하는 영역의 개수가 일정 이상이면 반려견을 등록된 개체로 판단하고, 유사도가 기준을 초과하는 영역의 개수가 일정 미만이면 반려견의 이미지 및 특징정보를 새로운 개체정보로 저장할 수 있다.As described above, the object identification apparatus 110 compares the post-processed characteristic information with a plurality of previously registered characteristic information. Extraction and comparison of feature information may be performed using various conventional algorithms. The entity identification device 110 may compare the characteristic information of the dog with a plurality of registered characteristic information, or may divide the inscription area of the dog into a plurality and use it to compare the extracted characteristic information. For example, the inscription area is divided into a plurality of areas to extract a plurality of characteristic information for each area, and a plurality of pieces of characteristic information included in the plurality of individual information are divided into the same number of areas as the inscription area, and the degree of similarity for each divided area can be compared respectively. If the number of areas with similarity exceeding the standard is more than a certain number, the dog is judged as a registered entity, and if the number of areas with similarity exceeding the standard is less than a certain number, the dog's image and characteristic information can be saved as new object information. .

한편, 특징정보를 비교한 결과는 사용자 단말기(120)로 전송된다. 개체 식별장치(110)는 만약 반려견의 특징정보가 복수개의 개체정보에 포함되어 있으면 반려견의 개체정보를 사용자 단말기(120)에 전송할 수 있다. 그리고 반려견의 특징정보가 복수개의 개체정보에 포함되어 있지 않으면 반려견의 개체정보를 등록하기 위한 정보를 사용자 단말기에 전송할 수 있다. 반려견의 개체정보를 전송하는 경우에는 반려견의 이름, 이미지, 견주에 대한 정보 등이 전송될 수 있으며 등록을 위한 정보를 전송하는 경우에는 반려견에 대한 이미지와 특징정보를 저장할 때 함께 저장하기 위한 견주의 정보를 요청할 수 있다.Meanwhile, the result of comparing the characteristic information is transmitted to the user terminal 120 . The entity identification device 110 may transmit the entity information of the dog to the user terminal 120 if the characteristic information of the dog is included in the plurality of entity information. In addition, if the characteristic information of the dog is not included in the plurality of individual information, information for registering the individual information of the dog may be transmitted to the user terminal. In the case of transmitting the dog's individual information, the dog's name, image, and information about the owner may be transmitted. You can request information.

도 2는 개시된 기술의 일 실시예에 따른 반려견 개체 식별 방법에 대한 순서도이다. 도 2를 참조하면 반려견 개체 식별 방법은 개체 식별 장치를 통해 수행될 수 있으며 이하의 210 내지 260 단계를 포함한다.2 is a flowchart of a dog entity identification method according to an embodiment of the disclosed technology. Referring to FIG. 2 , the dog entity identification method may be performed through an entity identification device and includes the following steps 210 to 260 .

210 단계에서 개체 식별장치가 반려견의 이미지를 딥러닝 모델에 입력하여 상기 반려견의 눈과 코를 검출한다. 개체 식별장치에 탑재된 딥러닝 모델을 이용하여 실시간으로 획득된 반려견의 이미지에서 눈과 코를 검출할 수 있다.In step 210, the object identification device inputs the dog's image to the deep learning model to detect the dog's eyes and nose. The eyes and nose can be detected from the dog image acquired in real time using the deep learning model mounted on the object identification device.

210 단계에서 개체 식별장치는 눈과 코 각각의 위치 및 크기에 따라 이미지의 방향이 정면인지 확인한다. 눈과 코의 상대적인 위치와 크기를 통해 반려견의 얼굴 방향이 정면인지 아닌지를 확인할 수 있다. 이미지에 포함된 얼굴 방향이 정면이 아닌 경우에는 당연히 비문의 이미지 또한 정면이 아니므로 개체 식별률이 저하될 수 있다. 따라서, 반려견의 얼굴에 포함된 눈과 코를 검출하고 각각의 상대적인 크기 및 위치를 통해 정면 여부를 확인한다.In step 210, the object identification device checks whether the direction of the image is the front according to the position and size of each of the eyes and nose. Through the relative position and size of the eyes and nose, it is possible to determine whether the dog's face is facing forward or not. If the direction of the face included in the image is not the front, of course, the image of the inscription is also not the front, so the object identification rate may be lowered. Therefore, it detects the eyes and nose included in the dog's face, and checks whether it is in front through the relative size and position of each.

230 단계에서 개체 식별장치는 이미지에 포함된 노이즈에 따라 이미지에서 비문 영역의 추출을 결정한다. 개체 식별장치는 노이즈가 기준 미만이면 이미지의 비문 영역을 관심영역(Region Of Interest, ROI)으로 추출할 수 있다. 이미지에 포함된 노이즈는 상술한 바와 같이 빛 반사도와 선명도일 수 있다. 빛 반사도의 경우 정면으로 판단된 이미지에 대하여 히스토그림이 임계치 이하인 경우에는 빛 반사가 없는 것으로 판단하여 비문 영역을 추출할 수 있다. 선명도의 경우 비문의 패턴을 식별 가능한 수준의 선명도를 나타내는지 판단하여 비문 영역을 추출할 수 있다. 물론 두 가지 모두 기준 미만인 것을 충족하여야만 비문 영역을 추출하는 것이며 어느 하나라도 기준을 초과하는 경우에는 비문 영역을 추출하지 않고 빛 반사가 덜 포함된 이미지 내지는 선명도가 높은 이미지를 다시 요청할 수 있다. In step 230, the object identification apparatus determines extraction of the inscription region from the image according to the noise included in the image. If the noise is less than the standard, the object identification apparatus may extract the inscription region of the image as a region of interest (ROI). The noise included in the image may be light reflectivity and sharpness as described above. In the case of light reflectivity, when the histogram is less than a threshold for the image determined as a front view, it is determined that there is no light reflection, and the inscription region can be extracted. In the case of sharpness, it is possible to extract the inscription region by determining whether the pattern of the inscription has a level of sharpness that can be identified. Of course, the inscription area is extracted only when both are less than the standard, and if any one exceeds the standard, the inscription area is not extracted and an image with less light reflection or an image with high clarity can be requested again.

여기에서 빛 반사도와 선명도 각각의 기준은 서로 다른 임계값일 수 있다. 예컨대, 빛 반사도의 임계값은 제 1 임계값일 수 있고 선명도의 임계값은 제 2 임계값일 수 있다. 즉, 개체 식별장치는 빛 반사도가 제 1 임계값 미만이고 선명도가 제 2 임계값을 초과하면 비문 영역을 추출할 수 있다. 그리고, 빛 반사도가 제 1 임계값 이상이고 선명도가 제 2 임계값 이하이면 이미지를 재요청할 수 있다.Here, each criterion of light reflectivity and sharpness may be a different threshold value. For example, the threshold value of the light reflectivity may be a first threshold value and the threshold value of the sharpness may be a second threshold value. That is, when the light reflectivity is less than the first threshold and the sharpness exceeds the second threshold, the object identification apparatus may extract the inscription area. In addition, when the light reflectivity is equal to or greater than the first threshold and the sharpness is less than or equal to the second threshold, the image may be re-requested.

240 단계에서 개체 식별장치는 비문 영역의 크기를 조절하고 히스토그램을 정규화하여 전처리를 수행한다. 일 실시예로, CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 이용하여 이미지를 복수개로 균등한 영역들로 분할하고 영역들 각각에 대한 히스토그램 정규화를 반복하여 영역들의 명암값이 기준 이내가 되도록 전처리할 수 있다. 이는 하나의 이미지 전체에 대한 명암값을 조절하는 것 대비 더 높은 명암 균일도를 얻을 수 있어서 개체 식별에 대한 정확도를 높이기 위한 방법으로 이용될 수 있다.In step 240, the object identification apparatus performs preprocessing by adjusting the size of the inscription area and normalizing the histogram. In one embodiment, the image is divided into a plurality of equal regions using the Contrast Limited Adaptive Histogram Equalization (CLAHE) algorithm, and histogram normalization for each of the regions is repeated so that the contrast values of the regions are within the standard. have. This can be used as a method to increase the accuracy of object identification because higher contrast uniformity can be obtained compared to adjusting the contrast value for the entire image.

한편, 240 단계에서 개체 식별장치 비문 영역의 크기를 개체정보에 포함된 복수의 비문 이미지의 크기와 동일하게 조절할 수 있다. 비문 영역의 원본의 비율은 그대로 유지하되 크기만 조절하여 복수의 비문 이미지와 동일하게 리사이징할 수 있다.Meanwhile, in step 240 , the size of the inscription region of the entity identification device may be adjusted to be the same as the size of the plurality of inscription images included in the entity information. The original proportion of the inscription area is maintained as it is, but only the size can be adjusted so that it can be resized to be the same as a plurality of inscription images.

250 단계에서 개체 식별장치는 특징점 추출 알고리즘에 전처리된 비문 영역을 입력하여 특징정보를 추출한다. 특징점 추출 알고리즘은 종래에도 이용되고 있는 시프트(SIFT) 알고리즘이나 서프(Speed-up Bobust Feature, SURF) 알고리즘, 브리스크(Binary Robust Invariant Scalable Keypoints, BRISK) 알고리즘 및 오알비(Oriented FAST and Rotated BRIEF, ORB) 알고리즘을 이용할 수 있다.In step 250, the object identification device extracts feature information by inputting the pre-processed inscription area to the feature point extraction algorithm. The keypoint extraction algorithm is a shift (SIFT) algorithm, a speed-up Bobust Feature (SURF) algorithm, a BRISK (Binary Robust Invariant Scalable Keypoints, BRISK) algorithm, and Oriented FAST and Rotated BRIEF, ORB, which are also used in the prior art. ) algorithm can be used.

260 단계에서 개체 식별장치는 기 등록된 복수의 개체정보에 포함된 복수개의 특징정보와 특징정보를 비교한다. 특징정보를 비교하기 위해서 개체 식별장치는 특징정보에 RANSAC(Random Sample Consensus) 알고리즘을 적용하여 이상값(Outlier) 및 중복값을 제거할 수 있다. 즉, 정확한 표본만을 추출하여 복수개의 특징정보와 비교할 수 있다.In step 260, the entity identification apparatus compares the plurality of pieces of characteristic information included in the plurality of previously registered entity information with the characteristic information. In order to compare the characteristic information, the entity identification apparatus may apply a RANSAC (Random Sample Consensus) algorithm to the characteristic information to remove outliers and duplicate values. That is, only accurate samples can be extracted and compared with a plurality of feature information.

한편, 보다 높은 개체 식별 정확도를 나타내기 위해서 개체 식별장치는 비문 영역을 복수개의 영역으로 분할하여 각 영역에 대한 복수개의 특징정보를 추출하고, 복수개의 개체정보에 포함된 복수개의 특징정보를 비문 영역과 동일한 크기의 영역으로 분할할 수 있다. 그리고 분할된 영역 별로 유사도를 각각 비교할 수 있다. 예컨대, 유사도가 기준을 초과하는 영역의 개수가 일정 이상이면 반려견을 등록된 개체로 판단할 수 있다. 여기에서 영역의 개수는 전체 개수에서 일정 비율 이상으로 자동 설정되거나 사용자의 입력에 따라 결정될 수 있다. 가령, 분할된 영역이 9개인 경우 과반 이상인 5개 영역의 유사도가 기준을 초과하면 등록된 개체라고 판단할 수 있다. 물론 유사도가 기준을 초과하는 영역의 개수가 일정 미만이면 반려견의 이미지 및 특징정보를 새로운 개체정보로 저장할 수 있다.Meanwhile, in order to indicate higher object identification accuracy, the object identification device divides the inscription area into a plurality of areas, extracts a plurality of characteristic information for each area, and divides the plurality of characteristic information included in the plurality of object information into the inscription area. It can be divided into regions of the same size as In addition, the degree of similarity can be compared for each divided region. For example, if the number of regions in which the degree of similarity exceeds the standard is greater than or equal to a certain level, the dog may be determined as a registered entity. Here, the number of regions may be automatically set to a certain ratio or more from the total number or may be determined according to a user's input. For example, when there are 9 divided regions, if the similarity of more than half of the 5 regions exceeds a criterion, it may be determined that the entity is a registered entity. Of course, if the number of areas with similarity exceeding the standard is less than a certain amount, the dog's image and characteristic information can be stored as new entity information.

한편, 260 단계에서 개체 식별장치는 특징정보를 비교한 결과를 사용자 단말기에 전송하는 단계를 더 수행할 수 있다. 개체 식별장치는 반려견의 특징정보가 복수개의 개체정보에 포함되어 있으면 반려견의 개체정보를 사용자 단말기에 전송하고, 반려견의 특징정보가 복수개의 개체정보에 포함되어 있지 않으면 반려견의 개체정보를 등록하기 위한 정보를 사용자 단말기에 전송할 수 있다.Meanwhile, in step 260 , the entity identification apparatus may further perform a step of transmitting a result of comparing the characteristic information to the user terminal. The entity identification device transmits the dog's individual information to the user terminal if the dog's characteristic information is included in a plurality of individual information, and is used to register the dog's individual information if the dog's characteristic information is not included in the plurality of individual information Information may be transmitted to the user terminal.

도 3은 개시된 기술의 일 실시예에 따른 반려견 개체 식별 장치에 대한 블록도이다. 도 3을 참조하면 개체 식별장치(300)는 카메라(310), 메모리(320), 프로세서(330) 및 통신장치(340)를 포함한다.3 is a block diagram of an apparatus for identifying a dog entity according to an embodiment of the disclosed technology. Referring to FIG. 3 , the object identification device 300 includes a camera 310 , a memory 320 , a processor 330 , and a communication device 340 .

카메라(310)는 반려견의 비문 이미지를 촬영한다. 카메라(310)는 스마트 단말기와 같은 디바이스에 탑재되는 소형 카메라를 이용할 수도 있고 일반적인 형태의 카메라를 이용할 수도 있다. 카메라(310)는 사용자의 입력에 따라 반려견의 비문 이미지를 촬영한다.The camera 310 takes an image of the dog's inscription. The camera 310 may use a small camera mounted on a device such as a smart terminal or a general type camera. The camera 310 takes an image of the dog's inscription according to the user's input.

메모리(320)는 복수의 반려견들에 대한 개체정보를 저장한다. 개체정보는 각 반려견의 비문 이미지, 특징정보 및 견주에 대한 정보를 포함한다. 견주에 대한 정보는 견주의 이름, 주소 및 연락처일 수 있다. 메모리(320)는 개체 식별장치에 탑재되는 저장장치로 일반적인 HDD나 SSD와 같이 장시간 데이터를 저장 가능한 장치로 구현될 수 있다.The memory 320 stores entity information about a plurality of dogs. The entity information includes the inscription image of each dog, characteristic information, and information about the dog owner. Information on the dog owner may be the dog owner's name, address, and contact information. The memory 320 is a storage device mounted on the object identification device and may be implemented as a device capable of storing data for a long time, such as a general HDD or SSD.

프로세서(330)는 반려견의 얼굴 이미지를 딥러닝 모델에 입력하여 반려견의 눈과 코를 검출하고, 얼굴 이미지에서 비문 영역을 추출하고 추출된 비문 영역을 특징점 추출 알고리즘에 입력하여 특징정보를 추출한다. 그리고고 추출된 특징정보와 개체정보에 포함된 특징정보를 비교한다.The processor 330 inputs the dog's face image into the deep learning model to detect the dog's eyes and nose, extracts the inscription region from the face image, and inputs the extracted inscription region to the feature point extraction algorithm to extract feature information. Then, the extracted characteristic information and the characteristic information included in the entity information are compared.

통신장치(340)는 사용자 단말기에 비교 결과를 전송한다. 통신장치는 일반적인 인터넷망을 이용하거나 무선통신망을 이용하여 비교 결과를 전송할 수 있다.The communication device 340 transmits the comparison result to the user terminal. The communication device may transmit the comparison result using a general Internet network or a wireless communication network.

한편, 상술한 개체 식별장치(300)는 컴퓨터 또는 카메라를 탑재한 스마트폰과 같은 디바이스에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.On the other hand, the above-described object identification apparatus 300 may be implemented as a program (or application) including an executable algorithm that can be executed in a device such as a computer or a smartphone equipped with a camera. The program may be provided by being stored in a temporary or non-transitory computer readable medium.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.The non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device. Specifically, the various applications or programs described above are CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM (read-only memory), PROM (programmable read only memory), EPROM (Erasable PROM, EPROM) Alternatively, it may be provided by being stored in a non-transitory readable medium such as an EEPROM (Electrically EPROM) or flash memory.

일시적 판독 가능 매체는 스태틱 램(Static RAM,SRAM), 다이내믹 램(Dynamic RAM,DRAM), 싱크로너스 디램 (Synchronous DRAM,SDRAM), 2배속 SDRAM(Double Data Rate SDRAM,DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM,ESDRAM), 동기화 DRAM(Synclink DRAM,SLDRAM) 및 직접 램버스 램(Direct Rambus RAM,DRRAM) 과 같은 다양한 RAM을 의미한다.Temporarily readable media include Static RAM (SRAM), Dynamic RAM (DRAM), Synchronous DRAM (SDRAM), Double Data Rate SDRAM (DDR SDRAM), Enhanced SDRAM (Enhanced) SDRAM, ESDRAM), Synchronous DRAM (Synclink DRAM, SLDRAM) and Direct Rambus RAM (Direct Rambus RAM, DRRAM) refers to a variety of RAM.

도 4는 반려견의 얼굴 이미지에서 비문 영역을 추출하는 것을 나타낸 도면이다. 도 4와 같이 반려견의 얼굴 이미지가 정면으로 확인되면 비문 영역(401)을 관심영역으로 추출할 수 있다. 개체 식별장치는 반려견의 눈과 코의 위치 및 크기에 따라 정면 여부를 판단할 수 있다.4 is a diagram illustrating extraction of an inscription region from a face image of a dog. As shown in FIG. 4 , when the dog's face image is confirmed from the front, the inscription region 401 can be extracted as a region of interest. The entity identification device may determine whether the dog is in front according to the position and size of the dog's eyes and nose.

도 5는 비문 영역을 복수개의 영역으로 분할하는 것을 나타낸 도면이다. 도 5를 참조하면 반려견 개체 식별장치는 비문 영역을 분할하여 각각에 대한 특징정보를 추출하고 이를 개체정보에 포함된 특징정보와 비교할 수 있다. 일 실시예로, 501 영역과 같이 균일한 크기로 비문 영역을 복수개의 영역으로 분할할 수 있다. 도 5에서는 비문 영역을 3X3 형태로 균등하게 분할하였으나 더 많은 수의 영역으로 분할하는 것도 가능하다.5 is a diagram illustrating division of an inscription area into a plurality of areas. Referring to FIG. 5 , the dog entity identification device may divide the inscription area, extract characteristic information for each, and compare it with characteristic information included in the entity information. In an embodiment, the inscription region may be divided into a plurality of regions with a uniform size, such as the 501 region. In FIG. 5, the inscription area is equally divided in a 3X3 shape, but it is also possible to divide the inscription area into a larger number of areas.

한편, 개체 식별장치는 복수의 영역으로 분할되어 추출된 특징정보를 동일한 위치의 영역끼리 비교할 수 있다. 예컨대, 501 영역과 같이 비문 영역의 우상단에 위치한 영역에서 추출된 특징정보는 개체정보에 포함된 비문 이미지에서 동일한 위치에 영역에서 추출된 특징정보와 비교할 수 있다. 나머지 영역들 또한 마찬가지로 서로 대응되는 위치의 영역끼리 특징정보를 비교할 수 있다. 이러한 과정에 따라 각 영역별 유사도를 판단하여 유사도를 만족하는 영역의 개수가 일정치를 초과하면 등록된 개체로 판단하고 일정치 미만이면 새로운 개체로 판단할 수 있다. 이러한 과정에 따라 반려견의 비문을 이용하여 각 개체를 정확하게 식별하고 반려견의 개체정보를 간편하게 등록할 수 있다.On the other hand, the object identification apparatus may compare the extracted feature information into a plurality of regions between regions at the same location. For example, feature information extracted from a region located at the upper right of the inscription region, such as region 501, may be compared with feature information extracted from a region located at the same position in the inscription image included in the entity information. In the remaining regions, feature information may be compared between regions at positions corresponding to each other as well. According to this process, the degree of similarity for each area is determined, and when the number of areas satisfying the similarity exceeds a certain value, it is determined as a registered entity, and when it is less than the predetermined value, it can be determined as a new object. By following this process, you can accurately identify each individual using the dog's inscription and easily register the dog's individual information.

개시된 기술의 일 실시예에 따른 영상 기반 반려견 개체 식별 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 개시된 기술의 진정한 기술적 보호범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.Although the image-based dog entity identification method and apparatus according to an embodiment of the disclosed technology have been described with reference to the embodiment shown in the drawings to help understanding, this is merely exemplary, and those of ordinary skill in the art It will be understood that various modifications and equivalent other embodiments are possible. Accordingly, the true technical protection scope of the disclosed technology should be defined by the appended claims.

Claims (18)

개체 식별장치가 반려견의 이미지를 딥러닝 모델에 입력하여 상기 반려견의 눈과 코를 검출하는 단계;
상기 개체 식별장치가 상기 눈과 코 각각의 위치 및 크기에 따라 상기 이미지의 방향이 정면인지 확인하는 단계;
상기 개체 식별장치가 상기 이미지에 포함된 노이즈에 따라 상기 이미지에서 비문 영역의 추출을 결정하는 단계;
상기 개체 식별장치가 상기 비문 영역의 크기를 조절하고 히스토그램을 정규화하여 전처리를 수행하는 단계;
상기 개체 식별장치가 특징점 추출 알고리즘을 이용하여 상기 전처리된 비문 영역에서 특징정보를 추출하는 단계; 및
상기 개체 식별장치가 기 등록된 복수의 개체정보에 포함된 복수개의 특징정보와 상기 특징정보를 비교하는 단계;를 포함하는 반려견 개체 식별 방법.
detecting, by an entity identification device, the dog's eyes and nose by inputting the image of the dog into the deep learning model;
checking, by the object identification device, whether the direction of the image is the front according to the position and size of each of the eyes and nose;
determining, by the entity identification device, extraction of an inscription region from the image according to the noise included in the image;
performing pre-processing by adjusting the size of the inscription region and normalizing the histogram by the entity identification device;
extracting, by the entity identification device, feature information from the pre-processed inscription area using a feature point extraction algorithm; and
and comparing, by the entity identification device, a plurality of characteristic information included in a plurality of previously registered entity information with the characteristic information.
제 1 항에 있어서, 상기 비문 영역의 추출을 결정하는 단계는,
상기 개체 식별장치가 상기 이미지에 포함된 노이즈가 기준 미만이면 상기 비문 영역을 관심영역으로 추출하고, 상기 노이즈가 상기 기준을 초과하면 이미지를 재요청하는 반려견 개체 식별 방법.
The method of claim 1, wherein determining extraction of the inscription region comprises:
If the noise included in the image is less than a standard, the object identification device extracts the inscription area as a region of interest, and if the noise exceeds the standard, the dog object identification method requests the image again.
제 1 항에 있어서,
상기 노이즈는 상기 이미지에 포함된 빛 반사도 및 선명도를 포함하고,
상기 개체 식별장치는 상기 빛 반사도가 제 1 임계값 미만이고 상기 선명도가 제 2 임계값을 초과하면 상기 비문 영역을 추출하고, 상기 빛 반사도가 제 1 임계값 이상이고 상기 선명도가 제 2 임계값 이하이면 상기 이미지를 재요청하는 반려견 개체 식별 방법.
The method of claim 1,
The noise includes light reflectivity and sharpness included in the image,
When the light reflectivity is less than a first threshold value and the sharpness exceeds a second threshold value, the object identification device extracts the inscription area, the light reflectivity is greater than or equal to the first threshold value and the sharpness is less than or equal to a second threshold value On the other hand, a dog object identification method that re-requests the image.
제 1 항에 있어서, 상기 전처리를 수행하는 단계는,
상기 개체 식별장치가 상기 비문 영역의 크기를 상기 개체정보에 포함된 복수의 비문 이미지의 크기와 동일하게 조절하는 반려견 개체 식별 방법.
The method of claim 1, wherein performing the pre-processing comprises:
A dog entity identification method in which the entity identification device adjusts the size of the inscription area to be the same as the size of a plurality of inscription images included in the entity information.
제 1 항에 있어서, 상기 전처리를 수행하는 단계는,
상기 개체 식별장치가 CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 이용하여 상기 이미지를 복수개로 균등한 영역들로 분할하고 상기 영역들 각각에 대한 히스토그램 정규화를 반복하여 상기 영역들의 명암값이 기준 이내가 되도록 전처리하는 반려견 개체 식별 방법.
The method of claim 1, wherein performing the pre-processing comprises:
The object identification device divides the image into a plurality of equal regions using a Contrast Limited Adaptive Histogram Equalization (CLAHE) algorithm and repeats histogram normalization for each of the regions so that the contrast values of the regions are within the standard. Pre-processing dog object identification method.
제 1 항에 있어서, 상기 특징정보를 비교하는 단계는,
상기 개체 식별장치가 상기 특징정보에 RANSAC(Random Sample Consensus) 알고리즘을 적용하여 이상값(Outlier) 및 중복값을 제거하고 상기 복수개의 특징정보와 비교하는 반려견 개체 식별 방법.
The method of claim 1, wherein the comparing of the feature information comprises:
A dog entity identification method in which the entity identification device applies a RANSAC (Random Sample Consensus) algorithm to the characteristic information to remove outliers and duplicate values and compares them with the plurality of characteristic information.
제 1 항에 있어서,
상기 개체 식별장치는 상기 비문 영역을 복수개의 영역으로 분할하여 각 영역에 대한 복수개의 특징정보를 추출하고, 상기 복수개의 개체정보에 포함된 복수개의 특징정보를 상기 비문 영역과 동일한 크기의 영역으로 분할하여 분할된 영역 별로 유사도를 각각 비교하는 반려견 개체 식별 방법.
The method of claim 1,
The apparatus for identifying the object divides the inscription area into a plurality of areas, extracts a plurality of characteristic information for each area, and divides the plurality of pieces of characteristic information included in the plurality of object information into areas having the same size as the inscription area. A dog object identification method that compares the similarity for each divided area.
제 7 항에 있어서,
상기 개체 식별장치는 상기 유사도가 기준을 초과하는 영역의 개수가 일정 이상이면 상기 반려견을 등록된 개체로 판단하고, 상기 유사도가 기준을 초과하는 영역의 개수가 일정 미만이면 상기 반려견의 이미지 및 특징정보를 새로운 개체정보로 저장하는 반려견 개체 식별 방법.
8. The method of claim 7,
The entity identification device determines that the dog is a registered entity if the number of regions in which the degree of similarity exceeds the criterion is greater than or equal to a certain level, and if the number of regions in which the similarity exceeds the criterion is less than a predetermined number, the image and characteristic information of the dog A method of identifying dog objects that stores them as new object information.
제 1 항에 있어서, 상기 특징정보를 비교하는 단계는,
상기 특징정보를 비교한 결과를 사용자 단말기에 전송하는 단계를 더 포함하고,
상기 전송하는 단계는 상기 반려견의 특징정보가 상기 복수개의 개체정보에 포함되어 있으면 상기 반려견의 개체정보를 상기 사용자 단말기에 전송하고, 상기 반려견의 특징정보가 상기 복수개의 개체정보에 포함되어 있지 않으면 상기 반려견의 개체정보를 등록하기 위한 정보를 상기 사용자 단말기에 전송하는 반려견 개체 식별 방법.
The method of claim 1, wherein the comparing of the feature information comprises:
Further comprising the step of transmitting a result of comparing the characteristic information to the user terminal,
In the transmitting step, if the characteristic information of the dog is included in the plurality of individual information, the individual information of the dog is transmitted to the user terminal, and if the characteristic information of the dog is not included in the plurality of individual information, the A dog entity identification method for transmitting information for registering dog entity information to the user terminal.
반려견의 얼굴 이미지를 촬영하는 카메라;
반려견들에 대한 복수개의 개체정보를 저장하는 메모리; 및
상기 반려견의 얼굴 이미지를 딥러닝 모델에 입력하여 상기 반려견의 눈과 코를 검출하고, 상기 얼굴 이미지에서 비문 영역을 추출하고 상기 비문 영역을 특징점 추출 알고리즘에 입력하여 특징정보를 추출하고 상기 추출된 특징정보와 상기 개체정보에 포함된 특징정보를 비교하는 프로세서;를 포함하는 반려견 개체 식별 장치.
a camera that takes an image of the dog's face;
a memory for storing a plurality of individual information about dogs; and
The dog's face image is input into a deep learning model to detect the dog's eyes and nose, and the inscription area is extracted from the face image, and the inscription area is input to a feature point extraction algorithm to extract feature information and the extracted features A dog entity identification device comprising a; processor comparing the information with the characteristic information included in the entity information.
제 10 항에 있어서,
상기 프로세서는 상기 눈과 코 각각의 위치 및 크기에 따라 상기 얼굴 이미지의 방향이 정면인지 확인하여 상기 비문 영역을 추출하는 반려견 개체 식별 장치.
11. The method of claim 10,
The processor determines whether the direction of the face image is the front according to the position and size of each of the eyes and nose, and extracts the inscription area.
제 10 항에 있어서,
상기 프로세서는 상기 이미지에 포함된 빛 반사도 및 선명도에 따라 상기 이미지에서 상기 비문 영역을 추출하되,
상기 빛 반사도가 제 1 임계값 미만이고 상기 선명도가 제 2 임계값을 초과하면 상기 비문 영역을 추출하고, 상기 빛 반사도가 제 1 임계값 이상이고 상기 선명도가 제 2 임계값 이하이면 상기 이미지를 재요청하는 반려견 개체 식별 장치.
11. The method of claim 10,
The processor extracts the inscription area from the image according to the light reflectivity and sharpness included in the image,
If the light reflectivity is less than a first threshold and the sharpness exceeds a second threshold, the inscription region is extracted, and if the light reflectivity is greater than or equal to the first threshold and the sharpness is less than or equal to a second threshold, the image is reproduced Requesting dog entity identification device.
제 10 항에 있어서,
상기 프로세서는 상기 비문 영역의 크기를 상기 개체정보에 포함된 복수의 비문 이미지의 크기와 동일하게 조절하는 반려견 개체 식별 장치.
11. The method of claim 10,
and the processor adjusts the size of the inscription region to be the same as the size of a plurality of inscription images included in the entity information.
제 10 항에 있어서,
상기 프로세서는 CLAHE(Contrast Limited Adaptive Histogram Equalization) 알고리즘을 이용하여 상기 이미지를 복수개로 균등한 영역들로 분할하고 상기 영역들 각각에 대한 히스토그램 정규화를 반복하여 상기 영역들의 명암값이 기준 이내가 되도록 전처리하는 반려견 개체 식별 장치.
11. The method of claim 10,
The processor divides the image into a plurality of equal regions using a Contrast Limited Adaptive Histogram Equalization (CLAHE) algorithm and repeats the histogram normalization for each of the regions to preprocess so that the contrast values of the regions are within the standard. Dog object identification device.
제 10 항에 있어서,
상기 프로세서는 상기 특징정보에 RANSAC(Random Sample Consensus) 알고리즘을 적용하여 이상값(Outlier) 및 중복값을 제거하고 상기 복수개의 특징정보와 비교하는 반려견 개체 식별 장치.
11. The method of claim 10,
The processor applies a RANSAC (Random Sample Consensus) algorithm to the characteristic information to remove outliers and duplicate values, and compares them with the plurality of characteristic information.
제 10 항에 있어서,
상기 프로세서는 상기 복수개의 개체정보에 포함된 복수개의 특징정보와 상기 특징정보를 비교하되, 상기 비문 영역을 복수개의 영역으로 분할하여 각 영역에 대한 복수개의 특징정보를 추출하고, 상기 복수개의 개체정보에 포함된 복수개의 특징정보를 상기 비문 영역과 동일한 크기의 영역으로 분할하여 분할된 영역 별로 유사도를 각각 비교하는 반려견 개체 식별 장치.
11. The method of claim 10,
The processor compares a plurality of characteristic information included in the plurality of entity information with the characteristic information, and divides the inscription region into a plurality of regions to extract a plurality of characteristic information for each region, and the plurality of entity information A dog entity identification device that divides a plurality of characteristic information included in the inscription area into areas of the same size as the inscription area, and compares the degree of similarity for each divided area.
제 16 항에 있어서,
상기 프로세서는 상기 유사도가 기준을 초과하는 영역의 개수가 일정 이상이면 상기 반려견을 등록된 개체로 판단하고, 상기 유사도가 기준을 초과하는 영역의 개수가 일정 미만이면 상기 반려견의 이미지 및 특징정보를 새로운 개체정보로 저장하는 반려견 개체 식별 장치.
17. The method of claim 16,
The processor determines the dog as a registered entity if the number of regions in which the degree of similarity exceeds the criterion is greater than or equal to a certain level, and if the number of regions in which the similarity exceeds the criterion is less than a certain amount, the image and characteristic information of the dog are new Dog object identification device that stores object information.
제 10 항에 있어서,
상기 반려견 비문 인식 장치는 사용자 단말기에 비교 결과를 전송하는 통신장치를 더 포함하고,
상기 통신장치는 상기 반려견의 특징정보가 상기 복수개의 개체정보에 포함되어 있으면 상기 반려견의 개체정보를 상기 사용자 단말기에 전송하고, 상기 반려견의 특징정보가 상기 복수개의 개체정보에 포함되어 있지 않으면 상기 반려견의 개체정보를 등록하기 위한 정보를 상기 사용자 단말기에 전송하는 반려견 개체 식별 장치.
11. The method of claim 10,
The dog inscription recognition device further comprises a communication device for transmitting the comparison result to the user terminal,
The communication device transmits the individual information of the dog to the user terminal if the characteristic information of the dog is included in the plurality of entity information, and if the characteristic information of the dog is not included in the plurality of entity information, the dog dog A dog entity identification device that transmits information for registering entity information of a dog to the user terminal.
KR1020200177876A 2020-12-17 2020-12-17 Image based method and device for identifying dog KR20220087310A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200177876A KR20220087310A (en) 2020-12-17 2020-12-17 Image based method and device for identifying dog

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200177876A KR20220087310A (en) 2020-12-17 2020-12-17 Image based method and device for identifying dog

Publications (1)

Publication Number Publication Date
KR20220087310A true KR20220087310A (en) 2022-06-24

Family

ID=82216041

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200177876A KR20220087310A (en) 2020-12-17 2020-12-17 Image based method and device for identifying dog

Country Status (1)

Country Link
KR (1) KR20220087310A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240060919A (en) 2022-10-31 2024-05-08 (주)인투씨엔에스 Automatic electronic medical record generation system through voice recognition

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527801B1 (en) 2013-05-22 2015-06-11 주식회사 아이싸이랩 Apparatus and Method of an Animal Recognition System using nose patterns

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101527801B1 (en) 2013-05-22 2015-06-11 주식회사 아이싸이랩 Apparatus and Method of an Animal Recognition System using nose patterns

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240060919A (en) 2022-10-31 2024-05-08 (주)인투씨엔에스 Automatic electronic medical record generation system through voice recognition

Similar Documents

Publication Publication Date Title
CN109086691B (en) Three-dimensional face living body detection method, face authentication and identification method and device
US11176392B2 (en) Liveness test method and apparatus
Alvarez-Betancourt et al. A keypoints-based feature extraction method for iris recognition under variable image quality conditions
Syarif et al. Enhanced maximum curvature descriptors for finger vein verification
Bakshi et al. Fast periocular authentication in handheld devices with reduced phase intensive local pattern
Gomez-Barrero et al. Is your biometric system robust to morphing attacks?
Abate et al. Ear recognition by means of a rotation invariant descriptor
US11227170B2 (en) Collation device and collation method
Parkavi et al. Multimodal biometrics for user authentication
US11392679B2 (en) Certificate verification
US20230206700A1 (en) Biometric facial recognition and liveness detector using ai computer vision
Štruc et al. Histogram remapping as a preprocessing step for robust face recognition
Choras Multimodal biometrics for person authentication
KR20220087310A (en) Image based method and device for identifying dog
Estacio et al. A rotation invariant algorithm for bimodal hand vein recognition system
Eid et al. Development of Iris Security System Using Adaptive Quality-Based Template Fusion
Cho et al. Periocular-based biometrics robust to eye rotation based on polar coordinates
Adeyemo et al. Adaptive SIFT/SURF algorithm for off-line signature recognition
Štruc et al. Image normalization techniques for robust face recognition
Agrawal et al. A review on feature extraction techniques and general approach for face recognition
Nigam et al. Finger knuckle-based multi-biometric authentication systems
Sunilkumar et al. Development of iris recognition model using transform domain approaches with Hamming distance classifier
AbdElaziz A survey of smartphone-based Face Recognition systems for Security Purposes
Sree et al. Dorsal Hand Vein Pattern Authentication by Hough Peaks
Bakshi et al. Postmatch pruning of SIFT pairs for iris recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application